求阵列卡建议，以及NAS的另外一个问题

磊磊爱摄影

brucelee1126 发表于 2024-4-5 09:11
你要关闭同步

关闭了同步，还是不行。





后面继续又掉了点到200多

mdk2000

980pro的问题

ssd缓存要用企业级,写入不会掉速,消费级满盘写会掉速

多崎作

truenas是软RAID应该不能用阵列卡

brucelee1126

多崎作 发表于 2024-4-5 18:39
truenas是软RAID应该不能用阵列卡

如果用阵列卡组了阵列，truenas会识别一个大逻辑盘，建存储池就行，就是不能监控smart了

磊磊爱摄影

brucelee1126 发表于 2024-4-5 21:41
如果用阵列卡组了阵列，truenas会识别一个大逻辑盘，建存储池就行，就是不能监控smart了 ...

大佬你好，感谢您多次的回复帮助，收获很大。

我这两天也从网上其他渠道收集了一些信息，得出一些选择结论，但我拿不准，还请您帮我掌掌眼：


1，首先说硬件部分，我这台机架NAS是朋友帮我攒的，硬件买之前都是朋友在弄，我也没仔细研究，他给我弄得，无论是主板、芯片、内存、缓存等，基本都是按照PC来弄的 —— 华硕Z690的游戏主板，i7-12700K，普通的内存。但我这几天看下来，好像如果像用于稳定的多人在线高码率视频编辑的场景，更推荐使用服务器或者工作站主板？比如超微的板子？另外，CPU也是选志强，内存也得选带ECC矫正的。这种板子pci-e插槽更多。那我现在，这套硬件本身，还要不要换？（我的倾向是，如果不是影响非常大，那就这么凑合用，但是如果会对长期使用影响很大，那我也只能忍痛全部换了。）关键风扇和电源，是不是也要跟着换呢？换工作站/服务器专用的。

2，我看了下，关于TrueNAS系统，因为本身它在文件管理方面有很多的优势，所以我看的其他帖子的建议是，不要硬Raid（ROC卡），而是选择I/O controller这种直通卡，然后再通过SAS转SATA线，连接HDD，这样既能兼顾“缓解”“Raid6的写入惩罚”，又能用到TrueNAS文件系统的完整功能。您看这个说法，对不对？提升是否会很大？ 如果IOC卡确实可以帮助HDD提升Raid6下的写入速度，我目前看了一款搭载LSI SAS 3224芯片的ceacent 3224-24i直通卡，pci-e 3.0*8 12GB/s，用它来拖HDD绰绰有余了，看重它本身在不需要额外扩展卡的前提下，可以支持最多24个Sata口。不知道这款是否可以？有没有什么要注意的地方吗？（也略担心TrueNAS能否自动识别这种卡还是说得额外安装专门的驱动，担心兼容性问题。）

3，我目前缓存部分，就是随便找了个闲置的980Pro，插到了z690的m2接口上面，但似乎在拷贝文件的过程中，没有起到任何作用（报告显示几乎没波动），不知道是什么原因，难道跟TrueNAS的机制有关？有没有办法能够让缓存盘起到类似内存这种类似的替代作用，这样就可以以高通道“接住”传来的大文件，然后再慢慢分配给Raid6 HDD阵列。（感觉我自己有点想多了？hh）另外就是，如楼上另一位大佬所说，是否需要改买企业级m2 ssd？多大容量的合适呢？有没有牌子推荐？谢谢。

以上，谢谢大佬

brucelee1126

磊磊爱摄影 发表于 2024-4-5 23:25
大佬你好，感谢您多次的回复帮助，收获很大。

我这两天也从网上其他渠道收集了一些信息，得出一些选择结 ...

1，影响并不非常大，讲究的人确实会使用服务器工作站平台，pcie通道多点，硬件稳定性也会好点，一套消费级的硬件其实也没啥大毛病，风扇电源这些可以通用，玩家们热衷用自己掌握的知识搭建精省又高性能的平台，这就是你这套平台的由来。
2，truenas的正常套路就是要用直通卡，且驱动方面truenas是很全面的，不用担心，选直通卡要跟硬盘笼背板配合，最好用两端都是8643接口的，这样24盘也就6根线，那种插24根sata线是很不讲究的，另外也可使用浪潮机头等服务器笼子，笼子自己就可以串接，而且电源线也相对集中，你可以了解一下，既优雅又减少故障点，至于写惩罚这些，我并不太了解，我自己8盘18t raid6速度就是1.38G每秒
truenas貌似缓存盘的加成并不多，但是极度依赖内存，这方面没有实践过，但是奔着避免走弯路的目的，建议直接扯下缓存盘，如果需要，可以再单独建立ssd存储池，但是truenas对hdd优化比较好,对nvme ssd确实不是太友好,官方建议1t硬盘配1g内存的比例，可以参考下

philosophergod

没用过truenas，如果上阵列卡的话，干脆直接安装windows server2022，建立共享文件夹？

goat

因为优化也是门外汉，不想误导人，但是看了下还是胡扯几句
硬件问题才反应过来你是没有单独hba全接在ioh外加那种几个sata口的扩展卡上？理论上你现在的配置应该性能不会这么糟
至于要不要换平台看你数据值多少钱，花几帧要人命的话还是去上服务器+ecc的条子。
还有你再看下dataset的块大小，视频文件之类都是大文件的话直接拉到128M还是多少，反正拉到顶就行。
最后zfs除了小文件折腾缓存没意义，是因为堆ssd相当于书本目录和短内容直接写在里面，大文件还是写hdd存储（请全ssd大佬忽略）。大文件要效果只有堆内存。另外你要是已经在用池子存东西，就最好别乱删除vdev，除非你知道自己在干嘛。

最后，j叔快点降临吧

磊磊爱摄影

brucelee1126 发表于 2024-4-6 08:54
1，影响并不非常大，讲究的人确实会使用服务器工作站平台，pcie通道多点，硬件稳定性也会好点，一套消费 ...

感谢大佬回复。

前两天找了个人，建议我这种需要在线编辑的需求，还是用win server+raid卡这种比较好，可以发挥出hdd的最大读写性能。

磊磊爱摄影

goat 发表于 2024-4-6 10:05
因为优化也是门外汉，不想误导人，但是看了下还是胡扯几句
硬件问题才反应过来你是没有单独hba全接在ioh外 ...

谢谢，所以我很奇怪我拷贝速度为何总是断崖。

goat

磊磊爱摄影 发表于 2024-4-7 23:54
感谢大佬回复。

前两天找了个人，建议我这种需要在线编辑的需求，还是用win server+raid卡这种比较好， ...

win+硬raid简直buff叠满，会这么推基本就是作为方案提供好维护+教用户简单。当然作为甲方也不用为后期维护被无限追加预算
其实看你预算不是特别紧去找台r730xd插满条子truenas默认能直接跑满单10G了（单纯高射炮打蚊子），就是得找个房间放。要是还有多人协同需求可能还是不够用

weindy

复议楼上r730xd插满内存的方案。缓存也是有命中率的，热数据一定时间内多次加载才能充分利用缓存。按楼主多人在线剪视频的需求，内存堆到顶就完事了，别用民用nas那套asd的缓存方案，寿命掉得跟流水一样。而且视频非编没有太多碎文件需求，没必要单弄一套12代平台的，老文件服务器比如r730xd这种足够胜任。

磊磊爱摄影

goat 发表于 2024-4-8 00:42
win+硬raid简直buff叠满，会这么推基本就是作为方案提供好维护+教用户简单。当然作为甲方也不用为后期维 ...

首先感谢大佬连续回复。可惜CHH没提供回复打赏功能，我也不是小恶魔，还没办法射邪恶。 但非常感谢。

首先，确实，我的NAS，或者其实应该叫服务器了，确实是大炮打蚊子，PC也是，但依然卡瓶颈，所以还是得解决。

至于噪音，有地下室，有机柜，地下室放机柜的区域跟工作区相隔，不会吵，更不会影响到楼上，只是机柜顶部的风扇，不知道有没有直接插市电的猫扇，可以装机柜里的那种。

还有就是，我准备插一个3060，作为自动给素材做代理转码用，但给我提供服务解决的这个人，似乎对win下面怎么做这个不是很了解，不知道有没有什么相关的分享贴/科普贴可以学习学习，抄抄已有成熟方案的。实在不行只能挂虚拟机了。

另外，在他推荐下，我觉得我WD的Red Pro似乎不够看，同容量下，Red Pro新盘比某宝上的通电10000小时的二手HC550企业盘还要贵30-40%，而且企业盘的品质还是不错的，那我感觉不如直接上企业二手盘？（不知道对不对）

我目前机柜系统里的一个QNAP无管理路由器，以及一个Unifi的小交换机，准备都换掉，因为我iperf3测速也达不到万兆，这就很奇怪了。大概率怀疑是路由器的问题。


iPerf3的测速截图:





准备更新两个路由器：1，万兆交换这边，替换QNAP的无管理交换机，替换为USW-Pro-Aggregation 28个万兆光+4个25兆光，好处是以后可拓展性强，不用操心口不够，电口需求直接插unifi的转换模块即可；2，千兆和2.5G的电口，目前的小unifi交换机只有8口，还要拿出5个给AP，有点捉襟见肘，而且有时候总功率未必带的动5个U6 Enterprise；所以这个交换机，准备替换为USW-Enterprise-24POE：12个2.5G+12个千兆，且24口全带poe+，以后连监控或者其他poe设备拓展性强；2个sfp万兆光分别负责上下路。

磊磊爱摄影

weindy 发表于 2024-4-8 00:53
复议楼上r730xd插满内存的方案。缓存也是有命中率的，热数据一定时间内多次加载才能充分利用缓存。按楼主多 ...

哎，说的是啊，但我现在这个服务器已经在那了。。。LOL，朋友当时给我配的时候就有点overkill了，那就这样吧，只能继续凑合了，我准备换操作系统+上阵列卡，缓存也拔掉，内存应该是插满了已经。

goat

磊磊爱摄影 发表于 2024-4-8 02:28
首先感谢大佬连续回复。可惜CHH没提供回复打赏功能，我也不是小恶魔，还没办法射邪恶。 但非常感谢。

首 ...

主要看下面不少都是拿以前踩过的坑来推荐，大叔稍微多啰嗦几句。都是不值得到被称赞的
显卡没上手玩过就不瞎说了。hdd某宝的话南京、上海两家直接买新盘好一点，二手盘那种专门做二手服务器十几年老店可以拼脸多买两块当会坏的时候冷备用。
网络就我这超标做法觉得去找dell/hp那种就得25g+100g一撸到底，不过你unifi全家桶就别折腾别家了

蓝色星芒

拷贝文件的时候，全程监控内存的使用量，主要是写入机器的内存使用量，可以点选进程后单独观察，能判断出来是不是内存的瓶颈。
同时同步看下座位缓存用的ssd的写入速度。

如果是做raid，我一般会在熟悉的系统下测试。测试完毕后在上对应的系统，保证设置上没什么问题，排除的时候最大问题基本就在系统方面了。

我个人基于家用环境，都是单盘+多备份，or raid0+多点备份。即有速度，也有数据安全，还省钱。用raid的话，没试过硬raid+truenas，理论上raid后对于系统来说就是个整体硬盘了。最后对于raid功能来说，还是用硬raid也就是整列卡而且要配缓存和电池

ujmeo7897

我有台存储服务器，阵列卡功耗和发热都好高的，不适合nas用

网仙

如果一定要用HDD，最简单的办法就是win+硬raid卡（带4G缓存），SMB共享，持续速率还是有保障的。

或者用winserver做分层存储，HDD+企业NVME的ssd

zhgna

在用LSI 9361-8i 2G，这卡的稳定性真不错，目前带2只浪潮硬盘笼子。
原先芯片温度有点高，后来加了一个风扇，待机就不到50度了。

骷髅人

单纯为了简单方便省钱用的win+硬卡阵列，目前8t*8 raid6读写都在1.2~1.5左右，仅限大文件连续读写，，，小文件还是不怎么行，不过胜在简单方便，单盘容量大些应该读写速度会提高些