求阵列卡建议，以及NAS的另外一个问题

磊磊爱摄影 · 发表于 2024-4-4 21:12

本帖最后由磊磊爱摄影于 2024-4-5 01:15 编辑

首先先感谢各位的帮助：

我的NAS，我发现HDD在raid-z2（Raid6）下面写入速度慢，网上也看了一些资料，发现如果可以连接阵列卡，可以有效的加速raid6的写入速度，但又不知道改选择哪款阵列卡/或者说应该叫直通卡：

基本情况：TrueNAS系统，Raid-Z2，128G内存，2t 980pro缓存，写入一开始还是能跑网络满速，然后突然过几秒就严重掉速，从1G掉到1-200m/s这么夸张。网上看了发现Raid6确实有写入惩罚，所以就想着有没有办法规避，正好看到几个视频和文章讲关于直通卡/阵列卡，可以有效提高Raid6写入，不知道群里大佬有没有试过在TrueNAS下面安装这种卡，另外，有什么推荐？

HDD都是官网买的新盘，资料还没来得及写入，目前只是做大文件拷贝测试，就这样了。NAS往PC读盘完全没问题，全程视频大文件可以1G/s，PC往NAS扔素材，就会出现开始飞快，然后突然断崖，跌80-90%。

我的HDD是18T Red Pro *12，不知道哪种卡可以带，另外，大家用过的朋友觉得，提升效果明显吗？谢谢。

还有个问题就是，某乎上面有一篇文章，文章大佬认为，如果用于视频的在线编辑，最好不要用NAS系统，而是直接服务器系统+硬阵列，他说，软阵列来干在线编辑，民用级这些缓存很快会死翘翘，但我真的不懂，所以来这里求助各位玩NAS玩的溜的大佬们。

感谢各种建议，意见，谢谢。

=================================================================================================================

补充回复楼下的几位大佬，我的具体配置情况：

NAS：
1. CPU i7-12700K
2. 主板华硕Z690
3. 内存 128G : CORSAIR Vengeance DDR5 RAM 32G*4
4. 缓存 2T Samsung 980 Pro （当时也不懂，正好有个闲置的，稀里糊涂就装了，因为之前看的一些文章，说SSD缓存大好，虽然后头看多了就知道未必，但目前不知道要不要留着，有没有帮助？更担心缓存有可能还会导致负优化？）
5. 阵列：西数 Red Pro 18T HDD * 12 - Raid Z2
6. 网卡：StarTech 双SFP+口网卡

NAS与一款威联通的unmanaged switch相连，这款交换机是12口全万兆光电混合的，其中1-4为SFP+，5-12为SFP+或者RJ45，每个通道位只能二选一。

PC则是ProArt Z790的板载万兆RJ45，内存64G，没有HDD，存储为几张980 Pro。

目前情况是，NAS往PC拷贝，万兆满速全程可以。

但是PC往NAS拷贝（视频文件），一开始前3-5秒可以满速，但过后会突然断崖式下跌，原因不明。

屏幕截图 2024-03-30 082808.png

图一，PC往NAS拷贝一个文件时

屏幕截图 2024-03-30 083116.png

图二，PC往NAS拷贝两个文件时，第二个文件基本只能180M龟速爬了。

补充：两张图里一开始那个高原平台，基本是950m-1G/s，断崖的说法就是上图这个。

谢谢。

Anderson997 · 发表于 2024-4-4 21:14

资料不是应该开头就告诉你zfs不要用raid卡么

磊磊爱摄影 · 发表于 2024-4-4 21:17

本帖最后由磊磊爱摄影于 2024-4-4 21:18 编辑

Anderson997 发表于 2024-4-4 21:14
资料不是应该开头就告诉你zfs不要用raid卡么

大佬，我真的看不懂啊，说

。

确实有这种说法，所以那个大佬说，TrueNAS用直通卡。我不懂啊，这些卡都是谁跟谁啊。第一次接触。我原本以为NAS装了就可以用了，没想到学习成本这么高，哭了。

我现在的NAS也是请朋友帮我装的，我更侧重使用，怎么选硬件、软件、驱动，真不是我长项，看着都各种不懂。结论就是写入太低了，所以现在只能自己硬着头皮解决了。

c2h6o · 发表于 2024-4-4 21:26

我只能告诉你RAID卡带缓存和电池（或电容），开启写缓存的R6阵列速度会明显比软阵列或者不开写缓存的快很多。但是否适用于TURENAS，我不知道。

Anderson997 · 发表于 2024-4-4 21:30

磊磊爱摄影发表于 2024-4-4 21:17
大佬，我真的看不懂啊，说。

确实有这种说法，所以那个大佬说，TrueNAS用直通卡。我不懂啊，这些卡都是 ...

不造啊，内存小了？开了什么去重这种？top看看占用？
萌新想玩想了几年了，没钱

等楼下大佬吧

vva · 发表于 2024-4-4 22:49

磊磊爱摄影发表于 2024-4-4 21:17
大佬，我真的看不懂啊，说。

确实有这种说法，所以那个大佬说，TrueNAS用直通卡。我不懂啊，这些卡都是 ...

整列卡可以刷固件的吧。这货本身就提示不要整列卡

iooo · 发表于 2024-4-4 23:00

软阵列，CPU、内存大小和带宽要越高越好
硬RAID卡，建议至少是12G的接口，2G的缓存带电池，突然断电有时间挽救
实测硬阵列性能比较稳定，对cpu内存要求降低很多

RenaissanceFlow · 发表于 2024-4-4 23:03

对TrueNAS来说，直不直通有区别么？本身是软raid，跟硬阵列卡不相关吧。我也用的TrueNAS，raid z的速度是正常的。知乎现在已经群魔乱舞了，信这些人之前最好看看评论区，再翻翻以前的动态，别被误导了。

smthzhj · 发表于 2024-4-4 23:04

机械硬盘200M就算正常速度了，zfs也并不以速度见长

litguy · 发表于 2024-4-4 23:05

拔掉缓存，别恶搞

ExFan · 发表于 2024-4-4 23:11

TrueNAS 用机械盘不会掉速

goat · 发表于 2024-4-4 23:14

业余选手先瞎回答一下：写入除了堆内存，小文件多可以用metadata vdev加速外，你那980基本没用。trusnas用web一路默认创建的共享应该没那么不堪，你其他硬件是什么？
另外这年还在吹硬raid的，除了因为服务器要求的系统上线以外，不是啥就是啥。因为暴力讲硬件卡里roc=cpu，缓存=你系统内存，你再加块卡除了套娃负优化99%没意义，而且还会加进来bit-rot之类zfs已经解决掉的问题

brucelee1126 · 发表于 2024-4-4 23:23

看是否开启了内存异步

磊磊爱摄影 · 发表于 2024-4-5 01:16

c2h6o 发表于 2024-4-4 21:26
我只能告诉你RAID卡带缓存和电池（或电容），开启写缓存的R6阵列速度会明显比软阵列或者不开写缓存的快很多 ...

感谢大佬回复，我补充了拷贝速度断崖下跌的问题截图，以及详细的网络配置。

磊磊爱摄影 · 发表于 2024-4-5 01:16

brucelee1126 发表于 2024-4-4 23:23
看是否开启了内存异步

感谢大佬回复，我补充了拷贝速度断崖下跌的问题截图，以及详细的网络配置。

在哪里看是不是开启啊？TrueNAS

磊磊爱摄影 · 发表于 2024-4-5 01:18

goat 发表于 2024-4-4 23:14
业余选手先瞎回答一下：写入除了堆内存，小文件多可以用metadata vdev加速外，你那980基本没用。trusnas用w ...

感谢大佬回复，我补充了拷贝速度断崖下跌的问题截图，以及详细的网络配置。

好的，您的意思就是现在的新系统不需要再靠阵列卡了对吧？我觉得也是。那您看看我这个断崖式下跌有没有其他的原因呢？感谢，我补充了图。

磊磊爱摄影 · 发表于 2024-4-5 01:18

ExFan 发表于 2024-4-4 23:11
TrueNAS 用机械盘不会掉速

感谢大佬回复，我补充了拷贝速度断崖下跌的问题截图，以及详细的网络配置。

喂你好嗎 · 发表于 2024-4-5 01:19

你找个单个大文件写入nas试试

磊磊爱摄影 · 发表于 2024-4-5 01:19

litguy 发表于 2024-4-4 23:05
拔掉缓存，别恶搞

啊，这，确实有人这么建议的，说缓存只对小文件管用，对大文件没用，那是不是我得继续升内存啊？128G我觉得很大了已经。

磊磊爱摄影 · 发表于 2024-4-5 01:21

smthzhj 发表于 2024-4-4 23:04
机械硬盘200M就算正常速度了，zfs也并不以速度见长

我看网上教程说，理论上，Raid6的速度不应该是单盘写入速度*（n-2）吗？就算达不到理论，咱缩水剩个70-80%也行啊，可我速度从1G直接掉到100M-200M。

感谢大佬回复，我补充了拷贝速度断崖下跌的问题截图，以及详细的网络配置。

磊磊爱摄影 · 发表于 2024-4-5 01:23

RenaissanceFlow 发表于 2024-4-4 23:03
对TrueNAS来说，直不直通有区别么？本身是软raid，跟硬阵列卡不相关吧。我也用的TrueNAS，raid z的速度是正 ...

您说的太对了，网上信息太杂了，咱论坛信息很多也是众说纷纭，我是新手小白，您有没有推荐的帖子或者关键词，我来自己搜搜，多学习学习。

感谢大佬回复，我补充了拷贝速度断崖下跌的问题截图，以及详细的网络配置。

我就怕来来回回折腾半天都在错误道路上走着，特别需要指路明灯。

磊磊爱摄影 · 发表于 2024-4-5 01:23

iooo 发表于 2024-4-4 23:00
软阵列，CPU、内存大小和带宽要越高越好
硬RAID卡，建议至少是12G的接口，2G的缓存带电池，突然断电有时间 ...

感谢大佬回复，我补充了拷贝速度断崖下跌的问题截图，以及详细的网络配置。

磊磊爱摄影 · 发表于 2024-4-5 01:24

Anderson997 发表于 2024-4-4 21:30
不造啊，内存小了？开了什么去重这种？top看看占用？
萌新想玩想了几年了，没钱
等楼下大佬吧 ...

回答大佬：没开去重，这个肯定会拖慢速度，我就是普通的raid6。

感谢大佬回复，我补充了拷贝速度断崖下跌的问题截图，以及详细的网络配置。

磊磊爱摄影 · 发表于 2024-4-5 01:25

vva 发表于 2024-4-4 22:49
整列卡可以刷固件的吧。这货本身就提示不要整列卡

对，绝大多数网上我看到的文章，都说truenas这种不再需要阵列卡了，但是又有很多人吐槽软阵列不稳定，恢复重建的话速度超慢，以及raid6下写入速度拉跨等问题。

磊磊爱摄影 · 发表于 2024-4-5 01:27

喂你好嗎发表于 2024-4-5 01:19
你找个单个大文件写入nas试试

感谢大佬回复，我补充了拷贝速度断崖下跌的问题截图，以及详细的网络配置。

brucelee1126 · 发表于 2024-4-5 01:35

zfs系统必须开启内存异步，我用的威联通也是zfs，自己试过，不设缓存，内存没你大，全程不降速，我是25g内网

磊磊爱摄影 · 发表于 2024-4-5 01:36

本帖最后由磊磊爱摄影于 2024-4-5 03:23 编辑

brucelee1126 发表于 2024-4-5 01:35
zfs系统必须开启内存异步，我用的威联通也是zfs，自己试过，不设缓存，内存没你大，全程不降速，我是25g内 ...

厉害啊大佬，truenas主界面就能开启吗？还是要通过command lines去开启啊？

如下图，确认开了异步了。

[attachimg]108**3[/attachimg]

litguy · 发表于 2024-4-5 07:07

磊磊爱摄影发表于 2024-4-5 01:19
啊，这，确实有人这么建议的，说缓存只对小文件管用，对大文件没用，那是不是我得继续升内存啊？128G我觉 ...

先拔掉，其它不动，确认没开重删功能，再测测看，内存和工作集大小有关，不着急升级

brucelee1126 · 发表于 2024-4-5 09:11

磊磊爱摄影发表于 2024-4-5 01:36
厉害啊大佬，truenas主界面就能开启吗？还是要通过command lines去开启啊？

如下图，确认开了异步了。

你要关闭同步

磊磊爱摄影 · 发表于 2024-4-5 10:25

brucelee1126 发表于 2024-4-5 09:11
你要关闭同步

好的，我测试下

账号		自动登录	找回密码
密码			加入我们

[NAS] 求阵列卡建议，以及NAS的另外一个问题