8盘全闪NAS在Truenas Scale下用fio测了下读写速度
之前组的一台迷你全闪NAS，最近测了一下存储池连续读写速度。https://www.chiphell.com/thread-2542806-1-1.html
Truenas Scale里用8盘SN640组的raidz1
官方数据表中顺序读写速度是：持续读取3250 MB/s，持续写入1980MB/s。
用fio测下来的结果：
写入速度只有5.3GiB/s
读取速度略快，但也有损耗，达到15.1GiB/s
供参考 单说性能，zfs并没有优势，顺便问问用的什么hba卡，带宽是不是不够了 mosigan 发表于 2024-1-30 16:16
单说性能，zfs并没有优势，顺便问问用的什么hba卡，带宽是不是不够了
EPYC，直连CPU的，带宽应该不是瓶颈 voandrew 发表于 2024-1-30 16:33
EPYC，直连CPU的，带宽应该不是瓶颈
直接pcie拆分接u.2吗，有空可以试试mdadm的raid5速度如何 本帖最后由 网仙 于 2024-1-30 17:24 编辑
在群晖下，我组了两个SN640双盘raid0，
两个阵列之间，互拷大文件可以持续在800-900MB/S，万兆还没有跑满，有点难过。
RaidZ1，可以理解为raid5.
8盘Raid5，速度应该差不多是我上面双盘raid0的4倍，缓外在3000M出头也正常。 mosigan 发表于 2024-1-30 16:55
直接pcie拆分接u.2吗，有空可以试试mdadm的raid5速度如何
是的，直接连主板上8654x8的口，直连CPU的PCIE通道 之前我在DELL R730XD 24盘位机型上了12块S3610 1.6T，H730P阵列卡做RAID6，CDI顺序读取有4000多M，顺序写入只有不到3000M，4K性能比单盘还要弱点，总之比想象中的差，后来结合网上的一些信息就是：SSD并不适合RAID，适合于直通后分布式存储，或者与HDD混合分布式存储 读写速度我个人到是不太在意，不过全闪NAS的体积和噪音可以做的很好 感谢分享，4k随机读写IOPS也希望能后续测试 楼主牛人，自己DIY 全闪太 cool 了。 网仙 发表于 2024-1-30 17:07
在群晖下，我组了两个SN640双盘raid0，
两个阵列之间，互拷大文件可以持续在800-900MB/S，万兆还没有跑满， ...
就是想比较一下zfs和mdadm的性能，群晖的话受限于cpu，速度跑不了很快，除非黑裙 Dolfin 发表于 2024-1-31 09:20
感谢分享，4k随机读写IOPS也希望能后续测试
阵列无法提高随机4K,raid 0 都不行[狂笑] mosigan 发表于 2024-1-31 10:51
阵列无法提高随机4K,raid 0 都不行
阵列无法提升单线程随机性能，但多线程可以，如FIO中设定多numjob数 本帖最后由 conanhfl 于 2024-1-31 11:06 编辑
没事, 看错了前一个版本 nn1122 发表于 2024-1-31 08:47
之前我在DELL R730XD 24盘位机型上了12块S3610 1.6T，H730P阵列卡做RAID6，CDI顺序读取有4000多M，顺序写入 ...
确实，现在觉得，其实JBOD就可以了，挺好的。 mosigan 发表于 2024-1-31 10:49
就是想比较一下zfs和mdadm的性能，群晖的话受限于cpu，速度跑不了很快，除非黑裙 ...
truenas顺序写入cpu使用率是3%，读取时是1.5%，还是比较低的，可以忽略 conanhfl 发表于 2024-1-31 11:02
没事, 看错了前一个版本
不是，EPYC，128条PCIe通道。直接用主板自带的8654接口就可以直接连12块U2，每一块都是pcie x4的速率。 Dolfin 发表于 2024-1-31 10:56
阵列无法提升单线程随机性能，但多线程可以，如FIO中设定多numjob数
是的，我设的10 jobs voandrew 发表于 2024-1-31 11:09
不是，EPYC，128条PCIe通道。直接用主板自带的8654接口就可以直接连12块U2，每一块都是pcie x4的速率。 ...
理解错误了吧，8654接口本身只有8通道 Dolfin 发表于 2024-1-31 10:56
阵列无法提升单线程随机性能，但多线程可以，如FIO中设定多numjob数
需要看阵列的条带宽度和随机分布程度，阵列基本上依靠队列深度来提升4k mosigan 发表于 2024-1-31 11:20
理解错误了吧，8654接口本身只有8通道
板上原生4个SFF8654 x8，拆分出8个直连CPU的x4带宽的nvme
另外还有2个8654 x8 LP的暂时没用上 voandrew 发表于 2024-1-31 11:27
板上原生4个SFF8654 x8，拆分出8个直连CPU的x4带宽的nvme
另外还有2个8654 x8 LP的暂时没用上 ...
还得是amd的主板舍得给通道，板子不错呀，多少钱？ voandrew 发表于 2024-1-31 11:27
板上原生4个SFF8654 x8，拆分出8个直连CPU的x4带宽的nvme
另外还有2个8654 x8 LP的暂时没用上 ...
不知这块板8654接pcie4.0盘信号是否稳定
我一块超微h12ssl,主板上的8654口接pm9a3一堆pcie错误 mdk2000 发表于 2024-1-31 12:25
不知这块板8654接pcie4.0盘信号是否稳定
我一块超微h12ssl,主板上的8654口接pm9a3一堆pcie错误 ...
正常，4.0对线路的电气性能要求更高了，安费诺的线试试呗 mdk2000 发表于 2024-1-31 12:25
不知这块板8654接pcie4.0盘信号是否稳定
我一块超微h12ssl,主板上的8654口接pm9a3一堆pcie错误 ...
这个和线，还有硬盘背板都有关 对ssd这种高性能设备来说，raidzn是性能损失的重灾区，尤其是写入时候。尽量用mirror+strip...
因为在写入时候哪怕是raidz1，也需要读区块、读校验区块、写区块、写校验区块4步，加上zfs自己优化，也只是比1/4性能强一点。双盘镜像的strip能做到1/2。 mosigan 发表于 2024-1-31 10:49
就是想比较一下zfs和mdadm的性能，群晖的话受限于cpu，速度跑不了很快，除非黑裙 ...
cpu是E5V4，不存在瓶颈，应该就是SN640本身的特性导致单线程持续写入速度受限。 阿崔 发表于 2024-2-2 10:29
对ssd这种高性能设备来说，raidzn是性能损失的重灾区，尤其是写入时候。尽量用mirror+strip...
因为在写入 ...
优化的好也可以做到整个条带同时操作的，当然对随机写和覆盖写没啥帮助 网仙 发表于 2024-2-5 10:43
cpu是E5V4，不存在瓶颈，应该就是SN640本身的特性导致单线程持续写入速度受限。 ...
固态来说，单核最大睿频对性能影响不小，核心多并没有什么帮助 单核最大睿频4.0，这不算是瓶颈
页:
[1]
2