Chiphell - 分享与交流用户体验

标题: 8盘全闪NAS在Truenas Scale下用fio测了下读写速度 [打印本页]

作者: voandrew 时间: 2024-1-30 15:00
标题: 8盘全闪NAS在Truenas Scale下用fio测了下读写速度
之前组的一台迷你全闪NAS，最近测了一下存储池连续读写速度。
https://www.chiphell.com/thread-2542806-1-1.html

Truenas Scale里用8盘SN640组的raidz1
官方数据表中顺序读写速度是：持续读取3250 MB/s，持续写入1980MB/s。
用fio测下来的结果：
(, 下载次数: 85)
(, 下载次数: 86)

写入速度只有5.3GiB/s
读取速度略快，但也有损耗，达到15.1GiB/s

供参考

作者: mosigan 时间: 2024-1-30 16:16
单说性能，zfs并没有优势，顺便问问用的什么hba卡，带宽是不是不够了

作者: voandrew 时间: 2024-1-30 16:33

mosigan 发表于 2024-1-30 16:16
单说性能，zfs并没有优势，顺便问问用的什么hba卡，带宽是不是不够了

EPYC，直连CPU的，带宽应该不是瓶颈

作者: mosigan 时间: 2024-1-30 16:55

voandrew 发表于 2024-1-30 16:33
EPYC，直连CPU的，带宽应该不是瓶颈

直接pcie拆分接u.2吗，有空可以试试mdadm的raid5速度如何

作者: 网仙 时间: 2024-1-30 17:07
本帖最后由网仙于 2024-1-30 17:24 编辑

在群晖下，我组了两个SN640双盘raid0，
两个阵列之间，互拷大文件可以持续在800-900MB/S，万兆还没有跑满，有点难过。

RaidZ1，可以理解为raid5.

8盘Raid5，速度应该差不多是我上面双盘raid0的4倍，缓外在3000M出头也正常。

作者: voandrew 时间: 2024-1-31 08:34

mosigan 发表于 2024-1-30 16:55
直接pcie拆分接u.2吗，有空可以试试mdadm的raid5速度如何

是的，直接连主板上8654x8的口，直连CPU的PCIE通道

作者: nn1122 时间: 2024-1-31 08:47
之前我在DELL R730XD 24盘位机型上了12块S3610 1.6T，H730P阵列卡做RAID6，CDI顺序读取有4000多M，顺序写入只有不到3000M，4K性能比单盘还要弱点，总之比想象中的差，后来结合网上的一些信息就是：SSD并不适合RAID，适合于直通后分布式存储，或者与HDD混合分布式存储

作者: bxhaai 时间: 2024-1-31 09:17
读写速度我个人到是不太在意，不过全闪NAS的体积和噪音可以做的很好

作者: Dolfin 时间: 2024-1-31 09:20
感谢分享，4k随机读写IOPS也希望能后续测试

作者: AAGun 时间: 2024-1-31 09:36
楼主牛人，自己DIY 全闪太 cool 了。

作者: mosigan 时间: 2024-1-31 10:49

网仙发表于 2024-1-30 17:07
在群晖下，我组了两个SN640双盘raid0，
两个阵列之间，互拷大文件可以持续在800-900MB/S，万兆还没有跑满， ...

就是想比较一下zfs和mdadm的性能，群晖的话受限于cpu，速度跑不了很快，除非黑裙

作者: mosigan 时间: 2024-1-31 10:51

Dolfin 发表于 2024-1-31 09:20
感谢分享，4k随机读写IOPS也希望能后续测试

阵列无法提高随机4K,raid 0 都不行

作者: Dolfin 时间: 2024-1-31 10:56

mosigan 发表于 2024-1-31 10:51
阵列无法提高随机4K,raid 0 都不行

阵列无法提升单线程随机性能，但多线程可以，如FIO中设定多numjob数

作者: conanhfl 时间: 2024-1-31 11:02
本帖最后由 conanhfl 于 2024-1-31 11:06 编辑

没事, 看错了前一个版本

作者: voandrew 时间: 2024-1-31 11:07

nn1122 发表于 2024-1-31 08:47
之前我在DELL R730XD 24盘位机型上了12块S3610 1.6T，H730P阵列卡做RAID6，CDI顺序读取有4000多M，顺序写入 ...

确实，现在觉得，其实JBOD就可以了，挺好的。

作者: voandrew 时间: 2024-1-31 11:08

mosigan 发表于 2024-1-31 10:49
就是想比较一下zfs和mdadm的性能，群晖的话受限于cpu，速度跑不了很快，除非黑裙 ...

truenas顺序写入cpu使用率是3%，读取时是1.5%，还是比较低的，可以忽略

作者: voandrew 时间: 2024-1-31 11:09

conanhfl 发表于 2024-1-31 11:02
没事, 看错了前一个版本

不是，EPYC，128条PCIe通道。直接用主板自带的8654接口就可以直接连12块U2，每一块都是pcie x4的速率。

作者: voandrew 时间: 2024-1-31 11:10

Dolfin 发表于 2024-1-31 10:56
阵列无法提升单线程随机性能，但多线程可以，如FIO中设定多numjob数

是的，我设的10 jobs

作者: mosigan 时间: 2024-1-31 11:20

voandrew 发表于 2024-1-31 11:09
不是，EPYC，128条PCIe通道。直接用主板自带的8654接口就可以直接连12块U2，每一块都是pcie x4的速率。 ...

理解错误了吧，8654接口本身只有8通道

作者: mosigan 时间: 2024-1-31 11:23

Dolfin 发表于 2024-1-31 10:56
阵列无法提升单线程随机性能，但多线程可以，如FIO中设定多numjob数

需要看阵列的条带宽度和随机分布程度，阵列基本上依靠队列深度来提升4k

作者: voandrew 时间: 2024-1-31 11:27

mosigan 发表于 2024-1-31 11:20
理解错误了吧，8654接口本身只有8通道

板上原生4个SFF8654 x8，拆分出8个直连CPU的x4带宽的nvme
另外还有2个8654 x8 LP的暂时没用上

作者: mosigan 时间: 2024-1-31 12:01

voandrew 发表于 2024-1-31 11:27
板上原生4个SFF8654 x8，拆分出8个直连CPU的x4带宽的nvme
另外还有2个8654 x8 LP的暂时没用上 ...

还得是amd的主板舍得给通道，板子不错呀，多少钱？

作者: mdk2000 时间: 2024-1-31 12:25

voandrew 发表于 2024-1-31 11:27
板上原生4个SFF8654 x8，拆分出8个直连CPU的x4带宽的nvme
另外还有2个8654 x8 LP的暂时没用上 ...

不知这块板8654接pcie4.0盘信号是否稳定

我一块超微h12ssl,主板上的8654口接pm9a3一堆pcie错误

作者: mosigan 时间: 2024-1-31 12:29

mdk2000 发表于 2024-1-31 12:25
不知这块板8654接pcie4.0盘信号是否稳定

我一块超微h12ssl,主板上的8654口接pm9a3一堆pcie错误 ...

正常，4.0对线路的电气性能要求更高了，安费诺的线试试呗

作者: voandrew 时间: 2024-1-31 12:56

mdk2000 发表于 2024-1-31 12:25
不知这块板8654接pcie4.0盘信号是否稳定

我一块超微h12ssl,主板上的8654口接pm9a3一堆pcie错误 ...

这个和线，还有硬盘背板都有关

作者: 阿崔 时间: 2024-2-2 10:29
对ssd这种高性能设备来说，raidzn是性能损失的重灾区，尤其是写入时候。尽量用mirror+strip...
因为在写入时候哪怕是raidz1，也需要读区块、读校验区块、写区块、写校验区块4步，加上zfs自己优化，也只是比1/4性能强一点。双盘镜像的strip能做到1/2。

作者: 网仙 时间: 2024-2-5 10:43

mosigan 发表于 2024-1-31 10:49
就是想比较一下zfs和mdadm的性能，群晖的话受限于cpu，速度跑不了很快，除非黑裙 ...

cpu是E5V4，不存在瓶颈，应该就是SN640本身的特性导致单线程持续写入速度受限。

作者: mosigan 时间: 2024-2-5 11:54

阿崔发表于 2024-2-2 10:29
对ssd这种高性能设备来说，raidzn是性能损失的重灾区，尤其是写入时候。尽量用mirror+strip...
因为在写入 ...

优化的好也可以做到整个条带同时操作的，当然对随机写和覆盖写没啥帮助

作者: mosigan 时间: 2024-2-5 11:55

网仙发表于 2024-2-5 10:43
cpu是E5V4，不存在瓶颈，应该就是SN640本身的特性导致单线程持续写入速度受限。 ...

固态来说，单核最大睿频对性能影响不小，核心多并没有什么帮助

作者: 网仙 时间: 2024-2-5 14:50
单核最大睿频4.0，这不算是瓶颈

作者: jimmyjin 时间: 2024-2-6 15:30

voandrew 发表于 2024-1-31 11:07
确实，现在觉得，其实JBOD就可以了，挺好的。

JBOD 我之前在黑QNAP里试了3块 SN760 7.68T的，感觉像是线性级联3个盘。写满第一块，才开始写第二块的样子。
这就让我觉得写入压力会大部分给了第一个盘，比如像我这样把这个JBOD区在PC上做LR的图像视频处理工作区的，用了一半不到的容量，那么修改文件一定是在写入第一个盘咯？
当第一盘写满后，会不会访问性能大幅下滑？

作者: yosut 时间: 2025-2-21 22:35
可以把测试代码发下吗？谢谢，我用的esxi安装truenas，测试速度很慢

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)