8盘全闪NAS在Truenas Scale下用fio测了下读写速度

voandrew · 发表于 2024-1-30 15:00

之前组的一台迷你全闪NAS，最近测了一下存储池连续读写速度。
https://www.chiphell.com/thread-2542806-1-1.html

Truenas Scale里用8盘SN640组的raidz1
官方数据表中顺序读写速度是：持续读取3250 MB/s，持续写入1980MB/s。
用fio测下来的结果：

写入速度只有5.3GiB/s
读取速度略快，但也有损耗，达到15.1GiB/s

供参考

mosigan · 发表于 2024-1-30 16:16

单说性能，zfs并没有优势，顺便问问用的什么hba卡，带宽是不是不够了

voandrew · 发表于 2024-1-30 16:33

mosigan 发表于 2024-1-30 16:16
单说性能，zfs并没有优势，顺便问问用的什么hba卡，带宽是不是不够了

EPYC，直连CPU的，带宽应该不是瓶颈

mosigan · 发表于 2024-1-30 16:55

voandrew 发表于 2024-1-30 16:33
EPYC，直连CPU的，带宽应该不是瓶颈

直接pcie拆分接u.2吗，有空可以试试mdadm的raid5速度如何

网仙 · 发表于 2024-1-30 17:07

本帖最后由网仙于 2024-1-30 17:24 编辑

在群晖下，我组了两个SN640双盘raid0，
两个阵列之间，互拷大文件可以持续在800-900MB/S，万兆还没有跑满，有点难过。

RaidZ1，可以理解为raid5.

8盘Raid5，速度应该差不多是我上面双盘raid0的4倍，缓外在3000M出头也正常。

voandrew · 发表于 2024-1-31 08:34

mosigan 发表于 2024-1-30 16:55
直接pcie拆分接u.2吗，有空可以试试mdadm的raid5速度如何

是的，直接连主板上8654x8的口，直连CPU的PCIE通道

nn1122 · 发表于 2024-1-31 08:47

之前我在DELL R730XD 24盘位机型上了12块S3610 1.6T，H730P阵列卡做RAID6，CDI顺序读取有4000多M，顺序写入只有不到3000M，4K性能比单盘还要弱点，总之比想象中的差，后来结合网上的一些信息就是：SSD并不适合RAID，适合于直通后分布式存储，或者与HDD混合分布式存储

bxhaai · 发表于 2024-1-31 09:17

读写速度我个人到是不太在意，不过全闪NAS的体积和噪音可以做的很好

Dolfin · 发表于 2024-1-31 09:20

感谢分享，4k随机读写IOPS也希望能后续测试

AAGun · 发表于 2024-1-31 09:36

楼主牛人，自己DIY 全闪太 cool 了。

mosigan · 发表于 2024-1-31 10:49

网仙发表于 2024-1-30 17:07
在群晖下，我组了两个SN640双盘raid0，
两个阵列之间，互拷大文件可以持续在800-900MB/S，万兆还没有跑满， ...

就是想比较一下zfs和mdadm的性能，群晖的话受限于cpu，速度跑不了很快，除非黑裙

mosigan · 发表于 2024-1-31 10:51

Dolfin 发表于 2024-1-31 09:20
感谢分享，4k随机读写IOPS也希望能后续测试

阵列无法提高随机4K,raid 0 都不行

Dolfin · 发表于 2024-1-31 10:56

mosigan 发表于 2024-1-31 10:51
阵列无法提高随机4K,raid 0 都不行

阵列无法提升单线程随机性能，但多线程可以，如FIO中设定多numjob数

conanhfl · 发表于 2024-1-31 11:02

本帖最后由 conanhfl 于 2024-1-31 11:06 编辑

没事, 看错了前一个版本

voandrew · 发表于 2024-1-31 11:07

nn1122 发表于 2024-1-31 08:47
之前我在DELL R730XD 24盘位机型上了12块S3610 1.6T，H730P阵列卡做RAID6，CDI顺序读取有4000多M，顺序写入 ...

确实，现在觉得，其实JBOD就可以了，挺好的。

voandrew · 发表于 2024-1-31 11:08

mosigan 发表于 2024-1-31 10:49
就是想比较一下zfs和mdadm的性能，群晖的话受限于cpu，速度跑不了很快，除非黑裙 ...

truenas顺序写入cpu使用率是3%，读取时是1.5%，还是比较低的，可以忽略

voandrew · 发表于 2024-1-31 11:09

conanhfl 发表于 2024-1-31 11:02
没事, 看错了前一个版本

不是，EPYC，128条PCIe通道。直接用主板自带的8654接口就可以直接连12块U2，每一块都是pcie x4的速率。

voandrew · 发表于 2024-1-31 11:10

Dolfin 发表于 2024-1-31 10:56
阵列无法提升单线程随机性能，但多线程可以，如FIO中设定多numjob数

是的，我设的10 jobs

mosigan · 发表于 2024-1-31 11:20

voandrew 发表于 2024-1-31 11:09
不是，EPYC，128条PCIe通道。直接用主板自带的8654接口就可以直接连12块U2，每一块都是pcie x4的速率。 ...

理解错误了吧，8654接口本身只有8通道

mosigan · 发表于 2024-1-31 11:23

Dolfin 发表于 2024-1-31 10:56
阵列无法提升单线程随机性能，但多线程可以，如FIO中设定多numjob数

需要看阵列的条带宽度和随机分布程度，阵列基本上依靠队列深度来提升4k

voandrew · 发表于 2024-1-31 11:27

mosigan 发表于 2024-1-31 11:20
理解错误了吧，8654接口本身只有8通道

板上原生4个SFF8654 x8，拆分出8个直连CPU的x4带宽的nvme
另外还有2个8654 x8 LP的暂时没用上

mosigan · 发表于 2024-1-31 12:01

voandrew 发表于 2024-1-31 11:27
板上原生4个SFF8654 x8，拆分出8个直连CPU的x4带宽的nvme
另外还有2个8654 x8 LP的暂时没用上 ...

还得是amd的主板舍得给通道，板子不错呀，多少钱？

mdk2000 · 发表于 2024-1-31 12:25

voandrew 发表于 2024-1-31 11:27
板上原生4个SFF8654 x8，拆分出8个直连CPU的x4带宽的nvme
另外还有2个8654 x8 LP的暂时没用上 ...

不知这块板8654接pcie4.0盘信号是否稳定

我一块超微h12ssl,主板上的8654口接pm9a3一堆pcie错误

mosigan · 发表于 2024-1-31 12:29

mdk2000 发表于 2024-1-31 12:25
不知这块板8654接pcie4.0盘信号是否稳定

我一块超微h12ssl,主板上的8654口接pm9a3一堆pcie错误 ...

正常，4.0对线路的电气性能要求更高了，安费诺的线试试呗

voandrew · 发表于 2024-1-31 12:56

mdk2000 发表于 2024-1-31 12:25
不知这块板8654接pcie4.0盘信号是否稳定

我一块超微h12ssl,主板上的8654口接pm9a3一堆pcie错误 ...

这个和线，还有硬盘背板都有关

阿崔 · 发表于 2024-2-2 10:29

对ssd这种高性能设备来说，raidzn是性能损失的重灾区，尤其是写入时候。尽量用mirror+strip...
因为在写入时候哪怕是raidz1，也需要读区块、读校验区块、写区块、写校验区块4步，加上zfs自己优化，也只是比1/4性能强一点。双盘镜像的strip能做到1/2。

网仙 · 发表于 2024-2-5 10:43

mosigan 发表于 2024-1-31 10:49
就是想比较一下zfs和mdadm的性能，群晖的话受限于cpu，速度跑不了很快，除非黑裙 ...

cpu是E5V4，不存在瓶颈，应该就是SN640本身的特性导致单线程持续写入速度受限。

mosigan · 发表于 2024-2-5 11:54

阿崔发表于 2024-2-2 10:29
对ssd这种高性能设备来说，raidzn是性能损失的重灾区，尤其是写入时候。尽量用mirror+strip...
因为在写入 ...

优化的好也可以做到整个条带同时操作的，当然对随机写和覆盖写没啥帮助

mosigan · 发表于 2024-2-5 11:55

网仙发表于 2024-2-5 10:43
cpu是E5V4，不存在瓶颈，应该就是SN640本身的特性导致单线程持续写入速度受限。 ...

固态来说，单核最大睿频对性能影响不小，核心多并没有什么帮助

网仙 · 发表于 2024-2-5 14:50

单核最大睿频4.0，这不算是瓶颈

账号		自动登录	找回密码
密码			加入我们

[NAS] 8盘全闪NAS在Truenas Scale下用fio测了下读写速度

浏览过的版块