Truenas scale 下 zfs 关闭 ARC 的性能测试

elvba

正常来说，没有谁会把 zfs 的 ARC 关闭来使用，之所以有这个测试，是使用 fio 测试不同阵列组合下 zfs 的性能时，想到 zfs 有 ARC 做缓存，这样无法测试到阵列的原始性能，所以做了这个测试。
跑完之后发现有无 ARC 的性能差距实在是太大了，得到的结论是就应该多加内存提高 ARC 容量。
并且也无需关闭 ARC 来进行阵列性能对比测试，毕竟正常使用都是开启 ARC 的。

测试环境：
CPU：16 x Intel(R) Core(TM) i7-10700 CPU @ 2.90GHz
内存：32G
阵列卡：lsi 9211-8i 直通模式，pcie2.0 x 8 插槽，SAS2008 控制器，两个SFF-8087 接口，每个接口提供半双工 2.4G/s，全双工 4.8G/s 的带宽
硬盘笼：浪潮 5212M4 机头
硬盘：12 个 WD Elements 12TB 拆盒盘

测试方法：
使用 fio 命令进行测试，参数如下：

1. 
   
2. fio --output=io_test.log --output-format=normal,terse,json+ fio.conf
   
3. 
   
4. [global]
   
5. ioengine=psync
   
6. iodepth=1
   
7. direct=1
   
8. thread=1
   
9. numjobs=1
   
10. filename=test
    
11. norandommap=1
    
12. runtime=20
    
13. ramp_time=5
    
14. size=50G
    
15. group_reporting
    
16. stonewall
    
17. 
    
18. [write4k_rand]
    
19. bs=4k
    
20. rw=randwrite
    
21. 
    
22. [read4k_rand]
    
23. bs=4k
    
24. rw=randread
    
25. 
    
26. [write128k_seq]
    
27. bs=128k
    
28. rw=write
    
29. 
    
30. [read128k_seq]
    
31. bs=128k
    
32. rw=read
    

复制代码

关闭 arc 的方法：

zfs set primarycache=none pool_name

测试结果：

elvba

赫敏 发表于 2024-5-28 02:25
zfs可以两级缓存吗？内存+本地nvme

可以，但是实际效果一般，没太大必要用。
只有在内存容量不够用的时候考虑开启，不然起反效果。

elvba

YoshinoSakura 发表于 2024-5-28 01:33
https://s21.ax1x.com/2024/05/27/pk1nF7q.png
楼主图连接的图床，在部分地区看不到的

我换了个图床，现在试试能看到吗？

elvba

Juzi丶 发表于 2024-5-28 14:54
sas2008？这东西机械盘都跑不满没有任何测试的意义

为啥会跑不满？跑的时候我用 iostat 看了，除了关闭 arc 的 4k 单线程读写外，其他场景下每个磁盘都是满载了，测试结果的带宽也没超过 sas2008 的上限。