请问小文件随机IO读写较多是推荐全闪还是special vdev呢

leonfox

大佬们，平时工作内容都是随机小文件IO，网络环境为万兆双路聚合，因为成本计划使用TrueNAS。大概有10人同时使用虚拟化环境（通过iscsi挂载到esxi），虚拟机内的存储也是truenas通过nfs挂载上的，具体IOPS倒不太好估算，但感觉纯HDD应该是不够的
请问是推荐直接全闪还是HDD data vdev + SSD special vdev呢？如果是后一种，有必要加slog么？
多谢多谢，大家新年快乐

leonfox

自顶自顶自顶

dcl2009

看你有多少热数据，以及truenas内存大小，要是truenas有128G ecc以上的内存，热数据只有几十G，异步，他俩用起来没啥区别

你要是开同步+HDD，加slog是必须的，而且最好是随机强一点的固态，傲腾啥的

当然，全闪+同步也最好开slog

另外，你的网卡支持RDMA吗？对随机性能影响不小

https://www.chiphell.com/thread-2480222-1-1.html

leonfox

dcl2009 发表于 2024-2-6 14:08
看你有多少热数据，以及truenas内存大小，要是truenas有128G ecc以上的内存，热数据只有几十G，异步，他俩 ...

多谢大佬！
目前计划中是512G内存，毕竟跟硬盘一比epyc的内存相当于不要钱，64x8
我这边其实一直不太理解同步写到底指什么？10个人同时随机读写小文件，coding，layout，office应该不算同步写吧？我理解的是往NAS写大文件才算同步？
网卡的话目前选的是57412，这个应该是支持RDMA的，不过Truenas支持RDMA么？

summerq

leonfox 发表于 2024-2-6 14:57
多谢大佬！
目前计划中是512G内存，毕竟跟硬盘一比epyc的内存相当于不要钱，64x8
我这边其实一直不太理解 ...

官方不支持。论坛里有人自己编译内核用ksmbd开rdma跑。bug不多，目前为止6.7内核跑个2-3天就死机的样子吧……

leonfox

summerq 发表于 2024-2-6 15:23
官方不支持。论坛里有人自己编译内核用ksmbd开rdma跑。bug不多，目前为止6.7内核跑个2-3天就死机的样子吧 ...

这叫bug不多嘛，要被人骂死的

summerq

leonfox 发表于 2024-2-6 15:34
这叫bug不多嘛，要被人骂死的

链接在这，讨论了70多页。最终结论就是ksmbd rdma可以跟windows workstation通，但是目前还不稳定。

https://forum.level1techs.com/t/how-can-i-help-with-the-new-truenas-100g-testing/179052/78?page=2

结论：
After using it 24/7 for ~3 weeks the connection crashed every night and required reboot of the server to work again.

leonfox

summerq 发表于 2024-2-6 15:37
链接在这，讨论了70多页。最终结论就是ksmbd rdma可以跟windows workstation通，但是目前还不稳定。

htt ...

后面的回复倒是有人说没遇到。
不过再怎么说也不敢在生产环境上这么干啊，怕炸

dcl2009

leonfox 发表于 2024-2-6 14:57
多谢大佬！
目前计划中是512G内存，毕竟跟硬盘一比epyc的内存相当于不要钱，64x8
我这边其实一直不太理解 ...

RDMA问题楼下很详细啦，我用的是那个修改版内核，没有到啥问题

同步指的是收到数据立刻写入硬盘，最好加个log，log约等于写缓存

异步指的是收到数据先缓存起来，然后再写硬盘，怕断电，Truenas默认模式

不过你都这么大内存了，再上个UPS，直接开异步，用起来很爽哟，别说10个人用了，50个人估计都没啥问题

leonfox

dcl2009 发表于 2024-2-6 16:19
RDMA问题楼下很详细啦，我用的是那个修改版内核，没有到啥问题

同步指的是收到数据立刻写入硬盘，最好加 ...

哦哦明白了，多谢解答
肯定会配UPS的，毕竟不是家用
SSD metadata + HDD data的话能省不少钱，可用容量也大不少

YsHaNg

dcl2009 发表于 2024-2-6 06:08
看你有多少热数据，以及truenas内存大小，要是truenas有128G ecc以上的内存，热数据只有几十G，异步，他俩 ...

他这个用nfs挂载不会劣化很多吗 还有对rdma的支持
我用nfs方式最惨的是在上面跑git atomic op支持不好直接整个fs只读

ruanjianxuqiu

还是看你预算吧，预算高可以全闪，预算不足就混合

一日

同步写例子：nfs

dcl2009

YsHaNg 发表于 2024-2-6 18:27
他这个用nfs挂载不会劣化很多吗 还有对rdma的支持
我用nfs方式最惨的是在上面跑git atomic op支持不好直 ...

nfs性能就那样，楼主这种应用足够，毕竟有一两百k的iops，nfs问题是一致性问题，容易文件锁

RDMA无解，不过就算不开RDMA，100k的iops正好能匹配上NFS

实际用起来还凑合，没发现不顺畅