告别单盘组建TrueNAS SCALE终极家用OpenZFS File Server, VM & More

Smartcraft

lovesb 发表于 2022-3-26 20:50
要是SCALE在smb上rdma跑40/56g就好了

能启用RDMA需要点挺多的。
- 如果是RoCEv1， Ethernet Switch需要支持FPC。
- 如果是RoCEv2， Switch/Router禁止重排序udp packet。路由需要支持ECN。
- 软件需要基于RDMA接口重新开发程序，Windows Server 2019 SMB是支持的。但是TrueNAS SMB端未必支持啊。
- NiC本身需要有RDMA asic。

以上硬件投入挺大的。如果都达成，server端是RAM DISK，client可以直接泡满40GbE。

Smartcraft

magicq 发表于 2022-4-6 10:07
大佬，群辉6.2.3支持rdma吗

不清楚！
如果是SMB共享文件协议：
Windows Server 2019及以上都支持RDMA。
如果是linux，好像samba还在开发中。《https://samba.plus/fileadmin/proposals/SMB-Direct.pdf》

但是无所谓了。如果想获得更高吞吐磁盘系统，请搜索NVMe over RDMA。

Smartcraft

@jerrytsao，200GbE需要在NVMe target上叠SSD RAID的了吧。Intel平台有VROC RAID0可以使用。但是我测试的时候仅能使用Intel自己的SSD（intel已经把自己SSD厂卖了）。而且一般的主板没有 intel VROC key插槽。所以无法使用其他RAID模式。