RDMA这个东西我是搞不明白了
本帖最后由 Dolfin 于 2023-9-13 15:49 编辑行业在说RDMA好，大家也都说他好，我也感觉好，不过好在了哪里。。。。
我这个帖子EPYC 9004 / NVMe RAID / 100GbE / RDMA 全闪NAS搭建与测试分享
已经做了一些关于SMB over RDMA的测试，结果是写入负优化，不过客户端CPU占有率显著下降。
因为那个测试不是客户端并发的，所以也许在并发的情况也许会有改善。于是我又做了并发的测试。
简单背景：
1.终端A Windows Server 100GbE网卡, 终端B Windows Server 40GbE网卡， 终端C Windows 11 Workstation 雷电40GbE网卡。连接存储服务器。
2.存储服务器 Windows Server，100GbE网卡连接终端A， 双口 40GbE 网卡连接终端B和C。
3.终端ABC同时向存储服务器发送读取及写入操作。
4.记录终端测试数据，以及存储服务器CPU占有率及功耗。
5.因为存储服务器资源有限，双口40GbE网卡，以及写入性能会出现带宽争抢，不过看合计总量就好了。
6.图省事，并没有配置流量控制（Priority-based Flow Control）以及ETS。还是看合计总量就好了
不过这个结果真的看不明白了。
顺序读写是Q8T4，随机读写是Q4T4，单位分别是GB/s 和IOPS
RDMA实际表现优点是延迟比较低和降低CPU负载，对于Ceph等分布式文件集群提升比较大，之前测试过对Ceph的 4k 性能提升是比较大的 会有Linux下的测试吗 你这CPU占用应该是硬盘IO吃掉的，RDMA跑满40G只写内存CPU占用率几乎不会增加
建议上组个内存盘，测试测试 uuyyhhjj 发表于 2023-9-13 16:44
你这CPU占用应该是硬盘IO吃掉的，RDMA跑满40G只写内存CPU占用率几乎不会增加
建议上组个内存盘，测试测试 ...
是IO吃掉的，不过两个模式下都会涉及这情况，那看两者占有率差值的话，也几乎没区别 Dolfin 发表于 2023-9-13 16:52
是IO吃掉的，不过两个模式下都会涉及这情况，那看两者占有率差值的话，也几乎没区别 ...
有，不开RDMA，CPU占用率很高 MatthewLXJ 发表于 2023-9-13 16:23
RDMA实际表现优点是延迟比较低和降低CPU负载，对于Ceph等分布式文件集群提升比较大，之前测试过对Ceph的 4k ...
是英特尔写的“Leveraging RDMA Technologies to Accelerate Ceph* Storage Solutions”这个文章吗？
我看它是4节点的测试环境，FIO 随机写入，从QD1到QD32，性能略有提升，QD2达到幅度最大，有17%，差别不大，有些QD也会负增长。
CPU占有率的差异是1%到2%。继续扩展节点才有些明显提升。
谢谢，这样我也平衡了 结论不应该是SMB太烂，RDMA都没得救吗？ 跟网卡没有直接关系，是硬盘芯片组pcie等的问题 老忘名 发表于 2023-9-13 17:25
结论不应该是SMB太烂，RDMA都没得救吗？
除了它还剩啥，NFS？ Dolfin 发表于 2023-9-13 17:31
除了它还剩啥，NFS？
是不是还可以试试iSER？NVMe-oF? RDMA估计是能增强4K性能吧 RDMA 还有配套的网卡，交换机，系统和驱动需要优化，确认下网络是不是都跑在IB模式吧
不过有些场景 IP网络性能和RDMA其实差别没那么明显[偷笑]
页:
[1]