Mellanox MCX516A 爱快RDMA实践

隔壁CC · 发表于 2022-9-28 20:32

测试环境:爱快软路由插了1张516A-CDAT,然后两台机器各插一个口到软路由,不经过交换机,神奇的发现爱快居然可以使用RDMA传输了
捕获.JPG

traekle · 发表于 2022-9-28 21:05

上个图床吧，眼睛看瞎了

Thunderbolt · 发表于 2022-9-29 05:52

100G网卡，牛逼的！！

summerq · 发表于 2022-9-29 09:23

这跟爱快没什么关系。mlx5驱动本身就支持。设备两端都是windows即可。另外请教一下，如果一端是linux，而另一端是windows有无现成方案

fmy6 · 发表于 2022-9-29 09:57

summerq 发表于 2022-9-29 09:23
这跟爱快没什么关系。mlx5驱动本身就支持。设备两端都是windows即可。另外请教一下，如果一端是linux，而另 ...

我记得是两边都是winserver的话自动触发，一头是server一头是工作站版的话是单向，工作站版那头还要单独设置开启rdma，其他的windows版本貌似不行。

黑色会 · 发表于 2022-9-29 10:24

请教下这个用途的具体是哪些方面的？

隔壁CC · 发表于 2022-10-12 02:32

黑色会发表于 2022-9-29 10:24
请教下这个用途的具体是哪些方面的？

怕以后没兴趣折腾了所以就提前把内网搞到100g

隔壁CC · 发表于 2022-10-12 02:33

summerq 发表于 2022-9-29 09:23
这跟爱快没什么关系。mlx5驱动本身就支持。设备两端都是windows即可。另外请教一下，如果一端是linux，而另 ...

害！但是实际传输还是扑街，我试了试机拷贝文件，只有20g左右，不知道问题出在哪，两端都是win

summerq · 发表于 2022-10-12 09:19

隔壁CC 发表于 2022-10-12 02:33
害！但是实际传输还是扑街，我试了试机拷贝文件，只有20g左右，不知道问题出在哪，两端都是win ...

我自己是两边都是server2019，网络直连。我觉得即便是不开rdma，跑个2g也是够用了

隔壁CC · 发表于 2022-10-12 10:35

summerq 发表于 2022-10-12 09:19
我自己是两边都是server2019，网络直连。我觉得即便是不开rdma，跑个2g也是够用了 ...

但是我两头的磁盘读写都达到了7-8gb就很头大

biogon38 · 发表于 2022-10-12 10:38

隔壁CC 发表于 2022-10-12 02:33
害！但是实际传输还是扑街，我试了试机拷贝文件，只有20g左右，不知道问题出在哪，两端都是win ...

用系统自带的文件复制？那玩意开销有点大，其实在家搭25g就挺好

今晚大老虎 · 发表于 2024-1-17 04:17

隔壁CC 发表于 2022-10-12 02:33
害！但是实际传输还是扑街，我试了试机拷贝文件，只有20g左右，不知道问题出在哪，两端都是win ...

如果你是用的Windows自带的文件管理器来拷贝, 一个拷贝任务好像速度上限就是2GB/s. 你准备两个大文件同时拷贝就会发现两个拷贝任务每个都能达到速度上线2GB/s, 加起来就是4GB/s.

empire4th · 发表于 2024-2-7 21:56

SMB direct还是最好手工在power shell里面设置一下

multichannel打开，默认一个网口，RDMA会走2条会话，这个也可以设置，一般开到4条会话。

另外注意防火墙，默认会拦截smb direct，自己手工检查一下

港城钢铁侠 · 发表于 2024-2-7 21:58

这个和爱快没关系啊，爱快扮演的还是交换机的角色，只不过是软交换

网仙 · 发表于 2024-4-15 13:21

两台windows server之间拷贝？server默认就开启了RDMA，所以PC的cpu占用较低。

爱快这头的软交换，应该算MCX516A卡上交换的功劳吧

巴特沃斯 · 发表于 2024-4-15 13:38

ztr-rttcc技术，可以无视交换机的支持实现RDMA

Illidan2004 · 发表于 2024-4-15 13:41

fmy6 发表于 2022-9-29 09:57
我记得是两边都是winserver的话自动触发，一头是server一头是工作站版的话是单向，工作站版那头还要单独 ...

因为你这样用是ikuai系统 linux的当然和windows驱动不一样

brucelee1126 · 发表于 2024-4-15 13:49

能这样交换吗，同一卡的端口间交换无效能损失？或者是同一台机器的两张卡上的两个端口交换也无效能损失？

衡山路道长 · 发表于 2024-4-15 14:47

巴特沃斯发表于 2024-4-15 13:38
ztr-rttcc技术，可以无视交换机的支持实现RDMA

这个要到cx6才完整支持吧？

conanhfl · 发表于 2024-4-15 14:49

fmy6 发表于 2022-9-29 09:57
我记得是两边都是winserver的话自动触发，一头是server一头是工作站版的话是单向，工作站版那头还要单独 ...

实测过winser2022 + win11ws都会自动触发单向rdma了不用设置

aaronlong · 发表于 2024-11-22 09:44

楼主如果有空的能不能帮忙试试把516A的两个口一个接WAN一个接LAN试试爱快的CPU占有率会是多少呢。。。我现在也想升级下爱快的网卡了，但最好是能一步到位把WAN到LAN的RDMA能搞定。。。先行谢过！

Dolfin · 发表于 2024-11-22 10:16

就是ikuai当了个100G 交换机的意思？插5张双口百G的，就相当于是一台10口交换机，我可以这么理解吗？

账号		自动登录	找回密码
密码			加入我们

[网络] Mellanox MCX516A 爱快RDMA实践