请教一下玩40G网络的大佬只能跑20G的速度（已找到原因可跑满）
本帖最后由 nn1122 于 2023-11-23 11:06 编辑两张CX314A即Melenox ConnectX3-Pro 40G网卡直连，两卡均直插PCI-E 3.0 x16插槽，用DAC直连线和模块+MPO OM3光纤线都试过了，iperf3都只能跑20G左右，SMB复制文件在1.7GB/S左右，操作系统一端是server 2022，一端是win11 22h2专业工作站版，何解？
11月23日更新：因为之前两端机器是单条内存，按照53楼朋友的说法是内存带宽不够，于是两端换上2x32G DDR4内存，一端频率为2400，一端为2666，测试40G跑满，SMB多线程也是跑满
多跑几个线程 用mlx自带的nd_send_bw? brucelee1126 发表于 2023-11-17 11:36
多跑几个线程
无论是-P 20还是双开iperf，均最高20G左右，所以真是郁闷 PCI-E 3.0 的问题？ zxy2001 发表于 2023-11-17 13:07
PCI-E 3.0 的问题？
我想应该不是这个，我看其他跑满40G的服务器都在3.0下，况且这卡生产日期在2015-2016年间，那时候4.0还没诞生呢 插得那条槽确认是跑在3.0*16上？不少主板最后的x16槽只有x4带宽 20G更像是 pci-e 2.0x4 liolio 发表于 2023-11-17 13:23
插得那条槽确认是跑在3.0*16上？不少主板最后的x16槽只有x4带宽
有没有其他工具查看具体跑在x4还是x8上，aida64显示是3.0x8，两平台一个是Z370，一个是B365 nn1122 发表于 2023-11-17 13:34
有没有其他工具查看具体跑在x4还是x8上，aida64显示是3.0x8，两平台一个是Z370，一个是B365 ...
用hwinfo查看，可以看到具体每个pice带宽跑的什么设备。
另外iperf3测试带宽最好加上-P 10测试下多线程的带宽负载情况。
server端用2022，机械硬盘+primocache，客户端用win11专业工作站版，从server端复制到客户端内存盘，速度基本是可以跑满40G的，截图的网卡是544+flr，刷了56G：
和RDMA有关系么？ weindy 发表于 2023-11-17 14:04
用hwinfo查看，可以看到具体每个pice带宽跑的什么设备。
另外iperf3测试带宽最好加上-P 10测试下多线程的 ...
刚刚用hwinfo看了，PCI-E总线下的x16总线都只有一个cx314a设备，版本3.0，速度x8，-P我都加到20了，仍然只跑20G[流汗] 我很久前测的FLR544+双卡DAC线直连，Win系统下，40G下最大测出22Gbps。
后面实际用的Ubuntu，40G下能跑出36Gbps左右；56G下能跑到47Gbps左右。 Jimmy_Qiu 发表于 2023-11-17 14:20
我很久前测的FLR544+双卡DAC线直连，Win系统下，40G下最大测出22Gbps。
后面实际用的Ubuntu，40G下能跑出3 ...
对，就是这个情况，win下的驱动我也更新了的，iperf仍然在19-22G左右 weindy 发表于 2023-11-17 14:04
用hwinfo查看，可以看到具体每个pice带宽跑的什么设备。
另外iperf3测试带宽最好加上-P 10测试下多线程的 ...
你这个Win11 的ISO 文件太小了，2~3秒就完了。。。。有拷贝几十个G的 大文件的速度截图么？ 本帖最后由 zxy2001 于 2023-11-17 16:53 编辑
nn1122 发表于 2023-11-17 13:34
有没有其他工具查看具体跑在x4还是x8上，aida64显示是3.0x8，两平台一个是Z370，一个是B365 ...
看主板背面，PCIE 插槽有多少焊点。。。正面看是X16槽，背面却只有四分之一有引脚。后面都是空的。。。 或者看官方高清大图，可以看到插槽里的金属引脚有多少的
zxy2001 发表于 2023-11-17 16:49
看主板背面，PCIE 插槽有多少焊点。。。正面看是X16槽，背面却只有四分之一有引脚。后面都是空的。。。...
您是当我硬件小白了，手中设备和主板不小于20台[偷笑]目前测试的这两端都是ITX主板，Z370和B365，PCI-E插槽转M2可以跑3000多M，中间还换过E5 V3平台，仍然是只能20G，不解 nn1122 发表于 2023-11-17 14:23
对，就是这个情况，win下的驱动我也更新了的，iperf仍然在19-22G左右
所以是系统的锅？要不两端都安装Win Server的系统测试一下 xajh20058 发表于 2023-11-17 17:18
所以是系统的锅？要不两端都安装Win Server的系统测试一下
两端server2022也试过，仍然20g，貌似咸鱼这cx314A卡没有人装机试过，搜遍谷歌也鲜有信息，官网固件也比卡的固件要旧点 nn1122 发表于 2023-11-17 17:43
两端server2022也试过，仍然20g，貌似咸鱼这cx314A卡没有人装机试过，搜遍谷歌也鲜有信息，官网固件也比 ...
B站钱韦德用mcx314在两端server 2022 的情况下，传输文件差不多可以达到3.4G/s，你可以区看看。 看看网卡多队列功能打开了没 zxy2001 发表于 2023-11-17 16:45
你这个Win11 的ISO 文件太小了，2~3秒就完了。。。。有拷贝几十个G的 大文件的速度截图么？ ...
机器早放公司去了，而且内存太小缓存不了几十g的数据[困惑]主要是打算用来提升4k碎文件用的，没有配太多内存。 nn1122 发表于 2023-11-17 14:18
刚刚用hwinfo看了，PCI-E总线下的x16总线都只有一个cx314a设备，版本3.0，速度x8，-P我都加到20了，仍然 ...
改下网卡属性试试看吧，可以参考下这个帖子的这一楼内容：https://www.chiphell.com/forum.php?mod=redirect&goto=findpost&ptid=2458976&pid=53103620 xajh20058 发表于 2023-11-17 18:18
B站钱韦德用mcx314在两端server 2022 的情况下，传输文件差不多可以达到3.4G/s，你可以区看看。 ...
这视频看过，似乎是没经过设置，直接跑接近40G，而我这个无论怎么折腾，都只有20G[流汗] 巨型帧开了吗？两端都要开mtu9000 weindy 发表于 2023-11-17 18:50
改下网卡属性试试看吧，可以参考下这个帖子的这一楼内容：https://www.chiphell.com/forum.php?mod=redir ...
今天我有测试改巨帧9000，效果基本差不多，这问题已经困扰我一周多了[流汗] aixunxian 发表于 2023-11-17 20:36
巨型帧开了吗？两端都要开mtu9000
开了，今下午刚测试过，无效 nn1122 发表于 2023-11-17 20:43
开了，今下午刚测试过，无效
网卡配置里面那些什么中断节流，中断仲裁都关了看看 aixunxian 发表于 2023-11-17 20:45
网卡配置里面那些什么中断节流，中断仲裁都关了看看
感谢我明天来研究一下 感觉还是模块的问题