fyc858 发表于 2023-11-17 21:08
感觉还是模块的问题
我是一步一步排查的，先买的华为模块，两端不亮，后来买了根DAC，牌子是 Delta，这次两端亮了速率成功40G，但iperf只有20G。再买了两个Finisar模块，光纤线也买了根MPO OM3 12芯的，之前是8芯的，然后测试发现8芯的MPO OM3与Finisar模块兼容，两端成功握手40G，但但iperf也只有20G。今天下单了两块便宜的HP 544那个网卡，看看有没有问题，HP 544是公认的能跑以太网40G
nn1122 发表于 2023-11-17 20:46
感谢我明天来研究一下
还有测速你换成iperf2来测，iperf3多线程不行
aixunxian 发表于 2023-11-17 21:57
还有测速你换成iperf2来测，iperf3多线程不行
感谢这个提醒，我还用了微软ethr也测试了，包括多线程，还是20G左右[流汗]
smb特性就这样了。。多通道，rmda都正常开启的话理论是40g，实际复制粘贴大文件，持续速度3g左右吧。碎文件速度都上不去，慢的要死，目前各类文件系统的瓶颈就是碎文件了。
换个服务器板子试试
手上有没有现在版本的固件备份下，我一块354A也是这个毛病，刷官网最后一版固件就好了
wdk23411 发表于 2023-11-21 10:07
手上有没有现在版本的固件备份下，我一块354A也是这个毛病，刷官网最后一版固件就好了 ...
我这几块卡，固件版本都不一样，奇葩的是有一块卡比官网固件版本号还要高[流汗]
cdm 直接测试远程磁盘的读写可以到多少？
Dolfin 发表于 2023-11-21 11:41
cdm 直接测试远程磁盘的读写可以到多少？
均只能2200M左右，后面换linux测试下
往往问题不会那么复杂，换个光口换个卡试试，mellanox的卡在win下连驱动都可以不装，什么设置默认，跑起来都没问题
linux的理论性能应该高一点。。实在不行用iSCSI挂本地用算了[震惊]
Dolfin 发表于 2023-11-21 13:47
往往问题不会那么复杂，换个光口换个卡试试，mellanox的卡在win下连驱动都可以不装，什么设置默认，跑起来 ...
实际我也测试了HP 544那个卡，两端server 2022都能直接认出，但也只能跑22g左右
我这两天也遇到了……
卡是CX4421，25Gbps的，两个SR-IOV直通的虚拟机之间测速只有12.5Gbps
插上线测，两台物理机之间是14Gbps
很奇怪
我之前也是hp544+，一端win11专业工作站版， 一端win server 2022 ，也是只能跑到22g，偶尔还会rdma失效，前段时间win11这边主板更了bios hp544+不能用了，换了mcx4121
主机 hp544+ ——》SX6012——》CX456ANAS IPER多线程测速只能到22Gbps
主机 hp544+ 《——SX6012《——CX456ANAS IPER多线程测速只能到32Gbps
改用NTTTCP测速，两边都能跑满39Gbps
改用nd_read_bw和nd_write_bw自带的RDMA测速，两边都能跑满39Gbps
playclan 发表于 2023-11-21 20:08
我之前也是hp544+，一端win11专业工作站版， 一端win server 2022 ，也是只能跑到22g，偶尔还会rdma失效， ...
确实奇葩，我也遇到了rdma失效的现象，CPU会突发到100%[流汗]
rx_78gp02a 发表于 2023-11-21 20:27
主机 hp544+ ——》SX6012——》CX456ANAS IPER多线程测速只能到22Gbps
主机 hp544+ 《——SX6012 ...
感谢你宝贵的经验，终于看到了希望，抽空来试一下[流泪]
ntttcp试了好几次，一直稳定40G，而且参数m从4加到8和参数P从1加到8，基本没区别，通过交换机连的两张网卡都是HP 544+两边都是WIN 2019两边都用的随便买的DAC线。
nn1122 发表于 2023-11-21 22:30
感谢你宝贵的经验，终于看到了希望，抽空来试一下
楼主我感觉你那还是系统或驱动的问题，要不就是DAC线或模块不对，先试试正规的二手拆机DAC线或模块吧。有时全新的山寨真不如二手原装。。。
不用纠结，win下基本就22G，前后折腾了很久，不是只有你一个人这样。换原厂线刷魔改固件变成56G后，用iperf各种测试各种修改参数，最终的也就35G、36G左右。
aaronlong 发表于 2023-11-22 09:43
楼主我感觉你那还是系统或驱动的问题，要不就是DAC线或模块不对，先试试正规的二手拆机DAC线或模块吧。有 ...
纠正下我开头的描述，DELTA的AOC线和finisar的模块+mpo光纤都试过了，都是同样的效果，看楼上有朋友有同样的情况，所以我觉得更像是win平台的极限了
aaronlong 发表于 2023-11-22 09:29
ntttcp试了好几次，一直稳定40G，而且参数m从4加到8和参数P从1加到8，基本没区别，通过交换机连的两张网卡 ...
再问下，双机网卡直连您测试过没有
看下是不是内存带宽限制
nn1122 发表于 2023-11-22 10:18
再问下，双机网卡直连您测试过没有
测过，比用交换机更快。
Satan023 发表于 2023-11-22 10:36
看下是不是内存带宽限制
非常感谢，就是内存的原因，我之前双机都只插了一根内存，现在两端都换成了2x32G DDR4，现在测试40G跑满，就是内存带宽不足的原因[傻笑]
aaronlong 发表于 2023-11-22 15:54
测过，比用交换机更快。
原因找到了，是内存带宽问题，现在两端都换成了2x32G DDR4，测试40G跑满，SMB多线程也OK
weindy 发表于 2023-11-17 18:50
改下网卡属性试试看吧，可以参考下这个帖子的这一楼内容：https://www.chiphell.com/forum.php?mod=redir ...
两端机器升级内存为2x32G后，40G可跑满，应该是之前内存单通道带宽不足的问题
RDMA就是直接怼对方内存，所以跑40G就得要64G以上内存。。。
nn1122 发表于 2023-11-23 10:58
原因找到了，是内存带宽问题，现在两端都换成了2x32G DDR4，测试40G跑满，SMB多线程也OK ...
啊内存问题？可我是一端双通d5 7600，一端八通d4 2666啊
playclan 发表于 2023-11-23 13:09
啊内存问题？可我是一端双通d5 7600，一端八通d4 2666啊
我也感觉不是内存的问题，我两端都是 四通道 D42666