IChicken 发表于 2023-8-22 23:59

(已解决)544FLR网卡怎么用IB模式连接

本帖最后由 IChicken 于 2023-8-23 22:22 编辑

解决方法:
安装驱动和MFT后,用powershell把opensm打开就行了


static/image/hrline/1.gif

两台电脑上的544FLR用AOC线直连,都安装了驱动。用以太网模式可以正常使用,把接口协议改成IB模式后就显示网络电缆被拔出。


以太网模式可以正常使用

用命令行把PORT1的协议改为IB

设备管理器重启网卡后,网络适配器中的两个HP 10Gb 2-port 544FLR-QSFP Ethernet Adapter中的一个变成了HP 10Gb 2-port 544FLR-QSFP IPoIB Adapter,但显示电缆被拔出,网卡上的指示灯也熄灭了。

把另一台电脑接口协议也改成IB后网卡上的LINK灯亮起,但依然显示电缆被拔出。


我的直连线是Finisar FCBG410QB1C10,查过是支持IB模式的。这是怎么回事?是线有问题吗?

aaronlong 发表于 2023-8-23 00:04

我记得要先刷固件,然后检查设备管理器中的系统设备里有544的PORTOCOL里设置IB还是ETH还是AUTO

zxy2001 发表于 2023-8-23 00:06

用IB模式 能跑56G?另外问一下 AOC线 热么? 我用5米的DAC线 搭配544+

今晚大老虎 发表于 2023-8-23 00:22

544+FLR用IB组网首先要有一个IB的交换机, 如果你是直连的话,你需要自建一个特殊的server, 具体你要翻一下文档. IB已经是淘汰的技术了,现在nVidia都不怎么支持了. 我最后还是用Eth模式了, 这样最方便.

IChicken 发表于 2023-8-23 00:34

zxy2001 发表于 2023-8-23 00:06
用IB模式 能跑56G?另外问一下 AOC线 热么? 我用5米的DAC线 搭配544+

40g我就满足了,544flr以太网模式只能跑10g。线本身应该不热,给网卡做好散热就行。

IChicken 发表于 2023-8-23 00:40

今晚大老虎 发表于 2023-8-23 00:22
544+FLR用IB组网首先要有一个IB的交换机, 如果你是直连的话,你需要自建一个特殊的server, 具体你要翻一下文 ...

我的是544flr没有+,也是一样吗?我想知道link灯亮了是不是代表我的线支持IB?
eth只能跑10g,还不如买x540t2算了,线还便宜。当时闲鱼看到这个40g网卡这么便宜以为捡了个漏,结果都是坑,唉。

zxy2001 发表于 2023-8-23 01:30

544+ 100块一对全新的,转接口15一个,DAC线倒是要85块。。。要跑40G 还要搭配Win Server OS[晕倒]

weindy 发表于 2023-8-23 01:40

本帖最后由 weindy 于 2023-8-23 01:53 编辑

重要提示:上车544网卡的尽量避免649283、661687、655691三个料号,这三个料号是10g的卡。

544+跑不了40g,跟是否ib模式没有关系,楼主先检查自己的料号吧,就贴在第一个端口上面。

买的时候认准764285的料号肯定没问题。如果不是支持ib的交换机,就算单拿一台windows机器跑openSM作为ib server端,性能也是不如以太网模式。用旧内核的linux系统当server端,性能也不会比以太网强,因为支持ib的交换机有单独芯片负责数据包交换。

老饭 发表于 2023-8-23 02:10

换DAC试试

wxlg1117 发表于 2023-8-23 02:29

跑IB需要一个ib server端

今晚大老虎 发表于 2023-8-23 04:39

本帖最后由 今晚大老虎 于 2023-8-23 04:41 编辑

我的是544+, 用DAC线缆和光纤用ETH模式直连时, iperf3测速能跑到40G, 不过实际写入的时候没有那么高, 和服务器配置有关.

IChicken 发表于 2023-8-23 11:21

weindy 发表于 2023-8-23 01:40
重要提示:上车544网卡的尽量避免649283、661687、655691三个料号,这三个料号是10g的卡。

544+跑不了40g ...

所以我是被闲鱼卖家骗了?

IChicken 发表于 2023-8-23 11:25

weindy 发表于 2023-8-23 01:40
重要提示:上车544网卡的尽量避免649283、661687、655691三个料号,这三个料号是10g的卡。

544+跑不了40g ...

https://www.chiphell.com/forum.php?mod=viewthread&tid=2264463&ordertype=1
还有这个帖子也说支持40G
649283-B21 双口QSFP+ 10G/40G,eth/ib,544FLR-QSFP,Mellanox Connectx-3

weindy 发表于 2023-8-23 13:29

没试过别的料号的卡,不知道卖家说的真假。可以先开openSM试试有没有40g的链接速度,具体可以开翻译看https://np2lkoo.hatenablog.com/entry/2020/03/28/120730
公司没有这卡,有不明白的晚上回去可以具体给您演示下[傻笑]

IChicken 发表于 2023-8-23 14:18

weindy 发表于 2023-8-23 13:29
没试过别的料号的卡,不知道卖家说的真假。可以先开openSM试试有没有40g的链接速度,具体可以开翻译看https ...

好的,我去试试

aixunxian 发表于 2023-8-23 16:31

你两台都是win的设备么?装好MFT,用管理员模式运行PowerShell。键盘敲opensm这六个字母回车再重启下电脑应该就可以识别了

2tmd12 发表于 2023-8-23 18:52

版本firmware 更新了吗.我手上两个544+flr一样ib 识别不了,起了 opensm 不行,升级5700 固件解决

Xp47 发表于 2023-8-23 21:14

试试bios设置了然后去找hp的vpi-eth-ib补丁

IChicken 发表于 2023-8-23 22:10

weindy 发表于 2023-8-23 13:29
没试过别的料号的卡,不知道卖家说的真假。可以先开openSM试试有没有40g的链接速度,具体可以开翻译看https ...

成功了,打开opensm就可以了,非常感谢

IChicken 发表于 2023-8-23 22:18

aixunxian 发表于 2023-8-23 16:31
你两台都是win的设备么?装好MFT,用管理员模式运行PowerShell。键盘敲opensm这六个字母回车再重启下电脑应 ...

对的,打开opensm后不用重启就识别了

a613271 发表于 2024-2-13 01:59

weindy 发表于 2023-8-23 13:29
没试过别的料号的卡,不知道卖家说的真假。可以先开openSM试试有没有40g的链接速度,具体可以开翻译看https ...

大佬你好,544+flr 和314a 为啥显示10g 线是qsfp+aoc 插槽都是pcie 8.0 x 8

weindy 发表于 2024-2-13 13:02

a613271 发表于 2024-2-13 01:59
大佬你好,544+flr 和314a 为啥显示10g 线是qsfp+aoc 插槽都是pcie 8.0 x 8

额不是大佬。。本坛的大佬都玩腻40g交换机了。。[流汗]
言归正传,win11显示网卡速率有bug,按速率最小值显示的,比如万兆只显示1410m,不用管。只要测速正常就行了[傻笑]

a613271 发表于 2024-2-13 21:36

weindy 发表于 2024-2-13 13:02
额不是大佬。。本坛的大佬都玩腻40g交换机了。。
言归正传,win11显示网卡速率有bug,按速率最小值显示的 ...

但是服务器上显示也是10g测速也是10g的速度

aixunxian 发表于 2024-2-13 21:50

a613271 发表于 2024-2-13 21:36
但是服务器上显示也是10g测速也是10g的速度

你这个是只协商到10G速率。40G会显示40G的

a613271 发表于 2024-2-13 22:07

aixunxian 发表于 2024-2-13 21:50
你这个是只协商到10G速率。40G会显示40G的

大佬请赐教

aixunxian 发表于 2024-2-13 23:36

a613271 发表于 2024-2-13 22:07
大佬请赐教

检查你的线,和光模块是否支持40G。

a613271 发表于 2024-2-14 00:10

aixunxian 发表于 2024-2-13 23:36
检查你的线,和光模块是否支持40G。

两根都是小黄鱼买的qsfp+aoc 40g

aixunxian 发表于 2024-2-14 00:34

本帖最后由 aixunxian 于 2024-2-14 00:54 编辑

a613271 发表于 2024-2-14 00:10
两根都是小黄鱼买的qsfp+aoc 40g

有尝试过换其他的线试试吗?有可能是线的兼容问题,cx3这个卡太老了,MFT很多命令不支持。想查看连接都没法看。
cx4以上可以使用下面这个命令来查看当前连接状态,cx3你输这个命令它会提示你设备不支持。
mlxlink -d 设备名


你试试这个命令,强制指定速率为40G看看,我不确定cx3能用。但是在我这张cx6上面是可以用的

mlxlink -d mt4103_pci_cr0 --speeds 40G

还有一个方法测试,就是你用那根AOC线两头都接在同一张网卡port1和port2上形成环路。看看能不能协商到40G

a613271 发表于 2024-2-14 02:25

aixunxian 发表于 2024-2-14 00:34
有尝试过换其他的线试试吗?有可能是线的兼容问题,cx3这个卡太老了,MFT很多命令不支持。想查看连接都没 ...

找到问题了,服务器上的314a 是10g,我刷个固件试试

weindy 发表于 2024-2-14 13:33

a613271 发表于 2024-2-14 02:25
找到问题了,服务器上的314a 是10g,我刷个固件试试

固件一方面,也有小概率可能金手指有氧化接触不好,还有概率极低的卡上污渍导致原件触点短路。。软件层面解决不了就从硬件层面排查一下试试吧
页: [1] 2
查看完整版本: (已解决)544FLR网卡怎么用IB模式连接