【求助】40G网卡ConnectX3 MCX345A-FCB win11无法使用

zhuwe123

最近购买两张MCX345A-FCB双40G网口的网卡，准备PC机器和黑群晖直连，遇到个问题。

首先两个卡都刷到了最新固件，2.42.5000，网卡也都切换到ETH模式。温度我也看了一下最高的也才57度左右。

现象是windows11和黑群晖网卡都能正常识别没任何问题，一旦连接直连线，windows的网卡就一直闪断，一会禁用一会启用一会获取ip，不停地刷新根本没办法使用。

windows侧是插到了pcie4.0*4的接口，应该也是跑在3.0*4。
黑群晖是pcie3.0*4的接口。

windows事件一直报错重启：

1. 
   
2. Restart Mellanox ConnectX-3 Ethernet Adapter #2 as a result of error that was reported by sensors 0x40000
   
3. Self healing state:
   
4.         Restarts count: 8
   

复制代码

网卡模式信息：

1. 
   
2. mlxconfig -d mt4099_pci_cr0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2
   
3. 
   
4. Device #1:
   
5. ----------
   
6. Device type:    ConnectX3
   
7. Device:         mt4099_pci_cr0
   
8. 
   
9. Configurations:                              Next Boot       New
   
10.          LINK_TYPE_P1                        ETH(2)          ETH(2)
    
11.          LINK_TYPE_P2                        ETH(2)          ETH(2)
    

复制代码

网卡固件：

1. 
   
2. mlxfwmanager
   
3. Querying Mellanox devices firmware ...
   
4. 
   
5. Device #1:
   
6. ----------
   
7. 
   
8.   Device Type:      ConnectX3
   
9.   Part Number:      MCX354A-FCB_A2-A5
   
10.   Description:      ConnectX-3 VPI adapter card; dual-port QSFP; FDR IB (56Gb/s) and 40GigE; PCIe3.0 x8 8GT/s; RoHS R6
    
11.   PSID:             MT_1090120019
    
12.   PCI Device Name:  mt4099_pci_cr0
    
13.   Port1 MAC:        0002c9426b60
    
14.   Port2 MAC:        0002c9426b61
    
15.   Versions:         Current        Available
    
16.      FW             2.42.5000      N/A
    
17.      PXE            3.4.0752       N/A
    
18. 
    
19.   Status:           No matching image found
    

复制代码

Juzi丶

换cx4               

zhuwe123

Juzi丶 发表于 2024-12-13 10:58
换cx4

Cx3是有啥问题吗，我CX4的只有25G

happysun110

你先写死ip地址试试。不要dhcp。按说你直连应该智能写死固定ip啊

我用的是 hp544+，cx3 pro，windows11下没问题，我用的是windows 11 ltsc 2024版本，自带驱动。

aixunxian

有没有考虑过换条线？换个光模块呢，排除法应该都试一试

ssl0008

直连的话本来就没dhcp服务，两边都获取不到ip
我的做法是群晖所在的服务器在pve里开sriov，虚拟了一个卵路由出来分配ip

q3again0605

模块和线插拔一下，确定插稳了，光纤头擦干净。直连你需要给定IP地址。

zhuwe123

直连的 我直接用的dac的直连线，都没到ip阶段，分配的都是静态ip，就是不行。感觉是windows一直在检测出错误就给网络重启了。

happysun110

你的网卡是不是双头的？如果是的话，先自己接自己试一下，看看还报错不。就是线从网卡的一个口接到另外一个口，你设置固定ip地址，正常是可以ping通的。

两个机器的网卡都这么验证一下，看是什么情况。

声色茶马

CPU禁用小核试试，著名锅。

zhuwe123

happysun110 发表于 2024-12-13 12:57
你的网卡是不是双头的？如果是的话，先自己接自己试一下，看看还报错不。就是线从网卡的一个口接到另外一个 ...

没想过还能这么测试，那我看看

zhuwe123

声色茶马 发表于 2024-12-13 12:59
CPU禁用小核试试，著名锅。

还有这个锅？？和小核还有关系啊，有什么出处吗

tide~

连接直连线，windows的网卡就一直闪断，一会禁用一会启用一会获取ip

前阵子我两台电脑直联也出这个，1.0G <---> 2.5G，最后自己降到100M才不闪了；
重新插拔2侧水晶头多次，终于回到1.0G上了；
奇怪，稳定用了几个月才出现的，IP早设好了，不知道哪边接触不好了，索性换了山泽超细超6类，感觉插头处间隙配合更好了点-能卡更紧 - 可能心理作用，目前还稳；（下次买带屏蔽的玩玩，我网线要过显示器、功放、音箱等设备）