HP 544flr++的这个参数是什么意思？

kouqin

544flr++双卡均插在PCI-E 3.0 x16上，通过DAC 40Gbps线Windows server 2019直连，怎么测试都是38Gbps的速度，实测文件拷贝3.5GB/s左右。这卡是PCI-e 3.0 x8的，但现在看来都是PCI-e 3.0 x4的结果，问题在哪里呢？ ibv_devinfo -v 显示有这样一个参数 active_width:4X (2)，这是双口卡，莫非3.0 x8=3.0 x4 + 3.0 x4 ?

1. PS C:\Users\Administrator> ibv_devinfo -v
   
2. hca_id: ibv_device0
   
3.         fw_ver:                         2.40.5030
   
4.         node_guid:                      e007:1bff:ff7f:2fe0
   
5.         sys_image_guid:                 e007:1bff:ff7f:2fe3
   
6.         vendor_id:                      0x02c9
   
7.         vendor_part_id:                 4103
   
8.         hw_ver:                         0x0
   
9.         phys_port_cnt:                  2
   
10.         max_mr_size:                    0xffffffffffffffff
    
11.         page_size_cap:                  0x1000
    
12.         max_qp:                         982976
    
13.         max_qp_wr:                      16351
    
14.         device_cap_flags:               0x00005876
    
15.         max_sge:                        32
    
16.         max_sge_rd:                     0
    
17.         max_cq:                         524160
    
18.         max_cqe:                        4194303
    
19.         max_mr:                         524032
    
20.         max_pd:                         32764
    
21.         max_qp_rd_atom:                 16
    
22.         max_ee_rd_atom:                 0
    
23.         max_res_rd_atom:                0
    
24.         max_qp_init_rd_atom:            128
    
25.         max_ee_init_rd_atom:            0
    
26.         atomic_cap:                     ATOMIC_HCA (1)
    
27.         max_ee:                         0
    
28.         max_rdd:                        0
    
29.         max_mw:                         0
    
30.         max_raw_ipv6_qp:                0
    
31.         max_raw_ethy_qp:                0
    
32.         max_mcast_grp:                  8192
    
33.         max_mcast_qp_attach:            244
    
34.         max_total_mcast_qp_attach:      1998848
    
35.         max_ah:                         0
    
36.         max_fmr:                        0
    
37.         max_srq:                        65472
    
38.         max_srq_wr:                     16383
    
39.         max_srq_sge:                    31
    
40.         max_pkeys:                      128
    
41.         local_ca_ack_delay:             15
    
42.                 port:   1
    
43.                         state:                  PORT_ACTIVE (4)
    
44.                         max_mtu:                2048 (4)
    
45.                         active_mtu:             1024 (3)
    
46.                         sm_lid:                 0
    
47.                         port_lid:               0
    
48.                         port_lmc:               0x00
    
49.                         transport:              RoCE v2.0
    
50.                         max_msg_sz:             0x40000000
    
51.                         port_cap_flags:         0x00005080
    
52.                         max_vl_num:             2 (2)
    
53.                         bad_pkey_cntr:          0x0
    
54.                         qkey_viol_cntr:         0x0
    
55.                         sm_sl:                  0
    
56.                         pkey_tbl_len:           1
    
57.                         gid_tbl_len:            128
    
58.                         subnet_timeout:         0
    
59.                         init_type_reply:        0
    
60.                         active_width:           4X (2)
    
61.                         active_speed:           2.5 Gbps (1)
    
62.                         phys_state:             LINK_UP (5)
    
63.                         GID[  0]:               0000:0000:0000:0000:0000:ffff:0101:0104
    
64.                         GID[  1]:               fe80:0000:0000:0000:4980:6381:e7fc:3bb7
    
65. 
    
66.                 port:   2
    
67.                         state:                  PORT_ACTIVE (4)
    
68.                         max_mtu:                2048 (4)
    
69.                         active_mtu:             1024 (3)
    
70.                         sm_lid:                 0
    
71.                         port_lid:               0
    
72.                         port_lmc:               0x00
    
73.                         transport:              RoCE v2.0
    
74.                         max_msg_sz:             0x40000000
    
75.                         port_cap_flags:         0x00005080
    
76.                         max_vl_num:             2 (2)
    
77.                         bad_pkey_cntr:          0x0
    
78.                         qkey_viol_cntr:         0x0
    
79.                         sm_sl:                  0
    
80.                         pkey_tbl_len:           1
    
81.                         gid_tbl_len:            128
    
82.                         subnet_timeout:         0
    
83.                         init_type_reply:        0
    
84.                         active_width:           4X (2)
    
85.                         active_speed:           2.5 Gbps (1)
    
86.                         phys_state:             LINK_UP (5)
    
87.                         GID[  0]:               0000:0000:0000:0000:0000:ffff:0101:0105
    
88.                         GID[  1]:               fe80:0000:0000:0000:0056:45f1:a16c:defc

复制代码

D:\iperf>iperf.exe -c 1.1.1.1 -w 1m -t 30 -P 8
------------------------------------------------------------
Client connecting to 1.1.1.1, TCP port 5001
TCP window size: 1.00 MByte
------------------------------------------------------------
[ 10] local 1.1.1.3 port 50760 connected with 1.1.1.1 port 5001
[  9] local 1.1.1.3 port 50759 connected with 1.1.1.1 port 5001
[  5] local 1.1.1.3 port 50755 connected with 1.1.1.1 port 5001
[  7] local 1.1.1.3 port 50757 connected with 1.1.1.1 port 5001
[  4] local 1.1.1.3 port 50754 connected with 1.1.1.1 port 5001
[  8] local 1.1.1.3 port 50758 connected with 1.1.1.1 port 5001
[  3] local 1.1.1.3 port 50753 connected with 1.1.1.1 port 5001
[  6] local 1.1.1.3 port 50756 connected with 1.1.1.1 port 5001
[ ID] Interval       Transfer     Bandwidth
[ 10]  0.0-30.0 sec  16.5 GBytes  4.72 Gbits/sec
[  9]  0.0-30.0 sec  16.5 GBytes  4.73 Gbits/sec
[  5]  0.0-30.0 sec  16.7 GBytes  4.77 Gbits/sec
[  7]  0.0-30.0 sec  16.4 GBytes  4.69 Gbits/sec
[  4]  0.0-30.0 sec  16.5 GBytes  4.73 Gbits/sec
[  8]  0.0-30.0 sec  16.5 GBytes  4.72 Gbits/sec
[  3]  0.0-30.0 sec  16.6 GBytes  4.76 Gbits/sec
[  6]  0.0-30.0 sec  16.5 GBytes  4.73 Gbits/sec
[SUM]  0.0-30.0 sec   132 GBytes  37.9 Gbits/sec

Nospel

文件拷贝速度可能是资源管理器瓶颈。试试fastcopy这类第三方的

kouqin

Nospel 发表于 2024-1-24 15:36
文件拷贝速度可能是资源管理器瓶颈。试试fastcopy这类第三方的

好吧，谢谢。用robocopy会稍高点，但也达不到x8的速度。

找到这个贴：https://www.chiphell.com/thread-2545417-1-1.html

icyboy

对于40G网卡来说iperf测试成绩正常  当然这卡能56G 论坛里面有人分享了固件
复制速度要上去 交换机开jumbo frame 也就是MTU值默认1500调大 一般9000
剩下的就是内存至少满足双通道 PCIE带宽充足 硬盘给力……

+的这个参数 没有的话 是 eth10G   IB 40G的型号 544flr PN 649283-B21
矿热时候有人拿来冒充过HP 544flr+ 国外论坛也有人碰到拿来冒充40G的

D:\iperf2>iperf-2.0.13-win.exe -c 192.168.4.202 -p 5005 -t 180 -P 10
------------------------------------------------------------
Client connecting to 192.168.4.202, TCP port 5005
TCP window size: 2.00 MByte (default)
------------------------------------------------------------
[536] local 192.168.4.81 port 57190 connected with 192.168.4.202 port 5005
[512] local 192.168.4.81 port 57187 connected with 192.168.4.202 port 5005
[480] local 192.168.4.81 port 57182 connected with 192.168.4.202 port 5005
[504] local 192.168.4.81 port 57186 connected with 192.168.4.202 port 5005
[500] local 192.168.4.81 port 57185 connected with 192.168.4.202 port 5005
[528] local 192.168.4.81 port 57189 connected with 192.168.4.202 port 5005
[460] local 192.168.4.81 port 57181 connected with 192.168.4.202 port 5005
[484] local 192.168.4.81 port 57183 connected with 192.168.4.202 port 5005
[524] local 192.168.4.81 port 57188 connected with 192.168.4.202 port 5005
[488] local 192.168.4.81 port 57184 connected with 192.168.4.202 port 5005
[ ID] Interval       Transfer     Bandwidth
[536]  0.0-180.0 sec  36.3 GBytes  1.73 Gbits/sec
[512]  0.0-180.0 sec   105 GBytes  5.02 Gbits/sec
[480]  0.0-180.0 sec   104 GBytes  4.97 Gbits/sec
[504]  0.0-180.0 sec   108 GBytes  5.14 Gbits/sec
[500]  0.0-180.0 sec   102 GBytes  4.89 Gbits/sec
[528]  0.0-180.0 sec   126 GBytes  6.00 Gbits/sec
[460]  0.0-180.0 sec  21.6 GBytes  1.03 Gbits/sec
[484]  0.0-180.0 sec  27.3 GBytes  1.31 Gbits/sec
[524]  0.0-180.0 sec  48.0 GBytes  2.29 Gbits/sec
[488]  0.0-180.0 sec   105 GBytes  5.00 Gbits/sec
[SUM]  0.0-180.0 sec   783 GBytes  37.4 Gbits/sec

100G的CX455A 有人跑到96G 我这就只到85G 服务器平台CPU主频一般……

kouqin

icyboy 发表于 2024-1-24 15:57
对于40G网卡来说iperf测试成绩正常  当然这卡能56G 论坛里面有人分享了固件
复制速度要上去 交换机开jumbo  ...

我的疑惑是：

这是3.0 x8的卡，驱动信息等也显示是x8。

这卡是双口，我单独测一个口，37Gbps，双口开测也是37Gbps，双口不应该是37 * 2 = 74Gbps吗？如果不是，那就是说单口只是工作在3.0 x4的状态。也就是ibv_devinfo里看到的那个X4意思？

TachyonG

active_width在port下面的话应该是指激活了四条sfp+通道，qsfp+的40g本来就是由四条SFP+组成的，width为1就是10g，4就是40g

kouqin

TachyonG 发表于 2024-1-24 17:28
active_width在port下面的话应该是指激活了四条sfp+通道，qsfp+的40g本来就是由四条SFP+组成的，width为1就 ...

哦，原来如此。

那这个544flr++双端口的极限速度应就是40Gbps，而不是2个端口加起来的80Gbps？

如果两个端口一起使用的话，每个端口就是20Gbps？

我之前理解最高是80Gbps，NIC teaming的话根本达不到这个速度。

kouqin

XiaoFaye 发表于 2024-1-24 17:51
服务器双口卡都是备份用途，防止其中一个坏了断网，不是让你双口跑满的。。。 ...

好的，理解了，谢谢各位。我还以为40Gbps的双口卡PCI-e 3.0 x8真能跑出x8的极限速度呢。哈哈！

happysun110

kouqin 发表于 2024-1-24 17:58
好的，理解了，谢谢各位。我还以为40Gbps的双口卡PCI-e 3.0 x8真能跑出x8的极限速度呢。哈哈！ ...

pcie3.0 8x 的极限也就是64g而已，离40g x 2 = 80g 还差很远，这意味着肯定跑不到pcie3.0 8x 的极限。

但你只用一个口的话，跑出 40g （或者56g）的极限还是可以的。我测试过，40g连接下iperf2能跑出37.7g，56g连接下能跑出48g。做不到那种极其接近40g或者56g。

但100g网卡我测试过，真的能跑出来99.xg，非常非常接近100g。

原因不清楚。

weindy

毕竟40g是很早以前的老芯片卡了，而且是聚合方式交换带宽的，损耗大点正常，现在能玩上也是托了大面积淘汰的福。100g的卡交换芯片功能更强，跑不到极其接近理论值会被另外两家对手反超的

死也要爱钱

flr544是cx3芯片的10G卡，flr544+是cx3pro的40G卡

happysun110

weindy 发表于 2024-1-24 18:49
毕竟40g是很早以前的老芯片卡了，而且是聚合方式交换带宽的，损耗大点正常，现在能玩上也是托了大面积淘汰 ...

有道理。

100g网卡是cx6，应该改进很多了。

kouqin

weindy 发表于 2024-1-24 18:49
毕竟40g是很早以前的老芯片卡了，而且是聚合方式交换带宽的，损耗大点正常，现在能玩上也是托了大面积淘汰 ...

问一下，你之前Windows资源管理器拷贝速度达到4.98GB/s的那套配置是什么？

https://www.chiphell.com/forum.p ... 32&pid=53373842

weindy

kouqin 发表于 2024-1-25 08:50
问一下，你之前Windows资源管理器拷贝速度达到4.98GB/s的那套配置是什么？

https://www.chiphell.com/fo ...

服务端server2022是个z370+e2276的魔改u老平台，客户端是win11专业工作站版，z390+9900k。
其实要尽量跑满带宽除了用全闪，还有个低成本方案就是硬盘stablebit合盘+primo cache一缓+傲腾M10做二缓纯读，只要不爆设置的内存缓存大小，资源管理器大文件都能跑4g+的速度，碎文件也在百兆以上，fastcopy能更好点。就是硬盘尽量别用14t以下的老盘了，stablebit分布读写时候老盘会拖后腿。

寒风凛冽

weindy 发表于 2024-1-25 20:55
服务端server2022是个z370+e2276的魔改u老平台，客户端是win11专业工作站版，z390+9900k。
其实要尽量跑 ...

学习了

kouqin

weindy 发表于 2024-1-25 20:55
服务端server2022是个z370+e2276的魔改u老平台，客户端是win11专业工作站版，z390+9900k。
其实要尽量跑 ...

好的，谢谢。

soonco

happysun110 发表于 2024-1-24 18:25
pcie3.0 8x 的极限也就是64g而已，离40g x 2 = 80g 还差很远，这意味着肯定跑不到pcie3.0 8x 的极限。

...

买啥dac的线材呢，1米左右所有支持40的都可以上到56么