HP 544flr++的这个参数是什么意思？
544flr++双卡均插在PCI-E 3.0 x16上，通过DAC 40Gbps线Windows server 2019直连，怎么测试都是38Gbps的速度，实测文件拷贝3.5GB/s左右。这卡是PCI-e 3.0 x8的，但现在看来都是PCI-e 3.0 x4的结果，问题在哪里呢？ ibv_devinfo -v 显示有这样一个参数 active_width:4X (2)，这是双口卡，莫非3.0 x8=3.0 x4 + 3.0 x4 ?PS C:\Users\Administrator> ibv_devinfo -v
hca_id: ibv_device0
fw_ver: 2.40.5030
node_guid: e007:1bff:ff7f:2fe0
sys_image_guid: e007:1bff:ff7f:2fe3
vendor_id: 0x02c9
vendor_part_id: 4103
hw_ver: 0x0
phys_port_cnt: 2
max_mr_size: 0xffffffffffffffff
page_size_cap: 0x1000
max_qp: 982976
max_qp_wr: 16351
device_cap_flags: 0x00005876
max_sge: 32
max_sge_rd: 0
max_cq: 524160
max_cqe: 4194303
max_mr: 524032
max_pd: 32764
max_qp_rd_atom: 16
max_ee_rd_atom: 0
max_res_rd_atom: 0
max_qp_init_rd_atom: 128
max_ee_init_rd_atom: 0
atomic_cap: ATOMIC_HCA (1)
max_ee: 0
max_rdd: 0
max_mw: 0
max_raw_ipv6_qp: 0
max_raw_ethy_qp: 0
max_mcast_grp: 8192
max_mcast_qp_attach: 244
max_total_mcast_qp_attach: 1998848
max_ah: 0
max_fmr: 0
max_srq: 65472
max_srq_wr: 16383
max_srq_sge: 31
max_pkeys: 128
local_ca_ack_delay: 15
port: 1
state: PORT_ACTIVE (4)
max_mtu: 2048 (4)
active_mtu: 1024 (3)
sm_lid: 0
port_lid: 0
port_lmc: 0x00
transport: RoCE v2.0
max_msg_sz: 0x40000000
port_cap_flags: 0x00005080
max_vl_num: 2 (2)
bad_pkey_cntr: 0x0
qkey_viol_cntr: 0x0
sm_sl: 0
pkey_tbl_len: 1
gid_tbl_len: 128
subnet_timeout: 0
init_type_reply: 0
active_width: 4X (2)
active_speed: 2.5 Gbps (1)
phys_state: LINK_UP (5)
GID: 0000:0000:0000:0000:0000:ffff:0101:0104
GID: fe80:0000:0000:0000:4980:6381:e7fc:3bb7
port: 2
state: PORT_ACTIVE (4)
max_mtu: 2048 (4)
active_mtu: 1024 (3)
sm_lid: 0
port_lid: 0
port_lmc: 0x00
transport: RoCE v2.0
max_msg_sz: 0x40000000
port_cap_flags: 0x00005080
max_vl_num: 2 (2)
bad_pkey_cntr: 0x0
qkey_viol_cntr: 0x0
sm_sl: 0
pkey_tbl_len: 1
gid_tbl_len: 128
subnet_timeout: 0
init_type_reply: 0
active_width: 4X (2)
active_speed: 2.5 Gbps (1)
phys_state: LINK_UP (5)
GID: 0000:0000:0000:0000:0000:ffff:0101:0105
GID: fe80:0000:0000:0000:0056:45f1:a16c:defc
D:\iperf>iperf.exe -c 1.1.1.1 -w 1m -t 30 -P 8
------------------------------------------------------------
Client connecting to 1.1.1.1, TCP port 5001
TCP window size: 1.00 MByte
------------------------------------------------------------
[ 10] local 1.1.1.3 port 50760 connected with 1.1.1.1 port 5001
local 1.1.1.3 port 50759 connected with 1.1.1.1 port 5001
local 1.1.1.3 port 50755 connected with 1.1.1.1 port 5001
local 1.1.1.3 port 50757 connected with 1.1.1.1 port 5001
local 1.1.1.3 port 50754 connected with 1.1.1.1 port 5001
local 1.1.1.3 port 50758 connected with 1.1.1.1 port 5001
local 1.1.1.3 port 50753 connected with 1.1.1.1 port 5001
local 1.1.1.3 port 50756 connected with 1.1.1.1 port 5001
[ ID] Interval Transfer Bandwidth
[ 10]0.0-30.0 sec16.5 GBytes4.72 Gbits/sec
0.0-30.0 sec16.5 GBytes4.73 Gbits/sec
0.0-30.0 sec16.7 GBytes4.77 Gbits/sec
0.0-30.0 sec16.4 GBytes4.69 Gbits/sec
0.0-30.0 sec16.5 GBytes4.73 Gbits/sec
0.0-30.0 sec16.5 GBytes4.72 Gbits/sec
0.0-30.0 sec16.6 GBytes4.76 Gbits/sec
0.0-30.0 sec16.5 GBytes4.73 Gbits/sec
0.0-30.0 sec 132 GBytes37.9 Gbits/sec
文件拷贝速度可能是资源管理器瓶颈。试试fastcopy这类第三方的 Nospel 发表于 2024-1-24 15:36
文件拷贝速度可能是资源管理器瓶颈。试试fastcopy这类第三方的
好吧，谢谢。用robocopy会稍高点，但也达不到x8的速度。
找到这个贴：https://www.chiphell.com/thread-2545417-1-1.html 本帖最后由 icyboy 于 2024-1-24 16:10 编辑
对于40G网卡来说iperf测试成绩正常当然这卡能56G 论坛里面有人分享了固件
复制速度要上去 交换机开jumbo frame 也就是MTU值默认1500调大 一般9000
剩下的就是内存至少满足双通道 PCIE带宽充足 硬盘给力……
+的这个参数 没有的话 是 eth10G IB 40G的型号 544flr PN 649283-B21
矿热时候有人拿来冒充过HP 544flr+ 国外论坛也有人碰到拿来冒充40G的
D:\iperf2>iperf-2.0.13-win.exe -c 192.168.4.202 -p 5005 -t 180 -P 10
------------------------------------------------------------
Client connecting to 192.168.4.202, TCP port 5005
TCP window size: 2.00 MByte (default)
------------------------------------------------------------
local 192.168.4.81 port 57190 connected with 192.168.4.202 port 5005
local 192.168.4.81 port 57187 connected with 192.168.4.202 port 5005
local 192.168.4.81 port 57182 connected with 192.168.4.202 port 5005
local 192.168.4.81 port 57186 connected with 192.168.4.202 port 5005
local 192.168.4.81 port 57185 connected with 192.168.4.202 port 5005
local 192.168.4.81 port 57189 connected with 192.168.4.202 port 5005
local 192.168.4.81 port 57181 connected with 192.168.4.202 port 5005
local 192.168.4.81 port 57183 connected with 192.168.4.202 port 5005
local 192.168.4.81 port 57188 connected with 192.168.4.202 port 5005
local 192.168.4.81 port 57184 connected with 192.168.4.202 port 5005
[ ID] Interval Transfer Bandwidth
0.0-180.0 sec36.3 GBytes1.73 Gbits/sec
0.0-180.0 sec 105 GBytes5.02 Gbits/sec
0.0-180.0 sec 104 GBytes4.97 Gbits/sec
0.0-180.0 sec 108 GBytes5.14 Gbits/sec
0.0-180.0 sec 102 GBytes4.89 Gbits/sec
0.0-180.0 sec 126 GBytes6.00 Gbits/sec
0.0-180.0 sec21.6 GBytes1.03 Gbits/sec
0.0-180.0 sec27.3 GBytes1.31 Gbits/sec
0.0-180.0 sec48.0 GBytes2.29 Gbits/sec
0.0-180.0 sec 105 GBytes5.00 Gbits/sec
0.0-180.0 sec 783 GBytes37.4 Gbits/sec
100G的CX455A 有人跑到96G 我这就只到85G 服务器平台CPU主频一般……
icyboy 发表于 2024-1-24 15:57
对于40G网卡来说iperf测试成绩正常当然这卡能56G 论坛里面有人分享了固件
复制速度要上去 交换机开jumbo...
我的疑惑是：
这是3.0 x8的卡，驱动信息等也显示是x8。
这卡是双口，我单独测一个口，37Gbps，双口开测也是37Gbps，双口不应该是37 * 2 = 74Gbps吗？如果不是，那就是说单口只是工作在3.0 x4的状态。也就是ibv_devinfo里看到的那个X4意思？ active_width在port下面的话应该是指激活了四条sfp+通道，qsfp+的40g本来就是由四条SFP+组成的，width为1就是10g，4就是40g TachyonG 发表于 2024-1-24 17:28
active_width在port下面的话应该是指激活了四条sfp+通道，qsfp+的40g本来就是由四条SFP+组成的，width为1就 ...
哦，原来如此。
那这个544flr++双端口的极限速度应就是40Gbps，而不是2个端口加起来的80Gbps？
如果两个端口一起使用的话，每个端口就是20Gbps？
我之前理解最高是80Gbps，NIC teaming的话根本达不到这个速度。 XiaoFaye 发表于 2024-1-24 17:51
服务器双口卡都是备份用途，防止其中一个坏了断网，不是让你双口跑满的。。。 ...
好的，理解了，谢谢各位。我还以为40Gbps的双口卡PCI-e 3.0 x8真能跑出x8的极限速度呢。哈哈！ kouqin 发表于 2024-1-24 17:58
好的，理解了，谢谢各位。我还以为40Gbps的双口卡PCI-e 3.0 x8真能跑出x8的极限速度呢。哈哈！ ...
pcie3.0 8x 的极限也就是64g而已，离40g x 2 = 80g 还差很远，这意味着肯定跑不到pcie3.0 8x 的极限。
但你只用一个口的话，跑出 40g （或者56g）的极限还是可以的。我测试过，40g连接下iperf2能跑出37.7g，56g连接下能跑出48g。做不到那种极其接近40g或者56g。
但100g网卡我测试过，真的能跑出来99.xg，非常非常接近100g。
原因不清楚。 毕竟40g是很早以前的老芯片卡了，而且是聚合方式交换带宽的，损耗大点正常，现在能玩上也是托了大面积淘汰的福。100g的卡交换芯片功能更强，跑不到极其接近理论值会被另外两家对手反超的 flr544是cx3芯片的10G卡，flr544+是cx3pro的40G卡 weindy 发表于 2024-1-24 18:49
毕竟40g是很早以前的老芯片卡了，而且是聚合方式交换带宽的，损耗大点正常，现在能玩上也是托了大面积淘汰 ...
有道理。
100g网卡是cx6，应该改进很多了。 weindy 发表于 2024-1-24 18:49
毕竟40g是很早以前的老芯片卡了，而且是聚合方式交换带宽的，损耗大点正常，现在能玩上也是托了大面积淘汰 ...
问一下，你之前Windows资源管理器拷贝速度达到4.98GB/s的那套配置是什么？
https://www.chiphell.com/forum.php?mod=redirect&goto=findpost&ptid=2518832&pid=53373842 本帖最后由 weindy 于 2024-1-25 21:06 编辑
kouqin 发表于 2024-1-25 08:50
问一下，你之前Windows资源管理器拷贝速度达到4.98GB/s的那套配置是什么？
https://www.chiphell.com/fo ...
服务端server2022是个z370+e2276的魔改u老平台，客户端是win11专业工作站版，z390+9900k。
其实要尽量跑满带宽除了用全闪，还有个低成本方案就是硬盘stablebit合盘+primo cache一缓+傲腾M10做二缓纯读，只要不爆设置的内存缓存大小，资源管理器大文件都能跑4g+的速度，碎文件也在百兆以上，fastcopy能更好点。就是硬盘尽量别用14t以下的老盘了，stablebit分布读写时候老盘会拖后腿。 weindy 发表于 2024-1-25 20:55
服务端server2022是个z370+e2276的魔改u老平台，客户端是win11专业工作站版，z390+9900k。
其实要尽量跑 ...
学习了 weindy 发表于 2024-1-25 20:55
服务端server2022是个z370+e2276的魔改u老平台，客户端是win11专业工作站版，z390+9900k。
其实要尽量跑 ...
好的，谢谢。 happysun110 发表于 2024-1-24 18:25
pcie3.0 8x 的极限也就是64g而已，离40g x 2 = 80g 还差很远，这意味着肯定跑不到pcie3.0 8x 的极限。
...
买啥dac的线材呢，1米左右所有支持40的都可以上到56么
页:
[1]