Illidan2004 发表于 2023-9-12 13:11

请教下,544+ FLR那类网卡在X4接口下能跑到多少速度


这类卡标准是3.0X8,能跑满40-56G,我在网上看到一张图。
这里3.0X4下只能跑22G,基本上是3.0X8的42G砍半了,想知道这个到底机理是怎样的,总不能是协商40G,X4口就直接按协议砍半?

如果按照传统速度 3.0X4也有38G左右的带宽,从windows上3.0X4的SSD极限速度来看,应该也至少有3500MB/s,各类损失下也折合28G带宽。

如果只有20G左右那感觉损失就比较大了,不知道有没有人测试过?

rx_78gp02a 发表于 2023-9-12 13:24

3.0 x8用IPERF测速也只有22G左右,win 内核限制了,如果使用ntttcp和rdma测速,可以到39Gbps。跑不满的限制因素太多了,单核瓶颈,smba效率,内核效率等。

rx_78gp02a 发表于 2023-9-12 13:31

3.0 x1 理论是8Gbps,实测是6.5Gbps,3.0 x4 理论是32Gbps,实际是26Gbps,pcie有帧大小,效率和playload有关,一般都比较小,常见的128Byte~256Byte,以128Byte算的话带宽的利用率是81.48%,那么8Gbps*81.48% 差不多是6.5148Gbps。

Illidan2004 发表于 2023-9-12 13:34

rx_78gp02a 发表于 2023-9-12 13:24
3.0 x8用IPERF测速也只有22G左右,win 内核限制了,如果使用ntttcp和rdma测速,可以到39Gbps。跑不满的限 ...

嗯嗯 这个图上也是并发数据,单口估计限制更多
这中间的各种协议转换应该是有很多效率问题RDMA打开可能会好点
windows本身限制也多 资源管理器拷贝文件好像就限速2G

我只是想着用X4口希望能达到类似3.0X4SSD那样的极限速度看起来可能想多了?

rx_78gp02a 发表于 2023-9-12 13:49

SSD的playload都比较大,可以到4096Byte,网卡的playload默认比较小,我看的多数在256Byte左右,所以SSD的传输效率在90%以上,网络差不多在80~90%之间,反正影响速率的主要因素还是在网络这边。3.0X4 跑20G问题不大。

wdk23411 发表于 2023-9-12 14:06

所以,3.0*4的雷电3是怎么跑到40Gbps的

IChicken 发表于 2023-9-12 14:11

本帖最后由 IChicken 于 2023-9-12 14:41 编辑

本人实测,X4接口

weindy 发表于 2023-9-12 14:13

正好我现在13900+B760只能用怨念的x4,带缓存测速图:

实际复制记得是平均2.7g左右,机器目前不在手边没法截图。。

之前在x8的9900k老机器速度:

实际复制速度:
https://static.chiphell.com/forum/202309/11/142557u282rgprckcmmpen.png

PS:我是刷了论坛的56g固件,使用的是wave2wave的AOC线直连

weindy 发表于 2023-9-12 14:23

上面都是给机械盘做了缓存,x8的实际速度截图是内存盘对拷的,走nas的机械盘出来大概4.3g

rx_78gp02a 发表于 2023-9-12 14:25

IChicken 发表于 2023-9-12 14:11
本人实测

IPER性能瓶颈,试试ntttcp,可以跑满。
ntttcp测速

rmda测速

Illidan2004 发表于 2023-9-12 14:25

weindy 发表于 2023-9-12 14:13
正好我现在13900+B760只能用怨念的x4,带缓存测速图:

实际复制记得是平均2.7g左右,机器目前不在手边没法 ...

不错,我考虑到NAS到时候基本上也是3.0的盘为主 能到3500也不错了。不过应该是需要刷成56G吧,但我本来理解是不管40G 56G,在3.0X4的时候都不是协议瓶颈,应该是按照带宽来的。

Jimmy_Qiu 发表于 2023-9-12 14:26

wdk23411 发表于 2023-9-12 14:06
所以,3.0*4的雷电3是怎么跑到40Gbps的

搞反了。雷电3是并不是基于PCIe3.0x4的。
PCIe3.0x4走雷电3依然只有32Gbps。

weindy 发表于 2023-9-12 14:37

Illidan2004 发表于 2023-9-12 14:25
不错,我考虑到NAS到时候基本上也是3.0的盘为主 能到3500也不错了。不过应该是需要刷成56G吧,但我本来理 ...

这两测速图是机械盘用primo cache加速的,没有走ssd。。不爆64g缓存速度都不会下降
全闪估计会更好?期待坛内大佬有测全闪40g的设计速度的[喜欢]

weindy 发表于 2023-9-12 17:14

至于楼主想探寻的机制,首先x4就是纯物理限制了。。如果经济条件允许,能x8尽量x8,能刷56g不用40g,高通道高带宽下碎文件表现也要好很多

Dolfin 发表于 2023-9-13 11:33

存储端CX3 PRO 双口 40GbE,连接客户端A雷电3 40GbE CX4,客户端B 40GbE 544+
不测iperf这些,就测实际存储表现,并发读取速率超过 6.2GB/s,所以肯定不止42Gb/s的。

Illidan2004 发表于 2023-9-13 11:36

本帖最后由 Illidan2004 于 2023-9-13 11:39 编辑

Dolfin 发表于 2023-9-13 11:33
存储端CX3 PRO 双口 40GbE,连接客户端A雷电3 40GbE CX4,客户端B 40GbE 544+
不测iperf这些,就测实际存储 ...

可能是双口和单口不一样 我猜
X8物理极限肯定不止42两口加起来50G以上还是科学的

Dolfin 发表于 2023-9-13 11:39

Illidan2004 发表于 2023-9-13 11:36
雷电3都能超过这个数字吗?雷电用于数据部分应该只有24G才对 奇怪了

我说的是客户端AB的并发读取速度。单雷电3连接的话,是2.9GB/s

Illidan2004 发表于 2023-9-14 11:08

Dolfin 发表于 2023-9-13 11:39
我说的是客户端AB的并发读取速度。单雷电3连接的话,是2.9GB/s

不好意思 刚开始理解错了 后面我上面回复改掉了。 按您的测试来看,6.2G应该差不多就是跑X8极限,所以X4可能确实只有3G左右,中间可能有一些协议损耗。 不过如果是Gen3的SSD也基本极限了。

Dolfin 发表于 2023-9-14 11:27

我不是很清楚你的具体应用场景,我的理解是在一个x4速率的接口上用544+加gen3 ssd做网络存储服务器,客户端来挂载对吗?

我的推测是,客户端那边对挂载存储测速(CDM/FIO),如果你的存储不是瓶颈的话,测试顺序读写上3GB/s没什么问题,Windows窗口拷贝随缘(1-2GB/s,也要看你客户端的存储),robocopy这种能接近测试成绩。或者说,如果你的实际场景就是窗口拷贝的话,什么25GbE,40GbE,x4,x8什么的都那么回事,不用纠结。我测试 100GbE的窗口拷贝,也就那样,4GB/s 到头,很多时候还达不到。

Illidan2004 发表于 2023-9-14 13:26

Dolfin 发表于 2023-9-14 11:27
我不是很清楚你的具体应用场景,我的理解是在一个x4速率的接口上用544+加gen3 ssd做网络存储服务器,客户端 ...

对 谢谢指点 所以结论就是X4差不多了

Illidan2004 发表于 2023-9-19 10:01

Dolfin 发表于 2023-9-14 11:27
我不是很清楚你的具体应用场景,我的理解是在一个x4速率的接口上用544+加gen3 ssd做网络存储服务器,客户端 ...

再请教下 这个卡用什么风扇合适?谢谢

Dolfin 发表于 2023-9-19 10:14

Illidan2004 发表于 2023-9-19 10:01
再请教下 这个卡用什么风扇合适?谢谢

我的卡在暴力扇的风道中,所以无风扇。普通情况下,我看随便弄个风扇吹就行

Illidan2004 发表于 2023-9-19 10:29

Dolfin 发表于 2023-9-19 10:14
我的卡在暴力扇的风道中,所以无风扇。普通情况下,我看随便弄个风扇吹就行 ...

好的 谢谢
页: [1]
查看完整版本: 请教下,544+ FLR那类网卡在X4接口下能跑到多少速度