[请教]为什么m1 max笔记本外接雷电25g网卡双向速度会不一样？

happysun110

刚折腾家里的25g网络，其中重要的一点是迈洛斯的 cx4 网卡现在在最新的 macOS 下有驱动了。

我刚好有一个 m1 max 笔记本，网上做功课看可以通过雷电3/4口转换为pcie ，当然只能是 pcie3.0 x4 理论带宽32g，实际受苹果雷电口设计影响，实际大概20多g。

我就买了一个 7740 芯片的转换板，应该是做显卡坞拆机的，接上 迈洛斯 cx4121a 25g 网卡试了一下。

运行iperf2 或者 iperf3 （两个我实际都验证过，问题一样），m1 笔记本做客户端发送请求，速度大概能到 22.4g，应该说这个速度很不错了，接近于 25g 网卡的理论极限的90%：


[ ID] Interval       Transfer     Bandwidth
[ 31] 0.0000-30.0179 sec  6.25 GBytes  1.79 Gbits/sec
[ 32] 0.0000-30.0089 sec  8.11 GBytes  2.32 Gbits/sec
[ 37] 0.0000-30.0204 sec  7.39 GBytes  2.11 Gbits/sec
[ 35] 0.0000-30.0168 sec  8.05 GBytes  2.30 Gbits/sec
[ 40] 0.0000-30.0149 sec  8.83 GBytes  2.53 Gbits/sec
[ 38] 0.0000-30.0219 sec  7.53 GBytes  2.16 Gbits/sec
[ 34] 0.0000-30.0170 sec  8.07 GBytes  2.31 Gbits/sec
[ 39] 0.0000-30.0104 sec  9.16 GBytes  2.62 Gbits/sec
[ 36] 0.0000-30.0153 sec  8.56 GBytes  2.45 Gbits/sec
[ 33] 0.0000-30.0253 sec  6.58 GBytes  1.88 Gbits/sec
[SUM] 0.0000-30.0533 sec  78.5 GBytes  22.4 Gbits/sec

但反过来，m1 笔记本做服务器端接受请求，速度就一下从 22.4g 降低到 7.5g：

[ ID] Interval       Transfer     Bandwidth
[ 47] 0.0000-29.9553 sec  2.62 GBytes   752 Mbits/sec
[ 50] 0.0000-29.9464 sec  2.62 GBytes   753 Mbits/sec
[ 41] 0.0000-30.0220 sec  2.66 GBytes   762 Mbits/sec
[ 44] 0.0000-29.9651 sec  2.62 GBytes   751 Mbits/sec
[ 46] 0.0000-29.9589 sec  2.62 GBytes   751 Mbits/sec
[ 49] 0.0000-29.9573 sec  2.59 GBytes   743 Mbits/sec
[ 42] 0.0000-30.0022 sec  2.62 GBytes   751 Mbits/sec
[ 45] 0.0000-29.9591 sec  2.62 GBytes   752 Mbits/sec
[ 43] 0.0000-29.9648 sec  2.63 GBytes   753 Mbits/sec
[ 48] 0.0000-29.9581 sec  2.62 GBytes   752 Mbits/sec
[SUM] 0.0000-30.0244 sec  26.2 GBytes  7.51 Gbits/sec

期间所有东西都不变，我只是在 `iperf -c ` 命令后面加一个 `-R` 参数来让服务器端发送数据。


已经尝试以下操作，都无效，还是上面的结果：

- 换其他的雷电线
- 插m1笔记本的其他雷电口
- 插网卡的另一个口（cx4121a 是双头网卡）
- 重新拔插网卡
- 重新开机
- iperf2 和 iperf3 两个软件都试过

不知道这是什么情况，请教大家，🙏

hanyou7

好像和驱动有关系 我之前也试过 最后换了雷电3万兆网卡 网络稳定

happysun110

题外话：

我发完这个帖子后，就去 google 搜索 "网卡双向速度不一样"，中间间隔也就几分钟吧。

然后缩出来的第一个结果就是我发的这个帖子。

google 收录的速度有这么夸张？分钟级别？

xyz123456789zg

楼主居然用显卡扩展坞接网卡。这雷电转接的网卡，性能肯定有损耗的。看了你的测试图，速度不太稳定，一般可以稳定在2.6G-2.8G左右。看到过3G速度的，但我自己的达不到，找不到原因。
如果要搞全屋25G的话，建议台式机，无论驱动还是性能都是足够满足25G网卡的。

happysun110

xyz123456789zg 发表于 2024-1-31 17:33
楼主居然用显卡扩展坞接网卡。这雷电转接的网卡，性能肯定有损耗的。看了你的测试图，速度不太稳定，一般可 ...

速度你看下面的 SUM 就好了，我开了10个线程，所以速度是前面10个的累加。

[SUM] 0.0000-30.0533 sec  78.5 GBytes  22.4 Gbits/sec

22.4 Gb （不是 GB）这个值还是挺稳定的，基本都在这附近。

就是不知道为什么反过来测试就不对了。按说正向能跑出来 22.4g，各个组件的带宽都应该满足要求了。

全屋25g已经搭建好了，一台 all in one （openwrt软路由 + debian 12 用 bridge 做的软交换 + 两块25g双头网卡 + 纯 sdd nas ），台式机也已经接入了。

笔记本是m1的，本着能接入就试试的想法入的这个雷电扩展方案，雷电转pcie后就通用了，显卡/网卡/ssd/采集卡都可以接进来，只要有驱动。

happysun110

hanyou7 发表于 2024-1-31 17:21
好像和驱动有关系 我之前也试过 最后换了雷电3万兆网卡 网络稳定

如果是驱动问题那就没辙了，只能被动的等待苹果更新网卡驱动。

不知道其他人是不是也遇到类似问题，但我网上看类似视频，没见提到这个问题。

happysun110

xyz123456789zg 发表于 2024-1-31 17:33
楼主居然用显卡扩展坞接网卡。这雷电转接的网卡，性能肯定有损耗的。看了你的测试图，速度不太稳定，一般可 ...

这雷电转接的网卡，性能肯定有损耗的。

目前看排除这个双向速度不一致的问题，但从iperf跑出 22.4g 的速度看，性能还是可以的。

7740据说最大有27g的理论带宽可用，我上的网卡是25g网卡，所以刚好满足网卡的带宽需求。25g接口最大理论速度跑出来 22.4g 实际速度，基本接近不走雷电口直接插的速度（我用台式机测试出来是23.5g）。

雷电转换后 22.4g ，对比直接插卡 23.5g，大概是 95% 的性能，也就是雷电转换损失了约 5% 的性能，我觉得还可以接受。

xyz123456789zg

其实我一直不愿意接受iperf跑出来的速度，因为在实际使用过程中，速度还是很慢的。并不是每次都是这样的速度。但25G网卡代理二点2.XXg的速度确实很爽。  1台台式+1台笔记本+1台NAS，你用的什么交换机，还是只有软路由。。。

happysun110

xyz123456789zg 发表于 2024-1-31 18:01
其实我一直不愿意接受iperf跑出来的速度，因为在实际使用过程中，速度还是很慢的。并不是每次都是这样的速 ...

iperf 可以理解为测试都是理论最大速度，正常情况下能接近网卡的理论值（我测试cx6，真能跑满100g），先确保 iperf 测试能通过，速度不要偏差太大。

确保网卡速度没问题了， 再看其他硬件/软件，比如 sdd 读写速度，nfs/smb 软件的速度等。

我没有用物理交换机，all in one 机器上插了两张25g网卡，出来四个25g网口，基本够用了。all in one 机器跑的 pve 8.1，我安装了一个 debian 12.4，设置 linux bridge （算软交换机吧）。好处是省钱/静音，缺点是转发性能没有硬件交换机那么好。但机器不多的情况下凑合用还是挺方便的。

happysun110

我找到了这个文章，发现他里面有一些相关的内容：

EPYC7D12 8盘3.5寸机械+多盘nvme闪存 【25G高性能】 NAS搭建方案分享

https://www.zhihu.com/tardis/zm/art/644202809?source_id=1003

apple silicon的雷电接口也存在写入限速的硬件bug(1.5GB/S)。

host顺序读写速度为3.57G/s和3.17G/s
guest(Windows10工作站版）顺序读写速度为2.87G/s和2.59G/s
guest（macOS Sonoma 14.0beta）顺序读写速度为1.74G/s和0.37G/s

看来 m1 系列的雷电口的确是存在问题。

brucelee1126

既没有跑到单网口的速度，也没有跑到累电口的速度，可以试试双口同时跑到多少，4121对我来说是50g网卡

zjksjs

happysun110 发表于 2024-1-31 18:50
我找到了这个文章，发现他里面有一些相关的内容：

EPYC7D12 8盘3.5寸机械+多盘nvme闪存 【25G高性能】 NAS ...

据说是只有M1的有问题，如果是M1 pro或者Max就没有问题。楼主你的是M1吗？

Ownab

m1max 的雷电4和USB-C协议兼容是不完整的， 到M3才补全，硬件不是完全体

以及CPU的ARM指令集， 比如嵌套虚拟化 M1MAX也没有

可能还有其他的，网上相关内容很少，以上都是自己测试出来的结论

happysun110

zjksjs 发表于 2024-1-31 20:06
据说是只有M1的有问题，如果是M1 pro或者Max就没有问题。楼主你的是M1吗？

我就是 m1 max，

happysun110

brucelee1126 发表于 2024-1-31 19:05
既没有跑到单网口的速度，也没有跑到累电口的速度，可以试试双口同时跑到多少，4121对我来说是50g网卡 ...

不用跑双口了，7440芯片在m1下理论最大值就是27g，这还是 7440 芯片改进后可以多使用一些带宽，如果是 6540 好像更低，只有22g吧。数值记得不是很清楚了，我就是因为这个特意买的 7440 芯片而不是便宜一点的 6540.

苹果这个雷电口限制比较多，没法像自己的台式机那样自由。不然我直接上其他速度更快的网卡。

happysun110

有没有人遇到类似问题啊？怎么办啊，速度有问题的一侧太慢了。

brucelee1126

happysun110 发表于 2024-1-31 21:04
不用跑双口了，7440芯片在m1下理论最大值就是27g，这还是 7440 芯片改进后可以多使用一些带宽，如果是 65 ...

4121a我插在pcie3 x4单口也是这速度，但是双口能跑到2.8g

happysun110

brucelee1126 发表于 2024-2-1 09:14
4121a我插在pcie3 x4单口也是这速度，但是双口能跑到2.8g

你是直接插的pcie槽，不是走7440走雷电转pcie吧？

pcie3.0 4x的理论带宽是32g，比单口25g的带宽大一些，因此单口受限25g，但双口可以跑出超过24g而接近32g的速度。

但我接了7440，这个东东的最大理论带宽是27g，和25g相差无几。

happysun110

昨天有位qq群友也证实了这个问题，同样是m1笔记本+雷电外接cx4121网卡。

看来真是通病。

一路游来

有没有M2或者M3的坛友试试，这个问题还存在吗？正好想上25G网络。

happysun110

一路游来 发表于 2024-2-4 12:58
有没有M2或者M3的坛友试试，这个问题还存在吗？正好想上25G网络。

我没机器可以验证，但听说直到m3这个问题也还是没有修订。

大概是苹果本来就没打算给笔记本开雷电外接高速网卡这个口（影响把ssd当黄金卖），目前只是m1/m2/m3运气好蹭到了mac pro的驱动。

happysun110

XiaoFaye 发表于 2024-2-4 15:29
有Windows的笔记本可以测试吗？感觉像是苹果平台的问题

确实是 mac 平台的问题，windows / linux 下没见有报告这个问题

另外，怀疑问题应该出现在网卡驱动上，因为我测试过用m1 max笔记本连接itgz的usb4.0/雷电4全兼容的移动硬盘，测试速度大概是写入3000多M，读取2500M的样子，考虑到苹果雷电口27g的理论最大带宽，基本是没有速度问题的。

现在换成雷电转pcie接网卡就出问题了，排除法说，问题应该和 cx4121a 网卡有关。

另外，有qq群友测试过，接万兆网卡（x520）没有类似问题，都可以跑到接近10g的理论速度。

我手头暂时没有cx5 / cx6 网卡可以测试和验证，不知道问题是只出现在cx4还是cx5/cx6也有同样的问题。