推荐一个支持全平台驱动的非主流 25G/100G 高速网卡系列
本帖最后由 l泰然处之01 于 2025-6-15 14:29 编辑T6 系列是 Chelsio 公司 2016 年推出的 25G/100G 系列网卡，截止目前 2025 年 6 月，全系驱动支持一直在更新，据观察 Windows、Linux 下驱动每 2 季度更新， macOS 系统近期更新似乎更为频繁。
几个硬件平台处理器及网卡情况如下：
1.EPYC 3251（8C16T，单核 Boost 3.1GHz），T6225-CR（25G），Ubuntu 22.04
2.EPYC 7543（32C64T，单核 Boost 3.725GHz），T62100-LP-CR（100G），Windows Server 2025
3.EPYC 7Y43（48C96T，单核 Boost 3.625GHz），T62100-LP-CR（100G），Windows Server 2025
5.M1 Pro（10C），T6225-CR（25G），macOS Sequoia 15.5
6.M4 Pro（14C），CX4111A（25G），macOS Sequoia 15.5
需要说明 T6 型号较多，具体哪款功能最好我也不知道（有啥买啥），实测 ASIC 芯片发热量也较大，需要通风压制（但还没见过降速或掉卡）。
交换机使用的是威联通的 QSW-M7308R-4X，4个100G光口，8个25G光口，目前固件不支持 ROCEv2 相关特性。
实测 iperf3 打流，Win下 100G 多线程可以达到 80G（T62100-LP-CR），macOS 下 25G 多线程可以达到 22.5G（T6225-CR），17.0G（CX4111A）。
以下是对 Chelsio 系列驱动的说明和测试截图
Chelsio 的 T6 系列 25G/100G 网卡，官网一直在更新驱动，Windows 和 macOS 下驱动体验较好，Linux 下对系统发行版和内核版本有要求。
1.macOS：
仅支持基础功能，FEC、LRO（Large Receive Offload）、TSO（TCP Segmentation Offload），不支持 RDMA（由于大部分 Mac 机型扩展性极差，实际上用 ThunderBolt 连接也用不上 RDMA），驱动同时支持 x86 和 M 系列处理器
v1.25.1 版本（2025年5月15日发布）实测 ThunderBolt 扩展坞连接可用，支持最新的 Sequoia 正式版系统，使用 25G 网卡双线程打流速度可以达到 22.5G
v1.25.0 版本（2025年2月28日发布）实测 ThunderBolt 连接只能识别，无法联通网络
对比 CX 系列网卡在最新 macOS 下的自带驱动，MTU 可以调到 9000
系统网络设置界面
单线程打流
双线程打流
系统信息界面
2.Windows：
驱动安装十分简单，支持 SR-IOV，内置 Hyper-V 调优模式（没测出来啥区别），正式版驱动有 WHQL 认证
Server 系统开箱即支持 RDMA，由于使用的 iWARP 协议，走的 TCP，对交换机也没有硬件要求
设备管理器高级选项
Windows 下驱动包功能支持情况如下（实际功能需要看具体硬件支持情况）
3.Linux：
驱动安装需要严格按照驱动包中支持的系统发行版和内核版本安装，也支持非标准发行版，但是能力有限我也没测
此外，驱动甚至支持 ARM 平台（RHEL）
Linux 下驱动包功能支持情况如下（实际功能需要看具体硬件支持情况）
本帖最后由 mdk2000 于 2025-6-15 17:37 编辑
我也在用t62100,说些自己测试的
虚拟机rdma问题
全平台不支持SR-IOV后rdma,但是据说hyper-v和esxi有办法支持虚拟机rdma,我用的proxmox就没办法了
驱动问题
最完美的是win,全功能支持
proxmox8
不能打官方驱动(编译源码失败),改成6.5内核能打上,但是rdma有bug(官方驱动和系统驱动都有这个bug),无法连接(只试了nvmeof)
debian12
能打官方驱动,但是rdma有bug(官方驱动和系统驱动都有这个bug),无法连接(只试了nvmeof)
Ubuntu
只支持22不支持24,所以没试
truenas (官方出的nas用的就是chelsio网卡)
scale
不能打官方驱动,自带驱动几乎完美(缺少toe卸载模块),rdma都能用(只试了nvmeof)
core
不能打官方驱动,自带驱动简直完美,toe模块都有,但我什么都没测
rockylinux
不能打官方驱动(编译源码失败),自带驱动几乎完美(缺少toe卸载模块),rdma只试了nvmeof和iser都支持
我proxmox改成了intel e810,可以SR-IOV后rdma,和win上的t6搭配很完美了,rdma我只用到了nvmeof
他家的网卡,win上带有iser nvmeof的initiator,硬盘速度和本地没啥区别了
这张卡25w(多模光模块),很热不能只吹正面,背面也很热,要侧吹 本帖最后由 l泰然处之01 于 2025-6-15 14:53 编辑
[生病] 没人折腾高速网卡吗
这个 100G 的网卡，基本属于成本最低的梯队了 我已经从cx5 100g的卡换成cx3的50g卡，放在pciex4上作为25g卡用着哈哈。你推荐的卡热不，linux下支持gpu rdma不。 q3again0605 发表于 2025-6-15 15:44
我已经从cx5 100g的卡换成cx3的50g卡，放在pciex4上作为25g卡用着哈哈。你推荐的卡热不，linux下支持gpu rd ...
我搜了下，以前是支持的，后续没有看到新的支持文档（似乎时间节点正好是MLX被NV收购 本帖最后由 l泰然处之01 于 2025-6-15 18:09 编辑
mdk2000 发表于 2025-6-15 17:20
我也在用t62100,说些自己测试的
虚拟机rdma问题
感谢回复，
第一个问题使用 SR-IOV 后，虚拟机中的 RDMA，Hyper-V 下可以实现，但是宿主机不能使用 RDMA 了，我的解决办法是，两个端口同时用，一个口给宿主机走 RDMA，另一个给到 Hyper-V 用来给虚拟机提供 RDMA。
我 Linux 那台机器是 1U 的，CPU 的性能跟不上，以及用了上面的方法之后，交换机也没有多余的 100G 端口了，所以拆下来上了 25G 的卡，有没有 RDMA 没啥影响了，主要是用 SR-IOV。
100G 的功耗我没有测，25G 在单口工作时，功耗应该在 13 瓦左右。 最凉快省电的25g网卡是哪个呢？CX4？ l泰然处之01 发表于 2025-6-15 18:07
感谢回复，
第一个问题使用 SR-IOV 后，虚拟机中的 RDMA，Hyper-V 下可以实现，但是宿主机不能使用 RDMA...
win的话,如果sr-iov虚拟机不多可以直接跑pf
设备管理器-bus enumerator里面的nic instances设置8,会有8个网卡,可以直通给虚拟机,应该可以直接跑rdma
原理上主机和虚拟机(1个网口只支持3 vm)都能rdma
linux下没这个模式..... mdk2000 发表于 2025-6-15 19:39
win的话,如果sr-iov虚拟机不多可以直接跑pf
设备管理器-bus enumerator里面的nic instances设置8,会有8 ...
Windows 里直通没 Linux 里好用。。。
是的，可以出很多实例，包括isci iser nvmeof，这卡性价比挺高的 B站上（链接：链接）也有人分享视频说m4 macmini配合外置雷电4转PCIE 的25g网卡来做传输 linxijun 发表于 2025-6-15 19:50
B站上（链接：链接）也有人分享视频说m4 macmini配合外置雷电4转PCIE 的25g网卡来做传输 ...
是的，现在 10G 以上的网卡，能用的一个是 CX 系列 macOS 内置的驱动，这个驱动不是 MLX 做的，MTU 最高 1500，另一个应该我发的这个，厂商做的驱动，MTU 可以到 9000 l泰然处之01 发表于 2025-6-15 19:58
是的，现在 10G 以上的网卡，能用的一个是 CX 系列 macOS 内置的驱动，这个驱动不是 MLX 做的，MTU 最高...
就不知道m系列能否兼容100g的网卡了[偷笑] linxijun 发表于 2025-6-15 20:04
就不知道m系列能否兼容100g的网卡了
理论上最高只有不到 40G，因为 M系列的扩展性受限于 ThunderBolt 的速度，现在 100G 的卡接上去也就跑不起来 l泰然处之01 发表于 2025-6-15 20:08
理论上最高只有不到 40G，因为 M系列的扩展性受限于 ThunderBolt 的速度，现在 100G 的卡接上去也就跑不 ...
按理来说理论速率最低也有80g，能到每秒10g应该不是问题，Intel不是优化了动态分配的问题吗？正常来说现在就是系统和驱动之间的问题了，个人拙见[偷笑][偷笑] linxijun 发表于 2025-6-15 20:42
按理来说理论速率最低也有80g，能到每秒10g应该不是问题，Intel不是优化了动态分配的问题吗？正常来说现 ...
最高是4.0x4的64Gbps 这卡我看了下黄鱼，好贵啊~ 猪圈 发表于 2025-6-16 00:59
这卡我看了下黄鱼，好贵啊~
T62100 鱼上有1800的，T6225 鱼上之前大概500/600，现在好像涨价了 本帖最后由 empire4th 于 2025-6-16 08:45 编辑
l泰然处之01 发表于 2025-6-16 03:28
T62100 鱼上有1800的，T6225 鱼上之前大概500/600，现在好像涨价了
之前我卖官翻盒装只要1400
可以配合Chelsio USS用，发邮件申请license empire4th 发表于 2025-6-16 08:43
之前我卖官翻盒装只要1400
可以配合Chelsio USS用，发邮件申请license
是的 这个价格性价比很高[喜欢] 改天试试他家的 USS
页:
[1]