比快更快！50GbE家庭组网实例分享

tmhl0cr5

一、引言
    前不久分享了我的25G组网方案，偶然在查询Nvidia ConnectX-6 DX的datasheet的时候发现GDAT后缀的网卡居然支持50GbE速率，后来从B站大佬总想搞点奇怪的的手中搞来了两张MCX623102AN-GDAT，由此开始了50GbE速率组网的折腾之路...




    为什么是选50G，而不是速率更接近的40G或者更快的100G呢？1. QSFP+(4x10G)是已经淘汰的标准  2. CX3和CX4只有pcie3.0 我的PC和Server只有闲置的4.0x4插槽 无法跑满速率  3. 100G同理 因为只有4.0x4可用 最大速率64Gbps 跑不满心里会膈应  4. 我是韭菜


二、SFP56接口介绍
    随着物联网、流媒体和云计算对带宽需求的增长，网络运营商寻求从25G到50G的升级，SFP56应运而生。利用50G技术，提供双倍于SFP28的数据速率，降低成本并增强灵活性，兼容多种速度的端口。PAM4调制允许在相同封装内实现更高数据速率，为服务提供商提供了一条实用的升级路径。
    从历史上来看，高密度接口总是出现在单通道接口之前。这就是为什么200G网卡远远的多于50G，无论是从型号数上还是市存量上。


    我所知的50GbE网卡只有MCX623102和MCX713104。cx713104很有意思，是四口50G，或许是迈络斯第一张四口网卡？以下是两张卡的机械图纸



    单通道，是我选择SFP56最重要的原因，sfp56和sfp28、sfp+一样都是单通道，意味着可以兼容50G/25G/10G/1G

三、测试平台搭建
    由于QNAP M7308R只支持25G和100G，所以只能曲线救国实现部分链路达到50G 以下为拓扑图



    理论拓扑图完成，接下来开始实操。首先从网卡开始，网卡选择的是MCX623102AN-GDAT，双口SFP56 50G。需要注意的是网卡的散热，CX6奇热无比，曾经就有案例CX6把Thinkstation P3tiny南桥烤炸了，且网卡温度过高会触发温度保护自动断联。

    这是我过去的改造方案，使用的是轴流风扇。风扇不支持pwm调速，只能用bios内dc调速，而且风扇是油封轴承。我的主力机长期这样使用倒是没啥毛病，但是我的服务器7x24开机，这个风扇在高强度使用3个月之后就撑不住了，幸亏没漏油不然那场景我不敢想。恰好总想搞点奇怪的大佬量产了mellanox网卡通用散热器，使用涡轮风扇自带温控板，果断入手。


    由于拿到的是抢先体验版，温控版取电线缆的接口需要自行压接，我选择了xh2.54而不是一般主板上的KF2510，这是因为CX6自带风扇焊盘。每次看到这个风扇焊盘我都会感叹“CX6真是个宝贝啊！”


    再次感谢大佬，帮我焊座子，手残党已泪目




    准备好压线钳、簧片、胶壳之后直接开始制作






    供电线大功告成，下一步安装网卡散热，有一说一原厂散热片是真的难拆啊，恨不得拿水口钳给它剪断了





改造完成，接下来就是上机，先上几张上机图





    利用fancontroller进行曲线设置，设置完后世界都安静了，仅仅300rpm即可将网卡压制至50℃。



  因为服务器就在电脑桌边上，没有远距离传输的需求，所以我选择了DAC。若有远距离传输的需求那组网成本就要起飞了，sfp56模块现在没有垃圾可以捡，jd全新一支就要1800元，模块比卡还贵，根本负担不起。还是便宜大碗的DAC适合我，小黄鱼看了一圈能买到思科和华为50G DAC，由于之前买的安费诺的sfp28dac的拉环是黄色的，本着颜色统一的想法就买了华为的线。



四、测试环节
    PC1---CPU:7800x3d  网卡:cx623102  硬盘:r5101 3.84T  系统:win10专业工作站
    Server---CPU:7950X  网卡:cx623102  硬盘:r5101 3.84T  系统:winserver2022
    将PC1与Server直连，设置独立的网段192.168.10.0/24，开始测试




    当使用环境为windows专业工作站或winserver时，并且网卡在FW version XX.39.XXXX, WinOF version 23.10.26252或之后的版本下会自动配置ztr-rttcc



    准备了一个350G的文件从PC1复制到Server 可以看到RDMA正常启动 但是速度只有5.36GB/s 并没有跑满50GbE



    但这并不是网卡没跑满，而是硬盘写入性能先出现瓶颈了，我使用的是dapustor R5101 3.84T，硬盘参数如下。



    再使用cdm跑了一下测试，性能非常不错，符合预期



这次对家庭组网进行的局部升级，结果还是很满意的。下一步大概就是升级硬盘了罢（）

咖啡泡泡

太高级了，说好开陆风怎么开陆虎了？

tmhl0cr5

诡刀笑狐 发表于 2025-6-7 07:42
牛，但是有点标题党，还以为是家庭组网，结果最后一看是家庭局部组网

200G交换机才有50G端口，只恨财力不足

诡刀笑狐

牛，但是有点标题党，还以为是家庭组网，结果最后一看是家庭局部组网

0cjousc2

tmhl0cr5 发表于 2025-6-5 11:22
服务端:b650e 7950x 客户端:b650 7800x3d

多谢 太强了

samen_xue

感谢分享~太高端了!

tmhl0cr5

0cjousc2 发表于 2025-6-5 10:16
太高级了 请问机器的配置单可以分享看看嘛

服务端:b650e 7950x 客户端:b650 7800x3d

0cjousc2

太高级了 请问机器的配置单可以分享看看嘛

tmhl0cr5

cibaiwo 发表于 2025-5-28 22:51
我关注这位大佬了，但是没有看到购买的地方呀。 他好像也没有东西在b站上架哎。  ...

b站工坊或者同名黄鱼

cibaiwo

tmhl0cr5 发表于 2025-5-28 19:10
b站"总想搞点奇怪的"量产的

我关注这位大佬了，但是没有看到购买的地方呀。 他好像也没有东西在b站上架哎。

tmhl0cr5

cibaiwo 发表于 2025-5-28 17:22
你好，我想知道这个网卡专用风扇哪里有购买链接呀。 想换。。。

b站"总想搞点奇怪的"量产的

cibaiwo

你好，我想知道这个网卡专用风扇哪里有购买链接呀。 想换。。。

CuteCat

tmhl0cr5 发表于 2025-1-8 17:01
用了大半年没啥问题 联瑞做的可靠性还可以 就是第四块盘那边有sata供电有点碍事 我电源配的sata线是一拖 ...

好滴，我也去搞一块。

chenminghuicom

非常不错的家庭网络升级，认真 学习一下，感谢！

tmhl0cr5

SSRabbit 发表于 2025-1-8 20:18
这么说来，软路由用x86平台的功耗 还是比直接专用的那种2U规格装机柜的企业级规格的硬件功耗高？ ...

这我不太清楚了 我不用all in one也不用软路由

SSRabbit

tmhl0cr5 发表于 2025-1-8 19:00
主要是7950x待机功耗比较高 又挂了两块u2 那台机器用来跑mc服务器的吃的核心不多 一般不会满载 另外一台 ...

这么说来，软路由用x86平台的功耗 还是比直接专用的那种2U规格装机柜的企业级规格的硬件功耗高？

tmhl0cr5

SSRabbit 发表于 2025-1-8 17:47
待机都200多W 高负载时候有没1000W

主要是7950x待机功耗比较高 又挂了两块u2 那台机器用来跑mc服务器的吃的核心不多 一般不会满载 另外一台是p3tiny用的i5 12500用来做nas的待机功耗很低 一般也没啥情况会让它高负载。小米插座见到过的整个机柜最大功耗在300w左右

SSRabbit

tmhl0cr5 发表于 2025-1-8 16:58
待机200w出头 路由器光猫交换机一台nas一台server

待机都200多W 高负载时候有没1000W

tmhl0cr5

CuteCat 发表于 2025-1-8 16:40
一拆4的U2转PCI-E转接卡稳定吗？一直很担心，没有入手，我机箱里还是一堆线。 ...

用了大半年没啥问题 联瑞做的可靠性还可以 就是第四块盘那边有sata供电有点碍事 我电源配的sata线是一拖四的90°转向供电 那个端子会导致第四块盘的安装 不过那台服务器就两块u2就没去管它

tmhl0cr5

SSRabbit 发表于 2025-1-8 16:35
这堆设备一小时几度电。。。来自穷人的惊叹

待机200w出头 路由器光猫交换机一台nas一台server

oioiioioii

感谢分享  10G以上确实适合折腾  

CuteCat

一拆4的U2转PCI-E转接卡稳定吗？一直很担心，没有入手，我机箱里还是一堆线。

SSRabbit

这堆设备一小时几度电。。。来自穷人的惊叹

BXWS

太高端了，我感觉我的硬盘都不配装这么快的网卡。

小木

厉害了

6ting

高端了，N卡果然网速快~

tmhl0cr5

3225287 发表于 2025-1-3 18:15
不知道什么时候能有平价的50G交换机、路由器。。。

估计得等个10年了 25G交换机现在价格仍然很高

3225287

不知道什么时候能有平价的50G交换机、路由器。。。

小培2133

技术贴，谢谢分享。

kmdqk

牛PLUS，这个速度真猛