为25GbE内网搭建家庭网络机柜及RDMA实测

Will · 发表于 2024-7-31 23:24

卧槽，我才 10g，lz 都玩 25g 了。。。。。

tmhl0cr5 · 发表于 2024-8-1 15:50

oldnetdog 发表于 2024-7-31 22:58
这个交换机对25Gb SFP28模块极其挑剔，我手里的全部识别，还在找厂家确认，感觉是故意限定用自家的。
看厂 ...

经你这么一说我也发现了这个问题我手头模块不多除了dac以外只有一对华为的sfp28 25G10KM和广联的sfp＋万兆光转电华为那个模块直接不识别而光转电这个也是一样指示灯不亮虽然通网但是速率只能跑到300Mbps左右但据我所知mellanox的sfp28多模模块是可用的如图
微信图片_20240801154941.jpg

tmhl0cr5 · 发表于 2024-8-1 15:54

Will 发表于 2024-7-31 23:24
卧槽，我才 10g，lz 都玩 25g 了。。。。。

25G网卡白菜价并且向下兼容10G/1G 如cx4121a cx542b等两百不到就能拿下 3.0x4即可跑满25G 一般家用主板都会有多余的x4插槽未来两年估计会成为升级趋势

oldnetdog · 发表于 2024-8-1 20:47

本帖最后由 oldnetdog 于 2024-8-1 20:58 编辑

tmhl0cr5 发表于 2024-8-1 15:50
经你这么一说我也发现了这个问题我手头模块不多除了dac以外只有一对华为的sfp28 25G10KM和广联的sfp ...

华为25G SR模块估计兼容性好一些，我手里两个300M的1310nm的模块可以，然后明天到货测试下100M 850nm的华为模块。

厂家说华为，华三，10Gtek他们测试做得多一些。我手里10Gtek的万兆转电口也正常10G

你的mellanox模块是具体什么型号的，能否告知下。

tmhl0cr5 · 发表于 2024-8-1 21:56

oldnetdog 发表于 2024-8-1 20:47
华为25G SR模块估计兼容性好一些，我手里两个300M的1310nm的模块可以，然后明天到货测试下100M 850nm的华 ...

感谢你的测试信息分享
mellanox这个模块型号是MMA2P00-AS

oldnetdog · 发表于 2024-8-2 23:37

更新：
华为850nm SR 25G模块测试正常，运行速度25G
Mellanox 10G DAC线正常，25G口运行在10G

tmhl0cr5 · 发表于 2024-8-3 12:25

oldnetdog 发表于 2024-8-2 23:37
更新：
华为850nm SR 25G模块测试正常，运行速度25G
Mellanox 10G DAC线正常，25G口运行在10G ...

感谢大佬实测数据

mdk2000 · 发表于 2024-8-3 16:03

我本来想搞crs504,主机和2台truenas跑100g,其他跑25g 10g
用mcx512直连测了下放弃了,省钱

win-win
linux-linux
都可以随便玩

win-linux 万兆到顶了

momo77989724 · 发表于 2024-8-3 16:25

这种架子其实挺好用。。。我买的边角毛刺都处理的不错一点都不割手

Wilson163abc · 发表于 2024-8-3 16:40

两个电脑用AOC线直连貌似也行吧

tmhl0cr5 · 发表于 2024-8-3 16:42

mdk2000 发表于 2024-8-3 16:03
我本来想搞crs504,主机和2台truenas跑100g,其他跑25g 10g
用mcx512直连测了下放弃了,省钱

是的直连是最省钱的设备不多的话组网也很方便
屏幕截图 2024-08-03 164055.png

tmhl0cr5 · 发表于 2024-8-3 16:44

momo77989724 发表于 2024-8-3 16:25
这种架子其实挺好用。。。我买的边角毛刺都处理的不错一点都不割手

我这个用料挺扎实的板材很厚也不割手
反观之前买的tplink12u机柜质量也就那样还买700多

tmhl0cr5 · 发表于 2024-8-3 16:46

Wilson163abc 发表于 2024-8-3 16:40
两个电脑用AOC线直连貌似也行吧

是的直连方案最便捷且省钱一般家用也没有这么多需要高速连接的设备拆机的sfp28 aoc一条20不到再买两块cx4121a 400元左右就可以完成25G互联

Wilson163abc · 发表于 2024-8-3 16:48

tmhl0cr5 发表于 2024-8-3 16:46
是的直连方案最便捷且省钱一般家用也没有这么多需要高速连接的设备拆机的sfp28 aoc一条20不到再买两 ...

对对，不知道更高速度，譬如100G是不是也有AOC
未来有机会，我是准备存储机+vsphere搞25G或者更高速度的AOC直连，保证共享网络存储的速度
其他的10G甚至1G的速率就足够了

tmhl0cr5 · 发表于 2024-8-3 16:53

Wilson163abc 发表于 2024-8-3 16:48
对对，不知道更高速度，譬如100G是不是也有AOC
未来有机会，我是准备存储机+vsphere搞25G或者更高速度的A ...

很好的存储方案 100G是有AOC的小黄鱼关键词搜QSFP28 100G AOC拆机的全新的都有很多

mdk2000 · 发表于 2024-8-6 17:07

tmhl0cr5 发表于 2024-8-3 16:42
是的直连是最省钱的设备不多的话组网也很方便

最主要还是我客户端是win,服务器端是linux(truenas)

win往truenas发数据单线轻松23-25g/s

但是win读truenas只能12-15g/s,关键这流量还和我win上一块x550共享流量

账号		自动登录	找回密码
密码			加入我们

[网络] 为25GbE内网搭建家庭网络机柜及RDMA实测