为25GbE内网搭建家庭网络机柜及RDMA实测

tmhl0cr5 · 发表于 2024-7-28 19:57

本帖最后由 tmhl0cr5 于 2024-7-29 05:00 编辑

前阵子入手了威联通QSW-M7308R-4X交换机(开箱帖见此) 原本的机柜散热太差担心热量爆炸于是选择了~~开放式机柜~~大自然机箱
tb_image_share_1722161589470.jpg-01.jpeg

最后选择了12U的购买的时候没看清楚附带层板傻呵呵的又买了一块

搭建起来十分甚至九分轻松板材还挺结实的安装的时候小心别滴血认亲就行

安装完成效果如下由上到下为nuc9 P3tiny QSW-M7308R-4X B850-5e4p

mmexport1722159482210-01_compressed_docsmall.com.jpeg

这个角落热量不小冬天肯定很暖和

mmexport1722160772897-01_compressed_docsmall.com.jpeg

---------------------------------------------------------------------------------------------------------------------------------------------------------
网络测试部分
交换机接口配置信息 25G全双工连接良好
微信图片_20240728174636.png

两端测试环境分别为winserver2022与win10专业工作站
测试网卡分别为mellanox cx623102与cx621102(*cx6及以上才完全支持ztr-rttcc)
硬盘两端均为大普微R5101 3.84t不存在拷贝大文件掉速瓶颈
以上均保持默认设置根据nvidia官方人员的回复在FW version XX.39.XXXX, WinOF version 23.10.26252下会自动配置ztr-rttcc
屏幕截图 2024-07-28 190709.png

微信图片_20240728185825_compressed_docsmall.com.jpg

cx621102固件版本为22.40.1000 cx623102固件版本为22.41.1000 WinOF2均为最新版符合条件
微信图片_20240728192958.png

开启server2022开启smb文件共享写入一个300G文件测试如下
rdma正常启用 ztr-rttcc自动配置成功 Enjoy！！！
微信图片_20240728174642_compressed_docsmall.com.png

这套设备对我来说暂时算是毕业了还有100G的升级空间(说实话这交换机只用4个25G接口还是挺浪费的

)
只恨财力不足 100G还需要考虑NAS的硬盘速度还是留给未来的我升级吧！

mdk2000 · 发表于 2024-8-6 17:07

tmhl0cr5 发表于 2024-8-3 16:42
是的直连是最省钱的设备不多的话组网也很方便

最主要还是我客户端是win,服务器端是linux(truenas)

win往truenas发数据单线轻松23-25g/s

但是win读truenas只能12-15g/s,关键这流量还和我win上一块x550共享流量

tmhl0cr5 · 发表于 2024-8-3 16:53

Wilson163abc 发表于 2024-8-3 16:48
对对，不知道更高速度，譬如100G是不是也有AOC
未来有机会，我是准备存储机+vsphere搞25G或者更高速度的A ...

很好的存储方案 100G是有AOC的小黄鱼关键词搜QSFP28 100G AOC拆机的全新的都有很多

Wilson163abc · 发表于 2024-8-3 16:48

tmhl0cr5 发表于 2024-8-3 16:46
是的直连方案最便捷且省钱一般家用也没有这么多需要高速连接的设备拆机的sfp28 aoc一条20不到再买两 ...

对对，不知道更高速度，譬如100G是不是也有AOC
未来有机会，我是准备存储机+vsphere搞25G或者更高速度的AOC直连，保证共享网络存储的速度
其他的10G甚至1G的速率就足够了

tmhl0cr5 · 发表于 2024-8-3 16:46

Wilson163abc 发表于 2024-8-3 16:40
两个电脑用AOC线直连貌似也行吧

是的直连方案最便捷且省钱一般家用也没有这么多需要高速连接的设备拆机的sfp28 aoc一条20不到再买两块cx4121a 400元左右就可以完成25G互联

tmhl0cr5 · 发表于 2024-8-3 16:44

momo77989724 发表于 2024-8-3 16:25
这种架子其实挺好用。。。我买的边角毛刺都处理的不错一点都不割手

我这个用料挺扎实的板材很厚也不割手
反观之前买的tplink12u机柜质量也就那样还买700多

tmhl0cr5 · 发表于 2024-8-3 16:42

mdk2000 发表于 2024-8-3 16:03
我本来想搞crs504,主机和2台truenas跑100g,其他跑25g 10g
用mcx512直连测了下放弃了,省钱

是的直连是最省钱的设备不多的话组网也很方便
屏幕截图 2024-08-03 164055.png

Wilson163abc · 发表于 2024-8-3 16:40

两个电脑用AOC线直连貌似也行吧

momo77989724 · 发表于 2024-8-3 16:25

这种架子其实挺好用。。。我买的边角毛刺都处理的不错一点都不割手

mdk2000 · 发表于 2024-8-3 16:03

我本来想搞crs504,主机和2台truenas跑100g,其他跑25g 10g
用mcx512直连测了下放弃了,省钱

win-win
linux-linux
都可以随便玩

win-linux 万兆到顶了

tmhl0cr5 · 发表于 2024-8-3 12:25

oldnetdog 发表于 2024-8-2 23:37
更新：
华为850nm SR 25G模块测试正常，运行速度25G
Mellanox 10G DAC线正常，25G口运行在10G ...

感谢大佬实测数据

oldnetdog · 发表于 2024-8-2 23:37

更新：
华为850nm SR 25G模块测试正常，运行速度25G
Mellanox 10G DAC线正常，25G口运行在10G

tmhl0cr5 · 发表于 2024-8-1 21:56

oldnetdog 发表于 2024-8-1 20:47
华为25G SR模块估计兼容性好一些，我手里两个300M的1310nm的模块可以，然后明天到货测试下100M 850nm的华 ...

感谢你的测试信息分享
mellanox这个模块型号是MMA2P00-AS

oldnetdog · 发表于 2024-8-1 20:47

本帖最后由 oldnetdog 于 2024-8-1 20:58 编辑

tmhl0cr5 发表于 2024-8-1 15:50
经你这么一说我也发现了这个问题我手头模块不多除了dac以外只有一对华为的sfp28 25G10KM和广联的sfp ...

华为25G SR模块估计兼容性好一些，我手里两个300M的1310nm的模块可以，然后明天到货测试下100M 850nm的华为模块。

厂家说华为，华三，10Gtek他们测试做得多一些。我手里10Gtek的万兆转电口也正常10G

你的mellanox模块是具体什么型号的，能否告知下。

tmhl0cr5 · 发表于 2024-8-1 15:54

Will 发表于 2024-7-31 23:24
卧槽，我才 10g，lz 都玩 25g 了。。。。。

25G网卡白菜价并且向下兼容10G/1G 如cx4121a cx542b等两百不到就能拿下 3.0x4即可跑满25G 一般家用主板都会有多余的x4插槽未来两年估计会成为升级趋势

tmhl0cr5 · 发表于 2024-8-1 15:50

oldnetdog 发表于 2024-7-31 22:58
这个交换机对25Gb SFP28模块极其挑剔，我手里的全部识别，还在找厂家确认，感觉是故意限定用自家的。
看厂 ...

经你这么一说我也发现了这个问题我手头模块不多除了dac以外只有一对华为的sfp28 25G10KM和广联的sfp＋万兆光转电华为那个模块直接不识别而光转电这个也是一样指示灯不亮虽然通网但是速率只能跑到300Mbps左右但据我所知mellanox的sfp28多模模块是可用的如图
微信图片_20240801154941.jpg

Will · 发表于 2024-7-31 23:24

卧槽，我才 10g，lz 都玩 25g 了。。。。。

oldnetdog · 发表于 2024-7-31 22:58

本帖最后由 oldnetdog 于 2024-8-1 20:48 编辑

这个交换机对25Gb SFP28模块极其挑剔，我手里的模块全不识别，AOC线也不识别，还在找厂家确认，感觉是故意限定用自家的。
看厂家的网页介绍，25Gb模块只有QNAP自家的，吐血。
100G QSFP28和10G SFP+模块兼容反而好很多。

tmhl0cr5 · 发表于 2024-7-30 08:49

brucelee1126 发表于 2024-7-30 08:12
能拆分吗

厂商说下一个固件支持这是第二版固件

brucelee1126 · 发表于 2024-7-30 08:12

tmhl0cr5 发表于 2024-7-29 23:47
只是想找个25G家用交换机看下来就crs510和这款合适最后入了这款hhhh

能拆分吗

tmhl0cr5 · 发表于 2024-7-29 23:47

Dolfin 发表于 2024-7-29 23:17
那你原本规划里100G的四个口本来是留给谁的？

只是想找个25G家用交换机看下来就crs510和这款合适最后入了这款hhhh

Dolfin · 发表于 2024-7-29 23:17

tmhl0cr5 发表于 2024-7-29 21:34
确实有点亏但是我主力机是消费平台剩下一条pcie只有4.0x4不够跑满100G 而且我的nas是那台tiny三条XG7感 ...

那你原本规划里100G的四个口本来是留给谁的？

网仙 · 发表于 2024-7-29 22:31

tmhl0cr5 发表于 2024-7-29 15:47
是的nuc9(9300h)＋p3tiny(i5 12500)＋华为b850-5e4p＋威联通100G交换机 100w-120w

哦，那估计是没啥硬盘
MUC9，30W，
P3tiny，30W,
华为网关20W,
QNAP交换机20W

tmhl0cr5 · 发表于 2024-7-29 22:23

猪圈发表于 2024-7-29 22:07
当然现在说都是空了吹，

即使达不到100G，那也比25G强啊，25G，我觉得cx4121划算，但是不支持rtc ...

的确如此 25G上cx6划不来我发现不开ztr也能跑满 cpu占用其实不高都是泪

猪圈 · 发表于 2024-7-29 22:07

tmhl0cr5 发表于 2024-7-29 21:34
确实有点亏但是我主力机是消费平台剩下一条pcie只有4.0x4不够跑满100G 而且我的nas是那台tiny三条XG7感 ...

当然现在说都是空了吹，

即使达不到100G，那也比25G强啊，25G，我觉得cx4121划算，但是不支持rtc

tmhl0cr5 · 发表于 2024-7-29 21:34

猪圈发表于 2024-7-29 21:27
cx6，搞25G感觉略亏啊，你反正都100G交换机了，直接100G了呗

确实有点亏但是我主力机是消费平台剩下一条pcie只有4.0x4不够跑满100G

而且我的nas是那台tiny三条XG7感觉喂不饱100G

猪圈 · 发表于 2024-7-29 21:27

cx6，搞25G感觉略亏啊，你反正都100G交换机了，直接100G了呗

ANSANGLI · 发表于 2024-7-29 20:42

tmhl0cr5 发表于 2024-7-29 13:56
25G网卡性价比现在还是挺高的比如cx4121a 直连用挺好的

是的，这个网卡不错。

Dolfin · 发表于 2024-7-29 19:43

tmhl0cr5 发表于 2024-7-29 18:50
刚刚测试了一下网络磁盘性能

最终测试结果如下

60万+的远程iops和150万+的本地iops，非常好的水平了

tmhl0cr5 · 发表于 2024-7-29 19:18

Illidan2004 发表于 2024-7-29 19:04
pblaze7 7940应该可以不过这些现在一般人还是玩不起

raid5+100G网卡的话一般电脑这端就没有这么多P ...

这一套下来钱包直接蒸发了

账号		自动登录	找回密码
密码			加入我们

[网络] 为25GbE内网搭建家庭网络机柜及RDMA实测

评分

评分

浏览过的版块