Chiphell - 分享与交流用户体验

标题: 为25GbE内网搭建家庭网络机柜及RDMA实测 [打印本页]

作者: tmhl0cr5 时间: 2024-7-28 19:57
标题: 为25GbE内网搭建家庭网络机柜及RDMA实测
本帖最后由 tmhl0cr5 于 2024-7-29 05:00 编辑

前阵子入手了威联通QSW-M7308R-4X交换机(开箱帖见此) 原本的机柜散热太差担心热量爆炸于是选择了[del]开放式机柜[/del]大自然机箱
(, 下载次数: 109)

最后选择了12U的购买的时候没看清楚附带层板傻呵呵的又买了一块

(, 下载次数: 102)
搭建起来十分甚至九分轻松板材还挺结实的安装的时候小心别滴血认亲就行

(, 下载次数: 112)
安装完成效果如下由上到下为nuc9 P3tiny QSW-M7308R-4X B850-5e4p

(, 下载次数: 112)
这个角落热量不小冬天肯定很暖和

(, 下载次数: 115)
---------------------------------------------------------------------------------------------------------------------------------------------------------
网络测试部分
交换机接口配置信息 25G全双工连接良好
(, 下载次数: 115)
两端测试环境分别为winserver2022与win10专业工作站
测试网卡分别为mellanox cx623102与cx621102(*cx6及以上才完全支持ztr-rttcc)
硬盘两端均为大普微R5101 3.84t不存在拷贝大文件掉速瓶颈
以上均保持默认设置根据nvidia官方人员的回复在FW version XX.39.XXXX, WinOF version 23.10.26252下会自动配置ztr-rttcc
(, 下载次数: 117)

(, 下载次数: 106)
cx621102固件版本为22.40.1000 cx623102固件版本为22.41.1000 WinOF2均为最新版符合条件
(, 下载次数: 112)
(, 下载次数: 114)
开启server2022开启smb文件共享写入一个300G文件测试如下
rdma正常启用 ztr-rttcc自动配置成功 Enjoy！！！
(, 下载次数: 111)
这套设备对我来说暂时算是毕业了还有100G的升级空间(说实话这交换机只用4个25G接口还是挺浪费的

)
只恨财力不足 100G还需要考虑NAS的硬盘速度还是留给未来的我升级吧！

作者: hcym 时间: 2024-7-28 20:00
老天爷，准备跑文心十一言

作者: tmhl0cr5 时间: 2024-7-28 20:56

hcym 发表于 2024-7-28 20:00
老天爷，准备跑文心十一言

hhh只是为了测速（

作者: empire4th 时间: 2024-7-28 21:12
富哥！

作者: tmhl0cr5 时间: 2024-7-28 21:13

empire4th 发表于 2024-7-28 21:12
富哥！

大佬才是真富哥我就穷学生😭

作者: Dolfin 时间: 2024-7-29 10:22
感谢楼主好贴！ztr-rttcc 性能损失如何，4k随机性能如何

作者: eeechi444 时间: 2024-7-29 10:58
本帖最后由 eeechi444 于 2024-7-29 11:03 编辑

62可以直接刷100G，不如上100G了，反正交换机也有100G的口，就是要换到X8的口

作者: ishadow 时间: 2024-7-29 11:11
用的同款公牛pdu

作者: mhsk 时间: 2024-7-29 11:18
电源线往下走或许风格更统一。

作者: coolbo 时间: 2024-7-29 12:30
太空了，多买点1U设备

作者: xyz123456789zg 时间: 2024-7-29 13:35
发热不小啊，要做点散热措施。而且开放型机柜太吃灰了。

传输速度上应该持续在2.7G/S。

作者: brucelee1126 时间: 2024-7-29 13:36
smb的话，多通道也试试，我感觉多通道长期开启使用没啥问题，不仅是测速

作者: Dolfin 时间: 2024-7-29 13:38

brucelee1126 发表于 2024-7-29 13:36
smb的话，多通道也试试，我感觉多通道长期开启使用没啥问题，不仅是测速

我已经上了多通道的瘾…

作者: tmhl0cr5 时间: 2024-7-29 13:38

eeechi444 发表于 2024-7-29 10:58
62可以直接刷100G，不如上100G了，反正交换机也有100G的口，就是要换到X8的口

刷623102 GDAT了可以双口50G 100G不行吧笼子是sfp56的不是qsfp

作者: tmhl0cr5 时间: 2024-7-29 13:39

xyz123456789zg 发表于 2024-7-29 13:35
发热不小啊，要做点散热措施。而且开放型机柜太吃灰了。

传输速度上应该持续在2.7G/S。 ...

整个柜子功耗100w左右其实不算高我关闭ztr可以跑到2.7G每秒但是cpu负载会高一点

作者: tmhl0cr5 时间: 2024-7-29 13:40

coolbo 发表于 2024-7-29 12:30
太空了，多买点1U设备

hhhhh家境贫寒以后再添

作者: tmhl0cr5 时间: 2024-7-29 13:41

Dolfin 发表于 2024-7-29 10:22
感谢楼主好贴！ztr-rttcc 性能损失如何，4k随机性能如何

回头我去测试下

作者: tmhl0cr5 时间: 2024-7-29 13:43

mhsk 发表于 2024-7-29 11:18
电源线往下走或许风格更统一。

的确如此后面我重新布线的话干脆固定在机柜后面底下面朝上这样走线还方便点

作者: ANSANGLI 时间: 2024-7-29 13:51
目前我是万兆内网，楼主是我下个升级目标。。。。

作者: Angmar 时间: 2024-7-29 13:55
这个交换机噪音如何？
B站有个up也买了同款，说是噪音很小

作者: tmhl0cr5 时间: 2024-7-29 13:56

ANSANGLI 发表于 2024-7-29 13:51
目前我是万兆内网，楼主是我下个升级目标。。。。

25G网卡性价比现在还是挺高的比如cx4121a 直连用挺好的

作者: tmhl0cr5 时间: 2024-7-29 14:00

Angmar 发表于 2024-7-29 13:55
这个交换机噪音如何？
B站有个up也买了同款，说是噪音很小

挺安静的用的建准的磁悬浮待机转速4000rpm
(, 下载次数: 118)

作者: zealotxx 时间: 2024-7-29 14:09
ztr方便啊，交换机我都怕配完了dcb掉坑里，生产环境也没机会重启

作者: xyz123456789zg 时间: 2024-7-29 14:14

tmhl0cr5 发表于 2024-7-29 13:39
整个柜子功耗100w左右其实不算高我关闭ztr可以跑到2.7G每秒但是cpu负载会高一点 ...

100W 功耗还不高啊。我HN8254+ unifi USW-SE + 16口 25G QNAP交换机整体功耗才70W。

作者: iooo 时间: 2024-7-29 14:28
linux kernel什么时候能默认支持就省心了

作者: tmhl0cr5 时间: 2024-7-29 14:44

xyz123456789zg 发表于 2024-7-29 14:14
100W 功耗还不高啊。我HN8254+ unifi USW-SE + 16口 25G QNAP交换机整体功耗才70W。

因为还有一台p3tiny功耗比较高跑win nas和游戏服务器

作者: tmhl0cr5 时间: 2024-7-29 15:02

iooo 发表于 2024-7-29 14:28
linux kernel什么时候能默认支持就省心了

是这样的不过配置起来还算方便一条指令重启就完事

作者: wjqok 时间: 2024-7-29 15:19
设备太挤了吧

作者: tide~ 时间: 2024-7-29 15:34
四面敞开的，清灰也得全方面的吧；另外机柜插好外部线的话，基本就被“绑住”了，内侧的台式机维护受阻了吧，全朝向前放不下吗

作者: 网仙 时间: 2024-7-29 15:37
本帖最后由网仙于 2024-7-29 23:13 编辑

xyz123456789zg 发表于 2024-7-29 14:14
100W 功耗还不高啊。我HN8254+ unifi USW-SE + 16口 25G QNAP交换机整体功耗才70W。

才100W？NUC和tiny都开机？有网络流量吗？

我的小柜子，待机随便就170-180W了
2.5G光猫一台，QNAP10G交换机一台，一台E5-1650V4的X99 服务器（all in one，带4个U.2盘,1张3.84Tsata企业盘，一张4口万兆光卡)

没有全部上25G的其中一个原因，就是担心25G交换机的功耗更高吃不消。10G这个QNAP已经十几W了。

作者: Dolfin 时间: 2024-7-29 15:44

tmhl0cr5 发表于 2024-7-29 14:44
因为还有一台p3tiny功耗比较高跑win nas和游戏服务器

win nas就做smb服务器吗？还有别的什么服务

作者: tmhl0cr5 时间: 2024-7-29 15:45

Dolfin 发表于 2024-7-29 15:44
win nas就做smb服务器吗？还有别的什么服务

jellyfin服务器 mc服务器还跑了个frps

作者: tmhl0cr5 时间: 2024-7-29 15:47

网仙发表于 2024-7-29 15:37
才100W？NUC和tiny都开机？有网络流量吗？

我的小柜子，待机随便就170-180W了

是的nuc9(9300h)＋p3tiny(i5 12500)＋华为b850-5e4p＋威联通100G交换机 100w-120w

作者: tmhl0cr5 时间: 2024-7-29 15:48

wjqok 发表于 2024-7-29 15:19
设备太挤了吧

确实有点准备把pdu移到后面这样还能省个理线槽这样可以多留2U出来

作者: tmhl0cr5 时间: 2024-7-29 15:50

tide~ 发表于 2024-7-29 15:34
四面敞开的，清灰也得全方面的吧；另外机柜插好外部线的话，基本就被“绑住”了，内侧的台式机维护受阻了吧 ...

台式机电源下置头超前的话电源线会顶到踢脚线货架是深60cm的台机会突出来几厘米比较难受

作者: tide~ 时间: 2024-7-29 16:08

tmhl0cr5 发表于 2024-7-29 15:50
台式机电源下置头超前的话电源线会顶到踢脚线货架是深60cm的台机会突出来几厘米比较难受 ...

90度弯头的电源线和HDMI/DP视频线还顶的话，那没办法了；
前面凸出几厘米不必介怀吧，这叫错落有致啊...

等它俩对齐了，你又该觉得跟桌子腿不对齐了

作者: tmhl0cr5 时间: 2024-7-29 16:13

tide~ 发表于 2024-7-29 16:08
90度弯头的电源线和HDMI/DP视频线还顶的话，那没办法了；
前面凸出几厘米不必介怀吧，这叫错落有致啊.. ...

下次维护的时候换成直角的电源线顺带给他反过来现在塞进去就不想动了hhh

作者: eeechi444 时间: 2024-7-29 17:27

tmhl0cr5 发表于 2024-7-29 13:38
刷623102 GDAT了可以双口50G 100G不行吧笼子是sfp56的不是qsfp

那就是我记错了，查了一下B站大佬的黄鱼，确实是

作者: tmhl0cr5 时间: 2024-7-29 17:44

eeechi444 发表于 2024-7-29 17:27
那就是我记错了，查了一下B站大佬的黄鱼，确实是

你说的这位id是叫总想搞点奇怪的吗我这张cx623102就是他帮我刷的50G 提一嘴这帖四楼就是他

作者: Illidan2004 时间: 2024-7-29 17:53
我感觉100G可玩性一般除了内存盘大多受限于SSD速度
只要出缓写的速度不会超过3000M/s
且不说windows还严重影响发挥

作者: tmhl0cr5 时间: 2024-7-29 18:17

Illidan2004 发表于 2024-7-29 17:53
我感觉100G可玩性一般除了内存盘大多受限于SSD速度
只要出缓写的速度不会超过3000M/s
且不说windows还 ...

是这样的一般消费级的硬盘拷贝大文件避免不了出缓 windows做软raid5性能折损也比较严重 100G对我来说没有折腾的必要 25G完全足够了启用ztr rttcc的话windows倒是挺方便的也不会产生瓶颈所以我选用winnas

作者: ttt5t5t 时间: 2024-7-29 18:33
一看就不便宜啊

作者: Dolfin 时间: 2024-7-29 18:39

Illidan2004 发表于 2024-7-29 17:53
我感觉100G可玩性一般除了内存盘大多受限于SSD速度
只要出缓写的速度不会超过3000M/s
且不说windows还 ...

就单盘，不raid，5.0的企业盘都可以跑满100G，也没出缓的事。Windows 200G也都能跑满。没事的

作者: tmhl0cr5 时间: 2024-7-29 18:50

Dolfin 发表于 2024-7-29 10:22
感谢楼主好贴！ztr-rttcc 性能损失如何，4k随机性能如何

刚刚测试了一下网络磁盘性能
(, 下载次数: 93)
最终测试结果如下
(, 下载次数: 81)
R5101 3.84t 15%占用下本地测试结果如下
(, 下载次数: 80)

以前没有关注过网络磁盘的4k随机性能指标不知道这个结果算是怎么样

作者: tmhl0cr5 时间: 2024-7-29 18:54

Dolfin 发表于 2024-7-29 18:39
就单盘，不raid，5.0的企业盘都可以跑满100G，也没出缓的事。Windows 200G也都能跑满。没事的 ...

企业级力大砖飞是这样的

所以除非体积限制没办法我都会优先选择u.2硬盘

作者: brucelee1126 时间: 2024-7-29 18:59
只可惜我的服务端是qnap qutshero

作者: Illidan2004 时间: 2024-7-29 19:04

Dolfin 发表于 2024-7-29 18:39
就单盘，不raid，5.0的企业盘都可以跑满100G，也没出缓的事。Windows 200G也都能跑满。没事的 ...

pblaze7 7940应该可以不过这些现在一般人还是玩不起

raid5+100G网卡的话一般电脑这端就没有这么多PCIE带宽用了除非不装显卡两个4.0X8
NAS当然可以整

作者: tmhl0cr5 时间: 2024-7-29 19:18

Illidan2004 发表于 2024-7-29 19:04
pblaze7 7940应该可以不过这些现在一般人还是玩不起

raid5+100G网卡的话一般电脑这端就没有这么多P ...

这一套下来钱包直接蒸发了

作者: Dolfin 时间: 2024-7-29 19:43

tmhl0cr5 发表于 2024-7-29 18:50
刚刚测试了一下网络磁盘性能

最终测试结果如下

60万+的远程iops和150万+的本地iops，非常好的水平了

作者: ANSANGLI 时间: 2024-7-29 20:42

tmhl0cr5 发表于 2024-7-29 13:56
25G网卡性价比现在还是挺高的比如cx4121a 直连用挺好的

是的，这个网卡不错。

作者: 猪圈 时间: 2024-7-29 21:27
cx6，搞25G感觉略亏啊，你反正都100G交换机了，直接100G了呗

作者: tmhl0cr5 时间: 2024-7-29 21:34

猪圈发表于 2024-7-29 21:27
cx6，搞25G感觉略亏啊，你反正都100G交换机了，直接100G了呗

确实有点亏但是我主力机是消费平台剩下一条pcie只有4.0x4不够跑满100G

而且我的nas是那台tiny三条XG7感觉喂不饱100G

作者: 猪圈 时间: 2024-7-29 22:07

tmhl0cr5 发表于 2024-7-29 21:34
确实有点亏但是我主力机是消费平台剩下一条pcie只有4.0x4不够跑满100G 而且我的nas是那台tiny三条XG7感 ...

当然现在说都是空了吹，

即使达不到100G，那也比25G强啊，25G，我觉得cx4121划算，但是不支持rtc

作者: tmhl0cr5 时间: 2024-7-29 22:23

猪圈发表于 2024-7-29 22:07
当然现在说都是空了吹，

即使达不到100G，那也比25G强啊，25G，我觉得cx4121划算，但是不支持rtc ...

的确如此 25G上cx6划不来我发现不开ztr也能跑满 cpu占用其实不高都是泪

作者: 网仙 时间: 2024-7-29 22:31

tmhl0cr5 发表于 2024-7-29 15:47
是的nuc9(9300h)＋p3tiny(i5 12500)＋华为b850-5e4p＋威联通100G交换机 100w-120w

哦，那估计是没啥硬盘
MUC9，30W，
P3tiny，30W,
华为网关20W,
QNAP交换机20W

作者: Dolfin 时间: 2024-7-29 23:17

tmhl0cr5 发表于 2024-7-29 21:34
确实有点亏但是我主力机是消费平台剩下一条pcie只有4.0x4不够跑满100G 而且我的nas是那台tiny三条XG7感 ...

那你原本规划里100G的四个口本来是留给谁的？

作者: tmhl0cr5 时间: 2024-7-29 23:47

Dolfin 发表于 2024-7-29 23:17
那你原本规划里100G的四个口本来是留给谁的？

只是想找个25G家用交换机看下来就crs510和这款合适最后入了这款hhhh

作者: brucelee1126 时间: 2024-7-30 08:12

tmhl0cr5 发表于 2024-7-29 23:47
只是想找个25G家用交换机看下来就crs510和这款合适最后入了这款hhhh

能拆分吗

作者: tmhl0cr5 时间: 2024-7-30 08:49

brucelee1126 发表于 2024-7-30 08:12
能拆分吗

厂商说下一个固件支持这是第二版固件

作者: oldnetdog 时间: 2024-7-31 22:58
本帖最后由 oldnetdog 于 2024-8-1 20:48 编辑

这个交换机对25Gb SFP28模块极其挑剔，我手里的模块全不识别，AOC线也不识别，还在找厂家确认，感觉是故意限定用自家的。
看厂家的网页介绍，25Gb模块只有QNAP自家的，吐血。
100G QSFP28和10G SFP+模块兼容反而好很多。

作者: Will 时间: 2024-7-31 23:24
卧槽，我才 10g，lz 都玩 25g 了。。。。。

作者: tmhl0cr5 时间: 2024-8-1 15:50

oldnetdog 发表于 2024-7-31 22:58
这个交换机对25Gb SFP28模块极其挑剔，我手里的全部识别，还在找厂家确认，感觉是故意限定用自家的。
看厂 ...

经你这么一说我也发现了这个问题我手头模块不多除了dac以外只有一对华为的sfp28 25G10KM和广联的sfp＋万兆光转电华为那个模块直接不识别而光转电这个也是一样指示灯不亮虽然通网但是速率只能跑到300Mbps左右但据我所知mellanox的sfp28多模模块是可用的如图
(, 下载次数: 81)
(, 下载次数: 71)

作者: tmhl0cr5 时间: 2024-8-1 15:54

Will 发表于 2024-7-31 23:24
卧槽，我才 10g，lz 都玩 25g 了。。。。。

25G网卡白菜价并且向下兼容10G/1G 如cx4121a cx542b等两百不到就能拿下 3.0x4即可跑满25G 一般家用主板都会有多余的x4插槽未来两年估计会成为升级趋势

作者: oldnetdog 时间: 2024-8-1 20:47
本帖最后由 oldnetdog 于 2024-8-1 20:58 编辑

tmhl0cr5 发表于 2024-8-1 15:50
经你这么一说我也发现了这个问题我手头模块不多除了dac以外只有一对华为的sfp28 25G10KM和广联的sfp ...

华为25G SR模块估计兼容性好一些，我手里两个300M的1310nm的模块可以，然后明天到货测试下100M 850nm的华为模块。

厂家说华为，华三，10Gtek他们测试做得多一些。我手里10Gtek的万兆转电口也正常10G

你的mellanox模块是具体什么型号的，能否告知下。

作者: tmhl0cr5 时间: 2024-8-1 21:56

oldnetdog 发表于 2024-8-1 20:47
华为25G SR模块估计兼容性好一些，我手里两个300M的1310nm的模块可以，然后明天到货测试下100M 850nm的华 ...

感谢你的测试信息分享
mellanox这个模块型号是MMA2P00-AS

作者: oldnetdog 时间: 2024-8-2 23:37
更新：
华为850nm SR 25G模块测试正常，运行速度25G
Mellanox 10G DAC线正常，25G口运行在10G

作者: tmhl0cr5 时间: 2024-8-3 12:25

oldnetdog 发表于 2024-8-2 23:37
更新：
华为850nm SR 25G模块测试正常，运行速度25G
Mellanox 10G DAC线正常，25G口运行在10G ...

感谢大佬实测数据

作者: mdk2000 时间: 2024-8-3 16:03
我本来想搞crs504,主机和2台truenas跑100g,其他跑25g 10g
用mcx512直连测了下放弃了,省钱

win-win
linux-linux
都可以随便玩

win-linux 万兆到顶了

作者: momo77989724 时间: 2024-8-3 16:25
这种架子其实挺好用。。。我买的边角毛刺都处理的不错一点都不割手

作者: Wilson163abc 时间: 2024-8-3 16:40
两个电脑用AOC线直连貌似也行吧

作者: tmhl0cr5 时间: 2024-8-3 16:42

mdk2000 发表于 2024-8-3 16:03
我本来想搞crs504,主机和2台truenas跑100g,其他跑25g 10g
用mcx512直连测了下放弃了,省钱

是的直连是最省钱的设备不多的话组网也很方便
(, 下载次数: 79)

作者: tmhl0cr5 时间: 2024-8-3 16:44

momo77989724 发表于 2024-8-3 16:25
这种架子其实挺好用。。。我买的边角毛刺都处理的不错一点都不割手

我这个用料挺扎实的板材很厚也不割手
反观之前买的tplink12u机柜质量也就那样还买700多

作者: tmhl0cr5 时间: 2024-8-3 16:46

Wilson163abc 发表于 2024-8-3 16:40
两个电脑用AOC线直连貌似也行吧

是的直连方案最便捷且省钱一般家用也没有这么多需要高速连接的设备拆机的sfp28 aoc一条20不到再买两块cx4121a 400元左右就可以完成25G互联

作者: Wilson163abc 时间: 2024-8-3 16:48

tmhl0cr5 发表于 2024-8-3 16:46
是的直连方案最便捷且省钱一般家用也没有这么多需要高速连接的设备拆机的sfp28 aoc一条20不到再买两 ...

对对，不知道更高速度，譬如100G是不是也有AOC
未来有机会，我是准备存储机+vsphere搞25G或者更高速度的AOC直连，保证共享网络存储的速度
其他的10G甚至1G的速率就足够了

作者: tmhl0cr5 时间: 2024-8-3 16:53

Wilson163abc 发表于 2024-8-3 16:48
对对，不知道更高速度，譬如100G是不是也有AOC
未来有机会，我是准备存储机+vsphere搞25G或者更高速度的A ...

很好的存储方案 100G是有AOC的小黄鱼关键词搜QSFP28 100G AOC拆机的全新的都有很多

作者: mdk2000 时间: 2024-8-6 17:07

tmhl0cr5 发表于 2024-8-3 16:42
是的直连是最省钱的设备不多的话组网也很方便

最主要还是我客户端是win,服务器端是linux(truenas)

win往truenas发数据单线轻松23-25g/s

但是win读truenas只能12-15g/s,关键这流量还和我win上一块x550共享流量

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)