为25GbE内网搭建家庭网络机柜及RDMA实测

tmhl0cr5 · 发表于 2024-7-28 19:57

本帖最后由 tmhl0cr5 于 2024-7-29 05:00 编辑

前阵子入手了威联通QSW-M7308R-4X交换机(开箱帖见此) 原本的机柜散热太差担心热量爆炸于是选择了~~开放式机柜~~大自然机箱
tb_image_share_1722161589470.jpg-01.jpeg

最后选择了12U的购买的时候没看清楚附带层板傻呵呵的又买了一块

搭建起来十分甚至九分轻松板材还挺结实的安装的时候小心别滴血认亲就行

安装完成效果如下由上到下为nuc9 P3tiny QSW-M7308R-4X B850-5e4p

mmexport1722159482210-01_compressed_docsmall.com.jpeg

这个角落热量不小冬天肯定很暖和

mmexport1722160772897-01_compressed_docsmall.com.jpeg

---------------------------------------------------------------------------------------------------------------------------------------------------------
网络测试部分
交换机接口配置信息 25G全双工连接良好
微信图片_20240728174636.png

两端测试环境分别为winserver2022与win10专业工作站
测试网卡分别为mellanox cx623102与cx621102(*cx6及以上才完全支持ztr-rttcc)
硬盘两端均为大普微R5101 3.84t不存在拷贝大文件掉速瓶颈
以上均保持默认设置根据nvidia官方人员的回复在FW version XX.39.XXXX, WinOF version 23.10.26252下会自动配置ztr-rttcc
屏幕截图 2024-07-28 190709.png

微信图片_20240728185825_compressed_docsmall.com.jpg

cx621102固件版本为22.40.1000 cx623102固件版本为22.41.1000 WinOF2均为最新版符合条件
微信图片_20240728192958.png

开启server2022开启smb文件共享写入一个300G文件测试如下
rdma正常启用 ztr-rttcc自动配置成功 Enjoy！！！
微信图片_20240728174642_compressed_docsmall.com.png

这套设备对我来说暂时算是毕业了还有100G的升级空间(说实话这交换机只用4个25G接口还是挺浪费的

)
只恨财力不足 100G还需要考虑NAS的硬盘速度还是留给未来的我升级吧！

hcym · 发表于 2024-7-28 20:00

老天爷，准备跑文心十一言

tmhl0cr5 · 发表于 2024-7-28 20:56

hcym 发表于 2024-7-28 20:00
老天爷，准备跑文心十一言

hhh只是为了测速（

empire4th · 发表于 2024-7-28 21:12

富哥！

tmhl0cr5 · 发表于 2024-7-28 21:13

empire4th 发表于 2024-7-28 21:12
富哥！

大佬才是真富哥我就穷学生😭

Dolfin · 发表于 2024-7-29 10:22

感谢楼主好贴！ztr-rttcc 性能损失如何，4k随机性能如何

eeechi444 · 发表于 2024-7-29 10:58

本帖最后由 eeechi444 于 2024-7-29 11:03 编辑

62可以直接刷100G，不如上100G了，反正交换机也有100G的口，就是要换到X8的口

ishadow · 发表于 2024-7-29 11:11

用的同款公牛pdu

mhsk · 发表于 2024-7-29 11:18

电源线往下走或许风格更统一。

coolbo · 发表于 2024-7-29 12:30

太空了，多买点1U设备

xyz123456789zg · 发表于 2024-7-29 13:35

发热不小啊，要做点散热措施。而且开放型机柜太吃灰了。

传输速度上应该持续在2.7G/S。

brucelee1126 · 发表于 2024-7-29 13:36

smb的话，多通道也试试，我感觉多通道长期开启使用没啥问题，不仅是测速

Dolfin · 发表于 2024-7-29 13:38

brucelee1126 发表于 2024-7-29 13:36
smb的话，多通道也试试，我感觉多通道长期开启使用没啥问题，不仅是测速

我已经上了多通道的瘾…

tmhl0cr5 · 发表于 2024-7-29 13:38

eeechi444 发表于 2024-7-29 10:58
62可以直接刷100G，不如上100G了，反正交换机也有100G的口，就是要换到X8的口

刷623102 GDAT了可以双口50G 100G不行吧笼子是sfp56的不是qsfp

tmhl0cr5 · 发表于 2024-7-29 13:39

xyz123456789zg 发表于 2024-7-29 13:35
发热不小啊，要做点散热措施。而且开放型机柜太吃灰了。

传输速度上应该持续在2.7G/S。 ...

整个柜子功耗100w左右其实不算高我关闭ztr可以跑到2.7G每秒但是cpu负载会高一点

tmhl0cr5 · 发表于 2024-7-29 13:40

coolbo 发表于 2024-7-29 12:30
太空了，多买点1U设备

hhhhh家境贫寒以后再添

tmhl0cr5 · 发表于 2024-7-29 13:41

Dolfin 发表于 2024-7-29 10:22
感谢楼主好贴！ztr-rttcc 性能损失如何，4k随机性能如何

回头我去测试下

tmhl0cr5 · 发表于 2024-7-29 13:43

mhsk 发表于 2024-7-29 11:18
电源线往下走或许风格更统一。

的确如此后面我重新布线的话干脆固定在机柜后面底下面朝上这样走线还方便点

ANSANGLI · 发表于 2024-7-29 13:51

目前我是万兆内网，楼主是我下个升级目标。。。。

Angmar · 发表于 2024-7-29 13:55

这个交换机噪音如何？
B站有个up也买了同款，说是噪音很小

tmhl0cr5 · 发表于 2024-7-29 13:56

ANSANGLI 发表于 2024-7-29 13:51
目前我是万兆内网，楼主是我下个升级目标。。。。

25G网卡性价比现在还是挺高的比如cx4121a 直连用挺好的

tmhl0cr5 · 发表于 2024-7-29 14:00

Angmar 发表于 2024-7-29 13:55
这个交换机噪音如何？
B站有个up也买了同款，说是噪音很小

挺安静的用的建准的磁悬浮待机转速4000rpm

zealotxx · 发表于 2024-7-29 14:09

ztr方便啊，交换机我都怕配完了dcb掉坑里，生产环境也没机会重启

xyz123456789zg · 发表于 2024-7-29 14:14

tmhl0cr5 发表于 2024-7-29 13:39
整个柜子功耗100w左右其实不算高我关闭ztr可以跑到2.7G每秒但是cpu负载会高一点 ...

100W 功耗还不高啊。我HN8254+ unifi USW-SE + 16口 25G QNAP交换机整体功耗才70W。

iooo · 发表于 2024-7-29 14:28

linux kernel什么时候能默认支持就省心了

tmhl0cr5 · 发表于 2024-7-29 14:44

xyz123456789zg 发表于 2024-7-29 14:14
100W 功耗还不高啊。我HN8254+ unifi USW-SE + 16口 25G QNAP交换机整体功耗才70W。

因为还有一台p3tiny功耗比较高跑win nas和游戏服务器

tmhl0cr5 · 发表于 2024-7-29 15:02

iooo 发表于 2024-7-29 14:28
linux kernel什么时候能默认支持就省心了

是这样的不过配置起来还算方便一条指令重启就完事

wjqok · 发表于 2024-7-29 15:19

设备太挤了吧

tide~ · 发表于 2024-7-29 15:34

四面敞开的，清灰也得全方面的吧；另外机柜插好外部线的话，基本就被“绑住”了，内侧的台式机维护受阻了吧，全朝向前放不下吗

网仙 · 发表于 2024-7-29 15:37

本帖最后由网仙于 2024-7-29 23:13 编辑

xyz123456789zg 发表于 2024-7-29 14:14
100W 功耗还不高啊。我HN8254+ unifi USW-SE + 16口 25G QNAP交换机整体功耗才70W。

才100W？NUC和tiny都开机？有网络流量吗？

我的小柜子，待机随便就170-180W了
2.5G光猫一台，QNAP10G交换机一台，一台E5-1650V4的X99 服务器（all in one，带4个U.2盘,1张3.84Tsata企业盘，一张4口万兆光卡)

没有全部上25G的其中一个原因，就是担心25G交换机的功耗更高吃不消。10G这个QNAP已经十几W了。

账号		自动登录	找回密码
密码			加入我们

[网络] 为25GbE内网搭建家庭网络机柜及RDMA实测

评分