为25GbE内网搭建家庭网络机柜及RDMA实测
本帖最后由 tmhl0cr5 于 2024-7-29 05:00 编辑前阵子入手了威联通QSW-M7308R-4X交换机(开箱帖见此) 原本的机柜散热太差 担心热量爆炸 于是选择了开放式机柜大自然机箱
最后选择了12U的 购买的时候没看清楚附带层板 傻呵呵的又买了一块[流泪]
搭建起来十分甚至九分轻松 板材还挺结实的 安装的时候小心别滴血认亲就行
安装完成效果如下 由上到下为nuc9P3tiny QSW-M7308R-4XB850-5e4p
这个角落热量不小 冬天肯定很暖和[傻笑]
---------------------------------------------------------------------------------------------------------------------------------------------------------
网络测试部分
交换机接口配置信息 25G全双工连接良好
两端测试环境分别为winserver2022与win10专业工作站
测试网卡分别为mellanox cx623102与cx621102(*cx6及以上才完全支持ztr-rttcc)
硬盘两端均为大普微R5101 3.84t不存在拷贝大文件掉速瓶颈
以上均保持默认设置 根据nvidia官方人员的回复 在FW version XX.39.XXXX, WinOF version 23.10.26252下会自动配置ztr-rttcc
cx621102固件版本为22.40.1000 cx623102固件版本为22.41.1000 WinOF2均为最新版 符合条件
开启server2022开启smb文件共享 写入一个300G文件测试如下
rdma正常启用 ztr-rttcc自动配置成功 Enjoy！！！
这套设备对我来说暂时算是毕业了 还有100G的升级空间(说实话这交换机只用4个25G接口还是挺浪费的[流泪])
只恨财力不足 100G还需要考虑NAS的硬盘速度 还是留给未来的我升级吧！
老天爷，准备跑文心十一言
[震惊] hcym 发表于 2024-7-28 20:00
老天爷，准备跑文心十一言
hhh只是为了测速（ 富哥！ empire4th 发表于 2024-7-28 21:12
富哥！
大佬才是真富哥 我就穷学生😭 感谢楼主好贴！ztr-rttcc 性能损失如何，4k随机性能如何 本帖最后由 eeechi444 于 2024-7-29 11:03 编辑
62可以直接刷100G，不如上100G了，反正交换机也有100G的口，就是要换到X8的口 用的同款公牛pdu 电源线往下走或许风格更统一。 太空了，多买点1U设备 发热不小啊，要做点散热措施。而且开放型机柜太吃灰了。
传输速度上应该持续在2.7G/S。 smb的话，多通道也试试，我感觉多通道长期开启使用没啥问题，不仅是测速 brucelee1126 发表于 2024-7-29 13:36
smb的话，多通道也试试，我感觉多通道长期开启使用没啥问题，不仅是测速
我已经上了多通道的瘾… eeechi444 发表于 2024-7-29 10:58
62可以直接刷100G，不如上100G了，反正交换机也有100G的口，就是要换到X8的口
刷623102 GDAT了可以双口50G 100G不行吧 笼子是sfp56的 不是qsfp xyz123456789zg 发表于 2024-7-29 13:35
发热不小啊，要做点散热措施。而且开放型机柜太吃灰了。
传输速度上应该持续在2.7G/S。 ...
整个柜子功耗100w左右 其实不算高 我关闭ztr可以跑到2.7G每秒但是cpu负载会高一点 coolbo 发表于 2024-7-29 12:30
太空了，多买点1U设备
hhhhh家境贫寒 以后再添 Dolfin 发表于 2024-7-29 10:22
感谢楼主好贴！ztr-rttcc 性能损失如何，4k随机性能如何
回头我去测试下 mhsk 发表于 2024-7-29 11:18
电源线往下走或许风格更统一。
的确如此 后面我重新布线的话干脆固定在机柜后面底下 面朝上 这样走线还方便点 目前我是万兆内网，楼主是我下个升级目标。。。。 这个交换机噪音如何？
B站有个up也买了同款，说是噪音很小 ANSANGLI 发表于 2024-7-29 13:51
目前我是万兆内网，楼主是我下个升级目标。。。。
25G网卡性价比现在还是挺高的 比如cx4121a 直连用挺好的 Angmar 发表于 2024-7-29 13:55
这个交换机噪音如何？
B站有个up也买了同款，说是噪音很小
挺安静的 用的建准的磁悬浮 待机转速4000rpm
ztr方便啊，交换机我都怕配完了dcb掉坑里，生产环境也没机会重启 tmhl0cr5 发表于 2024-7-29 13:39
整个柜子功耗100w左右 其实不算高 我关闭ztr可以跑到2.7G每秒但是cpu负载会高一点 ...
100W 功耗还不高啊。 我HN8254+ unifi USW-SE + 16口 25G QNAP交换机 整体功耗才70W。 linux kernel什么时候能默认支持就省心了 xyz123456789zg 发表于 2024-7-29 14:14
100W 功耗还不高啊。 我HN8254+ unifi USW-SE + 16口 25G QNAP交换机 整体功耗才70W。
因为还有一台p3tiny功耗比较高 跑win nas和游戏服务器 iooo 发表于 2024-7-29 14:28
linux kernel什么时候能默认支持就省心了
是这样的 不过配置起来还算方便 一条指令重启就完事 设备太挤了吧 四面敞开的，清灰也得全方面的吧；另外机柜插好外部线的话，基本就被“绑住”了，内侧的台式机维护受阻了吧，全朝向前放不下吗 本帖最后由 网仙 于 2024-7-29 23:13 编辑
xyz123456789zg 发表于 2024-7-29 14:14
100W 功耗还不高啊。 我HN8254+ unifi USW-SE + 16口 25G QNAP交换机 整体功耗才70W。
才100W？NUC和tiny都开机？有网络流量吗？
我的小柜子，待机随便就170-180W了
2.5G光猫一台，QNAP10G交换机一台，一台E5-1650V4的X99 服务器（all in one，带4个U.2盘,1张3.84Tsata企业盘，一张4口万兆光卡)
没有全部上25G的其中一个原因，就是担心25G交换机的功耗更高吃不消。10G这个QNAP已经十几W了。