Chiphell - 分享与交流用户体验

标题: 双路9684x工作站安装踩坑 [打印本页]

作者: khgdxee 时间: 2024-2-7 17:22
标题: 双路9684x工作站安装踩坑
本帖最后由 khgdxee 于 2024-2-7 23:08 编辑

数值模拟需要，本想机架式丢机房，感觉不够刺激，索然无味，而且报价巨高，决定还是用自组塔式方案，没想到这就是踩坑的开始。
初始的配置单如下
CPU AMD EPYC 9684X*2
主板 GIGABYTE MZ73-LM0(rev. 2.0)
显卡 NVIDIA GeForce RTX 4070 Founders Edition
内存 SAMSUNG DDR5 4800MHz REG ECC 64GB*24 1.5TB
硬盘 SABRENT Rocket 4 Plus 8TB Intel P5316 U.2 30.72TB*2
散热 SilverStone XE360-SP5*2
风扇 ABEE APEX Fan 120 DB25*9
机箱 ABEE Designer C1000W
电源 ABEE STEM PT2000W
心路历程：
1. CPU开始就决定在9654 9684X 9754中间选，考虑到应用，9684X的大三缓保证其必然比9654强，9754则是未知，所以选择9684X。
2. 常规9004双路主板只找到**在做，不过这块板子PCIE通道浪费了很多。
3. 显卡方面纯CPU计算，用不到显卡，而手边一张4070FE，标准双槽，是完美亮机卡。
4. 服务器DDR5内存单条128g价格会陡然上升，不值得，考虑后决定选择64g*24，不爽。
5. 存储肯定是全闪，主板只有一个M.2，正好有之前从美国带回的一根8T，拿来装系统。仓库盘考虑到之后随时能加，只上了2块。科学计算io压力不是很大，散热也有之前订的u2散热片。
6. 机箱、风扇是大坑，一句话概括，ABEE负全责，之后详说。
7. 电源本想ax1600i，为了ABEE全家桶选这个。
下单是周五，周一商家拉着小推车上门，一接触没两句话我就感觉不对，对方专业知识极度欠缺，好吧，东西应该都是对的，拧拧螺丝装起来呗。
(, 下载次数: 102)
(, 下载次数: 87)
当场出现以下问题：
1. 没带EPYC扭力扳手，回去拿。
2. 分不清8654线与MCIO线，插半天插不上，回去拿。
3. 拧冷排螺丝，一螺丝刀差点把冷排戳漏。
折腾进去一天，本来心情是兴奋的，当时有点没绷住。
再讲ABEE的问题，本人之前对ABEE印象相当好，但是这个久仰大名的C1000W实在让我失望。
1. 没有理线位置！背板光秃秃的，连穿扎带的孔都没有！我以为看错了，是不是有什么配件没装？最后京东下单双面胶理线带一包。
2. 下仓硬盘架，劣质塑料。我用不到硬盘架，准备拧掉，其中一个螺丝还有问题，和师傅折腾半天才取下来。
3. 上下分仓隔板是铆钉铆上的，不可拆卸！无法理解，由此下进风是不可能了，下仓有些浪费。
4. 一个冷排上置，第二个冷排侧置热风出不去，最后动了动脑，把第二个冷排装在机箱自己提供的侧板上，勉强解决，但这样机箱风道就乱了。
安装完毕烤鸡测试，长达一周折磨才真正开始。首先每个U功耗只有300w，咨询商家，商家：我不到啊。其次pwm风扇低转速会自动停转，进而触发主板风扇最低转速阈值，主板认为风扇故障，会自动把风扇转速拉满，发现没问题再降低转速，然后周而复始。解决办法是调低这个阈值，**BMC里面调不了，咨询客服，对方态度极其傲慢，先是浪费一下午让我复现问题，最后才扯回正题，结果是这个调不了，现在也没解决，只能把风扇曲线设置的高一点。
在这一过程中，发现了两个新问题，一是**客服说对了一点，CPU供电烤鸡直接110°C，其它供电以及内存都不凉快。我知道这里会有问题，没想到这么严重。强扭的瓜不甜，服务器和工作站还是有相当的区别。二是我发现ABEE风扇非常吵。好吧，京东下单利民C14*4，猫头鹰A12*10，总算是安静了，可是猫头鹰30%会触发停转，利民40%也不行（ABEE是20%，不过ABEE20%转速比这两个都吵），只好设成猫头鹰40%，利民50%，还是与我预想的静音有差距。高负载没办法，直接把风扇拉满，供电温度勉强能看，就是这个声音更是小不了。
(, 下载次数: 90)
回过头来解决跑不满功耗的问题，虽然现在满载CPU 60°C，尝试换了商家自己的EK45厚排aio，没变化。网上搜了半天，都没用。这里要感谢【已解决】AMD / Win 11 / P95锅三选一：9654跑不满功耗https://www.chiphell.com/thread-2568664-1-1.html，我在BIOS里面找了几圈，在很深的菜单里发现了standard/best performance，选择后者，烤鸡，400w全核心3.7G。
至此花了一个多星期，性能确实没得说，只是这个散热与声音的平衡，还没有解决。问题分为三点。
1. 目前机箱风扇是前面3把C14进风，后面一把C14出风。顶上360向上出风靠后，一把A12向下进风。右侧三把A12进风，左侧最前面是360出风，后面6把A12进风。问题就在于第二个侧置冷排，放到后面水管打架，放到前面扰乱风道。
(, 下载次数: 70)
2. BMC风扇阈值，倘若能改，可以解决空载噪音问题。
3. 供电部分散热，倘若能解决，可以改善高负载噪音。我的想法有定做导风板，定做供电散热（估计会影响主板保修），不知大佬们有无更好办法。

作者: lzhdim 时间: 2024-2-7 17:25
漂亮。。。。。。。。。。。。。

咋没拍正面照？

作者: khgdxee 时间: 2024-2-7 17:29

lzhdim 发表于 2024-2-7 17:25
漂亮。。。。。。。。。。。。。

正面只能看到9把风扇，全盖住了，就没拍

作者: lzhdim 时间: 2024-2-7 17:30

khgdxee 发表于 2024-2-7 17:29
正面只能看到9把风扇，全盖住了，就没拍

拍照留念，，，哈哈。。。

作者: Darkabysstower 时间: 2024-2-7 17:36
OEM工作站解决方案还是省事

作者: fcys 时间: 2024-2-7 17:45
我们装工作站用这箱子很多，这箱子对付MZ73绝对好用
这个风扇默认2500转确实吵，所以基本没单独用过

mz73这板子，供电已经要加散热，一定要加散热。否则频率会掉的很夸张
这机箱侧板上可以挂风扇，挂两把风扇加上两个法兰圈导风，直接怼着两侧的VRM散热吹，频率会很稳

作者: fcys 时间: 2024-2-7 17:57
MZ73目前双路9004就这一张板子没的选，这配置出的多了总结了一些经验。

主板是server定位，所以根本没考虑过噪音问题，上架子怎么都简单，暴力风扇吹着没问题，但是上塔式就遭老罪了。

这机箱目前是对付这样的板子最好的选择，侧板一定要挂风扇，然后加上法兰，然后你选择用的风扇太温柔了，要静音就得接受性能的损失，说白了就是会降频。

不能用DIY的思路去看待这些产品，要不用起来会很痛苦

(, 下载次数: 80)

作者: khgdxee 时间: 2024-2-7 18:49
本帖最后由 khgdxee 于 2024-2-7 18:50 编辑

fcys 发表于 2024-2-7 17:57
MZ73目前双路9004就这一张板子没的选，这配置出的多了总结了一些经验。

主板是server定位，所以根本没考虑 ...

谢谢大佬，加法兰确实是一个思路。我选这个机箱纯粹是图个新鲜，按您这么说倒是选对了...只是我感觉这个机箱设计细节对不住abee的名声。现在如果风扇拉满，烤鸡时供电在80°c左右，倒是不会有降频。我是觉得如果能把这个小散热片换成大的最好，因为有水冷CPU温度很低，这样高负载也能很安静。另外就是BMC风扇阈值的问题...我记得超微的板子就能调，没想到**这里有限制。

作者: fcys 时间: 2024-2-7 19:24

khgdxee 发表于 2024-2-7 18:49
谢谢大佬，加法兰确实是一个思路。我选这个机箱纯粹是图个新鲜，按您这么说倒是选对了...只是我感觉这个 ...

这机箱完全不是DIY方向，是要硬解问题的，所以在行业里面是0差评，不能用DIY的思路去看。

侧板加风扇和法兰，VRM温度能降低30度以上，但是风扇不能用你选的这些静音温柔风扇，生产力就是生产力。

SUPERMICRO的板子，风扇也要去BMC里调，而且能调整的更少

作者: Mufasa 时间: 2024-2-7 19:29
giga这个主板我曾经试用过，风扇策略要自己手动去BMC里面建立，否则就是各种抽风。

作者: chriz 时间: 2024-2-7 19:35
下载个ipmitool

ipmitool -U 用户名 -P 密码 -H 192.168.1.1 sensor thresh SYS_FAN1 lower 150 200 250

只要支持IPMI的都可以这样调整最低转速

作者: khgdxee 时间: 2024-2-7 20:16

chriz 发表于 2024-2-7 19:35
下载个ipmitool

ipmitool -U 用户名 -P 密码 -H 192.168.1.1 sensor thresh SYS_FAN1 lower 150 200 250

这块主板ipmitool调不了，我试过了，没有权限

作者: goat 时间: 2024-2-7 21:52
abee没倒手前看过展示，在想这货除了价格（还是反向）什么方面能和联立干？
扇子要控制转速或许直接废了主板自带上海盗船的commander pro之类外挂算了，另外diy热点终极解法不是直接上轧带对付吗

作者: momo77989724 时间: 2024-2-7 22:19
本帖最后由 momo77989724 于 2024-2-7 22:22 编辑

双路大功率没得选  只有屏蔽上面2代也是。。。
供电只能自己弄个风扇直吹了。
风扇不知道。。。没用过嘉的服务器板子  下次摸个玩下

这东西就是这样  买品牌的太贵。。。普通商户只是个卖商品的。。不一定真精通。。。个别精通的渠道商户也不见得找得到渠道。
最后发现不如自己动手能力强

作者: fcys 时间: 2024-2-7 22:56

goat 发表于 2024-2-7 21:52
abee没倒手前看过展示，在想这货除了价格（还是反向）什么方面能和联立干？
扇子要控制转速或许直接废了主 ...

目前接触到的这箱子就是行业里的唯一能硬解的，联力没有这样的箱子，能否推荐一下，如果价格便宜又好用那肯定换

作者: 我輩樹である 时间: 2024-2-7 23:22
9684X yyds。

作者: 搞基薛定谔 时间: 2024-2-8 00:13
一模一样的需求。楼主这一套大概什么价位？

作者: 赫敏 时间: 2024-2-8 00:17

Darkabysstower 发表于 2024-2-7 04:36
OEM工作站解决方案还是省事

省事归省事，就是价格单位从RMB变成了刀乐

作者: khgdxee 时间: 2024-2-8 07:27

搞基薛定谔发表于 2024-2-8 00:13
一模一样的需求。楼主这一套大概什么价位？

16w，如果纯闲鱼的话，板u6w，内存3w，硬盘4w，机电散1w

作者: khgdxee 时间: 2024-2-8 07:42

搞基薛定谔发表于 2024-2-8 00:13
一模一样的需求。楼主这一套大概什么价位？

非常不推荐你选择这个方案...除非不在意噪声，目前空载40dB，绝对不是那种能让人无感的程度，满载55dB+。或者能弄分体水

作者: StevenG 时间: 2024-2-8 08:26
风扇都换成t30，然后把扇子上的物理开关拨到节能挡，这样满速也就1200转，噪音应该小很多

作者: fcys 时间: 2024-2-8 08:33

StevenG 发表于 2024-2-8 08:26
风扇都换成t30，然后把扇子上的物理开关拨到节能挡，这样满速也就1200转，噪音应该小很多 ...

噪音可以控制，但是散热就不够了，性能会衰减很明显，大概能下降1/3

作者: fcys 时间: 2024-2-8 08:48

khgdxee 发表于 2024-2-8 07:42
非常不推荐你选择这个方案...除非不在意噪声，目前空载40dB，绝对不是那种能让人无感的程度，满载55dB+。 ...

你的这个噪音，最难解决的是VRM的散热问题，其他的都好说。

VRM散热问题，我们用这主板都是改散热片，然后用这机箱侧面风扇直接对着吹，没别的办法。

这机箱全开孔，是能硬解需求的，不需要考虑风道，你就算把风扇都拆了，只保留CPU散热器的风扇+VRM的风扇都比现在弄所谓的风道强。

这方案用的比较多，主要是机房转办公室，至少验证了半年了。

作者: khgdxee 时间: 2024-2-8 10:14

fcys 发表于 2024-2-8 08:48
你的这个噪音，最难解决的是VRM的散热问题，其他的都好说。

VRM散热问题，我们用这主板都是改散热片，然 ...

对的，所以想请教下您是怎么更换散热片的？这样改动后会影响保修吗？以及如果您方便发我下散热片尺寸就更好了，可以有偿

作者: l8017379 时间: 2024-2-8 10:51
机器好帅，就是图片太少了

作者: fcys 时间: 2024-2-8 11:01

khgdxee 发表于 2024-2-8 10:14
对的，所以想请教下您是怎么更换散热片的？这样改动后会影响保修吗？以及如果您方便发我下散热片尺寸就更 ...

不会影响质保，只是把原厂的那两个几乎相当于没有的散热片给换掉，节后上班之后我问问技术

作者: zxy2001 时间: 2024-2-8 11:02
换大风扇 A20 那种。。。大既是正义。。。

作者: conanhfl 时间: 2024-2-8 14:20
把VRM的散热由铝魔改成紫铜会不会好一点?

作者: 搞基薛定谔 时间: 2024-2-8 14:46

khgdxee 发表于 2024-2-8 07:42
非常不推荐你选择这个方案...除非不在意噪声，目前空载40dB，绝对不是那种能让人无感的程度，满载55dB+。 ...

嗯嗯，如果自己买的话肯定上分体水了。如果单位买的话，就只能看供应商可以提供什么了。还有一个问题想问一下楼主，双u的内存带宽是不是比单u要大？我的应用也特别吃内存带宽。

作者: khgdxee 时间: 2024-2-8 22:19

搞基薛定谔发表于 2024-2-8 14:46
嗯嗯，如果自己买的话肯定上分体水了。如果单位买的话，就只能看供应商可以提供什么了。还有一个问题想问 ...

供应商的话我估计很难提供分体水。后一个问题的话，是的，这个U内存带宽非常猛，一个U十二通道，两个U内存带宽翻倍。

作者: goat 时间: 2024-2-9 13:56

fcys 发表于 2024-2-7 22:56
目前接触到的这箱子就是行业里的唯一能硬解的，联力没有这样的箱子，能否推荐一下，如果价格便宜又好用那 ...

之前用的PC-P80，巨型散热器还能用支撑。不过工作站的板有时候有些奇奇怪怪的接口只能上自家箱子。

作者: fcys 时间: 2024-2-9 15:08

goat 发表于 2024-2-9 13:56
之前用的PC-P80，巨型散热器还能用支撑。不过工作站的板有时候有些奇奇怪怪的接口只能上自家箱子。 ...

好吧，果然C1000就是现在的唯一选择。。

作者: khgdxee 时间: 2024-2-19 11:59
补充一下跑分，懂得不多，有问题希望大家指正。
R15多核 17536
R20多核 47971
R23多核 131301
7-zip 376411
(, 下载次数: 22)
(, 下载次数: 24)
(, 下载次数: 32)
(, 下载次数: 19)
内存与GPGPU测试，参考
双路EPYC 9V84（9654的OEM型号），双路192核满载3.7你怕不怕。坐等双路9754来战
https://www.chiphell.com/thread-2555189-1-1.html
这样看的话，单精度22Tflops与3070ti相近，双精度11Tflops，可以相当于a100？不知道能不能这样简单换算。
AIDA64不知道是不是版本问题，测试结果有一些错误，尝试了两个不同版本。
(, 下载次数: 20)

作者: reyytr 时间: 2024-2-19 13:00
mcio线材还是比较好区分的内部链接pcb 没有突出固定卡扣 5.0以后服务器几乎都默认这个mcio口了 8654只存在于很少一部分新平台了

作者: 搞基薛定谔 时间: 2025-5-24 14:36

khgdxee 发表于 2024-2-19 11:59
补充一下跑分，懂得不多，有问题希望大家指正。
R15多核 17536
R20多核 47971

兜兜转转一年，还是买了这个箱子。过几天放图

作者: ONEChoy 时间: 2025-5-24 14:53

不像是公款报销的东西。。。墙裂支持一下勇士。。。

作者: zerozerone 时间: 2025-5-24 16:03
看了下主板上主要发热器件的散热，机箱及目前配套的散热水平可能比较麻烦。
品牌双路工作站主板器件上的散热规模、箱内定向独立风道、风扇转速、风量、风压，软硬控的散热策略等等等。
尚不能达到个人近身装备所需的综合散热噪音水平。

双路千瓦级散热装备，近身使用，不敢想象其使用体验，对于个人工作生活环境都有比较大的影响。
个人用这种设备，通常没较高性能任务负载需求尽量都不开机（0噪音）。

DIY么，要是成本要素比较突出，代价后续使用中慢慢偿付、修复、适应。
要花的物有所值，多做功课，多做功课，多做功课，不要出现超出预期无法解决、无法适应的情况就是好的。

仅个人角度看，难受的不仅仅是萌宠，吕布也不痛快，自然主公被动硬控僵直颇有微词也是正常的。
没省到1/3、一半，从全周期使用成本看，得不偿失。

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)