双路9684x工作站安装踩坑

khgdxee

数值模拟需要，本想机架式丢机房，感觉不够刺激，索然无味，而且报价巨高，决定还是用自组塔式方案，没想到这就是踩坑的开始。
初始的配置单如下
CPU        AMD EPYC 9684X*2
主板        GIGABYTE MZ73-LM0(rev. 2.0)
显卡        NVIDIA GeForce RTX 4070 Founders Edition
内存        SAMSUNG DDR5 4800MHz REG ECC 64GB*24 1.5TB
硬盘        SABRENT Rocket 4 Plus 8TB        Intel P5316 U.2 30.72TB*2
散热        SilverStone XE360-SP5*2
风扇        ABEE APEX Fan 120 DB25*9
机箱        ABEE Designer C1000W
电源        ABEE STEM PT2000W
心路历程：
1.        CPU开始就决定在9654 9684X 9754中间选，考虑到应用，9684X的大三缓保证其必然比9654强，9754则是未知，所以选择9684X。
2.        常规9004双路主板只找到**在做，不过这块板子PCIE通道浪费了很多。
3.        显卡方面纯CPU计算，用不到显卡，而手边一张4070FE，标准双槽，是完美亮机卡。
4.        服务器DDR5内存单条128g价格会陡然上升，不值得，考虑后决定选择64g*24，不爽。
5.        存储肯定是全闪，主板只有一个M.2，正好有之前从美国带回的一根8T，拿来装系统。仓库盘考虑到之后随时能加，只上了2块。科学计算io压力不是很大，散热也有之前订的u2散热片。
6.        机箱、风扇是大坑，一句话概括，ABEE负全责，之后详说。
7.        电源本想ax1600i，为了ABEE全家桶选这个。
下单是周五，周一商家拉着小推车上门，一接触没两句话我就感觉不对，对方专业知识极度欠缺，好吧，东西应该都是对的，拧拧螺丝装起来呗。

事后补拍

当场出现以下问题：
1.        没带EPYC扭力扳手，回去拿。
2.        分不清8654线与MCIO线，插半天插不上，回去拿。
3.        拧冷排螺丝，一螺丝刀差点把冷排戳漏。
折腾进去一天，本来心情是兴奋的，当时有点没绷住。
再讲ABEE的问题，本人之前对ABEE印象相当好，但是这个久仰大名的C1000W实在让我失望。
1.        没有理线位置！背板光秃秃的，连穿扎带的孔都没有！我以为看错了，是不是有什么配件没装？最后京东下单双面胶理线带一包。
2.        下仓硬盘架，劣质塑料。我用不到硬盘架，准备拧掉，其中一个螺丝还有问题，和师傅折腾半天才取下来。
3.        上下分仓隔板是铆钉铆上的，不可拆卸！无法理解，由此下进风是不可能了，下仓有些浪费。
4.        一个冷排上置，第二个冷排侧置热风出不去，最后动了动脑，把第二个冷排装在机箱自己提供的侧板上，勉强解决，但这样机箱风道就乱了。
安装完毕烤鸡测试，长达一周折磨才真正开始。首先每个U功耗只有300w，咨询商家，商家：我不到啊。其次pwm风扇低转速会自动停转，进而触发主板风扇最低转速阈值，主板认为风扇故障，会自动把风扇转速拉满，发现没问题再降低转速，然后周而复始。解决办法是调低这个阈值，**BMC里面调不了，咨询客服，对方态度极其傲慢，先是浪费一下午让我复现问题，最后才扯回正题，结果是这个调不了，现在也没解决，只能把风扇曲线设置的高一点。
在这一过程中，发现了两个新问题，一是**客服说对了一点，CPU供电烤鸡直接110°C，其它供电以及内存都不凉快。我知道这里会有问题，没想到这么严重。强扭的瓜不甜，服务器和工作站还是有相当的区别。二是我发现ABEE风扇非常吵。好吧，京东下单利民C14*4，猫头鹰A12*10，总算是安静了，可是猫头鹰30%会触发停转，利民40%也不行（ABEE是20%，不过ABEE20%转速比这两个都吵），只好设成猫头鹰40%，利民50%，还是与我预想的静音有差距。高负载没办法，直接把风扇拉满，供电温度勉强能看，就是这个声音更是小不了。

回过头来解决跑不满功耗的问题，虽然现在满载CPU 60°C，尝试换了商家自己的EK45厚排aio，没变化。网上搜了半天，都没用。这里要感谢【已解决】AMD / Win 11 / P95锅三选一：9654跑不满功耗https://www.chiphell.com/thread-2568664-1-1.html，我在BIOS里面找了几圈，在很深的菜单里发现了standard/best performance，选择后者，烤鸡，400w全核心3.7G。
至此花了一个多星期，性能确实没得说，只是这个散热与声音的平衡，还没有解决。问题分为三点。
1.        目前机箱风扇是前面3把C14进风，后面一把C14出风。顶上360向上出风靠后，一把A12向下进风。右侧三把A12进风，左侧最前面是360出风，后面6把A12进风。问题就在于第二个侧置冷排，放到后面水管打架，放到前面扰乱风道。

2.        BMC风扇阈值，倘若能改，可以解决空载噪音问题。
3.        供电部分散热，倘若能解决，可以改善高负载噪音。我的想法有定做导风板，定做供电散热（估计会影响主板保修），不知大佬们有无更好办法。

lzhdim

漂亮。。。。。。。。。。。。。


咋没拍正面照？

khgdxee

lzhdim 发表于 2024-2-7 17:25
漂亮。。。。。。。。。。。。。

正面只能看到9把风扇，全盖住了，就没拍

lzhdim

khgdxee 发表于 2024-2-7 17:29
正面只能看到9把风扇，全盖住了，就没拍

拍照留念，，，哈哈。。。

Darkabysstower

OEM工作站解决方案还是省事

fcys

我们装工作站用这箱子很多，这箱子对付MZ73绝对好用
这个风扇默认2500转确实吵，所以基本没单独用过

mz73这板子，供电已经要加散热，一定要加散热。否则频率会掉的很夸张
这机箱侧板上可以挂风扇，挂两把风扇加上两个法兰圈导风，直接怼着两侧的VRM散热吹，频率会很稳

fcys

MZ73目前双路9004就这一张板子没的选，这配置出的多了总结了一些经验。

主板是server定位，所以根本没考虑过噪音问题，上架子怎么都简单，暴力风扇吹着没问题，但是上塔式就遭老罪了。

这机箱目前是对付这样的板子最好的选择，侧板一定要挂风扇，然后加上法兰，然后你选择用的风扇太温柔了，要静音就得接受性能的损失，说白了就是会降频。

不能用DIY的思路去看待这些产品，要不用起来会很痛苦

khgdxee

fcys 发表于 2024-2-7 17:57
MZ73目前双路9004就这一张板子没的选，这配置出的多了总结了一些经验。

主板是server定位，所以根本没考虑 ...

谢谢大佬，加法兰确实是一个思路。我选这个机箱纯粹是图个新鲜，按您这么说倒是选对了...只是我感觉这个机箱设计细节对不住abee的名声。现在如果风扇拉满，烤鸡时供电在80°c左右，倒是不会有降频。我是觉得如果能把这个小散热片换成大的最好，因为有水冷CPU温度很低，这样高负载也能很安静。另外就是BMC风扇阈值的问题...我记得超微的板子就能调，没想到**这里有限制。

fcys

khgdxee 发表于 2024-2-7 18:49
谢谢大佬，加法兰确实是一个思路。我选这个机箱纯粹是图个新鲜，按您这么说倒是选对了...只是我感觉这个 ...

这机箱完全不是DIY方向，是要硬解问题的，所以在行业里面是0差评，不能用DIY的思路去看。

侧板加风扇和法兰，VRM温度能降低30度以上，但是风扇不能用你选的这些静音温柔风扇，生产力就是生产力。

SUPERMICRO的板子，风扇也要去BMC里调，而且能调整的更少

Mufasa

giga这个主板我曾经试用过，风扇策略要自己手动去BMC里面建立，否则就是各种抽风。

chriz

下载个ipmitool

ipmitool -U 用户名 -P 密码 -H 192.168.1.1 sensor thresh SYS_FAN1 lower 150 200 250

只要支持IPMI的都可以这样调整最低转速

khgdxee

chriz 发表于 2024-2-7 19:35
下载个ipmitool

ipmitool -U 用户名 -P 密码 -H 192.168.1.1 sensor thresh SYS_FAN1 lower 150 200 250

这块主板ipmitool调不了，我试过了，没有权限

goat

abee没倒手前看过展示，在想这货除了价格（还是反向）什么方面能和联立干？
扇子要控制转速或许直接废了主板自带上海盗船的commander pro之类外挂算了，另外diy热点终极解法不是直接上轧带对付吗

momo77989724

双路大功率没得选  只有屏蔽    上面2代也是   。。。
供电只能自己弄个风扇直吹了。
风扇不知道。。。没用过 嘉的服务器板子  下次摸个玩下

这东西就是这样  买品牌的太贵。。。普通商户只是个卖商品的。。不一定真精通。。。个别精通的渠道商户 也不见得找得到渠道。
最后发现不如自己动手能力强

fcys

goat 发表于 2024-2-7 21:52
abee没倒手前看过展示，在想这货除了价格（还是反向）什么方面能和联立干？
扇子要控制转速或许直接废了主 ...

目前接触到的这箱子就是行业里的唯一能硬解的，联力没有这样的箱子，能否推荐一下，如果价格便宜又好用那肯定换

我輩樹である

9684X yyds。

搞基薛定谔

一模一样的需求。楼主这一套大概什么价位？

赫敏

Darkabysstower 发表于 2024-2-7 04:36
OEM工作站解决方案还是省事

省事归省事，就是价格单位从RMB变成了刀乐

khgdxee

搞基薛定谔 发表于 2024-2-8 00:13
一模一样的需求。楼主这一套大概什么价位？

16w，如果纯闲鱼的话，板u6w，内存3w，硬盘4w，机电散1w

khgdxee

搞基薛定谔 发表于 2024-2-8 00:13
一模一样的需求。楼主这一套大概什么价位？

非常不推荐你选择这个方案...除非不在意噪声，目前空载40dB，绝对不是那种能让人无感的程度，满载55dB+。或者能弄分体水

StevenG

风扇都换成t30，然后把扇子上的物理开关拨到节能挡，这样满速也就1200转，噪音应该小很多

fcys

StevenG 发表于 2024-2-8 08:26
风扇都换成t30，然后把扇子上的物理开关拨到节能挡，这样满速也就1200转，噪音应该小很多 ...

噪音可以控制，但是散热就不够了，性能会衰减很明显，大概能下降1/3

fcys

khgdxee 发表于 2024-2-8 07:42
非常不推荐你选择这个方案...除非不在意噪声，目前空载40dB，绝对不是那种能让人无感的程度，满载55dB+。 ...

你的这个噪音，最难解决的是VRM的散热问题，其他的都好说。

VRM散热问题，我们用这主板都是改散热片，然后用这机箱侧面风扇直接对着吹，没别的办法。

这机箱全开孔，是能硬解需求的，不需要考虑风道，你就算把风扇都拆了，只保留CPU散热器的风扇+VRM的风扇都比现在弄所谓的风道强。

这方案用的比较多，主要是机房转办公室，至少验证了半年了。

khgdxee

fcys 发表于 2024-2-8 08:48
你的这个噪音，最难解决的是VRM的散热问题，其他的都好说。

VRM散热问题，我们用这主板都是改散热片，然 ...

对的，所以想请教下您是怎么更换散热片的？这样改动后会影响保修吗？以及如果您方便发我下散热片尺寸就更好了，可以有偿

l8017379

机器好帅，就是图片太少了

fcys

khgdxee 发表于 2024-2-8 10:14
对的，所以想请教下您是怎么更换散热片的？这样改动后会影响保修吗？以及如果您方便发我下散热片尺寸就更 ...

不会影响质保，只是把原厂的那两个几乎相当于没有的散热片给换掉，节后上班之后我问问技术

zxy2001

换大风扇 A20 那种。。。大既是正义。。。

conanhfl

把VRM的散热由铝魔改成紫铜会不会好一点?

搞基薛定谔

khgdxee 发表于 2024-2-8 07:42
非常不推荐你选择这个方案...除非不在意噪声，目前空载40dB，绝对不是那种能让人无感的程度，满载55dB+。 ...

嗯嗯，如果自己买的话肯定上分体水了。如果单位买的话，就只能看供应商可以提供什么了。还有一个问题想问一下楼主，双u的内存带宽是不是比单u要大？我的应用也特别吃内存带宽。

khgdxee

搞基薛定谔 发表于 2024-2-8 14:46
嗯嗯，如果自己买的话肯定上分体水了。如果单位买的话，就只能看供应商可以提供什么了。还有一个问题想问 ...

供应商的话我估计很难提供分体水。后一个问题的话，是的，这个U内存带宽非常猛，一个U十二通道，两个U内存带宽翻倍。