双路9684x工作站安装踩坑

khgdxee

数值模拟需要，本想机架式丢机房，感觉不够刺激，索然无味，而且报价巨高，决定还是用自组塔式方案，没想到这就是踩坑的开始。
初始的配置单如下
CPU        AMD EPYC 9684X*2
主板        GIGABYTE MZ73-LM0(rev. 2.0)
显卡        NVIDIA GeForce RTX 4070 Founders Edition
内存        SAMSUNG DDR5 4800MHz REG ECC 64GB*24 1.5TB
硬盘        SABRENT Rocket 4 Plus 8TB        Intel P5316 U.2 30.72TB*2
散热        SilverStone XE360-SP5*2
风扇        ABEE APEX Fan 120 DB25*9
机箱        ABEE Designer C1000W
电源        ABEE STEM PT2000W
心路历程：
1.        CPU开始就决定在9654 9684X 9754中间选，考虑到应用，9684X的大三缓保证其必然比9654强，9754则是未知，所以选择9684X。
2.        常规9004双路主板只找到**在做，不过这块板子PCIE通道浪费了很多。
3.        显卡方面纯CPU计算，用不到显卡，而手边一张4070FE，标准双槽，是完美亮机卡。
4.        服务器DDR5内存单条128g价格会陡然上升，不值得，考虑后决定选择64g*24，不爽。
5.        存储肯定是全闪，主板只有一个M.2，正好有之前从美国带回的一根8T，拿来装系统。仓库盘考虑到之后随时能加，只上了2块。科学计算io压力不是很大，散热也有之前订的u2散热片。
6.        机箱、风扇是大坑，一句话概括，ABEE负全责，之后详说。
7.        电源本想ax1600i，为了ABEE全家桶选这个。
下单是周五，周一商家拉着小推车上门，一接触没两句话我就感觉不对，对方专业知识极度欠缺，好吧，东西应该都是对的，拧拧螺丝装起来呗。

事后补拍

当场出现以下问题：
1.        没带EPYC扭力扳手，回去拿。
2.        分不清8654线与MCIO线，插半天插不上，回去拿。
3.        拧冷排螺丝，一螺丝刀差点把冷排戳漏。
折腾进去一天，本来心情是兴奋的，当时有点没绷住。
再讲ABEE的问题，本人之前对ABEE印象相当好，但是这个久仰大名的C1000W实在让我失望。
1.        没有理线位置！背板光秃秃的，连穿扎带的孔都没有！我以为看错了，是不是有什么配件没装？最后京东下单双面胶理线带一包。
2.        下仓硬盘架，劣质塑料。我用不到硬盘架，准备拧掉，其中一个螺丝还有问题，和师傅折腾半天才取下来。
3.        上下分仓隔板是铆钉铆上的，不可拆卸！无法理解，由此下进风是不可能了，下仓有些浪费。
4.        一个冷排上置，第二个冷排侧置热风出不去，最后动了动脑，把第二个冷排装在机箱自己提供的侧板上，勉强解决，但这样机箱风道就乱了。
安装完毕烤鸡测试，长达一周折磨才真正开始。首先每个U功耗只有300w，咨询商家，商家：我不到啊。其次pwm风扇低转速会自动停转，进而触发主板风扇最低转速阈值，主板认为风扇故障，会自动把风扇转速拉满，发现没问题再降低转速，然后周而复始。解决办法是调低这个阈值，**BMC里面调不了，咨询客服，对方态度极其傲慢，先是浪费一下午让我复现问题，最后才扯回正题，结果是这个调不了，现在也没解决，只能把风扇曲线设置的高一点。
在这一过程中，发现了两个新问题，一是**客服说对了一点，CPU供电烤鸡直接110°C，其它供电以及内存都不凉快。我知道这里会有问题，没想到这么严重。强扭的瓜不甜，服务器和工作站还是有相当的区别。二是我发现ABEE风扇非常吵。好吧，京东下单利民C14*4，猫头鹰A12*10，总算是安静了，可是猫头鹰30%会触发停转，利民40%也不行（ABEE是20%，不过ABEE20%转速比这两个都吵），只好设成猫头鹰40%，利民50%，还是与我预想的静音有差距。高负载没办法，直接把风扇拉满，供电温度勉强能看，就是这个声音更是小不了。

回过头来解决跑不满功耗的问题，虽然现在满载CPU 60°C，尝试换了商家自己的EK45厚排aio，没变化。网上搜了半天，都没用。这里要感谢【已解决】AMD / Win 11 / P95锅三选一：9654跑不满功耗https://www.chiphell.com/thread-2568664-1-1.html，我在BIOS里面找了几圈，在很深的菜单里发现了standard/best performance，选择后者，烤鸡，400w全核心3.7G。
至此花了一个多星期，性能确实没得说，只是这个散热与声音的平衡，还没有解决。问题分为三点。
1.        目前机箱风扇是前面3把C14进风，后面一把C14出风。顶上360向上出风靠后，一把A12向下进风。右侧三把A12进风，左侧最前面是360出风，后面6把A12进风。问题就在于第二个侧置冷排，放到后面水管打架，放到前面扰乱风道。

2.        BMC风扇阈值，倘若能改，可以解决空载噪音问题。
3.        供电部分散热，倘若能解决，可以改善高负载噪音。我的想法有定做导风板，定做供电散热（估计会影响主板保修），不知大佬们有无更好办法。

khgdxee

lzhdim 发表于 2024-2-7 17:25
漂亮。。。。。。。。。。。。。

正面只能看到9把风扇，全盖住了，就没拍

khgdxee

fcys 发表于 2024-2-7 17:57
MZ73目前双路9004就这一张板子没的选，这配置出的多了总结了一些经验。

主板是server定位，所以根本没考虑 ...

谢谢大佬，加法兰确实是一个思路。我选这个机箱纯粹是图个新鲜，按您这么说倒是选对了...只是我感觉这个机箱设计细节对不住abee的名声。现在如果风扇拉满，烤鸡时供电在80°c左右，倒是不会有降频。我是觉得如果能把这个小散热片换成大的最好，因为有水冷CPU温度很低，这样高负载也能很安静。另外就是BMC风扇阈值的问题...我记得超微的板子就能调，没想到**这里有限制。

khgdxee

chriz 发表于 2024-2-7 19:35
下载个ipmitool

ipmitool -U 用户名 -P 密码 -H 192.168.1.1 sensor thresh SYS_FAN1 lower 150 200 250

这块主板ipmitool调不了，我试过了，没有权限

khgdxee

搞基薛定谔 发表于 2024-2-8 00:13
一模一样的需求。楼主这一套大概什么价位？

16w，如果纯闲鱼的话，板u6w，内存3w，硬盘4w，机电散1w

khgdxee

搞基薛定谔 发表于 2024-2-8 00:13
一模一样的需求。楼主这一套大概什么价位？

非常不推荐你选择这个方案...除非不在意噪声，目前空载40dB，绝对不是那种能让人无感的程度，满载55dB+。或者能弄分体水

khgdxee

fcys 发表于 2024-2-8 08:48
你的这个噪音，最难解决的是VRM的散热问题，其他的都好说。

VRM散热问题，我们用这主板都是改散热片，然 ...

对的，所以想请教下您是怎么更换散热片的？这样改动后会影响保修吗？以及如果您方便发我下散热片尺寸就更好了，可以有偿

khgdxee

搞基薛定谔 发表于 2024-2-8 14:46
嗯嗯，如果自己买的话肯定上分体水了。如果单位买的话，就只能看供应商可以提供什么了。还有一个问题想问 ...

供应商的话我估计很难提供分体水。后一个问题的话，是的，这个U内存带宽非常猛，一个U十二通道，两个U内存带宽翻倍。

khgdxee

补充一下跑分，懂得不多，有问题希望大家指正。
R15多核 17536
R20多核 47971
R23多核 131301
7-zip 376411




内存与GPGPU测试，参考
双路EPYC 9V84（9654的OEM型号），双路192核满载3.7你怕不怕。坐等双路9754来战
https://www.chiphell.com/thread-2555189-1-1.html
这样看的话，单精度22Tflops与3070ti相近，双精度11Tflops，可以相当于a100？不知道能不能这样简单换算。
AIDA64不知道是不是版本问题，测试结果有一些错误，尝试了两个不同版本。