双路7532 + 超威H11DSI，装机记录贴

coooool_boy

从买配件到今晚装完，调试完，前前后后花了一周时间，这个帖子主要是记录下自己踩过的坑，也供需要的朋友参考。

使用背景：装一台面向计算流体（CFD）的服务器，主要在linux下，基于C++进行计算流体程序开发、编译、测试。博士五年一直搞CFD代码，现在博后也继续搞；以前在课题组用过的服务器也有很多，超算也玩过，各种软件也玩过，对CFD这个行业还是比较熟了。

只说物理硬件层面，CFD的特点是：一种内存依赖型计算，吃多核（物理核心），吃内存带宽，吃内存大小，单核频率高只是锦上添花，对内存延迟不敏感。

我买双路7532的原因是，256的大三缓，而7542频率高了，三缓砍一半。CFD吃带宽，也吃三缓。

一个暴论：其实果子的M芯片非常适合做CFD，因为果子的统一内存带宽非常高，我平时都是用mbp 16 m2 max做基础编程，大程序和案例测试才ssh到服务器的linux系统。我之前还有个13900ks + 芝奇7200 24x2的平台，也是个linux小服务器。同一个计算案例，M2 max跑的速度并不会明显低于13900ks。13900ks很强，但目前的内存带宽依然远远喂不饱如此强的核心（指专业计算，不讨论游戏），所以，像13900ks、7950x 3d这种，单核巨强，但依然不适合跑CFD，直接原因是内存带宽与读写拉胯。

这次算是个人第一次捡洋垃圾，双路7532 + 超威H11DSI+16根 3200的三星ecc，电源是rog loky 1000w（这个是手里存货，不然鬼才用ROG配洋垃圾），显卡 3060 凄惨红itx（手里存货），固态P44Pro（手里存货），板+U+内存一共花了1w左右。

实际性能如下（跑个cpuz和aida64只是为了测试下内存、cpu是否有明显问题）：



Bios设置如下，供参考，有设置不对的地方望指出：





吐槽一下：某视频网站上，有人同样平台，内存读写能到360g/s多，非常强，我这bios只能说能用，但肯定不是最优，还可以继续调。我问过视频作者，他说帮调优200大洋，太贵，放弃，这玩意几个参数都收钱？？自己搞得也没差多少，不影响我发SCI。

CFD是个广义概念，做算法开发的也算CFD，做商业软件的也能叫CFD，所以以上观点不能一概而论。

我工作主要是在Linux下基于C++开发代码，常用Petsc、libmesh等开源库，不常用OpenFOAM，以前常用ANSYS Fluent，不用Comsol和Star CCM。不同软件的需求实际上是不同的，比如我听说comsol很吃单核，做固体力学、有限元的ANSYS APDL也非常吃单核。配置需要结合自己的专业、方向、用途考虑。

coooool_boy

踩坑1：主板只有VGA口，但个人只有一个LG95r 4k显示器，这年头那去弄VGA的显示器啊，送我我都不要~~~
解决方法：并不一定要用主板的VGA才能点亮H11，直接上独显也行，主要记得调一下JPG1的跳线，详细可以看说明书，这种英文说明书比论文好读多了，我从头到尾大致看了一遍也才30多分钟，看完说明书，至少能解决大部分问题。

主板的英文说明书：链接: https://pan.baidu.com/s/1yuj9NmDVTa_Gl8JLYdA92Q?pwd=in9u 提取码: in9u

958813826

先给大佬跪了！程序员听着都头大！

zxy2001

买个VGA转HDMI的转接头，10几块钱。。。玩洋垃圾的人手一个。。。有时候没独显了，也能应急一下

嘎嘎新的猫扇，看着真漂亮。。这风扇是12搭配15么？

coooool_boy

踩坑二：内存读写不对，开始测量时，aida64内存读写才170g/s
aida64和cpuz测量服务器系统还是有意义的，能判断下明显问题，16通道插满3200内存带宽理论能到400g/s，实际至少350左右，再低应该有问题。

这个问题的原因是cpu安装有问题，这个原因很扯，我就是正常安装epyc的，我又不是小白。但实际就是，cpu没放好，于是重新拆了散热器，又安装了一遍cpu。

建议：先装单路，再装单路的内存，然后开机，看能不能进bios，进bios查看信息，没问题的话，再装第二路。

安装正常的话，信息能够从bios里面准确读出。




下图是有问题的：


我刚开始就遇到这个问题，服务器的主板就这点好，哪有问题能给你指出来。我开始以为是P2-DIMMA1这个通道的内存有问题（通道在主板的分布，查看说明书），后来以为是主板出问题了，然后以为是cpu内存控制器gg了，最后才发现是cpu没安装好（凸(艹皿艹 )）。

coooool_boy

zxy2001 发表于 2023-11-9 01:01
买个VGA转HDMI的转接头，10几块钱。。。玩洋垃圾的人手一个。。。有时候没独显了，也能应急一下 ...

我买了！！！
巨坑，我开始都想到这个问题了，所以提前备好了vga转hdmi，但是，主板vga输出接上我的LG 95r 4k，依然点不了。最后还是独显直接点亮的~~~~~

zxy2001

IPMI 自带的集显虽然是渣渣，但是点亮没问题啊。。。我也接4K的屏幕，能正常点亮的。

另外不考虑单根128G的插满么？ 内存容量比硬盘还大。。。哈哈哈

coooool_boy

踩坑三：windows安装好进不去，bios启动引导（uefi）也正常。

问题在于bios以下这个设置：


图上的x2APIC这个设置引起的

有兴趣可以google下，看https://learn.microsoft.com/zh-C ... le-family-processor

简单地说，windows有些系统是不支持x2APIC的，包括windows server 2019以及之前的一些老版本，普通的专业版、家庭版也可能不支持。

但是，linux内核是支持的，这个选择有助于性能优化。

如果发现windows安装正常，bios启动项正常，但是就是进不去，有可能是调了这个选项的原因，改成auto或者x1APIC。

coooool_boy

zxy2001 发表于 2023-11-9 01:09
IPMI 自带的集显虽然是渣渣，但是点亮没问题啊。。。我也接4K的屏幕，能正常点亮的。

另外不考虑单根128G ...

我这边真没点亮~~~~

IPMI是个好东西，我之后再抽时间学习学习。目前还是按照普通装机思维点亮服务器的~~~

coooool_boy

踩坑四：比较蠢的一个错，我看到H11DSI上有两个黄色的sata口（事实证明，这是sata dom不等价于普通的sata），我开始用我的mx500连到这上面，想安装个临时windows（我主用archlinux），但是，发现能正常识别mx500，也能通过win的启动盘安装win到mx500，但是安好后，bios总是识别不了启动项，uefi和legacy都测试过，最后发现是接口问题，不该用sata dom去接大容量固态。H11主板有两个minisas接口，买两根sff8087转4sata口的线，一共能带8个sata。

coooool_boy

推荐两个和bios设置相关的视频，看完后有利于epyc平台 bios调优

https://www.bilibili.com/video/B ... 7a4e836b5aa07d2576e
https://www.bilibili.com/video/B ... 7a4e836b5aa07d2576e

有些参数对性能影响很大，比如NPS，所以建议先看看，在调。

还有linux系统调优，比如是否开启iommu（grub配置文件里面加内核参数iommu=pt），超线程一定要关闭（CFD吃物理核心），swap需要关闭，numa_balance需要关闭，cpupower拉频率等，上面有个视频讲到了部分，可以参考。因为linux系统调优远比硬件调优复杂的多，甚至很多程序运行性能依赖于gcc编译标识符，太复杂了~~~~

coooool_boy

以上内容供大家参考。

Ps：驱动我写这个帖子的原因是，有人给H11DSI bios调优，都好意思收费200。我实在不明白，就放几张截图而已，让人跟着弄就行了，这玩意还能赚钱？？？

当然，我这个只是简单调优下，能用了，也许和200元调优档还是有一定差距的

同时，epyc二代目前性价比确实不错，很适合搞CFD的硕博生弄一套，毕竟课题组的服务器大家轮着用，超算中心全被一些大组把持着，根本排不上队。我看B站也有很多在问H11的设置与调优，但是愿意解答的人少得可怜~~~~

自己搞一台256g的还是够用了。内存没必要再多了，就CFD而言，512g没必要，因为能用满256g内存的仿真案例，已经非常大了，大概率是DNS、高精度LES这种，还是上超算吧。二代epyc洋垃圾平台算CFD，个人觉得案例内存不应该超过256g。以上只是对CFD而言。

yy29

想请教一下这种服务器BIOS里能不能超频REG ECC内存，比如你这3200能否调到3600，或者调低时序？或者说买便宜的2400或2666能不能调成3000用。以前我用Z9PE是可以的

coooool_boy

yy29 发表于 2023-11-9 01:36
想请教一下这种服务器BIOS里能不能超频REG ECC内存，比如你这3200能否调到3600，或者调低时序？或者说买便 ...

据说可以，但我没试过~~~
首先，我这个主板H11DSI大概率不行，它的bios选项少得可怜，压根和桌面级主板超频选项没得比；其次，服务器肯定是稳定为主，调优都是在稳定的前提下进行的。超频内存这玩意太玄学了~~~~

__|__

yy29 发表于 2023-11-9 01:36
想请教一下这种服务器BIOS里能不能超频REG ECC内存，比如你这3200能否调到3600，或者调低时序？或者说买便 ...

听说过2666超3000用的，但是最后一代D4两家服务器U官方支持的内存频率就是3200JEDEC，估计3600是没戏的

而且服务器上玩超频……我只能说你猜为啥服务器就跑个JEDEC频率还要加上ECC这种功能？折腾着玩就算了，真要是正经干活的任务有那么高的内存带宽需求，9004平台的24通道4800D5考虑一下

cl-云翔

干货支持！ zsbd

死也要爱钱

我也遇到过因为CPU安装不到位导致内存通道识别不全，其实就是安装CPU的时候螺丝没拧好导致CPU压力不均
这个AMD给出过解决办法：每颗epyc配一个专用的扭矩螺丝刀。这个螺丝刀如果买品牌服务器是直接送的，但捡垃圾就没有了，不过鱼上有零售的，40块一个

LightningWu

干货好帖子，顶顶

kmdkai

网上所谓的调优大部分都是理论调优。实际要按具体用途调，比如NPS0 1 2 4对应的场景不一样。不是无脑NPS4就好。CTDP和PPT APBDIS这些不懂别乱动，要不就是拣了芝麻丢了西瓜的情况。X2 APIC这压根跟性能不搭边的选项。还有linux比windows性能好不好也得看具体软件和负载类型才能比较。外面大部分都是一些不懂行的博主乱讲一通博人眼球，还讲得头头是道。
另外CFD也不是完全看内存带宽为主的，具体要看模型类型和计算工况，配置需求还完全不一样。

还有罗马这类平台太老了，大约是5、6年前的淘汰洋垃圾，马来货居多，求稳定为主的不建议折腾罗马平台。
据我所知某国内二手洋垃圾代理商进货平均每100个罗马里，至少一半都是有各种毛病的。卖出去后小白用户还容易给用坏。

zlcrxp

1.正常来说 如果你知道IPMI的默认密码 直接用IPMI远程控制就行了，根本不需要外接显示器和鼠标键盘
2. 不一定需要买3200的RECC，其实随便买2666的RECC，BIOS里面设置成3200都能稳定运行
3.X2 APIC只有超过256线程才需要改，7532不用
4.EPYC调优的话AMD官方有个指引
https://www.amd.com/content/dam/ ... 02-tg-hpc-56827.pdf
也可以搜索，官方其实出了很多调优的指引

manysu

专业计算不太懂，不过从垃圾佬的观点来说，单核和E5 V3差不多，多核相当于两台双路E5，价格么超10倍，学不来学不来。

gunner_l

zxy2001 发表于 2023-11-9 01:01
买个VGA转HDMI的转接头，10几块钱。。。玩洋垃圾的人手一个。。。有时候没独显了，也能应急一下

嘎嘎新的 ...

转接头就能用吗？我以为数转膜需要里面有芯片呢

zyp527

coooool_boy 发表于 2023-11-9 01:04
我买了！！！
巨坑，我开始都想到这个问题了，所以提前备好了vga转hdmi，但是，主板vga输出接上我的LG 95 ...

vga是模拟信号，hdmi是数字信号，这没法输出的吧？

而看楼主的CPU散热器，风扇好像都是冲外的，不是一左一右形成一边进风一边出风的结构啊

yaoiverson

mark学习一下。学霸玩机也厉害

davryddr

我也遇到过，双路主板，总随机一条内存或者随机一根内存槽失效，找了很多测试方法都没用。主板是全新官网买的华南，最好咨询华南工程师说我内存没安装好。我还辩解，结果全部拆了，重装一遍。全部解决，啪啪打脸。。。

coooool_boy

kmdkai 发表于 2023-11-9 12:30
网上所谓的调优大部分都是理论调优。实际要按具体用途调，比如NPS0 1 2 4对应的场景不一样。不是无脑NPS4就 ...

说的没错，我也感觉，网上很多视频博主说调优的都是瞎扯。实际上很多东西都要考虑特定用途，针对性优化才靠谱。
至于CFD，这个范围本来就很广泛，不同计算需要的硬件资源肯定不一样，帖子也只是泛泛而谈~~

coooool_boy

zlcrxp 发表于 2023-11-9 13:19
1.正常来说 如果你知道IPMI的默认密码 直接用IPMI远程控制就行了，根本不需要外接显示器和鼠标键盘
2. 不一 ...

原来如此。官方指导更靠谱，之前我是看一些视频里说的调优策略，感觉视频博主还是不靠谱啊！

coooool_boy

zyp527 发表于 2023-11-9 14:12
vga是模拟信号，hdmi是数字信号，这没法输出的吧？

而看楼主的CPU散热器，风扇好像都是冲外的，不是一左 ...

我确实是一个散热器两风扇，一进风一出风，可能是拍摄视角问题

playclan

yy29 发表于 2023-11-9 01:36
想请教一下这种服务器BIOS里能不能超频REG ECC内存，比如你这3200能否调到3600，或者调低时序？或者说买便 ...

内存时序可以刷spd

zxy2001

泰安S3080 可以设置内存频率和小参。。。我用原频条2666 手动设置到2993 （小参默认不改） 可以过Aida64 拷机。但那些超频条就不知道了。