双路7532 + 超威H11DSI，装机记录贴
本帖最后由 coooool_boy 于 2023-11-9 09:32 编辑从买配件到今晚装完，调试完，前前后后花了一周时间，这个帖子主要是记录下自己踩过的坑，也供需要的朋友参考。
使用背景：装一台面向计算流体（CFD）的服务器，主要在linux下，基于C++进行计算流体程序开发、编译、测试。博士五年一直搞CFD代码，现在博后也继续搞；以前在课题组用过的服务器也有很多，超算也玩过，各种软件也玩过，对CFD这个行业还是比较熟了。
只说物理硬件层面，CFD的特点是：一种内存依赖型计算，吃多核（物理核心），吃内存带宽，吃内存大小，单核频率高只是锦上添花，对内存延迟不敏感。
我买双路7532的原因是，256的大三缓，而7542频率高了，三缓砍一半。CFD吃带宽，也吃三缓。
一个暴论：其实果子的M芯片非常适合做CFD，因为果子的统一内存带宽非常高，我平时都是用mbp 16 m2 max做基础编程，大程序和案例测试才ssh到服务器的linux系统。我之前还有个13900ks + 芝奇7200 24x2的平台，也是个linux小服务器。同一个计算案例，M2 max跑的速度并不会明显低于13900ks。13900ks很强，但目前的内存带宽依然远远喂不饱如此强的核心（指专业计算，不讨论游戏），所以，像13900ks、7950x 3d这种，单核巨强，但依然不适合跑CFD，直接原因是内存带宽与读写拉胯。
这次算是个人第一次捡洋垃圾，双路7532 + 超威H11DSI+16根 3200的三星ecc，电源是rog loky 1000w（这个是手里存货，不然鬼才用ROG配洋垃圾），显卡 3060 凄惨红itx（手里存货），固态P44Pro（手里存货），板+U+内存一共花了1w左右。
实际性能如下（跑个cpuz和aida64只是为了测试下内存、cpu是否有明显问题）：
Bios设置如下，供参考，有设置不对的地方望指出：
吐槽一下：某视频网站上，有人同样平台，内存读写能到360g/s多，非常强，我这bios只能说能用，但肯定不是最优，还可以继续调。我问过视频作者，他说帮调优200大洋，太贵，放弃，这玩意几个参数都收钱？？自己搞得也没差多少，不影响我发SCI。
CFD是个广义概念，做算法开发的也算CFD，做商业软件的也能叫CFD，所以以上观点不能一概而论。
我工作主要是在Linux下基于C++开发代码，常用Petsc、libmesh等开源库，不常用OpenFOAM，以前常用ANSYS Fluent，不用Comsol和Star CCM。不同软件的需求实际上是不同的，比如我听说comsol很吃单核，做固体力学、有限元的ANSYS APDL也非常吃单核。配置需要结合自己的专业、方向、用途考虑。
踩坑1：主板只有VGA口，但个人只有一个LG95r 4k显示器，这年头那去弄VGA的显示器啊，送我我都不要~~~
解决方法：并不一定要用主板的VGA才能点亮H11，直接上独显也行，主要记得调一下JPG1的跳线，详细可以看说明书，这种英文说明书比论文好读多了，我从头到尾大致看了一遍也才30多分钟，看完说明书，至少能解决大部分问题。
主板的英文说明书：链接: https://pan.baidu.com/s/1yuj9NmDVTa_Gl8JLYdA92Q?pwd=in9u 提取码: in9u 先给大佬跪了！程序员听着都头大！ 本帖最后由 zxy2001 于 2023-11-9 01:03 编辑
买个VGA转HDMI的转接头，10几块钱。。。玩洋垃圾的人手一个。。。有时候没独显了，也能应急一下
嘎嘎新的猫扇，看着真漂亮。。这风扇是12搭配15么？ 踩坑二：内存读写不对，开始测量时，aida64内存读写才170g/s
aida64和cpuz测量服务器系统还是有意义的，能判断下明显问题，16通道插满3200内存带宽理论能到400g/s，实际至少350左右，再低应该有问题。
这个问题的原因是cpu安装有问题，这个原因很扯，我就是正常安装epyc的，我又不是小白。但实际就是，cpu没放好，于是重新拆了散热器，又安装了一遍cpu。
建议：先装单路，再装单路的内存，然后开机，看能不能进bios，进bios查看信息，没问题的话，再装第二路。
安装正常的话，信息能够从bios里面准确读出。
下图是有问题的：
我刚开始就遇到这个问题，服务器的主板就这点好，哪有问题能给你指出来。我开始以为是P2-DIMMA1这个通道的内存有问题（通道在主板的分布，查看说明书），后来以为是主板出问题了，然后以为是cpu内存控制器gg了，最后才发现是cpu没安装好（凸(艹皿艹 )）。
zxy2001 发表于 2023-11-9 01:01
买个VGA转HDMI的转接头，10几块钱。。。玩洋垃圾的人手一个。。。有时候没独显了，也能应急一下 ...
我买了！！！
巨坑，我开始都想到这个问题了，所以提前备好了vga转hdmi，但是，主板vga输出接上我的LG 95r 4k，依然点不了。最后还是独显直接点亮的~~~~~ IPMI 自带的集显虽然是渣渣，但是点亮没问题啊。。。我也接4K的屏幕，能正常点亮的。
另外不考虑单根128G的插满么？ 内存容量比硬盘还大。。。哈哈哈 本帖最后由 coooool_boy 于 2023-11-9 09:34 编辑
踩坑三：windows安装好进不去，bios启动引导（uefi）也正常。
问题在于bios以下这个设置：
图上的x2APIC这个设置引起的
有兴趣可以google下，看https://learn.microsoft.com/zh-CN/troubleshoot/windows-server/deployment/windows-server-support-installation-for-amd-role-family-processor
简单地说，windows有些系统是不支持x2APIC的，包括windows server 2019以及之前的一些老版本，普通的专业版、家庭版也可能不支持。
但是，linux内核是支持的，这个选择有助于性能优化。
如果发现windows安装正常，bios启动项正常，但是就是进不去，有可能是调了这个选项的原因，改成auto或者x1APIC。 本帖最后由 coooool_boy 于 2023-11-9 01:20 编辑
zxy2001 发表于 2023-11-9 01:09
IPMI 自带的集显虽然是渣渣，但是点亮没问题啊。。。我也接4K的屏幕，能正常点亮的。
另外不考虑单根128G ...
我这边真没点亮~~~~
IPMI是个好东西，我之后再抽时间学习学习。目前还是按照普通装机思维点亮服务器的~~~ 踩坑四：比较蠢的一个错，我看到H11DSI上有两个黄色的sata口（事实证明，这是sata dom不等价于普通的sata），我开始用我的mx500连到这上面，想安装个临时windows（我主用archlinux），但是，发现能正常识别mx500，也能通过win的启动盘安装win到mx500，但是安好后，bios总是识别不了启动项，uefi和legacy都测试过，最后发现是接口问题，不该用sata dom去接大容量固态。H11主板有两个minisas接口，买两根sff8087转4sata口的线，一共能带8个sata。 本帖最后由 coooool_boy 于 2023-11-9 01:46 编辑
推荐两个和bios设置相关的视频，看完后有利于epyc平台 bios调优
https://www.bilibili.com/video/BV19q4y197uX/?vd_source=9c65f387208f77a4e836b5aa07d2576e
https://www.bilibili.com/video/BV1fQ4y1U7pc/?vd_source=9c65f387208f77a4e836b5aa07d2576e
有些参数对性能影响很大，比如NPS，所以建议先看看，在调。
还有linux系统调优，比如是否开启iommu（grub配置文件里面加内核参数iommu=pt），超线程一定要关闭（CFD吃物理核心），swap需要关闭，numa_balance需要关闭，cpupower拉频率等，上面有个视频讲到了部分，可以参考。因为linux系统调优远比硬件调优复杂的多，甚至很多程序运行性能依赖于gcc编译标识符，太复杂了~~~~ 本帖最后由 coooool_boy 于 2023-11-9 01:44 编辑
以上内容供大家参考。
Ps：驱动我写这个帖子的原因是，有人给H11DSI bios调优，都好意思收费200。我实在不明白，就放几张截图而已，让人跟着弄就行了，这玩意还能赚钱？？？
当然，我这个只是简单调优下，能用了，也许和200元调优档还是有一定差距的[狂笑]
同时，epyc二代目前性价比确实不错，很适合搞CFD的硕博生弄一套，毕竟课题组的服务器大家轮着用，超算中心全被一些大组把持着，根本排不上队。我看B站也有很多在问H11的设置与调优，但是愿意解答的人少得可怜~~~~
自己搞一台256g的还是够用了。内存没必要再多了，就CFD而言，512g没必要，因为能用满256g内存的仿真案例，已经非常大了，大概率是DNS、高精度LES这种，还是上超算吧。二代epyc洋垃圾平台算CFD，个人觉得案例内存不应该超过256g。以上只是对CFD而言。
想请教一下这种服务器BIOS里能不能超频REG ECC内存，比如你这3200能否调到3600，或者调低时序？或者说买便宜的2400或2666能不能调成3000用。以前我用Z9PE是可以的 yy29 发表于 2023-11-9 01:36
想请教一下这种服务器BIOS里能不能超频REG ECC内存，比如你这3200能否调到3600，或者调低时序？或者说买便 ...
据说可以，但我没试过~~~
首先，我这个主板H11DSI大概率不行，它的bios选项少得可怜，压根和桌面级主板超频选项没得比；其次，服务器肯定是稳定为主，调优都是在稳定的前提下进行的。超频内存这玩意太玄学了~~~~ yy29 发表于 2023-11-9 01:36
想请教一下这种服务器BIOS里能不能超频REG ECC内存，比如你这3200能否调到3600，或者调低时序？或者说买便 ...
听说过2666超3000用的，但是最后一代D4两家服务器U官方支持的内存频率就是3200JEDEC，估计3600是没戏的
而且服务器上玩超频……我只能说你猜为啥服务器就跑个JEDEC频率还要加上ECC这种功能？折腾着玩就算了，真要是正经干活的任务有那么高的内存带宽需求，9004平台的24通道4800D5考虑一下 干货支持！ zsbd 我也遇到过因为CPU安装不到位导致内存通道识别不全，其实就是安装CPU的时候螺丝没拧好导致CPU压力不均
这个AMD给出过解决办法：每颗epyc配一个专用的扭矩螺丝刀。这个螺丝刀如果买品牌服务器是直接送的，但捡垃圾就没有了，不过鱼上有零售的，40块一个 干货好帖子，顶顶 本帖最后由 kmdkai 于 2023-11-9 12:40 编辑
网上所谓的调优大部分都是理论调优。实际要按具体用途调，比如NPS0 1 2 4对应的场景不一样。不是无脑NPS4就好。CTDP和PPT APBDIS这些不懂别乱动，要不就是拣了芝麻丢了西瓜的情况。X2 APIC这压根跟性能不搭边的选项。还有linux比windows性能好不好也得看具体软件和负载类型才能比较。外面大部分都是一些不懂行的博主乱讲一通博人眼球，还讲得头头是道。
另外CFD也不是完全看内存带宽为主的，具体要看模型类型和计算工况，配置需求还完全不一样。
还有罗马这类平台太老了，大约是5、6年前的淘汰洋垃圾，马来货居多，求稳定为主的不建议折腾罗马平台。
据我所知某国内二手洋垃圾代理商进货平均每100个罗马里，至少一半都是有各种毛病的。卖出去后小白用户还容易给用坏。
1.正常来说 如果你知道IPMI的默认密码 直接用IPMI远程控制就行了，根本不需要外接显示器和鼠标键盘
2. 不一定需要买3200的RECC，其实随便买2666的RECC，BIOS里面设置成3200都能稳定运行
3.X2 APIC只有超过256线程才需要改，7532不用
4.EPYC调优的话AMD官方有个指引
https://www.amd.com/content/dam/amd/en/documents/epyc-technical-docs/tuning-guides/amd-epyc-7002-tg-hpc-56827.pdf
也可以搜索，官方其实出了很多调优的指引
专业计算不太懂，不过从垃圾佬的观点来说，单核和E5 V3差不多，多核相当于两台双路E5，价格么超10倍，学不来学不来。 zxy2001 发表于 2023-11-9 01:01
买个VGA转HDMI的转接头，10几块钱。。。玩洋垃圾的人手一个。。。有时候没独显了，也能应急一下
嘎嘎新的 ...
转接头就能用吗？我以为数转膜需要里面有芯片呢 coooool_boy 发表于 2023-11-9 01:04
我买了！！！
巨坑，我开始都想到这个问题了，所以提前备好了vga转hdmi，但是，主板vga输出接上我的LG 95 ...
vga是模拟信号，hdmi是数字信号，这没法输出的吧？
而看楼主的CPU散热器，风扇好像都是冲外的，不是一左一右形成一边进风一边出风的结构啊 mark学习一下。学霸玩机也厉害 我也遇到过，双路主板，总随机一条内存或者随机一根内存槽失效，找了很多测试方法都没用。主板是全新官网买的华南，最好咨询华南工程师说我内存没安装好。我还辩解，结果全部拆了，重装一遍。全部解决，啪啪打脸。。。 kmdkai 发表于 2023-11-9 12:30
网上所谓的调优大部分都是理论调优。实际要按具体用途调，比如NPS0 1 2 4对应的场景不一样。不是无脑NPS4就 ...
说的没错，我也感觉，网上很多视频博主说调优的都是瞎扯。实际上很多东西都要考虑特定用途，针对性优化才靠谱。
至于CFD，这个范围本来就很广泛，不同计算需要的硬件资源肯定不一样，帖子也只是泛泛而谈~~ zlcrxp 发表于 2023-11-9 13:19
1.正常来说 如果你知道IPMI的默认密码 直接用IPMI远程控制就行了，根本不需要外接显示器和鼠标键盘
2. 不一 ...
原来如此。官方指导更靠谱，之前我是看一些视频里说的调优策略，感觉视频博主还是不靠谱啊！ zyp527 发表于 2023-11-9 14:12
vga是模拟信号，hdmi是数字信号，这没法输出的吧？
而看楼主的CPU散热器，风扇好像都是冲外的，不是一左 ...
我确实是一个散热器两风扇，一进风一出风，可能是拍摄视角问题 yy29 发表于 2023-11-9 01:36
想请教一下这种服务器BIOS里能不能超频REG ECC内存，比如你这3200能否调到3600，或者调低时序？或者说买便 ...
内存时序可以刷spd 泰安S3080 可以设置内存频率和小参。。。我用原频条2666 手动设置到2993 （小参默认不改） 可以过Aida64 拷机。但那些超频条就不知道了。
页:
[1]
2