Chiphell - 分享与交流用户体验

标题: 双路7532 + 超威H11DSI，装机记录贴 [打印本页]

作者: coooool_boy 时间: 2023-11-9 00:42
标题: 双路7532 + 超威H11DSI，装机记录贴
本帖最后由 coooool_boy 于 2023-11-9 09:32 编辑

从买配件到今晚装完，调试完，前前后后花了一周时间，这个帖子主要是记录下自己踩过的坑，也供需要的朋友参考。

使用背景：装一台面向计算流体（CFD）的服务器，主要在linux下，基于C++进行计算流体程序开发、编译、测试。博士五年一直搞CFD代码，现在博后也继续搞；以前在课题组用过的服务器也有很多，超算也玩过，各种软件也玩过，对CFD这个行业还是比较熟了。

只说物理硬件层面，CFD的特点是：一种内存依赖型计算，吃多核（物理核心），吃内存带宽，吃内存大小，单核频率高只是锦上添花，对内存延迟不敏感。

我买双路7532的原因是，256的大三缓，而7542频率高了，三缓砍一半。CFD吃带宽，也吃三缓。

一个暴论：其实果子的M芯片非常适合做CFD，因为果子的统一内存带宽非常高，我平时都是用mbp 16 m2 max做基础编程，大程序和案例测试才ssh到服务器的linux系统。我之前还有个13900ks + 芝奇7200 24x2的平台，也是个linux小服务器。同一个计算案例，M2 max跑的速度并不会明显低于13900ks。13900ks很强，但目前的内存带宽依然远远喂不饱如此强的核心（指专业计算，不讨论游戏），所以，像13900ks、7950x 3d这种，单核巨强，但依然不适合跑CFD，直接原因是内存带宽与读写拉胯。

这次算是个人第一次捡洋垃圾，双路7532 + 超威H11DSI+16根 3200的三星ecc，电源是rog loky 1000w（这个是手里存货，不然鬼才用ROG配洋垃圾），显卡 3060 凄惨红itx（手里存货），固态P44Pro（手里存货），板+U+内存一共花了1w左右。

实际性能如下（跑个cpuz和aida64只是为了测试下内存、cpu是否有明显问题）：
(, 下载次数: 89)
(, 下载次数: 115)

Bios设置如下，供参考，有设置不对的地方望指出：
(, 下载次数: 95)
(, 下载次数: 107)
(, 下载次数: 95)
(, 下载次数: 95)

吐槽一下：某视频网站上，有人同样平台，内存读写能到360g/s多，非常强，我这bios只能说能用，但肯定不是最优，还可以继续调。我问过视频作者，他说帮调优200大洋，太贵，放弃，这玩意几个参数都收钱？？自己搞得也没差多少，不影响我发SCI。

CFD是个广义概念，做算法开发的也算CFD，做商业软件的也能叫CFD，所以以上观点不能一概而论。

我工作主要是在Linux下基于C++开发代码，常用Petsc、libmesh等开源库，不常用OpenFOAM，以前常用ANSYS Fluent，不用Comsol和Star CCM。不同软件的需求实际上是不同的，比如我听说comsol很吃单核，做固体力学、有限元的ANSYS APDL也非常吃单核。配置需要结合自己的专业、方向、用途考虑。

作者: coooool_boy 时间: 2023-11-9 00:51
踩坑1：主板只有VGA口，但个人只有一个LG95r 4k显示器，这年头那去弄VGA的显示器啊，送我我都不要~~~
解决方法：并不一定要用主板的VGA才能点亮H11，直接上独显也行，主要记得调一下JPG1的跳线，详细可以看说明书，这种英文说明书比论文好读多了，我从头到尾大致看了一遍也才30多分钟，看完说明书，至少能解决大部分问题。

主板的英文说明书：链接: https://pan.baidu.com/s/1yuj9NmDVTa_Gl8JLYdA92Q?pwd=in9u 提取码: in9u

作者: 958813826 时间: 2023-11-9 01:00
先给大佬跪了！程序员听着都头大！

作者: zxy2001 时间: 2023-11-9 01:01
本帖最后由 zxy2001 于 2023-11-9 01:03 编辑

买个VGA转HDMI的转接头，10几块钱。。。玩洋垃圾的人手一个。。。有时候没独显了，也能应急一下

嘎嘎新的猫扇，看着真漂亮。。这风扇是12搭配15么？

作者: coooool_boy 时间: 2023-11-9 01:02
踩坑二：内存读写不对，开始测量时，aida64内存读写才170g/s
aida64和cpuz测量服务器系统还是有意义的，能判断下明显问题，16通道插满3200内存带宽理论能到400g/s，实际至少350左右，再低应该有问题。

这个问题的原因是cpu安装有问题，这个原因很扯，我就是正常安装epyc的，我又不是小白。但实际就是，cpu没放好，于是重新拆了散热器，又安装了一遍cpu。

建议：先装单路，再装单路的内存，然后开机，看能不能进bios，进bios查看信息，没问题的话，再装第二路。

安装正常的话，信息能够从bios里面准确读出。
(, 下载次数: 97)
(, 下载次数: 89)
(, 下载次数: 93)

下图是有问题的：
(, 下载次数: 99)

我刚开始就遇到这个问题，服务器的主板就这点好，哪有问题能给你指出来。我开始以为是P2-DIMMA1这个通道的内存有问题（通道在主板的分布，查看说明书），后来以为是主板出问题了，然后以为是cpu内存控制器gg了，最后才发现是cpu没安装好（凸(艹皿艹 )）。

作者: coooool_boy 时间: 2023-11-9 01:04

zxy2001 发表于 2023-11-9 01:01
买个VGA转HDMI的转接头，10几块钱。。。玩洋垃圾的人手一个。。。有时候没独显了，也能应急一下 ...

我买了！！！
巨坑，我开始都想到这个问题了，所以提前备好了vga转hdmi，但是，主板vga输出接上我的LG 95r 4k，依然点不了。最后还是独显直接点亮的~~~~~

作者: zxy2001 时间: 2023-11-9 01:09
IPMI 自带的集显虽然是渣渣，但是点亮没问题啊。。。我也接4K的屏幕，能正常点亮的。

另外不考虑单根128G的插满么？内存容量比硬盘还大。。。哈哈哈

作者: coooool_boy 时间: 2023-11-9 01:11
本帖最后由 coooool_boy 于 2023-11-9 09:34 编辑

踩坑三：windows安装好进不去，bios启动引导（uefi）也正常。

问题在于bios以下这个设置：
(, 下载次数: 94)

图上的x2APIC这个设置引起的

有兴趣可以google下，看https://learn.microsoft.com/zh-C ... le-family-processor

简单地说，windows有些系统是不支持x2APIC的，包括windows server 2019以及之前的一些老版本，普通的专业版、家庭版也可能不支持。

但是，linux内核是支持的，这个选择有助于性能优化。

如果发现windows安装正常，bios启动项正常，但是就是进不去，有可能是调了这个选项的原因，改成auto或者x1APIC。

作者: coooool_boy 时间: 2023-11-9 01:12
本帖最后由 coooool_boy 于 2023-11-9 01:20 编辑

zxy2001 发表于 2023-11-9 01:09
IPMI 自带的集显虽然是渣渣，但是点亮没问题啊。。。我也接4K的屏幕，能正常点亮的。

另外不考虑单根128G ...

我这边真没点亮~~~~

IPMI是个好东西，我之后再抽时间学习学习。目前还是按照普通装机思维点亮服务器的~~~

作者: coooool_boy 时间: 2023-11-9 01:19
踩坑四：比较蠢的一个错，我看到H11DSI上有两个黄色的sata口（事实证明，这是sata dom不等价于普通的sata），我开始用我的mx500连到这上面，想安装个临时windows（我主用archlinux），但是，发现能正常识别mx500，也能通过win的启动盘安装win到mx500，但是安好后，bios总是识别不了启动项，uefi和legacy都测试过，最后发现是接口问题，不该用sata dom去接大容量固态。H11主板有两个minisas接口，买两根sff8087转4sata口的线，一共能带8个sata。

作者: coooool_boy 时间: 2023-11-9 01:23
本帖最后由 coooool_boy 于 2023-11-9 01:46 编辑

推荐两个和bios设置相关的视频，看完后有利于epyc平台 bios调优

https://www.bilibili.com/video/B ... 7a4e836b5aa07d2576e
https://www.bilibili.com/video/B ... 7a4e836b5aa07d2576e

有些参数对性能影响很大，比如NPS，所以建议先看看，在调。

还有linux系统调优，比如是否开启iommu（grub配置文件里面加内核参数iommu=pt），超线程一定要关闭（CFD吃物理核心），swap需要关闭，numa_balance需要关闭，cpupower拉频率等，上面有个视频讲到了部分，可以参考。因为linux系统调优远比硬件调优复杂的多，甚至很多程序运行性能依赖于gcc编译标识符，太复杂了~~~~

作者: coooool_boy 时间: 2023-11-9 01:35
本帖最后由 coooool_boy 于 2023-11-9 01:44 编辑

以上内容供大家参考。

Ps：驱动我写这个帖子的原因是，有人给H11DSI bios调优，都好意思收费200。我实在不明白，就放几张截图而已，让人跟着弄就行了，这玩意还能赚钱？？？

当然，我这个只是简单调优下，能用了，也许和200元调优档还是有一定差距的

同时，epyc二代目前性价比确实不错，很适合搞CFD的硕博生弄一套，毕竟课题组的服务器大家轮着用，超算中心全被一些大组把持着，根本排不上队。我看B站也有很多在问H11的设置与调优，但是愿意解答的人少得可怜~~~~

自己搞一台256g的还是够用了。内存没必要再多了，就CFD而言，512g没必要，因为能用满256g内存的仿真案例，已经非常大了，大概率是DNS、高精度LES这种，还是上超算吧。二代epyc洋垃圾平台算CFD，个人觉得案例内存不应该超过256g。以上只是对CFD而言。

作者: yy29 时间: 2023-11-9 01:36
想请教一下这种服务器BIOS里能不能超频REG ECC内存，比如你这3200能否调到3600，或者调低时序？或者说买便宜的2400或2666能不能调成3000用。以前我用Z9PE是可以的

作者: coooool_boy 时间: 2023-11-9 01:42

yy29 发表于 2023-11-9 01:36
想请教一下这种服务器BIOS里能不能超频REG ECC内存，比如你这3200能否调到3600，或者调低时序？或者说买便 ...

据说可以，但我没试过~~~
首先，我这个主板H11DSI大概率不行，它的bios选项少得可怜，压根和桌面级主板超频选项没得比；其次，服务器肯定是稳定为主，调优都是在稳定的前提下进行的。超频内存这玩意太玄学了~~~~

作者: __|__ 时间: 2023-11-9 02:21

yy29 发表于 2023-11-9 01:36
想请教一下这种服务器BIOS里能不能超频REG ECC内存，比如你这3200能否调到3600，或者调低时序？或者说买便 ...

听说过2666超3000用的，但是最后一代D4两家服务器U官方支持的内存频率就是3200JEDEC，估计3600是没戏的

而且服务器上玩超频……我只能说你猜为啥服务器就跑个JEDEC频率还要加上ECC这种功能？折腾着玩就算了，真要是正经干活的任务有那么高的内存带宽需求，9004平台的24通道4800D5考虑一下

作者: cl-云翔 时间: 2023-11-9 08:55
干货支持！ zsbd

作者: 死也要爱钱 时间: 2023-11-9 09:46
我也遇到过因为CPU安装不到位导致内存通道识别不全，其实就是安装CPU的时候螺丝没拧好导致CPU压力不均
这个AMD给出过解决办法：每颗epyc配一个专用的扭矩螺丝刀。这个螺丝刀如果买品牌服务器是直接送的，但捡垃圾就没有了，不过鱼上有零售的，40块一个

作者: LightningWu 时间: 2023-11-9 11:46
干货好帖子，顶顶

作者: kmdkai 时间: 2023-11-9 12:30
本帖最后由 kmdkai 于 2023-11-9 12:40 编辑

网上所谓的调优大部分都是理论调优。实际要按具体用途调，比如NPS0 1 2 4对应的场景不一样。不是无脑NPS4就好。CTDP和PPT APBDIS这些不懂别乱动，要不就是拣了芝麻丢了西瓜的情况。X2 APIC这压根跟性能不搭边的选项。还有linux比windows性能好不好也得看具体软件和负载类型才能比较。外面大部分都是一些不懂行的博主乱讲一通博人眼球，还讲得头头是道。
另外CFD也不是完全看内存带宽为主的，具体要看模型类型和计算工况，配置需求还完全不一样。

还有罗马这类平台太老了，大约是5、6年前的淘汰洋垃圾，马来货居多，求稳定为主的不建议折腾罗马平台。
据我所知某国内二手洋垃圾代理商进货平均每100个罗马里，至少一半都是有各种毛病的。卖出去后小白用户还容易给用坏。

作者: zlcrxp 时间: 2023-11-9 13:19
1.正常来说如果你知道IPMI的默认密码直接用IPMI远程控制就行了，根本不需要外接显示器和鼠标键盘
2. 不一定需要买3200的RECC，其实随便买2666的RECC，BIOS里面设置成3200都能稳定运行
3.X2 APIC只有超过256线程才需要改，7532不用
4.EPYC调优的话AMD官方有个指引
https://www.amd.com/content/dam/ ... 02-tg-hpc-56827.pdf
也可以搜索，官方其实出了很多调优的指引

作者: manysu 时间: 2023-11-9 13:59
专业计算不太懂，不过从垃圾佬的观点来说，单核和E5 V3差不多，多核相当于两台双路E5，价格么超10倍，学不来学不来。

作者: gunner_l 时间: 2023-11-9 14:11

zxy2001 发表于 2023-11-9 01:01
买个VGA转HDMI的转接头，10几块钱。。。玩洋垃圾的人手一个。。。有时候没独显了，也能应急一下

嘎嘎新的 ...

转接头就能用吗？我以为数转膜需要里面有芯片呢

作者: zyp527 时间: 2023-11-9 14:12

coooool_boy 发表于 2023-11-9 01:04
我买了！！！
巨坑，我开始都想到这个问题了，所以提前备好了vga转hdmi，但是，主板vga输出接上我的LG 95 ...

vga是模拟信号，hdmi是数字信号，这没法输出的吧？

而看楼主的CPU散热器，风扇好像都是冲外的，不是一左一右形成一边进风一边出风的结构啊

作者: yaoiverson 时间: 2023-11-9 14:13
mark学习一下。学霸玩机也厉害

作者: davryddr 时间: 2023-11-9 14:45
我也遇到过，双路主板，总随机一条内存或者随机一根内存槽失效，找了很多测试方法都没用。主板是全新官网买的华南，最好咨询华南工程师说我内存没安装好。我还辩解，结果全部拆了，重装一遍。全部解决，啪啪打脸。。。

作者: coooool_boy 时间: 2023-11-9 15:00

kmdkai 发表于 2023-11-9 12:30
网上所谓的调优大部分都是理论调优。实际要按具体用途调，比如NPS0 1 2 4对应的场景不一样。不是无脑NPS4就 ...

说的没错，我也感觉，网上很多视频博主说调优的都是瞎扯。实际上很多东西都要考虑特定用途，针对性优化才靠谱。
至于CFD，这个范围本来就很广泛，不同计算需要的硬件资源肯定不一样，帖子也只是泛泛而谈~~

作者: coooool_boy 时间: 2023-11-9 15:02

zlcrxp 发表于 2023-11-9 13:19
1.正常来说如果你知道IPMI的默认密码直接用IPMI远程控制就行了，根本不需要外接显示器和鼠标键盘
2. 不一 ...

原来如此。官方指导更靠谱，之前我是看一些视频里说的调优策略，感觉视频博主还是不靠谱啊！

作者: coooool_boy 时间: 2023-11-9 15:05

zyp527 发表于 2023-11-9 14:12
vga是模拟信号，hdmi是数字信号，这没法输出的吧？

而看楼主的CPU散热器，风扇好像都是冲外的，不是一左 ...

我确实是一个散热器两风扇，一进风一出风，可能是拍摄视角问题

作者: playclan 时间: 2023-11-9 15:19

yy29 发表于 2023-11-9 01:36
想请教一下这种服务器BIOS里能不能超频REG ECC内存，比如你这3200能否调到3600，或者调低时序？或者说买便 ...

内存时序可以刷spd

作者: zxy2001 时间: 2023-11-9 21:26
泰安S3080 可以设置内存频率和小参。。。我用原频条2666 手动设置到2993 （小参默认不改）可以过Aida64 拷机。但那些超频条就不知道了。

作者: Mufasa 时间: 2023-11-9 21:50

manysu 发表于 2023-11-9 13:59
专业计算不太懂，不过从垃圾佬的观点来说，单核和E5 V3差不多，多核相当于两台双路E5，价格么超10倍，学不 ...

垃圾佬可以考虑EPYC 7302，这个CPU价格便宜，通道数没有阉割。
7D12虽然核心数多，但通道数量阉割了一半，影响插内存。

我有两台EPYC，一台是多年前装的7551P，一台是今年装的7302

至于Xeon嘛，现在垃圾佬应该玩Xeon金牌6133，双路40核心80线程，12通道内存。

E5v3 v4，个人喜欢玩v4，工艺提升以后，功耗降低很多。

要便宜还是E5 v2，特别是大内存的应用，RegDDR3内存那是真的便宜。

作者: playclan 时间: 2023-11-9 22:04

zxy2001 发表于 2023-11-9 21:26
泰安S3080 可以设置内存频率和小参。。。我用原频条2666 手动设置到2993 （小参默认不改）可以过Aida64 拷 ...

能改小参？没看到啊

作者: yy29 时间: 2023-11-9 22:26

playclan 发表于 2023-11-9 15:19
内存时序可以刷spd

这种技术活就不行了，只会BIOS调或软件拉

作者: manysu 时间: 2023-11-9 22:26

Mufasa 发表于 2023-11-9 21:50
垃圾佬可以考虑EPYC 7302，这个CPU价格便宜，通道数没有阉割。
7D12虽然核心数多，但通道数量阉割了一半 ...

EPYC主要是主板太贵，金牌么说实话对比V4也是挤牙膏，还贵不少
E5V4我也觉得比V3好，而且几款还支持D3内存比如2686V4，性价比极高。

作者: _小板 时间: 2023-11-9 22:49

yy29 发表于 2023-11-9 01:36
想请教一下这种服务器BIOS里能不能超频REG ECC内存，比如你这3200能否调到3600，或者调低时序？或者说买便 ...

jijia mz32可以，2666可以到3200

作者: yy29 时间: 2023-11-10 22:57

_小板发表于 2023-11-9 22:49
jijia mz32可以，2666可以到3200

谢谢，华硕Krpa-u16呢？那块板挺实惠的。

作者: swimvc 时间: 2023-11-11 02:14
我也是暑假买的双路7642，当时心软没插满内存，结果当时190的内存现在涨价到260了。想死的心都有了。
当时这个主板让我第一次认识到服务器主板的险恶，第一次知道进BIOS还得找准时间按键盘的，第一次知道屏蔽了核显也不能独显输出的，第一次知道VGA转HDMI是不显示的，等等若干第一次，现在都是阴影。

作者: swimvc 时间: 2023-11-11 02:15

zxy2001 发表于 2023-11-9 01:01
买个VGA转HDMI的转接头，10几块钱。。。玩洋垃圾的人手一个。。。有时候没独显了，也能应急一下

嘎嘎新的 ...

这个真不显示，谁用谁知道！！！

作者: swimvc 时间: 2023-11-11 02:19
本帖最后由 swimvc 于 2023-11-11 02:23 编辑

Mufasa 发表于 2023-11-9 21:50
垃圾佬可以考虑EPYC 7302，这个CPU价格便宜，通道数没有阉割。
7D12虽然核心数多，但通道数量阉割了一半 ...

现在6133在内的各种志强确实是给力，但是I的各种大船波动挺大的，暑假那时候各种价格暴涨。

作者: swimvc 时间: 2023-11-11 02:22

Mufasa 发表于 2023-11-9 21:50
垃圾佬可以考虑EPYC 7302，这个CPU价格便宜，通道数没有阉割。
7D12虽然核心数多，但通道数量阉割了一半 ...

而且主要是，6130计算能力着实拉跨。当时3代至强的ES刚到的时候才是性价比爆炸，现在EPYC还是性价比首选，没办法。
怀念3K不到的83XX啊

作者: swimvc 时间: 2023-11-11 02:24

manysu 发表于 2023-11-9 22:26
EPYC主要是主板太贵，金牌么说实话对比V4也是挤牙膏，还贵不少
E5V4我也觉得比V3好，而且几款还支持D3内 ...

二代EPYC主板价格很可以，三代就贵了，不过和3代志强比还好。

作者: _小板 时间: 2023-11-11 07:38

yy29 发表于 2023-11-10 22:57
谢谢，华硕Krpa-u16呢？那块板挺实惠的。

没试过华硕那个，华硕那个pcie不如mz32

作者: 杜小田 时间: 2023-11-13 14:13
请问下16gx8和32gx4，同样内存，计算效率其他方面有影响么？

作者: coooool_boy 时间: 2023-11-14 14:42

杜小田发表于 2023-11-13 14:13
请问下16gx8和32gx4，同样内存，计算效率其他方面有影响么？

我觉得16g x 8 更好一点，因为占有的通道数更多。但两者应该不会有明显计算效率区别。

作者: Ballpapa 时间: 2024-4-16 12:10
提示: 作者被禁止或删除内容自动屏蔽

作者: 翰墨留香 时间: 2024-4-17 10:13
本帖最后由翰墨留香于 2024-4-17 10:14 编辑

playclan 发表于 2023-11-9 15:19
内存时序可以刷spd

我试过所有的原厂（三星、海力士、镁光）和渣士顿的DDR4 UDIMM条子都是锁SPD，没道理会在RECC DIMM上解锁……而且，RDIMM的条应该没有那些组装厂品牌的产品吧

作者: afyr 时间: 2024-4-19 07:46

yy29 发表于 2023-11-9 01:36
想请教一下这种服务器BIOS里能不能超频REG ECC内存，比如你这3200能否调到3600，或者调低时序？或者说买便 ...

可以的，至少华擎和tyan的bios都有内存超频选项，我就小超一下2400 to 2666，很稳定用了半年了。再往上超就没试过了，毕竟做nas没必要这么高的性能……

作者: fkpwolf 时间: 2024-4-19 08:11

coooool_boy 发表于 2023-11-9 01:35
以上内容供大家参考。

Ps：驱动我写这个帖子的原因是，有人给H11DSI bios调优，都好意思收费200。我实在不 ...

你们没自己内部搞个云计算平台么？或者用阿里云，洋垃圾是纯粹自娱自乐啊

作者: realwanggj 时间: 2024-4-20 11:30
单路7532内存读写能力也是一样的吧？

作者: coooool_boy 时间: 2024-4-20 14:45

realwanggj 发表于 2024-4-20 11:30
单路7532内存读写能力也是一样的吧？

单路内存读写应该降一半吧，单路只有8通道啊

作者: vndroid 时间: 2024-10-8 11:34
有个问题，楼主的超微主板IPMI里的基板功耗能正常显示吗？

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)