epyc7402+超微H11DSI装机（踩坑）记

aclon

一、配置及选购原因及踩坑：
CPU：epyc 7402 * 2
综合自己的需求、价格等多种因素考虑选择了7402

主板：超微H11DSI-NT
随大流选择，选择了NT版是因为多2个万兆网口和2个NVME接口，不过最终都没有用上

内存：三星  32G 2666 *8
2666够用了，暂时先买8条，后面有需要再加

硬盘：致态T7100 4T，西数HC320 8T

机箱：追风者614pc
看B站有个up主装epyc都是用追风者，早一点时间用的是614，最近都是用620。我因为不装显卡，所以对散热要求没那么高，所以选了614，也便宜了几百。

电源：安钛克NE850
之前用过几个这个牌子觉得挺稳定的。

散热器：6U SP3，卖家说是金钱豹的，实际上到货是青梅的QM4UE-SP3，最大转速3500


其他硬件：
（1）pcie转m2转接卡：技嘉gc 4xm2g4，这个是支持4个m2固态硬盘，同时还有散热板和涡轮风扇。做工比佳翼之类的好很多，价格200多也可以接受。
（2）mini sas数据线：SFF-8087转4SATA，主板有2个mini sas接口，接2条数据线可以各接4个sata硬盘

下面这个是装好的样子



二、用途
esxi虚拟化，虚拟机主要是web、数据库、minio文件服务、pt下载等。

三、小改装
1、主板散热
如下图所示，主板是有2个地方是有覆盖额外的散热版的，一个是左上角的（应该是内置显卡之类的芯片），另外一个是2个cpu中间的供电。
因为我的机箱风扇风道是从前到后，所以供电那个地方刚好cpu风扇可以吹到，所以温度不高。
但是左上角那个就高很多，手摸上去感觉很烫手，从IPMI可以看到温度有接近70度。
改造方案就是买了个5厘米的小风扇，用扎带绑在pci那些挡条上，正好可以对着吹，效果很明显，截图看到只有47度，下降了20多度。当时没拍照，现在也不大方便拍，此处就不附图了。
当然可能不去管它也行，可能它就是可以承受这个高温的，不过反正改造一下几块钱的事情。
后来又发网店还有另外一种磁吸式的小风扇，可以随意调整角度，适合要装显卡的情况，因为pci挡板被用了，就绑不了风扇了。





2、机箱
这个机箱原配风扇是前面一个20cm，后面一个14cm，买的时候我自己看错了，看官方示意图，我以为前面还可以加装一个14cm或者12cm的风扇，实际上不是，装了20cm风扇后，就没有位置再装了，想想光驱位没有用，就加装了一个3光驱位的硬盘笼，支持装一个12cm的风扇，既可以加多个前置风扇，还多了4个3.5寸的硬盘位置。
风扇是同事装机多出来的的光污染，虽然有点不搭，无所谓了。





四、硬件踩坑
1、电源线长度
电源的主板模组线差一点就接不上主板了，原因一是机箱太大，电源的长度是60cm，而机箱的高度是53cm。另外一个原因是主板上电源接口的位置 。
这个主板的电源接口在上方，而一般家用主板在右侧。在上方，意味着走背线的距离要远的多。
最后反正是装上去了，不过看电源说明书说接口弯折处最好要长于2.5cm，实际上是没有，也想过加个延长线，想想第三方的东西不怎么安全，还是作罢。



2、板载硬盘接口
（1）sata dom接口
主板上2个橙色的sata 接口，按说明书描述是“SATA 3.0 Ports for SATA/DOM with integrated power“，看本站别的贴子经验是不支持大硬盘，我也没试，直接放弃了。

（2）m2接口
板载一个m2接口，是pcie3.0x1的，由于接口速率限制，我插了一个旧的m2硬盘，用来装esxi系统。

（3）nvme接口
我这个型号是带NT的，所以还有2个nvme接口，可以用来接U2的固态，我没有，所以这个没有用。

（4）pcie转m2
前面说了我另外买了个四盘位的pcie转m2，这个主板是有2个pcie3.0x16插槽的，在bios里面设置一个拆分，就可以同时支持4个pcie3.0x4的m2固态了，主要是便宜。

（5）mini sas
板载2个mini sas接口，另购SFF-8087转4SATA的数据线，可以接4个sata硬盘，但是有个问题就是在esxi里面，虽然看到有8个pcie的接口可以直通，但实际上只有其中2个是对应这2个接口的，只要做了控制器直通，下面的4个硬盘会全部直通给同一台虚拟机，这个和我的使用场景不符合，所以我最终也放弃了控制器直通，用的是RDM直通。





（6）风扇转速
主板一直报机箱转速过低（400转），这个转速是有问题的，但是折腾半天也没找到原因，干脆放弃找原因，看看有没有什么方法不要预警就行。
方法就是将机箱风扇控制器的接口转fanb，然后风扇模式设置为HeavyIO，这样cpu风扇转速保持不变，但机箱风扇变成了600转，不会预警了。






五、软件踩坑
1、esxi
我装的是esxi6.7u3，完美适配，所有驱动都有，esxi主机里面还能看到主板的ipmi信息，包括pcie sata直通也是可以直接设置，不用另外再设置什么。
别的版本的esxi 没试过。

2、ipmi
ipmi有几十个传感器的数据，我用了ipmi_exporter+freeipmi+prometheus做监控预警，有温度或风扇异常会通过企业微信告警。
不过在配置的过程中，freeipmi总是连不上，按网上的贴子设置连接方式、鉴权方式等等都无效。
后来在web端的ipmi事件日志中发现有很多帐号密码不对的事件，但实际上是对的（用的是默认的ADMIN），然后就想会不会是用户的问题？于是新创建了一个用户，问题解决。




3、硬盘直通
固态硬盘全部用的是虚拟磁盘（厚置备置零），实测速度有2000多M。机械硬盘用的是RDM直通，不做控制器直通的原因前面有说。
另外虽然做的是RDM直通，测了性能也还行，另外虚拟机的操作系统可以监控到RDM直通硬盘的smart信息。

4、硬盘监控
因为我没有装阵列卡，而且还有额外的m2硬盘，所以想对硬盘进行监控。由于虚拟机是没办法监控到虚拟硬盘的，除非是直通硬盘，但是esxi主机可以。
方法就是打开esxi 主机的ssh，用自带命令esxcli storage core device smart get 或者是安装个smartmontools，再写个脚本定时跑命令就行，如果硬盘有问题就直接企业微信告警。

5、主板BMC激活
BMC下有个菜单 Miscellaneous-Activate License ，可以通过填写激活码进行激活
激活码算法 ：
将 IPMI BMC MAC 地址作为 16 进制字串转为二进制
使用 HMAC + SHA1 散列算法计算出 Key
取前 24 位作为授权密钥
可以下面这个网站算出来
https://tql.ink/ipmi/

激活之后有啥用呢？就是可以使用一些高级功能，例如：可以打开日志服务器的webhook、在线更新BIOS等，不过我因为搭了prometheus监控，所以这个日志也不上，至于BIOS更新，本着能用绝不更新的原则，暂时也没用上。

momo77989724

7402 才180瓦还是200吧 不用管 热的又不是你。。。反正双路负载本来也不高 跑不满2个225瓦
夏天的话 中间那个温度是有点高 可以设置下CTDP 或者找个小风扇吹吹。。。

双路大功率只有屏蔽 一个选择。。。

至于左上角那个就不用管他  普通版都没这个散热片也没见出事  实在怕 可以买个外置风扇 绑在 PCIE外面抽风。。。

ujmeo7897

机箱前部多装几个风扇，猛吹
H11DSI-NT只支持1-2代吧
怎么不选块支持2-3代的板子

msas2313

想买超微H12SSL-i，结果价格都快7532的两倍了。。。

Livid

内存建议每个u八条插满，4通道会损失一些性能，况且也不贵

aclon

ujmeo7897 发表于 2024-12-12 13:59
机箱前部多装几个风扇，猛吹
H11DSI-NT只支持1-2代吧
怎么不选块支持2-3代的板子 ...

钱包不允许。

aclon

momo77989724 发表于 2024-12-12 13:54
7402 才180瓦还是200吧 不用管 热的又不是你。。。反正双路负载本来也不高 跑不满2个225瓦
夏天的话 中间 ...

估计也是没事，不过反正也就几块钱的事，买了个小风扇吹吹。

momo77989724

msas2313 发表于 2024-12-12 14:13
想买超微H12SSL-i，结果价格都快7532的两倍了。。。

嗯。快能买H13了。。。

aclon

Livid 发表于 2024-12-12 14:38
内存建议每个u八条插满，4通道会损失一些性能，况且也不贵

好的，再买8条插满

zbjxp

现在epyc主板价格猛涨，最近的虚拟机需求又重新滚回E5了

aclon

zbjxp 发表于 2024-12-12 15:03
现在epyc主板价格猛涨，最近的虚拟机需求又重新滚回E5了

什么时候开始猛涨的？我买的时候好像还好，有2套E5在用，所以想试试epyc：)

zbjxp

aclon 发表于 2024-12-12 15:06
什么时候开始猛涨的？我买的时候好像还好，有2套E5在用，所以想试试epyc：) ...

就最近1-2周h11dsi价格蹭蹭蹭
您E5时啥配置啊

gaoyi124

这个绿色的控制中心是真绿啊

zxy2001

左上角应该是万兆网卡，本来就热。。。

iooo

有时自己组还不如退役服务器了，感觉可靠性和性价比也很不错

aclon

zxy2001 发表于 2024-12-12 16:53
左上角应该是万兆网卡，本来就热。。。

应该是的

aclon

iooo 发表于 2024-12-12 19:31
有时自己组还不如退役服务器了，感觉可靠性和性价比也很不错

机房下架的一些epyc准系统确实还便宜些，不过都是机架式的，我这边条件不太适合

aclon

zbjxp 发表于 2024-12-12 15:08
就最近1-2周h11dsi价格蹭蹭蹭
您E5时啥配置啊

cpu都是2680v4
主板一个是超微X10，一个是华南金牌F8D，说起来这个寨板也还行，插满了内存，7x24小时运行了3年多了，超出我的预期了，今年他们家出了个X11的，支持3647，本来还挺期待的，结果价格一出2k+，然后就放弃转投epyc了

zbjxp

aclon 发表于 2024-12-13 09:42
cpu都是2680v4
主板一个是超微X10，一个是华南金牌F8D，说起来这个寨板也还行，插满了内存，7x24小时运行 ...

3647的价格确实有点离谱。。。

ninepiece

进来看看，满足下。

hawie

aclon 发表于 2024-12-13 09:42
cpu都是2680v4
主板一个是超微X10，一个是华南金牌F8D，说起来这个寨板也还行，插满了内存，7x24小时运行 ...

你那台cpu 2680v4, 超微X10主板的，集成的IPMI也可以有这个BMC生成授权增加功能吗？我好象也有台这个机子。平常很少用IPMI，基本是刚装好时试试，然后常年不用遗忘了。

装陈醋的酱油瓶

LZ 平时是做什么的? 就是Homelab吗?
这么一套平时待机功耗多少?