Chiphell - 分享与交流用户体验

标题: 舒服了，迷你全闪 AIO Intel 版交作业了 [打印本页]

作者: CMGS 时间: 2024-4-7 21:51
标题: 舒服了，迷你全闪 AIO Intel 版交作业了
本帖最后由 CMGS 于 2024-4-7 22:03 编辑

我是没想到，从弓长老哥帖子「舒服了，迷你全闪NAS服务器升级大改完工交作业了」加了团购群入坑之后，竟然搞了 8 个月，才把这个 Intel 版本的迷你全闪 NAS 服务器搞定……是时候来给大伙们讲讲这一路以来踩过的坑了…

首先放[del]黑[/del]白群晖 SA6400 同步老的 DS1618 数据监控图…可以看到 DS1618 的小 CPU 是扛不住万兆 rsync 同步的…而我的新 [del]SA6400[/del] 嘻嘻嘻，压根就没压力嘛…

(, 下载次数: 117)

我入坑的时候群里大伙的方案基本都是抄弓长老哥，无外乎就是 7D12 换性能好一点的 7282 一类，但都没核显。当时我家里的服务器配置是 unifi UDM pro + 2 台 XG6POE 带 AP 做骨干网，存储 DS1618，计算单独搞了一台带 PCIE 的 DELL 7090 11700T 版本 + X550T2 搞幺蛾子，自然也就是这台 1L 的 'AIO' 上通过 esxi 虚拟 plex 来跑家庭影音中心。

但坡县的电实在是太贵了，这套配置动不动 230W 往上走，以至于夜深人静我还得把群晖关掉来省那么一丢丢的电。因此入坑的时候我就决定了，整合 AIO 和群晖，所以一定要一个带核显的 CPU，而且考虑我必然是用 esxi 做 hypervisor，只能全大核。那么市面上最高，也就买到 12500…其实当时我是想买 T 版本的，但群里老哥说了，你 65W 的标压可以限制成 35W 的 T，但 T 可是跑不回 65W 的…

而且这 35W 的 T 版本比来路不明的散货标压贵…这就怪不得我了…

板子方面因为箱子支持 Deep-ITX，asrock rack 有一块神奇的 W680/Z690 Deep-ITX 版本，W680D4ID-2T/G5/X550/Z690D4ID-2T/G5/X550，在总代那边问了下，Z690 竟然更贵，脑子一拍直接 W680，没想到这就是灾难的开始。

(, 下载次数: 109)

我朋友帮我接了货后，自然要点下试试看，结果这板子……他喵的点不亮。Asrock rack 那店家就这一块，好到手第二天发回送修，店家说得送回台湾，一修就修了 3 个月……是的，这车还没开，发动机就返厂了，说的就是我……

板子回来后，这板子是可以上 ECC DDR5 的，贵是贵了点，但你喵的写在 OVL 里面的海力士 32G UDIMM 条子怎么点不亮啊…又送回店家换货，3 条等 1 根，从他喵的 2023 年 9 月换到 2024 年 2 月…以至于换回来后，4 根 32G DDR5 4400 只能跑上 3600 …算了就这样吧。

(, 下载次数: 111)
(, 下载次数: 107)

但这都是「小插曲」，是的即便这样都是小插曲…因为板子再修，去年也到手了，条子无外乎就用 2 根先测试嘛，又不是不能跑，但我把所有玩意包括 PCIE Switch （PLX 系列）接上后？？？

(, 下载次数: 108)

是的，卡自检…或者说自检都过不了…在漫长的 5 个月中，我收过全新的 Linkreal 的 PLX 卡，咸鱼 8654 口的卡，弓长老哥帖子里面普通 8643 口等 5 张还是 6 张基于 PLX 的 PCIE 拆分卡都试过了，甚至中途 Asrock RACK 还放出了最新的 W680D4ID 的 BIOS 和固件也试过了（这也是想吐槽的另外一个玩意，妈的初始版 IPMI 连日期都没法设置…），都不行，就卡给你看…

尝试不仅限于：
- 只有卡
- 板子直连盘（这板子+M2可以提供 5 个 'OCULINK'）
- 笼子接卡但不接盘
- 拆主力 PC 接盘判断盘是否有问题

都！不！行！，开机就是 connect driver forever.

也尝试过先拔线能过自检再说，反正热插拨嘛，从 Windows 到各类 linux，反正接盘必挂…那段时间真是折磨…人家欢天喜地用全闪，我被 PLX 爆杀…唯一值得慰藉的是，一般来说硬件随着时间的流逝会降价（比如 12500 / DDR5 ECC 这都降价了），但我之前准备的 6 块 SN640（是的没买 8 块，实在是太耗电了！）他喵的涨价了啊……这涨的价格，已经差不多可以覆盖大部分其他硬件的开销了……

(, 下载次数: 102) (, 下载次数: 115) (, 下载次数: 110)
(, 下载次数: 122) (, 下载次数: 116) (, 下载次数: 118)

兼容性问题是无解的，本来我都打算放弃，要不带回国闲鱼出了算了，直到有一天我在闲鱼看到了这个…

(, 下载次数: 114)

360 要啥自行车，反正 intel 原厂配 intel 笼子没毛病吧，肯定 QC 过吧…要是能用 4 个口，加板子 3 个 OCU，凑合凑合就这样了……等了小半个月后，这卡漂洋过海来到我手中，开机！

我曹？成功了！？卧槽槽槽？？

是的，这块基于 micron px 芯片的卡一次开机成功……intel 不骗 intel 好吧，但这卡确实有点战斗成色…连挡板都氧化发霉了…既然其他硬件约等于没花钱，那么下重金买个超微的玩意似乎也不是不行是吧。于是淘宝闲鱼搜索一番超微 AOC-SLG3-8E2P 无果之后，果断选择了 ebay。这美国老大哥一日不发货，我一日惶恐不已。又过了半个月后，这张崭新的超微 AOC-SLG3-8E2P 送到坡县……

(, 下载次数: 104)

说实话我不是没考虑过 P411W-32P，又贵不了多少，后来还是担心 PLX 和这挑食的 W680 不兼容，还是买了 8E2P。后来想想，他喵的 Z690 的板子贵是有贵的道理啊……

8E2P 解决了盘的问题后，我还定制了 8611 的线，标准 50cm 太长，32 cm 挺好的，阿里巴巴找了个工厂搞了 8 根，盘不够线要足。考虑到风道也换了金钱豹散热，这飞机起飞的声音真是纯…考虑到机箱 4 个利民 B8，直接换了利民 B6 小扇子…不是猫头鹰买不起，是这 12500 真不配…

于是，差不多 8 个月后，这机器第一次全硬件点亮……然后……？？？怎么死机了！？

不管是 PVE 还是 esxi 亦或是标准 Linux 发行版，总之就是开机过几分钟必然死机……我他妈当时一口老血啊。突然也不知道哪根筋想到了 intel 的 cstate 问题，进 BIOS 一关，嘿它还真好了……

(, 下载次数: 126)

麻溜的装好 esxi，装好群晖直通 SN640，设置好 SRIOV 万兆「直通」，开始逐步清退之前 AIO 的虚拟机和老的 DS1618，这台坡县唯一，也应该是坡县最强的全闪 AIO 就这样上岗啦…

目前待机在 100W 附近，我平日主要还是得开几个虚拟机的，NAS 满载可以到 180W。对比之前的老架构，DS1618 满载在 100W 附近，AIO 满载也差不多，还是省了一丢丢的。而且目前这样我还能再下掉一台 XG6POE，又可以省一丢丢，机柜总功耗控制在 200W 以内不是梦（目前差不多峰值在 250W 左右）。

已知的话还有一些问题的，有些能解有些不能

- SA6400 在虚拟环境会报 loader 的磁盘错误，和 rr 作者确认过无解，一条 syslog 过滤器 disable 日志完事，没日志就没发生对吧
- 12代在 esxi 中核显没法 SRIOV，这样想群晖通一个跑 photo，plex 虚拟机通一个跑硬解是没办法了，出门左拐有 PVE
- esxi 双 X550 一个开 SRIOV 的话要启用两个 switch，不能混！这我还是从 CHH 搜到的……
- X550 在空调房的前提下，IPMI 报 102° 我是不信的，关了直接 105 报警…那我不管你他妈给我干活！
- 虚拟群晖就没法热插拨了，至少群晖这么一说我也不敢去拔硬盘…
- 群晖的虚拟机关机能「关掉」整个硬盘笼，至少灯都不亮了，不过看功耗计，恩还是一样
- 理论上硬盘可以休眠，但目前我还没观测到

就这样了吧，反正又不是不能用…

作者: voandrew 时间: 2024-4-7 21:58
哈哈哈，8个月，终于。。。

作者: tonic 时间: 2024-4-7 22:14
给老板劈个叉吧太NB了

作者: algos 时间: 2024-4-7 22:43
老哥好强，点个赞[厉害]

作者: shadoweyre 时间: 2024-4-7 22:57
非要用群晖，群晖自己都没这么骚的硬件。。。

作者: qp6g3o 时间: 2024-4-7 23:22
我第一次表示看不懂...

作者: 夜雨寄北 时间: 2024-4-8 07:41
哈哈哈哈哈，能用就不要动！没日志就是没毛病！

作者: sanna 时间: 2024-4-8 07:45
同款机箱笼子，就等主板便宜点再折腾，也几个月了

作者: kirl2010 时间: 2024-4-8 10:07
那时候SN640的价格是真好

作者: VIPER-LF 时间: 2024-4-8 10:16
群主你是 W680D4ID-2T/G5/X550 这块主板吗？我想买来着。Z690那块的兼容性是不是更好一些。团购的群能不能推荐一下，谢谢。

作者: jimmyjin 时间: 2024-4-8 11:03
请教 LZ，群晖的Photo App 里核显用来干啥的？

作者: jimmyjin 时间: 2024-4-8 11:25
“群晖的虚拟机关机能「关掉」整个硬盘笼，至少灯都不亮了，不过看功耗计，恩还是一样”
U2 NVME 如果直接接主板的m.2口，会不会不一样？我PVE8.0 PM983直通给虚拟QNAP TS-872, 虚拟机关机可以看到功率计明显往下掉的
另外，群晖虚拟机 DS918，我是直通了板载SATA控制器的，不但虚拟机关机可以看到硬盘进入休眠，虚拟机开着但是群晖闲着，硬盘也能休眠（只要你APP够少）

作者: CMGS 时间: 2024-4-8 11:34

夜雨寄北发表于 2024-4-8 07:41
哈哈哈哈哈，能用就不要动！没日志就是没毛病！

哈哈我把错误日志都给过滤掉了……

作者: CMGS 时间: 2024-4-8 11:35

kirl2010 发表于 2024-4-8 10:07
那时候SN640的价格是真好

一千多块出头 7T 多的 U.2 现在看起来跟不要钱一样

作者: CMGS 时间: 2024-4-8 11:35

VIPER-LF 发表于 2024-4-8 10:16
群主你是 W680D4ID-2T/G5/X550 这块主板吗？我想买来着。Z690那块的兼容性是不是更好一些。团购的群能不 ...

是的，我是这块……怎么说呢，反正 Z690 那块卖得更贵……理论上兼容性要好一丢丢吧，至少我没见过 Z690 和 PLX 不兼容的

作者: CMGS 时间: 2024-4-8 11:36

jimmyjin 发表于 2024-4-8 11:03
请教 LZ，群晖的Photo App 里核显用来干啥的？

人脸识别…

作者: CMGS 时间: 2024-4-8 11:37

jimmyjin 发表于 2024-4-8 11:25
“群晖的虚拟机关机能「关掉」整个硬盘笼，至少灯都不亮了，不过看功耗计，恩还是一样”
U2 NVME 如果直接 ...

应该会不一样，休眠这个好搞，我估计还是因为 PCIE Switch 的缘故

作者: 总是感冒 时间: 2024-4-8 13:29
好乐观的LZ

作者: Wolverine 时间: 2024-4-8 14:17
这个太强大了

作者: VIPER-LF 时间: 2024-4-8 14:59

CMGS 发表于 2024-4-8 11:35
是的，我是这块……怎么说呢，反正 Z690 那块卖得更贵……理论上兼容性要好一丢丢吧，至少我没见过 Z690 ...

好的呢，我也想搞一块玩玩，奈何真的有点小贵，团购的有群吗，我也想参与下。

作者: CMGS 时间: 2024-4-8 20:05

VIPER-LF 发表于 2024-4-8 14:59
好的呢，我也想搞一块玩玩，奈何真的有点小贵，团购的有群吗，我也想参与下。 ...

已经无团购了，现在直接淘宝搜五花肉定制 nas 机箱好像就能搜到

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)