Chiphell - 分享与交流用户体验

标题: 2018-2022，24盘All in One还好么~ [打印本页]

作者: ltycomputer 时间: 2022-5-19 20:07
标题: 2018-2022，24盘All in One还好么~
24盘位家庭虚拟化机架式服务器——路由AP下载NAS多合一

原来的老帖进旧贴归档了，机器仍然在跑，中间升级了几轮配置。

2018年配置：
CPU Intel 8700K
内存镁光16G DDR4 2400 x1
主板 ROG Strix-F Z370
散热大霜塔
HBA LSI-9311 8i
显卡 GT1030
国鑫24盘4U带Expander
硬盘 10TB ST10000NM0016 x2
系统盘 PM981

2022年配置：
CPU AMD 3950x
内存镁光32G DDR4 3200AA ECC UDIMM x2
主板 MSI X570 Godlike
散热利民银剑130
HBA LSI-9311 8i
显卡 GT1050ti
机箱国鑫24盘4U带Expander
硬盘 10TB ST10000NM0016 x22
SSD 日立Ultrastar SSD400S x2
系统盘 Intel P3700 400G

2022年软件配置:
虚拟化：ESXi 6.5u3
软路由：Openwrt 自编译 21.02
NAS： Ubuntu 20.02 LTS
Windows ：Windows 10 LTSC 2021

虚拟化方面：自测ESXi 6.7/7有直通显卡不能断电的bug，因此没升级，一直用6.5u3

软路由方面：最新的Openwrt发行版加上尽可能少的插件，十分稳定
                  三个家的All in One通过Wireguard互联，VxLan大二层测试部署中

NAS方面：2个日立HET-MLC超长寿SAS SSD做软RAID1，作为bcache缓存盘
               22个希捷10T企业级SATA机械盘做bcache后端盘，被SSD阵列加速，启用读缓存，回写缓存
               22个bcache设备使用linux LUKS加密成为/dev/mapper下的设备
               22个/dev/mapper设备创建Btrfs文件系统，SYS为RAID1c4（4副本RAID1），Meta为RAID1c4，Data为Duplicate（双副本），可用空间为50%
               按文件分类创建18个子卷，定时使用Btrfs快照功能进行备份
               条带式阵列顺序读写倍增，但随机读写略弱于单盘。副本式阵列顺序读写和随机读写皆倍增，但空间利用率低。（大企业都三副本+校验和了）

               停用Nextcloud，改换Syncthing做同步
               新增Prometheus+Grafana做性能统计
               更新qBittorrent做BT/PT下载
               rclone负责将80TB+的数据加密同步到GD/OD网盘
               apcupsd串口连接施耐德SP1K UPS，其他虚机安装apcupsd进行计划关机
               业务docker化
               文件共享Webdav/SMB/FTPS多样化

Windows  主要负责B站录播姬等Windows应用运行。
               Plex私人影库用的不多，又整了免费版的EMBY应对削刮好的内容。
               安装海康iVMS 4200连接另一个家的监控作为异地录像备份（使用NAS上的iSCSI目标盘）。

总体效果  断电来电后可以自启自行恢复网络并更新，典型离线硬重启周期大概3个月，虚拟化从来没出过问题。
            不过22个10w功耗的机械盘还是挺高的，这些盘大概每月一块的节奏购进，如果全换成16T单盘减少盘数，功耗会少很多。
            有Linux可以实现高性能阵列和文件共享以及自编译Openwrt，有Windows可以跑传统应用，挺好。

作者: Wolverine 时间: 2022-5-19 20:17
强大。。。。

作者: 海边的卡夫卡 时间: 2022-5-19 20:18
国家电网合作伙伴？

作者: 听着老情歌 时间: 2022-5-19 20:21
强········

作者: nightblade001 时间: 2022-5-19 20:46
24.。。。。。。。

作者: Dk2014 时间: 2022-5-19 21:13
考虑到1050ti也有点老了，现在有啥新点的PLEX硬解刀卡推荐吗

作者: magiclu 时间: 2022-5-19 21:27
问下为什么不用snapraid了正常用性能也够了吧
用snapraid就不存在只能加10t的盘的问题了可以慢慢加更大的盘

Grafana，apcupsd 你可以试下home assistant里自插件也有的干脆把这个也折腾了起来

作者: ljy1414 时间: 2022-5-19 23:18
你拿这块主板上ECC内存 = 没用，你有事吗?

https://tw.msi.com/Motherboard/MEG-X570-GODLIKE/Specification

支援 ECC UDIMM 记忆体 ( 非-ECC 模式 )

作者: 村里一秀才 时间: 2022-5-19 23:34
强无敌再来电图片更爽了哈哈

作者: ltycomputer 时间: 2022-5-20 08:51

Dk2014 发表于 2022-5-19 21:13
考虑到1050ti也有点老了，现在有啥新点的PLEX硬解刀卡推荐吗

GTX1650 GDDR6版本，半高
http://www.360doc.com/content/20/1026/16/72127748_942464724.shtml
好像是安培架构的NVENC，比1050Ti新一代。老1650 GDDR5和1050ti是一样的nvenc

我有个半高双槽1650 GDDR6，没有的话不如单槽1050

作者: tyy474 时间: 2022-5-20 09:35
这功耗又要上一层楼了

作者: alex76 时间: 2022-5-20 09:39

海边的卡夫卡发表于 2022-5-19 20:18
国家电网合作伙伴？

哈哈哈。。。我也觉得家里的NAS盘太多真的是给电网送钱。。。

作者: greatjs1987 时间: 2022-5-20 09:56
楼主应该是从原来2t的硬盘都换成了10t的吧，成本很可以啊

作者: tsaotse 时间: 2022-5-20 11:19
bcache先给HDD加速，再做btrfs这个思路不错，回头试试看。

作者: erudin 时间: 2022-5-20 11:22
"自测ESXi 6.7/7有直通显卡不能断电的bug"

求教是什么样的bug?是指esxi host关机卡在system halted么？

作者: Pau1 时间: 2022-5-20 11:26

ljy1414 发表于 2022-5-19 23:18
你拿这块主板上ECC内存 = 没用，你有事吗?

https://tw.msi.com/Motherboard/MEG-X570-GODLIKE/Specificati ...

主流消费级AMD主板似乎只有华擎支持ECC，屏蔽牌据说后期出的某些型号也支持（存疑）

作者: ljy1414 时间: 2022-5-20 11:35

Pau1 发表于 2022-5-20 11:26
主流消费级AMD主板似乎只有华擎支持ECC，屏蔽牌据说后期出的某些型号也支持（存疑） ...

https://www.gigabyte.com/tw/Moth ... ELITE-rev-10/sp#sp=
随便一块技X低阶X570都可以

https://www.gigabyte.com/tw/Moth ... ION-D-rev-10/sp#sp=
后期的VISION D系列也是归列为创作者系列，也能支援

作者: 20has 时间: 2022-5-20 11:40

   新增Prometheus+Grafana做性能统计
               更新qBittorrent做BT/PT下载
               rclone负责将80TB+的数据加密同步到GD/OD网盘
               apcupsd串口连接施耐德SP1K UPS，其他虚机安装apcupsd进行计划关机
               业务docker化
               文件共享Webdav/SMB/FTPS多样化

哈哈哈这些软件我也是这么用的，不过我的底层是Proxmox虚拟化。
当然盘也没那么多，主要还是威联通的NAS做集中存储。

作者: hejianneng 时间: 2022-5-20 11:58
解码什么的为啥都忠于GTX1650 GTX1050Ti
P400不香吗？
T400不香吗？

作者: 雨前龙井 时间: 2022-5-20 12:04
哇哦大佬很久以前就看过您的帖子

作者: Mufasa 时间: 2022-5-20 12:07

alex76 发表于 2022-5-20 09:39
哈哈哈。。。我也觉得家里的NAS盘太多真的是给电网送钱。。。

我装了一大堆存储服务器，根本不敢开机。。。。电费太贵

现在就开了一台All in One，一个HDD一个SSD，跑ESXi里面虚拟黑群。
性能低一点，问题不大，耗电少就行。。。。

作者: ltycomputer 时间: 2022-5-20 15:29

erudin 发表于 2022-5-20 11:22
"自测ESXi 6.7/7有直通显卡不能断电的bug"

求教是什么样的bug?是指esxi host关机卡在system halted么？ ...

我碰上的是宿主机冷启动，虚拟机启动，OK。但是虚拟机重启动，代码43。只能重启物理机解决。

也就是虚拟机重启没法模拟正常上电循环

经测试GTX20系和GTX30系没这个bug

作者: neke 时间: 2022-5-21 20:42
这一套不带硬盘得多少w

作者: icebluebear 时间: 2022-5-21 20:54
强大。。。我也上了两个24盘位服务器

作者: 做题家 时间: 2022-5-22 10:39
本帖最后由做题家于 2022-5-22 10:45 编辑

比较感兴趣这个4u机箱的移动支架，是只靠两边的挂耳固定吗

看了下原帖回复，有个问题是只有上面有固定，机箱这么长可以稳定吗

作者: ETOF 时间: 2022-5-22 10:45
B站录播姬有docker版的

作者: azure001 时间: 2022-5-22 11:05

Pau1 发表于 2022-5-20 11:26
主流消费级AMD主板似乎只有华擎支持ECC，屏蔽牌据说后期出的某些型号也支持（存疑） ...

华硕大部分都支持，我用的是TUF GAMING B550M-PLUS支持ECC没问题。

作者: erudin 时间: 2022-5-22 11:20

ltycomputer 发表于 2022-5-20 15:29
我碰上的是宿主机冷启动，虚拟机启动，OK。但是虚拟机重启动，代码43。只能重启物理机解决。

也就是虚拟 ...

了解了，感谢！

作者: ltycomputer 时间: 2022-5-25 14:37

做题家发表于 2022-5-22 10:39
比较感兴趣这个4u机箱的移动支架，是只靠两边的挂耳固定吗

看了下原帖回复，有个问题是只有上面有固定，机 ...

可以，质量好的服务器机箱挂耳非常结实

作者: 天雨雪 时间: 2022-5-25 14:42

ltycomputer 发表于 2022-5-20 08:51
GTX1650 GDDR6版本，半高
http://www.360doc.com/content/20/1026/16/72127748_942464724.shtml
好像是安 ...

700左右可以买个t400

作者: 射流星 时间: 2022-5-25 19:21
强悍........

作者: 望月星刀 时间: 2022-5-25 19:41
真！大佬，这是有多少数据要存呀

作者: wuylzq 时间: 2022-5-25 21:27
贴出图片来瞧瞧

作者: qp6g3o 时间: 2023-1-4 00:43
期待大佬发个多图可以看看学习下

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)