2018-2022，24盘All in One还好么~
24盘位家庭虚拟化机架式服务器——路由AP下载NAS多合一原来的老帖进旧贴归档了，机器仍然在跑，中间升级了几轮配置。
2018年配置：
CPU Intel 8700K
内存 镁光16G DDR4 2400 x1
主板 ROG Strix-F Z370
散热 大霜塔
HBA LSI-9311 8i
显卡 GT1030
国鑫24盘4U带Expander
硬盘 10TB ST10000NM0016 x2
系统盘 PM981
2022年配置：
CPU AMD 3950x
内存 镁光32G DDR4 3200AA ECC UDIMM x2
主板 MSI X570 Godlike
散热 利民银剑130
HBA LSI-9311 8i
显卡 GT1050ti
机箱 国鑫24盘4U带Expander
硬盘 10TB ST10000NM0016 x22
SSD 日立Ultrastar SSD400S x2
系统盘 Intel P3700 400G
2022年软件配置:
虚拟化：ESXi 6.5u3
软路由：Openwrt 自编译 21.02
NAS： Ubuntu 20.02 LTS
Windows ：Windows 10 LTSC 2021
虚拟化方面：自测ESXi 6.7/7有直通显卡不能断电的bug，因此没升级，一直用6.5u3
软路由方面：最新的Openwrt发行版加上尽可能少的插件，十分稳定
三个家的All in One通过Wireguard互联，VxLan大二层测试部署中
NAS方面：2个日立HET-MLC超长寿SAS SSD做软RAID1，作为bcache缓存盘
22个希捷10T企业级SATA机械盘做bcache后端盘，被SSD阵列加速，启用读缓存，回写缓存
22个bcache设备使用linux LUKS加密成为/dev/mapper下的设备
22个/dev/mapper设备创建Btrfs文件系统，SYS为RAID1c4（4副本RAID1），Meta为RAID1c4，Data为Duplicate（双副本），可用空间为50%
按文件分类创建18个子卷，定时使用Btrfs快照功能进行备份
条带式阵列顺序读写倍增，但随机读写略弱于单盘。副本式阵列顺序读写和随机读写皆倍增，但空间利用率低。（大企业都三副本+校验和了）
停用Nextcloud，改换Syncthing做同步
新增Prometheus+Grafana做性能统计
更新qBittorrent做BT/PT下载
rclone负责将80TB+的数据加密同步到GD/OD网盘
apcupsd串口连接施耐德SP1K UPS，其他虚机安装apcupsd进行计划关机
业务docker化
文件共享Webdav/SMB/FTPS多样化
Windows主要负责B站录播姬等Windows应用运行。
Plex私人影库用的不多，又整了免费版的EMBY应对削刮好的内容。
安装海康iVMS 4200连接另一个家的监控作为异地录像备份（使用NAS上的iSCSI目标盘）。
总体效果断电来电后可以自启自行恢复网络并更新，典型离线硬重启周期大概3个月，虚拟化从来没出过问题。
不过22个10w功耗的机械盘还是挺高的，这些盘大概每月一块的节奏购进，如果全换成16T单盘减少盘数，功耗会少很多。
有Linux可以实现高性能阵列和文件共享以及自编译Openwrt，有Windows可以跑传统应用，挺好。
强大。。。。 国家电网合作伙伴？ 强········ 24.。。。。。。。 考虑到1050ti也有点老了，现在有啥新点的PLEX硬解刀卡推荐吗[偷笑] 问下为什么不用snapraid了 正常用性能也够了吧
用snapraid就不存在只能加10t的盘的问题了 可以慢慢加更大的盘
Grafana，apcupsd 你可以试下home assistant里自插件也有的 干脆把这个也折腾了起来 你拿这块主板上ECC内存 = 没用，你有事吗?
https://tw.msi.com/Motherboard/MEG-X570-GODLIKE/Specification
支援 ECC UDIMM 记忆体 ( 非-ECC 模式 ) 强无敌 再来电图片更爽了 哈哈 Dk2014 发表于 2022-5-19 21:13
考虑到1050ti也有点老了，现在有啥新点的PLEX硬解刀卡推荐吗
GTX1650 GDDR6版本，半高
http://www.360doc.com/content/20/1026/16/72127748_942464724.shtml
好像是安培架构的NVENC，比1050Ti新一代。老1650 GDDR5和1050ti是一样的nvenc
我有个半高双槽1650 GDDR6，没有的话不如单槽1050 这功耗又要上一层楼了 海边的卡夫卡 发表于 2022-5-19 20:18
国家电网合作伙伴？
哈哈哈。。。我也觉得家里的NAS盘太多真的是给电网送钱。。。 楼主应该是从原来2t的硬盘都换成了10t的吧，成本很可以啊 bcache先给HDD加速，再做btrfs这个思路不错，回头试试看。 "自测ESXi 6.7/7有直通显卡不能断电的bug"
求教是什么样的bug?是指esxi host关机卡在system halted么？ ljy1414 发表于 2022-5-19 23:18
你拿这块主板上ECC内存 = 没用，你有事吗?
https://tw.msi.com/Motherboard/MEG-X570-GODLIKE/Specificati ...
主流消费级AMD主板似乎只有华擎支持ECC，屏蔽牌据说后期出的某些型号也支持（存疑） Pau1 发表于 2022-5-20 11:26
主流消费级AMD主板似乎只有华擎支持ECC，屏蔽牌据说后期出的某些型号也支持（存疑） ...
https://www.gigabyte.com/tw/Motherboard/X570-AORUS-ELITE-rev-10/sp#sp=
随便一块技X低阶X570都可以
https://www.gigabyte.com/tw/Motherboard/B550-VISION-D-rev-10/sp#sp=
后期的VISION D系列也是归列为创作者系列，也能支援
新增Prometheus+Grafana做性能统计
更新qBittorrent做BT/PT下载
rclone负责将80TB+的数据加密同步到GD/OD网盘
apcupsd串口连接施耐德SP1K UPS，其他虚机安装apcupsd进行计划关机
业务docker化
文件共享Webdav/SMB/FTPS多样化
哈哈哈 这些软件我也是这么用的，不过我的底层是Proxmox虚拟化。
当然盘也没那么多，主要还是威联通的NAS做集中存储。 解码什么的为啥都忠于GTX1650 GTX1050Ti
P400不香吗？
T400不香吗？ 哇哦 大佬很久以前就看过您的帖子 alex76 发表于 2022-5-20 09:39
哈哈哈。。。我也觉得家里的NAS盘太多真的是给电网送钱。。。
我装了一大堆存储服务器，根本不敢开机。。。。电费太贵
现在就开了一台All in One，一个HDD一个SSD，跑ESXi里面虚拟黑群。
性能低一点，问题不大，耗电少就行。。。。 erudin 发表于 2022-5-20 11:22
"自测ESXi 6.7/7有直通显卡不能断电的bug"
求教是什么样的bug?是指esxi host关机卡在system halted么？ ...
我碰上的是宿主机冷启动，虚拟机启动，OK。但是虚拟机重启动，代码43。只能重启物理机解决。
也就是虚拟机重启没法模拟正常上电循环
经测试GTX20系和GTX30系没这个bug 这一套不带硬盘得多少w[吃惊] 强大。。。我也上了两个24盘位服务器 本帖最后由 做题家 于 2022-5-22 10:45 编辑
比较感兴趣这个4u机箱的移动支架，是只靠两边的挂耳固定吗
看了下原帖回复，有个问题是只有上面有固定，机箱这么长可以稳定吗 B站录播姬有docker版的 Pau1 发表于 2022-5-20 11:26
主流消费级AMD主板似乎只有华擎支持ECC，屏蔽牌据说后期出的某些型号也支持（存疑） ...
华硕大部分都支持，我用的是TUF GAMING B550M-PLUS支持ECC没问题。 ltycomputer 发表于 2022-5-20 15:29
我碰上的是宿主机冷启动，虚拟机启动，OK。但是虚拟机重启动，代码43。只能重启物理机解决。
也就是虚拟 ...
了解了，感谢！ 做题家 发表于 2022-5-22 10:39
比较感兴趣这个4u机箱的移动支架，是只靠两边的挂耳固定吗
看了下原帖回复，有个问题是只有上面有固定，机 ...
可以，质量好的服务器机箱挂耳非常结实[偷笑] ltycomputer 发表于 2022-5-20 08:51
GTX1650 GDDR6版本，半高
http://www.360doc.com/content/20/1026/16/72127748_942464724.shtml
好像是安 ...
700左右可以买个t400
页:
[1]
2