[更新至第六期(上)]记录一下自己的HomeLab搭建过程
本帖最后由 myouc 于 2023-12-11 09:44 编辑目录：
前言..................2
第一期 阵列卡+转换线..................3
第二期 12盘位外置阵列柜..................4
第三期 4U ATX机箱和双口万兆网卡..................5
第四期（上） 19寸42U机柜..................6
第四期（中） 机柜安装L支架+上架部分机器..................7
第五期（上） 万兆交换机NAE-1101 购买..................7
第六期（上） 四节点 x 双路金牌5122+128G内存+双万兆 购买..................7
视频合集：https://space.bilibili.com/847661/channel/seriesdetail?sid=3804538
进展图：
前言
搬新家已经一段时间了，虽然还有不少装修工作需要DIY，但是期待了很久的HomeLab计划可以启动了。
这个帖子不定期更新搭建过程（进度），同时也试试看录一些视频（0经验）。
我的HomeLab算是从2018年开始的吧，那时候我爸买了台DS1517+羡慕死我了，然后自己开始拿我的老战神笔记本折腾黑群晖，还真成了。
具体配置是i7-6700HQ+插满4根8G的内存+2块1.5T的光威2.5 SATA+128G的m2 SATA ，再加上980m的显卡。
然而不用管电费账单的我从来没考虑过功耗的问题，直到2019年起我和我女朋友一起住了，电费也要自己交了。这个老战神待机100w+有点吃不消，再加上噪音也大，于是决定买台低功耗机器做NAS。正好看到本地二手市场有人很低的价格出A320M+Ryzen2200G的整机，待机功耗40w以内，果断出手了。自己又给加上了旧的2块1.5T的光威2.5 SATA和1T的宏碁m2 SATA。这个机器啥都好，就是电源掂起来太轻了，不是很踏实。
这个机器就这么稳稳的24小时运行了将近4年，一直作为软路由+NAS（PVE下爱快+黑群晖）使用，直到最近才停掉。期间硬盘轮流坏过一次，好在重启后恢复正常数据得以换导出恢复，我非常怀疑是电源的问题，有机会还是换掉比较好。下图是仍在服役的板U和电源，机箱已经换新的了，后面会说。
2021年的时候还攒了一台X570+5600X的塔式，攒完之后发现非常的鸡肋，又很耗电（我住的地方电真的太贵了.....）所以一直以来使用率并不高。
今年搬新家后，由于有太阳能发电，实现了春夏秋用电自由，再加上有一些私活需要跑（其实并不是刚需），于是自己手搓了一个机架想搭一个HomeLab
下面是PowerWalker的UPS，然后是PDU和交换机，上面放路由器和智能网关，再上面是老战神和5600X的塔式，存储空间不够了还加了两个5T的外置硬盘。
这就是我的HomeLab现状：
两台老战神和5600X塔式都装的是PVE，虚拟化服务包括：爱快软路由，黑群晖NAS（希望以后能洗白），VSCode开发服务器，Plex Server（配合PT+AppleTV真的太爽了），Home Assistant，AdGuardHome，宝塔（主要放我博客）。还有两个Windows虚拟机，一台用来共享Chat** Plus，另一台远程工作用（工作娱乐分离非常重要）。
原本我对现状已经很满意了，但是最近在逛本地二手市场的时候看到了外置阵列柜心动不已，想想存储空间也是时候扩容一下了就剁手了。
阵列柜都买了配套的机架也必须要升级一下，机器也都换成机架式的方便管理，于是开启了这个HomeLab搭建计划.....
第一期 阵列卡+转换线
本地二手购买了两张LSI MegaRAID 9285CV-8e阵列卡以及四根SFF8644转8088的线，用来搭配后面会说的外置阵列柜。
价格分别是30欧（15欧/张）和40欧（5欧/条），共花费70欧
HomeLab目前总支出70欧
视频：
https://www.bilibili.com/video/BV1SM411o7ET
https://www.bilibili.com/video/BV1SM411o7ET
第二期 12盘位外置阵列柜
本地二手购买了两台12盘位的外置阵列柜，具体型号为J2012-01-03X
价格是140欧（70欧/台），共花费140欧
HomeLab目前总支出210欧
视频：
https://www.bilibili.com/video/BV16C4y1A7B3/
https://www.bilibili.com/video/BV16C4y1A7B3
每台机器包含：
1. 免工具热插拔托架*12
2. 549W热插拔 80Plus白金电源*2
3. 60x38mm 热插拔风扇 * 2
根据说明书，这个机器内置芯片可以实现JBOD，不过有了阵列卡就这个没必要了。
出人意料的是这个机器的噪音居然不怎么大，手边没有设备没办法量化，不过可以比较一下视频里的背景音乐就是我日常工作外放的lofi
具体的配置和使用体验还需要等我机器和硬盘都安置/采购妥当后再更新了
第三期: 4U ATX机箱和双口万兆网卡
本地二手购买了4个4U的ATX工控机箱，还有好几年前ebay买的3块双口万兆网卡（HP-544FLR）
计划是把2200G、5600X还有老战神都塞进机柜里，弄一个漂漂亮亮的HomeLab出来！
分别是150欧（含运费）和30欧，共花费180欧
HomeLab目前总支出390欧
视频：
https://www.bilibili.com/video/BV1GG411q7oE
https://www.bilibili.com/video/BV1GG411q7oE
第四期（上）: 42U的服务器机柜
本地二手购买了42U的服务器机柜，尺寸是80*80*225
搭了两天才搭好，第一次搭而且卖家也没有安装手册，期间装了拆拆了装，真的累死了
机柜本身是250欧然后运费30欧，另外加了20欧配了两根方孔立柱，共花费300欧，目前为止最大的一笔开销了，心在滴血....
HomeLab目前总支出690欧
视频：
https://www.bilibili.com/video/BV1Wb4y1L7Rf
https://www.bilibili.com/video/BV1Wb4y1L7Rf
第四期（中）: 机柜安装L支架+上架部分机器
本地二手购买了5对L型支架用来支撑比较重的机器，每对是5欧
还上架了一部分机器
HomeLab目前总支出715欧
视频：
https://www.bilibili.com/video/BV1GC4y1R7mx/
https://www.bilibili.com/video/BV1GC4y1R7mx
第五期（上）： 万兆交换机NAE-1101 购买
ebay购买了NAE-1101 十六口万兆交换机 砍价后100欧入手
HomeLab目前总支出815欧
视频：
https://www.bilibili.com/video/BV1dG411v7ak/
https://www.bilibili.com/video/BV1dG411v7ak
第六期（上） 四节点 x 双路金牌5122+128G内存+双万兆 购买
ebay购买了广达Quanta T42S-2U四节点服务器，每个节点含双路金牌5122+128G内存+双万兆网卡，砍价后500欧+40欧邮费入手
HomeLab目前总支出1355欧
视频：
https://www.bilibili.com/video/BV1964y157DA
https://www.bilibili.com/video/BV1964y157DA
本帖最后由 myouc 于 2023-12-4 08:42 编辑
已编辑到1楼主贴，占楼 我也只是会用品牌的服务器搭建LAB, 楼主很能折腾，强[傻笑] 欧洲的电费现在很贵吧，弄这么多装备准备成为电网合作伙伴了。 cnyanglc 发表于 2023-12-4 03:08
欧洲的电费现在很贵吧，弄这么多装备准备成为电网合作伙伴了。
目标是整柜日常功耗控制在500瓦内，这样只有冬天没什么太阳的时候会从电网取电 在国内的话，海鲜市场里分分钟就配齐全套了。。。外面的朋友是苦。。[恶魔] myouc 发表于 2023-12-4 10:58
目标是整柜日常功耗控制在500瓦内，这样只有冬天没什么太阳的时候会从电网取电 ...
你的万兆网卡和阵列卡的功耗可都不低，24个硬盘估计也要200W 买个R740，上满硬盘，装个ESXi。再买个飞塔的小UTM。最后一步把这俩个设备托管到一个机房。签个10-20M的带宽。你这么大面积占用的房价还有噪音、电费什么的成本也不低了。 l0stc0mpass 发表于 2023-12-4 08:02
买个R740，上满硬盘，装个ESXi。再买个飞塔的小UTM。最后一步把这俩个设备托管到一个机房。签个10-20M的带 ...
托管没有必要了，如果不追求内网万兆的话Hetzner直接租就行了。而是托管其实挺贵的，如果还要remote hand的话，我记得是50欧每15分钟…… xplvk 发表于 2023-12-4 00:43
我也只是会用品牌的服务器搭建LAB, 楼主很能折腾，强
品牌的不是太贵就是太吵了，而且功耗也不方便自己控制。
其实还是因为穷，只能看着几千欧的机器流口水 本帖最后由 wun_008 于 2023-12-4 16:52 编辑
我也是找了个漂亮的机箱搞了个unraid 功耗100多w r7 1700 两条三星m2 配置了休眠 装了个tesla p4 配置了jellfin 目前挺完美 cnyanglc 发表于 2023-12-4 10:08
欧洲的电费现在很贵吧，弄这么多装备准备成为电网合作伙伴了。
可以投资电站[恶魔] wun_008 发表于 2023-12-4 09:34
我也是找了个漂亮的机箱搞了个unraid 功耗100多w r7 1700 两条三星m2 配置了休眠 装了个tesla p4 配置了jel ...
看了不少人用unraid，从来没有尝试过，打算以后有时间先开个虚拟机试试，好用的话从黑群晖换过去。 我11个3.5硬盘 +一个直通卡+11400+rtx 3070(不点亮屏幕 gpuz里待机消耗约5w)+电源海盗船 rm850x+32g ram
待机大约100w左右 硬盘不停转休眠
之前显卡位插过万兆网卡 感觉难得跑满千兆 就拆掉了 洋垃圾网卡太耗电了
用的snapraid 原理类似unraid
网络不存在all in boom的问题 用的pfsense支持2个设备热备 可以直接关机换硬盘 就断网1秒钟
机箱是define r6 不支持热插拔 不是服务器机箱 很安静
amd的普通cpu待机很耗电的 建议你换成apu
magiclu 发表于 2023-12-5 11:50
我11个3.5硬盘 +一个直通卡+11400+rtx 3070(不点亮屏幕 gpuz里待机消耗约5w)+电源海盗船 rm850x+32g ram
待 ...
谢谢大佬建议，不过11个3.5硬盘只用100w是开了硬盘休眠吗？我这边实测了一下WD的红盘8T在7瓦左右，不过也有可能是误差，等我盘多一些的可以平均看看。
路由做热备挺好的，这倒是提醒我了，我也去弄一个双机热备的软路由。
电费有太阳能其实倒还行，主要是不想额外花钱再买低性能的cpu了，想攒攒钱上一套EPYC，最近下班回来做私活用，CPU和内存都不太够用，特别是内存想上到256。 平时用单位的机器用惯了，换到家里的小机器实在难受。 myouc 发表于 2023-12-6 19:43
谢谢大佬建议，不过11个3.5硬盘只用100w是开了硬盘休眠吗？我这边实测了一下WD的红盘8T在7瓦左右，不过也 ...
不休眠 一直在转 不过我是几个12t+几个16t+3个古董2-3t(还没坏 重量轻 可能耗电稍微少一点) 我都是买得企业盘
估计是intel平台待机省电 普通的内存条 没ecc 应该也比你用的省电一点
8*11+剩下来的估计20w 也在100w附近
你用得到epyc 那就买呗 我是完全用不到 不过amd的待机功耗 感觉不如单独拼一个 不需要24h开着 要用的时候网络唤醒
设备热备 现在装应该考虑opnsense 我之前用的pfsense的时候有免费更新 下载要买证书了 买不起 不过也懒得转到opnsense 不想重新再设置一遍
我是在加一个笔记本里的pfsense 虚拟机组的热备 现代的笔记本待机应该5-10w 还负责接电视机 播放视频 wun_008 发表于 2023-12-4 16:34
我也是找了个漂亮的机箱搞了个unraid 功耗100多w r7 1700 两条三星m2 配置了休眠 装了个tesla p4 配置了jel ...
小时候看大学实验室里全都是Sun工作站，就想着什么时候自己也能有一台，结果长大了Sun也早已停产了[偷笑] maverick117 发表于 2023-12-6 23:06
小时候看大学实验室里全都是Sun工作站，就想着什么时候自己也能有一台，结果长大了Sun也早已停产了 ...
我当年参加工作的时候就是用的一个sun 服务器 咸鱼发现有全新机箱收了两个一个收藏一个diy 哈哈 magiclu 发表于 2023-12-5 18:50
我11个3.5硬盘 +一个直通卡+11400+rtx 3070(不点亮屏幕 gpuz里待机消耗约5w)+电源海盗船 rm850x+32g ram
待 ...
不用洋垃圾网卡没有万兆啊 纠结 wun_008 发表于 2023-12-7 16:47
不用洋垃圾网卡没有万兆啊 纠结
我有2个MikroTik CSS610-8G-2S+ 之间用1个万兆光纤线连接着 空载时 功耗才3w 用dac线才2w
买回来的时候测的
现在插满了 不方便测试 估计功耗也不高 没什么温度 被动散热的
然后洋垃圾网卡估计10w一个 交换机s5732-h24um2cc，强推这个， 猪圈 发表于 2023-12-8 07:28
交换机s5732-h24um2cc，强推这个，
啊这.....价格承受不起啊....
大佬看看NetApp NAE-1101这个万兆交换机怎么样？ebay到手价1400元 这个价位还有广达那个LB6M也是可以的， UPS放最底下，交换机放上面～，你那个倒着的是UPS？里面有铅酸电池，不能倒置的～ 猪圈 发表于 2023-12-8 09:13
UPS放最底下，交换机放上面～，你那个倒着的是UPS？里面有铅酸电池，不能倒置的～ ...
谢谢大佬指导，还真不知道电池不能侧过来放，现在临时放机柜里的地上了，下周末改改布局。 更新至第六期（上）
页:
[1]