家庭基础网络改造小结

lority

起因
家里本来是一台all-in-one的PVE主机负责家里所有基础设施，包括NAS，路由，一众Docker。但是因为建设时间相差太多，内部结构宛如一团乱麻，内心一直想要重新折腾一番，但一直在拖延。结果某一天大奶机上作为主要工作空间的SN750突然掉盘，里面正在处理的一波照片也忘了备份到NAS，幸好储存卡里还有一份没来得及删。于是心中停留很久的网络(NAS)重构计划紧急提上日程，开始各种采买。

催化剂
东西还没到齐，NAS里的8T银河挂了，也幸好我坚持照片保留2份分别存放在NAS和大奶机上，不然又要和过去3年的照片说再见了



回到正题
主要目标
1. 把NAS像模像样的做好，提高可靠性
2. 重新规划家里各种服务，
3. 把IP理一理

拓扑图图中绿色的方块为实体设备，橙色的为虚拟设备


虚拟化平台和独立NAS的配置清单
配置如下表所示

	虚拟化平台	NAS
CPU	E5 2690V3 ES	Ryzen 2200G
主板	华擎X99M	微星B450 MOTAR MAX
内存	大船 DDR4 2133 Reg ECC 16G*4	镁光DDR4 2666 8G*4
硬盘	东芝 240G 三星240G 海康 1T 西数 SN750 2T	傲腾16G 西数 HC550 16T*2
PCIE1	82599 双口	LSI 9308 直通
PCIE2	I350 4口	Mellanox X-3 单口
PCIE3	6450亮机卡

具体的选择原因会在后续对应位置说明

成品图
下面机柜里是实体NAS，右上角是PVE宿主机，左边是室友all-in-ubuntu(因为风扇太奇妙，会带着图中所有东西共振，被勒令使用物理隔振)
  


实体NAS
功能上分为归档和热数据服务，其实分成2个储存池即可，但是处于折腾的目的，我直接把2个功能拆分到了2抬独立的NAS上，一台实体，一台虚拟，其中归档工作交给独立NAS。

硬件部分
主要配置都在前面都已经列举了，这里主要讲一下选择现在这套配置的心路历程。

• 这套配置的构思是从机箱开始的，最初的目标是银欣的R21-308，MATX+ATX电源+8盘位短2U机箱，非常符合我的期望。但是思考再三，为了圆机架梦投入2300块获得一个8盘位结果，并不理智。所以最后消费降级为服务器拆机而来的12盘位硬盘笼+2U MATX工控机箱。
• 敲定了机箱，开始规划内部硬件，因为CPU 内存 电源 万兆卡是手里现成的，所以直接加入清单，硬盘笼本身是SAS 8087接口，虽然可以用逆向线，但最后还是决定搞个HBA卡玩玩。 然后就是选一个能插下所有配件的主板了，PDD33x包邮的B450迫击炮MAX正好合适(其实并不是)。
• 最后是硬盘，出于对数据安全和性价比考量，一期硬盘选择了2块HC550 16T 做mirror，然后用傲腾16G作为系统盘。最开始是有一块120G 600P 作为 读缓存使用，但最终没用用上是因为调试过程中意外翻车，翻车后反思发现归档NAS其实并不需要SSD缓存。
  

东西到位，开始装机





这个过程主要踩了3个坑：
1. B450 扩展性其实很一般，简单来说就是最多只能同时启用3个PCIE设备，傲腾系统盘，阵列卡，万兆卡刚刚够，其实我是有试图加一块M2作为读缓存，但是发现插上去网卡就哑火了，只能告吹
2. 最开始买的2U的AM4散热器，噪音大小还好，但是低转速会有持续的吱吱声，实在是难听，换回了盒装自带散热，世界一下就清净了，室温30度，CPU待机50度的样子
3. HBA卡烫到怀疑人生，而且工控机机箱风道只能照顾CPU区域，只能自己外挂了一个涡轮风扇，效果立竿见影，但是边上万兆卡因为机箱结构就没那么幸运了，不过实际使用情况感觉还好。

软件部分
系统选择了TrueNAS scale, 用scale版的原因是为了尝尝鲜和逃避FreeBSD底层。从目前我的应用环境来看scale版相对于CORE版的性能差距也不足以造成决定性后果。

Scale的界面比CORE清爽太，但还是有一些小问题，比如第一次启动的时候命令行操作台和教程不符合，最后还是shell掏出来直接按照linux处理。



虚拟化平台
主要用来承载路由，NAS，docker环境以及折腾环境

硬件部分
延续使用了目前的虚拟化平台配置，唯一的变化是内存挪去了实体NAS，新购入了4条RECC 2133 16G。也说一下这套配置的故事：

• E5和X99M来自2015年时对数框框的执着，当时框框数爽了，但是游戏性能着实智商捉急。不过现在拿来搞虚拟化可真就完美了，E5可以用RECC内存便宜大杯，PCIE通道数也管饱，X99级别主板提供的大量扩展性，3条PCIE*16，6+4组合的SATA接口，一大堆USB（目前还用不上），细致的硬件分组支持。
• I350-T4是为了软路由购入的，另外的82599一是为了能够方便的向NAS传数据，二是光纤跳线比网线好打理(租房子但信不过无线的我)
• 6450就完全是因为一个未解之谜的原因了，E5+X99本来是支持无显卡启动的，但是82599加入系统之后，平台便失去了这个能力，只要82599在，POST就会卡在VGA这一步，不得已，购入了一块被动散热的亮机卡。
• “3国联军“SATA盘都是机缘巧合的原因陆续购入的，没什么毛病就继续留着用了，SN750 2T是全新购入，作为新构架下的主力热数据储存。
  

装机







软件方面
虚拟化平台最初最初是图方便用了win10+hyperV，结果某一天被微软“别来无恙，我亲爱的儿子”，导致所有虚拟机离奇下线。便决定迁移到正经一点的虚拟化平台。

• win server，本来想着熟悉的配方熟悉的味道，但试用之后感觉逻辑和熟悉的windows差太远，不想过于深入导致在日常使用win10的时候精神分裂，放弃
• Unraid，优秀的数据可靠性， 自带docker环境，虚拟化能力也强。本来准备掏钱购入，结果手里唯二的U盘一个认不出来，一个拒绝写入，放弃
• ESXi，VMware几个字触发了内心深处的逃避，放弃
• PVE， 好了，就是你了，实际使用下来感觉底层稳定性OK，但web管理界面稳定性不甚理想，且虚拟机被周边设备故障带进坑里后抢救繁琐。
  

PVE安装非常简单，几乎是一路下一步即可食用，再打开硬件分组即可实现硬件直通。虽然可以使用小硬盘安装PVE，然后由NAS映射硬盘空间安装虚拟机，但是为了偷懒以及确保网络或者NAS故障的时候虚拟机能正常启动，还是用了一块240G的硬盘作为PVE自己的空间。环境就绪，接下来就是虚拟机部署

  虚拟机
虚拟机目前有5台

虚拟机	主要硬件资源	备注
OpenWRT	2线程，1G内存，2个千兆口
TrueNAS CORE	8线程，16G内存，M2，6口SATA控制器	因为X99M SATA是6+4配置，所以可以直接分配6口控制器给NAS，同时保证PVE本身也能访问SATA硬盘
Docker 宿主	6线程，8G内存	承载所有的docker，linux选择了ubuntu
Win10	6线程，12G内存	用来搞一些需要windows环境才方便的操作，不常开
linux学习机	6线程，8G内存	同样使用了ubuntu，用来搞一些linux相关的学习以及折腾

家庭网络设施
完成硬件搭建后，接下来就是应用环境的设置

上网
最基础的应用，主要的拓扑如最开始的图片所示，openWRT作为为路由使用，WAN侧直通接口直接与光猫连接，LAN侧分别接入PVE提供的虚拟交换机以及一台实体千兆傻瓜路由。其中虚拟交换机桥接了2个万兆口和一个千兆口，两个万兆口分别链接台式机以及实体NAS，千兆口作为预留备份。实体交换机下挂了AP，所有客厅的设备以及PVE的管理网口。IP地址尽量使用静态DHCP进行控制，实现IP固定且集中控制的目的。
可用性思考

• 这个拓扑有一个问题是网络被OpenWRT切割成为了左右两个半场，优点是实体交换机后方设备可以直接进入路由，不需要去虚拟交换机里倒腾，缺点就是一旦路由器挂掉，家里网络就会被拆分为两个孤岛。解决方案就是将实体交换机通过预留的网口直接和虚拟交换机链接
  

• 拨号设置在用作的AP的小米AX1800以及一台后备R2S上均有设置，如果某一天软路由出现故障，则可以快速切换到其他设备保证应急上网需求
  

各种服务
目前所有的媒体服务均优先考虑灵活轻便的docker。通过portainer的网页界面进行简单直观的管理，复杂一点的操作则回到命令行完成。如果有服务需要大量储存空间(比如网盘)，优先考虑直接接入NAS，在docker host上尽量只放置docker本身的数据。

Docker	说明
Transmission	轻量化的BT下载，文件和种子的存储空间直接由NAS提供，缺点是watch文件夹不是实时监控
Nextcloud	因为就我自己一个人使用，所以选择了app+db+cache的组合，主要的储存空间也直接由NAS提供
Jellyfin	影音播放，但是从过去的经验来看，我主要就是为了在办公室听歌，以后应该会被airsonic取代
**N	这里使用了wire guard，主要用途是出差途中能够对家里的一些东西进行安全访问。目前wire guard服务器端设置已经相当的傻瓜化了，不过传闻中的优异性能好还没有感受到
DNS	使用pi-hole作为本地DNS服务器，未命中结果从阿里DNS更新，目前看来还好，并不需要使用额外手段

备份
备份这里分为了几个任务

任务	说明
照片备份	我选择双机交叉备份，归档NAS上存一份，台式机上存一份。因为照片每次都是从台式机上拷入，所以选择了最简单的手动再存一份
关键数据	在归档NAS上保存一份，再通过每日自动同步，备份至onedrive
虚拟机本体备份	虚拟机在完成设置后在PVE上保留一份初始镜像，然后定时备份至热数据NAS指定文件夹，此文件夹开启 ZFS duplication 以及定期 snapshot，snapshot定期replication到归档NAS。（可以说的相当的overkill）

UPS这里用了一台APC的家用UPS为最开始图里的3台电脑提供断电保护。家用环境就不指望断电还能光速恢复了，所以直接将逻辑设置为断电时关闭电脑。

UPS通信线路接入实体NAS，TrueNAS对大多数APC的UPS提供原生支持，打开ups服务后就能直接进行相应的设置。但是该UPS只提供了一个USB接口，想要关闭多个系统主要有两种办法。

• 一是将实体NAS的UPS服务（其实就是Network_Ups_Tools）设置为master模式，在另外两台电脑上安装NUT，设置为slave并与master链接从而获得二手UPS动作消息
• 二是为实体NAS的UPS添加一些ssh指令，直接远程关闭另外两台电脑，这里我选择了方案二，测试效果也很好
  

好了到这里为止就是目前网络重构的全部内容，以后可能会一些小改动，或者进行理线方面的优化，但是完美的走线背后都是定制线长，估计要无限鸽了
字有点多，谢谢观看

Wolverine

看完了.脑袋看大了..厉害...我还是老老实实普通NAS了

jiano

楼主这属于爱折腾的，我折腾过几次nas以后，坚决分开，软路由、AP、NAS全部拆分，省的ALL IN BOOM。

其实最关键的是，稳定用了半年以上，如果再次折腾，很可能都忘记当时怎么部署的了

pengpoj

牛逼了，再升级就的上小型机+DS8000了

靜默

这个机柜挺迷你的，有链接么？楼主

lingerqi

jiano 发表于 2021-10-11 09:09
楼主这属于爱折腾的，我折腾过几次nas以后，坚决分开，软路由、AP、NAS全部拆分，省的ALL IN BOOM。

其实 ...

老哥说的太真实了

lingerqi

服务器拆机的12盘位硬盘笼有关键字吗？多少钱买的？是什么背板

syf_alan

免费的云备份还是可以用用的啊，照片这些数据多同步一个云端备份，安心很多。

lority

syf_alan 发表于 2021-10-11 09:54
免费的云备份还是可以用用的啊，照片这些数据多同步一个云端备份，安心很多。 ...

信得过的买不起，买得起的信不过，A7R4用起来太费硬盘了

jesusdou

跟我的差不多，除了没有ups。本来没想做软路由，结果华硕八爪鱼性能不行，双线双拨导致大量上传后cpu负载太大导致网络不稳定，无奈弄了个软路由。

Datouq

这是要做啥应用啊， all in one 可以看看瘦客户机， 散热颜值都不错， t740

lority

靜默 发表于 2021-10-11 09:46
这个机柜挺迷你的，有链接么？楼主

搜开放网络机柜就行，很多的。但只能塞工控机或者超短服务器

lority

Datouq 发表于 2021-10-11 10:36
这是要做啥应用啊， all in one 可以看看瘦客户机， 散热颜值都不错， t740

瘦客户机的扩展性all不动诶

lority

lingerqi 发表于 2021-10-11 09:51
服务器拆机的12盘位硬盘笼有关键字吗？多少钱买的？是什么背板

私信了，但是chia出现之后价格已经很难看了

Opteron

这笼子和机箱的方案看起来似曾相识 我也这么干过。
不过笼子上的按钮和指示灯都可以充分利用

lority

Opteron 发表于 2021-10-11 12:19
这笼子和机箱的方案看起来似曾相识 我也这么干过。
不过笼子上的按钮和指示灯都可以充分利用  ...

Derek.S_大D

好贴，HBA卡的涡轮风扇有链接么？我的HBA卡也是爆热，现在是靠捆扎带+风扇维持的，想换个。

tyan

不明觉厉，啥时候我们公司也能请个像样的网管帮我们梳理梳理啊。。。。

lority

Derek.S_大D 发表于 2021-10-11 13:51
好贴，HBA卡的涡轮风扇有链接么？我的HBA卡也是爆热，现在是靠捆扎带+风扇维持的，想换个。 ...

私信了，注意电压

davryddr

看标题想进来学习下，也重新整合下家里乱哄哄的网络，看完觉得还是算了，一大半内容看不懂。感谢分享~

davryddr

另外请问LZ你这4U 服务器风扇放客厅不抄么？

IAMLQC

楼主能分享下那个装b450的机箱和机架吗，挺不错的。

lemongarden

码字辛苦了。佩服楼主，真电工

nineapple

这样半机架半台式的很难受，不如全部改成机架式的。。。。。

lority

nineapple 发表于 2021-10-11 15:44
这样半机架半台式的很难受，不如全部改成机架式的。。。。。

机架上不是还有2U的空间吗

neewinc

jiano 发表于 2021-10-11 09:09
楼主这属于爱折腾的，我折腾过几次nas以后，坚决分开，软路由、AP、NAS全部拆分，省的ALL IN BOOM。

其实 ...

哈哈哈哈哈，真实得很，我之前是软路由+nas，试过一次boom之后，我又在出差，回去差点被女王打死，幸亏是我第二天我就出差回去了

zs6095

太麻烦了。有个gen8都闲置半年了。

lority

neewinc 发表于 2021-10-11 16:06
哈哈哈哈哈，真实得很，我之前是软路由+nas，试过一次boom之后，我又在出差，回去差点被女王打死，幸亏是 ...

高可用整起来呀，又能再装一台电脑了

lority

davryddr 发表于 2021-10-11 14:55
另外请问LZ你这4U 服务器风扇放客厅不抄么？

其实是个工控机，很安静的

yyjj

学习了，内容很详细，赞