[NAS] 家用NAS升级计划，目标0.2PB，代号：红蜘蛛
本帖最后由 nlnjnj 于 2022-4-2 11:15 编辑旧NAS的介绍
旧的NAS搭建于2017年，代号：Arcube，配置单如下：
这个NAS机箱还是比较有意思的，ITX机箱支持光驱位的，现如今已经已经很少见了。
static/image/hrline/line3.png
升级的原因
随着存储需求的不断增长，旧的NAS也暴露出几个问题：
首先是网络部分，受限于千兆网络，每次写入数据时都会比较耗时；
这台机器虽然有雷电3的接口，但是因为TrueNAS Core系统是基于FreeBSD的，使得驱动问题十分麻烦，后期有购入一根USB Type-C的2.5G网卡，也因为驱动问题一直没有成功弄好；
第二便是盘位不够，区区5盘位，即便单盘容量20T，也因为raidz2的原因可用空间依然较少；
第三则是zpool之间迁移数据的问题，如果需要将原先的zpool的硬盘进行升级，并保障数据迁移，最简便的方法便是：新建一个5盘位的zpool，然后进行迁移；因硬件限制，使得这件事情也十分麻烦。
正好也是最年开始TrueNAS社区公布了TrueNAS Scale的发布计划。所以便有了这次的计划。
static/image/hrline/line3.png
新NAS的规划
软件的选择
总的来说常用的存储方案大致上可以分为以上这些，对于这个计划优先考虑视频存储，至于漫画存储，可能未来会单独做一个OSS类的方案吧；
出于开源的信仰，Unraid并不在我的考虑范围之内；
TrueNAS可能是大部分人的选择，简单且Scale改成Debian后能使用Kubernetes，可玩性进一步提高；
OMV+MergerFS+SnapRAID的方案也是一个比较典型的，关于这个方案可以参考下这2个链接：
The 'Hidden' Cost of Using ZFS for Your Home NAS
https://louwrentius.com/the-hidden-cost-of-using-zfs-for-your-home-nas.html
Why MergerFS?
https://perfectmediaserver.com/tech-stack/mergerfs.html
MinIO其实是之前给公司组OSS存储方案时接触的，CORTX也是希捷推出的类似的开源项目；只是目前的软件生态可能还不太适合个人使用，需要较多的技术基础，且3副本的冗余机制对于一般用户来说成本有点过高，更适合小文件存储。
http://www.minio.org.cn/overview.shtml
https://www.seagate.com/cn/zh/products/storage/object-storage-software/
谈了很多技术的事情，其实J叔早就给了大家答案，目前大部分人还是选择TrueNAS Scale吧。
硬件的选择
首先声明一点，我个人是外观党，所以很多选择基于这个前提的。[恶魔]
机箱：其实联力的红蜘蛛很早就看上了，现在再去说为什么选择，连我自己都不知道该如何解释。
https://img.alicdn.com/imgextra/i2/712168403/TB2cKortVXXXXa2XXXXXXXXXXXX_!!712168403.jpg
Ryzen v.s. Threadripper v.s. EPYC：
EPYC被我排除的主要原因便是外观（主要是穷，米兰的CPU太贵了）
所以接下来便考虑了Ryzen，在NVME 4x + HBA 8x的情况下Ryzen的PCEI通道基本上是足够了，还富裕8x的扩展，可以搭配1个显卡或2个NVME固态。
至于Threadripper，你说啥？AMD都放弃了，还选这个干嘛！（主要是看上的主板不好买，听说问题也比较多，其次是功耗太高了，电费压力比较大）
具体的硬件选择，建议大家去参考J叔的帖子，在我的使用场景下SLOG及Metadata的Vdev意义都不大。
Seagate X18 18T * 24
告别单盘组建TrueNAS SCALE终极家用OpenZFS File Server, VM & More
https://www.chiphell.com/thread-2402960-1-4.html
主板：主要考虑2点：X570S及板载万兆。
内存：纯ECC内存，还在联系靠谱的购买渠道；内存马甲已备好，外观方面也不会显得很突兀。
HBA：外观上唯一比较突兀的硬件，强烈建议厂商以后首选黑色PCB，可能后面想办法定制个背板来解决外观问题吧。
于是最终配置单如下：
static/image/hrline/line3.png
开箱及装机过程
记住这个机箱最后的样子，后面发现前面板有些损坏，送回去更换了，结果上海疫情了，老板至今没法去仓库[流泪] 。
额外配的螺丝，买了好几次才全部配齐，原配光驱位的螺丝不太够，只能自己再买了些，风扇的螺丝改了全新的固定形式，外观好看了不少
这个笼子购买还经历了不少故事，序列号还是1-4连号的，
3号笼子风扇装的方向和其他的还不一样，强迫症不能忍[流汗] ，拆了调整下。
接下来是拧螺丝地狱[流泪] ，每个笼子12个螺丝，4个笼子48个螺丝
原装线测试下，开机正常，接下来测量定制线长度
换上定制线，开始理线
static/image/hrline/line3.png
安装硬盘
新的NAS计划是分成2个zpool，每个zpool采取8盘位raidz2，先上一半的硬盘，另一半打算等希捷下半年发布的HAMR硬盘
接下来又是拧螺丝地狱[流泪]
后面测试了下发现HBA温度稍微有点高，虽然用着也没啥问题，还是求稳加个风扇辅助下吧
static/image/hrline/line3.png
操作界面
新建zpool及dataset，导入旧的zpool。
开始迁移数据
迁移过程io曲线整体还是较为平稳的
迁移花了3天时间，总算是搞完了，至于淘汰下的一堆旧硬盘，我们闲鱼见吧[怪脸]
static/image/hrline/line3.png
PS：图片质量我已经尽力了，没办法等级太低，只有600K的权限
帮顶，这不是我想象中的NAS[偷笑] 800多的笼子，好贵 恍然间，这已经是上古机箱了。 好狠的NAS!!! 祝楼主喜提门户 这个nas肯定能做到all in one，但是这个盘位是不是少了，这样好的主板，这样的配置，应该多一些盘位。 好奇日功耗，SSD还会添加吗？ 红蜘蛛好经典，不过可以试试ABEE的C990H，质感也好棒 红蜘蛛。满满的回忆 请问硬盘笼的长度是多少？ dopod2566 发表于 2022-4-2 08:47
这个nas肯定能做到all in one，但是这个盘位是不是少了，这样好的主板，这样的配置，应该多一些盘位。 ...
笼子的限制吧 太密集的话 散热也会是个问题 以前用的5盘位就是存在这样的麻烦
氦气盘还是比较热的 散热对于机械硬盘也比较重要 现在nas的配置都要求这么高了。我主力机配置都没这个高哈哈哈
硬核装备，涨见识啦 红蜘蛛真的好经典，楼主现在还能搞到全新的吗？复刻的好像也很快就售罄了 楼主原来那个icy dock的硬盘笼用着怎么样？ 前排围观！ swatwzh1021 发表于 2022-4-2 09:24
红蜘蛛真的好经典，楼主现在还能搞到全新的吗？复刻的好像也很快就售罄了 ...
淘宝还有些库存吧，听老板说最近卖的挺多的，玩存储的，毕竟新出的很多机箱光驱位基本都没了，更别提全铝的工艺。 旧硬盘还真有意向 坐等ssd 20tb 机械硬盘价 这样只用搞同步，不用搞raid了 想必有个独立机房吧？不然磁盘整理时不是直接起飞？ 能用这么大机箱的，都有个大房子[狂笑] 这可太牛了 这存储量 不得了 虽然是4月1日发的贴子，但我认为楼主是认真的[偷笑] 18T的硬盘这么多，都数不过来[生病] 你告诉我 你都存啥了[流汗] 老的机箱不错卖给我。。谢谢 猪图腾 发表于 2022-4-2 11:21
老的机箱不错卖给我。。谢谢
朋友打包了，这机箱已经绝版了，可能以后难搞了，本来我也不打算卖掉的[流泪] 联力A77F用户路过帮顶.楼主的联力机箱很好很强大! 楼主截图里的硬盘温度是刚开机的时候的吧，24*7稳定下来的日常温度是多少？环境温度是多少啊？