[NAS] 家用NAS升级计划，目标0.2PB，代号：红蜘蛛

nlnjnj · 发表于 2022-4-1 23:31

本帖最后由 nlnjnj 于 2022-4-2 11:15 编辑

旧NAS的介绍

旧的NAS搭建于2017年，代号：Arcube，配置单如下：
微信截图_20220401223811.png

这个NAS机箱还是比较有意思的，ITX机箱支持光驱位的，现如今已经已经很少见了。

升级的原因

随着存储需求的不断增长，旧的NAS也暴露出几个问题：

   首先是网络部分，受限于千兆网络，每次写入数据时都会比较耗时；
这台机器虽然有雷电3的接口，但是因为TrueNAS Core系统是基于FreeBSD的，使得驱动问题十分麻烦，后期有购入一根USB Type-C的2.5G网卡，也因为驱动问题一直没有成功弄好；

   第二便是盘位不够，区区5盘位，即便单盘容量20T，也因为raidz2的原因可用空间依然较少；

   第三则是zpool之间迁移数据的问题，如果需要将原先的zpool的硬盘进行升级，并保障数据迁移，最简便的方法便是：新建一个5盘位的zpool，然后进行迁移；因硬件限制，使得这件事情也十分麻烦。

正好也是最年开始TrueNAS社区公布了TrueNAS Scale的发布计划。所以便有了这次的计划。

新NAS的规划

软件的选择

NAS Software.png

总的来说常用的存储方案大致上可以分为以上这些，对于这个计划优先考虑视频存储，至于漫画存储，可能未来会单独做一个OSS类的方案吧；

出于开源的信仰，Unraid并不在我的考虑范围之内；
TrueNAS可能是大部分人的选择，简单且Scale改成Debian后能使用Kubernetes，可玩性进一步提高；
OMV+MergerFS+SnapRAID的方案也是一个比较典型的，关于这个方案可以参考下这2个链接：

The 'Hidden' Cost of Using ZFS for Your Home NAS
https://louwrentius.com/the-hidden-cost-of-using-zfs-for-your-home-nas.html

Why MergerFS?
https://perfectmediaserver.com/tech-stack/mergerfs.html

MinIO其实是之前给公司组OSS存储方案时接触的，CORTX也是希捷推出的类似的开源项目；只是目前的软件生态可能还不太适合个人使用，需要较多的技术基础，且3副本的冗余机制对于一般用户来说成本有点过高，更适合小文件存储。

http://www.minio.org.cn/overview.shtml

https://www.seagate.com/cn/zh/products/storage/object-storage-software/

谈了很多技术的事情，其实J叔早就给了大家答案，目前大部分人还是选择TrueNAS Scale吧。

硬件的选择

首先声明一点，我个人是外观党，所以很多选择基于这个前提的。

机箱：其实联力的红蜘蛛很早就看上了，现在再去说为什么选择，连我自己都不知道该如何解释。

Ryzen v.s. Threadripper v.s. EPYC：

EPYC被我排除的主要原因便是外观（主要是穷，米兰的CPU太贵了）

所以接下来便考虑了Ryzen，在NVME 4x + HBA 8x的情况下Ryzen的PCEI通道基本上是足够了，还富裕8x的扩展，可以搭配1个显卡或2个NVME固态。

至于Threadripper，你说啥？AMD都放弃了，还选这个干嘛！（主要是看上的主板不好买，听说问题也比较多，其次是功耗太高了，电费压力比较大）

具体的硬件选择，建议大家去参考J叔的帖子，在我的使用场景下SLOG及Metadata的Vdev意义都不大。

Seagate X18 18T * 24

[NAS] 告别单盘组建TrueNAS SCALE终极家用OpenZFS File Server, VM & More

https://www.chiphell.com/thread-2402960-1-4.html

主板：主要考虑2点：X570S及板载万兆。

内存：纯ECC内存，还在联系靠谱的购买渠道；内存马甲已备好，外观方面也不会显得很突兀。

HBA：外观上唯一比较突兀的硬件，强烈建议厂商以后首选黑色PCB，可能后面想办法定制个背板来解决外观问题吧。

于是最终配置单如下：

微信截图_20220401230005.png

开箱及装机过程

记住这个机箱最后的样子，后面发现前面板有些损坏，送回去更换了，结果上海疫情了，老板至今没法去仓库

。

额外配的螺丝，买了好几次才全部配齐，原配光驱位的螺丝不太够，只能自己再买了些，风扇的螺丝改了全新的固定形式，外观好看了不少

这个笼子购买还经历了不少故事，序列号还是1-4连号的，

3号笼子风扇装的方向和其他的还不一样，强迫症不能忍

，拆了调整下。

接下来是拧螺丝地狱

，每个笼子12个螺丝，4个笼子48个螺丝

原装线测试下，开机正常，接下来测量定制线长度

换上定制线，开始理线

安装硬盘

新的NAS计划是分成2个zpool，每个zpool采取8盘位raidz2，先上一半的硬盘，另一半打算等希捷下半年发布的HAMR硬盘

接下来又是拧螺丝地狱

后面测试了下发现HBA温度稍微有点高，虽然用着也没啥问题，还是求稳加个风扇辅助下吧

操作界面

新建zpool及dataset，导入旧的zpool。

微信截图_20220326000944.png

开始迁移数据

迁移过程io曲线整体还是较为平稳的

微信截图_20220327133509.png

迁移花了3天时间，总算是搞完了，至于淘汰下的一堆旧硬盘，我们闲鱼见吧

PS：图片质量我已经尽力了，没办法等级太低，只有600K的权限

zlzchh · 发表于 2022-4-2 00:31

帮顶，这不是我想象中的NAS

Wilson163abc · 发表于 2022-4-2 00:51

800多的笼子，好贵

李一族 · 发表于 2022-4-2 00:55

恍然间，这已经是上古机箱了。

Wolverine · 发表于 2022-4-2 08:34

好狠的NAS!!!

Bryan24 · 发表于 2022-4-2 08:44

祝楼主喜提门户

dopod2566 · 发表于 2022-4-2 08:47

这个nas肯定能做到all in one，但是这个盘位是不是少了，这样好的主板，这样的配置，应该多一些盘位。

小路曾哥 · 发表于 2022-4-2 08:50

好奇日功耗，SSD还会添加吗？

winc4532 · 发表于 2022-4-2 08:50

红蜘蛛好经典，不过可以试试ABEE的C990H，质感也好棒

tommylin · 发表于 2022-4-2 08:50

红蜘蛛。满满的回忆

subzero_wkc · 发表于 2022-4-2 08:53

请问硬盘笼的长度是多少？

nlnjnj · 发表于 2022-4-2 09:02

dopod2566 发表于 2022-4-2 08:47
这个nas肯定能做到all in one，但是这个盘位是不是少了，这样好的主板，这样的配置，应该多一些盘位。 ...

笼子的限制吧太密集的话散热也会是个问题以前用的5盘位就是存在这样的麻烦

氦气盘还是比较热的散热对于机械硬盘也比较重要

manson.yu · 发表于 2022-4-2 09:02

现在nas的配置都要求这么高了。我主力机配置都没这个高哈哈哈

回声 · 发表于 2022-4-2 09:23

硬核装备，涨见识啦

swatwzh1021 · 发表于 2022-4-2 09:24

红蜘蛛真的好经典，楼主现在还能搞到全新的吗？复刻的好像也很快就售罄了

ACE雪风 · 发表于 2022-4-2 09:25

楼主原来那个icy dock的硬盘笼用着怎么样？

叮叮炒面 · 发表于 2022-4-2 09:32

前排围观！

nlnjnj · 发表于 2022-4-2 09:37

swatwzh1021 发表于 2022-4-2 09:24
红蜘蛛真的好经典，楼主现在还能搞到全新的吗？复刻的好像也很快就售罄了 ...

淘宝还有些库存吧，听老板说最近卖的挺多的，玩存储的，毕竟新出的很多机箱光驱位基本都没了，更别提全铝的工艺。

dominic8332 · 发表于 2022-4-2 09:39

旧硬盘还真有意向

winfigh · 发表于 2022-4-2 10:27

坐等ssd 20tb 机械硬盘价这样只用搞同步，不用搞raid了

傻木 · 发表于 2022-4-2 10:29

想必有个独立机房吧？不然磁盘整理时不是直接起飞？

ymcwwd · 发表于 2022-4-2 10:37

能用这么大机箱的，都有个大房子

maghaduta · 发表于 2022-4-2 10:42

这可太牛了这存储量不得了

张家村老张 · 发表于 2022-4-2 10:43

虽然是4月1日发的贴子，但我认为楼主是认真的

foreign · 发表于 2022-4-2 11:05

18T的硬盘这么多，都数不过来

风间云 · 发表于 2022-4-2 11:18

你告诉我你都存啥了

猪图腾 · 发表于 2022-4-2 11:21

老的机箱不错卖给我。。谢谢

nlnjnj · 发表于 2022-4-2 11:26

猪图腾发表于 2022-4-2 11:21
老的机箱不错卖给我。。谢谢

朋友打包了，这机箱已经绝版了，可能以后难搞了，本来我也不打算卖掉的

voodoosys · 发表于 2022-4-2 11:35

联力A77F用户路过帮顶.楼主的联力机箱很好很强大!

tmdodd · 发表于 2022-4-2 11:43

楼主截图里的硬盘温度是刚开机的时候的吧，24*7稳定下来的日常温度是多少？环境温度是多少啊？

账号		自动登录	找回密码
密码			加入我们

[电脑] [NAS] 家用NAS升级计划，目标0.2PB，代号：红蜘蛛

评分

浏览过的版块