Chiphell - 分享与交流用户体验

标题: [NAS] 家用NAS升级计划，目标0.2PB，代号：红蜘蛛 [打印本页]
作者: nlnjnj    时间: 2022-4-1 23:31
标题: [NAS] 家用NAS升级计划，目标0.2PB，代号：红蜘蛛
本帖最后由 nlnjnj 于 2022-4-2 11:15 编辑

旧NAS的介绍

旧的NAS搭建于2017年，代号：Arcube，配置单如下：
(, 下载次数: 181)

这个NAS机箱还是比较有意思的，ITX机箱支持光驱位的，现如今已经已经很少见了。

(, 下载次数: 194)

(, 下载次数: 185)

(, 下载次数: 206)

(, 下载次数: 224)

(, 下载次数: 200)



升级的原因

随着存储需求的不断增长，旧的NAS也暴露出几个问题：

       首先是网络部分，受限于千兆网络，每次写入数据时都会比较耗时；
这台机器虽然有雷电3的接口，但是因为TrueNAS Core系统是基于FreeBSD的，使得驱动问题十分麻烦，后期有购入一根USB Type-C的2.5G网卡，也因为驱动问题一直没有成功弄好；

       第二便是盘位不够，区区5盘位，即便单盘容量20T，也因为raidz2的原因可用空间依然较少；

       第三则是zpool之间迁移数据的问题，如果需要将原先的zpool的硬盘进行升级，并保障数据迁移，最简便的方法便是：新建一个5盘位的zpool，然后进行迁移；因硬件限制，使得这件事情也十分麻烦。

正好也是最年开始TrueNAS社区公布了TrueNAS Scale的发布计划。所以便有了这次的计划。



新NAS的规划

软件的选择

(, 下载次数: 205)

总的来说常用的存储方案大致上可以分为以上这些，对于这个计划优先考虑视频存储，至于漫画存储，可能未来会单独做一个OSS类的方案吧；

出于开源的信仰，Unraid并不在我的考虑范围之内；
TrueNAS可能是大部分人的选择，简单且Scale改成Debian后能使用Kubernetes，可玩性进一步提高；
OMV+MergerFS+SnapRAID的方案也是一个比较典型的，关于这个方案可以参考下这2个链接：

The 'Hidden' Cost of Using ZFS for Your Home NAS
https://louwrentius.com/the-hidden-cost-of-using-zfs-for-your-home-nas.html
Why MergerFS?
https://perfectmediaserver.com/tech-stack/mergerfs.html

MinIO其实是之前给公司组OSS存储方案时接触的，CORTX也是希捷推出的类似的开源项目；只是目前的软件生态可能还不太适合个人使用，需要较多的技术基础，且3副本的冗余机制对于一般用户来说成本有点过高，更适合小文件存储。

http://www.minio.org.cn/overview.shtml
https://www.seagate.com/cn/zh/products/storage/object-storage-software/

谈了很多技术的事情，其实J叔早就给了大家答案，目前大部分人还是选择TrueNAS Scale吧。

硬件的选择

首先声明一点，我个人是外观党，所以很多选择基于这个前提的。

机箱：其实联力的红蜘蛛很早就看上了，现在再去说为什么选择，连我自己都不知道该如何解释。



Ryzen v.s. Threadripper v.s. EPYC：

EPYC被我排除的主要原因便是外观（主要是穷，米兰的CPU太贵了）

所以接下来便考虑了Ryzen，在NVME 4x + HBA 8x的情况下Ryzen的PCEI通道基本上是足够了，还富裕8x的扩展，可以搭配1个显卡或2个NVME固态。

至于Threadripper，你说啥？AMD都放弃了，还选这个干嘛！（主要是看上的主板不好买，听说问题也比较多，其次是功耗太高了，电费压力比较大）

具体的硬件选择，建议大家去参考J叔的帖子，在我的使用场景下SLOG及Metadata的Vdev意义都不大。

Seagate X18 18T * 24

[NAS] 告别单盘组建TrueNAS SCALE终极家用OpenZFS File Server, VM & More

https://www.chiphell.com/thread-2402960-1-4.html


主板：主要考虑2点：X570S及板载万兆。

内存：纯ECC内存，还在联系靠谱的购买渠道；内存马甲已备好，外观方面也不会显得很突兀。

HBA：外观上唯一比较突兀的硬件，强烈建议厂商以后首选黑色PCB，可能后面想办法定制个背板来解决外观问题吧。

于是最终配置单如下：

(, 下载次数: 195)



开箱及装机过程

记住这个机箱最后的样子，后面发现前面板有些损坏，送回去更换了，结果上海疫情了，老板至今没法去仓库 。

(, 下载次数: 174)

(, 下载次数: 227)

(, 下载次数: 225)

额外配的螺丝，买了好几次才全部配齐，原配光驱位的螺丝不太够，只能自己再买了些，风扇的螺丝改了全新的固定形式，外观好看了不少

(, 下载次数: 215)



这个笼子购买还经历了不少故事，序列号还是1-4连号的，

3号笼子风扇装的方向和其他的还不一样，强迫症不能忍 ，拆了调整下。

(, 下载次数: 198)

(, 下载次数: 201)

(, 下载次数: 192)

接下来是拧螺丝地狱 ，每个笼子12个螺丝，4个笼子48个螺丝

(, 下载次数: 217)

(, 下载次数: 212)

(, 下载次数: 202)

(, 下载次数: 219)

(, 下载次数: 188)

原装线测试下，开机正常，接下来测量定制线长度

(, 下载次数: 178)

换上定制线，开始理线

(, 下载次数: 187)

(, 下载次数: 198)




安装硬盘

新的NAS计划是分成2个zpool，每个zpool采取8盘位raidz2，先上一半的硬盘，另一半打算等希捷下半年发布的HAMR硬盘

接下来又是拧螺丝地狱

(, 下载次数: 222)

(, 下载次数: 215)

(, 下载次数: 199)



后面测试了下发现HBA温度稍微有点高，虽然用着也没啥问题，还是求稳加个风扇辅助下吧

(, 下载次数: 203)

(, 下载次数: 237)



操作界面

新建zpool及dataset，导入旧的zpool。

(, 下载次数: 217)

(, 下载次数: 200)

(, 下载次数: 208)

开始迁移数据

(, 下载次数: 190)

迁移过程io曲线整体还是较为平稳的

(, 下载次数: 191)

(, 下载次数: 229)

(, 下载次数: 182)

迁移花了3天时间，总算是搞完了，至于淘汰下的一堆旧硬盘，我们闲鱼见吧



PS：图片质量我已经尽力了，没办法等级太低，只有600K的权限


作者: zlzchh    时间: 2022-4-2 00:31
帮顶，这不是我想象中的NAS
作者: Wilson163abc    时间: 2022-4-2 00:51
800多的笼子，好贵
作者: 李一族    时间: 2022-4-2 00:55
恍然间，这已经是上古机箱了。
作者: Wolverine    时间: 2022-4-2 08:34
好狠的NAS!!!
作者: Bryan24    时间: 2022-4-2 08:44
祝楼主喜提门户
作者: dopod2566    时间: 2022-4-2 08:47
这个nas肯定能做到all in one，但是这个盘位是不是少了，这样好的主板，这样的配置，应该多一些盘位。
作者: 小路曾哥    时间: 2022-4-2 08:50
好奇日功耗，SSD还会添加吗？
作者: winc4532    时间: 2022-4-2 08:50
红蜘蛛好经典，不过可以试试ABEE的C990H，质感也好棒
作者: tommylin    时间: 2022-4-2 08:50
红蜘蛛。满满的回忆
作者: subzero_wkc    时间: 2022-4-2 08:53
请问硬盘笼的长度是多少？
作者: nlnjnj    时间: 2022-4-2 09:02
dopod2566 发表于 2022-4-2 08:47
这个nas肯定能做到all in one，但是这个盘位是不是少了，这样好的主板，这样的配置，应该多一些盘位。 ...

笼子的限制吧 太密集的话 散热也会是个问题 以前用的5盘位就是存在这样的麻烦

氦气盘还是比较热的 散热对于机械硬盘也比较重要
作者: manson.yu    时间: 2022-4-2 09:02
现在nas的配置都要求这么高了。我主力机配置都没这个高哈哈哈
作者: 回声    时间: 2022-4-2 09:23
硬核装备，涨见识啦
作者: swatwzh1021    时间: 2022-4-2 09:24
红蜘蛛真的好经典，楼主现在还能搞到全新的吗？复刻的好像也很快就售罄了
作者: ACE雪风    时间: 2022-4-2 09:25
楼主原来那个icy dock的硬盘笼用着怎么样？
作者: 叮叮炒面    时间: 2022-4-2 09:32
前排围观！
作者: nlnjnj    时间: 2022-4-2 09:37
swatwzh1021 发表于 2022-4-2 09:24
红蜘蛛真的好经典，楼主现在还能搞到全新的吗？复刻的好像也很快就售罄了 ...

淘宝还有些库存吧，听老板说最近卖的挺多的，玩存储的，毕竟新出的很多机箱光驱位基本都没了，更别提全铝的工艺。
作者: dominic8332    时间: 2022-4-2 09:39
旧硬盘还真有意向
作者: winfigh    时间: 2022-4-2 10:27
坐等ssd 20tb 机械硬盘价 这样只用搞同步，不用搞raid了
作者: 傻木    时间: 2022-4-2 10:29
想必有个独立机房吧？不然磁盘整理时不是直接起飞？
作者: ymcwwd    时间: 2022-4-2 10:37
能用这么大机箱的，都有个大房子
作者: maghaduta    时间: 2022-4-2 10:42
这可太牛了 这存储量 不得了
作者: 张家村老张    时间: 2022-4-2 10:43
虽然是4月1日发的贴子，但我认为楼主是认真的
作者: foreign    时间: 2022-4-2 11:05
18T的硬盘这么多，都数不过来
作者: 风间云    时间: 2022-4-2 11:18
你告诉我 你都存啥了
作者: 猪图腾    时间: 2022-4-2 11:21
老的机箱不错卖给我。。谢谢
作者: nlnjnj    时间: 2022-4-2 11:26
猪图腾 发表于 2022-4-2 11:21
老的机箱不错卖给我。。谢谢

朋友打包了，这机箱已经绝版了，可能以后难搞了，本来我也不打算卖掉的
作者: voodoosys    时间: 2022-4-2 11:35
联力A77F用户路过帮顶.楼主的联力机箱很好很强大!
作者: tmdodd    时间: 2022-4-2 11:43
楼主截图里的硬盘温度是刚开机的时候的吧，24*7稳定下来的日常温度是多少？环境温度是多少啊？
作者: 恶魔最上阶    时间: 2022-4-2 12:18
看到标题的tag红蜘蛛以及封面图的骚红，我就马上点进来了，果然这个机箱永远是我心目中最美的
作者: nlnjnj    时间: 2022-4-2 12:31
tmdodd 发表于 2022-4-2 11:43
楼主截图里的硬盘温度是刚开机的时候的吧，24*7稳定下来的日常温度是多少？环境温度是多少啊？ ...

是迁移时的温度，还是比较惊喜的，不过这个笼子风扇即便是低速，噪音似乎也不小。
作者: guobacoo    时间: 2022-4-2 12:34
好大一只NAS
作者: mahob    时间: 2022-4-2 12:47
楼主是怎么知道这个硬盘笼就能装到机箱上？难道是通用的么?
作者: nlnjnj    时间: 2022-4-2 13:27
mahob 发表于 2022-4-2 12:47
楼主是怎么知道这个硬盘笼就能装到机箱上？难道是通用的么?

不知道，一般是通用的，如果用不了的话，那只能自己想办法改造，毕竟没得选
作者: BONBONBON    时间: 2022-4-2 13:40
truenas不太好用麻烦得很，zfs不用ecc内存吗
作者: wufuxing82    时间: 2022-4-2 13:49
这玩意24小时开着。。。。电费交不起，还是用着小群晖就好
作者: jerrytsao    时间: 2022-4-2 13:50
不错哦, 支持一下
作者: dsboylw    时间: 2022-4-2 14:16
现在找一个都是光驱的箱子，男上加男
作者: BONBONBON    时间: 2022-4-2 14:19
这个机箱3700？
作者: Iceron    时间: 2022-4-2 14:27
八年前，光驱位贼多用料好的全塔机箱还就比较多，现在只能二选一，或者钞能力。
作者: yjtc12358@163.c    时间: 2022-4-2 14:27
口水红蜘蛛
作者: pinghost2000    时间: 2022-4-2 14:40
好家伙，楼主这旧NAS的配置都比我主力机强了。
作者: brucelee1126    时间: 2022-4-2 14:41
3转5挨太近，3转4理想，一个minisas刚好通4个硬盘，4根8643线顶16根sata线，减少插接环节，提升可靠性，这才是多盘位的理想接法
作者: tyan    时间: 2022-4-2 15:05
这是服务器，不是一般的NAS~~
作者: 男人不潮    时间: 2022-4-2 15:17
红蜘蛛 好东西啊 当年的经典
作者: nfsq7264    时间: 2022-4-2 15:29
壕！
这配置。。
作者: hi8havp    时间: 2022-4-2 15:31
turenas下载太不友好了。。。楼主能否放个网盘链接，先谢谢
作者: make126    时间: 2022-4-2 15:37
哥们你这仅仅是用来做NAS吗？家用的话噪音耗电感觉有点猛啊，商用的话这配色和配件看上去又太惊艳了。
作者: pcbtester    时间: 2022-4-2 15:57
真土豪，鉴定完毕。我的电脑用的CPU才7700K，楼主的NAS的CPU比我的都要好。
作者: nlnjnj    时间: 2022-4-2 16:40
BONBONBON 发表于 2022-4-2 13:40
truenas不太好用麻烦得很，zfs不用ecc内存吗

有解释，不是不用，是还没买到，山寨的ecc可能稳定性还不如高端游戏条
作者: xujufeng123    时间: 2022-4-2 16:42
我都有点后悔把我的红蜘蛛出掉了
作者: ifinally    时间: 2022-4-2 17:01
太任性了
作者: 工程人    时间: 2022-4-2 17:07
这配置，已经不是一般的NAS了，强大！另外这18T*10块硬盘摆开，真好看
作者: 方枪枪    时间: 2022-4-2 17:32
翻了一下评论 大家都在说这配置比我主力机都好 我只想说+1 这配置装下来可以直接上存储服务器了。。。
作者: suk4a    时间: 2022-4-2 17:35
厉害，好多硬盘
作者: syon    时间: 2022-4-2 17:46
真帅啊 现在的lianli机箱都什么玩意 就疯搞铁皮钢板+辣眼rgb 瞎
作者: jimmyjin    时间: 2022-4-2 18:20
搞这么大一个NAS了， 投资也很多了， 干嘛不搞个万兆网络？ 板载千兆愧对ZFS 存储和SSD啊
作者: nlnjnj    时间: 2022-4-2 18:23
jimmyjin 发表于 2022-4-2 18:20
搞这么大一个NAS了， 投资也很多了， 干嘛不搞个万兆网络？ 板载千兆愧对ZFS 存储和SSD啊 ...

板载万兆了，网络还没搞，疫情原因装修停工了，之前找人已经把开发商给的5类线全部换成了7类线，还做了双线
作者: jimmyjin    时间: 2022-4-2 18:24
nlnjnj 发表于 2022-4-2 13:27
不知道，一般是通用的，如果用不了的话，那只能自己想办法改造，毕竟没得选 ...

LZ ， 我也有你老NAS的那个5盘位抽拉柜， 我记得标准是3光驱位， 所以， 这个Arcube机箱， 本身就支持安装3光驱位？ ITX 机箱界的清流啊！
作者: Alex_MAI    时间: 2022-4-2 18:32
围观，是梦想中NAS的样子了
作者: Adm1n    时间: 2022-4-2 18:34
红蜘蛛这箱子，可真是挺久了啊，没想到现在还能看到成色不错的
作者: neozhang1000    时间: 2022-4-2 18:58
怎么就突然到底了，表示没看够
作者: RenaissanceFlow    时间: 2022-4-2 19:53
TrueNAS界面果然好看
作者: fardragon    时间: 2022-4-2 20:25
楼主这是有技术有实力搭载的家用豪华级NAS。红蜘蛛机箱好看，实用来说质量也很好，PCDIY辉煌岁月的见证啊！
作者: wanfeng304    时间: 2022-4-2 21:19
nlnjnj 发表于 2022-4-2 18:23
板载万兆了，网络还没搞，疫情原因装修停工了，之前找人已经把开发商给的5类线全部换成了7类线，还做了双 ...

想抄个作业
板载万兆什么卡？路由器准备买啥？
话说七类线还双线！
真土豪
接地咋搞滴？
作者: yab8433408    时间: 2022-4-2 21:41
好巧不巧，我也是全光驱位，我也是16盘位，不过我全是利旧，朋友半卖半送的抽取架+阵列卡，130买的机箱，服务器淘汰下来的硬盘，废弃的一代I5平台……


(, 下载次数: 41)


(, 下载次数: 40)


(, 下载次数: 42)


(, 下载次数: 41)


(, 下载次数: 44)


装的黑裙，丢办公室作为资料存储……

工作一年半，暂时没出啥问题……


话说，开帖子好慢好慢好慢，很多图没打开……
作者: herrylee    时间: 2022-4-2 21:45
楼主2017年的nas是我主力机的配置
作者: zhangjun2610    时间: 2022-4-2 21:50
千兆网？
作者: mhmddb    时间: 2022-4-2 21:58
Wilson163abc 发表于 2022-4-2 00:51
800多的笼子，好贵

为了你那几千块钱的硬盘和无价的数据这800算啥
作者: nlnjnj    时间: 2022-4-2 22:18
yab8433408 发表于 2022-4-2 21:41
好巧不巧，我也是全光驱位，我也是16盘位，不过我全是利旧，朋友半卖半送的抽取架+阵列卡，130买的机箱，服 ...

龙哥还玩键盘吗，我们应该很久以前在哪个客制化群里面聊过
作者: jordanildc    时间: 2022-4-2 22:19
这机箱感觉好多年了 印象中201X年初那会儿的产物
作者: nlnjnj    时间: 2022-4-2 22:20
wanfeng304 发表于 2022-4-2 21:19
想抄个作业
板载万兆什么卡？路由器准备买啥？
话说七类线还双线！

TP-Link的AP，少数性价比比较高的带2.5G口的AP，

无线全2.5G POE吧，有线全万兆，大概是这样的规划。

家具厂发生火灾，延期很久了，估计等我搞起来还得等1，2个月

作者: wyaici1    时间: 2022-4-2 22:20
大佬，闲置硬盘多少出？
作者: firefox234    时间: 2022-4-2 22:34
厉害，这应该算得上是个人发烧友的nas了！羡慕！
作者: oran117    时间: 2022-4-2 22:40
之前也准备把头像里的雷神塔改NAS来着，家里两群晖就是硬盘位不够，雷神塔830最多能装16盘位。
作者: hh5105    时间: 2022-4-2 22:55
钱的味道，好香！
作者: Wilson163abc    时间: 2022-4-2 23:00
mhmddb 发表于 2022-4-2 21:58
为了你那几千块钱的硬盘和无价的数据这800算啥

我选择买成品服务器机箱。。。。
作者: yab8433408    时间: 2022-4-2 23:03
nlnjnj 发表于 2022-4-2 22:18
龙哥还玩键盘吗，我们应该很久以前在哪个客制化群里面聊过

泪流满面，我都退烧快10年，竟然还有人能认出我……实在不好意思，我确实没对上号，您加我的QQ吧…… 说实话，2013年退烧，全身心投入工作，结果现在单位快垮，我还是个最底层的员工，一个月2000多点的工资，回想当年玩硬件的那些快乐的时光……
作者: mhmddb    时间: 2022-4-2 23:07
Wilson163abc 发表于 2022-4-2 23:00
我选择买成品服务器机箱。。。。

主要是没地放
有机柜肯定是4U的舒服。
作者: Wilson163abc    时间: 2022-4-2 23:08
mhmddb 发表于 2022-4-2 23:07
主要是没地放
有机柜肯定是4U的舒服。

有机柜，也搞过机架式
后续看是不是要继续搞
作者: 奔四老汉    时间: 2022-4-2 23:16
这是我等“垃圾党”可以看的帖子吗？
这简直是梦中的机器啊，各项都顶配的感觉
作者: 麥麥    时间: 2022-4-3 00:22
羡慕妒忌恨，买10块18T硬盘心不痛吗？我自己想买18T硬盘都纠结一年多还没下手
作者: feiying1980    时间: 2022-4-3 04:39
不如上个机架式的，轻轻松松24盘位，24小时开机，噪音那么大，即使机箱再漂亮，也只能找个角落放
作者: 各路游走    时间: 2022-4-3 09:01
这么多数据需要上万兆才行，不如速度依然很慢
作者: lo96    时间: 2022-4-3 09:33
dopod2566 发表于 2022-4-2 08:47
这个nas肯定能做到all in one，但是这个盘位是不是少了，这样好的主板，这样的配置，应该多一些盘位。 ...

盘位满了 你想说硬盘插满吧
作者: bsazncyi    时间: 2022-4-3 10:18
请教一下，硬盘盒和主机之间是如何连接的，读取速度如何。
作者: fritz210    时间: 2022-4-3 11:19
想知道类似的多盘位能塞得下Eatx的板子还有那些，手里有一套限制的R6E，弃之可惜，吃灰又有点浪费，正好也有一点存储需求。求大佬推荐一下
作者: lanbba    时间: 2022-4-3 11:58
有点奢侈，7700做nas
作者: nlnjnj    时间: 2022-4-3 12:34
fritz210 发表于 2022-4-3 11:19
想知道类似的多盘位能塞得下Eatx的板子还有那些，手里有一套限制的R6E，弃之可惜，吃灰又有点浪费，正好也 ...

推荐联力或FD define系列吧
作者: lqiuqiu    时间: 2022-4-3 16:22
机箱是好机箱，就是贵，硬盘笼也贵。我是直接追风者PK620接了18块硬盘
作者: hanyou7    时间: 2022-4-3 16:31
yab8433408 发表于 2022-4-2 21:41
好巧不巧，我也是全光驱位，我也是16盘位，不过我全是利旧，朋友半卖半送的抽取架+阵列卡，130买的机箱，服 ...

硬盘盒是装的 还是直接机箱就是这样?
作者: xiaoyu199009    时间: 2022-4-3 17:52
我用的银欣那个硬盘笼子 12G/SAS  6G/SATA兼容那款 五个盘位 新出的 就是硬盘笼后面风扇太吵了
作者: dy2sywnj    时间: 2022-4-3 18:42
收二手硬盘，机箱，电源   整机有优惠
作者: bovey1    时间: 2022-4-3 19:42
brucelee1126 发表于 2022-4-2 14:41
3转5挨太近，3转4理想，一个minisas刚好通4个硬盘，4根8643线顶16根sata线，减少插接环节，提升可靠性，这 ...

对对。这个需要了解一下。sas 线。很好用
作者: 年轻无极限    时间: 2022-4-3 21:45
        这么多硬盘，如果是家用一直接上太浪费电了。
作者: wanfeng304    时间: 2022-4-3 21:59
nlnjnj 发表于 2022-4-2 22:20
TP-Link的AP，少数性价比比较高的带2.5G口的AP，

无线全2.5G POE吧，有线全万兆，大概是这样的规划。

我每个房间留了两根网线，已经买了H3C的AP和AC，这样每个房间可以实现5G的WIFI，无线端已经够了，还想买个至少两个电口万兆口的路由器，最少要PC和NAS能实现万兆互联。
作者: k2.    时间: 2022-4-3 23:06
蹲一个楼主咸鱼号
作者: nlnjnj    时间: 2022-4-3 23:11
wanfeng304 发表于 2022-4-3 21:59
我每个房间留了两根网线，已经买了H3C的AP和AC，这样每个房间可以实现5G的WIFI，无线端已经够了，还想买 ...


如果只是pc和nas，可以用网线互联，万兆路由适合家用的还是比较少的，很多都带风扇，有点吵。
作者: 超逸绝尘    时间: 2022-4-3 23:27
楼主NAS的配置，比我电脑级别要高好几个档次。



欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/) Powered by Discuz! X3.5