找回密码
 加入我们
搜索
      
查看: 96325|回复: 152

[NAS] NAS中静音与高速的最佳选择!纯SSD版NAS!8盘位u.2热插拔

 火.. [复制链接]
发表于 2022-6-7 04:18 | 显示全部楼层 |阅读模式
本帖最后由 堪堪可闻 于 2022-6-9 21:58 编辑

注册完憋到5积分,终于能发了。(因为这个问题,首发在了小破站 -_- ~怨念~)

>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
2022.06.09更新了游戏PC,NZXT H1 V2加装万兆网卡。
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
以下是正文:

先列个配置:

++++++++++++++++++++++++++++++++++++++++++++++++++++
主板:             超微X11SRM-VF
CPU:             Intel Xeon W-2150B
散热器:         猫头鹰 NH-U12DX i4
内存:             DDR4 REG ECC 32G * 2
电源:             超微PWS-414P-1H
扩展卡:        超微AOC-SLG3-4E4T
硬盘笼:         Intel A2U8X25S3PHS (8x2.5 SATA/SAS/NVMe)
硬盘:             Intel P4510 8T * 4
系统盘:         INNODISK satadom 16G
网卡:             Intel X540-T2
机箱:             银欣SG02B-F
杂项:             机箱内电源延长线及挡板、硬纸板、绝缘胶布等。

后续追加:猫头鹰 140mm风扇2只(哥们送的,感谢Oscar)

++++++++++++++++++++++++++++++++++++++++++++++++++++

这个配置的优点:
1.         8盘位2.5寸热插拔,支持NVMe/U.2(主因)、SAS、SATA混插
2.         每块硬盘独享PCIe 3.0x4速率
3.         通过更换网卡能支援到56Gbps的速率,只要机器不坏,未来从万兆升级40G/56G都没问题。
4.         服务器主板 硬盘笼 数据线,最大程度保障DIY NAS的电气性能和稳定性。
5.         IPMI可以不插显示器键盘,直接通过网络完成NAS的安装及运维管理。
6.         硬盘散热可以做到待机40度左右(室温23度)。
7.         静音,待机1米远38db(风扇满速运行)

这个配置的缺点:
        待机功耗高,4块P4510的情况下待机功耗60W左右,4盘正常工作(非烤机)100W左右。


>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
以下是心路历程:

家里升级万兆后,越发凸显DS414的力不从心(84MB/112MB的上下行),而且容量也已经快满了,于是就想弄一台能跑满万兆的8盘位NAS(疫情期间憋的慌,家里闷两个多月...)。
一开始是从群辉和威联通里挑,没找到合适的,于是就想DIY了,毕竟十多年前就是这么玩的。
既然自己搭,那肯定要弄台上SSD的了,8盘位HDD应该跑不满万兆(另一台8盘HDD NAS在组,主板有问题,等返修回来发)。

SSD大家懂的,家用的8T又贵又没掉电保护,万一掉电不认盘就不是几千块钱的事了,那么能选的也只有企业级SSD了,而正好小黄鱼上在保价格也便宜,不到5毛1G。

确定用企业级SSD后,U.2接口与发热问题也随之而来,一个是用转接卡、转接线还是硬盘笼?另一个是怎么散热?
而且家用么,机器还得尽量小,还得低噪音。
在研究+纠结了十几个晚上后,终于确定用硬盘笼,正好看到J叔发的那个Intel笼子 https://www.chiphell.com/forum.p ... &ordertype=1&page=1 ,于是果断下单。
同时秉持Fanless的宗旨,风扇越少越好,于是就想到了依靠CPU散热器的风扇同时解决硬盘笼散热。
因为8个U.2硬盘每个都跑满速一共需要32个PCIe通道,能选的平台也并不多,最终也是在各个平台纠结之后选择了LGA2066平台,主要是因为X11SRM-VF这张板子,MATX自带4个Oculink口,同时还有1x16,2x8PCIe插槽,这样只需要再买一张4口的转接卡就够了(转接卡也是很贵的0.0)。
确定好平台、主板、笼子后,那就是挑选机箱了,在NAS机箱里,我只要卧式的,于是在不多的可选机箱中挑中了银欣SG02这个看起来最小的。(银欣一流的设计三流的做工,诚不欺我)
银欣的SG02有两个光驱位,正好可以放下硬盘笼,而且双光驱位下面是3.5寸硬盘位,宽度正好可以放下1U电源,鉴于箱子270mm的宽度,那最长应该可以支持到230mm左右。
这样可以将CPU散热器上的电源拿走,形成【硬盘笼=>CPU塔式散热器】的前后风道,同时可支持散热器高度也来到了170mm左右的高度,能支持绝大部分塔式散热器了。(这机箱默认安装方式CPU散热器高度只能到82mm)
玩过超微主板的同学应该会喜欢IPMI吧?我就挺喜欢的,超级方便。
为了支持超微主板的SMB(Power System Management Bus),以便于查看电源功率,同时解决Intel硬盘笼所需的4Pin插头(省一个转接头),我最终选择了超微自家的【PWS-441P-1H】,白金480W+相对静音。

CPU散热器,挑挑选选了一番,算了,不折腾,直接猫家的NH-U12DX i4

上面说了这么多,都是为下面的装机与优化做铺垫。(一个优秀的项目,是个系统工程)

为了尽量让风扇从硬盘笼处抽风,以便给SSD散热,用硬纸板制作风道挡板,扣在散热器两边,以形成正经的前后风道。
实测在去掉机箱盖,有风道挡板+单个120mm原装猫扇全速运行下,23度室温下P4510的待机温度直接升到了68度(后面没敢继续测,估计能到70度,也许能到70多),姑且认为没风经过硬盘笼,如果没有风道挡板也会是这个情况。
在以上情况合上机箱盖后,待机温度降到62度。
用绝缘胶布尽量封住缝隙后,可以从62度降低到60度左右。

经过短暂思考,应当是风扇离硬盘笼太远,风压不够,经过硬盘笼的气流不够。
于是下单2个120mm猫扇,打算做叠装拉近风扇与硬盘笼的距离。

正巧碰上上海解封,Oscar给我带来了意外惊喜,两枚140mm 1200RPM的静音猫扇,回家后立马换上一测,硬盘温度直接降到了42度(室温23-24度)!
自此,SSD NAS的搭建之旅圆满搞成!
再次感谢Oscar!

>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>

系统选择了TrueNAS,这两天买的UPS也到货了,安装后配置也很简单。
UPS配置Tips:
        给装UPS的同学提个醒,检测UPS是否工作请在扒UPS电源前先用upsc ups@localhost检测UPS是否正确运行。(@符号前的ups就是你配置时ups的名字,默认叫ups)

以上,欢迎交流!

1.JPG
双光驱位正好装下硬盘笼


2.JPG
硬盘笼用螺丝拧紧靠摩擦力固定(与硬盘笼之间垫硬纸板)

3.jpeg
左侧风道板,靠近扩展卡侧

4.jpeg
右侧风道板,靠近CPU侧

5.jpeg
单120风扇距离硬盘笼太远了。装4块SSD不需要扩展卡,所以一根线也可以。

6.jpeg
两个140mm猫扇叠叠乐

7.jpeg
双140上机图

8.jpeg
这个距离应该是极限距离了,要做到更大的风压只能换更强的风扇了

9.jpeg
硬盘笼口这边能做到10mm左右处吸餐巾纸

10.jpeg
两根Intel原装线与这个主板和硬盘笼并不匹配,我会错意了,Intel原装线是2弯口+2直口,硬盘笼极限状态能装3弯口(不跳线序)。

11.JPG
硬盘笼上的这种Oculink口得用直线,弯口会被minisas口阻挡



12.JPG
推荐这种直口的,4口一起的比较美观,方便理线

13.jpeg
进风口加防尘网是必须的!

14.jpeg
NAS+UPS叠叠乐

15.jpeg


这样侧着放噪声更小!


>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>

下面是2022.06.09更新

>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>

顺道把PC主机也改造成了万兆,机箱是nzxt h1 v2版(ITX机箱)。

2.jpg 3.jpg 1.jpg

尾部位置刚好可以放下一张卡,通过m.2转PCI-E x16
网线之后换成弯口后机箱便可以装上罩子了。


微信图片_20220609214417.png 4.jpg
读写均能跑满1.1GB/s

评分

参与人数 6邪恶指数 +50 收起 理由
kpchan + 10 666
gaojian520 + 10
ETan + 10 就是NB
dexterchen + 10
mzwhh + 5 就是NB
细雨清风 + 5 就是NB

查看全部评分

 楼主| 发表于 2022-6-7 05:27 | 显示全部楼层

不含硬盘八九千吧
 楼主| 发表于 2022-6-7 14:08 | 显示全部楼层
wenzi2203 发表于 2022-6-7 05:42
那不贵,硬盘笼多少~

我入手一千出头
 楼主| 发表于 2022-6-7 14:09 | 显示全部楼层
xks07 发表于 2022-6-7 07:19
U2硬盘要找功耗低的  
很多U2固态闲置功耗都很高。
盘位一多  很吓人的

不能只看功耗,企业级功耗最低好像也有15w了吧?p4510是20w
 楼主| 发表于 2022-6-7 14:10 | 显示全部楼层
equaliser 发表于 2022-6-7 07:29
感觉这个机箱还是有点大。。

我没找到更小的合适的量产机箱
 楼主| 发表于 2022-6-7 14:13 | 显示全部楼层
lzhdim 发表于 2022-6-7 08:21
机箱太大了。

个人推荐乔思伯的N1。

看过N1这些,N1适合HDD的,但适合的能上万兆+ECC的ITX主板难买
 楼主| 发表于 2022-6-7 14:18 | 显示全部楼层
Juzi丶 发表于 2022-6-7 09:11
全闪好文明,必须支持
整个方案没啥毛病

扩展卡区域加了2个arctic f8,用减速线后固定在1200rpm

家里是万兆电缆网络,x540正好合适罢了,再高的速率暂时还用不上,未来升级40/56会考虑的,感谢推荐

IO出风口加风扇确实是最好的方法,但既然选了这个硬盘笼没办法装,想用电气性能好稳定性好的只有这种服务器用硬盘笼
 楼主| 发表于 2022-6-7 14:21 | 显示全部楼层
满田桑 发表于 2022-6-7 09:47
进风口不建议用这种防尘网,没几天就会被堵死,别问我怎么知道的

有新风,灰尘还好没有那么大。防尘网用吸尘器定期吸一吸就好了,反正自己做的便宜,真堵上了就换一个,总比关机清理主板机箱方便一些
 楼主| 发表于 2022-6-7 14:21 | 显示全部楼层
zmruc 发表于 2022-6-7 11:46
之前用sas ssd的笼子坏过一个盘,15.36t的,从此再也不敢用笼子了

哪家的笼子?温度原因还是电气性能问题?
 楼主| 发表于 2022-6-7 14:24 | 显示全部楼层
T.JOHN 发表于 2022-6-7 11:18
企业级高端u.2额定功耗一般25w,8盘位全速跑200w,和12900k一个级别,没有4000-5000rpm风扇hold不住的 ...

万兆大部分时候跑不满全速的,家用的使用频率更不会了,目前正常使用的状态很好,最高温度只去到过48度(室温23)。
 楼主| 发表于 2022-6-7 14:26 | 显示全部楼层
brucelee1126 发表于 2022-6-7 11:52
桌面全闪1290fx了解一下

7000刀,能配5台我这NAS
 楼主| 发表于 2022-6-7 14:29 | 显示全部楼层
1dayPianist 发表于 2022-6-7 12:53
其实白群8xHDD可以跑满万兆的,RAID6都可以。

当然你要求全程的话,做不到,因为机械硬盘内圈速度很慢。 ...

8盘HDD的过段时间会发,我有配,对我来说用途不太一样。因为主板问题,发回店家去换了。
 楼主| 发表于 2022-6-7 18:28 | 显示全部楼层
jeffreylzhao 发表于 2022-6-7 17:34
现在上海这个天气硬盘温度多少啊,不开空调的话。

机器现在放电视边上,客厅空调时开时不开,没有完全不开的时候,这套系统硬盘待机温度控制在+20度左右吧。也就是室温30度的话,硬盘在50度左右。

16.png
 楼主| 发表于 2022-6-8 02:07 | 显示全部楼层
zmruc 发表于 2022-6-7 21:37
银欣的,估计是温度问题,那个店家给我换新了,另外icydock的sas根本就不能用,也是坑 ...

所以说靠谱的笼子还是很重要的,你这个损失惨重啊
 楼主| 发表于 2022-6-8 02:09 | 显示全部楼层
zxy2001 发表于 2022-6-7 21:36
风道很重要,可以上3000转的猫扇,不过噪音就没法控制了。

目前感觉1200rpm够用了,这两天最高也没超50度,这盘工作温度可以到70度,到70度以上会报警(会记录log),80度停止工作。
 楼主| 发表于 2022-6-8 02:11 | 显示全部楼层
auge 发表于 2022-6-8 00:00
8盘位HDD  我黑群晖raid5  万兆完全可以跑满

RAID5 的HDD超过8T单盘掉一个盘后数据恢复时也会有风险,而且风险不低,因为买硬盘基本都是2个以上同一批买的,如果是寿命问题,那另外同期的盘也存在掉盘风险。我之前日立的4T掉一个盘时同期一起更换的。
 楼主| 发表于 2022-6-8 17:28 | 显示全部楼层
atomhym 发表于 2022-6-8 13:29
楼主实现了我之前想做的方案,后来我嫌太麻烦直接上了成品NVME服务器……

确实比较麻烦,但其实实际安装时间还好,主要是疫情期间为了凑齐东西等各种快递差不多半个多月
 楼主| 发表于 2022-6-8 17:30 | 显示全部楼层
banditsmile 发表于 2022-6-8 13:59
跟着NUC12比怎么样,i9版本的7999

我这是NAS,用的是服务器主板,带ECC的。不是办公用机
 楼主| 发表于 2022-6-9 19:14 | 显示全部楼层
equaliser 发表于 2022-6-9 10:15
全闪NVME NAS现阶段对普通用户也没什么完美的方案

楼主这种的。机箱太大


要想小,得水冷,风冷到这个发热量级别(上cpubenchmark 2万分级别)要么吵要么大。我是搭完至少用七八年的,所以没考虑水冷。
 楼主| 发表于 2022-6-9 19:18 | 显示全部楼层
auge 发表于 2022-6-9 10:57
都会有风险的,这个我认为不应该是等到掉了一个才开始换,企业级硬盘一般都有个大致的寿命,提前换就好了 ...

确该如此,但家用实际使用往往超期服役的居多。选SSD主要是性能和安静,SSD是否会坏掉么纯看脸
 楼主| 发表于 2022-6-9 21:41 | 显示全部楼层

某宝呀,直接根据硬盘笼参数能搜出来
 楼主| 发表于 2022-6-9 21:53 | 显示全部楼层
顺道把PC主机也改造成了万兆,机箱是nzxt h1 v2版(ITX机箱)。

2.jpg 3.jpg 1.jpg

尾部位置刚好可以放下一张卡,通过m.2转PCI-E x16
网线之后换成弯口后机箱便可以装上罩子了。

微信图片_20220609214417.png 4.jpg

读写均能跑满1.1GB/s

 楼主| 发表于 2022-7-13 09:25 | 显示全部楼层
qzwalter 发表于 2022-7-12 18:00
老哥,现在这个板子有啥入手途径么。找了半天好像不是很划算

我是淘宝直接买的,当时两千三百多
 楼主| 发表于 2022-7-13 10:15 | 显示全部楼层
whoxt 发表于 2022-7-13 10:03
ssd组nas是真的奢侈啊,关键是放不了太多内容,实际意义小了点,当然容量这个东西也看个人需求,楼主可能需 ...

我纯SSD NAS是工作+家用,存取小文件+修找照片啥的比HDD的快很多很多。目前只装了4块8T的SSD,所以看起来只有20T少了点,还有4个盘位没装呢。

我还有台8HDD的NAS,也发论坛了。
 楼主| 发表于 2022-7-13 10:18 | 显示全部楼层
myway 发表于 2022-7-13 10:13
发热大户不再是CPU,而是nvme ssd
这个恐怕就没有水冷方案了

2.5寸SSD还好,风扇散热足够用了。未来应该也是E1.S,E3.S之类的接口,散热应该也还行,毕竟可以做风道处理。
 楼主| 发表于 2022-7-13 11:42 | 显示全部楼层
qzwalter 发表于 2022-7-13 11:03
前几天某宝还能搜得到,昨天一个都没有,尬住了

我看了,有的呀,就是涨价了...奇怪,这个怎么还会涨价的
 楼主| 发表于 2022-7-13 11:43 | 显示全部楼层
whoxt 发表于 2022-7-13 10:55
看出来了,你的nas主要是生产力工具。我们是挂pt,哈哈

说起pt,前段时间还有朋友跟我说让我去挂pt,说是浪费带宽可惜,哈哈
 楼主| 发表于 2022-7-13 13:54 | 显示全部楼层
whoxt 发表于 2022-7-13 11:47
要是入坑了pt,你的ssd的容量就不够用了。。。

pt得多大容量起?
 楼主| 发表于 2022-7-13 14:01 | 显示全部楼层
ChanningHe 发表于 2022-7-13 11:54
8盘U2估计小文件都随便跑满10G带宽了。
不过ZFS跑U2太烂了,性能弱还占用高
换到40G/56G你这u也不够了 ...

讲道理这U是足够的跑满56G的,放优化好的系统,上100G这U也足够。
CPU的话,看netflix用2697v3就能跑到100G了,关键不是U,而是整体优化。

我这套系统因为pcie3.0x8的上限就是64G,所以只能到56G。
 楼主| 发表于 2022-7-13 20:14 | 显示全部楼层
本帖最后由 堪堪可闻 于 2022-7-13 20:20 编辑
myway 发表于 2022-7-13 19:11
nvme 比 12g的sas热多多了……风道散热就是风扇噪音,按照2.5寸盘来说,也就是80mm的高度,风扇转速不回 ...


我就是nvme的p4510,做完风道,14cm 1200rpm,ssd 当前47度(室温28度)【SSD P4510 U.2 8T x 4 最高51度/室温28度】
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2025-7-20 12:39 , Processed in 0.347356 second(s), 8 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表