本帖最后由 tom9929 于 2025-1-28 17:36 编辑
一些废话
已经记不清这些年因为各种目的各种原因做过多少台存储用服务器了。之前做的NAS基本都是用超微或勤诚的标准机架式服务器机箱产品，4U 24盘位，36盘位搞的比较多。最近一次升级/清洁自己用的NAS大概是2020年，五年前了。上架的NAS即便拿掉所有硬盘拆掉两个冗余电源下架一次也实在是太费劲了，那个重量着实让人望而却步不想折腾啊。
去年突发奇想，在这个CPU性能过剩硬盘容量不断攀高的年月，如果把一个42U机柜的算力/存储/网络全部小型化，感觉将会是一件很有趣的事情。虽然追求小型化，但是仍然希望稳定性尽可能不要输给机架风道和暴力扇。作为一种尝试，这次的旅程就从一台6盘位NAS开始吧。
为什么一定是6盘位呢？因为目前我的NAS分为高性能组和高冗余组两种：
高性能组 - 完全使用U2 NVME SSD。目前来说U2还是需要依靠暴力扇和风道散热的。最近观察了一段时间还没有发现可以完美替代U2的M2方案。所以高性能组可以晚点等PCIE 5.0的M2再多出一点产品之后再考虑小型化，毕竟高性能组NAS里面的数据并没有那么的重要。
高冗余组 - 目前使用的是HGST 2T HDD 4盘组RAID1，共4组16块硬盘，合计8T容量，存储重要文件；HGST 4T HDD 2盘组RAID1，共四组8块硬盘，合计16T容量，存贮媒体类文件。高冗余组对性能无要求，也不考虑RAID5，RAID6等恢复数据需要依赖RAID卡的RAID方式。高冗余组不考虑避免硬盘容量浪费。加上三处异地灾备，目前一份数据实际写在至少16块硬盘上。
这台小型化的NAS使用4块8T容量的硬盘组4盘RAID1、两块16T的硬盘组2盘RAID1，刚好与机柜里超微24盘位的的高冗余组NAS达成相同的RAID模式与实际可用容量。加上这台6盘位NAS，一份数据就有20块硬盘的镜像了。
配置
主板：SuperMicro X11SSH-F
CPU：Intel E3-1260L V5
内存：Samsung 8g*4 ECC DDR4 3200Mhz
RAID卡：LSI RAID SAS 9440-8i
硬盘：WD HA340 8T*2; TOSHIBA MG08 8T*2; TOSHIBA MG09 16T*2
SSD：Samsung 990 Pro 2T (仅系统)
网卡：Mellanox MCX4121
机箱：瀚存见方M（宝藏盒）
风扇：Arctic P12 MAX
啰嗦完了，开始机柜小型化的第一步
SuperMicro X11SSH-F 官图 这片板该有的都有了
主板安装到位。这个机箱原生支持的是标准ATX电源，但电源安装位的尺寸完美适配FLEX。我选择了使用FLEX电源。因为：买都买了（之前买的其他NAS机箱只能用FLEX）。
使用FLEX电源后部可以多一个完美安装的9225风扇，机箱的原设计是通过ATX电源的风扇和侧面机箱的风扇导出CPU散热器的热气流。
前后买了好几款不同品牌的散热器，歪脖子不歪脖子的都有。最后CM这款CPU散热器和硬盘笼的距离最完美。如果不用服务器主板（CPU比较靠后，内存槽在侧面），使用普通主板（内存槽在CPU后面）的话空间其实足够使用双塔散热器。
即便使用标准ATX电源风道距离也会相当充裕。
没有服务器暴力扇的风道，RAID卡会完全挡住网卡的散热。于是给网卡改了外接热管。
这样网卡的散热片会从RAID卡背后伸延申出来。
两个9CM风扇对着RAID卡吹，以保证RAID卡可以长期稳定运行。
通过外挂热管让网卡和RAID卡都能得到有效散热。给RAID卡和网卡散热的两个9CM风扇实际在机箱的最底部，侧面有2个12CM出风风扇。这个机箱的散热布置比较灵活，前、后、上、下、左五个面都有风扇位和对应的出/进风口，可以根据自己的设计随意布置风道。目前我是想做成负压机箱。为了实现硬盘位进风量最大化，这里我实际是封住了下部的进风口。后续根据测试情况再决定下部进风口是继续封住还是打开。
这两个9CM风扇同时为RAID卡，网卡，南桥散热。
安装、理线基本完工。
1260L其实根本不需要这么大的散热器来压。用这么大的散热器完全是为了静音考虑。
除了硬盘笼其余部分全部完工。
这个机箱的设计非常紧凑。有很多东西的尺寸都是“刚刚好”。侧面出风风扇的位置刚好可以用最简单便利的方式设置一个CPU散热器托举支架，避免长时间使用后CPU散热器把主板PCB压变形带来潜在的主板故障风险。CPU散热器托举支架可以很完美的的固定，完全不占用浪费额外的空间。
让我最意外的地方是这个硬盘背板做的相当不错。可能是宝藏盒系列的背板做的都不错。这种背板功能比较简单，没办法和集成了各种扩展芯片、热插拔风扇供电、多状态指示灯、报警器的服务器背板比。但是和其他非服务器机箱对比来说，目前这片背板是我见过做的最好的。
另外一款我买过的背板做的比较好的是X-NAS。X-NAS的优点是直接使用了DELL的硬盘笼以及有10个热插拔盘位。对我来说X-NAS的最大缺点是体积实在是太大了。从绝对体积来说我感觉X-NAS应该已经超过标准4U服务器机箱了。如果不考虑体积并且自己不用机柜的话，其实X-NAS也是很好的选择。但它真的巨大无比，购买时一定要做好心里准备。
这个机箱的可插拔硬盘是由带减震的塑料导轨固定的。
硬盘前部有方便插拔的金属拉手。
在其他盘位内插有硬盘时，拨动拉手硬盘会顺势自动弹出。硬盘拉手是固定在塑料导轨上的，我测试插拔了大概有五六十次，导轨和硬盘拉手的连接处已经有些磨损。所以这个硬盘笼并不适合高频率插拔硬盘。对于我来说这点不是很重要。这台NAS的使用场景是硬盘插入后可能几年都不会被拔出。如果日常需要高频率插拔硬盘的话，我感觉这个硬盘拉手大概率会变得比较松。
导轨每侧有1个定位螺丝孔和2个容差螺丝孔。安装时一定要先固定定位螺丝，之后再固定两颗容差螺丝。正确固定好导轨之后硬盘的插入和拔出都相当的丝滑。
硬盘插入后硬盘导轨和硬盘笼的配合精度非常不错。硬盘导轨上的减震设计可以完美的卡在导轨之内，严丝合缝。
机箱正面预留了多个8CM和12CM风扇安装孔位，可以根据自己的风道设计安装风扇。我没有在正面安装风扇，原因稍后揭晓。
所有的线缆都可以完美的收纳在硬盘笼之下。其他角度几乎是完全看不到的。
不算主板自己带的M2，我测试下来这个机箱最多能支持 9+2 或者 6+8 个盘位。 - 硬盘笼有6个3.5寸盘位。
- 主板下面有安装孔位支持2个2.5寸 7mm 盘位。
- 硬盘笼下面支持3个3.5寸固定盘位；或者2个3.5寸可插拔盘位；或者6个2.5寸固定盘位；或者4个2.5寸可插拔盘位（我测试过这部分空间可以装的下这些硬盘。但这部分的扩展需要根据情况自行购买相应的支架，机箱附件里并没有包含这部分硬盘的安装支架）。
我只用硬盘笼里的6个可插拔盘位就足够了。
如果不使用扩展硬盘位，这里是可以插一张全长过肩显卡的。插了全长显卡之后硬盘笼下方就无法再扩展硬盘位。
我目前的设置是后，上，右出风做负压。效果如何需要进一步测试。
底部2个9CM风扇向上吹，以及电源的热风主要靠侧面2个12CM排出。是否会积热以及散热效果还需要后续测试观察。
所有面板均为超厚铝板，面板做工非常扎实，质感极好。
除了下部，目前机箱后部也做了封闭处理。
硬盘目前还没有安装在这台NAS上面。一个是这台NAS现在还需要进一步验证目前的风道设计。一个是这批硬盘需要插在其他NAS上拷贝完所有数据才会插过来。这样可以把RAID的配置直接带过来，省的再重新完整配置一次。
这台机箱给我最大的惊喜就是让我这个强迫症感到万分舒适的缝隙均匀度和表面平整度。
我买的比这个贵很多的其他铝面板NAS机箱 ，没有一款的接缝比这款做的更好。这箱子的缝隙无论从哪个角度看都让人极度舒适。
选购思路
主板：
如果想要一台7*24开机并且稳定运行数年的NAS，我个人还是认为应该优先选购使用服务器主板，或者工作站主板也行。之前陆续测试了一些国产品牌的销量比较大或者讨论度比较高的所谓NAS专用主板。测试结果不尽人意。之前用惯了超微的主板，所以这次默认选超微。当然其他品牌的服务器主板也没有任何问题。另外还有DELL、HP的那些成品机，哪怕是下线机，也相当可靠，可以考虑使用，只是缺少乐趣。预算有限买大品牌的消费级主板应该也可以，但数据重要追求稳定的话还是建议直接使用服务器主板。X11SSH-F是一片很老的主板，国内已经买不到新的了。于是亚马逊海淘了一片全新带原厂保修的回来，299刀。我明白很多人肯定认为花299刀买一片这么老的C236主板性价比很低，但这事要综合考量。首先这片主板的接口刚好满足我的需求，加上我所有设备几乎都是超微主板，这样方便我可以统一管理IPMI。其次这片主板能用的洋垃圾CPU极端便宜。我买的Intel E3-1260L V5在某宝只要60元一片。虽然CPU几乎很难坏掉，但考虑到电子迁移我从某宝买了3片做备份，合计180元包邮。再次X11SSH-F在某宝有二手，相当便宜，400块包顺丰。我买了一片回来，成色一般般。如果海淘的那片坏了寄回去保修，这片2手的可以立即顶上去，无缝衔接。最后多年用下来我感觉超微的主板还是非常非常可靠的，电源靠谱有UPS基本上可以用到天荒地老。基于以上四点，综合成本和冗余度算下来，299刀的X11SSH-F我感觉是一个非常不错的选择。其实加不了多少钱就可以买到新世代的超微X13、X14系列主板，只是CPU很贵且性能并无质的飞跃，而且更耗电。毕竟NAS并不需要那么强的CPU性能。
内存：
使用服务器主板的另一个好处就是可以使用ECC内存，这样整个系统的稳定性会更好一些。其实REG ECC更好，但是单CPU主板支持的比较少。我这手上这些三星纯ECC内存都是其他服务器的备件，买了很多年一直没有用。虽然NAS对内存容量的依赖度没有那么高，但这些内存放着也没什么用，干脆插满四条内存槽。不管哪种内存，建议最好还是买全新的。如果预算有限要买二手，一定要学会分辨真假。纯ECC DDR4内存假货、翻新货挺多的。购买时一定要谨慎选择。
RAID卡：
LSI RAID SAS 9440-8i是一片不带板载缓存不带板载电池的RAID卡，支持RAID 5和6。由于这台NAS我只用RAID 1所以专门选了这片不带板载缓存和板载电池的卡。没有服务器暴力扇的风道，我比较担心RAID卡这个发热大户散热会有问题。选这片卡的主要原因是它的TDP只有10W，算是RAID卡里面发热比较小的存在了。我寻觅了很久，基本上带原厂保修相对低温的RAID卡这是目前唯一的选择，LSI其他卡最少都要15W起步。另外我有UPS所以不担心掉电问题。如果没有UPS，就不适合买这种卡。没有UPS的话买RAID卡最好还是一并把板载电池买了。
硬盘：
4盘的RIAD 1使用2块WD HA340 8T和2块TOSHIBA MG08 8T；2盘的RAID 1使用2块TOSHIBA MG09 16TB。预算够建议直接上企业级。预算不够哪怕买2手的企业级也行。那些跑了一两万小时的下架企业级硬盘很便宜，再用几万小时也没有问题。不管盘体是否相同，默认那些NAS盘监控盘都是企业级挑剩下的。如果要长期使用，不管新的旧的还是建议一定要上企业级。我这六块硬盘是一块一块每次相隔几周或几个月在不同城市慢慢买的。硬盘尽量不要买同品牌同批次。当年希捷ES2 500G因为希捷自己的固件BUG导致我2个2盘RAID 1阵列四块盘同时坏3块，整个人都崩溃掉。希捷给保修但不保数据。最后还是按照Tom's Hardward论坛老哥的指导用某款NOKIA电话的特殊数据线做了一个固件强刷线刷了修改版固件才把数据救回来。这也是后来只用4盘组RAID 1不再用2盘组RAID 1的核心原因，真的是怕了。这次选择HA340 MG08 MG09其实是同一个理由：不炒豆子。这三个型号其实性能都不是特别好。但是安静，温度低，不炒豆子。特别是WD新出的这个HA 340，我感觉比MG08 MG09还要安静。我希望这个小型化的NAS可以低温且安静，所以混用了这三个型号的硬盘。
机箱：
实际上这次的小型化之旅，最让我头疼的就是这个机箱。从几个月前有小型化机柜的想法开始，到各种配件从618买到双11，双12；从买了一堆国产NAS主板测试，到等待X11SSH-F飘洋过海，几个月以来一直都没有遇到满意的NAS机箱。不管是大品牌小品牌，无论是工作室出品还是私人定制，我几乎把市面上所有能买到的非机架式NAS机箱都买了一遍。并不是说那些机箱不好，只是没有一款完全符合我的需求：1、我希望这个NAS机箱的体积不要太大，在支持6盘位的同时硬盘一定要平放，绝对不要纵置；2、可以插入一张过肩全长的显卡/计算卡。这次组装的这台NAS并不需要显卡，我是打算相同的机箱买几个堆叠以实现机柜的小型化，后面其他功能的主机需要可以插全长的显卡/计算卡；3、机箱的风道和走线设计要灵活合理。满足以上3点的同时最好做工可以好一点，不要有奇怪的BUG。我买过一个销量不错口碑尚可设计紧凑的NAS机箱，结果它原装的L型散热器和我的主板八字不合，距离不够用不了。如果不用它原装的散热器，它的硬盘笼在CPU的正上方，基本就只能用1U服务器的暴力散热器了。很多销量高讨论度高的NAS机箱都是分层设计支持半高卡硬盘纵置的，如果支持全高卡的要么有延长线要么体积和标准ATX机箱差不多。那样还不如直接用服务器机箱。或许是被服务器机箱优秀的风道设计和走线设计惯坏了，买来买去没有遇到一款合适的6盘位NAS机箱。某一天B站推荐了一个新款宝藏盒的机箱视频给我。其实我之前买过宝藏盒，本来打算竖起来用的。但宝藏盒那个分层设计并不支持主板上插全高全长显卡，最后放弃了。研究了一下发现那个宝藏盒新出的叫见方的机箱都已经下架了，新版叫见方M，需要预定。这机箱看着挺符合我的需求，就定了一个。目前用下来这箱子我是相当的满意。
风扇：
主风扇全部采用Arctic P12 MAX。这玩意用下来最大的优点是低速低噪音时风压竟然保持的相当不错。目前我自己用除了暴力扇基本都是用Arctic P12 MAX或者Arctic P8 MAX，相当省心。某宝不管是P12还是P8都有5个装的，价格也便宜。其他还用到一些9cm风扇，9cm风扇的选择比较少，不想用洋垃圾就在某东销量排序有啥用啥。
预告 - 机柜小型化的下一阶段
既然是机柜小型化，那肯定得有“机柜”对吧。但是小型化的机柜应该是不会是放在无尘机房里面的，不然直接上架就行，小型化就没有意义了。
我按照这个机箱的尺寸定制了一个“金属柜”，可以以3*2或者2*2的方式堆叠这个机箱，再加上网络设备的预留位，希望在总体积尽可能小的前提下完成对我42U机柜里所有设备的复刻。目前计划在这个金属柜里部署2套由4*12CM风扇和HEPA滤网组成的进风净化系统。这也是为什么机箱正面没有安装风扇的原因，HEPA过滤后的气流会直接进入NAS机箱的前面板。还有非常棒的一点是，这个机箱的硬盘位是在侧面，打开柜门就可以方便的操作硬盘，完全不用移动机箱和进风风扇组。
目前还在测试阶段，最后会用什么方案还没定下来。
找了些老风扇出来，看看哪种风扇活得久。
有一大堆闲置的乱七八糟的12CM风扇，以后就全当是耗材使用了。
加强型低阻HEPA滤网。
滤网厚度还是不错的。
安装便利。
年后等金属柜到了先初步测试效果看看。后面的小型化工作慢慢来。
慢慢折腾。 | 
310112100042806
发表于 2025-1-27 14:16
