wxcup 发表于 2025-6-16 14:47

迷你主机组NAS系列之ALL IN BOOM魔改记(1)——主机及PCIE拆分篇

本帖最后由 wxcup 于 2025-6-16 17:21 编辑

    年初因工作原因外派到海外,因为家里已经有了一整套白群晖nas系统,所以一直有个想法打算在出租房里搞一套所谓的“轻NAS”系统,就是利用手头已有的硬件和设备,鼓捣出一套成本低(能捡垃圾)、结构灵活(没有外壳)、性能强大(万兆和阵列卡我全都要.jpg)还要省电节能的类似于异地备份的nas系统,正好可以把国内家里nas的数据自动同步备份到本地的“轻NAS”系统中以解思乡之情(本地运营商不让下BT!),于是有了这一系列的魔改笔记[偷笑]

按惯例先上封面图镇楼:


主要需求如下:

[*]因为办公环境和合租房环境所限,很多资源包括宽带和电费都是分摊的,所以要跟所属环境协调一致,不太方便搞出一台“典型的”多盘位NAS主机。
       计划1:迷你主机+外置硬盘笼(柜)方案比传统NAS机箱更合适,而且不显得突兀;


[*]主机性能和万兆网络也有一定要求,毕竟上面要跑很多服务(winServer测试机、黑群、docker等),ALL IN ONE是起码的要求,当然ALL IN BOOM才是最终的追求。
       计划2:万兆网卡和硬件阵列卡要能同时搞定,一举解决网络和存储的瓶颈;


[*]整机还要兼顾节能和数据安全,所以硬盘休眠和硬件阵列卡也是必选项,毕竟不想搞出被室友催问电费账单暴增和阵列损毁以及数据丢失的尴尬问题。
    计划3:数据方面打算分层存储,热数据存在SSD,冷数据存在HDD阵列中,且通过阵列卡的硬盘停转休眠(DimmerSwitch或SpinDown)功能节省电力;


[*]供电方面要求安全可靠,毕竟HDD硬盘对供电要求很高,如果供电有问题,很容易造成硬盘的损坏,同时还要控制整体成本尽量压低电源价格。
      计划4:使用金牌级别以上的服务器拆机电源和取电盒,搞定外置存储设备的供电,既可以降低成本又能保证供电质量。


一、主机篇
首先盯上的就是办公室的这台宏碁ACER迷你主机,1L的体积内配置了8代cpu一颗,双M.2插槽和一个2.5硬盘位,还带一个光驱坞和显卡坞,最神奇的就是具备一条满血16X的pcie插槽。

6个usb3.0,双DP接口,光驱坞里还可以再接两块2.5寸硬盘,简直先天NAS圣体有木有[狂笑]


后来又在库房找到了图右的上上代ACER N6640G,配有intel 7代cpu和Q170芯片组,机箱顶部同样有一条满血PCIE 16X插槽,国内型号应该是C650。
图中为ACER N6660G,带I5-8500T的U和Q370芯片组,同样支持CPU拆分。还有一款N4660G采用H系列芯片组,不支持PCIE拆分功能;
图左为ACER N6670G,采用I5-10400T的U和Q470芯片组,支持CPU拆分但是只能拆分成8x+8x,属于牙膏倒吸了…………
三代CPU同框了属于,正好拿这个7代U的机型练练手,看怎么改装成一套ALL IN BOOM的“轻NAS”主机。

具体配置如下:
Acer N6640G
CPU:Intel I5-7500T
MEM: 32GB*2
HDD: NVME 2TB + 256GB SATA SSD + 1TB HDD(光驱坞)
PCH:Q170(支持CPU拆分)
注:国内型号C650芯片组为H110,不支持CPU拆分

二、PCIE拆分篇
    此主机跟HP、DELL和联想的同类型号最主要的区别就是PCIE插槽为内置外插,相比其他品牌带PCIE扩展的型号均为内置内插,而且基本没有满血16X的插槽,像联想P330tiny等机型,均为8x带宽,改装起来会比较麻烦。

这个完整PCIE 16x插槽给改装提供了无限可能,只要能做PCIE拆分就可以同时接入万兆网卡和阵列卡,满足高性能NAS的最终需求;

冷知识:什么是PCIE拆分?


借用B站UP主“核弹ALIEZ”的一张图片,简单的说就是把一个pcie槽拆成多个,以供多个外设使用;

关于CPU拆分的细节可以参考笔者的另外一个帖子:
HP GEN8万兆+RAID卡双PCIE设备无损改装——低成本CPU自带PCIE拆分方案
https://www.chiphell.com/thread-2582831-1-1.html


Intel 6-9代CPU短接方式如上图,使用铜箔贴纸即可完成;


拆分成功,继续折腾…………

注:国内版ACER C650因为采用了H系列芯片组,无法进行CPU拆分,如需扩展多个PCIE设备可以考虑采用基于PLX芯片的硬件拆分卡,具体内容请参考本系列的第二篇PLX芯片拆分卡

接下来就是要挑选合适的拆分卡了

市面上能找到的几种拆分卡,价格都不贵,毕竟上面没什么重要芯片;


直插效果图,扩展之后占用了不少的体积;


使用了延长线转接和另一款侧插的844拆分卡效果图


8盘位迷你主机轻NAS效果图,瓦楞纸手搓的8盘位硬盘架请忽略,总体感觉还是有点差强人意;
上述配置使用了Pcie延长线+844拆分卡+显卡底座,上面安装了intel x710-da2万兆网卡、DELL H730p硬件阵列卡和INTEL X550-AT2万兆电口网卡;
经过一段时间使用后发现,两卡或者三卡通过拆分卡及pcie延长线的组合在一起并不是非常稳定,可能是因为转接次数过多,偶尔会出现某块卡认不到的问题。

三、网络和存储篇
    在折腾完pcie拆分之后,一个能把万兆网卡和阵列卡整合在一起的想法始终挥之不去,总希望一张卡可以解决NAS圈最大的痛点——万兆网卡和阵列卡不可兼得的问题,于是又开始了进一步的魔改之旅…………

    首先是万兆网卡选择,这部分比较简单,因为有现成OCP网卡可供选择,而且由于大船货的靠岸,目前一块Melllanox的CX4121支持10Gb/25Gb速率的网卡只要几十块钱,搭配服务器拆机的AOC线材,可以直接跑满25Gb/s的带宽,可谓是量大管饱,而且体积也比PCIE版标准半高卡小了不少,选择OCP网卡基本上没啥疑问;

    最后的难点落到了阵列卡的选择,因为之前使用过OCP版的2208 HBA直通卡,所以仍然想找OCP版的硬件阵列卡,可惜并没有类似的产品,不管是华为的SR430C还是广达的3108阵列卡,不是体积太大要么就是功能不全(没有电池或电容不支持缓存),直到在库房中翻出库存的DELL 13/14代服务器内置的H730p系列的mini卡,卡片的体积和配置以及二手市场低廉的价格,让人眼前一亮[恶魔]


DELL H730P标准大卡和H730P MINI卡直观对比,图下方为DELL M630刀片服务器所使用的BLADE阵列卡,散热片更薄且标配电池,可以最大程度上利用卡上的1GB以上缓存缓解RAID5对磁盘的写惩罚问题。


根据官方文档内容, H730P Mini小卡与大卡的性能和功能完全一致,仅有适用的机型、线缆和硬盘背板有所不同,拿来替换标准大卡应该完全可行的。


最终确认的网卡和阵列卡选择对比图,网卡选择了OCP版的万兆网卡,这里以Mellanox MCX4421为例,体积大概缩小了三分之一左右;
阵列卡选择了跟H730P标准卡功能和性能完全一致的MINI版,体积差不多减少了接近50%。该卡目前看是市面上价格zui低(100元左右)、功能zui完整的SAS3108芯片的阵列卡,且支持raid成员硬盘停转休眠(DimmerSwitch),更高型号均取消了此功能,之所以价格如此之低还是因为该卡接口很特殊,无法直接拿来用。

但是此卡想要利用起来的最大的难点是没有标准的pcie接口和SAS总线插座,全部是通过正面和背面两块金属触点和簧片来和主机及硬盘设备进行通讯的,好在通讯协议都是标准的,很容易逆向出原理图,最后在硬件大佬的帮助下终于做出了一块二合一的拆分卡,效果如下图:

图中左侧拆分前半部分为OCP接口部分,带OCP插槽和5V转换电路,同时支持两个12V的风扇;
拆分卡后半部分为PERC MINI阵列卡转接部分,单独设计的金手指区域可将mini阵列卡转接成标准PCIE 8X信号,最终通过本卡将PCIE 16X带宽分为前8x和后8x,适用于8+8和8+4+4拆分,当然4444拆分也是OK的,只不过要浪费两个4x的带宽。


网卡、阵列卡及拆分卡合体之后,会发现体积变为单槽卡,节省了至少一个插槽的空间和拆分卡的体积。
注:价格均为二手平台参考价


电口万兆网卡+H740P Mini 8Gb缓存阵列卡对比图


多卡合一对比图

关于此卡的进一步细节可参考以下帖子:
HP Gen8老骥伏枥之PCIE拆分卡进化终极形态——All in boom卡(万兆阵列一卡通)[已上架]
https://www.chiphell.com/thread-2667029-1-1.html

最后的迷你主机直插效果图:

图左为7代U迷你主机+intel X710万兆网卡+DELL H730p mini阵列卡
图右为8代U迷你主机+intel X550电口万兆网卡+DELL H740p mini阵列卡


魔改初步效果如上图,因为手头没有什么合适的材料,于是用一个半透明的折叠鞋盒做了一个防尘罩,内部用粘贴磁粒的方式磁吸固定在迷你主机外壳上,可以起到一个基本的防护作用,下一步就是搞一个3D打印的外壳,然后考虑把6盘位的2.5寸SATA SSD的硬盘笼集成进去,这样小主机部分全部是固态硬盘,放到工作台上,用于存储热点数据;

    外置硬盘笼部分下一步打算通过两条长度80cm的SAS数据线外放到工作台下方,既可以避免机械硬盘的噪音,又可以单独供电控制硬盘笼的启停,日常使用还可以利用阵列卡的硬盘休眠功能降低功耗。

下一帖会介绍基于PLX8748芯片的拆分卡,以便于那些不支持cpu拆分的主机扩展多种PCIE设备,敬请期待!
附剧透图两张:

PCIE延长线外置效果


直插小主机效果













okko123 发表于 2025-6-16 15:20

很强很暴力的操作

hiigara 发表于 2025-6-16 16:11

屌爆了!!
前排合影!
强贴留名!
实名羡慕
现在只空有折腾的心却没有折腾的力气了[流泪]

xhl0372 发表于 2025-6-16 16:59

迷你主机折腾到这种程度,真不如直接装PC NAS服务器之类的;

大光光 发表于 2025-6-16 17:08

太强了,一直沉迷于各种小主机的pci-e拆分手段,楼主这篇帖子真的叹为观止。

wxcup 发表于 2025-6-16 19:15

hiigara 发表于 2025-6-16 16:11
屌爆了!!
前排合影!
强贴留名!


理解理解,不过已经替大家趟过了雷折腾完了,基本上不需要再花什么力气了;
东西都是现成的,只要挑好网卡和阵列卡,cpu拆分完就可以安装上了[偷笑]

mcrayyu 发表于 2025-6-16 20:10

真~大佬~
页: [1]
查看完整版本: 迷你主机组NAS系列之ALL IN BOOM魔改记(1)——主机及PCIE拆分篇