ITX万兆阵列二合一25G网卡与12G阵列加持的ALL IN BOOM是否是NAS的合理选择？

andy-wsj

这段时间，自己组装一台ALL IN ONE，不说废话，看看怎么搞的：

一、硬件配置
选择的硬件配置是一些山寨硬件，只是想看看效果如果
主板：精粤B550i GAMING
CPU：AMD Ryzen 5 5600GT
内存：精粤DDR4 16G * 2 3200M
硬盘：磊科SSD 512G（之前买的闲置）
CPU风扇：冰蝶XC90-39W/B
机箱：射手座8盘位NAS机箱
电源：逾辉雪妖系列SFX电源500W
机箱风扇：零度世家 风神B12025 * 4
存储硬盘：INTEL 3600 SSD 400G * 4
                 HGST西数氦气盘 HDD 6T * 4
PCIE扩展卡：AIB一卡通，MCX4421A（25G双口）+ H740P（8G缓存），这个AIB卡需要主板支持PCIE拆分或者CPU短接拆分，8+8，8+4+4都可以
配件：SFF8643转4口SATA线 * 2， 模组电源1转4 硬盘电源线一根， 模组电源1转4 大4D电源线一根， 12CM风扇口SSD托架一个。
这配置，除了CPU，满眼山寨货，主打就是便宜。为了省点，NVME盘我都没上。

二、安装配置
1、硬件安装
安装过程很多都没拍照，找到一些，将就看看，装完我才有点后悔，早知道选个黑色机箱跟AIB卡还配一点，就是看到主板是白色的，脑子一热，搞了一套白色的...


这主板，不算二手主板，就是B550i最便宜的ITX了，其他家的额...




电源500W，之前说300W够了，后来想想万一虚标呢，买大一点，适合折腾，加点硬盘啥的不用担心不够


这个AIB卡安装了一片MCX4421A的网卡和H740P，缺点就是必须主板支持PCIE8+8拆分或8+4+4拆分
优点就是一个插槽把万兆和阵列都解决了，据说还能换MCX542B就是咸鱼250左右还有点犹豫。

这个小卡也是AIB系列，入口时SFF8654 8i，实际上那种8i转两路4i的电缆接前面的4i，性能减半也能用，我用PC测试速度也不错。
几乎所有带NVME接口的主板都能接，还有那种PCIE 8转SFF8654的转接板也能接。

正式版PCB加长到齐平阵列卡了，采用了沉金工艺，性能更好一点。


放在一起可以看，长度不同，适应不同安装要求和接口要求

机箱就是配NAS最难搞的部分，看上的买不起，买得起的看不上...
最后挑中这个啥啥的射手座，名字挺拉风，到手就是个铁盒子，能用，美学设计谈不上，真有设计我也买不起...




这散热，这主板，比女朋友的大腿还白...

机箱设计不考虑好，走线永远是个问题

8个盘位，4个大4D电源接口，上面两个一组，下面两个一组，每一组只要插一个就可以的，当然插两个更可靠一点
数据线是SATA接口。

这个卡四个磁吸脚，可以四处放，放底部，这里可能需要加散热风扇

放侧面试试，也行

转顶部也没问题，这里是进风口，完全不用装风扇

进风口安装5片SSD，阵列卡只能拿下去，加一个风扇

装完差不多这样

还有4个3.5存盘位没装，留给这个小的阵列卡，做后续升级配置

方方正正，就是挺能装的...



2、系统安装与基本配置
最开始我是想安装PVE的，但是没玩过，很多坑也不知道在哪。

最大的坑就在显卡直通这里，BIOS，系统配置我也是第一次搞，vBIOS也找厂家的主板BIOS提取出来了，但是一直没搞定。
还有就是增加一个PCIE设备或拆掉一个PCIE设备，管理网卡连不上了，这种问题虽然修改配置也能解决，但是对我这种小白用户确实不是很友好。
最后死机问题没找到，放弃了，转向稍微熟悉一点的EXSI。

安装的是EXSI8，这也是一堆坑。
首先板载的网卡是RTL8125，好了，搞不定，除非去装EXSI6.7还有一个驱动可以玩玩。
但是，男人嘛，总喜欢玩没玩过的，EXSI8就是没玩过的。网卡后面再说。
于是装上AIB卡，用10G AOC电缆接到交换机，完成了EXSI 8的系统按装。管理口在AIB的MCX4421A的其中一个10G光口上。
安装过程没啥好说的。
1、RTL8125配置
安装完成查看PCIE设备。看到RTL8125是灰色不能使用的PCIE设备。按我的想法，只要不是灰色，就能直通给一台虚拟机使用。但是万万没想到，这就是一个大坑等着我跳。

卡都认了，只是EXSI 8给弄了啥变灰色呗，到管理，高级设置搜索ACSCheck，据网上教程说就是这个网卡没有通过ACSCheck，然后就灰色了。




配置好，重启，再看PCIE设备，已经能够识别了。

PCIE能识别支持直通的，理论上就能直通给虚拟机使用，虚拟机内有驱动就可以了嘛。

去EXSI的网卡硬件看，是没有这个接口的：

目前还没有看到比较合适的解决方案，计划把这个网卡直通给OpwenWRT，作为上行端口。

2、MCX4421A配置
这个网卡有两个25G的端口，目前连接是一个口通过10G光纤连接到外部交换机，安装EXSI的时候需要这个网口完成配置，在获得合适的RTL8125驱动之前，后续管理也只能通过这个接口完成。
另一个25G端口通过一根25G光纤直连PC，PC端也使用一篇MCX4421A，这样可以做拷贝数据，可以通过直连端口，可以获得不错的性能。
还有一点，这个25G的端口可以通过SR-IOV虚拟化出8个接口，这样可以直通分配给不同虚拟机使用，相当于不同的虚拟机都能直连到PC端。
值得注意的是：10G管理光口千万不要打开SR-IOV，不然两个口都虚拟化了，RTL8125又没驱动可用，就会很尴尬。


打开第二个口的虚拟化之后，可以看到多了8个虚拟网卡

配置成功之后，弹窗提示需要重启生效。
这样，虚拟机不多的话，每个虚拟机都可以一个25G直通的虚拟网卡了。

3、磁盘与阵列卡部分
磁盘目前安装了4块3.5寸6T的HDD，5片SSD，其中一片SSD直连主板的SATA接口用于安装系统和虚拟机。机箱支持8盘位3.5寸HDD，没有SSD托盘，所以另外加了一个12CM风扇位5盘位的SSD支架。

这个支架跟12CM风扇还挺配的，缺点就是上面那一边也应该配一片小一点的固定一下，好在插上电缆之后，基本没问题

四个SSD是INTEL的3610，400G，组了一个RAID5，合计1T左右。

阵列卡安装了两片，其中一片H740P安装在AIB卡上，另一片H730P通过主板正面的NVMe接口转接，通过8654的4i接口接出来，使用X4接口，速率上会有一些瓶颈，但是接几片HDD绰绰有余了。
目前8个数据盘全部接在H740P上，H730P没接硬盘，看这个机箱，再装4片HDD+4片SSD也能轻松应付。
SSD和HDD之前已经组过两个RAID5阵列，所以这里可以看到两个磁盘，采用的是硬阵列，所有虚拟机内都直接用虚拟单盘，阵列管理全部交给H740P处理。


三、虚拟机安装
1、WinServer2022
直通一个虚拟网卡，安装之后可以看到识别到虚拟的网卡，因为直连PC的25G网卡，自动协商速率是25G。



WinServer2022直通虚拟网卡打流测试
PC端做服务器：

PC做客户端：
单线程：

4线程：


SSD测试



实际拷贝也可以看出来，H740P缓存没满的时候，贼快，2GB+都出来了



H740P缓存满了，剩下就看接啥盘了，要是整几个猛一点的SSD，我感觉很能上来一大截。


H740P有8GB缓存，这也是为啥贵一点的原因了，实际上H730P也能到这速度，但是只有2G缓存，持续一会，还得回到正常阵列的性能上来
好在，这些整列都带独立锂电池，缓存期间掉电，数据还是有一定保障的，毕竟是服务器拆机配件，DELL出品还是比较靠谱。
无论系统多山寨，数据安全很大程度上取决于DELL阵列卡这个硬阵列的能力了，RAID5坏一个盘没问题，同时坏两个的情况，我是从未遇到过。
坏一个盘的情况我之前白裙遇到一次，两个4T组RAID1，坏了一个，新盘到货之前，我都没敢开机。
DELL这Mini系列的阵列卡H330\H730\H730P\H740P还是有很多值得折腾的地方，那些热备系统，磁盘启动顺序，无活动休眠啥的我还没玩到点上。
HDD则都能跑满。也就没什么好测试的了。

2、Ubuntu Server 2024.04
由于是Ubuntu Server，没有桌面，我就用PuTTY (64-bit)连接上去，做了一些直通虚拟网卡的打流测试。

MCX4421A虚拟网卡单线程测试：
UbuntuServer做服务端，PC做客户端，单线程上载测试，峰值接近23Gbps，平均在10~13Gbps跳动，看给的参数不同而不同。

2线程测试：

4线程测试：

16线程：

2线程、4线程、16线程差别不大，都能稳定在23.7G左右，说明25G满速在这个系统或者这套配置，没有达到，但是对于个人NAS，瓶颈很多时候出现在硬盘配置上，而硬盘配置才是NAS成本消耗的大头，投入多少，看到的性能可能完全不一样，网口万兆已经可以满足绝大多数人的需求了，何况20G+的速率。AIB卡在很大程度上打通了NAS内部数据到外部访问的高速通道，内部处理器硬盘访问快没用，外部访问主机快也没用，必须有高速通道，数据的出入才够丝滑顺畅。NAS是网络存储，网络和存储都要兼顾，才是好NAS。

3、fnOS



直通了一路虚拟网卡，并且启动之后能识别出25G速率


磁盘考虑存储影视大文件，从从16T的RAID5分配8T过来：



4、iStoreOS
本来想装一款公版OpenWRT，但是界面确实不甚合意，于是安装了这款iStoreOS，就是一个易用的OpenWRT，主要是作为旁路由方便某些上网操作。易用的系统更适合我这种小白用户。


本来是想直通板载RTL8125给这个OpenWRT系统作为WAN口，但是遇到一个问题就是，只要直通，这个虚拟机就不正常，于是最后不得不放弃，如果那位小伙伴有相关解决办法的，望不吝赐教。

最后WAN口就用了虚拟的10G口，LAN口就是虚拟的25G口，这样PC端通过25G网卡就能登录管理了。


关于旁路由的设置，这里就不多赘述了，网上很多教程。

5、黑裙
这个...额...
男人对玩腻的东西总是不那么上心...咋办呢？

四、后续
1、8个3.5存盘位只用了4个。所以还有可以安装4个。
2、通过主板正面的NVME接口用一个转接板，从8654的4i口转到8i电缆，接了一路H730P整列卡，这个小卡就是AIB系列的Spider，通过磁吸安装，只要是铁材质机箱，可以往任何一个有空间的位置安装，4个磁吸柱子想用手掰下来可不容易，我想Spider因此得名吧。当然也保留了SSD螺丝孔距的安装位置。H730P相对H740P更加经济实惠，如果只是接HDD的硬阵列或直通，五六十块的H730就能胜任。
有坛友问m.2是怎么接的，我就拍了几张给大家看看。

这种转接卡某鱼很多，二三十能拿下，想要的同学自己去搜索一下


注意H330不支持4i，我之前说错了。

就是用一根8654 8i转两路4i的交叉电缆，用第一路4i接上去，第二路4i留空即可。

用8654 8i转接，拆分的可以一次接两个，还有那种PCIEx8转8654 8i的可以一次接一个。

3、核显直通。EXSI也可以做AMD的核显直通。https://www.cnblogs.com/airoot/p/18581729。但是我被PVE的核显搞得有点虚了，暂时先放一下。后续可以直通给飞牛，做视频硬解是不错的选择。
3、功耗。5600GT压不住，BIOS我还没研究明白。不插4片HDD的时候，大约是65W左右晃悠，如果插上HDD阵列，直接飙到90W，好在H740P，H730P这些阵列卡都有硬盘休眠功能，可以设置超过30分钟没活动则进入休眠状态。



用命令行可以调整启动的时候硬盘顺序加电，可以依次启动4块，减少对电源的压力

这个功能再这台NAS上还没测试，但是在其他系统上，已经测试过了。后续找个时间给它安排上。
如果修改BIOS，在降低一点CPU功耗，似乎也能用。实在不行，我换个主板和处理器再来一遍，我还有一个6代I5，功耗应该没这么高，但是需要换块主板，换I5上PVE，虚拟几个显卡出来好像也可以玩玩。
就这样！

andy-wsj

阎孝国 发表于 2025-4-14 01:13
pve一旦pcie设备有改变，网卡顺序就会乱，这是老问题了，其实设置一下网卡的对应关系就行，以后就不会变化 ...

我还想着8.4才放出来几天，应该会好一点，结果更糟
感谢提示，我去B站看看

andy-wsj

阎孝国 发表于 2025-4-14 01:21
还有，如果楼主在esxi8下能用8125b，千万详细说说。
ps，我之前的pve莫名死机最后发现是破键盘自动触发，拔 ...

PVE死机听说都是玄学，我更加搞不定
EXSI这RTL也是没办法，除非第3方修改那个EXSI6.7的驱动，支持EXSI8，我尝试安装，不同版本的EXSI驱动根本就不通用，无法安装，直接报错

1dayPianist

好家伙，主板、系统盘、风扇、电源，甚至机箱都是山寨货...

如果存储盘也是来路不明的，那就更牛逼了。

果然是All in BOOM！

dcl2009

网卡那个几乎无解，因为它必须和USB以及SATA控制器一起直通，还不一定能成，ACS解决不了问题

另外提个建议哈，这块主板貌似支持PCIE16X拆分，记不清了。如果支持拆分，可以几十块钱买个x8x4x4拆分卡，然后网卡换短挡板。

还有5600GT性能过剩，我用的是它的无集显版5500做无头，在BIOS里面限制TDP到22w，实际功耗带一块NVME最高不超过55w，最低17w，性能CPUZ从4800降到3400左右，但是完全够用。

happysun110

阎孝国 发表于 2025-4-14 01:13
pve一旦pcie设备有改变，网卡顺序就会乱，这是老问题了，其实设置一下网卡的对应关系就行，以后就不会变化 ...

看到你说的这个顺序问题了，想起来我之前也被坑过几次。

我就去找 deepseek 问了一下，然后捣鼓了一个脚本出来。

1. #!/bin/bash
   
2. 
   
3. # 检查 root 权限
   
4. if [ "$(id -u)" -ne 0 ]; then
   
5.     echo "请使用 root 用户运行此脚本！" >&2
   
6.     exit 1
   
7. fi
   
8. 
   
9. RULE_FILE="/etc/udev/rules.d/70-persistent-net.rules"
   
10. 
    
11. echo "正在生成基于 MAC 地址的网卡命名规则..."
    
12. echo "# 由脚本自动生成的持久化网卡命名规则（基于MAC地址）" > "$RULE_FILE"
    
13. echo "# 生成时间: $(date)" >> "$RULE_FILE"
    
14. echo "" >> "$RULE_FILE"
    
15. 
    
16. # 遍历所有网络接口
    
17. for DEV in /sys/class/net/*; do
    
18.     INTERFACE=$(basename "$DEV")
    
19.     MAC_FILE="$DEV/address"
    
20. 
    
21.     # 跳过虚拟接口和没有MAC地址的设备
    
22.     [[ "$INTERFACE" == "lo" ]] && continue
    
23.     [[ ! -f "$MAC_FILE" ]] && continue
    
24. 
    
25.     MAC=$(cat "$MAC_FILE" 2>/dev/null)
    
26.     [[ -z "$MAC" ]] && continue
    
27. 
    
28.     # 写入规则（仅使用 MAC 地址）
    
29.     echo "SUBSYSTEM=="net", ACTION=="add", ATTR{address}=="$MAC", NAME="$INTERFACE"" >> "$RULE_FILE"
    
30. done
    
31. 
    
32. # 重新加载 udev 规则
    
33. # udevadm control --reload-rules
    
34. # udevadm trigger
    
35. 
    
36. echo ""
    
37. echo "规则已生成到 $RULE_FILE，内容如下："
    
38. echo "----------------------------------------"
    
39. cat "$RULE_FILE"
    
40. echo "----------------------------------------"
    
41. echo ""
    

复制代码

实测可用。

详细资料看这里：

https://skyao.io/learning-pve/docs/system/fix-nic-name/

鸣谢提醒，总算解决了一个心病。

gaoyi124

这个阵列卡转接的真是太棒了,废物利用了,不过这阵列卡温度确实有点高,注意风道

brucelee1126

玩一玩做些测试可以，用就算了

andy-wsj

dcl2009 发表于 2025-4-14 09:00
网卡那个几乎无解，因为它必须和USB以及SATA控制器一起直通，还不一定能成，ACS解决不了问题

另外提个建议 ...

这个AIB卡就是PCIE拆分的8+8，前面是25G网卡，后面是H740P阵列

andy-wsj

gaoyi124 发表于 2025-4-14 09:08
这个阵列卡转接的真是太棒了,废物利用了,不过这阵列卡温度确实有点高,注意风道 ...

小卡装在机箱进风口可以免风扇，其他位置可以安装主动散热，把一个12V的7CM风扇接到5V风扇输出，低速静音，散热片摸上去比女朋友的手还凉

dcl2009

andy-wsj 发表于 2025-4-14 09:12
这个AIB卡就是PCIE拆分的8+8，前面是25G网卡，后面是H740P阵列

原来如此

这玩意就PCIE16x和直连CPU的M2能直通，其他的直通看心情，有的可以有的不行。

这一套挺好就是飞牛转码有点尴尬，后来我换了两年前买的Q1J2，自带的xe性能很强悍，就是功耗高了20w左右。

andy-wsj

happysun110 发表于 2025-4-14 09:01
看到你说的这个顺序问题了，想起来我之前也被坑过几次。

我就去找 deepseek 问了一下，然后捣鼓了一个脚 ...

我惊叹的是这种问题社区维护者不应该追求新的内核特性，而是解决自动化的配置方式。电影拍美国佬抓贼，抓着歹徒的衣领说“Give me a name！！”，编程开发也是一样的，到用户这里给我一个名字就可以了，我只要网卡确定是ETH0，对应某个PCIE的ID是什么作为用户我根本不关心啊，当然，我没给开发费，没资格bibi~~

andy-wsj

happysun110 发表于 2025-4-14 09:01
看到你说的这个顺序问题了，想起来我之前也被坑过几次。

我就去找 deepseek 问了一下，然后捣鼓了一个脚 ...

太好了，PVE社区维护的应该向你学习！！
后面我找个时间试试看

andy-wsj

dcl2009 发表于 2025-4-14 09:16
原来如此

这玩意就PCIE16x和直连CPU的M2能直通，其他的直通看心情，有的可以有的不行。

那个RTL我后来回过味来了，因为我看BIOS的时候，发现RTL8125这个卡选项有一些USB相关的东西，有点奇怪，你这样说貌似很有道理

andy-wsj

1dayPianist 发表于 2025-4-14 01:57
好家伙，主板、系统盘、风扇、电源，甚至机箱都是山寨货...

如果存储盘也是来路不明的，那就更牛逼了。

ALL不ALL不重要，主打一个BOOM！

wxcup

恭喜入坑！
话说这个万兆阵列二合一的AIB卡跟ITX主板还是真是绝配啊，期待更进一步的分享

VIPER-LF

你好，这个板子有出吗？

雨季不再来

空间许可的话，尽量不要itx主板！玩ALL IN BOOM扩展性太差了。

c2h6o

除去硬盘，整机功耗不低了。

Anderson997

你要说4盘上个itx那是体积小。8盘了matx不是更便宜还多两个通道么？

大头吃小头

为啥会用itx玩aio啊，越玩越觉得应该直接atx，恨不得eatx

jiano

都8盘位Matx机箱了，干嘛还上个itx呢，直接上个matx，扩展不就方便多了。

wxcup

VIPER-LF 发表于 2025-4-14 11:27
你好，这个板子有出吗？

没啥意外的话应该两周之后可以上架，敬请期待

andy-wsj

雨季不再来 发表于 2025-4-14 11:40
空间许可的话，尽量不要itx主板！玩ALL IN BOOM扩展性太差了。

原来是计划个小箱子的，结果这么多东西...
还有，本来还有一片X99主板，心想先装个看看乐子，等我把X99装进去，就是另一个故事，应该比这个好玩

happysun110

andy-wsj 发表于 2025-4-14 09:18
我惊叹的是这种问题社区维护者不应该追求新的内核特性，而是解决自动化的配置方式。电影拍美国佬抓贼，抓 ...

嗯，这种功能我之前在 openwrt 的见识过，我的一个路由器刷了 openwrt 固件之后，网卡的名字就固定为 eth0、eth1之类。

这次我看了一下，功能实现不复杂，只要知道原理了，不管是用脚本自动设置，还是像我前面文章总结的那样先用脚本收集信息，然后手工修改，都不复杂。熟悉之后，几分钟就能设置好。

所以，提供脚本也好，提供文档也好，pve那边的确应该提供某个解决方案给用户。毕竟这个问题挺普遍的。