找回密码
 加入我们
搜索
      
查看: 18097|回复: 241

[NAS] HP Gen8老骥伏枥之PCIE拆分卡进化终极形态——All in boom卡(万兆阵列一卡通)[已上架]

  [复制链接]
发表于 2025-1-22 19:02 | 显示全部楼层 |阅读模式
本帖最后由 wxcup 于 2025-4-12 17:34 编辑

HP Gen8老骥伏枥之PCIE拆分卡进化终极形态——All in Boom卡(万兆阵列一卡通,aka万兆阵列二合一卡,兼容Gen8机型)
10Gb/25Gb NICs & RAID adapter all in one card in PCIE 16x slot via pcie bifurcation(Gen8 compatible)



各位NAS亡命徒和ITX小机箱组NAS的纳友们,你们一直念叨的ALL IN BOOM终于来了
aib.jpg
一张卡集成了万兆网卡和硬件阵列卡,让每一台NAS都变身为没有短板的六边形战士。

itx.jpg
此卡同样适用于支持拆分的ITX主板,如上图自带拆分的Q670 ITX妖板,可以在ALL IN ONE的基础上,直接组建BOOM级别的NAS

背景知识:
想要了解HP MiroServer Gen8服务器短接cpu针脚实现PCIE拆分内容的坛友可以参考前作:
《HP GEN8万兆+RAID卡双PCIE设备无损改装——低成本CPU自带PCIE拆分方案》



以下内容以HP Gen8为例,讲解ALL IN BOOM卡(下称AIB卡)设计及组装过程,如有更好的建议和想法欢迎留贴讨论;

去年年初在gen8上鼓捣出cpu拆分pcie通道8x+8x之后,终于实现了万兆网卡和RAID卡共存的目标,当时看是这个样的:
01.jpg
那会因为条件制约和手头可选用的板卡有限,采用pcie拆分卡+ocp网卡+8654 8i数据线+pcie扩展卡+阵列卡倒装的方式,以叠叠乐的方式把万兆网卡和阵列卡塞到Gen8机箱中;
虽然用着非常稳定,但是一直对这个“双卡傍地走”的方式耿耿于怀,于是考虑怎么把网卡和阵列卡合二为一,后续在硬件大佬的帮助下终于实现,最终的效果图如下:
140.jpg
一张拆分卡从pcie 16x插槽拆分出8x+8x之后,集成了ocp版Mellanox CX4421a双口25Gb光口网卡和DELL H730p Mini 12Gb SAS阵列卡(2GB缓存),总体成本不超过500元;
一张卡可以同时捡两次垃圾,简直是垃圾佬的最爱有木有,当然此All in boom拆分卡同样适用于其他支持拆分的机型,特别是仅有一条pcie插槽的itx主板;


02.jpg
整卡在单槽略超半高基础上,装入gen8机箱后效果如上图,整体上更紧凑,空间上也更节省,剩余的空间足以再挂载4块2.5寸硬盘;

子卡部分:
网卡为OCP通用插槽,适用于多种单双口Intel和Mellanox 10G及25G网卡,二手市场售价大概50元左右,此处不再赘述;
RAID卡部分选用了DELL 13代和14代PowerEdge机架式服务器所使用的PERC阵列卡mini款,主控芯片为SAS3008/3108,具体规格如下:
PERC.jpg
如果要问为什么选这款阵列卡,主要原因就是因为体型非常小巧同时功能跟pcie版大卡完全一致,同样带最大2GB高速缓存,用于断电保存缓存数据的NV存储芯片和电池模块;
目前H730p mini二手市场售价大概150元左右,性价比可谓拉满;

mini_comparison.jpg
上图为mini卡和PCIE标准卡不直观对比,可以看出mini卡尺寸大概只有手掌大小,便于集成到小体积机箱中;

AIB拆分卡设计及组装:
03.jpg
拆分卡分两个部分,靠pcie挡板部分为前半部分,属于ocp网卡接口区域,带12v转5v电路和风扇孔;
后半部分为阵列卡特殊接口,该型号mini卡采用双面金属触点连接方式,接口类型非常少见,花了很多时间进行测量和测试;

04.jpg
随着一缕一缕青烟拂去,真正新鲜出炉的AIB卡就已经焊好了,还热乎的
当然后续成品卡会委托工厂贴片加工,小批量的打样仍然需要手工进行焊接。

050.jpg
网卡、阵列卡还有其他配件备齐,准备开干!

010.jpg
首先安装pcie挡板,这里选择双光口适配的挡板,还有阵列卡接口的背板;

11.jpg
其次焊接3pin风扇座,方便接入标准3针机箱风扇;

06.jpg
安装阵列卡,将卡底部接口位置触点安装到位,背板有定位销确保安装不会错位;

070.jpg
为了避免跟某些电口网卡的元器件冲突,小板pcb的左下角裁剪了一部分做了避让设计;

080.jpg
然后将阵列卡压板锁紧,注意此步骤不要将螺丝拧太紧,保证接触紧固即可;
此处可以看到阵列卡的接口为典型"三明治”结构,为了防止接口部分移位添加了限位螺柱。

09.jpg
最后将OCP网卡安装到位,锁紧固定螺丝即可;

120.jpg
背部网卡风扇安装,适用塑料销钉固定对角即可完成,风扇添加了防尘网,避免被机箱内部线缆所干涉导致风扇停转;

13.jpg
安装阵列卡上部风扇固定螺柱;

zw020.jpg
最后固定5cm阵列卡散热风扇即大功告成!

15.jpg
第一版做好之后发现gen8机箱前面板位置有个凸起的位置,导致主板托盘没办法推到底,后续又缩短了阵列卡与网卡之间的距离。
另外阵列卡的散热片会挡到主板的8087硬盘接口位置,之后不得已又更换了散热片,当然最简单方法就是把碍事的散热鳍片剪掉。

16.jpg
gen8装机合体图,当然也适用于其他支持pcie拆分的itx主机或者nas机箱;

17.jpg
两根8643连接线从机箱后部挡片位置穿出,用于接外置的硬盘笼;

18.jpg
硬盘笼安装示意图,用了两个4盘位的硬盘笼,由图中右上的带数码管的dell服务器电源单独供电;
上部4盘位3.5寸硬盘笼接了4块3TB机械硬盘,下部4盘位为DELL R740xd服务器后置2.5寸原装硬盘笼,可在阵列卡中点亮对应硬盘灯,且硬盘报错时对应硬盘灯会亮琥珀色来告警;

19.png
后续打算弄个内置的4盘位挂架,把主板上的8087端口也利用起来

190.jpg
为了把gen8内置的硬盘笼也接入到阵列卡,又做个8643转8087的双母座;

20.jpg
这下把gen8内置的硬盘笼也接到阵列卡里了

重(叠)要(甲)提(保)醒(护):
1. AIB卡仅用于服务器过保硬件的验证及测试,对于上述阵列卡的适配仅为利用服务器配件进行二次折腾提供一个思路,避免类似洋垃圾污染环境以保护绿色地球。
2. RAID阵列卡等相关技术并非备份手段,是用于保证业务连续性的重要技术之一,重要数据请遵循备份原则及时多地备份。
3. 过保服务器配件缺少相应原厂软硬件技术支持,如需将其用于关键业务或重要环境,请注意其中所包含的潜在风险,包括但不限于数据丢失、硬件失效、软件冲突等。


后续再添加性能测试及软件篇,敬请期待!



[20250223更新]
工厂打板归来,正式版选用了黑色沉金工艺,更显低调大气,为垃圾佬们的不二之选
测试完毕后会上架,请各位大佬们稍安勿躁;

L01.jpg
使用万用表简单测试之后准备进行加电测试;

L02.jpg
加电测试通过,没有发现电气方面的异常;

L03.jpg
网卡和阵列卡及风扇合体,后续的测试数据会另开帖详细展示

L04.jpg
套装合体照及配件全家福

各位看官如有兴趣可在某鱼平台搜索“AIB”或“万兆阵列二合一卡”即可

评分

参与人数 4邪恶指数 +90 收起 理由
林之乎 + 60
醉酒棕熊 + 10
singlermy + 10 就是NB
Anderson997 + 10

查看全部评分

 楼主| 发表于 2025-3-6 18:09 | 显示全部楼层
关于华硕/曙光拆机X550-t2 OCP网卡的补充说明:
因AIB卡为了适配小尺寸机箱的限制,阵列卡和OCP网卡有部分重合,导致某些型号的OCP网卡会有部分原件与阵列卡配件“打架”

x550-01.jpg
黑色PCB版X550网卡,跟AIB卡的黑色更搭配,不过注意银色散热片右侧边缘位置略微超出两个螺丝的连线;

X550-02.jpg
安装的时候发现散热片跟阵列卡SAS接口板边缘位置冲突;

X550-03.jpg
没办法只能祭出锉子大法,把散热片最外侧磨掉大概1.5mm;

X550-t4.jpg
再次安装,完美适配

重要提醒:锉散热片时最好将其取下再进行操作,以免金属碎末落到pcb上导致短路,操作完成后注意及时清理散热器及PCB表面
发表于 2025-3-11 20:28 | 显示全部楼层
本帖最后由 sym 于 2025-3-11 20:35 编辑

刚刚装好,相当极限
IMG_1742.jpg
IMG_1743.jpg
 楼主| 发表于 2025-4-3 12:03 | 显示全部楼层
本帖最后由 wxcup 于 2025-4-5 14:06 编辑

DELL H730p mini转接卡已经在开发中了,预计尺寸只有2.5寸硬盘大小,采用8654-8i接口,可以通过转接线接入M.2插槽

8654to.jpg
单mini阵列转接卡,体积小巧,便于固定在机箱任何位置;

Magnet.jpg

配有磁吸螺丝,可以安装在机箱顶部,布线、理线更方便

 楼主| 发表于 2025-4-11 12:54 | 显示全部楼层
本帖最后由 wxcup 于 2025-4-11 14:39 编辑
lou8888 发表于 2025-4-11 11:04
大佬,想问下上面的4块SSD是怎么固定的


我这个方案比较凑合一点,就是找了个透明的塑料片,目视打了孔固定的,利用了电源侧面的两个比较浅的螺丝孔;
不过外网已经有更优雅的方案了


4ssd-1.jpg
可以弄个薄钢板或者不锈钢板,按上图的规格打孔弯折;

4ssd-2.jpg
当然有更省事的3d打印版本

发表于 2025-1-22 19:55 来自手机 | 显示全部楼层
大神作品,果然牛X,简直是GEN8续命十年啊
发表于 2025-1-22 20:25 | 显示全部楼层
门槛太高了
 楼主| 发表于 2025-1-22 20:53 来自手机 | 显示全部楼层
翰墨留香 发表于 2025-1-22 20:25
门槛太高了

应该不会吧?就是三个卡装一起就完事了,门槛不高啊
发表于 2025-1-22 21:02 | 显示全部楼层
wxcup 发表于 2025-1-22 20:53
应该不会吧?就是三个卡装一起就完事了,门槛不高啊

有成品卡的话自然好说,无非就是插上拧螺丝完事儿,但是看帖子里放恒温焊台上自己安装座子什么的是真玩不来……

不过现在Gen8本身都不值500块了吧
 楼主| 发表于 2025-1-22 21:11 来自手机 | 显示全部楼层
翰墨留香 发表于 2025-1-22 21:02
有成品卡的话自然好说,无非就是插上拧螺丝完事儿,但是看帖子里放恒温焊台上自己安装座子什么的是真玩不 ...

网卡阵列卡都是成品了,连拆分卡马上也会找工厂做好,到手即用的状态。
目前只要是支持拆分的主板都可以用上,不局限于gen8
发表于 2025-1-22 21:13 | 显示全部楼层
好好好 砸掉半颗火星做个壳保护地球 殊不知原来地球也根本不需要保护壳。。。

技术是牛逼的 效果是胡哨的 作用是无卵的。。。支持一下技术部分。。。
发表于 2025-1-22 23:07 | 显示全部楼层
翰墨留香 发表于 2025-1-22 21:02
有成品卡的话自然好说,无非就是插上拧螺丝完事儿,但是看帖子里放恒温焊台上自己安装座子什么的是真玩不 ...

应该介绍只是放一些开发过程的照片给大家看看吧,要是上架啥的,不可能这样提供
发表于 2025-1-22 23:59 | 显示全部楼层
翰墨留香 发表于 2025-1-22 21:02
有成品卡的话自然好说,无非就是插上拧螺丝完事儿,但是看帖子里放恒温焊台上自己安装座子什么的是真玩不 ...

升级1265v2并且带16g内存的二手gen8现在还要一千块
发表于 2025-1-23 00:06 | 显示全部楼层
还是希望能有一个显卡+网卡的混合卡,网卡部分能有一个万兆就行,显卡输出能有两个口无论hdmi还是minidp都行

因为工作需要,我的gen8在做all in one的同时还接着两个显示器兼顾办公
发表于 2025-1-23 00:40 | 显示全部楼层
厉害啊,能不能搞个上显卡的呢
 楼主| 发表于 2025-1-23 08:34 | 显示全部楼层
singlermy 发表于 2025-1-23 00:06
还是希望能有一个显卡+网卡的混合卡,网卡部分能有一个万兆就行,显卡输出能有两个口无论hdmi还是minidp都 ...

我仔细想了一下,如果硬要塞到机箱里的话,只能是两张卡叠叠乐的方式,但是两张卡都需要占用pcie挡片位置,所以这点很难解决。
目前可能的方式就是把显卡外置,用一根8654 8i SLIMSAS的线把主板拆分出来的pcie 8x从pcie挡片位置上方引出,然后网卡使用那个挡片的位置,这样既可以保证万兆网卡的接口正常使用,显卡外置的话散热问题也更容易解决。
发表于 2025-1-23 08:46 | 显示全部楼层
这个散热足够吗?用久了会不会太热,就是网卡和阵列卡都高负荷时。
发表于 2025-1-23 08:46 | 显示全部楼层
没想到Dell的mini阵列卡竟然能被这样利用起来
 楼主| 发表于 2025-1-23 09:04 | 显示全部楼层
redog 发表于 2025-1-23 08:46
这个散热足够吗?用久了会不会太热,就是网卡和阵列卡都高负荷时。

散热完全不用担心,网卡用的是4cm风扇,阵列卡装的是5cm风扇,如果对噪音敏感的话还可以装温控板,已经预留了点位了
发表于 2025-1-23 09:26 | 显示全部楼层
制作多点成品吧,排队买。如果高度能控制在半高范围内,则mini机箱都能用,散热可尝试用热管导热再风扇,减少卡厚度
发表于 2025-1-23 09:26 | 显示全部楼层
翰墨留香 发表于 2025-1-22 21:02
有成品卡的话自然好说,无非就是插上拧螺丝完事儿,但是看帖子里放恒温焊台上自己安装座子什么的是真玩不 ...

看品相吧, 单独主板还能卖个200多
发表于 2025-1-23 09:33 | 显示全部楼层
真特么牛逼。。。
发表于 2025-1-23 09:42 | 显示全部楼层
gen8会不会涨价啊要不要去囤几台哦
发表于 2025-1-23 10:29 | 显示全部楼层
牛B了我的天,目测Gen 10 Plus无福消受。。。
 楼主| 发表于 2025-1-23 10:36 | 显示全部楼层
voandrew 发表于 2025-1-23 10:29
牛B了我的天,目测Gen 10 Plus无福消受。。。

Gen 10 Plus之前研究过,好消息是gen10早期bios版本支持pcie 拆分,不需要短接cpu触点了;
坏消息就是机箱空间太小了,单槽半高不能越肩,基本上很难塞进那么小的空间中去
发表于 2025-1-23 10:44 | 显示全部楼层
lz出成品就买一个


发表于 2025-1-23 10:47 | 显示全部楼层
wxcup 发表于 2025-1-23 10:36
Gen 10 Plus之前研究过,好消息是gen10早期bios版本支持pcie 拆分,不需要短接cpu触点了;
坏消息就是机 ...

是的,这是最大的问题。空间限制太大了
 楼主| 发表于 2025-1-23 10:57 | 显示全部楼层
zgdodo 发表于 2025-1-23 10:44
lz出成品就买一个

感谢捧场
发表于 2025-1-23 11:03 | 显示全部楼层
这不大闷罐
发表于 2025-1-23 11:15 来自手机 | 显示全部楼层
真是及时雨啊,刚想着参考之前短接的方式,结果就升级啦,必须赞一个!
 楼主| 发表于 2025-1-23 11:27 | 显示全部楼层

不会的,整卡就两个风扇,再加上gen8优秀的风道设计,几乎没有积热的情况出现
 楼主| 发表于 2025-1-23 11:28 | 显示全部楼层
画梦之人 发表于 2025-1-23 11:15
真是及时雨啊,刚想着参考之前短接的方式,结果就升级啦,必须赞一个!

感谢支持!
不过该短接还是要短接,只是网卡和阵列卡现在整合成一块了,节省了内部空间而且省去了很多折腾的地方
发表于 2025-1-23 11:28 来自手机 | 显示全部楼层
请问这套新方案还是需要短接CPU针脚吗
 楼主| 发表于 2025-1-23 11:35 | 显示全部楼层
画梦之人 发表于 2025-1-23 11:28
请问这套新方案还是需要短接CPU针脚吗

还是需要的,短接cpu之后才能变成8x+8x的拆分模式,否则插卡的话只能认到网卡
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2025-4-26 09:06 , Processed in 0.019620 second(s), 8 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表