找回密码
 加入我们
搜索
      
查看: 3984|回复: 54

[存储] 至多80盘NVME 5卡4090 博通PEX88096 PCIE4.0 AIC扩展卡开箱

[复制链接]
发表于 2025-4-1 14:30 | 显示全部楼层 |阅读模式
本帖最后由 aixunxian 于 2025-4-1 17:21 编辑

随着现在个人PC日益增长的存储需求和近年火热的AI热度不断上升,你是否在纠结自己的主板M.2插槽已满,或者为了插多张显卡跑AI从而不得不购买昂贵的EPYC平台呢?今天开箱的这一扩展卡就可以很好的解决这个问题。今天开箱的这块扩展卡,板载了一颗博通生产的PEX88096 GEN4 switch芯片。这颗芯片现在隶属于博通旗下的PEX switch家族,可能很多人还搞不清楚博通,plx,安华高这几个的关系。今天趁这个机会来科普一下,一句话说就是安华高在2014年先收购了PLX公司(就是那个大名鼎鼎的plx),随后又在2015年收购了博通,收购后成立的公司依然使用博通来作为名字。可以说现在的安华高就是博通,博通就是安华高。

言归正传,今天这张PEX88096扩展卡,是作者KCORES_OldMonster在立创开源广场发布的开源作品,开源地址是PEX88096-PCIE4-Switch-GPU底板套件。作者也有基于GEN3 PLX芯片的PEX8796、PEX8748等作品欢迎大家前往查看,开源项目理论上不存在特定店铺或者销售,你可以自己下载生产文件来制板贴片或者等海鲜有感兴趣的商家看上生产出来卖。

实物展示
先放一张二世同堂的合照,上面那张白色的是基于GEN3的PEX8796芯片,而下面这张紫色的则是基于GEN4的PEX88096芯片,话说嘉立创这个紫色调的感觉非常怪异,蓝不蓝,红不红的。这张扩展卡最多可以连接20块X4速率的固态硬盘,或者5张X16速率的网卡、显卡等设备(五张5090干上去^_^)。如果配置为X1模式则至多可以连接多达80个PCIE设备(没看错88000系列的交换机芯片可以被配置为X1模式)
QQ截图20250401135249.jpg

白:PEX8796(GEN3)

紫:PEX88996(GEN4)

1.jpg

正面图

2.jpg

背面图

14.jpg

卸下散热器的马甲,就能看到这张switch扩展卡的本体,博通的PEX88096。可以看到核心封装非常大,这里拿了一只上古时期出土的intel I72700K作为对比就能看出差距了,钢壳硕大。

3.jpg

撬开钢壳的“天灵盖”可以看到内部的晶体大约只有拇指这么大(偷偷从群友那里偷来的图)
4.jpg
博通的PEX88096芯片是一颗支持PCIE4.0同时向下兼容PCIE3.0、2.0、1.1标准的PCIE交换芯片内部共有98条PCIE LANE。其中有两条为管理用途的x1通道,此作中并未引出。故此作品可以使用的PCIE通道一共有96条,16条作为扩展卡的上游和主机连接,其余80条通过板载的10个SFF-86548I母座引出,余下的80条通道分布在5个station内每个station包含16个LANE,其中每条LANE均可以自由分配为X1 X2 X4 X8 X16等配置。
  连接方法
一·连接M.2固态硬盘(AIC卡→8654 8I数据线→8654转M.2硬盘盒):

5.jpg

二·连接到U.2固态硬盘(AIC卡→8654 8I转2x8639数据线→U.2固态硬盘):
6.jpg
三·连接其他PCIE接口设备(AIC卡→8654 8I数据线→8654转PCIE底板):
7.jpg
上机实测

把扩展卡插上我的X570上,通电,揩机。并不需要安装驱动,在设备管理器中已经识别到这张扩展卡了,可以看到里面一大串的PCIE交换机下游端口,具体数量和你设置的拆分有关。
设备管理器.png
把拆分设置为X16,挂上祖传的3090上去
8.jpg
打开HWinfo,展开总线这栏,可以看到已经能正确识别到下游挂载的3090显卡了
3090 HWInfo.png
跑个3DMARK试试,先跑个PCIE带宽测试,基本上和直插成绩一致
9.jpg
再跑个Time Spy,好像也没啥区别,分数也是3090的分数
10.jpg
再换张CX6网卡上去,同样可以正确识别到网卡,顺便跑了下网卡自带的PCIE信号测试程序,测试平台使用的CPU为AMD 5950X,主板是华硕的X570 C8DH在CPU直出插槽连接扩展卡,扩展卡使用75CM长安费诺8654 8I连接线连接至PCIE底板,底板上插入CX653106A-HDAT 200G网卡,可以看到有几个LANE信号评分有下降,但是仍然能比官方文档中给出的GEN4信号门限高出不少。
11.jpg
pass.png
将端口切换为X4模式,连接上一块海力士PC801,能看到可以正确协商出gen4的速率:
PC801.png
跑个CDM,顺序读写方面和直连差不多4KQ1T1写不知道是AMD的毛病还是别的问题我这台电脑插在直连的M2口上也是跑了200多一些的样子。仅供参考
12.jpg
最后验证下在比较老的平台上扩展,使用一张华南金牌的寨板,南桥应该是Q77的。搭载E3-1240 V2的老古董平台。使用南桥出来的PCIE2.0 X1插槽连接PEX88096扩展卡,可以看到依旧能正常使用。相信能买这张卡的应该也不会用在更老的平台上了吧。
Q77.jpg

功耗
我知道有人肯定非常关心这个,但是我要给省电怪浇点凉水了。这个PEX88096扩展卡较上一代PEX8796的功耗又提升了不少,根据博通官方的文档来看,在半载,结温75度时,平均功耗可以达到35W,如果散热不好功耗会更高,所以在使用过程中务必需要注意好散热问题。一个小风扇基本是必不可少的。
功耗.png
拆分设置
因为88000系列的交换芯片已经去除电平配置的方法来设置通道拆分,拆分配置写入到SBR固件配置中,所以需要调整通道拆分需要使用博通的SDK软件来对SBR固件读写,通常你从商家手里买到时商家已经帮你做好这一步了(全部X4,全部X16等)。但是如果你需要一个比较脑洞大开的拆分模式,比如其中一个Station内前8个LANE拆分成X4+X4,后8个配置为X8。那么通常就需要自己来配置了。

下载安装完毕后授权好运行PDE,按照下图步骤进行操作,开始偏移量填入400,块大小那里填入B30,点击ReadFlish读取当前flash,然后点击Save保存当前的SBR固件。

save步骤.png

保存好后建议再复制一份到其他盘内以免丢失,然后点击左上角File→Open File 打开刚才保存的SBR固件,弹出的界面中选择使用C010打开。打开后选择soc settings选项卡。点开前面三个加号。
C010.png
soc settings.png
展开.png
可以看到里面有非常多的选项,参考作者给出的表格填入相关参数即可,作者已经帮我们进制换算好了,直接填就行。
9f5e7214587849b9aeee5947e627e5b7.jpg
对于本作来讲使用了一整个Station 0的全部16条通道作为上游,所以STRAP_STN0_PORTCFG 里面的所有值均为0不能调整。我们可以调节的是Station1-Station5的拆分。也就是STRAP_STN1_PORTCFG到STRAP_STN5_PORTCFG的选项。每个Station通过Q0、Q1、Q2、Q3四个选项来定义拆分。相关Station的分布见下图:
13.jpg
栗子一:把Station1的通道配置成x4+x4+x1+x1+x1+x1查阅上表可知X4为1,X1为4;那么我们就在SDK中依次填入,看清楚再填不要改到STN2那去了。
STN1.png
栗子二:把Station4的通道配置成x8+x4+x4查阅上表可知X8为7,X4为1;那么我们在SDK中依次填入
stn4.png
调整完毕后点击软件左上角的小软盘图标保存,然后在回到前面读取FLASH的页面中按下面步骤操作。
写入.png
关于价格

目前还没有看到有商家做出来卖,不过按照我自己生产的物料成本来看,整套板子下来目测不会低于四位数,便宜也只是相对于之前动辄7-8K上万的价格来说的。PEX88096芯片目前并没有停产,博通依旧还在供货。对于这样一款未退市的芯片来说并无可能太便宜。另外全新的芯片是非常昂贵的,我们能买到的基本都是拆机的。
结尾

一不小心又写了这么多字,估计没几个人有耐心看完的吧。如果你看到这那非常感谢你。综合来看,这块PEX88096扩展卡更为适合AI推理,SSD全闪存储等场景使用,当然前提是你舍得花一千多大洋买这块卡还得再配上8654的数据线和相应的转接底板才能玩起来,如果你的预算没有这么充足那么并不建议你够买它。最后再次感谢作者KCORES_OldMonster 搞出这么有意思的作品。希望能早日玩上GEN5的交换芯片。









评分

参与人数 4邪恶指数 +36 收起 理由
醉酒棕熊 + 10
猪圈 + 10
bxhomd + 6 就是NB
LambdaDelta + 10 就是NB

查看全部评分

发表于 2025-4-1 14:43 | 显示全部楼层
好奇,如果想全部配置为x1,去连接硬盘的话,该用怎样的8654转接板? 看到一般的转接板都是一个8654转两个m2盘位(默认应该都是跑x4速率)
发表于 2025-4-1 14:46 | 显示全部楼层
让我对80048信心大增,本人计划用两个80048扩展16个u.2,39com家的卡可以切换x4 x8 x16
 楼主| 发表于 2025-4-1 14:52 | 显示全部楼层
hen8899 发表于 2025-4-1 14:43
好奇,如果想全部配置为x1,去连接硬盘的话,该用怎样的8654转接板? 看到一般的转接板都是一个8654转两个m ...

类似PCIEX1转M2的那种卡,不过8654转8M.2的卡目前没商家生产。需求量大的话应该有商家做。应该不会真有人拿来插80块M.2的吧
发表于 2025-4-1 14:59 来自手机 | 显示全部楼层
有半高版本嘛?
 楼主| 发表于 2025-4-1 15:06 | 显示全部楼层
brucelee1126 发表于 2025-4-1 14:46
让我对80048信心大增,本人计划用两个80048扩展16个u.2,39com家的卡可以切换x4 x8 x16 ...

48还不如96,物料成本上来说现在88048的芯片卖得比88096还贵
发表于 2025-4-1 15:18 来自手机 | 显示全部楼层
aixunxian 发表于 2025-4-1 15:06
48还不如96,物料成本上来说现在88048的芯片卖得比88096还贵

我肯定是市场上有啥我买啥,市场上就有80048转4个8654 8i,我觉得一条x16上挤8个硬盘我还能接受,至于物料成本什么的,这种因素对消费者来说很多时候也了解不到,消费者能了解到的就是同类对比找个价格合适的,最好还有使用案例的,不至于盲买试错
发表于 2025-4-1 15:27 | 显示全部楼层
brucelee1126 发表于 2025-4-1 15:18
我肯定是市场上有啥我买啥,市场上就有80048转4个8654 8i,我觉得一条x16上挤8个硬盘我还能接受,至于物 ...

因为市面上88048芯片数量太低,导致88048价格过高,比88096价格还贵。所以导致商家量产出来的PCIE转8654 88048和PCIE转8654 88096价格基本一样。这样能听明白了吗?88048转4个8654 价格要1000多,这个88096转10个 8654 价格也1000多。
发表于 2025-4-1 15:30 | 显示全部楼层
brucelee1126 发表于 2025-4-1 15:18
我肯定是市场上有啥我买啥,市场上就有80048转4个8654 8i,我觉得一条x16上挤8个硬盘我还能接受,至于物 ...

买什么,其实只要考虑这几个点。
1.不买成品,自己设计,这种无脑选88096
2.自己没能力,只能买成品,不在乎半高,这种无脑选88096
3.自己没能力,只能买成品,只能用半高,这个没办法只能88048,88096没办法做成半高。
发表于 2025-4-1 15:34 | 显示全部楼层
oldmonster 发表于 2025-4-1 15:27
因为市面上88048芯片数量太低,导致88048价格过高,比88096价格还贵。所以导致商家量产出来的PCIE转8654  ...

你买东西这么买的吗,同样的价格,买口更多的,实际情况是口更多也是挤一条x16,对扩充容量有贡献,对速度无贡献,带来的负面影响就是没有半高,装不进2u空间
发表于 2025-4-1 15:52 | 显示全部楼层
好像已经有专门的PCI e交换机。。。

这玩意最大的问题是线太多了。。。

手头还有个dell 22 m.2 pcie3.0的老库存,目前没便宜8t m.2,不然更新个pcie 4.0版本直接装简洁多了。。
发表于 2025-4-1 15:54 | 显示全部楼层
brucelee1126 发表于 2025-4-1 15:34
你买东西这么买的吗,同样的价格,买口更多的,实际情况是口更多也是挤一条x16,对扩充容量有贡献,对速度 ...

如果我不在乎尺寸,我当然是买更高级的,你管它挤不挤,我可以降级用。H610和Z790一样价格,你会买H610吗?正常人都是我这个逻辑吧,我还是显得太正常,没办法理解你的逻辑。如果你尺寸限制,那没办法。
发表于 2025-4-1 15:55 | 显示全部楼层
88096恐怖的功耗,而且很多参数都只能通过定制固件实现。
发表于 2025-4-1 16:03 来自手机 | 显示全部楼层
shadoweyre 发表于 2025-4-1 15:52
好像已经有专门的PCI e交换机。。。

这玩意最大的问题是线太多了。。。

美亚sn850x 8t算关税到手4500
发表于 2025-4-1 16:05 | 显示全部楼层
本帖最后由 mdk2000 于 2025-4-1 16:07 编辑

出的太晚了,22年左右出还好,卡+线估计就3000了

普通pc+这卡功耗赶上epyc了

现在有这种需求的直接上epyc,还有就是固态硬盘价格贵了......

生不逢时
发表于 2025-4-1 16:05 | 显示全部楼层
StevenG 发表于 2025-4-1 16:03
美亚sn850x 8t算关税到手4500


我知道啊,22*4500就10W了,毫无性价比,所以存着,等8T能1k多(参照sn640 7.68T的1600),就能起飞了。。。
发表于 2025-4-1 16:11 | 显示全部楼层
本帖最后由 mdk2000 于 2025-4-1 16:13 编辑
shadoweyre 发表于 2025-4-1 16:05
我知道啊,22*4500就10W了,毫无性价比,所以存着,等8T能1k多(参照sn640 7.68T的1600),就能起飞了。 ...


主要还是固态硬盘涨疯了

2年前卡要1万,接满盘要10万
现在卡只要1千,但是盘要20万

我自己很少买盘了,都在出盘
发表于 2025-4-1 16:17 来自手机 | 显示全部楼层
shadoweyre 发表于 2025-4-1 16:05
我知道啊,22*4500就10W了,毫无性价比,所以存着,等8T能1k多(参照sn640 7.68T的1600),就能起飞了。 ...

那得等ai泡沫破了的时候了。。。换个思路,一定要22/24块满盘位嘛,冷热数据分离一下呗,常用的放高速固态,不常用的扔机械硬盘里
发表于 2025-4-1 16:18 | 显示全部楼层
这个做成背板可能更好玩,不然线都把机箱塞满了恐怕
发表于 2025-4-1 16:21 | 显示全部楼层
这个现在能做到多少价格了?
发表于 2025-4-1 16:23 | 显示全部楼层
Illidan2004 发表于 2025-4-1 16:21
这个现在能做到多少价格了?

1500 还没开卖,过几天闲鱼见,报我名
发表于 2025-4-1 16:27 | 显示全部楼层
oldmonster 发表于 2025-4-1 16:23
1500 还没开卖,过几天闲鱼见,报我名

卧槽  1500就能拿下了?
之前我还买了一张1680的 只有88048
发表于 2025-4-1 16:31 | 显示全部楼层
Illidan2004 发表于 2025-4-1 16:27
卧槽  1500就能拿下了?
之前我还买了一张1680的 只有88048

88048现在芯片就比88096贵,很魔幻是吧。芯片贵一点,但是88096外围物料贵一点,所以做成成品这2个确实差不多价格。
发表于 2025-4-1 16:35 | 显示全部楼层
oldmonster 发表于 2025-4-1 16:31
88048现在芯片就比88096贵,很魔幻是吧。芯片贵一点,但是88096外围物料贵一点,所以做成成品这2个确实差 ...

嗯 88048小一点 可以半高用。
88096扩展就强多了,什么AMD芯片组垃圾都不是事了。
而且这个帖子看,模式也可以自己改。
发表于 2025-4-1 16:48 | 显示全部楼层
StevenG 发表于 2025-4-1 16:17
那得等ai泡沫破了的时候了。。。换个思路,一定要22/24块满盘位嘛,冷热数据分离一下呗,常用的放高速固 ...

这玩意最大的好处就是插板子上线少。。。
发表于 2025-4-1 16:51 | 显示全部楼层
看不懂,高深莫测。学习中
发表于 2025-4-1 17:07 来自手机 | 显示全部楼层
我看做pex88048的已经研发出来跳线还是开关式控制通道拆分的方案了,要是能这个能做出来那真不错,88096和88048价格感觉已经下来了啊,去年看还是大几千
发表于 2025-4-1 17:11 | 显示全部楼层
问一下,这卡是不是就是负责拆分功能?
 楼主| 发表于 2025-4-1 17:16 | 显示全部楼层
yubeii 发表于 2025-4-1 17:11
问一下,这卡是不是就是负责拆分功能?

有拆分的功能,更主要的是扩展。类似网络交换机一样
发表于 2025-4-1 17:19 | 显示全部楼层
本帖最后由 welsmann 于 2025-4-1 17:27 编辑

有种预感,感觉过两年可能会见到pex89144的板子。

估计是一堆mcio接口而不是8654堆叠

89144这一代好像还有集成 arm soc /dma这些特性

然而pcie5.0不是闹着玩的,估计想跑出漂亮的眼图可能还是有点门槛的,不管怎么说还是蹲一波做成那个类似于itx大小的8796扩展板子。两个8654进来,一堆x16的槽直接插上

去,接个独立电源,c口同步启动,额外设置一个pcie扩展箱,我搞了一个,直接堆在原来的机箱上面,想怎么插卡就怎么插卡,电源不用引出,正如上文所述,这种layout有个缺

点就是8654线要接的太多了,一个设备两个8654+一个延长板+若干电源线,哎.......

只有带着sw芯片一起外延用整板扩展才是更优雅的方案
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2025-4-26 13:51 , Processed in 0.017427 second(s), 7 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表