求pci插槽规划

cecini

主板上写着：
2 PCIe 5.0 x16 (16/NA or 8/8), support up to 2 GPU cards(mechanical is up to 1 triple-width GPU card or 2 double-width GPU cards)；就是一个x16（可以拆分），一个x8（形态x16，即只能有8通道但可以插x16设备）两者都用的话就8/8共享带宽
1 PCIe 4.0 x4
有两个基于pcie5的m2。至少一个作为系统盘。

需求：一hba卡 一10g网卡 一显卡
规划：
怎么尽可能最大化利用这些带宽？
显卡就入门显卡 双槽； hba卡要软件raid；网卡光口也可以兼容10g 25g。应该怎么分配插槽？
问题：pcie5槽能用pcie3或者2的设备吗？转接卡/扩展卡在这里有啥建议

我积累得一些信息：hba pcie4 x 8 ； 网卡一般x8； 显卡入门的应该是x8，x4的不多。
我的初步方法1，hba放到一个x8里，显卡一个x8，网卡pcie4.0 x4槽。但有x4的二手网卡吗

续：
pcie 4.0 x4端口的hba卡 有推荐吗： 计划9500-8i，插在x4 槽（主板附近就买2280 m2），因为用了2个6gbps盘和2个12gbps盘，总计吞吐量7.5GB/s,小于4个插槽的带宽8GB/s. 估计这些盘要用至少6年。可以这样使用；本来计划买个支持nvmessd和sas的hba卡，2个u2 nvme ssd（在硬盘笼顶部挂着）8个sas，调研发现lsi trimode的hba 比如9500-16i，9400-16i，不是纯以nvme抽象的设备，看到/dev/sdx 都建议不要用。
x4 端口的10g/25g 电口或spf28的光口网卡有推荐吗：即然x4端口放hba卡了，其他两个x16物理形态的就网卡和显卡了。

续：
开放性问题：
2
利用pcie转两个u2的plx转接卡或者retimer或者redrive，

2.m2转两个u2。就可以利用上2个u2 nvme ssd
pcie 5.0的目前有两个方案 淘宝一家是x4 m2 转x4 mcio 转 8639 还有台湾一家 没有直接m2到u2的线缆

炼金术士

10g走最下面的4.0*4就行
还有没有USB4或者雷电？10g网卡走雷电解决插槽紧张问题

sinopart

帮不到你太多，但4.0 X4的万兆卡是有的，但大多数是光口卡。不少老式万兆卡是3.0X4的电口形式，但一般只有一个电口。
3.0x2大概是16Gbps,理论上3.0X4足够做两个万兆口。
PCIE向下兼容，5.0的接口可以正确识别1.1 2.0 3.0 4.0协议的设备。

cecini

炼金术士 发表于 2024-11-27 07:59
10g走最下面的4.0*4就行
还有没有USB4或者雷电？10g网卡走雷电解决插槽紧张问题 ...

没有usb4 只有usb 3.1 10g 或20g。服务器板 估计不考虑usb4 或者wifi

hzrdog

H13SAE-MF么?

cecini

hzrdog 发表于 2024-11-28 10:35
H13SAE-MF么?

是，本来看好asrockrack但 他家最近板子老有问题

大头吃小头

x8的网卡插到x4插槽里也是兼容的（大部分情况都是兼容的，少部分特殊设计的不兼容）
我的x550 x540都是x8物理槽 都是x4物理带宽的槽位

大头吃小头

一般配置都是显卡x8   网卡 raid卡其实都可以x4 当然x8更好（双口10g x4 3.0速度完全够了 25g的 双口 x4 4.0也是够的  100g才需要x8以上）

cecini

大头吃小头 发表于 2024-11-28 12:35
x8的网卡插到x4插槽里也是兼容的（大部分情况都是兼容的，少部分特殊设计的不兼容）
我的x550 x540都是x8物 ...

这个x4虽然是开放槽，但是尾部还有个在主板上树立的一个螺丝 刚好挡住

大头吃小头

cecini 发表于 2024-11-28 12:53
这个x4虽然是开放槽，但是尾部还有个在主板上树立的一个螺丝 刚好挡住

那买x550t2 这种x4卡就好了 10g双口x4 3.0够用
第一个x8显卡 第二个x8 hba卡

剩下的不行就m2转pcie吧

cecini

cecini 发表于 2024-11-28 12:53
这个x4虽然是开放槽，但是尾部还有个在主板上树立的一个螺丝 刚好挡住

哦 那个螺丝是m2的 可以去掉 但是就是少了一个m2 哦 matx主板取舍真多

cecini

大头吃小头 发表于 2024-11-28 12:58
那买x550t2 这种x4卡就好了 10g双口x4 3.0够用
第一个x8显卡 第二个x8 hba卡

嗯 多谢

aixunxian

cecini 发表于 2024-11-28 12:53
这个x4虽然是开放槽，但是尾部还有个在主板上树立的一个螺丝 刚好挡住

这个螺丝可以往前面挪的，这个是固定M2硬盘的螺丝。你装个2280规格的固态不就把位置让出来了

Theslayer

显卡只是亮机的话插x4就行了，网卡和hba插x8，目前我就是这么干的

cecini

Theslayer 发表于 2024-11-28 13:10
显卡只是亮机的话插x4就行了，网卡和hba插x8，目前我就是这么干的

我现在还在犹豫显卡亮机还是稍微强大点跑ai  亮机就是只作为虚拟机黑苹果用。 要是只插一个强大显卡 ai一般都要在linux下跑ai，要用gpu。就要来回改变显卡直通设置 一会给主机 一会给macos虚拟机。 当然可以放两个独立显卡 ，但空间不够。

cecini

aixunxian 发表于 2024-11-28 13:06
这个螺丝可以往前面挪的，这个是固定M2硬盘的螺丝。你装个2280规格的固态不就把位置让出来了 ...

有空我对对尺寸 谢

hzrdog

cecini 发表于 2024-11-28 12:22
是，本来看好asrockrack但 他家最近板子老有问题

这个板子有一个坑

x16只能拆为x8x8或者x4x4x4x4

不支持x8x4x4或者x4x4x8

应该现在版本的bios还是这个情况

hzrdog

cecini 发表于 2024-11-28 13:14
我现在还在犹豫显卡亮机还是稍微强大点跑ai  亮机就是只作为虚拟机黑苹果用。 要是只插一个强大显卡 ai一 ...

主机不是有核显可以用嘛 真正的纯亮机卡

cecini

hzrdog 发表于 2024-11-28 13:56
主机不是有核显可以用嘛 真正的纯亮机卡

主机有核显，但kvm虚拟机macos需要直通独显才能用macos 我弄黑苹果

hzrdog

cecini 发表于 2024-11-28 12:53
这个x4虽然是开放槽，但是尾部还有个在主板上树立的一个螺丝 刚好挡住

22110的螺丝往前挪到2280

支持x8 不支持x16

cecini

hzrdog 发表于 2024-11-28 13:56
主机不是有核显可以用嘛 真正的纯亮机卡

而amd平台核显不能直通

hzrdog

cecini 发表于 2024-11-28 13:57
主机有核显，但kvm虚拟机macos需要直通独显才能用macos 我弄黑苹果

黑苹果支持得好的GPU那和AI也没啥关系了

真要跑还是考虑再弄一台吧

tmxkkk

m2转pcie或者，m2延长线转pcie，显卡x16跑满，散热还好

cecini

hzrdog 发表于 2024-11-28 14:01
黑苹果支持得好的GPU那和AI也没啥关系了

真要跑还是考虑再弄一台吧

初步这么考虑的 这机器要弄就是个点亮的 但要求能跑个小模型 调研那个amd rocm 目前最新支持amd rx7900 这个太新了。rx 6600 xt，甚至rx 5000好像也可以 就是要折腾。这机器定位就是长开机，nas和虚拟化  兼顾开发。计划中下一阶段弄个xeon/eypc，

cecini

hzrdog 发表于 2024-11-28 13:58
22110的螺丝往前挪到2280

支持x8 不支持x16

2280基本都是消费ssd吧

hzrdog

cecini 发表于 2024-11-28 17:02
2280基本都是消费ssd吧

我一般都接U.2 不过这个版型用转接板也有点干涉

话说回来 AMD这个桌面芯片组扩展性是真的拉跨 几块板卡需要东凑西凑的 还不如X570时代

和Intel也完全没法比 同代都能做到 双x16+双x4+3x M.2

cecini

hzrdog 发表于 2024-11-28 17:12
我一般都接U.2 不过这个版型用转接板也有点干涉

话说回来 AMD这个桌面芯片组扩展性是真的拉跨 几块板卡 ...

在am5 b650平台看servethehome论坛评论这个相对是pci 布局最好的一个matx板了 我其实最纠结的是用的机箱cs381 装上左侧风扇会影响pci插槽 第一次玩 能用就行

cecini

这个h13sae定位轻量级服务器但又提供很多usb 音频 mic 好像有工作站定位味道

hzrdog

cecini 发表于 2024-11-28 17:40
在am5 b650平台看servethehome论坛评论这个相对是pci 布局最好的一个matx板了 我其实最纠结的是用的机箱c ...

B650这些带IPMI的板子里肯定是选这个 除了17楼说的那个问题 没啥硬伤 一个bios更新也可以解决 就看smci愿不愿意了

如果要上GPU 我还是会选正常4U 5U的箱子 空插槽有时候也是挺有用的

smci自己配套的工作站箱子或者silverstone也有不少不错的，smci的SAS backplane可能也更靠谱一些

不是限定AU或者需要上超多大核的话，也可以看看X13SAE-F，毕竟你用kvm，小核也不是必须屏蔽掉

cecini

hzrdog 发表于 2024-11-28 18:30
B650这些带IPMI的板子里肯定是选这个 除了17楼说的那个问题 没啥硬伤 一个bios更新也可以解决 就看smci愿 ...

那我这个选择不错啊
下一步就计划买个超微7049箱子 主板加多核的qs cpu，ai gpu。初步是epyc三代es或者exon 4代。估计得多半年以后了吧