5090双卡测试

tang3210

托家里人背了两张90公版，下周末装一台5090双卡的机器，感觉未来几年的AI研究和开发都没啥问题了

翻了一圈也没找到关于5090多卡测试的帖子，尤其是5090D多卡限制的帖子

几个想法：
1、pcie 5.0 *8下的互联带宽对于训练&推理的影响 想看看两个卡数据交互延迟，以及使用direct storage直接从ssd拿模型参数做推理的可能性？
2、手动优化shared memory后性能的提升幅度？这多卡之间是否可以实时同步shared memory，如果可以同步就有意思了。
3、两张卡估计一张会降压超频控制在500w左右，另一张锁功耗400w 看看在中塔内的散热情况
4、特别想找一张5090 D ， 在测完上面的5090 双卡后更换上90D看看是否有差异，如果两张卡都被识别为正常的pcie设备，那多卡性能的瓶颈应该不在算力而在交换延迟上。这块还请大家给出测试建议。手头还有一张4090D 24G，如果把它作为副卡，5090+4090应该也可以跑70B的模型了
知乎好像有个多卡的帖子，这个就不测了。




欢迎讨论，有什么想测试的项目或者想法
到时候测试结果都整合在该贴

Evalyn

64g跑70b应该没问题了吧。看看能不能比内存跑ds推理快，估计pcie5带宽够呛

tang3210

Evalyn 发表于 2025-3-10 00:08
64g跑70b应该没问题了吧。看看能不能比内存跑ds推理快，估计pcie5带宽够呛

看知乎那个帖子，好像5090+4080就可以跑，推理本身不怎么吃带宽

a010301208

8卡也就5美元1小时，AI需求先去测试，别买回去一堆不兼容

manwomans

期待楼主测试结果
我就想看看90和90d到底啥区别

wjm47196

听朋友说50系训练一堆毛病啊。。。

tator

实名羡慕
FE双卡的话，上面的卡是要吃满下面的热风了，比较关心主卡的散热情况

amazinghit

实名羡慕楼主，一张都买不到的路过

beckcppes

羡慕楼主大佬

OldSchoolJay

大佬啊！真·生产力工具

秦南瓜

期待楼主测试贴

moresun23

还研究个啥，让AI研究AI

snowgundam

如果纯就性价比来说，买两块4090 48GB版本应该更加划算吧....

nekotheo

托家里人背了两张90公版

家里人不会姓黄吧

atiufo

5090fe两张插一起，这散热不敢想，另外一张尾气吸满

Pickle

atiufo 发表于 2025-3-10 10:33
5090fe两张插一起，这散热不敢想，另外一张尾气吸满

都有这个实力了，兴许人家到手改分体水呢

林间有新绿

5090不是也限制了多卡互联？

powerduke

楼主实力雄厚

Dream_Seeker

想知道5090/D是否有限制多卡互联，以及5090D到底有没有锁算力

maestrokaka

羡慕楼主  等原价5090d

我輩樹である

期待楼主测试。

Livid

a010301208 发表于 2025-3-10 00:33
8卡也就5美元1小时，AI需求先去测试，别买回去一堆不兼容

请问这是什么平台？


已找到：Vast.ai

SkyGZO

wjm47196 发表于 2025-3-10 02:17
听朋友说50系训练一堆毛病啊。。。

什么时候出32G显存的消费级显卡跟老黄扳一扳手腕。。。

nic000fol

楼主大佬

创世神493

大佬能测下 qwq:32b-fp16 吗？