5090双卡测试
托家里人背了两张90公版，下周末装一台5090双卡的机器，感觉未来几年的AI研究和开发都没啥问题了翻了一圈也没找到关于5090多卡测试的帖子，尤其是5090D多卡限制的帖子
几个想法：
1、pcie 5.0 *8下的互联带宽对于训练&推理的影响 想看看两个卡数据交互延迟，以及使用direct storage直接从ssd拿模型参数做推理的可能性？
2、手动优化shared memory后性能的提升幅度？这多卡之间是否可以实时同步shared memory，如果可以同步就有意思了。
3、两张卡估计一张会降压超频控制在500w左右，另一张锁功耗400w 看看在中塔内的散热情况
4、特别想找一张5090 D ， 在测完上面的5090 双卡后更换上90D看看是否有差异，如果两张卡都被识别为正常的pcie设备，那多卡性能的瓶颈应该不在算力而在交换延迟上。这块还请大家给出测试建议。手头还有一张4090D 24G，如果把它作为副卡，5090+4090应该也可以跑70B的模型了
知乎好像有个多卡的帖子，这个就不测了。
static/image/hrline/line5.png
欢迎讨论，有什么想测试的项目或者想法
到时候测试结果都整合在该贴 64g跑70b应该没问题了吧。看看能不能比内存跑ds推理快，估计pcie5带宽够呛 Evalyn 发表于 2025-3-10 00:08
64g跑70b应该没问题了吧。看看能不能比内存跑ds推理快，估计pcie5带宽够呛
看知乎那个帖子，好像5090+4080就可以跑，推理本身不怎么吃带宽 本帖最后由 a010301208 于 2025-3-10 00:37 编辑
8卡也就5美元1小时，AI需求先去测试，别买回去一堆不兼容[偷笑]
期待楼主测试结果
我就想看看90和90d到底啥区别 听朋友说50系训练一堆毛病啊。。。 实名羡慕[偷笑]
FE双卡的话，上面的卡是要吃满下面的热风了，比较关心主卡的散热情况 实名羡慕楼主，一张都买不到的路过 羡慕楼主大佬 大佬啊！真·生产力工具 期待楼主测试贴 还研究个啥，让AI研究AI 如果纯就性价比来说，买两块4090 48GB版本应该更加划算吧.... 托家里人背了两张90公版
家里人不会姓黄吧[傻笑] 5090fe两张插一起，这散热不敢想，另外一张尾气吸满 atiufo 发表于 2025-3-10 10:33
5090fe两张插一起，这散热不敢想，另外一张尾气吸满
都有这个实力了，兴许人家到手改分体水呢[偷笑] 5090不是也限制了多卡互联？ 楼主实力雄厚 想知道5090/D是否有限制多卡互联，以及5090D到底有没有锁算力 羡慕楼主等原价5090d 期待楼主测试。 本帖最后由 Livid 于 2025-3-10 13:25 编辑
a010301208 发表于 2025-3-10 00:33
8卡也就5美元1小时，AI需求先去测试，别买回去一堆不兼容
请问这是什么平台？
已找到：Vast.ai wjm47196 发表于 2025-3-10 02:17
听朋友说50系训练一堆毛病啊。。。
什么时候出32G显存的消费级显卡跟老黄扳一扳手腕。。。 楼主大佬 大佬能测下 qwq:32b-fp16 吗？
页:
[1]