B站UP关于5090和5090D的AI性能基准测试

fgfdhgg

我輩樹である 发表于 2025-2-3 11:52
肯定是驱动不一样，nv被战未来了。

你这是用最新驱动跑的么，感觉是amd提前搞了优化玩偷袭了

guanqq_64

卧槽老黄为了挣钱，公然欺天了？这不怕被国会老爷们砍吗？

Flanker

fgfdhgg 发表于 2025-2-3 11:55
你这是用最新驱动跑的么，感觉是amd提前搞了优化玩偷袭了

底下小字不都写着么

gyc

我輩樹である 发表于 2025-2-3 10:49
deepseek的，跑32b还是很溜。

请问有测试多模态模型吗？ 大概什么性能？

我輩樹である

gyc 发表于 2025-2-3 14:03
请问有测试多模态模型吗？ 大概什么性能？

回错了。

那个是知乎上的，有水印，不是我测的，我没5090

我輩樹である

fgfdhgg 发表于 2025-2-3 11:55
你这是用最新驱动跑的么，感觉是amd提前搞了优化玩偷袭了

知乎上的，我是转贴

T.JOHN

cloud 发表于 2025-1-24 23:25
comfy+flux fp8+nf4我自己配置的 40的对比数据我都提前跑了 但50根本跑不了

https://zhuanlan.zhihu.com ...

地雷云，你要是不部署TRT，9090都测不出性能阉割。

参考：这是我两年前写的如何跑katago，其实TRT其实不依赖CUDA能直接跑。两者不相关，TRT运行速度远高于CUDA。
https://www.chiphell.com/thread-2486435-1-1.html

方案：至于TRT怎么在comfyui里面调：参考官方库 https://github.com/comfyanonymous/ComfyUI_TensorRT

他主项目有65.7k的star，这个页面只有500star，可见大家只会拿来主义打包直接用，都没几个人使用过TRT插件。

我能肯定你100%测错的，根本没有测出算力限制，因为你的截图model的节点就没有TRT_loader。而且你一定要测fp4才能测出显著阉割差距。

网上90%测评人都不懂这玩意，他们只会跑简单的benchmark。唯一不确定的是极客湾，他们理论上不应该会犯这种错误。另外我相信，老黄说阉了就肯定阉了，没什么好讨价还价的。

我輩樹である

现在对阉割的说法都是源于本坛，但似乎没人复现？

一个是3秒锁算力，这个锁应该是指锁到2300t而非锁到0吧。
第二个就是多卡锁互联。这个语境也不清楚，是只普通的将一个模型分到2个gpu上还是值有dma的gpudirect功能？

第一个其实只要跑一个空转的mma就行了（写个核函数，只初始化一组数据，不停的wmma，不回写任何数据。这样不会导致显存带宽overhead），把tensor core跑满，具体代码可以问ai比我写得好。

第二个就需要多张显卡跑一个nccl通讯，4090是需要patch的，5090显然patch还没有出，当前只支持到linux的565.57.01.

期待有人测试后贴结果我们继续分析。

gyc

首批 5090D已经出了， 有没有朋友测试过 性能到底差多少？

平安是福

T.JOHN 发表于 2025-2-4 10:30
地雷云，你要是不部署TRT，9090都测不出性能阉割。

参考：这是我两年前写的如何跑katago，其实TRT其实不 ...

跑个fp16版的flux试试压力。。。fp8版的更容易蹦手

do0wmt1

看来拿到卡的都不太懂AI训练啊，确实，炼丹是少数大牛干的事情