5090D用ollama跑deepseek r1 32b的效果。

zcyandrew · 发表于 2025-2-16 04:39

lh4357 发表于 2025-2-8 13:41
反正跑32b是永远吃不满。

5090我测下来可以跑到50t, 功耗480w，你再测测看看是不是软件更新适配了50系？

promiseme · 发表于 2025-2-16 10:05

6800xt跑越狱版32b不到6t，勉强能用用

fut888 · 发表于 2025-2-16 10:19

家用跑模型还得看mac

husi0997 · 发表于 2025-2-16 10:31

Technik 发表于 2025-2-7 13:18
4090D
total duration: 37.2562216s
load duration: 20.0582ms

我也好奇试了下，也是4090D

微信图片_20250216103057.png

lh4357 · 发表于 2025-2-16 12:00

zcyandrew 发表于 2025-2-16 04:39
5090我测下来可以跑到50t, 功耗480w，你再测测看看是不是软件更新适配了50系？ ...

更新软件了，试了下，果然有提升。

zcyandrew · 发表于 2025-2-16 13:31

lh4357 发表于 2025-2-16 12:00
更新软件了，试了下，果然有提升。

那这次真锁了个寂寞？你有测过训练吗

lh4357 · 发表于 2025-2-16 13:35

zcyandrew 发表于 2025-2-16 13:31
那这次真锁了个寂寞？你有测过训练吗

我不知道拿啥测训练。

常用的都是声音模型，但torchaudio居然到现在还没人编译个cuda12.8出来。。

p_ricky777 · 发表于 2025-2-16 22:49

本帖最后由 p_ricky777 于 2025-2-16 22:52 编辑

killermkii · 发表于 2025-2-25 11:47

这个效果已经很好了，网上大把人部署的本地模型 10 tokens/s 都没有。
问题的复杂程度和输出的tokens/s 没有什么关系，问你好和问你十八代祖宗姓什么都差不多。

8owd8wan · 发表于 2025-2-25 11:48

lbb68 发表于 2025-2-7 11:32
缩水版的都是弱智，有啥用？

32B还有有些用的，企业方案落地里

账号		自动登录	找回密码
密码			加入我们

[显卡] 5090D用ollama跑deepseek r1 32b的效果。