5090D用ollama跑deepseek r1 32b的效果。

bennq · 发表于 2025-2-11 14:48

我4080,16gb显存,也用 32b Q4,爆显存后,优化cpu显存,能有10tokens/s,速度个人用已经满意了,就是智商还不满意

bennq · 发表于 2025-2-11 14:52

naobaijin 发表于 2025-2-7 20:26
关键得同模型同量化才有对比意义吧。我4070tis， 32BQ4，产不忍赌，没有用到共享显存。显存占用14G左右。运 ...

4k上下文应该能上10t/s,8k上下文9.5t/s左右,32k上下文就8t/s

账号		自动登录	找回密码
密码			加入我们

[显卡] 5090D用ollama跑deepseek r1 32b的效果。