4070+13700k+128内存带不动deepseek-r1 14B吗？

vyvix

公版4070+13700k+128内存，带不动deepseek-r1 14B吗？

我安装的是Ollama：deepseek-r1:14b
客户端：Cherry Studio
8B速度挺快的，14B有点慢，可以通过设置提速吗？

8B：response_token/s: 45.81，prompt_token/s: 2736.29
14B：response_token/s: 7.55，prompt_token/s: 34.6

vyvix

xysquare 发表于 2025-3-19 20:17
爆显存了，14B大概是13G多吧。你找个蒸馏得只有8G多的14B-Q4试试就知道了。

我用的是：ollama官网的deepseek-r1:14b（9.0GB），你说的在哪里下载？

vyvix

a010301208 发表于 2025-3-19 21:23
你没看见共享内存当显存了吗

怎么解决呢？

vyvix

a010301208 发表于 2025-3-19 22:45
要么换大显存显卡，要么就别跑14B了，反正也爆显存了，用内存直接跑更大的模型 ...

内存直接跑更大的模型，怎么选内存跑？