新手本地LLM折腾分享

Oxyer

不知道楼上的各位有没有这个感觉,那就是ollama跑比LM跑总感觉速度要快一丢丢

Oxyer

秦南瓜 发表于 2025-2-13 13:25
额，为啥？这玩意还有快乐表的嘛。。。

不知道,我自己ollama和LLM分别跑32b的模型就是ollama快...

Oxyer

秦南瓜 发表于 2025-2-13 13:48
显示速度都一样，体感有差别？还是说实际跑的速度就不一样的。。

实际跑的速度能明显感觉出来

Oxyer

秦南瓜 发表于 2025-2-13 13:50
你说的llm是lm studio吗，应该是设置问题

是的                  

Oxyer

秦南瓜 发表于 2025-2-13 13:58
lm studio上下文你设置多少，这玩意设置大的话，显存占用很爆炸的，会影响速度，还有就是gpu offload记得 ...

4096默认值,温度0.6-0.8,其他不动

Oxyer

秦南瓜 发表于 2025-2-13 14:02
设置差异了。 ollama我下载下来就没整webui设置，全默认用。。

这么说,也有可能..

Oxyer

uprit 发表于 2025-2-13 16:21
就是上下文的影响。上下文越长，显存占用越大，推理速度越慢。ollama默认只有2k上下文。

...

原来如此,学到了,谢谢解答