新手本地LLM折腾分享

testmepro · 发表于 2025-2-13 17:19

记着ollama是串行推理.只使用所有显卡显存.gpu还是可着一个干.vllm 是张量并行可以跑满所有显卡显存和gpu

testmepro · 发表于 2025-2-13 17:24

秦南瓜发表于 2025-2-13 17:20
是的。。新手嘛，先玩傻瓜的

我也是刚开始玩.ollama完了几天卸载了..装个ubantu准备玩vllm 玩顺畅了考虑升级家里台式机做个本地大模型推理服务器.

testmepro · 发表于 2025-2-27 21:45

感谢楼主无私分享,给我们准备入坑的打了个样

账号		自动登录	找回密码
密码			加入我们

[显卡] 新手本地LLM折腾分享