新手本地LLM折腾分享

YsHaNg

威廉第三 发表于 2025-2-13 03:22
2080ti 22G *2 走vLLM不知道有没有机会不爆显存，如果能实现张量并行，也许能突破10t/s ...

应该可以提升很多 ollama优化很拉 和它上游llama.cpp差几十个commits 在vllm/transformer面前都是草履虫

YsHaNg

nagashinn 发表于 2025-2-13 03:55
训练的代码难度高么，我们研发说要自己训练，不知道是不是忽悠老板，拖。
训练的硬件显存就翻好几倍，给硬 ...

只做蒸馏还行 https://github.com/huggingface/open-r1 说8 H100 80G GPU takes about 3 hours

YsHaNg

nagashinn 发表于 2025-2-13 03:59
我现在是质疑研发的能力啊

都是开源的框架 脚本都在那 工业流水线生产 只是你卡不够多不够好就只能出来个apple intelligence

YsHaNg

Oxyer 发表于 2025-2-13 05:19
不知道楼上的各位有没有这个感觉,那就是ollama跑比LM跑总感觉速度要快一丢丢 ...

LM Studio的lms是个大前端 整个js写的 引擎应该默认用的是苹果mlx 别的runtime可以自己下载 llama.cpp甚至rocm