新手本地部署LLM的一些问题

秦南瓜

装陈醋的酱油瓶 发表于 2025-2-6 14:55
如果只是想70b玩玩，那么你现有的3090/ 4090 搭配一张新的2080 ti 22G 差不多

如果以后想要玩的high且只考 ...

可以不同型号混搭对吧，实际推理速度如何？

装陈醋的酱油瓶

秦南瓜 发表于 2025-2-6 15:04
可以不同型号混搭对吧，实际推理速度如何？

70B的10token/s, 671b 1.58bit 量化的 1.23 token/s
2990wx + 192GB +  3090ti + 3090 +2080ti 22G*2 这一群虾兵蟹将