装陈醋的酱油瓶 发表于 2025-2-6 14:55
如果只是想70b玩玩，那么你现有的3090/ 4090 搭配一张新的2080 ti 22G 差不多
如果以后想要玩的high且只考 ...
[震惊]可以不同型号混搭对吧，实际推理速度如何？
秦南瓜 发表于 2025-2-6 15:04
可以不同型号混搭对吧，实际推理速度如何？
70B的10token/s, 671b 1.58bit 量化的 1.23 token/s
2990wx + 192GB +3090ti + 3090 +2080ti 22G*2 这一群虾兵蟹将