不同代显卡混用，来跑LLM 是否可行？

p4s2wd

V100 架构太老了，推理框架支持起来很麻烦。最低买2080ti 22G，买4块可以用sglang（Docker方式运行的推理框架）＋awq（量化)，可以跑Mistral Large 123B了。跑72B和32B也是小菜一碟。这样跑123B，每秒可以输出17-19t；跑72B，每秒可以输出26-27t，跑32B就更快了。