不同代显卡混用，来跑LLM 是否可行？

bacu

有个开源项目，exo lab，就是干这个事的，异构显卡、甚至只是和cpu共同工作来推理。

很多跑起来的例子，国外什么十几台mac mini连接跑模型的，基本都是用这个技术。
我实际用下来，苹果和NV之间协同比较好，和A卡配合的不太好。