特斯拉 p40 p100 p4 多卡可以叠加显存吗？

JASON879

要看你模型能不能拆分，我跑的176B Bloom int 8可以用Tensor Parallelism跑在20块卡上。

我这机器还是pcie x4 连的，运行速度还行2秒能出一个token。