不同代显卡混用，来跑LLM 是否可行？

我輩樹である

5070ti就行了，900G的显存带宽 + PCIE5.0x16，不需要买旧卡。目前可能有点适配上的小问题，能自己调代码最好，不能的话等一等框架适配。

我輩樹である

KimmyGLM 发表于 2025-3-23 16:11
Dense 32B模型，fp16大约要66G一张，只一张卡不够。

现在没有任何意义再跑dense模型了，除非是跑视觉模型。