本地微调大模型，两块16g的显卡可行吗？

zzeng12

      目前的情况，只能自费购卡，想本地微调个专有领域的大模型做实验。两块16g的卡还是单卡32g好一些。目前已经有一块4070tis，不知道再买一块4070tis行不行，要是直接买一块5090d，感觉太贵了。前期做了一点功课，32g显存似乎也只能微调14b以下的参数量。有没有懂的朋友，我想寻求一些意见，谢谢了。

chesha1

看起来你预算有限，那现在最有性价比的方式可能是：

1. 2080ti 22g 显存魔改版，买两块，买个 nvlink 桥连接，就有 44g 显存了

2. v100 16g（别买 32g 的，32g 的太贵），在买个 sxm2 4 卡底板，就有 64g 显存了

要是预算充足，单卡肯定比多卡好，多卡互联的带宽不足很难受的，而且多卡并行需要写的代码也比单卡多，需要调设置

当然你买 2 块 4070tis 也行，用 LoRA 微调 14b 模型显存也勉强够，要是显存实在不足可以看看别的微调技术，比如 Q-LoRA，65b 的模型用 Q-LoRA 微调也只需要 48g 显存

zzeng12

chesha1 发表于 2025-2-1 17:04
看起来你预算有限，那现在最有性价比的方式可能是：

1. 2080ti 22g 显存魔改版，买两块，买个 nvlink 桥连 ...

感谢感谢，确实是预算有限，这些东西都得自己整，买单卡就是能好操作一些，双卡并行就是代码操作多一些。

Freewill1

RTX 2080 Ti的NVLink不支持显存池（显存共享）和CUDA核心叠加，仅支持单向通信，且桥接器与Quadro型号不兼容……https://metaso.cn/search/8591311 ... 8591311468777435136