现在跑大模型微调，显卡推荐

zzeng12

自己做的课题需求对开源的底座模型进行垂直微调，目前用的3070只有8g，很多东西跑不起来，想换个显卡，不知道选什么。
看了下
1. 魔改涡轮3090 24g 6000多一点；
2. 朋友这说有个4070tis，可以给我用，但这个显存也只有16g，不知道16g，用于小项目合适不合适，这个不要钱😐；
3. 看还有个rtx pro 4000是新核心的专业卡，规格和5070ti似乎差不多 tdp只有140w 显存24g 10000左右；
4. 最后尽然还发现有魔改32g的 4080s，和涡轮3090基本都是一家，价格也是不到10000。

收入不多 预算也就一万。其实也比较迷茫，自费买这种设备，24g 32g 甚至48g 似乎喂大模型也不够看，这种情况到底怎样合适，希望有熟悉行业的前辈能给点指导，谢谢了～

Wurenji

深入分析下需求，如果只是本硕学生做点课题可能AutoDL这些平台租GPU会更划算

porsche4me

建议先租一个试试你的方案是否可行, 还有现有AI是考试分高, 实际能力不行.

既然要自己跑就要看看自己跑的本地开源AI的能力如何, 至少我的行业, 跑本地AI, 本地AI就是一顿胡说....

karaki

porsche4me 发表于 2025-12-2 23:29
建议先租一个试试你的方案是否可行, 还有现有AI是考试分高, 实际能力不行.

既然要自己跑就要看看自己跑的 ...

确实 因为不管你问他啥问题，他有没有数据支撑，他都能给你一本正经的编一堆出来，如果能让他不知道就说不知道，可信度反而高一些，现在很多情况下纯是不懂装懂