现在跑大模型微调，显卡推荐
自己做的课题需求对开源的底座模型进行垂直微调，目前用的3070只有8g，很多东西跑不起来，想换个显卡，不知道选什么。看了下
1. 魔改涡轮3090 24g 6000多一点；
2. 朋友这说有个4070tis，可以给我用，但这个显存也只有16g，不知道16g，用于小项目合适不合适，这个不要钱😐；
3. 看还有个rtx pro 4000是新核心的专业卡，规格和5070ti似乎差不多 tdp只有140w 显存24g 10000左右；
4. 最后尽然还发现有魔改32g的 4080s，和涡轮3090基本都是一家，价格也是不到10000。
收入不多 预算也就一万。其实也比较迷茫，自费买这种设备，24g 32g 甚至48g 似乎喂大模型也不够看，这种情况到底怎样合适，希望有熟悉行业的前辈能给点指导，谢谢了～ 深入分析下需求，如果只是本硕学生做点课题可能AutoDL这些平台租GPU会更划算 建议先租一个试试你的方案是否可行, 还有现有AI是考试分高, 实际能力不行.
既然要自己跑就要看看自己跑的本地开源AI的能力如何, 至少我的行业, 跑本地AI, 本地AI就是一顿胡说.... porsche4me 发表于 2025-12-2 23:29
建议先租一个试试你的方案是否可行, 还有现有AI是考试分高, 实际能力不行.
既然要自己跑就要看看自己跑的 ...
确实 因为不管你问他啥问题，他有没有数据支撑，他都能给你一本正经的编一堆出来，如果能让他不知道就说不知道，可信度反而高一些，现在很多情况下纯是不懂装懂 karaki 发表于 2025-12-3 00:55
确实 因为不管你问他啥问题，他有没有数据支撑，他都能给你一本正经的编一堆出来，如果能让他不知道就说 ...
我是搞网络的, 我用还是最牛的Google的Gemini. 我搭建了一个Container Lab, 用Arista的镜像.
现实是 Google Gemini反复给出错误的命令, 还包含Cisco的命令...
Google Gemini是跑在一个或更多的数据中心里的, 这个环境是家用组个LLM没法比的, 但Gemini依旧反复犯错.
除非是针对特定产品特殊训练, 否则AI还处在没法实际生产环境商用的....
等等吧, 估计再有2年会有翻天覆地的变化. 眼前搞个小模型玩玩还是可以的, 真心指望他干点啥实事还没到时候... 我这场景后边只能是离线使用，没法用互联网上的东西。现在项目也只是实验阶段，如果能落地，获取可以申请经费用好的设备。就是不想在实验阶段，自费投入太大，万一后边项目不批，浪费比较大，所以才说升级一下现在的卡，8g调调一些算法还行，感觉搞大模型弄不了。我先前用RAGflow搭建了一个简单的对话系统，一个设备说明书都要检索2，3分钟，太慢了。现在更不用说，进行微调[生病] 先把不要钱的整过来， Setfan 发表于 2025-12-3 08:30
先把不要钱的整过来，
这个随时都能去拿，主要装机也费时间，看个合适的一次装上就不折腾了，16g整我这些也不知道咋样 租在线gpu资源吧。 karaki 发表于 2025-12-3 00:55
确实 因为不管你问他啥问题，他有没有数据支撑，他都能给你一本正经的编一堆出来，如果能让他不知道就说 ...
因为它本质就是概率论，丢进去的文字预测下一个概率最大的是什么才是核心逻辑。因此他是不会说No的，除非训练数据有这种场景。 本帖最后由 qhdxy 于 2025-12-3 16:03 编辑
karaki 发表于 2025-12-3 00:55
确实 因为不管你问他啥问题，他有没有数据支撑，他都能给你一本正经的编一堆出来，如果能让他不知道就说 ...
我反而觉得很真实，人也一样，问到关键点只要答不上来，就两个选择，沉默不语 或 胡言乱语[狂笑]
页:
[1]