llm训练有性价比高的显卡不？

pomeloking · 发表于 2023-12-20 21:52

各位，llm训练有性价比高的显卡不？

pomeloking · 发表于 2023-12-20 21:53

纯粹个人兴趣，非公司

lzhdim · 发表于 2023-12-20 21:54

如果追求性价比高的显卡，可以考虑支持AWS的A100或者H100。这些显卡在训练LLM时具有较高的性能和相对较低的价格，因此被认为是比较性价比的选择。

lzhdim · 发表于 2023-12-20 21:54

如果追求性价比高的显卡，可以考虑支持AWS的A100或者H100。这些显卡在训练LLM时具有较高的性能和相对较低的价格，因此被认为是比较性价比的选择。

YoshinoSakura · 发表于 2023-12-20 22:15

我也不知道你是什么场景
如果是微调的话，比如说把galgame文本导出来微调一个对应角色的那种。
预算充足性价比自然是我大4090了
再退的话就是3070m 16g与2080ti 22g
至于其他场景，没碰过所以不清楚需要什么样的性能

liyichao97 · 发表于 2023-12-20 22:31

微调7B这个标准尺寸的，可以考虑一张3090
不过现在还有更小尺寸的也挺厉害的模型（比如phi-2和qwen-1.8B），微调也许12g甚至8g显存就足够
如果楼主指的训练是全量训练的话，那就要大得多，就算是很小的模型也是几张a100打底

pomeloking · 发表于 2023-12-23 18:59

fine tunning，用4060 ti 16G 好像也可以

manwomans · 发表于 2023-12-23 20:13

7b的基本都是弱智
20b勉强能用
34b才差不多
当然我指的是玩角色扮演

账号		自动登录	找回密码
密码			加入我们

[显卡] llm训练有性价比高的显卡不？