入门学习AI 那个显卡比较合适？

gyc · 发表于 2025-5-26 20:20

ykdo 发表于 2025-5-26 11:59
尽量最新架构，16G显存，可选5060 16G版
不要考虑70B这种，学习么14B模型足够了 ...

不会用那么大的，但是，可能运行多个模型，所以也要求显存大。

mythgo · 发表于 2025-5-26 20:20

40系 4090d 或者非d都行，48g改和不改也都行。
50存在适配问题，40很成熟。
大量的教程、example都是以24G为目标去设计的，基本有24G卡绝大部分教程都能跑起来。

与租gpu的区别是，租的钱是消费了，自己买是持有金融产品。

gyc · 发表于 2025-5-26 20:22

raiya 发表于 2025-5-26 12:10
16G显存 N卡 40 50都行，试试。差别无非就是设置低一些。你先跑跑，觉得有必要了再去换大显卡。

40 50的显 ...

主要是想试试多模态和视觉生成模型，比较吃显存

gyc · 发表于 2025-5-26 20:24

jcd_chh 发表于 2025-5-26 13:12
8700g装独显PCIe是最高X8吗？

确实。。

当时是打算弄个电脑当主力机的，结果弄得这种配置。。

现在想跑多个模型比较话，都会卡。。

gyc · 发表于 2025-5-26 20:29

mdeu 发表于 2025-5-26 14:20
先在线买个100块看你用不用得到

群里见到两个买4090 48g后续发现5070ti都足够了

可以考虑，不过长期租，也不便宜，一年下来接近2W，

gyc · 发表于 2025-5-26 20:36

mythgo 发表于 2025-5-26 20:20
40系 4090d 或者非d都行，48g改和不改也都行。
50存在适配问题，40很成熟。
大量的教程、example都是以24G ...

50适配是个问题，但不算大问题。大问题是，故障麻烦，官方维修都能坑。。

显存容量不是问题，就算24G满了，不是还可以在运行别的模型

卡卡鸡 · 发表于 2025-5-26 20:58

gyc 发表于 2025-5-26 09:11
你说是 SD生成图片吗？不过可能会尝试用用图到视频，视频到视频的模型玩玩。。（话说这模型真是越来 ...

sd的首选肯定n卡

Amarillys · 发表于 2025-5-26 21:16

solder 发表于 2025-5-26 11:31
24g这种，我一张12g插显卡槽，另一张插pcie4*4，都是40系的能相当于24g吗？

跑生成图片和视频不行，跑llm推理可以

solder · 发表于 2025-5-26 21:27

Amarillys 发表于 2025-5-26 21:16
跑生成图片和视频不行，跑llm推理可以

推理，文字相关吗？比如写小说？
那种听说要380G内存或显存才能满血？

kaixin_chh · 发表于 2025-5-26 22:34

a010301208 发表于 2025-5-26 10:39
贵了，A100，2块3一小时，量大优惠，而且这只是正常价格，没算上用特殊手段薅羊毛

...

卧槽这个价格，电费都不够吧。csp怎么挣钱啊

a010301208 · 发表于 2025-5-26 22:38

gyc 发表于 2025-5-26 20:14
什么平台？

之前楼下面不是发了

a010301208 · 发表于 2025-5-26 22:39

kaixin_chh 发表于 2025-5-26 22:34
卧槽这个价格，电费都不够吧。csp怎么挣钱啊

a010301208 · 发表于 2025-5-26 22:39

baoziking 发表于 2025-5-26 18:34
这是哪里，我挺感兴趣玩儿一下的。

看25楼

Amarillys · 发表于 2025-5-26 23:03

solder 发表于 2025-5-26 21:27
推理，文字相关吗？比如写小说？
那种听说要380G内存或显存才能满血？

是的，非常大参数的模型是要很高的内存或者显存的，但是也有一些小的模型，比如24B 32B的，也值得一玩

gmlee1999 · 发表于 2025-5-27 09:22

gyc 发表于 2025-5-26 20:14
4060 不是只有8G的吗？

打错了是4060TI

chs · 发表于 2025-5-27 09:50

a010301208 发表于 2025-5-26 11:37
训练可以多卡，生成只能单卡

生成可以多卡呀……vllm？

但多型号的显卡混用……坑会很大。

mdeu · 发表于 2025-5-27 10:47

gyc 发表于 2025-5-26 20:29
可以考虑，不过长期租，也不便宜，一年下来接近2W，

我的意思是,线上可以看下你具体真需要什么显卡再选....

现在一堆人在那制造焦虑,其实不一定需要太大显存的....

gyc · 发表于 2025-5-27 12:59

mdeu 发表于 2025-5-27 10:47
我的意思是,线上可以看下你具体真需要什么显卡再选....

现在一堆人在那制造焦虑,其实不一定需要太大显存 ...

哦，好的，我试试看

a010301208 · 发表于 2025-5-27 13:08

chs 发表于 2025-5-27 09:50
生成可以多卡呀……vllm？

但多型号的显卡混用……坑会很大。

昨天楼上推荐的那个不错，可惜目前局限还是不少，昨天玩了会今天还是换回之前的了，还是多卡分开同时跑不同的流程比较好

l泰然处之01 · 发表于 2025-5-27 18:11

这入门有点高端。。。我是从 T4 16G双卡到 4060Ti 16G四卡到 4070TiS 16G四卡再到的选项里的 4090 48G双卡。。。

eliz · 发表于 2025-5-27 19:10

感觉买个3080 20g性价比挺高的

楼主的马甲 · 发表于 2025-5-27 20:29

本帖最后由楼主的马甲于 2025-5-27 20:32 编辑

zhuifeng88 发表于 2025-5-26 14:17
? 大半video模型你在说什么...

为毛赶脚你就是秋叶大佬啊

话说现在自己家的AMD还不能布署GEMMA3吧？

zhuifeng88 · 发表于 2025-5-27 22:51

楼主的马甲发表于 2025-5-27 20:29
为毛赶脚你就是秋叶大佬啊

话说现在自己家的AMD还不能布署GEMMA3吧？

那讲道理显然不是, 倒不如说我不知道你在指哪个
至于amd gemma3...随便跑啊, 哪怕mi50这种刚刚eol的vllm都还能跑起来gemma3, 只是性能稀烂完全没有实用意义了

smileghj · 发表于 2025-5-27 23:27

awpak78 发表于 2025-5-26 10:16
打游戏就打游戏
学AI这种借口骗骗父母和导师就行了，没必要拿到chh来骗哥们

porsche4me · 发表于 2025-5-27 23:40

难道不是MacMini m4 pro 64G RAM是最便宜的选择吗? :)

gyc · 发表于 2025-5-28 08:25

l泰然处之01 发表于 2025-5-27 18:11
这入门有点高端。。。我是从 T4 16G双卡到 4060Ti 16G四卡到 4070TiS 16G四卡再到的选项里的 4090 48G双 ...

主要是看到一些多模态模型，参数虽然不多，但显存占用几乎翻倍。
所以想选个高一点，至少不会遇到瓶颈。。

至于其他优化，量化等，太高深了，对于以使用为主的我来说，有点难度。。

PS，其实主要是前期只有一台笔记本，在外边工作还不稳定。

gyc · 发表于 2025-5-28 08:26

eliz 发表于 2025-5-27 19:10
感觉买个3080 20g性价比挺高的

但30系列的，听说都被锻炼过。。虽然性价比高，但到手就坏的可能性不是没有。。

gyc · 发表于 2025-5-28 08:30

porsche4me 发表于 2025-5-27 23:40
难道不是MacMini m4 pro 64G RAM是最便宜的选择吗? :)

我倒是觉得 AMD AI MAX 395+ 反而是首选，至少X86 能干的比较多。

另一个是 Nvidia 年初说的那个超级迷你计算机， GB10 ，现在改名了， arm架构，128G LPDDR4 共享内存，据说性能接近5070，实际效果不明，但最大的优点是支持N家显卡通信交换机，用于边缘计算，只通过第三方合作伙伴发售，价格估计3K 美刀起步。。

方块李 · 发表于 2025-5-28 08:35

awpak78 发表于 2025-5-26 10:16
打游戏就打游戏
学AI这种借口骗骗父母和导师就行了，没必要拿到chh来骗哥们

你这话我不认同，显卡现在跟黄金一样的理财产品，自己随便玩，只要玩不坏，还能出二手。。

在线平台你是没用过，天天开着费钱，按需开又要配环境，有时候还要排队~~

反正富哥有预算，肯定优先自己买

gyc · 发表于 2025-5-28 10:34

方块李发表于 2025-5-28 08:35
你这话我不认同，显卡现在跟黄金一样的理财产品，自己随便玩，只要玩不坏，还能出二手。。

在线平台你是 ...

目的和需求不同。在线适合那种短期有急需的，小团队，但肯定能不适合公司，一个是保密，一个数据量，真要训练给少说也给500，600GB以上，就这容量，上传都是个问题。

说个不恰当的，网吧可以提供电脑，但你看不是每个人都会自己买一台吗？

账号		自动登录	找回密码
密码			加入我们

[显卡] 入门学习AI 那个显卡比较合适？