入门学习AI 那个显卡比较合适？

Amarillys

solder 发表于 2025-5-26 11:31
24g这种，我一张12g插显卡槽，另一张插pcie4*4，都是40系的能相当于24g吗？

跑生成图片和视频不行，跑llm推理可以

solder

Amarillys 发表于 2025-5-26 21:16
跑生成图片和视频不行，跑llm推理可以

推理，文字相关吗？比如写小说？
那种听说要380G内存或显存才能满血？

kaixin_chh

a010301208 发表于 2025-5-26 10:39
贵了，A100，2块3一小时，量大优惠，而且这只是正常价格，没算上用特殊手段薅羊毛

...

卧槽这个价格，电费都不够吧。csp怎么挣钱啊

a010301208

gyc 发表于 2025-5-26 20:14
什么平台？

之前楼下面不是发了

a010301208

kaixin_chh 发表于 2025-5-26 22:34
卧槽这个价格，电费都不够吧。csp怎么挣钱啊

a010301208

baoziking 发表于 2025-5-26 18:34
这是哪里，我挺感兴趣玩儿一下的。

看25楼

Amarillys

solder 发表于 2025-5-26 21:27
推理，文字相关吗？比如写小说？
那种听说要380G内存或显存才能满血？

是的，非常大参数的模型是要很高的内存或者显存的，但是也有一些小的模型，比如24B 32B的，也值得一玩

gmlee1999

gyc 发表于 2025-5-26 20:14
4060 不是只有8G的吗？

打错了 是4060TI

chs

a010301208 发表于 2025-5-26 11:37
训练可以多卡，生成只能单卡

生成可以多卡呀……vllm？

但多型号的显卡混用……坑会很大。

mdeu

gyc 发表于 2025-5-26 20:29
可以考虑，不过长期租，也不便宜， 一年下来接近2W，

我的意思是,线上可以看下你具体真需要什么显卡再选....

现在一堆人在那制造焦虑,其实不一定需要太大显存的....

gyc

mdeu 发表于 2025-5-27 10:47
我的意思是,线上可以看下你具体真需要什么显卡再选....

现在一堆人在那制造焦虑,其实不一定需要太大显存 ...

哦，好的， 我试试看

a010301208

chs 发表于 2025-5-27 09:50
生成可以多卡呀……vllm？

但多型号的显卡混用……坑会很大。

昨天楼上推荐的那个不错，可惜目前局限还是不少，昨天玩了会今天还是换回之前的了，还是多卡分开同时跑不同的流程比较好

l泰然处之01

这入门有点高端。。。我是从 T4 16G双卡 到 4060Ti 16G四卡 到 4070TiS 16G四卡 再到的选项里的 4090 48G双卡。。。

eliz

感觉买个3080 20g性价比挺高的

楼主的马甲

zhuifeng88 发表于 2025-5-26 14:17
? 大半video模型你在说什么...

为毛赶脚你就是秋叶大佬啊

话说现在自己家的AMD还不能布署GEMMA3吧？

zhuifeng88

楼主的马甲 发表于 2025-5-27 20:29
为毛赶脚你就是秋叶大佬啊

话说现在自己家的AMD还不能布署GEMMA3吧？

那讲道理显然不是, 倒不如说我不知道你在指哪个
至于amd gemma3...随便跑啊,  哪怕mi50这种刚刚eol的vllm都还能跑起来gemma3, 只是性能稀烂完全没有实用意义了

smileghj

awpak78 发表于 2025-5-26 10:16
打游戏就打游戏
学AI这种借口骗骗父母和导师就行了，没必要拿到chh来骗哥们

porsche4me

难道不是MacMini m4 pro 64G RAM是最便宜的选择吗? :)

gyc

l泰然处之01 发表于 2025-5-27 18:11
这入门有点高端。。。我是从 T4 16G双卡 到 4060Ti 16G四卡 到 4070TiS 16G四卡 再到的选项里的 4090 48G双 ...

主要是看到一些多模态模型，参数虽然不多，但显存占用几乎翻倍。
所以想选个高一点，至少不会遇到瓶颈。。

至于其他 优化，量化等，太高深了，对于以使用为主的我来说，有点难度。。

PS，其实主要是前期只有一台笔记本，在外边工作还不稳定。

gyc

eliz 发表于 2025-5-27 19:10
感觉买个3080 20g性价比挺高的

但30系列的，听说都被锻炼过。。 虽然性价比高，但到手就坏的可能性不是没有。。

gyc

porsche4me 发表于 2025-5-27 23:40
难道不是MacMini m4 pro 64G RAM是最便宜的选择吗? :)

我倒是觉得 AMD AI MAX 395+ 反而是首选， 至少X86 能干的比较多。

另一个是 Nvidia 年初说的那个超级迷你计算机， GB10 ，现在改名了， arm架构，128G LPDDR4 共享内存，据说性能接近5070，实际效果不明，但最大的优点是支持N家显卡通信交换机，用于边缘计算，只通过第三方合作伙伴发售，价格估计3K 美刀起步。。

方块李

awpak78 发表于 2025-5-26 10:16
打游戏就打游戏
学AI这种借口骗骗父母和导师就行了，没必要拿到chh来骗哥们

你这话我不认同，显卡现在跟黄金一样的理财产品，自己随便玩，只要玩不坏，还能出二手。。

在线平台你是没用过，天天开着费钱，按需开又要配环境，有时候还要排队~~

反正富哥有预算，肯定优先自己买

gyc

方块李 发表于 2025-5-28 08:35
你这话我不认同，显卡现在跟黄金一样的理财产品，自己随便玩，只要玩不坏，还能出二手。。

在线平台你是 ...

目的和需求不同。   在线适合那种 短期 有急需的，小团队， 但肯定能不适合公司，一个是保密，一个数据量，真要训练给少说也给500，600GB以上， 就这容量，上传都是个问题。


说个不恰当的， 网吧可以提供电脑，但你看不是每个人都会自己买一台吗？

nou8868

5060ti 16g玩玩，然后再看看3090或者4090。有钱直接上rtx pro 6000。aimax这个估计不太行

Illidan2004

“入门”