入门学习AI 那个显卡比较合适？

a010301208

williamqh 发表于 2025-5-26 11:32
这价确实让本地跑AI的借口不成立了，哈哈哈哈

我吃方便面

不知道入门是啥概念，我学习minst手写数字识别用的是笔记本1050显卡。

ykdo

尽量最新架构，16G显存，可选5060 16G版
不要考虑70B这种，学习么14B模型足够了

Leciel

a010301208 发表于 2025-5-26 11:37
训练可以多卡，生成只能单卡

生成也可以多卡，不过这就不是入门级的要求了。

raiya

16G显存 N卡 40 50都行，试试。差别无非就是设置低一些。你先跑跑，觉得有必要了再去换大显卡。

40 50的显卡卖掉再买一个损失不了几个钱。但是没搞清楚怎么回事儿就花几万，操作起来风险大。

karaki

推荐租算力，1000块钱能玩到你不想学了，用完1000块钱你还有兴趣再买吧

a010301208

Leciel 发表于 2025-5-26 12:10
生成也可以多卡，不过这就不是入门级的要求了。

之前有误，这个项目确实可以部分实现多卡推理视频，感谢下面楼层提供的

https://github.com/xdit-project/xDiT
https://github.com/Tencent-Hunyu ... ltiple-gpus-by-xdit

Leciel

a010301208 发表于 2025-5-26 12:19
如果你指的是多显存算力叠加生成视频，那我可以告诉你是不能的，不然以那些在线视频平台的算力，根本不需 ...

https://github.com/neuratech-ai/ComfyUI-MultiGPU
当然，叠加算力是没有的。

CLIP, VAE -> GPU1
KSampling -> GPU2

工作流对多gpu的支持很早就有了。不同的节点使用不同的gpu高效协同工作。

Cuda/ROCm的库也有多卡同时inference的支持。叠加算力不太清楚，但是共享显存一定有的。根据我对flash attention 2算法的理解，叠加算力问题不大。

a010301208

Leciel 发表于 2025-5-26 12:33
https://github.com/neuratech-ai/ComfyUI-MultiGPU
当然，叠加算力是没有的。

首先你因该亲自试一下实际生成效果

然后这个工作流插件根本不能支持视频模型

enolc

ykdo 发表于 2025-5-26 11:59
尽量最新架构，16G显存，可选5060 16G版
不要考虑70B这种，学习么14B模型足够了 ...

5090单卡都搞不定70b

Leciel

a010301208 发表于 2025-5-26 12:40
首先你因该亲自试一下实际生成效果

然后这个工作流插件根本不能支持视频模型 ...

有空多看看attention的算法，比如说flash attention(tiling, paritioning)。

training -> forward & backward pass
inference -> forward pass only

只有training的叠加算力，没有inference的叠加算力这种观点就让我觉得非常奇怪。

l0stc0mpass

4090 48G 是不是必须是某个特定的驱动才行？还是说完全和正常卡一样用，随便升级驱动、cuda什么的。

jcd_chh

都写入门了还会有3这个方案？何苦和ROCm较劲
性价比最高的应该是1，但是理论上老黄随时可以堵死(虽然实际这么干概率比较小)，5090是比较稳定的选择吧

jcd_chh

8700g装独显PCIe是最高X8吗？

平安是福

Leciel 发表于 2025-5-26 12:33
https://github.com/neuratech-ai/ComfyUI-MultiGPU
当然，叠加算力是没有的。

单个流程还是不能乱序执行吧，只是可以同时进行。典型图生图工作流是先vae编码图片，在采样，最后vae解码，生成图片。只是说可以在工作流1采样的时候，直接进行工作流2的vae编码，clip

平安是福

a010301208 发表于 2025-5-26 13:04
算了我估计你也不了解视频生成原理，我就稍微解释下。

视频生成本质是逐帧递推的过程，每一帧依赖于前面 ...

有点疑惑，拿老黄的多帧生成来举例，他怎么靠1帧推出来3帧的

a010301208

平安是福 发表于 2025-5-26 13:19
有点疑惑，拿老黄的多帧生成来举例，他怎么靠1帧推出来3帧的

你说DLSS？这个也是你单显卡完成的，一帧多帧，是你的显卡瞬间连续跑了几帧数，显卡看到游戏引擎第1帧，然后瞬间脑补出第2帧，然后通过第2帧脑补出第3帧，是一个连续的过程只不过因为速度很快，所以你一下子看到了好几帧，感觉流畅了

yakeyyy

一般来说，入门学习16g就够了，现在的许多模型对显存有优化，不是几年前动不动就爆显存

大显存一般是ai推理和炼丹使用的。

个人建议，5070ti或4080s就够了，你的这三个选择有钱随意，偏绘图选4090 48g，偏文字推理amd ai 395max。

Oxyer

入门都这么高配置了吗？

平安是福

a010301208 发表于 2025-5-26 13:37
你说DLSS？这个也是你单显卡完成的，一帧多帧，是你的显卡瞬间连续跑了几帧数，显卡看到游戏引擎第1帧， ...

我记得以前有一种说法是，50系有独有的功能元件用来给这些生成的帧进行重排序，40系和30系没有所以不能多帧生成这个只是老黄的借口吧

a010301208

平安是福 发表于 2025-5-26 13:39
我记得以前有一种说法是，50系有独有的功能元件用来给这些生成的帧进行重排序，40系和30系没有所以不能多 ...

这个不确定，不过针对50系优化肯定是有的，本质就是一个AI模型

平安是福

a010301208 发表于 2025-5-26 13:42
这个不确定，不过针对50系优化肯定是有的，本质就是一个AI模型

就是说那三帧都是根据一帧推理的，而不是连续推理，所以需要硬件重排序帧

zhuifeng88

a010301208 发表于 2025-5-26 12:19
如果你指的是多显存算力叠加生成视频，那我可以告诉你是不能的，不然以那些在线视频平台的算力，根本不需 ...

是什么使你以为不能的...
哪怕你要开箱即用的傻瓜框架都是有的, 比如
https://github.com/xdit-project/ ... ormance/latte_zh.md
https://github.com/xdit-project/ ... nce/hunyuanvideo.md

a010301208

zhuifeng88 发表于 2025-5-26 13:59
是什么使你以为不能的...
哪怕你要开箱即用的傻瓜框架都是有的, 比如
https://github.com/xdit-project/x ...

所以我问你8个月过去了，有开发出来吗？

zhuifeng88

a010301208 发表于 2025-5-26 14:02
所以我问你8个月过去了，有开发出来吗？

repo内容现成可用的你问8个月过去了开发出来了没要不要想想你在说什么

a010301208

平安是福 发表于 2025-5-26 13:44
就是说那三帧都是根据一帧推理的，而不是连续推理，所以需要硬件重排序帧 ...

三帧都是根据一帧推理的只要模型够聪明是可行的，至于重排序帧是不是一定要50系，我只能说因该不是的，主要还是看他这个模型的算法

8owd8wan

Oxyer 发表于 2025-5-26 13:38
入门都这么高配置了吗？

不然呢？
现在又不是手搓CNN识别MNIST的玩具时代，普通双核CPU就能搞。

以前新手女大学生买车上路，买个1.4自吸+CVT。现在都动辄Model3，Su7，0百6s
年代不一样，入门的门槛，也不一样。

平安是福

a010301208 发表于 2025-5-26 14:11
支持的全是图片模型，甚至HUNYUAN也只支持图片不支持VIDEO，你说开发出来了？所以他这1年干什么去了？

...

能讲讲flux这个多卡加速是怎么达成的吗？针对clip+t5和降噪部分 分开来多卡加载还在可以吧降噪部分多卡加载

平安是福

zhuifeng88 发表于 2025-5-26 14:03
repo内容现成可用的你问8个月过去了开发出来了没要不要想想你在说什么

能讲讲flux这个多卡加速是怎么达成的吗？针对clip+t5和降噪部分 分开来多卡加载还在可以吧降噪部分多卡加载

zhuifeng88

a010301208 发表于 2025-5-26 14:11
支持的全是图片模型，甚至HUNYUAN也只支持图片不支持VIDEO，你说开发出来了？所以他这1年干什么去了？

...

? 大半video模型你在说什么...