williamqh 发表于 2025-5-26 11:32
这价确实让本地跑AI的借口不成立了，哈哈哈哈
[偷笑]
不知道入门是啥概念，我学习minst手写数字识别用的是笔记本1050显卡。
尽量最新架构，16G显存，可选5060 16G版
不要考虑70B这种，学习么14B模型足够了
a010301208 发表于 2025-5-26 11:37
训练可以多卡，生成只能单卡
生成也可以多卡，不过这就不是入门级的要求了。
16G显存 N卡 40 50都行，试试。差别无非就是设置低一些。你先跑跑，觉得有必要了再去换大显卡。
40 50的显卡卖掉再买一个损失不了几个钱。但是没搞清楚怎么回事儿就花几万，操作起来风险大。
推荐租算力，1000块钱能玩到你不想学了，用完1000块钱你还有兴趣再买吧[偷笑]
本帖最后由 a010301208 于 2025-5-26 15:20 编辑
Leciel 发表于 2025-5-26 12:10
生成也可以多卡，不过这就不是入门级的要求了。
之前有误，这个项目确实可以部分实现多卡推理视频，感谢下面楼层提供的
https://github.com/xdit-project/xDiT
https://github.com/Tencent-Hunyuan/HunyuanVideo?tab=readme-ov-file#-parallel-inference-on-multiple-gpus-by-xdit
a010301208 发表于 2025-5-26 12:19
如果你指的是多显存算力叠加生成视频，那我可以告诉你是不能的，不然以那些在线视频平台的算力，根本不需 ...
https://github.com/neuratech-ai/ComfyUI-MultiGPU
当然，叠加算力是没有的。
CLIP, VAE -> GPU1
KSampling -> GPU2
工作流对多gpu的支持很早就有了。不同的节点使用不同的gpu高效协同工作。
Cuda/ROCm的库也有多卡同时inference的支持。叠加算力不太清楚，但是共享显存一定有的。根据我对flash attention 2算法的理解，叠加算力问题不大。
Leciel 发表于 2025-5-26 12:33
https://github.com/neuratech-ai/ComfyUI-MultiGPU
当然，叠加算力是没有的。
首先你因该亲自试一下实际生成效果
然后这个工作流插件根本不能支持视频模型[偷笑]
ykdo 发表于 2025-5-26 11:59
尽量最新架构，16G显存，可选5060 16G版
不要考虑70B这种，学习么14B模型足够了 ...
5090单卡都搞不定70b[傻笑]
a010301208 发表于 2025-5-26 12:40
首先你因该亲自试一下实际生成效果
然后这个工作流插件根本不能支持视频模型 ...
有空多看看attention的算法，比如说flash attention(tiling, paritioning)。
training -> forward & backward pass
inference -> forward pass only
只有training的叠加算力，没有inference的叠加算力这种观点就让我觉得非常奇怪。
4090 48G 是不是必须是某个特定的驱动才行？还是说完全和正常卡一样用，随便升级驱动、cuda什么的。
都写入门了还会有3这个方案？何苦和ROCm较劲
性价比最高的应该是1，但是理论上老黄随时可以堵死(虽然实际这么干概率比较小)，5090是比较稳定的选择吧
8700g装独显PCIe是最高X8吗？
Leciel 发表于 2025-5-26 12:33
https://github.com/neuratech-ai/ComfyUI-MultiGPU
当然，叠加算力是没有的。
单个流程还是不能乱序执行吧，只是可以同时进行。典型图生图工作流是先vae编码图片，在采样，最后vae解码，生成图片。只是说可以在工作流1采样的时候，直接进行工作流2的vae编码，clip
a010301208 发表于 2025-5-26 13:04
算了我估计你也不了解视频生成原理，我就稍微解释下。
视频生成本质是逐帧递推的过程，每一帧依赖于前面 ...
有点疑惑，拿老黄的多帧生成来举例，他怎么靠1帧推出来3帧的
平安是福 发表于 2025-5-26 13:19
有点疑惑，拿老黄的多帧生成来举例，他怎么靠1帧推出来3帧的
你说DLSS？这个也是你单显卡完成的，一帧多帧，是你的显卡瞬间连续跑了几帧数，显卡看到游戏引擎第1帧，然后瞬间脑补出第2帧，然后通过第2帧脑补出第3帧，是一个连续的过程只不过因为速度很快，所以你一下子看到了好几帧，感觉流畅了[偷笑]
一般来说，入门学习16g就够了，现在的许多模型对显存有优化，不是几年前动不动就爆显存
大显存一般是ai推理和炼丹使用的。
个人建议，5070ti或4080s就够了，你的这三个选择有钱随意，偏绘图选4090 48g，偏文字推理amd ai 395max。
入门都这么高配置了吗？
a010301208 发表于 2025-5-26 13:37
你说DLSS？这个也是你单显卡完成的，一帧多帧，是你的显卡瞬间连续跑了几帧数，显卡看到游戏引擎第1帧， ...
我记得以前有一种说法是，50系有独有的功能元件用来给这些生成的帧进行重排序，40系和30系没有所以不能多帧生成[偷笑]这个只是老黄的借口吧
平安是福 发表于 2025-5-26 13:39
我记得以前有一种说法是，50系有独有的功能元件用来给这些生成的帧进行重排序，40系和30系没有所以不能多 ...
这个不确定，不过针对50系优化肯定是有的，本质就是一个AI模型[偷笑]
a010301208 发表于 2025-5-26 13:42
这个不确定，不过针对50系优化肯定是有的，本质就是一个AI模型
就是说那三帧都是根据一帧推理的，而不是连续推理，所以需要硬件重排序帧[偷笑]
本帖最后由 zhuifeng88 于 2025-5-26 14:02 编辑
a010301208 发表于 2025-5-26 12:19
如果你指的是多显存算力叠加生成视频，那我可以告诉你是不能的，不然以那些在线视频平台的算力，根本不需 ...
是什么使你以为不能的...
哪怕你要开箱即用的傻瓜框架都是有的, 比如
https://github.com/xdit-project/xDiT/blob/main/docs/performance/latte_zh.md
https://github.com/xdit-project/xDiT/blob/main/docs/performance/hunyuanvideo.md
zhuifeng88 发表于 2025-5-26 13:59
是什么使你以为不能的...
哪怕你要开箱即用的傻瓜框架都是有的, 比如
https://github.com/xdit-project/x ...
所以我问你8个月过去了，有开发出来吗？
a010301208 发表于 2025-5-26 14:02
所以我问你8个月过去了，有开发出来吗？
repo内容现成可用的你问8个月过去了开发出来了没要不要想想你在说什么
平安是福 发表于 2025-5-26 13:44
就是说那三帧都是根据一帧推理的，而不是连续推理，所以需要硬件重排序帧 ...
三帧都是根据一帧推理的只要模型够聪明是可行的，至于重排序帧是不是一定要50系，我只能说因该不是的，主要还是看他这个模型的算法
Oxyer 发表于 2025-5-26 13:38
入门都这么高配置了吗？
不然呢？
现在又不是手搓CNN识别MNIST的玩具时代，普通双核CPU就能搞。
以前新手女大学生买车上路，买个1.4自吸+CVT。现在都动辄Model3，Su7，0百6s
年代不一样，入门的门槛，也不一样。
a010301208 发表于 2025-5-26 14:11
支持的全是图片模型，甚至HUNYUAN也只支持图片不支持VIDEO，你说开发出来了？所以他这1年干什么去了？
...
能讲讲flux这个多卡加速是怎么达成的吗？针对clip+t5和降噪部分 分开来多卡加载还在可以吧降噪部分多卡加载
zhuifeng88 发表于 2025-5-26 14:03
repo内容现成可用的你问8个月过去了开发出来了没要不要想想你在说什么
能讲讲flux这个多卡加速是怎么达成的吗？针对clip+t5和降噪部分 分开来多卡加载还在可以吧降噪部分多卡加载
a010301208 发表于 2025-5-26 14:11
支持的全是图片模型，甚至HUNYUAN也只支持图片不支持VIDEO，你说开发出来了？所以他这1年干什么去了？
...
? 大半video模型你在说什么...