平安是福 发表于 2025-5-26 14:16
能讲讲flux这个多卡加速是怎么达成的吗？针对clip+t5和降噪部分 分开来多卡加载还在可以吧降噪部分多卡加 ...
flux是usp+pipe fusion+vae tp
具体做法
https://arxiv.org/abs/2405.07719
https://arxiv.org/abs/2405.14430
https://github.com/xdit-project/DistVAE
先在线买个100块看你用不用得到
群里见到两个买4090 48g后续发现5070ti都足够了
zhuifeng88 发表于 2025-5-26 14:17
? 大半video模型你在说什么...
之前没注意是旧页面，我去看一下
zhuifeng88 发表于 2025-5-26 14:17
? 大半video模型你在说什么...
目前看来虽然还不完美但是确实不错可以用，非常感谢，今天有得玩了[偷笑]
zhuifeng88 发表于 2025-5-26 14:20
flux是usp+pipe fusion+vae tp
具体做法
https://arxiv.org/abs/2405.07719
看了看楼上发的图片，pipeFusion那一行不是打X了吗，现在支持了吗[困惑]
平安是福 发表于 2025-5-26 14:34
看了看楼上发的图片，pipeFusion那一行不是打X了吗，现在支持了吗
早支持了啊, 都去年10月的事了
zhuifeng88 发表于 2025-5-26 14:40
早支持了啊, 都去年10月的事了
还没看呢，具体效率怎么样[困惑]comfyui有原生节点支持吗
魔改2080ti
本帖最后由 a010301208 于 2025-5-26 15:03 编辑
平安是福 发表于 2025-5-26 14:47
还没看呢，具体效率怎么样comfyui有原生节点支持吗
之前看了下comfyui有工作流视频，不过我还没弄，这边有个混元官方支持的他的，之前我怎么没发现[偷笑]
https://github.com/Tencent-Hunyuan/HunyuanVideo?tab=readme-ov-file#-parallel-inference-on-multiple-gpus-by-xdit
楼主是怎么个入门学习法，是编程做训练理解各类算法原理，还是用现成软件跑下生图生文感受下。
前者搞这么大显存基本就是浪费的，我要是家长，孩子有这个诉求是好事，整个8GB显存的n卡，能编程把这个卡的显存、GPU占用率都搞到8-90%，搞不到说明没搞懂，等出徒了再继续投入配高端的gpu不迟。
租服务器吧，除非工作/学习要用，否则大部分人200块钱服务器都用不完就弃了，不值得为这事投几万
入门，我觉得Tesla P4 T4比较合适
a010301208 发表于 2025-5-26 15:02
之前看了下comfyui有工作流视频，不过我还没弄，这边有个混元官方支持的他的，之前我怎么没发现
https:/ ...
这个双卡加速居然1+1大于2了，这个是纯扩散部分，还是包含clip语意编码向量+vae编解码的
8owd8wan 发表于 2025-5-26 14:09
不然呢？
现在又不是手搓CNN识别MNIST的玩具时代，普通双核CPU就能搞。
我感觉有点成本高，尤其是如果玩玩的心态的话，挣钱就另说了
a010301208 发表于 2025-5-26 10:39
贵了，A100，2块3一小时，量大优惠，而且这只是正常价格，没算上用特殊手段薅羊毛
...
这是哪里，我挺感兴趣玩儿一下的。
买2-3个涡轮显卡插一起
Oxyer 发表于 2025-5-26 17:17
我感觉有点成本高，尤其是如果玩玩的心态的话，挣钱就另说了
如果是学生，学习一下也挺好
秦南瓜 发表于 2025-5-26 09:28
需求太模糊了。推理还是训练？
主要是推理， 包括但不限于， LLM ，SD，文本到视频， 视频到视频等， 当然也有可能跑传统的视觉识别，比如OCR， YOLO等
awpak78 发表于 2025-5-26 10:16
打游戏就打游戏
学AI这种借口骗骗父母和导师就行了，没必要拿到chh来骗哥们
那个平台说一下？
awpak78 发表于 2025-5-26 10:16
打游戏就打游戏
学AI这种借口骗骗父母和导师就行了，没必要拿到chh来骗哥们
都毕业好久了，
不知道是那个平台这么便宜？
a010301208 发表于 2025-5-26 10:39
贵了，A100，2块3一小时，量大优惠，而且这只是正常价格，没算上用特殊手段薅羊毛
...
什么平台？
gmlee1999 发表于 2025-5-26 10:48
入门推荐406016G，省钱。
4060 不是只有8G的吗？
ADA架构起步，量化支持有保障，预算少16G单卡，预算多自己看着办，显存容量是刚需越大越好！
ykdo 发表于 2025-5-26 11:59
尽量最新架构，16G显存，可选5060 16G版
不要考虑70B这种，学习么14B模型足够了 ...
不会用那么大的，但是，可能运行多个模型，所以也要求显存大。
40系 4090d 或者非d都行，48g改和不改也都行。
50存在适配问题，40很成熟。
大量的教程、example都是以24G为目标去设计的，基本有24G卡绝大部分教程都能跑起来。
与租gpu的区别是，租的钱是消费了，自己买是持有金融产品。
raiya 发表于 2025-5-26 12:10
16G显存 N卡 40 50都行，试试。差别无非就是设置低一些。你先跑跑，觉得有必要了再去换大显卡。
40 50的显 ...
主要是想试试 多模态和视觉生成模型，比较吃显存
jcd_chh 发表于 2025-5-26 13:12
8700g装独显PCIe是最高X8吗？
确实。。[流汗]
当时是打算弄个电脑当主力机的， 结果弄得这种配置。。
现在想跑多个 模型比较话，都会卡。。
mdeu 发表于 2025-5-26 14:20
先在线买个100块看你用不用得到
群里见到两个买4090 48g后续发现5070ti都足够了
可以考虑，不过长期租，也不便宜， 一年下来接近2W，
mythgo 发表于 2025-5-26 20:20
40系 4090d 或者非d都行，48g改和不改也都行。
50存在适配问题，40很成熟。
大量的教程、example都是以24G ...
50适配是个问题，但不算大问题。 大问题是， 故障麻烦，官方维修都能坑。。
显存容量不是问题，就算24G满了，不是还可以在运行别的模型
gyc 发表于 2025-5-26 09:11
你说是 SD生成图片吗？ 不过可能会尝试用用 图到视频，视频到视频的模型玩玩。。（话说这模型真是越来 ...
sd的首选肯定n卡