找回密码
 加入我们
搜索
      

[软件] AI作画版本答案,可以姿态干预的ControlNet动漫版手把手教程

  [复制链接]
发表于 2023-2-19 23:32 | 显示全部楼层
xeon13 发表于 2023-2-19 22:43
单说30到40的提升理论上应该巨大,因为40系的TensorCore支持Transformer Engine,可以自适应最优的计算精 ...

那比如3060 12G和3080ti 12G对比能提升多少速度呢?和CUDA数是否成正比?
我只大致了解显存越大,训练或生成的图片精度可以设置越高。
发表于 2023-2-20 10:42 | 显示全部楼层
我輩樹である 发表于 2023-2-19 22:32
下载慢的话,可以打开https://huggingface.co/lllyasviel/ControlNet/tree/main这个网址,然后进入各个目 ...

感谢 按照回复已经用工具下了
发表于 2023-2-20 13:57 | 显示全部楼层
manysu 发表于 2023-2-19 23:32
那比如3060 12G和3080ti 12G对比能提升多少速度呢?和CUDA数是否成正比?
我只大致了解显存越大,训练或 ...

做个不精准的估算,这两者性能差距大概是3080ti和3060 12GB的显存带宽比(912 vs 360)和这吐舌量算力比( 34.10 vs 12.74) 中比较大的那一个, 大概是2.5,2.6倍这样,不过只是大概估算。
发表于 2023-2-20 14:24 来自手机 | 显示全部楼层
manysu 发表于 2023-2-19 23:32
那比如3060 12G和3080ti 12G对比能提升多少速度呢?和CUDA数是否成正比?
我只大致了解显存越大,训练或 ...

1676874237609.jpg zsbd
发表于 2023-2-20 14:25 来自手机 | 显示全部楼层
xeon13 发表于 2023-2-19 22:43
单说30到40的提升理论上应该巨大,因为40系的TensorCore支持Transformer Engine,可以自适应最优的计算精 ...

消费级的卡把这玩意阉了
发表于 2023-2-20 14:35 | 显示全部楼层
welsmann 发表于 2023-2-18 00:53
小贴士:用webui的插件版本的话,功能更花里胡哨,可玩点更多。
直接extension里面找controlNET,然后intst ...

mark 一下, 尝试看看
发表于 2023-2-20 14:49 | 显示全部楼层
这个核显没法玩吧?收藏贴子看下买显卡选择哪款比较好
发表于 2023-2-20 15:49 | 显示全部楼层
啥时候能把手画对
发表于 2023-2-20 16:47 | 显示全部楼层
yangzi123aaa20 发表于 2023-2-20 14:25
消费级的卡把这玩意阉了

并不是不可能
发表于 2023-2-20 18:39 | 显示全部楼层

感谢提供,不过这个数据有点早了,不知道近期跑SD方面的测试数据有吗?
发表于 2023-2-20 18:48 | 显示全部楼层
看来以后显卡benchmark多了几个新项目了
发表于 2023-2-20 19:23 | 显示全部楼层

你看楼主发帖记录里面有,他已经测试过了,只有hopper能用
发表于 2023-2-20 20:38 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
 楼主| 发表于 2023-2-20 21:09 | 显示全部楼层
我永远喜欢框框 发表于 2023-2-20 20:38
麻了 直接卡第一步 ···
Invoke-Expression : 无法将参数绑定到参数“Command”,因为该参数为空字符串。 ...

这我还是第一次遇到。。。
发表于 2023-2-21 10:55 | 显示全部楼层
老哥出现这个问题 怎么解决
RuntimeError: CUDA out of memory. Tried to allocate 58.00 MiB (GPU 0; 6.00 GiB total capacity; 5.16 GiB already allocated; 0 bytes free; 5.26 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation.  See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

CUDA内存不足。尝试分配58.00 MiB(GPU 0;总容量6.00 GiB;已分配5.16 GiB;空闲0字节;PyTorch总共保留5.26 GiB)如果保留的内存>>分配的内存,请尝试设置max_split_size_mb以避免碎片。有关内存管理和PYTORCH_CUDA_ALLOC_CONF的文档,请参见文档。
 楼主| 发表于 2023-2-21 10:57 | 显示全部楼层
hemlock 发表于 2023-2-21 10:55
老哥出现这个问题 怎么解决
RuntimeError: CUDA out of memory. Tried to allocate 58.00 MiB (GPU 0; 6.00 ...

改为低内存模式,文中有描述。
发表于 2023-2-21 11:00 | 显示全部楼层
发表于 2023-2-21 11:01 | 显示全部楼层
我輩樹である 发表于 2023-2-21 10:57
改为低内存模式,文中有描述。

我改了,save_memory = True
但是,运行python gradio_pose2image.py,还是会出现这个提示
发表于 2023-2-21 11:01 | 显示全部楼层
我手上现在闲置的卡有3080Ti和4090,纯跑图玩树导建议用哪张?
 楼主| 发表于 2023-2-21 11:03 | 显示全部楼层
hemlock 发表于 2023-2-21 11:01
我改了,save_memory = True
但是,运行python gradio_pose2image.py,还是会出现这个提示 ...

运行就出错么?应该是显存被别的进程占用了。
 楼主| 发表于 2023-2-21 11:06 | 显示全部楼层
BFG9K 发表于 2023-2-21 11:01
我手上现在闲置的卡有3080Ti和4090,纯跑图玩树导建议用哪张?

当然是4090,不过3080ti应该也没啥区别,这例里面的模型都是fp32的。
发表于 2023-2-21 11:07 | 显示全部楼层
昨天研究下了control net 感觉骨架精度太低了 不能判断人物朝向和前后关系

有个网站可以 自己拖动木偶摆姿势 生成图片 和包含姿态坐标的json 如果可以导入坐标文件就好了
发表于 2023-2-21 11:09 | 显示全部楼层
我輩樹である 发表于 2023-2-21 11:03
运行就出错么?应该是显存被别的进程占用了。

我一开始也是这么认为的 然后我就把电脑重启了  开机就开始跑  还是这个提示  人麻了,另外想请教下
在from share import *的下面添加
在model = create_model('./models/cldm_v15.yaml').cpu()下面修改

这两行代码,是在哪个文件
发表于 2023-2-21 11:14 | 显示全部楼层
没有显卡,先拿cpu硬怼
发表于 2023-2-21 11:16 | 显示全部楼层
我輩樹である 发表于 2023-2-21 11:06
当然是4090,不过3080ti应该也没啥区别,这例里面的模型都是fp32的。

那我用3080Ti跑了,我3080Ti是标准双槽双8PIN的,兼容性比4090好点
 楼主| 发表于 2023-2-21 11:16 | 显示全部楼层
本帖最后由 我輩樹である 于 2023-2-21 11:18 编辑
cloud 发表于 2023-2-21 11:07
昨天研究下了control net 感觉骨架精度太低了 不能判断人物朝向和前后关系

有个网站可以 自己拖动木偶摆 ...


近期有一些研究进展,包括导入深度图,导入肢体区分图来指导生成。

https://replicate.com/jagilley/controlnet-depth2img
 楼主| 发表于 2023-2-21 11:16 | 显示全部楼层
本帖最后由 我輩樹である 于 2023-2-21 11:23 编辑
hemlock 发表于 2023-2-21 11:09
我一开始也是这么认为的 然后我就把电脑重启了  开机就开始跑  还是这个提示  人麻了,另外想请教下
在fr ...


gradio_pose2image.py文件。

* 1,在```from share import *```的下面添加:

```
from cldm.hack import hack_everything
hack_everything(clip_skip=2)
```

记得也要加。
发表于 2023-2-21 12:01 | 显示全部楼层
现在可以手动控制增加肢体了
发表于 2023-2-21 12:34 来自手机 | 显示全部楼层
manysu 发表于 2023-2-20 18:39
感谢提供,不过这个数据有点早了,不知道近期跑SD方面的测试数据有吗?

tomshardware上月的测试数据
www.tomshardware.com_iURJZGwQMZnVBqnocbkqPa-970-80.png

https://www.tomshardware.com/news/stable-diffusion-gpu-benchmarks
发表于 2023-2-21 14:24 | 显示全部楼层
hemlock 发表于 2023-2-21 11:01
我改了,save_memory = True
但是,运行python gradio_pose2image.py,还是会出现这个提示 ...

使用下面的命令运行ControlNet的pose2image功能。

```
python gradio_pose2image.py
```

等待初始化完成后,命令行将回馈一个网址,将其中的```0.0.0.0```改为```127.0.0.1```并使用浏览器打开。

--------------------------------------

这一步

出现

(control) PS C:\Users\feimiao\controlnet> python gradio_pose2image.py
logging improved.
cuda
cuda
No module 'xformers'. Proceeding without it.
ControlLDM: Running in eps-prediction mode
DiffusionWrapper has 859.52 M params.
making attention of type 'vanilla' with 512 in_channels
Working with z of shape (1, 4, 32, 32) = 4096 dimensions.
making attention of type 'vanilla' with 512 in_channels
Loaded model config from [./models/cldm_v15.yaml]
Traceback (most recent call last):
  File "gradio_pose2image.py", line 21, in <module>
    model.load_state_dict(load_state_dict('./models/control_sd15_openpose.pth', location='cuda'))
  File "C:\Users\feimiao\controlnet\cldm\model.py", line 18, in load_state_dict
    state_dict = get_state_dict(torch.load(ckpt_path, map_location=torch.device(location)))
  File "C:\Users\feimiao\.conda\envs\control\lib\site-packages\torch\serialization.py", line 699, in load
    with _open_file_like(f, 'rb') as opened_file:
  File "C:\Users\feimiao\.conda\envs\control\lib\site-packages\torch\serialization.py", line 230, in _open_file_like
    return _open_file(name_or_buffer, mode)
  File "C:\Users\feimiao\.conda\envs\control\lib\site-packages\torch\serialization.py", line 211, in __init__
    super(_open_file, self).__init__(open(name, mode))
FileNotFoundError: [Errno 2] No such file or directory: './models/control_sd15_openpose.pth'

请问是哪里有问题哈哈哈 快到最后一步了
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2024-5-19 18:21 , Processed in 0.014978 second(s), 6 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表