AI作画版本答案，可以姿态干预的ControlNet动漫版手把手教程

hemlock

feimiao 发表于 2023-2-21 14:24
使用下面的命令运行ControlNet的pose2image功能。

```

control_sd15_openpose.pth
你要去下载这个模型，楼主已经给了下载的网址，你仔细找找

我輩樹である

feimiao 发表于 2023-2-21 14:24
使用下面的命令运行ControlNet的pose2image功能。

```

把这个模型下载了，放到models目录里面。

https://huggingface.co/lllyasvie ... l_sd15_openpose.pth

finished

三次元能不能训练啊

ywm4125

留个脚印，感谢分享，回去试试

feimiao

我輩樹である 发表于 2023-2-21 14:58
把这个模型下载了，放到models目录里面。

https://huggingface.co/lllyasviel/ControlNet/resolve/main/ ...

感谢 马上下

manysu

liangqian 发表于 2023-2-21 12:34
tomshardware上月的测试数据

感谢提供，没想到7900系列居然不错啊~

feimiao

hemlock 发表于 2023-2-21 14:58
control_sd15_openpose.pth
你要去下载这个模型，楼主已经给了下载的网址，你仔细找找 ...

感谢哈哈 才看到
出现这个 没有看到反馈网址 改成127.0.0.1

这个是要等待么 哈哈哈 问题太多了 第一次玩

hemlock

feimiao 发表于 2023-2-21 15:54
感谢哈哈 才看到
出现这个 没有看到反馈网址 改成127.0.0.1

已经成功了啊 直接127.0.0.1:7860

feimiao

hemlock 发表于 2023-2-21 15:58
已经成功了啊 直接127.0.0.1:7860

哈哈哈哈 感谢 我去搞搞

kingw12

那么现在A卡可以渲染了吗

我輩樹である

finished 发表于 2023-2-21 15:01
三次元能不能训练啊

可以transfer自己的模型，但显然超出了这个帖子的范畴。

feimiao

不好意思 小白还有个问题

代码都反复看了 就剩下一个小问题 其他都修改了

如下
。。。。。。。。。。。。。。。。。。。。

2，在```model = create_model('./models/cldm_v15.yaml').cpu()```下面修改：

```
# 上面是写实模型，下面是动漫模型，可以通过追加或删除代码前端的 # 符号调整
# model.load_state_dict(load_state_dict('./models/control_sd15_openpose.pth', location='cuda'))
model.load_state_dict(load_state_dict('./models/control_any3_openpose.pth', location='cpu'))


我代码是这个

是在前面加#号 还是替换  

有点没看懂囧

我輩樹である

kingw12 发表于 2023-2-21 16:11
那么现在A卡可以渲染了吗

理论上支持，要换torch版本。比较折腾。

feimiao

kingw12 发表于 2023-2-21 16:11
那么现在A卡可以渲染了吗

好像很麻烦 还不行 我都加了一块12G 3060来玩

我輩樹である

feimiao 发表于 2023-2-21 16:14
不好意思 小白还有个问题

代码都反复看了 就剩下一个小问题 其他都修改了

你有下载动漫风格的模型么？感觉没下啊。

#就是注释的符号，哪行有这个，哪行就被注释掉了。去掉代表启用这一行代码。

feimiao

我輩樹である 发表于 2023-2-21 16:16
你有下载动漫风格的模型么？感觉没下啊。

#就是注释的符号，哪行有这个，哪行就被注释掉了。去掉代表启 ...

好嘞 下了的 ok 明白了

liangqian

manysu 发表于 2023-2-21 15:46
感谢提供，没想到7900系列居然不错啊~

但是amd的卡只能在linux下跑，很多新特性不一定兼容，tom家好像在用7900跑大图时候就遇到问题了

feimiao

试了  就是12G 3060也提示显存不够 只有改成ture
然后好像图稍微小了点 都是后期插值农大么

我輩樹である

feimiao 发表于 2023-2-21 18:44
试了  就是12G 3060也提示显存不够 只有改成ture
然后好像图稍微小了点 都是后期插值农大么 ...

有选项可以自己调分辨率。

杰迪武士

为啥我一run，右边一小会儿就显示error

我輩樹である

杰迪武士 发表于 2023-2-23 21:06
为啥我一run，右边一小会儿就显示error

切回命令行，把错误贴上来看看，八成是爆了显存。

suicaoya123

你controlnet的 mlsd有用么？我的试了不能出线稿。求试一下。

杰迪武士

我輩樹である 发表于 2023-2-23 21:17
切回命令行，把错误贴上来看看，八成是爆了显存。

对的对的，感谢树导回复，就是爆显存了

我现在出的图都不知道是什么妖魔鬼怪，相当克鲁苏

anishieh`

这个分辨率最高只能768，那些更高分辨率的一般是哪个框架做的啊

我輩樹である

anishieh` 发表于 2023-2-24 00:28
这个分辨率最高只能768，那些更高分辨率的一般是哪个框架做的啊

只是界面的限制，可以如下改一下：

gradio_pose2image.py文件的89行左右：

1. 
   
2. image_resolution = gr.Slider(label="Image Resolution", minimum=256, maximum=<这里改成你想要的大小>, value=512, step=256)
   

复制代码

当然如果分辨率太大，可能会崩。

建议打开xformers加速。方法是用下面的environment.yaml构建环境。
仅测试了pose2image，如果你要用别的ControlNet功能慎用：

1. 
   
2. name: control
   
3. channels:
   
4.   - pytorch
   
5.   - nvidia
   
6.   - defaults
   
7. dependencies:
   
8.   - python=3.8.10
   
9.   - pip
   
10.   - pytorch=1.13.1
    
11.   - torchvision
    
12.   - numpy=1.23.1
    
13.   - pytorch-cuda=11.7
    
14.   - pip:
    
15.       - -i https://pypi.tuna.tsinghua.edu.cn/simple
    
16.       - gradio==3.16.2
    
17.       - albumentations==1.3.0
    
18.       - opencv-contrib-python==4.3.0.36
    
19.       - imageio==2.9.0
    
20.       - imageio-ffmpeg==0.4.2
    
21.       - pytorch-lightning==1.5.0
    
22.       - omegaconf==2.1.1
    
23.       - test-tube>=0.7.5
    
24.       - streamlit==1.12.1
    
25.       - einops==0.3.0
    
26.       - transformers==4.19.2
    
27.       - webdataset==0.2.5
    
28.       - kornia==0.6
    
29.       - open_clip_torch==2.0.2
    
30.       - invisible-watermark>=0.1.5
    
31.       - streamlit-drawable-canvas==0.8.0
    
32.       - torchmetrics==0.6.0
    
33.       - timm==0.6.12
    
34.       - addict==2.4.0
    
35.       - yapf==0.32.0
    
36.       - prettytable==3.6.0
    
37.       - safetensors==0.2.7
    
38.       - basicsr==1.4.2
    
39.       - xformers
    

复制代码

叶子烟

liangqian 发表于 2023-2-21 12:34
tomshardware上月的测试数据

A卡现在主要还是得在linux下跑吧？

raiya

还是画出来比较走形啊。

把上述的操作流程简单的解释一下。

1，安装以后在程序那里，有几个和CMD很像的powershell，命令也差不多，你也可以在cmd里面大命令。
2，运行环境，base和control，需要用命令查看一下
比如说 conda info --envs，就能看到，对应的
base            
control
后面有个地址。
然后打命令 conda activate +那个地址，就能切换到运行环境。

3，打python 某某某2img.py的时候，梯子之类有网络代理的工具要关了，否则会出错。之前的下载之类的也需要关掉。

最后生成一个127.0.0.1：端口的网址，用浏览器访问这个网址就行了。等于你自己架设了一个服务器，自己访问。你如果换了一个模型运行，这网页刷新下就行了。

十年一刻

先mark一个 有空试试