Chiphell - 分享与交流用户体验

标题: 最近比较流行的AI瑟图制造机，但直到novelaileak才真正实用 [打印本页]

作者: 我輩樹である 时间: 2022-10-31 14:59
标题: 最近比较流行的AI瑟图制造机，但直到novelaileak才真正实用
本帖最后由我輩樹である于 2022-10-31 23:15 编辑

https://github.com/CompVis/stable-diffusion

它并没有界面，所以建议从带界面封装的开始：
https://github.com/AUTOMATIC1111/stable-diffusion-webui

安装的过程是极其简单的，当然了，阻碍你的还是国内对github的封锁。

如果你稍微了解过人工智能算法运行的流程，就知道模型必须要读入经过训练的参数（weights）才能运行（网络结构也稍有变化，下称模型）。

目前有几个模型可以使用：

1，stable-diffusion自己的模型，已经到了v1.4
https://huggingface.co/CompVis/stable-diffusion-v1-4

sd 1.5也出现了，有一段版权之争的小插曲，现在转到runway旗下发布：
https://huggingface.co/runwayml/stable-diffusion-v1-5

2，waifu-diffusion，目前v1.3
https://huggingface.co/hakurei/waifu-diffusion-v1-3

3，最强的novelai泄露模型，novelai在生产瑟图上遥遥领先其他人，它的泄露模型在AI小画家圈子里面是一段传说。这个大家自行检索吧，到处都有。
果然泄露的都是最强的。

目前stable diffusion因为不可言状的原因（danbooru啊sankaku啊什么的我完全不知道的领域啊），只有在二次元生成上独树一帜。其他风格的就只能先看看了。

作者: finished 时间: 2022-10-31 15:00
这干嘛的？我三次元的，跟我是不是关系不大？

作者: 蘭子・クリス 时间: 2022-10-31 15:00

已经玩腻了喵，差点因为8g卡跑不动7.5g的那个模型去买矿90，不过还是忍住了喵

作者: 让我静一会 时间: 2022-10-31 15:01

我巴不得把AI的tag屏蔽了

作者: 250909895 时间: 2022-10-31 15:01
典型，欲望才是推动科技进步的最大动力！！

作者: momo77989724 时间: 2022-10-31 15:04
好回去试试~

作者: uuyyhhjj 时间: 2022-10-31 15:10
这东西得有个好显卡，多迭代几次，其次别乱用别人的模型，有安全问题

作者: reinhard_x 时间: 2022-10-31 15:12
上个成品给大家开开眼啊LZ~~

作者: zzhfrank 时间: 2022-10-31 15:27
树导这几年发帖的风格怎么不一样了

作者: 我輩樹である 时间: 2022-10-31 15:31

zzhfrank 发表于 2022-10-31 15:27
树导这几年发帖的风格怎么不一样了

我是正人君子一般不会分享这种东西，主要还是报以科学的目的。

作者: lucksufe 时间: 2022-10-31 15:36
提示: 作者被禁止或删除内容自动屏蔽

作者: lucksufe 时间: 2022-10-31 15:37
提示: 作者被禁止或删除内容自动屏蔽

作者: 我輩樹である 时间: 2022-10-31 15:40

lucksufe 发表于 2022-10-31 15:36
直接用novel AI的模型效果也不好的，需要prompts里面加些东西，正面形容词里面加best quality, masterpiece ...

加太多了就等于是在检索danbooru了。

作者: ju0030 时间: 2022-10-31 16:02
GHS才是第一生产力!

作者: RMSMajestic 时间: 2022-10-31 16:18
提示: 作者被禁止或删除内容自动屏蔽

作者: BFG9K 时间: 2022-10-31 16:23
这个不是要一直喂素材才能越用越流畅吗？我只往里面喂我喜欢的几个画师是不是就全是那个风格的了

作者: Narumi 时间: 2022-10-31 16:25
本帖最后由 Narumi 于 2022-10-31 16:28 编辑

我已经玩了一个月了，不过迭代了新模型还是刚知道，一直在用novelaileak的模型，现在头像就是AI生成的，挺满意的。

作者: 2ndWeapon 时间: 2022-10-31 16:27
可以玩玩看

作者: xzzfft 时间: 2022-10-31 16:58
啥才是生产力，人的本能啊

作者: ghj 时间: 2022-10-31 17:08
啥时候ai可以生成瑟视频

作者: 我輩樹である 时间: 2022-10-31 17:25

ghj 发表于 2022-10-31 17:08
啥时候ai可以生成瑟视频

还真可以，自己搜索吧。

作者: aibo 时间: 2022-10-31 17:26
以后合格的lsp光靠高速魔法吟唱就能在脑内生成瑟图了

作者: 我輩樹である 时间: 2022-10-31 17:28

Narumi 发表于 2022-10-31 16:25
我已经玩了一个月了，不过迭代了新模型还是刚知道，一直在用novelaileak的模型，现在头像就是AI生成的，挺 ...

其实最强的还是novelaileak，sd迭代到1.4，但它是general purpose模型，用的话要调一下sampling method。wd的话，看不出有什么优势。

能把prompt玩转也是一门本事。

novelai说它有自己的特殊的调优方式，依我看就是偷偷用了那几个需要授权的画廊。大家都知道。

作者: Narumi 时间: 2022-10-31 17:30
本帖最后由 Narumi 于 2022-10-31 18:13 编辑

我輩樹である发表于 2022-10-31 17:28
其实最强的还是novelaileak，sd迭代到1.4，但它是general purpose模型，用的话要调一下sampling method。 ...

现在novelai本身的还在迭代，不知道什么时候还能再leak一次
哦顺便，把这个文档的链接补上去吧，想玩的话有这个excel很有用
https://docs.google.com/spreadsh ... /edit#gid=936298859

把我放到前排了我就补硬件相关几个心得和参考。
https://mirai.mamoe.net/topic/16 ... E8%BF%90%E8%A1%8C/2
教程之一↑
同样的预设（均无OC，过热降频，txt2img，内存均为32及以上，CPU无介入）：
1024*1024 迭代40 CFG:11 单次生成1
Tesla P4 8G GDDR5 02:58
RTX3060 12G GDDR6（七彩虹mini OC）00:56
RTX3080 12G GDDR6X（电竞叛客 X3W）00:30
RTX3090 24G GDDR6X（七彩虹火神）00:19

tip1：由于显卡在调用全部CUDA进行运算，如果你打算一边AI生成一边挂着干别的需要用到显卡的东西，哪怕是看视频都会造成生成时间大幅延长。
tip2：这个算法调用到AI Tensor，所以有无AI Tensor生成时间会大相径庭，未阉割tensor core的图灵（20系），安培（30系），ada（40系）在运算方面有很大优势

作者: 我輩樹である 时间: 2022-10-31 17:31
本帖最后由我輩樹である于 2022-10-31 23:15 编辑

共享一个元素法典：
https://docs.qq.com/doc/DWEpNdERNbnBRZWNL

在线瑟图生成器：
https://magic-generator.herokuapp.com/

作者: 叶子烟 时间: 2022-10-31 17:49
对于普通玩家直观感受cuda生产力，就是winows下可以ai画瑟图。。。

作者: mdeu 时间: 2022-10-31 18:02
本帖最后由 mdeu 于 2022-10-31 18:07 编辑

novelai那版月初就漏了，基本已经玩的差不多了，希望什么时候再漏一次

不过练pt 8g-10g都只能512x512，576x576勉强12g，640x640得要24g

作者: cyt0d01 时间: 2022-10-31 18:06
下载了，安装了，运行了，1.9G搞不动了......阻挡我对科学探索的，是另一种科学

作者: momoka 时间: 2022-10-31 18:17
我就问，A卡支持了么。为什么A卡卖的便宜，都没点数么

作者: 我輩樹である 时间: 2022-10-31 18:28

momoka 发表于 2022-10-31 18:17
我就问，A卡支持了么。为什么A卡卖的便宜，都没点数么

原版可以，pytorch也有rocm版本。gui版本不清楚。

作者: haoyumena 时间: 2022-10-31 18:44

momoka 发表于 2022-10-31 18:17
我就问，A卡支持了么。为什么A卡卖的便宜，都没点数么

支持，不过要在LINUX环境配置，有WEBUI界面，我是在UBUNTU里面弄的，网上有详细教程。算力还可以

作者: Srx42 时间: 2022-10-31 19:31
提示: 作者被禁止或删除内容自动屏蔽

作者: player_eds 时间: 2022-10-31 22:38
感觉4g内存都不配画图

作者: OstCollector 时间: 2022-10-31 23:47

haoyumena 发表于 2022-10-31 18:44
支持，不过要在LINUX环境配置，有WEBUI界面，我是在UBUNTU里面弄的，网上有详细教程。算力还可以 ...

速度咋样，6900xt能到3090的多少？

作者: gartour 时间: 2022-11-1 00:06
抱歉，您已收藏，请勿重复收藏

作者: 声色茶马 时间: 2022-11-1 07:22
下一步是动画制造机，再下一步是VR电影制造机……颤抖吧人类，准备迎接被AI统治的年代吧。

作者: 苏力粟 时间: 2022-11-1 08:48
我玩了这个一周多，一直想模拟一个高达（机器人）和孙悟空巅峰对决画面，刚开始的时候牛头不对马嘴的，现在训练AI一段时间之后，有点哪个味道了，克鲁苏味少了很多，还在研究中，挺有意思。

作者: 重庆森林 时间: 2022-11-1 08:57
为了这个我专门上了块M40 24g，速度只有30707的1/4

作者: 声色茶马 时间: 2022-11-1 09:08

苏力粟发表于 2022-11-1 08:48
我玩了这个一周多，一直想模拟一个高达（机器人）和孙悟空巅峰对决画面，刚开始的时候牛头不对马嘴的，现在 ...

这事儿的乐趣是不是就和较小盆友学习一样？气得你血压飙破天，但最后他居然会了，于是还挺有成就感。

作者: bei1991 时间: 2022-11-1 09:26
我最近在用A100和A6000跑这个，不支持多卡有些遗憾，像deepfacelab什么的都是能多卡训练的

作者: sun1a2b3c4d 时间: 2022-11-1 09:46

我輩樹である发表于 2022-10-31 15:31
我是正人君子一般不会分享这种东西，主要还是报以科学的目的。

请继续

作者: 我輩樹である 时间: 2022-11-1 09:49

bei1991 发表于 2022-11-1 09:26
我最近在用A100和A6000跑这个，不支持多卡有些遗憾，像deepfacelab什么的都是能多卡训练的 ...

backend是torch，肯定是支持的。要改下代码，parallel一下模型。而且transformer模型，多卡效率不高，而且主要还是预测流程，没必要支持多卡，开多个进程就行了。

作者: Srx42 时间: 2022-11-1 10:26
提示: 作者被禁止或删除内容自动屏蔽

作者: zhuifeng88 时间: 2022-11-1 10:28

Srx42 发表于 2022-11-1 10:26
试了下4090没比3090快，还更慢了

cudnn替换一下, 版本替换成8.6就比3090快很多了

作者: bei1991 时间: 2022-11-1 11:09

zhuifeng88 发表于 2022-11-1 10:28
cudnn替换一下, 版本替换成8.6就比3090快很多了

cudnn是跟着pytorch一起安装的吗？我看到cudnn文件夹是在torch文件夹下面的

作者: bei1991 时间: 2022-11-1 11:13

我輩樹である发表于 2022-11-1 09:49
backend是torch，肯定是支持的。要改下代码，parallel一下模型。而且transformer模型，多卡效率不高，而 ...

8卡机器开8个进程的话跟监控室老大爷一样，感觉会忙不过来

还是单卡机器玩玩吧

作者: fudaming 时间: 2022-11-1 11:32
问其他模型的看看这个
https://rentry.org/sdmodels

另外感觉主要是负面提示词的功劳，其他40%是随机种子的锅，网图浏览的时候收集好种子至关重要。
参考网站：lexica.art

作者: 谎言之神Cyric 时间: 2022-11-1 11:34
NovelAI那个，自己搭出来效果还是不如付费，而且付费价格说高也不高，还是用付费的吧……

作者: fudaming 时间: 2022-11-1 11:34
另外stable-diffusion和disco-diffusion都支持动画甚至3D制作，需要生成关键帧，估计又是个高计算量的活，我这里纯拿cpu抗的没敢试。

作者: zhuifeng88 时间: 2022-11-1 11:39

bei1991 发表于 2022-11-1 11:09
cudnn是跟着pytorch一起安装的吗？我看到cudnn文件夹是在torch文件夹下面的

正常操作是作为依赖一起安装的, 但不妨碍大版本之间有兼容性, 可以直接替换

作者: 我輩樹である 时间: 2022-11-1 11:44
本帖最后由我輩樹である于 2022-11-1 11:48 编辑

bei1991 发表于 2022-11-1 11:09
cudnn是跟着pytorch一起安装的吗？我看到cudnn文件夹是在torch文件夹下面的

\venv\Lib\site-packages\torch\lib 这里。

还是不要直接替换了，用pip装比较好。

pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117

在这之前还要先create一个虚拟环境。

我是用conda装的。可以在外面建好conda环境直接复制改名成venv，看哪种方式不卡网络。

作者: bei1991 时间: 2022-11-1 13:03

我輩樹である发表于 2022-11-1 11:44
\venv\Lib\site-packages\torch\lib 这里。

还是不要直接替换了，用pip装比较好。

感谢，我是修改根目录下的launch.py，第108行把pytorch和torchvision的版本都改成最新的，再运行程序让它重新获取最新版本，看样子能正常运行。

作者: Srx42 时间: 2022-11-1 13:18
提示: 作者被禁止或删除内容自动屏蔽

作者: haoyumena 时间: 2022-11-1 16:10

OstCollector 发表于 2022-10-31 23:47
速度咋样，6900xt能到3090的多少？

6950XT，大概6.5it/s，3090多少不**楚，我自己的2070S大概是4.5

作者: zhuifeng88 时间: 2022-11-1 16:57

Srx42 发表于 2022-11-1 13:18
已经最新了还安了xformer，和3090比单图没显著提高，500*500还是4秒多一张

cudnn替换成8.6, 用xformer的情况下我这是3.5s@50steps来着

作者: 反IE之號Saber 时间: 2022-11-1 16:58
这，好似，有点意思。

作者: house22bb 时间: 2022-11-1 17:13
让我想起了这张图应该就是这么搞的吧 (, 下载次数: 75)

作者: Srx42 时间: 2022-11-2 09:39
提示: 作者被禁止或删除内容自动屏蔽

作者: huihuige 时间: 2022-11-4 10:51
无图无真相……
额上面这句话真老
现在都是图都是生成的了~

作者: houyuzhou 时间: 2022-11-4 11:00
momoko模型也不错记得试试。

30和40两代卡命运真的是不同啊。

作者: houyuzhou 时间: 2022-11-4 11:01
(, 下载次数: 90)

作者: groups 时间: 2022-11-4 11:03
原来高大上的人工智能就是做这个啊，我以为都是搞科研的呢

作者: chungexcy 时间: 2022-11-4 11:21

houyuzhou 发表于 2022-11-4 11:00
momoko模型也不错记得试试。
30和40两代卡命运真的是不同啊。

我感觉不是30和40的差别，而是12G和24G的差别

作者: yangzi123aaa20 时间: 2022-11-6 12:53

Srx42 发表于 2022-11-1 13:18
已经最新了还安了xformer，和3090比单图没显著提高，500*500还是4秒多一张

https://www.bilibili.com/video/av304806995/ 朋友实测4090速度变成3倍了，再试试

作者: Srx42 时间: 2022-11-6 12:56
提示: 作者被禁止或删除内容自动屏蔽

作者: Srx42 时间: 2022-11-6 12:59
提示: 作者被禁止或删除内容自动屏蔽

作者: Srx42 时间: 2022-11-6 13:20
提示: 作者被禁止或删除内容自动屏蔽

作者: 我輩樹である 时间: 2022-11-6 13:23
刚才profiling了下，这软件没有充分优化。要手动改不少代码。

作者: d68 时间: 2022-11-6 13:24
厉害啊，感谢各位大佬分享

作者: xudi8092 时间: 2022-11-6 13:44
这种只能画二次元吗，能不能画英雄联盟皮肤那种

作者: 我輩樹である 时间: 2022-11-6 13:56

xudi8092 发表于 2022-11-6 13:44
这种只能画二次元吗，能不能画英雄联盟皮肤那种

英雄联盟难道不是二次元么

作者: cyt0d01 时间: 2022-11-12 12:40
本帖最后由 cyt0d01 于 2022-11-12 12:41 编辑

cyt0d01 发表于 2022-10-31 18:06
下载了，安装了，运行了，1.9G搞不动了......阻挡我对科学探索的，是另一种科学 ...

自己挖的坑自己填.......已运行.....已ok.....

https://z4a.net/image/2SUFjL
https://z4a.net/image/2SUDFN

作者: it1771 时间: 2022-11-12 12:47

momoka 发表于 2022-10-31 18:17
我就问，A卡支持了么。为什么A卡卖的便宜，都没点数么

我跑过必须在ubuntu一类的系统下跑 windows不行

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)