厌倦了ai绘画生成时因含有不可描述的内容不能取回,想要创作更多属于自己的ai绘画作品,或是想要拥有属于自己的“数字生命”?在这里教你从0开始部署本地AI绘画,利用-及、在内的各种模型进行创作。
不想看文的朋友也可以看视频版。
文章是没有收益的,如果帮助到了老哥们,能不能帮回答点个喜欢或赞
注:创作设备最好有独立显卡,如果仅使用cpu渲染可能一张图就需要数分钟,而独显可能只需要几秒钟的时间;软件加模型最终大概会有30Gb左右,所以大家要先规划预留好相应的内存。
1060差不多是入门级的了,稍微好点就得上。即使是丐版,也有8g显存。
本文中的模型只是个人推荐的目前比较好用的模型,而这个东西是更新迭代比较快的,大家可以根据自己的喜好去寻找尝试不同的模型。
让我们先来进行准备一些工作:(所有的下载链接都放在了文章最后,自取哦~)
下载-和启动器下载、模型下载小模型
下面让我们进入正文,搞懂这个叫“AI绘画”的东西。
前言
首先来讲一下(简单的)AI绘画的原理。
AI绘画是软件通过人工智能算法来进行创造的一种方式。当输入关键词后,软件通过模型对关键词进行分析,创作生成一幅完整的画。
大家可能之前在各种小程序或者网页上已经看到了ai绘画的应用,那些小程序上一般会有这样几块内容:一个是画面描述,就是输入关键词的地方;一个是风格,比如中国画、油画、二次元、水彩画、像素画等等,其实就是不同的模型;再一个是尺寸,比如正方形、竖图、横图、16:9、4:3等等。当输入好这些参数之后,就可以点击生成。然后通过云端计算机渲染,经过服务器的审核之后发送给用户。而这篇文章里所讲的AI绘画,其实就是把输入参数和云端渲染的过程放在我们自己的电脑上进行。
搞懂这些后,那么进行接下来的工作就非常轻松啦!大家要一步一步的跟着来哦,如果中间有一步出错了,就可能实现不了。
一、安装构建基础使用环境
由于基础的软件是没有图形页面的,也就是没有UI页面,所在这里我给大家推荐b站大神“秋葉aaaki”制作整合的webui版(链接可见最后)。这个软件是免费的,如果大家如果看到网有人有偿销售的话,就不要购买哦。
先把下载的-安装包解压
如果硬盘空间比较小的话,可以在解压之后把压缩包直接删掉。
2.安装启动器
启动器文件夹里有一个是运行库,另外一个是启动器的压缩包。首先我们先双击运行库搭建好启动环境,然后将启动器压缩包解压到-的根目录下(也就是我们上上张图的目录)。
安装好后,根目录下应该就有启动器了。
3.安装模型
我们先不急着打开启动器,先把下载好的模型和-V2.5模型粘贴到文件夹下面的-子文件夹。
在这里先说明一下。模型用来生成三次元,也就是比较具有真实感的人物,而-V2.5模型则是生成二次元人物的。这两个都属于基础模型,也就是说它俩是不用加小模型就可以单独使用的。
大模型的作用是固定画画的整体风格,而小模型的作用是在大模型的风格之上,再去进一步固定具体的脸型等等。后面我们还会说一个VAE模型,可以把vae模型理解成小小模型,是在大模型加小模型生成图片的基础上,加一个滤镜,或者是进行一些比较简单的磨皮、美颜这种。
4.安装小模型
接下来我们双击启动器打开,启动器会根据我们电脑的配置来自动选择合适的参数。
可以看到启动器自动识别了的显卡,如果大家有独立显卡而启动器只识别到了cpu的话,那就说明显卡的驱动需要更新了。可以用英伟达官方的 软件,或者直接前往英伟达官网去下载最新驱动。
点击启动器右下角运行,耐心等待一段时间,第一次打开会比较慢。
启动器会使用默认浏览器弹出一个网页,这一个就是我们进行AI绘画的基础操作页面。
先不急着操作,点击生成下面的这个按钮,调出额外工作台。
在新增的窗口当中,点击Lora按钮。
然后回到文件夹下,找到Lora文件夹,将 Doll 小模型粘贴到里面,再在网页Lora块点刷新,就可以找到刚刚加入的小模型了。(如果要用插件加载lora模型,目录不是直接进根目录下的,而是如下:sd-webui–\lora,如果你不知道这句话是什么意思,就跟着教程来吧)
做到这一步,我们基础的使用环境就搭建好了。
二、进行AI绘画
想必大家都已经开始跃跃欲试了,但还是先不急,再耐心地听我说一下。
这个系统是不认中文的,所以大家如果输入中文的话,它是会随机出图的。那怎么办呢?请点开上面那个网页。
文中所给的模型都是从上面这个网页中下载的,而模型的相应页面则会有一些示范关键词,还有一些使用模型时需要注意的事项。
在这里以 Doll 小模型为例:
1.选择大模型
这个小模型是画三次元真人的,它的详情页面上也有写,示范图是基于和Uber Porn Merge两个大模型混合,再加上 Doll 小模型插件制作而成。(后面我们会讲到两个大模型的混合,在这里我们可以先默认画三次元就用,画二次元就用-V2.5。)
所以我们首先就要先在我们自己的软件里面选中大模型。(操作网页的左上角)
2.填写关键词
在想要下载的小模型的效果图里面,点击这一个小符号,就可以弹出窗口。
窗口里面写着关键词和避免词。我们可以把这两项直接复制到自己的软件里面。
当然,如果自己想写关键词而又不懂英语的情况下,可以直接进入翻译软件,写完中文之后翻译成英文,每个关键词之间用逗号或点隔开,粘贴到软件里面去。
3.选择小模型
完成了关键词填写之后,我们就要继续选择小模型了。
在Lora这一栏里,选好自己想要的小模型,点击一下,就会发现多出来了触发小模型的关键词。刚看到这个关键词的时候,就说明我们选择小模型成功了。
4.选择具体参数
在小模型详情往下看就会发现,它也推荐了具体的参数。(当然有的可能没有,那就需要自己去探索了)
那么接下来我们就按照推荐内容来对我们的页面进行调整,如果说后期大家觉得自己的能力比较好了,可以自由创作了,也可以自己随意发挥。
这里呢我们先带着大家来一起做一遍,做一遍之后也就基本熟悉了。
采样方法选择DPM++ SDE ;
Steps是迭代次数,一般在20左右,大家也可以选择多一点试试效果,不过一般效果差距不大;
宽度和高度是像素比例,这个大家应该都懂,我的一般设置为512*768,也就是3:4,一次生成4张图的h话,再大就容易爆显存了。一次单张图可以分辨率大一些;
每批数量是一次生成几张图,由于生成每批次的几张图效果相近,如果大家想多生成看效果挑选,也可以设置成多批次;
Hires. fix一般建议打开,效果提升会很明显,但对显卡的压力也更大,如果说不打开一张图渲染10秒钟,可能打开后要几十秒。
小模型详情里也有针对Hires. fix的针对性参数推荐。在 Doll 这个模型里,放大算法为 ,Hires steps为20,重绘幅度为0.5, by为1.75。(还是那句话,这些都是不固定的,要根据自己的电脑参数来选择)
输入好这些参数后,我们来点一下生成,效果图如下:
可以说脸部、发丝的问题都已经不大了,毕竟现在美颜一开、妆一画都是这样,但手部的细节可能还是有些不足。
5.VAE模型
终于说到了VAE模型,前面说过,VAE模型起到滤镜的作用,使用VAE模型后对大部分大模型来说,生成的效果会更好。
当我们下载大模型时,有时会附带相配套的VAE模型(有的没有)。如果是我们自己下的VAE模型的话,就放在根目录–VAE这个文件夹里。
而我们安装的软件里自带有final-prune.vae.pt这个VAE模型,它可以和一起用。
使用方法如下:点击设置, ,然后在VAE模型里选择对应的模型。
当看到这里,恭喜你已经基本掌握了AI绘画的技巧,可以通过关键词来自由地创造自己想像中的画面了。
三、其他问题
说完基础的部分,我们还得说一下使用AI绘画可能面临的一些问题。