ai画图软件mj 浅谈AIGC爆炸的时代—AI绘图 Stable Diffusion、MidJou

默认分类1年前 (2023)发布 admin
4,024 0
ChatGPT国内版

其实相对于,现在很多人花更多时间更沉迷的地方反而是AI绘图的部分,

不少人刚开始接触,就被生成出来的图像品质和效果惊到。

最近尝试了一下 ,直接发现新大陆,虽然一开始生图品质没有好,但自由度直接打开,而且网络上很多开源模型可以组合,甚至到现在已经可以控制生图姿势,品质完全不输。

先来说说AIGC是什么呢?

AIGC全名为 AI ,即人工智能生成内容,所以AI绘图,AI作曲,AI回答问题都算是AIGC。

P.S. 这篇文完全没有使用,全部自己撰写的。

先附上可爱的BIBO照片,第一张是相机拍的,后面2张都是 生成出来的,神韵真的超像,不得不说真的厉害。

第一张是相机拍的,二,三张都是SD生成的。

AI绘图元老 — GAN (生成对抗网络)

讲到AI生图不能不提GAN,GAN全名为 ,模型(现在主流软件使用的模型)出来之前,GAN一直是AIGC画图领域中主要研发的演算法架构,GAN最早的模型是在2014年提出来的,当时一提出来也是一窝蜂的人开始研究GAN,论文也是满天飞,简单来说GAN就是训练2个神经网路,一个当作鉴别器,一个当作生成器,拿生成器模型的图片让鉴别器模型去做辨别,互相对抗训练最后只拿生成器模型出来画图。

GAN的发展并没有不好,发布的最新也是非常厉害,但因为GAN的训练一直以来相对困难,而且目前只能以指定的领域做生图(例如你现在要生成人脸,你的GAN模型就只能生成人脸),训练难度也很高,比较知名的GAN实际应用应该就是了。

的 blend技术

AI绘图新时代 — Model(扩散型模型)

GAN瓶颈了一阵子后, Model(扩散型模型)就出现了,没错,也就是现在大家都在使用的应用都跟这个模型有关系, & & DALL·E 2 都是基于扩散型模型衍伸出来的。

其实 model的概念在2015就有论文提出来了,在2020年才开始应用在AI生成图片上面,而 Model的出现也慢慢的把AIGC的生图领域推向新的时代,他的做法是在原本的图片上输入噪点让图片变成随机噪点后,再利用神经网络逆向工程回图片。

为什么 Model会慢慢取代GAN, model在训练模型上变得更加简单,和GAN比起来不用再训练2个模型,只需要训练生成器就好,降低了GAN训练的困难度,然后再搭配大型自然语言模型,就可以让生成出来的图片拥有很大的多样性,短短2年就让AIGC生图领域推到了最高点并且产品化,这边大致列一下重要产品应用的出现:

◆ 2021年1月 公布了DALL·E (没开源)并发布论文: Beat GANs on Image ,DALL·E模型是GPT-3的多模态实现 (对,就是前身的那个GPT-3也是发明的公司)。

◆ 2021年10月开源的 Disco 出现了,后面很多产品都是基于此技术开发的。

◆ 2022年4月 公布了 DALL·E 2(没开源),称DALL-E 2是一个“可以从文本描述中生成原创、逼真的图像和艺术”的模型。

◆ 2022年7月 进入公测(没开源),为disco 创办人之一参与的新项目。

◆ 2022年8月 .ai 开源了 ,正式进入AI绘图大时代。

接下来简单介绍一下目前最火的3款 AI绘图软件,如何开始以及自己使用上的优缺点跟心得,之后会再发教学。

DALL·E 2

ai画图软件mj 浅谈AIGC爆炸的时代—AI绘图 Stable Diffusion、MidJou

的 AI画图产品,也许现在不好,但我未来非常看好,毕竟微软投资了那么多的钱。

先附上链接: (跟同个帐号登入就可以直接试用了)

DALL·E 2 为Open AI 的最新的AI 画图软件,只要输入文本text,就会生成与文本高度相关的图片,新注册的会员会送50点,每个月会再给你14点,每一点可以针对”一次”text生成4张图。

输入”cute dog with tower in the ”出来的结果

DALL·E 2优缺点 (个人经验):

优点:

◆ 他有一个很棒的功能 – ,可以帮你把你原本的图像向外绘图,假设你要从512×512到1024×1024,它可以帮你把其他的像素都画出来,这功能大概是我觉得DALL·E 2唯一最有特色的优点,因为Text生成文本出来的图都远远不及其他2个软件。

DALL·E 2 功能

缺点:

◆ 就是文本生出来的图片真的不行,跟另外2个比较起来真的没法比…

◆ 自由度相对低。

先附上官网:

的使用必须经由才能使用,所以要申请帐号并加入 服务器才能使用。

为开发的文本生成图的模型,推测底层技术应该是基于 ,MJ是由Leap 的联合创始人 David Holz 领导,也是disco 创办人之一参与的新项目,只能使用机器人进行绘画(我猜这样做的方式是因为避免别人反向对接API,并且可以保护模型不外流),持续在改进算法,目前已经到V4了,生图的品质真的没话说。

输入”cute dog with tower in the ”出来的结果

优缺点 (个人经验):

优点:

◆ 画出来的图品质真的很好,已经完全达到可商用级别,输入就可以生出一些很精美的图,而且不会破图,基本玩一次就会开始上瘾了,就算你不会太复杂的,你也可以直接把简单直观的文字输入进去,他也会给你一个很梦幻精致的图,只需要专心无脑把文字输入进去,这也是为什么MJ到现在还是比SD更大众的原因。

◆ 各种风格都可以生成,不论是真实、动漫、中国风、水墨各种风格都可以生成,而甚至可以叫他帮你设计各类风格海报还有UI … LOGO跟ICON都可以生成。

缺点:

◆ 很难控制生成出来的图片,假设你要做漫画的话,漫画主角必定会是同一个角色,但MJ很难去控制这点,即使你下的都一样的,但每次出来的角色还是会有差异,MJ在控制生成图片上相对比较弱一点也比较限制。

◆ MJ在生成脸部特征上会比较差一点,甚至在手脚的表现上也相对差一点,这应该是AI 绘图都会遇到的问题,不过在SD上已经有一些模型已经解决这个问题了,甚至SD上还有功能可以做修图。

ai画图软件mj 浅谈AIGC爆炸的时代—AI绘图 Stable Diffusion、MidJou

◆收费比较贵。

自由自在无止尽没极限的AI绘图工具,AI绘图界的塞尔达传说:旷野之息?

这边我就先不教大家大家怎么使用了,因为SD使用需要一些硬件门槛(需要高GPU内存)以及比较复杂的安装流程,我之后会再做详细的使用教学以及一系列的技巧。

安装好的 web-ui,也是目前大家都在使用的介面。

是由初创公司,与合作开发的开源软件,可以在自己的电脑上部署运行 (MJ跟DALL·E 2都还在云端),现在这己经是一家独角兽公司了。

输入”photo of bibo dog with tower in the ”出来的结果

优缺点 (个人经验):

优点:

◆ 自由度高到爆炸,因为全开源的关系,各方大神开始开发各种工具插件,不论是fine-tune模型工具 & LORA,只需要3~5张图片就可以fine-tune,可以依据自己的进行模型训练让出图的时候生成相同物件跟风格,还有视频生成工具,最近还有突破性的 ,可以在出图的时候姿势、深度等,我相信AI绘图现在的限制,之后都会有大神开发出新的工具而去突破的。

◆ In- & 功能,可以在图片上画mask然后只改变画mask的地方,In-功能加上文本生图功能,基本上多做几次修图就可把破图的当方修好,手指少一跟的问题也可以用这种方式修改正常,SD能玩的地方真的很多。

缺点:

◆ 硬件限制,硬件设备至少要GPU 内存8G以上,显卡至少要10G以上,做一般的 生图至少需要GPU 内存4G以上,当然也可以使用CPU做一般生图,但生图速度就会慢很多。

关于AI绘图的想法

AI绘图这件事一直充满着争议,有很多人说AI绘图会取代大部分插画和设计师,也有很多人说AI绘图不会,更有人说AI只是工具,不会工具的设计师会被淘汰,一直都有不同的说法也一直在争吵,关于这件事我无法做任何评论跟想法,毕竟我不是专业的设计师,不过目前来看,AI绘图确实已经开始被更多公司越来越重视了。

但是不管要不要抵制都绝对不能无视!!!

这是我的想法,以我自己使用的经验来说,像我原本不会设计的人,也可以开始可以利用这些AI工具来提升我的工作效率甚至做到我之前做不到的事情。

面对AIGC的浪潮,我们能做什么?

关注我,我将持续分享关于AICG相关知识和应用技术,为各位提供有价值的内容和思考。

查找更多前沿的AI工具,可以到AI工具酷: 这里面分门别类汇集了500+国内外顶尖前沿的AI工具和产品,而且还在持续更新收录。

更多、干货技巧,欢迎来同名公众号【AI飓风】

整理一下AI绘图的重大争议事件:

2022年8月,日本绘师在在社交平台上抵制Mimic平台未经授权使用画师素材,只开放1天后就关闭了,Mimic 是一个主打二次元绘图的平台,只要使用者上传15~30张图片就可以学习画风、特征画出相同图片。 2022年8月,美国人艾伦(Jason Allen)带着作品《太空歌剧院》(Théâtre D’opéra )参加科罗拉多州博览会( State Fair),抱走冠军与300美元奖金,此作品是Allen使用生成出来的,画家们一致抗议,最后主办方承诺将在之后的评选中增设AI绘画相关的奖项,却没有把奖项重新颁发给某个人类画家。 2022年9月,被发现其训练资料为非法的图片搬运网站,许多图片多来自 pixiv 跟推特的手绘师二创、原创作画,其画出来的AI图还自带签名,手绘师们开始炸锅。 2022年11月开始,很多手绘师开始在知名艺术平台 抵制AI绘图,众多手绘师开始上传”NO TO AI ”的图片到,最早是一位保加利亚艺术家“ ”自发在A站上传了这样一张“抵制AI”的图,得到不少艺术家的支持和转发,结果A站删掉了这张照片,全球手绘师再度炸锅,经过一度又一度得抵制,最终以的几个简单承诺而告终(会上线AI绘画专区)。 2023 年 1 月,三位艺术家:Sarah 、Kelly 和 Karla Ortiz 对 AI ( )、 和提起版权侵权诉讼,声称这些公司通过在 50 亿张图像上训练 AI 工具侵犯了数百万艺术家的权利未经原作者同意从网络上删除。

© 版权声明
广告也精彩

相关文章

暂无评论

暂无评论...