3.
+ 这套工作流中，最重要的是保持不同关键帧中的信息要连续和一致，目前基于模型算不同的关键帧，算完后还是需要人手动来修。所以目前的技术方案还是会需要人来“肝”，其实“肝”的工作量就是调整关键帧之间信息的连续性。
最近看到一个不错的解决方案： A Video[4]。这个解决方案也认为并不应该让模型来算每一帧，而是只算关键帧。 A Video添加价值的地方是：TA会自动判断需要哪些关键帧，并且保证每个关键帧之间是相似的。
这个工具我还没有机会尝试，但是我很认可他的解决思路。目前这个工具在 Face上可以测试demo[5]，完整代码尚未开源，值得持续关注。
4. AI + AE
最近我发现 版面里AI动画特效做得好的人，大多数都是影视/游戏/特效的背景。其实这是合理的，因为他们知道如何将AI生成的画面结合到其他管线的工具中，从而提升画面效果。
比如下面这个视频[6]是一名达拉斯的影视从业者根据Marc 的著名打碟视频Your New Alarm（你的早安闹铃）[7] 制作的AI渲染版，他结合使用了Warp （一种基于SD的动画脚本，由Sxela开发[8]）+AE转场效果+PR剪辑。
忽然意识到可以用更多影视行业的特效和剪辑工具后，我更加受到启发，于是根据DY@子康老师的滑板视频，制作了一个AI动画版本。
在这组镜头中，我测试了不同镜头里对AI抖动幅度不同的控制力会带来怎样的效果差异，我发现运动幅度越大的镜头，AI闪烁反而会加强镜头的动态效果。
当我希望画面更稳定的时候，比如镜2，我只会用 渲染一个关键帧，然后使用来补完剩余的画面；当我希望画面动态感更强的时候，比如镜1和镜3，我会用SD渲染多个关键帧，从而带来帧与帧之间更多的差异。
镜头4换脸的部分，我通过使用 Fill的功能，对画面进行局部修改（）后，使用来生成多个镜头片段，再在PR里进行剪辑，从而完成比较连续丝滑的换脸。
镜1、2、4的画面过度是在AE里完成的，这个转场效果需要使用到镜头本身的深度视频，深度视频和遮罩我目前都使用来帮我生成。
这个作品在子康的DY上线后
24小时内拿到10万点赞和超1万条评论
推荐教程：
1. ：的官方教程链接，里面整合了各种Gen-1, Gen-2的使用方式：
2. 动画推荐教程：都在 /子论坛，这个子论坛的特点是发作品需要带上自己的工作流。这个不成文的规定使得这个论坛充满了很有价值的一手经验：
3. 推荐教程：功能很简单，跟着官方的教程一下就能学会（）如果想了解 的进阶用法，我推荐 of Edits的教程：
4. 推荐教程：讲得最清楚的是 Muse（）你也可以在开发者 Sxela的DC频道里直接问他更多的问题：
02 AI生长类动画
代表工具：Disco ,
此类工具是用传统AI生成图像工具，进行画面的批量生成，通过指定不同关键帧上的画面内容，和关键帧上的镜头运动，从而使得AI能生成连续的动画。
如上图 0= [“aaa”], 100= [“bbb”], 就是在第0帧是aaa的画面，在第100帧是bbb的画面。这种方式制作出来的动画是一镜到底，由于画面在生成的过程中不断解离和重新生成，成为了一种很有趣的艺术表达形式。因为实验性很强，所以很适合拿来做实验动画，或者MV。
我在去年有尝试用这种方式制作短片的故事动画，我的思路是，先将故事念一遍，根据录音计算每一句话需要多少秒，对应会需要生成多少帧，然后根据对应的帧来描述画面。（非常早期的生成案例了，请各位轻拍。）
后来我发现，控制AI生成的参数和影视镜头语言其实呈现一定的映射关系， 比如对应的是画面左移或右移；对应的是画面上移或下移；对应的则是镜头的推拉。的官方操作指南里有很详细的各个参数和画面镜头运动的对应关系[9]。
这种类型做到登峰造极程度的是频道主给的歌曲《》做的动画音乐视频[10]。
整个AI MV的制作逻辑是以音乐的节奏点作为AI镜头变化的关键帧，以歌词的内容作为各段的文本描述。在AI生成完画面后，使用了来给AI制作的视频进行升帧，使得FPS从15增加到了30。详细的项目介绍可以在的里看到[11]。
按照的方式，我重制了一版《》的MV视频。
推荐教程：
1. 的官方可以让你了解到各个参数是做什么的：
2. 目前还有一些工具可以帮助你直接提取歌曲中的关键帧，比自己翻译可能来得会快很多：
03 根据静态图生成动画 1. 让肖像画说话
代表工具：D-ID, Movio,
让一张静态的肖像画动起来说话的功能，应该是AI动画里成熟得最早的，包括：D-ID, Movio, AI这些平台都提供了类似的功能，底层的算法大多基于First Order [12]进行开发。
基于这类产品做的内容，效果最好之一的有汗青老师的AI Talk系列[13]和《如果哈利波特是巴黎世家拍的》[14]。
2. 让静态图（随机）动起来
代表工具：Pika Labs, Gen-2
底层技术大概是[15]，支持根据单张图输入其随机动态效果，有很多人结合 + Gen-2来制作一些视频，可能可以用于一些前期概念的或者一些营销场景的动图制作。但由于不能精准控制画面内容，所以对于目前工业界的帮助还不是很显著。
第三部分的工具功能非常有潜力，最近有许多用Gen-2做的电影预告片受到业内外很多关注。不过，做电影预告片是一个非常讨巧的方式，因为不需要前后镜头有很强的连贯性，所以在体裁上还是会比较局限。
推荐教程：
1. D-ID, Movio, 这些工具的使用方式都很直接，基本上手就能直接会，所以就没有推荐教程了。
2. 针对Gen-2我目前看到最好的分享是 @ 在 上的分享： 他本人也已经用 + Gen-2 的工作流做过非常好的预告片案例了。
AI动画这个领域内目前我看来离工业界最近的几篇核心论文就是：
1. Gen1： and – Video with [16]
2. : Your Text-to-Image [15]
3. First Order Model for Image [12]
论文链接我都附在了本文末尾。
希望这篇文章可以对你有所帮助。目前我也正在用Gen-2做一些影视及广告项目，如果顺利的话，应该可以在不久后和大家分享成果和经验。如果你想更及时地看到平时我的各种尝试的话，欢迎关注我的微博@海辛。
文章参考：
[1] ：
[2] Karen X. Cheng：
[3] ：
[4] A Video：
[5]- Face Demo：
[6]Marc ：
[7] Marc ：
[8] ：
[9] :
[10] ：
[11] ：
[12] First Order ：
[13] AI-Talk：
[14] Harry by ：
[15] ：
[16] and – Video with :
相关文章
