百度研究院数据显示,所生成的视频播放完成率比好看视频的大盘高出15%,其中一些热门视频已经有了85万的播放量。
AI“剪刀手”如何诞生?
在具体的操作上,第一个环节是素材的收集整理。用户输入图文内容后, 例如输入某条新闻事件的链接,平台将基于NLP模型进行语义理解, 并通过主体模型聚合相关新闻素材,以及从同一主题相关新闻里抽取更多的素材及其语义表征,以此保证素材内容相关且丰富。
第二个环节,是语音生成解说词,以及进行素材的深度挖掘与整理。
一方面,平台基于多种语言模型对原文进行处理,自动生成一篇字数符合要求且适合视频呈现的解说词,并通过百度文字转音频服务(TTS)合成解说词语音。
与此同时, 平台会根据对原文的理解, 通过自有视频库和百度全网搜索,对最新最适合呈现的内容进行聚合。利用人脸识别、物体识别、视频内容理解等计算机视觉服务技术进行解析,完成视频素材的剪切组合。
上述两个步骤完成后,平台将基于解说词的音轨时间轴和所聚合的媒体片段,进入音视频对齐剪辑过程。
此处应用的时间轴对齐算法,能够选取出文本中的兴趣点, 再将媒体片段与兴趣点进行相关度打分,将优质媒体片段优先放入时间轴,希望以此引发用户的兴趣。在时间轴生成完毕后,数据将转交给渲染器生成完整视频,整合过程耗时可以保证在9分钟以内。
“一键式“操作行不行?
对于AI剪视频功能,钛媒体也在第一时间进行了体验。
如图,用户需要输入文章链接,链接目前仅支持百家号文章,建议是娱乐类内容。用户可以自行选择发音类型和视频时长。
图文生成视频界面
钛媒体以《谁来保卫我们的白衣天使?》一文为例进行了体验。以下为百度AI生成的视频新闻:
如视频所示,视频解说词由AI自动生成,虽然内容上有些不连贯,但基本选取了文章中的关键内容,能够看出文章的大体脉络。
在使用体验上,该产品更多针对的是新媒体小白用户,可以实现“傻瓜式”操作,相对比较友好。新闻体裁上,该产品更适合快讯型视频新闻,可以一定程度上减少人力和时间成本。
但另一方面,由于强调AI全自动剪辑,全部视频内容均由AI自动组合,用户无法对内容进行修改和编辑,因此也存在很大的局限性。如果在视频生成前,可以给用户权限进行修改和编辑,那在剪辑产品中可能会更有竞争力。
除此以外,素材的版权问题也存在隐忧。该平台抓取的素材来源于百度自有视频库和百度搜索引擎,而搜索引擎里的内容百度并非都有版权。特别是在用户提供的链接内容信息量不够时,AI就会更依赖外部抓取,其中不仅有素材,还有成品。
在钛媒体体验过程中,也出现了AI自动抓取到一些视频自媒体原创作品的情况。显然,想要做全自动化的AI视频剪辑,版权问题也不可小觑。
当前,仍然是个基础版。百度方面表示,AI新闻视频还存在很多可能性。例如,可以针对不同垂直分类或投放渠道进行定制合成,又或者是针对用户特点进行视频定制等等。
(本文首发钛媒体,作者/芦依,编辑/宇航,钛媒体编辑Yitao对本文亦有贡献)