ai视频画质增强器 Real-CUGAN,B站推出的图像视频AI超分算法模型(AI放大)

默认分类1年前 (2023)发布 admin
5,030 0
ChatGPT国内版

随着科学技术的不断发展尤其是人工智能、云计算、机器学习等技术在图像视频领域大展身手,图像智能化处理变得越来越普及化,各种基于AI云计算、机器学习的应用层出不穷,例如国外的Topaz产品,基于AI算法可对图像、视频进行智能化降噪、锐化、放大,以进一步对老旧图像视频就行画质修复,使之重焕光彩。

除了像Topaz商业应用外,近些年开源免费的超分算法模型也屡见不鲜,例如之前阿刚给大家推荐过的,它是目前最火爆的图像超分算法之一。

最近,B站开发了一个专门针对二次元图像的Real-CUGAN算法模型,效果惊艳!

Real-CUGAN,B站推出的二次元图像AI超分算法模型

Real-CUGAN是一个使用百万级动漫数据进行训练的,结构与兼容的通用动漫图像超分辨率模型。它支持2x3x4x倍超分辨率,其中2倍模型支持4种降噪强度与保守修复,3倍/4倍模型支持2种降噪强度与保守修复。

什么是超分技术

先简单说下超分技术,通俗的理解,就是将图像/视频的分辨率放大,它是一种底层图像处理任务,将低分辨率的图像映射至高分辨率,以此达到增强图像细节的作用。

超分辨率重建的方法有多种,目前的主流是基于机器深度学习,即先将高分辨率图像按照降质模型进行降质,产生训练模型,根据高分辨率图像的低频部分和高频部分对应关系对图像分块,通过一定算法进行学习,获得先验知识,建立模型,最后即可应用,实现低质图像进行高清化处理。

Real-CUGAN全称Real U-Nets for Anime Image Super ,其模型结构魔改自官方CUNe,训练代码主要参考腾讯发布的。

主要优势:

官方针对纹理、线条、“渣清”以及景深四种图片特点,分别使用、腾讯的进行处理,制作了一组最终的效果对比图,阿刚这里选了纹理和渣清对比最明显的两组图,大家可以放大看原图直观比较下:

(纹理)

在这种对比图中,地板纹理Real-CUGAN和的处理效果大差不差,只有降噪,并未对线条做优化,而且它的锐利度也是最小的,两者的区别很小,腾讯的纹理保留性最差,较为模糊、细节有所丢失,表现较弱。

ai视频画质增强器 Real-CUGAN,B站推出的图像视频AI超分算法模型(AI放大)

综合比较的话,Real-CUGAN处理的最好

(渣图对比)

没有什么比一张渣渣图片更让人一目了然了,原图是腾讯Real-的官方测试样例,在对比图中Real-CUGAN明显要优于、,画面清晰、更干净。

如何使用

Real-CUGAN的开发团队目前为平台打包了一个可执行环境,在下载解压后,运行go.bat运行即可,另外在处理之前,还需修改.py配置参数,在项目主页上,官方有专门详细说明各项参数,大家可自行参阅。

由于主要是命令行界面,有一定的上手难度,对于我们而言,最简单的当然还是使用GUI界面,方便快捷。目前补帧团队基于(版本)与/开发了一个图形界面程序,已经免费发布了,用起来非常顺手,阿刚下面简单说下。

Anime ,基于多个开源超分算法的中文超分软件

Anime 是著名“补帧团队”开发一款的基于多个开源超分算法的超分软件,目前主要包括, , 知名算法,它提供了简单易用的GUI界面,让你快速上手,轻松处理图片、视频。

主要特性:

Anime 使用简单,解压后,双击启动SAE.bat即可启动软件。

1,输入图片/视频

在 Anime 中,你可以导入要处理的视频与图片序列,但不支持单张图片。

如果导入的是图片序列,务必要保证文件命名规范(等长),例如input 0001.png, input 0002.png, …另外不支持交错或带有透明通道的图片

ai视频画质增强器 Real-CUGAN,B站推出的图像视频AI超分算法模型(AI放大)

2,设置超分算法与模型

如前面所述,目前主要集成了, ,和三种超分算法,每一种超分算法下都有相对应的超分模型,大家可以针对视频特征自行选择,简单说下:

:

:

提供了两类模型,其中:

,

目前3倍4倍超分只有3个模型,2倍有4个不同降噪强度模型和1个保守模型,其中:

在选择好合适的算法与模型后,便可以一键压制。阿刚用了一小段海贼王的,放至两倍,细节保留得当,最后的效果相当棒,

写在最后

开源的超分算法中,功能强大,大家肯定耳熟能详了,腾讯推出的实力也不容小觑,两者在动漫超分的效果上着实让人感到惊艳。

而B站这个开源的动漫超分模型,在速度、修复效果、处理痕迹上,表现更优秀,官方目前还在不断优化之中,如果你是个动漫爱好者,或者有放大视频的需要,可以试试B站,效果相当惊艳~

当然前提,你首先要有一台配置够强劲的电脑~

© 版权声明
广告也精彩

相关文章

暂无评论

暂无评论...