原标题：AI换脸用来拍影戏？迪士尼自研算法突破百万高清像素，愿望终于要实现了！

AI换脸又一次刷爆了朋友圈

最近云结业正其时，各家科技公司顺势推出了自己的AI换脸技能，结果又被同学们玩坏了！

换脸这件事绝不能少了业界大佬们！

不得不说，悦目是不分性别的，彦宏兄气质满分！

仔细来看，AI换脸技能近些年照旧成熟不少，整体的面部贴合度、细节处置惩罚都有了明显的提升。近日，Deepfake领域再一次取得了紧张突破。据相识，迪士尼公司公布了一项最新研究结果，声称其人脸交换技能可到达业内最高水平。

从效果图来看，果然一点挑不出毛病！

据相识，迪士尼研究室与苏黎世联邦理工学院互助基于GAN提出了一种新型算法，它可以自动实现图像/视频中的人脸交换，同时包管数百万级的高辨别率。

更值得存眷的是，目前这项研究结果已开端计划用于好莱坞大片制作，据说由于它可以改善影戏质量和后期制作成本。

走进好莱坞大片的Deepfake

人脸交换在影戏行业并不稀有。在一些好莱坞大片经常会用到替人演员完成一些专业的、高难度行动。为了包管影戏效果，后期制作会花费大量成本。然而常见的计算机图形合成技能，效果经常差能人意，甚至会翻新重拍。

这在时间和款项方面都是非常大的成本消耗，因此，迪士尼公司特此联合苏黎世联邦理工学院开展了此项互助研究。

近日，迪士尼公司对完宣称，他们研究了一款新型人脸交换技能，可用于影戏或电视剧制作。他们声称该技能可在人脸交换历程中产生高辨别率，传神的图像/视频，非常适合大屏幕播放。

局部融合更磨练换脸的技能难度。为了验证算法性能，研究职员他们没有对人脸的眼部、唇部等局部器官举行了融合，效果也是非常惊人。

基于图一，图二、三分别举行了唇部和眼部的局部人脸融合，可以看出局部融合度非常高，高清、自然，看不出一点破绽。同时它可以或许随着唇部发抖实时贴合，毫无跳脱感。而且研究职员证实，视频中的人脸交换一般比静态图像效果更好。

局部人脸交换在动态视频中的融合上风，这在影戏场景中是非常须要的。

更值得存眷的是它可以产生百万级像素的辨别率。不外，研究职员表示他们接纳了一种渐进式的要领（Progressive Training）对源视频/图像举行预训练，算法可从中提取较高辨别率图像。下图可明显看到经训练的人脸像素远高于未经训练的结果。

另外，它可以与其他作品完成演出上的替换，固然这里可以对原视频的配景和光照举行特殊处置惩罚，以使他可以融入影戏场景中。这也是区别于传统后期制作的一种新要领。

基于梳状模子的最新算法

那么这项AI换脸技能是如何实现的呢？我们先来看一组完备的换脸路径图：

步骤1和2：对源图像举行面部辨认、特性提取，以及尺度化剪裁（1024x1024）;

步骤3：将图像输入通用编码器举行模子训练；

步骤4：将解码后输出的图像与需要匹配的目标举行多频带混淆，终极得到人脸交换后的效果图。

其中通用编码器的训练模子是一个要害，这里研究职员接纳的是一种渐进式梳状网络结构（Comb Model）面部交换主要是通过域转移的要领来实现。我们使用通用编码器将经预处置惩罚的图像嵌入共享的潜在空间中，然后使用与之对应的解码器将这些嵌入映射回像素空间中。通常域转移主要在这两个空间中举行切换，但在本文中，研究职员扩展了一种新的思绪。

如我们图中看到的，经编码器处置惩罚的图像，被解码器分支到P个域中，研究职员将这种架组成为梳状模子。这里各个编码器就相当于梳状结构的“齿子”。

在这里，单个梳状模子可以处置惩罚多个源目标的人脸融合，而且与双向模子相比，它可以有用减少训练的时间，同时明显提高图像的保真度。

如前文所说，模子训练接纳的是一种渐进式的方式。该历程通过对高辨别率图像举行下采样，得到低辨别率图像，然后在训练中再逐步输入高辨别率，渐渐扩展网络的容量，终极得带高保真图像。

不外，这里要注意的是，终极输出的图像辨别率会受到原始数据集图像辨别率的限定。如果数据集缺乏高辨别率，可以接纳超辨别率的方式对图像举行预处置惩罚，不外最好接纳特定于面部的SR训练要领。

除此之外，研究职员先容，梳状模子和多频带的混淆计谋，另有助于保持融合配景的光线和对比度。

对比分析，上风明显

研究职员将渐进式梳状模子与目前三种开源的人脸技能，分别为Deepfake、DeepFaceLab和Nirkin et aI举行了对比研究。其中，Nirkin et aI接纳三维可变模子，不需要预训练。后两者接纳Y形自动编码器结构的实现。

本次试验对五组人脸举行了对比。前两列分别源图像和目标图像，需要举行AI融合，从之后的图像可以看，本次研究模子在细节融合、图像辨别率以及阴影处置惩罚上，要高于其他算法模子。

而且，它接纳的多频带混淆在消除伪影方面要明显优于泊松混淆。DeepFakes和DeepFaceLab都的使用是泊松混淆（Poisson）。

不外，研究也存在明显的局限性，好比显示无法对戴眼镜的人举行稳定的人脸交换，不是由于眼镜部门无法渲染，而是无法将脸部与周围图像混淆。研究职员曾实验调解输入源与之相匹配，但结果时好时坏。、

不外，研究职员也解释在现实应用或影戏场景中，可能影响不大。

引用来源：雷锋网雷锋网雷锋网(公众号：雷锋网)

http://studios.disneyresearch.com/2020/06/29/high-resolution-neural-face-swapping-for-visual-effects/

https://techcrunch.com/2020/06/29/disney-research-neural-face-swapping-technique-can-provide-photorealistic-high-resolution-video/

https://gizmodo.com/disneys-developed-movie-quality-face-swapping-technolog-1844202003

雷锋网原创文章，未经授权克制转载。详情见转载须知。