开启辅助访问
 找回密码
 立即注册

一、基于GAN Inversion的高保真图像编辑

卡尔塔 回答数1 浏览数1185
作者丨Tengfei Wang
来源丨港科大、腾讯 AI Lab
编辑丨极市平台

论文:https://arxiv.org/abs/2109.06590
代码:https://github.com/Tengfei-Wang/HFGI
主页:https://tengfei-wang.github.io/HFGI/
视频:https://www.bilibili.com/video/BV1Xq4y1i7ev
只需一张照片,这个AI算法就能按照用户需求快速编辑图像属性,下面是AI脑补出照片微笑的样子:

再也不用担心拍照时把握不住微笑的时机了呢。除了表情,年龄、姿态也可以随心所欲变变变:

而且编辑后的图像可以高保真地保留原图的细节,比如背景、光照、装扮。
再从网络上找几张大家熟悉的名人照片试试,十年后的马斯克,假笑男孩Lecun,还有… … 涂了口红的约翰逊?

该项研究已经被CVPR 2022收录。
一、基于GAN Inversion的高保真图像编辑

GAN inversion技术最近被广泛研究,它可以将一张照片映射到一台GAN生成器的隐空间中,从而利用StyleGAN强大的能力对图片进行编辑。目前的GAN inversion方法分为三类:

  • 基于编码器(encoder-based) 这类方法编辑图片的速度很快 (每张图 < 1s),但是编辑后的图片会丢掉很多原图中的细节,保真度低。
  • 基于优化 (optimization-based) 这类方法对每张照片分别迭代,保真度高,但速度很慢(每张图几分钟)。
  • 混合方法 这类方法先用编码器得到一台初始化的隐变量,然后对每个隐变量优化,速度介于基于第一类和第二类之间 (每张图数十秒至数分钟),但依旧缓慢,影响实用性。
这就导致大家在选择模型的时候需要做出权衡和取舍,是选择更快的速度呢,或是选择更高的保真度呢?对于有选择困难的小伙伴来说,简直太纠结了!
那么,本篇论文是如何选择速度和质量的呢?答案是:全都要。养一只会捕鱼(丢失的细节)的熊(补充编码器),就可以鱼和熊掌一块得到啦。在快速处理(每张图 0.2s)的同时,又能保证编辑后图像的高保真度与高质量。
二、方法

在介绍算法之前,作者先分析了基于编码器的方法进行重建或者编辑保真度低的原因。这里提到信息论中大名鼎鼎的率失真理论(Rate-Distortion theory),即对于一台编码-解码系统,隐编码(latent code)的bit-rate对重建信号的保真度(重建信号与源信号的distortion)存在限制。

也就是说,之前的编码器压缩得到的隐编码很小(low-rate),通常是1x512或者18x512,这就会导致在生成器重建过程中必然会损伤掉一些信息,造成较大的distortion,使得重建或者编辑后的图像和原图相比发生失真。
那么,是不是我们直接增大编码器输出隐编码的大小(high-rate),问题就解决了呢?答案是:yes and no。这样做确实可以提升重建图像的保真度,但是我们的目的是对图像进行编辑而不是重建。Low-rate隐编码由于是通过高度压缩的,所以可以编码一些高级、丰富、解耦的语义,这些隐编码在隐空间里通过操控(vector arithmetic)可以省事的编辑图像属性。但对于high-rate隐编码,冗余会造成隐编码耦合,而且编码通常缺乏语义信息(low-level),这就导致图像难以有效编辑。

为了解决这个问题,本文提出了一种名为信息参照(information consultation)的方法,同时利用low-rate和high-rate隐编码。该模型包括两个编码器,基础编码器压缩低率隐编码,用于保证图像的可编辑性;参照编码器对低率重建图像的失真信息进行补充编码,得到一台高率的隐编码,补充丢失的细节信息。

这两部分隐编码在生成器中通过参照融合层(consultation fusion)整合,共同用于图像生成。参照融合层参照下图:

由于缺少成对的编辑图像进行训练,作者还提出了相应的自监督训练方法以及自适应失真校正模块(ADA)。
三、实验结果

论文提供了人脸和车辆照片上的对比结果。首先是和基于编码的方法的对比:

然后是和优化方法以及混合方法的对比:

以及定量对比:

四、更多结果

该方法不仅可以用于图像编辑,也可以用来做视频的编辑,更多结果可以在作者的主页找到:https://tengfei-wang.github.io/HFGI/

五、在线试玩

这么好玩的方法,想不想用自个或者朋友的照片来体验一下?作者提供了一台online demo,可以自个上传图片或者用摄像头拍照来进行编辑。
在线试玩地址:https://replicate.com/tengfei-wang/hfgi

往期精选

数据集汇总:

  • 人脸识别常用数据集大全
  • 行人检测数据集汇总
  • 10个开源工业检测数据集汇总
  • 21个深度学习开源数据集分类汇总(持续更新)
  • 小目标检测、图像分类、图像识别等开源数据集汇总
顶会资源:

  • CVPR 2021 结果出炉!最新500篇CVPR'21论文分方向汇总(更新中)
  • CVPR 2020 Oral 汇总:论文/代码/解读(更新中)
  • CVPR 2019 最全整理:全部论文下载,Github源码汇总、直播视频、论文解读等
  • CVPR 2018 论文解读集锦(9月27日更新)
  • CVPR 2018 目标检测(object detection)算法总览
  • ECCV 2018 目标检测(object detection)算法总览(部分含代码)
  • CVPR 2017 论文解读集锦(12-13更新)
  • 2000 ~2020 年历届 CVPR 最佳论文汇总
  • 极市平台:CVPR 2022 全面盘点:最新250篇论文分方向汇总 / 代码 / 解读 / 直播 / 项目(更新中)
  • 极市平台:CVPR'22 最新106篇论文分方向整理|包含目标检测、动作识别、图像处理等32个方向
  • 极市平台:一文看尽 CVPR2022 最新 22 篇论文(附打包下载)
  • 极市平台:17 篇 CVPR 2022 论文速递|涵盖 3D 目标检测、医学影像、车道线检测等方向
技术综述:

  • 综述:图像处理中的注意力机制
  • 搞懂Transformer结构,看这篇PyTorch实现就够了
  • YOLO算法最全综述:从YOLOv1到YOLOv5
  • 图像匹配大领域综述!涵盖 8 个子领域,近 20年经典方法汇总
  • 一文读懂深度学习中的各种卷积
  • 万字综述|核心开发者全面解读Pytorch内部机制
  • 19个损失函数汇总,以Pytorch为例
理论深挖:

  • 深入探讨:为啥要做特征归一化/标准化?
  • 令人“细思极恐”的Faster-R-CNN
论文盘点:

  • 图像分割二十年,盘点影响力最大的10篇论文
  • 2020年54篇最新CV领域综述论文速递!涵盖14个方向:目标检测/图像分割/医学影像/人脸识别等
实践/面经/求学:

  • 如何配置一台深度学习工作站?
  • 国内外优秀的计算机视觉团队汇总
  • 50种Matplotlib科研论文绘图合集,含代码实现
  • 图像处理知多少?准大厂算法工程师30+场秋招后总结的面经问题详解
  • 深度学习三十问!一位算法工程师经历30+场CV面试后总结的常见问题合集(含答案)
  • 深度学习六十问!一位算法工程师经历30+场CV面试后总结的常见问题合集下篇(含答案)
  • 一位算法工程师从30+场秋招面试中总结出的目标检测算法面经(含答案)
  • 一位算法工程师从30+场秋招面试中总结出的语义分割超强面经(含答案)
Github优质资源:

  • 25个【Awsome】GitHub 资源汇总(更新中)
  • 超强合集:OCR 文本检测干货汇总(含论文、源码、demo 等资源)
  • 2019-2020年目标跟踪资源全汇总(论文、模型代码、优秀实验室)
当贝投影