Image Inpainting Using Wasserstein Generative Adversarial Imputation Network
Czech Technical University in Prague（布拉格捷克理工大学）
图像修补是计算机视觉的重要研究内容之一，其核心是图像中缺失区域的重建。提出了一种基于Wasserstein生成对抗填补网络的图像修补模型。模型的生成器网络使用具有不同膨胀率的卷积层构建块，以及帮助模型再现输出细节的跳过连接。这种组合产生了一个通用的插补模型，能够以足够的质量处理各种缺失情况。为了通过实验证明这一点，该模型同时被训练来处理随机丢失像素、丢失各种较小的正方形区域以及图像中心丢失一个正方形的三种情况。事实证明，我们的模型在所有场景下都能获得高质量的修复结果。使用峰值信噪比和结构相似性指数对两个真实世界的基准数据集，CelebA面孔和巴黎街景的性能进行评估。我们的模型的结果进行了比较，双谐波填补和其他一些国家的最先进的图像修补方法。
2021-06-23 cs.CV cs.LG eess.IV
Patch-Based Image Inpainting with Generative Adversarial Networks
Istanbul Technical University（伊斯坦布尔技术大学）
最近，在相对大的缺失区域上的图像修补的区域通过专用的深度神经网络的适应而显著地进步。然而，当前的网络解决方案仍然将不期望的伪影和噪声引入到修复区域。提出了一种基于生成对抗网络（GAN）框架的图像修补方法。所提出的PGGAN方法包括将全局GAN（G-GAN）架构与补丁GAN方法相结合的并行网络。PGGAN首先在G-GAN和patchGAN之间共享网络层，然后分割路径以产生两个对抗性损失，这些损失馈送给生成器网络，以捕获图像纹理的局部连续性和图像中普遍的全局特征。所提出的框架进行了广泛的评估，结果，包括比较最近的国家的最先进的证明，它实现了相当大的改善视觉和定量评价。
2018-03-20 cs.CV
Generative Image Inpainting with Segmentation Confusion Adversarial Training and Contrastive Learning
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
本文提出融合SCAT、全局对抗训练及纹理与语义对比损失的图像修复框架，兼顾全局一致性、局部纹理和自由孔洞适应性，并在两个基准上验证其优越性。
2023-03-23 cs.CV
Image Inpainting using Block-wise Procedural Training with Annealed Adversarial Counterpart
USC（南加利福尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
深度生成模型的最新进展在图像嵌入方面显示出了很大的潜力，这是指使用已知上下文预测不完整图像的缺失像素值的任务。然而，现有的方法可能是缓慢的或产生不令人满意的结果，容易检测到的缺陷。此外，在孔附近通常存在可感知的不连续性，并且需要进一步的后处理来混合结果。我们提出了一种新的方法来解决训练一个非常深的生成模型来合成高质量的照片级真实感修复的困难。我们的模型使用条件生成对抗网络（条件GANs）作为骨干，我们引入了一种新的分块程序训练方案来稳定训练，同时增加网络深度。我们还提出了一种称为对抗性损失退火的新策略来减少伪影。我们进一步描述了几个专门为修复设计的损失，并显示其有效性。大量的实验和用户研究表明，我们的方法优于现有的方法在几个任务，如修复，人脸完成和图像协调。最后，我们展示了我们的框架可以很容易地用作交互式引导修复的工具，展示了它在解决常见现实挑战方面的实用价值。
2018-03-28 cs.CV
R-MNet: A Perceptual Adversarial Network for Image Inpainting
Manchester Metropolitan University（曼彻斯特城市大学）；Image Metrics Ltd（Image Metrics有限公司）；National Taiwan University of Science and Technology（台湾科技大学）
人脸图像修补是一个被广泛研究的问题，近年来生成对抗网络的引入，导致了该领域的改进。不幸的是，一些问题仍然存在，特别是在将缺失的像素与可见像素混合时。我们解决这个问题，提出了一个Wasserstein GAN结合一个新的反向掩码算子，即反向掩码网络（R-MNet），感知对抗网络的图像修补。反向掩码操作符将反向掩码图像传输到编码器-解码器网络的末端，只留下有效像素进行修复。此外，我们提出了一个新的损失函数计算的特征空间，结合对抗训练的目标只有有效的像素。然后，这些捕获数据分布并生成与训练数据中的图像类似的图像，在输出图像上实现真实感（真实且连贯）。我们评估我们的方法公开可用的数据集，并与国家的最先进的方法进行比较。我们表明，我们的方法是能够推广到高分辨率的修复任务，并进一步显示更逼真的输出，是合理的人类视觉系统相比，国家的最先进的方法。
2020-11-09 cs.CV
Quaternion Generative Adversarial Neural Networks and Applications to Color Image Inpainting
School of Mathematics and Statistics, Jiangsu Normal University（江苏师范大学数学与统计学院）
针对彩色图像通道相关性被忽视的问题，提出融合四元数反卷积与四元数批量归一化的QGAN，用于大面积缺失彩色图像修复并取得优于现有算法的效果。
2024-06-17 cs.AI cs.CV
EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning
University of Ontario Institute of Technology（安大略理工大学）
在过去的几年里，深度学习技术在图像修补方面取得了显著的进步。然而，这些技术中的许多未能重建合理的结构，因为它们通常是过度平滑和/或模糊的。本文提出了一种新的图像修补方法，该方法能更好地再现具有细节的填充区域。我们提出了一个两阶段的对抗模型EdgeConnect，它由一个边缘生成器和一个图像完成网络组成。边缘生成器使图像的缺失区域（规则和不规则）的边缘产生幻觉，并且图像完成网络使用幻觉边缘作为先验来填充缺失区域。我们在公开可用的数据集CelebA，Places 2和Paris StreetView上对我们的模型进行了端到端的评估，并表明它在定量和定性上都优于当前最先进的技术。代码和模型可在：https://github.com/knazeri/edge-connect
2019-01-11 cs.CV
DAFT-GAN: Dual Affine Transformation Generative Adversarial Network for Text-Guided Image Inpainting
Kyungpook National University（庆北国立大学）
针对文本引导图像修复中的图文对齐与区域分布一致性问题，提出DAFT-GAN，通过双仿射变换逐步融合特征并分区编码以减少信息泄漏，在三个基准上取得优于现有GAN模型的效果。
2024-08-09 cs.CV
Unsupervised Adversarial Image Inpainting
Sorbonne Universités（索邦大学）；Criteo AI Lab（Criteo人工智能实验室）
我们考虑在无监督设置中进行修复，其中既不能访问配对的也不能访问未配对的训练数据。唯一可用的信息是由不完整的观察和修复过程统计信息提供的。在这种情况下，观察应该产生几个合理的重建，这相当于学习在重建图像的空间上的分布。我们建模的重建过程中使用的条件GAN的随机组件，引入一个明确的依赖关系，这个组件和生成的输出之间的约束。这允许我们从潜在成分中进行采样，以生成与观察相关联的图像分布。我们在几个图像数据集上展示了我们的模型的能力：面部（CelebA），食物图像（Recipe-1 M）和卧室（LSUN Bedrooms），具有不同类型的插补掩码。该方法产生了与使用额外监督训练的模型变体相当的性能。
2019-12-18 cs.CV cs.LG eess.IV
Improving Consistency and Correctness of Sequence Inpainting using Semantically Guided Generative Adversarial Network
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
用于图像修补的当代基准方法基于深度生成模型，并且特别利用对抗性损失来产生逼真的重建。然而，这些模型不能直接应用于图像/视频序列，因为一个固有的缺点-重建可能是独立的现实，但是，当可视化为一个序列，往往缺乏保真度的原始未损坏的序列。其根本原因是这些方法试图找到最佳匹配的潜在空间表示接近自然图像流形没有任何显式的距离为基础的损失。在本文中，我们提出了一个语义条件生成对抗网络（GAN）的序列修复。条件信息约束GAN将潜在表示映射到图像流形中的关于场景的潜在姿态和语义的点。据我们所知，这是第一个同时解决基于生成模型的修复的一致性和正确性的工作。我们表明，我们的生成模型学习解开姿势和外观信息;这种独立性被我们的模型利用来生成高度一致的重建。条件信息还帮助GAN中的生成器网络产生与原始GAN公式相比更清晰的图像。这有助于实现更吸引人的修复性能。虽然通用，我们的算法是针对面部修复。当应用于CelebA和Youtube Faces数据集时，所提出的方法在定量评估（峰值信噪比）和分辨率和变形的各种组合的人类视觉评分方面都比当前基准有了显着的改进。
2017-11-17 cs.CV
Semantic Image Inpainting Through Improved Wasserstein Generative Adversarial Networks
University Pompeu Fabra（庞培法布拉大学）
图像修补是对受损或不完整图像的缺失区域进行填充的任务。在这项工作中，我们解决这个问题，不仅使用现有的视觉数据，但也通过使用生成模型结合图像语义。我们的贡献是双重的：首先，我们通过训练Wasserstein生成对抗网络的改进版本来学习数据潜在空间，为此我们引入了一个新的生成器和网络架构。其次，学习的语义信息与新的优化损失相结合，用于修复，其最小化推断由可用数据调节的缺失内容。它考虑到了图像本身固有的强大的上下文和感知内容。好处包括通过积累语义信息来恢复大区域的能力，即使它不完全存在于受损图像中。实验结果表明，该方法在不同的实验条件下均获得了定性和定量的顶级结果，并达到了与最先进作品相当的精确的照片真实感。
2018-12-03 cs.CV
MGAN-CRCM: A Novel Multiple Generative Adversarial Network and Coarse-Refinement Based Cognizant Method for Image Inpainting
Bangladesh University of Professionals（孟加拉国专业大学）；Jahangirnagar University（贾汉吉尔纳加尔大学）；University of New South Wales (UNSW)（新南威尔士大学（UNSW））；Charles Sturt University（查尔斯特大学）
本文提出MGAN-CRCM架构，结合多重GAN与ResNet进行图像修复，通过转置卷积GAN、FR-CNN和Co-Mod GAN分别实现盲修复、目标移除和细化，在多个基准数据集上取得优于现有方法的准确率。
2024-12-25 cs.CV cs.LG eess.IV
Face Completion with Semantic Knowledge and Collaborative Adversarial Learning
University of Rochester（罗切斯特大学）；Siemens Healthineers（西门子医疗）；Tencent X-Lab（腾讯X实验室）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
与传统的背景修复方法不同，传统的背景修复方法从与背景相似的图像块中推断出缺失区域，人脸修复需要关于目标对象的语义知识以获得逼真的输出。当前图像修补方法利用生成对抗网络（GANs）来实现这种语义理解。然而，在对抗学习中，语义知识是隐式学习的，因此并不总是保证良好的语义理解。在这项工作中，我们提出了一个合作的对抗性学习方法，面对完成明确诱导的培训过程。我们的方法是制定下一个新的生成框架称为协作GAN（collaGAN），它允许更好的语义理解的目标对象，通过协作学习的多个任务，包括面部完成，地标检测，和语义分割。与collaGAN一起，我们还引入了一个修复集中方案，使得模型更强调修复而不是自动编码。大量的实验表明，所提出的设计确实是有效的，合作对抗学习提供了更好的面部特征表示。与其他生成式图像修补模型和单任务学习方法相比，我们的解决方案在所有任务上都具有优异的性能。
2022-03-23 cs.CV
AdvPaint: Protecting Images from Inpainting Manipulation via Adversarial Attention Disruption
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
针对扩散模型被滥用于未授权图像修复的问题，本文提出 ADVPAINT，通过攻击自注意力与交叉注意力并采用两阶段扰动，显著提升防御效果。
2025-03-13 cs.CR cs.CV
Fashion Editing with Adversarial Parsing Learning
Sun Yat-sen University（中山大学）；Petuum Inc（Petuum公司）；ByteDance AI Lab（字节跳动AI实验室）
交互式服装图像处理是一个很有应用价值的研究课题，它使用户能够用草图和颜色笔画来编辑图像。现有的作品往往把它作为一个一般的修复任务，并没有充分利用语义结构信息的时装图像。此外，它们直接利用传统的卷积和归一化层来恢复不完整的图像，这往往会洗掉草图和颜色信息。在本文中，我们提出了一种新的时尚编辑生成对抗网络（FE-GAN），它能够通过自由形式的草图和稀疏的颜色笔画来操纵时尚图像。FE-GAN由两个模块组成：1）一个自由形式的解析网络，它通过操纵草图和颜色来学习控制人类解析生成; 2）一个解析感知的修复网络，它通过人类解析图的语义指导来渲染详细的纹理。在修复网络的解码器中，进一步在多个尺度上应用新的注意力归一化层，以提高合成图像的质量。在高分辨率时尚图像数据集上的大量实验表明，该方法在图像处理上的性能明显优于现有的方法。
2019-09-28 cs.CV eess.IV
Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks
University of Southern California（南加州大学）；US Army Research Laboratory（美国陆军研究实验室）
卷积神经网络的最新进展已经在3D形状完成中显示出有希望的结果。但由于GPU内存的限制，这些方法只能产生低分辨率的输出。为了用语义可扩展性和上下文细节来修补3D模型，我们引入了一个混合框架，该框架结合了3D编码器-解码器生成对抗网络（3D-ED-GAN）和长期递归卷积网络（LRCN）。3D-ED-GAN是一种3D卷积神经网络，采用生成对抗范式进行训练，以低分辨率填充缺失的3D数据。LRCN采用递归神经网络架构来最大限度地减少GPU内存使用，并将编码器-解码器对纳入长短期记忆网络。通过将3D模型处理为2D切片序列，LRCN将粗略的3D形状转换为更完整和更高分辨率的体积。虽然3D-ED-GAN捕获3D形状的全局上下文结构，但LRCN定位细粒度细节。在真实世界和合成数据上的实验结果表明，从损坏的模型重建得到完整和高分辨率的3D对象。
2017-11-17 cs.CV
fastWDM3D: Fast and Accurate 3D Healthy Tissue Inpainting
Department of Biomedical Engineering, University of Basel, Switzerland Department of Quantitative Biomedicine, University of Zurich, Switzerland Helmholtz AI, Helmholtz Zentrum München, Germany Department of Diagnostic；Interventional Neuroradiology, School of Medicine, Klinikum rechts der Isar, Technical University of Munich, Germany TranslaTUM - Central Institute for Translational Cancer Research, Technical University of Munich, Germany
本文提出fastWDM3D，通过将方差保持噪声调度与重建损失应用于无GAN的3D小波扩散模型，在仅两个时间步内实现快速精确的3D健康脑组织修复，速度较其他DDPM提升最高800倍且性能更优。
2025-07-17 cs.CV eess.IV
V-LinkNet: Learning Contextual Inpainting Across Latent Space of Generative Adversarial Network
Manchester Metropolitan University（曼彻斯特城市大学）；Image Metrics Ltd（Image Metrics有限公司）
图像修补是图像处理任务中的一项关键技术，它能预测图像中的缺失区域，生成逼真的图像。考虑到具有特征提取、传播和重建能力的现有生成修复模型的进步，在更深层中缺乏高质量的特征提取和转移机制来解决所生成的修复区域上的持续像差。我们的方法，V-LinkNet，开发了高层次的特征转移到深层次的纹理背景的修补区域，我们的工作，提出了一种新的技术相结合的编码器学习通过递归残差过渡层（RSTL）。RSTL层通过直接通信增加唯一的语义信息，很容易适应双编码器。通过将双编码器结构与上下文特征表示损失函数相结合，我们的系统获得了使用高级特征进行修补的能力。为了减少随机mask-image配对的偏差，我们在CelebA-HQ，Paris Street View和Places 2数据集的测试集上引入了一个标准的mask-image配对协议。我们的结果表明，V-LinkNet使用此标准协议在CelebA-HQ和巴黎街景上表现更好。在接受本文后，我们将与研究界分享标准协议和我们的代码。
2022-05-17 cs.CV
PiiGAN: Generative Adversarial Networks for Pluralistic Image Inpainting
Central South University of Forestry and Technology（中南林业科技大学）
基于深度学习的最新方法在修复图像中大面积缺失区域的复杂工作方面取得了惊人的成果。但这种方法通常试图产生一个单一的“最佳”结果，忽略了许多其他可能的结果。考虑到修复任务的不确定性，一个唯一的结果很难被视为丢失区域的期望再生。鉴于这一弱点，这是与以前的算法的设计，我们提出了一种新的深度生成模型配备了一个全新的风格提取器，可以提取风格特征（潜在向量）从地面真理。一旦获得，提取的风格特征和地面实况都被输入到生成器中。我们还制作了一个一致性损失，引导生成的图像接近地面实况。经过迭代，我们的生成器能够学习对应于多组向量的样式映射。该模型可以生成大量符合图像上下文语义的结果。此外，我们评估了我们的模型在三个数据集上的有效性，即，CelebA、PlantVillage和MauFlex。与现有的图像修复方法相比，该模型能够提供更好的图像修复质量和更高的多样性。代码和模型将在https://github.com/vivitsai/PiiGAN上提供。
2020-03-19 cs.CV cs.LG
DAM-GAN : Image Inpainting using Dynamic Attention Map based on Fake Texture Detection
Pohang University of Science and Technology（浦项科技大学）；Department of Computer Science and Engineering（计算机科学与工程系）；Engineering Pohang University of Science（浦项科技大学工程学院（注：原文本可能存在排版问题，更准确的应为浦项科技大学计算机科学与工程系））
深度神经的进步最近为图像修补领域带来了卓越的图像合成性能。特别是生成对抗网络（GAN）的适应性加速了高质量图像重建的重大进展。然而，尽管许多著名的基于GAN的网络已被提出用于图像修补，但在生成过程中，合成图像中会出现静止像素伪影或颜色不一致，这通常被称为假纹理。为了减少虚假纹理导致的像素不一致性混乱，我们引入了一个基于GAN的模型，使用动态注意力图（DAM-GAN）。我们提出的DAM-GAN专注于检测虚假纹理和产品动态注意力图，以减少生成器中特征图的像素不一致性。在CelebA-HQ和Places 2数据集上与其他图像修补方法的对比实验结果表明了该网络的优越性。
2022-04-20 cs.CV eess.IV
PIINET: A 360-degree Panoramic Image Inpainting Network Using a Cube Map
Kyung Hee University（庆熙大学）
图像修复是计算机视觉领域的一个研究热点。随着人工智能技术的发展，深度学习技术被引入修复研究，有助于提高性能。目前，使用深度学习的修复算法的输入目标已经从单个图像研究到视频。然而，基于深度学习的全景图像修复技术尚未得到积极研究。提出了一种基于生成对抗网络（GANs）的360度全景图像修复方法。该网络输入360度等距矩形格式的全景图像，将其转换为具有相对较小失真的立方体映射格式，并将其用作训练网络。由于使用了立方体贴图格式，所以应该考虑立方体贴图的六个边的相关性。因此，立方体映射的所有面被用作整个判别网络的输入，并且立方体映射的每个面被用作切片判别网络的输入以确定所生成的图像的真实性。该网络的性能优于现有的单图像修复算法和基线算法。
2021-01-26 cs.CV eess.IV
Adversarial Masked Image Inpainting for Robust Detection of Mpox and Non-Mpox
Guangzhou Medical University（广州医科大学）；Guangdong Polytechnic Normal University（广东技术师范大学）
针对现有分类模型易受噪声干扰、依赖多样非猴痘图像且无法检测异常输入的缺点，提出MIM方法，仅用生成对抗网络修复猴痘图像并度量相似性来检测，平均AUROC达0.8237，并开发了免费手机应用。
2023-10-10 cs.CV cs.LG eess.IV
Context-Aware Semantic Inpainting
The University of Hong Kong（香港大学）；Sun Yat-sen University（中山大学）
最近，由于生成对抗网络（GAN）能够合成逼真的内容，图像修复取得了快速进展。然而，大多数现有的基于GAN的语义修复方法应用具有完全连接层的自动编码器架构，无法准确地维护空间信息。此外，现有GANs中的嵌入式系统难以理解图像上下文中的高级语义，并产生语义一致的内容。现有的评价标准偏向于模糊结果，不能很好地表征图像修复结果中的边缘保留和视觉真实性。在本文中，我们提出了一种改进的生成对抗网络，以克服上述限制。我们提出的基于GAN的框架包括生成器的完全卷积设计，这有助于更好地保留空间结构和联合损失函数，其中修改了感知损失以捕获上下文中的高级语义。此外，我们还介绍了两种新的措施，以更好地评估质量的图像修补的结果。实验结果表明，我们的方法优于国家的最先进的在广泛的标准。
2017-12-21 cs.CV
Pixel-wise Dense Detector for Image Inpainting
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Tencent AI Lab（腾讯人工智能实验室）
目前基于GAN的图像修补方法采用平均策略对生成的图像进行判别并输出标量，这不可避免地丢失了视觉伪影的位置信息。此外，对抗性损失和重建损失（例如，L1损失）与也难以调谐的折衷权重相结合。在本文中，我们提出了一种新的基于检测的生成框架图像修补，它采用了最小-最大策略的对抗过程。生成器遵循编码器-解码器架构来填充缺失区域，并且检测器使用弱监督学习以像素方式定位伪影的位置。这样的位置信息使得生成器关注伪影并进一步增强它们。更重要的是，我们显式地将检测器的输出插入到具有加权准则的重建损失中，该准则自动平衡对抗损失和重建损失的权重，而不是手动操作。在多个公共数据集上的实验表明了该框架的优越性能。源代码可在https://github.com/Evergrow/GDN_Inpainting上获得。
2020-11-17 cs.CV
A Wasserstein GAN for Joint Learning of Inpainting and Spatial Optimisation
Saarland University（萨尔兰大学）
图像修复是一种重建图像中缺失部分的修复方法。然而，产生高质量修补的已知像素的精心选择的掩模也可以用作稀疏图像表示。这种具有挑战性的空间优化问题对于压缩等实际应用至关重要。到目前为止，它几乎完全由基于模型的方法来解决。神经网络的第一次尝试似乎很有希望，但需要针对特定的修复操作或需要后处理。为了解决这个问题，我们提出了第一个用于空间修复数据优化的生成对抗网络（GAN）。与以前的方法相比，它允许修复生成器和相应的掩模优化网络的联合训练。通过Wasserstein距离，我们确保修复结果准确反映自然图像的统计数据。这在视觉质量和速度上比传统的随机模型有了显着的改进。它也优于当前的空间优化网络。
2022-12-02 cs.CV cs.LG eess.IV
Region-wise Generative Adversarial ImageInpainting for Large Missing Areas
Beihang University（北京航空航天大学）；The University of Sydney（悉尼大学）；University of York（约克大学）
最近，深度神经网络在图像修补任务中填充大的缺失区域方面取得了很好的性能。他们通常采用标准的卷积架构在损坏的图像上，导致无意义的内容，如颜色差异，模糊和伪影。此外，大多数修复方法不能很好地处理大的连续缺失区域的情况下。为了解决这些问题，我们提出了一个通用的修复框架，能够处理不完整的图像上连续和不连续的大的缺失区域，在对抗的方式。其中，在生成器和卷积器中部署了区域卷积，以分别处理不同的区域，即现有区域和缺失区域。此外，相关损失的引入，以捕捉不同的补丁之间的非局部相关性，从而引导生成器在推理过程中获得更多的信息。在我们提出的框架的帮助下，我们可以恢复语义合理和视觉逼真的图像。在三个广泛使用的图像修补任务数据集上进行了大量的实验，定性和定量的实验结果表明，该模型在大的连续和不连续的缺失区域上都明显优于现有的方法。
2019-09-27 cs.CV
Boundless: Generative Adversarial Networks for Image Extension
Google Research（谷歌研究院）
图像扩展模型在图像编辑、计算摄影和计算机图形学中有着广泛的应用。虽然图像修补已经在文献中得到了广泛的研究，但直接将最先进的修补方法应用于图像扩展是具有挑战性的，因为它们往往会生成具有不一致语义的模糊或重复像素。我们将语义调节引入生成对抗网络（GAN）的扩展，并在具有连贯语义和视觉上令人愉悦的颜色和纹理的图像扩展上取得了很好的结果。我们还显示了有前途的结果在极端的扩展，如全景生成。
2019-08-19 cs.CV
PEPSI++: Fast and Lightweight Network for Image Inpainting
Korea University（高丽大学）
在各种基于生成对抗网络（GAN）的图像修补方法中，具有上下文注意力模块（CAM）的粗到细网络表现出了卓越的性能。然而，由于两个堆叠的生成网络，粗到细的网络需要大量的计算资源，如卷积运算和网络参数，这导致速度低。为了解决这个问题，我们提出了一种新的网络架构称为PEPSI：并行扩展解码器路径的语义修复网络，其目的是减少硬件成本，提高修复性能。PEPSI由一个共享的编码网络和并行解码网络组成，称为粗路径和修复路径。粗略路径产生初步修补结果以训练编码网络用于CAM的特征预测。同时，修复路径使用经由CAM重建的精细特征生成更高的修复质量。此外，我们提出了饮食PEPSI，大大降低了网络参数，同时保持性能。在Diet-PEPSI中，为了以低硬件成本捕获全局上下文信息，我们提出了新的速率自适应膨胀卷积层，该层采用共同的权重，但根据给定的膨胀率产生动态特征。与最先进的图像修补方法的性能比较的大量实验表明，PEPSI和Diet-PEPSI都提高了定性分数，即峰值信噪比（PSNR）和结构相似性（SSIM），以及显着降低硬件成本，如计算时间和网络参数的数量。
2020-03-06 cs.CV eess.IV
Faster Unsupervised Semantic Inpainting: A GAN Based Approach
IIT Kharagpur（印度理工学院卡拉格布尔分校）
在本文中，我们提出了提高推理速度和当代基线的视觉质量的生成对抗网络（GAN）基于无监督语义修复。通过更好地初始化框架中涉及的核心迭代优化，这是可能的。据我们所知，这也是第一次尝试基于GAN的视频修复考虑到时间线索。在单个图像修补上，与基线相比，我们在视频上实现了大约4.5-5 $\times$的加速比和80 $\times$。同时，我们的方法具有更好的空间和时间重建质量上发现三个图像和一个视频数据集。
2019-08-14 cs.CV
Inpainting via Generative Adversarial Networks for CMB data analysis
Institute for Research in Fundamental Sciences (IPM)（基础科学研究所（IPM））；Scuola Internazionale Superiore di Studi Avanzati (SISSA)（国际高等研究院（SISSA））；Institute for Fundamental Physics of the Universe (IFPU)（宇宙基础物理研究所（IFPU））
在这项工作中，我们提出了一种新的方法来修补的CMB信号的区域掩盖了点源提取过程。我们采用了一种改进的生成对抗网络（GAN），并比较了内部（超）参数和训练策略的不同组合。我们研究的性能，使用一个合适的$\mathcal{C}_r$变量，以估计性能的CMB功率谱恢复。我们考虑一个测试集，其中一个点源被掩盖在每个天空补丁与1.83 $\times$ 1.83平方度的扩展，这在我们的网格，对应于64 $\times$ 64像素。GAN针对普朗克2018年总强度模拟的估计性能进行了优化。该训练使GAN能够有效地重建对应于约1500个像素的掩蔽，其中$1\%$误差低至对应于约5角分的角标度。
2020-04-21 astro-ph.CO cs.CV cs.LG
Image Inpainting with Learnable Feature Imputation
Department of Computer Science Norwegian University of Science and Technology（挪威科技大学计算机科学系）；Norwegian University of Science and Technology（挪威科技大学）
常规卷积层以相同的方式在已知和未知区域上应用滤波器，会导致修复图像中的视觉伪影。一些研究通过对卷积输出进行特征重新归一化来解决这个问题。然而，这些模型使用大量可学习的参数来进行特征重新规范化，或者假设输出确定性的二进制表示。我们建议（逐层）将缺失的输入值特征填充到卷积中。与学习的特征重新规范化相比，我们的方法是有效的，并且引入了最少数量的参数。此外，我们提出了一个修改的梯度惩罚图像修补，和一个新的GAN架构专门训练对抗损失。我们对FDF数据集的定量评估反映了我们修改后的梯度惩罚和替代卷积显着提高了生成的图像质量。我们目前比较CelebA-HQ和Places 2到目前最先进的，以验证我们的模型。
2020-11-02 cs.CV eess.IV
Continuation of Famous Art with AI: A Conditional Adversarial Network Inpainting Approach
Nottingham Trent University（诺丁汉特伦特大学）；Department of Computer Science（计算机科学系）；Computational Intelligence and Applications Research Group (CIA)（计算智能与应用研究组（CIA））；Nottingham, United Kingdom（英国诺丁汉（注：此处为地址信息，非机构，按要求应忽略，但原文中该部分与机构列表相邻，需确认是否提取。根据提取范围，地址不属于机构，故最终仅保留大学、学院、系、研究组等机构名称。经再次核对，正确机构为诺丁汉特伦特大学、计算机科学系、计算智能与应用研究组（CIA）。其中“Department of Computer Science”属于系，“Computational Intelligence and Applications Research Group (CIA)”属于研究组，均符合机构粒度要求。）}]} 修正后：{）
许多受真实艺术作品启发的最先进的图像合成要么完全由过滤的随机噪声生成，要么受到风格转移的启发。这项工作探讨了图像修补的应用，继续著名的艺术作品，并产生生成艺术与条件GAN。在该过程的训练阶段，图像的边界被裁剪，只留下中心。然后，修复GAN的任务是通过最小化对抗性和绝对差异损失来学习从中心裁剪重建原始图像，这些损失通过其Fréchet Inception Distances和手动观察来分析。一旦网络被训练，图像就会被调整大小，而不是被裁剪并作为输入呈现给生成器。在学习过程之后，生成器然后通过从原始片段的边缘继续来创建新图像。三个实验进行了4766风景画（印象派和浪漫主义），1167浮世绘作品从日本江户时代，和4968抽象艺术作品的数据集。实验结果表明，生成器在扩展真实艺术作品时实现了几何、纹理（包括画布和颜料）以及天空、云、水、陆地（包括丘陵和山脉）、草地和花卉等景物。在浮世绘的实验中，人们观察到，即使在原始图像没有任何文字的情况下，由于输入图像中存在未着色的边界，也会生成文字等特征。
2022-02-01 cs.CV cs.GR
Adversarially robust segmentation models learn perceptually-aligned gradients
University of Maryland（马里兰大学）
对抗性训练对语义分割网络的影响尚未得到深入研究。虽然以前的工作已经表明，经过逆向训练的图像分类器可以用于执行图像合成，但我们还没有了解如何最好地利用经过逆向训练的分割网络来完成同样的工作。使用一个简单的优化器，我们证明了对抗训练的语义分割网络可用于执行图像修补和生成。我们的实验表明，经过逆向训练的分割网络更健壮，并且确实表现出感知对齐的梯度，这有助于产生合理的图像修补。我们试图在以下假设背后放置额外的权重：对抗性鲁棒模型表现出与人类视觉更感知一致的梯度。通过图像合成，我们认为，感知对齐梯度促进更好地理解神经网络的学习表示，并有助于使神经网络更可解释。
2022-04-03 cs.CV cs.LG
GRIG: Few-Shot Generative Residual Image Inpainting
Wenzhou University（温州大学）；Memorial University of Newfoundland（纽芬兰纪念大学）；Zhejiang University（浙江大学）；University of Bath（巴斯大学）；University of Guelph（圭尔夫大学）；Nanjing University（南京大学）
针对图像修复依赖大规模训练数据的问题，本文提出GRIG少样本生成式残差方法，结合CNN、Transformer、双尺度判别器与伪造块对抗训练，实现高质量修复并在定量和定性上超越既有方法。
2023-04-24 cs.CV cs.MM
Symmetric Skip Connection Wasserstein GAN for High-Resolution Facial Image Inpainting
Manchester Metropolitan University（曼彻斯特城市大学）；Image Metrics Ltd（Image Metrics有限公司）
最先进的面部图像修补方法取得了可喜的成果，但人脸真实感的保持仍然是一个挑战。这是由于限制，如：未能保持边缘和模糊的文物。为了克服这些限制，我们提出了一个对称跳跃连接Wasserstein生成对抗网络（S-WGAN）的高分辨率面部图像修补。该架构是具有卷积块的编码器-解码器，通过跳过连接链接。编码器是一个特征提取器，它捕获输入图像的数据抽象，以学习从输入（二进制掩码图像）到地面实况的端到端映射。解码器使用学习的抽象来重建图像。通过跳过连接，S-WGAN将图像细节传输到解码器。此外，我们提出了一个Wasserstein感知损失函数，以保持颜色和保持重建图像的真实感。我们在CelebA-HQ数据集上评估了我们的方法和最先进的方法。我们的研究结果表明，S-WGAN产生更清晰，更逼真的图像时，视觉上与其他方法相比。定量测量表明，我们提出的S-WGAN实现了最佳的结构相似性指数测度（SSIM）为0.94。
2020-09-12 cs.CV eess.IV
WavePaint: Resource-efficient Token-mixer for Self-supervised Inpainting
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本文提出基于WaveMix的全卷积架构WavePaint，利用二维离散小波变换进行token混合，在重建质量和计算效率上超越现有图像修复模型。
2023-07-01 cs.AI cs.CV
TBI-GAN: An Adversarial Learning Approach for Data Synthesis on Traumatic Brain Segmentation
Shanghai Jiao Tong University（上海交通大学）；Huashan Hospital, Shanghai Medical College, Fudan University（复旦大学上海医学院华山医院）；National Center for Neurological Disorders（国家神经疾病中心）；Fudan University（复旦大学）；ShanghaiTech University（上海科技大学）
脑网络分析是脑外伤患者意识水平评估和预后评估的重要手段，需要分割出与意识相关的脑区。然而，由于难以收集TBI患者的手动注释的MR扫描，因此难以构建TBI分割模型，可以应用数据增强技术来缓解数据稀缺的问题。然而，传统的数据增强策略，如空间和强度变换是无法模仿的变形和损伤的创伤性大脑，这限制了后续分割任务的性能。为了解决这些问题，我们提出了一种新的医学图像修复模型TBI-GAN合成TBI MR扫描与配对的大脑标签地图。我们的TBI-GAN方法的主要优点是它可以同时生成TBI图像和相应的标签图，这在以前的医学图像修复方法中还没有实现。该算法首先在边缘信息的指导下，按照由粗到精的方式生成修补图像，然后将合成后的强度图像作为先验信息进行标签修补。此外，我们引入了一个基于配准的模板增强流水线，以增加合成图像对的多样性，提高数据增强的能力。实验结果表明，所提出的TBI-GAN方法可以生成足够多的具有高质量和有效标签图的合成TBI图像，与其他方法相比，可以大大提高2D和3D创伤脑分割的性能。
2022-08-12 cs.CV eess.IV
Secure Traffic Sign Recognition: An Attention-Enabled Universal Image Inpainting Mechanism against Light Patch Attacks
针对对抗性光补丁攻击交通标志识别的安全威胁，本文提出 SafeSign，通过二值掩码 U-Net 生成训练数据并结合注意力多视图融合修复污染图像，使三类识别模型平均准确率提升54.8%。
2024-09-06 cs.CV cs.CY
PromptFlare: Prompt-Generalized Defense via Cross-Attention Decoy in Diffusion-Based Inpainting
Sungkyunkwan University（成均馆大学）
PromptFlare 通过向提示中语义无信息的共享 token 注入交叉注意力诱饵噪声来抑制扩散修复模型的采样过程，从而在 EditBench 上以更低计算和显存开销实现最先进的图像防篡改保护。
2025-08-22 cs.CV
Local Facial Attribute Transfer through Inpainting
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；IWR, University of Heidelberg（海德堡大学交互计算与可视化研究所）；Fraunhofer Center Machine Learning（弗劳恩霍夫机器学习中心）；Institute for Machine Learning and Analytics, Offenburg University（奥芬堡大学机器学习与分析研究所）
术语属性转移是指以这样的方式改变图像的任务，即给定输入图像的语义解释朝着预期的方向移动，该方向由语义属性量化。突出的示例应用是面部特征和表情的照片逼真变化，例如改变头发颜色，添加微笑，放大鼻子或改变场景的整个背景，例如将夏季景观转换为冬季全景。属性转移的最新进展大多基于生成式深度神经网络，使用各种技术在生成器的潜在空间中操纵图像。在本文中，我们提出了一种新的方法，本地属性传输的共同子任务，只有一个脸的一部分必须改变，以实现语义的变化（例如，删除胡子）。与以前的方法相比，这种局部变化已经通过生成新的（全局）图像来实现，我们建议将局部属性转移作为一个修复问题来制定。我们的属性转移修复生成对抗网络（ATI-GAN）仅删除和重新生成部分图像，能够利用本地上下文信息来关注属性，同时保持背景不变，从而获得视觉上的声音结果。
2020-10-12 cs.CV eess.IV
DiffGANPaint: Fast Inpainting Using Denoising Diffusion GANs
Iran University of Science and Technology（伊朗科技大学）；McGill University（麦吉尔大学）
本文提出基于去噪扩散概率模型（DDPM）的DiffGANPaint图像修复方法，利用GAN生成器建模反向扩散过程以降低采样成本，实现快速填充缺失像素，实验表明其性能优于或与多数当代工作持平。
2023-08-03 cs.CV
GAN-based Algorithm for Efficient Image Inpainting
New York University（纽约大学）；Georgia Institute of Technology（佐治亚理工学院）；Rensselear Polytechnic Institute（伦斯勒理工学院）
针对戴口罩导致的面部识别难题，作者结合自编码器与GAN构建context encoders模型，用5万张面部图像训练实现图像修复，并探讨了改进方向。
2023-09-13 cs.CV eess.IV
Extreme Face Inpainting with Sketch-Guided Conditional GAN
Rochester Institute of Technology（罗切斯特理工学院）
恢复严重受损的人脸图像是一项有用但具有挑战性的任务，特别是在被掩盖或受损区域非常大的极端情况下。其中一个主要挑战是系统在训练数据集之外的人脸上进行泛化的能力。我们建议使用条件生成对抗网络（GAN）来处理这种极端的修复任务，该网络利用结构信息（如边缘）作为先验条件。边缘信息可以从部分掩蔽的图像和结构相似的图像或手绘图中获得。在我们提出的条件GAN中，我们在编码器的每一层中传递条件输入，同时保持学习的权重和传入的条件输入之间的分布的一致性。我们证明了我们的方法的有效性与严重损坏的脸的例子。
2021-05-13 cs.CV
Image inpainting for corrupted images by using the semi-super resolution GAN
dept. Computer Engineering Sharif University of Technology International Campus Kish, Iran（计算机工程系 巴尔赫大学技术学院 国际校区 首都伊朗）；Computer Engineering University of Tehran Tehran, Iran（计算机工程 技术大学 波斯语）
本文提出了一种半超分辨率GAN模型，用于修复受损图像，通过不同水平的像素损坏训练以提高图像修复的准确性和质量。
2026-02-05 cs.CV cs.LG eess.IV
TurboFill: Adapting Few-step Text-to-image Model for Fast Image Inpainting
State Key Laboratory of Internet of Things for Smart City, University of Macau（澳门大学物联网与智慧城市省重点实验室）；Shenzhen University of Advanced Technology（深圳理工大学）；Adobe（奥多比公司）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
TurboFill通过在少步蒸馏模型DMD2上训练修复适配器并采用3步对抗训练，实现高质量且高效的快速图像修复，在DilationBench和HumanBench上超越多步BrushNet等方法，确立了高性能修复的新基准。
2025-04-01 cs.CV
Towards Seamless Borders: A Method for Mitigating Inconsistencies in Image Inpainting and Outpainting
Sensetime Research（商汤科技研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
针对基于扩散的图像修复模型存在的边界不连续问题，提出改进变分自编码器校正色彩失衡、两步训练策略增强内容融合两种方法，有效提升了修复结果的连贯性与视觉质量。
2025-06-14 cs.CV
Image Inpainting via Iteratively Decoupled Probabilistic Modeling
CUHK（香港中文大学）；The University of Hong Kong（香港大学）；CUHK (Shenzhen)（香港中文大学（深圳））；Tencent AI Lab（腾讯人工智能实验室）；Adobe Inc.（奥多比公司）
生成对抗网络（GANs）在图像修补方面取得了巨大成功，但仍然难以处理大的缺失区域。相比之下，迭代概率算法，如自回归和去噪扩散模型，必须部署大量的计算资源，以获得良好的效果。为了以低计算成本获得高质量的结果，我们提出了一种新的像素扩散模型（PSM），该模型迭代地采用解耦概率建模，将GANs的优化效率与概率模型的预测易处理性相结合。因此，我们的模型在几次迭代中选择性地将信息像素分布在整个图像中，大大提高了完成的质量和效率。在多个基准测试中，我们实现了最先进的性能。代码发布于https://github.com/fenglinglwb/PSM。
2023-03-08 cs.CV
The Angel is in the Priors: Improving GAN based Image and Sequence Inpainting with Better Noise and Structural Priors
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
当代基于深度学习的修复算法主要基于监督重建损失和随后的无监督对抗批评损失的混合双阶段训练策略。然而，有一个完全无监督的GAN为基础的修复框架的文献缺乏。对后一种类型的主要厌恶是由于其在推理过程中非常缓慢的迭代优化要求，以找到掩蔽图像的匹配噪声先验。在本文中，我们展示了先验在GAN中的重要性：我们学习数据驱动的参数网络来预测给定图像的匹配先验。这将迭代范例转换为单个前馈推理管道，具有1500倍的加速和重建质量的同时改进。我们发现，一个额外的结构前强加在GAN模型的结果在更高的保真度输出。为了扩展我们的序列修复模型，我们提出了一个基于递归网络的分组噪声先验学习。据我们所知，这是基于无监督GAN的序列修复的第一个演示。序列修补的进一步改进是通过额外的子序列一致性损失来实现的。这些贡献改善了重建序列的时空特性。在SVHN，Standford Cars，CelebA和CelebA-HQ图像数据集，合成序列和ViDTIMIT视频数据集上进行的广泛实验表明，我们在以前的无监督基线上不断改进，并且还实现了与混合基准相当的性能（有时也更好）。
2019-08-16 cs.CV
Learning to Scale Temperature in Masked Self-Attention for Image Inpainting
Southern University of Science and Technology（南方科技大学）
深度生成对抗网络（GAN）和自注意力机制的最新进展使得修复图像中大缺失区域的挑战性任务得到了显着改进。这些方法在神经网络中集成了自注意力机制，以基于它们的相关性来利用周围的神经元素，并帮助网络捕获长程依赖性。温度是自我注意中使用的Softmax函数中的一个参数，它可以使注意力分数的分布偏向少数类似的补丁。现有的图像修补中的自注意力机制大多是基于卷积的，并且将温度设置为常数，在有限的特征空间中执行块匹配。在这项工作中，我们分析了以前的自我注意力机制的工件和训练问题，并重新设计了温度学习网络以及自我注意力机制，以解决这些问题。我们提出了一个图像修补框架，该框架具有多头温度掩蔽自注意力机制，该机制提供稳定和有效的温度学习，并使用多个远距离上下文信息来进行高质量的图像修补。除了提高图像质量的修复结果，我们推广所提出的模型，以用户引导的图像编辑，通过引入一个新的草图生成方法。在Paris StreetView、CelebA-HQ和Places 2等数据集上的大量实验清楚地表明，我们的方法不仅在感知图像质量和定量指标方面比以前的作品生成更自然的修复结果，而且还能够帮助用户生成与草图指导相关的更灵活的结果。
2023-02-13 cs.CV
Efficient texture-aware multi-GAN for image inpainting
Gebze Technical University（盖布泽技术大学）
最近基于GAN（生成对抗网络）的修复方法显示出显着的改进，并使用多级网络或上下文注意力模块（CAM）生成合理的图像。然而，这些技术增加了模型的复杂性，限制了它们在低资源环境中的应用。此外，由于GAN稳定性问题，它们无法生成具有真实纹理细节的高分辨率图像。受这些观察的启发，我们提出了一个多GAN架构，提高性能和渲染效率。我们的训练方案以端到端的方式优化了四个渐进式高效生成器和鉴别器的参数。由于维度空间较小，填充低分辨率图像对于GANs来说挑战性较小。同时，它引导更高分辨率的生成器学习图像的全局结构一致性。为了约束修复任务并确保细粒度的纹理，我们采用了基于LBP的损失函数来最小化生成的纹理和地面真实纹理之间的差异。我们在Places2和CelebHQ数据集上进行了实验。定性和定量的结果表明，该方法不仅表现出良好的国家的最先进的算法，但也加快了推理时间。
2021-02-13 cs.CV
Learning Pyramid-Context Encoder Network for High-Quality Image Inpainting
Sun Yat-sen University（中山大学）；Microsoft Research（微软研究院）
高质量的图像修补需要用可信的内容填充受损图像中的缺失区域。现有的工作要么通过复制图像块填充区域，要么从区域上下文生成语义连贯的块，而忽略了视觉和语义连贯性都是高要求的事实。在本文中，我们提出了一个金字塔上下文编码器网络（PEN-Net）的图像修补的深度生成模型。PEN-Net建立在U-Net结构上，它可以通过从全分辨率输入编码上下文语义来恢复图像，并将学习到的语义特征解码回图像。具体来说，我们提出了一个上下文编码器，它逐步学习区域的亲和力，从一个高层次的语义特征图的注意力，并将学习到的注意力转移到以前的低层次的特征图。由于可以通过以金字塔方式从深到浅的注意转移来填充缺失的内容，因此可以确保用于图像修补的视觉和语义一致性。我们进一步提出了一个多尺度解码器，具有深度监督金字塔损失和对抗性损失。这样的设计不仅在训练中快速收敛，而且在测试中得到更真实的结果。在各种数据集上的实验表明了该网络的优越性能
2019-07-11 cs.CV
GLaMa: Joint Spatial and Frequency Loss for General Image Inpainting
Harbin Institute of Technology（哈尔滨工业大学）；Beihang University（北京航空航天大学）
图像修补的目的是使用来自剩余部分的上下文信息来恢复划痕和损坏区域。近年来，由于卷积神经网络（CNN）的兴起，图像修补任务取得了很大的突破。然而，大多数工作考虑的掩模类型不足，当遇到不可见的掩模时，它们的性能会急剧下降。为了应对这些挑战，我们提出了一个简单而通用的方法来解决这个问题的基础上的LaMa图像修补框架，被称为GLaMa。我们提出的GLaMa可以通过使用更多类型的掩码来更好地捕获不同类型的缺失信息。通过在训练阶段引入更多的退化图像，我们可以期望增强模型对各种掩模的鲁棒性。为了得到更合理的结果，除了传统的空间重建损失和对抗损失之外，我们还引入了基于频率的损失。特别地，我们在空间域和频域中引入了有效的重建损失，以减少重建图像中的棋盘效应和波纹。大量的实验表明，我们的方法可以提高性能比原来的LaMa方法为每种类型的面具FFHQ，ImageNet，Places2和WikiArt数据集。GLaMa算法在NTIRE 2022图像修补挑战赛第一轮无监督测试中获得了PSNR、LPIPS和SSIM的第一名。
2022-05-15 cs.CV
Adversarial Inverse Graphics Networks: Learning 2D-to-3D Lifting and Image-to-Image Translation from Unpaired Supervision
Carnegie Mellon University（卡内基梅隆大学）
研究人员已经开发出优秀的前馈模型，可以使用监督学习将图像映射到期望的输出，例如图像的潜在因素或其他图像。从未标记数据中学习这种映射，或者通过利用未标记数据来改进监督模型，仍然是难以捉摸的。我们认为，在没有注释的情况下学习有两个重要部分：（i）将预测与输入观测相匹配，以及（ii）将预测与已知先验相匹配。我们提出了对抗性逆图形网络（AIGN）：弱监督神经网络模型，它结合了来自渲染其预测的反馈，并在其预测和地面实况因素集合之间进行分布匹配。我们将AIGN应用于3D人体姿态估计和3D结构和自运动估计，并且优于仅由成对注释监督的模型。我们进一步将AIGN应用于使用超分辨率和修复渲染器的面部图像变换，同时故意在地面实况数据集中添加偏差。我们的模型无缝地结合了这些偏见，将输入的面孔呈现给年轻，年老，女性，男性或汤姆克鲁斯一样的等价物（取决于所选择的偏见），或者在修复隐藏的嘴唇和鼻子时添加嘴唇和鼻子的增强。
2017-09-02 cs.CV
Deep Structured Energy-Based Image Inpainting
RIKEN Center for AIP（理化学研究所AIP中心）；Graduate School of Information Sciences, Tohoku University（东北大学信息科学研究科）
在本文中，我们提出了一个结构化的图像修补方法采用基于能量的模型。为了学习图像中观察到的模式和图像的缺失区域之间的结构关系，我们采用了基于能量的结构化预测方法。通过最小化由简单的卷积神经网络定义的能量函数来学习结构关系。在各种基准数据集上的实验结果表明，我们提出的方法显着优于使用生成对抗网络（GANs）的最先进的方法。我们在Olivetti人脸数据集上获得了497.35的均方误差（MSE），而最先进的方法提供了833.0的MSE。此外，我们在SVHN数据集上获得了28.4 dB的峰值信噪比（PSNR），在CelebA数据集上获得了23.53 dB，而最先进的方法分别提供了22.3 dB和21.3 dB。代码是公开的。
2018-08-30 cs.CV
