Generative Image Inpainting with Contextual Attention
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
最近的基于深度学习的方法已经显示出对于修复图像中的大缺失区域的挑战性任务的有希望的结果。这些方法可以生成视觉上合理的图像结构和纹理，但通常会创建与周围区域不一致的扭曲结构或模糊纹理。这主要是由于卷积神经网络在明确地从遥远的空间位置借用或复制信息方面的无效性。另一方面，传统的纹理和面片合成方法特别适合于需要从周围区域借用纹理的情况。受这些观察结果的启发，我们提出了一种新的基于深度生成模型的方法，该方法不仅可以合成新的图像结构，还可以在网络训练过程中显式地利用周围的图像特征作为参考，以进行更好的预测。该模型是一个前馈的，完全卷积神经网络，可以处理图像与多个孔在任意位置和可变大小的测试时间。在包括人脸（CelebA，CelebA-HQ），纹理（DTD）和自然图像（ImageNet，Places 2）在内的多个数据集上的实验表明，我们提出的方法比现有方法生成更高质量的修复结果。代码，演示和模型可在：https://github.com/JiahuiYu/generative_inpainting。
2018-03-21 cs.CV cs.GR
Contextual Residual Aggregation for Ultra High-Resolution Image Inpainting
Huawei Technologies Canada Co. Ltd.（华为技术加拿大有限公司）
近年来，数据驱动的图像修补方法取得了令人鼓舞的进展，影响了基本的图像编辑任务，如对象删除和损坏的图像修复。这些方法比经典方法更有效，但是由于内存限制，它们只能处理低分辨率输入，通常小于1 K。与此同时，使用移动设备拍摄的照片的分辨率增加到8 K。对低分辨率已修复结果进行简单的上采样只能产生较大但模糊的结果。而将高频残差图像添加到大的模糊图像上可以生成清晰的结果，细节和纹理丰富。受此启发，我们提出了一种上下文残差聚合（CRA）机制，可以通过加权聚合上下文补丁的残差来为丢失的内容产生高频残差，从而只需要网络的低分辨率预测。由于神经网络的卷积层只需要对低分辨率输入和输出进行操作，因此很好地抑制了存储器和计算能力的成本。此外，对高分辨率训练数据集的需求也得到了缓解。在我们的实验中，我们训练所提出的模型与分辨率为512 x512的小图像和高分辨率图像上执行推理，实现令人信服的修复质量。我们的模型可以修复高达8 K且具有相当大的孔尺寸的图像，这对于之前基于学习的方法来说是很棘手的。我们进一步阐述了网络架构的轻量级设计，在GTX 1080 Ti GPU上实现了2K图像的实时性能。代码可在以下位置获得：Pumas 200 dk/sample-imageinpainting-HiFill。
2020-05-19 cs.CV cs.GR
Panoramic Image Inpainting With Gated Convolution And Contextual Reconstruction Loss
Nanjing University of Information Science & Technology（南京信息工程大学）
针对全景图像修复中难以区分有效与无效像素及寻找合适参考导致伪影的问题，提出包含Face Generator、Cube Generator、侧分支和判别器的框架，采用门控卷积与上下文重建损失，在SUN360数据集上优于SOTA方法。
2024-02-05 cs.CV cs.LG cs.MM
Mask-Conditioned Voxel Diffusion for Joint Geometry and Color Inpainting
本文提出基于掩码的体素扩散方法，用于修复受损3D物体的几何和颜色，通过两阶段框架实现更完整和一致的修复效果。
2026-01-01 cs.CV
MxT: Mamba x Transformer for Image Inpainting
Durham University（杜伦大学）
针对现有图像修复方法在全局上下文建模、计算效率和细粒度细节保留上的不足，本研究提出融合Mamba与Transformer的MxT架构，通过双层交互学习提升修复质量，在主流数据集上超越现有最优方法。
2024-08-15 cs.CV
DeepGIN: Deep Generative Inpainting Network for Extreme Image Inpainting
The Hong Kong Polytechnic University（香港理工大学）；Ecole Polytechnique（巴黎综合理工学院）；CNRS（法国国家科学研究中心）；IP Paris（巴黎理工学院）
图像修补的难易程度取决于缺失部分的类型和大小。现有的图像修补方法通常在以令人愉悦的视觉和上下文结果完成野外缺失部分时遇到困难，因为它们被训练用于处理一种特定类型的缺失图案（掩模）或单方面假设被掩模区域的形状和/或大小。我们提出了一个名为DeepGIN的深度生成修复网络，用于处理各种类型的掩码图像。我们设计了一个空间金字塔扩张（SPD）ResNet块，以便使用远距离特征进行重建。我们还采用多尺度自注意（MSSA）机制和反向投影（BP）技术来增强我们的修复结果。我们的DeepGIN在定量和定性方面都优于最先进的方法，包括两个公开的数据集（FFHQ和Oxford Buildings）。我们还证明了我们的模型能够在野外完成掩蔽图像。
2020-08-17 cs.CV
One-Stage Inpainting with Bilateral Attention and Pyramid Filling Block
Hunan University（湖南大学）
最近基于深度学习的图像修补方法利用上下文信息和两阶段架构，表现出显着的性能。然而，两阶段结构耗时长，上下文信息缺乏高层语义，忽略了孔洞特征块的语义相关性和距离信息，导致最终结果纹理模糊，结构失真。受这些观察结果的启发，我们提出了一种新的基于深度生成模型的方法，该方法使用不同的目标对共享网络进行两次训练，并在测试阶段使用单个网络，以便我们可以有效地节省推理时间。具体而言，两个训练步骤的目标分别是结构重建和纹理生成。在第二次训练中，我们首先提出了一个金字塔填充块（PF块），利用空洞区域已经填充的高级特征来指导低级特征的填充过程，缺失的内容可以以金字塔的方式从深到浅填充。然后，受经典双边滤波器[30]的启发，我们提出了双边注意层（BA层）来优化填充的特征图，它通过计算周围特征块的加权和来合成每个位置的特征块，这些权重通过考虑特征块之间的距离和值关系来推导，从而使视觉上合理的修复结果。最后，在多个公开数据集上的实验表明了该方法的优越性能。
2019-12-18 cs.CV
Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks
University of Southern California（南加州大学）；US Army Research Laboratory（美国陆军研究实验室）
卷积神经网络的最新进展已经在3D形状完成中显示出有希望的结果。但由于GPU内存的限制，这些方法只能产生低分辨率的输出。为了用语义可扩展性和上下文细节来修补3D模型，我们引入了一个混合框架，该框架结合了3D编码器-解码器生成对抗网络（3D-ED-GAN）和长期递归卷积网络（LRCN）。3D-ED-GAN是一种3D卷积神经网络，采用生成对抗范式进行训练，以低分辨率填充缺失的3D数据。LRCN采用递归神经网络架构来最大限度地减少GPU内存使用，并将编码器-解码器对纳入长短期记忆网络。通过将3D模型处理为2D切片序列，LRCN将粗略的3D形状转换为更完整和更高分辨率的体积。虽然3D-ED-GAN捕获3D形状的全局上下文结构，但LRCN定位细粒度细节。在真实世界和合成数据上的实验结果表明，从损坏的模型重建得到完整和高分辨率的3D对象。
2017-11-17 cs.CV
Diverse Image Inpainting with Bidirectional and Autoregressive Transformers
Nanyang Technological University（南洋理工大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
图像修补是一个欠定逆问题，它自然地允许不同的内容来真实地填充丢失或损坏的区域。使用卷积神经网络（CNN）的流行方法可以合成视觉上令人愉快的内容，但是CNN遭受用于捕获全局特征的有限感知域。通过图像级关注，Transformers能够对长距离依赖性进行建模，并通过像素序列分布的自回归建模生成各种内容。然而，自回归Transformers中的单向注意力是次优的，因为损坏的图像区域可以具有任意形状，具有来自任何方向的上下文。我们提出了BAT填充，一个创新的图像修复框架，介绍了一种新的双向自回归Transformer（BAT）的图像修补。BAT利用Transformers来学习自回归分布，这自然允许不同的缺失内容生成。此外，它还集成了像BERT这样的掩蔽语言模型，可以对缺失区域的上下文信息进行双向建模，以实现更好的图像完整性。在多个数据集上的大量实验表明，BAT-Fill在定性和定量的图像修补中实现了优异的多样性和保真度。
2021-06-01 cs.CV
Multi-feature Co-learning for Image Inpainting
Guangzhou University（广州大学）
图像修补通过同时利用图像的结构和纹理特征，取得了很大的进展。然而，由于缺乏有效的多特征融合技术，现有的图像修补方法仍然表现出有限的改进。本文设计了一个用于图像修补的深度多特征协同学习网络，包括软门控双特征融合（SDFF）和双边传播特征聚合（BPFA）模块。具体来说，我们首先使用两个分支分别学习结构特征和纹理特征。SDFF模块将结构特征与纹理特征相结合，同时利用纹理特征辅助结构特征的生成。这样的协同学习策略使得结构和纹理特征更加一致。接下来，提出的BPFA模块通过共同学习上下文注意力、通道信息和特征空间来增强从局部特征到整体一致性的连接，这可以进一步细化生成的结构和纹理。最后，在基准数据集上进行了大量的实验，包括CelebA，Places2和Paris StreetView。实验结果表明，该方法优于国家的最先进的。源代码可在https://github.com/GZHU-DVL/MFCL-Inpainting。
2022-05-21 cs.CV
CR-Fill: Generative Image Inpainting with Auxiliary Contexutal Reconstruction
Tencent Lightspeed & Quantum Studios（腾讯光子工作室群）；Adobe Research（Adobe研究院）；Dalian University of Technology（大连理工大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
最近的深度生成修复方法使用注意层，允许生成器明确地从已知区域借用特征补丁来完成缺失区域。由于缺少用于缺失区域与已知区域之间的对应关系的监督信号，可能无法找到适当的参考特征，这通常导致结果中的伪影。此外，它在推理过程中计算整个特征图的成对相似性，带来了显着的计算开销。为了解决这个问题，我们建议教这样的补丁借用行为的注意力免费发电机通过联合训练的辅助上下文重建任务，这鼓励生成的输出是合理的，即使重建周围地区。辅助分支可以被视为可学习的损失函数，即被命名为上下文重建（CR）损失，其中查询-参考特征相似性和基于参考的重建器与修复生成器联合优化。辅助分支（即CR损失）仅在训练期间需要，并且仅在推断期间需要修复生成器。实验结果表明，所提出的修补模型相比，在定量和视觉性能方面的最先进的。
2021-03-31 cs.CV cs.MM
PEPSI++: Fast and Lightweight Network for Image Inpainting
Korea University（高丽大学）
在各种基于生成对抗网络（GAN）的图像修补方法中，具有上下文注意力模块（CAM）的粗到细网络表现出了卓越的性能。然而，由于两个堆叠的生成网络，粗到细的网络需要大量的计算资源，如卷积运算和网络参数，这导致速度低。为了解决这个问题，我们提出了一种新的网络架构称为PEPSI：并行扩展解码器路径的语义修复网络，其目的是减少硬件成本，提高修复性能。PEPSI由一个共享的编码网络和并行解码网络组成，称为粗路径和修复路径。粗略路径产生初步修补结果以训练编码网络用于CAM的特征预测。同时，修复路径使用经由CAM重建的精细特征生成更高的修复质量。此外，我们提出了饮食PEPSI，大大降低了网络参数，同时保持性能。在Diet-PEPSI中，为了以低硬件成本捕获全局上下文信息，我们提出了新的速率自适应膨胀卷积层，该层采用共同的权重，但根据给定的膨胀率产生动态特征。与最先进的图像修补方法的性能比较的大量实验表明，PEPSI和Diet-PEPSI都提高了定性分数，即峰值信噪比（PSNR）和结构相似性（SSIM），以及显着降低硬件成本，如计算时间和网络参数的数量。
2020-03-06 cs.CV eess.IV
Context-Aware Image Inpainting with Learned Semantic Priors
Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）
图像修补的最新进展已经显示出在相当简单的背景上生成可信的视觉细节的令人印象深刻的结果。然而，对于复杂的场景，它仍然是具有挑战性的，以恢复合理的内容，因为在丢失的区域内的上下文信息往往是模糊的。为了解决这个问题，我们引入了借口任务，语义上有意义的估计缺失的内容。特别是，我们进行知识蒸馏的借口模型和适应的特点，图像修补。学习到的语义先验知识在高级托词任务和低级图像修补之间应该是部分不变的，这不仅有助于理解全局上下文，而且为局部纹理的恢复提供了结构指导。基于语义先验知识，我们进一步提出了一种上下文感知的图像修补模型，该模型在统一的图像生成器中自适应地集成了全局语义和局部特征。语义学习器和图像生成器以端到端的方式进行训练。我们将模型命名为SPL，以突出其学习和利用语义先验的能力。它在Places2，CelebA和Paris StreetView数据集上达到了最先进的水平。
2021-06-14 cs.CV
Semantic Image Inpainting Through Improved Wasserstein Generative Adversarial Networks
University Pompeu Fabra（庞培法布拉大学）
图像修补是对受损或不完整图像的缺失区域进行填充的任务。在这项工作中，我们解决这个问题，不仅使用现有的视觉数据，但也通过使用生成模型结合图像语义。我们的贡献是双重的：首先，我们通过训练Wasserstein生成对抗网络的改进版本来学习数据潜在空间，为此我们引入了一个新的生成器和网络架构。其次，学习的语义信息与新的优化损失相结合，用于修复，其最小化推断由可用数据调节的缺失内容。它考虑到了图像本身固有的强大的上下文和感知内容。好处包括通过积累语义信息来恢复大区域的能力，即使它不完全存在于受损图像中。实验结果表明，该方法在不同的实验条件下均获得了定性和定量的顶级结果，并达到了与最先进作品相当的精确的照片真实感。
2018-12-03 cs.CV
Learning to Scale Temperature in Masked Self-Attention for Image Inpainting
Southern University of Science and Technology（南方科技大学）
深度生成对抗网络（GAN）和自注意力机制的最新进展使得修复图像中大缺失区域的挑战性任务得到了显着改进。这些方法在神经网络中集成了自注意力机制，以基于它们的相关性来利用周围的神经元素，并帮助网络捕获长程依赖性。温度是自我注意中使用的Softmax函数中的一个参数，它可以使注意力分数的分布偏向少数类似的补丁。现有的图像修补中的自注意力机制大多是基于卷积的，并且将温度设置为常数，在有限的特征空间中执行块匹配。在这项工作中，我们分析了以前的自我注意力机制的工件和训练问题，并重新设计了温度学习网络以及自我注意力机制，以解决这些问题。我们提出了一个图像修补框架，该框架具有多头温度掩蔽自注意力机制，该机制提供稳定和有效的温度学习，并使用多个远距离上下文信息来进行高质量的图像修补。除了提高图像质量的修复结果，我们推广所提出的模型，以用户引导的图像编辑，通过引入一个新的草图生成方法。在Paris StreetView、CelebA-HQ和Places 2等数据集上的大量实验清楚地表明，我们的方法不仅在感知图像质量和定量指标方面比以前的作品生成更自然的修复结果，而且还能够帮助用户生成与草图指导相关的更灵活的结果。
2023-02-13 cs.CV
Efficient texture-aware multi-GAN for image inpainting
Gebze Technical University（盖布泽技术大学）
最近基于GAN（生成对抗网络）的修复方法显示出显着的改进，并使用多级网络或上下文注意力模块（CAM）生成合理的图像。然而，这些技术增加了模型的复杂性，限制了它们在低资源环境中的应用。此外，由于GAN稳定性问题，它们无法生成具有真实纹理细节的高分辨率图像。受这些观察的启发，我们提出了一个多GAN架构，提高性能和渲染效率。我们的训练方案以端到端的方式优化了四个渐进式高效生成器和鉴别器的参数。由于维度空间较小，填充低分辨率图像对于GANs来说挑战性较小。同时，它引导更高分辨率的生成器学习图像的全局结构一致性。为了约束修复任务并确保细粒度的纹理，我们采用了基于LBP的损失函数来最小化生成的纹理和地面真实纹理之间的差异。我们在Places2和CelebHQ数据集上进行了实验。定性和定量的结果表明，该方法不仅表现出良好的国家的最先进的算法，但也加快了推理时间。
2021-02-13 cs.CV
Learning Pyramid-Context Encoder Network for High-Quality Image Inpainting
Sun Yat-sen University（中山大学）；Microsoft Research（微软研究院）
高质量的图像修补需要用可信的内容填充受损图像中的缺失区域。现有的工作要么通过复制图像块填充区域，要么从区域上下文生成语义连贯的块，而忽略了视觉和语义连贯性都是高要求的事实。在本文中，我们提出了一个金字塔上下文编码器网络（PEN-Net）的图像修补的深度生成模型。PEN-Net建立在U-Net结构上，它可以通过从全分辨率输入编码上下文语义来恢复图像，并将学习到的语义特征解码回图像。具体来说，我们提出了一个上下文编码器，它逐步学习区域的亲和力，从一个高层次的语义特征图的注意力，并将学习到的注意力转移到以前的低层次的特征图。由于可以通过以金字塔方式从深到浅的注意转移来填充缺失的内容，因此可以确保用于图像修补的视觉和语义一致性。我们进一步提出了一个多尺度解码器，具有深度监督金字塔损失和对抗性损失。这样的设计不仅在训练中快速收敛，而且在测试中得到更真实的结果。在各种数据集上的实验表明了该网络的优越性能
2019-07-11 cs.CV
Free-Form Image Inpainting via Contrastive Attention Network
University of Chinese Academy of Sciences（中国科学院大学）；Meituandianping Group（美团点评集团）；CASIA（中国科学院自动化研究所）；University of Science and Technology of China（中国科学技术大学）
大多数基于深度学习的图像修补方法采用自动编码器或其变体来填充图像中的缺失区域。编码器通常用于学习强大的表征空间，这对于处理复杂的学习任务非常重要。具体地，在图像修补任务中，具有任何形状的掩模可以出现在图像中的任何地方（即，自由形式的掩模），其形成复杂的图案。编码器很难在这种复杂的情况下捕获如此强大的表示。为了解决这个问题，我们提出了一个自监督的连体推理网络，以提高鲁棒性和泛化能力。它可以从全分辨率图像编码上下文语义，并获得更多的歧视性表示。我们还提出了一种多尺度解码器，该解码器具有新颖的双注意力融合模块（DualAttention Fusion Module，DualAttention Fusion Module），其可以以平滑的方式组合恢复的区域和已知的区域。这种多尺度架构有利于将编码器学习到的区别性表示逐层解码为图像。这样，未知的区域就会由外而内自然填充。在多个数据集上进行定性和定量实验，包括面部和自然数据集（即，Celeb-HQ，Pairs Street View，Places 2和ImageNet），证明了我们提出的方法在生成高质量修复结果方面优于最先进的方法。
2020-10-29 cs.CV
High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis
University of Southern California（南加州大学）；Adobe Research（Adobe研究院）；Pinscreen；USC Institute for Creative Technologies（南加州大学创意技术研究所）
深度学习的最新进展已经显示出令人兴奋的前景，即用语义上合理的和上下文感知的细节来填充自然图像中的大洞，影响基本的图像处理任务，如对象删除。虽然这些基于学习的方法在捕获高级特征方面比现有技术更有效，但由于记忆限制和训练困难，它们只能处理非常低分辨率的输入。即使是稍微大一点的图像，修复后的区域也会显得模糊，并且可以看到令人不快的边界。我们提出了一种基于图像内容和纹理约束联合优化的多尺度神经补丁合成方法，该方法不仅保留了上下文结构，而且通过匹配和适应具有最相似的深层分类网络中层特征相关性的补丁来产生高频细节。我们在ImageNet和Paris Streetview数据集上评估了我们的方法，并实现了最先进的修复精度。我们表明，我们的方法比以前的方法产生更清晰，更连贯的结果，特别是对于高分辨率图像。
2017-04-13 cs.CV
Deficiency-Aware Masked Transformer for Video Inpainting
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of North Texas（北德克萨斯大学）
针对跨帧信息缺失的视频修复问题，提出双模态兼容的 DMT 框架，通过图像先验蒸馏、选择性时空注意力和感受野上下文化器提升性能。
2023-07-17 cs.CV
Transformer-based Image and Video Inpainting: Current Challenges and Future Directions
United Arab Emirates University（阿联酋大学）
本文综述了基于Transformer的图像与视频修复方法，按架构、损坏类型和性能指标分类，总结当前挑战并指出未来研究方向。
2024-06-28 cs.CV
Image Inpainting via Conditional Texture and Structure Dual Generation
State Key Laboratory of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）
针对大面积图像修复中结构与纹理交互不足的问题，提出双流 CTSDG 网络，通过 Bi-GFF 和 CFA 耦合生成结构与纹理，在多个数据集上取得更优修复效果。
2024-04-06 cs.CV
Shape-guided Object Inpainting
Johns Hopkins University（约翰斯·霍普金斯大学）；Adobe Research（奥多比研究院）
以往的图像修补工作主要集中在背景或部分缺失对象的修补上，而完整缺失对象的修补问题尚未得到研究。本文研究了一种新的图像修补任务，即形状引导的对象修复。给定不完整的输入图像，目标是通过基于上下文和由孔形状给出的隐式指导生成对象来填充孔。由于以前的图像修补方法主要是针对背景修补而设计的，因此它们并不适用于这一任务。因此，我们提出了一种新的数据准备方法和一种新的上下文对象生成器（CogNet）的对象修复任务。在数据方面，我们通过使用对象实例作为洞，将对象先验信息合并到训练数据中。CogNet有一个双流架构，它将标准的自下而上的图像完成过程与自上而下的对象生成过程相结合。预测类嵌入模块通过从自下而上的特征预测丢失对象的类来桥接两个流，从中导出语义对象映射作为自上而下流的输入。实验表明，该方法可以生成符合上下文的真实感对象，无论是视觉外观和语义。代码可以在项目页面\url{https://zengxianyu.github.io/objpaint}找到
2022-04-16 cs.CV cs.MM
Coherent Semantic Attention for Image Inpainting
Hunan University（湖南大学）
最新的基于深度学习的方法在修复图像缺失区域这一具有挑战性的任务中显示出了有希望的结果。然而，现有的方法往往产生模糊的纹理和扭曲的结构，由于局部像素的不连续性的内容。从语义层面来看，局部像素的不连续性主要是因为这些方法忽略了孔洞区域的语义相关性和特征连续性。为了解决这个问题，我们研究了人类在修复图片时的行为，并提出了一种基于精细深度生成模型的方法，该方法具有一种新的连贯语义注意（CSA）层，它不仅可以保留上下文结构，而且可以通过对孔特征之间的语义相关性进行建模来更有效地预测丢失的部分。该方法将任务分为粗、精两个步骤，在U-Net架构下用神经网络对每一步进行建模，并将CSA层嵌入到精编码器中。为了稳定网络训练过程并促进CSA层学习更有效的参数，我们提出了一致性损失，以强制CSA层和解码器中CSA的对应层同时接近地面真实图像的VGG特征层。在CelebA、Places 2和Paris StreetView数据集上的实验验证了本文提出的方法在图像修补任务中的有效性，与现有的最先进的方法相比，可以获得更高质量的图像。
2019-07-04 cs.CV
Fully Context-Aware Image Inpainting with a Learned Semantic Pyramid
Shanghai Jiao Tong University（上海交通大学）
针对复杂场景图像修复中的上下文歧义问题，提出 Semantic Pyramid Network，通过蒸馏多尺度语义先验并结合全上下文感知生成器，在确定性与概率性设置下多个数据集达到 SOTA。
2023-06-05 cs.CV
InpaintDPO: Mitigating Spatial Relationship Hallucinations in Foreground-conditioned Inpainting via Diverse Preference Optimization
InpaintDPO通过多样偏好优化解决前景条件修复中的空间关系幻觉问题，提升背景与前景间的一致性与合理性。
2025-12-16 cs.CV
High-Resolution Image Inpainting with Iterative Confidence Feedback and Guided Upsampling
Dalian University of Technology（大连理工大学）；Adobe Research（Adobe研究院）
现有的图像修补方法在处理实际应用中的大孔洞时往往会产生伪影。为了解决这个问题，我们提出了一个迭代修复方法与反馈机制。具体来说，我们引入了一个深度生成模型，它不仅输出修复结果，还输出相应的置信度图。使用此映射作为反馈，它通过在每次迭代中仅信任洞内的高置信度像素来逐步填充洞，并在下一次迭代中关注剩余的像素。由于它重用来自先前迭代的部分预测作为已知像素，因此此过程逐渐改善结果。此外，我们还提出了一个引导上采样网络，以生成高分辨率的修复结果。我们通过扩展上下文注意力模块来借用输入图像中的高分辨率特征块来实现这一点。此外，为了模拟真实的对象移除场景，我们收集了一个大的对象掩码数据集，并合成更真实的训练数据，更好地模拟用户输入。实验表明，我们的方法显着优于现有的方法在定量和定性评价。更多结果和Web应用程序可在https://zengxianyu.github.io/iic上获得。
2020-07-14 cs.CV cs.MM
DeepCFL: Deep Contextual Features Learning from a Single Image
Indian Institute of Technology Gandhinagar（印度理工学院甘地讷格尔分校）
最近，人们对开发独立于训练数据的图像特征学习方法（例如，深度图像先验、InGAN、SinGAN和DCIL）产生了极大的兴趣。这些方法是无监督的，用于执行低级视觉任务，如图像复原、图像编辑和图像合成。在这项工作中，我们提出了一种新的训练数据无关框架，称为深度上下文特征学习（DeepCFL），以基于输入图像的语义执行图像合成和图像复原。上下文特征仅仅是表示给定图像的语义的高维向量。DeepCFL是一个单图像GAN框架，它从输入图像中学习上下文向量的分布。我们展示了上下文学习在各种具有挑战性的场景中的性能：去除，修复和恢复随机删除的像素。当输入的源图像和生成的目标图像未对齐时，DeepCFL适用。我们说明了使用DeepCFL进行图像合成的任务。
2020-11-07 cs.CV
Leveraging Depth Maps and Attention Mechanisms for Enhanced Image Inpainting
Dept. of Computer Science and Engineering（计算机科学与工程系）；Texas A&M University（德克萨斯A&M大学）；Dept. of Multidisciplinary Engineering（多学科工程系）
本文提出一种结合RGB图像和深度图的双编码器图像修复方法，通过注意力机制融合特征，并利用Grad-CAM验证模型关注区域，实验表明该方法在多种掩码和评估指标下优于基线模型。
2025-05-08 cs.CV eess.IV
2D Gaussian Splatting with Semantic Alignment for Image Inpainting
本文提出首个基于2D高斯泼溅的图像修复框架，结合分块光栅化提升效率，引入预训练DINO特征保障全局语义一致性，在标准基准上取得了兼具量化指标与感知质量的竞争力性能，开辟了高斯泼溅在2D图像处理的新方向。
2025-09-02 cs.AI cs.CV
VideoPainter: Any-length Video Inpainting and Editing with Plug-and-Play Context Control
The Chinese University of Hong Kong（香港中文大学）；Tencent ARC Lab（腾讯ARC实验室）；The University of Tokyo（东京大学）；University of Macau（澳门大学）
VideoPainter 提出双流范式与即插即用上下文编码器，结合目标区域 ID 重采样技术，实现任意长度视频修复与编辑，并构建了迄今最大规模的视频修复数据集 VPData 和基准 VPBench。
2025-04-09 cs.AI cs.CV cs.MM
Recovering Partially Corrupted Objects via Sketch-Guided Bidirectional Feature Interaction
School of Electrical and Data Engineering（电气与数据工程学院）；Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）；School of Computer Science and Information Engineering（计算机科学与信息工程学院）；Hefei University of Technology（合肥工业大学）
针对现有草图引导对象修复方法单向映射导致的结构不匹配问题，提出基于Stable Diffusion的双向特征交互框架，通过上下文-草图双向多尺度交互提升部分损坏对象修复的空间保真度，在新基准上性能超越SOTA。
2025-07-31 cs.CV
Bridging the Visual Gap: Wide-Range Image Blending
National Chiao Tung University (NCTU)（国立交通大学）；MediaTek-NCTU Research Center（联发科技-国立交通大学研究中心）
在本文中，我们提出了一个新的问题的情况下，在图像处理，宽范围的图像融合，其目的是顺利地合并两个不同的输入照片到一个全景图之间的中间区域生成新的图像内容。虽然这个问题与图像修补、图像外画和图像混合等主题密切相关，但这些主题的方法都无法轻松解决这个问题。我们引入了一个有效的深度学习模型来实现大范围的图像混合，其中提出了一种新的双向内容传输模块，通过递归神经网络对中间区域的特征表示进行条件预测，网络.除了在混合过程中保证空间和语义的一致性外，我们还采用了上下文注意力机制以及对抗性学习方案，以提高所得到的全景图的视觉质量。我们的实验表明，我们提出的方法不仅能够产生视觉上有吸引力的结果，大范围的图像混合，但也能够提供优越的性能，相对于几个基线建立在国家的最先进的图像修补和outpainting方法。
2021-03-30 cs.CV
VCD-Texture: Variance Alignment based 3D-2D Co-Denoising for Text-Guided Texturing
DAMO Academy, Alibaba Group（阿里巴巴达摩院）；Hupan Lab（湖畔实验室）
针对现有3D纹理合成方法存在的模态鸿沟问题，提出基于方差对齐的3D-2D协同去噪框架VCD-Texture，同时构建新评估集，实验证明其性能优于同类方法。
2024-08-15 cs.CV
Adversarial Inpainting of Medical Image Modalities
许多因素会导致医学图像的局部劣化。例如，金属植入物将导致MRI扫描中的局部扰动。这将影响进一步的后处理任务，例如PET/MRI或放射治疗计划中的衰减校正。在这项工作中，我们提出了通过生成对抗网络（GANs）修复医学图像。建议的框架采用了两个补丁为基础的修复网络与额外的风格和感知损失的修复丢失的信息，在现实的详细和上下文一致的方式。所提出的框架优于其他自然图像修补技术的定性和定量两种不同的医疗模式。
2018-10-15 cs.CV
ImageBrush: Learning Visual In-Context Instructions for Exemplar-Based Image Manipulation
Tokyo Institute of Technology（东京工业大学）；Microsoft（微软）
本文提出ImageBrush方法，通过学习一对变换图像作为视觉指令，将其形式化为基于扩散的图像修复问题，并设计视觉提示编码器提取意图，实现更准确的图像操纵并在多任务上展现泛化能力。
2023-08-02 cs.CV
LeftRefill: Filling Right Canvas based on Left Reference through Generalized Text-to-Image Diffusion Model
Fudan University（复旦大学）；School of Data Science, Fudan University（复旦大学数据科学学院）；School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；Alibaba Group（阿里巴巴集团）
本文提出 LeftRefill，将参考图与目标画布水平拼接，利用 StableDiffusion 的交叉与自注意力注入任务、视图及多参考信息，以统一框架完成参考引导修复和新视图合成。
2024-03-02 cs.CV
A Reference-Based 3D Semantic-Aware Framework for Accurate Local Facial Attribute Editing
Carnegie Mellon University（卡内基梅隆大学）
提出一种融合潜变量与参考图像优势的3D语义感知面部属性编辑框架，通过3D GAN反演和从粗到细的修复策略实现精确、3D一致且保持图像完整性的局部属性修改。
2024-07-29 cs.CV
VICTR: Visual Information Captured Text Representation for Text-to-Image Multimodal Tasks
The University of Sydney（悉尼大学）
从给定的文本描述生成/检索图像的文本到图像的多模态任务是非常具有挑战性的任务，因为原始文本描述覆盖相当有限的信息，以充分描述视觉上逼真的图像。我们提出了一个新的视觉上下文文本表示文本到图像的多模态任务，VICTR，它捕获丰富的视觉语义信息的对象从文本输入。首先，我们使用文本描述作为初始输入，并进行依存句法分析，以提取句法结构和分析的语义方面，包括对象的数量，提取场景图。然后，利用图卷积网络对场景图中提取的对象、属性、关系以及相应的几何关系信息进行训练，生成融合文本和视觉语义信息的文本表示。文本表示与词级和句子级嵌入聚合，以生成视觉上下文词和句子表示。为了进行评估，我们将VICTR附加到文本到图像生成的最先进模型中。VICTR很容易添加到现有模型中，并在定量和定性方面进行改进。
2020-10-25 cs.AI cs.CV
ImageBART: Bidirectional Context with Multinomial Diffusion for Autoregressive Image Synthesis
Heidelberg University（海德堡大学）
自回归模型及其顺序分解的数据可能性最近表现出巨大的潜力，图像表示和合成。然而，它们通过仅关注先前合成的图像块上方或左侧来以线性1D顺序并入图像上下文。这种单向的、连续的注意力偏差不仅对图像来说是不自然的，因为它忽略了场景的大部分，直到合成几乎完成。它还在单一尺度上处理整个图像，从而忽略了更多的全局上下文信息，直到整个场景的要点。作为一种补救措施，我们通过将自回归公式与多项式扩散过程相结合，结合了一个由粗到细的上下文层次结构：而多级扩散过程连续删除信息来粗化图像，我们训练一个（短）马尔可夫链来反转这个过程。在每个阶段中，所得到的自回归ImageBART模型以从粗到细的方式逐渐合并来自先前阶段的上下文。实验表明，自回归模型大大提高了图像修改能力，同时还提供了高保真图像生成，这两者都是通过在压缩的潜在空间中进行有效训练来实现的。具体来说，我们的方法可以考虑不受限制的，用户提供的面具来执行本地图像编辑。因此，与纯自回归模型相比，它可以解决自由形式的图像修补，并且在条件模型的情况下，可以解决局部的、文本引导的图像修改，而不需要特定于掩模的训练。
2021-08-19 cs.CV
PhotoDoodle: Learning Artistic Image Editing from Few-Shot Pairwise Data
National University of Singapore（新加坡国立大学）；Shanghai Jiao Tong University（上海交通大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Tiamat（提亚马特）
PhotoDoodle提出两阶段训练框架，结合OmniEditor与EditLoRA，从少样本成对数据学习艺术图像编辑，实现装饰元素无缝融合与风格保留。
2025-02-23 cs.CV
Rethinking Camouflage Image Generation towards a Training-Free Paradigm
Northwestern Polytechnical University（西北工业大学）
本文提出免训练的伪装图像生成范式FreeCam，基于冻结修复扩散框架，通过上下文推理与内在外观模块实现前景保持、语义兼容和外观同化，无需任务特定训练即可达到最先进生成质量与伪装效果。
2026-10-21 cs.CV
SJD-PV: Speculative Jacobi Decoding with Phrase Verification for Autoregressive Image Generation
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳学院）
SJD-PV通过短语级推测验证提升自回归图像生成的解码效率，减少函数评估次数并提升生成质量。
2026-03-02 cs.CV
Natural Image Matting via Guided Contextual Attention
Shanghai Jiao Tong University（上海交通大学）
在过去的几年里，基于深度学习的方法在自然图像抠图方面取得了显著的改进。这些方法中的许多方法可以生成视觉上合理的α估计，但通常在非透明区域中产生模糊的结构或纹理。这是由于透明对象的局部模糊性。一种可能的解决方案是利用远周围的信息来估计局部不透明度。传统的基于仿射的方法通常具有较高的计算复杂性，不适合高分辨率的alpha估计。受基于亲和度的方法和背景注意力在修复中的成功的启发，我们开发了一种新的端到端的自然图像抠图方法，该方法具有专门为图像抠图设计的引导背景注意力模块。引导上下文注意模块直接传播高级别的不透明度信息全局的基础上学习的低级别的亲和力。所提出的方法可以模仿基于仿射的方法的信息流，并同时利用由深度神经网络学习的丰富特征。在Composition-1 k测试集和alphamatting.com基准数据集上的实验结果表明，该方法在自然图像抠图方面优于现有的方法。代码和模型可在https://github.com/Yaoyi-Li/GCA-Matting上获得。
2020-01-13 cs.CV
AnyTrans: Translate AnyText in the Image with Large Scale Models
Xiamen University（厦门大学）；Alibaba Group Inc（阿里巴巴集团）；University of Macau（澳门大学）
提出 AnyTrans 框架，结合 LLM 与扩散模型实现图像内多语言文本翻译及风格一致的无缝融合，并构建涵盖六个语言对的 MTIT6 测试数据集。
2024-06-17 cs.AI cs.CV
VisualChef: Generating Visual Aids in Cooking via Mask Inpainting
ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软）；TU Munich（慕尼黑工业大学）；MCML
针对烹饪过程缺乏一致视觉引导的问题，提出VisualChef方法，通过基于掩码的视觉定位生成保留环境一致性的烹饪动作视觉辅助内容，还配套自动化帧提取流程，在三个第一视角数据集上表现优于现有最优方法。
2025-10-05 cs.CV
Investigation of Neural Network Methods for Reconstruction and Classification of Texture Images Under Conditions of Incomplete Information
Satbayev University（萨特巴耶夫大学）；Institute of Ionosphere LLP（电离层研究所）；Information Technology Department（信息技术部门）；Assiut University（阿西乌特大学）
提出结合目标检测、GAN（CRA）修复和Transformer/CNN分类的端到端框架，发现重建质量高（PSNR 28.7dB）但分类准确率仅53%，通过置信度混合集成将MCA从48%提升至58%，揭示生成模型产生语义模糊特征的问题。
2026-06-18 cs.CV cs.LG eess.IV
Neuron-level Selective Context Aggregation for Scene Segmentation
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Shandong University（山东大学）；Tel Aviv University（特拉维夫大学）
背景信息为场景分割中相似像素的消歧提供了重要线索。在本文中，我们介绍了一个神经元级的选择性上下文聚合（SCA）模块的场景分割，包括上下文依赖预测和上下文聚合操作。依赖性预测器被隐式地训练以推断不同图像区域之间的上下文依赖性。上下文聚合算子用全局上下文来增强局部表示，全局上下文根据其动态预测依赖性在每个神经元处选择性地聚合。所提出的机制，使数据驱动的上下文依赖关系的推断，并促进上下文感知的特征学习。所提出的方法改进了基于VGG16的强基线，在具有挑战性的场景分割数据集上，这证明了其在建模上下文信息方面的有效性。
2017-11-22 cs.CV
Yuan: Yielding Unblemished Aesthetics Through A Unified Network for Visual Imperfections Removal in Generated Images
针对AI生成图像存在的视觉缺陷问题，提出自主修正框架Yuan，以文本提示和分割图像为条件自动生成精确掩码并修复缺陷，实验证明其在多数据集上的定量与定性表现优越，可提升AI生成图像质量和适用性。
2025-01-15 cs.CV eess.IV
Void Filling of Digital Elevation Models with Deep Generative Models
Evolute GmbH（Evolute有限公司）；Vienna University of Technology（维也纳工业大学）；SINTEF Digital（SINTEF数字研究院）
近年来，机器学习算法的进步、廉价的计算资源以及大数据的可用性已经在各个应用领域中刺激了深度学习革命。特别地，图像分析中的监督学习技术已经导致在诸如分类、定位和分割的各种任务中的超人性能，而基于日益先进的生成模型的无监督学习技术已经被应用于生成与真实图像难以区分的高分辨率合成图像。在本文中，我们考虑了一种最先进的图像修补机器学习模型，即基于具有上下文注意力机制的完全卷积架构的Wasserstein生成对抗网络。我们表明，该模型可以成功地转移到数字高程模型（DEM）的设置，用于生成语义上合理的数据填充空隙的目的。对挪威各地区的GeoTIFF数据进行了培训、测试和实验，这些数据由挪威制图局公开提供。
2019-02-26 cs.AI cs.CV cs.LG
Inpainting U-Net for seamless pedestrian-level wind prediction across urban morphologies
Department of Civil and Environmental Engineering, Imperial College London（伦敦帝国理工学院土木与环境工程系）；Department of Earth Science and Engineering, Applied Modelling and Computation Group, Imperial College London（伦敦帝国理工学院地球科学与工程系应用建模与计算组）
研究针对行人级风速预测，开发两阶段U-Net框架。先由基线U-Net逐块预测，再用基于修复的U-Net改进，减少块边界不连续性，为跨城市形态的高分辨率行人级风速预测提供了高效灵活的替代模型。
2026-07-07 cs.CV
Agentic Retoucher for Text-To-Image Generation
本文提出Agentic Retoucher框架，通过感知-推理-行动循环改进文本到图像生成的质量，引入GenBlemish-27K数据集进行评估，提升图像真实感与局部修正可靠性。
2026-03-16 cs.AI cs.CV
Deep image prior inpainting of ancient frescoes in the Mediterranean Alpine arc
University of Bologna（博洛尼亚大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
针对古代壁画数字重建因数据稀缺面临的挑战，本研究采用Deep Image Prior（DIP）修复方法，通过更新未训练卷积神经网络实现重建，相比现有方法减少伪影、适配上下文信息，并以地中海阿尔卑斯弧中世纪壁画数据集验证，还整合可见与红外信息的应用。
2023-12-11 cs.AI cs.CV
VINCIE: Unlocking In-context Image Editing from Video
National University of Singapore（国立新加坡大学）；ByteDance Seed（字节跳动种子）
VINCIE通过视频直接训练模型，实现了强大的上下文图像编辑能力，并在多轮图像编辑基准中取得最佳成绩。
2026-02-28 cs.AI cs.CL cs.CV
