MTV-Inpaint: Multi-Task Long Video Inpainting
City University of Hong Kong（香港城市大学）；Tianjin University（天津大学）；Shenzhen University（深圳大学）；Kuaishou Technology（快手科技）
本文提出统一多任务长视频修复框架MTV-Inpaint，通过双分支空间注意力、I2V多模态控制及关键帧到中间帧传播，同时支持场景补全与新对象插入并达到SOTA。
2025-03-14 cs.CV
Contact-Aware Amodal Completion for Human-Object Interaction via Multi-Regional Inpainting
Purdue University West Lafayette（普渡大学西拉法叶分校）；Honda Research Institute USA（本田美国研究院）
针对现有扩散模型在人-物交互场景下非模态补全效果差的问题，提出结合物理先验与多区域定制去噪的修复方法，显著提升补全精度与真实感，且无需真实接触标注仍具鲁棒性。
2025-08-01 cs.AI cs.CV
Reference Guided Image Inpainting using Facial Attributes
Korea University（高丽大学）；Drexel University（德雷塞尔大学）
图像修补是一种完成缺失像素的技术，如遮挡区域恢复、干扰物体去除和面部修复。在这些修复任务中，面部修复算法根据用户的方向进行面部修复。现有的方法需要用户的精细且良好控制的输入，因此对于普通用户来说难以提供足够准确的指导以使算法生成期望的结果。为了克服这一限制，我们提出了一种替代的用户引导修复架构，使用单个参考图像作为指导来操纵面部属性。我们的端到端模型由用于准确参考图像属性传输的属性提取器和用于将属性真实准确地映射到生成的图像的修复模型组成。我们自定义MS-SSIM损失和可学习的双向注意力地图，其中重要性结构即使使用不规则形状的掩码也保持不变。基于我们使用公开数据集CelebA-HQ的评估，我们证明了所提出的方法与一些专门用于修复任务的最先进方法相比具有优异的性能。
2023-01-19 cs.CV
Free-form 3D Scene Inpainting with Dual-stream GAN
National Taiwan University（国立台湾大学）；Mobile Drive Technology
如今，由于AR和VR技术的发展，用户在3D场景中编辑的需求迅速增加。然而，现有的3D场景完成任务（和数据集）不能满足需要，因为在场景中的缺失区域是由传感器的限制或对象遮挡产生的。因此，我们提出了一个新的任务命名为自由形式的3D场景修复。与以前的3D完成数据集中的场景不同，该数据集保留了大部分主要结构和缺失区域周围的详细形状提示，建议的修复数据集FF-Matterport包含由我们的自由形式3D掩模生成算法形成的大而多样的缺失区域，可以模仿人类在3D空间中的绘画轨迹。此外，现有的3D完成方法不能很好地执行这个具有挑战性但实际的任务，简单地内插附近的几何形状和颜色上下文。因此，一个定制的双流GAN方法被提出。首先，我们的双流生成器，融合了几何和颜色信息，产生了清晰的语义边界，解决了插值问题。为了进一步增强细节，我们的轻量级双码流正则化预测场景的几何形状和颜色边缘，使其变得逼真和清晰。我们使用建议的FF-Matterport数据集进行了实验。定性和定量的结果验证了我们的方法优于现有的场景完成方法和所有建议的组件的有效性。
2022-12-16 cs.CV
Foreground-aware Image Inpainting
University of Rochester（罗切斯特大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（Adobe研究院）
现有的图像修补方法通常通过从周围像素借用信息来填充孔洞。当孔洞与前景物体重叠或接触时，由于缺乏关于孔洞内的前景和背景区域的实际范围的信息，它们通常产生不令人满意的结果。然而，这些场景在实践中非常重要，特别是对于诸如移除分散注意力的物体的应用。为了解决这个问题，我们提出了一个前景感知的图像修补系统，明确地解开结构推理和内容完成。具体来说，我们的模型首先学习预测前景轮廓，然后使用预测的轮廓作为指导来修复丢失的区域。我们表明，通过这样的解纠缠，轮廓完成模型预测合理的轮廓的对象，并进一步大幅提高性能的图像修补。实验表明，我们的方法显着优于现有的方法，并取得了优异的修复结果具有复杂的组成具有挑战性的情况下。
2019-04-22 cs.CV
Deep Inception Generative Network for Cognitive Image Inpainting
Tongji University（同济大学）
深度学习的最新进展在填补大漏洞方面显示出令人兴奋的前景，并为图像修补带来了另一个方向。然而，现有的基于学习的方法往往会产生伪像和错误的纹理，因为认知理解不足。以往的生成网络局限于单一的接收类型，考虑到细节的清晰度而放弃了池化。无论目标属性如何，人类的认知都是恒定的。由于多个感受野提高了抽象图像表征的能力，并且池化可以保持特征不变，具体地，采用深度初始学习来促进高级特征表示并增强局部块的模型学习能力。此外，介绍了用于生成不同掩模图像的方法，并创建了随机掩模数据集。我们在ImageNet，Places 2数据集和CelebA-HQ上对我们的方法进行了基准测试。对规则区域、不规则区域和自定义区域的修复进行了实验，并给出了自由风格的图像修补。与以前的国家的最先进的方法的定量比较表明，我们获得更自然的图像完成。
2018-12-01 cs.CV
EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning
University of Ontario Institute of Technology（安大略理工大学）
在过去的几年里，深度学习技术在图像修补方面取得了显著的进步。然而，这些技术中的许多未能重建合理的结构，因为它们通常是过度平滑和/或模糊的。本文提出了一种新的图像修补方法，该方法能更好地再现具有细节的填充区域。我们提出了一个两阶段的对抗模型EdgeConnect，它由一个边缘生成器和一个图像完成网络组成。边缘生成器使图像的缺失区域（规则和不规则）的边缘产生幻觉，并且图像完成网络使用幻觉边缘作为先验来填充缺失区域。我们在公开可用的数据集CelebA，Places 2和Paris StreetView上对我们的模型进行了端到端的评估，并表明它在定量和定性上都优于当前最先进的技术。代码和模型可在：https://github.com/knazeri/edge-connect
2019-01-11 cs.CV
An Edge Information and Mask Shrinking Based Image Inpainting Approach
Inner Mongolia University（内蒙古大学）
在图像修补任务中，对缺失区域中的高频和低频信息的修复能力对恢复图像的质量具有实质性影响。然而，现有的修复方法通常不能同时考虑高频和低频信息。针对这一问题，提出了一种基于边缘信息和掩模收缩的图像修补方法。第一模型是用于从受损图像生成完整边缘信息的边缘生成模型，第二模型是用于利用所生成的边缘信息和受损图像的有效内容来修复缺失区域的图像完整模型。在图像修复模型中采用掩模收缩策略跟踪待修复区域。所提出的方法进行了定性和定量评估的数据集Places2。结果表明，我们的方法优于国家的最先进的方法。
2020-06-11 cs.CV cs.LG eess.IV
Inpaint3D: 3D Scene Content Generation using 2D Inpainting Diffusion
Google Research（谷歌研究院）；Stanford University（斯坦福大学）
提出Inpaint3D，将仅以单张带掩码2D图像为条件的2D扩散模型蒸馏到NeRF，结合SDS、重建损失和深度监督实现任意3D区域内容生成。
2023-12-06 cs.CV
Vivid4D: Improving 4D Reconstruction from Monocular Video by Video Inpainting
Zhejiang University（浙江大学）；ByteDance（字节跳动）
针对单目视频4D重建的视角限制问题，Vivid4D结合几何与生成先验，将视角增强转化为视频修复任务，通过单目深度先验变形视角并训练修复模型，有效提升4D场景重建效果。
2025-04-18 cs.CV
CNN-based Euler's Elastica Inpainting with Deep Energy and Deep Image Prior
Saarland University（萨尔大学）
欧拉弹性体构成了一个吸引人的变分图像修补模型。它使涉及总变差以及水平线曲率的能量最小化。这些组件是透明的，使其对形状完成任务具有吸引力。然而，它的梯度流是一个奇异的，各向异性的，非线性的四阶偏微分方程，这是数值上的挑战：很难找到有效的算法，提供尖锐的边缘和良好的旋转不变性。作为补救措施，我们设计了第一个神经算法，模拟用欧拉的Elastica修复。我们使用深层能量的概念，它采用变分能量作为神经网络损失。此外，我们将其与深度图像先验配对，其中网络架构本身作为先验。这通过使优化轨迹更接近所需的解决方案来产生更好的图像修复。我们的研究结果是定性等同于国家的最先进的算法，基于弹性的形状完成。它们结合了良好的旋转不变性和尖锐的边缘。此外，我们受益于神经框架内的高效率和轻松的并行化。我们的神经弹性方法只需要3x3中央差异支架。因此，它比其他性能良好的算法简单得多。最后但并非最不重要的是，它是无监督的，因为它不需要地面实况训练数据。
2023-03-14 cs.CV cs.LG eess.IV
Deep Video Inpainting
KAIST（韩国科学技术院）；Adobe Research（奥多比研究院）
视频修复旨在用视频中的可信内容填充时空漏洞。尽管用于图像修补的深度神经网络取得了巨大的进展，但由于额外的时间维度，将这些方法扩展到视频域是具有挑战性的。在这项工作中，我们提出了一种用于快速视频修复的新型深度网络架构。建立在一个基于图像的编码器-解码器模型，我们的框架的目的是收集和完善信息，从邻居帧和合成仍然未知的地区。同时，通过一个循环反馈和一个时间记忆模块，使输出在时间上保持一致。与最先进的图像修补算法相比，我们的方法产生的视频是更语义正确和时间平滑。与依赖于耗时优化的先前视频完成方法相比，我们的方法在生成有竞争力的视频结果的同时近乎实时地运行。最后，我们将我们的框架应用于视频重定向任务，并获得了视觉上令人满意的结果。
2019-05-05 cs.CV
Faster Matrix Completion Using Randomized SVD
Tsinghua University（清华大学）；Old Dominion University（奥多明尼昂大学）
矩阵补全是图像修补和个性化推荐系统等领域广泛使用的一种技术。在这项工作中，我们专注于使用更快的随机奇异值分解（rSVD）来加速矩阵补全。首先，提出了两种处理稀疏矩阵的快速随机算法（rSVD-PI和rSVD-BKI）。它们使用eigSVD过程和几个加速技巧。然后，利用rSVD-BKI算法和一种新的子空间循环技术，对文献[1]中的奇异值阈值（SVT）方法进行加速，实现快速的矩阵完备化。实验表明，在保持相同精度的前提下，本文提出的rSVD算法比基本的rSVD算法[2]快6倍。对于图像修补和电影收视率估计问题，所提出的加速SVT算法消耗的CPU时间分别比使用svds和lansvd的方法少15倍和8倍，而不损失精度。
2018-10-16 cs.LG stat.ML
CLII: Visual-Text Inpainting via Cross-Modal Predictive Interaction
University of South Carolina（南卡罗来纳大学）；IHPC（高性能计算研究院）；CFAR（先进研究中心）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）
提出视觉-文本修复任务及跨模态预测交互模型CLII，通过图像与文本分支利用互补信息实现场景文本图像与文本的联合修复，并验证了其在提升SOTA文本检测鲁棒性及超越基线方法上的有效性。
2024-07-23 cs.CV
A nonlocal feature-driven exemplar-based approach for image inpainting
Oak Ridge National Laboratory（橡树岭国家实验室）；Sandia National Laboratories（桑迪亚国家实验室）；University of Tennessee at Knoxville（田纳西大学诺克斯维尔分校）；Lirio LLC（Lirio有限责任公司）
我们提出了一种非局部变分图像修复技术，它允许在一个统一的框架内同时修复多个结构和纹理。几何结构的恢复是通过使用一般卷积算子作为图像内行为的度量来实现的。这些都结合了一个非本地的基于样本的方法，利用图像的自相似性在选定的特征域，并确保修复的纹理。我们还引入了各向异性补丁距离度量，以允许更好地控制图像内的特征选择，并提出了基于此度量的非局部能量泛函。最后，我们推导出所提出的变分模型的优化算法，并与各种测试图像的实验研究其有效性。
2020-12-03 cs.CV
DiTPainter: Efficient Video Inpainting with Diffusion Transformers
ByteDance（字节跳动）
针对现有视频修复算法易模糊不一致、预训练DiT模型参数量大耗时久的问题，提出从头训练的高效DiT端到端视频修复模型DiTPainter，可处理任意长度视频，在质量和时空一致性上优于现有算法。
2025-05-19 cs.CV
When Diffusion Models Forget Who You Are: Identity Preservation in Face Inpainting under Large Occlusions
针对大遮挡和冲突文本引导下人脸修复的身份保留难题，提出级联扩散框架ReSem-Face，在CelebAHQ-IDI-5等数据集上验证其身份保留修复及文本编辑质量优于基线。
2026-08-06 cs.CV
Multi-Agent Amodal Completion: Direct Synthesis with Fine-Grained Semantic Guidance
School of Computer Science and Engineering（计算机科学与工程学院）；Beihang University（北京航空航天大学）；School of Software（软件学院）
本文提出协同多智能体推理框架，通过多智能体协同分析遮挡关系、生成细粒度文本语义引导，并直接输出分层RGBA结果，解决了非模态补全中的误差累积与遮挡物再生问题，达到最先进视觉质量。
2025-09-22 cs.CV cs.MA
Diverse Image Inpainting with Bidirectional and Autoregressive Transformers
Nanyang Technological University（南洋理工大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
图像修补是一个欠定逆问题，它自然地允许不同的内容来真实地填充丢失或损坏的区域。使用卷积神经网络（CNN）的流行方法可以合成视觉上令人愉快的内容，但是CNN遭受用于捕获全局特征的有限感知域。通过图像级关注，Transformers能够对长距离依赖性进行建模，并通过像素序列分布的自回归建模生成各种内容。然而，自回归Transformers中的单向注意力是次优的，因为损坏的图像区域可以具有任意形状，具有来自任何方向的上下文。我们提出了BAT填充，一个创新的图像修复框架，介绍了一种新的双向自回归Transformer（BAT）的图像修补。BAT利用Transformers来学习自回归分布，这自然允许不同的缺失内容生成。此外，它还集成了像BERT这样的掩蔽语言模型，可以对缺失区域的上下文信息进行双向建模，以实现更好的图像完整性。在多个数据集上的大量实验表明，BAT-Fill在定性和定量的图像修补中实现了优异的多样性和保真度。
2021-06-01 cs.CV
Inpainting borehole images using Generative Adversarial Networks
Convergaince Corporation（Convergaince公司）
在本文中，我们提出了一种基于GAN的方法，用于有线微电阻率成像工具创建的钻孔图像中的间隙填充。该方法利用一个生成器，全局插值和局部插值来修补图像的缺失区域。该发生器基于具有跳跃连接的自动编码器架构，并且使用的损失函数是Wasserstein GAN损失。我们的实验数据集上的钻孔图像表明，该模型可以有效地处理大规模的缺失像素，并产生逼真的完井结果。该方法可以提高储层的定量评价，为解释地质现象和储层参数提供必要的依据。
2023-01-15 cs.CV eess.IV
Image Inpainting via Stochastic Dynamics
Oxford Suzhou Centre for Advanced Research, University of Oxford（牛津大学牛津 - 苏州高等研究院）；Institute for Advanced Research, Great Bay University（大湾区大学高等研究院）；Mathematical Institute, University of Oxford（牛津大学数学研究所）
研究图像修复问题，提出基于数据引导随机动力学的非参数方法，无需网络训练，通过反向随机微分方程及核加权校正引导重建，在多个数据集实验中表现优于其他方法，证明经验参考统计对图像修复的有效性。
2026-07-28 cs.CV
Image Inpainting via Iteratively Decoupled Probabilistic Modeling
CUHK（香港中文大学）；The University of Hong Kong（香港大学）；CUHK (Shenzhen)（香港中文大学（深圳））；Tencent AI Lab（腾讯人工智能实验室）；Adobe Inc.（奥多比公司）
生成对抗网络（GANs）在图像修补方面取得了巨大成功，但仍然难以处理大的缺失区域。相比之下，迭代概率算法，如自回归和去噪扩散模型，必须部署大量的计算资源，以获得良好的效果。为了以低计算成本获得高质量的结果，我们提出了一种新的像素扩散模型（PSM），该模型迭代地采用解耦概率建模，将GANs的优化效率与概率模型的预测易处理性相结合。因此，我们的模型在几次迭代中选择性地将信息像素分布在整个图像中，大大提高了完成的质量和效率。在多个基准测试中，我们实现了最先进的性能。代码发布于https://github.com/fenglinglwb/PSM。
2023-03-08 cs.CV
An Analysis of Generative Methods for Multiple Image Inpainting
University Pompeu Fabra（庞培法布拉大学）；Université de Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立理工学院）；CNRS（法国国家科学研究中心）；University of Cambridge（剑桥大学）
图像修补是指以观察者无法检测到的方式恢复具有丢失区域的图像。修复区域可以是任何大小和形状。这是一个不适定的反问题，没有唯一的解决方案。在这项工作中，我们专注于基于学习的图像修复方法，用于多种多样的修复，其目标是为给定的受损图像提供一组独特的解决方案。这些方法利用某些生成模型的概率性质来采样各种解决方案，这些解决方案连贯地恢复丢失的内容。沿着这一章，我们将分析基本理论，并分析最近提出的多重修复。为了研究每种方法的优缺点，我们在常见的数据集上进行了定量和定性的比较，关于修复解决方案的质量和多样性。我们的分析使我们能够确定最成功的生成策略，在修复质量和修复的多样性。这个任务与学习图像的精确概率分布密切相关。根据所使用的数据集，将通过分析讨论训练这种模型所面临的挑战。
2022-05-04 cs.CV
Generator Pyramid for High-Resolution Image Inpainting
OPPO Research（OPPO研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
修复具有大孔洞的高分辨率图像对现有的基于深度学习的图像修补方法提出了挑战。本文提出了一种新的高分辨率图像修补框架-- PyramidFill，它明确地将内容补全和纹理合成分离开来。PyramidFill尝试在较低分辨率的图像中完成未知区域的内容，并逐步合成较高分辨率图像中未知区域的纹理。因此，我们的模型由一个完全卷积的GANs金字塔组成，其中内容GAN负责完成最低分辨率掩码图像中的内容，每个纹理GAN负责合成更高分辨率图像中的纹理。由于完成内容和合成纹理需要生成器具有不同的能力，因此我们为内容GAN和纹理GAN定制了不同的架构。在包括CelebA-HQ、Places 2和具有不同分辨率的新自然风景数据集（NSHQ）在内的多个数据集上的实验表明，PyramidFill生成的修复结果比最先进的方法质量更高。为了更好地评估高分辨率图像修补方法，我们将发布NSHQ，高分辨率1920 $\times$ 1080的高质量自然风景图像。
2020-12-04 cs.CV eess.IV
Fill in the ____ (a Diffusion-based Image Inpainting Pipeline)
University of Washington（华盛顿大学）
本文概述图像修复技术进展，指出现有模型缺乏对生成内容的提示与控制能力，提出基于扩散的修复流水线及多种实现方法，并通过定性评估验证其能按指令生成高质量修复图像。
2024-03-24 cs.AI cs.CV
Adaptive Image Inpainting
最近，通过使用深度神经网络，图像修补方法已经显示出显著的改进。然而，这些技术中的许多技术通常会产生与周围区域不一致的扭曲结构或模糊纹理。这个问题的根源在于编码器层在构建完整和忠实的缺失区域嵌入方面的效率低下。为了解决这个问题，两阶段方法部署了两个单独的网络，用于对修复图像进行粗略和精细估计。一些方法利用手工制作的特征（如边缘或轮廓）来引导重建过程。这些方法由于多个生成器网络、手工特征的有限能力以及对地面实况中存在的信息的次优利用而遭受巨大的计算开销。受这些观察的启发，我们提出了一种基于蒸馏的修复方法，在这种方法中，我们以自适应的方式为编码器层提供直接的特征级监督。我们部署了交叉和自蒸馏技术，并讨论了在编码器中需要一个专用的完成块来实现蒸馏目标。我们对多个数据集进行了广泛的评估，以验证我们的方法。
2022-01-01 cs.CV
Shape-guided Object Inpainting
Johns Hopkins University（约翰斯·霍普金斯大学）；Adobe Research（奥多比研究院）
以往的图像修补工作主要集中在背景或部分缺失对象的修补上，而完整缺失对象的修补问题尚未得到研究。本文研究了一种新的图像修补任务，即形状引导的对象修复。给定不完整的输入图像，目标是通过基于上下文和由孔形状给出的隐式指导生成对象来填充孔。由于以前的图像修补方法主要是针对背景修补而设计的，因此它们并不适用于这一任务。因此，我们提出了一种新的数据准备方法和一种新的上下文对象生成器（CogNet）的对象修复任务。在数据方面，我们通过使用对象实例作为洞，将对象先验信息合并到训练数据中。CogNet有一个双流架构，它将标准的自下而上的图像完成过程与自上而下的对象生成过程相结合。预测类嵌入模块通过从自下而上的特征预测丢失对象的类来桥接两个流，从中导出语义对象映射作为自上而下流的输入。实验表明，该方法可以生成符合上下文的真实感对象，无论是视觉外观和语义。代码可以在项目页面\url{https://zengxianyu.github.io/objpaint}找到
2022-04-16 cs.CV cs.MM
Learning to Incorporate Structure Knowledge for Image Inpainting
University of Chinese Academy of Sciences（中国科学院大学）
本文开发了一个多任务学习框架，试图将图像结构知识，以协助图像修补，这是没有很好地探讨在以前的作品。其主要思想是训练一个共享的生成器来同时完成损坏的图像和相应的结构-边缘和梯度，从而隐含地鼓励生成器在修复时利用相关的结构知识。同时，我们还引入了一种结构嵌入方案，将学习到的结构特征显式地嵌入到修复过程中，从而为图像修复提供可能的前提条件。具体来说，提出了一种新的金字塔结构损失来监督结构学习和嵌入。此外，一个注意力机制的发展，以进一步利用循环的结构和模式的图像，以改善所产生的结构和内容。通过多任务学习，结构嵌入以及注意力，我们的框架利用了结构知识，并在定量和定性上优于基准数据集上的几种最先进的方法。
2020-02-12 cs.CV cs.LG eess.IV
Contextual-based Image Inpainting: Infer, Match, and Translate
USC（南加州大学）；Adobe Research（Adobe研究院）；CMU（卡内基梅隆大学）；Pinscreen；USC Institute for Creative Technologies（南加州大学创意技术研究所）
本文研究了图像修补的任务，即用合理的内容填充不完整图像的缺失区域。为此，我们提出了一种基于学习的方法来生成视觉上连贯的完成给定的高分辨率图像与丢失的组件。为了克服直接学习高维图像数据分布的困难，我们将任务分为推理和翻译两个独立的步骤，并使用深度神经网络对每个步骤进行建模。我们还使用简单的几何学来引导局部纹理从边界到孔的传播。我们表明，通过使用这样的技术，修复减少了学习两个图像特征的翻译功能在更小的空间，因此更容易训练的问题。我们在几个公共数据集上评估了我们的方法，并表明我们生成的结果比以前最先进的方法具有更好的视觉质量。
2018-07-25 cs.CV
Image Inpainting using Block-wise Procedural Training with Annealed Adversarial Counterpart
USC（南加利福尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
深度生成模型的最新进展在图像嵌入方面显示出了很大的潜力，这是指使用已知上下文预测不完整图像的缺失像素值的任务。然而，现有的方法可能是缓慢的或产生不令人满意的结果，容易检测到的缺陷。此外，在孔附近通常存在可感知的不连续性，并且需要进一步的后处理来混合结果。我们提出了一种新的方法来解决训练一个非常深的生成模型来合成高质量的照片级真实感修复的困难。我们的模型使用条件生成对抗网络（条件GANs）作为骨干，我们引入了一种新的分块程序训练方案来稳定训练，同时增加网络深度。我们还提出了一种称为对抗性损失退火的新策略来减少伪影。我们进一步描述了几个专门为修复设计的损失，并显示其有效性。大量的实验和用户研究表明，我们的方法优于现有的方法在几个任务，如修复，人脸完成和图像协调。最后，我们展示了我们的框架可以很容易地用作交互式引导修复的工具，展示了它在解决常见现实挑战方面的实用价值。
2018-03-28 cs.CV
SceneCompleter: Dense 3D Scene Completion for Generative Novel View Synthesis
Department of Electronic Engineering, Tsinghua University（电子工程系，清华大学）；Department of Automation, Tsinghua University（自动化系，清华大学）
提出SceneCompleter，通过几何-外观双流扩散模型在RGBD潜空间进行密集3D场景补全，并引入场景嵌入器整合全局信息，实现跨视角一致的生成式新视角合成。
2026-06-17 cs.CV
Resolution-robust Large Mask Inpainting with Fourier Convolutions
Samsung AI Center Moscow（三星莫斯科人工智能中心）；Samsung Research（三星研究院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；EPFL（洛桑联邦理工学院）
现代图像修补系统，尽管取得了重大进展，往往与大的丢失区域，复杂的几何结构，和高分辨率的图像。我们发现其中一个主要原因是修复网络和损失函数都缺乏有效的感受野。为了缓解这个问题，我们提出了一种新的方法，称为大掩模修复（LaMa）。LaMa基于i）一种新的修复网络架构，该架构使用快速傅立叶卷积（FFC），具有图像范围的感受野; ii）高感受野感知损失; iii）大型训练掩码，释放前两个组件的潜力。我们的修复网络在一系列数据集上提高了最先进的水平，即使在具有挑战性的场景中也能实现出色的性能，例如完成周期性结构。我们的模型令人惊讶地推广到高于训练时间的分辨率，并以低于竞争基线的参数和时间成本实现这一点。代码可在\url{https://github.com/saic-mdal/lama}上获得。
2021-11-11 cs.CV eess.IV
CSF-Net: Context-Semantic Fusion Network for Large Mask Inpainting
Department of Artificial Intelligence Convergence（人工智能融合系）
针对大掩码图像修复中视觉内容缺失、上下文线索有限的问题，提出CSF-Net框架，利用预训练AC模型生成语义先验，通过Transformer融合上下文特征生成引导图像，提升修复的结构准确性与语义一致性，减少对象幻觉。
2025-11-11 cs.CV
Advancing Limited-Angle CT Reconstruction Through Diffusion-Based Sinogram Completion
Dept. of Electrical and Computer Engineering, Northwestern University, Evanston, IL, USA（电气与计算机工程系，西北大学，爱荷华州埃文斯顿）
本文提出基于扩散模型的sinogram补全方法，结合蒸馏和伪逆约束，实现高效准确的有限角度CT重建，有效抑制伪影并保持结构细节。
2025-11-24 cs.AI cs.CV
Progressive Learning of a Diffusion-based Inpainting Model for Separating Overlapped Fingerprints
本研究针对重叠指纹分离问题，提出渐进式学习的基于扩散的修复模型，结合指纹先验与多通道条件的感知重叠修复，在公开数据集上实现了高匹配度的组成指纹重建。
2026-08-05 cs.CR cs.CV
Nonnegative Low-Rank Tensor Completion via Dual Formulation with Applications to Image and Video Completion
IIIT, Hyderabad（海得拉巴印度信息技术学院）
本文针对张量补全中忽略非负结构的问题，提出基于对偶理论的新颖分解，解耦非负与低秩约束，并采用黎曼共轭梯度变体求解，在图像和视频补全任务上优于现有方法。
2023-05-13 cs.CV cs.LG
RETHINED: A New Benchmark and Baseline for Real-Time High-Resolution Image Inpainting On Edge Devices
Crisalix（克里萨利克斯）；NVIDIA（英伟达）；IIE, FIng, UdelaR（乌拉圭共和国大学工程学院、工程学院（注：此处IIE、FIng为学院缩写，UdelaR为乌拉圭共和国大学，按要求提取到大学/学院级别））；UPF（庞培法布拉大学）
针对现有高分辨率图像修复方法难以在边缘设备实时部署的问题，提出结合轻量CNN结构恢复与分辨率无关块替换的RETHINED基线方法，速度较现有最优方法快100倍，还发布了首个自由形状掩码超高清修复数据集DF8K-Inpainting。
2025-03-18 cs.CV cs.LG
High-Fidelity Image Inpainting with GAN Inversion
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Nanjing Institute of Software Technology（南京软件技术研究院）；University of North Texas（北得克萨斯大学）
图像修补是根据图像中未被掩盖的内容，寻求一种语义一致的方法来恢复受损图像。以前的方法通常在使用GAN反演为丢失的孔生成真实的补丁之前重用训练良好的GAN作为有效的。然而，在这些算法中忽略硬约束可能会产生GAN反演和图像修补之间的差距。针对这一问题，本文提出了一种新的图像图像修补GAN反演模型，称为InvertFill，主要由一个带有预调制模块的编码器和一个带有F&W+潜在空间的GAN生成器组成。在编码器内，预调制网络利用多尺度结构将更具鉴别力的语义编码到样式向量中。为了弥补GAN反演与图像修补之间的差距，提出了F&W+潜空间来消除眩光颜色差异和语义不一致。为了重建逼真的图像，设计了一个简单而有效的软更新Mean Latent模块，用于捕获更多样化的域内模式，这些模式合成了高保真纹理，用于大的损坏。在Places 2、CelebA-HQ、MetFaces和Scenery等四个具有挑战性的数据集上进行的综合实验表明，我们的InvertFill在定性和定量上都优于先进的方法，并且很好地支持了域外图像的完成。
2022-08-25 cs.CV
Line Drawing Guided Progressive Inpainting of Mural Damage
United International College of Beijing Normal University - HongKong Baptist University（北京师范大学-香港浸会大学联合国际学院）；Wuhan University（武汉大学）；Cleveland State University（克利夫兰州立大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对壁画损伤区域大、主题多样且易出现颜色偏差的问题，提出线条画引导的渐进式修复方法，通过结构重建网络和颜色校正网络分两步完成修复，实验证明其优于现有方法。
2024-07-04 cs.CV
SafePaint: Anti-forensic Image Inpainting with Domain Adaptation
University of Bologna（博洛尼亚大学）
本文提出 SafePaint 端到端反取证图像修复框架，通过语义内容补全、域适应区域优化及 RWSA 模块，在保持修复质量的同时消除篡改痕迹。
2024-08-06 cs.CV cs.MM
HD-Painter: High-Resolution and Prompt-Faithful Text-Guided Image Inpainting with Diffusion Models
Picsart AI Research (PAIR)（Picsart人工智能研究院（PAIR））；UT Austin（德克萨斯大学奥斯汀分校）；Georgia Tech（佐治亚理工学院）
HD-Painter提出无需训练的文本引导图像修复方法，通过PAIntA注意力层和RASG采样机制增强提示对齐，并支持2K高分辨率修复，在多项指标和用户研究中超越现有方法。
2024-03-18 cs.CV
Geometry-Aware Diffusion Models for Multiview Scene Inpainting
York University（约克大学）；Vector Institute for AI（Vector人工智能研究院）；Samsung AI Centre Toronto（三星多伦多人工智能中心）；Google DeepMind（谷歌DeepMind）
本文提出一种几何感知条件生成模型，通过学习空间中的跨视角信息融合实现多视角一致的三维场景修复，尤其在少视角条件下优于现有基于辐射场的方法。
2025-03-10 cs.CV
Modeling Gestalt Visual Reasoning on the Raven's Progressive Matrices Intelligence Test Using Generative Image Inpainting Techniques
Vanderbilt University（范德堡大学）
心理学家认为瑞文推理测验是一种非常有效的测试人类一般智力的方法。虽然人工智能社区已经开发了许多计算模型来研究测试中不同形式的自上而下的审慎推理，但对自下而上的感知过程（如完形图像完成）的研究较少，这对人类测试表现也至关重要。在这项工作中，我们研究如何完形视觉推理的乌鸦的测试可以使用生成图像修补技术从计算机视觉建模。我们证明，仅在物体的照片级真实感图像上训练的自监督修复模型在彩色渐进矩阵上获得了27/36的分数，这相当于9岁儿童的平均表现。我们还表明，在其他数据集（人脸、地点和纹理）上训练的模型表现不佳。我们的研究结果说明了如何在现实世界中的图像学习视觉识别可以转化为成功的推理人工测试刺激。另一方面，我们的研究结果也强调了这种迁移的局限性，这可能解释了为什么像瑞文这样的智力测试通常对人们的个人社会文化背景很敏感。
2019-11-26 cs.CV cs.LG eess.IV
Image Inpainting with Edge-guided Learnable Bidirectional Attention Maps
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Lab（鹏城实验室）；DAMO Academy at Alibaba Group（阿里巴巴达摩院）
对于图像修补，以往的卷积神经网络（CNN）通常采用标准卷积算子，对有效像素和空洞进行不可分割的处理。因此，它们在处理不规则孔方面受到限制，并且倾向于产生颜色不一致和模糊的修补结果。部分卷积（PConv）通过仅以有效像素为条件进行掩码卷积和特征重新归一化来解决这个问题，但掩码更新是手工制作的，与图像结构信息无关。在本文中，我们提出了一个边缘引导的可学习的双向注意图（边缘LBAM），以提高图像修补的不规则孔有几个明显的优点。代替使用硬0-1掩码，引入可学习的注意力映射模块，用于以端到端的方式学习特征重新规范化和掩码更新。在解码器中进一步提出了可学习的反向注意力映射，强调填充未知像素而不是重建所有像素。由于填充顺序对修复结果至关重要，并且在很大程度上取决于基于样本的方法中的图像结构，因此我们进一步提出了一种多尺度边缘完成网络来预测相干边缘。我们的Edge-LBAM方法包含两个过程，包括由预测边缘引导的结构感知的掩模更新和由掩模生成的用于特征重新归一化的注意力图。大量的实验表明，我们的Edge-LBAM在生成连贯的图像结构和防止颜色差异和模糊方面是有效的，并且在定性度量和视觉质量方面优于最先进的方法。
2021-04-25 cs.CV
EraserDiT: Fast Video Inpainting with Diffusion Transformer Model
本文提出EraserDiT，一种基于扩散Transformer的视频修复方法，通过循环位置移位策略增强长期时间一致性，在大掩码场景下实现高质量、快速的目标移除与视频修复。
2025-08-17 cs.CV
Region-wise matching for image inpainting based on adaptive weighted low-rank decomposition
Shandong University（山东大学）；Shandong Jianzhu University（山东建筑大学）；the Second Hospital of Shandong University（山东大学第二医院）
数字图像修补是一个插值问题，它通过对已知区域的数据进行插值，使得插值结果满足一定的先验知识。低秩自相似性和非局部自相似性是图像修补的两个重要先验。基于非局部自相似性假设，将图像划分为相互重叠的正方形目标块（子矩阵），并将每个目标块的相似块整形为向量，堆叠成块矩阵。这种修补矩阵通常具有低秩或近似低秩的性质，其缺失元素可以通过低秩矩阵近似（LRMA）算法来恢复。传统上，$n$最近邻相似块在以目标块为中心的局部窗口内搜索。然而，对于具有缺失线的图像，生成的补丁矩阵易于具有完全缺失的行，使得下游低秩模型不能很好地重建它。为了解决这个问题，我们提出了一个区域明智的匹配（RwM）算法划分成多个子区域的目标补丁的邻域，然后在每个子区域内搜索最相似的。一个非凸加权低秩分解（NC-WLRD）模型的LRMA也提出了建议的RwM算法分组重建所有退化的补丁矩阵。采用交替方向乘子法（ADMM）求解NC-WLRD模型，并详细分析了其收敛性。大量的实验线修复（整行/列丢失）证明了我们的方法优于其他竞争力的修复算法。与其他基于低秩的矩阵补全方法和修复算法不同，所提出的模型NC-WLRD对于去除随机值脉冲噪声和结构噪声（条纹）也是有效的。
2023-03-22 cs.CV
Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks
University of Southern California（南加州大学）；US Army Research Laboratory（美国陆军研究实验室）
卷积神经网络的最新进展已经在3D形状完成中显示出有希望的结果。但由于GPU内存的限制，这些方法只能产生低分辨率的输出。为了用语义可扩展性和上下文细节来修补3D模型，我们引入了一个混合框架，该框架结合了3D编码器-解码器生成对抗网络（3D-ED-GAN）和长期递归卷积网络（LRCN）。3D-ED-GAN是一种3D卷积神经网络，采用生成对抗范式进行训练，以低分辨率填充缺失的3D数据。LRCN采用递归神经网络架构来最大限度地减少GPU内存使用，并将编码器-解码器对纳入长短期记忆网络。通过将3D模型处理为2D切片序列，LRCN将粗略的3D形状转换为更完整和更高分辨率的体积。虽然3D-ED-GAN捕获3D形状的全局上下文结构，但LRCN定位细粒度细节。在真实世界和合成数据上的实验结果表明，从损坏的模型重建得到完整和高分辨率的3D对象。
2017-11-17 cs.CV
Transformer based Pluralistic Image Completion with Reduced Information Loss
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学技术学院）；Microsoft Cloud AI（微软云人工智能部门）；Wormpex AI Research LLC（Wormpex人工智能研究有限责任公司）
针对现有Transformer图像修复方法因下采样、量化导致的信息损失问题，提出PUT框架，通过基于块的自编码器与非量化Transformer减少损失，引入条件增强可控性，在保真度和多样性上优于现有方法。
2024-04-15 cs.CV
FacaDiffy: Inpainting Unseen Facade Parts Using Diffusion Models
Technical University of Munich (TUM)（慕尼黑工业大学）；University of Oxford（牛津大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对激光扫描障碍物导致建筑立面二维冲突图不完整的问题，提出FacaDiffy方法，结合确定性射线分析与个性化Stable Diffusion模型补全冲突图，还构建合成数据生成流水线，实现冲突图补全的SOTA性能，提升三维重建检测率22%。
2025-02-20 cs.AI cs.CV
Matrix Completion Via Reweighted Logarithmic Norm Minimization
本文提出加权对数范数作为低秩矩阵补全的非凸替代方法，通过ADMM实现高效优化，实验显示其在图像修复中优于现有方法。
2025-12-24 cs.CV
Matrix Completion with Noisy Entries and Outliers
本文研究了当观测数据中含有噪声和野值时的矩阵完备化问题。首先介绍了一种新的优化准则，其中恢复矩阵被定义为它的解决方案。该标准使用了稳健统计文献中著名的Huber函数来降低离群值的影响。一个实用的算法来解决所涉及的优化。该算法速度快，实现简单，且单调收敛。此外，所提出的方法理论上被证明是稳定的，在一个明确的意义。通过一系列仿真实验，包括图像修复，证明了其有前途的经验性能。
2017-12-27 stat.ML
Towards Realistic Landmark-Guided Facial Video Inpainting Based on GANs
Technische Universität Berlin（柏林工业大学）；Tampere University（坦佩雷大学）；Ernst-Abbe University of Applied Sciences Jena（恩斯特·阿贝耶拿应用科学大学）
针对人脸视频遮挡去除需求，提出基于GAN的表情引导修复网络，结合人脸关键点、无遮挡参考图与定制FER损失，实现静态/动态遮挡的自适应去除，保障帧间身份一致与时空连贯的逼真修复效果。
2024-02-14 cs.CV
Non-convex approaches for low-rank tensor completion under tubal sampling
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Michigan State University（密歇根州立大学）；University of Central Florida（中佛罗里达大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文针对管状采样下的低秩张量补全问题，提出 TL12 和 TCCUR 两种非凸框架，实验表明二者在低采样率下分别具有精度或效率优势。
2023-03-17 cs.CV cs.LG cs.NA
Semantically Consistent Image Completion with Fine-grained Details
The Chinese University of Hong Kong（香港中文大学）
由于生成对抗网络（GANs）的进步，图像完成已经取得了重大进展。虽然看起来很自然，但合成的内容仍然缺乏细节，特别是对于具有复杂结构的场景或具有大孔的图像。这是因为在低水平的重建损失和高水平的对抗性损失之间存在差距。为了解决这个问题，我们引入了一个感知网络来提供中级指导，该网络在相似性增强的空间中测量合成内容和原始内容之间的语义相似性。我们对不同损失和不同水平的感知特征在图像补全中的作用进行了详细的分析，表明对抗训练和感知特征之间存在互补性。通过将它们组合在一起，我们的模型可以以端到端的方式实现近乎无缝的融合结果。此外，我们设计了一种有效的轻量级生成器架构，可以用更少的参数实现有效的图像修补。在CelebA Face和Paris StreetView数据集上进行评估，我们提出的方法显着优于现有方法。
2017-11-26 cs.CV
