InTeX: Interactive Text-to-texture Synthesis via Unified Depth-aware Inpainting
National Key Lab of General AI, Peking University（北京大学通用人工智能重点实验室）；Zhejiang University（浙江大学）；Skywork AI（天工AI）；S-Lab, Nanyang Technological University（南洋理工大学S实验室）
提出InteX框架，通过统一深度感知修复模型和交互界面，解决文本到纹理合成中的3D不一致性和可控性差问题，实现高效高质量3D内容创作。
2024-03-18 cs.CV
Multi-feature Co-learning for Image Inpainting
Guangzhou University（广州大学）
图像修补通过同时利用图像的结构和纹理特征，取得了很大的进展。然而，由于缺乏有效的多特征融合技术，现有的图像修补方法仍然表现出有限的改进。本文设计了一个用于图像修补的深度多特征协同学习网络，包括软门控双特征融合（SDFF）和双边传播特征聚合（BPFA）模块。具体来说，我们首先使用两个分支分别学习结构特征和纹理特征。SDFF模块将结构特征与纹理特征相结合，同时利用纹理特征辅助结构特征的生成。这样的协同学习策略使得结构和纹理特征更加一致。接下来，提出的BPFA模块通过共同学习上下文注意力、通道信息和特征空间来增强从局部特征到整体一致性的连接，这可以进一步细化生成的结构和纹理。最后，在基准数据集上进行了大量的实验，包括CelebA，Places2和Paris StreetView。实验结果表明，该方法优于国家的最先进的。源代码可在https://github.com/GZHU-DVL/MFCL-Inpainting。
2022-05-21 cs.CV
Radial Based Analysis of GRNN in Non-Textured Image Inpainting
图像修补算法是根据图像周围的信息来恢复图像中某些受损或缺失的信息区域。本文提出的方法将基于径向基分析的图像修补方法应用于广义回归神经网络。受损区域首先与其他区域隔离，然后按其大小排列，然后使用GRNN进行修复。神经网络的训练是使用不同的半径来完成的，以实现更好的结果。对不同的基于回归的算法进行了比较分析。整体结果进行了比较，通过其他算法，如LS-SVM的PSNR值的参考所取得的结果。
2020-01-13 cs.CV
Patch-based Texture Synthesis for Image Inpainting
图像修补是图像处理和视觉中的一项重要任务。在本文中，我们开发了一个通用的方法，基于块的图像修补合成新的纹理从现有的。提出了一种新的框架来寻找多个最优的候选块，并在此过程中生成新的纹理块。我们形成它作为一个优化问题，确定潜在的补丁合成从粗到细的方式。我们使用的纹理描述符作为线索，在搜索匹配补丁从已知的区域。为了确保结构忠实于原始图像，几何约束度量被正式定义，直接应用于补丁合成过程。我们广泛地进行了我们的实验上广泛的测试图像上的各种场景和内容，通过任意指定的目标区域的推断，然后使用现有的评价指标，以验证其纹理的一致性和结构的一致性。我们的研究结果表明，高精度和理想的输出，可以潜在地用于许多应用：对象去除，背景减除，和图像检索。
2016-05-05 cs.CV
Efficient texture-aware multi-GAN for image inpainting
Gebze Technical University（盖布泽技术大学）
最近基于GAN（生成对抗网络）的修复方法显示出显着的改进，并使用多级网络或上下文注意力模块（CAM）生成合理的图像。然而，这些技术增加了模型的复杂性，限制了它们在低资源环境中的应用。此外，由于GAN稳定性问题，它们无法生成具有真实纹理细节的高分辨率图像。受这些观察的启发，我们提出了一个多GAN架构，提高性能和渲染效率。我们的训练方案以端到端的方式优化了四个渐进式高效生成器和鉴别器的参数。由于维度空间较小，填充低分辨率图像对于GANs来说挑战性较小。同时，它引导更高分辨率的生成器学习图像的全局结构一致性。为了约束修复任务并确保细粒度的纹理，我们采用了基于LBP的损失函数来最小化生成的纹理和地面真实纹理之间的差异。我们在Places2和CelebHQ数据集上进行了实验。定性和定量的结果表明，该方法不仅表现出良好的国家的最先进的算法，但也加快了推理时间。
2021-02-13 cs.CV
Coordinate-based Texture Inpainting for Pose-Guided Image Generation
Samsung AI Center（三星人工智能中心）；Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术学院（Skoltech））
我们提出了一种新的深度学习方法来指导人体照片的姿势再合成。新方法的核心是基于一张照片估计完整的身体表面纹理。由于输入的照片总是只观察到表面的一部分，我们提出了一种新的修复方法，完成了人体的纹理。修复网络不是直接处理纹理元素的颜色，而是为身体表面的每个元素估计输入图像中的适当源位置。输入图像和纹理之间的该对应字段然后基于期望的姿态被进一步扭曲到目标图像坐标系中，从而即使在姿态变化剧烈时也有效地建立源视图和目标视图之间的对应。然后，最终的卷积网络使用建立的对应关系和所有其他可用信息来合成输出图像。使用具有由估计的对应字段引导的可变形跳过连接的全卷积架构。我们展示了姿态引导图像合成的最新结果。此外，我们展示了我们的系统的性能服装转移和姿势引导的人脸重新合成。
2019-07-19 cs.CV
StructureFlow: Image Inpainting via Structure-aware Appearance Flow
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；Tencent America（腾讯美国）
最近，通过使用深度神经网络，图像修补技术已经显示出显著的改进。然而，他们中的大多数可能无法重建合理的结构或恢复细粒度的纹理。为了解决这个问题，本文提出了一个两阶段模型，将修复任务分为两个部分：结构重建和纹理生成。在第一阶段中，边缘保持的平滑图像被用来训练结构重建器，该结构重建器完成输入的缺失结构。在第二阶段，基于重建的结构，使用外观流的纹理生成器的设计，以产生图像的细节。在多个公开数据集上的实验表明了该网络的优越性能。
2019-08-11 cs.CV
Thinking inside the Convolution for Image Inpainting: Reconstructing Texture via Structure under Global and Local Side
School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院）；Department of Automation, Tsinghua University（清华大学自动化系）；Lenovo Research（联想研究院）
本文提出通过结构和纹理特征图的统计归一化和去归一化策略，缓解卷积下采样中的信息损失，提升图像修复的高质量输出。
2026-02-03 cs.CV
Where is the Fake? Patch-Wise Supervised GANs for Texture Inpainting
CMLA, ENS Paris-Saclay（巴黎萨克雷高等师范学院CMLA）；Schlumberger AI Lab（斯伦贝谢人工智能实验室）；Etudes et Productions Schlumberger（斯伦贝谢研究与生产公司）
我们解决了纹理修复的问题，其中输入图像是具有缺失值的纹理以及指示应该生成的区域的遮罩。图像修补的目标是实现图像的全局和局部一致性。但这些作品在处理纹理时仍然受到限制。实际上，需要使用待完成图像中的局部信息，以便实现局部连续性和视觉上逼真的纹理修复。为此，我们提出了一个新的分段器，它执行分片真/假分类，并由输入掩码进行监督。在训练过程中，它的目的是定位假信号，从而将一致的信号反向传播到生成器。我们在公开的DTD数据集上测试了我们的方法，结果表明，它实现了最先进的性能，并且比现有方法更好地处理了局部一致性。
2020-03-09 cs.CV eess.IV
DAM-GAN : Image Inpainting using Dynamic Attention Map based on Fake Texture Detection
Pohang University of Science and Technology（浦项科技大学）；Department of Computer Science and Engineering（计算机科学与工程系）；Engineering Pohang University of Science（浦项科技大学工程学院（注：原文本可能存在排版问题，更准确的应为浦项科技大学计算机科学与工程系））
深度神经的进步最近为图像修补领域带来了卓越的图像合成性能。特别是生成对抗网络（GAN）的适应性加速了高质量图像重建的重大进展。然而，尽管许多著名的基于GAN的网络已被提出用于图像修补，但在生成过程中，合成图像中会出现静止像素伪影或颜色不一致，这通常被称为假纹理。为了减少虚假纹理导致的像素不一致性混乱，我们引入了一个基于GAN的模型，使用动态注意力图（DAM-GAN）。我们提出的DAM-GAN专注于检测虚假纹理和产品动态注意力图，以减少生成器中特征图的像素不一致性。在CelebA-HQ和Places 2数据集上与其他图像修补方法的对比实验结果表明了该网络的优越性。
2022-04-20 cs.CV eess.IV
DINAR: Diffusion Inpainting of Neural Textures for One-Shot Human Avatars
Samsung Research（三星研究院）；Cinemersive Labs（Cinemersive实验室）
本文提出 DINAR，利用在神经纹理空间训练的潜在扩散模型结合 SMPL-X，从单张 RGB 图像逼真重建可动画全身化身，并在 SnapshotPeople 基准上达到最优。
2023-12-10 cs.CV
Extreme Face Inpainting with Sketch-Guided Conditional GAN
Rochester Institute of Technology（罗切斯特理工学院）
恢复严重受损的人脸图像是一项有用但具有挑战性的任务，特别是在被掩盖或受损区域非常大的极端情况下。其中一个主要挑战是系统在训练数据集之外的人脸上进行泛化的能力。我们建议使用条件生成对抗网络（GAN）来处理这种极端的修复任务，该网络利用结构信息（如边缘）作为先验条件。边缘信息可以从部分掩蔽的图像和结构相似的图像或手绘图中获得。在我们提出的条件GAN中，我们在编码器的每一层中传递条件输入，同时保持学习的权重和传入的条件输入之间的分布的一致性。我们证明了我们的方法的有效性与严重损坏的脸的例子。
2021-05-13 cs.CV
Generating Diverse Structure for Image Inpainting With Hierarchical VQ-VAE
University of Science and Technology of China（中国科学技术大学）；Huawei Technologies Co Ltd（华为技术有限公司）
给定一个不完整的图像，没有额外的约束，图像修补原生地允许多个解决方案，只要他们似乎合理。最近，多个解决方案修复方法已被提出，并显示出产生不同结果的潜力。然而，这些方法难以确保每个解决方案的质量，例如，它们产生扭曲的结构和/或模糊的纹理。我们提出了一个两阶段的模型，不同的修补，其中第一阶段产生多个粗糙的结果，其中每个具有不同的结构，和第二阶段分别细化每个粗糙的结果，通过增强纹理。该模型受到分层矢量量化变分自动编码器（VQ-VAE）的启发，其分层结构将结构和纹理信息交织在一起。此外，VQVAE中的矢量量化使得能够对结构信息上的离散分布进行自回归建模。从分布中采样可以很容易地生成多样化和高质量的结构，构成我们模型的第一阶段。在第二阶段，我们提出了一个结构注意力模块内的纹理生成网络，该模块利用结构信息来捕捉遥远的相关性。我们进一步重用VQ-VAE来计算两个特征损失，这两个特征损失分别有助于提高结构一致性和纹理真实感。在CelebA-HQ，Places 2和ImageNet数据集上的实验结果表明，我们的方法不仅增强了修复解决方案的多样性，而且提高了生成的多幅图像的视觉质量。代码和模型可在https://github.com/USTC-JialunPeng/Diverse-Structure-Inpainting上获得。
2021-03-18 cs.CV
Generator Pyramid for High-Resolution Image Inpainting
OPPO Research（OPPO研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
修复具有大孔洞的高分辨率图像对现有的基于深度学习的图像修补方法提出了挑战。本文提出了一种新的高分辨率图像修补框架-- PyramidFill，它明确地将内容补全和纹理合成分离开来。PyramidFill尝试在较低分辨率的图像中完成未知区域的内容，并逐步合成较高分辨率图像中未知区域的纹理。因此，我们的模型由一个完全卷积的GANs金字塔组成，其中内容GAN负责完成最低分辨率掩码图像中的内容，每个纹理GAN负责合成更高分辨率图像中的纹理。由于完成内容和合成纹理需要生成器具有不同的能力，因此我们为内容GAN和纹理GAN定制了不同的架构。在包括CelebA-HQ、Places 2和具有不同分辨率的新自然风景数据集（NSHQ）在内的多个数据集上的实验表明，PyramidFill生成的修复结果比最先进的方法质量更高。为了更好地评估高分辨率图像修补方法，我们将发布NSHQ，高分辨率1920 $\times$ 1080的高质量自然风景图像。
2020-12-04 cs.CV eess.IV
Guidance and Evaluation: Semantic-Aware Image Inpainting for Mixed Scenes
Wuhan University（武汉大学）；National Institute of Informatics（国立信息学研究所）；National Tsing Hua University（清华大学）
为混合场景完成具有正确结构和合理纹理的损坏图像仍然是一个难以捉摸的挑战。由于在一个损坏的图像的混合场景中的丢失的洞往往包含各种语义信息，传统的两阶段的方法利用结构信息往往会导致不可靠的结构预测和模糊的图像纹理生成的问题。在本文中，我们提出了一个语义指导和评估网络（SGE-Net）迭代更新的结构先验知识和修复后的图像中的语义提取和图像修补的相互作用的框架。它利用语义分割地图作为指导，在每个尺度的修复，根据位置相关的推断重新评估，并相应地，推断不佳的区域在随后的尺度细化。对混合场景的真实图像进行的大量实验表明，我们所提出的方法在清晰的边界和逼真的纹理方面优于最先进的方法。
2020-07-10 cs.CV
Rethinking Image Inpainting via a Mutual Encoder-Decoder with Feature Equalizations
Hunan University（湖南大学）；Tencent AI Lab（腾讯AI实验室）
基于深度编码器-解码器的CNN具有用于孔填充的高级图像修补方法。虽然现有的方法恢复结构和纹理一步一步在孔区域，他们通常使用两个编码器-解码器分别恢复。每个编码器的CNN特征被学习以捕获丢失的结构或纹理，而不将它们作为一个整体考虑。这些编码器功能的利用率不足，限制了恢复结构和纹理的性能。在本文中，我们提出了一个共同的编码器-解码器CNN的联合恢复。我们使用来自编码器的深层和浅层的CNN特征来分别表示输入图像的结构和纹理。深层特征被发送到结构分支，浅层特征被发送到纹理分支。在每个分支中，我们在CNN特征的多个尺度上填充漏洞。来自两个分支的填充的CNN特征被连接，然后被均衡。在特征均衡过程中，我们首先重新权衡信道注意力，并提出了一个双边传播激活函数，使空间均衡。为此，填充的结构和纹理的CNN特征相互受益，以表示所有特征级别的图像内容。我们使用均衡功能来补充解码器功能，通过跳过连接生成输出图像。基准数据集上的实验表明，该方法是有效的恢复结构和纹理，并表现出良好的国家的最先进的方法。
2020-07-14 cs.CV
Hirarchical Digital Image Inpainting Using Wavelets
Amrita Vishwa Vidyapeetham（阿姆里塔 Vishwa Vidyapeetham）
修复是以视觉上合理的方式重建图像的未知或损坏部分的技术。修复算法利用图像中未受损区域的信息自动填充图像中的受损区域。随着损伤面积的增加，结构和纹理信息的传播成为一个挑战。本文提出了一种基于小波变换的层次图像修复算法。分层方法试图保持较小的掩模尺寸，而小波有助于分别处理高通结构信息和低通纹理信息。所提出的算法的性能进行了测试，使用不同的因素。我们的算法的结果与现有的方法，如插值，扩散和范例技术进行了比较。
2012-09-13 cs.CV
Structure Matters: Tackling the Semantic Discrepancy in Diffusion Models for Image Inpainting
Hefei University of Technology（合肥工业大学）；Lenovo Research（联想研究院）
本文提出结构引导扩散模型 StrDiffusion，通过利用未掩码区域的时间依赖稀疏结构语义引导纹理去噪，并设计自适应重采样策略，有效解决图像修复中掩码与未掩码区域的语义差异问题。
2024-04-01 cs.CV
Layout-guided Indoor Panorama Inpainting with Plane-aware Normalization
National Tsing Hua University（台湾清华大学）
我们提出了一个用于室内全景图像修补的端到端深度学习框架。虽然以前的修复方法在自然透视图像上表现出令人印象深刻的性能，但大多数无法处理全景图像，特别是室内场景，这些场景通常包含复杂的结构和纹理内容。为了实现更好的修复质量，我们建议在修复过程中利用室内全景的全局和局部上下文。具体地说，我们采取低层次的布局边缘估计从输入的全景作为一个前指导修复模型恢复全球室内结构。采用平面感知归一化模块来将从布局导出的平面风格特征嵌入到生成器中，从而鼓励从相邻房间结构（即，天花板、地板和墙壁）。实验结果表明，我们的工作优于当前国家的最先进的方法在公共全景数据集上的定性和定量评价。我们的代码可在https://ericsujw.github.io/LGPN-net/上获得
2023-01-13 cs.CV
Texture Memory-Augmented Deep Patch-Based Image Inpainting
基于补丁的方法和深度网络已被用来解决图像修补问题，有自己的优点和缺点。基于块的方法能够通过从未掩蔽区域中搜索最近邻块来恢复具有高质量纹理的丢失区域。然而，这些方法在恢复大的缺失区域时带来问题的内容。另一方面，深度网络在完成大区域方面显示出有希望的结果。尽管如此，结果往往缺乏与周围区域相似的忠实和清晰的细节。通过将这两种范例中最好的结合在一起，我们提出了一个新的深度修复框架，其中纹理生成由从未掩蔽区域提取的补丁样本的纹理记忆指导。该框架具有新颖的设计，允许纹理记忆检索与深度修复网络进行端到端的训练。此外，我们引入了补丁分布损失，以鼓励高质量的补丁合成。所提出的方法在三个具有挑战性的图像基准上表现出定性和定量的优异性能，即，地点、CelebA-HQ和巴黎街景数据集。
2021-11-04 cs.CV cs.LG eess.IV
A nonlocal feature-driven exemplar-based approach for image inpainting
Oak Ridge National Laboratory（橡树岭国家实验室）；Sandia National Laboratories（桑迪亚国家实验室）；University of Tennessee at Knoxville（田纳西大学诺克斯维尔分校）；Lirio LLC（Lirio有限责任公司）
我们提出了一种非局部变分图像修复技术，它允许在一个统一的框架内同时修复多个结构和纹理。几何结构的恢复是通过使用一般卷积算子作为图像内行为的度量来实现的。这些都结合了一个非本地的基于样本的方法，利用图像的自相似性在选定的特征域，并确保修复的纹理。我们还引入了各向异性补丁距离度量，以允许更好地控制图像内的特征选择，并提出了基于此度量的非局部能量泛函。最后，我们推导出所提出的变分模型的优化算法，并与各种测试图像的实验研究其有效性。
2020-12-03 cs.CV
Diffusion Models with Anisotropic Gaussian Splatting for Image Inpainting
University of Southern California（南加州大学）
提出结合各向异性高斯泼溅的扩散模型修复方法，利用高斯函数建模缺失区域提供结构指导，生成高保真且结构连贯的修复结果，实验优于现有技术。
2024-12-14 cs.CV
RoomTex: Texturing Compositional Indoor Scenes via Iterative Inpainting
Shanghai AI Laboratory（上海人工智能实验室）；The Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）
提出由粗到细的3D场景纹理框架RoomTex，通过全景图引导和迭代修复技术，解决组合室内场景的风格不一致和遮挡问题，生成高保真纹理并支持交互式编辑。
2024-06-04 cs.CV
RGB-D Image Inpainting Using Generative Adversarial Network with a Late Fusion Approach
Keio University（庆应义塾大学）
Diminished Reality是一种技术，旨在从视频图像中删除对象，并使用合理的像素填充缺失区域。大多数常规方法利用从不同视点捕获相同场景的不同相机来允许移除和恢复区域。本文提出了一种基于生成对抗网络的RGB-D图像修补方法，该方法不需要多个摄像机。近来，RGB图像修补方法通过采用生成对抗网络已经取得了突出的结果。然而，RGB修复方法的目标是只恢复丢失区域的纹理，因此，不恢复几何信息（即场景的3D结构）。我们将传统的图像修补方法扩展到RGB-D图像修补，从一对RGB和深度图像中联合恢复丢失区域的纹理和几何形状。受其他使用RGB和深度图像的任务的启发（例如，语义分割和目标检测）的基础上，提出了一种后期融合方法，充分利用了RGB和深度信息的优势。实验结果验证了该方法的有效性。
2021-10-14 cs.CV
Infusion: internal diffusion for inpainting of dynamic textures and complex motion
LTCI, Télécom Paris, Institut Polytechnique de Paris, France（法国巴黎高等理工学院LTCI研究中心，Telecom Paris，巴黎理工学院）；MAP5, CNRS & Université Paris Cité, France（法国国家科学研究中心MAP5研究所，巴黎城市大学）；ISIR, Sorbonne Université, France（法国索邦大学ISIR研究所）
本文提出Infusion方法，利用视频自相似性将扩散模型训练数据限制在单个输入视频，以50万参数的轻量级模型实现高效的视频修复，在动态纹理和复杂动态背景任务上达到或超越现有最先进性能。
2025-04-28 cs.CV
Multi-stage Progressive Reasoning for Dunhuang Murals Inpainting
Northwest Minzu University（西北民族大学）；Chinese National Information Technology Research Institute（中国民族信息技术研究院）
针对敦煌壁画大面积损坏修复难题，提出多阶段渐进推理网络MPR-Net，结合多尺度特征聚合模块，模拟修复师先全局后局部的流程，实验证明优于现有方法。
2023-05-10 cs.CV
ZITS++: Image Inpainting by Improving the Incremental Transformer on Structural Priors
Fudan University（复旦大学）
本文提出 ZITS++ 模型，通过改进基于结构先验的增量 Transformer，结合 TSR、SSU、FTR 和 ZeroRA 等模块，有效解决图像修复中纹理与结构恢复的挑战，并探讨了图像先验在高分辨率修复中的应用。
2023-05-24 cs.CV
Text2Tex: Text-driven Texture Synthesis via Diffusion Models
Technical University of Munich（慕尼黑工业大学）；Snap Research（Snap研究院）
我们提出了Text2Tex，一种新的方法，从给定的文本提示生成高质量的纹理的三维网格。我们的方法将修复技术结合到一个预先训练的深度感知图像扩散模型中，从多个视点逐步合成高分辨率的部分纹理。为了避免在视图之间积累不一致和拉伸的伪影，我们动态地将渲染视图分割成一个生成掩码，该掩码表示每个可见纹素的生成状态。该分区视图表示引导深度感知修复模型生成和更新对应区域的部分纹理。此外，我们提出了一个自动视图序列生成方案，以确定下一个最佳的视图更新的部分纹理。大量的实验表明，我们的方法显着优于现有的文本驱动的方法和基于GAN的方法。
2023-03-20 cs.CV
Incremental Transformer Structure Enhanced Image Inpainting with Masking Positional Encoding
Fudan University（复旦大学）
图像修补在近年来取得了显著的进展。然而，如何恢复出纹理逼真、结构合理的图像仍然是一个挑战。由于卷积神经网络（CNN）的有限感受野，一些特定的方法只能处理规则的纹理，而失去整体结构。另一方面，基于注意力的模型可以学习更好的长距离依赖性，用于结构恢复，但它们受到大图像尺寸的推理的繁重计算的限制。为了解决这些问题，我们建议利用一个额外的结构恢复，以促进图像修补增量。该模型在固定的低分辨率草图空间中使用基于注意力的Transformer模型恢复整体图像结构。这样的灰度空间很容易被上采样到更大的尺度，以传达正确的结构信息。我们的结构恢复器可以有效地与其他预训练的修复模型集成，并具有零初始化的残差加法。此外，掩蔽位置编码策略被用来提高性能与大的不规则的面具。在各种数据集上的大量实验验证了我们的模型与其他竞争对手相比的有效性。我们的代码发布在https://github.com/DQiaole/ZITS_inpainting。
2022-03-16 cs.CV
Generative Image Inpainting with Contextual Attention
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
最近的基于深度学习的方法已经显示出对于修复图像中的大缺失区域的挑战性任务的有希望的结果。这些方法可以生成视觉上合理的图像结构和纹理，但通常会创建与周围区域不一致的扭曲结构或模糊纹理。这主要是由于卷积神经网络在明确地从遥远的空间位置借用或复制信息方面的无效性。另一方面，传统的纹理和面片合成方法特别适合于需要从周围区域借用纹理的情况。受这些观察结果的启发，我们提出了一种新的基于深度生成模型的方法，该方法不仅可以合成新的图像结构，还可以在网络训练过程中显式地利用周围的图像特征作为参考，以进行更好的预测。该模型是一个前馈的，完全卷积神经网络，可以处理图像与多个孔在任意位置和可变大小的测试时间。在包括人脸（CelebA，CelebA-HQ），纹理（DTD）和自然图像（ImageNet，Places 2）在内的多个数据集上的实验表明，我们提出的方法比现有方法生成更高质量的修复结果。代码，演示和模型可在：https://github.com/JiahuiYu/generative_inpainting。
2018-03-21 cs.CV cs.GR
Enhanced Wavelet Scattering Network for image inpainting detection
University “Lucian Blaga”（“卢奇安·布拉加”大学）
本文提出一种结合双树复小波变换（DT-CWT）特征提取、CNN伪造区域定位及纹理与噪声方差融合模块的图像修复检测方法，在基准测试中性能优于现有技术。
2024-09-25 cs.CV
Aggregated Contextual Transformations for High-Resolution Image Inpainting
Microsoft Research（微软研究院）；School of Computer, Sun Yat-sen University（中山大学计算机学院）
本文提出AOT-GAN，通过多感受野上下文变换聚合与掩码预测判别任务解决高分辨率图像修复中的结构推理和纹理合成问题，并在Places2及实际应用中验证其优势。
2021-04-03 cs.CV
DiGA3D: Coarse-to-Fine Diffusional Propagation of Geometry and Appearance for Versatile 3D Inpainting
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））
DiGA3D提出一种由粗到细的扩散传播3D修复流程，通过多参考视图选择、注意力特征传播和纹理-几何得分蒸馏采样损失，统一解决外观与几何一致性问题。
2025-07-01 cs.CV
Semantically Consistent Video Inpainting with Conditional Diffusion Models
University of British Columbia（不列颠哥伦比亚大学）；Inverted AI（Inverted AI公司）
针对现有视频修复方法难以合成新内容的问题，提出基于条件视频扩散模型的修复框架，通过专用采样方案和已知像素条件约束，生成时空语义一致的高质量多样修复结果。
2024-10-08 cs.CV cs.LG
High-Fidelity Image Inpainting with Multimodal Guided GAN Inversion
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院）；University of North Texas（北得克萨斯大学）
针对现有GAN逆变换图像修复方法忽略未掩码区域一致性约束及单模态限制的问题，提出MMInvertFill，通过多模态引导编码器、F&W+潜在空间及软更新均值潜在模块，在六个数据集上超越现有方法，有效支持域外图像补全。
2025-04-17 cs.CV
HandRefiner: Refining Malformed Hands in Generated Images by Diffusion-based Conditional Inpainting
The University of Sydney（悉尼大学）；Nanyang Technological University（南洋理工大学）
针对扩散模型生成手部易出现畸形的问题，提出轻量后处理方案HandRefiner，结合手部网格重建与ControlNet条件修复矫正畸形手部，可借助ControlNet相变现象利用合成数据规避域差距，显著提升手部生成质量。
2024-08-16 cs.CV
Semantic-Guided Two-Stage GAN for Face Inpainting with Hybrid Perceptual Encoding
RCC Institute of Information Technology（RCC信息科技学院）；Jadavpur University（贾瓦德普尔大学）
本文提出一种基于语义引导的两阶段GAN模型，通过混合感知编码提升面部修复的语义一致性和图像质量。
2026-02-15 cs.CV
Image inpainting using frequency domain priors
The University of Tokyo（东京大学）
本文提出了一种新的利用频域信息的图像修补技术。现有的图像修补工作通过仅使用空间域信息训练神经网络来预测丢失的像素。然而，这些方法仍然难以重建真实复杂场景的高频细节，导致颜色差异，边界伪影，扭曲的图案和模糊的纹理。为了缓解这些问题，我们研究是否可以通过使用频域信息（离散傅立叶变换）以及空域信息来训练网络来获得更好的性能。为此，我们提出了一个基于频率的反卷积模块，使网络能够学习全局上下文，同时选择性地重建高频分量。我们评估我们提出的方法公开可用的数据集CelebA，巴黎街景，和DTD纹理数据集，并表明，我们的方法优于当前国家的最先进的图像修补技术的定性和定量。
2020-12-03 cs.CV eess.IV
One-Stage Inpainting with Bilateral Attention and Pyramid Filling Block
Hunan University（湖南大学）
最近基于深度学习的图像修补方法利用上下文信息和两阶段架构，表现出显着的性能。然而，两阶段结构耗时长，上下文信息缺乏高层语义，忽略了孔洞特征块的语义相关性和距离信息，导致最终结果纹理模糊，结构失真。受这些观察结果的启发，我们提出了一种新的基于深度生成模型的方法，该方法使用不同的目标对共享网络进行两次训练，并在测试阶段使用单个网络，以便我们可以有效地节省推理时间。具体而言，两个训练步骤的目标分别是结构重建和纹理生成。在第二次训练中，我们首先提出了一个金字塔填充块（PF块），利用空洞区域已经填充的高级特征来指导低级特征的填充过程，缺失的内容可以以金字塔的方式从深到浅填充。然后，受经典双边滤波器[30]的启发，我们提出了双边注意层（BA层）来优化填充的特征图，它通过计算周围特征块的加权和来合成每个位置的特征块，这些权重通过考虑特征块之间的距离和值关系来推导，从而使视觉上合理的修复结果。最后，在多个公开数据集上的实验表明了该方法的优越性能。
2019-12-18 cs.CV
Image Inpainting by Kriging Interpolation Technique
Irbid National University（伊尔比德国立大学）
图像修补是一种预测图像受损区域的技术。手工方式的图像修补是一个耗时。因此，必须有一个自动的数字方法，用于图像修补，恢复图像从损坏的区域。提出了一种基于Kriging插值的统计图像修补算法。Kriging技术利用图像中受损区域周围区域的信息自动填充受损区域，从而利用k × k块内点的空间相关结构。克立格法具有很强的抗损伤能力，能够很好地保持损伤区域的结构和纹理信息。实验结果表明，Kriging方法在恢复各种测试图像中的划痕和文字等破损区域时，具有较高的PSNR值。
2013-06-01 cs.CV
Incorporating long-range consistency in CNN-based texture generation
University of Montreal（蒙特利尔大学）
Gatys等人（2015）表明，卷积网络中特征的成对乘积是图像纹理的非常有效的表示。我们提出了一个简单的修改表示，这使得它可以将远程结构到图像生成，并呈现满足各种对称性约束的图像。我们展示了如何这可以大大提高渲染的规则纹理和图像，包含其他种类的对称结构。我们还提出了应用程序修复和季节转移。
2016-11-05 cs.CV
Perceptual Artifacts Localization for Inpainting
University of Pennsylvania（宾夕法尼亚大学）；Adobe Research（Adobe研究院）
图像修补是图像处理中的一项重要技术，在图像编辑、目标去除等实际应用中具有重要的应用价值。基于GAN的深度模型极大地提高了洞内结构和纹理的修复性能，但也可能产生意想不到的伪影，例如破碎的结构或颜色斑点。用户感知这些伪影来判断修复模型的有效性，并在典型的修图工作流程中对这些不完美的区域进行修图。受此工作流程的启发，我们提出了一个新的学习任务，自动分割的修复感知文物，并应用模型修复模型评估和迭代细化。具体来说，我们首先构建一个新的修复文物数据集手动注释感知文物的最先进的修复模型的结果。然后，我们在此数据集上训练高级分割网络，以可靠地定位修复图像中的修复伪影。其次，我们提出了一个新的可解释的评价指标，称为感知比（PAR），这是令人反感的修补区域的比例，整个修补面积。PAR表现出与真实用户偏好的强相关性。最后，我们进一步应用所产生的掩模迭代图像修补结合我们的方法与多种最新的修复方法。大量的实验证明了不同方法的伪影区域的一致减少和修复质量的提高。
2022-08-05 cs.CV
Patch-Based Image Inpainting with Generative Adversarial Networks
Istanbul Technical University（伊斯坦布尔技术大学）
最近，在相对大的缺失区域上的图像修补的区域通过专用的深度神经网络的适应而显著地进步。然而，当前的网络解决方案仍然将不期望的伪影和噪声引入到修复区域。提出了一种基于生成对抗网络（GAN）框架的图像修补方法。所提出的PGGAN方法包括将全局GAN（G-GAN）架构与补丁GAN方法相结合的并行网络。PGGAN首先在G-GAN和patchGAN之间共享网络层，然后分割路径以产生两个对抗性损失，这些损失馈送给生成器网络，以捕获图像纹理的局部连续性和图像中普遍的全局特征。所提出的框架进行了广泛的评估，结果，包括比较最近的国家的最先进的证明，它实现了相当大的改善视觉和定量评价。
2018-03-20 cs.CV
Image Inpainting using Block-wise Procedural Training with Annealed Adversarial Counterpart
USC（南加利福尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
深度生成模型的最新进展在图像嵌入方面显示出了很大的潜力，这是指使用已知上下文预测不完整图像的缺失像素值的任务。然而，现有的方法可能是缓慢的或产生不令人满意的结果，容易检测到的缺陷。此外，在孔附近通常存在可感知的不连续性，并且需要进一步的后处理来混合结果。我们提出了一种新的方法来解决训练一个非常深的生成模型来合成高质量的照片级真实感修复的困难。我们的模型使用条件生成对抗网络（条件GANs）作为骨干，我们引入了一种新的分块程序训练方案来稳定训练，同时增加网络深度。我们还提出了一种称为对抗性损失退火的新策略来减少伪影。我们进一步描述了几个专门为修复设计的损失，并显示其有效性。大量的实验和用户研究表明，我们的方法优于现有的方法在几个任务，如修复，人脸完成和图像协调。最后，我们展示了我们的框架可以很容易地用作交互式引导修复的工具，展示了它在解决常见现实挑战方面的实用价值。
2018-03-28 cs.CV
SPG-Net: Segmentation Prediction and Guidance Network for Image Inpainting
University of Southern California（南加州大学）；Baidu Research（百度研究院）
在本文中，我们专注于图像修补任务，旨在恢复一个不完整的图像的上下文信息的缺失区域。深度生成模型的最新发展为图像合成和修复任务提供了一个有效的端到端框架，但基于生成模型的现有方法没有利用分割信息来约束对象形状，这通常会导致边界上的模糊结果。为了解决这个问题，我们提出了引入语义分割信息，它解开类间差异和类内变化的图像修补。这导致语义上不同的区域之间的更清晰的恢复边界和语义上一致的片段内的更好的纹理。该模型将图像修补过程分解为分割预测（SP-Net）和分割指导（SG-Net）两个步骤，首先预测缺失区域的分割标签，然后生成分割指导的修补结果。在多个公共数据集上的实验表明，该方法在优化图像修补质量方面优于现有方法，并且交互式分割指导为图像修补的多模态预测提供了可能。
2018-08-06 cs.CV
Deep Generative Model for Image Inpainting with Local Binary Pattern Learning and Spatial Attention
University of Macau（澳门大学）
深度学习（DL）在图像修补领域已经展示了其强大的能力。基于DL的图像修补方法可以产生视觉上合理的结果，但通常会产生各种令人不快的伪影，特别是在边界和高度纹理化的区域。为了应对这一挑战，在这项工作中，我们提出了一个新的端到端，两阶段（粗到细）生成模型，通过结合本地二进制模式（LBP）学习网络与实际的修复网络。具体地，使用U-Net架构的第一LBP学习网络被设计为准确地预测缺失区域的结构信息，其随后引导第二图像修补网络以更好地填充缺失像素。此外，通过考虑已知区域与生成区域之间的一致性以及生成区域本身的一致性，在图像修补网络中集成了改进的空间注意力机制。在包括CelebA-HQ，Places和Paris StreetView在内的公共数据集上进行的广泛实验表明，我们的模型在定量和定性方面都比最先进的竞争算法产生了更好的修复结果。源代码和训练模型将在https://github.com/HighwayWu/ImageInpainting上提供。
2020-09-02 cs.CV
VCD-Texture: Variance Alignment based 3D-2D Co-Denoising for Text-Guided Texturing
DAMO Academy, Alibaba Group（阿里巴巴达摩院）；Hupan Lab（湖畔实验室）
针对现有3D纹理合成方法存在的模态鸿沟问题，提出基于方差对齐的3D-2D协同去噪框架VCD-Texture，同时构建新评估集，实验证明其性能优于同类方法。
2024-08-15 cs.CV
Perspective-aware 3D Gaussian Inpainting with Multi-view Consistency
The University of Hong Kong（香港大学）
本文提出PAInpainter方法，通过视角感知的内容传播与跨视角一致性验证，迭代优化三维高斯表示，显著提升了三维场景修复的全局一致性和纹理保真度。在PSInpainter-NeRF和NeRF数据集上PSNR得分分别达26.03 dB和29.51 dB。
2025-10-13 cs.CV
Improving Consistency and Correctness of Sequence Inpainting using Semantically Guided Generative Adversarial Network
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
用于图像修补的当代基准方法基于深度生成模型，并且特别利用对抗性损失来产生逼真的重建。然而，这些模型不能直接应用于图像/视频序列，因为一个固有的缺点-重建可能是独立的现实，但是，当可视化为一个序列，往往缺乏保真度的原始未损坏的序列。其根本原因是这些方法试图找到最佳匹配的潜在空间表示接近自然图像流形没有任何显式的距离为基础的损失。在本文中，我们提出了一个语义条件生成对抗网络（GAN）的序列修复。条件信息约束GAN将潜在表示映射到图像流形中的关于场景的潜在姿态和语义的点。据我们所知，这是第一个同时解决基于生成模型的修复的一致性和正确性的工作。我们表明，我们的生成模型学习解开姿势和外观信息;这种独立性被我们的模型利用来生成高度一致的重建。条件信息还帮助GAN中的生成器网络产生与原始GAN公式相比更清晰的图像。这有助于实现更吸引人的修复性能。虽然通用，我们的算法是针对面部修复。当应用于CelebA和Youtube Faces数据集时，所提出的方法在定量评估（峰值信噪比）和分辨率和变形的各种组合的人类视觉评分方面都比当前基准有了显着的改进。
2017-11-17 cs.CV
Deep Inception Generative Network for Cognitive Image Inpainting
Tongji University（同济大学）
深度学习的最新进展在填补大漏洞方面显示出令人兴奋的前景，并为图像修补带来了另一个方向。然而，现有的基于学习的方法往往会产生伪像和错误的纹理，因为认知理解不足。以往的生成网络局限于单一的接收类型，考虑到细节的清晰度而放弃了池化。无论目标属性如何，人类的认知都是恒定的。由于多个感受野提高了抽象图像表征的能力，并且池化可以保持特征不变，具体地，采用深度初始学习来促进高级特征表示并增强局部块的模型学习能力。此外，介绍了用于生成不同掩模图像的方法，并创建了随机掩模数据集。我们在ImageNet，Places 2数据集和CelebA-HQ上对我们的方法进行了基准测试。对规则区域、不规则区域和自定义区域的修复进行了实验，并给出了自由风格的图像修补。与以前的国家的最先进的方法的定量比较表明，我们获得更自然的图像完成。
2018-12-01 cs.CV
Adaptive Image Inpainting
最近，通过使用深度神经网络，图像修补方法已经显示出显著的改进。然而，这些技术中的许多技术通常会产生与周围区域不一致的扭曲结构或模糊纹理。这个问题的根源在于编码器层在构建完整和忠实的缺失区域嵌入方面的效率低下。为了解决这个问题，两阶段方法部署了两个单独的网络，用于对修复图像进行粗略和精细估计。一些方法利用手工制作的特征（如边缘或轮廓）来引导重建过程。这些方法由于多个生成器网络、手工特征的有限能力以及对地面实况中存在的信息的次优利用而遭受巨大的计算开销。受这些观察的启发，我们提出了一种基于蒸馏的修复方法，在这种方法中，我们以自适应的方式为编码器层提供直接的特征级监督。我们部署了交叉和自蒸馏技术，并讨论了在编码器中需要一个专用的完成块来实现蒸馏目标。我们对多个数据集进行了广泛的评估，以验证我们的方法。
2022-01-01 cs.CV
Context-Aware Image Inpainting with Learned Semantic Priors
Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）
图像修补的最新进展已经显示出在相当简单的背景上生成可信的视觉细节的令人印象深刻的结果。然而，对于复杂的场景，它仍然是具有挑战性的，以恢复合理的内容，因为在丢失的区域内的上下文信息往往是模糊的。为了解决这个问题，我们引入了借口任务，语义上有意义的估计缺失的内容。特别是，我们进行知识蒸馏的借口模型和适应的特点，图像修补。学习到的语义先验知识在高级托词任务和低级图像修补之间应该是部分不变的，这不仅有助于理解全局上下文，而且为局部纹理的恢复提供了结构指导。基于语义先验知识，我们进一步提出了一种上下文感知的图像修补模型，该模型在统一的图像生成器中自适应地集成了全局语义和局部特征。语义学习器和图像生成器以端到端的方式进行训练。我们将模型命名为SPL，以突出其学习和利用语义先验的能力。它在Places2，CelebA和Paris StreetView数据集上达到了最先进的水平。
2021-06-14 cs.CV
Frequency-Domain Fusion Transformer for Image Inpainting
本文提出一种频域融合Transformer图像修复方法，通过结合小波变换与Gabor滤波的注意力机制及可学习频域滤波器，提升高频细节保留与修复质量。
2025-06-23 cs.CV
Structure First Detail Next: Image Inpainting with Pyramid Generator
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Zhejiang University（浙江大学）
最近的深度生成模型在图像修补中取得了令人满意的性能。然而，由于神经网络固有的光谱偏差，它仍然是非常具有挑战性的生成逼真的图像细节和纹理。通过对艺术家工作原理的理解，我们建议采用“结构优先，细节优先”的工作流程进行图像修补。为此，我们建议建立一个金字塔生成器堆叠几个子发电机，其中较低层的子发电机专注于恢复图像结构，而高层的子发电机强调图像的细节。给定一个输入图像，它将通过以自下而上的方式遍历整个金字塔来逐渐恢复。特别是，我们的方法有一个逐步增加孔大小的学习方案，这使得它能够恢复大孔图像。此外，我们的方法可以充分利用高分辨率图像学习的好处，因此适合于高分辨率图像修补。在基准数据集上的大量实验结果验证了该方法的有效性。
2021-08-05 cs.CV
