InTeX: Interactive Text-to-texture Synthesis via Unified Depth-aware Inpainting
National Key Lab of General AI, Peking University（北京大学通用人工智能重点实验室）；Zhejiang University（浙江大学）；Skywork AI（天工AI）；S-Lab, Nanyang Technological University（南洋理工大学S实验室）
提出InteX框架，通过统一深度感知修复模型和交互界面，解决文本到纹理合成中的3D不一致性和可控性差问题，实现高效高质量3D内容创作。
2024-03-18 cs.CV
Multi-feature Co-learning for Image Inpainting
Guangzhou University（广州大学）
图像修补通过同时利用图像的结构和纹理特征，取得了很大的进展。然而，由于缺乏有效的多特征融合技术，现有的图像修补方法仍然表现出有限的改进。本文设计了一个用于图像修补的深度多特征协同学习网络，包括软门控双特征融合（SDFF）和双边传播特征聚合（BPFA）模块。具体来说，我们首先使用两个分支分别学习结构特征和纹理特征。SDFF模块将结构特征与纹理特征相结合，同时利用纹理特征辅助结构特征的生成。这样的协同学习策略使得结构和纹理特征更加一致。接下来，提出的BPFA模块通过共同学习上下文注意力、通道信息和特征空间来增强从局部特征到整体一致性的连接，这可以进一步细化生成的结构和纹理。最后，在基准数据集上进行了大量的实验，包括CelebA，Places2和Paris StreetView。实验结果表明，该方法优于国家的最先进的。源代码可在https://github.com/GZHU-DVL/MFCL-Inpainting。
2022-05-21 cs.CV
Radial Based Analysis of GRNN in Non-Textured Image Inpainting
图像修补算法是根据图像周围的信息来恢复图像中某些受损或缺失的信息区域。本文提出的方法将基于径向基分析的图像修补方法应用于广义回归神经网络。受损区域首先与其他区域隔离，然后按其大小排列，然后使用GRNN进行修复。神经网络的训练是使用不同的半径来完成的，以实现更好的结果。对不同的基于回归的算法进行了比较分析。整体结果进行了比较，通过其他算法，如LS-SVM的PSNR值的参考所取得的结果。
2020-01-13 cs.CV
Semantic UV mapping to improve texture inpainting for indoor scenes
提出一种利用室内场景语义信息的UV映射预处理方法，通过结合几何与视觉特征改进UV岛与结构元素的匹配，从而提升杂物移除后的纹理修复与3D几何重建效果。
2024-07-12 cs.CV
Patch-based Texture Synthesis for Image Inpainting
图像修补是图像处理和视觉中的一项重要任务。在本文中，我们开发了一个通用的方法，基于块的图像修补合成新的纹理从现有的。提出了一种新的框架来寻找多个最优的候选块，并在此过程中生成新的纹理块。我们形成它作为一个优化问题，确定潜在的补丁合成从粗到细的方式。我们使用的纹理描述符作为线索，在搜索匹配补丁从已知的区域。为了确保结构忠实于原始图像，几何约束度量被正式定义，直接应用于补丁合成过程。我们广泛地进行了我们的实验上广泛的测试图像上的各种场景和内容，通过任意指定的目标区域的推断，然后使用现有的评价指标，以验证其纹理的一致性和结构的一致性。我们的研究结果表明，高精度和理想的输出，可以潜在地用于许多应用：对象去除，背景减除，和图像检索。
2016-05-05 cs.CV
When Diffusion Models Forget Who You Are: Identity Preservation in Face Inpainting under Large Occlusions
针对大遮挡和冲突文本引导下人脸修复的身份保留难题，提出级联扩散框架ReSem-Face，在CelebAHQ-IDI-5等数据集上验证其身份保留修复及文本编辑质量优于基线。
2026-08-06 cs.CV
Efficient texture-aware multi-GAN for image inpainting
Gebze Technical University（盖布泽技术大学）
最近基于GAN（生成对抗网络）的修复方法显示出显着的改进，并使用多级网络或上下文注意力模块（CAM）生成合理的图像。然而，这些技术增加了模型的复杂性，限制了它们在低资源环境中的应用。此外，由于GAN稳定性问题，它们无法生成具有真实纹理细节的高分辨率图像。受这些观察的启发，我们提出了一个多GAN架构，提高性能和渲染效率。我们的训练方案以端到端的方式优化了四个渐进式高效生成器和鉴别器的参数。由于维度空间较小，填充低分辨率图像对于GANs来说挑战性较小。同时，它引导更高分辨率的生成器学习图像的全局结构一致性。为了约束修复任务并确保细粒度的纹理，我们采用了基于LBP的损失函数来最小化生成的纹理和地面真实纹理之间的差异。我们在Places2和CelebHQ数据集上进行了实验。定性和定量的结果表明，该方法不仅表现出良好的国家的最先进的算法，但也加快了推理时间。
2021-02-13 cs.CV
Coordinate-based Texture Inpainting for Pose-Guided Image Generation
Samsung AI Center（三星人工智能中心）；Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术学院（Skoltech））
我们提出了一种新的深度学习方法来指导人体照片的姿势再合成。新方法的核心是基于一张照片估计完整的身体表面纹理。由于输入的照片总是只观察到表面的一部分，我们提出了一种新的修复方法，完成了人体的纹理。修复网络不是直接处理纹理元素的颜色，而是为身体表面的每个元素估计输入图像中的适当源位置。输入图像和纹理之间的该对应字段然后基于期望的姿态被进一步扭曲到目标图像坐标系中，从而即使在姿态变化剧烈时也有效地建立源视图和目标视图之间的对应。然后，最终的卷积网络使用建立的对应关系和所有其他可用信息来合成输出图像。使用具有由估计的对应字段引导的可变形跳过连接的全卷积架构。我们展示了姿态引导图像合成的最新结果。此外，我们展示了我们的系统的性能服装转移和姿势引导的人脸重新合成。
2019-07-19 cs.CV
Face inpainting with Identity Preserving Latent Diffusion Models
Institute for Systems and Robotics（系统与机器人研究所）
本文提出ID-ControlNet，利用潜在扩散模型实现面部修复，通过身份嵌入保持身份一致性，实验表明其在CelebA-HQ等数据集上优于传统方法，接近最先进的身份感知方法。
2026-05-15 cs.CV
Image Inpainting via Conditional Texture and Structure Dual Generation
State Key Laboratory of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）
针对大面积图像修复中结构与纹理交互不足的问题，提出双流 CTSDG 网络，通过 Bi-GFF 和 CFA 耦合生成结构与纹理，在多个数据集上取得更优修复效果。
2024-04-06 cs.CV
StructureFlow: Image Inpainting via Structure-aware Appearance Flow
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；Tencent America（腾讯美国）
最近，通过使用深度神经网络，图像修补技术已经显示出显著的改进。然而，他们中的大多数可能无法重建合理的结构或恢复细粒度的纹理。为了解决这个问题，本文提出了一个两阶段模型，将修复任务分为两个部分：结构重建和纹理生成。在第一阶段中，边缘保持的平滑图像被用来训练结构重建器，该结构重建器完成输入的缺失结构。在第二阶段，基于重建的结构，使用外观流的纹理生成器的设计，以产生图像的细节。在多个公开数据集上的实验表明了该网络的优越性能。
2019-08-11 cs.CV
3DTexMOR: 3D Gaussian Multi-Object Removal via Texture-Space Inpainting
Nanjing University（南京大学）；Nankai University（南开大学）
本文提出3DTexMOR方法，通过在多视图共享的纹理空间中修复，结合外观分解与几何正则化，实现了最优的三维多物体移除性能，PSNR提升5.8dB、LPIPS至少降低22%。
2026-10-09 cs.CV
Thinking inside the Convolution for Image Inpainting: Reconstructing Texture via Structure under Global and Local Side
School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院）；Department of Automation, Tsinghua University（清华大学自动化系）；Lenovo Research（联想研究院）
本文提出通过结构和纹理特征图的统计归一化和去归一化策略，缓解卷积下采样中的信息损失，提升图像修复的高质量输出。
2026-02-03 cs.CV
Where is the Fake? Patch-Wise Supervised GANs for Texture Inpainting
CMLA, ENS Paris-Saclay（巴黎萨克雷高等师范学院CMLA）；Schlumberger AI Lab（斯伦贝谢人工智能实验室）；Etudes et Productions Schlumberger（斯伦贝谢研究与生产公司）
我们解决了纹理修复的问题，其中输入图像是具有缺失值的纹理以及指示应该生成的区域的遮罩。图像修补的目标是实现图像的全局和局部一致性。但这些作品在处理纹理时仍然受到限制。实际上，需要使用待完成图像中的局部信息，以便实现局部连续性和视觉上逼真的纹理修复。为此，我们提出了一个新的分段器，它执行分片真/假分类，并由输入掩码进行监督。在训练过程中，它的目的是定位假信号，从而将一致的信号反向传播到生成器。我们在公开的DTD数据集上测试了我们的方法，结果表明，它实现了最先进的性能，并且比现有方法更好地处理了局部一致性。
2020-03-09 cs.CV eess.IV
DAM-GAN : Image Inpainting using Dynamic Attention Map based on Fake Texture Detection
Pohang University of Science and Technology（浦项科技大学）；Department of Computer Science and Engineering（计算机科学与工程系）；Engineering Pohang University of Science（浦项科技大学工程学院（注：原文本可能存在排版问题，更准确的应为浦项科技大学计算机科学与工程系））
深度神经的进步最近为图像修补领域带来了卓越的图像合成性能。特别是生成对抗网络（GAN）的适应性加速了高质量图像重建的重大进展。然而，尽管许多著名的基于GAN的网络已被提出用于图像修补，但在生成过程中，合成图像中会出现静止像素伪影或颜色不一致，这通常被称为假纹理。为了减少虚假纹理导致的像素不一致性混乱，我们引入了一个基于GAN的模型，使用动态注意力图（DAM-GAN）。我们提出的DAM-GAN专注于检测虚假纹理和产品动态注意力图，以减少生成器中特征图的像素不一致性。在CelebA-HQ和Places 2数据集上与其他图像修补方法的对比实验结果表明了该网络的优越性。
2022-04-20 cs.CV eess.IV
DINAR: Diffusion Inpainting of Neural Textures for One-Shot Human Avatars
Samsung Research（三星研究院）；Cinemersive Labs（Cinemersive实验室）
本文提出 DINAR，利用在神经纹理空间训练的潜在扩散模型结合 SMPL-X，从单张 RGB 图像逼真重建可动画全身化身，并在 SnapshotPeople 基准上达到最优。
2023-12-10 cs.CV
Generating Diverse Structure for Image Inpainting With Hierarchical VQ-VAE
University of Science and Technology of China（中国科学技术大学）；Huawei Technologies Co Ltd（华为技术有限公司）
给定一个不完整的图像，没有额外的约束，图像修补原生地允许多个解决方案，只要他们似乎合理。最近，多个解决方案修复方法已被提出，并显示出产生不同结果的潜力。然而，这些方法难以确保每个解决方案的质量，例如，它们产生扭曲的结构和/或模糊的纹理。我们提出了一个两阶段的模型，不同的修补，其中第一阶段产生多个粗糙的结果，其中每个具有不同的结构，和第二阶段分别细化每个粗糙的结果，通过增强纹理。该模型受到分层矢量量化变分自动编码器（VQ-VAE）的启发，其分层结构将结构和纹理信息交织在一起。此外，VQVAE中的矢量量化使得能够对结构信息上的离散分布进行自回归建模。从分布中采样可以很容易地生成多样化和高质量的结构，构成我们模型的第一阶段。在第二阶段，我们提出了一个结构注意力模块内的纹理生成网络，该模块利用结构信息来捕捉遥远的相关性。我们进一步重用VQ-VAE来计算两个特征损失，这两个特征损失分别有助于提高结构一致性和纹理真实感。在CelebA-HQ，Places 2和ImageNet数据集上的实验结果表明，我们的方法不仅增强了修复解决方案的多样性，而且提高了生成的多幅图像的视觉质量。代码和模型可在https://github.com/USTC-JialunPeng/Diverse-Structure-Inpainting上获得。
2021-03-18 cs.CV
Generator Pyramid for High-Resolution Image Inpainting
OPPO Research（OPPO研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
修复具有大孔洞的高分辨率图像对现有的基于深度学习的图像修补方法提出了挑战。本文提出了一种新的高分辨率图像修补框架-- PyramidFill，它明确地将内容补全和纹理合成分离开来。PyramidFill尝试在较低分辨率的图像中完成未知区域的内容，并逐步合成较高分辨率图像中未知区域的纹理。因此，我们的模型由一个完全卷积的GANs金字塔组成，其中内容GAN负责完成最低分辨率掩码图像中的内容，每个纹理GAN负责合成更高分辨率图像中的纹理。由于完成内容和合成纹理需要生成器具有不同的能力，因此我们为内容GAN和纹理GAN定制了不同的架构。在包括CelebA-HQ、Places 2和具有不同分辨率的新自然风景数据集（NSHQ）在内的多个数据集上的实验表明，PyramidFill生成的修复结果比最先进的方法质量更高。为了更好地评估高分辨率图像修补方法，我们将发布NSHQ，高分辨率1920 $\times$ 1080的高质量自然风景图像。
2020-12-04 cs.CV eess.IV
Guidance and Evaluation: Semantic-Aware Image Inpainting for Mixed Scenes
Wuhan University（武汉大学）；National Institute of Informatics（国立信息学研究所）；National Tsing Hua University（清华大学）
为混合场景完成具有正确结构和合理纹理的损坏图像仍然是一个难以捉摸的挑战。由于在一个损坏的图像的混合场景中的丢失的洞往往包含各种语义信息，传统的两阶段的方法利用结构信息往往会导致不可靠的结构预测和模糊的图像纹理生成的问题。在本文中，我们提出了一个语义指导和评估网络（SGE-Net）迭代更新的结构先验知识和修复后的图像中的语义提取和图像修补的相互作用的框架。它利用语义分割地图作为指导，在每个尺度的修复，根据位置相关的推断重新评估，并相应地，推断不佳的区域在随后的尺度细化。对混合场景的真实图像进行的大量实验表明，我们所提出的方法在清晰的边界和逼真的纹理方面优于最先进的方法。
2020-07-10 cs.CV
Rethinking Image Inpainting via a Mutual Encoder-Decoder with Feature Equalizations
Hunan University（湖南大学）；Tencent AI Lab（腾讯AI实验室）
基于深度编码器-解码器的CNN具有用于孔填充的高级图像修补方法。虽然现有的方法恢复结构和纹理一步一步在孔区域，他们通常使用两个编码器-解码器分别恢复。每个编码器的CNN特征被学习以捕获丢失的结构或纹理，而不将它们作为一个整体考虑。这些编码器功能的利用率不足，限制了恢复结构和纹理的性能。在本文中，我们提出了一个共同的编码器-解码器CNN的联合恢复。我们使用来自编码器的深层和浅层的CNN特征来分别表示输入图像的结构和纹理。深层特征被发送到结构分支，浅层特征被发送到纹理分支。在每个分支中，我们在CNN特征的多个尺度上填充漏洞。来自两个分支的填充的CNN特征被连接，然后被均衡。在特征均衡过程中，我们首先重新权衡信道注意力，并提出了一个双边传播激活函数，使空间均衡。为此，填充的结构和纹理的CNN特征相互受益，以表示所有特征级别的图像内容。我们使用均衡功能来补充解码器功能，通过跳过连接生成输出图像。基准数据集上的实验表明，该方法是有效的恢复结构和纹理，并表现出良好的国家的最先进的方法。
2020-07-14 cs.CV
Hirarchical Digital Image Inpainting Using Wavelets
Amrita Vishwa Vidyapeetham（阿姆里塔 Vishwa Vidyapeetham）
修复是以视觉上合理的方式重建图像的未知或损坏部分的技术。修复算法利用图像中未受损区域的信息自动填充图像中的受损区域。随着损伤面积的增加，结构和纹理信息的传播成为一个挑战。本文提出了一种基于小波变换的层次图像修复算法。分层方法试图保持较小的掩模尺寸，而小波有助于分别处理高通结构信息和低通纹理信息。所提出的算法的性能进行了测试，使用不同的因素。我们的算法的结果与现有的方法，如插值，扩散和范例技术进行了比较。
2012-09-13 cs.CV
Structure Matters: Tackling the Semantic Discrepancy in Diffusion Models for Image Inpainting
Hefei University of Technology（合肥工业大学）；Lenovo Research（联想研究院）
本文提出结构引导扩散模型 StrDiffusion，通过利用未掩码区域的时间依赖稀疏结构语义引导纹理去噪，并设计自适应重采样策略，有效解决图像修复中掩码与未掩码区域的语义差异问题。
2024-04-01 cs.CV
Layout-guided Indoor Panorama Inpainting with Plane-aware Normalization
National Tsing Hua University（台湾清华大学）
我们提出了一个用于室内全景图像修补的端到端深度学习框架。虽然以前的修复方法在自然透视图像上表现出令人印象深刻的性能，但大多数无法处理全景图像，特别是室内场景，这些场景通常包含复杂的结构和纹理内容。为了实现更好的修复质量，我们建议在修复过程中利用室内全景的全局和局部上下文。具体地说，我们采取低层次的布局边缘估计从输入的全景作为一个前指导修复模型恢复全球室内结构。采用平面感知归一化模块来将从布局导出的平面风格特征嵌入到生成器中，从而鼓励从相邻房间结构（即，天花板、地板和墙壁）。实验结果表明，我们的工作优于当前国家的最先进的方法在公共全景数据集上的定性和定量评价。我们的代码可在https://ericsujw.github.io/LGPN-net/上获得
2023-01-13 cs.CV
Texture Memory-Augmented Deep Patch-Based Image Inpainting
基于补丁的方法和深度网络已被用来解决图像修补问题，有自己的优点和缺点。基于块的方法能够通过从未掩蔽区域中搜索最近邻块来恢复具有高质量纹理的丢失区域。然而，这些方法在恢复大的缺失区域时带来问题的内容。另一方面，深度网络在完成大区域方面显示出有希望的结果。尽管如此，结果往往缺乏与周围区域相似的忠实和清晰的细节。通过将这两种范例中最好的结合在一起，我们提出了一个新的深度修复框架，其中纹理生成由从未掩蔽区域提取的补丁样本的纹理记忆指导。该框架具有新颖的设计，允许纹理记忆检索与深度修复网络进行端到端的训练。此外，我们引入了补丁分布损失，以鼓励高质量的补丁合成。所提出的方法在三个具有挑战性的图像基准上表现出定性和定量的优异性能，即，地点、CelebA-HQ和巴黎街景数据集。
2021-11-04 cs.CV cs.LG eess.IV
A nonlocal feature-driven exemplar-based approach for image inpainting
Oak Ridge National Laboratory（橡树岭国家实验室）；Sandia National Laboratories（桑迪亚国家实验室）；University of Tennessee at Knoxville（田纳西大学诺克斯维尔分校）；Lirio LLC（Lirio有限责任公司）
我们提出了一种非局部变分图像修复技术，它允许在一个统一的框架内同时修复多个结构和纹理。几何结构的恢复是通过使用一般卷积算子作为图像内行为的度量来实现的。这些都结合了一个非本地的基于样本的方法，利用图像的自相似性在选定的特征域，并确保修复的纹理。我们还引入了各向异性补丁距离度量，以允许更好地控制图像内的特征选择，并提出了基于此度量的非局部能量泛函。最后，我们推导出所提出的变分模型的优化算法，并与各种测试图像的实验研究其有效性。
2020-12-03 cs.CV
Diffusion Models with Anisotropic Gaussian Splatting for Image Inpainting
University of Southern California（南加州大学）
提出结合各向异性高斯泼溅的扩散模型修复方法，利用高斯函数建模缺失区域提供结构指导，生成高保真且结构连贯的修复结果，实验优于现有技术。
2024-12-14 cs.CV
RoomTex: Texturing Compositional Indoor Scenes via Iterative Inpainting
Shanghai AI Laboratory（上海人工智能实验室）；The Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）
提出由粗到细的3D场景纹理框架RoomTex，通过全景图引导和迭代修复技术，解决组合室内场景的风格不一致和遮挡问题，生成高保真纹理并支持交互式编辑。
2024-06-04 cs.CV
InpaintHuman: Reconstructing Occluded Humans with Multi-Scale UV Mapping and Identity-Preserving Diffusion Inpainting
Hangzhou Dianzi University（杭州电子科技大学）；Alibaba International Digital Commerce Group（阿里巴巴国际数字商业集团）；Wuhan University（武汉大学）；University of Melbourne（墨尔本大学）
InpaintHuman通过多尺度UV映射和身份保持扩散修复技术，从被遮挡的单目视频中生成高保真、完整且可动画的3D人类化身。
2026-01-05 cs.CV
RGB-D Image Inpainting Using Generative Adversarial Network with a Late Fusion Approach
Keio University（庆应义塾大学）
Diminished Reality是一种技术，旨在从视频图像中删除对象，并使用合理的像素填充缺失区域。大多数常规方法利用从不同视点捕获相同场景的不同相机来允许移除和恢复区域。本文提出了一种基于生成对抗网络的RGB-D图像修补方法，该方法不需要多个摄像机。近来，RGB图像修补方法通过采用生成对抗网络已经取得了突出的结果。然而，RGB修复方法的目标是只恢复丢失区域的纹理，因此，不恢复几何信息（即场景的3D结构）。我们将传统的图像修补方法扩展到RGB-D图像修补，从一对RGB和深度图像中联合恢复丢失区域的纹理和几何形状。受其他使用RGB和深度图像的任务的启发（例如，语义分割和目标检测）的基础上，提出了一种后期融合方法，充分利用了RGB和深度信息的优势。实验结果验证了该方法的有效性。
2021-10-14 cs.CV
Infusion: internal diffusion for inpainting of dynamic textures and complex motion
LTCI, Télécom Paris, Institut Polytechnique de Paris, France（法国巴黎高等理工学院LTCI研究中心，Telecom Paris，巴黎理工学院）；MAP5, CNRS & Université Paris Cité, France（法国国家科学研究中心MAP5研究所，巴黎城市大学）；ISIR, Sorbonne Université, France（法国索邦大学ISIR研究所）
本文提出Infusion方法，利用视频自相似性将扩散模型训练数据限制在单个输入视频，以50万参数的轻量级模型实现高效的视频修复，在动态纹理和复杂动态背景任务上达到或超越现有最先进性能。
2025-04-28 cs.CV
Multi-stage Progressive Reasoning for Dunhuang Murals Inpainting
Northwest Minzu University（西北民族大学）；Chinese National Information Technology Research Institute（中国民族信息技术研究院）
针对敦煌壁画大面积损坏修复难题，提出多阶段渐进推理网络MPR-Net，结合多尺度特征聚合模块，模拟修复师先全局后局部的流程，实验证明优于现有方法。
2023-05-10 cs.CV
Decoupled Spatial-Temporal Transformer for Video Inpainting
CUHK-SenseTime Joint Laboratory, The Chinese University of Hong Kong（香港中文大学-商汤科技联合实验室，香港中文大学）；SenseTime Research（商汤科技研究院）；Zhejiang University（浙江大学）；School of CST, Xidian University（西安电子科技大学计算机科学与技术学院）
视频修复的目标是用逼真的外观来填充给定的时空空洞，但即使有繁荣的深度学习方法，这仍然是一项具有挑战性的任务。最近的工作将有前途的Transformer架构引入到深度视频修复中，并取得了更好的性能。然而，它仍然遭受合成模糊的纹理以及巨大的计算成本。为此，我们提出了一种新的解耦时空Transformer（DSTT），以提高视频修复的效率。我们提出的DSTT将时空注意力的学习任务分解为两个子任务：一个是在相同空间位置的不同帧上关注时间对象运动，这是通过时间解耦的Transformer块实现的，另一个是在所有空间位置的相同帧上关注相似的背景纹理，这是通过空间解耦的Transformer块实现的。这两个块的交织堆栈使我们提出的模型更精确地关注背景纹理和移动对象，从而可以传播所关注的合理和时间连贯的外观来填充漏洞。此外，在Transformer块堆栈之前采用分层编码器，用于学习保持多层次局部空间结构的鲁棒和分层特征，从而产生更具代表性的令牌向量。这两种新设计的无缝结合形成了一个更好的时空注意力方案，我们提出的模型实现了更好的性能比最先进的视频修复方法，具有显着提高效率。
2021-04-14 cs.CV
ZITS++: Image Inpainting by Improving the Incremental Transformer on Structural Priors
Fudan University（复旦大学）
本文提出 ZITS++ 模型，通过改进基于结构先验的增量 Transformer，结合 TSR、SSU、FTR 和 ZeroRA 等模块，有效解决图像修复中纹理与结构恢复的挑战，并探讨了图像先验在高分辨率修复中的应用。
2023-05-24 cs.CV
DogWeave: High-Fidelity 3D Canine Reconstruction from a Single Image via Normal Fusion and Conditional Inpainting
University of Wisconsin--Madison（威斯康星大学麦迪逊分校）
DogWeave通过法线融合与条件修复技术，从单张图像实现高保真3D犬只重建，优于现有方法。
2026-03-08 cs.CV
Text2Tex: Text-driven Texture Synthesis via Diffusion Models
Technical University of Munich（慕尼黑工业大学）；Snap Research（Snap研究院）
我们提出了Text2Tex，一种新的方法，从给定的文本提示生成高质量的纹理的三维网格。我们的方法将修复技术结合到一个预先训练的深度感知图像扩散模型中，从多个视点逐步合成高分辨率的部分纹理。为了避免在视图之间积累不一致和拉伸的伪影，我们动态地将渲染视图分割成一个生成掩码，该掩码表示每个可见纹素的生成状态。该分区视图表示引导深度感知修复模型生成和更新对应区域的部分纹理。此外，我们提出了一个自动视图序列生成方案，以确定下一个最佳的视图更新的部分纹理。大量的实验表明，我们的方法显着优于现有的文本驱动的方法和基于GAN的方法。
2023-03-20 cs.CV
Incremental Transformer Structure Enhanced Image Inpainting with Masking Positional Encoding
Fudan University（复旦大学）
图像修补在近年来取得了显著的进展。然而，如何恢复出纹理逼真、结构合理的图像仍然是一个挑战。由于卷积神经网络（CNN）的有限感受野，一些特定的方法只能处理规则的纹理，而失去整体结构。另一方面，基于注意力的模型可以学习更好的长距离依赖性，用于结构恢复，但它们受到大图像尺寸的推理的繁重计算的限制。为了解决这些问题，我们建议利用一个额外的结构恢复，以促进图像修补增量。该模型在固定的低分辨率草图空间中使用基于注意力的Transformer模型恢复整体图像结构。这样的灰度空间很容易被上采样到更大的尺度，以传达正确的结构信息。我们的结构恢复器可以有效地与其他预训练的修复模型集成，并具有零初始化的残差加法。此外，掩蔽位置编码策略被用来提高性能与大的不规则的面具。在各种数据集上的大量实验验证了我们的模型与其他竞争对手相比的有效性。我们的代码发布在https://github.com/DQiaole/ZITS_inpainting。
2022-03-16 cs.CV
DreamMix: Decoupling Object Attributes for Enhanced Editability in Customized Image Inpainting
Information and Communication Engineering（信息与通信工程）；Dalian University of Technology（大连理工大学）；ZMO.AI Inc.（ZMO.AI公司）；University of Electronic Science and Technology of China（电子科技大学）
DreamMix提出一种基于扩散模型的框架，通过属性解耦机制、文本属性替换和解耦修复框架，在定制图像修复中实现身份保持与属性可编辑性的平衡，支持对象插入、属性编辑和小对象修复。
2025-09-24 cs.CV
MV2UV: Generating High-quality UV Texture Maps with Multiview Prompts
Hisilicon Linx Lab, Huawei（华为Hisilicon Linx实验室）；Hong Kong University of Science and Technology（香港科技大学）
本文提出MV2UV方法，结合多视角生成的2D生成先验和UV细化的修复能力，解决多视角不一致和缺失纹理问题，提升纹理生成质量。
2026-03-16 cs.CV
Simultaneous Inpainting and Denoising by Directional Global Three-part Decomposition: Connecting Variational and Fourier Domain Based Image Processing
University of Goettingen（哥廷根大学）；Statistical and Applied Mathematical Science Institute（统计与应用数学科学研究所）
我们认为非常具有挑战性的任务，恢复图像（i）有大量的丢失的像素，（ii）其现有的像素被噪声破坏，（iii）理想的图像被恢复包含卡通和纹理元素。这三个属性的组合使得这个逆问题非常困难。本文提出的解决方案基于方向全局三部分分解（DG3PD）[ThaiGottschlich 2016]，其中曲波域中的方向总变差范数、方向G范数和$\ell_\infty$范数作为模型的关键成分。通过DG3PD的图像分解实现了卡通和纹理分量的解耦修复和去噪。与现有的修复和去噪方法的比较显示了所提出的方法的优点。此外，我们认为图像复原问题的贝叶斯框架的观点，我们讨论了建议的解决方案之间的联系，通过函数空间和相关的图像表示谐波分析和金字塔分解。
2016-06-09 cs.CV
Generative Image Inpainting with Contextual Attention
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
最近的基于深度学习的方法已经显示出对于修复图像中的大缺失区域的挑战性任务的有希望的结果。这些方法可以生成视觉上合理的图像结构和纹理，但通常会创建与周围区域不一致的扭曲结构或模糊纹理。这主要是由于卷积神经网络在明确地从遥远的空间位置借用或复制信息方面的无效性。另一方面，传统的纹理和面片合成方法特别适合于需要从周围区域借用纹理的情况。受这些观察结果的启发，我们提出了一种新的基于深度生成模型的方法，该方法不仅可以合成新的图像结构，还可以在网络训练过程中显式地利用周围的图像特征作为参考，以进行更好的预测。该模型是一个前馈的，完全卷积神经网络，可以处理图像与多个孔在任意位置和可变大小的测试时间。在包括人脸（CelebA，CelebA-HQ），纹理（DTD）和自然图像（ImageNet，Places 2）在内的多个数据集上的实验表明，我们提出的方法比现有方法生成更高质量的修复结果。代码，演示和模型可在：https://github.com/JiahuiYu/generative_inpainting。
2018-03-21 cs.CV cs.GR
Learning Semantic Inpainting for Animatable Gaussian Head Avatars
Michigan State University（密歇根州立大学）
SInGA提出一种基于UV空间语义修复的单图像可动画高斯头部虚拟形象生成方法，利用面部对称性补全未观察区域，堆叠高斯增强细节，实现跨身份泛化与高质量动画渲染。
2026-10-01 cs.CV
Enhanced Wavelet Scattering Network for image inpainting detection
University “Lucian Blaga”（“卢奇安·布拉加”大学）
本文提出一种结合双树复小波变换（DT-CWT）特征提取、CNN伪造区域定位及纹理与噪声方差融合模块的图像修复检测方法，在基准测试中性能优于现有技术。
2024-09-25 cs.CV
Aggregated Contextual Transformations for High-Resolution Image Inpainting
Microsoft Research（微软研究院）；School of Computer, Sun Yat-sen University（中山大学计算机学院）
本文提出AOT-GAN，通过多感受野上下文变换聚合与掩码预测判别任务解决高分辨率图像修复中的结构推理和纹理合成问题，并在Places2及实际应用中验证其优势。
2021-04-03 cs.CV
Personalized Face Inpainting with Diffusion Models by Parallel Visual Attention
Carnegie Mellon University（卡内基梅隆大学）；INSAIT, Sofia University（索非亚大学INSAIT学院）
本文提出 PVA 并行视觉注意力机制并结合扩散模型，利用参考身份编码器特征实现个性化人脸修复，在身份保持、语言可控性和微调效率上显著优于现有方法。
2023-12-06 cs.CV cs.LG
DiGA3D: Coarse-to-Fine Diffusional Propagation of Geometry and Appearance for Versatile 3D Inpainting
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））
DiGA3D提出一种由粗到细的扩散传播3D修复流程，通过多参考视图选择、注意力特征传播和纹理-几何得分蒸馏采样损失，统一解决外观与几何一致性问题。
2025-07-01 cs.CV
Clutter Detection and Removal in 3D Scenes with View-Consistent Inpainting
Princeton University（普林斯顿大学）
提出一个自动系统，通过基于共享属性的三维分割和视图一致的修复技术，从三维场景中移除杂乱物并修复几何纹理，在ScanNet和Matterport数据集上优于基线。
2023-09-01 cs.CV
High-Fidelity Image Inpainting with Multimodal Guided GAN Inversion
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院）；University of North Texas（北得克萨斯大学）
针对现有GAN逆变换图像修复方法忽略未掩码区域一致性约束及单模态限制的问题，提出MMInvertFill，通过多模态引导编码器、F&W+潜在空间及软更新均值潜在模块，在六个数据集上超越现有方法，有效支持域外图像补全。
2025-04-17 cs.CV
Semantic-Guided Two-Stage GAN for Face Inpainting with Hybrid Perceptual Encoding
RCC Institute of Information Technology（RCC信息科技学院）；Jadavpur University（贾瓦德普尔大学）
本文提出一种基于语义引导的两阶段GAN模型，通过混合感知编码提升面部修复的语义一致性和图像质量。
2026-02-15 cs.CV
Image inpainting using frequency domain priors
The University of Tokyo（东京大学）
本文提出了一种新的利用频域信息的图像修补技术。现有的图像修补工作通过仅使用空间域信息训练神经网络来预测丢失的像素。然而，这些方法仍然难以重建真实复杂场景的高频细节，导致颜色差异，边界伪影，扭曲的图案和模糊的纹理。为了缓解这些问题，我们研究是否可以通过使用频域信息（离散傅立叶变换）以及空域信息来训练网络来获得更好的性能。为此，我们提出了一个基于频率的反卷积模块，使网络能够学习全局上下文，同时选择性地重建高频分量。我们评估我们提出的方法公开可用的数据集CelebA，巴黎街景，和DTD纹理数据集，并表明，我们的方法优于当前国家的最先进的图像修补技术的定性和定量。
2020-12-03 cs.CV eess.IV
One-Stage Inpainting with Bilateral Attention and Pyramid Filling Block
Hunan University（湖南大学）
最近基于深度学习的图像修补方法利用上下文信息和两阶段架构，表现出显着的性能。然而，两阶段结构耗时长，上下文信息缺乏高层语义，忽略了孔洞特征块的语义相关性和距离信息，导致最终结果纹理模糊，结构失真。受这些观察结果的启发，我们提出了一种新的基于深度生成模型的方法，该方法使用不同的目标对共享网络进行两次训练，并在测试阶段使用单个网络，以便我们可以有效地节省推理时间。具体而言，两个训练步骤的目标分别是结构重建和纹理生成。在第二次训练中，我们首先提出了一个金字塔填充块（PF块），利用空洞区域已经填充的高级特征来指导低级特征的填充过程，缺失的内容可以以金字塔的方式从深到浅填充。然后，受经典双边滤波器[30]的启发，我们提出了双边注意层（BA层）来优化填充的特征图，它通过计算周围特征块的加权和来合成每个位置的特征块，这些权重通过考虑特征块之间的距离和值关系来推导，从而使视觉上合理的修复结果。最后，在多个公开数据集上的实验表明了该方法的优越性能。
2019-12-18 cs.CV
Image Inpainting by Kriging Interpolation Technique
Irbid National University（伊尔比德国立大学）
图像修补是一种预测图像受损区域的技术。手工方式的图像修补是一个耗时。因此，必须有一个自动的数字方法，用于图像修补，恢复图像从损坏的区域。提出了一种基于Kriging插值的统计图像修补算法。Kriging技术利用图像中受损区域周围区域的信息自动填充受损区域，从而利用k × k块内点的空间相关结构。克立格法具有很强的抗损伤能力，能够很好地保持损伤区域的结构和纹理信息。实验结果表明，Kriging方法在恢复各种测试图像中的划痕和文字等破损区域时，具有较高的PSNR值。
2013-06-01 cs.CV
Incorporating long-range consistency in CNN-based texture generation
University of Montreal（蒙特利尔大学）
Gatys等人（2015）表明，卷积网络中特征的成对乘积是图像纹理的非常有效的表示。我们提出了一个简单的修改表示，这使得它可以将远程结构到图像生成，并呈现满足各种对称性约束的图像。我们展示了如何这可以大大提高渲染的规则纹理和图像，包含其他种类的对称结构。我们还提出了应用程序修复和季节转移。
2016-11-05 cs.CV
Perceptual Artifacts Localization for Inpainting
University of Pennsylvania（宾夕法尼亚大学）；Adobe Research（Adobe研究院）
图像修补是图像处理中的一项重要技术，在图像编辑、目标去除等实际应用中具有重要的应用价值。基于GAN的深度模型极大地提高了洞内结构和纹理的修复性能，但也可能产生意想不到的伪影，例如破碎的结构或颜色斑点。用户感知这些伪影来判断修复模型的有效性，并在典型的修图工作流程中对这些不完美的区域进行修图。受此工作流程的启发，我们提出了一个新的学习任务，自动分割的修复感知文物，并应用模型修复模型评估和迭代细化。具体来说，我们首先构建一个新的修复文物数据集手动注释感知文物的最先进的修复模型的结果。然后，我们在此数据集上训练高级分割网络，以可靠地定位修复图像中的修复伪影。其次，我们提出了一个新的可解释的评价指标，称为感知比（PAR），这是令人反感的修补区域的比例，整个修补面积。PAR表现出与真实用户偏好的强相关性。最后，我们进一步应用所产生的掩模迭代图像修补结合我们的方法与多种最新的修复方法。大量的实验证明了不同方法的伪影区域的一致减少和修复质量的提高。
2022-08-05 cs.CV
Patch-Based Image Inpainting with Generative Adversarial Networks
Istanbul Technical University（伊斯坦布尔技术大学）
最近，在相对大的缺失区域上的图像修补的区域通过专用的深度神经网络的适应而显著地进步。然而，当前的网络解决方案仍然将不期望的伪影和噪声引入到修复区域。提出了一种基于生成对抗网络（GAN）框架的图像修补方法。所提出的PGGAN方法包括将全局GAN（G-GAN）架构与补丁GAN方法相结合的并行网络。PGGAN首先在G-GAN和patchGAN之间共享网络层，然后分割路径以产生两个对抗性损失，这些损失馈送给生成器网络，以捕获图像纹理的局部连续性和图像中普遍的全局特征。所提出的框架进行了广泛的评估，结果，包括比较最近的国家的最先进的证明，它实现了相当大的改善视觉和定量评价。
2018-03-20 cs.CV
