Guidance and Evaluation: Semantic-Aware Image Inpainting for Mixed Scenes
Wuhan University（武汉大学）；National Institute of Informatics（国立信息学研究所）；National Tsing Hua University（清华大学）
为混合场景完成具有正确结构和合理纹理的损坏图像仍然是一个难以捉摸的挑战。由于在一个损坏的图像的混合场景中的丢失的洞往往包含各种语义信息，传统的两阶段的方法利用结构信息往往会导致不可靠的结构预测和模糊的图像纹理生成的问题。在本文中，我们提出了一个语义指导和评估网络（SGE-Net）迭代更新的结构先验知识和修复后的图像中的语义提取和图像修补的相互作用的框架。它利用语义分割地图作为指导，在每个尺度的修复，根据位置相关的推断重新评估，并相应地，推断不佳的区域在随后的尺度细化。对混合场景的真实图像进行的大量实验表明，我们所提出的方法在清晰的边界和逼真的纹理方面优于最先进的方法。
2020-07-10 cs.CV
Towards Interactive Image Inpainting via Sketch Refinement
University of Science Technology of China（中国科学技术大学）
针对自由形式草图随机性干扰图像修复的问题，提出两阶段方法SketchRefiner，通过细化草图、提取特征调制修复过程，在公开数据集上效果优于现有最优方法，兼具应用潜力。
2023-06-19 cs.CV
InTeX: Interactive Text-to-texture Synthesis via Unified Depth-aware Inpainting
National Key Lab of General AI, Peking University（北京大学通用人工智能重点实验室）；Zhejiang University（浙江大学）；Skywork AI（天工AI）；S-Lab, Nanyang Technological University（南洋理工大学S实验室）
提出InteX框架，通过统一深度感知修复模型和交互界面，解决文本到纹理合成中的3D不一致性和可控性差问题，实现高效高质量3D内容创作。
2024-03-18 cs.CV
Boosted GAN with Semantically Interpretable Information for Image Inpainting
The University of Melbourne（墨尔本大学）
图像修补的目的是修复受损图像中的缺失区域，在图像复原、目标去除等方面有着广泛的应用。然而，目前基于GAN的修复模型未能明确考虑恢复图像与原始图像之间的语义一致性。例如，给定一个男性图像，其中一只眼睛的图像区域丢失，当前模型可以用女性眼睛来恢复它。这是由于基于GAN的修复模型的模糊性：这些模型可以在给定缺失区域的情况下生成许多可能的修复。为了解决这一限制，我们的关键见解是，输入图像（缺失区域）的语义可解释信息（如属性和分割信息）可以为修复过程提供必要的指导。基于这一观点，我们提出了一个增强的GAN与语义可解释的信息的图像修补，由一个修复网络和判别网络。修复网络利用两个辅助的预训练网络来发现输入图像的属性和分割信息，并将其纳入修复过程中，以提供明确的语义级指导。判别网络采用多层设计，不仅可以对整体真实性进行正则化，还可以对与原始图像的属性和分割一致性进行正则化。实验结果表明，我们提出的模型可以保持一致性的属性和分割水平，并显着优于国家的最先进的模型。
2019-08-13 cs.AI cs.CV
Unbiased Multi-Modality Guidance for Image Inpainting
Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Kitware（Kitware公司）；Nanjing Institute of Software Technology（南京软件技术研究院）
图像修补是一个病态的问题，它是基于带有掩模的不完整图像来恢复丢失或损坏的图像内容。以前的工作通常预测辅助结构（例如，边缘、分割和轮廓）来帮助以多级方式填充视觉上真实的补丁。然而，不精确的辅助先验可能会产生有偏差的修复结果。此外，有些方法需要通过多级复杂的神经网络来实现，这是非常耗时的。为了解决这个问题，我们开发了一个端到端的多模态引导Transformer网络，包括一个修复分支和两个辅助分支的语义分割和边缘纹理。在每个Transformer块中，所提出的多尺度空间感知注意模块可以通过辅助反规范化有效地学习多模态结构特征。不同于以往的方法依赖于有偏见的先验知识的直接指导，我们的方法丰富了语义一致的背景下，在图像的基础上，歧视性的相互作用信息，从多个模态。在几个具有挑战性的图像修补数据集上的综合实验表明，该方法能够有效地处理各种规则/不规则掩模。
2022-08-25 cs.CV
Enhancing Video Inpainting with Aligned Frame Interval Guidance
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）
针对现有基于I2V的视频修复方法存在块内内容退化、时空稳定性不足的问题，本文提出VidPivot框架，通过帧间隔先验引导、FrameProp模块及上下文控制器实现跨帧连贯修复，在多基准上表现优异且泛化性良好。
2025-11-14 cs.CV
E-Commerce Inpainting with Mask Guidance in Controlnet for Reducing Overcompletion
Suning（苏宁）
针对电商图像生成中扩散模型存在的商品过度补全、特征难维持的问题，提出实例掩码微调修复模型与免训练掩码引导ControlNet+UNet两种方案，有效缓解问题，在实际应用中效果良好。
2024-09-15 cs.CV
CorrFill: Enhancing Faithfulness in Reference-based Inpainting with Correspondence Guidance in Diffusion Models
National Yang Ming Chiao Tung University（国立阳明交通大学）；National Taiwan University（国立台湾大学）；NVIDIA（英伟达）；MediaTek Inc.（联发科股份有限公司）
本文提出无需训练的 CorrFill 模块，通过修复时估计的对应约束、自注意力掩码和输入张量更新，增强扩散修复对参考图像几何关系的忠实性，并提升多种基线及 SOTA 方法性能。
2025-01-04 cs.CV
MISF: Multi-level Interactive Siamese Filtering for High-Fidelity Image Inpainting
University of South Carolina（南卡罗来纳大学）；Tianjin University（天津大学）；Hong Kong Polytechnic University（香港理工大学）；Nanyang Technological University（南洋理工大学）
虽然取得了重大进展，现有的深度生成修复方法是远离现实世界的应用，由于低泛化不同场景。因此，生成的图像通常包含伪影或填充的像素与地面实况有很大差异。图像级预测滤波是一种广泛应用的图像复原技术，它根据不同的输入场景自适应地预测合适的核函数。受这种固有优势的启发，我们探讨了将图像修补作为过滤任务的可能性。为此，我们首先研究了图像级预测滤波用于图像修补的优点和挑战：该方法可以保留局部结构并避免伪影，但无法填充大的缺失区域。然后，我们提出了语义过滤进行过滤的深特征层，它填补了丢失的语义信息，但无法恢复的细节。为了解决这些问题，同时采用各自的优点，我们提出了一种新的滤波技术，即，多级交互式连体滤波（MISF），它包含两个分支：核预测分支（KPB）和语义和图像滤波分支（SIFB）。这两个分支是交互链接的：SIFB为KPB提供多级特征，而KPB为SIFB预测动态内核。因此，最终的方法利用有效的语义和图像级填充的高保真修复。我们在三个具有挑战性的数据集上验证了我们的方法，即，敦煌、Places2和CelebA。我们的方法在四个指标上优于最先进的基线，即，L1、PSNR、SSIM和LPIPS。请在https://github.com/tsingqguo/misf上尝试发布的代码和模型。
2022-03-12 cs.CV cs.MM
SketchSense: Learning to Interpret Imperfect Sketch Guidance for Image Inpainting
Fudan University（复旦大学）
SketchSense是同步去噪RGB与结构流的框架，通过双向注意力融合等技术解释不完美草图引导，在图像修复的质量和结构保真度上较现有方法有显著提升。
2026-08-14 cs.CV
Uni-paint: A Unified Framework for Multimodal Image Inpainting with Pretrained Diffusion Model
City University of Hong Kong（香港城市大学）；Tianjin University（天津大学）
Uni-paint提出统一多模态图像修复框架，基于预训练扩散模型，支持多种引导模式，无需任务特定训练，实现少样本泛化，性能与单模态方法相当。
2023-10-11 cs.CV
AVID: Any-Length Video Inpainting with Diffusion Model
Rutgers University（罗格斯大学）；Meta
AVID通过运动模块、可调结构引导及Temporal MultiDiffusion采样流程，解决了文本引导视频修复中的时间一致性、多类型修复和任意时长生成问题。
2024-03-29 cs.CV
ControlFill: Spatially Adjustable Image Inpainting from Prompt Learning
Samsung Research（三星研究院）
提出ControlFill图像修复框架，通过训练creation和removal两种提示引导无需重型文本编码器的扩散网络，并结合无分类器引导与像素级尺度分配实现空间可调的修复强度控制。
2025-03-06 cs.CV
FaceCom: Towards High-fidelity 3D Facial Shape Completion via Optimization and Inpainting Guidance
Beihang University（北京航空航天大学）；Southwest University（西南大学）；Peking University School and Hospital of Stomatology（北京大学口腔医学院）；State Key Laboratory of Virtual Reality Technology and Systems（虚拟现实技术与系统国家重点实验室）
提出FaceCom，一种基于网格生成网络的三维人脸形状补全方法，在图像修复引导下优化拟合完整人脸，有效处理不规则扫描缺失，在拟合和补全任务中表现卓越。
2024-06-04 cs.CV
SmartBrush: Text and Shape Guided Object Inpainting with Diffusion Model
Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（奥多比研究院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
通用图像修补的目的是通过借用周围的信息来完成损坏的图像，这几乎不会产生新的内容。相比之下，多模态修复提供了对修复内容\eg的更灵活和有用的控制，文本提示可用于描述具有更丰富属性的对象，并且遮罩可用于约束修复对象的形状，而不是仅被视为缺失区域。我们提出了一个新的扩散为基础的模型，名为SmartBrush完成一个丢失的区域与一个对象使用文本和形状指导。虽然以前的工作，如DALLE-2和稳定扩散可以做文本引导的inapinting，但它们不支持形状指导，并且倾向于修改生成对象周围的背景纹理。我们的模型结合了文本和形状引导以及精确控制。为了更好地保留背景，我们提出了一种新的训练和采样策略，通过对象掩模预测来增强扩散U-网络。最后，我们引入了一种多任务训练策略，通过联合训练图像修复与文本到图像生成来利用更多的训练数据。我们进行了大量的实验，表明我们的模型在视觉质量，掩模可控性和背景保护方面优于所有基线。
2022-12-09 cs.CV
Diffusion Models with Anisotropic Gaussian Splatting for Image Inpainting
University of Southern California（南加州大学）
提出结合各向异性高斯泼溅的扩散模型修复方法，利用高斯函数建模缺失区域提供结构指导，生成高保真且结构连贯的修复结果，实验优于现有技术。
2024-12-14 cs.CV
3D-Consistent Image Inpainting with Diffusion Models
NAVER LABS Europe（NAVER欧洲实验室）
针对扩散模型图像修复的3D不一致问题，提出融入场景另一视角信息的改进扩散模型，无需显式3D监督即可实现3D一致且语义连贯的修复，在多数据集上表现优于现有最优方法。
2024-12-08 cs.AI cs.CV
Diffree: Text-Guided Shape Free Object Inpainting with Diffusion Model
OpenGVLab（开放视觉实验室）；Shanghai AI Laboratory（上海人工智能实验室）；The University of Hong Kong（香港大学）；Xiamen University（厦门大学）
本文提出 Diffree 模型，通过构建 OABench 数据集并利用 Stable Diffusion 与掩码预测模块，实现仅凭文本引导即可自动预测位置并无缝添加物体，同时保持背景一致性。
2024-07-24 cs.AI cs.CV
CSF-Net: Context-Semantic Fusion Network for Large Mask Inpainting
Department of Artificial Intelligence Convergence（人工智能融合系）
针对大掩码图像修复中视觉内容缺失、上下文线索有限的问题，提出CSF-Net框架，利用预训练AC模型生成语义先验，通过Transformer融合上下文特征生成引导图像，提升修复的结构准确性与语义一致性，减少对象幻觉。
2025-11-11 cs.CV
DreamMix: Decoupling Object Attributes for Enhanced Editability in Customized Image Inpainting
Information and Communication Engineering（信息与通信工程）；Dalian University of Technology（大连理工大学）；ZMO.AI Inc.（ZMO.AI公司）；University of Electronic Science and Technology of China（电子科技大学）
DreamMix提出一种基于扩散模型的框架，通过属性解耦机制、文本属性替换和解耦修复框架，在定制图像修复中实现身份保持与属性可编辑性的平衡，支持对象插入、属性编辑和小对象修复。
2025-09-24 cs.CV
BrushEdit: All-In-One Image Inpainting and Editing
Peking University（北京大学）；ARC Lab, Tencent PCG（腾讯PCG ARC实验室）；The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）
BrushEdit提出一种基于修复的指令引导图像编辑范式，通过智能体协作框架集成多模态大语言模型与双分支修复模型，实现自主、可交互的自由形式编辑，并在七项指标上表现优越。
2025-05-05 cs.AI cs.CV
TransRef: Multi-Scale Reference Embedding Transformer for Reference-Guided Image Inpainting
National Tsing Hua University（国立清华大学）；National Institute of Informatics（信息学研究所）
针对复杂语义环境和多样破损区域的图像修复挑战，提出基于Transformer的TransRef网络，通过参考嵌入过程结合参考补丁对齐与细化模块，构建含50K图像对的基准数据集，在定量和定性评估中优于现有方法。
2025-02-11 cs.CV
Efficient Zero-Shot Inpainting with Decoupled Diffusion Guidance
CMAP, Ecole Polytechnique（高等理工学院CMAP）；Institute of Foundation Models（基础模型研究所）；MBZUAI（穆扎夫技术研究院）；EPITA；Sorbonne University（索邦大学）；Lagrange Mathematics and Computing Research Center（拉格朗日数学与计算研究中心）；EPITA Research Lab（EPITA研究实验室）；KTH Royal Institute of Technology（皇家理工学院）
本文提出了解耦扩散引导方法，通过简化采样过程降低内存和运行开销，实现高效的零样本修复。
2026-04-29 cs.CV cs.LG
Outline-Guided Object Inpainting with Diffusion Models
ETH Zürich（苏黎世联邦理工学院）；IBM Research Zurich（IBM苏黎世研究院）
本文提出一种基于扩散模型的实例分割数据增强方法，利用目标轮廓作为无训练引导信号进行图像修复，在保持掩码标注对应关系的同时生成多样化目标变体，有效扩充标注数据集。
2024-02-26 cs.CV
Guided Image Inpainting: Replacing an Image Region by Pulling Content from Another Image
University of Texas at Austin（得克萨斯大学奥斯汀分校）；Adobe Research（Adobe研究院）
深度生成模型在使用周围环境自动合成丢失的图像区域方面取得了成功。然而，用户不能直接决定用这种方法合成什么内容。我们提出了一个端到端的图像修补网络，使用不同的图像来指导新内容的合成，以填补漏洞。我们的方法解决的一个关键挑战是在指导图像和原始图像的上下文不一致的区域合成新内容。我们进行了四项研究，证明我们的结果产生更逼真的图像修补结果超过七个基线。
2018-03-22 cs.CV
Locate, Assign, Refine: Taming Customized Promptable Image Inpainting
Alibaba Group（阿里巴巴集团）
提出LAR-Gen，一种多模态可提示图像修复方法，通过定位、分配、细化三种机制实现文本与图像引导的定制化修复，并引入数据引擎解决训练数据稀缺问题。
2025-01-22 cs.CV
Reference Guided Image Inpainting using Facial Attributes
Korea University（高丽大学）；Drexel University（德雷塞尔大学）
图像修补是一种完成缺失像素的技术，如遮挡区域恢复、干扰物体去除和面部修复。在这些修复任务中，面部修复算法根据用户的方向进行面部修复。现有的方法需要用户的精细且良好控制的输入，因此对于普通用户来说难以提供足够准确的指导以使算法生成期望的结果。为了克服这一限制，我们提出了一种替代的用户引导修复架构，使用单个参考图像作为指导来操纵面部属性。我们的端到端模型由用于准确参考图像属性传输的属性提取器和用于将属性真实准确地映射到生成的图像的修复模型组成。我们自定义MS-SSIM损失和可学习的双向注意力地图，其中重要性结构即使使用不规则形状的掩码也保持不变。基于我们使用公开数据集CelebA-HQ的评估，我们证明了所提出的方法与一些专门用于修复任务的最先进方法相比具有优异的性能。
2023-01-19 cs.CV
Token Painter: Training-Free Text-Guided Image Inpainting via Mask Autoregressive Models
本文提出 Token Painter，一种基于掩码自回归模型的免训练文本引导图像修复方法，通过双流编码器信息融合和自适应解码器注意力分数增强，在保持背景一致性的同时提升文本提示对齐和修复质量，并在多项指标上超越现有方法。
2025-11-09 cs.CV
PrefPaint: Enhancing Medical Image Inpainting through Expert Human Feedback
University of Science（科学大学）；Vietnam National University（越南国立大学）；Thong Nhat Hospital（统一医院）；University of Cincinnati（辛辛那提大学）；University of Dayton（代顿大学）
本文提出PrefPaint系统，结合专家反馈提升医学图像修复的准确性，通过简化界面和模型树版本控制，提高临床应用中的实用性与效果。
2026-04-12 cs.CV
Foreground-aware Image Inpainting
University of Rochester（罗切斯特大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（Adobe研究院）
现有的图像修补方法通常通过从周围像素借用信息来填充孔洞。当孔洞与前景物体重叠或接触时，由于缺乏关于孔洞内的前景和背景区域的实际范围的信息，它们通常产生不令人满意的结果。然而，这些场景在实践中非常重要，特别是对于诸如移除分散注意力的物体的应用。为了解决这个问题，我们提出了一个前景感知的图像修补系统，明确地解开结构推理和内容完成。具体来说，我们的模型首先学习预测前景轮廓，然后使用预测的轮廓作为指导来修复丢失的区域。我们表明，通过这样的解纠缠，轮廓完成模型预测合理的轮廓的对象，并进一步大幅提高性能的图像修补。实验表明，我们的方法显着优于现有的方法，并取得了优异的修复结果具有复杂的组成具有挑战性的情况下。
2019-04-22 cs.CV
Reference-Guided Texture and Structure Inference for Image Inpainting
Wuhan University（武汉大学）；Nanyang Technological University（南洋理工大学）；National Institute of Informatics（国立信息学研究所）
现有的基于学习的图像修补方法在面对复杂的语义环境和多样的孔洞模式时仍面临挑战。从大规模训练数据中学习到的先验信息对于这些情况仍然是不够的。覆盖相同场景的参考图像与受损图像具有相似的纹理和结构先验，这为图像修补任务提供了新的前景。受此启发，我们首先构建了一个包含10 K对输入和参考图像的基准数据集，用于参考引导修复。然后，我们采用了一个编码器-解码器结构，分别推断的纹理和结构特征的输入图像在修复过程中考虑到它们的模式差异。特征对准模块还被设计为在参考图像的引导下细化输入图像的这些特征。定量和定性的评价表明，我们的方法在完成复杂的孔的国家的最先进的方法的优越性。
2022-07-29 cs.CV
GuidPaint: Class-Guided Image Inpainting with Diffusion Models
Northwest University（西北大学）
针对现有上下文感知扩散图像修复方法对掩码区域细粒度控制不足的问题，提出无需训练的类别引导框架GuidPaint，引入分类器引导控制中间生成，融合随机与确定性采样，在定性定量评估上均优于现有方法。
2025-07-29 cs.CV
When Diffusion Models Forget Who You Are: Identity Preservation in Face Inpainting under Large Occlusions
针对大遮挡和冲突文本引导下人脸修复的身份保留难题，提出级联扩散框架ReSem-Face，在CelebAHQ-IDI-5等数据集上验证其身份保留修复及文本编辑质量优于基线。
2026-08-06 cs.CV
NÜWA-LIP: Language Guided Image Inpainting with Defect-free VQGAN
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院）；Microsoft Research Asia（微软亚洲研究院）；Microsoft（微软）
语言引导的图像修补是在文本的引导下对图像中的缺陷区域进行修补，而非缺陷区域保持不变。然而，现有模型的编码过程遭受缺陷区域的接受性传播或非缺陷区域的信息丢失，从而产生视觉上不吸引人的修补结果。为了解决上述问题，本文提出了NÜWA-LIP，将无缺陷VQGAN（DF-VQGAN）与多视角序列到序列（MP-S2 S）相结合。特别是DF-VQGAN引入了相对估计来控制接收扩展，并采用对称连接来保护信息。MP-S2 S从互补的角度进一步增强了视觉信息，包括低级像素和高级令牌。实验表明，DF-VQGAN比VQGAN具有更好的鲁棒性。为了评估我们模型的修复性能，我们建立了3个开放域基准，其中NÜWA-LIP也优于最近的强基线。
2022-02-10 cs.CV
Deep Two-Stage High-Resolution Image Inpainting
Lomonosov Moscow State University（莫斯科国立大学）
近年来，图像修复领域发展迅速，基于学习的方法在图像缺失部分的修复中取得了令人瞩目的成绩。但大多数深度方法都与它们所训练的图像的分辨率密切相关。分辨率的轻微增加会导致严重的伪影和不满意的填充质量。因此，这些方法不适合于交互式图像处理。在这篇文章中，我们提出了一种方法，解决了修复任意大小的图像的问题。我们还描述了一种方法来更好地恢复填充区域中的纹理碎片。为此，我们建议通过在四个方向上移动原始图像来使用来自相邻像素的信息。此外，这种方法可以与现有的修复模型一起工作，使它们几乎与分辨率无关，而无需重新训练。我们还创建了一个GIMP插件来实现我们的技术。插件、代码和模型权重可在https://github.com/a-mos/High_Resolution_Image_Inpainting上获得。
2021-04-27 cs.CV eess.IV
FreeInpaint: Tuning-free Prompt Alignment and Visual Rationality Enhancement in Image Inpainting
FreeInpaint通过无调优的扩散潜在特征优化方法，提升图像修复的提示对齐和视觉合理性。
2025-12-24 cs.CV
Context-Aware Image Inpainting with Learned Semantic Priors
Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）
图像修补的最新进展已经显示出在相当简单的背景上生成可信的视觉细节的令人印象深刻的结果。然而，对于复杂的场景，它仍然是具有挑战性的，以恢复合理的内容，因为在丢失的区域内的上下文信息往往是模糊的。为了解决这个问题，我们引入了借口任务，语义上有意义的估计缺失的内容。特别是，我们进行知识蒸馏的借口模型和适应的特点，图像修补。学习到的语义先验知识在高级托词任务和低级图像修补之间应该是部分不变的，这不仅有助于理解全局上下文，而且为局部纹理的恢复提供了结构指导。基于语义先验知识，我们进一步提出了一种上下文感知的图像修补模型，该模型在统一的图像生成器中自适应地集成了全局语义和局部特征。语义学习器和图像生成器以端到端的方式进行训练。我们将模型命名为SPL，以突出其学习和利用语义先验的能力。它在Places2，CelebA和Paris StreetView数据集上达到了最先进的水平。
2021-06-14 cs.CV
Image Inpainting using Block-wise Procedural Training with Annealed Adversarial Counterpart
USC（南加利福尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
深度生成模型的最新进展在图像嵌入方面显示出了很大的潜力，这是指使用已知上下文预测不完整图像的缺失像素值的任务。然而，现有的方法可能是缓慢的或产生不令人满意的结果，容易检测到的缺陷。此外，在孔附近通常存在可感知的不连续性，并且需要进一步的后处理来混合结果。我们提出了一种新的方法来解决训练一个非常深的生成模型来合成高质量的照片级真实感修复的困难。我们的模型使用条件生成对抗网络（条件GANs）作为骨干，我们引入了一种新的分块程序训练方案来稳定训练，同时增加网络深度。我们还提出了一种称为对抗性损失退火的新策略来减少伪影。我们进一步描述了几个专门为修复设计的损失，并显示其有效性。大量的实验和用户研究表明，我们的方法优于现有的方法在几个任务，如修复，人脸完成和图像协调。最后，我们展示了我们的框架可以很容易地用作交互式引导修复的工具，展示了它在解决常见现实挑战方面的实用价值。
2018-03-28 cs.CV
Foreground-guided Facial Inpainting with Fidelity Preservation
Manchester Metropolitan University（曼彻斯特城市大学）；Image Metrics Ltd（Image Metrics 公司）
人脸图像修补是一个非常具有挑战性的课题，它要求图像的真实感得到很好的保持。这是由于关键面部特征（组件）中的微妙纹理不容易转移。许多图像修补技术已经被提出，具有出色的性能和高定量性能记录。然而，对于面部修复，特征更明显，并且混合修复区域的视觉质量在质量上更重要。基于这些事实，我们设计了一个前景引导的面部修复框架，可以提取和生成的面部特征，使用卷积神经网络层。它介绍了使用前景分割掩模来保持保真度。具体来说，我们提出了一个新的损失函数的语义能力推理的面部表情，自然和不自然的功能（化妆）。我们使用CelebA-HQ数据集，CelebAMAsk-HQ（用于前景指导）和Quick Draw Mask（用于缺失区域）的分割掩模进行实验。我们提出的方法取得了可比的定量结果相比，最先进的，但定性，它表现出高保真保存面部组件。
2021-05-07 cs.CV
Image AID via continuous-time reinforcement learning
Department of Industrial Engineering and Operations Research, Columbia University, New York, NY 10027, USA（工业工程与运筹学系，哥伦比亚大学，纽约，NY 10027，美国）；Department of Industrial Engineering and Operations Research & Data Science Institute, Columbia University, New York, NY 10027, USA（工业工程与运筹学系及数据科学研究所，哥伦比亚大学，纽约，NY 10027，美国）
本文提出AID模型，通过预训练扩散模型和离线训练的指导模块，在多种掩码类型下提升图像修复的质量-速度平衡，训练开销低。
2026-10-01 cs.AI cs.CV cs.SY
Multi-Agent Amodal Completion: Direct Synthesis with Fine-Grained Semantic Guidance
School of Computer Science and Engineering（计算机科学与工程学院）；Beihang University（北京航空航天大学）；School of Software（软件学院）
本文提出协同多智能体推理框架，通过多智能体协同分析遮挡关系、生成细粒度文本语义引导，并直接输出分层RGBA结果，解决了非模态补全中的误差累积与遮挡物再生问题，达到最先进视觉质量。
2025-09-22 cs.CV cs.MA
Image Inpainting Models are Effective Tools for Instruction-guided Image Editing
ARC Lab, Tencent PCG（腾讯PCG ARC实验室）；The Chinese University of Hong Kong（香港中文大学）
本文提出基于图像修复的指令引导图像编辑方法IIIE，通过四步流程结合语言模型与修复模型，无需联合微调即可实现高成功率与良好视觉质量。
2024-07-18 cs.CV
Shape-guided Object Inpainting
Johns Hopkins University（约翰斯·霍普金斯大学）；Adobe Research（奥多比研究院）
以往的图像修补工作主要集中在背景或部分缺失对象的修补上，而完整缺失对象的修补问题尚未得到研究。本文研究了一种新的图像修补任务，即形状引导的对象修复。给定不完整的输入图像，目标是通过基于上下文和由孔形状给出的隐式指导生成对象来填充孔。由于以前的图像修补方法主要是针对背景修补而设计的，因此它们并不适用于这一任务。因此，我们提出了一种新的数据准备方法和一种新的上下文对象生成器（CogNet）的对象修复任务。在数据方面，我们通过使用对象实例作为洞，将对象先验信息合并到训练数据中。CogNet有一个双流架构，它将标准的自下而上的图像完成过程与自上而下的对象生成过程相结合。预测类嵌入模块通过从自下而上的特征预测丢失对象的类来桥接两个流，从中导出语义对象映射作为自上而下流的输入。实验表明，该方法可以生成符合上下文的真实感对象，无论是视觉外观和语义。代码可以在项目页面\url{https://zengxianyu.github.io/objpaint}找到
2022-04-16 cs.CV cs.MM
SONIC: Spectral Optimization of Noise for Inpainting with Consistency
University of British Columbia（不列颠哥伦比亚大学）；Google DeepMind（谷歌DeepMind）
提出一种无需训练的修复方法，通过谱域优化初始噪声样本，使通用文本到图像模型适用于修复任务，在少量优化步骤后超越现有技术。
2026-07-02 cs.CV
VipDiff: Towards Coherent and Diverse Video Inpainting via Training-free Denoising Diffusion Models
The University of Hong Kong（香港大学）
VipDiff提出免训练扩散模型框架，利用光流引导像素传播，实现时间连贯且多样的视频修复，显著优于现有方法。
2025-01-21 cs.CV
Learning to Scale Temperature in Masked Self-Attention for Image Inpainting
Southern University of Science and Technology（南方科技大学）
深度生成对抗网络（GAN）和自注意力机制的最新进展使得修复图像中大缺失区域的挑战性任务得到了显着改进。这些方法在神经网络中集成了自注意力机制，以基于它们的相关性来利用周围的神经元素，并帮助网络捕获长程依赖性。温度是自我注意中使用的Softmax函数中的一个参数，它可以使注意力分数的分布偏向少数类似的补丁。现有的图像修补中的自注意力机制大多是基于卷积的，并且将温度设置为常数，在有限的特征空间中执行块匹配。在这项工作中，我们分析了以前的自我注意力机制的工件和训练问题，并重新设计了温度学习网络以及自我注意力机制，以解决这些问题。我们提出了一个图像修补框架，该框架具有多头温度掩蔽自注意力机制，该机制提供稳定和有效的温度学习，并使用多个远距离上下文信息来进行高质量的图像修补。除了提高图像质量的修复结果，我们推广所提出的模型，以用户引导的图像编辑，通过引入一个新的草图生成方法。在Paris StreetView、CelebA-HQ和Places 2等数据集上的大量实验清楚地表明，我们的方法不仅在感知图像质量和定量指标方面比以前的作品生成更自然的修复结果，而且还能够帮助用户生成与草图指导相关的更灵活的结果。
2023-02-13 cs.CV
Magicremover: Tuning-free Text-guided Image inpainting with Diffusion Models
Tsinghua University（清华大学）；Dalian University of Technology（大连理工大学）；ZMO AI；Microsoft Research Asia（微软亚洲研究院）
针对训练成本高及二值掩码难以处理边界不清、透明对象的问题，本文提出免调优的文本引导图像修复方法 MagicRemover，通过注意力引导和分类器优化提升擦除、恢复与去噪性能。
2023-10-04 cs.CV
Task-Decoupled Image Inpainting Framework for Class-specific Object Remover
Seoul National University（首尔大学）
针对单一图像修复模型同时承担移除与恢复导致效果不佳的问题，提出任务解耦框架，由对象恢复器指导训练类别特定对象移除器，并配套数据整理流程，在多数据集上取得更优目标对象移除效果。
2024-10-03 cs.CV
DreamPaint: Few-Shot Inpainting of E-Commerce Items for Virtual Try-On without 3D Modeling
University of Washington（华盛顿大学）；Amazon（亚马逊）
本研究提出DreamPaint框架，无需3D建模，通过少样本微调预训练扩散模型结合掩码潜变量，实现电商商品在用户上下文图像的智能补绘，在主观和定量评估中均优于现有补绘方法。
2023-05-02 cs.AI cs.CV
HD-Painter: High-Resolution and Prompt-Faithful Text-Guided Image Inpainting with Diffusion Models
Picsart AI Research (PAIR)（Picsart人工智能研究院（PAIR））；UT Austin（德克萨斯大学奥斯汀分校）；Georgia Tech（佐治亚理工学院）
HD-Painter提出无需训练的文本引导图像修复方法，通过PAIntA注意力层和RASG采样机制增强提示对齐，并支持2K高分辨率修复，在多项指标和用户研究中超越现有方法。
2024-03-18 cs.CV
Controllable Localized Face Anonymization Via Diffusion Inpainting
Center for Machine Vision and Signal Analysis (CMVS)（机器视觉与信号分析中心）；University of Oulu（奥卢大学）；ELLIS Institute Finland（芬兰ELLIS研究所）；The Machine Learning Group（机器学习小组）；UiT The Arctic University of Norway（挪威北冰洋大学）
本文提出了一种可控的局部化面部匿名化方法，利用扩散修复生成逼真的匿名图像，通过自适应属性引导模块实现精准控制，无需额外训练即可优于现有方法。
2026-01-20 cs.CV
Structure Matters: Tackling the Semantic Discrepancy in Diffusion Models for Image Inpainting
Hefei University of Technology（合肥工业大学）；Lenovo Research（联想研究院）
本文提出结构引导扩散模型 StrDiffusion，通过利用未掩码区域的时间依赖稀疏结构语义引导纹理去噪，并设计自适应重采样策略，有效解决图像修复中掩码与未掩码区域的语义差异问题。
2024-04-01 cs.CV
MTV-Inpaint: Multi-Task Long Video Inpainting
City University of Hong Kong（香港城市大学）；Tianjin University（天津大学）；Shenzhen University（深圳大学）；Kuaishou Technology（快手科技）
本文提出统一多任务长视频修复框架MTV-Inpaint，通过双分支空间注意力、I2V多模态控制及关键帧到中间帧传播，同时支持场景补全与新对象插入并达到SOTA。
2025-03-14 cs.CV
Face Swap via Diffusion Model
提出基于扩散模型的人脸交换框架，结合IP-Adapter、ControlNet和修复流程，通过DreamBooth-LoRA保证身份一致性，并利用面部引导优化提升对齐质量。
2024-05-29 cs.CV
