Enhancing Video Inpainting with Aligned Frame Interval Guidance
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）
针对现有基于I2V的视频修复方法存在块内内容退化、时空稳定性不足的问题，本文提出VidPivot框架，通过帧间隔先验引导、FrameProp模块及上下文控制器实现跨帧连贯修复，在多基准上表现优异且泛化性良好。
2025-11-14 cs.CV
E-Commerce Inpainting with Mask Guidance in Controlnet for Reducing Overcompletion
Suning（苏宁）
针对电商图像生成中扩散模型存在的商品过度补全、特征难维持的问题，提出实例掩码微调修复模型与免训练掩码引导ControlNet+UNet两种方案，有效缓解问题，在实际应用中效果良好。
2024-09-15 cs.CV
CorrFill: Enhancing Faithfulness in Reference-based Inpainting with Correspondence Guidance in Diffusion Models
National Yang Ming Chiao Tung University（国立阳明交通大学）；National Taiwan University（国立台湾大学）；NVIDIA（英伟达）；MediaTek Inc.（联发科股份有限公司）
本文提出无需训练的 CorrFill 模块，通过修复时估计的对应约束、自注意力掩码和输入张量更新，增强扩散修复对参考图像几何关系的忠实性，并提升多种基线及 SOTA 方法性能。
2025-01-04 cs.CV
Interactive Image Inpainting Using Semantic Guidance
Communication and Information Security Lab Shenzhen Graduate School, Peking University（北京大学深圳研究生院通信与信息安全实验室）
在深度神经网络的帮助下，图像修补方法取得了重大进展。然而，现有的方法主要集中在利用神经网络学习的先验分布来产生单个修复结果或进一步产生多个解决方案，其中可控性没有得到很好的研究。本文提出了一种新的图像修补方法，使用户能够根据自己的喜好或记忆定制修补结果。具体来说，我们的方法是由两个阶段，利用神经网络和用户的指导，联合修复损坏的图像。在第一阶段中，一个自动编码器的基础上，一种新的外部空间注意力机制被部署到产生的损坏的图像和粗糙的修复结果，提供语义掩模作为用户交互的媒介重建功能。在第二阶段，采用语义解码器，以重建的特征作为优先级，合成一个精细的修复结果由用户的自定义语义掩模的指导下，使最终的修复结果将共享相同的内容与用户的指导，而在第一阶段重建的纹理和颜色被保留。大量的实验表明，我们的方法在修复质量和可控性方面的优越性。
2022-01-26 cs.AI cs.CV
SketchSense: Learning to Interpret Imperfect Sketch Guidance for Image Inpainting
Fudan University（复旦大学）
SketchSense是同步去噪RGB与结构流的框架，通过双向注意力融合等技术解释不完美草图引导，在图像修复的质量和结构保真度上较现有方法有显著提升。
2026-08-14 cs.CV
Uni-paint: A Unified Framework for Multimodal Image Inpainting with Pretrained Diffusion Model
City University of Hong Kong（香港城市大学）；Tianjin University（天津大学）
Uni-paint提出统一多模态图像修复框架，基于预训练扩散模型，支持多种引导模式，无需任务特定训练，实现少样本泛化，性能与单模态方法相当。
2023-10-11 cs.CV
AVID: Any-Length Video Inpainting with Diffusion Model
Rutgers University（罗格斯大学）；Meta
AVID通过运动模块、可调结构引导及Temporal MultiDiffusion采样流程，解决了文本引导视频修复中的时间一致性、多类型修复和任意时长生成问题。
2024-03-29 cs.CV
ControlFill: Spatially Adjustable Image Inpainting from Prompt Learning
Samsung Research（三星研究院）
提出ControlFill图像修复框架，通过训练creation和removal两种提示引导无需重型文本编码器的扩散网络，并结合无分类器引导与像素级尺度分配实现空间可调的修复强度控制。
2025-03-06 cs.CV
FaceCom: Towards High-fidelity 3D Facial Shape Completion via Optimization and Inpainting Guidance
Beihang University（北京航空航天大学）；Southwest University（西南大学）；Peking University School and Hospital of Stomatology（北京大学口腔医学院）；State Key Laboratory of Virtual Reality Technology and Systems（虚拟现实技术与系统国家重点实验室）
提出FaceCom，一种基于网格生成网络的三维人脸形状补全方法，在图像修复引导下优化拟合完整人脸，有效处理不规则扫描缺失，在拟合和补全任务中表现卓越。
2024-06-04 cs.CV
Thermal Infrared Image Inpainting via Edge-Aware Guidance
Zhejiang University（浙江大学）；Hangzhou Vango Technologies, Inc.（杭州万高科技股份有限公司）
图像修补已经通过深度学习取得了根本性的进展。然而，现有的修复方法大多针对自然图像，而针对应用广泛的热红外图像的修复方法却很少。当应用于TIR图像时，传统的修补方法通常会生成失真或模糊的内容。本文提出了一种新的任务--热红外图像修补，旨在重建TIR图像的缺失区域。最重要的是，我们提出了一种新的基于深度学习的模型TIR-Fill。采用边缘发生器对TIR图像进行边缘处理。将完成的边缘投影到归一化权重和偏置，以增强模型的边缘感知。此外，基于门控卷积的细化网络被用来提高TIR图像的一致性。实验结果表明，该方法在前视红外热像数据集上的修复效果优于现有的图像修补方法。
2022-10-28 cs.AI cs.CV
SmartBrush: Text and Shape Guided Object Inpainting with Diffusion Model
Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（奥多比研究院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
通用图像修补的目的是通过借用周围的信息来完成损坏的图像，这几乎不会产生新的内容。相比之下，多模态修复提供了对修复内容\eg的更灵活和有用的控制，文本提示可用于描述具有更丰富属性的对象，并且遮罩可用于约束修复对象的形状，而不是仅被视为缺失区域。我们提出了一个新的扩散为基础的模型，名为SmartBrush完成一个丢失的区域与一个对象使用文本和形状指导。虽然以前的工作，如DALLE-2和稳定扩散可以做文本引导的inapinting，但它们不支持形状指导，并且倾向于修改生成对象周围的背景纹理。我们的模型结合了文本和形状引导以及精确控制。为了更好地保留背景，我们提出了一种新的训练和采样策略，通过对象掩模预测来增强扩散U-网络。最后，我们引入了一种多任务训练策略，通过联合训练图像修复与文本到图像生成来利用更多的训练数据。我们进行了大量的实验，表明我们的模型在视觉质量，掩模可控性和背景保护方面优于所有基线。
2022-12-09 cs.CV
Diffusion Models with Anisotropic Gaussian Splatting for Image Inpainting
University of Southern California（南加州大学）
提出结合各向异性高斯泼溅的扩散模型修复方法，利用高斯函数建模缺失区域提供结构指导，生成高保真且结构连贯的修复结果，实验优于现有技术。
2024-12-14 cs.CV
CSF-Net: Context-Semantic Fusion Network for Large Mask Inpainting
Department of Artificial Intelligence Convergence（人工智能融合系）
针对大掩码图像修复中视觉内容缺失、上下文线索有限的问题，提出CSF-Net框架，利用预训练AC模型生成语义先验，通过Transformer融合上下文特征生成引导图像，提升修复的结构准确性与语义一致性，减少对象幻觉。
2025-11-11 cs.CV
DreamMix: Decoupling Object Attributes for Enhanced Editability in Customized Image Inpainting
Information and Communication Engineering（信息与通信工程）；Dalian University of Technology（大连理工大学）；ZMO.AI Inc.（ZMO.AI公司）；University of Electronic Science and Technology of China（电子科技大学）
DreamMix提出一种基于扩散模型的框架，通过属性解耦机制、文本属性替换和解耦修复框架，在定制图像修复中实现身份保持与属性可编辑性的平衡，支持对象插入、属性编辑和小对象修复。
2025-09-24 cs.CV
TransRef: Multi-Scale Reference Embedding Transformer for Reference-Guided Image Inpainting
National Tsing Hua University（国立清华大学）；National Institute of Informatics（信息学研究所）
针对复杂语义环境和多样破损区域的图像修复挑战，提出基于Transformer的TransRef网络，通过参考嵌入过程结合参考补丁对齐与细化模块，构建含50K图像对的基准数据集，在定量和定性评估中优于现有方法。
2025-02-11 cs.CV
Outline-Guided Object Inpainting with Diffusion Models
ETH Zürich（苏黎世联邦理工学院）；IBM Research Zurich（IBM苏黎世研究院）
本文提出一种基于扩散模型的实例分割数据增强方法，利用目标轮廓作为无训练引导信号进行图像修复，在保持掩码标注对应关系的同时生成多样化目标变体，有效扩充标注数据集。
2024-02-26 cs.CV
MAGIC: Few-Shot Mask-Guided Anomaly Inpainting with Prompt Perturbation, Spatially Adaptive Guidance, and Context Awareness
Department of AI Semiconductor Engineering, Hanyang University, Seoul, Korea（汉阳大学人工智能半导体工程系）；Department of Electronic Engineering, Hanyang University, Seoul, Korea（汉阳大学电子工程系）
MAGIC通过引入提示扰动、空间自适应引导和上下文意识，解决少样本异常生成中的样本多样性问题，提升下游任务的鲁棒性。
2026-04-29 cs.AI cs.CV
Guided Image Inpainting: Replacing an Image Region by Pulling Content from Another Image
University of Texas at Austin（得克萨斯大学奥斯汀分校）；Adobe Research（Adobe研究院）
深度生成模型在使用周围环境自动合成丢失的图像区域方面取得了成功。然而，用户不能直接决定用这种方法合成什么内容。我们提出了一个端到端的图像修补网络，使用不同的图像来指导新内容的合成，以填补漏洞。我们的方法解决的一个关键挑战是在指导图像和原始图像的上下文不一致的区域合成新内容。我们进行了四项研究，证明我们的结果产生更逼真的图像修补结果超过七个基线。
2018-03-22 cs.CV
Locate, Assign, Refine: Taming Customized Promptable Image Inpainting
Alibaba Group（阿里巴巴集团）
提出LAR-Gen，一种多模态可提示图像修复方法，通过定位、分配、细化三种机制实现文本与图像引导的定制化修复，并引入数据引擎解决训练数据稀缺问题。
2025-01-22 cs.CV
Reference Guided Image Inpainting using Facial Attributes
Korea University（高丽大学）；Drexel University（德雷塞尔大学）
图像修补是一种完成缺失像素的技术，如遮挡区域恢复、干扰物体去除和面部修复。在这些修复任务中，面部修复算法根据用户的方向进行面部修复。现有的方法需要用户的精细且良好控制的输入，因此对于普通用户来说难以提供足够准确的指导以使算法生成期望的结果。为了克服这一限制，我们提出了一种替代的用户引导修复架构，使用单个参考图像作为指导来操纵面部属性。我们的端到端模型由用于准确参考图像属性传输的属性提取器和用于将属性真实准确地映射到生成的图像的修复模型组成。我们自定义MS-SSIM损失和可学习的双向注意力地图，其中重要性结构即使使用不规则形状的掩码也保持不变。基于我们使用公开数据集CelebA-HQ的评估，我们证明了所提出的方法与一些专门用于修复任务的最先进方法相比具有优异的性能。
2023-01-19 cs.CV
Token Painter: Training-Free Text-Guided Image Inpainting via Mask Autoregressive Models
本文提出 Token Painter，一种基于掩码自回归模型的免训练文本引导图像修复方法，通过双流编码器信息融合和自适应解码器注意力分数增强，在保持背景一致性的同时提升文本提示对齐和修复质量，并在多项指标上超越现有方法。
2025-11-09 cs.CV
Foreground-aware Image Inpainting
University of Rochester（罗切斯特大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（Adobe研究院）
现有的图像修补方法通常通过从周围像素借用信息来填充孔洞。当孔洞与前景物体重叠或接触时，由于缺乏关于孔洞内的前景和背景区域的实际范围的信息，它们通常产生不令人满意的结果。然而，这些场景在实践中非常重要，特别是对于诸如移除分散注意力的物体的应用。为了解决这个问题，我们提出了一个前景感知的图像修补系统，明确地解开结构推理和内容完成。具体来说，我们的模型首先学习预测前景轮廓，然后使用预测的轮廓作为指导来修复丢失的区域。我们表明，通过这样的解纠缠，轮廓完成模型预测合理的轮廓的对象，并进一步大幅提高性能的图像修补。实验表明，我们的方法显着优于现有的方法，并取得了优异的修复结果具有复杂的组成具有挑战性的情况下。
2019-04-22 cs.CV
Reference-Guided Texture and Structure Inference for Image Inpainting
Wuhan University（武汉大学）；Nanyang Technological University（南洋理工大学）；National Institute of Informatics（国立信息学研究所）
现有的基于学习的图像修补方法在面对复杂的语义环境和多样的孔洞模式时仍面临挑战。从大规模训练数据中学习到的先验信息对于这些情况仍然是不够的。覆盖相同场景的参考图像与受损图像具有相似的纹理和结构先验，这为图像修补任务提供了新的前景。受此启发，我们首先构建了一个包含10 K对输入和参考图像的基准数据集，用于参考引导修复。然后，我们采用了一个编码器-解码器结构，分别推断的纹理和结构特征的输入图像在修复过程中考虑到它们的模式差异。特征对准模块还被设计为在参考图像的引导下细化输入图像的这些特征。定量和定性的评价表明，我们的方法在完成复杂的孔的国家的最先进的方法的优越性。
2022-07-29 cs.CV
GuidPaint: Class-Guided Image Inpainting with Diffusion Models
Northwest University（西北大学）
针对现有上下文感知扩散图像修复方法对掩码区域细粒度控制不足的问题，提出无需训练的类别引导框架GuidPaint，引入分类器引导控制中间生成，融合随机与确定性采样，在定性定量评估上均优于现有方法。
2025-07-29 cs.CV
When Diffusion Models Forget Who You Are: Identity Preservation in Face Inpainting under Large Occlusions
针对大遮挡和冲突文本引导下人脸修复的身份保留难题，提出级联扩散框架ReSem-Face，在CelebAHQ-IDI-5等数据集上验证其身份保留修复及文本编辑质量优于基线。
2026-08-06 cs.CV
NÜWA-LIP: Language Guided Image Inpainting with Defect-free VQGAN
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院）；Microsoft Research Asia（微软亚洲研究院）；Microsoft（微软）
语言引导的图像修补是在文本的引导下对图像中的缺陷区域进行修补，而非缺陷区域保持不变。然而，现有模型的编码过程遭受缺陷区域的接受性传播或非缺陷区域的信息丢失，从而产生视觉上不吸引人的修补结果。为了解决上述问题，本文提出了NÜWA-LIP，将无缺陷VQGAN（DF-VQGAN）与多视角序列到序列（MP-S2 S）相结合。特别是DF-VQGAN引入了相对估计来控制接收扩展，并采用对称连接来保护信息。MP-S2 S从互补的角度进一步增强了视觉信息，包括低级像素和高级令牌。实验表明，DF-VQGAN比VQGAN具有更好的鲁棒性。为了评估我们模型的修复性能，我们建立了3个开放域基准，其中NÜWA-LIP也优于最近的强基线。
2022-02-10 cs.CV
Boosted GAN with Semantically Interpretable Information for Image Inpainting
The University of Melbourne（墨尔本大学）
图像修补的目的是修复受损图像中的缺失区域，在图像复原、目标去除等方面有着广泛的应用。然而，目前基于GAN的修复模型未能明确考虑恢复图像与原始图像之间的语义一致性。例如，给定一个男性图像，其中一只眼睛的图像区域丢失，当前模型可以用女性眼睛来恢复它。这是由于基于GAN的修复模型的模糊性：这些模型可以在给定缺失区域的情况下生成许多可能的修复。为了解决这一限制，我们的关键见解是，输入图像（缺失区域）的语义可解释信息（如属性和分割信息）可以为修复过程提供必要的指导。基于这一观点，我们提出了一个增强的GAN与语义可解释的信息的图像修补，由一个修复网络和判别网络。修复网络利用两个辅助的预训练网络来发现输入图像的属性和分割信息，并将其纳入修复过程中，以提供明确的语义级指导。判别网络采用多层设计，不仅可以对整体真实性进行正则化，还可以对与原始图像的属性和分割一致性进行正则化。实验结果表明，我们提出的模型可以保持一致性的属性和分割水平，并显着优于国家的最先进的模型。
2019-08-13 cs.AI cs.CV
FreeInpaint: Tuning-free Prompt Alignment and Visual Rationality Enhancement in Image Inpainting
FreeInpaint通过无调优的扩散潜在特征优化方法，提升图像修复的提示对齐和视觉合理性。
2025-12-24 cs.CV
Context-Aware Image Inpainting with Learned Semantic Priors
Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）
图像修补的最新进展已经显示出在相当简单的背景上生成可信的视觉细节的令人印象深刻的结果。然而，对于复杂的场景，它仍然是具有挑战性的，以恢复合理的内容，因为在丢失的区域内的上下文信息往往是模糊的。为了解决这个问题，我们引入了借口任务，语义上有意义的估计缺失的内容。特别是，我们进行知识蒸馏的借口模型和适应的特点，图像修补。学习到的语义先验知识在高级托词任务和低级图像修补之间应该是部分不变的，这不仅有助于理解全局上下文，而且为局部纹理的恢复提供了结构指导。基于语义先验知识，我们进一步提出了一种上下文感知的图像修补模型，该模型在统一的图像生成器中自适应地集成了全局语义和局部特征。语义学习器和图像生成器以端到端的方式进行训练。我们将模型命名为SPL，以突出其学习和利用语义先验的能力。它在Places2，CelebA和Paris StreetView数据集上达到了最先进的水平。
2021-06-14 cs.CV
Efficient Zero-Shot Inpainting with Decoupled Diffusion Guidance
CMAP, Ecole Polytechnique（高等理工学院CMAP）；Institute of Foundation Models（基础模型研究所）；MBZUAI（穆扎夫技术研究院）；EPITA；Sorbonne University（索邦大学）；Lagrange Mathematics and Computing Research Center（拉格朗日数学与计算研究中心）；EPITA Research Lab（EPITA研究实验室）；KTH Royal Institute of Technology（皇家理工学院）
本文提出了解耦扩散引导方法，通过简化采样过程降低内存和运行开销，实现高效的零样本修复。
2026-04-29 cs.CV cs.LG
Foreground-guided Facial Inpainting with Fidelity Preservation
Manchester Metropolitan University（曼彻斯特城市大学）；Image Metrics Ltd（Image Metrics 公司）
人脸图像修补是一个非常具有挑战性的课题，它要求图像的真实感得到很好的保持。这是由于关键面部特征（组件）中的微妙纹理不容易转移。许多图像修补技术已经被提出，具有出色的性能和高定量性能记录。然而，对于面部修复，特征更明显，并且混合修复区域的视觉质量在质量上更重要。基于这些事实，我们设计了一个前景引导的面部修复框架，可以提取和生成的面部特征，使用卷积神经网络层。它介绍了使用前景分割掩模来保持保真度。具体来说，我们提出了一个新的损失函数的语义能力推理的面部表情，自然和不自然的功能（化妆）。我们使用CelebA-HQ数据集，CelebAMAsk-HQ（用于前景指导）和Quick Draw Mask（用于缺失区域）的分割掩模进行实验。我们提出的方法取得了可比的定量结果相比，最先进的，但定性，它表现出高保真保存面部组件。
2021-05-07 cs.CV
SPGNet: Semantic Prediction Guidance for Scene Parsing
UIUC（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）；ReLER, UTS（悉尼科技大学ReLER实验室）；University of Oregon（俄勒冈大学）
多尺度上下文模块和单级编码器-解码器结构通常用于语义分割。多尺度上下文模块是指从大空间范围聚合特征响应的操作，而单级编码器-解码器结构在编码器路径中编码高层语义信息，并在解码器路径中恢复边界信息。相比之下，多级编码器-解码器网络已被广泛应用于人体姿态估计，并显示出优于单级的性能。然而，很少有人尝试将这种有效的设计用于语义分割。在这项工作中，我们提出了一个语义预测指导（SPG）模块，该模块通过像素语义预测的指导来学习重新加权局部特征。我们发现，通过仔细地重新加权各个阶段的特征，与我们提出的SPG模块相结合的两阶段编码器-解码器网络可以显着优于具有类似参数和计算的一阶段对应物。最后，我们报告的实验结果语义分割基准城市景观，其中我们的SPGNet达到81.1%的测试集只使用“罚款”注释。
2019-08-26 cs.CV
Image Inpainting Models are Effective Tools for Instruction-guided Image Editing
ARC Lab, Tencent PCG（腾讯PCG ARC实验室）；The Chinese University of Hong Kong（香港中文大学）
本文提出基于图像修复的指令引导图像编辑方法IIIE，通过四步流程结合语言模型与修复模型，无需联合微调即可实现高成功率与良好视觉质量。
2024-07-18 cs.CV
SONIC: Spectral Optimization of Noise for Inpainting with Consistency
University of British Columbia（不列颠哥伦比亚大学）；Google DeepMind（谷歌DeepMind）
提出一种无需训练的修复方法，通过谱域优化初始噪声样本，使通用文本到图像模型适用于修复任务，在少量优化步骤后超越现有技术。
2026-07-02 cs.CV
VipDiff: Towards Coherent and Diverse Video Inpainting via Training-free Denoising Diffusion Models
The University of Hong Kong（香港大学）
VipDiff提出免训练扩散模型框架，利用光流引导像素传播，实现时间连贯且多样的视频修复，显著优于现有方法。
2025-01-21 cs.CV
Learning to Scale Temperature in Masked Self-Attention for Image Inpainting
Southern University of Science and Technology（南方科技大学）
深度生成对抗网络（GAN）和自注意力机制的最新进展使得修复图像中大缺失区域的挑战性任务得到了显着改进。这些方法在神经网络中集成了自注意力机制，以基于它们的相关性来利用周围的神经元素，并帮助网络捕获长程依赖性。温度是自我注意中使用的Softmax函数中的一个参数，它可以使注意力分数的分布偏向少数类似的补丁。现有的图像修补中的自注意力机制大多是基于卷积的，并且将温度设置为常数，在有限的特征空间中执行块匹配。在这项工作中，我们分析了以前的自我注意力机制的工件和训练问题，并重新设计了温度学习网络以及自我注意力机制，以解决这些问题。我们提出了一个图像修补框架，该框架具有多头温度掩蔽自注意力机制，该机制提供稳定和有效的温度学习，并使用多个远距离上下文信息来进行高质量的图像修补。除了提高图像质量的修复结果，我们推广所提出的模型，以用户引导的图像编辑，通过引入一个新的草图生成方法。在Paris StreetView、CelebA-HQ和Places 2等数据集上的大量实验清楚地表明，我们的方法不仅在感知图像质量和定量指标方面比以前的作品生成更自然的修复结果，而且还能够帮助用户生成与草图指导相关的更灵活的结果。
2023-02-13 cs.CV
Magicremover: Tuning-free Text-guided Image inpainting with Diffusion Models
Tsinghua University（清华大学）；Dalian University of Technology（大连理工大学）；ZMO AI；Microsoft Research Asia（微软亚洲研究院）
针对训练成本高及二值掩码难以处理边界不清、透明对象的问题，本文提出免调优的文本引导图像修复方法 MagicRemover，通过注意力引导和分类器优化提升擦除、恢复与去噪性能。
2023-10-04 cs.CV
Task-Decoupled Image Inpainting Framework for Class-specific Object Remover
Seoul National University（首尔大学）
针对单一图像修复模型同时承担移除与恢复导致效果不佳的问题，提出任务解耦框架，由对象恢复器指导训练类别特定对象移除器，并配套数据整理流程，在多数据集上取得更优目标对象移除效果。
2024-10-03 cs.CV
HD-Painter: High-Resolution and Prompt-Faithful Text-Guided Image Inpainting with Diffusion Models
Picsart AI Research (PAIR)（Picsart人工智能研究院（PAIR））；UT Austin（德克萨斯大学奥斯汀分校）；Georgia Tech（佐治亚理工学院）
HD-Painter提出无需训练的文本引导图像修复方法，通过PAIntA注意力层和RASG采样机制增强提示对齐，并支持2K高分辨率修复，在多项指标和用户研究中超越现有方法。
2024-03-18 cs.CV
Self-produced Guidance for Weakly-supervised Object Localization
University of Technology Sydney（悉尼科技大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
弱监督方法通常基于分类网络产生的注意力图来生成定位结果。然而，注意力地图展示了对象的最具区分力的部分，这些部分很小且稀疏。我们建议生成自产指导（SPG）掩模，将前景（感兴趣的对象）与背景分离，为分类网络提供像素的空间相关性信息。提出了一种分阶段的方法，将高置信度的对象区域学习SPG掩模。利用注意力图中的高置信度区域来逐步学习SPG掩码。然后将掩模用作辅助像素级监督以促进分类网络的训练。ILSVRC上的大量实验表明，SPG是有效的，在生产高质量的目标定位地图。特别地，所提出的SPG在ILSVRC验证集上实现了43.83%的Top-1定位出错率，这是新的最先进的出错率。
2018-08-05 cs.CV
Controllable Localized Face Anonymization Via Diffusion Inpainting
Center for Machine Vision and Signal Analysis (CMVS)（机器视觉与信号分析中心）；University of Oulu（奥卢大学）；ELLIS Institute Finland（芬兰ELLIS研究所）；The Machine Learning Group（机器学习小组）；UiT The Arctic University of Norway（挪威北冰洋大学）
本文提出了一种可控的局部化面部匿名化方法，利用扩散修复生成逼真的匿名图像，通过自适应属性引导模块实现精准控制，无需额外训练即可优于现有方法。
2026-01-20 cs.CV
Structure Matters: Tackling the Semantic Discrepancy in Diffusion Models for Image Inpainting
Hefei University of Technology（合肥工业大学）；Lenovo Research（联想研究院）
本文提出结构引导扩散模型 StrDiffusion，通过利用未掩码区域的时间依赖稀疏结构语义引导纹理去噪，并设计自适应重采样策略，有效解决图像修复中掩码与未掩码区域的语义差异问题。
2024-04-01 cs.CV
MTV-Inpaint: Multi-Task Long Video Inpainting
City University of Hong Kong（香港城市大学）；Tianjin University（天津大学）；Shenzhen University（深圳大学）；Kuaishou Technology（快手科技）
本文提出统一多任务长视频修复框架MTV-Inpaint，通过双分支空间注意力、I2V多模态控制及关键帧到中间帧传播，同时支持场景补全与新对象插入并达到SOTA。
2025-03-14 cs.CV
Face Swap via Diffusion Model
提出基于扩散模型的人脸交换框架，结合IP-Adapter、ControlNet和修复流程，通过DreamBooth-LoRA保证身份一致性，并利用面部引导优化提升对齐质量。
2024-05-29 cs.CV
Deficiency-Aware Masked Transformer for Video Inpainting
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of North Texas（北德克萨斯大学）
针对跨帧信息缺失的视频修复问题，提出双模态兼容的 DMT 框架，通过图像先验蒸馏、选择性时空注意力和感受野上下文化器提升性能。
2023-07-17 cs.CV
End4: End-to-end Denoising Diffusion for Diffusion-Based Inpainting Detection
本文提出端到端去噪扩散检测方法 End4，通过去噪重建对齐潜在空间并利用尺度感知金字塔融合模块增强特征判别力，以检测基于扩散的图像修复伪造，实验证明其泛化性和鲁棒性优于现有方法。
2025-09-18 cs.CV
Enhancing Diffusion Model Stability for Image Restoration via Gradient Management
College of Computer Science, Sichuan University（四川大学计算机学院）；National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University（合成视觉基础科学国家重点实验室（四川大学））；Engineering Research Center of Machine Learning（机器学习工程研究中心）
针对扩散模型图像复原中先验与似然梯度冲突、似然梯度波动导致的不稳定问题，提出含渐进似然预热与自适应方向动量的SPGD方法，提升生成稳定性与复原性能。
2025-09-03 cs.CV cs.LG
SPG-VTON: Semantic Prediction Guidance for Multi-pose Virtual Try-on
基于图像的虚拟试穿是具有挑战性的，在不同的人类姿势下，将目标店内服装适配到参考人。以前的作品侧重于保留服装细节（例如，纹理、标志、图案）。然而，现有的方法的性能显着下降时，将现有的方法扩展到多姿态虚拟试穿。在本文中，我们提出了一个端到端的语义预测指导多姿态虚拟试穿网络（SPG-VTON），它可以适应所需的服装到一个参考人在任意姿势。具体地说，SPG-VTON由三个子模块组成。首先，语义预测模块（SPM）生成所需的语义图。预测的语义图提供了更丰富的指导，以定位所需的衣服区域，并产生一个粗略的试穿图像。第二，衣服翘曲模块（CWM）根据预测的语义图和期望的姿势将店内衣服翘曲成期望的形状。具体来说，我们引入了一个可传导的循环一致性损失，以减轻在服装整经过程中的错位。第三，试穿合成模块（TSM）将粗略结果和变形的衣服组合以生成最终的虚拟试穿图像，保留所需衣服的细节和所需姿势。此外，我们引入了一个人脸身份损失，以改善面部外观，并保持最终的虚拟试穿结果的身份在同一时间。我们在最大规模的多姿态数据集（MPV）和DeepFashion数据集上评估了所提出的方法。定性和定量实验表明，SPG-VTON优于现有的方法，并且对数据噪声具有鲁棒性，包括背景和附件变化，即，帽子和手袋，显示出良好的可扩展性，以现实世界的场景。
2022-10-17 cs.CV
3D-Consistent Image Inpainting with Diffusion Models
NAVER LABS Europe（NAVER欧洲实验室）
针对扩散模型图像修复的3D不一致问题，提出融入场景另一视角信息的改进扩散模型，无需显式3D监督即可实现3D一致且语义连贯的修复，在多数据集上表现优于现有最优方法。
2024-12-08 cs.AI cs.CV
SAGI: Semantically Aligned and Uncertainty Guided AI Image Inpainting
Department of Electrical and Computer Engineering, Aristotle University of Thessaloniki（阿尔伯塔大学电气与计算机工程系）；Information Technologies Institute, CERTH（信息科技研究所）
提出SAGI流水线，利用预训练大模型实现语义对齐与不确定性引导的自动图像修复，构建最大数据集SAGI-D，显著提升图像质量并降低人类鉴别准确率，同时增强取证检测性能。
2025-08-04 cs.CV
PanoFree: Tuning-Free Holistic Multi-view Image Generation with Cross-view Self-Guidance
OPPO US Research Center（OPPO美国研究中心）；Boston University（波士顿大学）
本文提出免训练多视图全景生成方法 PanoFree，通过迭代变形修复、跨视图自引导、风险区域处理与双向回环生成，在一致性、质量、多样性及效率上显著优于现有方法。
2024-08-04 cs.CV
Multi-Agent Amodal Completion: Direct Synthesis with Fine-Grained Semantic Guidance
School of Computer Science and Engineering（计算机科学与工程学院）；Beihang University（北京航空航天大学）；School of Software（软件学院）
本文提出协同多智能体推理框架，通过多智能体协同分析遮挡关系、生成细粒度文本语义引导，并直接输出分层RGBA结果，解决了非模态补全中的误差累积与遮挡物再生问题，达到最先进视觉质量。
2025-09-22 cs.CV cs.MA
Shape-guided Object Inpainting
Johns Hopkins University（约翰斯·霍普金斯大学）；Adobe Research（奥多比研究院）
以往的图像修补工作主要集中在背景或部分缺失对象的修补上，而完整缺失对象的修补问题尚未得到研究。本文研究了一种新的图像修补任务，即形状引导的对象修复。给定不完整的输入图像，目标是通过基于上下文和由孔形状给出的隐式指导生成对象来填充孔。由于以前的图像修补方法主要是针对背景修补而设计的，因此它们并不适用于这一任务。因此，我们提出了一种新的数据准备方法和一种新的上下文对象生成器（CogNet）的对象修复任务。在数据方面，我们通过使用对象实例作为洞，将对象先验信息合并到训练数据中。CogNet有一个双流架构，它将标准的自下而上的图像完成过程与自上而下的对象生成过程相结合。预测类嵌入模块通过从自下而上的特征预测丢失对象的类来桥接两个流，从中导出语义对象映射作为自上而下流的输入。实验表明，该方法可以生成符合上下文的真实感对象，无论是视觉外观和语义。代码可以在项目页面\url{https://zengxianyu.github.io/objpaint}找到
2022-04-16 cs.CV cs.MM
Thinking inside the Convolution for Image Inpainting: Reconstructing Texture via Structure under Global and Local Side
School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院）；Department of Automation, Tsinghua University（清华大学自动化系）；Lenovo Research（联想研究院）
本文提出通过结构和纹理特征图的统计归一化和去归一化策略，缓解卷积下采样中的信息损失，提升图像修复的高质量输出。
2026-02-03 cs.CV
