TGIF: Text-Guided Inpainting Forgery Dataset
IDLab, Ghent University – imec(IDLab,根特大学-微电子中心);Information Technologies Institute, CERTH(塞萨洛尼基研究与技术中心信息技术研究所)
针对文本引导图像修复带来的取证新挑战,本文构建了含约7.5万张伪造图像的TGIF数据集,基准测试发现现有最优伪造定位与合成检测方法存在明显局限,旨在推动相关检测技术的发展。
2024-10-04 cs.AI cs.CR cs.CV
Architect: Generating Vivid and Interactive 3D Scenes with Hierarchical 2D Inpainting
Umass Amherst(马萨诸塞大学阿默斯特分校);Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学);MIT(麻省理工学院)
提出Architect框架,利用分层2D图像修复和深度估计模型生成复杂逼真的3D具身环境,解决现有方法依赖预定义规则和3D空间推理能力有限的问题。
2024-11-14 cs.CV
Image Inpainting Using AutoEncoder and Guided Selection of Predicted Pixels
Isfahan University of Technology(伊斯法罕理工大学);McMaster University(麦克马斯特大学)
图像修补是一种有效的增强失真图像的方法。不同的修复方法使用相邻像素的信息来预测丢失像素的值。最近,深度神经网络已经被用于学习图像的结构和语义细节以用于修复目的。在本文中,我们提出了一个网络的图像修补。该网络类似于U-Net,从图像中提取各种特征,从而获得更好的结果。我们通过用输出图像的恢复像素替换损坏的像素来改进最终结果。我们的实验结果表明,该方法产生高质量的结果相比,传统的方法。
2021-12-17 cs.CV eess.IV
Towards An End-to-End Framework for Flow-Guided Video Inpainting
Nankai University(南开大学);Hisilicon Technologies Co. Ltd.(海思技术有限公司)
光流,捕捉跨帧的运动信息,利用在最近的视频修复方法,通过沿其轨迹传播像素。然而,这些方法中的手工制作的基于流的过程被单独应用以形成整个修复管道。因此,这些方法效率较低,并且严重依赖于早期阶段的中间结果。在本文中,我们提出了一个端到端的框架流引导视频修复(E $^2$ FGVI)通过精心设计的三个可训练的模块,即流完成,特征传播,和内容幻觉模块。这三个模块对应于以前基于流的方法的三个阶段,但可以联合优化,从而实现更高效和更有效的修复过程。实验结果表明,该方法优于国家的最先进的方法,定性和定量,并显示出良好的效率。该代码可在https://github.com/MCG-NKU/E2FGVI上获得。
2022-04-07 cs.CV eess.IV
Flow-Guided Video Inpainting with Scene Templates
KAUST(阿卜杜拉国王科技大学)
我们考虑的问题,在缺失的时空区域的视频填充。我们提供了一种新的基于流的解决方案,通过引入生成模型的图像的场景(没有丢失的区域)和映射从场景到图像。我们使用该模型来联合推断场景模板、场景的2D表示和映射。这确保了生成到底层场景的帧到帧流的一致性,减少了基于流的修补中的几何失真。通过新的L2-L1插值方案将模板映射到视频中缺失的区域,从而创建清晰的图像修复并减少常见的模糊和失真伪影。我们在两个基准数据集上显示,我们的方法在定量和用户研究方面都优于最先进的方法。
2021-08-29 cs.AI cs.CV
3D Gaussian Inpainting with Depth-Guided Cross-View Consistency
Graduate Institute of Communication Engineering, National Taiwan University(国立台湾大学通信工程研究所);NVIDIA, Taiwan(NVIDIA台湾分公司)
针对3D图像修复中的跨视图一致性问题,提出深度引导的3DGIC框架,利用跨视图背景像素更新修复掩码以优化3DGS,在定量与定性上均优于现有方法。
2025-04-28 cs.CV cs.LG
GazeCorrection:Self-Guided Eye Manipulation in the wild using Self-Supervised Generative Adversarial Networks
Shandong University(山东大学);University of Trento(特伦托大学);Texas State University(德克萨斯州立大学)
凝视校正的目的是通过操纵眼睛区域将人的凝视重新引导到相机中,并且它可以被认为是特定的图像再合成问题。凝视校正在现实生活中有着广泛的应用,例如凝视相机拍照。在本文中,我们提出了一种新的方法,该方法是基于修复模型来学习从人脸图像中填充丢失的眼睛区域与新的内容表示校正眼睛注视。此外,该模型不需要标注特定的头部姿态和眼睛角度信息的训练数据集,因此,训练数据易于收集。为了保留原始输入中眼睛区域的身份信息,我们提出了一种自引导的预训练模型来学习角度不变性特征。实验表明,我们的模型取得了非常引人注目的凝视校正结果在野生数据集,这是从网站上收集,并将详细介绍。代码可在https://github.com/zhangqianhui/GazeCorrection上获得。
2019-06-03 cs.AI cs.CV
Reference Guided Image Inpainting using Facial Attributes
Korea University(高丽大学);Drexel University(德雷塞尔大学)
图像修补是一种完成缺失像素的技术,如遮挡区域恢复、干扰物体去除和面部修复。在这些修复任务中,面部修复算法根据用户的方向进行面部修复。现有的方法需要用户的精细且良好控制的输入,因此对于普通用户来说难以提供足够准确的指导以使算法生成期望的结果。为了克服这一限制,我们提出了一种替代的用户引导修复架构,使用单个参考图像作为指导来操纵面部属性。我们的端到端模型由用于准确参考图像属性传输的属性提取器和用于将属性真实准确地映射到生成的图像的修复模型组成。我们自定义MS-SSIM损失和可学习的双向注意力地图,其中重要性结构即使使用不规则形状的掩码也保持不变。基于我们使用公开数据集CelebA-HQ的评估,我们证明了所提出的方法与一些专门用于修复任务的最先进方法相比具有优异的性能。
2023-01-19 cs.CV
Do Inpainting Yourself: Generative Facial Inpainting Guided by Exemplars
本文提出 EXE-GAN 框架,通过融合输入图像全局风格、随机潜码风格和范例风格,并引入属性相似度度量与空间变化梯度反向传播技术,实现高质量、范例引导的人脸修复。
2022-08-14 cs.AI cs.CV cs.GR
Inpainting at Modern Camera Resolution by Guided PatchMatch with Auto-Curation
University of Pennsylvania(宾夕法尼亚大学);Adobe Research(Adobe研究院)
最近,深度模型已经为低分辨率图像修补建立了SOTA性能,但是它们在与现代相机(例如4K或更高)相关联的分辨率下以及对于大孔缺乏保真度。我们贡献了一个代表现代传感器的4K及以上照片的修复基准数据集。我们展示了一个结合了深度学习和传统方法的新框架。我们使用现有的深度修复模型LaMa来合理地填充漏洞,建立由结构,分割,深度组成的三个指导图像,并应用乘法指导PatchMatch来产生八个候选上采样修复图像。接下来,我们通过一个新颖的策展模块来馈送所有候选修复,该模块通过对8x8反对称成对偏好矩阵进行列求和来选择一个好的修复。我们的框架的结果在8个强基线上得到了用户的压倒性青睐,定量指标的改进比最佳基线LaMa高出7.4,我们的技术与4个不同的SOTA修复主干配对时,每个都得到了改进,因此我们的技术在强大的超分辨率基线上得到了用户的压倒性青睐。
2022-08-06 cs.CV
Guided Image Inpainting: Replacing an Image Region by Pulling Content from Another Image
University of Texas at Austin(得克萨斯大学奥斯汀分校);Adobe Research(Adobe研究院)
深度生成模型在使用周围环境自动合成丢失的图像区域方面取得了成功。然而,用户不能直接决定用这种方法合成什么内容。我们提出了一个端到端的图像修补网络,使用不同的图像来指导新内容的合成,以填补漏洞。我们的方法解决的一个关键挑战是在指导图像和原始图像的上下文不一致的区域合成新内容。我们进行了四项研究,证明我们的结果产生更逼真的图像修补结果超过七个基线。
2018-03-22 cs.CV
3DFill:Reference-guided Image Inpainting by Self-supervised 3D Image Alignment
Tsinghua University(清华大学);Huawei Technologies(华为技术有限公司)
现有的大多数图像修补算法都是基于单个视图的,难以处理大孔洞或包含复杂场景的孔洞。一些参考引导算法通过参考另一个视点图像来填充孔,并使用2D图像对齐。由于摄像机成像过程的原因,简单的二维变换很难达到令人满意的效果。在本文中,我们提出了3DFill,一个简单而有效的方法参考引导图像修补。给定具有任意孔洞区域的目标图像和来自另一视点的参考图像,3DFill首先通过两阶段方法对齐两个图像:3D投影+ 2D变换,其效果优于2D图像对齐。3D投影是图像之间的整体对准,而2D变换是聚焦于孔区域的局部对准。图像对齐的整个过程是自我监督的。然后,我们用对齐图像的内容填充目标图像中的孔。最后,我们使用一个条件生成网络细化填充图像,以获得修复结果。3DFill在各种宽视图偏移的图像修补上实现了最先进的性能,并且具有比其他修补模型更快的推理速度。
2022-11-09 cs.CV
GuidPaint: Class-Guided Image Inpainting with Diffusion Models
Northwest University(西北大学)
针对现有上下文感知扩散图像修复方法对掩码区域细粒度控制不足的问题,提出无需训练的类别引导框架GuidPaint,引入分类器引导控制中间生成,融合随机与确定性采样,在定性定量评估上均优于现有方法。
2025-07-29 cs.CV
DAFT-GAN: Dual Affine Transformation Generative Adversarial Network for Text-Guided Image Inpainting
Kyungpook National University(庆北国立大学)
针对文本引导图像修复中的图文对齐与区域分布一致性问题,提出DAFT-GAN,通过双仿射变换逐步融合特征并分区编码以减少信息泄漏,在三个基准上取得优于现有GAN模型的效果。
2024-08-09 cs.CV
Reference-Guided Texture and Structure Inference for Image Inpainting
Wuhan University(武汉大学);Nanyang Technological University(南洋理工大学);National Institute of Informatics(国立信息学研究所)
现有的基于学习的图像修补方法在面对复杂的语义环境和多样的孔洞模式时仍面临挑战。从大规模训练数据中学习到的先验信息对于这些情况仍然是不够的。覆盖相同场景的参考图像与受损图像具有相似的纹理和结构先验,这为图像修补任务提供了新的前景。受此启发,我们首先构建了一个包含10 K对输入和参考图像的基准数据集,用于参考引导修复。然后,我们采用了一个编码器-解码器结构,分别推断的纹理和结构特征的输入图像在修复过程中考虑到它们的模式差异。特征对准模块还被设计为在参考图像的引导下细化输入图像的这些特征。定量和定性的评价表明,我们的方法在完成复杂的孔的国家的最先进的方法的优越性。
2022-07-29 cs.CV
Shape-guided Object Inpainting
Johns Hopkins University(约翰斯·霍普金斯大学);Adobe Research(奥多比研究院)
以往的图像修补工作主要集中在背景或部分缺失对象的修补上,而完整缺失对象的修补问题尚未得到研究。本文研究了一种新的图像修补任务,即形状引导的对象修复。给定不完整的输入图像,目标是通过基于上下文和由孔形状给出的隐式指导生成对象来填充孔。由于以前的图像修补方法主要是针对背景修补而设计的,因此它们并不适用于这一任务。因此,我们提出了一种新的数据准备方法和一种新的上下文对象生成器(CogNet)的对象修复任务。在数据方面,我们通过使用对象实例作为洞,将对象先验信息合并到训练数据中。CogNet有一个双流架构,它将标准的自下而上的图像完成过程与自上而下的对象生成过程相结合。预测类嵌入模块通过从自下而上的特征预测丢失对象的类来桥接两个流,从中导出语义对象映射作为自上而下流的输入。实验表明,该方法可以生成符合上下文的真实感对象,无论是视觉外观和语义。代码可以在项目页面\url{https://zengxianyu.github.io/objpaint}找到
2022-04-16 cs.CV cs.MM
Image Inpainting Models are Effective Tools for Instruction-guided Image Editing
ARC Lab, Tencent PCG(腾讯PCG ARC实验室);The Chinese University of Hong Kong(香港中文大学)
本文提出基于图像修复的指令引导图像编辑方法IIIE,通过四步流程结合语言模型与修复模型,无需联合微调即可实现高成功率与良好视觉质量。
2024-07-18 cs.CV
Deep Flow-Guided Video Inpainting
The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学)
视频修复的目的是填补视频中缺失的区域,由于难以保持视频内容的精确空间和时间一致性,因此仍然具有挑战性。在这项工作中,我们提出了一种新的流引导的视频修复方法。我们将视频修复视为一个像素传播问题,而不是直接填充每帧的RGB像素。我们首先使用一个新设计的深流完成网络合成一个空间和时间相干的光流场跨视频帧。然后利用合成的流场引导像素点的传播来填充视频中的缺失区域。具体来说,Deep Flow Completion网络遵循由粗到细的细化来完成流场,而它们的质量通过硬流示例挖掘进一步提高。按照完整的流程指导,可以精确地填充缺失的视频区域。我们的方法在DAVIS和YouTube-VOS数据集上进行了定性和定量评估,在修复质量和速度方面达到了最先进的性能。
2019-05-08 cs.CV
Layout-guided Indoor Panorama Inpainting with Plane-aware Normalization
National Tsing Hua University(台湾清华大学)
我们提出了一个用于室内全景图像修补的端到端深度学习框架。虽然以前的修复方法在自然透视图像上表现出令人印象深刻的性能,但大多数无法处理全景图像,特别是室内场景,这些场景通常包含复杂的结构和纹理内容。为了实现更好的修复质量,我们建议在修复过程中利用室内全景的全局和局部上下文。具体地说,我们采取低层次的布局边缘估计从输入的全景作为一个前指导修复模型恢复全球室内结构。采用平面感知归一化模块来将从布局导出的平面风格特征嵌入到生成器中,从而鼓励从相邻房间结构(即,天花板、地板和墙壁)。实验结果表明,我们的工作优于当前国家的最先进的方法在公共全景数据集上的定性和定量评价。我们的代码可在https://ericsujw.github.io/LGPN-net/上获得
2023-01-13 cs.CV
I Dream My Painting: Connecting MLLMs and Diffusion Models via Prompt Generation for Text-Guided Multi-Mask Inpainting
University of Bari Aldo Moro(巴里阿尔多·莫罗大学)
本文提出多掩码修复新任务,通过微调多模态大语言模型自动生成多区域提示,并结合修正交叉注意力的Stable Diffusion实现文本引导的精确修复,在绘画数据集上验证了其创意性与准确性。
2024-12-06 cs.CV
NÜWA-LIP: Language Guided Image Inpainting with Defect-free VQGAN
Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算机学院);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软)
语言引导的图像修补是在文本的引导下对图像中的缺陷区域进行修补,而非缺陷区域保持不变。然而,现有模型的编码过程遭受缺陷区域的接受性传播或非缺陷区域的信息丢失,从而产生视觉上不吸引人的修补结果。为了解决上述问题,本文提出了NÜWA-LIP,将无缺陷VQGAN(DF-VQGAN)与多视角序列到序列(MP-S2 S)相结合。特别是DF-VQGAN引入了相对估计来控制接收扩展,并采用对称连接来保护信息。MP-S2 S从互补的角度进一步增强了视觉信息,包括低级像素和高级令牌。实验表明,DF-VQGAN比VQGAN具有更好的鲁棒性。为了评估我们模型的修复性能,我们建立了3个开放域基准,其中NÜWA-LIP也优于最近的强基线。
2022-02-10 cs.CV
Coherent Video Inpainting Using Optical Flow-Guided Efficient Diffusion
Hong Kong University of Science and Technology(香港科技大学);DAMO Academy, Alibaba Group(阿里巴巴达摩院)
本文提出光流引导的高效扩散视频修复框架FloED,通过双分支架构、多尺度光流适配器、无需训练的潜在插值和光流注意力缓存机制,在背景恢复与物体移除任务上同时提升修复质量与计算效率。
2025-03-11 cs.CV
Reference-Guided Large-Scale Face Inpainting with Identity and Texture Control
Fudan University(复旦大学);China University of Petroleum(中国石油大学)
人脸图像修复的目的是对受损区域内的缺失像素进行合理预测。大多数现有的方法依赖于从大数据集中学习人脸图像分布的生成模型,这会产生不可控的结果,特别是大规模缺失区域。为了引入强控制的人脸修复,我们提出了一种新的参考引导的人脸修复方法,填补了大规模的缺失区域的身份和纹理控制的参考人脸图像的指导。然而,在施加两个控制信号的情况下生成高质量的结果是具有挑战性的。为了解决这个问题,我们提出了一个双重控制的一级框架,将参考图像分为两个层次的灵活控制:高层次的身份信息和低层次的纹理信息,其中身份信息的数字的形状的脸和纹理信息描绘的组件感知纹理。为了合成高质量的结果,我们设计了两个新的模块,称为半AdaIN和明智的风格注入器(CWSI)注入两种控制信息到修复处理。我们的方法产生逼真的结果与身份和纹理控制忠实于参考图像。据我们所知,这是第一个同时应用身份和组件级控制的人脸修复,以保证更精确和可控的结果。代码可在https://github.com/WuyangLuo/RefFaceInpainting上获得
2023-03-13 cs.CV
Flow-Guided Diffusion for Video Inpainting
本文提出流引导扩散模型FGDVI,通过重用图像扩散模型和光流引导潜在插值,提升视频修复的时间一致性与质量,并在流变形误差上比现有方法提升10%。
2025-01-23 cs.CV
FCDM: A Physics-Guided Bidirectional Frequency Aware Convolution and Diffusion-Based Model for Sinogram Inpainting
Argonne National Laboratory, USA(阿贡国家实验室)
FCDM是一种基于物理的双向频率感知卷积和扩散模型,用于修复sinogram,通过结合双向频率推理、角感知掩码和物理引导正则化,提升全局结构和物理合理性的保持能力。
2026-02-07 cs.CV eess.IV
MAGIC: Few-Shot Mask-Guided Anomaly Inpainting with Prompt Perturbation, Spatially Adaptive Guidance, and Context Awareness
Department of AI Semiconductor Engineering, Hanyang University, Seoul, Korea(汉阳大学人工智能半导体工程系);Department of Electronic Engineering, Hanyang University, Seoul, Korea(汉阳大学电子工程系)
MAGIC通过引入提示扰动、空间自适应引导和上下文意识,解决少样本异常生成中的样本多样性问题,提升下游任务的鲁棒性。
2026-04-29 cs.AI cs.CV
Foreground-guided Facial Inpainting with Fidelity Preservation
Manchester Metropolitan University(曼彻斯特城市大学);Image Metrics Ltd(Image Metrics 公司)
人脸图像修补是一个非常具有挑战性的课题,它要求图像的真实感得到很好的保持。这是由于关键面部特征(组件)中的微妙纹理不容易转移。许多图像修补技术已经被提出,具有出色的性能和高定量性能记录。然而,对于面部修复,特征更明显,并且混合修复区域的视觉质量在质量上更重要。基于这些事实,我们设计了一个前景引导的面部修复框架,可以提取和生成的面部特征,使用卷积神经网络层。它介绍了使用前景分割掩模来保持保真度。具体来说,我们提出了一个新的损失函数的语义能力推理的面部表情,自然和不自然的功能(化妆)。我们使用CelebA-HQ数据集,CelebAMAsk-HQ(用于前景指导)和Quick Draw Mask(用于缺失区域)的分割掩模进行实验。我们提出的方法取得了可比的定量结果相比,最先进的,但定性,它表现出高保真保存面部组件。
2021-05-07 cs.CV
CoCoCo: Improving Text-Guided Video Inpainting for Better Consistency, Controllability and Compatibility
The Chinese University of Hong Kong(香港中文大学);International Digital Economy Academy (IDEA)(国际数字经济学院);The University of Hong Kong(香港大学);Tsinghua University(清华大学)
本文提出CoCoCo模型,通过运动捕获模块、实例感知区域选择和个性化模型注入,解决文本引导视频修复中的一致性、可控性和兼容性问题,实验证明其生成高质量视频。
2024-03-18 cs.CV
FT-TDR: Frequency-guided Transformer and Top-Down Refinement Network for Blind Face Inpainting
Fudan University(复旦大学)
人脸盲修复是指在不显式指示人脸图像中受损区域的情况下重建视觉内容的任务。本质上,该任务面临两个挑战:(1)如何检测不同形状和内容的各种掩模模式;(2)如何在掩模区域中恢复视觉上合理和令人愉快的内容。在本文中,我们提出了一种新的两阶段的盲人脸修复方法命名为频率引导Transformer和自顶向下细化网络(FT-TDR)来解决这些挑战。具体来说,我们首先使用一个基于transformer的网络来检测损坏的区域,通过对不同补丁之间的关系进行建模来修复为掩模。我们还利用频率模态作为补充信息,以改善检测结果,并捕捉局部上下文不相干,以提高边界的一致性。然后提出一个自顶向下的细化网络,分层恢复不同级别的特征,并生成与未掩蔽的人脸区域语义一致的内容。大量的实验表明,我们的方法优于目前国家的最先进的盲和非盲人脸修复方法定性和定量。
2022-01-29 cs.CV
High-Resolution Image Inpainting with Iterative Confidence Feedback and Guided Upsampling
Dalian University of Technology(大连理工大学);Adobe Research(Adobe研究院)
现有的图像修补方法在处理实际应用中的大孔洞时往往会产生伪影。为了解决这个问题,我们提出了一个迭代修复方法与反馈机制。具体来说,我们引入了一个深度生成模型,它不仅输出修复结果,还输出相应的置信度图。使用此映射作为反馈,它通过在每次迭代中仅信任洞内的高置信度像素来逐步填充洞,并在下一次迭代中关注剩余的像素。由于它重用来自先前迭代的部分预测作为已知像素,因此此过程逐渐改善结果。此外,我们还提出了一个引导上采样网络,以生成高分辨率的修复结果。我们通过扩展上下文注意力模块来借用输入图像中的高分辨率特征块来实现这一点。此外,为了模拟真实的对象移除场景,我们收集了一个大的对象掩码数据集,并合成更真实的训练数据,更好地模拟用户输入。实验表明,我们的方法显着优于现有的方法在定量和定性评价。更多结果和Web应用程序可在https://zengxianyu.github.io/iic上获得。
2020-07-14 cs.CV cs.MM
Coordinate-based Texture Inpainting for Pose-Guided Image Generation
Samsung AI Center(三星人工智能中心);Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术学院(Skoltech))
我们提出了一种新的深度学习方法来指导人体照片的姿势再合成。新方法的核心是基于一张照片估计完整的身体表面纹理。由于输入的照片总是只观察到表面的一部分,我们提出了一种新的修复方法,完成了人体的纹理。修复网络不是直接处理纹理元素的颜色,而是为身体表面的每个元素估计输入图像中的适当源位置。输入图像和纹理之间的该对应字段然后基于期望的姿态被进一步扭曲到目标图像坐标系中,从而即使在姿态变化剧烈时也有效地建立源视图和目标视图之间的对应。然后,最终的卷积网络使用建立的对应关系和所有其他可用信息来合成输出图像。使用具有由估计的对应字段引导的可变形跳过连接的全卷积架构。我们展示了姿态引导图像合成的最新结果。此外,我们展示了我们的系统的性能服装转移和姿势引导的人脸重新合成。
2019-07-19 cs.CV
Text-Guided Neural Image Inpainting
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
图像修补任务需要用与上下文一致的内容填充损坏的图像。神经网络图像修补方法在这一领域取得了可喜的进展。然而,在仅用上下文像素来猜测错过的内容方面仍然存在关键挑战。本文的目标是根据提供的描述性文本填充损坏图像中的语义信息。与现有的文本引导图像生成工作不同,修复模型需要将给定文本的语义内容与图像的剩余部分进行比较,然后找出缺失部分应该填充的语义内容。为了完成这样的任务,我们提出了一种新的修复模型,称为文本引导的双注意力修复网络(TDANet)。首先,设计了一种双模态注意力机制,通过交互注意比较描述性文本和互补图像区域,提取出受损区域的显式语义信息。其次,应用图像-文本匹配损失来最大化生成的图像和文本的语义相似度。实验在两个开放数据集上进行。结果表明,提出的TDANet模型达到新的国家的最先进的定量和定性措施。结果分析表明,生成的图像与指导文本一致,可以通过提供不同的描述来生成各种结果。代码可在https://github.com/idealwhite/TDANet上获得
2021-03-22 cs.CL cs.CV
IMFine: 3D Inpainting via Geometry-guided Multi-view Refinement
Huawei Canada Research Institute(华为加拿大研究院);University of Alberta(阿尔伯塔大学);McMaster University(麦克马斯特大学);Concordia University(康考迪亚大学)
针对3D修复在无约束场景中的局限性,提出一种结合几何先验、测试时适应的多视角细化网络及修复掩码检测技术的鲁棒3D修复流水线,在正面与无约束场景中均显著优于现有方法。
2025-03-06 cs.CV
Extreme Face Inpainting with Sketch-Guided Conditional GAN
Rochester Institute of Technology(罗切斯特理工学院)
恢复严重受损的人脸图像是一项有用但具有挑战性的任务,特别是在被掩盖或受损区域非常大的极端情况下。其中一个主要挑战是系统在训练数据集之外的人脸上进行泛化的能力。我们建议使用条件生成对抗网络(GAN)来处理这种极端的修复任务,该网络利用结构信息(如边缘)作为先验条件。边缘信息可以从部分掩蔽的图像和结构相似的图像或手绘图中获得。在我们提出的条件GAN中,我们在编码器的每一层中传递条件输入,同时保持学习的权重和传入的条件输入之间的分布的一致性。我们证明了我们的方法的有效性与严重损坏的脸的例子。
2021-05-13 cs.CV
Error Compensation Framework for Flow-Guided Video Inpainting
Yonsei University(延世大学);Adobe(奥多比公司)
视频修复的关键是使用尽可能多的参考帧的相关信息。现有的基于流的传播方法将视频合成过程分为多个步骤:流完成->像素传播->合成。然而,存在一个显著的缺点,即每一步中的误差在下一步中继续积累和放大。为此,我们提出了一个错误补偿框架流引导视频修复(ECFVI),它利用了基于流的方法,并弥补其弱点。我们解决的弱点,新设计的流程完成模块和误差补偿网络,利用错误的指导地图。我们的方法大大提高了时间的一致性和完成的视频的视觉质量。实验结果表明,我们所提出的方法的性能优越的速度为x6,相比国家的最先进的方法。此外,我们提出了一个新的基准数据集进行评估,通过补充现有的测试数据集的弱点。
2022-07-21 cs.CV cs.LG
DreamInpainter: Text-Guided Subject-Driven Image Inpainting with Diffusion Models
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌);Boston University(波士顿大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
提出文本引导主体驱动图像修复任务,并通过 DreamInpainter 的密集主体特征、判别式 token 选择与解耦正则化,平衡主体保真度、遮罩约束和文本控制。
2023-12-05 cs.CV
Line Drawing Guided Progressive Inpainting of Mural Damage
United International College of Beijing Normal University - HongKong Baptist University(北京师范大学-香港浸会大学联合国际学院);Wuhan University(武汉大学);Cleveland State University(克利夫兰州立大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对壁画损伤区域大、主题多样且易出现颜色偏差的问题,提出线条画引导的渐进式修复方法,通过结构重建网络和颜色校正网络分两步完成修复,实验证明其优于现有方法。
2024-07-04 cs.CV
DreamCom: Finetuning Text-guided Inpainting Model for Image Composition
Shanghai Jiao Tong University(上海交通大学)
本文提出 DreamCom,将图像合成视为对象定制的文本引导修复,通过少量参考图像微调模型并引入掩码注意力抵抗背景干扰,在 DreamEditBench 和 MureCom 上表现优异。
2024-01-24 cs.CV
Image Inpainting with Edge-guided Learnable Bidirectional Attention Maps
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Lab(鹏城实验室);DAMO Academy at Alibaba Group(阿里巴巴达摩院)
对于图像修补,以往的卷积神经网络(CNN)通常采用标准卷积算子,对有效像素和空洞进行不可分割的处理。因此,它们在处理不规则孔方面受到限制,并且倾向于产生颜色不一致和模糊的修补结果。部分卷积(PConv)通过仅以有效像素为条件进行掩码卷积和特征重新归一化来解决这个问题,但掩码更新是手工制作的,与图像结构信息无关。在本文中,我们提出了一个边缘引导的可学习的双向注意图(边缘LBAM),以提高图像修补的不规则孔有几个明显的优点。代替使用硬0-1掩码,引入可学习的注意力映射模块,用于以端到端的方式学习特征重新规范化和掩码更新。在解码器中进一步提出了可学习的反向注意力映射,强调填充未知像素而不是重建所有像素。由于填充顺序对修复结果至关重要,并且在很大程度上取决于基于样本的方法中的图像结构,因此我们进一步提出了一种多尺度边缘完成网络来预测相干边缘。我们的Edge-LBAM方法包含两个过程,包括由预测边缘引导的结构感知的掩模更新和由掩模生成的用于特征重新归一化的注意力图。大量的实验表明,我们的Edge-LBAM在生成连贯的图像结构和防止颜色差异和模糊方面是有效的,并且在定性度量和视觉质量方面优于最先进的方法。
2021-04-25 cs.CV
Semantic-Guided Inpainting Network for Complex Urban Scenes Manipulation
FBK(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
操纵复杂场景的图像以重建、插入和/或移除特定对象实例是一项具有挑战性的任务。复杂的场景包含多个语义和对象,这些语义和对象经常是混乱或模糊的,从而阻碍了修复模型的性能。传统的技术往往依赖于结构信息,如对象轮廓的多阶段方法,产生不可靠的结果和边界。在这项工作中,我们提出了一种新的深度学习模型,通过移除图像的用户指定部分并在该场景中连贯地插入新对象(例如汽车或行人)来改变复杂的城市场景。受最近图像修补工作的启发,我们提出的方法利用语义分割对图像的内容和结构进行建模,并学习对象的最佳形状和位置来插入。为了生成可靠的结果,我们设计了一个新的解码器块,它结合了语义分割和生成任务,以更好地指导新对象和场景的生成,这些对象和场景必须与图像在语义上一致。我们的实验,在两个大规模的城市场景(城市景观和印度驾驶)的数据集进行,表明我们提出的方法成功地解决了语义引导修复复杂的城市场景的问题。
2020-10-19 cs.CV
SmartBrush: Text and Shape Guided Object Inpainting with Diffusion Model
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
通用图像修补的目的是通过借用周围的信息来完成损坏的图像,这几乎不会产生新的内容。相比之下,多模态修复提供了对修复内容\eg的更灵活和有用的控制,文本提示可用于描述具有更丰富属性的对象,并且遮罩可用于约束修复对象的形状,而不是仅被视为缺失区域。我们提出了一个新的扩散为基础的模型,名为SmartBrush完成一个丢失的区域与一个对象使用文本和形状指导。虽然以前的工作,如DALLE-2和稳定扩散可以做文本引导的inapinting,但它们不支持形状指导,并且倾向于修改生成对象周围的背景纹理。我们的模型结合了文本和形状引导以及精确控制。为了更好地保留背景,我们提出了一种新的训练和采样策略,通过对象掩模预测来增强扩散U-网络。最后,我们引入了一种多任务训练策略,通过联合训练图像修复与文本到图像生成来利用更多的训练数据。我们进行了大量的实验,表明我们的模型在视觉质量,掩模可控性和背景保护方面优于所有基线。
2022-12-09 cs.CV
SplatFill: 3D Scene Inpainting via Depth-Guided Gaussian Splatting
Pattern Analysis and Computer Vision (PAVIS)(模式分析与计算机视觉(PAVIS));Istituto Italiano di Tecnologia (IIT)(意大利技术研究所(IIT))
提出深度引导的3DGS修复方法SplatFill,结合深度与物体联合监督及一致性感知细化,在SPIn-NeRF数据集上实现更优视觉质量并减少24.5%训练时间。
2025-09-09 cs.CV
Magicremover: Tuning-free Text-guided Image inpainting with Diffusion Models
Tsinghua University(清华大学);Dalian University of Technology(大连理工大学);ZMO AI;Microsoft Research Asia(微软亚洲研究院)
针对训练成本高及二值掩码难以处理边界不清、透明对象的问题,本文提出免调优的文本引导图像修复方法 MagicRemover,通过注意力引导和分类器优化提升擦除、恢复与去噪性能。
2023-10-04 cs.CV
Flow-Guided Transformer for Video Inpainting
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
本文提出了一种流引导的Transformer,创新性地利用光流暴露的运动差异来指导Transformer中的注意检索,实现高保真视频修复。更特别的是,我们设计了一种新的流完成网络,通过利用相关的流功能在本地时间窗口完成损坏的流。在完成流的基础上,我们将内容跨视频帧传播,并采用流引导的Transformer来合成剩余的损坏区域。我们沿着时间和空间维度解耦Transformers,这样我们就可以很容易地集成本地相关的完成流,以指导空间注意。此外,我们还设计了一个流重新加权模块,以精确地控制完成的流对每个空间Transformer的影响。为了提高效率,我们在空间和时间Transformers中引入了窗口划分策略。特别是在空间Transformer中,我们设计了一个双视角的空间MHSA,它将全局标记与基于窗口的注意力相结合。大量的实验定性和定量地证明了所提出的方法的有效性。代码可在https://github.com/hitachinsk/FGT上获得。
2022-08-14 cs.CV
TransFill: Reference-guided Image Inpainting by Merging Multiple Color and Spatial Transformations
UIUC(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(Adobe研究院)
图像修补是对目标图像中待去除的孔洞区域内的缺失像素进行合理恢复的任务。大多数现有技术利用图像内的补丁相似性,或利用大规模训练数据来使用学习的语义和纹理信息填充空洞。然而,由于修复任务的不适定性质,这些方法难以完成包含复杂场景的较大孔。在本文中,我们提出了TransFill,多单应性变换融合方法,以填补洞参考另一个源图像,共享场景内容与目标图像。我们首先通过估计由不同深度水平引导的多个单应性来将源图像与目标图像对齐。然后,我们学习调整颜色,并对每个单应性变形的源图像应用像素级变形,使其与目标图像更加一致。最后,一个像素级融合模块学习有选择地合并不同的建议。我们的方法在各种宽基线和色差的图像对上实现了最先进的性能,并推广到用户提供的图像对。
2021-03-29 cs.CV
Gradpaint: Gradient-Guided Inpainting with Diffusion Models
Sorbonne Université(索邦大学)
本文提出GradPaint,通过在扩散模型去噪过程中利用自定义一致性损失的梯度引导生成,实现全局连贯的图像修复,并在多个数据集上超越现有监督和无监督方法。
2023-09-18 cs.AI cs.CV cs.LG
Token Painter: Training-Free Text-Guided Image Inpainting via Mask Autoregressive Models
本文提出 Token Painter,一种基于掩码自回归模型的免训练文本引导图像修复方法,通过双流编码器信息融合和自适应解码器注意力分数增强,在保持背景一致性的同时提升文本提示对齐和修复质量,并在多项指标上超越现有方法。
2025-11-09 cs.CV
InstructVTON: Optimal Auto-Masking and Natural-Language-Guided Interactive Style Control for Inpainting-Based Virtual Try-On
Amazon(亚马逊公司);University of California, Los Angeles (UCLA)(加州大学洛杉矶分校);Duke University(杜克大学)
InstructVTON利用视觉语言模型自动生成掩码,结合自然语言指令实现细粒度风格控制的交互式虚拟试穿,简化用户操作并提升效果。
2025-09-24 cs.AI cs.CV
A$^\text{T}$A: Adaptive Transformation Agent for Text-Guided Subject-Position Variable Background Inpainting
Shanghai Jiao Tong University(上海交通大学);Tencent(腾讯)
针对现有背景修复中主体位置固定导致的背景不协调问题,提出新任务及自适应变换智能体A$^\ ext{T}$A,通过PosAgent Block和反向位移变换模块动态调整主体位置,在可变与固定位置修复中均表现优异。
2025-04-02 cs.CV
HD-Painter: High-Resolution and Prompt-Faithful Text-Guided Image Inpainting with Diffusion Models
Picsart AI Research (PAIR)(Picsart人工智能研究院(PAIR));UT Austin(德克萨斯大学奥斯汀分校);Georgia Tech(佐治亚理工学院)
HD-Painter提出无需训练的文本引导图像修复方法,通过PAIntA注意力层和RASG采样机制增强提示对齐,并支持2K高分辨率修复,在多项指标和用户研究中超越现有方法。
2024-03-18 cs.CV
Deep Video Inpainting Guided by Audio-Visual Self-Supervision
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文提出利用音频-视觉自监督先验引导视频修复,通过两个新损失函数增强修复结果与同步音频的对应性,显著提升部分遮挡场景的修复质量。
2023-10-11 cs.CV cs.SD eess.AS
Image Inpainting Guided by Coherence Priors of Semantics and Textures
National Institute of Informatics(国立信息学研究所);Wuhan University(武汉大学);National Tsing Hua University(国立清华大学)
现有的修复方法在修复特定场景的缺陷图像方面取得了很好的效果。然而,填补涉及多个语义类别的漏洞仍然具有挑战性,由于模糊的语义边界和不同的语义纹理的混合。在本文中,我们引入语义和纹理之间的相干先验,这使得有可能集中精力完成单独的纹理在语义明智的方式。具体而言,我们采用多尺度联合优化框架,首先建模的一致性先验,然后相应地交错优化图像修补和语义分割在一个由粗到细的方式。一个语义明智的注意力传播(SWAP)模块的设计,以完善完成跨尺度的图像纹理探索非局部语义一致性,有效地减轻混淆的纹理。我们还提出了两个一致性损失约束的语义和修复图像的整体结构和详细的纹理之间的一致性。实验结果表明,我们提出的方法的优越性,具有复杂的孔挑战性的情况下。
2020-12-15 cs.CV
View Blind-spot as Inpainting: Self-Supervised Denoising with Mask Guided Residual Convolution
McGill University(麦吉尔大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院)
近年来,自监督去噪方法表现出了令人瞩目的性能,它避免了监督去噪方法中噪声-干净图像对的艰苦收集过程,提高了去噪在现实世界中的适用性。其中一个著名的自监督去噪策略是盲点训练方案。然而,目前还没有研究从网络结构上对基于盲点的自去噪算法进行改进。在本文中,我们直观地看待盲点策略,并将其使用邻近像素来预测操作像素的过程视为修复过程。因此,我们提出了一种新的掩模引导残差卷积(MGRConv)到常见的卷积神经网络中,例如U-Net,以促进基于盲点的去噪。我们的MGRConv可以被视为软部分卷积,并在部分卷积,可学习的注意力地图和门控卷积之间找到折衷。它可以通过适当的掩码约束实现动态掩码学习。与偏卷积和门卷积不同,它为网络学习提供了适度的自由度。与可学习的注意力地图不同,它还避免了利用外部可学习参数来激活掩码。实验结果表明,我们提出的即插即用MGRConv可以帮助基于盲点的去噪网络,以达到现有的基于单图像和基于小波包的方法有前途的结果。
2021-09-10 cs.CV eess.IV
Region-of-interest guided Supervoxel Inpainting for Self-supervision
Erasmus MC(伊拉斯谟医学中心);University of Copenhagen(哥本哈根大学)
本文提出兴趣区域引导的超体素修复自监督方法,通过改进掩码策略增强语义学习,在脑肿瘤和白质高信号分割任务上优于监督CNN与传统修复自监督方法。
2020-06-26 cs.CV