Depth Image Inpainting: Improving Low Rank Matrix Completion with Low Gradient Regularization
Zhejiang University（浙江大学）
我们考虑修复单一深度图像的情况。在没有对应的彩色图像、前一帧或后一帧的情况下，深度图像修补是相当具有挑战性的。一个自然的解决方案是将图像视为矩阵，并采用低秩正则化，就像修复彩色图像一样。然而，低秩假设没有充分利用深度图像的属性。一个肤浅的观察可能会启发我们通过稀疏梯度正则化来惩罚非零梯度。然而，统计数据表明，尽管大多数像素的梯度为零，但仍有一部分像素的梯度等于1。基于深度图像的这一特定属性，我们提出了一种低梯度正则化方法，在该方法中，我们减少了对梯度1的惩罚，同时惩罚非零梯度，以允许逐渐的深度变化。提出的低梯度正则化与低秩正则化集成到低秩低梯度深度图像修补方法中。我们比较了我们提出的低梯度正则化和稀疏梯度正则化。实验结果表明了该方法的有效性。
2016-04-20 cs.CV
InFusion: Inpainting 3D Gaussians via Learning Depth Completion from Diffusion Prior
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）；The Hong Kong University of Science and Technology（香港科技大学）；Ant Group（蚂蚁集团）
针对3D高斯修复任务中点初始化的关键问题，提出利用图像条件深度补全模型结合扩散先验指导点初始化的InFusion方法，在保真度和效率上优于现有方案，并支持多种实际应用。
2024-04-17 cs.CV
Deep Reinforcement Learning of Volume-guided Progressive View Inpainting for 3D Point Scene Completion from a Single Depth Image
The Chinese University of Hong Kong(Shenzhen)（香港中文大学（深圳））；Dalian University of Technology（大连理工大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）；Texas A&M University（得克萨斯农工大学）
本文提出了一种基于深度强化学习的渐进式视图修复方法，在体指导下完成三维点场景的修复，实现了从单个深度图像重建高质量的场景。我们的方法是端到端的，由三个模块组成：3D场景体重建，2D深度图修复和多视图选择完成。给定单个深度图像，我们的方法首先通过3D体积分支来获得体积场景重建，作为下一个视图修复步骤的指导，该步骤试图弥补缺失的信息;第三步涉及将体积投影到输入的同一视图下，将它们连接起来以完成当前视图深度，并将所有深度集成到点云中。由于遮挡区域不可用，我们求助于深度Q-Network来环顾四周，并逐步选择下一个最佳视图来完成大洞，直到场景得到充分重建，同时保证有效性。所有步骤都是共同学习的，以实现稳健和一致的结果。我们进行了定性和定量的评估与广泛的实验上的SUCG数据，获得更好的结果比最先进的。
2019-03-12 cs.CV
FaceCom: Towards High-fidelity 3D Facial Shape Completion via Optimization and Inpainting Guidance
Beihang University（北京航空航天大学）；Southwest University（西南大学）；Peking University School and Hospital of Stomatology（北京大学口腔医学院）；State Key Laboratory of Virtual Reality Technology and Systems（虚拟现实技术与系统国家重点实验室）
提出FaceCom，一种基于网格生成网络的三维人脸形状补全方法，在图像修复引导下优化拟合完整人脸，有效处理不规则扫描缺失，在拟合和补全任务中表现卓越。
2024-06-04 cs.CV
Quaternion Nuclear Norms Over Frobenius Norms Minimization for Robust Matrix Completion
Inner Mongolia University（内蒙古大学）
本文提出四元数核范数除以Frobenius范数（QNOF）作为四元数矩阵秩的非凸近似，将其扩展至鲁棒矩阵补全，并利用交替方向乘子法求解，实验证明其优于现有最先进方法。
2025-04-30 cs.CV
Face Completion with Semantic Knowledge and Collaborative Adversarial Learning
University of Rochester（罗切斯特大学）；Siemens Healthineers（西门子医疗）；Tencent X-Lab（腾讯X实验室）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
与传统的背景修复方法不同，传统的背景修复方法从与背景相似的图像块中推断出缺失区域，人脸修复需要关于目标对象的语义知识以获得逼真的输出。当前图像修补方法利用生成对抗网络（GANs）来实现这种语义理解。然而，在对抗学习中，语义知识是隐式学习的，因此并不总是保证良好的语义理解。在这项工作中，我们提出了一个合作的对抗性学习方法，面对完成明确诱导的培训过程。我们的方法是制定下一个新的生成框架称为协作GAN（collaGAN），它允许更好的语义理解的目标对象，通过协作学习的多个任务，包括面部完成，地标检测，和语义分割。与collaGAN一起，我们还引入了一个修复集中方案，使得模型更强调修复而不是自动编码。大量的实验表明，所提出的设计确实是有效的，合作对抗学习提供了更好的面部特征表示。与其他生成式图像修补模型和单任务学习方法相比，我们的解决方案在所有任务上都具有优异的性能。
2022-03-23 cs.CV
MTV-Inpaint: Multi-Task Long Video Inpainting
City University of Hong Kong（香港城市大学）；Tianjin University（天津大学）；Shenzhen University（深圳大学）；Kuaishou Technology（快手科技）
本文提出统一多任务长视频修复框架MTV-Inpaint，通过双分支空间注意力、I2V多模态控制及关键帧到中间帧传播，同时支持场景补全与新对象插入并达到SOTA。
2025-03-14 cs.CV
$L_{2,1}$-Norm Regularized Quaternion Matrix Completion Using Sparse Representation and Quaternion QR Decomposition
University of Macau（澳门大学）；Yunnan University（云南大学）；Sun Yat-sen University Cancer Center（中山大学肿瘤防治中心）
本文提出基于四元数QR分解和$L_{2,1}$范数的QLNM-QQR彩色图像补全方法，并改进出IRQLNM-QQR和QLNM-QQR-SR，有效降低计算复杂度且优于现有方法。
2023-09-07 cs.CV math.OC
Occlusion-Aware Video Object Inpainting
The Hong Kong University of Science and Technology（香港科技大学）；Kuaishou Technology（快手科技）
传统的视频修复既不是面向对象的，也不是遮挡感知的，使得它容易明显的文物时，大的遮挡对象区域被修复。本文提出了一种基于遮挡感知的视频对象修复方法，通过对视频中被遮挡对象的可见掩模分割，恢复被遮挡对象的完整形状和外观。为了促进这项新的研究，我们构建了第一个大规模的视频对象修复基准YouTube-VOI，以提供逼真的遮挡场景，同时提供遮挡和可见的对象掩模。我们的技术贡献VOIN共同执行视频对象形状完成和遮挡纹理生成。特别地，形状完成模块对长距离对象相干性进行建模，而流完成模块恢复具有尖锐运动边界的准确流，用于跨帧将时间一致的纹理传播到相同的移动对象。为了获得更真实的结果，VOIN使用T-PatchGAN和一种新的基于时空注意力的多类神经网络进行了优化。最后，我们比较了VOIN和YouTube-VOI上的强基线。实验结果清楚地表明，我们的方法，包括修复复杂和动态对象的有效性。VOIN会随着不准确的输入可见掩码而优雅地降级。
2021-08-15 cs.CV
Contact-Aware Amodal Completion for Human-Object Interaction via Multi-Regional Inpainting
Purdue University West Lafayette（普渡大学西拉法叶分校）；Honda Research Institute USA（本田美国研究院）
针对现有扩散模型在人-物交互场景下非模态补全效果差的问题，提出结合物理先验与多区域定制去噪的修复方法，显著提升补全精度与真实感，且无需真实接触标注仍具鲁棒性。
2025-08-01 cs.AI cs.CV
FaithFill: Faithful Inpainting for Object Completion Using a Single Reference Image
Georgetown University（乔治城大学）
本文提出基于扩散的 FaithFill 修复流程，仅用单张光照、背景或视角不同的参考图生成多视图并补全物体缺失部分，同时保持场景，且在 DreamBooth 与新数据集上通过指标、人工和 GPT 评估验证。
2024-06-12 cs.AI cs.CV cs.LG
3DTexMOR: 3D Gaussian Multi-Object Removal via Texture-Space Inpainting
Nanjing University（南京大学）；Nankai University（南开大学）
本文提出3DTexMOR方法，通过在多视图共享的纹理空间中修复，结合外观分解与几何正则化，实现了最优的三维多物体移除性能，PSNR提升5.8dB、LPIPS至少降低22%。
2026-10-09 cs.CV
Self-Supervised Point Cloud Completion via Inpainting
Carnegie Mellon University（卡内基梅隆大学）
当在城市环境中导航时，许多需要跟踪和避免的对象被严重遮挡。使用这些部分扫描进行规划和跟踪可能具有挑战性。这项工作的目的是学习完成这些部分点云，让我们充分了解对象的几何形状只使用部分观察。以前的方法借助目标对象的完整、真实的注释来实现这一点，这些注释仅适用于模拟数据集。然而，这样的地面实况对于真实世界的LiDAR数据是不可用的。在这项工作中，我们提出了一个自我监督的点云完成算法PointPnCNet，它只在部分扫描上进行训练，而不假设可以访问完整的地面实况注释。我们的方法通过图像修复来实现这一点。我们删除一部分输入数据，并训练网络以完成缺失的区域。由于很难确定哪些区域在初始云中被遮挡，哪些区域被综合删除，我们的网络学习完成完整的云，包括初始部分云中的缺失区域。我们表明，我们的方法在合成数据集ShapeNet和真实世界的LiDAR数据集Semantic KITTI上都优于以前的无监督和弱监督方法。
2021-11-21 cs.CV cs.LG
Reference Guided Image Inpainting using Facial Attributes
Korea University（高丽大学）；Drexel University（德雷塞尔大学）
图像修补是一种完成缺失像素的技术，如遮挡区域恢复、干扰物体去除和面部修复。在这些修复任务中，面部修复算法根据用户的方向进行面部修复。现有的方法需要用户的精细且良好控制的输入，因此对于普通用户来说难以提供足够准确的指导以使算法生成期望的结果。为了克服这一限制，我们提出了一种替代的用户引导修复架构，使用单个参考图像作为指导来操纵面部属性。我们的端到端模型由用于准确参考图像属性传输的属性提取器和用于将属性真实准确地映射到生成的图像的修复模型组成。我们自定义MS-SSIM损失和可学习的双向注意力地图，其中重要性结构即使使用不规则形状的掩码也保持不变。基于我们使用公开数据集CelebA-HQ的评估，我们证明了所提出的方法与一些专门用于修复任务的最先进方法相比具有优异的性能。
2023-01-19 cs.CV
Free-form 3D Scene Inpainting with Dual-stream GAN
National Taiwan University（国立台湾大学）；Mobile Drive Technology
如今，由于AR和VR技术的发展，用户在3D场景中编辑的需求迅速增加。然而，现有的3D场景完成任务（和数据集）不能满足需要，因为在场景中的缺失区域是由传感器的限制或对象遮挡产生的。因此，我们提出了一个新的任务命名为自由形式的3D场景修复。与以前的3D完成数据集中的场景不同，该数据集保留了大部分主要结构和缺失区域周围的详细形状提示，建议的修复数据集FF-Matterport包含由我们的自由形式3D掩模生成算法形成的大而多样的缺失区域，可以模仿人类在3D空间中的绘画轨迹。此外，现有的3D完成方法不能很好地执行这个具有挑战性但实际的任务，简单地内插附近的几何形状和颜色上下文。因此，一个定制的双流GAN方法被提出。首先，我们的双流生成器，融合了几何和颜色信息，产生了清晰的语义边界，解决了插值问题。为了进一步增强细节，我们的轻量级双码流正则化预测场景的几何形状和颜色边缘，使其变得逼真和清晰。我们使用建议的FF-Matterport数据集进行了实验。定性和定量的结果验证了我们的方法优于现有的场景完成方法和所有建议的组件的有效性。
2022-12-16 cs.CV
Deep Flow-Guided Video Inpainting
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）
视频修复的目的是填补视频中缺失的区域，由于难以保持视频内容的精确空间和时间一致性，因此仍然具有挑战性。在这项工作中，我们提出了一种新的流引导的视频修复方法。我们将视频修复视为一个像素传播问题，而不是直接填充每帧的RGB像素。我们首先使用一个新设计的深流完成网络合成一个空间和时间相干的光流场跨视频帧。然后利用合成的流场引导像素点的传播来填充视频中的缺失区域。具体来说，Deep Flow Completion网络遵循由粗到细的细化来完成流场，而它们的质量通过硬流示例挖掘进一步提高。按照完整的流程指导，可以精确地填充缺失的视频区域。我们的方法在DAVIS和YouTube-VOS数据集上进行了定性和定量评估，在修复质量和速度方面达到了最先进的性能。
2019-05-08 cs.CV
EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning
University of Ontario Institute of Technology（安大略理工大学）
在过去的几年里，深度学习技术在图像修补方面取得了显著的进步。然而，这些技术中的许多未能重建合理的结构，因为它们通常是过度平滑和/或模糊的。本文提出了一种新的图像修补方法，该方法能更好地再现具有细节的填充区域。我们提出了一个两阶段的对抗模型EdgeConnect，它由一个边缘生成器和一个图像完成网络组成。边缘生成器使图像的缺失区域（规则和不规则）的边缘产生幻觉，并且图像完成网络使用幻觉边缘作为先验来填充缺失区域。我们在公开可用的数据集CelebA，Places 2和Paris StreetView上对我们的模型进行了端到端的评估，并表明它在定量和定性上都优于当前最先进的技术。代码和模型可在：https://github.com/knazeri/edge-connect
2019-01-11 cs.CV
An Edge Information and Mask Shrinking Based Image Inpainting Approach
Inner Mongolia University（内蒙古大学）
在图像修补任务中，对缺失区域中的高频和低频信息的修复能力对恢复图像的质量具有实质性影响。然而，现有的修复方法通常不能同时考虑高频和低频信息。针对这一问题，提出了一种基于边缘信息和掩模收缩的图像修补方法。第一模型是用于从受损图像生成完整边缘信息的边缘生成模型，第二模型是用于利用所生成的边缘信息和受损图像的有效内容来修复缺失区域的图像完整模型。在图像修复模型中采用掩模收缩策略跟踪待修复区域。所提出的方法进行了定性和定量评估的数据集Places2。结果表明，我们的方法优于国家的最先进的方法。
2020-06-11 cs.CV cs.LG eess.IV
Error Compensation Framework for Flow-Guided Video Inpainting
Yonsei University（延世大学）；Adobe（奥多比公司）
视频修复的关键是使用尽可能多的参考帧的相关信息。现有的基于流的传播方法将视频合成过程分为多个步骤：流完成->像素传播->合成。然而，存在一个显著的缺点，即每一步中的误差在下一步中继续积累和放大。为此，我们提出了一个错误补偿框架流引导视频修复（ECFVI），它利用了基于流的方法，并弥补其弱点。我们解决的弱点，新设计的流程完成模块和误差补偿网络，利用错误的指导地图。我们的方法大大提高了时间的一致性和完成的视频的视觉质量。实验结果表明，我们所提出的方法的性能优越的速度为x6，相比国家的最先进的方法。此外，我们提出了一个新的基准数据集进行评估，通过补充现有的测试数据集的弱点。
2022-07-21 cs.CV cs.LG
Quaternion Optimized Model with Sparse Regularization for Color Image Recovery
University of Macau（澳门大学）；Zhejiang Normal University（浙江师范大学）
本文根据变换域中稀疏正则化的特点，提出了低秩四元数矩阵优化的彩色图像补全问题。这项研究的灵感来自于这样一个事实，即不同的信号类型，包括音频格式和图像，拥有固有的稀疏结构，在其各自的基础。由于彩色图像可以在四元数域中作为一个整体进行处理，我们在四元数离散余弦变换（QDCT）域中描述了彩色图像的稀疏性。此外，彩色图像固有的低秩结构的表示是四元数矩阵完备问题中的一个至关重要的问题。为了获得更好的低秩近似，基于四元数的截断核范数（QTNN）被用于所提出的模型。此外，该模型是由一个主管交替方向的乘子法（ADMM）的基础上的算法。大量的实验结果表明，所提出的方法可以产生非常优越的完成性能相比，最先进的低秩矩阵/四元数矩阵近似方法测试的彩色图像恢复。
2022-04-19 cs.CV eess.IV math.OC
Vivid4D: Improving 4D Reconstruction from Monocular Video by Video Inpainting
Zhejiang University（浙江大学）；ByteDance（字节跳动）
针对单目视频4D重建的视角限制问题，Vivid4D结合几何与生成先验，将视角增强转化为视频修复任务，通过单目深度先验变形视角并训练修复模型，有效提升4D场景重建效果。
2025-04-18 cs.CV
ObjFiller3D: Scaling 3D Object Inpainting to Dense Multi-View Consistency
Nanjing University（南京大学）；Great Bay University（大湾大学）；Harbin Institute of Technology（哈尔滨工业大学）；Sun Yat-sen University（中山大学）
提出ObjFiller-3D方法，通过联合优化密集采样视图的时序生成、语义感知补全和循环一致性3D编码，实现高质量且一致的多视图3D物体修复与编辑。
2026-05-27 cs.CV
Point Cloud Scene Completion with Joint Color and Semantic Estimation from Single RGB-D Image
Dalian University of Technology（大连理工大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong (ShenZhen)（香港中文大学（深圳））；Princeton University（普林斯顿大学）
提出了一种基于深度强化学习的渐进式视图修复方法，在体指导下完成彩色语义点云场景的修复，实现了对严重遮挡的单幅RGB-D图像的高质量场景重建。我们的方法是端到端的，由三个模块组成：三维场景体重建，二维RGB-D和分割图像修补，多视图选择完成。对于一幅RGB-D图像，该方法首先预测其语义分割图，并通过3D体积分支获得体积场景重建，作为下一个视图修复步骤的指导，该步骤试图弥补缺失的信息;第三步涉及在输入的相同视图下投影体积，将它们连接以完成当前视图RGB-D和分割图，以及将所有RGB-D和分割图集成到点云中。由于遮挡区域不可用，我们采用A3 C网络扫视周围，并逐步选择下一个最佳视图进行大孔完成，直到场景得到充分重建，同时保证有效性。所有步骤都是共同学习的，以实现稳健和一致的结果。我们对3D-FUTURE数据进行了大量的实验，进行了定性和定量评估，获得了比最先进技术更好的结果。
2022-10-12 cs.CV
Semi-Supervised Video Inpainting with Cycle Consistency Constraints
Nanjing University of Science and Technology（南京理工大学）；Illinois Institute of Technology（伊利诺伊理工学院）
基于深度学习的视频修复已经取得了令人鼓舞的成果，并越来越受到研究人员的关注。通常，这些方法通常假设每帧的损坏区域掩模是已知的并且容易获得。然而，这些面具的注释是劳动密集型和昂贵的，这限制了现有方法的实际应用。因此，我们希望通过定义一个新的半监督修复设置来放松这一假设，使网络能够使用仅一帧的注释掩码来完成整个视频的损坏区域。具体来说，在这项工作中，我们提出了一个端到端的可训练框架，由完成网络和掩码预测网络组成，它们被设计为使用已知掩码生成当前帧的损坏内容，并分别决定下一帧要填充的区域。此外，我们引入了一个循环一致性损失来正则化这两个网络的训练参数。以这种方式，完成网络和掩码预测网络可以相互约束，因此可以最大化训练模型的整体性能。此外，由于先验知识的自然存在（例如，损坏的内容和清晰的边界），当前的视频修复数据集不适合于半监督视频修复的上下文中。因此，我们通过模拟真实世界场景的损坏视频来创建一个新的数据集。大量的实验结果表明，我们的模型在视频修复任务的优越性。值得注意的是，尽管我们的模型是以半监督的方式训练的，但它可以实现与全监督方法相当的性能。
2022-11-17 cs.CV
CNN-based Euler's Elastica Inpainting with Deep Energy and Deep Image Prior
Saarland University（萨尔大学）
欧拉弹性体构成了一个吸引人的变分图像修补模型。它使涉及总变差以及水平线曲率的能量最小化。这些组件是透明的，使其对形状完成任务具有吸引力。然而，它的梯度流是一个奇异的，各向异性的，非线性的四阶偏微分方程，这是数值上的挑战：很难找到有效的算法，提供尖锐的边缘和良好的旋转不变性。作为补救措施，我们设计了第一个神经算法，模拟用欧拉的Elastica修复。我们使用深层能量的概念，它采用变分能量作为神经网络损失。此外，我们将其与深度图像先验配对，其中网络架构本身作为先验。这通过使优化轨迹更接近所需的解决方案来产生更好的图像修复。我们的研究结果是定性等同于国家的最先进的算法，基于弹性的形状完成。它们结合了良好的旋转不变性和尖锐的边缘。此外，我们受益于神经框架内的高效率和轻松的并行化。我们的神经弹性方法只需要3x3中央差异支架。因此，它比其他性能良好的算法简单得多。最后但并非最不重要的是，它是无监督的，因为它不需要地面实况训练数据。
2023-03-14 cs.CV cs.LG eess.IV
FlowPainter: Inpainting Optical Flow via Confidence-Guided Completion
Nankai University（南开大学）；The Hong Kong Polytechnic University（香港理工大学）；OPPO Research Institute（OPPO研究院）
研究光流估计问题，提出FlowPainter框架，结合迭代优化和扩散估计范式，用轻量级置信度感知网络区分区域，通过置信度引导完成光流修复，实验表明其在可比训练下精度高、收敛快。
2026-07-14 cs.AI cs.CV
Deep Video Inpainting
KAIST（韩国科学技术院）；Adobe Research（奥多比研究院）
视频修复旨在用视频中的可信内容填充时空漏洞。尽管用于图像修补的深度神经网络取得了巨大的进展，但由于额外的时间维度，将这些方法扩展到视频域是具有挑战性的。在这项工作中，我们提出了一种用于快速视频修复的新型深度网络架构。建立在一个基于图像的编码器-解码器模型，我们的框架的目的是收集和完善信息，从邻居帧和合成仍然未知的地区。同时，通过一个循环反馈和一个时间记忆模块，使输出在时间上保持一致。与最先进的图像修补算法相比，我们的方法产生的视频是更语义正确和时间平滑。与依赖于耗时优化的先前视频完成方法相比，我们的方法在生成有竞争力的视频结果的同时近乎实时地运行。最后，我们将我们的框架应用于视频重定向任务，并获得了视觉上令人满意的结果。
2019-05-05 cs.CV
Non-convex approaches for low-rank tensor completion under tubal sampling
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Michigan State University（密歇根州立大学）；University of Central Florida（中佛罗里达大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文针对管状采样下的低秩张量补全问题，提出 TL12 和 TCCUR 两种非凸框架，实验表明二者在低采样率下分别具有精度或效率优势。
2023-03-17 cs.CV cs.LG cs.NA
Quaternion Nuclear Norm minus Frobenius Norm Minimization for color image reconstruction
School of Mathematical Science, Inner Mongolia University（内蒙古大学数学科学学院）；The Chinese University of Hong Kong（香港中文大学）；Hong Kong Baptist University（香港浸会大学）
针对传统彩色图像复原方法忽略通道相关性导致失真的问题，提出基于四元数代数、结合核范数减F范数正则化的QNMF方法，逼近图像低秩结构，在多项彩色低层视觉任务中达SOTA水平。
2024-09-12 cs.CV
DiTPainter: Efficient Video Inpainting with Diffusion Transformers
ByteDance（字节跳动）
针对现有视频修复算法易模糊不一致、预训练DiT模型参数量大耗时久的问题，提出从头训练的高效DiT端到端视频修复模型DiTPainter，可处理任意长度视频，在质量和时空一致性上优于现有算法。
2025-05-19 cs.CV
Fast and Accurate Tensor Completion with Total Variation Regularized Tensor Trains
Department of Electrical and Electronic Engineering, The University of Hong Kong（香港大学电子工程系）；Delft Center for Systems and Control, Delft University of Technology（代尔夫特理工大学系统与控制中心）
本文提出了一种基于张量列车的新型张量补全方法，通过总变分和Tikhonov正则化提升了补全速度和可扩展性，尤其在已知数据极少时表现优异。
2018-11-13 cs.CV cs.NA math.NA
Towards An End-to-End Framework for Flow-Guided Video Inpainting
Nankai University（南开大学）；Hisilicon Technologies Co. Ltd.（海思技术有限公司）
光流，捕捉跨帧的运动信息，利用在最近的视频修复方法，通过沿其轨迹传播像素。然而，这些方法中的手工制作的基于流的过程被单独应用以形成整个修复管道。因此，这些方法效率较低，并且严重依赖于早期阶段的中间结果。在本文中，我们提出了一个端到端的框架流引导视频修复（E $^2$ FGVI）通过精心设计的三个可训练的模块，即流完成，特征传播，和内容幻觉模块。这三个模块对应于以前基于流的方法的三个阶段，但可以联合优化，从而实现更高效和更有效的修复过程。实验结果表明，该方法优于国家的最先进的方法，定性和定量，并显示出良好的效率。该代码可在https://github.com/MCG-NKU/E2FGVI上获得。
2022-04-07 cs.CV eess.IV
Multi-Agent Amodal Completion: Direct Synthesis with Fine-Grained Semantic Guidance
School of Computer Science and Engineering（计算机科学与工程学院）；Beihang University（北京航空航天大学）；School of Software（软件学院）
本文提出协同多智能体推理框架，通过多智能体协同分析遮挡关系、生成细粒度文本语义引导，并直接输出分层RGBA结果，解决了非模态补全中的误差累积与遮挡物再生问题，达到最先进视觉质量。
2025-09-22 cs.CV cs.MA
Adaptive Image Inpainting
最近，通过使用深度神经网络，图像修补方法已经显示出显著的改进。然而，这些技术中的许多技术通常会产生与周围区域不一致的扭曲结构或模糊纹理。这个问题的根源在于编码器层在构建完整和忠实的缺失区域嵌入方面的效率低下。为了解决这个问题，两阶段方法部署了两个单独的网络，用于对修复图像进行粗略和精细估计。一些方法利用手工制作的特征（如边缘或轮廓）来引导重建过程。这些方法由于多个生成器网络、手工特征的有限能力以及对地面实况中存在的信息的次优利用而遭受巨大的计算开销。受这些观察的启发，我们提出了一种基于蒸馏的修复方法，在这种方法中，我们以自适应的方式为编码器层提供直接的特征级监督。我们部署了交叉和自蒸馏技术，并讨论了在编码器中需要一个专用的完成块来实现蒸馏目标。我们对多个数据集进行了广泛的评估，以验证我们的方法。
2022-01-01 cs.CV
GS-RoadPatching: Inpainting Gaussians via 3D Searching and Placing for Driving Scenes
Beijing Normal University China；Unmanned Vehicle Dept., Cainiao, Alibaba \& State Key Lab of CAD\&CG, Zhejiang University China；Unmanned Vehicle Dept., Cainiao, Alibaba China；Baidu China；State Key Lab of CAD\&CG, Zhejiang University China；Beijing Normal University；Unmanned Vehicle Dept., Cainiao, Alibaba \& State Key Lab of CAD\&CG, Zhejiang University；Unmanned Vehicle Dept., Cainiao, Alibaba；Baidu；State Key Lab of CAD\&CG, Zhejiang University
提出GS-RoadPatching，利用3DGS特征空间中的结构匹配实现驾驶场景替代性修复，无需重新训练高斯，在多个数据集上达到最先进性能。
2025-09-24 cs.CV
Learning Quadrangulated Patches For 3D Shape Processing
DFKI Kaiserslautern（凯泽斯劳滕德国人工智能研究中心）；Technische Universität Kaiserslautern（凯泽斯劳滕工业大学）
我们提出了一个系统的表面完成和修复的3D形状使用生成模型，学习当地补丁。我们的方法使用了一种新的编码的高度图为基础的局部补丁参数化使用3D网格四边形的低分辨率输入形状。这为我们提供了足够数量的局部3D补丁来学习用于修复中等大小的孔的任务的生成模型。根据2D修复的最新进展，我们研究了基于线性字典的模型和基于卷积去噪自动编码器的模型，并证明我们的结果优于以前基于几何的表面修复方法。我们验证我们的方法在合成形状和现实世界的扫描。
2019-03-25 cs.CV
Resolution-robust Large Mask Inpainting with Fourier Convolutions
Samsung AI Center Moscow（三星莫斯科人工智能中心）；Samsung Research（三星研究院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；EPFL（洛桑联邦理工学院）
现代图像修补系统，尽管取得了重大进展，往往与大的丢失区域，复杂的几何结构，和高分辨率的图像。我们发现其中一个主要原因是修复网络和损失函数都缺乏有效的感受野。为了缓解这个问题，我们提出了一种新的方法，称为大掩模修复（LaMa）。LaMa基于i）一种新的修复网络架构，该架构使用快速傅立叶卷积（FFC），具有图像范围的感受野; ii）高感受野感知损失; iii）大型训练掩码，释放前两个组件的潜力。我们的修复网络在一系列数据集上提高了最先进的水平，即使在具有挑战性的场景中也能实现出色的性能，例如完成周期性结构。我们的模型令人惊讶地推广到高于训练时间的分辨率，并以低于竞争基线的参数和时间成本实现这一点。代码可在\url{https://github.com/saic-mdal/lama}上获得。
2021-11-11 cs.CV eess.IV
Advancing Limited-Angle CT Reconstruction Through Diffusion-Based Sinogram Completion
Dept. of Electrical and Computer Engineering, Northwestern University, Evanston, IL, USA（电气与计算机工程系，西北大学，爱荷华州埃文斯顿）
本文提出基于扩散模型的sinogram补全方法，结合蒸馏和伪逆约束，实现高效准确的有限角度CT重建，有效抑制伪影并保持结构细节。
2025-11-24 cs.AI cs.CV
Nonnegative Low-Rank Tensor Completion via Dual Formulation with Applications to Image and Video Completion
IIIT, Hyderabad（海得拉巴印度信息技术学院）
本文针对张量补全中忽略非负结构的问题，提出基于对偶理论的新颖分解，解耦非负与低秩约束，并采用黎曼共轭梯度变体求解，在图像和视频补全任务上优于现有方法。
2023-05-13 cs.CV cs.LG
Now You Have My Healthy Attention: A U-DiT for Brain-MRI Inpainting
Politecnico di Bari（巴里理工大学）
针对脑部MRI修复任务，提出U-DiT模型，结合对侧对称先验与注意力约束，在BraTS-2026验证集219例病例上取得健康区域SSIM 0.864等优异指标，提升了解剖学合理性。
2026-08-11 cs.CV
One-Shot Video Inpainting
Yonsei University（延世大学）
最近，从视频中删除对象，并使用深度视频修复（VI）算法填充被删除的区域引起了相当大的关注。通常，需要所有帧的视频序列和对象分割掩码作为此任务的输入。然而，在实际应用中，为所有帧提供分割掩码是相当困难和低效的。因此，我们以单次方式处理VI，仅将初始帧的对象掩码作为其输入。虽然我们可以使用视频对象分割（VOS）和VI方法的简单组合来实现，但它们是次优的，并且通常会导致要害差错。为了解决这个问题，我们提出了一个统一的管道，用于单次视频修复（OSVI）。通过以端到端的方式联合学习掩码预测和视频完成，结果可以对整个任务而不是每个单独的模块都是最佳的。此外，与使用预测掩码作为地面实况线索的两阶段方法不同，我们的方法更可靠，因为预测掩码可以用作网络的内部指导。在OSVI的合成数据集上，我们提出的方法在定量和定性上都优于所有其他方法。
2023-02-28 cs.CV
Line Drawing Guided Progressive Inpainting of Mural Damage
United International College of Beijing Normal University - HongKong Baptist University（北京师范大学-香港浸会大学联合国际学院）；Wuhan University（武汉大学）；Cleveland State University（克利夫兰州立大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对壁画损伤区域大、主题多样且易出现颜色偏差的问题，提出线条画引导的渐进式修复方法，通过结构重建网络和颜色校正网络分两步完成修复，实验证明其优于现有方法。
2024-07-04 cs.CV
Flow-Guided Transformer for Video Inpainting
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一种流引导的Transformer，创新性地利用光流暴露的运动差异来指导Transformer中的注意检索，实现高保真视频修复。更特别的是，我们设计了一种新的流完成网络，通过利用相关的流功能在本地时间窗口完成损坏的流。在完成流的基础上，我们将内容跨视频帧传播，并采用流引导的Transformer来合成剩余的损坏区域。我们沿着时间和空间维度解耦Transformers，这样我们就可以很容易地集成本地相关的完成流，以指导空间注意。此外，我们还设计了一个流重新加权模块，以精确地控制完成的流对每个空间Transformer的影响。为了提高效率，我们在空间和时间Transformers中引入了窗口划分策略。特别是在空间Transformer中，我们设计了一个双视角的空间MHSA，它将全局标记与基于窗口的注意力相结合。大量的实验定性和定量地证明了所提出的方法的有效性。代码可在https://github.com/hitachinsk/FGT上获得。
2022-08-14 cs.CV
RealFill: Reference-Driven Generation for Authentic Image Completion
Cornell University（康奈尔大学）；Google Research（谷歌研究院）；Snap Research（Snap 研究院）
针对现有图像补全模型生成内容不真实的问题，提出仅需少量任意条件参考图像即可个性化的生成式内绘模型RealFill，在新基准上性能大幅优于现有方法。
2024-05-14 cs.AI cs.CV cs.GR
LRTuckerRep: Low-rank Tucker Representation Model for Multi-dimensional Data Completion
Department of Statistics and Data Science, Southern University of Science and Technology（统计与数据科学系，南方科技大学）
提出LRTuckerRep模型，统一低秩与平滑先验于Tucker分解，实现高缺失率下多维数据高效精准补全。
2025-08-04 cs.CV cs.LG cs.NA
Divergence-Based Adaptive Extreme Video Completion
School of Computer；Communication Sciences, EPFL, Switzerland
极端的图像或视频完成，例如，我们在随机位置只保留1%的像素，允许在所需的预处理方面进行非常便宜的采样。然而，其结果是，重建对人类和修复算法都具有挑战性。我们提出了将最先进的极端图像完成算法扩展到极端视频完成。我们分析了一种基于颜色KL发散的颜色运动估计方法，该方法适用于非常稀疏的场景。我们的算法利用的估计，以适应其空间和时间之间的滤波重建稀疏随机采样的视频。我们使用重建PSNR和平均意见分数对50个公开的视频验证了我们的结果。
2020-04-14 cs.CV eess.IV
EraserDiT: Fast Video Inpainting with Diffusion Transformer Model
本文提出EraserDiT，一种基于扩散Transformer的视频修复方法，通过循环位置移位策略增强长期时间一致性，在大掩码场景下实现高质量、快速的目标移除与视频修复。
2025-08-17 cs.CV
InpaintHuman: Reconstructing Occluded Humans with Multi-Scale UV Mapping and Identity-Preserving Diffusion Inpainting
Hangzhou Dianzi University（杭州电子科技大学）；Alibaba International Digital Commerce Group（阿里巴巴国际数字商业集团）；Wuhan University（武汉大学）；University of Melbourne（墨尔本大学）
InpaintHuman通过多尺度UV映射和身份保持扩散修复技术，从被遮挡的单目视频中生成高保真、完整且可动画的3D人类化身。
2026-01-05 cs.CV
Identity Preserving Face Completion for Large Ocular Region Occlusion
University of Kentucky（肯塔基大学）；University of Southern California（南加州大学）；Harbin Institute of Technology（哈尔滨工业大学）；Hangzhou Normal University（杭州师范大学）
我们提出了一种新的深度学习方法来合成完整的人脸图像，在存在大的眼部区域遮挡。这是由于最近VR/AR显示器的激增阻碍了面对面的交流。与现有的人脸修复方法无法控制合成的内容，只能处理正面人脸姿态不同，该方法能够在保持身份的同时，忠实地恢复各种头部姿态下丢失的内容。我们的方法的核心是一种新的生成网络，具有专用的约束条件来规范合成过程。为了保持身份，我们的网络采用目标身份的任意无遮挡图像来推断丢失的内容，并将其高级CNN特征作为身份，然后正则化生成器的搜索空间。由于输入参考图像可能具有不同的姿态，因此进一步采用姿态映射和新的姿态映射来监督隐式姿态变换的学习。我们的方法是能够产生连贯的面部修复与一致的身份在视频与头部运动的大变化。合成和真实数据的实验表明，我们的方法大大优于国家的最先进的方法在合成质量和鲁棒性。
2018-07-23 cs.CV
Terrain Point Cloud Inpainting via Signal Decomposition
The College of Computer Science, Sichuan University（四川大学计算机学院）
针对边界不明确的地形点云孔洞，提出将地形分解为 B 样条曲面低频分量与相对高度图高频分量，并联合曲面拟合和二维图像修复实现保全局起伏与局部细节的补全。
2024-04-04 cs.CG cs.CV
Region-wise matching for image inpainting based on adaptive weighted low-rank decomposition
Shandong University（山东大学）；Shandong Jianzhu University（山东建筑大学）；the Second Hospital of Shandong University（山东大学第二医院）
数字图像修补是一个插值问题，它通过对已知区域的数据进行插值，使得插值结果满足一定的先验知识。低秩自相似性和非局部自相似性是图像修补的两个重要先验。基于非局部自相似性假设，将图像划分为相互重叠的正方形目标块（子矩阵），并将每个目标块的相似块整形为向量，堆叠成块矩阵。这种修补矩阵通常具有低秩或近似低秩的性质，其缺失元素可以通过低秩矩阵近似（LRMA）算法来恢复。传统上，$n$最近邻相似块在以目标块为中心的局部窗口内搜索。然而，对于具有缺失线的图像，生成的补丁矩阵易于具有完全缺失的行，使得下游低秩模型不能很好地重建它。为了解决这个问题，我们提出了一个区域明智的匹配（RwM）算法划分成多个子区域的目标补丁的邻域，然后在每个子区域内搜索最相似的。一个非凸加权低秩分解（NC-WLRD）模型的LRMA也提出了建议的RwM算法分组重建所有退化的补丁矩阵。采用交替方向乘子法（ADMM）求解NC-WLRD模型，并详细分析了其收敛性。大量的实验线修复（整行/列丢失）证明了我们的方法优于其他竞争力的修复算法。与其他基于低秩的矩阵补全方法和修复算法不同，所提出的模型NC-WLRD对于去除随机值脉冲噪声和结构噪声（条纹）也是有效的。
2023-03-22 cs.CV
Transformer based Pluralistic Image Completion with Reduced Information Loss
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学技术学院）；Microsoft Cloud AI（微软云人工智能部门）；Wormpex AI Research LLC（Wormpex人工智能研究有限责任公司）
针对现有Transformer图像修复方法因下采样、量化导致的信息损失问题，提出PUT框架，通过基于块的自编码器与非量化Transformer减少损失，引入条件增强可控性，在保真度和多样性上优于现有方法。
2024-04-15 cs.CV
Matrix Completion Via Reweighted Logarithmic Norm Minimization
本文提出加权对数范数作为低秩矩阵补全的非凸替代方法，通过ADMM实现高效优化，实验显示其在图像修复中优于现有方法。
2025-12-24 cs.CV
Towards Realistic Landmark-Guided Facial Video Inpainting Based on GANs
Technische Universität Berlin（柏林工业大学）；Tampere University（坦佩雷大学）；Ernst-Abbe University of Applied Sciences Jena（恩斯特·阿贝耶拿应用科学大学）
针对人脸视频遮挡去除需求，提出基于GAN的表情引导修复网络，结合人脸关键点、无遮挡参考图与定制FER损失，实现静态/动态遮挡的自适应去除，保障帧间身份一致与时空连贯的逼真修复效果。
2024-02-14 cs.CV
