Mask-adaptive Gated Convolution and Bi-directional Progressive Fusion Network for Depth Completion
College of Information Science and Engineering, Northeastern University（东北大学信息科学与工程学院）；Foshan Graduate School of Innovation, Northeastern University（东北大学佛山创新研究生院）；National Frontiers Science Center for Industrial Intelligence and Systems Optimization, Northeastern University（东北大学工业智能与系统优化国家前沿科学中心）
本文针对深度图中缺失像素的补全问题，提出基于编码器-解码器结构的新模型，通过掩码自适应门控卷积和双向渐进融合模块提升深度补全的准确性与可靠性，并在多个基准数据集上验证了其优越性。
2024-12-27 cs.CV
Completing Visual Objects via Bridging Generation and Segmentation
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软）
针对从部分可见组件重建完整对象的视觉补全问题，提出MaskComp方法，通过迭代交替生成与分割阶段逐步细化掩码，实验证明其效果优于ControlNet等现有方法。
2024-02-02 cs.CV
Masked Spatial Propagation Network for Sparsity-Adaptive Depth Refinement
Korea University（高丽大学）；Gauss Labs Inc.（高斯实验室公司）
本文提出稀疏度自适应深度细化框架SDR及掩码空间传播网络MSPN，通过逐步传播稀疏深度信息，有效应对稀疏深度数量变化，在SDR和传统深度补全中均达到最先进性能。
2024-04-30 cs.CV
Multi-Modal Masked Pre-Training for Monocular Panoramic Depth Completion
Nanjing University of Science and Technology（南京理工大学）
在本文中，我们制定了一个潜在的有价值的全景深度完成（PDC）的任务，全景3D相机往往产生360°的深度与丢失的数据在复杂的场景。它的目标是从原始稀疏深度和全景RGB图像中恢复密集的全景深度。为了处理PDC任务，我们训练了一个深度网络，该网络将深度和图像作为密集全景深度恢复的输入。然而，由于其目标函数的非凸性，使得网络参数的优化成为一个具有挑战性的问题。为了解决这个问题，我们提出了一种简单而有效的方法，称为M{^3}PT：多模态掩蔽预训练。具体地说，在预训练过程中，我们同时覆盖的全景RGB图像和稀疏深度的补丁共享随机掩码，然后重建在掩蔽区域的稀疏深度。据我们所知，这是我们第一次在多模态视觉任务中显示掩蔽预训练的有效性，而不是由掩码自编码器（MAE）解决的单模态任务。与微调完全丢弃预训练的解码器部分的MAE不同，在我们的M $^{3}$ PT中，预训练和微调阶段之间没有架构差异，因为它们仅在预测密度上不同，这可能使迁移学习更方便和有效。在三个全景数据集上的实验验证了M{^3}PT的有效性。值得注意的是，在三个基准数据集上，我们平均将RMSE的最新基线提高了26.2%，MRE提高了51.7%，MAE提高了49.7%，RMSE日志提高了37.5%。
2022-07-12 cs.CV
CrowdMAC: Masked Crowd Density Completion for Robust Crowd Density Forecasting
Keio University（庆应义塾大学）；NVIDIA（英伟达公司）
针对人群密度预测中过去密度图因检测遗漏不完整的问题，提出CrowdMAC框架，通过同时训练预测未来图和重建掩码观测图，结合TDM非均匀掩码，在7个数据集上取得最优性能并验证对检测遗漏的鲁棒性。
2024-11-27 cs.AI cs.CV cs.RO
Lift, Splat, Map: Lifting Foundation Masks for Label-Free Semantic Scene Completion
University of Texas at Austin（得克萨斯大学奥斯汀分校）；Eindhoven University of Technology（埃因霍温理工大学）
本文提出 LSMap，利用视觉基础模型掩码在单张 RGBD 图像上实时预测开放集语义与高度感知的鸟瞰图表示，无需人工标注，并在无监督语义场景补全中优于现有方法。
2024-07-03 cs.CV cs.RO
Learning to In-paint: Domain Adaptive Shape Completion for 3D Organ Segmentation
本文提出将形状学习建模为MLM修补任务，并通过形状感知自蒸馏迁移形状知识，在五个器官分割数据集上于多种无监督域适应场景中实现一致提升。
2023-08-17 cs.CV
Monocular Semantic Scene Completion via Masked Recurrent Networks
Tianjin Normal University（天津师范大学）；Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）
针对单目语义场景补全中可见分割、遮挡推理与深度误差耦合的问题，提出两阶段 MonoMRN，利用 MS-GRU、稀疏计算和距离注意力投影，在室内外基准上达到 SOTA。
2025-07-23 cs.CV cs.RO
FastMap: Real-Time Semantic Map Completion via Bitwise Masked Modeling
NYUAD Center for Artificial Intelligence and Robotics (CAIR)（纽约大学阿布扎克人工智能与机器人中心）；New York University Abu Dhabi（纽约大学阿布扎克分校）；New York University（纽约大学）；Embodied AI and Robotics (AIR) Lab（具身人工智能与机器人实验室）；School of Software, Tsinghua University（清华大学软件学院）
FastMap提出轻量级两阶段框架，利用位级标记和掩码自编码器实现实时语义地图补全，在Gibson基准上显著提升性能，并支持目标导航。
2026-09-11 cs.CV cs.RO
The JEPA Predictor: A Transferable Operator for Occluded Feature Completion
Aitomatic, Inc.（自动公司）
研究JEPA预测器，通过特征空间线性投影将其连接到非JEPA主机，证明其可跨编码器家族移植，能补全遮挡特征，在不同数据集和掩码比例下提升准确率，无需重新训练模型。
2026-10-06 cs.CV
Hyper-Transformer for Amodal Completion
Shanghai Neuhelium Neuromorphic Intelligence Technology（上海 Neuhelium 神经形态智能科技）；Northwestern Polytechnical University（西北工业大学）；Fudan University（复旦大学）
针对非模态目标补全中传统方法效率低且易累积误差的问题，提出 H-TAN 框架，利用带动态卷积头的超变换器直接学习形状先验并预测掩码，在 KINS 等数据集上性能优越。
2024-05-30 cs.CV
Rethinking Transparent Object Grasping: Depth Completion with Monocular Depth Estimation and Instance Mask
State Key Laboratory of Robotics and System at Harbin Institute of Technology（哈尔滨工业大学机器人系统国家重点实验室）；Lanzhou University of Technology（兰州理工大学）；Department of Computer Science（计算机科学系）；University of Liverpool（利物浦大学）
本文提出ReMake框架，通过实例掩码和单目深度估计提升透明物体的深度补全精度，改进真实场景下的抓取可靠性。
2025-08-04 cs.CV
Amodal Ground Truth and Completion in the Wild
VGG, University of Oxford（牛津大学VGG）；CMIC, Shanghai Jiao Tong University（上海交通大学CMIC）
本文利用3D数据构建自动流程获取真实图像非模态掩码真实值，建立MP3D-Amodal基准，并提出两阶段和一阶段架构变体，在多个数据集上实现非模态分割最优性能。
2024-04-29 cs.CV
ME-PCN: Point Completion Conditioned on Mask Emptiness
The University of Hong Kong（香港大学）；Technical University of Munich（慕尼黑工业大学）；CUHK(SZ)（香港中文大学（深圳））
本文提出 ME-PCN 点云补全网络，通过同时编码占据点云与相邻“空点”来利用深度图中的空区域线索，先估计粗粒度完整表面点再细化细节，实验证明其性能优于现有方法且该设计轻量易嵌入，能稳定提升 CD 和 EMD 指标。
2021-10-14 cs.CV
Sparse and Dense Data with CNNs: Depth Completion and Semantic Segmentation
Inria（法国国家信息与自动化研究所）；Valeo（法雷奥）
卷积神经网络是为密集数据设计的，但视觉数据通常是稀疏的（立体深度、点云、笔划等）。我们提出了一种方法来处理稀疏的深度数据与可选的密集RGB，并完成深度完成和语义分割只改变最后一层。我们的建议有效地学习稀疏特征，而不需要额外的有效性掩码。我们展示了如何确保网络对不同输入稀疏性的鲁棒性。我们的方法甚至适用于低至0.8%的密度（8层激光雷达），并且在Kitti深度完成基准上优于所有已发布的最先进技术。
2018-08-31 cs.CV
MT-Depth: Multi-task Instance feature analysis for the Depth Completion
Saisuode (Shanghai) Intelligent Technology Co., Ltd. (Synthoid.ai)（上海思速德智能科技有限公司（Synthoid.ai））
MT-Depth通过实例感知的多任务实例特征分析，提升深度补全的精度，尤其在物体边界、遮挡和细长结构区域表现优异。
2025-12-09 cs.CV
Mask-aware inference with State-Space Models
本文提出Partial Vision Mamba（PVM）架构，用于处理具有任意形状无效数据的State-Space模型推理任务，展示了其在深度补全、图像修复和分类中的有效性。
2026-08-11 cs.CV
Stable Diffusion-Based Approach for Human De-Occlusion
Kwangwoon University（韩国成均馆大学）
本文提出一种两阶段人体去遮挡方法，先利用扩散先验和关节热图完成掩码补全，再结合VQA与CLIP文本特征通过Stable Diffusion实现RGB补全，在严重遮挡下优于现有方法并提升下游人体任务性能。
2025-08-18 cs.CV
Multi-Agent Amodal Completion: Direct Synthesis with Fine-Grained Semantic Guidance
School of Computer Science and Engineering（计算机科学与工程学院）；Beihang University（北京航空航天大学）；School of Software（软件学院）
本文提出协同多智能体推理框架，通过多智能体协同分析遮挡关系、生成细粒度文本语义引导，并直接输出分层RGBA结果，解决了非模态补全中的误差累积与遮挡物再生问题，达到最先进视觉质量。
2025-09-22 cs.CV cs.MA
Image Completion and Extrapolation with Contextual Cycle Consistency
Samsung Research Institute - Noida（三星诺伊达研究院）
图像完成是指填充图像的缺失区域的任务，图像外推是指在保持图像连贯性的同时在其边界处扩展图像的任务。许多基于GAN的最新工作已经在解决这些问题陈述方面取得了进展，但缺乏对这两种情况的适应性，即为完成内部掩蔽图像而训练的神经网络不能很好地推广到边界上的外推，反之亦然。在本文中，我们提出了一种技术，训练完成和外推网络同时受益。我们证明了我们的方法在完成大的缺失区域的效率，我们显示了与当代最先进的基线状态的比较。
2020-06-04 cs.CV
Counterfactual Depth from a Single RGB Image
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们描述了一种方法，该方法从单个RGB图像预测深度图，该深度图描述了移除掩蔽对象时的场景-我们称之为“反事实深度”，该深度图将隐藏场景几何形状与观察结果一起建模。我们的方法的工作原理与场景完成的工作原理相同：对象的空间结构很简单。但是，我们提供了比当前场景完成方法更高的空间分辨率表示，因为我们以像素级精度操作，并且不依赖于体素表示。此外，我们不需要RGBD输入。我们的方法使用标准的编码器-解码器架构，并修改解码器以接受对象掩码。我们描述了一个小的评估数据集，我们已经收集，它允许推断哪些因素影响重建最强烈。使用这个数据集，我们证明了我们对掩蔽对象的深度预测优于其他基线。
2019-09-03 cs.CV
Generative Mask Pyramid Network for CT/CBCT Metal Artifact Reduction with Joint Projection-Sinogram Correction
University of Rochester（罗切斯特大学）；University of Maryland, College Park（马里兰大学帕克分校）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Carestream Health, Inc.（锐珂医疗公司）
计算机断层摄影（CT）或锥形束CT（CBCT）金属伪影减少的常规方法是用合成数据替换金属迹线内的X射线投影数据。然而，现有的投影或正弦图完成方法不能总是产生解剖学上一致的信息来填充金属迹线，因此，当金属植入物较大时，通常会引入显著的二次伪影。在这项工作中，我们建议通过联合投影-正弦图校正以及对抗性学习，用解剖学一致的内容替换金属伪影影响的区域。为了处理不同形状和大尺寸的金属植入物，我们还提出了一种新的掩码金字塔网络，该网络可以在网络的编码层中强制执行掩码信息，并且掩码融合损失可以减少对抗训练的早期饱和。我们的实验结果表明，所提出的投影正弦图校正设计是有效的，我们的方法恢复信息的金属痕迹比国家的最先进的方法。
2022-03-23 cs.CV eess.IV
Contrastive Attention Network with Dense Field Estimation for Face Completion
University of Science and Technology of China（中国科学技术大学）
大多数现代人脸修复方法采用自动编码器或其变体来恢复人脸图像中缺失的区域。编码器通常用于学习强大的表征，在应对复杂学习任务的挑战方面发挥着重要作用。具体来说，在野外的人脸图像中经常会呈现出各种口罩，形成复杂的图案，尤其是在这个COVID-19的艰难时期。在这种复杂的情况下，编码器很难捕捉到如此强大的表示。为了解决这一挑战，我们提出了一个自监督的连体推理网络，以提高编码器的泛化能力和鲁棒性。它可以从全分辨率图像中编码上下文语义，并获得更具鉴别力的表示。为了处理人脸图像的几何变化，一个密集的对应字段被集成到网络中。我们进一步提出了一个多尺度解码器与一个新的双注意力融合模块（DualAttention Fusion Module，简称DAI），它可以结合恢复和已知区域的自适应方式。这种多尺度架构有利于解码器将从编码器学习的区别性表示用于图像。大量的实验表明，该方法不仅取得了更有吸引力的结果相比，国家的最先进的方法，但也提高了蒙面人脸识别的性能显着。
2021-12-20 cs.CV
The Missing Data Encoder: Cross-Channel Image Completion\\with Hide-And-Seek Adversarial Network
Sorbonne Université（索邦大学）
图像补全是从片段生成完整图像的问题。它包括修复（在给定其周围的情况下生成一个补丁），反向修复/外推（在给定中心补丁的情况下生成外围）以及着色（在给定其他通道的情况下生成一个或多个通道）。在本文中，我们使用深度网络来执行图像完成，具有对抗性训练以及感知和完成损失，并将其称为“缺失数据编码器”（MDE）。我们考虑几种配置的基础上如何选择的种子片段。我们表明，训练MDE的“随机外推和着色”（MDE-REC），即使用随机通道独立的片段，可以更好地捕捉图像的语义和几何形状。MDE训练利用了一种新的“隐藏和寻找”对抗性损失，其中搜索器寻找原始的非掩蔽区域，而生成器试图隐藏它们。我们在几个数据集上定性和定量地验证了我们的模型，显示了他们对图像完成，无监督表示学习以及面部遮挡处理的兴趣。
2019-05-06 cs.CV
SPU-IMR: Self-supervised Arbitrary-scale Point Cloud Upsampling via Iterative Mask-recovery Network
Northwestern Polytechnical University（西北工业大学）；Shenzhen University（深圳大学）
提出一种将点云上采样视为全局形状补全的自监督方法，通过分块、掩码和迭代恢复网络实现任意尺度上采样，实验证明优于现有自监督和监督方法。
2025-02-26 cs.CV eess.IV
Resolution-robust Large Mask Inpainting with Fourier Convolutions
Samsung AI Center Moscow（三星莫斯科人工智能中心）；Samsung Research（三星研究院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；EPFL（洛桑联邦理工学院）
现代图像修补系统，尽管取得了重大进展，往往与大的丢失区域，复杂的几何结构，和高分辨率的图像。我们发现其中一个主要原因是修复网络和损失函数都缺乏有效的感受野。为了缓解这个问题，我们提出了一种新的方法，称为大掩模修复（LaMa）。LaMa基于i）一种新的修复网络架构，该架构使用快速傅立叶卷积（FFC），具有图像范围的感受野; ii）高感受野感知损失; iii）大型训练掩码，释放前两个组件的潜力。我们的修复网络在一系列数据集上提高了最先进的水平，即使在具有挑战性的场景中也能实现出色的性能，例如完成周期性结构。我们的模型令人惊讶地推广到高于训练时间的分辨率，并以低于竞争基线的参数和时间成本实现这一点。代码可在\url{https://github.com/saic-mdal/lama}上获得。
2021-11-11 cs.CV eess.IV
Semi-Supervised Video Inpainting with Cycle Consistency Constraints
Nanjing University of Science and Technology（南京理工大学）；Illinois Institute of Technology（伊利诺伊理工学院）
基于深度学习的视频修复已经取得了令人鼓舞的成果，并越来越受到研究人员的关注。通常，这些方法通常假设每帧的损坏区域掩模是已知的并且容易获得。然而，这些面具的注释是劳动密集型和昂贵的，这限制了现有方法的实际应用。因此，我们希望通过定义一个新的半监督修复设置来放松这一假设，使网络能够使用仅一帧的注释掩码来完成整个视频的损坏区域。具体来说，在这项工作中，我们提出了一个端到端的可训练框架，由完成网络和掩码预测网络组成，它们被设计为使用已知掩码生成当前帧的损坏内容，并分别决定下一帧要填充的区域。此外，我们引入了一个循环一致性损失来正则化这两个网络的训练参数。以这种方式，完成网络和掩码预测网络可以相互约束，因此可以最大化训练模型的整体性能。此外，由于先验知识的自然存在（例如，损坏的内容和清晰的边界），当前的视频修复数据集不适合于半监督视频修复的上下文中。因此，我们通过模拟真实世界场景的损坏视频来创建一个新的数据集。大量的实验结果表明，我们的模型在视频修复任务的优越性。值得注意的是，尽管我们的模型是以半监督的方式训练的，但它可以实现与全监督方法相当的性能。
2022-11-17 cs.CV
M3TR: A Generalist Model for Real-World HD Map Completion
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄大学）
针对离线高精地图易过时的问题，提出通用模型M3TR，通过多掩码增强与查询优化，支持有无先验的高精地图补全，构建首个综合基准，性能优于现有方法且可实际部署。
2025-05-21 cs.CV cs.RO
RaySt3R: Predicting Novel Depth Maps for Zero-Shot Object Completion
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；NVIDIA（英伟达）
RaySt3R将3D形状补全转化为新视角合成问题，利用前馈transformer从单张RGB-D图像预测多视角深度图、掩码和置信度，并在多个数据集上以最多44%的倒角距离优势超越基线。
2025-06-05 cs.CV
Exploring Effective Mask Sampling Modeling for Neural Image Compression
针对神经图像压缩中通道冗余问题，提出含CMSM、LCMM、LCCM的新型预训练策略，可适配多种架构，在公开数据集上以更低复杂度实现有竞争力的压缩性能。
2023-06-09 cs.CV cs.MM eess.IV
Seen2Scene: Completing Realistic 3D Scenes with Visibility-Guided Flow
Technical University of Munich（慕尼黑工业大学）；University of Virginia（弗吉尼亚大学）
本文提出Seen2Scene，首个基于流匹配的3D场景补全方法，直接训练于不完整的真实3D扫描数据。通过视图引导的流匹配，有效学习真实世界部分观测，利用截断签名距离场体积表示3D场景，并通过稀疏变换器高效建模复杂结构。
2026-03-30 cs.CV
Visualizing the Invisible: Occluded Vehicle Segmentation and Recovery
在本文中，我们提出了一种新的迭代多任务框架来完成被遮挡车辆的分割掩模，并恢复其不可见部分的外观。特别是，为了提高分割完成的质量，我们提出了两个耦合的鉴别器，并引入了一个辅助的3D模型池，用于对真实的轮廓进行采样作为对抗样本。此外，我们提出了一个双路径结构与共享网络，以提高外观恢复能力。通过迭代地执行分割完成和外观恢复，结果将逐步细化。为了评估我们的方法，我们提出了一个数据集，被遮挡的车辆数据集，包含合成和真实世界的被遮挡的车辆图像。我们在这个数据集上进行比较实验，并证明我们的模型在恢复被遮挡车辆的分割掩模和外观的任务中优于最先进的模型。此外，我们还证明了我们的外观恢复方法可以在现实世界的视频中的遮挡车辆跟踪的好处。
2019-07-22 cs.CV
What's Behind the Mask: Estimating Uncertainty in Image-to-Image Problems
Verily Research（Verily研究院）
估计图像到图像网络中的不确定性是一项重要的任务，特别是当这种网络越来越多地部署在生物和医学成像领域时。在本文中，我们介绍了一种新的方法来解决这个问题的基础上掩蔽。给定一个现有的图像到图像网络，我们的方法计算一个掩模，使得掩模重建图像和掩模真实图像之间的距离保证小于指定的阈值，具有很高的概率。掩模因此识别重构图像的更确定的区域。我们的方法对底层的图像到图像网络是不可知的，并且只需要输入（退化），重建和真实图像的三元组进行训练。此外，我们的方法对所使用的距离度量是不可知的。因此，可以使用$L_p$风格的距离或感知距离（如LPIPS），这与基于区间的不确定性方法形成对比。我们的理论保证来自保形校准程序。我们评估了我们基于掩模的方法对图像着色，图像完成和超分辨率任务的不确定性，并在每个任务上展示了高质量的性能。
2022-11-28 cs.CV cs.LG
SG-NN: Sparse Generative Neural Networks for Self-Supervised Scene Completion of RGB-D Scans
Technical University of Munich（慕尼黑工业大学）
我们提出了一种新的方法，通过推断未观察到的场景几何形状，将部分和嘈杂的RGB-D扫描转换为高质量的3D场景重建。我们的方法是完全自我监督的，因此可以只在真实世界的不完整扫描上进行训练。为了实现自我监督，我们从一个给定的（不完整的）3D扫描中删除帧，以使其更加不完整;然后通过将同一扫描的两个级别的局部性相关联，同时掩盖从未观察到的区域，来制定自我监督。通过在大型训练集上进行泛化，我们可以预测3D场景的完成，而无需看到任何完全完整的几何体的3D扫描。结合一个新的3D稀疏生成神经网络架构，我们的方法是能够预测高度详细的表面在一个由粗到细的分层方式，生成3D场景在2厘米的分辨率，超过现有的国家的最先进的方法的分辨率的两倍，以及优于他们的重建质量的显着保证金。
2020-03-24 cs.CV
Sparse and noisy LiDAR completion with RGB guidance and uncertainty
KU Leuven（鲁汶大学）
本文提出了一种新的方法来精确地完成稀疏激光雷达地图引导RGB图像。对于自动驾驶汽车和机器人来说，为了实现精确的深度预测，LiDAR的使用是必不可少的。许多应用程序依赖于对周围环境的感知，并使用深度线索来推理和做出相应的反应。一方面，单目深度预测方法无法生成绝对和精确的深度图。另一方面，立体方法仍然明显优于基于LiDAR的方法。深度完成任务的目标是从映射到2D平面的稀疏和不规则点云生成密集的深度预测。我们提出了一个新的框架，提取全局和局部信息，以产生适当的深度图。我们认为，简单的深度补全不需要深度网络。然而，我们还提出了一种融合方法，从单目相机的RGB指导，以利用对象信息和纠正稀疏输入中的错误。这大大提高了准确性。此外，利用置信度掩模，以考虑到从每个模态的深度预测中的不确定性。这种融合方法优于最先进的技术，在KITTI深度完成基准测试中排名第一。我们的可视化代码是可用的。
2019-02-14 cs.CV
High Resolution Face Completion with Multiple Controllable Attributes via Fully End-to-End Progressive Generative Adversarial Networks
North Carolina State University（北卡罗来纳州立大学）
我们提出了一种深度学习方法，用于具有多个可控属性（例如，微笑着，戴着面具。人脸补全需要理解局部和全局的结构意义和外观一致性，以填充输入图像中内容未出现在其他地方的“洞”。这是一项具有挑战性的任务，其难度在高分辨率、“洞”的复杂性和填充碎片的可控属性方面显著增加。我们的系统通过学习一个完全端到端的框架来解决这些挑战，该框架通过编码可控属性的条件向量从低分辨率到高分辨率逐步训练生成对抗网络（GANs）。我们设计了新颖的网络架构，以有效和高效地利用跨多个尺度的信息。我们引入了新的损失函数，鼓励急剧完成。我们表明，我们的系统可以使用单个前馈计算完成具有较大结构和外观变化的人脸，对于1024 x 1024分辨率的图像，平均推理时间为0.007秒。我们还进行了一项试点人体研究，表明我们的方法在排名分析方面优于最先进的人脸补全方法。代码将在发布时发布。
2018-01-23 cs.CV cs.GR
An Adaptive Framework for Learning Unsupervised Depth Completion
University of California, Los Angeles（加州大学洛杉矶分校）；Amazon Web Services（亚马逊云服务）；Chung-Ang University（中央大学）
我们提出了一种方法来推断一个密集的深度图从彩色图像和相关的稀疏深度测量。我们的主要贡献在于设计了一个退火过程，用于确定共同可见性（遮挡，非遮挡）和施加在模型上的正则化程度。我们证明了正则化和协同可见性是通过模型对数据的适应度（残差）联系起来的，两者可以统一到一个框架中来改善学习过程。我们的方法是一种自适应加权方案，通过测量每个训练步骤中每个像素位置处的残差来指导优化，用于（i）估计软可见性掩模和（ii）确定正则化量。我们通过将其应用于最近的几种无监督深度补全方法并提高其在公共基准数据集上的性能来证明我们的方法的有效性，而不会产生额外的可训练参数或增加推理时间。代码可在：https://github.com/alexklwong/adaframe-depth-completion获得。
2021-08-24 cs.CV cs.LG cs.RO
Prior based Sampling for Adaptive LiDAR
Tel Aviv University（特拉维夫大学）
提出 SampleDepth 卷积神经网络，利用历史深度样本自适应预测当前帧 LiDAR 采样掩码，并面向深度补全下游任务优化，在两种网络和 KITTI、SHIFT 数据集上验证有效。
2023-04-14 cs.CV
CSF-Net: Context-Semantic Fusion Network for Large Mask Inpainting
Department of Artificial Intelligence Convergence（人工智能融合系）
针对大掩码图像修复中视觉内容缺失、上下文线索有限的问题，提出CSF-Net框架，利用预训练AC模型生成语义先验，通过Transformer融合上下文特征生成引导图像，提升修复的结构准确性与语义一致性，减少对象幻觉。
2025-11-11 cs.CV
Event-Driven Dynamic Scene Depth Completion
NUS（新加坡国立大学）；UCL（伦敦大学学院）；NJUST（南京理工大学）
针对动态场景中传统RGB-D深度补全受运动干扰效果差的问题，提出首个事件驱动的深度补全框架EventDC，通过事件调制对齐和局部深度滤波模块提升性能，并构建了相关基准数据集，实验验证了其优越性。
2025-05-20 cs.CV
Decoder Modulation for Indoor Depth Completion
Samsung AI Center Moscow（三星莫斯科人工智能中心）
深度补全从传感器测量恢复密集深度图。目前的方法主要是针对室外环境中的LiDAR进行非常稀疏的深度测量，而对于室内场景，主要使用飞行时间（ToF）或结构光传感器。这些传感器提供半密集地图，在某些区域进行密集测量，而在其他区域几乎是空的。我们提出了一个新的模型，考虑到这些地区之间的统计差异。我们的主要贡献是一个新的解码器调制分支添加到编码器-解码器架构。编码器从级联的RGB图像和原始深度中提取特征。给定缺失值的掩码作为输入，所提出的调制分支针对不同区域不同地控制来自这些特征的密集深度图的解码。这是通过经由空间自适应去归一化（SPADE）块修改解码器内部的输出信号的空间分布来实现的。我们的第二个贡献是一个新的训练策略，使我们能够训练的半密集传感器数据时，地面真理深度图不可用。我们的模型在室内Matterport 3D数据集上实现了最先进的结果。我们的模型是为半密集输入深度设计的，与KITTI数据集上面向LiDAR的方法相比仍然具有竞争力。我们的训练策略显着提高了预测质量，没有密集的地面真相可用，在NYUv 2数据集上验证。
2021-02-08 cs.CV
A Deep Learning Framework to Reconstruct Face under Mask
American International University-Bangladesh（美国国际大学-孟加拉国）
虽然基于深度学习的图像重建方法在从图片中移除物体方面取得了显著的成功，但它们尚未实现将一致性归因于性别、种族、表情和其他特征（如面部拓扑结构）的可接受结果。本工作的目的是从掩模图像中提取掩模区域，并重建已检测到的区域。这个问题很复杂，因为（i）很难确定隐藏在面具后面的图像的性别，这导致网络变得混乱，并将男性面部重建为女性，反之亦然;（ii）我们可能从多个角度接收图像，这使得很难保持面部的实际形状，拓扑结构和自然图像;和（iii）各种面具形式存在问题，因为在某些情况下，面具的面积不能精确地预测;面具的某些部分在完成后仍留在脸上。为了解决这个复杂的任务，我们将问题分为三个阶段：地标检测，目标掩模区域的目标检测，以及修复寻址的掩模区域。首先，为了解决第一个问题，我们使用了性别分类，它检测面具后面的实际性别，然后我们检测面具面部图像的地标。其次，我们识别了非面部项目，即，掩模，并使用Mask R-CNN网络来创建观察到的掩模区域的二进制掩模。第三，我们开发了一个修复网络，它使用预期的地标来创建逼真的图像。为了分割掩码，本文使用掩码R-CNN，并提供了一个二进制分割图来识别掩码区域。此外，我们通过基于GAN的网络利用地标作为结构指导来生成图像。本文中的研究使用了FFHQ和CelebA数据集。
2022-03-23 cs.AI cs.CV cs.LG
TransCG: A Large-Scale Real-World Dataset for Transparent Object Depth Completion and a Grasping Baseline
Shanghai Jiao Tong University（上海交通大学）；Qing Yuan Research Institute（清源研究院）；AI Institute（人工智能研究院）
透明物体在我们的日常生活中很常见，经常在自动化生产线上处理。鲁棒的基于视觉的机器人抓取和操纵这些对象将有利于自动化。然而，大多数当前的抓取算法在这种情况下会失败，因为它们严重依赖于深度图像，而普通的深度传感器通常由于光的反射和折射而无法为透明物体产生准确的深度信息。在这项工作中，我们通过贡献一个用于透明对象深度完成的大规模真实世界数据集来解决这个问题，该数据集包含来自130个不同场景的57，715个RGB-D图像。我们的数据集是第一个大规模的真实世界数据集，它在多样化和混乱的场景中提供地面真实深度，表面法线，透明遮罩。跨域实验表明，我们的数据集更一般，可以使模型具有更好的泛化能力。此外，我们提出了一个端到端的深度补全网络，它将RGB图像和不准确的深度图作为输入，并输出一个细化的深度图。实验结果表明，该方法具有较好的有效性、效率和鲁棒性，能够在有限的硬件资源下处理高分辨率的图像。真实机器人实验表明，我们的方法也可以适用于新的透明物体的鲁棒抓取。完整的数据集和我们的方法可以在www.graspnet.net/transcg上公开获得
2022-08-28 cs.CV cs.RO
Image Inpainting with Edge-guided Learnable Bidirectional Attention Maps
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Lab（鹏城实验室）；DAMO Academy at Alibaba Group（阿里巴巴达摩院）
对于图像修补，以往的卷积神经网络（CNN）通常采用标准卷积算子，对有效像素和空洞进行不可分割的处理。因此，它们在处理不规则孔方面受到限制，并且倾向于产生颜色不一致和模糊的修补结果。部分卷积（PConv）通过仅以有效像素为条件进行掩码卷积和特征重新归一化来解决这个问题，但掩码更新是手工制作的，与图像结构信息无关。在本文中，我们提出了一个边缘引导的可学习的双向注意图（边缘LBAM），以提高图像修补的不规则孔有几个明显的优点。代替使用硬0-1掩码，引入可学习的注意力映射模块，用于以端到端的方式学习特征重新规范化和掩码更新。在解码器中进一步提出了可学习的反向注意力映射，强调填充未知像素而不是重建所有像素。由于填充顺序对修复结果至关重要，并且在很大程度上取决于基于样本的方法中的图像结构，因此我们进一步提出了一种多尺度边缘完成网络来预测相干边缘。我们的Edge-LBAM方法包含两个过程，包括由预测边缘引导的结构感知的掩模更新和由掩模生成的用于特征重新归一化的注意力图。大量的实验表明，我们的Edge-LBAM在生成连贯的图像结构和防止颜色差异和模糊方面是有效的，并且在定性度量和视觉质量方面优于最先进的方法。
2021-04-25 cs.CV
VoxFormer: Sparse Voxel Transformer for Camera-based 3D Semantic Scene Completion
NYU（纽约大学）；NVIDIA（英伟达）；ASU（亚利桑那州立大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Caltech（加州理工学院）
人类可以很容易地想象被遮挡的物体和场景的完整3D几何形状。这种吸引人的能力对于识别和理解至关重要。为了在AI系统中实现这种能力，我们提出了VoxFormer，一个基于Transformer的语义场景完成框架，可以从2D图像中输出完整的3D体积语义。我们的框架采用了两个阶段的设计，我们开始从一个稀疏的一组可见的和占用的体素查询从深度估计，其次是一个致密化阶段，从稀疏的生成密集的三维体素。这种设计的一个关键思想是，2D图像上的视觉特征只对应于可见的场景结构，而不是被遮挡或空白的空间。因此，从可见结构的特征化和预测开始更可靠。一旦我们获得稀疏查询的集合，我们应用掩码自编码器设计来通过自注意将信息传播到所有体素。在SemanticKITTI上的实验表明，VoxFormer在几何和语义方面的相对改进分别为20.0%和18.1%，并且在训练期间将GPU内存减少到16GB以下。我们的代码可以在https://github.com/NVlabs/VoxFormer上找到。
2023-03-25 cs.AI cs.CV cs.LG
Dense Metric Depth Completion from Sparse Direct Time-of-Flight Sensors
KAIST（韩国科学技术院）；USTC（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出一种深度引导双分支视觉Transformer框架，结合dToF模拟流程，实现稀疏dToF到密集度量深度的零样本泛化补全，性能优于现有方法且高效。
2026-08-06 cs.CV cs.GR
