MetricDepth: Enhancing Monocular Depth Estimation with Deep Metric Learning
Harbin Institute of Technology（哈尔滨工业大学）
本文提出MetricDepth，通过基于差分的样本识别和多范围策略将深度度量学习引入单目深度估计，以差异化正则化负样本，从而提升模型性能。
2024-12-29 cs.CV
MambaDepth: Enhancing Long-range Dependency for Self-Supervised Fine-Structured Monocular Depth Estimation
本文提出MambaDepth，将Mamba状态空间模型与U-Net编码器-解码器框架结合，通过跳跃连接和新型Mamba块集成技术增强长程依赖建模，在KITTI等数据集上实现自监督单目深度估计的最先进性能。
2024-06-06 cs.CV
Self-Supervised Monocular Depth Estimation by Direction-aware Cumulative Convolution Network
University of Macau（澳门大学）；Beijing Institute of Technology（北京理工大学）
本文针对自监督单目深度估计中的方向敏感性和环境依赖性问题，提出方向感知累积卷积网络DaCCN，通过方向感知模块和新累积卷积改进特征表示，在KITTI、Cityscapes和Make3D上取得最先进性能。
2023-08-10 cs.CV
Real-Time Animatable 2DGS-Avatars with Detail Enhancement from Monocular Videos
提出基于2DGS的可动画人体虚拟形象实时重建框架，结合全局SMPL姿态参数与旋转补偿网络(RCN)，有效解决非刚性变形和姿态过渡问题，在重建质量和动画稳健性上超越现有方法。
2025-05-01 cs.CV
Learning Occlusion-Aware Coarse-to-Fine Depth Map for Self-supervised Monocular Depth Estimation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
自监督的单目深度估计，旨在学习场景深度从单一的图像在一个自我监督的方式，近年来受到了广泛的关注。尽管最近在这一领域的努力，如何学习准确的场景深度和减轻遮挡的负面影响，自我监督的深度估计，仍然是一个悬而未决的问题。针对这一问题，我们首先实证分析了连续和离散深度约束的影响，这是广泛使用的训练过程中的许多现有的作品。然后，受上述实证分析的启发，我们提出了一种新的网络来学习用于自监督单目深度估计的遮挡感知的Coarse-to-Fine Depth map，称为OCFD-Net。给定一个任意的立体图像对训练集，所提出的OCFD-Net不仅采用离散深度约束来学习粗层次的深度图，而且还采用连续深度约束来学习场景深度残差，从而得到细层次的深度图。此外，在OCFD-Net下设计了一个遮挡感知模块，该模块能够提高学习的精细级深度图处理遮挡的能力。KITTI上的实验结果表明，在大多数情况下，该方法优于比较国家的最先进的方法在七个常用的指标。此外，在Make 3D上的实验结果表明，该方法在四种常用度量下的跨数据集泛化能力是有效的.该代码可在https://github.com/ZM-Zhou/OCFD-Net_pytorch上获得。
2022-09-15 cs.CV
Pose Estimation of Specular and Symmetrical Objects
UC San Diego（加州大学圣地亚哥分校）
在机器人行业中，镜面和无纹理金属部件无处不在。由于缺乏丰富的纹理特征，仅使用单目RGB相机对此类对象进行6D姿态估计是困难的。此外，镜面反射的出现严重依赖于相机视点和环境光条件，使得传统方法（如模板匹配）失败。在过去的30年里，镜面物体的姿态估计一直是一个持续的挑战，大多数相关的工作需要大量的知识建模工作的光设置，环境，或对象表面。另一方面，最近的工作展示了在具有卷积神经网络（CNN）的单目相机上进行6D姿态估计的可行性，然而它们大多使用不透明对象进行评估。本文提供了一种数据驱动的解决方案来估计镜面物体的6D姿态以抓住它们，提出了一个处理对称性的成本函数，并展示了实验结果，表明该系统的可行性。
2020-10-31 cs.CV cs.RO
Improving Depth Gradient Continuity in Transformers: A Comparative Study on Monocular Depth Estimation with CNN
University of Washington（华盛顿大学）；Shanghai Jiao Tong University（上海交通大学）
本研究对比了Transformer与CNN在单目深度估计中的差异，发现Transformer在深度梯度连续性上存在不足，为此提出深度梯度细化（DGR）模块并结合最优传输距离损失函数，在不增加计算成本的前提下有效提升了模型在KITTI和NYU-Depth-v2数据集上的性能。
2024-07-23 cs.CV
EDI: ESKF-based Disjoint Initialization for Visual-Inertial SLAM Systems
Stevens Institute of Technology（史蒂文斯理工学院）；Meta；Hangzhou Dianzi University（杭州电子科技大学）
本文提出EDI，一种基于误差状态卡尔曼滤波器的分离式视觉-惯性初始化方法，通过估计陀螺仪偏置、校正旋转并引入加权最小二乘闭式解，在EuRoC数据集上3秒内实现5.8%的平均尺度误差，优于现有方法。
2023-08-04 cs.CV cs.RO
Adaptive Depth-converted-Scale Convolution for Self-supervised Monocular Depth Estimation
School of Software, Shandong University（山东大学软件学院）；Shandong University-WeiHai Research Institute of Industrial Technology（山东大学威海工业技术研究院）；School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）；Key Laboratory of Machine Intelligence and System Control, Ministry of Education（教育部机器智能与系统控制重点实验室）；Institute of Microelectronics, Chinese Academy of Sciences（中国科学院微电子研究所）；Research Institute of Interdisciplinary Innovation, Zhejiang Lab（之江实验室跨学科创新研究院）
本文提出自适应深度转换尺度卷积（DcSConv）框架，通过结合物体深度与尺度的先验关系，提取合适尺度的卷积感受野特征，解决单目视频中物体尺寸和深度的模糊问题，实验表明在KITTI基准上取得最佳效果。
2026-04-09 cs.CV
A Lightweight Neural Network for Monocular View Generation with Occlusion Handling
INRIA Rennes Bretagne Atlantique（法国国家信息与自动化研究所雷恩布列塔尼大西洋中心）
在这篇文章中，我们提出了一个非常轻量级的神经网络架构，训练立体数据对，从一个单一的图像执行视图合成。随着多视图格式的日益成功，这个问题确实越来越重要。该网络返回一个根据视差估计构建的预测，该预测使用遮挡处理技术填充错误预测的区域。为此，在训练过程中，网络学习估计立体输入图像对的左右一致性结构约束，以便能够在测试时从一张图像中复制它。该方法是建立在混合两个预测的想法：预测的基础上的视差估计，和预测的基础上直接最小化在遮挡区域。该网络还能够在训练和测试时通过检查所产生的视差图的像素左右一致性来识别这些遮挡区域。在测试时，该方法因此可以从一个输入图像生成左侧视图和右侧视图，以及深度图和预测中的逐像素置信度度量。在具有挑战性的KITTI数据集上，这项工作在视觉上和度量方面优于最先进的方法，同时将所需的参数数量（6.5 M）减少了非常显著的数量级（5或10倍）。
2020-07-24 cs.CV
CUBE360: Learning Cubic Field Representation for Monocular 360 Depth Estimation for Virtual Reality
USTC（中国科学技术大学）；DSEL；VLIS LAB at HKUST(GZ)（香港科技大学（广州）VLIS实验室）；HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）
针对全景深度估计中ERP畸变与数据集稀缺的问题，提出CUBE360方法，通过立方投影构建MPI立方场实现连续深度估计，自监督训练下性能优于现有SSL方法，可应用于VR等场景。
2024-10-08 cs.CV
Deep Neural Networks for Accurate Depth Estimation with Latent Space Features
Tongmyong University（东明大学）
本文提出双编码器-解码器深度估计框架，利用潜在空间特征及融合潜在损失与梯度损失的新损失函数，提升单目深度边界精度，并在NYU Depth V2上取得新基准。
2025-02-17 cs.AI cs.CV
Occlusion-Aware Temporally Consistent Amodal Completion for 3D Human-Object Interaction Reconstruction
Elmore Family School of Electrical and Computer Engineering（电气与计算机工程学院）；Purdue University（普渡大学）；Department of Artificial Intelligence（人工智能系）；Korea University（韩国大学）；Honda Research Institute USA（本田美国研究院）；School of Mechanical Engineering（机械工程学院）
提出一种基于非模态补全的单目视频动态人-物交互重建框架，通过整合时间上下文实现遮挡感知与时间一致性，显著提升了复杂场景下的重建精度和稳定性。
2025-09-14 cs.AI cs.CV
DynPoint: Dynamic Neural Point For View Synthesis
University of Oxford（牛津大学）
本文提出 DynPoint，通过跨帧深度与场景流估计显式 3D 对应，并构建分层神经点云聚合多参考帧信息，实现无约束单目视频的快速新视图合成。
2025-03-13 cs.CV
Challenges for Monocular 6D Object Pose Estimation in Robotics
UAS Technikum Vienna（维也纳技术高等学院）；TU Wien（维也纳技术大学）；Columbia University（哥伦比亚大学）；University of Alicante（阿利坎特大学）
本文指出以往综述因范围过广而难以识别单目位姿估计在机器人学中的特有挑战，通过统一视角发现遮挡处理、新位姿表示及类别级位姿估计等仍是基础难题，并强调大型物体集、新物体、折射材料和不确定性估计等核心未解挑战及未来改进方向。
2024-07-27 cs.CV cs.RO
Open Challenges for Monocular Single-shot 6D Object Pose Estimation
该研究聚焦机器人领域常用的单目单次6D物体姿态估计问题，梳理跨领域最新成果确立技术现状，识别出遮挡处理、新物体姿态估计等核心挑战与有前景的研究方向，为相关研究提供指引。
2023-07-20 cs.CV
Spatially Visual Perception for End-to-End Robotic Learning
ZhiCheng AI（智诚人工智能）；Peking University（北京大学）；Harvard University（哈佛大学）；Zhejiang University（浙江大学）
针对模仿学习在多样化挂载相机观测中泛化能力不足的问题，提出集成AugBlender图像增强技术与单目深度估计模型的视频空间感知框架，显著提升不同相机曝光下的成功率，推动端到端机器人学习稳健性发展。
2024-11-26 cs.AI cs.CV cs.RO
EventNeuS: 3D Mesh Reconstruction from a Single Event Camera
Saarland University（萨尔兰大学）；MPI for Informatics（信息研究所）
EventNeuS通过结合3D符号距离函数和密度场学习，利用事件相机数据实现更精确的3D网格重建。
2026-02-03 cs.CV
Minimal Solvers for Monocular Rolling Shutter Compensation under Ackermann Motion
Toshiba Research Europe（东芝欧洲研究院）
现代汽车通常配备有廉价的商用卷帘快门相机。这些设备在捕获图像时由于相机的行间延迟而经常产生失真的图像。最近的单目卷帘快门运动补偿方法利用模糊核和直线段的直线度特性。然而，这些方法仅限于处理旋转运动，并且还不够快以实时的操作。在本文中，我们提出了一个最小的解决方案，滚动快门运动补偿假设已知的垂直方向的相机。由于阿克曼运动模型的车辆，其中包括只有两个运动参数，和两个参数的简化深度假设，导致一个4线算法。所提出的最小求解器估计卷帘快门相机运动有效和准确。在真实和模拟数据集上的大量实验证明了我们的方法在定性和定量结果方面的好处。
2017-12-08 cs.CV
Self-supervised Sparse-to-Dense: Self-supervised Depth Completion from LiDAR and Monocular Camera
Massachusetts Institute of Technology（麻省理工学院）
深度补全是从稀疏深度测量估计密集深度图像的技术，在机器人和自动驾驶中有各种应用。然而，深度补全面临3个主要挑战：稀疏深度输入中的不规则间隔模式，处理多个传感器模态的困难（当彩色图像可用时），以及缺乏密集的像素级地面真实深度标签。在这项工作中，我们应对所有这些挑战。具体来说，我们开发了一个深度回归模型来学习从稀疏深度（和彩色图像）到密集深度的直接映射。我们还提出了一个自我监督的训练框架，只需要彩色和稀疏深度图像序列，而不需要密集的深度标签。我们的实验表明，我们的网络在使用半密集注释进行训练时，达到了最先进的精度，并且在提交时是KITTI深度完成基准测试的获胜方法。此外，自监督框架优于用半密集注释训练的许多现有解决方案。
2018-07-03 cs.AI cs.CV cs.LG
Occlusion-Aware 3D Hand-Object Pose Estimation with Masked AutoEncoders
National Engineering Research Center for Robot Visual Perception and Control Technology, School of Artificial Intelligence and Robotics, Hunan University（国家机器人视觉感知与控制技术工程研究中心，人工智能与机器人学院，湖南大学）；School of Architecture and Art, Central South University（建筑与艺术学院，中南大学）；Department of Computer Science and Software Engineering, The University of Western Australia（计算机科学与软件工程系，西澳大学）
提出HOMAE方法，通过目标聚焦掩码策略和隐式SDF与显式点云融合，解决手-物体交互中的严重遮挡问题，在DexYCB和HO3Dv2上达到最优性能。
2026-07-03 cs.CV
Self-Supervised 3D Monocular Object Detection by Recycling Bounding Boxes
NIT Tiruchirappalli（蒂鲁吉拉伯利国家理工学院）；SASTRA University（沙斯特拉大学）；Navya（纳维亚公司）；Valeo（法雷奥集团）
现代目标检测架构正朝着采用自监督学习（SSL）来提高相关借口任务的性能检测的方向发展。单目3D目标检测的前置任务尚未在文献中探索。研究了以标记随机窗口为前提任务建立的自监督限界框回收方法的应用。3D检测器的分类器头被训练为对包含不同比例的地面实况对象的随机窗口进行分类，从而处理前景-背景不平衡。我们使用RTM3D检测模型作为基线，在有和没有应用数据增强的情况下评估借口任务。我们证明了使用SSL的mAP 3D和0.9 - 1.5%BEV评分比基线评分提高了2 - 3%。我们提出了逆类频率重新加权（ICFW）mAP得分，突出了在具有长尾的类不平衡数据集中检测低频类的改进。我们证明了ICFW mAP 3D和BEV评分的改进，以考虑KITTI验证数据集中的类别不平衡。我们看到，在借口任务下，国际家庭妇女理事会的指标增加了4 - 5%。
2022-06-25 cs.CV cs.LG
Monocular Visual Odometry with a Rolling Shutter Camera
Gwanju Institue Science and Technology（光州科学技术院）
滚动快门（RS）相机由于低成本成像能力而变得普及。然而，当相机或对象移动或照明条件改变时，RS相机遭受不期望的伪影。因此，使用RS相机的单目视觉里程计（MVO）会产生不准确的自我运动估计。以前的作品解决了这个RS失真的问题，从图像和/或惯性传感器的运动预测。然而，MVO在处理相机运动突然改变时（例如，移动相机的振动瞬时引起极快的运动）的RS失真时仍然有麻烦。为了解决这个问题，我们提出了一种新的MVO算法，考虑到遥感相机的几何特性。该算法的核心思想是新的RS本质矩阵，它包含了在每帧的瞬时角速度和线速度。我们的算法产生准确和强大的自我运动估计在一个在线的方式，并适用于各种移动应用与RS相机。通过对合成数据集和真实数据集的定量和定性比较，验证了该算法的优越性。
2017-04-24 cs.CV
Depth Anything at Any Condition
VCIP, School of Computer Science, Nankai University（VCIP，计算机科学学院，南开大学）
本文提出DepthAnything-AC基础单目深度估计模型，通过无监督一致性正则化微调和空间距离约束，仅用少量无标签数据即可在恶劣天气、光照变化和传感器失真等复杂条件下实现鲁棒的零样本深度估计。
2025-07-02 cs.AI cs.CV
Visual SLAM: Why Bundle Adjust?
School of Computer Science, The University of Adelaide（阿德莱德大学计算机科学学院）；School of Electrical Engineering and Computer Science, Queensland University of Technology（昆士兰科技大学电气与计算机科学学院）
光束法平差在基于特征的单目SLAM中起着至关重要的作用。在许多现代SLAM流水线中，执行束调整以从输入特征轨迹估计6D0F相机轨迹和3D地图（3D点云）。然而，两个基本的弱点困扰基于光束法平差的SLAM系统。首先，需要仔细初始化光束法平差意味着所有变量，特别是地图，必须尽可能准确地估计和维护随着时间的推移，这使得整个算法繁琐。其次，由于估计3D结构（其需要足够的基线）是光束法平差中固有的，因此SLAM算法在慢运动或纯旋转运动的时段期间将遇到困难。我们提出了一个不同的SLAM优化核心：而不是捆绑调整，我们进行旋转平均，以逐步优化相机的方向。给定的方向，我们估计相机的位置和3D点通过一个准凸公式，可以有效地解决和全球最佳。我们的方法不仅消除了以关键帧速率估计和维护位置和3D地图的需要（这使得SLAM系统更简单），而且更能够处理慢动作或纯旋转运动。
2019-06-14 cs.CV
MonoMAE: Enhancing Monocular 3D Detection through Depth-Aware Masked Autoencoders
S-Lab, Nanyang Technological University（新加坡南洋理工大学S-Lab）；College of Computer Science and Technology, Zhejiang University of Technology（浙江工业大学计算机科学与技术学院）；University of Chinese Academy of Sciences（中国科学院大学）
提出受掩码自编码器启发的单目3D检测器MonoMAE，通过深度感知掩码和轻量级查询补全机制解决目标遮挡问题，学习丰富且具泛化能力的3D表征，显著提升遮挡与非遮挡目标的检测性能。
2024-10-15 cs.CV
HOISDF: Constraining 3D Hand-Object Pose Estimation with Global Signed Distance Fields
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文提出HOISDF网络，利用手部和物体的全局符号距离场作为隐式形状先验，从单目图像中联合估计手物三维姿态，在DexYCB和HO3Dv2基准上达到最先进性能。
2024-02-26 cs.CV
Positional Information is All You Need: A Novel Pipeline for Self-Supervised SVDE from Videos
Korea Advanced Institute of Science and Technology（韩国科学技术院）
最近，人们越来越关注以完全自我监督的方式从单目视频中学习场景的底层3D结构。这项任务最具挑战性的方面之一是处理独立移动的对象，因为它们打破了刚性场景假设。这是第一次，我们表明，像素位置信息可以利用学习SVDE（单视图深度估计）从视频。我们提出的移动对象（MO）掩模，这是由移位位置信息（SPI）引起的，被称为“SPIMO”掩模，是非常强大的，并始终删除场景中的独立移动对象，允许更好地学习SVDE从视频。此外，我们引入了一个新的自适应量化方案，为我们的深度离散化分配最佳的每像素量化曲线。最后，我们以一种新的方式使用现有的增强技术来进一步自我监督移动对象的深度。有了这些功能，我们的流水线对移动对象具有鲁棒性，并且可以很好地推广到高分辨率图像，即使在使用小补丁进行训练时，也可以产生最先进的（SOTA）结果，其参数几乎比以前从视频中学习的作品少8.5倍。我们提出了广泛的实验KITTI和CityScapes，我们的方法的有效性。
2022-05-18 cs.CV eess.IV
EVI-SAM: Robust, Real-time, Tightly-coupled Event-Visual-Inertial State Estimation and 3D Dense Mapping
The University of Hong Kong（香港大学）；HKU-TCL Joint Research Center for Artificial Intelligence（香港大学-TCL人工智能联合研究中心）
提出EVI-SAM，一种基于事件相机的紧耦合视觉-惯性状态估计与稠密建图方法，通过混合跟踪框架和图像引导的建图实现鲁棒、实时的六自由度位姿跟踪与三维重建。
2024-05-23 cs.CV cs.RO
MonoMM: A Multi-scale Mamba-Enhanced Network for Real-time Monocular 3D Object Detection
Chongqing University of Technology（重庆理工大学）；University of Washington（华盛顿大学）；University of Copenhagen（哥本哈根大学）
本文提出MonoMM网络，通过聚焦多尺度融合模块和深度感知Mamba增强模块，在降低计算开销的同时提升单目3D目标检测精度，并在KITTI上实现实时检测。
2024-08-01 cs.CV
Bokeh-Loss GAN: Multi-Stage Adversarial Training for Realistic Edge-Aware Bokeh
Sensebrain Technology（Sensebrain科技）
在本文中，我们解决了单目散景合成的问题，我们试图从一个单一的全聚焦图像渲染一个浅景深的图像。与DSLR相机不同，由于移动光圈的物理限制，这种效果无法直接在移动相机中捕获。因此，我们提出了一种基于网络的方法，能够从单个图像输入渲染逼真的单眼散景。为此，我们引入了三种新的边缘感知散景损失，它们基于预测的单目深度图，在模糊背景的同时锐化前景边缘。然后使用对抗性损失对该模型进行微调，以生成逼真的散景效果。实验结果表明，我们的方法是能够产生一个愉快的，自然的散景效果与尖锐的边缘，同时处理复杂的场景。
2022-08-25 cs.CV eess.IV
MonoDiffusion: Self-Supervised Monocular Depth Estimation Using Diffusion Model
Beihang University（北京航空航天大学）；National University of Singapore（新加坡国立大学）；Institute for Infocomm Research（资讯通信研究院）
提出MonoDiffusion，将自监督单目深度估计建模为迭代去噪过程，利用伪真实标注扩散和蒸馏损失，并在KITTI和Make3D上超越现有方法。
2023-11-13 cs.CV
Unsupervised Scale-consistent Depth and Ego-motion Learning from Monocular Video
University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；TuSimple（图森未来）；Nankai University（南开大学）
最近的工作表明，基于CNN的深度和自我运动估计器可以使用未标记的单目视频来学习。然而，在几何图像重建中，由于无法识别运动物体，违反了基本的静态场景假设，因此性能受到限制。更重要的是，由于缺乏适当的约束，网络在不同的样本上输出尺度不一致的结果，即，由于每帧尺度的模糊性，自我运动网络不能在长视频序列上提供完整的摄像机轨迹。本文解决这些挑战，提出了一个几何一致性损失的规模一致的预测和诱导自我发现的面具处理移动物体和遮挡。由于我们不像最近的作品那样利用多任务学习，我们的框架更简单，更有效。综合评估结果表明，我们的深度估计器达到了最先进的性能KITTI数据集。此外，我们证明了我们的自我运动网络能够预测长视频序列的全局尺度一致的相机轨迹，并且由此产生的视觉里程计精度与最近使用立体视频训练的模型具有竞争力。据我们所知，这是第一个表明使用未标记的单目视频训练的深度网络可以在长视频序列中预测全局尺度一致的相机轨迹的工作。
2019-10-03 cs.CV
A Bayesian Filter for Multi-view 3D Multi-object Tracking with Occlusion Handling
Curtin University（科廷大学）；RMIT University（皇家墨尔本理工大学）
本文提出了一种在线多摄像机多目标跟踪器，只需要单目检测器的培训，独立的多摄像机配置，允许无缝扩展/删除的相机，而无需重新训练的努力。所提出的算法在跨相机的检测总数中具有线性复杂度，因此随着相机的数量优雅地缩放。它在3D世界框架中运行，并提供对象的3D轨迹估计。关键的创新是一个高保真但易处理的3D遮挡模型，服从最佳贝叶斯多视图多对象过滤，无缝集成，到一个单一的贝叶斯递归，子任务的轨道管理，状态估计，杂波抑制，和遮挡/误检测处理。该算法在最新的WILDTRACKS数据集上进行了评估，并在一个新的数据集上证明了该算法在非常拥挤的场景中工作。
2020-10-27 cs.CV eess.IV eess.SP
THE Benchmark: Transferable Representation Learning for Monocular Height Estimation
Technical University of Munich（慕尼黑工业大学）；Northwestern Polytechnical University（西北工业大学）
本文提出THE基准数据集和少样本跨数据集迁移协议，用于研究单目高度估计模型的可迁移性，并设计尺度可变形卷积模块增强窗口Transformer以应对尺度变化问题。
2023-09-21 cs.CV
Quantification of Occlusion Handling Capability of a 3D Human Pose Estimation Framework
Information Technology University（信息技术大学）
利用单目图像进行三维人体姿态估计是一项重要而又具有挑战性的任务。现有的3D姿态检测方法在正常情况下表现出优异的性能，但是它们的性能可能会由于遮挡而降低。最近一些遮挡感知方法也被提出，然而，这些网络的遮挡处理能力还没有得到彻底的研究。在目前的工作中，我们提出了一个遮挡引导的三维人体姿态估计框架，并量化其遮挡处理能力，通过使用不同的协议。所提出的方法估计更准确的三维人体姿态使用2D骨架与丢失的关节作为输入。通过引入遮挡引导来处理缺失的关节，该遮挡引导提供关于关节缺失或存在的额外信息。时间信息也被用来更好地估计缺失的关节。大量的实验进行了量化的遮挡处理能力的方法在三个公开可用的数据集在各种设置，包括随机缺失关节，固定的身体部位缺失，和完整的帧缺失，使用平均每个关节位置误差标准。除此之外，还使用动作分类性能作为标准来评估预测的3D姿态的质量。所提出的方法估计的3D姿态实现了显着改善的动作识别性能，在存在缺失的关节。我们的实验证明了所提出的框架用于处理缺失关节以及量化深度神经网络的遮挡处理能力的有效性。
2022-03-08 cs.CV
ReBaR: Reference-Based Reasoning for Robust Pose Estimation from Monocular Images
College of Information Engineering Northwest A\&F University（西北农林科技大学信息工程学院）；University of Technology Sydney（悉尼技术大学）；Tencent AI Lab（腾讯人工智能实验室）；City University of Hong Kong（香港城市大学）
本文提出ReBaR方法，通过学习参考特征来解决遮挡和深度模糊问题，实现从单目图像中鲁棒的人体姿态和形状估计。
2026-05-18 cs.CV
Dense Monocular Motion Segmentation Using Optical Flow and Pseudo Depth Map: A Zero-Shot Approach
University of Waterloo（滑铁卢大学）
本文提出一种零样本密集单目运动分割方法，结合基础模型生成的目标提议、光流与单目深度图进行运动聚类，无需训练即可在DAVIS-Moving和YTVOS-Moving上超越最佳无监督方法并接近有监督方法。
2024-06-27 cs.CV cs.RO
4D Gaussian Splatting with Scale-aware Residual Field and Adaptive Optimization for Real-time Rendering of Temporally Complex Dynamic Scenes
School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院）；Pengcheng Laboratory（鹏城实验室）
针对动态场景重建渲染慢、难处理时间复杂度的问题，提出结合尺度感知残差场与自适应优化的4D高斯泼溅方法SaRO-GS，实现实时渲染且在多数据集上达SOTA性能。
2024-12-09 cs.CV cs.MM
Perceive-then-Plan: Layout-as-Policy for Monocular 3D Scene Layout Estimation
Department of Computer Science（计算机科学系）；Dartmouth College（达特茅斯学院）
提出Perceive-then-Plan框架，通过视觉语言模型将单目3D布局估计转化为感知与迭代规划问题，以布局为策略（LaP）学习动作序列逐步优化场景假设，生成更物理一致且与观测对齐的3D布局。
2026-10-27 cs.CV
Monocular 3D Multi-Person Pose Estimation by Integrating Top-Down and Bottom-Up Networks
National University of Singapore（新加坡国立大学）；Tencent Game AI Research Center（腾讯游戏AI研究中心）；Yale-NUS College（耶鲁-新加坡国立大学学院）
在单目视频三维多人姿态估计中，人与人之间的遮挡和紧密交互会导致人体检测错误和人体关节分组不可靠。现有的自上而下的方法依赖于人类检测，因此存在这些问题。现有的自自底向上的【形】的方法不使用人的检测，但他们一次处理所有的人在同一规模，使他们敏感的多人规模的变化。为了应对这些挑战，我们建议整合自上而下和自自底向上的【形】的方法，以利用它们的优势。我们自上而下的网络从所有人而不是图像补丁中的一个人估计人体关节，使其对可能的错误边界框具有鲁棒性。我们自自底向上的【形】的网络结合了基于人体检测的归一化热图，使网络在处理尺度变化方面更加稳健。最后，从自上而下和自自底向上的【形】的网络估计的3D姿态被馈送到我们的集成网络中，以获得最终的3D姿态。除了自上而下和自自底向上的【形】的网络的集成，不像现有的姿势判别器，只为一个人设计，因此不能评估自然的人与人之间的互动，我们提出了一个两个人的姿势判别器，执行自然的两个人的互动。最后，我们还应用半监督方法来克服3D地面实况数据的稀缺性。我们的定量和定性评估显示了我们的方法与最先进的基线相比的有效性。
2021-04-07 cs.CV
Self-Supervised Learning of Depth and Motion Under Photometric Inconsistency
HKUST（香港科技大学）；Tsinghua University（清华大学）；Altizure
通过使用附近帧的光度一致性，来自单目序列的深度和姿态的自监督学习提供了一种有吸引力的解决方案，因为它对地面实况数据的依赖要小得多。在本文中，我们解决的问题时，以前的假设的自我监督的方法被违反，由于现实世界的场景的动态性。与将噪声作为不确定性处理不同，我们的核心思想是在时间图像序列中加入更鲁棒的几何量并加强内部一致性。如在常用的基准数据集上所示，所提出的方法在不增加推理开销的情况下，大大改进了单目图像序列的深度和相对姿态估计的最新方法。
2019-09-19 cs.CV
MonoTDP: Twin Depth Perception for Monocular 3D Object Detection in Adverse Scenes
Dalian University of Technology（大连理工大学）
本文提出单目3D检测模型MonoTDP，通过自适应学习策略和同时估计场景与物体深度的双深度感知模块，缓解恶劣天气下的检测性能退化，并在新构建的恶劣场景数据集上平均超越现有方法3.12% AP_R40。
2023-05-25 cs.CV
Multi-task Geometric Estimation of Depth and Surface Normal from Monocular 360° Images
Cardiff University（卡迪夫大学）
提出一种新颖的多任务学习网络，通过融合模块整合深度与表面法线估计的几何信息，同时从360°图像中预测两者，显著提升了复杂场景下的准确性与鲁棒性，成为该领域新基准。
2024-11-04 cs.CV
SDGE: Stereo Guided Depth Estimation for 360$^\circ$ Camera Sets
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；SZ DJI Technology Co., Ltd.（深圳市大疆创新科技有限公司）；The University of New South Wales（新南威尔士大学）
本文提出SDGE方法，通过在360°相机组重叠区域利用立体结果生成深度先验和伪标签，并引入虚拟针孔相机与自标定位姿，提升有监督和自监督深度估计精度及跨视图一致性。
2024-04-02 cs.CV
Dual networks based 3D Multi-Person Pose Estimation from Monocular Video
Yale-NUS College（耶鲁-新加坡国大学院）；National University of Singapore（新加坡国立大学）；CtrsVision (USA)（CtrsVision（美国））
单目三维人体姿态估计技术近年来取得了一定的进展。大多数方法集中于单个人，其在以人为中心的坐标中估计姿势，即，以目标人物的中心为坐标因此，这些方法不适用于多人3D姿态估计，其中绝对坐标（例如，相机坐标）。此外，由于人与人之间的遮挡和密切的人类交互，多人姿态估计比单姿态估计更具挑战性。现有的自上而下的多人方法依赖于人检测（即，自上而下的方法），并且因此遭受检测误差并且不能在多人场景中产生可靠的姿态估计。与此同时，现有的自下而上的方法，不使用人体检测不受检测错误，但由于他们处理所有的人在一个场景中，他们很容易出错，特别是在小规模的人。为了应对所有这些挑战，我们建议整合自上而下和自下而上的方法，以利用它们的优势。我们自上而下的网络从所有人而不是图像补丁中的一个人估计人体关节，使其对可能的错误边界框具有鲁棒性。我们自下而上的网络结合了基于人体检测的归一化热图，使网络在处理尺度变化方面更加稳健。最后，从自上而下和自下而上的网络估计的3D姿态被馈送到我们的集成网络中，以获得最终的3D姿态。为了解决训练和测试数据之间的常见差距，我们在测试期间进行优化，通过使用高阶时间约束，重新投影损失和骨骼长度正则化来细化估计的3D人体姿势。我们的评估证明了所提出的方法的有效性。代码和模型可在https://github.com/3dpose/3D-Multi-Person-Pose上找到。
2022-05-06 cs.CV
Multi-view Pose Fusion for Occlusion-Aware 3D Human Pose Estimation
University of Padova（帕多瓦大学）
提出一种基于绝对单目3D骨架多视角融合与重投影误差优化的遮挡感知3D人体姿态估计方法，通过引入肢体长度对称约束，在严重遮挡的人机协作场景中显著优于现有技术。
2024-08-28 cs.CV cs.RO
EndoDepth: A Benchmark for Assessing Robustness in Endoscopic Depth Prediction
CINVESTAV Unidad Guadalajara（瓜达拉哈拉高等研究中心（CINVESTAV瓜达拉哈拉分部））；Universidad Panamericana（泛美大学）；CRAN (UMR 7039)（CRAN研究中心（UMR 7039））；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）
本文提出EndoDepth基准和SCARED-C数据集，通过平均深度估计鲁棒性得分mDERS等指标系统评估内窥镜单目深度预测模型在图像损坏和成像伪影下的鲁棒性，揭示现有架构的优缺点并为后续研究提供方向。
2024-09-30 cs.CV
Track Initialization and Re-Identification for~3D Multi-View Multi-Object Tracking
GIST（光州科学技术院）；School of Electrical Engineering and Computer Science at GIST（光州科学技术院电气工程与计算机科学学院）；School of Electrical Engineering, Computing and Mathematical Sciences, Curtin University（科廷大学电气、计算与数学科学学院）；LIG Nex1（LIG Nex1公司）
提出一种基于贝叶斯多目标滤波的3D多视角MOT方法，通过融合2D检测特征与几何遮挡模型，在单目相机下实现航迹自动管理、重识别与遮挡处理，且无需重新训练检测器。
2024-05-28 cs.CV cs.IT math.IT
GenWarp: Single Image to Novel Views with Semantic-Preserving Generative Warping
Sony AI（索尼人工智能）；KAIST（韩国科学技术院）；Sony Group Corporation（索尼集团公司）
提出保持语义的生成式扭曲框架GenWarp，通过自注意力增强跨视图注意力，使T2I模型学习扭曲与生成区域，解决单图新视角合成中的深度噪声和语义丢失问题。
2024-09-26 cs.CV
