Recent Advancement in 3D Biometrics using Monocular Camera
Birla Institute of Technology and Science, Pilani – Hyderabad Campus（比拉理工学院及科学学院，皮拉尼-海得拉巴校区）
本文综述了采用单目视觉的3D生物特征识别技术的最新进展，对比了其与传统方法的异同、优势与挑战，概述了相关技术、工业应用系统，并探讨了该领域的开放性研究问题。
2024-01-05 cs.CV
Tame a Wild Camera: In-the-Wild Monocular Camera Calibration
Michigan State University（密歇根州立大学）
本文提出一种无需假设的单目相机标定方法，通过引入新颖的单目3D先验“入射场”并结合RANSAC算法恢复完整的4自由度内参，在合成与零样本数据集上表现优异，并有效提升了多项下游3D感知任务的效果。
2023-11-22 cs.CV
Active Perception with A Monocular Camera for Multiscopic Vision
Hong Kong University of Science and Technology（香港科技大学）
我们设计了一个多视角视觉系统，利用低成本的单目RGB摄像机，以获得准确的深度估计的机器人应用。与具有在不受约束的相机姿势处捕获的图像的多视图立体视觉不同，所提出的系统主动地控制具有安装的相机的机器人臂以捕获具有相同视差的水平或垂直对准位置中的图像序列。在这个系统中，我们结合的参考图像和周围的图像之间的立体匹配的成本体积，形成一个融合的成本体积，是强大的离群值。在Middlebury数据集上的实验和真实机器人实验表明，我们获得的视差图比两帧立体匹配更准确：在我们的实验中，平均绝对误差减少了50.2%。
2020-01-22 cs.CV
Monocular Visual Odometry with a Rolling Shutter Camera
Gwanju Institue Science and Technology（光州科学技术院）
滚动快门（RS）相机由于低成本成像能力而变得普及。然而，当相机或对象移动或照明条件改变时，RS相机遭受不期望的伪影。因此，使用RS相机的单目视觉里程计（MVO）会产生不准确的自我运动估计。以前的作品解决了这个RS失真的问题，从图像和/或惯性传感器的运动预测。然而，MVO在处理相机运动突然改变时（例如，移动相机的振动瞬时引起极快的运动）的RS失真时仍然有麻烦。为了解决这个问题，我们提出了一种新的MVO算法，考虑到遥感相机的几何特性。该算法的核心思想是新的RS本质矩阵，它包含了在每帧的瞬时角速度和线速度。我们的算法产生准确和强大的自我运动估计在一个在线的方式，并适用于各种移动应用与RS相机。通过对合成数据集和真实数据集的定量和定性比较，验证了该算法的优越性。
2017-04-24 cs.CV
CamLessMonoDepth: Monocular Depth Estimation with Unknown Camera Parameters
University of Applied Sciences (HTW)（应用科学大学）
在计算机视觉的许多应用中，感知3D信息至关重要。单目深度估计的最新进展已经表明，通过训练深度神经网络来预测逆深度和姿态，从单个相机输入获得这样的知识是可能的，而不需要地面实况数据。然而，大多数这样的方法需要在训练期间明确地馈送相机参数。因此，在训练期间不能使用来自野生的图像序列。虽然存在也预测相机本质的方法，但它们的性能与将相机参数作为输入的新方法不一样。在这项工作中，我们提出了一种隐式估计针孔摄像机的内在以及深度和姿态的方法，通过学习单目图像序列。此外，通过利用有效的子像素卷积，我们表明，高保真度的深度估计可以获得。我们还将逐像素的不确定性估计嵌入到框架中，以强调这项工作在实际领域中的可能适用性。最后，我们证明了在没有相机固有特性的先验知识的情况下准确预测深度信息的可能性，同时在KITTI基准上优于现有的最先进的方法。
2021-10-27 cs.CV
Monocular 3D Vehicle Detection Using Uncalibrated Traffic Cameras through Homography
University of Michigan（密歇根大学）；Collaborative Safety Research Center at the Toyota Motor North America Research & Development（丰田汽车北美研发中心协作安全研究中心）
本文提出了一种从单个交通摄像机中提取车辆在三维世界中的位置和姿态的方法。大多数以前的单目3D车辆检测算法从驾驶员的角度关注车辆上的摄像机，并假设已知的内在和外在校准。与此相反，本文侧重于相同的任务，使用未校准的单目交通摄像机。我们观察到，道路平面和图像平面之间的单应性是必不可少的3D车辆检测和数据合成这项任务，和单应性可以估计没有相机的内在和外在。我们进行3D车辆检测，通过估计旋转的包围盒（R盒）在鸟瞰图（BEV）从逆透视映射生成的图像。我们提出了一种新的回归目标，称为tailed r-box和一种双视图网络架构，可以提高扭曲BEV图像的检测精度。实验表明，所提出的方法可以推广到新的相机和环境设置，尽管在训练过程中看不到它们的图像。
2022-01-04 cs.CV
Scale Estimation of Monocular SfM for a Multi-modal Stereo Camera
Nagoya University（名古屋大学）；National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）
本文提出了一种新的方法来估计单目SfM的多模态立体相机的绝对尺度。在计算机视觉和机器人学领域，单目SfM的尺度估计已经被广泛研究以简化系统。本文解决了立体相机系统的尺度估计问题，其中两个相机捕获不同的光谱图像（例如，RGB和FIR），其特征点难以使用描述符直接匹配。此外，由于低分辨率和缺乏热场景纹理，FIR图像之间的匹配点的数量可能相对较小。为了应对这些困难，所提出的方法估计的尺度参数使用批量优化，基于极线约束的少数特征之间的不可见光图像的对应关系。通过合成和真实图像实验验证了该方法的精度和数值稳定性。
2018-10-28 cs.CV
Direct Pose Estimation with a Monocular Camera
Technische Universität München（慕尼黑工业大学）
提出了一种直接计算单目摄像机6DoF姿态变化的方法。所计算的姿态被估计到在整个重建过程中保持恒定的恒定未知尺度参数。该方法允许直接计算度量位置和旋转，而不需要像大多数当前使用的VSLAM方法中那样在更长的帧序列上以概率方法融合信息。该算法为单目导航领域提供了两个新的方面。它允许直接的姿态估计，而不需要直接来自任何两个图像的关于世界的任何先验知识，并且它提供用于估计的运动参数的质量测量，其允许在卡尔曼滤波器中融合所得信息。我们提出的数学公式的方法与实验验证的真实场景图像。
2017-09-18 cs.CV
ProDyGS: Dynamic Gaussian Splatting from a Single Static Monocular Camera
ProDyGS提出一种动态3D高斯泼溅框架，利用单目深度估计生成合成多视角监督，从单个静态相机视频实现高质量新视角合成，在DyNeRF数据集上达到最先进性能。
2026-09-29 cs.CV
DepthP+P: Metric Accurate Monocular Depth Estimation using Planar and Parallax
当前的自监督单目深度估计方法大多基于估计表示相机运动的刚体运动。这些方法在其预测中遭受众所周知的尺度模糊性问题。我们提出了DepthP+P，这是一种通过遵循传统的平面视差范式来学习以度量尺度估计输出的方法。我们首先使用公共地平面来对齐两个帧，该公共地平面消除了相机运动中的旋转分量的影响。使用两个神经网络，我们预测深度和相机平移，与旋转一起预测相比，单独预测更容易。通过假设已知的相机高度，我们可以计算3D点的诱导2D图像运动，并将其用于在自监督单目方法中重建目标图像。我们在KITTI驾驶数据集上进行了实验，结果表明，平面视差方法只需要预测相机平移，可以作为依赖于估计6DoF相机运动的当前方法的度量准确的替代方案。
2023-01-05 cs.CV
Boost 3D Reconstruction using Diffusion-based Monocular Camera Calibration
The Hong Kong University of Science and Technology（香港科学与技术大学）；Horizon Robotics；Nanjing University（南京大学）
本文提出DM-Calib，一种基于扩散模型的单目针孔相机标定方法，通过引入Camera Image无损编码内参并微调稳定扩散模型生成该表示，显著提升了多种3D视觉任务的性能。
2025-09-18 cs.CV
Monocular Camera Localization in Prior LiDAR Maps with 2D-3D Line Correspondences
Wuhan University（武汉大学）；Carnegie Mellon University（卡内基梅隆大学）
现有地图中的轻量级相机定位对于基于视觉的导航至关重要。目前，视觉和视觉惯性里程计（VO\&VIO）技术已成熟用于状态估计，但在环路闭合时不可避免地会出现累积漂移和姿态跳跃。为了克服这些问题，我们提出了一种有效的单目相机定位方法，在以前的激光雷达地图使用直接的2D-3D线对应。为了处理LiDAR点云和图像之间的外观差异和模态间隙，从LiDAR地图中离线提取几何3D线，而从视频序列中在线提取鲁棒的2D线。通过VIO的姿态预测，我们可以有效地获得粗略的2D-3D线对应。然后，通过最小化对应的投影误差和拒绝离群值来迭代优化相机位姿和2D-3D对应。在EurocMav数据集和我们收集的数据集上的实验结果表明，该方法可以有效地估计相机姿态，而不会在结构化环境中积累漂移或姿态跳跃。
2020-07-31 cs.CV
FisheyeDistill: Self-Supervised Monocular Depth Estimation with Ordinal Distillation for Fisheye Cameras
OPPO US Research Center（OPPO美国研究中心）；InnoPeak Technology, Inc.（InnoPeak技术公司）；Wing LLC（Wing有限责任公司）
在本文中，我们处理的问题，单目深度估计鱼眼相机在一个自我监督的方式。自监督深度估计的已知问题是其在低光/过度曝光条件下和在大的均匀区域中受到影响。为了解决这个问题，我们提出了一种新的序数蒸馏损失，从一个大的教师模型中提取序数信息。这样的教师模型，因为已经在大量不同的数据上训练，可以很好地捕获深度排序信息，但缺乏保持准确的场景几何形状。结合自监督损失，我们证明了我们的模型不仅可以在具有挑战性的环境中生成合理的深度图，而且可以更好地恢复场景几何形状。我们进一步利用AR眼镜设备的鱼眼摄像头来收集室内数据集，以便于评估。
2022-05-05 cs.CV
UniK3D: Universal Camera Monocular 3D Estimation
ETH Zürich（苏黎世联邦理工学院）；Toyota Motor Europe（丰田汽车欧洲公司）；INSAIT（INSAIT研究院）；Sofia University St. Kliment Ohridski（圣克莱门特奥赫里德斯基索非亚大学）
针对现有单目3D估计依赖简化相机假设、泛用性差的问题，提出通用方法UniK3D，通过球面表示、球谐光线锥表示及角度损失实现任意相机建模，零样本评估达SOTA，大视场场景提升显著。
2025-03-20 cs.CV
Ground Plane based Absolute Scale Estimation for Monocular Visual Odometry
Baidu Inc.（百度公司）；National Engineering Laboratory of Deep Learning Technology and Application（深度学习技术及应用国家工程实验室）；Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）；Australia Centre for Robotic Vision（澳大利亚机器人视觉中心）
从单目相机恢复绝对度量尺度对于基于单目相机的系统是具有挑战性但非常期望的问题。通过使用不同种类的线索，已经提出了各种方法的规模估计，如相机的高度，对象的大小等。在本文中，首先，我们总结了不同种类的规模估计方法。然后，通过分析不同方法的优缺点，提出了一种鲁棒的基于地平面和摄像机高度的分而治之的绝对尺度估计方法。通过使用估计的尺度，已经提出了一种有效的尺度校正策略，以减少在单目视觉里程计（VO）估计过程中的尺度漂移。最后，在公开和自采集的图像序列上验证了该方法的有效性和鲁棒性。
2019-03-03 cs.CV
Marginalized Bundle Adjustment: Multi-View Camera Pose from Monocular Depth Estimates
Google（谷歌）；Michigan State University（密歇根州立大学）
本文提出边缘束调整方法，利用单目深度估计的密集深度图，有效整合到结构从运动任务中，提升多视角3D视觉性能。
2026-02-21 cs.CV
Ray3D: ray-based 3D human pose estimation for monocular absolute 3D localization
Aibee Inc.（爱笔智能有限公司）；Beijing Technology and Business University（北京工商大学）
在本文中，我们提出了一种新的单目射线为基础的三维（Ray3D）绝对人体姿态估计与校准相机。从单目2D姿态输入中精确且可推广的绝对3D人体姿态估计是一个不适定问题。为了解决这一挑战，我们将输入从像素空间转换为3D归一化射线。这种转换使我们的方法鲁棒相机的内在参数的变化。为了处理野外相机外部参数变化，Ray3D明确地将相机外部参数作为输入，并联合建模3D姿态光线和相机外部参数之间的分布。这种新颖的网络设计是Ray3D方法突出通用性的关键。为了全面了解相机内外参数变化如何影响绝对3D关键点定位的准确性，我们对三个单人3D基准以及一个合成基准进行了深入的系统实验。这些实验表明，我们的方法显着优于现有的最先进的模型。我们的代码和合成数据集可以在https://github.com/YxZhxn/Ray3D上找到。
2022-10-27 cs.CV
3D Trajectory Reconstruction of Moving Points Based on a Monocular Camera
College of Aerospace Science and Engineering, National University of Defense Technology（国防科技大学航天科学与工程学院）；National University of Defense Technology（国防科技大学）
本文针对单目相机在受限观测条件下重建运动点三维轨迹的病态问题，提出基于时间多项式和岭估计的算法，并引入自动定阶与可重建性定义，实验验证了其可行性、准确性和效率。
2025-02-27 cs.CV
Weakly Supervised 3D Multi-person Pose Estimation for Large-scale Scenes based on Monocular Camera and Single LiDAR
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
基于单目摄像机的三维多人姿态估计中，深度估计通常是病态的和模糊的。由于LiDAR可以在远距离场景中捕获精确的深度信息，因此它可以通过提供丰富的几何特征来帮助个体的全局定位和3D姿态估计。受此启发，我们提出了一个单目相机和单激光雷达为基础的方法，在大规模场景中的三维多人姿态估计，这是易于部署和不敏感的光。具体而言，我们设计了一种有效的融合策略，充分利用图像和点云等多模态输入数据，并充分利用时间信息指导网络学习自然连贯的人体运动。在不依赖于任何3D姿态注释的情况下，我们的方法利用点云的固有几何约束进行自我监督，并利用图像上的2D关键点进行弱监督。在公共数据集和新收集的数据集上的实验证明了该方法的优越性和泛化能力。
2022-11-30 cs.CV
GEN-SLAM: Generative Modeling for Monocular Simultaneous Localization and Mapping
Ford Greenfield Labs（福特格林菲尔德实验室）；KULeuven（鲁汶大学）
我们提出了一个基于深度学习的系统，用于任何移动机器人都必不可少的定位和避障双重任务。我们的系统从传统的几何SLAM学习，并使用单个相机输出相机在环境中的拓扑姿态以及周围障碍物的深度图。我们使用CNN在拓扑图中进行定位，并使用条件VAE输出相机图像的深度，条件是该拓扑位置估计。我们证明了我们的单目定位和深度估计系统在模拟和真实数据集上的有效性。
2019-02-06 cs.CV
OmniPoint: Universal Monocular Metric Pointcloud from Any Camera
ETH Zurich（苏黎世联邦理工学院）；Google DeepMind（谷歌DeepMind）
OmniPoint提出统一框架，采用解耦射线距离表示与双向增强策略，实现跨针孔、鱼眼等相机的零样本单目度量重建，达到最先进性能。
2026-09-10 cs.CV
Continuous Pose for Monocular Cameras in Neural Implicit Representation
ETH Zurich（苏黎世联邦理工学院）；Sofia University（索非亚大学）；INSAIT（保加利亚人工智能与数据科学学院）
本文提出用隐式神经函数将单目相机位姿表示为时间的连续函数并联合优化，在含噪位姿 NeRF、事件 NeRF、vSLAM 及带 IMU 的 vSLAM 中均优于现有方法。
2024-03-02 cs.CV
Spherical formulation of moving object geometric constraints for monocular fisheye cameras
Valeo Visions Systems（法雷奥视觉系统公司(Valeo Visions Systems)）
在本文中，我们介绍了一种用于自动驾驶鱼眼摄像机的运动目标检测算法。我们将直线图像中的三个常用约束（极线、正深度和正高度约束）重新表述为球面坐标，一旦已知校准，球面坐标对特定相机配置是不变的。自动驾驶中的主要挑战用例之一是检测遭受运动视差模糊的平行移动物体。为了缓解这一点，我们制定了一个额外的第四个约束，称为反平行约束，这有助于检测对象的运动，反映自我车辆可能。我们分析了该算法在不同的情况下，并证明了它的工作有效地直接操作鱼眼图像。
2020-03-06 cs.CV
Rotation Matters: Generalized Monocular 3D Object Detection for Various Camera Systems
DGIST（大邱庆北科学技术院）
针对单目3D目标检测跨相机系统性能下降的问题，本文发现相机朝向变化是关键因素，提出可即插即用的补偿模块校正3D框位置与朝向，无需额外训练即可大幅提升跨系统检测性能。
2023-10-09 cs.CV
Tracking monocular camera pose and deformation for SLAM inside the human body
Instituto de Investigación en Ingeniería de Aragón (I3A)（阿拉贡工程研究院（I3A））；Universidad de Zaragoza（萨拉戈萨大学）
可变形场景中的单目SLAM将为多种医疗应用开辟道路，如内窥镜检查中的计算机辅助导航，自动药物输送或自主机器人手术。在本文中，我们提出了一种新的方法，同时跟踪相机的姿态和三维场景变形，没有任何假设的环境拓扑结构或形状。该方法使用光照不变的光度方法来跟踪图像特征，并结合重投影误差和变形的空间和时间正则化来估计相机运动和变形。我们在模拟结肠镜检查的结果表明，该方法的准确性和鲁棒性，在复杂的场景下，变形水平的增加。我们在Endomapper数据集的人体结肠镜检查中的定性结果表明，该方法能够成功应对真实内窥镜检查的挑战：变形，低纹理和强光照变化。我们还比较了以前的跟踪方法在更简单的情况下，从Hamlyn数据集，我们获得有竞争力的性能，而不需要任何拓扑假设。
2022-04-18 cs.CV
Ego-motion and Surrounding Vehicle State Estimation Using a Monocular Camera
Honda Research Institute（本田研究所）
了解自我运动和周围车辆状态对于实现自动驾驶和先进的驾驶辅助技术至关重要。解决这一问题的典型方法是融合激光雷达、摄像头和雷达等多个传感器来识别周围的车辆状态，包括位置、速度和方向。这种感测模态对于个人使用车辆的生产来说过于复杂和昂贵。在本文中，我们提出了一种新的机器学习方法来估计自我运动和周围的车辆状态，使用一个单目摄像机。我们的方法是基于三个深度神经网络的组合来估计三维车辆限界框，深度和光流从图像序列。本文的主要贡献是一个新的框架和算法，集成了这三个网络，以估计自我运动和周围的车辆状态。为了实现更精确的3D位置估计，我们解决了实时地平面校正。所提出的方法的有效性证明，通过实验评估，比较我们的结果与地面实况数据可从其他传感器，包括CAN总线和激光雷达。
2020-05-06 cs.CV
Light Robust Monocular Depth Estimation For Outdoor Environment Via Monochrome And Color Camera Fusion
Gwangju Institute of Science and Technology（光州科学技术学院）；School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；School of Electrical Engineering（电气工程学院）；Computer Science Gwangju Institute of Science（光州科学技术学院计算机科学）
深度估计在SLAM、里程计和自动驾驶中起着重要作用。特别是单目深度估计由于其低成本、低存储和低计算而成为一种有利可图的技术。然而，它不是一个足够的预测深度图，因为相机往往无法得到一个干净的图像，因为光线条件。为了解决这一问题，各种传感器融合方法被提出。尽管传感器融合是一种强大的方法，但它需要昂贵的传感器、额外的存储器和高计算性能。本文提出了一种基于局部增强相关系数最大化的彩色图像与单色图像像素级融合与立体匹配方法。我们的方法不仅在所有指标上优于最先进的作品，而且在成本，内存和计算方面也很有效。我们还通过消融研究验证了我们设计的有效性。
2022-02-24 cs.CV
Weakly Supervised Training of Monocular 3D Object Detectors Using Wide Baseline Multi-view Traffic Camera Data
University of Adelaide（阿德莱德大学）；Centre for Automotive Safety Research（汽车安全研究中心）
准确的交叉口车辆7自由度预测是评估道路使用者之间潜在冲突的重要任务。原则上，这可以通过能够检测每个车辆的姿态的单个相机系统来实现，但是这将需要大的、准确标记的数据集，从该数据集训练检测器。虽然存在大型车辆姿态数据集（表面上是为自动驾驶车辆开发的），但我们发现这些数据集的训练不足。这些数据集包含来自地面视点的图像，而用于交叉口观察的理想视图将位于路面上方更高的位置。我们开发了一种替代方法，使用弱监督方法微调交通观测摄像头的3D对象检测器;在此过程中，可以利用现有的大型自动驾驶车辆数据集进行预训练。为了微调单目3D对象检测器，我们的方法利用来自重叠的宽基线视图的多个2D检测和编码subjacent几何一致性的损失。我们的方法在我们的数据集上实现了车辆7 DoF姿态预测精度，与自动驾驶车辆数据集上性能最好的单目3D对象检测器相当。我们提出了我们的训练方法，多视图重投影损失和数据集。
2021-10-21 cs.CV
Self-supervised Learning with Geometric Constraints in Monocular Video: Connecting Flow, Depth, and Camera
Google Research（谷歌研究院）；ETH Zurich（苏黎世联邦理工学院）
我们提出了GLNet，一个自监督的框架，用于学习深度，光流，摄像机姿态和单目视频的内部参数-解决了为这些任务获取现实地面实况的困难。我们提出了三个贡献：1）我们设计了新的损失函数，捕捉多个几何约束（如。对极几何）以及支持多个移动对象（刚性和非刚性）的自适应光度损失，2）我们扩展了模型，使得它预测相机固有特性，使其适用于未校准的视频，以及3）我们提出了几种在线细化策略，其依赖于我们在训练和测试中的自我监督损失的对称性，特别是优化模型参数和/或不同任务的输出，从而利用它们的相互作用。在所有几何约束和光度约束下联合优化系统输出的思想可以被视为经典光束法平差的密集推广。我们证明了我们的方法在KITTI和Cityscapes上的有效性，在这些方法中，我们在多个任务上的表现优于以前的自监督方法。我们还在YouTube视频中展示了迁移学习的良好泛化。
2019-09-09 cs.CV
MoCo-Flow: Neural Motion Consensus Flow for Dynamic Humans in Stationary Monocular Cameras
Tencent AI Lab（腾讯人工智能实验室）；Shandong University（山东大学）；Tel Aviv University（特拉维夫大学）；University College London（伦敦大学学院）；Adobe Research（奥多比研究院）；CFCS, Peking University（北京大学前沿计算研究中心）
从静止的单目相机合成动态人类的新视图是一种专门但理想的设置。这是特别有吸引力的，因为它不需要静态场景，受控环境或专门的捕获硬件。与利用多视图观测的技术相比，从单个视图建模动态场景的问题明显更欠约束和不适定。在本文中，我们介绍了神经运动共识流（MoCo-Flow），这是一种使用4D连续时变函数在固定单目相机中对动态人类进行建模的表示。我们通过优化动态场景来学习所提出的表示，该动态场景在所有观察到的图像上最大限度地减少了总渲染误差。我们工作的核心是一个精心设计的优化方案，其中包括一个专用的初始化步骤，并受到运动共识正则化的估计运动流。我们广泛评估MoCo-Flow的几个数据集，包含不同复杂度的人体运动，并比较，定性和定量，我们的方法的几个基线和消融的变化，显示所提出的方法的有效性和优点。预训练的模型，代码和数据将在论文验收后发布用于研究目的。
2022-02-07 cs.CV
MulayCap: Multi-layer Human Performance Capture Using A Monocular Video Camera
Tsinghua University（清华大学）；The University of Hong Kong（香港大学）
我们介绍MulayCap，一种新的人类表演捕捉方法，使用单目视频摄像机，而不需要预扫描。该方法使用“多层”表示的几何重建和纹理渲染，分别。对于几何重建，我们分解成多个几何层，即人体网格层和服装片层的穿着人。背后的关键技术是一个服装从视频（GfV）的方法，用于优化服装的形状和重建的动态布料，以适应输入的视频序列，基于布料模拟模型，这是有效地解决了梯度下降。对于纹理渲染，我们将每个输入图像帧分解为一个着色层和一个纹理层，并提出了一种方法，用于融合一个固定的纹理映射和解决详细的服装几何使用着色层。与现有的单视图人类表现捕获系统相比，我们的“多层”方法绕过了繁琐和耗时的扫描步骤，以获得人类特定的网格模板。实验结果表明，MulayCap产生逼真的渲染动态变化的细节，还没有实现在任何以前的单目视频摄像机系统。受益于其完全语义建模，MulayCap可以应用于各种重要的编辑应用，如布料编辑，重定位，重新照明和AR应用。
2020-10-01 cs.CV
OrchardDepth: Precise Metric Depth Estimation of Orchard Scene from Monocular Camera Images
Centre for Automation and Robotic Engineering Science（自动化与机器人工程科学中心）；The University of Auckland（奥克兰大学）
针对果园/葡萄园缺乏单目度量深度估计基准的问题，提出 OrchardDepth 及稠密深度图与稀疏点一致性正则化再训练方法，显著降低深度估计 RMSE。
2025-02-20 cs.CV
N-QGN: Navigation Map from a Monocular Camera using Quadtree Generating Networks
University of Bourgogne Franche-Comté（勃艮第-弗朗什-孔泰大学）；University of Picardie Jules Verne（皮卡第儒勒·凡尔纳大学）
单目深度估计多年来一直是热门的研究领域，特别是自监督网络在弥合监督和立体方法的差距方面表现出越来越好的结果。然而，这些方法将他们的兴趣集中在密集的3D重建上，有时还关注对于自主导航来说是多余的微小细节。在本文中，我们建议通过估计四叉树表示下的导航地图来解决这个问题。我们的目标是创建一个自适应的深度图预测，只提取的细节是必不可少的避障。为导航留出较大空间的其他3D空间将提供近似距离。在KITTI数据集上的实验表明，该方法可以在不损失精度的情况下显著减少输出信息的数量。
2022-02-24 cs.CV
Depth Estimation by Combining Binocular Stereo and Monocular Structured-Light
Hefei University of Technology（合肥工业大学）；Orbbec（奥比中光）；Sun Yat-sen University（中山大学）
众所周知，被动立体声系统不能很好地适应弱纹理对象，例如，白墙然而，这些弱纹理目标在室内环境中非常常见。在本文中，我们提出了一种新的立体系统，它包括两个摄像机（RGB摄像机和红外摄像机）和红外散斑投影仪。RGB相机用于深度估计和纹理获取。IR相机和散斑投影仪可以形成单目结构光（MSL）子系统，而两个相机可以形成双目立体子系统。由MSL子系统生成的深度图可以为立体匹配网络提供外部指导，这可以显著提高匹配精度。为了验证所提出的系统的有效性，我们建立了一个原型，并收集了测试数据集在室内场景。评估结果表明，当使用网络RAFT时，该系统的Bad 2.0误差为被动立体声系统的28.2%。数据集和训练模型可在https://github.com/YuhuaXu/MonoStereoFusion上获得。
2022-03-20 cs.CV
Monocular Rotational Odometry with Incremental Rotation Averaging and Loop Closure
School of Computer Science, University of Adelaide（阿德莱德大学计算机科学学院）
估计相机的绝对方位对于姿态估计任务是必不可少的。已建立的方法是首先执行视觉里程计（VO）或视觉SLAM（V-SLAM），并且从由VO或V-SLAM估计的相机姿态（6 DOF）检索相机取向（3 DOF）。除了在估计全6 DOF相机姿态中的冗余之外，该方法的一个缺点是由于对结构和运动的基本约束而对估计地图（3D场景点）连同6 DOF姿态的依赖性。为了简化绝对方向估计的任务，我们制定了单目旋转里程计问题，并设计了一个快速算法，以准确地估计相机的方向与2D-2D特征匹配单独。支撑我们的系统是一个新的增量旋转平均快速和恒定时间迭代更新方法。此外，我们的系统维护视图图，其1）允许求解环路闭合以移除相机定向漂移，以及2）可用于热启动V-SLAM系统。我们在真实世界的数据集上进行了大量的定量实验，以证明我们的增量相机方向求解器的准确性。最后，我们展示了我们的算法对V-SLAM的好处：1）解决已知的旋转问题来估计相机和周围地图的轨迹，以及2）使V-SLAM系统能够跟踪纯旋转运动。
2020-10-05 cs.CV
Minimal Solvers for Monocular Rolling Shutter Compensation under Ackermann Motion
Toshiba Research Europe（东芝欧洲研究院）
现代汽车通常配备有廉价的商用卷帘快门相机。这些设备在捕获图像时由于相机的行间延迟而经常产生失真的图像。最近的单目卷帘快门运动补偿方法利用模糊核和直线段的直线度特性。然而，这些方法仅限于处理旋转运动，并且还不够快以实时的操作。在本文中，我们提出了一个最小的解决方案，滚动快门运动补偿假设已知的垂直方向的相机。由于阿克曼运动模型的车辆，其中包括只有两个运动参数，和两个参数的简化深度假设，导致一个4线算法。所提出的最小求解器估计卷帘快门相机运动有效和准确。在真实和模拟数据集上的大量实验证明了我们的方法在定性和定量结果方面的好处。
2017-12-08 cs.CV
A Kinematic Chain Space for Monocular Motion Capture
Leibniz University Hannover（汉诺威莱布尼茨大学）
本文讨论了运动链（如人体骨架）的运动捕捉从单目图像序列所采取的未校准的相机。我们提出了一种方法的基础上投影到一个运动链空间（KCS）的观察。提出了一种优化的核规范，隐含地强制执行的运动链的结构特性。与其他方法不同，我们的方法不需要特定的相机或对象运动，也不依赖于训练数据或先前确定的约束，如特定的身体长度。该算法能够重建场景有限的摄像机运动和以前看不见的运动。它不仅适用于人类骨骼，也适用于其他运动链，例如动物或工业机器人。我们在不同的基准数据库和真实世界场景上实现了最先进的结果。
2017-02-01 cs.CV
CenterLoc3D: Monocular 3D Vehicle Localization Network for Roadside Surveillance Cameras
单目三维车辆定位是智能交通系统（ITS）和协同车辆基础设施系统（CVIS）中的一项重要任务，通常通过单目三维车辆检测来实现。然而，由于固有的成像机制，单目相机无法直接获得深度信息，从而导致更具挑战性的单目3D任务。目前大多数单目3D车辆检测方法利用2D检测器和附加的几何模块，这降低了效率。在本文中，我们提出了一个三维车辆定位网络CenterLoc3D路边单目摄像机，直接预测图像空间中的质心和八个顶点，三维边界框的尺寸没有二维检测器。为了提高三维车辆定位的精度，我们提出了一个加权融合模块和空间约束嵌入CenterLoc3D的损失。首先，通过摄像机标定求解二维图像空间与三维世界空间的变换矩阵;其次，车辆类型，质心，八个顶点，三维车辆包围盒的尺寸是由CenterLoc3D获得。最后，通过摄像机标定和CenterLoc3D算法得到三维世界空间的质心，进行三维车辆定位。据我们所知，这是路边单目摄像机3D车辆定位的第一个应用。因此，我们还提出了一个基准，包括数据集（SVLD-3D），注释工具（LabelImg-3D），和评估指标。通过实验验证，该方法具有较高的准确性和实时性。（字数有限，详情请看文章）
2023-01-05 cs.AI cs.CV
Uncertainty Guided Depth Fusion for Spike Camera
Nanjing University（南京大学）；Peking University（北京大学）；Beihang University（北京航空航天大学）；Intel Labs（英特尔实验室）
深度估计对于自动驾驶等各种重要的现实应用至关重要。然而，它遭受严重的性能下降，在高速的情况下，因为传统的相机只能捕捉模糊的图像。为了解决这个问题，尖峰相机被设计成以高帧速率捕获逐像素的亮度强度。然而，使用传统的基于光度一致性的单目或立体深度估计算法，使用尖峰相机的深度估计仍然非常具有挑战性。在本文中，我们提出了一种新的不确定性引导的深度融合（UGDF）框架，融合单目和立体深度估计网络的预测尖峰相机。我们的框架是出于这样一个事实，立体尖峰深度估计在近距离取得更好的结果，而单眼尖峰深度估计在长距离取得更好的结果。因此，我们引入了一个双任务的深度估计架构与联合训练策略和估计的分布式不确定性融合的单眼和立体的结果。为了证明尖峰深度估计相对于传统相机深度估计的优势，我们贡献了一个名为CitySpike20 K的尖峰深度数据集，其中包含20 K配对样本，用于尖峰深度估计。UGDF在CitySpike 20 K上实现了最先进的结果，超过了所有单目或立体声尖峰深度估计基线。我们进行了广泛的实验，以评估我们的方法在CitySpike20K的有效性和推广。据我们所知，我们的框架是第一个双任务融合框架的尖峰相机深度估计。将发布代码和数据集。
2022-08-29 cs.CV
Improved Real-Time Monocular SLAM Using Semantic Segmentation on Selective Frames
Handong Global University（韩东国际大学）；Sungkyunkwan University（成均馆大学）；Institute for Basic Science（基础科学研究院）
单目同时定位与地图构建（SLAM）正在高级驾驶员辅助系统和自动驾驶中兴起，因为单个摄像头便宜且易于安装。传统的单目SLAM有两个主要的挑战，导致不准确的定位和映射。首先，在定位和映射中估计尺度是具有挑战性的。其次，传统的单目SLAM在映射中使用不适当的映射因素，诸如动态对象和低视差区域。本文提出了一种改进的实时的【形】单目SLAM，其通过有效地使用基于深度学习的语义分割来解决上述挑战。为了实现所提出的方法的实时的【形】执行，我们只应用语义分割与映射过程并行的下采样关键帧。此外，所提出的方法校正相机姿势和三维（3D）点的比例，使用估计的地平面从道路标记的3D点和真实的相机高度。该方法还去除了标记为移动对象和低视差区域的不适当的角特征。八个视频序列的实验表明，所提出的单目SLAM系统实现显着改善和可比的轨迹跟踪精度相比，现有的最先进的单目和立体SLAM系统，分别。所提出的系统可以在标准CPU上实现实时的【形】跟踪，可能具有标准GPU支持，而现有的分割辅助单目SLAM则没有。
2022-12-15 cs.CV
Efficient and Robust Camera-independent Multiview 3D Geometric Reconstruction from Noisy Monocular Depth Estimation and Multiple Point Matching
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；POLITEHNICA Bucharest（布加勒斯特理工大学）
提出一种仅依赖点间线性关系、无需相机参数的多视角3D重建方法，通过鲁棒估计自回归矩阵，利用噪声单目深度或多帧2D投影，高效恢复3D结构。
2026-09-09 cs.CV
Motion Segmentation from a Moving Monocular Camera
University of Waterloo（滑铁卢大学）
本文提出在物体层面融合点轨迹与光流线索，通过对极几何构建亲和矩阵并用协同正则化多视图谱聚类实现移动单目相机的运动分割，在 KT3DMoSeg 上达到先进水平。
2023-09-24 cs.CV
Monocular Markerless Motion Capture Enables Quantitative Assessment of Upper Extremity Reachable Workspace
Shriners Children’s Lexington（夏皮尔儿童医院莱克星顿分院）；University of Kentucky Department of Physical Therapy（肯塔基大学物理治疗系）；Shirley Ryan AbilityLab（希拉里·瑞安康复实验室）；Northwestern University（西北大学）；School of Electrical and Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）；The Wallace H. Coulter Department of Biomedical Engineering（沃克·H·库勒生物医学工程系）；Georgia Institute of Technology and Emory University（佐治亚理工学院和埃默里大学）；Pennsylvania State University at Harrisburg（宾夕法尼亚州立大学哈里斯堡分校）；Nationwide Children’s Hospital（全国儿童医院）
单目无标记动作捕捉技术用于评估上肢可达空间，通过对比不同摄像机配置验证其临床可行性及实用性。
2026-02-13 cs.CV
0-MMS: Zero-Shot Multi-Motion Segmentation With A Monocular Event Camera
University of Maryland, College Park（马里兰大学帕克分校）
动态场景中运动目标的分割是导航任务中场景理解的一个关键过程。经典相机在这种情况下遭受运动模糊，从而使它们失效。相反，事件相机，因为它们的高时间分辨率和缺乏运动模糊，是为这个问题量身定制的。我们提出了一种单目多运动分割的方法，该方法将自下而上的特征跟踪和自上而下的运动补偿结合到一个统一的管道中，这是我们所知的第一种方法。该方法利用时间间隔内的事件，通过分割和合并将场景分割为多个运动。我们进一步加快我们的方法，通过使用运动传播和集群密钥片的概念。该方法在EV-IMO，EED和MOD数据集的具有挑战性的真实世界和合成场景中成功进行了评估，并超过了最先进的检测率12%，在上述数据集上实现了81.06%，94.2%和82.35%的最先进的平均检测率。为了进一步研究和系统评估多运动分割，我们提出并开源了一个名为MOD++的新数据集/基准，其中包括具有挑战性的序列和广泛的数据分层，包括相机和对象运动，速度大小，方向和旋转速度。
2020-11-07 cs.CV
Position Estimation of Camera Based on Unsupervised Learning
Beijing University of Posts and Telecommunications（北京邮电大学）
从视频序列中恢复场景的三维结构和摄像机姿态是一个令人兴奋的任务。目前的解决方案大多分为两个部分，单目深度恢复和相机姿态估计。单目深度恢复通常被作为一个独立的部分来研究，并且使用更好的深度估计来求解姿态。而传统的SLAM（同时定位与地图构建）方法在大多数情况下仍是对摄像机位姿进行估计。利用无监督方法进行单目深度恢复和位姿估计，得益于[1]的研究，取得了较好的效果。本文改进了文[1]的方法。重点在于对该方法的思想和相关理论进行改进，引入更合理的帧间约束，最终在统一的世界坐标系下将摄像机运动轨迹与帧间位姿估计进行综合。我们的结果得到更好的性能。
2018-05-05 cs.CV
Object Pose Estimation Annotation Pipeline for Multi-view Monocular Camera Systems in Industrial Settings
TU Dortmund University（多特蒙德工业大学）
本文提出一种针对工业多视图单目相机系统的无人工物体位姿估计标注流水线，通过融合动作捕捉系统与线性映射投影3D模型生成6D位姿真值，在含8个相机、26482个实例的数据集上实现了高效且高质量的自动标注。
2023-10-23 cs.CV
Full Surround Monodepth from Multiple Cameras
Toyota Research Institute（丰田研究院）；Toyota Technological Institute at Chicago（芝加哥丰田技术学院）
自我监督的单目深度和自我运动估计是一种很有前途的方法，可以取代或补充昂贵的深度传感器，如LiDAR，用于自动驾驶等机器人应用。然而，这一领域的大多数研究都集中在单个单目摄像机或立体对上，它们只覆盖车辆周围场景的一小部分。在这项工作中，我们扩展单目自我监督深度和自我运动估计大基线多相机钻机。使用广义时空上下文，姿势一致性约束和精心设计的光度损失掩蔽，我们学习了一个单一的网络，生成密集，一致和尺度感知的点云，覆盖与典型LiDAR扫描仪相同的全环绕360度视场。我们还提出了一个新的尺度一致的评价指标更适合于多相机设置。在两个具有挑战性的基准上的实验说明了我们的方法在强基线上的好处。
2021-03-31 cs.CV
Flow-Motion and Depth Network for Monocular Stereo and Beyond
HKUST（香港科技大学）
我们提出了一种基于学习的方法，解决了单目立体，并可以扩展到融合深度信息从多个目标帧。给定来自具有已知内在校准的单目相机的两个无约束图像，我们的网络估计源图像的相对相机姿态和深度图。所提出的方法的核心贡献是三方面的。首先，为静态场景定制了一个网络，该网络联合估计光流和相机运动。通过联合估计，光流搜索空间逐渐减小，导致高效且准确的流估计。其次，提出了一种新的三角层来编码估计的光流和相机运动，同时避免了由极线引起的常见数值问题。第三，除了两个视图的深度估计，我们进一步扩展了上述网络，融合来自多个目标图像的深度信息，并估计源图像的深度图。为了进一步使研究界受益，我们引入了一些工具来生成逼真的运动结构数据集，以便可以很好地训练和评估深度网络。与以往的方法相比，所提出的方法，并在更短的时间内达到国家的最先进的结果。从现实世界的应用和谷歌地球的图像被用来证明该方法的泛化能力。
2019-09-12 cs.CV
MonoGAE: Roadside Monocular 3D Object Detection with Ground-Aware Embeddings
Tsinghua University（清华大学）；South China University of Technology（华南理工大学）；New York University（纽约大学）
针对俯仰安装的路侧单目摄像头，本文提出MonoGAE，通过监督式地面感知嵌入、交叉注意力融合和像素级地平面方程图提升3D检测性能，并在路侧基准上显著优于已有方法。
2023-09-30 cs.CV
Monocular 3D Object Detection: An Extrinsic Parameter Free Approach
Shanghai Jiao Tong University（上海交通大学）；SenseTime Research（商汤科技研究院）；Shanghai AI Laboratory（上海人工智能实验室）
单目三维目标检测是自动驾驶中的一项重要任务。它可以很容易地棘手存在自我汽车姿态变化w.r.t.地平面这是常见的，因为道路平整度和坡度略有波动。由于缺乏对工业应用的洞察力，现有的开放数据集上的方法忽略了摄像机的姿态信息，这不可避免地导致检测器容易受到摄像机外部参数的影响。物体的扰动在大多数工业产品的自动驾驶情况下非常普遍。为此，我们提出了一种新的方法来捕捉摄像机的姿态，制定检测器不受外部扰动。具体而言，该框架预测摄像机外部参数检测消失点和地平线的变化。设计了一个转换器来校正潜在空间中的扰动特征。通过这样做，我们的3D检测器独立于外部参数变化工作，并在现实情况下产生准确的结果，例如，坑洼不平的道路，几乎所有现有的单目探测器都无法处理。实验表明，我们的方法产生了最好的性能相比，其他国家的最先进的一个很大的保证金KITTI 3D和nuScenes数据集。
2021-12-08 cs.CV
FIERY: Future Instance Prediction in Bird's-Eye View from Surround Monocular Cameras
Wayve；University of Cambridge（剑桥大学）
驾驶需要与道路代理进行交互，并预测他们未来的行为，以便安全导航。我们提出了FIERY：一个概率未来预测模型，从单目相机鸟瞰。我们的模型预测未来的实例分割和运动的动态代理，可以转化为非参数的未来轨迹。我们的方法结合了传统自动驾驶堆栈的感知，传感器融合和预测组件，通过直接从环绕RGB单目相机输入估计鸟瞰图预测。FIERY学习以端到端的方式仅从相机驾驶数据中建模未来的固有随机性，而不依赖于高清地图，并预测多模式未来轨迹。我们表明，我们的模型在NuScenes和Lyft数据集上的表现优于以前的预测基线。代码和训练模型可在https://github.com/wayveai/fiery上获得。
2021-10-18 cs.CV cs.RO
MAGiSt3R: Multi-Agent Feed-forward 3D Reconstruction from Monocular RGB Videos
University of Bologna（博洛尼亚大学）；The University of Hong Kong（香港大学）；Southeast University（东南大学）；Monash University（莫纳什大学）
研究基于单目RGB视频的多智能体3D重建问题，核心方法是用3R家族前馈模型和MAGMA合并模型，并进行姿态图优化，主要贡献是在合成和真实数据集上验证该框架相比现有方法有更高重建和相机跟踪精度。
2026-07-17 cs.CV
Aperture Supervision for Monocular Depth Estimation
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
我们提出了一种新的方法来训练机器学习算法估计场景深度从一个单一的图像，通过使用由相机的光圈作为监督提供的信息。以前的作品使用深度传感器的输出或来自不同视点的相同场景的图像作为监督，而我们的方法则使用来自不同相机光圈拍摄的相同视点的图像。为了使学习算法能够使用光圈效应作为监督，我们引入了两个可微分光圈渲染函数，其使用输入图像和预测深度来模拟由真实相机光圈引起的景深效应。我们训练单目深度估计网络端到端预测场景深度，最好地解释这些有限孔径图像作为输入全聚焦图像的散焦模糊渲染。
2018-03-29 cs.CV
3D Pose Estimation of Two Interacting Hands from a Monocular Event Camera
MPI for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）；RPTU Kaiserslautern-Landau（凯泽斯劳滕-兰道莱茵兰-普法尔茨技术大学）
本文提出首个基于单目事件相机的双手交互三维追踪框架，通过半监督特征注意力解决左右手模糊，并集成交叉损失修复碰撞，发布合成数据集Ev2Hands-S和真实基准Ev2Hands-R，在三维重建精度上优于现有方法。
2023-12-21 cs.CV
