Monocular Fisheye Camera Depth Estimation Using Sparse LiDAR Supervision
Valeo und Schalter und Sensoren GmbH（法雷奥开关与传感器有限公司）；Valeo Vision Systems（法雷奥视觉系统公司）；Technische University, Chemnitz（开姆尼茨工业大学）
自动驾驶汽车周围的近场深度估计是一项重要功能，可以通过四个视野超过180的广角鱼眼相机来实现。基于卷积神经网络（CNN）的深度估计产生现有技术水平的结果，但是由于无法手动获得深度注释，因此进展受到阻碍。合成数据集是常用的，但它们有局限性。例如，它们无法捕捉真实数据集中存在的车辆等对象外观的广泛变化。在对自然图像执行推断时也存在域移位，这由许多明确地处理领域自适应的尝试所示。在这项工作中，我们探索了一种替代方法的训练使用稀疏激光雷达数据作为地面实况的深度估计鱼眼相机。我们使用我们的自动驾驶汽车设置构建了自己的数据集，该设置具有64束Velodyne LiDAR和四个广角鱼眼相机。为了处理LiDAR和鱼眼相机的视点差异，实现了遮挡解决机制。我们从Eigen的多尺度卷积网络架构开始，通过修改激活函数和优化器进行改进。我们在我们的数据集上获得了有希望的结果，RMSE误差与KITTI上获得的最新结果相当。
2018-09-24 cs.CV
Camera Pose Matters: Improving Depth Prediction by Mitigating Pose Distribution Bias
UC Irvine（加州大学尔湾分校）；Carnegie Mellon University（卡内基梅隆大学）
单目深度预测器通常在大规模训练集上进行训练，这些训练集自然偏向于相机姿态的分布。因此，训练的预测器无法对在不常见的相机姿势下捕获的测试示例进行可靠的深度预测。为了解决这个问题，我们提出了两种新的技术，在训练和预测过程中利用相机的姿态。首先，我们引入了一种简单的视角感知数据增强，它通过以几何一致的方式扰动现有示例，合成具有更多样化视图的新训练样本。其次，我们提出了一个条件模型，利用每图像相机构成的先验知识，将其编码为输入的一部分。我们表明，联合应用这两种方法可以提高对在不常见甚至从未见过的相机姿势下捕获的图像的深度预测。我们表明，我们的方法提高性能时，应用到一系列不同的预测架构。最后，我们表明，显式编码的相机姿态分布提高了综合训练的深度预测器的泛化性能时，对真实图像进行评估。
2021-03-28 cs.CV
CBARF: Cascaded Bundle-Adjusting Neural Radiance Fields from Imperfect Camera Poses
Tsinghua University（清华大学）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；University of Queensland（昆士兰大学）
针对不完美相机位姿导致NeRF新视角合成质量下降的问题，提出CBARF框架，通过级联束调整和邻居替换策略优化位姿，并用密度体素网格重建场景，实现最先进的位姿优化和新视角合成性能。
2023-10-15 cs.CV
A Pose-only Geometric Constraint for Multi-Camera Pose Adjustment
College of Aerospace Science and Engineering, National University of Defense Technology（航天航空科学与工程学院，国防科技大学）
本文提出一种仅姿态的几何约束，用于多摄像机系统，通过统一的摄像机模型实现高效的姿态优化，实验表明其在计算效率和姿态估计精度上优于传统方法。
2026-04-26 cs.CV
Domain Adaptation of Networks for Camera Pose Estimation: Learning Camera Pose Estimation Without Pose Labels
Nokia Bell Labs（诺基亚贝尔实验室）；New York University（纽约大学）
对深度学习的一个关键批评是，为了训练具有高性能和良好泛化能力的模型，需要大量昂贵且难以获取的训练数据。针对通过场景坐标回归（SCR）进行单目摄像机姿态估计的任务，提出了一种新的摄像机姿态估计网络（DANCE）的领域自适应方法，该方法能够在不访问目标任务上的任何标签的情况下训练模型。DANCE需要未标记的图像（没有已知的姿势，排序或场景坐标标签）和空间的3D表示（例如，扫描的点云），这两者都可以使用现成的商品硬件以最小的努力来捕获。DANCE从3D模型中渲染标记的合成图像，并通过应用无监督图像级领域自适应技术（不成对的图像到图像转换）来弥合合成图像和真实图像之间不可避免的领域差距。当在真实图像上进行测试时，使用DANCE训练的SCR模型以一小部分成本实现了与其完全监督的对应模型相当的性能（在这两种情况下，都使用PnP-RANSAC进行最终姿态估计）。我们的代码和数据集可在https://github.com/JackLangerman/dance上获得
2021-11-29 cs.CV
Multi-Person 3D Pose Estimation from Multi-View Uncalibrated Depth Cameras
Carnegie Mellon University（卡内基梅隆大学）；Waymo；Meta
针对多视角RGB三维人体姿态方法需多视角、已标定相机且依赖真实姿态训练的问题，提出无需训练回归模型的MVD-HPE流程，结合深度引导相机位姿估计与深度约束姿态优化，在自采数据集上性能优于现有无回归方案。
2024-01-28 cs.CV
CGA-PoseNet: Camera Pose Regression via a 1D-Up Approach to Conformal Geometric Algebra
University of Cambridge（剑桥大学）
我们介绍了CGA-PoseNet，它使用共形几何代数（CGA）的1D-Up方法来表示旋转和平移，并使用单个数学对象（电机）进行相机姿态回归。我们从PoseNet开始这样做，PoseNet成功地从RGB帧的小数据集预测相机姿势。然而，最先进的方法需要昂贵的调整来平衡相机姿态的取向和平移分量。这通常是通过复杂的、要最小化的特设损失函数来完成的，并且在某些情况下还需要3D点以及图像。我们的方法具有通过电机统一相机位置和方向的优点。因此，网络搜索一个存在于具有欧几里得签名的行为良好的4D空间中的单个对象。这意味着我们可以解决仅图像数据集的情况，并使用简单的损失函数有效地工作，即预测和地面实况电机之间的均方误差（MSE）。我们表明，它是可能实现高精度相机姿态回归与一个显着简单的问题制定。这种一维向上的CGA方法可以用来克服相机姿态回归中的平移和定向分量之间的二分法，以紧凑和优雅的方式。
2023-02-10 cs.CV
Large Area 3D Human Pose Detection Via Stereo Reconstruction in Panoramic Cameras
Profactor GmbH（普罗法克特有限公司）；JKU（约翰内斯·开普勒大学）
我们提出了一种新的三维人体姿态检测器使用两个全景摄像机。我们表明，将鱼眼视角转换为直线视图可以直接应用二维深度学习姿势估计方法，而无需明确需要昂贵的重新训练步骤来补偿鱼眼图像失真。通过利用全景相机，我们的方法是能够准确地估计在一个大的视野中的人的姿态。这使得我们的方法适用于人体工程学分析和其他姿势为基础的评估。
2019-07-01 cs.CV
Sports Camera Calibration via Synthetic Data
University of British Columbia（不列颠哥伦比亚大学）
校准体育摄像机对于自主广播和体育分析非常重要。在这里，我们提出了一个高度自动化的方法，从一个单一的图像使用合成数据校准运动相机。首先，我们开发了一个新的相机姿态引擎。相机姿态引擎只有三个重要的自由参数，因此它可以有效地生成大量的相机姿态和相应的边缘（即，字段标记）图像。然后，我们学习紧凑的深度特征，通过一个连体网络从成对的边缘图像和相机姿态，并建立一个特征-姿态数据库。在此之后，我们使用一种新的双GAN（生成对抗网络）模型来检测实际图像中的字段标记。最后，我们从特征姿态数据库中查询初始相机姿态，并使用截断距离图像来细化相机姿态。我们评估我们的方法合成和真实数据。我们的方法不仅在合成数据上表现出了鲁棒性，而且在标准足球数据集上达到了最先进的精度，在排球数据集上也达到了非常高的性能。
2018-10-25 cs.CV
Unsupervised Learning of Camera Pose with Compositional Re-estimation
York University（约克大学）；University of Manitoba（曼尼托巴大学）；Ryerson University（瑞尔森大学）
我们考虑的问题，无监督的相机姿态估计。给定一个输入视频序列，我们的目标是估计连续帧之间的相机姿态（即相机运动）。传统上，这个问题是通过对变换矢量施加严格的约束或通过将光流并入复杂的管道来解决的。我们提出了一种替代方法，利用一个组成的重新估计过程中的相机姿态估计。给定一个输入，我们首先估计一个深度图。然后，我们的方法迭代地估计基于估计的深度图的相机运动。我们的方法显着提高了预测相机运动的定量和视觉。此外，重新估计以新颖且简单的方式解决了边界外像素的问题。我们的方法的另一个优点是，它是适用于其他相机姿态估计方法。KITTI基准数据集上的实验分析表明，我们的方法优于现有的国家的最先进的方法在无监督的相机自我运动估计。
2020-01-17 cs.CV
On Triangulation as a Form of Self-Supervision for 3D Human Pose Estimation
EPFL（洛桑联邦理工学院）
当标记数据丰富时，监督方法从单个图像进行3D姿态估计是非常有效的。然而，由于地面实况3D标签的获取是劳动密集型和耗时的，最近的注意力已经转向半和弱监督学习。在拥挤的场景中，生成具有少量注释的有效监督形式仍然是一个重大挑战。在本文中，我们建议施加多视图的几何约束，通过加权可微三角剖分，并使用它作为一种形式的自我监督时，没有标签。因此，我们以这样的方式训练2D姿态估计器，使得其预测对应于三角测量的3D姿态的重新投影，并在其上训练辅助网络以产生最终的3D姿态。我们补充三角测量与加权机制，该机制消除了自遮挡或其他受试者遮挡引起的噪声预测的影响。我们在Human3.6M和MPI-INF-3DHP数据集以及一个新的多视图多人数据集上证明了我们的半监督方法的有效性。
2022-06-28 cs.CV
Camera Pose Estimation from Sequence of Calibrated Images
Maria Curie-Sklodowska University（玛丽亚·居里-斯克沃多夫斯卡大学）；Warsaw University of Technology（华沙理工大学）
本文提出了一种从图像序列中估计摄像机姿态的方法。该方法假设相机被校准（内部参数是已知的），这允许与未校准的情况相比减少所需的对应点对的数量。我们的算法可以被用作运动恢复结构立体重建系统的第一阶段。
2018-09-28 cs.CV
Sparse Beats Dense: Rethinking Supervision in Radar-Camera Depth Completion
MEGVII Technology（旷世科技）；The University of Hong Kong（香港大学）；Fvidar Inc.（福维达公司）
针对深度补全中稀疏监督劣于密集监督的普遍认知，提出干扰-补偿框架抑制激光雷达分布泄漏，使稀疏监督在MAE和速度上超越密集监督。
2024-07-18 cs.AI cs.CV
Continuous Pose for Monocular Cameras in Neural Implicit Representation
ETH Zurich（苏黎世联邦理工学院）；Sofia University（索非亚大学）；INSAIT（保加利亚人工智能与数据科学学院）
本文提出用隐式神经函数将单目相机位姿表示为时间的连续函数并联合优化，在含噪位姿 NeRF、事件 NeRF、vSLAM 及带 IMU 的 vSLAM 中均优于现有方法。
2024-03-02 cs.CV
Towards Accurate Active Camera Localization
Shandong University（山东大学）；Peking University（北京大学）；Tencent AI Lab（腾讯人工智能实验室）；Stanford University（斯坦福大学）；vjia（3vjia）
在这项工作中，我们解决了主动相机定位的问题，主动控制相机的运动，以实现准确的相机姿态。过去的解决方案大多是基于马尔可夫定位，这减少了位置方面的相机定位的不确定性。这些方法将相机定位在离散位姿空间中，并且对定位驱动的场景属性不可知，这限制了相机在粗尺度上的位姿精度。我们建议通过一种新的主动摄像机定位算法，由一个被动和主动定位模块来克服这些限制。前者通过建立逐点相机世界对应关系，在连续位姿空间中优化相机位姿。后者显式地对场景和相机不确定性分量进行建模，以规划正确的路径，从而进行准确的相机姿态估计。我们验证了我们的算法在具有挑战性的定位场景从合成和扫描的真实世界的室内场景。实验结果表明，我们的算法优于国家的最先进的马尔可夫定位的方法和其他比较方法的精细尺度相机位姿精度。代码和数据在https://github.com/qhFang/AccurateACL上发布。
2022-07-20 cs.CV
PoserNet: Refining Relative Camera Poses Exploiting Object Detections
Istituto Italiano di Tecnologia（意大利理工学院）
与一组图像相关联的相机姿态的估计通常依赖于图像之间的特征匹配。相比之下，我们是第一个解决这一挑战，使用对象区域来指导姿态估计问题，而不是明确的语义目标检测。我们提出了一种轻量级的图神经网络-姿态细化网络（PoserNet）来细化近似的成对相对相机姿态。PoserNet利用对象区域之间的关联-简洁地表示为边界框-跨多个视图来全局优化稀疏连接的视图图。我们在不同大小的图形上对7-Scenes数据集进行了评估，并展示了这个过程如何有利于基于优化的运动平均算法，相对于基于边界框获得的初始估计，将旋转的中值误差提高了62度。代码和数据可在https://github.com/IIT-PAVIS/PoserNet上获得。
2022-07-21 cs.CV
PosePilot: Steering Camera Pose for Generative World Models with Self-supervised Depth
The Hong Kong University of Science and Technology（香港科技大学）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院）；Li Auto；BAAI（北京人工智能研究院）
PosePilot提出利用自监督深度估计与运动恢复结构原理，将相机位姿与视频生成紧密耦合，并通过位姿感知变形和位姿回归损失，显著提升生成式世界模型的位姿可控性与视角合成可靠性。
2025-07-18 cs.CV
Camera Motion Agnostic 3D Human Pose Estimation
Kwangwoon University（光云大学）；NCSOFT
尽管近年来三维人体姿态和形状估计方法的性能已经显著提高，但是现有方法通常生成在相机或以人为中心的坐标系中定义的3D姿态。这使得难以估计使用移动相机捕获的视频的世界坐标系中的人的纯姿势和运动。为了解决这个问题，本文提出了一种相机运动不可知的方法来预测三维人体姿态和网格定义在世界坐标系。所提出的方法的核心思想是估计两个相邻全局姿态之间的差异（即，全局运动），其对于选择坐标系是不变的，而不是耦合到相机运动的全局姿态。为此，我们提出了一种基于双向门控递归单元（GRU）的网络，该网络从局部姿态序列（由关节的相对旋转组成）预测全局运动序列，称为全局运动回归量（GMR）。我们使用3DPW和合成数据集，这是在移动摄像机环境中构建的，进行评估。我们进行了大量的实验，并证明了所提出的方法的有效性经验。代码和数据集可在www.example.com上获得
2021-12-01 cs.CV
TransCamP: Graph Transformer for 6-DoF Camera Pose Estimation
Temple University（天普大学）；Stony Brook University（石溪大学）
摄像机姿态估计或摄像机重新定位是许多计算机视觉任务（诸如视觉里程计、从运动恢复结构运动恢复结构（SfM）和SLAM）中的核心。在本文中，我们提出了一个神经网络的方法与图形Transformer骨干，即transCamP，以解决相机重新定位问题。与姿势回归主要由光度一致性指导的先前工作相比，TransCamP有效地将图像特征、相机姿势信息和帧间相对相机运动融合到编码的图形属性中，并且相反地朝向图形一致性和准确性进行训练，从而产生显著更高的计算效率。通过利用具有边缘特征的图Transformer层并启用张量化邻接矩阵，TransCamP动态捕获全局注意力，从而赋予姿态图以不断演变的结构，以实现更高的鲁棒性和准确性。此外，可选的时间Transformer层主动增强了顺序输入的时空帧间关系。对各种公共基准的拟议网络的评估表明，TransCamP优于最先进的方法。
2021-05-28 cs.CV
Calibration Venus: An Interactive Camera Calibration Method Based on Search Algorithm and Pose Decomposition
School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院）
在机器人定位、无人驾驶等许多应用摄像机的场景中，摄像机标定是最重要的前期工作之一。基于平板的交互式标定方法以其可重复性和可操作性的优点，在摄像机标定领域得到了广泛应用。然而，现有的方法选择建议从一个固定的数据集的预定义的姿势基于主观经验，这导致了一定程度的片面性。而且，他们没有给用户明确的指示，如何放置板在指定的姿势。
2020-09-13 cs.CV
Mask as Supervision: Leveraging Unified Mask Information for Unsupervised 3D Pose Estimation
Fudan University（复旦大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出以无监督分割掩码作为监督的统一3D人体姿态估计框架，通过骨骼与体格表示实现由粗到细推理，并在多个基准上达到先进性能。
2024-07-08 cs.CV
GNeRF: GAN-based Neural Radiance Field without Posed Camera
Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）；ShanghaiTech University（上海科技大学）；University of California, San Diego（加州大学圣迭戈分校）
我们介绍了GNeRF，这是一个将生成对抗网络（GAN）与神经辐射场（NeRF）重建结合起来的框架，用于具有未知甚至随机初始化相机姿态的复杂场景。最近的NeRF为基础的进展已经获得了显着的现实新颖的视图合成的普及。然而，他们中的大多数严重依赖于准确的相机位姿估计，而最近的一些方法只能优化未知的相机姿态在大致面向前方的场景，相对较短的相机轨迹，并需要粗略的相机位姿初始化。因此，我们的GNeRF只利用随机初始化的姿势复杂的由外而内的情况。我们提出了一个新的两阶段的端到端的框架。第一阶段将GANs用于新领域，以联合优化粗略的相机姿态和辐射场，而第二阶段则通过额外的光度损失对其进行优化。我们克服了局部极小使用混合和迭代优化方案。在各种合成和自然场景上的大量实验证明了GNeRF的有效性。更令人印象深刻的是，我们的方法在那些具有重复模式甚至低纹理的场景中优于基线，这些场景被认为是非常具有挑战性的。
2021-08-18 cs.CV
Gyroscope-aided Relative Pose Estimation for Rolling Shutter Cameras
GIST（光州科学技术院）；KETI（韩国电子技术研究院）；KAIST（韩国科学技术院）
卷帘快门相机由于其低成本的成像能力而受到极大关注，然而，由于其逐行图像捕获特性，卷帘快门相机之间的相对位姿估计仍然是一个难题。为了缓解这个问题，我们利用陀螺仪测量，角速度，以及图像测量来计算卷帘快门相机之间的相对姿态。陀螺仪测量提供关于引起卷帘快门失真的瞬时运动的信息。一方面有陀螺仪的测量，我们简化了相对姿态估计问题，并找到一个最小的解决方案的基础上的Grobner基多项式求解器的问题。所提出的方法只需要5个点来计算卷帘快门相机之间的相对姿态，而以前的方法需要20或44个相应的点的线性和均匀卷帘快门几何模型，分别。仿真数据和真实数据的实验结果验证了该方法相对于现有相对位姿估计方法的优越性。
2019-04-14 cs.CV
Event-based Camera Tracker by $\nabla$t NeRF
Keio University（庆应义塾大学）；Denso IT Laboratory（电装IT实验室）
本文提出首个基于场景隐式表示与事件稀疏强度变化的相机位姿估计算法TeGRA，通过最小化稀疏事件与NeRF时间梯度的误差实现高效位姿追踪。
2023-04-07 cs.CV
PCR-GS: COLMAP-Free 3D Gaussian Splatting via Pose Co-Regularizations
Nanyang Technological University（南洋理工大学）；Zhejiang University of Technology（浙江工业大学）；University of Chinese Academy of Sciences（中国科学院大学）
PCR-GS提出一种无COLMAP的3D高斯泼溅方法，通过DINO特征重投影正则化和基于小波的频率正则化协同约束相机位姿，解决复杂相机轨迹下位姿估计与场景联合优化陷入局部极小值的问题，实现高质量无位姿3D场景重建。
2025-07-21 cs.CV
Learning to Predict 3D Lane Shape and Camera Pose from a Single Image via Geometry Constraints
The Hong Kong Polytechnic University（香港理工大学）；College of Information Engineering, Capital Normal University（首都师范大学信息工程学院）；Shenzhen Forward Innovation Digital Technology Co. Ltd（深圳前向创新数字技术有限公司）
从摄像头检测3D车道是自动驾驶汽车面临的一个日益严重的问题。在此任务中，正确的相机姿态是生成准确车道的关键，它可以将图像从透视图转换为俯视图。通过这种变换，我们可以摆脱透视效果，使3D车道看起来相似，并且可以通过低阶多项式精确拟合。然而，主流的3D车道检测器依赖于由其他传感器提供的完美相机姿态，这是昂贵的，并且遇到多传感器校准问题。为了克服这个问题，我们建议预测3D车道估计相机姿态从一个单一的图像与两个阶段的框架。第一阶段的目的是从透视图的相机姿态任务。为了改进姿态估计，我们引入了辅助3D车道任务和几何约束，以从多任务学习中受益，这增强了3D和2D之间的兼容性，以及上述两个任务的兼容性。第二阶段的目标是3D车道任务。它使用先前估计的姿势来生成包含距离不变的车道外观的顶视图图像，以预测准确的3D车道。实验表明，在没有地面实况相机姿态的情况下，我们的方法优于最先进的基于完美相机姿态的方法，并且具有最少的参数和计算量。代码可在https://github.com/liuruijin17/CLGo上获得。
2021-12-31 cs.CV
Multi-View Person Matching and 3D Pose Estimation with Arbitrary Uncalibrated Camera Networks
Carnegie Mellon University（卡内基梅隆大学）
本文提出PME方法，将跨视角人员匹配建模为带规模约束和来源约束的聚类问题，仅依赖预训练二维姿态检测器，无需相机位姿和三维训练数据即可实现高精度人员匹配与三维姿态估计。
2023-12-04 cs.CV
QuacamFM: Quaternion-Constrained Flow Matching for Camera Pose Estimation
QuacamFM提出四元数约束流匹配框架，通过球面线性插值保持单位四元数约束，提升稀疏视图相机位姿估计精度，优于扩散模型和经典SfM方法。
2026-09-29 cs.CV
SparsePose: Sparse-View Camera Pose Regression and Refinement
University of Toronto（多伦多大学）；Carnegie Mellon University（卡内基梅隆大学）；Simon Fraser University（西蒙弗雷泽大学）；Google（谷歌）；Vector Institute（向量研究所）
相机姿态估计是标准3D重建流水线中的关键步骤，该流水线对单个对象或场景的密集图像集进行操作。然而，姿态估计的方法往往失败时，只有少数图像是可用的，因为它们依赖于鲁棒地识别和匹配图像对之间的视觉特征的能力。虽然这些方法可以在密集的相机视图下稳健地工作，但捕获大量图像可能是耗时的或不切实际的。我们提出了SparsePose用于恢复精确的相机姿势给定稀疏的宽基线图像集（少于10）。该方法学习回归初始相机姿势，然后在大规模对象数据集（Co 3D：3D中的常见对象）上进行训练后迭代地对其进行优化。SparsePose在恢复精确的相机旋转和平移方面明显优于传统和基于学习的基线。我们还展示了我们的管道高保真3D重建只使用5-9个图像的对象。
2022-11-29 cs.CV
Structure-Aware NeRF without Posed Camera via Epipolar Constraint
Xiangtan University（湘潭大学）；Central South University（中南大学）
用于真实感新视图合成的神经辐射场（NeRF）需要通过运动恢复结构（SfM）方法预先获取相机姿态。这种两阶段策略使用不方便，并且降低了性能，因为姿态提取中的误差可以传播到视图合成。我们将姿态提取和视图合成集成到一个端到端的过程中，使它们可以相互受益。为了训练NeRF模型，仅给出RGB图像，而没有预先已知的相机姿势。摄像机位姿通过极线约束获得，其中相同特征在不同视图中具有相同的世界坐标，该世界坐标根据所提取的位姿从局部摄像机坐标转换而来。对极线约束和像素颜色约束进行联合优化。姿势由基于CNN的深度网络表示，其输入是相关帧。这种联合优化使NeRF能够感知场景的结构，从而提高泛化性能。在多种场景下的实验证明了该方法的有效性。代码可在https://github.com/XTU-PR-LAB/SaNerf上获得。
2022-10-01 cs.CV
Affine Correspondences between Multi-Camera Systems for Relative Pose Estimation
National University of Defense Technology（国防科技大学）
本文提出一种利用两个仿射对应高效求解多相机系统6自由度相对位姿的最小解法，实验表明其比现有算法更高效且精度更高。
2023-06-22 cs.CV
Efficient Relative Pose Estimation for Cameras and Generalized Cameras in Case of Known Relative Rotation Angle
South Ural State University（南乌拉尔国立大学）；TrunkTech Co., Ltd.（创科有限公司）
我们提出了两个最小的解决方案的问题的相对姿态估计（i）校准相机从四个点在两个视图和（ii）校准广义相机从五个点在两个视图。在这两种情况下，假设视图之间的相对旋转角度是已知的。在实践中，这样的角度可以从3d陀螺仪的读数导出。我们表示的单位四元数的运动的旋转部分，以构建多项式方程编码的极线约束。然后使用格罗布纳基技术来有效地导出解决方案。我们的第一个常规相机求解器显著改进了现有的最先进的解决方案。广义相机的第二个求解器是新颖的。所提出的最小解算器可以用于假设和测试架构，如RANSAC可靠的姿态估计。在合成数据集和真实数据集上的实验表明，我们的算法是数值稳定，快速和鲁棒的。
2019-01-31 cs.CV
Ordinal Depth Supervision for 3D Human Pose Estimation
University of Pennsylvania（宾夕法尼亚大学）；Zhejiang University（浙江大学）
我们的能力，训练端到端系统的三维人体姿态估计从单一的图像是目前受到限制的3D注释的自然图像的有限可用性。大多数数据集都是在工作室环境中使用运动捕捉（MoCap）系统捕获的，并且很难达到2D人体姿势数据集的可变性，如MPII或LSP。为了减轻对准确的3D地面实况的需求，我们建议使用由人类关节的顺序深度提供的较弱的监督信号。该信息可以由人类注释者针对广泛的图像和姿势来获取。我们展示了在不同设置中使用这些顺序关系训练卷积网络（ConvNets）的有效性和灵活性，始终通过使用精确的3D关节坐标训练的ConvNets实现具有竞争力的性能。此外，为了证明这种方法的潜力，我们用顺序深度注释来增强流行的LSP和MPII数据集。这种扩展使我们能够在非工作室条件下进行定量和定性评估。同时，这些顺序注释可以很容易地合并到典型的3D人体姿势的ConvNets的训练过程中。通过这种包含，我们实现了相关基准的新的最先进的性能，并验证了顺序深度监督的有效性，为3D人体姿势。
2018-05-10 cs.CV
Efficient Pose Selection for Interactive Camera Calibration
Fraunhofer IGD（弗劳恩霍夫计算机图形学研究所）；TU Darmstadt（达姆施塔特工业大学）
相机标定与平面图案的姿势的选择很少被考虑-但校准精度在很大程度上取决于它。这项工作提出了一种姿势选择方法，找到一个紧凑和强大的一组校准姿势，适合于交互式校准。因此，明确避免了会导致不可靠解的奇异姿态，而有利于降低校准不确定性的姿态。为此，我们使用不确定性传播。我们的方法利用一个自我识别的校准模式，实时跟踪相机姿态。这允许迭代地将用户引导到目标姿势，直到达到期望的质量水平。因此，仅需要稀疏的关键帧集合用于校准。该方法在单独的训练集和测试集以及合成数据上进行评估。我们的方法比同类解决方案性能更好，同时需要的校准帧减少30%。
2019-07-09 cs.CV
Adversarial 3D Human Pose Estimation via Multimodal Depth Supervision
Shenzhen Cloudream Technology Co., Ltd.（深圳云绘科技有限公司）；South China University of Technology（华南理工大学）；Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
在本文中，提出了一种新的基于深度学习的框架来从单个图像中推断3D人体姿势。具体而言，制定了一个两阶段的办法。我们首先利用一个有两个分支的生成器分别提取显式和隐式深度信息。在训练过程中，还采用了对抗性方案，以进一步提高性能。在第二步中，将隐式和显式深度信息与由广泛使用的估计器生成的估计的2D关节一起馈送到深度3D姿态回归器中以用于最终姿态生成。我们的方法在ECCV2018 3D人体姿态估计挑战赛上实现了58.68mm的MPJPE。
2018-09-21 cs.CV
Reloc3r: Large-Scale Training of Relative Camera Pose Regression for Generalizable, Fast, and Accurate Visual Localization
The University of Hong Kong（香港大学）；Aalto University（阿尔托大学）；ETH Zurich（苏黎世联邦理工学院）；VIVO（维沃公司）；University of Oulu（奥卢大学）
针对现有深度视觉定位方法泛化性与准确性不足的问题，提出Reloc3r框架，结合相对位姿回归网络与极简运动平均模块，经800万图像对训练后，在6个公开数据集上实现实时准确的跨场景视觉定位。
2025-03-21 cs.CV
PoseTriplet: Co-evolving 3D Human Pose Estimation, Imitation, and Hallucination under Self-supervision
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）；Huawei International Pte Ltd（华为国际私人有限公司）
现有的自监督3D人体姿态估计方案在很大程度上依赖于弱监督（如一致性损失）来指导学习，这不可避免地导致在具有不可见姿态的真实世界场景中的较差结果。在本文中，我们提出了一种新的自我监督的方法，使我们能够显式地生成2D-3D姿态对增强监督，通过自我增强的双循环学习框架。这是通过引入一个基于仿射学习的模仿器来实现的，该模仿器与一个姿态估计器和一个姿态幻觉器一起学习;这三个组件在训练过程中形成两个循环，相互补充和加强。具体而言，姿态估计器将输入的2D姿态序列转换为低保真度的3D输出，然后通过执行物理约束的模仿器来增强该输出。细化的3D姿态随后被馈送到超幻觉器以产生甚至更多样化的数据，这些数据又被模仿器加强并进一步用于训练姿态估计器。在实践中，这样的协同进化方案使得能够在不依赖于任何给定的3D数据的情况下在自生成的运动数据上训练姿态估计器。在各种基准测试中进行的大量实验表明，我们的方法产生了令人鼓舞的结果，显著优于最先进的方法，在某些情况下，甚至与完全监督方法的结果相当。值得注意的是，在自监督交叉数据集评估设置下，它在MPI-INF-3DHP上实现了89.1%的3D PCK，比以前最好的自监督方法提高了8.6%。代码可以在：https://github.com/Garfield-kh/PoseTriplet上找到
2022-03-29 cs.CV
GSPotential: Camera Potential Field for Sparse-View 3D Gaussian Splatting
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；Zhongguancun Laboratory（中关村实验室）
GSPotential是面向稀疏视图3D Gaussian Splatting的框架，通过相机势场解决稀疏视图下的过拟合与几何伪影，采用虚拟相机采样与高斯更新策略提升重建保真度且训练效率具竞争力。
2026-09-01 cs.CV
Multi-Person Absolute 3D Human Pose Estimation with Weak Depth Supervision
Eotvos Lorand University（厄特沃什·罗兰大学）
在3D人体姿态估计中，最大的问题之一是缺乏大型、多样化的数据集。这对于多人3D姿态估计尤其如此，据我们所知，其中只有机器生成的注释可用于训练。为了缓解这个问题，我们引入了一个网络，可以用额外的RGB-D图像以弱监督的方式进行训练。由于廉价传感器的存在，具有深度图的视频广泛可用，并且我们的方法可以利用大型未注释的数据集。我们的算法是一个单目，多人，绝对姿态估计。我们评估了几个基准的算法，表现出一致的改善出错率。此外，我们的模型在MuPoTS-3D数据集上取得了相当大的优势。
2020-04-08 cs.CV
Efficient Circle-Based Camera Pose Tracking Free of PnP
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
基于平面标记的摄像机位姿跟踪方法具有易于实现的特点，受到学术界和工业界的广泛关注。然而，大多数现有的方法需要在标记图像中识别多个点以用于与空间点的匹配。然后，使用Pestival和RANSAC来计算相机位姿。如果摄像机移动速度快或距离标记较远，则匹配容易产生错误，即使RANSAC也无法消除不正确的匹配。那么，Pingdom的结果不能有很好的性能。为了解决这个问题，我们设计了圆形标记，并表示6D摄像机位姿解析和统一的非常简洁的形式，从每个标记的投影不变性。然后，提出了一种基于极-n-方向几何距离的非线性代价函数，进一步优化了姿态。该方法从图像的圆边缘出发，不需要PADER/RANSAC，使得姿态跟踪具有鲁棒性和准确性。实验结果表明，该方法优于国家的艺术在噪声，模糊，从相机到标记的距离。同时，它仍然可以在只有CPU的消费者计算机上以约100 FPS的速度运行。
2019-07-24 cs.CV
A fast minimal solver for absolute camera pose with unknown focal length and radial distortion from four planar points
Centre for Mathematical Sciences（数学科学中心）；Lund University（隆德大学）
在本文中，我们提出了一个快速的最小解算器的绝对相机姿态估计从四个已知的点，位于一个平面。我们假设一个具有未知焦距和未知径向畸变的透视相机模型。径向畸变采用单参数分割模型进行建模。我们表明，这个问题的解决方案可以从一个单变量六次多项式。这导致非常快速且数值稳定的求解器。
2018-06-05 cs.CV
Estimating 3D Camera Pose from 2D Pedestrian Trajectories
Carnegie Mellon University（卡内基梅隆大学）
我们考虑重新校准静态监控摄像机的3D姿态的任务，其姿态可能会由于外力而改变，例如鸟类，风，坠落物体或地震。传统上，当3D点已知时，可以使用2D到3D特征对应的PSPIRE（Perspective-n-Point，视角n点）方法来解决相机姿态估计。然而，3D点注释在现实世界的应用中并不总是可用的或实际的。我们提出了一种替代策略，用于提取3D信息，以解决通过使用行人轨迹的相机姿态。我们观察到，2D行人轨迹间接包含有用的3D信息，可用于推断相机姿态。为了利用这些信息，我们提出了一种数据驱动的方法，通过训练一个神经网络（NN）回归模型的直接映射从二维行人轨迹投影在图像平面上的三维相机姿态。我们证明，我们的回归训练只对合成数据可以直接应用于真实数据，从而消除了需要标记任何真实数据。我们评估我们的方法在六个不同的场景从市中心街道和DUKEMTMC数据集。我们的方法实现了$\sim50\%$的位置和方向预测精度相比，其他SOTA方法。
2020-01-02 cs.CV
Dense Dynamic Scene Reconstruction and Camera Pose Estimation from Multi-View Videos
本文提出双阶段优化框架，解决多视角视频中动态场景重建与相机姿态估计问题，通过时空连接图实现鲁棒跟踪与密集深度优化，引入宽基线初始化策略和多相机数据集，提升性能与效率。
2026-10-06 cs.CV
Consensus-based Optimization for 3D Human Pose Estimation in Camera Coordinates
Paris Seine University（巴黎塞纳大学）；ENSEA（国立电子与应用技术学院）；CNRS（法国国家科学研究中心）；Samsung Research Institute（三星研究院）；Université Paris Saclay（巴黎萨克雷大学）；École des Ponts（巴黎高科路桥学校）
3D人体姿态估计经常被视为估计相对于根身体关节的3D姿态的任务。另外，我们提出了一个三维人体姿态估计方法在相机坐标，它允许有效地结合2D注释数据和3D姿态和一个简单的多视图概括。为此，我们将问题转换为视锥空间姿态估计，其中绝对深度预测和联合相对深度估计被解开。通过逆相机投影在相机坐标中获得最终3D预测。在此基础上，我们还提出了一种基于共识的优化算法，用于从未校准的图像进行多视图预测，这需要一个单目训练过程。虽然我们的方法是间接绑定到训练相机的内在，它仍然收敛的相机具有不同的内在参数，导致相干估计的比例因子。我们的方法改进了已知3D人体姿势数据集的最新技术，在最常见的基准测试中将预测误差降低了32%。我们还报告了我们的结果，在绝对位姿位置误差，达到80毫米的单目估计和51毫米的多视图，平均。
2021-08-20 cs.CV
RA-NeRF: Robust Neural Radiance Field Reconstruction with Accurate Camera Pose Estimation under Complex Trajectories
School of Geodesy and Geomatics, Wuhan University（武汉大学测绘学院）；Department of Computer Science and Technology, HIT (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术系）；XGRIDS；Department of Computer Science, HKBU（香港大学计算机科学系）；Department of Computer Science and Engineering, HKUST（香港理工大学计算机科学与工程系）；Data Science and Analytics Thrust, HKUST (Guangzhou)（香港理工大学数据科学与分析方向）
RA-NeRF提出一种结合光度一致性和流驱动位姿调节的NeRF重建方法，并引入隐式位姿滤波器，在复杂轨迹下实现高精度相机位姿估计与高质量场景重建。
2025-06-24 cs.CV
End-to-End 3D Hand Pose Estimation from Stereo Cameras
Snap Inc.（Snap公司）；Nanyang Technological University（南洋理工大学）；Wormpex AI Research（Wormpex人工智能研究院）
这项工作提出了一种端到端的方法来估计立体相机的完整的3D手部姿势。现有的从立体相机估计手部姿态的方法大多应用立体匹配来获得深度图，并使用基于深度的解决方案来估计手部姿态。相比之下，我们建议绕过立体匹配，直接估计的3D手的姿势从立体图像对。所提出的神经网络架构从任何关键点预测器扩展到估计手部关节的稀疏视差。为了有效地训练模型，我们提出了一个大规模的合成数据集，由立体图像对和地面真实的3D手部姿势注释。实验结果表明，该方法优于现有的基于立体深度的方法。
2022-06-03 cs.CV
ElePose: Unsupervised 3D Human Pose Estimation by Predicting Camera Elevation and Learning Normalizing Flows on 2D Poses
University of British Columbia（不列颠哥伦比亚大学）
从单幅图像中估计人体姿态是一个具有挑战性的问题，通常通过监督学习来解决。不幸的是，标记的训练数据还不存在许多人类活动，因为3D注释需要专用的运动捕捉系统。因此，我们提出了一种无监督的方法，该方法可以学习从单个图像中预测3D人体姿势，同时只使用2D姿势数据进行训练，这些数据可以是众包的，并且已经广泛使用。为此，我们估计最有可能通过随机投影的3D姿势，使用2D姿势上的归一化流估计可能性。虽然以前的工作需要在训练数据集中对相机旋转有很强的先验知识，但我们学习了相机角度的分布，这显着提高了性能。我们的另一部分贡献是通过首先将2D姿势投影到线性子空间来稳定高维3D姿势数据上的归一化流的训练。在许多指标上，我们在基准数据集Human3.6M和MPI-INF-3DHP上的表现优于最先进的无监督人体姿势估计方法。
2021-12-14 cs.CV
Geometric Loss Functions for Camera Pose Regression with Deep Learning
University of Cambridge（剑桥大学）
事实证明，深度学习对于鲁棒且实时的单目图像重新定位是有效的。特别地，PoseNet是一种深度卷积神经网络，它学习从单个图像回归6-DOF相机姿态。它学习使用高级特征进行本地化，并且对困难的照明，运动模糊和未知的相机固有特性具有鲁棒性，其中基于点的SIFT配准失败。然而，它是使用朴素的损失函数训练的，其中超参数需要昂贵的调整。本文对这一问题作了较基本的理论处理。我们探索了一些新的损失函数学习相机的姿态，这是基于几何和场景重投影误差。此外，我们展示了如何自动学习一个最佳的权重，同时回归位置和方向。通过利用几何形状，我们证明了我们的技术显着提高了PoseNet在从室内房间到小城市的数据集上的性能。
2017-05-23 cs.CV
Using a Supervised Method without supervision for foreground segmentation
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
神经网络是一个强大的框架，用于静态摄像机采集的视频中的前景分割，在各种具有挑战性的场景中以鲁棒的方式从背景中分割出运动对象。首要的方法是那些基于监督的方法，其需要对来自特定静态相机的数十到数百个手动分割图像的数据库进行最终训练阶段。在这项工作中，我们提出了一种方法来自动创建一个“人工”数据库，足以训练监督的方法，使其表现优于目前的无监督方法。与监督方法相比，它基于结合弱前景分割器，从训练图像中提取合适的对象，并将这些对象随机插入背景图像中。测试结果显示在CDnet中的测试序列上。
2021-06-20 cs.CV
GS-CPE: Unified 6-Degree-of-Freedom Camera Pose Estimation via 3D Gaussian Splatting
University of Waterloo（滑铁卢大学）；Soongsil University（崇实大学）
该研究提出GS-CPE框架，通过由粗到细策略统一几何粗位姿估计与3D高斯溅射精调，在多数据集上实现最优视觉定位性能，兼顾精度与泛化能力。
2026-08-19 cs.CV
Understanding the Limitations of CNN-based Absolute Camera Pose Regression
Chalmers University of Technology（查尔姆斯理工大学）；TU Munich（慕尼黑工业大学）；ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软）
视觉定位是在已知场景中准确估计摄像机姿态的任务。它是计算机视觉和机器人技术中的一个关键问题，其应用包括自动驾驶汽车，运动恢复结构，SLAM和混合现实。传统上，使用3D几何来解决定位问题。最近，基于卷积神经网络的端到端方法已经变得流行。这些方法学习从输入图像直接回归相机姿态。然而，它们没有达到与基于3D结构的方法相同的姿态精度水平。为了理解这种行为，我们开发了一个相机姿态回归的理论模型。我们使用我们的模型来预测姿势回归技术的失败案例，并通过实验验证我们的预测。此外，我们使用我们的模型表明，姿态回归是更密切相关的姿态近似通过图像检索，而不是通过3D结构的准确姿态估计。一个关键的结果是，目前的方法并不总是优于手工制作的图像检索基线。这清楚地表明，在姿态回归算法准备好与基于结构的方法竞争之前，还需要进行更多的研究。
2019-03-18 cs.CV
Relative Pose Estimation for Stereo Rolling Shutter Cameras
Northwestern Polytechnical University（西北工业大学）
本文提出了一种新的线性算法，从立体卷帘快门（RS）相机的连续帧中估计6自由度的相对姿态。我们的方法是基于这样的假设，即立体摄像机进行运动，以恒定的速度在基线的中心，这需要9对左右连续帧的对应关系。立体RS图像使得能够从半全局匹配（SGM）算法恢复深度图。利用估计的相机运动和深度图，我们可以校正RS图像，得到不失真的图像，而无需任何场景结构假设。在模拟点和合成遥感图像上的实验表明了该算法在相对姿态估计中的有效性。
2020-06-14 cs.CV
Inertial-aided Rolling Shutter Relative Pose Estimation
Gwangju Institute of Science Technology (GIST)（光州科学技术院）
相对位姿估计是计算机视觉中的一个基本问题，并且已经针对常规全局快门相机研究了几十年。然而，近来，滚动快门相机由于其低成本成像能力而被广泛使用，并且由于滚动快门相机逐行地捕获图像，所以滚动快门相机的相对姿态估计比全局快门相机的相对姿态估计更困难。在本文中，我们建议利用惯性测量（重力和角速度）的卷帘快门相对姿态估计问题。惯性测量提供关于两个视图（相机）之间的部分相对旋转和导致卷帘快门失真的瞬时运动的信息。在此基础上，我们简化了卷帘快门相对位姿估计问题，并提出了有效的解决方法，与传统的基于均匀卷帘快门相机模型的44（线性）或17（非线性）点估计方法不同，本文提出的方法最多只需要9或11个点来估计卷帘快门相机之间的相对位姿。在合成数据和公共PennCOSYVIO数据集上的实验结果表明，所提方法的性能优于现有方法.
2017-12-01 cs.CV
Camera Calibration with Pose Guidance
NVIDIA（英伟达）
摄像机标定在自动驾驶或增强现实等各种计算机视觉任务中起着至关重要的作用。广泛使用的相机校准工具利用基于平面图案的方法，例如使用棋盘或AprilTag板，在没有明确指示的情况下，用户的校准专业水平显著影响校准精度和一致性。此外，校准是一项重复性任务，必须在每次更换或移动相机时执行。在拥有数百万辆汽车的生产线上校准大量摄像头（如驾驶员监控系统（DMS）摄像头）也是一个巨大的负担。为了解决上述问题，我们提出了一个校准系统，称为校准与姿势指导，以提高校准精度，减少不同用户之间的校准方差或同一人的不同试验。实验结果表明，该方法比传统的标定工具具有更高的标定精度和一致性。
2021-02-19 cs.CV
