Controlling Space and Time with Diffusion Models
Google DeepMind（谷歌DeepMind）
本文提出4DiM，一种级联扩散模型，用于4D新视角合成，支持任意相机轨迹和时间戳，通过混合数据训练和校准流程，实现度量尺度姿态控制，优于先前3D NVS模型，并支持多种生成任务。
2025-04-20 cs.CV
Dynamic Camera Poses and Where to Find Them
NVIDIA；University of Michigan（密歇根大学）；New York University（纽约大学）
本文提出DynPose-100K，一个大规模动态互联网视频相机姿态标注数据集，通过结合任务特定与通用模型过滤及点跟踪、动态掩蔽和运动恢复结构技术，实现优于现有方法的姿态估计，推动下游应用发展。
2025-04-24 cs.CV
BulletTime: Decoupled Control of Time and Camera Pose for Video Generation
ETH Zurich（苏黎世联邦理工学院）；Stanford University（斯坦福大学）；CUHK（香港中文大学）
BulletTime通过分离时间与相机姿态，实现了视频生成的精细控制与高质量生成。
2026-08-25 cs.CV
PoseCraft: Tokenized 3D Body Landmark and Camera Conditioning for Photorealistic Human Image Synthesis
University of Cambridge（剑桥大学）；Google（谷歌）
PoseCraft通过令牌化3D姿态和相机信息，提升人像合成的逼真度和细节保留能力。
2026-02-22 cs.CV
Robust Camera Pose Refinement for Multi-Resolution Hash Encoding
Korea University（高丽大学）；NAVER AI Lab（NAVER人工智能实验室）；AI Institute of Seoul National University（首尔国立大学人工智能研究院）
最近提出了多分辨率散列编码以减少神经渲染（例如NeRF）的计算成本。该方法需要精确的摄像机姿态用于给定场景的神经渲染。然而，与以前的方法联合优化相机姿态和3D场景相反，使用多分辨率哈希编码的朴素的基于梯度的相机姿态细化方法严重恶化了性能。我们提出了一个联合优化算法来校准摄像机的姿态，并学习使用高效的多分辨率哈希编码的几何表示。散列编码的振荡梯度流干扰相机姿态的配准，我们的方法通过利用平滑插值加权来稳定散列网格上射线采样的梯度振荡来解决这个问题。此外，课程训练过程有助于学习逐层哈希编码，进一步提高姿势细化。在新颖视图合成数据集上的实验验证了我们的学习框架实现了最先进的性能和神经渲染的快速收敛，即使初始相机姿态未知。
2023-02-03 cs.AI cs.CV cs.GR
Learning Neural Representation of Camera Pose with Matrix Representation of Pose Shift via View Synthesis
University of California, Los Angeles (UCLA)（加利福尼亚大学洛杉矶分校）
如何有效地表示摄像机的位姿是三维计算机视觉中的一个重要问题，特别是在摄像机位姿回归和新视图合成等任务中。传统上，摄像机的三维位置由笛卡尔坐标表示，方位由欧拉角或四元数表示。这些表示是手动设计的，这可能不是下游任务的最有效表示。在这项工作中，我们提出了一种方法来学习相机姿势和3D场景的神经表示，再加上局部相机运动的神经表示。具体地，相机姿态和3D场景被表示为向量，并且局部相机移动被表示为对相机姿态的向量进行操作的矩阵。我们证明，相机的运动可以进一步参数化的矩阵李代数，在神经空间中的旋转系统的基础。然后将矢量表示连接起来，并通过解码器网络生成姿态2D图像。该模型仅从姿势的2D图像和相应的相机姿势中学习，而不访问深度或形状。我们在合成和真实数据集上进行了大量的实验。实验结果表明，与其他摄像机姿态表示方法相比，该方法在新的视角合成中对噪声具有更强的鲁棒性，在摄像机姿态回归中更有效。
2021-05-09 cs.CV
Adversarial Networks for Camera Pose Regression and Refinement
Johns Hopkins University（约翰斯·霍普金斯大学）；Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）
尽管最近在使用神经网络的直接相机姿态回归的主题上取得了进展，但准确地估计单个RGB图像的相机姿态仍然是一项具有挑战性的任务。为了解决这个问题，我们引入了一个新的框架，其核心是基于隐式学习RGB图像及其相应相机姿态的联合分布的想法，使用一个神经网络和对抗学习。我们的方法不仅允许从单个图像回归相机姿态，但是，也提供了一个完全基于RGB的解决方案，用于使用RGB网络的相机姿态细化。此外，我们表明，我们的方法可以有效地用于优化预测的相机姿态，从而提高定位精度。为此，我们在公开的7场景数据集上验证了我们提出的方法，改进了直接相机姿态回归方法的结果。
2019-10-27 cs.CV
Camera Pose Matters: Improving Depth Prediction by Mitigating Pose Distribution Bias
UC Irvine（加州大学尔湾分校）；Carnegie Mellon University（卡内基梅隆大学）
单目深度预测器通常在大规模训练集上进行训练，这些训练集自然偏向于相机姿态的分布。因此，训练的预测器无法对在不常见的相机姿势下捕获的测试示例进行可靠的深度预测。为了解决这个问题，我们提出了两种新的技术，在训练和预测过程中利用相机的姿态。首先，我们引入了一种简单的视角感知数据增强，它通过以几何一致的方式扰动现有示例，合成具有更多样化视图的新训练样本。其次，我们提出了一个条件模型，利用每图像相机构成的先验知识，将其编码为输入的一部分。我们表明，联合应用这两种方法可以提高对在不常见甚至从未见过的相机姿势下捕获的图像的深度预测。我们表明，我们的方法提高性能时，应用到一系列不同的预测架构。最后，我们表明，显式编码的相机姿态分布提高了综合训练的深度预测器的泛化性能时，对真实图像进行评估。
2021-03-28 cs.CV
CBARF: Cascaded Bundle-Adjusting Neural Radiance Fields from Imperfect Camera Poses
Tsinghua University（清华大学）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；University of Queensland（昆士兰大学）
针对不完美相机位姿导致NeRF新视角合成质量下降的问题，提出CBARF框架，通过级联束调整和邻居替换策略优化位姿，并用密度体素网格重建场景，实现最先进的位姿优化和新视角合成性能。
2023-10-15 cs.CV
A Pose-only Geometric Constraint for Multi-Camera Pose Adjustment
College of Aerospace Science and Engineering, National University of Defense Technology（航天航空科学与工程学院，国防科技大学）
本文提出一种仅姿态的几何约束，用于多摄像机系统，通过统一的摄像机模型实现高效的姿态优化，实验表明其在计算效率和姿态估计精度上优于传统方法。
2026-04-26 cs.CV
Domain Adaptation of Networks for Camera Pose Estimation: Learning Camera Pose Estimation Without Pose Labels
Nokia Bell Labs（诺基亚贝尔实验室）；New York University（纽约大学）
对深度学习的一个关键批评是，为了训练具有高性能和良好泛化能力的模型，需要大量昂贵且难以获取的训练数据。针对通过场景坐标回归（SCR）进行单目摄像机姿态估计的任务，提出了一种新的摄像机姿态估计网络（DANCE）的领域自适应方法，该方法能够在不访问目标任务上的任何标签的情况下训练模型。DANCE需要未标记的图像（没有已知的姿势，排序或场景坐标标签）和空间的3D表示（例如，扫描的点云），这两者都可以使用现成的商品硬件以最小的努力来捕获。DANCE从3D模型中渲染标记的合成图像，并通过应用无监督图像级领域自适应技术（不成对的图像到图像转换）来弥合合成图像和真实图像之间不可避免的领域差距。当在真实图像上进行测试时，使用DANCE训练的SCR模型以一小部分成本实现了与其完全监督的对应模型相当的性能（在这两种情况下，都使用PnP-RANSAC进行最终姿态估计）。我们的代码和数据集可在https://github.com/JackLangerman/dance上获得
2021-11-29 cs.CV
Multi-Person 3D Pose Estimation from Multi-View Uncalibrated Depth Cameras
Carnegie Mellon University（卡内基梅隆大学）；Waymo；Meta
针对多视角RGB三维人体姿态方法需多视角、已标定相机且依赖真实姿态训练的问题，提出无需训练回归模型的MVD-HPE流程，结合深度引导相机位姿估计与深度约束姿态优化，在自采数据集上性能优于现有无回归方案。
2024-01-28 cs.CV
CGA-PoseNet: Camera Pose Regression via a 1D-Up Approach to Conformal Geometric Algebra
University of Cambridge（剑桥大学）
我们介绍了CGA-PoseNet，它使用共形几何代数（CGA）的1D-Up方法来表示旋转和平移，并使用单个数学对象（电机）进行相机姿态回归。我们从PoseNet开始这样做，PoseNet成功地从RGB帧的小数据集预测相机姿势。然而，最先进的方法需要昂贵的调整来平衡相机姿态的取向和平移分量。这通常是通过复杂的、要最小化的特设损失函数来完成的，并且在某些情况下还需要3D点以及图像。我们的方法具有通过电机统一相机位置和方向的优点。因此，网络搜索一个存在于具有欧几里得签名的行为良好的4D空间中的单个对象。这意味着我们可以解决仅图像数据集的情况，并使用简单的损失函数有效地工作，即预测和地面实况电机之间的均方误差（MSE）。我们表明，它是可能实现高精度相机姿态回归与一个显着简单的问题制定。这种一维向上的CGA方法可以用来克服相机姿态回归中的平移和定向分量之间的二分法，以紧凑和优雅的方式。
2023-02-10 cs.CV
Large Area 3D Human Pose Detection Via Stereo Reconstruction in Panoramic Cameras
Profactor GmbH（普罗法克特有限公司）；JKU（约翰内斯·开普勒大学）
我们提出了一种新的三维人体姿态检测器使用两个全景摄像机。我们表明，将鱼眼视角转换为直线视图可以直接应用二维深度学习姿势估计方法，而无需明确需要昂贵的重新训练步骤来补偿鱼眼图像失真。通过利用全景相机，我们的方法是能够准确地估计在一个大的视野中的人的姿态。这使得我们的方法适用于人体工程学分析和其他姿势为基础的评估。
2019-07-01 cs.CV
Unsupervised Learning of Camera Pose with Compositional Re-estimation
York University（约克大学）；University of Manitoba（曼尼托巴大学）；Ryerson University（瑞尔森大学）
我们考虑的问题，无监督的相机姿态估计。给定一个输入视频序列，我们的目标是估计连续帧之间的相机姿态（即相机运动）。传统上，这个问题是通过对变换矢量施加严格的约束或通过将光流并入复杂的管道来解决的。我们提出了一种替代方法，利用一个组成的重新估计过程中的相机姿态估计。给定一个输入，我们首先估计一个深度图。然后，我们的方法迭代地估计基于估计的深度图的相机运动。我们的方法显着提高了预测相机运动的定量和视觉。此外，重新估计以新颖且简单的方式解决了边界外像素的问题。我们的方法的另一个优点是，它是适用于其他相机姿态估计方法。KITTI基准数据集上的实验分析表明，我们的方法优于现有的国家的最先进的方法在无监督的相机自我运动估计。
2020-01-17 cs.CV
Camera Pose Estimation from Sequence of Calibrated Images
Maria Curie-Sklodowska University（玛丽亚·居里-斯克沃多夫斯卡大学）；Warsaw University of Technology（华沙理工大学）
本文提出了一种从图像序列中估计摄像机姿态的方法。该方法假设相机被校准（内部参数是已知的），这允许与未校准的情况相比减少所需的对应点对的数量。我们的算法可以被用作运动恢复结构立体重建系统的第一阶段。
2018-09-28 cs.CV
Continuous Pose for Monocular Cameras in Neural Implicit Representation
ETH Zurich（苏黎世联邦理工学院）；Sofia University（索非亚大学）；INSAIT（保加利亚人工智能与数据科学学院）
本文提出用隐式神经函数将单目相机位姿表示为时间的连续函数并联合优化，在含噪位姿 NeRF、事件 NeRF、vSLAM 及带 IMU 的 vSLAM 中均优于现有方法。
2024-03-02 cs.CV
Towards Accurate Active Camera Localization
Shandong University（山东大学）；Peking University（北京大学）；Tencent AI Lab（腾讯人工智能实验室）；Stanford University（斯坦福大学）；vjia（3vjia）
在这项工作中，我们解决了主动相机定位的问题，主动控制相机的运动，以实现准确的相机姿态。过去的解决方案大多是基于马尔可夫定位，这减少了位置方面的相机定位的不确定性。这些方法将相机定位在离散位姿空间中，并且对定位驱动的场景属性不可知，这限制了相机在粗尺度上的位姿精度。我们建议通过一种新的主动摄像机定位算法，由一个被动和主动定位模块来克服这些限制。前者通过建立逐点相机世界对应关系，在连续位姿空间中优化相机位姿。后者显式地对场景和相机不确定性分量进行建模，以规划正确的路径，从而进行准确的相机姿态估计。我们验证了我们的算法在具有挑战性的定位场景从合成和扫描的真实世界的室内场景。实验结果表明，我们的算法优于国家的最先进的马尔可夫定位的方法和其他比较方法的精细尺度相机位姿精度。代码和数据在https://github.com/qhFang/AccurateACL上发布。
2022-07-20 cs.CV
PoserNet: Refining Relative Camera Poses Exploiting Object Detections
Istituto Italiano di Tecnologia（意大利理工学院）
与一组图像相关联的相机姿态的估计通常依赖于图像之间的特征匹配。相比之下，我们是第一个解决这一挑战，使用对象区域来指导姿态估计问题，而不是明确的语义目标检测。我们提出了一种轻量级的图神经网络-姿态细化网络（PoserNet）来细化近似的成对相对相机姿态。PoserNet利用对象区域之间的关联-简洁地表示为边界框-跨多个视图来全局优化稀疏连接的视图图。我们在不同大小的图形上对7-Scenes数据集进行了评估，并展示了这个过程如何有利于基于优化的运动平均算法，相对于基于边界框获得的初始估计，将旋转的中值误差提高了62度。代码和数据可在https://github.com/IIT-PAVIS/PoserNet上获得。
2022-07-21 cs.CV
Camera Motion Agnostic 3D Human Pose Estimation
Kwangwoon University（光云大学）；NCSOFT
尽管近年来三维人体姿态和形状估计方法的性能已经显著提高，但是现有方法通常生成在相机或以人为中心的坐标系中定义的3D姿态。这使得难以估计使用移动相机捕获的视频的世界坐标系中的人的纯姿势和运动。为了解决这个问题，本文提出了一种相机运动不可知的方法来预测三维人体姿态和网格定义在世界坐标系。所提出的方法的核心思想是估计两个相邻全局姿态之间的差异（即，全局运动），其对于选择坐标系是不变的，而不是耦合到相机运动的全局姿态。为此，我们提出了一种基于双向门控递归单元（GRU）的网络，该网络从局部姿态序列（由关节的相对旋转组成）预测全局运动序列，称为全局运动回归量（GMR）。我们使用3DPW和合成数据集，这是在移动摄像机环境中构建的，进行评估。我们进行了大量的实验，并证明了所提出的方法的有效性经验。代码和数据集可在www.example.com上获得
2021-12-01 cs.CV
TransCamP: Graph Transformer for 6-DoF Camera Pose Estimation
Temple University（天普大学）；Stony Brook University（石溪大学）
摄像机姿态估计或摄像机重新定位是许多计算机视觉任务（诸如视觉里程计、从运动恢复结构运动恢复结构（SfM）和SLAM）中的核心。在本文中，我们提出了一个神经网络的方法与图形Transformer骨干，即transCamP，以解决相机重新定位问题。与姿势回归主要由光度一致性指导的先前工作相比，TransCamP有效地将图像特征、相机姿势信息和帧间相对相机运动融合到编码的图形属性中，并且相反地朝向图形一致性和准确性进行训练，从而产生显著更高的计算效率。通过利用具有边缘特征的图Transformer层并启用张量化邻接矩阵，TransCamP动态捕获全局注意力，从而赋予姿态图以不断演变的结构，以实现更高的鲁棒性和准确性。此外，可选的时间Transformer层主动增强了顺序输入的时空帧间关系。对各种公共基准的拟议网络的评估表明，TransCamP优于最先进的方法。
2021-05-28 cs.CV
Calibration Venus: An Interactive Camera Calibration Method Based on Search Algorithm and Pose Decomposition
School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院）
在机器人定位、无人驾驶等许多应用摄像机的场景中，摄像机标定是最重要的前期工作之一。基于平板的交互式标定方法以其可重复性和可操作性的优点，在摄像机标定领域得到了广泛应用。然而，现有的方法选择建议从一个固定的数据集的预定义的姿势基于主观经验，这导致了一定程度的片面性。而且，他们没有给用户明确的指示，如何放置板在指定的姿势。
2020-09-13 cs.CV
GNeRF: GAN-based Neural Radiance Field without Posed Camera
Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）；ShanghaiTech University（上海科技大学）；University of California, San Diego（加州大学圣迭戈分校）
我们介绍了GNeRF，这是一个将生成对抗网络（GAN）与神经辐射场（NeRF）重建结合起来的框架，用于具有未知甚至随机初始化相机姿态的复杂场景。最近的NeRF为基础的进展已经获得了显着的现实新颖的视图合成的普及。然而，他们中的大多数严重依赖于准确的相机位姿估计，而最近的一些方法只能优化未知的相机姿态在大致面向前方的场景，相对较短的相机轨迹，并需要粗略的相机位姿初始化。因此，我们的GNeRF只利用随机初始化的姿势复杂的由外而内的情况。我们提出了一个新的两阶段的端到端的框架。第一阶段将GANs用于新领域，以联合优化粗略的相机姿态和辐射场，而第二阶段则通过额外的光度损失对其进行优化。我们克服了局部极小使用混合和迭代优化方案。在各种合成和自然场景上的大量实验证明了GNeRF的有效性。更令人印象深刻的是，我们的方法在那些具有重复模式甚至低纹理的场景中优于基线，这些场景被认为是非常具有挑战性的。
2021-08-18 cs.CV
Gyroscope-aided Relative Pose Estimation for Rolling Shutter Cameras
GIST（光州科学技术院）；KETI（韩国电子技术研究院）；KAIST（韩国科学技术院）
卷帘快门相机由于其低成本的成像能力而受到极大关注，然而，由于其逐行图像捕获特性，卷帘快门相机之间的相对位姿估计仍然是一个难题。为了缓解这个问题，我们利用陀螺仪测量，角速度，以及图像测量来计算卷帘快门相机之间的相对姿态。陀螺仪测量提供关于引起卷帘快门失真的瞬时运动的信息。一方面有陀螺仪的测量，我们简化了相对姿态估计问题，并找到一个最小的解决方案的基础上的Grobner基多项式求解器的问题。所提出的方法只需要5个点来计算卷帘快门相机之间的相对姿态，而以前的方法需要20或44个相应的点的线性和均匀卷帘快门几何模型，分别。仿真数据和真实数据的实验结果验证了该方法相对于现有相对位姿估计方法的优越性。
2019-04-14 cs.CV
Event-based Camera Tracker by $\nabla$t NeRF
Keio University（庆应义塾大学）；Denso IT Laboratory（电装IT实验室）
本文提出首个基于场景隐式表示与事件稀疏强度变化的相机位姿估计算法TeGRA，通过最小化稀疏事件与NeRF时间梯度的误差实现高效位姿追踪。
2023-04-07 cs.CV
PCR-GS: COLMAP-Free 3D Gaussian Splatting via Pose Co-Regularizations
Nanyang Technological University（南洋理工大学）；Zhejiang University of Technology（浙江工业大学）；University of Chinese Academy of Sciences（中国科学院大学）
PCR-GS提出一种无COLMAP的3D高斯泼溅方法，通过DINO特征重投影正则化和基于小波的频率正则化协同约束相机位姿，解决复杂相机轨迹下位姿估计与场景联合优化陷入局部极小值的问题，实现高质量无位姿3D场景重建。
2025-07-21 cs.CV
Learning to Predict 3D Lane Shape and Camera Pose from a Single Image via Geometry Constraints
The Hong Kong Polytechnic University（香港理工大学）；College of Information Engineering, Capital Normal University（首都师范大学信息工程学院）；Shenzhen Forward Innovation Digital Technology Co. Ltd（深圳前向创新数字技术有限公司）
从摄像头检测3D车道是自动驾驶汽车面临的一个日益严重的问题。在此任务中，正确的相机姿态是生成准确车道的关键，它可以将图像从透视图转换为俯视图。通过这种变换，我们可以摆脱透视效果，使3D车道看起来相似，并且可以通过低阶多项式精确拟合。然而，主流的3D车道检测器依赖于由其他传感器提供的完美相机姿态，这是昂贵的，并且遇到多传感器校准问题。为了克服这个问题，我们建议预测3D车道估计相机姿态从一个单一的图像与两个阶段的框架。第一阶段的目的是从透视图的相机姿态任务。为了改进姿态估计，我们引入了辅助3D车道任务和几何约束，以从多任务学习中受益，这增强了3D和2D之间的兼容性，以及上述两个任务的兼容性。第二阶段的目标是3D车道任务。它使用先前估计的姿势来生成包含距离不变的车道外观的顶视图图像，以预测准确的3D车道。实验表明，在没有地面实况相机姿态的情况下，我们的方法优于最先进的基于完美相机姿态的方法，并且具有最少的参数和计算量。代码可在https://github.com/liuruijin17/CLGo上获得。
2021-12-31 cs.CV
Multi-View Person Matching and 3D Pose Estimation with Arbitrary Uncalibrated Camera Networks
Carnegie Mellon University（卡内基梅隆大学）
本文提出PME方法，将跨视角人员匹配建模为带规模约束和来源约束的聚类问题，仅依赖预训练二维姿态检测器，无需相机位姿和三维训练数据即可实现高精度人员匹配与三维姿态估计。
2023-12-04 cs.CV
QuacamFM: Quaternion-Constrained Flow Matching for Camera Pose Estimation
QuacamFM提出四元数约束流匹配框架，通过球面线性插值保持单位四元数约束，提升稀疏视图相机位姿估计精度，优于扩散模型和经典SfM方法。
2026-09-29 cs.CV
SparsePose: Sparse-View Camera Pose Regression and Refinement
University of Toronto（多伦多大学）；Carnegie Mellon University（卡内基梅隆大学）；Simon Fraser University（西蒙弗雷泽大学）；Google（谷歌）；Vector Institute（向量研究所）
相机姿态估计是标准3D重建流水线中的关键步骤，该流水线对单个对象或场景的密集图像集进行操作。然而，姿态估计的方法往往失败时，只有少数图像是可用的，因为它们依赖于鲁棒地识别和匹配图像对之间的视觉特征的能力。虽然这些方法可以在密集的相机视图下稳健地工作，但捕获大量图像可能是耗时的或不切实际的。我们提出了SparsePose用于恢复精确的相机姿势给定稀疏的宽基线图像集（少于10）。该方法学习回归初始相机姿势，然后在大规模对象数据集（Co 3D：3D中的常见对象）上进行训练后迭代地对其进行优化。SparsePose在恢复精确的相机旋转和平移方面明显优于传统和基于学习的基线。我们还展示了我们的管道高保真3D重建只使用5-9个图像的对象。
2022-11-29 cs.CV
Structure-Aware NeRF without Posed Camera via Epipolar Constraint
Xiangtan University（湘潭大学）；Central South University（中南大学）
用于真实感新视图合成的神经辐射场（NeRF）需要通过运动恢复结构（SfM）方法预先获取相机姿态。这种两阶段策略使用不方便，并且降低了性能，因为姿态提取中的误差可以传播到视图合成。我们将姿态提取和视图合成集成到一个端到端的过程中，使它们可以相互受益。为了训练NeRF模型，仅给出RGB图像，而没有预先已知的相机姿势。摄像机位姿通过极线约束获得，其中相同特征在不同视图中具有相同的世界坐标，该世界坐标根据所提取的位姿从局部摄像机坐标转换而来。对极线约束和像素颜色约束进行联合优化。姿势由基于CNN的深度网络表示，其输入是相关帧。这种联合优化使NeRF能够感知场景的结构，从而提高泛化性能。在多种场景下的实验证明了该方法的有效性。代码可在https://github.com/XTU-PR-LAB/SaNerf上获得。
2022-10-01 cs.CV
Affine Correspondences between Multi-Camera Systems for Relative Pose Estimation
National University of Defense Technology（国防科技大学）
本文提出一种利用两个仿射对应高效求解多相机系统6自由度相对位姿的最小解法，实验表明其比现有算法更高效且精度更高。
2023-06-22 cs.CV
Efficient Relative Pose Estimation for Cameras and Generalized Cameras in Case of Known Relative Rotation Angle
South Ural State University（南乌拉尔国立大学）；TrunkTech Co., Ltd.（创科有限公司）
我们提出了两个最小的解决方案的问题的相对姿态估计（i）校准相机从四个点在两个视图和（ii）校准广义相机从五个点在两个视图。在这两种情况下，假设视图之间的相对旋转角度是已知的。在实践中，这样的角度可以从3d陀螺仪的读数导出。我们表示的单位四元数的运动的旋转部分，以构建多项式方程编码的极线约束。然后使用格罗布纳基技术来有效地导出解决方案。我们的第一个常规相机求解器显著改进了现有的最先进的解决方案。广义相机的第二个求解器是新颖的。所提出的最小解算器可以用于假设和测试架构，如RANSAC可靠的姿态估计。在合成数据集和真实数据集上的实验表明，我们的算法是数值稳定，快速和鲁棒的。
2019-01-31 cs.CV
Efficient Pose Selection for Interactive Camera Calibration
Fraunhofer IGD（弗劳恩霍夫计算机图形学研究所）；TU Darmstadt（达姆施塔特工业大学）
相机标定与平面图案的姿势的选择很少被考虑-但校准精度在很大程度上取决于它。这项工作提出了一种姿势选择方法，找到一个紧凑和强大的一组校准姿势，适合于交互式校准。因此，明确避免了会导致不可靠解的奇异姿态，而有利于降低校准不确定性的姿态。为此，我们使用不确定性传播。我们的方法利用一个自我识别的校准模式，实时跟踪相机姿态。这允许迭代地将用户引导到目标姿势，直到达到期望的质量水平。因此，仅需要稀疏的关键帧集合用于校准。该方法在单独的训练集和测试集以及合成数据上进行评估。我们的方法比同类解决方案性能更好，同时需要的校准帧减少30%。
2019-07-09 cs.CV
Reloc3r: Large-Scale Training of Relative Camera Pose Regression for Generalizable, Fast, and Accurate Visual Localization
The University of Hong Kong（香港大学）；Aalto University（阿尔托大学）；ETH Zurich（苏黎世联邦理工学院）；VIVO（维沃公司）；University of Oulu（奥卢大学）
针对现有深度视觉定位方法泛化性与准确性不足的问题，提出Reloc3r框架，结合相对位姿回归网络与极简运动平均模块，经800万图像对训练后，在6个公开数据集上实现实时准确的跨场景视觉定位。
2025-03-21 cs.CV
Efficient Circle-Based Camera Pose Tracking Free of PnP
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
基于平面标记的摄像机位姿跟踪方法具有易于实现的特点，受到学术界和工业界的广泛关注。然而，大多数现有的方法需要在标记图像中识别多个点以用于与空间点的匹配。然后，使用Pestival和RANSAC来计算相机位姿。如果摄像机移动速度快或距离标记较远，则匹配容易产生错误，即使RANSAC也无法消除不正确的匹配。那么，Pingdom的结果不能有很好的性能。为了解决这个问题，我们设计了圆形标记，并表示6D摄像机位姿解析和统一的非常简洁的形式，从每个标记的投影不变性。然后，提出了一种基于极-n-方向几何距离的非线性代价函数，进一步优化了姿态。该方法从图像的圆边缘出发，不需要PADER/RANSAC，使得姿态跟踪具有鲁棒性和准确性。实验结果表明，该方法优于国家的艺术在噪声，模糊，从相机到标记的距离。同时，它仍然可以在只有CPU的消费者计算机上以约100 FPS的速度运行。
2019-07-24 cs.CV
A fast minimal solver for absolute camera pose with unknown focal length and radial distortion from four planar points
Centre for Mathematical Sciences（数学科学中心）；Lund University（隆德大学）
在本文中，我们提出了一个快速的最小解算器的绝对相机姿态估计从四个已知的点，位于一个平面。我们假设一个具有未知焦距和未知径向畸变的透视相机模型。径向畸变采用单参数分割模型进行建模。我们表明，这个问题的解决方案可以从一个单变量六次多项式。这导致非常快速且数值稳定的求解器。
2018-06-05 cs.CV
Estimating 3D Camera Pose from 2D Pedestrian Trajectories
Carnegie Mellon University（卡内基梅隆大学）
我们考虑重新校准静态监控摄像机的3D姿态的任务，其姿态可能会由于外力而改变，例如鸟类，风，坠落物体或地震。传统上，当3D点已知时，可以使用2D到3D特征对应的PSPIRE（Perspective-n-Point，视角n点）方法来解决相机姿态估计。然而，3D点注释在现实世界的应用中并不总是可用的或实际的。我们提出了一种替代策略，用于提取3D信息，以解决通过使用行人轨迹的相机姿态。我们观察到，2D行人轨迹间接包含有用的3D信息，可用于推断相机姿态。为了利用这些信息，我们提出了一种数据驱动的方法，通过训练一个神经网络（NN）回归模型的直接映射从二维行人轨迹投影在图像平面上的三维相机姿态。我们证明，我们的回归训练只对合成数据可以直接应用于真实数据，从而消除了需要标记任何真实数据。我们评估我们的方法在六个不同的场景从市中心街道和DUKEMTMC数据集。我们的方法实现了$\sim50\%$的位置和方向预测精度相比，其他SOTA方法。
2020-01-02 cs.CV
Dense Dynamic Scene Reconstruction and Camera Pose Estimation from Multi-View Videos
本文提出双阶段优化框架，解决多视角视频中动态场景重建与相机姿态估计问题，通过时空连接图实现鲁棒跟踪与密集深度优化，引入宽基线初始化策略和多相机数据集，提升性能与效率。
2026-10-06 cs.CV
Consensus-based Optimization for 3D Human Pose Estimation in Camera Coordinates
Paris Seine University（巴黎塞纳大学）；ENSEA（国立电子与应用技术学院）；CNRS（法国国家科学研究中心）；Samsung Research Institute（三星研究院）；Université Paris Saclay（巴黎萨克雷大学）；École des Ponts（巴黎高科路桥学校）
3D人体姿态估计经常被视为估计相对于根身体关节的3D姿态的任务。另外，我们提出了一个三维人体姿态估计方法在相机坐标，它允许有效地结合2D注释数据和3D姿态和一个简单的多视图概括。为此，我们将问题转换为视锥空间姿态估计，其中绝对深度预测和联合相对深度估计被解开。通过逆相机投影在相机坐标中获得最终3D预测。在此基础上，我们还提出了一种基于共识的优化算法，用于从未校准的图像进行多视图预测，这需要一个单目训练过程。虽然我们的方法是间接绑定到训练相机的内在，它仍然收敛的相机具有不同的内在参数，导致相干估计的比例因子。我们的方法改进了已知3D人体姿势数据集的最新技术，在最常见的基准测试中将预测误差降低了32%。我们还报告了我们的结果，在绝对位姿位置误差，达到80毫米的单目估计和51毫米的多视图，平均。
2021-08-20 cs.CV
RA-NeRF: Robust Neural Radiance Field Reconstruction with Accurate Camera Pose Estimation under Complex Trajectories
School of Geodesy and Geomatics, Wuhan University（武汉大学测绘学院）；Department of Computer Science and Technology, HIT (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术系）；XGRIDS；Department of Computer Science, HKBU（香港大学计算机科学系）；Department of Computer Science and Engineering, HKUST（香港理工大学计算机科学与工程系）；Data Science and Analytics Thrust, HKUST (Guangzhou)（香港理工大学数据科学与分析方向）
RA-NeRF提出一种结合光度一致性和流驱动位姿调节的NeRF重建方法，并引入隐式位姿滤波器，在复杂轨迹下实现高精度相机位姿估计与高质量场景重建。
2025-06-24 cs.CV
End-to-End 3D Hand Pose Estimation from Stereo Cameras
Snap Inc.（Snap公司）；Nanyang Technological University（南洋理工大学）；Wormpex AI Research（Wormpex人工智能研究院）
这项工作提出了一种端到端的方法来估计立体相机的完整的3D手部姿势。现有的从立体相机估计手部姿态的方法大多应用立体匹配来获得深度图，并使用基于深度的解决方案来估计手部姿态。相比之下，我们建议绕过立体匹配，直接估计的3D手的姿势从立体图像对。所提出的神经网络架构从任何关键点预测器扩展到估计手部关节的稀疏视差。为了有效地训练模型，我们提出了一个大规模的合成数据集，由立体图像对和地面真实的3D手部姿势注释。实验结果表明，该方法优于现有的基于立体深度的方法。
2022-06-03 cs.CV
ElePose: Unsupervised 3D Human Pose Estimation by Predicting Camera Elevation and Learning Normalizing Flows on 2D Poses
University of British Columbia（不列颠哥伦比亚大学）
从单幅图像中估计人体姿态是一个具有挑战性的问题，通常通过监督学习来解决。不幸的是，标记的训练数据还不存在许多人类活动，因为3D注释需要专用的运动捕捉系统。因此，我们提出了一种无监督的方法，该方法可以学习从单个图像中预测3D人体姿势，同时只使用2D姿势数据进行训练，这些数据可以是众包的，并且已经广泛使用。为此，我们估计最有可能通过随机投影的3D姿势，使用2D姿势上的归一化流估计可能性。虽然以前的工作需要在训练数据集中对相机旋转有很强的先验知识，但我们学习了相机角度的分布，这显着提高了性能。我们的另一部分贡献是通过首先将2D姿势投影到线性子空间来稳定高维3D姿势数据上的归一化流的训练。在许多指标上，我们在基准数据集Human3.6M和MPI-INF-3DHP上的表现优于最先进的无监督人体姿势估计方法。
2021-12-14 cs.CV
Geometric Loss Functions for Camera Pose Regression with Deep Learning
University of Cambridge（剑桥大学）
事实证明，深度学习对于鲁棒且实时的单目图像重新定位是有效的。特别地，PoseNet是一种深度卷积神经网络，它学习从单个图像回归6-DOF相机姿态。它学习使用高级特征进行本地化，并且对困难的照明，运动模糊和未知的相机固有特性具有鲁棒性，其中基于点的SIFT配准失败。然而，它是使用朴素的损失函数训练的，其中超参数需要昂贵的调整。本文对这一问题作了较基本的理论处理。我们探索了一些新的损失函数学习相机的姿态，这是基于几何和场景重投影误差。此外，我们展示了如何自动学习一个最佳的权重，同时回归位置和方向。通过利用几何形状，我们证明了我们的技术显着提高了PoseNet在从室内房间到小城市的数据集上的性能。
2017-05-23 cs.CV
GS-CPE: Unified 6-Degree-of-Freedom Camera Pose Estimation via 3D Gaussian Splatting
University of Waterloo（滑铁卢大学）；Soongsil University（崇实大学）
该研究提出GS-CPE框架，通过由粗到细策略统一几何粗位姿估计与3D高斯溅射精调，在多数据集上实现最优视觉定位性能，兼顾精度与泛化能力。
2026-08-19 cs.CV
Understanding the Limitations of CNN-based Absolute Camera Pose Regression
Chalmers University of Technology（查尔姆斯理工大学）；TU Munich（慕尼黑工业大学）；ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软）
视觉定位是在已知场景中准确估计摄像机姿态的任务。它是计算机视觉和机器人技术中的一个关键问题，其应用包括自动驾驶汽车，运动恢复结构，SLAM和混合现实。传统上，使用3D几何来解决定位问题。最近，基于卷积神经网络的端到端方法已经变得流行。这些方法学习从输入图像直接回归相机姿态。然而，它们没有达到与基于3D结构的方法相同的姿态精度水平。为了理解这种行为，我们开发了一个相机姿态回归的理论模型。我们使用我们的模型来预测姿势回归技术的失败案例，并通过实验验证我们的预测。此外，我们使用我们的模型表明，姿态回归是更密切相关的姿态近似通过图像检索，而不是通过3D结构的准确姿态估计。一个关键的结果是，目前的方法并不总是优于手工制作的图像检索基线。这清楚地表明，在姿态回归算法准备好与基于结构的方法竞争之前，还需要进行更多的研究。
2019-03-18 cs.CV
Relative Pose Estimation for Stereo Rolling Shutter Cameras
Northwestern Polytechnical University（西北工业大学）
本文提出了一种新的线性算法，从立体卷帘快门（RS）相机的连续帧中估计6自由度的相对姿态。我们的方法是基于这样的假设，即立体摄像机进行运动，以恒定的速度在基线的中心，这需要9对左右连续帧的对应关系。立体RS图像使得能够从半全局匹配（SGM）算法恢复深度图。利用估计的相机运动和深度图，我们可以校正RS图像，得到不失真的图像，而无需任何场景结构假设。在模拟点和合成遥感图像上的实验表明了该算法在相对姿态估计中的有效性。
2020-06-14 cs.CV
Inertial-aided Rolling Shutter Relative Pose Estimation
Gwangju Institute of Science Technology (GIST)（光州科学技术院）
相对位姿估计是计算机视觉中的一个基本问题，并且已经针对常规全局快门相机研究了几十年。然而，近来，滚动快门相机由于其低成本成像能力而被广泛使用，并且由于滚动快门相机逐行地捕获图像，所以滚动快门相机的相对姿态估计比全局快门相机的相对姿态估计更困难。在本文中，我们建议利用惯性测量（重力和角速度）的卷帘快门相对姿态估计问题。惯性测量提供关于两个视图（相机）之间的部分相对旋转和导致卷帘快门失真的瞬时运动的信息。在此基础上，我们简化了卷帘快门相对位姿估计问题，并提出了有效的解决方法，与传统的基于均匀卷帘快门相机模型的44（线性）或17（非线性）点估计方法不同，本文提出的方法最多只需要9或11个点来估计卷帘快门相机之间的相对位姿。在合成数据和公共PennCOSYVIO数据集上的实验结果表明，所提方法的性能优于现有方法.
2017-12-01 cs.CV
Camera Calibration with Pose Guidance
NVIDIA（英伟达）
摄像机标定在自动驾驶或增强现实等各种计算机视觉任务中起着至关重要的作用。广泛使用的相机校准工具利用基于平面图案的方法，例如使用棋盘或AprilTag板，在没有明确指示的情况下，用户的校准专业水平显著影响校准精度和一致性。此外，校准是一项重复性任务，必须在每次更换或移动相机时执行。在拥有数百万辆汽车的生产线上校准大量摄像头（如驾驶员监控系统（DMS）摄像头）也是一个巨大的负担。为了解决上述问题，我们提出了一个校准系统，称为校准与姿势指导，以提高校准精度，减少不同用户之间的校准方差或同一人的不同试验。实验结果表明，该方法比传统的标定工具具有更高的标定精度和一致性。
2021-02-19 cs.CV
CaLDiff: Camera Localization in NeRF via Pose Diffusion
NepAl Applied Mathematics and Informatics Institute for research (NAAMII)（尼泊尔应用数学与信息学研究所）；ETH Zürich（苏黎世联邦理工学院）；State University of New York (SUNY) at Korea（纽约州立大学韩国分校）
针对NeRF中相机定位问题，提出CaLDiff方法，利用扩散模型迭代调整相机姿态，并结合姿态反演细化，在真实数据上显著优于现有方法。
2023-12-23 cs.CV
Variation of Camera Parameters due to Common Physical Changes in Focal Length and Camera Pose
本文利用新标定方法研究焦距和相机位姿物理变化对相机参数的影响，发现不同类型相机主点偏移趋势不同而位姿变化引起的偏移趋势相似，并通过重投影误差验证了发现的可靠性。
2024-09-02 cs.CV
EgoCOL: Egocentric Camera pose estimation for Open-world 3D object Localization @Ego4D challenge 2023
Universidad de los Andes（洛斯安第斯大学）；Google Research Zürich（谷歌苏黎世研究院）
本文提出 EgoCOL 方法，通过独立利用视频和扫描的稀疏相机位姿重建，实现开放世界 3D 物体定位中的以自我为中心的相机位姿估计，在 Ego4D 基准上估计的相机位姿数量显著超越基线。
2023-06-29 cs.CV
On Relative Pose Recovery for Multi-Camera Systems
College of Aerospace Science and Engineering, National University of Defense Technology（国防科技大学航天科学与工程学院）
点对应（PC）和仿射对应（AC）被广泛用于相对位姿估计。AC由两个视图上的PC和该PC周围的小块之间的仿射变换组成。以前的工作表明，一个AC通常提供三个独立的相对姿态估计的约束。对于多相机系统，仍然没有任何基于AC的最小解算器用于一般的相对位姿估计。为了解决这个问题，我们提出了一个完整的解决方案，从两个AC的多相机系统，由一系列的最小解算器的相对姿态估计。我们的解决方案中的求解器生成是基于凯莱或四元数参数化的旋转和隐藏变量技术，以消除平移。这种求解器生成方法也很自然地应用于PC的相对姿态估计，从而产生了用于多相机系统的新的六点方法。一些扩展，包括相对姿态估计与已知的旋转角和/或未知的焦距。大量的实验表明，所提出的基于AC的求解器和基于PC的求解器是有效的和高效的合成和真实世界的数据集。
2021-02-24 cs.CV
VoxelPose: Towards Multi-Camera 3D Human Pose Estimation in Wild Environment
Microsoft Research Asia（微软亚洲研究院）；University of Science and Technology of China（中国科学技术大学）
我们提出了一种方法来估计多个人从多个摄像机视图的3D姿态。与以前的工作，需要建立跨视图对应的基础上嘈杂和不完整的2D姿态估计，我们提出了一个端到端的解决方案，直接在$3$ D空间，因此避免了在2D空间中做出错误的决定。为了实现这一目标，所有摄像机视图中的特征都被扭曲并聚集在一个共同的3D空间中，并被馈送到立方体建议网络（CPN）中，以粗略地定位所有人。然后，我们提出了姿态回归网络（PRN）来估计每个建议的详细3D姿态。该方法对实际中经常发生的遮挡具有鲁棒性。没有花里胡哨，它在公共数据集上的表现优于最先进的技术。代码将在https://github.com/microsoft/multiperson-pose-estimation-pytorch上发布。
2020-08-24 cs.CV
