Continuous Pose for Monocular Cameras in Neural Implicit Representation
ETH Zurich（苏黎世联邦理工学院）；Sofia University（索非亚大学）；INSAIT（保加利亚人工智能与数据科学学院）
本文提出用隐式神经函数将单目相机位姿表示为时间的连续函数并联合优化，在含噪位姿 NeRF、事件 NeRF、vSLAM 及带 IMU 的 vSLAM 中均优于现有方法。
2024-03-02 cs.CV
Towards Accurate Active Camera Localization
Shandong University（山东大学）；Peking University（北京大学）；Tencent AI Lab（腾讯人工智能实验室）；Stanford University（斯坦福大学）；vjia（3vjia）
在这项工作中，我们解决了主动相机定位的问题，主动控制相机的运动，以实现准确的相机姿态。过去的解决方案大多是基于马尔可夫定位，这减少了位置方面的相机定位的不确定性。这些方法将相机定位在离散位姿空间中，并且对定位驱动的场景属性不可知，这限制了相机在粗尺度上的位姿精度。我们建议通过一种新的主动摄像机定位算法，由一个被动和主动定位模块来克服这些限制。前者通过建立逐点相机世界对应关系，在连续位姿空间中优化相机位姿。后者显式地对场景和相机不确定性分量进行建模，以规划正确的路径，从而进行准确的相机姿态估计。我们验证了我们的算法在具有挑战性的定位场景从合成和扫描的真实世界的室内场景。实验结果表明，我们的算法优于国家的最先进的马尔可夫定位的方法和其他比较方法的精细尺度相机位姿精度。代码和数据在https://github.com/qhFang/AccurateACL上发布。
2022-07-20 cs.CV
TransCamP: Graph Transformer for 6-DoF Camera Pose Estimation
Temple University（天普大学）；Stony Brook University（石溪大学）
摄像机姿态估计或摄像机重新定位是许多计算机视觉任务（诸如视觉里程计、从运动恢复结构运动恢复结构（SfM）和SLAM）中的核心。在本文中，我们提出了一个神经网络的方法与图形Transformer骨干，即transCamP，以解决相机重新定位问题。与姿势回归主要由光度一致性指导的先前工作相比，TransCamP有效地将图像特征、相机姿势信息和帧间相对相机运动融合到编码的图形属性中，并且相反地朝向图形一致性和准确性进行训练，从而产生显著更高的计算效率。通过利用具有边缘特征的图Transformer层并启用张量化邻接矩阵，TransCamP动态捕获全局注意力，从而赋予姿态图以不断演变的结构，以实现更高的鲁棒性和准确性。此外，可选的时间Transformer层主动增强了顺序输入的时空帧间关系。对各种公共基准的拟议网络的评估表明，TransCamP优于最先进的方法。
2021-05-28 cs.CV
GNeRF: GAN-based Neural Radiance Field without Posed Camera
Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）；ShanghaiTech University（上海科技大学）；University of California, San Diego（加州大学圣迭戈分校）
我们介绍了GNeRF，这是一个将生成对抗网络（GAN）与神经辐射场（NeRF）重建结合起来的框架，用于具有未知甚至随机初始化相机姿态的复杂场景。最近的NeRF为基础的进展已经获得了显着的现实新颖的视图合成的普及。然而，他们中的大多数严重依赖于准确的相机位姿估计，而最近的一些方法只能优化未知的相机姿态在大致面向前方的场景，相对较短的相机轨迹，并需要粗略的相机位姿初始化。因此，我们的GNeRF只利用随机初始化的姿势复杂的由外而内的情况。我们提出了一个新的两阶段的端到端的框架。第一阶段将GANs用于新领域，以联合优化粗略的相机姿态和辐射场，而第二阶段则通过额外的光度损失对其进行优化。我们克服了局部极小使用混合和迭代优化方案。在各种合成和自然场景上的大量实验证明了GNeRF的有效性。更令人印象深刻的是，我们的方法在那些具有重复模式甚至低纹理的场景中优于基线，这些场景被认为是非常具有挑战性的。
2021-08-18 cs.CV
Event-based Camera Tracker by $\nabla$t NeRF
Keio University（庆应义塾大学）；Denso IT Laboratory（电装IT实验室）
本文提出首个基于场景隐式表示与事件稀疏强度变化的相机位姿估计算法TeGRA，通过最小化稀疏事件与NeRF时间梯度的误差实现高效位姿追踪。
2023-04-07 cs.CV
PCR-GS: COLMAP-Free 3D Gaussian Splatting via Pose Co-Regularizations
Nanyang Technological University（南洋理工大学）；Zhejiang University of Technology（浙江工业大学）；University of Chinese Academy of Sciences（中国科学院大学）
PCR-GS提出一种无COLMAP的3D高斯泼溅方法，通过DINO特征重投影正则化和基于小波的频率正则化协同约束相机位姿，解决复杂相机轨迹下位姿估计与场景联合优化陷入局部极小值的问题，实现高质量无位姿3D场景重建。
2025-07-21 cs.CV
QuacamFM: Quaternion-Constrained Flow Matching for Camera Pose Estimation
QuacamFM提出四元数约束流匹配框架，通过球面线性插值保持单位四元数约束，提升稀疏视图相机位姿估计精度，优于扩散模型和经典SfM方法。
2026-09-29 cs.CV
SparsePose: Sparse-View Camera Pose Regression and Refinement
University of Toronto（多伦多大学）；Carnegie Mellon University（卡内基梅隆大学）；Simon Fraser University（西蒙弗雷泽大学）；Google（谷歌）；Vector Institute（向量研究所）
相机姿态估计是标准3D重建流水线中的关键步骤，该流水线对单个对象或场景的密集图像集进行操作。然而，姿态估计的方法往往失败时，只有少数图像是可用的，因为它们依赖于鲁棒地识别和匹配图像对之间的视觉特征的能力。虽然这些方法可以在密集的相机视图下稳健地工作，但捕获大量图像可能是耗时的或不切实际的。我们提出了SparsePose用于恢复精确的相机姿势给定稀疏的宽基线图像集（少于10）。该方法学习回归初始相机姿势，然后在大规模对象数据集（Co 3D：3D中的常见对象）上进行训练后迭代地对其进行优化。SparsePose在恢复精确的相机旋转和平移方面明显优于传统和基于学习的基线。我们还展示了我们的管道高保真3D重建只使用5-9个图像的对象。
2022-11-29 cs.CV
Structure-Aware NeRF without Posed Camera via Epipolar Constraint
Xiangtan University（湘潭大学）；Central South University（中南大学）
用于真实感新视图合成的神经辐射场（NeRF）需要通过运动恢复结构（SfM）方法预先获取相机姿态。这种两阶段策略使用不方便，并且降低了性能，因为姿态提取中的误差可以传播到视图合成。我们将姿态提取和视图合成集成到一个端到端的过程中，使它们可以相互受益。为了训练NeRF模型，仅给出RGB图像，而没有预先已知的相机姿势。摄像机位姿通过极线约束获得，其中相同特征在不同视图中具有相同的世界坐标，该世界坐标根据所提取的位姿从局部摄像机坐标转换而来。对极线约束和像素颜色约束进行联合优化。姿势由基于CNN的深度网络表示，其输入是相关帧。这种联合优化使NeRF能够感知场景的结构，从而提高泛化性能。在多种场景下的实验证明了该方法的有效性。代码可在https://github.com/XTU-PR-LAB/SaNerf上获得。
2022-10-01 cs.CV
A fast minimal solver for absolute camera pose with unknown focal length and radial distortion from four planar points
Centre for Mathematical Sciences（数学科学中心）；Lund University（隆德大学）
在本文中，我们提出了一个快速的最小解算器的绝对相机姿态估计从四个已知的点，位于一个平面。我们假设一个具有未知焦距和未知径向畸变的透视相机模型。径向畸变采用单参数分割模型进行建模。我们表明，这个问题的解决方案可以从一个单变量六次多项式。这导致非常快速且数值稳定的求解器。
2018-06-05 cs.CV
Estimating 3D Camera Pose from 2D Pedestrian Trajectories
Carnegie Mellon University（卡内基梅隆大学）
我们考虑重新校准静态监控摄像机的3D姿态的任务，其姿态可能会由于外力而改变，例如鸟类，风，坠落物体或地震。传统上，当3D点已知时，可以使用2D到3D特征对应的PSPIRE（Perspective-n-Point，视角n点）方法来解决相机姿态估计。然而，3D点注释在现实世界的应用中并不总是可用的或实际的。我们提出了一种替代策略，用于提取3D信息，以解决通过使用行人轨迹的相机姿态。我们观察到，2D行人轨迹间接包含有用的3D信息，可用于推断相机姿态。为了利用这些信息，我们提出了一种数据驱动的方法，通过训练一个神经网络（NN）回归模型的直接映射从二维行人轨迹投影在图像平面上的三维相机姿态。我们证明，我们的回归训练只对合成数据可以直接应用于真实数据，从而消除了需要标记任何真实数据。我们评估我们的方法在六个不同的场景从市中心街道和DUKEMTMC数据集。我们的方法实现了$\sim50\%$的位置和方向预测精度相比，其他SOTA方法。
2020-01-02 cs.CV
Dense Dynamic Scene Reconstruction and Camera Pose Estimation from Multi-View Videos
本文提出双阶段优化框架，解决多视角视频中动态场景重建与相机姿态估计问题，通过时空连接图实现鲁棒跟踪与密集深度优化，引入宽基线初始化策略和多相机数据集，提升性能与效率。
2026-10-06 cs.CV
RA-NeRF: Robust Neural Radiance Field Reconstruction with Accurate Camera Pose Estimation under Complex Trajectories
School of Geodesy and Geomatics, Wuhan University（武汉大学测绘学院）；Department of Computer Science and Technology, HIT (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术系）；XGRIDS；Department of Computer Science, HKBU（香港大学计算机科学系）；Department of Computer Science and Engineering, HKUST（香港理工大学计算机科学与工程系）；Data Science and Analytics Thrust, HKUST (Guangzhou)（香港理工大学数据科学与分析方向）
RA-NeRF提出一种结合光度一致性和流驱动位姿调节的NeRF重建方法，并引入隐式位姿滤波器，在复杂轨迹下实现高精度相机位姿估计与高质量场景重建。
2025-06-24 cs.CV
GS-CPE: Unified 6-Degree-of-Freedom Camera Pose Estimation via 3D Gaussian Splatting
University of Waterloo（滑铁卢大学）；Soongsil University（崇实大学）
该研究提出GS-CPE框架，通过由粗到细策略统一几何粗位姿估计与3D高斯溅射精调，在多数据集上实现最优视觉定位性能，兼顾精度与泛化能力。
2026-08-19 cs.CV
CaLDiff: Camera Localization in NeRF via Pose Diffusion
NepAl Applied Mathematics and Informatics Institute for research (NAAMII)（尼泊尔应用数学与信息学研究所）；ETH Zürich（苏黎世联邦理工学院）；State University of New York (SUNY) at Korea（纽约州立大学韩国分校）
针对NeRF中相机定位问题，提出CaLDiff方法，利用扩散模型迭代调整相机姿态，并结合姿态反演细化，在真实数据上显著优于现有方法。
2023-12-23 cs.CV
EgoCOL: Egocentric Camera pose estimation for Open-world 3D object Localization @Ego4D challenge 2023
Universidad de los Andes（洛斯安第斯大学）；Google Research Zürich（谷歌苏黎世研究院）
本文提出 EgoCOL 方法，通过独立利用视频和扫描的稀疏相机位姿重建，实现开放世界 3D 物体定位中的以自我为中心的相机位姿估计，在 Ego4D 基准上估计的相机位姿数量显著超越基线。
2023-06-29 cs.CV
Introduction to Camera Pose Estimation with Deep Learning
在过去的二十年里，深度学习已经改变了计算机视觉领域。深度卷积网络已成功应用于学习不同的视觉任务，如图像分类、图像分割、目标检测等。通过在大型通用数据集上转移深度模型所学到的知识，研究人员进一步能够为其他更具体的任务创建微调模型。最近，这个想法被应用于从RGB图像回归绝对相机姿态。尽管与经典的基于特征的解决方案相比，所得到的准确性是次优的，但这一努力导致了基于学习的姿势估计方法的激增。在这里，我们回顾用于相机姿态估计的深度学习方法。我们描述了该领域的关键方法，并确定了旨在改进原始深度姿态回归解决方案的趋势。我们进一步提供了现有的基于学习的姿势估计器的广泛的交叉比较，以及关于其执行的实用说明，以实现可重复性。最后，我们讨论了新兴的解决方案和潜在的未来研究方向。
2019-07-16 cs.CV
Wide-Baseline Relative Camera Pose Estimation with Directional Learning
Google Research（谷歌研究院）
针对宽基线、低重叠图像的相对相机位姿估计难题，提出DirectionNet，将5D位姿分解为三维方向并预测球面离散分布，在Matterport3D和InteriorNet上较直接回归降低近50%误差。
2021-06-07 cs.CV
Camera Pose Correction in SLAM Based on Bias Values of Map Points
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；TianJin Intelligent Tech.Institute of CASIA Co. ,Ltd（中科智能（天津）科技研究院有限公司）
准确的摄像机位姿估计结果是视觉SLAM（VSLAM）的关键。本文提出了一种新的姿态校正方法，以提高VSLAM系统的精度。首先，基于VSLAM中的优化函数，推导了摄像机位姿估计误差与地图点偏差值之间的关系。其次，通过统计方法计算地图点的偏差值。最后，根据第一推导关系补偿摄像机位姿估计误差。在位姿校正之后，可以像以前一样执行原始系统的过程，诸如光束法平差（BA）优化。与现有的方法相比，我们的算法是紧凑和有效的，可以很容易地推广到不同的VSLAM系统。此外，由于该算法保留了系统的全部原始信息，而特征选择方法只使用了一个子集，因此该算法对系统噪声的鲁棒性优于其他方法。基准数据集上的实验结果表明，我们的方法导致相当大的改进，国家的最先进的绝对姿态估计算法。
2019-08-24 cs.CV
Position Estimation of Camera Based on Unsupervised Learning
Beijing University of Posts and Telecommunications（北京邮电大学）
从视频序列中恢复场景的三维结构和摄像机姿态是一个令人兴奋的任务。目前的解决方案大多分为两个部分，单目深度恢复和相机姿态估计。单目深度恢复通常被作为一个独立的部分来研究，并且使用更好的深度估计来求解姿态。而传统的SLAM（同时定位与地图构建）方法在大多数情况下仍是对摄像机位姿进行估计。利用无监督方法进行单目深度恢复和位姿估计，得益于[1]的研究，取得了较好的效果。本文改进了文[1]的方法。重点在于对该方法的思想和相关理论进行改进，引入更合理的帧间约束，最终在统一的世界坐标系下将摄像机运动轨迹与帧间位姿估计进行综合。我们的结果得到更好的性能。
2018-05-05 cs.CV
SHAPE: Linear-Time Camera Pose Estimation With Quadratic Error-Decay
0pt School of Computer
我们提出了一种新的摄像机姿态估计或透视n点（PPENS）算法，一致性区域和半空间相交的想法的基础上。我们的算法具有线性的时间复杂度和平方重建误差，减少至少二次方，作为特征点对应的数量增加。受三角测量和帧量化理论的启发，我们定义了一致性重建，然后提出了SHAPE，我们提出的一致性姿态估计算法。我们比较这个算法与国家的最先进的姿态估计技术的准确性和误差衰减率。实验结果验证了我们的假设最坏情况下的二次衰减，并证明其有前途的性能相比，其他方法。
2016-02-24 cs.CV
iComMa: Inverting 3D Gaussian Splatting for Camera Pose Estimation via Comparing and Matching
Xi’an Jiaotong University（西安交通大学）；Ant Group（蚂蚁集团）
提出 iComMa 方法，通过反演 3D Gaussian Splatting 构建无需训练的可微框架，结合端到端匹配模块与像素级比较损失，有效解决了无 CAD 模型场景下大旋转和平移等不良初始化的 6D 相机位姿估计难题。
2024-03-20 cs.CV
Camera Pose Estimation from Lines using Plücker Coordinates
3D线与由相机捕获的其2D图像之间的对应关系通常用于确定相机在空间中的位置和取向。在这项工作中，我们提出了一种新的代数算法来估计相机的姿态。我们使用Plücker坐标对3D线条进行参数化，该坐标允许线条线性投影到图像中。使用线性最小二乘法估计线投影矩阵，然后从矩阵中提取相机姿态。一个代数方法来处理不匹配的线对应也包括在内。所提出的算法是一个数量级更快，但不精确和鲁棒的国家的最先进的，它不需要初始化，它只产生一个解决方案。所描述的方法需要至少9条线，并且特别适合于具有25条或更多条线的场景，如结果中所示。
2016-08-09 cs.CV
MultiCam: On-the-fly Multi-Camera Pose Estimation Using Spatiotemporal Overlaps of Known Objects
Human-Centered-Computing and Extended Reality Lab（以人为本计算与扩展现实实验室）；Klinikum rechts der Isar（右岸诊所）；Orthopedics and Sports Orthopedics（骨科和运动骨科）；Munich Institute of Robotics and Machine Intelligence (MIRMI)（慕尼黑机器人与机器智能研究所（MIRMI））；TH Köln（科隆大学）；Computer Graphics Group（计算机图形学组）；Photogrammetry and Remote Sensing Lab（摄影测量与遥感实验室）
本文提出利用已知物体的时空重叠实现实时多摄像头姿态估计，通过增强现有物体姿态估计器来更新场景图，从而在非重叠视角间建立关系，并在多摄像头多物体姿态估计数据集上验证了其有效性。
2026-03-24 cs.CV
Audio-Visual Camera Pose Estimation with Passive Scene Sounds and In-the-Wild Video
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出一种结合方向到达谱和双耳嵌入的音频-视觉框架，用于真实世界视频中的相机姿态估计，在视觉信息受损时表现出鲁棒性。
2026-07-02 cs.CV
Level Set-Based Camera Pose Estimation From Multiple 2D/3D Ellipse-Ellipsoid Correspondences
Inria（法国国家信息与自动化研究所）；Université de Lorraine（洛林大学）；LORIA（洛林计算机科学及其应用实验室）；CNRS（法国国家科学研究中心）
在本文中，我们提出了一个基于对象的相机姿态估计从一个单一的RGB图像和一个预先建立的地图的对象，表示与椭球模型。我们表明，相反的点对应关系，成本函数的定义，其特征在于一个3D对象的投影到一个2D目标检测是不简单的。我们开发了一个基于水平集采样的椭圆-椭圆代价，展示了它处理部分可见对象的良好特性，并将其性能与其他常用度量进行了比较。最后，我们表明，使用预测的不确定性检测到的椭圆允许公平的权重的贡献的对应关系，提高了计算的姿态。该代码在https://gitlab.inria.fr/tangram/level-set-based-camera-pose-estimation上发布。
2022-08-19 cs.CV
Pose-GNN : Camera Pose Estimation System Using Graph Neural Networks
University of Victoria（维多利亚大学）；Fortinet（飞塔科技）
提出了一种基于图神经网络（GNN）的图像定位系统。预训练的ResNet 50卷积神经网络（CNN）架构用于提取每个图像的重要特征。接下来，将提取的特征输入到GNN，以通过使用图像特征作为图中的节点并将姿态估计问题公式化为节点姿态回归或将图像特征本身建模为图来找到每个图像的姿态，并且问题变为图姿态回归。我们对所提出的两种方法和最先进的单图像定位方法进行了广泛的比较，并表明使用GNN可以增强室内和室外环境的性能。
2021-03-17 cs.CV
On-line non-overlapping camera calibration net
我们提出了一种简单易用的非重叠摄像机标定方法。首先，连续的图像被馈送到基于PoseNet的网络，以获得帧之间相机的自我运动。接下来，估计相机之间的姿态。而不是使用一个批处理的方法，我们提出了一个在线的方法，相机间的姿态估计。此外，我们在计算图上实现了整个过程。仿真实验和KITTI数据集的实验表明，该方法是有效的仿真。
2020-02-19 cs.CV
RPNet: an End-to-End Network for Relative Camera Pose Estimation
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；ENSICAEN（卡昂高等工程师学院）；CNRS（法国国家科学研究中心）
本文通过深度神经网络解决了从原始图像像素估计相对相机姿态的任务。所提出的RPNet网络以成对的图像作为输入，直接推断相对姿态，而不需要相机的内在/外在。虽然基于SIFT + RANSAC的最先进的系统只能按比例恢复翻译向量，但RPNet经过训练，以端到端的方式生成完整的翻译向量。在Cambridge Landmark数据集上的实验结果表明，关于完整翻译向量的恢复，结果非常有希望。他们还表明，RPNet比传统方法产生更准确，更稳定的结果，特别是对于硬图像（重复纹理，无纹理图像等）。据我们所知，RPNet是第一次尝试在相对姿态估计中恢复完整的平移向量。
2018-09-22 cs.CV
Neural Reprojection Error: Merging Feature Learning and Camera Pose Estimation
LIGM（LIGM实验室）；École des Ponts（巴黎路桥学院）；Univ Gustave Eiffel（Gustave Eiffel大学）；CNRS（法国国家科学研究中心）；IMS（IMS实验室）；University of Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立综合理工学院）
绝对摄像机姿态估计通常通过顺序地解决两个不同的子问题来解决：首先是寻求建立假定的2D-3D对应的特征匹配问题，然后是相对于摄像机姿态最小化所谓的重投影误差（RE）之和的视角n点问题。我们认为，生成假定的2D-3D对应1）导致重要的信息损失，需要尽可能地在RE内通过选择鲁棒损失和调整其超参数进行补偿，以及2）可能导致将错误数据传递给姿态估计器的RE。在本文中，我们引入神经重投影误差（NRE）作为RE的替代品。NRE允许通过将其与特征学习问题合并来重新考虑相机姿态估计问题，从而利用比2D-3D对应更丰富的信息，并消除选择鲁棒损失及其超参数的需要。因此，NRE可以用作训练损失来学习为姿态估计定制的图像描述符。我们还提出了一种由粗到细的优化方法，能够非常有效地减少NRE项的总和相对于相机姿势。我们的实验表明，NRE是一个很好的替代RE，因为它显着提高了鲁棒性和准确性的相机姿态估计，同时计算和内存效率很高。从更广泛的角度来看，我们相信这种融合深度学习和3D几何的新方法可能在其他计算机视觉应用中有用。
2021-03-12 cs.CV
Learning Neural Volumetric Pose Features for Camera Localization
University of Science and Technology of China（中国科学技术大学）；Alibaba Cloud（阿里云）；Zhejiang University（浙江大学）
本研究提出新型神经体积位姿特征PoseMap，结合APR架构与增强NeRF模块，实现自监督在线对齐，在室内外基准场景中性能提升显著，超越现有APR方法的精度水平。
2024-07-12 cs.CV
Towards the Application of Linear Programming Methods For Multi-Camera Pose Estimation
我们提出了一种基于分离的优化算法，而不是优化整个变量，这将允许我们采用：1）一类非线性函数的三个变量和2）凸二次多变量多项式，最小化重投影误差。忽略所需的最小化的非线性函数的反演，在本文中，我们演示了如何分离允许根除矩阵求逆。
2015-12-08 cs.CV
Reassessing the Limitations of CNN Methods for Camera Pose Regression
Imperial College London（帝国理工学院）；Facebook Reality Labs（Facebook现实实验室）
在本文中，我们解决的问题，在室外和室内场景的摄像机姿态估计。与目前依赖于2D到3D匹配的性能最好的方法相比，我们提出了一种模型，该模型可以直接从图像中回归相机姿态，其准确性明显高于同类现有方法。我们首先分析了为什么回归方法仍然落后于最先进的方法，并通过我们的新方法弥合了性能差距。具体而言，我们提出了一种方法来克服偏见的训练数据的一种新的训练技术，它产生的姿势指导的概率分布从训练集合成新的训练意见。最后，我们在两个广泛使用的基准上评估了我们的方法，并表明与先前的基于回归的方法，检索技术以及具有局部特征匹配的3D管道相比，它实现了显着提高的性能。
2021-08-16 cs.CV
Few-View Object Reconstruction with Unknown Categories and Camera Poses
Department of Computer Science, The University of Texas at Austin（德克萨斯大学奥斯汀分校计算机科学系）
针对少视角物体重建中位姿未知、类别泛化差的问题，提出统一方法FORGE，通过3D特征与图像建立跨视角对应估计位姿，融合为神经辐射场实现重建，在位姿估计和新类别泛化上均取得优异表现。
2024-01-25 cs.CV
Relative Camera Pose Estimation Using Convolutional Neural Networks
Aalto University（阿尔托大学）；Tampere University of Technology（坦佩雷理工大学）
提出了一种基于卷积神经网络的摄像机相对姿态估计方法。所提出的网络将来自两个相机的RGB图像作为输入，并直接产生相对旋转和平移作为输出。该系统以端到端的方式进行训练，利用来自大规模分类数据集的迁移学习。所介绍的方法与广泛使用的局部特征为基础的方法（SURF，ORB）相比，结果表明一个明显的改善基线。此外，所提出的架构包含一个空间金字塔池（SPP）层的一个变体进行评估，并进一步提高性能。
2017-07-28 cs.CV
Camera Pose Refinement via 3D Gaussian Splatting
针对现有相机位姿优化方法依赖特定描述符或网络、缺乏几何约束的局限，提出GS-SMC框架，利用3D高斯溅射模型，通过极几何约束迭代优化位姿，在两个数据集上误差显著降低，无需额外训练即可适配不同场景。
2025-08-25 cs.CV
A Comparative Neural Radiance Field (NeRF) 3D Analysis of Camera Poses from HoloLens Trajectories and Structure from Motion
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文比较 HoloLens 轨迹与 SfM 相机位姿对 NeRF 三维重建的影响，提出近乎直接使用 HoloLens 数据的流程，并证明位姿优化可将 PSNR 提升至 27 dB。
2023-04-20 cs.CV
ID-Pose: Sparse-view Camera Pose Estimation by Inverting Diffusion Models
Tencent（腾讯）
ID-Pose通过反转预训练扩散模型Zero-1-to-3的去噪过程，以梯度下降最小化噪声预测误差来估计稀疏视角下的相机位姿，无需训练且显著优于现有方法。
2023-11-30 cs.CV
Bimodal Camera Pose Prediction for Endoscopy
University College London（伦敦大学学院）；Stanford University（斯坦福大学）；University of Aberdeen（阿伯丁大学）；University of Zaragoza（萨拉戈萨大学）
针对内窥镜场景3D结构推断难题，本文提出合成数据集SimCol和显式学习双峰分布的内窥镜位姿预测方法，验证了其在真实结肠镜序列上的泛化性及优于单峰方法的性能。
2023-12-15 cs.CV
The Alignment of the Spheres: Globally-Optimal Spherical Mixture Alignment for Camera Pose Estimation
Australian National University（澳大利亚国立大学）；Data61/CSIRO（Data61/联邦科学与工业研究组织）；ShanghaiTech（上海科技大学）
从单个图像确定校准相机相对于3D模型的位置和方向是许多应用的基本任务。当可以可靠地获得2D-3D对应关系时，可以使用透视n点解算器来恢复相机姿态。然而，在没有姿态的情况下，找到2D图像和3D模型之间的跨模态对应关系是不平凡的，特别是当后者仅包含几何信息时。因此，问题变成联合估计姿态和对应关系的问题。由于离群值和局部最优值是如此普遍，鲁棒的目标函数和全局搜索策略是可取的。因此，我们投的问题作为一个2D-3D的混合模型对齐任务，并提出了第一个全局最优的解决方案，这个配方下的强大的$L_2$混合分布之间的距离。我们使用分支定界搜索6D相机姿态空间，这需要新的边界，以避免姿态估计的需要并保证全局最优性。为了加速收敛，我们集成了局部优化，实现了GPU边界计算，并提供了一种直观的方式来整合语义标签等辅助信息。该算法在具有挑战性的合成和真实数据集上进行评估，优于现有方法，并可靠地收敛到全局最优值。
2019-06-18 cs.CV
Estimating more camera poses for ego-centric videos is essential for VQ3D
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））
视觉查询3D定位（VQ3D）是Ego4D情景记忆基准测试中的一项任务。给定一个以自我为中心的视频，目标是回答形式为“我最后一次看到物体X是在哪里？“，其中查询对象X被指定为静态图像，并且答案应该是指向对象X的3D位移向量。然而，目前的技术使用朴素的方法来估计视频帧的相机姿态，导致低的查询与姿态（QwP）比，因此整体成功率差。在我们的工作中，我们设计了一个新的管道具有挑战性的自我中心的摄像机姿态估计问题。此外，我们重新审视了当前的VQ3D框架，并在性能和效率方面进行了优化。因此，我们在VQ3D排行榜上获得了25.8%的前1名整体成功率，比基线报告的8.7%高出两倍。
2022-11-18 cs.CV
Weakly Supervised 3D Multi-person Pose Estimation for Large-scale Scenes based on Monocular Camera and Single LiDAR
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
基于单目摄像机的三维多人姿态估计中，深度估计通常是病态的和模糊的。由于LiDAR可以在远距离场景中捕获精确的深度信息，因此它可以通过提供丰富的几何特征来帮助个体的全局定位和3D姿态估计。受此启发，我们提出了一个单目相机和单激光雷达为基础的方法，在大规模场景中的三维多人姿态估计，这是易于部署和不敏感的光。具体而言，我们设计了一种有效的融合策略，充分利用图像和点云等多模态输入数据，并充分利用时间信息指导网络学习自然连贯的人体运动。在不依赖于任何3D姿态注释的情况下，我们的方法利用点云的固有几何约束进行自我监督，并利用图像上的2D关键点进行弱监督。在公共数据集和新收集的数据集上的实验证明了该方法的优越性和泛化能力。
2022-11-30 cs.CV
Monocular Camera Localization in Prior LiDAR Maps with 2D-3D Line Correspondences
Wuhan University（武汉大学）；Carnegie Mellon University（卡内基梅隆大学）
现有地图中的轻量级相机定位对于基于视觉的导航至关重要。目前，视觉和视觉惯性里程计（VO\&VIO）技术已成熟用于状态估计，但在环路闭合时不可避免地会出现累积漂移和姿态跳跃。为了克服这些问题，我们提出了一种有效的单目相机定位方法，在以前的激光雷达地图使用直接的2D-3D线对应。为了处理LiDAR点云和图像之间的外观差异和模态间隙，从LiDAR地图中离线提取几何3D线，而从视频序列中在线提取鲁棒的2D线。通过VIO的姿态预测，我们可以有效地获得粗略的2D-3D线对应。然后，通过最小化对应的投影误差和拒绝离群值来迭代优化相机位姿和2D-3D对应。在EurocMav数据集和我们收集的数据集上的实验结果表明，该方法可以有效地估计相机姿态，而不会在结构化环境中积累漂移或姿态跳跃。
2020-07-31 cs.CV
TriDE: Triangle-Consistent Translation Directions for Global Camera Pose Estimation
Department of Mathematics University of California, Davis（数学系加州大学戴维斯分校）
TriDE通过利用相机-三角形一致性提高全局结构从运动中相机位置估计的准确性，通过信息传播策略实现高效可靠的方向修正。
2026-07-02 cs.CV
ContraNeRF: 3D-Aware Generative Model via Contrastive Learning with Unsupervised Implicit Pose Embedding
Seoul National University（首尔国立大学）；Kakao Brain
提出基于隐式姿态嵌入对比学习的3D感知GAN优化方法ContraNeRF，去除对真实相机姿态的依赖，有效捕捉复杂3D场景结构，在不一致标准相机姿态的数据集上大幅优于现有方法。
2023-07-03 cs.CV
3R-GS: Best Practice in Optimizing Camera Poses Along with 3DGS
Texas A&M University（德克萨斯农工大学）；Hong Kong University（香港大学）；Hong Kong University of Science and Technology（香港科技大学）
3R-GS提出一种联合优化3D高斯与相机参数的框架，利用MASt3R-SfM先验克服SfM初始化敏感性和全局优化局限，实现鲁棒重建、高质量新视角合成与精确位姿估计。
2025-04-05 cs.CV
Nerfels: Renderable Neural Codes for Improved Camera Pose Estimation
Monash University（莫纳什大学）；École des Ponts（巴黎桥路学院）；Facebook Reality Labs（脸书现实实验室）；Facebook AI Research（脸书人工智能研究院）
本文提出了一个框架，结合传统的基于关键点的相机姿态优化与可逆的神经渲染机制。我们提出的3D场景表示，Nerfels，是局部密集，但全球稀疏。相对于现有的可逆神经渲染系统过拟合模型的整个场景，我们采用了一个功能驱动的方法表示场景不可知的，本地3D补丁与渲染代码。通过仅对检测到局部特征的场景进行建模，我们的框架通过神经渲染器中的可优化代码调节机制有效地推广到场景中看不见的局部区域，同时保持稀疏3D地图表示的低内存占用。我们的模型可以结合到现有的最先进的手工制作和学习的本地特征姿态估计器，在ScanNet上评估宽相机基线场景时，可以提高性能。
2022-06-04 cs.CV
Look Gauss, No Pose: Novel View Synthesis using Gaussian Splatting without Accurate Pose Initialization
RWTH Aachen University（亚琛工业大学）
提出一种扩展3D Gaussian Splatting框架的方法，通过优化光度残差的外参相机参数，实现无需精确位姿初始化的快速3D场景重建与新视角合成，在LLFF上达到SOTA且运行时间减少2-4倍。
2024-10-11 cs.CV
FlowMap: High-Quality Camera Poses, Intrinsics, and Depth via Gradient Descent
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出FlowMap，一种端到端可微方法，通过梯度下降最小化光流目标函数，联合估计视频序列的相机位姿、内参和密集深度，在360度新视角合成任务中表现媲美COLMAP。
2024-07-23 cs.CV
Back to the Feature: Learning Robust Camera Localization from Pixels to Pose
ETH Zurich（苏黎世联邦理工学院）；Chalmers University of Technology（查尔姆斯理工大学）；Eigenvision；Ecole des Ponts（巴黎高科路桥学校）；Microsoft（微软）；Czech Technical University in Prague（捷克理工大学）
已知场景中的摄像机姿态估计是一个3D几何任务，最近由多种学习算法解决。许多回归精确的几何量，如姿势或3D点，从输入图像。这要么无法泛化到新视点，要么将模型参数绑定到特定场景。在本文中，我们回到功能：，我们认为深度网络应该专注于学习鲁棒和不变的视觉特征，而几何估计应该留给原则性算法。我们介绍PixLoc，这是一个场景不可知的神经网络，可以从图像和3D模型中估计准确的6-DoF姿势。我们的方法是基于多尺度深度特征的直接对齐，将相机定位作为度量学习。PixLoc通过从像素到姿势的端到端训练来学习强大的数据先验，并通过分离模型参数和场景几何形状来对新场景进行特殊的泛化。该系统可以在给定粗略姿态先验的大环境中进行定位，但也可以通过联合细化关键点和姿态来提高稀疏特征匹配的准确性。该代码将在https://github.com/cvg/pixloc上公开发布。
2021-04-07 cs.CV
Learning Global Camera Poses from Noisy View-Graphs for Structure from Motion
Weizmann Institute of Science（魏茨曼科学研究所）
本文提出一种基于图神经网络的全局运动恢复结构框架，从含噪视图图学习相机位姿，无需真值监督，高效可扩展，在多个数据集上精度优于深度轨迹法，速度优于经典流程。
2026-09-10 cs.CV
EKFPnP: Extended Kalman Filter for Camera Pose Estimation in a Sequence of Images
Iran University of Science & Technology（伊朗科技大学）
在现实世界的应用中，透视n点（PSPs）问题通常应该应用于一系列图像中，这些图像中的一组易漂移特征随时间被跟踪。在本文中，我们考虑相机姿态的时间依赖性和特征的不确定性的顺序相机姿态估计。使用扩展的卡尔曼滤波器（EKF），从摄像机运动模型计算摄像机位姿的先验估计，然后通过最小化参考点的重投影误差来校正。实验结果表明，使用模拟和真实数据，所提出的方法提高了鲁棒性的相机姿态估计，在噪声的存在下，相比，国家的最先进的。
2020-04-22 cs.CV eess.IV
EPOSIT: An Absolute Pose Estimation Method for Pinhole and Fish-Eye Cameras
Institute of Automation Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出了一种通用的六自由度摄像机位姿估计方法，该方法既适用于针孔摄像机，也适用于鱼眼摄像机。与现有方法不同的是，该方法利用三维点在世界坐标系中的相对位置而不是绝对坐标，具有唯一解。结合径向对称投影模型，将POSIT（Pose from Orthography and Scaling with Iteration）算法的适用范围推广到鱼眼相机。基于针孔摄像机和鱼眼摄像机的投影模型，推导了它们之间的像点关系。通过四个非共面物点及其对应的像点，可以得到适用于不同相机的通用位姿表达式。迭代计算准确的估计结果。在合成数据和真实数据上的实验结果表明，该方法的位姿估计结果比现有方法更稳定、更准确。源代码可在https://github.com/k032131/EPOSIT上获得。
2019-09-19 cs.CG cs.CV
A Line-Point Unified Solution to Relative Camera Pose Estimation
RFA Engineering（RFA工程公司）；University of North Dakota（北达科他大学）
在这项工作中，我们提出了一个统一的方法，相对相机姿态估计点和线的对应关系。给定一组二维点和线对应的三个视图，其中两个是已知的，已经开发了一种方法来估计第三视图的相机姿态。该算法的新颖之处在于将点和线的对应关系结合在摄像机姿态估计中，这使得我们能够用少量的特征对应关系来计算相对摄像机姿态。我们的中心思想是利用三个视图之间的三线性关系，并从三个视图中的点和线的对应关系生成一组线性方程。方程组的期望解被表示为奇异向量的线性组合，并且通过求解通过对一般相机运动施加正交约束而生成的一小组二次方程来计算系数。通过在公开数据集上的实验，证明了该方法的优越性。实验结果表明，该方法在小范围和大范围摄像机运动情况下的相对摄像机位姿估计中具有很好的鲁棒性和有效性。
2017-10-17 cs.CV cs.RO
