PoseDiffusion: Solving Pose Estimation via Diffusion-aided Bundle Adjustment
University of Oxford(牛津大学);Meta AI
本文提出PoseDiffusion,将SfM相机位姿估计建模为概率扩散过程并融合对极几何约束,可处理任意数量图像,在真实数据集上显著优于传统与学习方法且能跨数据集泛化。
2024-01-24 cs.CV
Marginalized Bundle Adjustment: Multi-View Camera Pose from Monocular Depth Estimates
Google(谷歌);Michigan State University(密歇根州立大学)
本文提出边缘束调整方法,利用单目深度估计的密集深度图,有效整合到结构从运动任务中,提升多视角3D视觉性能。
2026-02-21 cs.CV
BLASt3R: Bundle Adjustment of Any Image Set with Multi-View Matching and Monocular Priors
NAVER LABS Europe(NAVER欧洲实验室)
BLASt3R提出结合多视图匹配与单目先验的正则化BA框架,支持在线VSLAM和离线无序图像重建,在性能速度权衡上优于基线,其未标定VSLAM方法性能超此前所有标定方法。
2026-09-07 cs.CV
Unsupervised Learning of Monocular Depth Estimation with Bundle Adjustment, Super-Resolution and Clip Loss
Carnegie Mellon University(卡内基梅隆大学);Chinese Academy of Sciences(中国科学院)
我们提出了一种新的无监督学习框架,单视图深度估计使用单目视频。众所周知,在三维视觉中,扩大基线可以提高深度估计精度,并且联合优化一组相机姿态和地标是必不可少的。在以前的单目无监督学习框架中,序列中只有部分光度和几何约束被用作监督信号。这可能导致短基线和过拟合。此外,以前的工作通常是从低分辨率的输入图像估计低分辨率的深度。然后对低分辨率深度进行插值以恢复原始分辨率。这种策略可能在对象边界上产生大的误差,因为背景和前景的深度被混合以产生高分辨率深度。本文提出了一种光束法平差框架和一种超分辨率网来解决上述两个问题。在光束法平差中,图像序列的深度和姿态被联合优化,这通过建立更远帧之间的关系来增加基线。超分辨率网络学习从低分辨率图像估计高分辨率深度。此外,我们引入了剪辑损失来处理移动对象和遮挡。在KITTI数据集上的实验结果表明,该算法的性能优于现有的基于单目序列的无监督方法,并且与基于立体序列的无监督方法相比,具有相当甚至更好的效果。
2018-12-08 cs.CV
URS-NeRF: Unordered Rolling Shutter Bundle Adjustment for Neural Radiance Fields
Wuhan University(武汉大学);National University of Singapore(新加坡国立大学)
提出一种用于NeRF的无序卷帘快门束调整方法,通过估计相机位姿和速度恢复RS图像物理形成,结合由粗到细策略校正异常位姿,消除了序列输入限制并提升了3D重建质量。
2024-03-25 cs.CV
CSS-BA: Gate-Guided Column Space Search for Bundle Adjustment
Waseda University(早稻田大学);CyberAgent, Inc.(株式会社CyberAgent)
针对低视差和近旋转情况下传统BA法病态问题,提出门控引导的CSS-BA,通过结合CSS和几何感知门控稳定舒尔-LM更新,所有参数保留在优化中,仅限制更新方向,实验显示其优化稳定、姿态精度提高且校准有竞争力。
2026-07-20 cs.CV
Deblurring Neural Radiance Fields with Event-driven Bundle Adjustment
Beihang University(北京航空航天大学);Beijing Institute of Technology(北京理工大学)
本文提出EBAD-NeRF,利用事件相机与RGB混合数据联合优化位姿和NeRF参数,通过事件损失和模糊损失显式建模运动模糊,实现更准确的相机轨迹和更清晰的三维重建。
2024-08-01 cs.CV
Initialization-Free Bundle Adjustment Revisited: A Controlled Experimental Study
University of Oxford(牛津大学);Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Hanyang University(汉阳大学);Lund University(隆德大学)
本文通过统一评估框架开展受控实验,揭示无需初始化的光束平差法存在优化-重建差距,明确其核心挑战是获取可可靠度量升级的投影重建,为该领域研究提供了实验基础。
2026-08-19 cs.CV
BA-T: An Iterative Transformer for Two-View Bundle Adjustment
TU Munich(慕尼黑工业大学);MCML(慕尼黑计算生物学与机器学习中心);ETH Zurich(苏黎世联邦理工学院)
受经典束调整启发,提出BA-T,一种通过迭代Transformer在隐式token空间中实现结构化更新的轻量级方法,用于改进双视图三维重建的精度和多视图一致性。
2026-10-21 cs.CV
PSS-BA: LiDAR Bundle Adjustment with Progressive Spatial Smoothing
Nanyang Technological University(南洋理工大学)
本文提出PSS-BA,一种结合渐进空间平滑的LiDAR光束法平差方法,通过多尺度平滑核生成稳健表面约束以优化位姿,解决了复杂非平面环境下的点云重建精度与收敛性问题。
2024-09-23 cs.CV cs.RO
An Efficient Plane Extraction Approach for Bundle Adjustment on LiDAR Point clouds
The University of Hong Kong(香港大学)
针对激光雷达光束法平差的精度和速度受平面提取质量制约的问题,提出基于体素、结合八叉树分裂、PCA平面判定与平面合并的高效提取方法,在HILTI数据集上实现精度最优、耗时最低。
2023-04-29 cs.CV cs.RO
Improving Monocular Visual-Inertial Initialization with Structureless Visual-Inertial Bundle Adjustment
University of Luxembourg(卢森堡大学)
针对单目VIO初始化中结构重建计算量大且无结构方法精度受限的问题,提出无结构视觉惯性光束法平差以优化初始解,在真实数据集上显著提升精度并保持实时性。
2025-02-23 cs.CV cs.RO
LiFCal: Online Light Field Camera Calibration via Bundle Adjustment
Technical University of Munich(慕尼黑工业大学);Karlsruhe University of Applied Sciences(卡尔斯鲁厄应用技术大学)
提出用于MLA光场相机的在线无靶标标定流程LiFCal,通过在微图像点上的单一光束法平差联合优化相机内参、3D点坐标与位姿,性能媲美SOTA且利于深度估计和SLAM等下游任务。
2024-08-21 cs.CV eess.IV
Accelerating Large-scale Bundle Adjustment for LiDAR Mapping via Parallel Computing
KTH Royal Institute of Technology(瑞典皇家理工学院);the University of Hong Kong(香港大学)
该研究提出首个全并行计算框架,结合三项关键技术加速激光雷达建图的大规模光束平差法,经多平台公开数据集测试,效率最高提升10倍且精度相当,代码已开源。
2026-08-17 cs.CV cs.RO
Photometric LiDAR and RGB-D Bundle Adjustment
Sapienza University of Rome(罗马第一大学)
传感器轨迹和三维地图的联合优化是同时定位与地图构建(SLAM)系统的一个重要特征。为了实现这一点,黄金标准是捆绑调整(BA)。现代3D激光雷达现在保留了更高的分辨率,可以创建类似于传统相机拍摄的点云图像。然而,用于RGB-D传感器的典型有效的全局细化技术并没有广泛应用于LiDAR。本文提出了一种新的BA测光策略,以相同的方式解释RGB-D和LiDAR。我们的工作可以用于任何SLAM/GNSS估计的顶部,以改善和细化初始轨迹。我们使用这两个深度传感器在公共基准上进行了不同的实验。我们的研究结果表明,我们的系统执行标准杆或更好的相比,其他国家的最先进的自组织SLAM/BA战略,从数据关联和不做假设的环境。此外,我们还展示了在统一方法中联合使用RGB-D和LiDAR的好处。我们终于发布了一个开源的CUDA/C++实现。
2023-03-29 cs.CV cs.RO
Dr-BA: Separable Optimization for Direct Radar Bundle Adjustment & Localization
Robotics Institute, University of Toronto(多伦多大学机器人研究所)
本文提出Dr-BA框架,通过直接处理2D旋转雷达强度图像实现雷达束调整与定位,利用雷达抗雨优势,解决稠密地图与传感器姿态联合估计问题,实现最先进的雷达束调整与跨会话定位性能。
2026-05-07 cs.CV cs.RO
Physically-Based Photometric Bundle Adjustment in Non-Lambertian Environments
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Chinese University of Hong Kong(香港中文大学)
针对非朗伯环境中光度一致性假设失效的问题,提出基于物理的PBA方法,引入材质、光照和光路权重,并建立首个含完整真值的非朗伯SLAM数据集,实验验证精度优于现有方法。
2024-09-18 cs.CV cs.RO
An Efficient Planar Bundle Adjustment Algorithm
Magic Leap(魔力跃动);Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种基于点到面代价的最小二乘问题的有效算法,旨在联合优化深度传感器位姿和平面参数进行三维重建。我们称之为最小二乘问题\textbf{Planar Bundle Adjustment}(PBA),由于这个问题之间的相似性和原来的光束调整(BA)的视觉重建。由于平面普遍存在于人造环境中,因此它们通常被用作各种深度传感器的SLAM算法中的地标。PBA对于减少漂移和提高地图质量是重要的。然而,在视觉重建中直接采用已经建立的BA框架将导致PBA的非常低效的解决方案。这是因为三维点在摄影机姿势下只有一个观测。相比之下,深度传感器可以一次记录平面中的数百个点,这导致即使对于小尺度空间也是非常大的非线性最小二乘问题。幸运的是,我们发现PBA问题存在一个特殊的结构。本文引入了一个约化的雅可比矩阵和一个约化的残差向量,并证明了它们可以代替通常采用的LM算法中的雅可比矩阵和残差向量。这大大降低了计算成本。此外,当平面与其他特征结合进行三维重建时,约简后的雅可比矩阵和残差向量也可以代替由平面导出的相应部分。我们的实验结果表明,我们的算法可以显着减少计算时间相比,使用传统的BA框架的解决方案。此外,与使用平面到平面代价的最新解决方案相比,我们的算法更快,更准确,并且对初始化错误更鲁棒
2020-08-16 cs.CG cs.CV
RadarSplat-RIO: Indoor Radar-Inertial Odometry with Gaussian Splatting-Based Radar Bundle Adjustment
Meta Reality Labs(Meta现实实验室);University of Michigan(密歇根大学)
本文提出基于高斯点分布的雷达束调整框架,通过联合优化雷达传感器姿态和场景几何,显著减少位姿漂移并提升鲁棒性,实验表明在多个室内场景中,雷达束调整性能优于传统雷达-惯性里程计。
2026-04-15 cs.CV cs.RO
Modelling Errors in X-ray Fluoroscopic Imaging Systems Using Photogrammetric Bundle Adjustment With a Data-Driven Self-Calibration Approach
University of Calgary(卡尔加里大学);Vusion Technologies(Vusion科技公司)
X射线成像是常规临床诊断的基本工具。透视成像可以进一步以视频帧速率采集X射线图像,从而实现关节、胃肠道等的非侵入性体内运动研究。对于静态和动态X射线图像的定性和定量分析,数据应无系统偏倚。除了硬件的精确制造之外,基于软件的校准解决方案通常用于对失真进行建模。在这项主要的研究中,一个强大的摄影测量光束法平差被用来模拟两个透视X射线成像系统的投影几何。然而,而不是依赖于一个专家摄影测量师的知识和判断来决定一个参数模型来描述的系统误差,一个自调整的数据驱动的方法是用来模拟复杂的非线性失真的传感器配置文件。来自实验的质量控制表明,仅使用15张X射线图像就可以实现0.06 mm至0.09 mm的3D重建精度。作为光束法平差的一部分,虚拟荧光透视系统相对于靶野的位置也可以在空间上切除,RMSE在3.10 mm和3.31 mm之间。
2018-10-19 cs.CV cs.LG eess.IV
GBR: Generative Bundle Refinement for High-fidelity Gaussian Splatting with Enhanced Mesh Reconstruction
College of future information technology, Fudan University(未来信息科技学院,复旦大学);School of Biomedical Engineering, Tsinghua University(生物医学工程学院,清华大学);Key Laboratory for Information Science of Electromagnetic Waves (MoE), Fudan University(电磁波信息科学重点实验室(MoE),复旦大学);Department of Automation, Tsinghua University(自动化系,清华大学);MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University(人工智能重点实验室,人工智能研究院,上海交通大学)
提出GBR方法,通过neural bundle adjustment和生成式深度精修模块,结合多模态损失函数,在仅4-6个稀疏视图下实现高保真Gaussian splatting和网格重建,显著优于现有方法。
2025-08-15 cs.CV
A novel algorithm for optimizing bundle adjustment in image sequence alignment
School of Control Science and Engineering, Shandong University(山东大学控制科学与工程学院);Research Center for Mathematics and Interdisciplinary Sciences, Shandong University(山东大学数学与交叉科学研究中心);College of Mathematics and Systems Science, Shandong University of Science and Technology(山东科技大学数学与系统科学学院)
针对冷冻电子断层扫描图像序列对齐中 BA 模型的优化问题,提出基于最优控制理论的 OCA 算法,通过二分法更新程序显著提升收敛速度与初始化鲁棒性,大幅提高 3D 重建效率。
2025-04-01 cs.CV math.OC
ZeD-MAP: Bundle Adjustment Guided Zero-Shot Depth Maps for Real-Time Aerial Imaging
German Aerospace Center (DLR), Institute of Space Research(德国航空航天中心(DLR)空间研究所);Faculty of Geo-Information Science and Earth Observation (ITC), University of Twente(代尔夫特理工大学地理信息科学与地球观测学院)
本文提出ZeD-MAP框架,通过集成增量聚类束调整,将扩散深度模型转换为具有度量一致性的SLAM映射流程,实现高分辨率无人机影像的实时三维地图生成。
2026-05-13 cs.CV cs.LG cs.RO
Square Root Bundle Adjustment for Large-Scale Reconstruction
Technical University of Munich(慕尼黑工业大学)
我们提出了一个新的制定光束法平差问题,它依赖于零空间边缘化的地标变量的QR分解。我们的方法,我们称之为平方根光束法平差,是代数上等价于常用的舒尔补技巧,提高了计算的数值稳定性,并允许解决大规模的光束法平差问题的单精度浮点数。我们在现实世界的实验与BAL数据集,即使在单精度的的建议求解器实现平均同样准确的解决方案相比,舒尔互补求解器使用双精度的。它运行速度明显更快,但在密集问题上可能需要更大量的内存。建议制定依赖于简单的线性代数运算,并开辟了有效的实现捆绑调整的硬件平台上优化的单精度线性代数处理的方式。
2021-03-30 cs.CV
Semantic Photometric Bundle Adjustment on Natural Sequences
The Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
在计算机视觉中,长期以来一直在研究在自然图像序列中获得对象的密集重建的问题。传统上,这个问题已经通过应用光束法平差(BA)得到解决。最近,通过应用测光光束法平差(PBA)方法已经取得了很好的效果,这种方法直接将跨帧的测光误差降到最低。然而,BA和PBA的一个根本缺点是:(i)它们依赖于必须查看物体上的所有点,以及(ii)物体表面要有很好的纹理。为了规避这些限制,我们提出了语义PBA,它结合了3D对象之前,通过深度学习,在光度束平差问题。我们展示了最先进的性能相比,领先的方法在众多的自然序列的对象重建。
2017-11-30 cs.CV
RPBA -- Robust Parallel Bundle Adjustment Based on Covariance Information
Bundeswehr University Munich(慕尼黑联邦国防军大学);Institute for Applied Computer Science(应用计算机科学研究所)
所有运动恢复结构(SfM)方法的核心组成部分是光束法平差。由于后者是较大块的计算瓶颈,因此并行光束法平差已成为一个活跃的研究领域。特别是,基于共识的优化方法已被证明是适合这个任务。我们已经使用通过调整各个三维(3D)点而导出的协方差信息来扩展它们,即,“三角测量”或“相交”。这不仅会导致更好的收敛行为,而且还避免了对标准共识方法的惩罚参数进行微调。相应的新方法也可以被看作是切除/相交方案的变体,其中我们在相交期间调整与计算机上可用线程的数量直接相关的子块的数量,每个子块包含块的相机的一部分。我们表明,我们的新方法是适合强大的并行光束法平差,并证明其能力相比,基本的共识为基础的方法,以及一个国家的最先进的并行实现光束法平差。我们的新方法的代码可以在GitHub上找到:https://github.com/helmayer/RPBA
2019-10-17 cs.CV
Pointless Global Bundle Adjustment With Relative Motions Hessians
Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);LASTIG(LASTIG实验室);ENSG(国立地理科学学院);IGN(法国国家地理与林业信息研究所)
本文提出一种不依赖特征重投影误差的新型全局光束法平差方法,利用相对运动局部平差产生的海森矩阵加权目标函数,在保持经典BA精度的同时提升效率,可视为运动平均方法的升级版。
2023-04-11 cs.CV
Spatiotemporal Bundle Adjustment for Dynamic 3D Human Reconstruction in the Wild
The Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
束平差联合优化相机的内、外参数和3D点三角剖分以重建静态场景。然而,三角测量约束对于在多个非同步视频中捕获的移动点是无效的,并且光束法平差不是设计用于估计相机之间的时间对准。我们提出了一个时空束平差框架,共同优化四个耦合的子问题:估计相机intrinsics和extrinsics,三角测量静态3D点,以及子帧相机之间的时间对齐和计算动态点的3D轨迹。我们联合优化的关键是在重建管道中仔细整合基于物理的运动先验,并在人类主体的大型运动捕捉语料库上进行验证。我们设计了一个增量重建和对齐算法,严格执行运动之前在时空光束法平差。该算法进一步通过分而治之方案使其更有效,同时仍保持高精度。我们应用该算法来重建三维运动轨迹的人体在动态事件中捕获的多个未校准和不同步的摄像机在野外。为了使重建在视觉上更具可解释性,我们将统计3D人体模型拟合到异步视频流中。与基线相比,拟合明显受益于所提出的时空束调整过程。由于视频以子帧精度对齐,因此我们以比输入视频高得多的时间分辨率重建3D运动。
2020-07-24 cs.CV
Multidirectional Conjugate Gradients for Scalable Bundle Adjustment
Technical University of Munich(慕尼黑工业大学)
我们重新审视了大规模光束法平差的问题,并提出了一种称为多方向共轭因子的技术,该技术可将法方程的求解速度提高61%。其关键思想是,我们扩大了经典的预条件共轭梯度的搜索空间,包括多个搜索方向。因此,所得到的算法需要更少的迭代,从而大大加快了大规模重建的速度,特别是对于传统方法难以解决的密集问题。我们提供了一些实验消融研究揭示的鲁棒性的超参数和加速的变化作为一个函数的问题密度。
2021-10-08 cs.CV
Privacy Preserving Visual SLAM
National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所);Tokyo Institute of Technology(东京工业大学)
提出了一种隐私保护的Visual SLAM框架,用于实时的估计摄像机位姿并利用混合线云和点云进行光束法平差。以前的研究已经提出了定位方法来估计一个摄像机的姿势,使用一个单一的图像或重建点云的线云地图。这些方法通过将点云转换为线云,由点云重构场景图像,从而提供了场景的隐私保护。然而,它们不直接适用于视频序列,因为它们不解决计算效率。这是实时的估计相机位姿和利用混合线云和点云进行光束法平差所要解决的关键问题。此外,还没有研究一种利用从客户端视频重建的点云来优化服务器的线云地图的方法,因为图像坐标上的任何观察点都不可用以防止反转攻击,即3D线的可逆性。合成和真实数据的实验结果表明,我们的Visual SLAM框架实现了预期的隐私保护的形成和实时性能使用线云地图。
2020-07-27 cs.CV
RSL-BA: Rolling Shutter Line Bundle Adjustment
Hunan University(湖南大学);Westlake University(西湖大学);Dreame Technology Company(追觅科技公司)
本文提出首个基于线特征的卷帘快门光束法平差方法 RSL-BA,建立 Plücker 线投影理论并推导稳定重投影误差,能避免三种退化情形,在合成与真实数据上达到与点方法相当的精度和效率。
2024-08-10 cs.CV
Object-Centric Photometric Bundle Adjustment with Deep Shape Prior
The Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
从图像序列重建3D形状长期以来一直是计算机视觉中感兴趣的问题。经典的运动恢复结构(SfM)方法试图通过投影点位移和光束法平差来解决这个问题。最近,深度方法试图通过直接学习几何和外观之间的关系来解决这个问题。然而,这两种战略之间存在着巨大的差距。SfM从纯粹的几何角度来处理这个问题,没有考虑物体形状的先验。现代的深度方法通常会完全抛弃几何约束,从而使结果不可靠。在本文中,我们努力将这两种看似不同的策略结合在一起。我们将学习的形状先验以深度形状生成器的形式引入到光度束调整(PBA)中,并建议在基于优化的推理框架内容纳由形状先验生成的完整3D形状,展示了令人印象深刻的结果。
2017-11-04 cs.CV
A Game of Bundle Adjustment -- Learning Efficient Convergence
Technion(以色列理工学院);Reality Labs, Meta inc.(Meta公司Reality Labs);Cornel-Tech(康奈尔科技学院)
针对经典光束法平差中Levenberg-Marquardt算法启发式选取阻尼因子导致迭代多、计算成本高的问题,提出将其建模为强化学习博弈任务,训练智能体选择阻尼因子,显著减少收敛迭代次数且可与其他加速方法集成。
2023-08-25 cs.CV
Power Variable Projection for Initialization-Free Large-Scale Bundle Adjustment
Munich Center for Machine Learning(慕尼黑机器学习中心);Technical University of Munich(慕尼黑工业大学);Hanyang University(汉阳大学)
针对现有光束平差求解器依赖初始化的问题,提出幂次变量投影法,结合幂级数逆展开与黎曼流形优化,首次实现无需初始化的大规模可扩展光束平差,在BAL数据集上速度与精度达当前最优。
2024-08-13 cs.CV
Revisit Self-supervised Depth Estimation with Local Structure-from-Motion
Michigan State University(密歇根州立大学)
本文提出用局部SfM替代传统损失驱动的自监督深度估计,通过bundle-RANSAC-adjustment联合优化位姿与深度调整,并用无神经网络NeRF进行稠密三角化,首次证明5帧内自监督即可提升SoTA监督模型性能。
2024-08-06 cs.CV
TrackNeRF: Bundle Adjusting NeRF from Sparse and Noisy Views via Feature Tracks
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);University of Oxford(牛津大学);Snap Inc.(Snap公司)
TrackNeRF通过引入跨视角特征轨迹并强制重投影一致性,实现全局一致的几何重建和更精确的位姿优化,在稀疏和噪声视角下显著优于现有方法。
2024-08-20 cs.CV
iMatching: Imperative Correspondence Learning
University at Buffalo(布法罗大学);Massachusetts Institute of Technology(麻省理工学院);InnoPeak Technology(映诺科技)
本文提出了一种用于特征对应关系学习的自监督方案 iMatching,通过将问题表述为双层优化并利用束调整的重投影误差作为监督信号,无需任何标签即可在连续视频上训练,在特征匹配和位姿估计任务上比 SOTA 模型平均提升 30% 的准确率。
2025-01-28 cs.CV
A Unified Framework of Bundle Adjustment and Feature Matching for High-Resolution Satellite Images
Ohio State University(俄亥俄州立大学)
光束法平差(BA)是一种用于改善卫星图像传感器方位的技术,而平差精度与特征匹配结果相关。在弱纹理/重复纹理中,特征匹配通常包含很高的不确定性,而BA结果有助于减少这些不确定性。为了计算更精确的方向,本文将BA和特征匹配结合在一个统一的框架中,并将其统一表示为一个全局能量函数的优化,使得BA和特征匹配的解相互约束。为了避免退化的优化,我们提出了一个包含的解决方案,打破了两步子优化的全局能量函数的优化,并计算每个子优化的局部最小值在增量的方式。多视角高分辨率卫星图像上的实验表明,我们提出的方法优于国家的最先进的定向技术,或没有准确的最小二乘匹配。
2021-07-01 cs.CV
CBARF: Cascaded Bundle-Adjusting Neural Radiance Fields from Imperfect Camera Poses
Tsinghua University(清华大学);NetEase Fuxi AI Lab(网易伏羲人工智能实验室);University of Queensland(昆士兰大学)
针对不完美相机位姿导致NeRF新视角合成质量下降的问题,提出CBARF框架,通过级联束调整和邻居替换策略优化位姿,并用密度体素网格重建场景,实现最先进的位姿优化和新视角合成性能。
2023-10-15 cs.CV
Large Scale Photometric Bundle Adjustment
Snap, Inc.(Snap公司);Snap Group Ltd.(Snap集团有限公司)
直接方法已经在视觉里程计和SLAM上显示出希望,从而导致比基于特征的方法更高的准确性和鲁棒性。然而,离线三维重建从互联网图像尚未受益于联合,光度优化密集的几何形状和相机参数。缺乏亮度恒定性和数据量庞大等问题使这成为一项更具挑战性的任务。这项工作提出了一个框架,用于联合优化数百万个场景点和数百个摄像机姿势和intrinsic,使用的光度成本是不变的局部照明变化。在度量重建精度的提高,它赋予基于特征的光束法平差的大规模坦克和寺庙的基准证明。我们进一步展示了互联网照片集的质量重建改进,具有挑战性的多样性照明和相机的内在。
2020-09-10 cs.CV
Efficient Second-Order Plane Adjustment
Meituan(美团)
平面通常用于深度传感器的3D重建,例如RGB-D相机和LiDAR。本文主要研究如何估计最优平面和传感器位姿,以最小化点到平面的距离。由此产生的最小二乘问题在文献中被称为平面平差(PA),这是视觉重建中的光束法平差(BA)的对应物。采用迭代法求解这些最小二乘问题。通常情况下,牛顿法很少用于大规模的最小二乘问题,由于高计算复杂性的海森矩阵。相反,通常采用使用Hessian矩阵的近似的方法,例如Levenberg-Marquardt(LM)方法。本文对这一根深蒂固的观念提出了挑战。我们采用牛顿法来有效地解决PA问题。具体而言,给定姿势,最优平面具有封闭形式的解决方案。因此,我们可以从成本函数中消除平面,这显著减少了变量的数量。此外,由于最优平面是位姿的函数,因此该方法实际上确保了在每次迭代时可以获得当前估计位姿的最优平面,这有利于收敛。困难在于如何有效地计算Hessian矩阵和所得成本的梯度。本文提供了一个有效的解决方案。实证评估表明,我们的算法收敛速度显着快于广泛使用的LM算法。
2022-11-21 cs.CV cs.RO
Stable and Scalable Bundle Adjustment of Holistic 3D Structures
ETH Zurich(苏黎世联邦理工学院);Microsoft Spatial AI Lab(微软空间人工智能实验室);Australian National University(澳大利亚国立大学);Lund University(隆德大学)
本文提出统一框架扩展光束平差法,将高阶几何关系建模为类相机实体,保留稀疏性并提升稳定性,在相当运行时下生成更丰富三维结构与更高几何精度。
2026-09-04 cs.CV
Multi-View Large-Scale Bundle Adjustment Method for High-Resolution Satellite Images
The Ohio State University(俄亥俄州立大学)
在给定足够多的多视影像对应点(也称为连接点)和地面控制点(GCP)的情况下,高分辨率卫星影像的光束法平差用于在统一的大地测量框架内精确确定每幅卫星影像的方位或最常用的几何参数有理多项式系数(RPC),这在许多摄影测量和计算机视觉应用中是非常关键的。然而,越来越多的高分辨率星载光学传感器给光束法平差带来了两个挑战:1)来自不同卫星相机的图像可能具有不同的成像日期、视角、分辨率等,2)大比例尺测图区域总是对应于大量的光束法平差改正(包括RPC偏差和物方空间点坐标)。由于计算机内存的限制,很难在同一时间细化所有的校正。因此,如何在大范围内有效地实现光束法平差就显得尤为重要。本文通过两个步骤特别讨论了多视图大范围光束法平差问题:1)为获得不同卫星影像间的稳健连接点,设计了一种基于平面纠正和极线约束的多视点、多源连接点匹配算法,该算法能够补偿卫星影像间的几何和局部非线性辐射失真,(2)在大范围光束法平差中,对于几十万甚至几百万个变量的光束法平差改正,我们采用了一种有效的方法,只需要很少的计算机内存。在在轨和离轨卫星数据集上的实验表明,该方法能够计算亚像元精度的光束法平差结果。
2019-05-22 cs.CV eess.IV
Square Root Marginalization for Sliding-Window Bundle Adjustment
Technical University of Munich(慕尼黑工业大学)
在本文中,我们提出了一种新的平方根滑动窗口光束法平差适用于实时测距应用。平方根公式贯穿于我们基于优化的滑动窗口估计的三个主要方面:对于束平差,我们用零空间投影消除地标变量;为了存储边缘化先验,我们采用Hessian矩阵平方根;当边缘化旧姿势时,我们避免形成正规方程,并直接用专门的QR分解更新平方根先验。我们表明,建议的平方根边缘化是代数上等同于传统的使用舒尔补(SC)的海森。此外,它优雅地处理秩亏雅可比矩阵产生一个事先等价的SC与Moore-Penrose逆。我们对真实世界数据集的视觉和视觉惯性里程计的评估表明,所提出的估计比基线快36%。它还表明,在单精度的,传统的基于海森边缘化导致数值故障和精度降低。我们分析了边缘化的数值特性,然后解释为什么我们的平方根形式不会受到同样的影响,因此需要更好的性能。
2021-09-05 cs.CV
Rotation-Only Bundle Adjustment
University of Zaragoza(萨拉戈萨大学)
我们提出了一种新的方法来估计全局旋转的相机独立的位置和场景结构。当两个校准的相机观察到五个或更多的相同点时,它们的相对旋转可以独立于平移而恢复。我们将这个想法扩展到多个视图,从而将旋转估计与平移和结构估计解耦。我们的方法提供了几个好处,如完全免疫不准确的翻译和结构,和精度提高时,使用旋转平均。我们对合成数据集和真实数据集进行了广泛的评估,当与最先进的旋转平均方法一起使用时,证明了准确性的一致性和显著性。
2021-03-27 cs.CV
BA-Net: Dense Bundle Adjustment Network
本文介绍了一种网络架构,以解决结构从运动(SfM)的问题,通过特征度量光束法平差(BA),明确地强制执行多视图几何约束的形式特征度量误差。整个管道是可微的,因此网络可以学习适当的特征,使BA问题更易于处理。此外,这项工作引入了一种新的深度参数化来恢复密集的每像素深度。该网络首先根据输入图像生成几个基本深度图,并通过特征度量BA将最终深度优化为这些基本深度图的线性组合。基础深度图生成器也通过端到端训练来学习。整个系统很好地结合了领域知识(即硬编码的多视图几何约束)和深度学习(即特征学习和基础深度图学习),以解决具有挑战性的密集SfM问题。在大规模真实数据上的实验证明了该方法的有效性。
2019-08-25 cs.CV
Dynamic Visual SLAM using a General 3D Prior
Center for Robotics, University of Bonn(博恩大学机器人中心);MAVLab, TU Delft(代尔夫特理工大学MAVLab);Lamarr Institute for Machine Learning and Artificial Intelligence(兰玛尔人工智能与机器学习研究所)
本文提出一种利用通用3D先验的单目视觉SLAM系统,通过结合前馈重建模型与集束调整,提升动态场景中相机姿态估计的鲁棒性。
2025-12-07 cs.CV cs.RO
DeepSFM: Structure From Motion Via Deep Bundle Adjustment
Fudan University(复旦大学);Google Research(谷歌研究院);Nuro, Inc(Nuro公司)
运动恢复结构(SfM)是计算机视觉的一个重要问题,深度学习尚未很好地解决这个问题。其中一个有前途的趋势是应用明确的结构约束,如三维成本体积,到网络中。然而,现有的方法通常假设准确的摄像机位姿从GT或其他方法,这是不现实的,在实践中。在这项工作中,我们设计了一个物理驱动的架构,即DeepSFM,灵感来自传统的捆绑调整(BA),它包括两个基于成本体积的架构,分别用于深度和姿态估计,迭代运行,以改善两者。当与学习组件结合时,对深度(结构)和姿势(运动)的明确约束带来了传统BA和新兴深度学习技术的优点。在各种数据集上的大量实验表明,我们的模型在深度和姿态估计方面都达到了最先进的性能,并且对较少的输入和初始化中的噪声具有出色的鲁棒性。
2020-08-10 cs.CV
Flight Dynamics-based Recovery of a UAV Trajectory using Ground Cameras
Computer Vision Laboratory, EPFL(洛桑联邦理工学院计算机视觉实验室);Microsoft Research(微软研究院)
我们提出了一种新的方法来估计飞行物体的6自由度轨迹,如四旋翼无人机在三维空域使用多个固定的地面摄像机监测。它是基于一个新的运动恢复结构制定一个单一的移动点的三维重建与已知的运动动力学。我们的主要贡献是一个新的光束法平差程序,除了优化相机的姿势,正则化的点轨迹使用之前的运动动力学(或特别是飞行动力学)的基础上。此外,我们可以推断出发送到无人机自动驾驶仪的基本控制输入,该输入决定了其飞行轨迹。我们的方法既不需要完美的单视图跟踪,也不需要跨视图的外观匹配。为了鲁棒性,我们允许跟踪器在每个视频中每帧生成多个检测。使用鲁棒的多视图三角测量来估计视频之间的真实检测和数据关联,并随后在我们的光束法平差过程中进行细化。仿真数据的定量评价和室内、室外场景的真实视频实验表明了该方法的有效性。
2017-11-21 cs.CV cs.RO
Robust RPC Bundle Adjustment for Multi-Date Satellite Imagery with Season-Invariant Correspondences
Eurecat(欧洲电信技术研究中心);Universidad de la República(乌拉圭共和国大学);AMIAD;Institut Universitaire de France(法国大学研究院);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎萨克雷高等师范学校);Centre Borelli(博雷利中心)
该研究针对多日期卫星图像的RPC优化问题,提出结合季节不变对应关系的鲁棒RPC光束平差流程,在WorldView-3图像实验中优于开源基线,可更高效利用多日期卫星图像。
2026-07-30 cs.CV
NFL-BA: Near-Field Light Bundle Adjustment for SLAM in Dynamic Lighting
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of California San Diego(加州大学圣地亚哥分校)
NFL-BA通过显式建模近场照明提升动态光照下SLAM性能,显著提高相机跟踪和建图效果。
2026-01-23 cs.CV
VGGTFace: Topologically Consistent Facial Geometry Reconstruction in the Wild
Xin Ming, Yuxuan Han, Tianyu Huang, Feng Xu(作者)
VGGTFace通过引入VGGT和Pixel3DMM实现高效拓扑一致的面部几何重建,适用于真实世界多视角图像。
2025-11-26 cs.CV
MegBA: A GPU-Based Distributed Library for Large-Scale Bundle Adjustment
Megvii Inc.(旷视科技有限公司);University of Edinburgh(爱丁堡大学)
大规模光束法平差需要大量的内存和计算资源,现有的光束法平差库难以满足这一需求。在本文中,我们提出了MegBA,基于GPU的分布式BA库。MegBA通过自动划分大型BA问题,并将子问题的求解器分配给并行节点,可以提供大量的聚合内存。并行求解器采用分布式预条件共轭梯度法和分布式Schur消元法,可以高效地计算出与单节点计算精度相当的有效解。为了加速BA计算,我们使用商品GPU上可用的高性能原语实现端到端BA计算。MegBA公开了易于使用的API,与现有的流行BA库兼容。实验表明,MegBA可以在几个大规模BA基准测试中显著优于最先进的BA库:Ceres(41.45 $\times$),RootBA(64.576 $\times$)和DeepLM(6.769 $\times$)。MegBA的代码可在https://github.com/MegviiRobot/MegBA上获得。
2022-08-02 cs.CV
Quantum Levenberg--Marquardt Algorithm for optimization in Bundle Adjustment
Lund University(隆德大学)
在本文中,我们开发了一个量子优化算法,并使用它来解决光束法平差问题的模拟量子计算机。光束法平差是优化摄像机姿态和传感器特性的过程,以最佳地重建三维结构和观察参数。这个问题通常使用Levenberg-Marquardt算法的一些实现来解决。在这种情况下,我们实现了一个量子算法求解线性系统的正常方程,计算优化步骤Levenberg-马夸特。这一过程是目前光束法平差算法复杂性的瓶颈。所提出的量子算法大大降低了这个操作的复杂性方面的点的数量。我们研究了用于束调整的玩具模型的9种配置,限制为10个点和2个摄像头。这个优化问题的解决都使用稀疏Levenberg-Marquardt算法和我们的量子实现。给出了由此产生的解决方案,显示出改进的收敛速度,以及理论加速和在当前量子计算机上成功运行算法的概率的分析。所提出的量子算法是使用量子计算算法以解决计算机视觉中的复杂优化问题的开创性实现,特别是光束法平差,其提供了几种进一步研究的途径。
2022-03-04 cs.CV quant-ph