Motion Capture from Pan-Tilt Cameras with Unknown Orientation
EPFL(洛桑联邦理工学院);Balgrist University Hospital(巴尔格里斯特大学医院);University of Zurich(苏黎世大学);The University of British Columbia(英属哥伦比亚大学)
在运动中,例如高山滑雪,教练想知道他们的运动员和竞争对手的速度和各种生物力学变量。现有的方法要么使用身体佩戴的传感器,这是繁琐的设置,或手动图像注释,这是耗时的。我们提出了一种方法,估计运动员的全球3D位置和铰接姿态使用多个摄像机。与经典的无标记运动捕捉解决方案相比,我们允许相机自由旋转,以便可以覆盖大的捕捉体积。在第一步中,预测滑雪者周围的紧密作物并将其馈送到2D姿态估计器网络。然后使用光束法平差方法重建3D姿态。我们的解决方案的关键是在一个联合优化与运动员的姿势和条件的相对背景运动计算与特征跟踪的Pan-Escaper相机的旋转估计。此外,我们创建了一个新的高山滑雪数据集,并使用2D姿势标签对其进行注释,以克服现有数据集的缺点。我们的方法仅从图像中估计准确的全局3D姿势,并为教练提供了一个自动和快速的工具来测量和提高运动员的表现。
2019-08-30 cs.CV
Towards Smart Point-and-Shoot Photography
Shenzhen University(深圳大学);Guangdong Provincial Key Laboratory of Intelligent Information Processing(广东省智能信息处理重点实验室);Guangdong-Hong Kong Joint Laboratory for Big Data Imaging and Communication(粤港澳大数据成像与通信联合实验室);Shenzhen Key Laboratory of Digital Creative Technology(深圳数字创意技术重点实验室);Loughborough University(罗汉普顿大学);University of Nottingham(诺丁汉大学);Everimaging Ltd(艾维影像有限公司)
本文提出智能傻瓜式摄影系统SPAS,通过基于CLIP的构图质量评估模型和相机位姿调整模型实时引导用户调整拍摄角度,以帮助普通用户拍出构图更好的照片。
2025-05-06 cs.CV
Multi-View Large-Scale Bundle Adjustment Method for High-Resolution Satellite Images
The Ohio State University(俄亥俄州立大学)
在给定足够多的多视影像对应点(也称为连接点)和地面控制点(GCP)的情况下,高分辨率卫星影像的光束法平差用于在统一的大地测量框架内精确确定每幅卫星影像的方位或最常用的几何参数有理多项式系数(RPC),这在许多摄影测量和计算机视觉应用中是非常关键的。然而,越来越多的高分辨率星载光学传感器给光束法平差带来了两个挑战:1)来自不同卫星相机的图像可能具有不同的成像日期、视角、分辨率等,2)大比例尺测图区域总是对应于大量的光束法平差改正(包括RPC偏差和物方空间点坐标)。由于计算机内存的限制,很难在同一时间细化所有的校正。因此,如何在大范围内有效地实现光束法平差就显得尤为重要。本文通过两个步骤特别讨论了多视图大范围光束法平差问题:1)为获得不同卫星影像间的稳健连接点,设计了一种基于平面纠正和极线约束的多视点、多源连接点匹配算法,该算法能够补偿卫星影像间的几何和局部非线性辐射失真,(2)在大范围光束法平差中,对于几十万甚至几百万个变量的光束法平差改正,我们采用了一种有效的方法,只需要很少的计算机内存。在在轨和离轨卫星数据集上的实验表明,该方法能够计算亚像元精度的光束法平差结果。
2019-05-22 cs.CV eess.IV
GenDoP: Auto-regressive Camera Trajectory Generation as a Director of Photography
Zhejiang University(浙江大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Stanford University(斯坦福大学);The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学)
本文提出GenDoP,一个基于自回归Transformer的相机轨迹生成模型,并构建了包含29K真实镜头的DataDoP数据集,实现了文本引导下具有艺术表现力和高可控性的相机运动生成。
2025-04-10 cs.CV
Real-Time Bundle Adjustment for Ultra-High-Resolution UAV Imagery Using Adaptive Patch-Based Feature Tracking
German Aerospace Center (DLR)(德国航空航天中心);University of Twente(特文特大学)
本文提出一种基于自适应分块特征跟踪的实时光束法平差框架,直接处理全分辨率无人机影像,利用GNSS/IMU和DSM动态跟踪图像块并限定滑动重叠簇优化,在MACS 50MP数据集上无需GPU即可2秒内完成高精度平差。
2025-11-08 cs.CV math.OC
CMax-SLAM: Event-based Rotational-Motion Bundle Adjustment and SLAM System using Contrast Maximization
TU Berlin(柏林工业大学);Einstein Center Digital Future (ECDF)(爱因斯坦数字未来中心);Science of Intelligence (SCIoI) Excellence Cluster(科学智能卓越集群)
本文提出首个基于事件相机的旋转光束法平差方法,利用对比最大化框架构建CMax-SLAM系统,并通过合成与真实数据验证其性能。
2024-03-12 cs.CV cs.RO
Marginalized Bundle Adjustment: Multi-View Camera Pose from Monocular Depth Estimates
Google(谷歌);Michigan State University(密歇根州立大学)
本文提出边缘束调整方法,利用单目深度估计的密集深度图,有效整合到结构从运动任务中,提升多视角3D视觉性能。
2026-02-21 cs.CV
Spatiotemporal Bundle Adjustment for Dynamic 3D Human Reconstruction in the Wild
The Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
束平差联合优化相机的内、外参数和3D点三角剖分以重建静态场景。然而,三角测量约束对于在多个非同步视频中捕获的移动点是无效的,并且光束法平差不是设计用于估计相机之间的时间对准。我们提出了一个时空束平差框架,共同优化四个耦合的子问题:估计相机intrinsics和extrinsics,三角测量静态3D点,以及子帧相机之间的时间对齐和计算动态点的3D轨迹。我们联合优化的关键是在重建管道中仔细整合基于物理的运动先验,并在人类主体的大型运动捕捉语料库上进行验证。我们设计了一个增量重建和对齐算法,严格执行运动之前在时空光束法平差。该算法进一步通过分而治之方案使其更有效,同时仍保持高精度。我们应用该算法来重建三维运动轨迹的人体在动态事件中捕获的多个未校准和不同步的摄像机在野外。为了使重建在视觉上更具可解释性,我们将统计3D人体模型拟合到异步视频流中。与基线相比,拟合明显受益于所提出的时空束调整过程。由于视频以子帧精度对齐,因此我们以比输入视频高得多的时间分辨率重建3D运动。
2020-07-24 cs.CV
Distributed bundle adjustment with block-based sparse matrix compression for super large scale datasets
China University of Geosciences(Wuhan)(中国地质大学(武汉));Mirauge3D Technology(Mirauge3D科技公司);Jiantong Surveying(建通测量公司);Mirauge3D Technology Inc.(Mirauge3D科技股份有限公司)
本文提出一种基于块稀疏矩阵压缩的分布式光束法平差方法,通过精确LM算法在分布式系统上处理超大规模数据集,首次实现118万张真实图像和1000万张合成图像的并行平差。
2023-08-13 cs.CV cs.DC
BiasBench: A reproducible benchmark for tuning the biases of event cameras
Cognitive Systems Group, University of Tübingen(图宾根大学认知系统组)
研究针对事件相机偏差调整工具少的问题,提出BiasBench这一包含多场景的可重现事件数据集,并展示三个场景及下游应用质量指标,还提出基于强化学习的方法促进在线偏差调整。
2026-07-10 cs.CV cs.RO
Explore the LiDAR-Camera Dynamic Adjustment Fusion for 3D Object Detection
University of Chinese Academy of Sciences(中国科学院大学);Baidu Inc(百度公司)
针对相机与激光雷达模态差异导致的融合难题,本文提出动态调整融合技术,含三相域对齐模块、改进表示获取及自适应学习,在nuScenes上取得与最先进方法相当的竞争力。
2024-07-22 cs.CV
Pointless Global Bundle Adjustment With Relative Motions Hessians
Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);LASTIG(LASTIG实验室);ENSG(国立地理科学学院);IGN(法国国家地理与林业信息研究所)
本文提出一种不依赖特征重投影误差的新型全局光束法平差方法,利用相对运动局部平差产生的海森矩阵加权目标函数,在保持经典BA精度的同时提升效率,可视为运动平均方法的升级版。
2023-04-11 cs.CV
Large Scale Photometric Bundle Adjustment
Snap, Inc.(Snap公司);Snap Group Ltd.(Snap集团有限公司)
直接方法已经在视觉里程计和SLAM上显示出希望,从而导致比基于特征的方法更高的准确性和鲁棒性。然而,离线三维重建从互联网图像尚未受益于联合,光度优化密集的几何形状和相机参数。缺乏亮度恒定性和数据量庞大等问题使这成为一项更具挑战性的任务。这项工作提出了一个框架,用于联合优化数百万个场景点和数百个摄像机姿势和intrinsic,使用的光度成本是不变的局部照明变化。在度量重建精度的提高,它赋予基于特征的光束法平差的大规模坦克和寺庙的基准证明。我们进一步展示了互联网照片集的质量重建改进,具有挑战性的多样性照明和相机的内在。
2020-09-10 cs.CV
Back on Track: Bundle Adjustment for Dynamic Scene Reconstruction
TU Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心);University of Oxford(牛津大学);Microsoft(微软公司)
针对动态场景中传统SLAM束调整失效问题,提出统一框架BA-Track,利用3D点跟踪器分解相机与物体运动,并结合束调整与深度细化实现静态与动态元素的尺度一致稠密重建。
2025-11-05 cs.CV
LiFCal: Online Light Field Camera Calibration via Bundle Adjustment
Technical University of Munich(慕尼黑工业大学);Karlsruhe University of Applied Sciences(卡尔斯鲁厄应用技术大学)
提出用于MLA光场相机的在线无靶标标定流程LiFCal,通过在微图像点上的单一光束法平差联合优化相机内参、3D点坐标与位姿,性能媲美SOTA且利于深度估计和SLAM等下游任务。
2024-08-21 cs.CV eess.IV
Self-Supervised Learning of Depth and Ego-motion with Differentiable Bundle Adjustment
New York University(纽约大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
学习仅从RGB输入预测场景深度和相机运动是一项具有挑战性的任务。大多数现有的基于学习的方法以监督的方式处理该任务,这需要获取昂贵的地面实况数据。最近的方法探索了在自监督学习框架中估计场景深度和相机姿态的可能性。尽管令人鼓舞的结果显示,当前的方法要么学习从单眼视频的深度和姿势,通常这样做,而不强制执行场景结构和相机运动之间的多视图几何约束,或需要立体序列作为输入,其中地面实况帧间运动参数需要是已知的。在本文中,我们建议通过最小化特征度量误差来结合可微束调整(BA)层来联合优化场景深度和相机运动,然后形成具有视图合成的光度一致性损失作为最终的监督信号。所提出的方法只需要未标记的单目视频作为输入,在KITTI和Cityscapes数据集上进行的大量实验表明,我们的方法在使用单目视频作为输入的自监督方法中取得了最先进的结果,甚至比从校准的立体序列(即姿势监督)中学习的方法更有优势。
2019-09-28 cs.CV
Rotation-Only Bundle Adjustment
University of Zaragoza(萨拉戈萨大学)
我们提出了一种新的方法来估计全局旋转的相机独立的位置和场景结构。当两个校准的相机观察到五个或更多的相同点时,它们的相对旋转可以独立于平移而恢复。我们将这个想法扩展到多个视图,从而将旋转估计与平移和结构估计解耦。我们的方法提供了几个好处,如完全免疫不准确的翻译和结构,和精度提高时,使用旋转平均。我们对合成数据集和真实数据集进行了广泛的评估,当与最先进的旋转平均方法一起使用时,证明了准确性的一致性和显著性。
2021-03-27 cs.CV
NFL-BA: Near-Field Light Bundle Adjustment for SLAM in Dynamic Lighting
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of California San Diego(加州大学圣地亚哥分校)
NFL-BA通过显式建模近场照明提升动态光照下SLAM性能,显著提高相机跟踪和建图效果。
2026-01-23 cs.CV
Visual SLAM: Why Bundle Adjust?
School of Computer Science, The University of Adelaide(阿德莱德大学计算机科学学院);School of Electrical Engineering and Computer Science, Queensland University of Technology(昆士兰科技大学电气与计算机科学学院)
光束法平差在基于特征的单目SLAM中起着至关重要的作用。在许多现代SLAM流水线中,执行束调整以从输入特征轨迹估计6D0F相机轨迹和3D地图(3D点云)。然而,两个基本的弱点困扰基于光束法平差的SLAM系统。首先,需要仔细初始化光束法平差意味着所有变量,特别是地图,必须尽可能准确地估计和维护随着时间的推移,这使得整个算法繁琐。其次,由于估计3D结构(其需要足够的基线)是光束法平差中固有的,因此SLAM算法在慢运动或纯旋转运动的时段期间将遇到困难。我们提出了一个不同的SLAM优化核心:而不是捆绑调整,我们进行旋转平均,以逐步优化相机的方向。给定的方向,我们估计相机的位置和3D点通过一个准凸公式,可以有效地解决和全球最佳。我们的方法不仅消除了以关键帧速率估计和维护位置和3D地图的需要(这使得SLAM系统更简单),而且更能够处理慢动作或纯旋转运动。
2019-06-14 cs.CV
An End-to-End Network for Upright Adjustment of Panoramic Images
Southwest University(西南大学);Hiroshima City University(广岛市立大学)
本文提出一种端到端网络,通过朝向估计、LUT在线生成和轻量级GAN重建三个模块,首次实现全景图像实时在线竖直校正,并提高了小角度误差精度。
2023-04-12 cs.CV
URS-NeRF: Unordered Rolling Shutter Bundle Adjustment for Neural Radiance Fields
Wuhan University(武汉大学);National University of Singapore(新加坡国立大学)
提出一种用于NeRF的无序卷帘快门束调整方法,通过估计相机位姿和速度恢复RS图像物理形成,结合由粗到细策略校正异常位姿,消除了序列输入限制并提升了3D重建质量。
2024-03-25 cs.CV
Deblurring Neural Radiance Fields with Event-driven Bundle Adjustment
Beihang University(北京航空航天大学);Beijing Institute of Technology(北京理工大学)
本文提出EBAD-NeRF,利用事件相机与RGB混合数据联合优化位姿和NeRF参数,通过事件损失和模糊损失显式建模运动模糊,实现更准确的相机轨迹和更清晰的三维重建。
2024-08-01 cs.CV
Revisiting Rolling Shutter Bundle Adjustment: Toward Accurate and Fast Solution
Hunan University(湖南大学);Shanghai AI Laboratory(上海人工智能实验室);Jiangxi Provincial Natural Resources Cause Development Center(江西省自然资源事业发展中心)
本文针对卷帘快门相机的光束法平差问题,提出结合图像点归一化与视觉残差协方差标准化加权的NW-RSBA方法,并利用雅可比稀疏性和舒尔补加速,在避免平面退化的同时实现更高精度和效率。
2023-04-18 cs.CV
Visual Comfort Aware-Reinforcement Learning for Depth Adjustment of Stereoscopic 3D Images
KAIST(韩国科学技术院)
深度调节的目的是增强立体3D图像的视觉体验,提高视觉舒适度和深度感知。对于人类专家来说,深度调整过程是一系列迭代决策。人类专家迭代地调整深度,直到他对视觉舒适度和感知深度这两个水平都满意为止。在这项工作中,我们提出了一种新的深度强化学习(DRL)为基础的深度调整方法命名为VCA-RL(视觉舒适意识强化学习),明确模拟人类顺序决策的深度编辑操作。我们制定的深度调整过程作为一个马尔可夫决策过程中的行动被定义为相机移动操作,以控制左右相机之间的距离。我们的代理是训练的基础上的指导下,客观的视觉舒适度评估指标,学习的最佳序列的相机运动动作的感知方面,在立体观看。通过大量的实验和用户研究,我们在三个不同的S3 D数据库上展示了我们的VCA-RL模型的有效性。
2021-04-14 cs.CV eess.IV
Structure from Motion for Panorama-Style Videos
University of Washington(华盛顿大学);Facebook Reality Labs(Facebook现实实验室)
我们提出了一种新的运动恢复结构流水线,能够重建准确的相机姿态,以实现全景式视频捕捉,而无需事先进行相机内部校准。虽然双曲面重建是一种常见且方便的方法,但由于旋转占主导地位的运动和视图之间的基线较小,以前的重建方法无法获得准确的重建。我们的方法是建立在假设摄像机的运动近似对应于一个球体上的运动,我们引入了三种新的相对姿态的方法来估计的基本矩阵和摄像机失真的球面运动。这些解算器是高效和鲁棒的,并且为光束法平差提供了良好的初始化。在执行光束法平差时,使用相机姿态的软先验来阻止与球面运动假设的大偏差,这允许相机在没有良好三角测量的3D点的情况下保持适当的约束以进行优化。为了验证所提出的方法的有效性,我们评估我们的方法在合成和真实世界的数据,并证明相机构成是足够准确的多视点立体。
2019-06-08 cs.CV
Towards Initialization-free Calibrated Bundle Adjustment
Lund University(隆德大学)
本文提出了一种利用已知相机校准的无初始化校准SfM方法,通过引入成对相对旋转估计来实现近等距重建,从而提高三维重建的准确性。
2026-05-20 cs.CV
Initialization-Free Bundle Adjustment Revisited: A Controlled Experimental Study
University of Oxford(牛津大学);Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Hanyang University(汉阳大学);Lund University(隆德大学)
本文通过统一评估框架开展受控实验,揭示无需初始化的光束平差法存在优化-重建差距,明确其核心挑战是获取可可靠度量升级的投影重建,为该领域研究提供了实验基础。
2026-08-19 cs.CV
Stochastic Bundle Adjustment for Efficient and Scalable 3D Reconstruction
Hong Kong University of Science and Technology(香港科技大学);Everest Innovation Technology(珠峰创新科技)
目前的光束法平差求解器,如Levenberg-Marquardt(LM)算法是有限的瓶颈,在解决减少相机系统(RCS)的尺寸是成比例的相机数量。当问题被放大时,这个步骤在计算上既不高效,也不适合单个计算节点。在这项工作中,我们提出了一个随机光束法平差算法,旨在分解的RCS近似内部的LM迭代,以提高效率和可扩展性。它首先重新制定的LM迭代的二次规划问题的聚类的可视性图通过引入跨类的等式约束。然后,我们建议将其松弛成一个机会约束问题,并通过抽样凸规划来解决它。松弛的目的是消除集群之间的相互依赖性体现的约束,使一个大的RCS可以分解成独立的线性子问题。在无序互联网图像集和序列SLAM图像集上的数值实验以及在大规模数据集上的分布式实验表明了该方法的高效性和可扩展性。代码发布于https://github.com/zlthinker/STBA。
2020-08-02 cs.CV
PoseDiffusion: Solving Pose Estimation via Diffusion-aided Bundle Adjustment
University of Oxford(牛津大学);Meta AI
本文提出PoseDiffusion,将SfM相机位姿估计建模为概率扩散过程并融合对极几何约束,可处理任意数量图像,在真实数据集上显著优于传统与学习方法且能跨数据集泛化。
2024-01-24 cs.CV
PRISM-VO: Scale-Aware Visual Odometry Using Photometric Plenoptic Bundle Adjustment
Technical University of Munich(慕尼黑工业大学);Karlsruhe University of Applied Sciences(卡尔斯鲁厄应用科学大学)
提出PRISM-VO,一种基于光度全光集束调整的纯优化稀疏光度视觉里程计,通过联合优化相机位姿和逆深度,实现精确的度量尺度重建,避免单目SLAM的尺度模糊。
2026-07-02 cs.CV
Event-based Mosaicing Bundle Adjustment
TU Berlin(柏林工业大学);Robotics Institute(机器人研究所);Einstein Center Digital Future(爱因斯坦数字未来中心);SCIoI Excellence Cluster(SCIoI卓越集群)
本文提出EMBA方法,利用块对角稀疏结构高效求解纯旋转事件相机的拼接光束法平差,无需图像化事件,显著降低光度误差并生成高质量全景图。
2024-09-11 cs.CV cs.RO eess.IV
Triangulation-Free Bundle Adjustment with Graduated Non-Convexity for Camera Pose Refinement from Coarse Priors
本文提出无三角化的分级非凸性光束平差法,避免先验误差固化,在单CPU上实现高精度相机位姿优化,抗扰动能力优于传统方法,效率远高于学习型优化器。
2026-08-24 cs.CV
Aesthetic Camera Viewpoint Suggestion with 3D Aesthetic Field
University of Waterloo(多伦多大学);City University of Hong Kong(香港城市大学)
本文提出基于3D审美场的视角建议方法,通过3D高斯散点网络将2D审美模型的知识蒸馏到3D空间,实现高效且无需密集捕获或RL探索的美观视角搜索。
2026-02-23 cs.CV
Automated Calibration of Mobile Cameras for 3D Reconstruction of Mechanical Pipes
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Calgary(卡尔加里大学)
这份手稿提供了一个新的框架校准的光学仪器,特别是移动相机,使用大规模的圆形黑色和白色的目标领域。介绍了新的方法,用于:(i)图像之间的目标匹配;(ii)调整目标中心的系统偏心误差;(iii)通过自由网络自校准光束法平差迭代改进校准解决方案。据观察,建议的目标匹配有效地匹配圆形目标在270个移动电话图像从一个完整的校准实验室具有鲁棒性的II型错误。建议的偏心调整,这只需要从两个视图的相机投影矩阵,表现同义可用的封闭形式的解决方案,这需要几个额外的对象空间目标信息的先验。最后,特别是对于移动设备的情况下,使用我们的框架获得的校准参数被发现优于现场校准估计的3D重建半径的机械管道(约45%的改善)。
2020-12-04 cs.CG cs.CV
Distributed Bundle Adjustment
IBM Research(IBM研究院);University of Washington(华盛顿大学);University of Missouri-Columbia(密苏里大学哥伦比亚分校)
计算机视觉中的光束法平差(BA)大多数方法要么是集中式的,要么是增量式的。这导致较差的缩放,并且随着图像的数量从运动运动恢复结构(SfM)以大尺度结构增长而影响解决方案的质量。此外,它们不能用于图像采集和处理必须分布的场景。我们解决这个问题,一个新的分布式BA算法。我们的分布式配方使用交替方向乘法器(ADMM),而且,由于每个处理器只看到一小部分的数据,我们表明,强大的配方提高性能。我们分析了所提出的算法的收敛性,并说明了数值性能,参数估计的准确性,以及在已知相机位置和方向地面实况的合成3D数据集的背景下分布式实现的可扩展性。结果是一个替代国家的最先进的集中式光束法平差算法合成和真正的三维重建问题。我们实现的运行时间与观察点的数量呈线性关系。
2017-08-26 cs.CV
Event-based Photometric Bundle Adjustment
Dept. of Electrical Engineering and Computer Science, Technische Universität Berlin(电气工程与计算机科学系,柏林技术大学);Robotics Institute Germany, Berlin, Germany(德国机器人研究所,柏林,德国)
本文提出EPBA,首个直接利用事件时空特性在亮度图上进行仅事件光度束调整的方法,通过LM求解器同时优化旋转与场景亮度,实验显示光度误差最多降低90%。
2025-07-07 cs.CV cs.RO eess.SP
Flight Dynamics-based Recovery of a UAV Trajectory using Ground Cameras
Computer Vision Laboratory, EPFL(洛桑联邦理工学院计算机视觉实验室);Microsoft Research(微软研究院)
我们提出了一种新的方法来估计飞行物体的6自由度轨迹,如四旋翼无人机在三维空域使用多个固定的地面摄像机监测。它是基于一个新的运动恢复结构制定一个单一的移动点的三维重建与已知的运动动力学。我们的主要贡献是一个新的光束法平差程序,除了优化相机的姿势,正则化的点轨迹使用之前的运动动力学(或特别是飞行动力学)的基础上。此外,我们可以推断出发送到无人机自动驾驶仪的基本控制输入,该输入决定了其飞行轨迹。我们的方法既不需要完美的单视图跟踪,也不需要跨视图的外观匹配。为了鲁棒性,我们允许跟踪器在每个视频中每帧生成多个检测。使用鲁棒的多视图三角测量来估计视频之间的真实检测和数据关联,并随后在我们的光束法平差过程中进行细化。仿真数据的定量评价和室内、室外场景的真实视频实验表明了该方法的有效性。
2017-11-21 cs.CV cs.RO
Benchmarking Efficient & Effective Camera Pose Estimation Strategies for Novel View Synthesis
Faculty of Electrical Engineering, Czech Technical University in Prague(布拉格捷克技术大学电子工程系);Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague(捷克技术大学信息技术、机器人与自动化研究所);University of Amsterdam(阿姆斯特丹大学)
本文提出一个基准测试,评估在新颖视角合成中高效且有效的相机姿态估计策略,通过减少特征数量和使用前馈网络结合经典SfM方法,实现效率与精度的平衡。
2026-10-16 cs.CV
SEE: See Everything Every Time -- Adaptive Brightness Adjustment for Broad Light Range Images via Events
AI Thrust, HKUST(GZ), China(香港科技大学(广州)人工智能 thrust);CUHK, HongKong, China(香港中文大学);DJI / Hasselblad(大疆创新 / 赫莱比克);Aalborg University, Denmark(奥尔堡大学)
针对现有事件数据图像增强研究仅聚焦低光场景的问题,本文提出基于事件的宽光范围图像自适应亮度调整框架,构建了含61万余张图像的SEE-600K数据集,实现了像素级灵活亮度调整且在多场景下表现稳健。
2025-10-01 cs.CV
Large Scale SfM with the Distributed Camera Model
University of Washington(华盛顿大学);West Virginia University(西弗吉尼亚大学);University of California Santa Barbara(加利福尼亚大学圣巴巴拉分校)
我们介绍了分布式相机模型,一种新的模型,从运动的结构(SfM)。该模型描述了图像观测的光线与光线的起源和方向,而不是像素。因此,所提出的模型是能够描述一个单一的相机或多个相机同时作为所有观察到的光线的集合。我们展示了分布式相机模型是如何推广的标准相机模型,并描述了一个通用的配方和解决方案的绝对相机构成的问题,适用于标准或分布式相机。所提出的方法计算的解决方案,是高达8倍的效率和强大的旋转奇点相比,gDLS。最后,该方法被用于一种新的大规模增量SfM管道,其中分布式摄像机被准确和鲁棒地合并在一起。该流水线是传统增量SfM的直接概括;然而,不是每次递增地添加一个相机来增长重建,而是通过添加分布式相机来增长重建。我们的流水线通过避免多次束调整迭代来高效地生成高度精确的重建,并且能够在22分钟内从15,000多张图像中计算出罗马的3D模型。
2016-12-01 cs.CV
Wide-Baseline Multi-Camera Calibration using Person Re-Identification
Carnegie Mellon University(卡内基梅隆大学)
我们解决了估计大环境宽基线场景的摄像机网络的3D姿态的问题,例如,用于建筑工地、体育场馆和公共场所的摄像机。这项任务是具有挑战性的,因为检测和匹配从两个非常不同的相机视图观察到的相同的3D关键点是困难的,使得标准的运动恢复结构(SfM)流水线不适用。在这种情况下,将场景中的人视为“关键点”并将它们跨不同的相机视图相关联可以是用于获得对应性的替代方法。基于这种直觉,我们提出了一种方法,使用的想法,从人重新识别(重新ID)的宽基线相机校准。我们的方法首先采用了一个re-ID的方法来关联人的边界框跨相机,然后将限界框对应转换为点对应,最后解决相机姿态使用多视图几何和光束法平差。由于我们的方法不需要专门的校准目标,除了可见的人,它适用于需要频繁校准更新的情况。我们对从不同大小的场景,相机设置(室内和室外)和人类活动(步行,打篮球,建筑)捕获的数据集进行了广泛的实验。实验结果表明,我们的方法实现了类似的性能标准的SfM方法依赖于手动标记的点对应。
2021-04-17 cs.CV
Shallow camera pipeline for night photography rendering
University of Milano - Bicocca(米兰比可卡大学)
我们引入了一个相机管道,用于在低光条件下渲染视觉上令人愉悦的照片,作为NTIRE2022夜间摄影渲染挑战的一部分。鉴于任务的性质,其中目标是由专家摄影师口头定义的,而不是依赖于明确的地面实况图像,我们设计了一个手工制作的解决方案,其特征在于浅结构和低参数计数。我们的流水线利用局部光增强器作为高动态范围校正的一种形式,然后对图像直方图进行全局调整,以防止结果被冲掉。我们按比例将图像去噪应用于较暗的区域,在那里它更容易被感知,而不会丢失较亮区域的细节。该解决方案在比赛中获得第五名,优先投票数与其他参赛作品相当,基于深度卷积神经网络。代码可在www.github.com/AvailableAfterAcceptance上获得。
2022-04-19 cs.CV
Robust RPC Bundle Adjustment for Multi-Date Satellite Imagery with Season-Invariant Correspondences
Eurecat(欧洲电信技术研究中心);Universidad de la República(乌拉圭共和国大学);AMIAD;Institut Universitaire de France(法国大学研究院);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎萨克雷高等师范学校);Centre Borelli(博雷利中心)
该研究针对多日期卫星图像的RPC优化问题,提出结合季节不变对应关系的鲁棒RPC光束平差流程,在WorldView-3图像实验中优于开源基线,可更高效利用多日期卫星图像。
2026-07-30 cs.CV
KOALAnet: Blind Super-Resolution using Kernel-Oriented Adaptive Local Adjustment
Korea Advanced Institute of Science and Technology(韩国科学技术院)
盲超分辨率(SR)方法旨在从包含未知退化的低分辨率图像生成高质量的高分辨率图像。然而,自然图像包含各种类型和数量的模糊:有些可能是由于相机的固有退化特性,但有些甚至可能是出于美学目的(例如散景效果)。在后者的情况下,SR方法变得非常难以解开要去除的模糊,并且保持原样。在本文中,我们提出了一种新的盲SR框架的基础上面向内核的自适应局部调整(KOALA)SR功能,称为KOALAnet,共同学习空间变化的退化和恢复内核,以适应空间变化的模糊特性在真实图像。我们的KOALAnet优于最近的盲SR方法与随机退化获得的合成LR图像,我们进一步表明,拟议的KOALAnet产生最自然的结果与故意模糊的艺术照片,这是不是过于尖锐,有效地处理图像混合与焦点和焦点以外的地区。
2021-03-31 cs.CV
A Single-shot-per-pose Camera-Projector Calibration System For Imperfect Planar Targets
Temple Univeristy(天普大学);Rowan Univeristy(罗文大学);HiScene Info. Technologies(亮风台信息技术)
现有的相机-投影仪校准方法通常使用估计的单应性将特征点从相机图像扭曲到投影仪图像,并且由于校准目标的不完美的平面性而经常遭受相机参数和噪声的误差。在本文中,我们提出了一个简单而强大的解决方案,明确应对这些挑战。根据结构光(SL)相机项目校准框架,精心设计的对应算法建立在De Bruijn图案之上。然后,这种对应关系用于初始相机-投影仪校准。然后,为了获得更多的鲁棒性对噪声,特别是那些从一个不完美的平面校准板,光束法平差算法的开发,以联合优化估计的相机和投影仪模型。除了鲁棒性之外,我们的解决方案对于每个校准板姿势只需要一次SL图案的拍摄,这在实践中比多次拍摄解决方案方便得多。在合成数据集和真实数据集上进行数据验证,在所有实验中,我们的方法比现有方法显示出明显的优势。
2018-10-17 cs.CV
UrbanGIRAFFE: Representing Urban Scenes as Compositional Generative Neural Feature Fields
Zhejiang University(浙江大学)
生成具有可控摄像机姿态和场景内容的真实感图像对于包括AR/VR和仿真在内的许多应用都是必不可少的。尽管在3D感知生成模型方面取得了快速进展,但大多数现有方法都集中在以对象为中心的图像上,并且不适用于生成城市场景以进行自由相机视点控制和场景编辑。为了解决这个具有挑战性的任务,我们提出了UrbanGIRAFFE,它使用一个粗略的3D全景先验,包括不可数的东西和可数的对象的布局分布,以指导3D感知生成模型。我们的模型是合成和可控的,因为它将场景分解为物质,物体和天空。利用语义体素网格形式的填充先验,我们构建了一个条件填充生成器,有效地结合了粗糙的语义和几何信息。对象布局先验进一步允许我们从杂乱的场景中学习对象生成器。适当的损失函数,我们的方法有利于逼真的三维感知图像合成与不同的可控性,包括大的相机运动,编辑的东西,和对象操作。我们在合成和真实世界的数据集上验证了我们的模型的有效性,包括具有挑战性的KITTI-360数据集。
2023-03-28 cs.CV
CareCom: Generative Image Composition with Calibrated Reference Features
针对现有生成式图像合成方法难以同时保留细节、调整前景姿态与视角的问题,本文提出CareCom方法,扩展多参考生成模型并校准参考特征,在两个基准数据集上验证可有效提升模型性能。
2025-11-14 cs.CV
CameraMaster: Unified Camera Semantic-Parameter Control for Photography Retouching
Tianjin University(天津大学);vivo Mobile Communication Co., Ltd(vivo移动通信有限公司);NUS(国立大学)
CameraMaster通过统一相机感知框架实现精确摄影修饰,通过解耦相机指令和参数嵌入,提升多参数控制与语义-参数对齐能力。
2025-11-26 cs.CV
Scale Drift Correction of Camera Geo-Localization using Geo-Tagged Images
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所)
从单目视频中定位摄像机是视频分析和自主导航的基础任务。虽然3D重建是获得相机姿态的关键技术,但在大环境中的单目3D重建往往会导致旋转,平移,特别是尺度误差的积累:称为尺度漂移的问题。为了克服这些错误,我们提出了一个新的框架,集成了增量运动恢复结构(SfM)和规模漂移校正方法,利用地理标记的图像,如谷歌街景提供的。我们的校正方法首先通过使用地理标记的图像获得重建的3D地图坐标系和世界坐标系之间的稀疏6-DoF对应关系。然后,通过在Sim(3)约束下应用位姿图优化和光束法平差来校正尺度漂移。大规模数据集上的实验结果表明,该框架不仅能够有效地纠正尺度漂移,而且能够在更大尺度的环境中实现精确的地理定位。
2018-08-26 cs.CV
Joint Multi-Camera LiDAR Extrinsic Calibration via Learned Pairwise Initialization and Geometric Refinement
Department of System and Computer Engineering, Carleton University(系统与计算机工程系,卡尔顿大学)
提出两阶段框架,先通过CMRNext独立估计每个相机的外参和2D-3D对应,再通过联合光束法平差优化实现全局一致的多相机标定,显著提升精度和一致性。
2026-05-29 cs.CV
Unsupervised Learning of Monocular Depth Estimation with Bundle Adjustment, Super-Resolution and Clip Loss
Carnegie Mellon University(卡内基梅隆大学);Chinese Academy of Sciences(中国科学院)
我们提出了一种新的无监督学习框架,单视图深度估计使用单目视频。众所周知,在三维视觉中,扩大基线可以提高深度估计精度,并且联合优化一组相机姿态和地标是必不可少的。在以前的单目无监督学习框架中,序列中只有部分光度和几何约束被用作监督信号。这可能导致短基线和过拟合。此外,以前的工作通常是从低分辨率的输入图像估计低分辨率的深度。然后对低分辨率深度进行插值以恢复原始分辨率。这种策略可能在对象边界上产生大的误差,因为背景和前景的深度被混合以产生高分辨率深度。本文提出了一种光束法平差框架和一种超分辨率网来解决上述两个问题。在光束法平差中,图像序列的深度和姿态被联合优化,这通过建立更远帧之间的关系来增加基线。超分辨率网络学习从低分辨率图像估计高分辨率深度。此外,我们引入了剪辑损失来处理移动对象和遮挡。在KITTI数据集上的实验结果表明,该算法的性能优于现有的基于单目序列的无监督方法,并且与基于立体序列的无监督方法相比,具有相当甚至更好的效果。
2018-12-08 cs.CV
QuacamFM: Quaternion-Constrained Flow Matching for Camera Pose Estimation
QuacamFM提出四元数约束流匹配框架,通过球面线性插值保持单位四元数约束,提升稀疏视图相机位姿估计精度,优于扩散模型和经典SfM方法。
2026-09-29 cs.CV
Sat-NeRF: Learning Multi-View Satellite Photogrammetry With Transient Objects and Shadow Modeling Using RPC Cameras
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎萨克雷高等师范学院);Centre Borelli(博雷利中心)
我们介绍了卫星神经辐射场(Sat-NeRF),一个新的端到端的模型,用于学习多视图卫星摄影测量在野外。Sat-NeRF结合了神经渲染的一些最新趋势与本地卫星相机模型,由有理多项式系数(RPC)函数表示。所提出的方法呈现新的视图和推断表面模型的质量类似的那些获得与传统的国家的最先进的立体管道。多日期图像在外观上表现出显着的变化,主要是由于不同的阴影和瞬态对象(汽车,植被)。这些挑战的鲁棒性是通过阴影感知辐照度模型和不确定性加权来实现的,以处理无法用太阳位置解释的瞬态现象。我们使用来自不同位置的WorldView-3图像评估Sat-NeRF,并强调在训练之前将束调整应用于卫星相机模型的优势。这提高了网络性能,并且可以可选地用于提取用于深度监督的额外线索。
2022-04-21 cs.CV
Learning Global Camera Poses from Noisy View-Graphs for Structure from Motion
Weizmann Institute of Science(魏茨曼科学研究所)
本文提出一种基于图神经网络的全局运动恢复结构框架,从含噪视图图学习相机位姿,无需真值监督,高效可扩展,在多个数据集上精度优于深度轨迹法,速度优于经典流程。
2026-09-10 cs.CV