3D Reconstruction from Full-view Fisheye Camera
Stanford University（斯坦福大学）
在这篇报告中，我们提出了一种全视角鱼眼相机的三维重建方法。我们使用的相机是Ricoh Theta，它可以捕获球形图像，并具有宽视场（FOV）。传统的基于透视摄像机模型的立体方法不能直接应用，而是采用球面摄像机模型来描述图像中三维点与其对应观测点之间的关系。我们实现了一个系统，可以使用来自两个或更多个相机的捕获来重建3D场景。还创建了一个GUI，允许用户控制视图透视图，并获得更好的直觉如何重建场景。实验表明，我们的重建结果很好地保留了现实世界中的场景的结构。
2015-06-20 cs.CV
Robust and Flexible Omnidirectional Depth Estimation with Multiple 360-degree Cameras
Nanjing University（南京大学）；Jinling Institute of Technology（金陵科技学院）
本文利用多台360度相机的几何约束与冗余信息，提出两阶段和一阶段两种全向深度估计算法，并构建含污损与眩光的合成数据集，实现了鲁棒、灵活且达到最先进性能的深度预测。
2025-02-06 cs.CV
3D reconstruction from spherical images: A review of techniques, applications, and prospects
China University of Geosciences（中国地质大学）；The Hong Kong Polytechnic University（香港理工大学）
本文综述了球面图像在3D重建中的技术、应用与前景，指出其能克服传统透视图像在复杂场景下的局限，并总结了数据采集、特征匹配及密集匹配等最新进展。
2023-05-18 cs.CV
3D Reconstruction of Spherical Images based on Incremental Structure from Motion
School of Computer Science, China University of Geosciences（中国地质大学计算机学院）；The Hong Kong Polytechnic University（香港理工大学）
针对球形图像经典3D重建流程缺失的问题，基于球形相机成像几何提出包含相对定向、绝对定向和BA优化的增量式SfM工作流程，成功实现复杂场景重建并开源。
2023-06-24 cs.CV
Accelerating Globally Optimal Consensus Maximization in Geometric Vision
ShanghaiTech University（上海科技大学）
提出一种新颖的通用技术，通过在n-1维空间分支并利用区间刺穿技术求解剩余自由度，显著加速几何视觉中全局最优一致性最大化，在四个基本问题上实现超两个数量级的提速。
2024-01-18 cs.CV
Sphere-Depth: A Benchmark for Depth Estimation Methods with Varying Spherical Camera Orientations
Department of Engineering, University of Palermo, Palermo, Italy（帕尔梅罗大学工程系）
本文提出Sphere-Depth基准，评估单目深度估计模型在球面图像中的鲁棒性，通过模拟相机姿态扰动和深度校准误差协议，发现即使专门处理球面图像的模型在姿态变化下也表现不佳。
2026-04-25 cs.AI cs.CV
Depth360: Self-supervised Learning for Monocular Depth Estimation using Learnable Camera Distortion Model
Toyota Central R&D Labs., Inc.（丰田中央研发实验室股份有限公司）
自监督单目深度估计已被广泛研究以从RGB图像估计深度图像和相对姿态。这个框架对研究人员来说很有吸引力，因为深度和姿态网络可以从时间序列图像中训练，而不需要地面真实深度和姿态。在这项工作中，我们估计机器人周围的深度（360度视图）使用时间序列球形相机图像，从相机的参数是未知的。我们提出了一个可学习的轴对称相机模型，它接受两个鱼眼相机图像失真的球形相机图像。此外，我们使用照片级逼真的模拟器训练我们的模型，以生成地面真实深度图像来提供监督。此外，我们引入了损失函数来提供地板约束，以减少反射地板表面可能导致的伪影。我们证明了我们的方法的有效性，使用来自GO斯坦福数据集的球形摄像机图像和来自KITTI数据集的针孔摄像机图像来比较我们的方法与基线方法在学习摄像机参数方面的性能。
2022-02-18 cs.CV cs.RO
Event3R: Asynchronous-to-Global 3D Reconstruction from Event Camera via Spatial-Temporal Feature Aggregation
Zhejiang University（浙江大学）；Westlake University（西湖大学）
研究针对事件相机异步、稀疏和高动态特性及缺乏标注数据集的问题，提出Event3R框架，通过时空体素表示、时间注意力模块、掩码箱建模策略及对比对齐和一致性正则化损失，实现鲁棒的3D重建，性能显著优于现有方法。
2026-07-20 cs.CV
UniK3D: Universal Camera Monocular 3D Estimation
ETH Zürich（苏黎世联邦理工学院）；Toyota Motor Europe（丰田汽车欧洲公司）；INSAIT（INSAIT研究院）；Sofia University St. Kliment Ohridski（圣克莱门特奥赫里德斯基索非亚大学）
针对现有单目3D估计依赖简化相机假设、泛用性差的问题，提出通用方法UniK3D，通过球面表示、球谐光线锥表示及角度损失实现任意相机建模，零样本评估达SOTA，大视场场景提升显著。
2025-03-20 cs.CV
Efficient Online Surface Correction for Real-time Large-Scale 3D Reconstruction
Technical University of Munich（慕尼黑工业大学）
用于从RGB-D传感器进行大规模3D重建的现有技术方法通常通过实时的【形】全局优化估计的相机姿态而不同时更新姿态变化的重建表面来减少相机跟踪中的漂移。我们提出了一种高效的飞行表面校正方法，用于大规模场景的全局一致的密集3D重建。我们的方法使用密集的Visual RGB-D SLAM系统，该系统在CPU上实时的【形】估计相机运动，并在全局姿态图优化中对其进行细化。连续的RGB-D帧被局部融合到关键帧中，这些关键帧被合并到GPU上的稀疏体素散列符号距离场（SDF）中。在姿态图更新时，SDF体积使用具有减少的GPU主机流的新颖的关键帧重新整合策略进行实时校正。我们在广泛的定量评估中证明，与最先进的方法相比，我们的方法的运行效率高达93%，并且需要的内存显着减少，表面质量损失可以忽略不计。总的来说，我们的系统只需要一个GPU，并允许实时的【形】表面校正的大环境。
2017-09-12 cs.CV
Nerfels: Renderable Neural Codes for Improved Camera Pose Estimation
Monash University（莫纳什大学）；École des Ponts（巴黎桥路学院）；Facebook Reality Labs（脸书现实实验室）；Facebook AI Research（脸书人工智能研究院）
本文提出了一个框架，结合传统的基于关键点的相机姿态优化与可逆的神经渲染机制。我们提出的3D场景表示，Nerfels，是局部密集，但全球稀疏。相对于现有的可逆神经渲染系统过拟合模型的整个场景，我们采用了一个功能驱动的方法表示场景不可知的，本地3D补丁与渲染代码。通过仅对检测到局部特征的场景进行建模，我们的框架通过神经渲染器中的可优化代码调节机制有效地推广到场景中看不见的局部区域，同时保持稀疏3D地图表示的低内存占用。我们的模型可以结合到现有的最先进的手工制作和学习的本地特征姿态估计器，在ScanNet上评估宽相机基线场景时，可以提高性能。
2022-06-04 cs.CV
3D scene reconstruction from monocular spherical video with motion parallax
Fprime Project（Fprime项目）
在本文中，我们描述了一种方法来捕捉几乎完全球形（360度）的深度信息，使用两个相邻的帧从一个单一的球形视频与运动视差。在说明了球面深度信息检索使用两个球面摄像机后，我们证明了单目球面立体通过使用稳定的第一人称视频镜头。实验表明，深度信息的检索高达97%的整个球体的立体角。在30公里/小时的速度下，我们能够估计距离相机30米以上的物体的深度。我们还使用获得的深度数据重建了3D结构（点云），并确认可以清楚地观察到结构。我们可以将这种方法应用于周围环境的三维结构检索，如1）预视，位置搜索/规划的电影，2）真实场景/计算机图形合成和3）运动捕捉。由于其简单性，该方法可以应用于各种视频。由于除了具有运动视差的360度视频之外没有其他先决条件，因此我们可以使用任何360度视频，包括互联网上的视频来重建周围环境。这些摄像机重量轻，可以安装在无人机上。我们也展示了这样的应用。
2022-06-14 cs.CV cs.RO eess.IV
Learning Global Camera Poses from Noisy View-Graphs for Structure from Motion
Weizmann Institute of Science（魏茨曼科学研究所）
本文提出一种基于图神经网络的全局运动恢复结构框架，从含噪视图图学习相机位姿，无需真值监督，高效可扩展，在多个数据集上精度优于深度轨迹法，速度优于经典流程。
2026-09-10 cs.CV
Monocular Spherical Depth Estimation with Explicitly Connected Weak Layout Cues
Centre for Research and Technology Hellas（希腊研究与技术中心）；Universidad Politécnica de Madrid（马德里理工大学）
球形摄像机以整体方式捕获场景，并已用于房间布局估计。最近，随着适当数据集的可用性，在从单个全向图像进行深度估计方面也取得了进展。虽然这两个任务是互补的，但很少有作品能够并行地探索它们以提高室内几何感知，并且已经这样做的作品要么依赖于合成数据，要么使用小规模数据集，因为很少有选项可以在真实场景中包括布局注释和密集深度图。这部分是由于房间布局需要手动注释。在这项工作中，我们超越了这一限制，并生成一个360几何视觉（360 V）数据集，其中包括多个模态，多视图立体视觉数据和自动生成的弱布局线索。我们还探索了这两个任务之间的显式耦合，将它们集成到一个单射训练模型中。我们依赖于基于深度的布局重建和基于布局的深度注意力，这两项任务的性能都有所提高。通过使用单个360度摄像头扫描房间，可以轻松快速地进行建筑规模的3D扫描。
2022-06-22 cs.CV
Learning Shape-Independent Transformation via Spherical Representations for Category-Level Object Pose Estimation
University of Science and Technology of China（中国科学技术大学）；Jianghuai Advance Technology Center（江淮先进技术中心）；Dongguan University of Technology（东莞理工学院）；Sangfor Technologies（深信服科技）
针对类别级物体位姿估计中现有基于点表示的方法存在形状依赖导致语义不一致的问题，提出SpherePose架构，通过球面表示学习形状无关变换，结合SO(3)不变特征提取、球面注意力及双曲对应损失，在多个基准上实现更优性能。
2025-03-19 cs.CV
Hybrid Camera Pose Estimation with Online Partitioning for SLAM
Temple University（天普大学）；Stony Brook University（石溪大学）
本文提出了一种混合实时摄像机姿态估计框架与一种新的分区方案，并引入运动平均单目同时定位与地图构建（SLAM）系统。突破了许多传统SLAM管道中固定大小的时间分区的限制，我们的方法通过将空间强连接的相机聚集到每个块中来显着提高局部光束法平差的精度。通过使用中间计算值的动态初始化，\XL{we improve the Levenberg-Marquardt solver to further enhance the efficiency of the local optimization.}此外，通过我们的基于共同可见性的划分，块之间的密集数据关联使我们能够探索和实现运动平均，以有效地全局对齐块，实时更新相机运动估计。基准上的实验令人信服地证明了我们提出的方法的实用性和鲁棒性显着优于传统的方法。
2020-11-02 cs.CV cs.RO
Wid3R: Wide Field-of-View 3D Reconstruction via Camera Model Conditioning
University of Maryland, College Park（马里兰大学帕克分校）；NAVER LABS
Wid3R是一种多视角视觉几何重建的前馈神经网络，支持宽视角相机模型。该方法通过球谐函数的射线表示和新型相机模型标记实现抗畸变重建，首次支持360影像的多帧前馈3D重建，提升性能达33.67%。
2026-03-26 cs.CV
Investigating Spherical Epipolar Rectification for Multi-View Stereo 3D Reconstruction
The Ohio State University（俄亥俄州立大学）
多视图立体视觉（MVS）重建是建立三维模型的关键。该方法涉及应用极线校正，然后进行视差估计的密集匹配。然而，现有的方法面临的挑战，主要是由于对象规模的巨大差异，在应用密集匹配的图像与不同的观点。在本文中，我们提出了一个球形模型的极线整流，以尽量减少主光线的差异所造成的失真。我们评估所提出的方法使用两个基于空中的数据集组成的多摄像头系统。我们通过定性和定量评估表明，所提出的方法比基于帧的极线校正更好，将点云的完整性提高了4.05%，同时使用LiDAR数据作为地面实况将精度提高了10.23%。
2022-04-08 cs.CV
BiCo-Net: Regress Globally, Match Locally for Robust 6D Pose Estimation
South China University of Technology（华南理工大学）；Peng Cheng Laboratory（鹏城实验室）
学习鲁棒的6D姿态函数的挑战在于1）深度图像中的严重遮挡和2）系统噪声。受点对特征成功的启发，本文的目标是通过在模型和相机空间之间局部匹配定向点对来恢复从RGB-D图像分割的对象实例的6D姿态。为此，我们提出了一种新的双向对应映射网络（BiCo-Net），首先生成点云的指导下，一个典型的姿态回归，从而可以将姿态敏感信息，以优化生成的局部坐标和它们的法向量。由于通过几何计算进行的姿态预测仅依赖于一对局部定向点，因此我们的BiCo-Net可以实现对稀疏和遮挡点云的鲁棒性。来自局部匹配和直接姿态回归的冗余姿态预测的集合进一步针对噪声观测改进最终姿态输出。在三个流行的基准数据集上的实验结果可以验证我们的方法可以达到最先进的性能，特别是对于更具挑战性的严重遮挡场景。源代码可在https://github.com/Gorilla-Lab-SCUT/BiCo-Net上获得。
2022-05-07 cs.CV
EventNeuS: 3D Mesh Reconstruction from a Single Event Camera
Saarland University（萨尔兰大学）；MPI for Informatics（信息研究所）
EventNeuS通过结合3D符号距离函数和密度场学习，利用事件相机数据实现更精确的3D网格重建。
2026-02-03 cs.CV
QuacamFM: Quaternion-Constrained Flow Matching for Camera Pose Estimation
QuacamFM提出四元数约束流匹配框架，通过球面线性插值保持单位四元数约束，提升稀疏视图相机位姿估计精度，优于扩散模型和经典SfM方法。
2026-09-29 cs.CV
Globally-Optimal Event Camera Motion Estimation
ShanghaiTech University（上海科技大学）；Shanghai Institute of Microsystems and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；Australian National University（澳大利亚国立大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程研究中心）
事件相机是生物启发的传感器，在HDR条件下表现良好，并具有高时间分辨率。然而，与传统的基于帧的相机不同，事件相机测量异步像素级亮度变化，并以高度离散化的格式返回它们，因此需要新的算法。本文着眼于正面平行运动估计的事件相机。的事件流是由一个一般的单应性翘曲的时空量建模，并制定为一个最大化的对比度内的未翘曲事件的图像的目标。然而，与现有技术形成鲜明对比的是，我们导出了这个一般非凸问题的全局最优解，从而消除了对良好初始猜测的依赖性。我们的算法依赖于分支定界优化，我们推导出新颖的，递归的上界和下界六个不同的对比度估计函数。我们的方法的实际有效性是支持一个非常成功的应用AGV运动估计与面向下的事件摄像机，一个具有挑战性的情况下，传感器的经验前平行运动在前面的嘈杂，快速移动的纹理。
2022-03-08 cs.CV
Efficient Global Optimization of Non-differentiable, Symmetric Objectives for Multi Camera Placement
University of Cambridge（剑桥大学）
我们提出了一种新的迭代法的最佳放置和定向多个摄像机在三维场景。示例应用包括提高3D重建的精度，最大化监控覆盖区域，或提高多视点行人跟踪的覆盖范围。我们的算法是基于块坐标上升结合代理函数和禁区技术。这允许灵活地处理困难的目标函数，这些目标函数通常是昂贵的、量化的或不可微的。求解器是全局收敛的，易于并行化。我们展示了如何利用特殊属性的目标函数，如对称性，以加快优化。此外，我们讨论了非最佳固定点和成本降低时，连续优化的观点之间的权衡。
2021-03-20 cs.CV cs.MA math.OC
Neural Deformation Graphs for Globally-consistent Non-rigid Reconstruction
Technical University of Munich（慕尼黑工业大学）；Facebook Reality Labs（Facebook现实实验室）
我们介绍了神经变形图，用于全局一致的变形跟踪和非刚性物体的3D重建。具体而言，我们通过深度神经网络隐式地对变形图进行建模。这种神经变形图不依赖于任何特定于对象的结构，因此，可以应用于一般的非刚性变形跟踪。我们的方法在给定的深度相机对非刚性移动对象的观察序列上全局优化了这个神经图。基于显式视点一致性以及帧间图和表面一致性约束，底层网络以自监督的方式进行训练。此外，我们优化的几何形状的对象与隐式可变形的多MLP形状表示。我们的方法不假设连续的输入数据，从而使快速运动的鲁棒跟踪，甚至暂时断开记录。我们的实验表明，我们的神经变形图在定性和定量上都优于最先进的非刚性重建方法，重建性能提高了64%，变形跟踪性能提高了62%。
2020-12-02 cs.CV cs.GR cs.LG
Globally-Optimal Contrast Maximisation for Event Cameras
ShanghaiTech University（上海科技大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉影像工程技术研究中心）；Australian National University（澳大利亚国立大学）
事件摄像机是生物启发的传感器，在具有挑战性的照明条件下表现良好，并具有高时间分辨率。然而，它们的概念与传统的基于帧的相机有着根本的不同。事件相机的像素独立且异步地操作。它们测量对数亮度的变化，并以高度离散化的时间戳事件的形式返回它们，表明自上次事件以来一定量的相对变化。需要新的模型和算法来处理这种测量。目前的工作着眼于几个运动估计问题与事件摄像机。的事件流是由一个一般的单应性翘曲的时空量建模，并制定了目标作为一个最大化的对比度内的扭曲事件的图像。我们的核心贡献包括推导出这些一般非凸问题的全局最优解，这消除了对现有方法的良好初始猜测的依赖。我们的方法依赖于分支定界优化，并采用新的和有效的，递归的上限和下限推导出六个不同的对比度估计函数。我们的方法的实际有效性证明了三个不同的事件相机运动估计问题的成功应用。
2022-06-10 cs.CV
Spotlights: Probing Shapes from Spherical Viewpoints
ShanghaiTech University（上海科技大学）；Midea Inc（美的集团）
近年来，直接建立在点云上的学习表示激增。虽然表达能力越来越强，但大多数现有的表示仍然难以生成有序点集。受球形多视图扫描仪的启发，我们提出了一种新的采样模型，称为聚光灯表示作为一个紧凑的1D阵列的深度值的3D形状。它模拟了均匀分布在球体上的摄像机的配置，其中每个虚拟摄像机从其主点通过小同心球冠上的采样点投射光线，以探测与球体所包围的对象的可能交点。因此，结构化点云被隐式地给出为深度的函数。我们提供了一个详细的几何分析，这种新的采样方案，并证明其有效性的上下文中的点云完成任务。合成和真实数据的实验结果表明，我们的方法实现了竞争力的准确性和一致性，同时具有显着降低的计算成本。此外，我们在下游点云配准任务上表现出优于最先进的完成方法的性能。
2023-02-03 cs.AI cs.CV cs.GR
JustDepth: Real-Time Radar-Camera Depth Estimation with Single-Scan LiDAR Supervision
Ajou University（韩国亚洲大学）；Kennesaw State University（肯尼索州立大学）
研究自动驾驶系统中雷达-相机深度估计问题，提出单阶段JustDepth方法，仅用雷达、相机和单扫描激光雷达训练，能聚合雷达回波解耦运行时与点数，融合模态传播深度，减轻条纹伪影，相比先进方法减少推理时间并降低条纹伪影。
2026-07-27 cs.CV cs.RO
MultiViPerFrOG: A Globally Optimized Multi-Viewpoint Perception Framework for Camera Motion and Tissue Deformation
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
本文提出多视点全局优化框架 MultiViPerFrOG，通过融合低级感知模块输出与运动学及场景先验，联合估计多相机运动与绝对场景流，以鲁棒地解决可变形场景中的三维重建问题。
2024-08-08 cs.CV
BundleFusion: Real-time Globally Consistent 3D Reconstruction using On-the-fly Surface Re-integration
Stanford University（斯坦福大学）；Max-Planck-Institute for Informatics（马克斯·普朗克信息学研究所）；Microsoft Research（微软研究院）
对大规模场景进行实时的【形】高质量3D扫描是混合现实和机器人应用的关键。然而，可扩展性带来了姿态估计漂移的挑战，在累积模型中引入了显著的误差。这些方法通常需要数小时的离线处理来全局纠正模型错误。最近的在线方法展示了令人信服的结果，但存在以下问题：（1）需要几分钟来执行在线校正，从而阻止真正的实时的【形】使用;（2）脆弱的帧到帧（或帧到模型）姿态估计，导致许多跟踪失败;或（3）仅支持非结构化的基于点的表示，这限制了扫描质量和适用性。我们系统地解决这些问题，一个新颖的，实时的【形】的，端到端的重建框架。其核心是一个强大的姿态估计策略，通过考虑RGB-D输入的完整历史，采用高效的分层方法，针对全局相机姿态集优化每帧。我们消除了对时间跟踪的严重依赖，并不断定位到全局优化的帧。我们贡献了一个可并行化的优化框架，它采用基于稀疏特征和密集的几何和光度匹配的对应关系。我们的方法估计全局优化（即，束调整的）实时的【形】姿态，支持具有从总的跟踪故障恢复的鲁棒跟踪（即，重新定位），并实时的【形】重新估计3D模型，以确保全局一致性;所有这些都在一个框架内。我们的方法优于最先进的在线系统，其质量与离线方法相当，但具有前所未有的速度和扫描完整性。我们的框架为大型室内环境提供了一个全面的在线扫描解决方案，实现了易用性和高质量的结果。
2017-02-07 cs.CV cs.GR
Toward Efficient Visual Gyroscopes: Spherical Moments, Harmonics Filtering, and Masking Techniques for Spherical Camera Applications
Capgemini Engineering（凯捷工程）；Université de Bourgogne（勃艮第大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出一种结合高效多掩蔽滤波旋转估计器（EMMFRE）和基于学习的优化（LbTO）的新型视觉陀螺仪，通过机器学习优化解析解，有效解决了全向相机在缺乏特征或高噪声场景下的旋转估计精度问题。
2024-09-23 cs.CV
Dense Depth Estimation from Multiple 360-degree Images Using Virtual Depth
Seoul National University of Science and Technology（首尔科学技术大学）
在本文中，我们提出了一个密集的深度估计管道多视角360°图像。所提出的流水线利用球形相机模型来补偿360°图像中的径向失真。本文的主要贡献是通过引入平移缩放方案，将球形摄像机模型扩展到多视图。此外，我们提出了一种有效的密集深度估计方法，通过设置虚拟深度和最小化光子重投影误差。我们使用自然场景的图像以及合成的数据集进行定量评估，验证所提出的管道的性能。实验结果表明，与现有的密集深度估计方法相比，该方法提高了深度估计精度。
2022-03-10 cs.AI cs.CV eess.IV
LIVE-GS: Online LiDAR-Inertial-Visual State Estimation and Globally Consistent Mapping with 3D Gaussian Splatting
LIVE-GS通过结合激光雷达与3D高斯点云绘制，实现高精度地图一致性，解决稀疏数据和计算效率问题。
2026-03-09 cs.CV cs.RO
MASt3R-SLAM: Real-Time Dense SLAM with 3D Reconstruction Priors
Imperial College London（帝国理工学院伦敦校区）
本文提出基于MASt3R先验的实时单目稠密SLAM系统，引入高效点图匹配、跟踪融合与全局优化方法，在15 FPS下生成全局一致位姿与稠密几何，并在多个基准上达到SOTA性能。
2025-06-02 cs.CV cs.RO
Labeling Panoramas with Spherical Hourglass Networks
Google（谷歌）；University of Pennsylvania（宾夕法尼亚大学）
随着最近消费级360°摄像头的普及，考虑到球形摄像头的全球视野的潜在优势，值得重新审视球形摄像头的视觉感知挑战。为此，我们引入了一个球形卷积沙漏网络（SCHN），用于球体上的密集标记。SCHN是不变的相机方向（提升通常的要求为“直立”全景图像），其设计是可扩展的较大的实际数据集。初步实验表明，有希望的结果上的球形语义分割任务。
2018-09-06 cs.CV
Spherical formulation of moving object geometric constraints for monocular fisheye cameras
Valeo Visions Systems（法雷奥视觉系统公司(Valeo Visions Systems)）
在本文中，我们介绍了一种用于自动驾驶鱼眼摄像机的运动目标检测算法。我们将直线图像中的三个常用约束（极线、正深度和正高度约束）重新表述为球面坐标，一旦已知校准，球面坐标对特定相机配置是不变的。自动驾驶中的主要挑战用例之一是检测遭受运动视差模糊的平行移动物体。为了缓解这一点，我们制定了一个额外的第四个约束，称为反平行约束，这有助于检测对象的运动，反映自我车辆可能。我们分析了该算法在不同的情况下，并证明了它的工作有效地直接操作鱼眼图像。
2020-03-06 cs.CV
Unified Spherical Frontend: Learning Rotation-Equivariant Representations of Spherical Images from Any Camera
Carnegie Mellon University, Robotics Institute（卡内基梅隆大学机器人研究所）
本文提出USF框架，通过射线方向对应将任意相机图像映射到单位球面，实现旋转等变的球面卷积，提升宽视场图像处理性能。
2026-03-30 cs.CV
Deep 3D Pan via adaptive "t-shaped" convolutions with global and local adaptive dilations
Korea Advanced Institute of Science and Technology（韩国高等科学技术院）
深度学习的最新进展在许多低级视觉任务中显示出了有希望的结果。然而，解决基于单图像的视图合成仍然是一个悬而未决的问题。特别地，在给定单个输入图像的情况下，在平行相机视图处生成新图像是非常感兴趣的，因为它使得能够实现2D输入场景的3D可视化。我们提出了一种新的网络架构，以执行立体视图合成在任意相机位置沿X轴，或深3D泛，与“T形”自适应内核配备了全球和本地自适应膨胀。我们提出的网络架构，怪物网，设计了一种新的“T形”自适应内核与全球和局部自适应膨胀，它可以有效地将全球相机移位到和处理本地的目标图像的像素的三维几何形状的合成自然寻找3D平移视图时，一个2-D输入图像。在KITTI，CityScapes和我们的VICLAB_STEREO室内数据集上进行了广泛的实验，以证明我们的方法的有效性。我们的Monster-net在RMSE，PSNR和SSIM的所有指标上都大大优于最先进的方法SOTA。我们提出的怪物网络是能够重建更可靠的图像结构的合成图像与相干几何。此外，可以从“t形”内核中提取的视差信息比无监督单目深度估计任务的SOTA更可靠，证实了我们的方法的有效性。
2019-10-21 cs.CV eess.IV eess.SP
ULSD: Unified Line Segment Detection across Pinhole, Fisheye, and Spherical Cameras
Carnegie Mellon University（卡内基梅隆大学）；Wuhan University（武汉大学）
线段检测对于计算机视觉和机器人技术中的高级任务至关重要。目前，大多数最先进的（SOTA）方法是专门用于检测直线段在未失真的针孔图像，因此鱼眼或球面图像的失真可能会大大降低其性能。针对图像畸变和非畸变情况下的统一直线段检测问题，提出用Bezier曲线模型表示直线段。然后利用Bezier曲线回归方法进行直线段检测，该方法采用端到端网络，无需模型，无需任何非失真预处理。在针孔、鱼眼和球面图像数据集上的实验结果验证了所提出的ULSD方法在准确性和效率（针孔图像为40.6fps）方面优于SOTA方法。源代码可在https://github.com/lh9171338/Unified-LineSegment-Detection上获得。
2020-11-06 cs.CV
Camera Calibration and Stereo via a Single Image of a Spherical Mirror
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文提出利用单张含球面镜图像进行相机标定的方法，借助球体轮廓与反射信息实现精确标定，并支持构建简单折反射立体视觉系统，合成与真实实验均验证了其可行性和准确性。
2024-09-24 cs.CV
CamPVG: Camera-Controlled Panoramic Video Generation with Epipolar-Aware Diffusion
Tongji University（同济大学）；DAMO Academy, Alibaba Group（阿里达摩院）
本文提出CamPVG，首个基于视图控制的全景视频生成框架，通过全景Plücker嵌入和视图感知模块提升生成视频的质量与一致性。
2026-04-19 cs.CV
Direct Triangulation with Spherical Projection for Omnidirectional Cameras
University of Limerick（利默里克大学）
本文提出通过优化投影球面上的射线对来解决标定全向摄像机的三角剖分问题。所提出的解决方案归结为寻找二次函数的根，因此是封闭形式，与以前的方法相比，完全非迭代和计算成本低廉。此外，即使动机显然是为了解决全向相机的三角测量问题，它表明，所提出的方法可以应用于非全向，窄视场相机。
2022-06-08 cs.CV eess.IV
Spherical formulation of geometric motion segmentation constraints in fisheye cameras
Valeo Vision Systems（法雷奥视觉系统公司）；University of Limerick（利默里克大学）
我们介绍了一种视觉运动分割方法采用球面几何鱼眼相机和自动驾驶。针孔图像中三个常用的几何约束（正高度，正深度和核线约束）被重新表述为球坐标，只要相机校准是已知的，使它们对特定的相机配置不变。第四个约束，被称为反平行约束，被添加到解决运动视差模糊，以支持检测相对于主车辆进行平行或接近平行运动的移动物体。一个最终的约束约束，被称为球面三视图约束，虽然没有在我们提出的算法描述。结果表明，该建议是一种有效的运动分割方法，直接就业的鱼眼图像。
2021-04-26 cs.CV cs.RO
TROPHIES: Temporal Reconstruction of Places, Humans, and Cameras from Multi-view Videos
National University of Singapore（新加坡国立大学）
提出TROPHIES框架，通过联合估计动态人体、静态场景和相机姿态，实现多视角视频中全局一致的四维重建。
2026-06-01 cs.CV
Large Scale Joint Semantic Re-Localisation and Scene Understanding via Globally Unique Instance Coordinate Regression
University of Cambridge（剑桥大学）
在这项工作中，我们提出了一种新的方法，联合语义定位和场景理解。我们的工作是出于对定位算法的需求，这些算法不仅可以预测6-DoF相机姿态，还可以同时识别周围的物体并估计3D几何形状。这种能力对于与环境交互的计算机视觉引导系统至关重要：自动驾驶，增强现实和机器人技术。特别是，我们提出了一个两步程序。在第一步中，我们训练一个卷积神经网络，以联合预测静态对象（例如建筑物）的每个实例的每像素全局唯一实例标签和相应的局部坐标。在第二步中，我们通过结合对象中心坐标和局部坐标来获得场景坐标，并使用它们来执行6-DoF相机位姿估计。我们在真实世界（CamVid-360）和人工（SceneCity）自动驾驶数据集上评估了我们的方法。我们获得更小的平均距离和角度误差比国家的最先进的6自由度姿态估计算法的基础上直接姿态回归和姿态估计从场景坐标的所有数据集。我们的贡献包括：（i）作为对象实例识别和局部坐标回归的两个独立任务的场景坐标回归的新公式化，以及我们提出的解决方案允许预测静态对象的准确3D几何形状并在（ii）比场景坐标回归方法先前尝试的大几个数量级的地图上估计相机的6-DoF姿态的演示，以及（iii）轻量级，从3D图元（如建筑物对齐的长方体）构建的近似3D贴图。
2019-09-23 cs.CV
Seeing Globally, Refining Locally: Global Visual Guidance and Local Ultrasound Cues for Robust Freehand 3-D Ultrasound Reconstruction
Department of Mechanical Engineering, The University of Hong Kong（香港大学机械工程系）；Multi-Scale Medical Robotics Center（多尺度医疗机器人中心）；Department of Mechanical and Automation Engineering, The Chinese University of Hong Kong（香港中文大学机械与自动化工程系）
研究针对徒手三维超声重建中探头姿态估计易累积误差问题，提出全局到局部姿态估计框架，利用双相机分支和B模式分支及跨模态融合模块，经多尺度姿态损失约束，在数据集和体内实验中有效降低轨迹漂移，提升重建效果。
2026-07-15 cs.CV cs.RO
TALO: Pushing 3D Vision Foundation Models Towards Globally Consistent Online Reconstruction
UQMM Lab, The University of Queensland（昆士兰大学UQMM实验室）；Shanghai Jiao Tong University（上海交通大学）；Harbin Institute of Technology（哈尔滨工业大学）
本文提出基于薄板样条的高自由度长期对齐框架，通过全局传播控制点纠正空间变化不一致，并采用点无关子图注册设计提升鲁棒性，实验表明其在多数据集和相机配置下均能获得更一致的几何和更低的轨迹误差。
2026-03-18 cs.CV
Structure from Motion for Panorama-Style Videos
University of Washington（华盛顿大学）；Facebook Reality Labs（Facebook现实实验室）
我们提出了一种新的运动恢复结构流水线，能够重建准确的相机姿态，以实现全景式视频捕捉，而无需事先进行相机内部校准。虽然双曲面重建是一种常见且方便的方法，但由于旋转占主导地位的运动和视图之间的基线较小，以前的重建方法无法获得准确的重建。我们的方法是建立在假设摄像机的运动近似对应于一个球体上的运动，我们引入了三种新的相对姿态的方法来估计的基本矩阵和摄像机失真的球面运动。这些解算器是高效和鲁棒的，并且为光束法平差提供了良好的初始化。在执行光束法平差时，使用相机姿态的软先验来阻止与球面运动假设的大偏差，这允许相机在没有良好三角测量的3D点的情况下保持适当的约束以进行优化。为了验证所提出的方法的有效性，我们评估我们的方法在合成和真实世界的数据，并证明相机构成是足够准确的多视点立体。
2019-06-08 cs.CV
Dur360BEV: A Real-world 360-degree Single Camera Dataset and Benchmark for Bird-Eye View Mapping in Autonomous Driving
Durham University（杜伦大学）
本文提出Dur360BEV数据集与基准，利用单个360度球形相机生成自动驾驶鸟瞰图，通过球形图像到BEV模块和focal loss应用，在简化硬件的同时实现了具竞争力的性能。
2025-03-06 cs.CV cs.RO
Globally Optimal Solution to the Generalized Relative Pose Estimation Problem using Affine Correspondences
College of Aerospace Science and Engineering, National University of Defense Technology（航空科学与工程学院，国防科技大学）；Global Navigation Satellite System Research Center, Wuhan University（导航卫星系统研究所，武汉大学）
本文提出了一种利用仿射对应关系的全局最优求解器，用于估计已知垂直方向的通用相对位姿，通过建立成本函数和多项式求解方法，提升了多摄像头系统相对位姿估计的精度。
2025-12-19 cs.CV
Improved mirror ball projection for more accurate merging of multiple camera outputs and process monitoring
DMG MORI CO. LTD.（德马吉森精机有限公司）；Fraunhofer-Institut für Werkstoff- und Strahltechnik（弗劳恩霍夫材料与光束技术研究所）；Berufsakademie Sachsen（萨克森职业学院）；Staatliche Studienakademie Dresden（德累斯顿国立应用技术大学）
本研究提出一种改进的镜球投影方法，校正透视相机在投影极点的畸变，可低成本实现危险环境下多类型相机输出的广角融合与制造过程监控，降低多相机视差偏移影响。
2023-08-15 cs.CV cs.GR
Flexible Camera Calibration using a Collimator System
本文提出了一种基于校准系统的灵活相机校准方法，通过引入角度不变约束和球面运动模型，实现了无需相机运动的快速校准。
2025-12-18 cs.CV
Globally Consistent Video Depth and Pose Estimation with Efficient Test-Time Training
National Taiwan University（国立台湾大学）
密集深度和姿态估计是各种视频应用的重要先决条件。传统的解决方案受到稀疏特征跟踪的鲁棒性和视频中摄像机基线不足的影响。因此，最近的方法在估计密集深度之前利用基于学习的光流和深度。然而，以前的作品需要大量的计算时间或产生次优的深度结果。本文提出了一种全局一致的从运动中学习视频运动恢复结构（SfM）的方法GCVD。GCVD将紧凑的姿态图集成到基于CNN的优化中，以通过有效的关键帧选择机制实现全局一致的估计。它可以提高基于学习的方法的鲁棒性，具有流引导的关键帧和良好的深度先验。实验结果表明，GCVD优于国家的最先进的方法在深度和姿态估计。此外，运行时实验表明，它提供了强大的效率，在短期和长期的视频与全球一致性提供。
2022-08-04 cs.CV
SphMind: Towards Robust, Training-Free VLM-based Spatial Reasoning with a 360 Camera
NTU Singapore（新加坡南洋理工大学）；IHPC, A*STAR（新加坡科技研究局高性能计算研究所）
SphMind提出免训练即插即用框架，通过球谐空间图和推理时几何接地，解耦语义与几何，提升360度相机下MLLM的空间推理鲁棒性，在多个基准上显著优于基线。
2026-09-30 cs.CV
Cluster-Wise Ratio Tests for Fast Camera Localization
University of California, Irvine（加州大学尔湾分校）
用于相机定位的特征点匹配遭受可扩展性问题。即使当与3D场景点相关联的特征描述符是局部唯一的时，随着覆盖范围的增长，相似或重复的特征也变得越来越常见。因此，用于识别可靠图像特征点的标准距离比率测试过于严格，并拒绝了许多良好的候选匹配。我们提出了一个简单的粗到细的策略，使用保守的近似鲁棒的本地比率测试，可以有效地计算使用全球近似k-最近邻搜索。我们将这些前向匹配视为相机姿态空间中的投票，并使用它们来优先考虑候选相机姿态集群内的后向匹配，利用通过对3D模型相机姿态图进行聚类而捕获的特征共可见性。这种方法在各种流行的基准上实现了最先进的摄像机定位结果，优于使用更复杂的数据结构和对摄像机姿态进行更严格假设的几种方法。我们还对一个包含全局重复结构的困难测试数据集进行了诊断分析，这表明我们的方法成功地适应了大规模图像定位的挑战。
2017-05-20 cs.CV
