Rolling-Shutter-Aware Differential SfM and Image Rectification
National University of Singapore(新加坡国立大学)
在本文中,我们开发了一种改进的差分运动恢复结构(SfM)算法,可以估计相对姿态从两个连续的帧,尽管滚动快门(RS)文物。特别是,我们表明,在恒定速度的假设下,由卷帘快门效应引起的误差可以很容易地纠正由每个光流的线性缩放操作。我们进一步提出了一个9点算法来恢复滚动快门相机,经历恒定加速运动的相对姿态。我们证明了从RS相机的相对姿态恢复的密集深度图可以用于RS感知的翘曲图像校正,以恢复高质量的全局快门(GS)图像。合成和真实的RS图像上的实验表明,我们的RS-感知差分SfM算法产生更准确的结果相对姿态估计和3D重建的图像失真的RS效应相比,标准的SfM算法,假设一个GS相机模型。我们还证明,我们的RS感知扭曲图像纠正方法在消除RS伪影方面优于最先进的商业软件产品,即Adobe After Effects和Apple Imovie。
2019-08-04 cs.CV
Benchmarking Efficient & Effective Camera Pose Estimation Strategies for Novel View Synthesis
Faculty of Electrical Engineering, Czech Technical University in Prague(布拉格捷克技术大学电子工程系);Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague(捷克技术大学信息技术、机器人与自动化研究所);University of Amsterdam(阿姆斯特丹大学)
本文提出一个基准测试,评估在新颖视角合成中高效且有效的相机姿态估计策略,通过减少特征数量和使用前馈网络结合经典SfM方法,实现效率与精度的平衡。
2026-10-16 cs.CV
ORBIT++: Benchmarking SfM in the Wild with 360° Video
Google DeepMind(谷歌DeepMind);Simon Fraser University(西蒙菲莎大学);University of Toronto(多伦多大学)
该研究针对现有SfM方法在复杂视频中失效且缺乏对应可靠基准的问题,提出基于360°视频的ORBIT基准,实验显示多种SfM方法在该基准上表现不佳,为相关研究提供了测试平台。
2026-08-25 cs.CV
3R-GS: Best Practice in Optimizing Camera Poses Along with 3DGS
Texas A&M University(德克萨斯农工大学);Hong Kong University(香港大学);Hong Kong University of Science and Technology(香港科技大学)
3R-GS提出一种联合优化3D高斯与相机参数的框架,利用MASt3R-SfM先验克服SfM初始化敏感性和全局优化局限,实现鲁棒重建、高质量新视角合成与精确位姿估计。
2025-04-05 cs.CV
Planar-SfM: Camera Pose Estimation via Homography Graph Embeddings
Amazon Prime Video Live Events(亚马逊Prime视频直播活动)
提出一种利用平面场景中单应分解估计相机姿态的框架,通过构建姿态图并采用谱嵌入过滤不可靠边,提取最大一致生成树恢复姿态,在平面和一般场景中均表现优异。
2026-07-02 cs.CV
Robust SfM with Little Image Overlap
École des Ponts(法国国立路桥学校);CentraleSupélec(中央理工-高等电力学院)
运动恢复结构(SfM)技术需要至少三焦点重叠来校准相机并重建场景。我们在这里考虑的情况下,减少图像集几乎没有重叠,可能低至两个图像最多看到场景的同一部分。我们提出了一种新的方法,基于线共面性假设,用于估计共享相机的两个独立的双焦点校准的相对尺度,而不需要任何三焦点信息或曼哈顿世界假设。我们用它来计算SfM链的规模相对运动。然而,为了准确性,我们还利用线和/或点特征的三焦点信息,当存在时,放松通常的三焦点约束。为了对错误假设和不匹配的鲁棒性,我们将所有约束嵌入到无参数的RANSAC方法中。实验表明,我们可以校准以前不能校准的数据集,而且这种更广泛的适用性不会以不准确为代价。
2017-03-28 cs.CV
Marginalized Bundle Adjustment: Multi-View Camera Pose from Monocular Depth Estimates
Google(谷歌);Michigan State University(密歇根州立大学)
本文提出边缘束调整方法,利用单目深度估计的密集深度图,有效整合到结构从运动任务中,提升多视角3D视觉性能。
2026-02-21 cs.CV
SfM-Free 3D Gaussian Splatting via Hierarchical Training
National University of Singapore(新加坡国立大学)
本文提出面向视频的 SFGS,通过分层训练合并分区域 3DGS 表示,并结合帧插值与多源监督,在无需 SfM 和已知位姿的情况下显著提升新视角合成质量。
2024-12-02 cs.CV
GPSfM: Global Projective SFM Using Algebraic Constraints on Multi-View Fundamental Matrices
Weizmann Institute of Science(魏茨曼科学研究所)
本文讨论了在多视点环境下从基本矩阵集合中恢复投影相机矩阵的问题。我们做出了两个主要贡献。首先,给定${n \choose 2}$基本矩阵计算$n$图像,我们提供了一个完整的代数表征的形式的条件,既必要又充分,使相机矩阵的恢复。这些条件的基础上安排的基本矩阵作为一个单一的矩阵,称为$n$ -查看基本矩阵块,并表征这个矩阵的符号的特征值和秩结构。其次,我们提出了一个具体的算法,利用这种特性的投影结构从运动。给定测量的基本矩阵的完整或部分集合,我们的方法寻求使测量的基本矩阵的全局代数误差最小化的相机矩阵。与现有的方法相比,我们的优化,没有任何初始化,产生一组一致的基本矩阵,对应于一组独特的相机(投影帧的选择)。实验结果表明,该方法在准确率和运行时间上都达到了最先进的水平。
2021-06-06 cs.CV
A Survey of Structure from Motion
INTECH Investment Management LLC(INTECH投资管理有限责任公司);Weizmann Institute of Science(魏茨曼科学研究所);Princeton University(普林斯顿大学)
计算机视觉中的运动恢复结构(运动恢复结构,SfM)问题是通过估计对应于这些图像的相机的运动,从一组投影测量(表示为二维($2$ D)图像的集合)恢复静止场景的三维($3$ D)结构的问题。本质上,SfM涉及三个主要阶段:(1)提取图像中的特征(例如,兴趣点、线等)并在图像之间匹配这些特征,(2)相机运动估计(例如,使用从提取的特征估计的相对成对照相机位置),以及(3)使用估计的运动和特征恢复$3$ D结构(例如,通过最小化所谓的再投影误差)。本综述主要集中在与阶段(2)和(3)相关的文献中的相对最新发展。更具体地说,在接触后的早期因式分解为基础的技术,运动和结构估计,我们提供了一个详细的说明最近的一些相机位置估计方法在文献中,其次是讨论显着的技术$3$ D结构恢复。我们还涵盖了同时定位与地图构建(SLAM)问题的基础知识,这可以被视为SfM问题的特定情况。此外,我们的调查包括对特征提取和匹配的基本原理的回顾(即,上述阶段(1))、用于处理$3$ D场景中的模糊性的各种最新方法、涉及相对不常见的相机模型和图像特征的SfM技术以及流行的数据源和SfM软件。
2017-05-09 cs.CV
ColabSfM: Collaborative Structure-from-Motion by Point Cloud Registration
Linköping University(林雪平大学);Ericsson Research(爱立信研究院)
针对SfM重建配准缺乏可扩展方法与训练数据的问题,提出面向SfM的点云配准任务、对应数据集生成流程,以及基于RoITr的神经优化器RefineRoITr,验证了其可支撑协同SfM的实现。
2025-03-21 cs.CV
TC-SfM: Robust Track-Community-Based Structure-from-Motion
Zhejiang University(浙江大学)
运动恢复结构(SfM)旨在基于输入图像之间的对应关系来恢复3D场景结构和相机姿态,并且因此恢复由重复结构(即,具有强烈视觉相似性的不同结构)总是导致不正确的相机姿势和3D结构。为了解决这一问题,现有的研究大多采用附加约束信息或通过分析双视图几何或特征点进行隐式推理的方法。在本文中,我们建议利用场景中的高级信息,即,局部区域的空间背景信息,指导重建。具体地说,提出了一种新的结构,即{ \textit{track-community} },其中每个社区由一组轨道组成,并表示在场景中的一个局部段。使用社区发现算法将场景划分为若干段。然后,潜在的二义性段检测通过分析轨迹的邻域,并通过检查姿态一致性进行校正。最后,我们对每个片段进行部分重建,并将它们与一种新的双向一致性成本函数进行对齐,该函数考虑了3D-3D对应关系和成对相对相机姿态。实验结果表明,我们的方法可以鲁棒地减轻重建失败所造成的视觉上难以区分的结构和准确地合并的部分重建。
2022-06-13 cs.CV
Enhancing Novel View Synthesis from extremely sparse views with SfM-free 3D Gaussian Splatting Framework
Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University(电子与电气工程系,香港理工大学);School of Intelligent Systems Engineering, Sun Yat-sen University(智能系统工程学院,中山大学)
本文提出一种无SfM的3D高斯泼溅框架,通过稠密立体模块、连贯视图插值及多尺度正则化,在仅2个训练视图的极稀疏条件下联合估计相机位姿并重建场景,PSNR提升2.75dB。
2025-08-21 cs.CV
AnyCam: Learning to Recover Camera Poses and Intrinsics from Casual Videos
Technical University of Munich(慕尼黑工业大学);University of Oxford(牛津大学)
AnyCam提出一种前馈Transformer模型,从动态视频中直接估计相机姿态与内参,利用不确定性损失和预训练深度/光流网络,无需标注,速度快且能生成高质量4D点云。
2025-03-30 cs.CV
A Photogrammetry-based Framework to Facilitate Image-based Modeling and Automatic Camera Tracking
Fraunhofer IOSB(弗劳恩霍夫光电、系统技术及图像处理研究所)
我们提出了一个框架,扩展搅拌机利用运动恢复结构(SfM)和多视图立体视觉(MVS)技术,基于图像的建模任务,如雕刻或相机和运动跟踪。应用SfM使我们能够确定相机运动,而无需手动定义特征轨迹或校准用于捕获图像数据的相机。使用MVS,我们能够自动计算密集场景模型,这在Blender的内置工具中是不可行的。目前,我们的框架支持几个最先进的SfM和MVS管道。模块化系统设计使我们能够集成更多的方法,而无需额外的努力。该框架作为开放源码软件包公开提供。
2020-12-02 cs.CV cs.GR
SAIL-Recon: Large SfM by Augmenting Scene Regression with Localization
The Hong Kong University of Science and Technology(香港科学与技术大学);Horizon Robotics(Horizon机器人);Zhejiang University(浙江大学)
针对场景回归方法难以处理大量输入图像的问题,提出SAIL-Recon——一种增强视觉定位能力的前馈Transformer,通过锚点图像子集构建神经场景表示并微调回归网络,实现大规模SfM,在多个基准上取得最优结果。
2025-08-25 cs.CV
Distributed Global Structure-from-Motion with a Deep Front-End
Georgia Tech(佐治亚理工学院)
本文研究深度特征提取与匹配进展能否使全局SfM达到与增量式SfM(COLMAP)相当的性能,通过模块化分布式框架实验发现深度方法虽提升点密度但未超越SIFT。
2023-11-30 cs.AI cs.CV
Robust Multi-view Camera Calibration from Dense Matches
Linköping University(_linköping大学)
本文提出了一种鲁棒的多视角相机校准方法,通过优化密集匹配的子采样和视图增量选择,提升了在强径向畸变下的校准精度,适用于动物行为和视频监控分析。
2025-12-17 cs.CV
ICP-3DGS: SfM-free 3D Gaussian Splatting for Large-scale Unbounded Scenes
Elmore Family School of Electrical and Computer Engineering(电气与计算机工程学院);Purdue University(普渡大学)
提出ICP-3DGS方法,结合ICP与基于优化的细化实现大相机运动下的准确位姿估计,并引入基于体素的场景致密化方法,在无需SfM先验的大规模室内外场景重建与新视角合成上优于现有方法。
2025-06-24 cs.CV cs.GR
PLMP -- Point-Line Minimal Problems for Projective SfM
KTH(瑞典皇家理工学院);CNRS(法国国家科学研究中心);École Polytechnique(巴黎综合理工学院)
本研究对未标定针孔相机下投影式SfM的点-线最小问题完成全分类,发现291个最小问题并计算解数,还提出基于稳定子群的系统化几何方法用于问题分解、识别与非最小性证明。
2025-07-31 cs.CV math.AG
Depth-Guided Sparse Structure-from-Motion for Movies and TV Shows
University at Buffalo(布法罗大学);Amazon(亚马逊);Amazon Prime Video(亚马逊Prime Video)
运动恢复结构(SfM)的现有方法产生令人印象深刻的3-D重建结果,特别是当使用以大视差捕获的图像时。然而,为了在电影和电视节目中创建吸引人的视频内容,在拍摄特定镜头时相机可以移动的量通常是有限的。由此产生的视频帧之间的小运动视差使得标准的基于几何的SfM方法对于电影和电视节目不那么有效。为了应对这一挑战,我们提出了一种简单而有效的方法,该方法使用从预训练网络获得的单帧深度先验,以显着改善我们的小视差设置的基于几何的SfM。为此,我们首先使用检测到的关键点的深度估计来重建点云和相机姿态,以进行初始的两视图重建。然后,我们进行深度正则化优化,以注册新的图像和三角测量的新点在增量重建。为了全面评估我们的方法,我们引入了一个新的数据集(StudioSfM),该数据集由来自15个工作室制作的视频的130个镜头组成,这些视频由专业CG工作室手动注释。我们证明了我们的方法:(a)显着提高了我们的小视差设置的3-D重建的质量,(b)不会导致任何退化的数据与大视差,(c)保持基于几何的稀疏SfM的可推广性和可扩展性。我们的数据集可以在https://github.com/amazon-research/small-baseline-camera-tracking上获得。
2022-04-05 cs.CV
A Constrained Optimization Approach for Gaussian Splatting from Coarsely-posed Images and Noisy Lidar Point Clouds
dConstruct Robotics(dConstruct机器人公司);National University of Singapore(新加坡国立大学)
针对3D高斯溅射需SfM初始化的问题,提出约束优化方法,分解相机姿态为两步优化并引入参数与几何约束,无需SfM即可同时估计相机姿态与重建3D场景,性能优于现有基线及COLMAP辅助方法。
2025-04-12 cs.CV
Hybrid Structure-from-Motion and Camera Relocalization for Enhanced Egocentric Localization
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);University of Oxford(牛津大学)
本研究提出EgoLoc-v1流水线,通过融合SfM与相机重定位的混合策略及模型集成优化VQ3D任务的相机位姿估计,整体成功率较现有最优方法EgoLoc提升1.5%,并开源了代码。
2024-07-10 cs.CV
High-resolution Ecosystem Mapping in Repetitive Environments Using Dual Camera SLAM
University of Georgia(佐治亚大学)
运动恢复结构(SfM)技术越来越多地用于在包括环境监测的许多领域中从图像创建3D地图。然而,SfM技术通常在视觉重复的环境中混淆,因为它们主要依赖于全局不同的图像特征。同时定位与地图构建(SLAM)技术在视觉上重复的环境中提供了潜在的解决方案,因为它们使用局部特征匹配,但是SLAM方法在广角相机的情况下工作得最好,广角相机通常不适合记录感兴趣的环境系统。我们通过提出一种双摄像头SLAM方法来解决这个问题,该方法使用面向前的广角摄像头进行定位,并使用面向下的窄角度高分辨率摄像头进行记录。使用标准SLAM方法处理由前向相机视频获取的视频帧,该方法提供成像系统通过环境的轨迹,该轨迹然后用于引导文档相机图像的配准。最初通过单目SLAM从文档相机图像产生的碎片地图随后被缩放并与定位相机轨迹对齐,最后经过全局优化过程以产生统一的细化地图。与几种最先进的SfM方法的实验比较表明,双相机SLAM方法在基于地面控制点标记的选择样本的重复环境系统中表现更好。
2022-01-10 cs.CV cs.RO
DATAP-SfM: Dynamic-Aware Tracking Any Point for Robust Structure from Motion in the Wild
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);Shanghai AI Laboratory(上海人工智能实验室)
本文提出DATAP-SfM方法,通过动态感知任意点跟踪结合一致视频深度先验,对静态可见点执行全局光束法平差,从而在野外动态视频中实现鲁棒的相机位姿估计与稠密重建。
2024-11-20 cs.CV
Single-Scanline Relative Pose Estimation for Rolling Shutter Cameras
Microsoft(微软公司)
提出一种利用单扫描线投影交点估计卷帘快门相机相对位姿的方法,无需显式运动模型,并开发了多种最小求解器,为卷帘快门SfM提供了有效的初始化基础。
2025-06-27 cs.CV
IM360: Large-scale Indoor Mapping with 360 Cameras
University of Maryland, College Park(马里兰大学学院公园分校)
本文提出IM360大规模室内3D建图流程,融合360球面相机模型、密集匹配SfM与神经纹理优化,在真实场景及两个基准上取得更优重建、定位和配准性能。
2025-09-28 cs.CV
Level-S$^2$fM: Structure from Motion on Neural Level Set of Implicit Surfaces
Wuhan University(武汉大学);NC State University(北卡罗来纳州立大学)
本文提出了一种神经增量运动恢复结构(SfM)方法,Level-S $^2$ fM,它通过学习隐式曲面的坐标MLP和已建立的关键点对应关系的辐射场,从一组未校准图像中估计相机姿态和场景几何。由于增量SfM管道中不可避免的两视图和少视图配置,我们的新配方提出了一些新的挑战,这使得具有未知相机姿态的体积神经渲染的坐标MLP的优化变得复杂。尽管如此,我们证明了在2D对应关系中传达的强归纳基础有希望通过利用射线采样方案之间的关系来解决这些挑战。在此基础上,我们重新审视了增量SfM的流水线,并更新了关键组件,包括两视图几何初始化,相机姿态配准,3D点三角剖分和束调整,基于神经隐式曲面的新视角。通过坐标MLP统一小型MLP网络中的场景几何,我们的Level-S $^2$ fM将隐式曲面的零水平集视为信息自上而下的正则化来管理重建的3D点,通过查询SDF拒绝对应的离群值,并通过NBA(神经BA)细化估计的几何形状。我们的Level-S $^2$ fM不仅在摄像机姿态估计和场景几何重建方面取得了令人满意的结果,而且还为神经隐式绘制提供了一种很有前途的方法,而无需事先知道摄像机外部参数。
2023-03-27 cs.CV
RoMo: Robust Motion Segmentation Improves Structure from Motion
Google DeepMind(谷歌DeepMind);University of Toronto(多伦多大学);Adobe Research(奥多比研究院);Simon Fraser University(西蒙菲莎大学)
针对SfM依赖静态-动态分割的问题,提出结合光流、极线线索与预训练分割模型的迭代方法RoMo,提升运动分割性能并大幅改进动态场景相机校准效果。
2024-11-27 cs.CV
Reconstructing People, Places, and Cameras
UC Berkeley(伯克利大学)
该研究提出HSfM方法,结合数据驱动场景重建与传统SfM框架,利用人体统计模型估计公制尺度,联合优化人体网格、场景点云和相机参数,在基准数据集上显著提升人体定位与相机位姿估计精度,同时改善场景重建质量。
2025-05-20 cs.CV
Single-View Rolling-Shutter SfM
本文提出通过单视角滚动快门几何解决RS SfM问题,系统推导最小重建问题并评估可行性与限制。
2026-03-12 cs.CV math.AG
QuacamFM: Quaternion-Constrained Flow Matching for Camera Pose Estimation
QuacamFM提出四元数约束流匹配框架,通过球面线性插值保持单位四元数约束,提升稀疏视图相机位姿估计精度,优于扩散模型和经典SfM方法。
2026-09-29 cs.CV
Robust Dynamic Radiance Fields
National Taiwan University(国立台湾大学);Meta;KAIST(韩国科学技术院);University of Maryland, College Park(马里兰大学帕克分校)
动态辐射场重建方法的目标是对动态场景的时变结构和外观进行建模。然而,现有的方法,假设准确的相机姿势可以可靠地估计从运动的运动恢复结构(SfM)算法。因此,这些方法是不可靠的,因为SfM算法经常在具有高度动态对象、粗糙表面和旋转相机运动的挑战性视频上失败或产生错误姿势。我们通过联合估计静态和动态辐射场以及相机参数(姿态和焦距)来解决这个鲁棒性问题。我们通过大量的定量和定性实验证明了我们的方法的鲁棒性。我们的研究结果显示出良好的性能超过国家的最先进的动态视图合成方法。
2023-03-21 cs.CV
Correspondence-Guided SfM-Free 3D Gaussian Splatting for NVS
University of Chinese Academy of Sciences(中国科学院大学);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
针对无SfM的新视角合成中初始位姿不准导致的优化不稳定、收敛差问题,提出对应引导式三维高斯泼溅方法,通过像素对应优化位姿与场景,性能和效率均优于现有最优基准。
2024-08-16 cs.AI cs.CV
Stereo 3D Object Trajectory Reconstruction
Fraunhofer IOSB(弗劳恩霍夫IOSB研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
我们提出了一种方法来重建的三维轨迹的一个已知的对象类别使用立体视频数据的移动实例。我们利用实例感知的语义分割技术和光流线索,在像素级上跟踪对象的二维形状。我们将运动恢复结构(SfM)技术应用于对象和背景图像,以确定每帧初始相机相对于对象实例和背景结构的姿态。我们完善的初始SfM的结果,通过整合立体相机的约束,利用因子图。我们通过结合目标和背景摄像机的姿态信息来计算目标的轨迹。与立体匹配方法相比,我们的方法利用时间相邻的对象点三角测量视图。与单目轨迹重建方法相反,我们的方法没有退化的情况。我们评估我们的方法使用公开的视频数据的车辆在城市场景。
2018-08-27 cs.CV
Robust Incremental Structure-from-Motion with Hybrid Features
ETH Zurich(苏黎世联邦理工学院);Microsoft Mixed Reality & AI Lab Zurich(微软混合现实与人工智能实验室苏黎世分部);Lund University(隆德大学)
本文提出一种融合点与线段特征的增量式SfM系统,通过利用线段的结构化几何约束和不确定性传播方法,在弱纹理等挑战性场景下实现了比现有基于点的方法更鲁棒、更准确的相机配准与场景重建。
2024-09-29 cs.CV
Self-Supervised Learning of Depth and Camera Motion from 360° Videos
National Tsing Hua University(国立清华大学)
随着360°相机在许多自主系统中变得普遍(例如,自动驾驶汽车和无人机),高效的360°感知变得越来越重要。我们提出了一种新的自监督学习方法,用于从360°视频中预测全向深度和摄像机运动。特别是,从SfMLEarner开始,它是为普通视场的相机设计的,我们引入了三个关键特性来有效地处理360°图像。首先,我们将每一幅图像从等矩形投影转换为立方体投影,以避免图像失真。在每个网络层中,我们使用立方体填充(CP),它填充相邻面的中间特征,以避免图像边界。其次,我们提出了一种新的“球面”的光度一致性约束的整个观察领域。以这种方式,没有像素将被投影到图像边界之外,这通常发生在具有正常视场的图像中。最后,不是天真地估计六个独立的相机运动(即,天真地将SfM-Learner应用于立方体上的每个面),我们提出了一种新的相机姿态一致性损失,以确保估计的相机运动达到共识。为了训练和评估我们的方法,我们收集了一个新的PanoSUNC数据集,其中包含大量具有地面实况深度和相机运动的360°视频。我们的方法在PanoSUCG上实现了最先进的深度预测和相机运动估计,与equirectangular相比,推理速度更快。在现实世界的室内视频中,我们的方法也可以通过获取PanoSUCG上预训练的模型来实现定性合理的深度预测。
2018-11-13 cs.CV
Light3R-SfM: Towards Feed-forward Structure-from-Motion
NVIDIA(英伟达);Vector Institute(向量研究所);University of Toronto(多伦多大学)
提出前馈端到端框架Light3R-SfM,利用潜在全局对齐模块和稀疏场景图替代传统全局优化,在保证3D重建精度的同时大幅降低运行时间与计算开销。
2025-01-24 cs.CV cs.LG
InstantSfM: Towards GPU-Native SfM for the Deep Learning Era
InstantSfM通过深度约束的雅可比结构实现GPU原生SfM,解决尺度模糊问题,提升大规模场景下的效率和精度。
2026-07-23 cs.CV
MASt3R-SfM: a Fully-Integrated Solution for Unconstrained Structure-from-Motion
NAVER LABS Europe(NAVER欧洲实验室)
本文提出MASt3R-SfM,利用三维视觉基础模型生成局部重建与匹配,通过低内存全局对齐和高效图像检索,构建简单、可扩展且真正无约束的SfM流水线,在中小规模场景中优于现有方法。
2024-09-27 cs.CV
3D Pipe Network Reconstruction Based on Structure from Motion with Incremental Conic Shape Detection and Cylindrical Constraint
Tokyo Institute of Technology(东京工业大学);Olympus Corporation(奥林巴斯公司)
管道检测是一个城市的许多工业和基础设施的关键任务。管道的3D信息可用于揭示检测期间管道表面的变形和相机的位置。在本文中,我们提出了一个三维管道重建系统,使用单目内窥镜摄像机捕获的序列图像。我们的工作扩展了一个国家的最先进的增量结构从运动(SfM)的方法,将事先约束的目标形状到光束法平差(BA)。使用这个约束,我们可以最小化尺度漂移,这是在SfM的一般问题。此外,我们的方法可以重建由多个部分组成的管网,包括直管,弯头和三通。在实验中,我们表明,所提出的系统,使更准确和强大的管道映射从一个单目摄像机相比,现有的最先进的方法。
2020-07-03 cs.CV
A Factorization Approach to Inertial Affine Structure from Motion
Boston University(波士顿大学)
本文研究了利用仿射投影模型从运动摄像机上以高帧速率重建三维场景的问题。这个问题传统上被称为仿射运动恢复结构(Affine SfM),并且可以使用优雅的低秩因式分解公式来解决。在本文中,我们假设加速度计和陀螺仪是刚性安装的相机,使同步线加速度和角速度测量与图像测量一起提供。我们扩展了标准的仿射SfM算法,通过使用图像导数来整合这些测量。
2016-08-09 cs.CV cs.RO
CVD-SfM: A Cross-View Deep Front-end Structure-from-Motion System for Sparse Localization in Multi-Altitude Scenes
Stevens Institute of Technology(史蒂文斯理工学院)
提出一种多高度相机位姿估计系统,通过融合跨视图Transformer、深度特征与运动恢复结构构建统一框架,并引入两个新数据集,在多高度稀疏定位任务的准确性和鲁棒性上优于现有方法。
2025-08-03 cs.CV cs.RO
3D Reconstruction via Incremental Structure From Motion
Department of Electrical and Computer Engineering(电气与计算机工程系);Air University(空军大学)
本文实现增量式运动恢复结构流程,通过逐步加入视图和束调整细化,在稀疏数据下可靠重建三维场景,并用真实数据验证其有效性。
2025-08-01 cs.CV math.OC
Semantic Validation in Structure from Motion
University College London(伦敦大学学院)
本文提出将语义分割集成到SfM流程中,利用DeepLab和COLMAP结合平面重建,通过应用对象先验约束、剔除语义不一致点及移除动态物体,有效校正了重复特征场景下的特征匹配错误,提升了3D模型的验证精度。
2023-04-05 cs.CV cs.RO
Cascaded Parallel Filtering for Memory-Efficient Image-Based Localization
Nanyang Technological University(南洋理工大学);Fraunhofer Singapore(弗劳恩霍夫新加坡研究所);University of Chinese Academy of Sciences(中国科学院大学)
基于图像的定位(IBL)旨在估计给定查询图像的6DOF相机姿态。相机姿态可以从查询图像和运动恢复结构(SfM)模型之间的2D-3D匹配来计算。尽管IBL的最新进展,它仍然难以同时解决大型SfM模型的内存消耗和匹配模糊性问题。在这项工作中,我们提出了一个级联的并行过滤方法,利用特征,可见性和几何信息过滤错误的匹配下的二进制特征表示。其核心思想是,我们将具有挑战性的过滤任务分为两个并行的任务,然后推导出一个辅助相机的最终过滤。一个任务专注于保留潜在的正确匹配,而另一个任务专注于获得高质量的匹配,以促进后续更强大的过滤。此外,我们提出的方法提高了定位精度,通过引入质量感知的空间重构方法和主焦距增强的姿态估计方法。在真实世界数据集上的实验结果表明,我们的方法以一种高效的内存方式实现了非常有竞争力的定位性能。
2019-08-16 cs.CV
3D Reconstruction of Spherical Images based on Incremental Structure from Motion
School of Computer Science, China University of Geosciences(中国地质大学计算机学院);The Hong Kong Polytechnic University(香港理工大学)
针对球形图像经典3D重建流程缺失的问题,基于球形相机成像几何提出包含相对定向、绝对定向和BA优化的增量式SfM工作流程,成功实现复杂场景重建并开源。
2023-06-24 cs.CV
MRASfM: Multi-Camera Reconstruction and Aggregation through Structure-from-Motion in Driving Scenes
Department of Automation, Key Laboratory of System Control and Information Processing of Ministry of Education, Key Laboratory of Marine Intelligent Equipment and System of Ministry of Education, Shanghai Engineering Research Center of Intelligent Control and Management, Shanghai Jiao Tong University(自动化系、教育部系统控制与信息处理重点实验室、教育部海洋智能装备与系统重点实验室、上海智能控制与管理工程研究中心、上海交通大学);The Advanced Robotics Research Center, Artificial Intelligence Research Institute and School of Information and Control Engineering, China University of Mining and Technology(先进机器人研究中心、人工智能研究院和信息与控制工程学院、中国矿业大学)
针对驾驶场景多相机SfM中姿态估计不可靠、道路重建离群点多及效率低的问题,提出MRASfM框架,利用固定空间关系、平面模型和BA单元化提升性能,在nuScenes上取得0.124绝对姿态误差。
2025-10-17 cs.CV
Free-SurGS: SfM-Free 3D Gaussian Splatting for Surgical Scene Reconstruction
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI实验室);Hong Kong Center for Logistics Robotics(香港物流机器人中心)
本文提出Free-SurGS,首个无SfM的3D高斯泼溅手术场景重建方法,通过联合优化相机位姿与场景表示,利用光流先验和一致性检查,在SCARED数据集上以高效率超越现有方法。
2024-07-03 cs.CV eess.IV
DP-SfM: Dual-Pixel Structure-from-Motion without Scale Ambiguity
Graduate School of Information Science and Technology, The University of Osaka(信息科学与技术研究生院,大阪大学)
本文提出DP-SfM方法,利用双像素传感器的模糊特性自动解决尺度模糊问题,无需参考物体或先验校准,通过深度图与模糊核优化实现绝对尺度估计。
2026-05-03 cs.CV
Fast and Accurate Camera Covariance Computation for Large 3D Reconstruction
Czech Technical University in Prague(布拉格捷克理工大学);University of Bonn(波恩大学)
从运动恢复结构运动恢复结构(SfM)中摄像机参数的不确定性是评价重建质量和指导重建过程的重要工具。然而,由于计算的挑战,大型重建的估计参数的质量很少被评估。我们提出了一种新的算法,它采用的不确定性传播的稀疏性和速度的计算约十倍\wrt以前的方法。我们的计算是准确的,没有使用任何近似值。我们可以在一台标准PC上在几十秒内计算数千台摄像机的不确定度。我们还证明了我们的方法可以有效地用于任何大小的重建,通过将其应用到较小的子重建。
2018-08-07 cs.CV
LiFF: Light Field Features in Scale and Depth
Stanford University(斯坦福大学);The University of Sydney(悉尼大学)
特征检测器和描述符是许多高级任务所依赖的关键低级视觉工具。不幸的是,这些工具在存在具有挑战性的光传输效应(包括部分遮挡、低对比度以及反射或折射表面)时会失败。基于新兴光场相机提供的空间-角度成像模式,我们引入了一种新的计算效率高的4D光场特征检测器和描述符:LiFF。LiFF是尺度不变的,并利用全4D光场来检测对视角变化具有鲁棒性的特征。这对于从运动恢复结构运动恢复结构(SfM)和匹配跨场景的视点的特征的其他任务特别有用。我们证明了显着改善的三维重建通过SfM时,使用LiFF,而不是领先的2D或4D功能,并表明,LiFF运行速度比领先的4D方法快一个数量级。最后,LiFF固有地估计每个特征的深度,为基于光场的SfM的未来研究开辟了道路。
2019-01-13 cs.CV
Deep 2.5D Vehicle Classification with Sparse SfM Depth Prior for Automated Toll Systems
Graz University of Technology(格拉茨理工大学)
自动收费系统依赖于对过往车辆的正确分类。当用于分类的图像仅覆盖车辆的部分时,这尤其困难。获取整车信息。我们将车辆重建为3D对象,并在卷积神经网络(CNN)中利用这些附加信息。然而,当使用深度网络进行3D对象分类时,需要大量密集的3D模型来获得良好的准确性,由于内存要求,这些模型通常既不可用也不可行。因此,在我们的方法中,我们使用重建的点,线或两者将3D对象重新投影到图像平面上。我们在辅助网络分支中利用这种稀疏深度先验,该分支在训练期间充当正则化器。我们表明,这种辅助正则化有助于提高准确性相比,在现实世界的数据集上的2D分类。此外,由于网络的设计,在测试时,仅需要2D相机图像用于分类,这使得能够在便携式计算机视觉系统中使用。
2018-05-11 cs.CV
Simulating Structure-from-Motion
ITU Copenhagen(哥本哈根信息技术大学);ETH Zurich(苏黎世联邦理工学院)
从一个综合生成的场景,以及调查的忠实性不同的重建的运动恢复结构(SfM)管道的实施是这个项目的主题。实现了一系列不同的SfM重建,并且将其相机姿态估计与其各自的地面实况位置进行对比。最后,注入地面实况定位数据到渲染图像,以减少估计误差的相机位姿的研究。
2017-10-03 cs.CV cs.GR cs.RO