MASt3R-SfM: a Fully-Integrated Solution for Unconstrained Structure-from-Motion
NAVER LABS Europe(NAVER欧洲实验室)
本文提出MASt3R-SfM,利用三维视觉基础模型生成局部重建与匹配,通过低内存全局对齐和高效图像检索,构建简单、可扩展且真正无约束的SfM流水线,在中小规模场景中优于现有方法。
2024-09-27 cs.CV
MP-SfM: Monocular Surface Priors for Robust Structure-from-Motion
ETH Zurich(苏黎世联邦理工学院);Google(谷歌);Microsoft Spatial AI Lab(微软空间人工智能实验室)
本文提出MP-SfM,通过将深度神经网络推断的单目深度和法线先验融入经典SfM范式,结合单目与多视图约束,显著提升了在极端视角变化等挑战场景下的鲁棒性和重建性能。
2025-04-28 cs.CV cs.RO
Parallel Structure from Motion for UAV Images via Weighted Connected Dominating Set
The Hong Kong Polytechnic University(香港理工大学);China University of Geosciences(中国地质大学);Shenzhen University(深圳大学);Wuhan University(武汉大学)
增量式运动恢复结构(ISfM)方法已广泛应用于无人机图像定位。然而,由于顺序约束,其效率显著降低。虽然分而治之的策略已被用来提高效率,集群合并变得困难或依赖于认真设计的重叠结构。提出了一种全局模型提取算法,并设计了一种并行SfM算法,实现了无人机图像的高效、精确定位。首先,在词汇树检索的基础上,选取匹配对构造无向加权匹配图,并综合考虑特征匹配的数量和分布情况计算其边权值。其次,设计了一种加权连通支配集(WCDS)算法来实现匹配图的简化和全局模型的建立,该算法将边权值引入到图的节点选择中,使得全局模型的重建能够顺利进行。第三,匹配图同时分为紧凑和非重叠的集群。在并行重建之后,借助于全局模型和簇模型之间的公共3D点进行簇合并。最后,通过对经典斜视角摄影测量和最新优化视角摄影测量获取的3个无人机数据集进行综合分析比较,验证了所提方法的有效性。实验结果表明,该方法可以实现17.4倍的效率提高和相对定位精度。在绝对BA中,地理参考精度在水平和垂直方向上分别约为GSD(地面采样距离)值的2.0倍和3.0倍。对于并行SfM,所提出的解决方案是更可靠的替代方案。
2022-06-24 cs.CV
3D Reconstruction via Incremental Structure From Motion
Department of Electrical and Computer Engineering(电气与计算机工程系);Air University(空军大学)
本文实现增量式运动恢复结构流程,通过逐步加入视图和束调整细化,在稀疏数据下可靠重建三维场景,并用真实数据验证其有效性。
2025-08-01 cs.CV math.OC
Gaussian On-the-Fly Splatting: A Progressive Framework for Robust Near Real-Time 3DGS Optimization
School of Geodesy and Geomatics, Wuhan University(武汉大学测绘学院)
针对现有3DGS需完整SfM后离线训练的问题,提出渐进式On-the-Fly GS框架,结合即时SfM、局部半全局优化与自适应学习率,实现图像采集时近实时3DGS优化,单帧优化仅需数秒且渲染损失低。
2025-07-30 cs.CV
Glob3R: Global Structure-from-Motion with 3D Foundation Models
The Hong Kong University of Science and Technology(香港科技大学);Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室);Nanjing University(南京大学);Fudan University(复旦大学)
研究针对3D基础模型重建结果不准确及处理长序列或大图像集有缺陷的问题,提出Glob3R方法,通过增强主干、转换扭曲为特征轨迹、引入关联策略及进行全局优化等,实现强大准确重建,提升神经渲染质量。
2026-07-13 cs.CV
Image Retrieval for Structure-from-Motion via Graph Convolutional Network
传统的运动恢复结构(Structure-from-Motion,SfM)图像检索技术在有效识别重复模式方面存在局限性,不能保证创建足够多的高精度和高召回率的匹配对。本文提出了一种基于图卷积网络(GCN)的检索方法,该方法能够在不增加冗余的情况下生成精确的成对匹配。我们将图像检索任务定义为图数据中的节点二进制分类问题:如果节点与查询图像共享场景重叠,则将其标记为阳性。其关键思想是,我们发现,在特征空间中的局部上下文周围的查询图像包含丰富的信息,该图像和它的邻居之间的匹配关系。通过构建一个子图周围的查询图像作为输入数据,我们采用了一个可学习的GCN利用子图中的节点是否有重叠区域与查询照片。实验表明,我们的方法在高度模糊和重复场景的挑战性数据集上表现得非常好。此外,与最先进的匹配检索方法相比,所提出的方法显着减少无用的尝试匹配,而不牺牲重建的准确性和完整性。
2020-09-17 cs.CV
Efficient Structure from Motion for Oblique UAV Images Based on Maximal Spanning Tree Expansions
State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University(武汉大学测绘遥感信息工程国家重点实验室)
本文的主要贡献是针对倾斜无人机(无人机)图像提出了一种高效的运动恢复结构(SfM)解决方案。首先,设计了一种基于无人机飞行控制数据和摄像机倾斜安装角度的匹配对选择算法,该算法考虑了图像足迹之间的空间关系约束。其次,一个拓扑连接网络(TCN),表示为一个无向加权图,从初始匹配对,编码的重叠面积和交叉角到边的权重。然后,一个算法,称为MST扩展,提出了提取匹配图的TCN,TCN首先简化的最大生成树(MST)。通过进一步分析MST的局部结构,在MST的节点上进行扩展操作,通过在两个扩展方向上引入临界连接来增强匹配图。最后,在匹配图的指导下,提出了一种有效的SfM解决方案,并通过对3个不同斜向多相机系统采集的无人机数据集进行综合分析和比较,验证了该解决方案的有效性。实验结果表明,该算法提高了图像匹配的效率,加速比在19 ~ 35之间,在无地面控制点的相对光束法平差和有地面控制点的绝对光束法平差中,均获得了较好的定位精度。同时,三个数据集中的图像被成功地定向。对于倾斜无人机图像的定向,该方法可以是一个更有效的解决方案。
2017-05-09 cs.CV
Automatic Calibration of a Multi-Camera System with Limited Overlapping Fields of View for 3D Surgical Scene Reconstruction
Research in Orthopedic Computer Science(骨科计算机科学研究);University Hospital Balgrist(巴尔格斯特大学医院);University of Zurich(苏黎世大学);Computer Vision and Geometry(计算机视觉与几何);ETH Zurich(苏黎世联邦理工学院)
本研究提出了一种基于多尺度标记投影的自动校准方法,用于解决多摄像头系统在3D手术场景重建中的有限重叠视场问题,实现了高精度和鲁棒性。
2025-12-15 cs.CV
Trilaminar Multiway Reconstruction Tree for Efficient Large Scale Structure from Motion
Huazhong University of Science and Technology(华中科技大学)
精度和效率是大规模增量式运动恢复结构(SfM)的两个关键问题。在本文中,我们提出了一个统一的框架,将图像集划分为适合重建的集群,以及找到多个可靠和稳定的起点。图像分割分两步执行。首先,在图像密度高的地方选择一些小的图像组,然后根据所有图像到这些图像组的最佳重建路径对所有图像进行聚类。这保证了场景总是从密集的地方重建到稀疏的区域,这可以减少图像具有弱重叠时的误差积累。为了实现更快的速度,每个集群中选定组之外的图像将进一步划分,以实现更大的并行度。实验结果表明,该方法具有显著的加速比、较高的准确性和较好的完备性。
2016-12-21 cs.CV
Geometry-Aware Feature Matching for Large-Scale Structure from Motion
Institute for Creative Technologies(创意技术研究所);University of Southern California(南加州大学);The Ohio State University(俄亥俄州立大学)
针对大规模 SfM 中视角变化大、重叠稀疏导致的匹配难题,提出融合颜色与几何线索的优化框架,结合无检测器稠密匹配和基于检测器的稀疏锚点,提升对应关系、位姿与点云质量。
2025-05-12 cs.CV
Assessment of Submillimeter Precision via Structure from Motion Technique in Close-Range Capture Environments
University of São Paulo(圣保罗大学)
本研究探讨了在1米近距离采集下,通过优化SfM技术的相机校准、重叠率及图像组合等设置,实现了约0.1 mm的RMSE,验证了其在实验室结构测试中创建亚毫米级3D模型的潜力。
2024-09-23 cs.CV
Extreme Rotation Estimation using Dense Correlation Volumes
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技学院)
我们提出了一种技术,用于估计的RGB图像对在极端的设置,其中的图像有很少或没有重叠的相对3D旋转。我们观察到,即使图像不重叠,也可能有丰富的隐藏线索,它们的几何关系,如光源方向,消失点,和对称性存在于场景中。我们提出了一个网络设计,可以通过比较两个输入图像之间的所有点对来自动学习这种隐式提示。因此,我们的方法构建密集的特征相关体积,并处理这些来预测相对的3D旋转。我们的预测是在旋转的细粒度离散化上形成的,绕过了与回归3D旋转相关的困难。我们在各种极端RGB图像对上展示了我们的方法,包括在不同光照条件和地理位置下捕获的室内和室外图像。我们的评估表明,我们的模型可以成功地估计非重叠图像之间的相对旋转,而不会影响重叠图像对的性能。
2021-07-19 cs.CV
I Am Big, You Are Little; I Am Right, You Are Wrong
King’s College London(伦敦国王学院)
针对不同架构视觉模型决策机制理解有限的问题,本研究提出用最小充分像素集衡量模型“集中度”,发现不同架构模型的集中度存在统计差异,且误分类图像对应更大的像素集。
2025-07-31 cs.AI cs.CV
ObjectMatch: Robust Registration using Canonical Object Correspondences
Technical University of Munich(慕尼黑工业大学)
我们提出了ObjectMatch,一个语义和以对象为中心的摄像机姿态估计器,用于RGB-D SLAM管道。现代相机姿态估计依赖于帧之间重叠区域的直接对应关系;然而,它们不能以很少或没有重叠的方式对齐相机帧。在这项工作中,我们建议利用通过语义对象识别获得的间接对应。例如,当一个对象在一个帧中从前面看到而在另一个帧中从后面看到时,我们可以通过规范对象对应来提供附加的姿势约束。我们首先提出了一个神经网络来预测每像素级别的对应关系,然后我们将其结合在我们的能量公式中,并使用联合高斯-牛顿优化解决了最先进的关键点匹配。在成对设置中,我们的方法提高了最先进的特征匹配的配准召回率,包括从24%到45%的成对帧间重叠10%或更少。在配准RGB-D序列时,我们的方法在具有挑战性的低帧率场景中优于尖端的SLAM基线,在多个场景中实现了超过35%的轨迹误差减少。
2023-03-24 cs.CV cs.LG
Learning to Reconstruct and Understand Indoor Scenes from Sparse Views
Tianjin University(天津大学);Cardiff University(卡迪夫大学);vjia company(3vjia公司);Tsinghua University(清华大学)
提出了一种同时实现室内场景三维重建和语义分割的新方法。与需要使用彩色相机和/或深度相机记录视频的现有方法不同,我们的方法仅需要少量的(例如,3-5)来自未校准稀疏视图的彩色图像作为输入,这大大简化了数据采集并扩展了适用场景。由于不同的视图有有限的重叠,我们的方法允许一个单一的图像作为输入来辨别场景的深度和语义信息。其关键问题是如何从单幅图像中恢复相对准确的深度,并通过融合很少的深度图来重建三维场景。为了解决这个问题,我们首先设计了一个迭代的深度架构IterNet,它交替地估计深度和语义分割,使它们相互受益。针对稀疏视图间存在的少量重叠和非刚性变换,提出了一种全局和局部联合配准方法,从稀疏视图中重建出具有语义信息的三维场景。我们还提供了一个新的室内合成数据集,同时提供逼真的高分辨率RGB图像,精确的深度图和像素级语义标签,用于数千个复杂的布局,用于训练和评估。在公开数据集和本文数据集上的实验结果表明,与现有方法相比,本文方法具有更准确的深度估计、更小的语义分割误差和更好的三维重建效果.
2019-06-19 cs.CV
Can Generative Video Models Help Pose Estimation?
Google(谷歌);Cornell University(康奈尔大学)
针对无重叠图像的姿态估计难题,提出 InterPose 方法,利用预训练生成式视频模型生成中间帧以建立视觉过渡,并引入自一致性分数评估预测,在四个数据集上显著优于 DUSt3R。
2024-12-20 cs.CV
Insights on Evaluation of Camera Re-localization Using Relative Pose Regression
Tel-Aviv-University(特拉维夫大学);Intel(英特尔)
本文研究了视觉重定位中的相对位姿回归问题。最近,在这一领域出现了几种有希望的办法。我们声称,即使他们使用相同的分割训练和测试在相同的数据集上进行演示,但由于目前使用的评估指标,它们之间的忠实比较是不可用的,一些方法可能表现良好,而实际上表现较差。我们揭示了准确性和回归子空间的3D体积之间的权衡。我们认为,与其他重定位方法不同,在相对姿态回归的情况下,回归的子空间3D体积对场景的依赖性较小,并且更多地受到用于对重叠进行评分的方法的影响,该方法确定了采样视点的接近程度。我们提出了三个新的指标来解决上述问题。所提出的度量纳入回归子空间体积的统计。我们还提出了一个新的姿态回归网络,作为这项任务的新基线。我们将我们的训练模型在Microsoft 7-Scenes和Cambridge Landmarks数据集上的性能与标准度量和新提出的度量进行比较,并调整重叠分数以揭示子空间和性能之间的权衡。实验结果表明,与传统方法相比,该方法对不同的重叠阈值具有更好的鲁棒性。最后,我们证明了我们的网络具有很好的泛化能力,具体来说,在单个场景上训练会导致其他场景的性能损失很小。
2020-09-23 cs.AI cs.CV
Virtual Correspondence: Humans as a Cue for Extreme-View Geometry
Massachusetts Institute of Technology(麻省理工学院);Waabi;University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
从极端视图图像中恢复相机的空间布局和场景的几何形状是计算机视觉中的一个长期挑战。主流的3D重建算法通常采用图像匹配范例,并假设场景的一部分在图像之间是共同可见的,当输入之间几乎没有重叠时,性能很差。相比之下,人类可以通过形状的先验知识将一个图像中的可见部分与另一个图像中相应的不可见组件相关联。受此启发,我们提出了一个新的概念,称为虚拟通信(VC)。VC是来自其相机射线在3D中相交的两个图像的一对像素。与经典对应类似,VC符合对极几何;与经典对应不同,VC不需要跨视图共同可见。因此,即使图像不重叠,也可以建立和利用VC。我们介绍了一种方法来找到虚拟的对应关系的基础上,在现场的人。我们展示了VC如何与经典的束调整无缝集成,以在极端视图中恢复相机姿势。实验表明,我们的方法显着优于国家的最先进的相机姿态估计方法在具有挑战性的情况下,是在传统的密集捕捉设置相媲美。我们的方法还释放了潜在的多个下游任务,如场景重建从多视图立体视觉和新的视图合成在极端视图的情况下。
2022-06-16 cs.CV cs.RO
Preserving Semantic Neighborhoods for Robust Cross-modal Retrieval
University of Pittsburgh(匹兹堡大学)
丰富的多模态数据(例如社交媒体帖子)激发了人们对跨模态检索方法的兴趣。流行的方法依赖于各种度量学习损失,这些度量学习损失规定了在学习空间中图像和文本的接近度应该是多少。然而,大多数先前的方法都集中在图像和文本传达冗余信息的情况下,相比之下,现实世界的图像-文本对传达互补信息,几乎没有重叠。此外,新闻文章和媒体中的图像以视觉上多样化的方式描绘主题;因此,我们需要特别注意确保有意义的图像表示。我们提出了新的模态内损失,鼓励在文本和图像子空间,这并不一定符合视觉连贯性的语义连贯性。我们的方法不仅确保了配对的图像和文本是接近的,而且还观察到了预期的图像-图像和文本-文本关系。我们的方法提高了跨模态检索的结果相比,五个基线的四个数据集。
2020-07-16 cs.CL cs.CV cs.IR