MV-RoMa: From Pairwise Matching into Multi-View Track Reconstruction
KAIST(韩国科学技术院);Seoul National University(首尔大学)
MV-RoMa通过多视角密集匹配模型,联合估计源图像到多个共视目标的密集对应关系,提升3D重建的准确性和密度。
2026-03-29 cs.CV
Learning and Matching Multi-View Descriptors for Registration of Point Clouds
Hong Kong University of Science and Technology(香港科技大学);Shenzhen Zhuke Innovation Technology(深圳珠科创新技术)
点云配准的关键是在3D空间中的点之间建立一组精确的对应关系。对应性问题通常一方面通过设计有区别的3D局部描述符来解决,另一方面通过开发鲁棒的匹配策略来解决。在这项工作中,我们首先提出了一个多视图局部描述符,这是从多个视图的图像学习,用于描述3D关键点。然后,我们开发了一个强大的匹配方法,旨在拒绝离群匹配的基础上,通过定义的图形模型上的置信传播的有效推理。我们已经证明了我们的方法在公共扫描和多视图立体视觉数据集上注册的提升。通过对各种描述符和匹配方法的深入比较,验证了其优越的性能。
2023-02-27 cs.CV
Cross-View Image Matching for Geo-localization in Urban Environments
University of Central Florida(中佛罗里达大学)
在本文中,我们解决的问题,跨视图图像的地理定位。具体来说,我们的目标是通过在地理标记的鸟瞰图图像的参考数据库中找到匹配的图像来估计查询街景图像的GPS位置,反之亦然。为此,我们提出了一个新的框架,通过利用深度卷积神经网络(CNN)在图像分类和目标检测的巨大成功,跨视图图像地理定位。首先,我们使用Faster R-CNN来检测查询和参考图像中的建筑物。接下来,对于查询图像中的每个建筑物,我们使用在正匹配图像对和负匹配图像对上训练的Siamese网络从参考建筑物中检索$k$最近邻居。为了找到正确的NN为每个查询建设,我们开发了一个有效的多个最近邻匹配方法的基础上占主导地位的集。我们评估了一个新的数据集,包括对街景和鸟瞰图像的建议框架。实验结果表明,该方法实现了更好的地理定位精度比其他方法,并能够推广到图像在看不见的位置。
2017-03-22 cs.CV
Visibility-Aware Pixelwise View Selection for Multi-View Stereo Matching
University of Guelph(圭尔夫大学)
基于PatchMatch的多视图立体视觉算法的性能很大程度上取决于为计算匹配代价而选择的源视图。大多数现有的方法不是对不同视图的可见性进行建模,而是以特别的方式处理遮挡。为了解决这个问题,我们提出了一种新的可行性指导像素视图选择方案在本文中。它根据已验证的解决方案提供的可见性信息,逐步细化要用于参考视图中每个像素的源视图集。此外,人工多蜂群(AMBC)算法被用来并行搜索不同像素的最优解。群体间通信在同一图像内和不同图像之间进行。健身奖励被添加到验证和传播的解决方案,有效地加强相邻像素的平滑度,并允许更好地处理无纹理区域。DTU数据集上的实验结果表明,我们的方法实现了最先进的性能之间的非学习为基础的方法和检索更多的细节在闭塞和低纹理区域。
2023-02-14 cs.CV
Iterative Greedy Matching for 3D Human Pose Tracking from Multiple Views
University of Bonn(波恩大学)
在这项工作中,我们提出了一种方法来估计3D人体姿势的多个人从一组校准的相机。从多个视图估计3D人体姿势具有几个引人注目的特性:在全局坐标空间内估计人体姿势,并且多个相机提供扩展的视场,这有助于解决模糊性,遮挡和运动模糊。我们的方法建立在一个实时的2D多人姿态估计系统和greatly解决了多个视图之间的关联问题。我们利用二分匹配来跟踪多个人在多个帧。这证明是特别有效的,因为与贪婪匹配相关的问题,如遮挡,可以很容易地在3D中解决。我们的方法在流行的基准测试中取得了最先进的结果,并可作为未来工作的基线。
2021-01-24 cs.CV
GeodesicNVS: Probability Density Geodesic Flow Matching for Novel View Synthesis
Huawei Hilbert Research Center (Dresden)(华为希尔伯特研究中心(德累斯顿));Technical University of Munich(慕尼黑工业大学);Karlsruhe University of Applied Sciences(卡尔斯鲁厄应用科学大学)
本文提出PDG-FM方法,通过数据依赖的几何正则化提升确定性流匹配的视角一致性,实验证明在Objaverse和GSO30数据集上优于扩散模型。
2026-03-26 cs.CV
Semantic Cross-View Matching
Seconda Università di Napoli(那不勒斯第二大学);Stanford University(斯坦福大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
匹配交叉视图图像是具有挑战性的,因为外观和视点是显著不同的。虽然基于梯度方向或滤波器响应的低级特征可以随着视点的这种变化而急剧变化,但是图像的语义信息在这方面表现出不变的特性。因此,语义标记的区域可以用于执行跨视图匹配。因此,在本文中,我们探索这个想法,并提出了一个自动的方法来检测和表示的RGB图像的语义信息与(非RGB)地理信息系统(GIS)的目标进行跨视图匹配。一个分割的图像形成输入到我们的系统与段分配给语义概念,如交通标志,湖泊,道路,树叶等,我们设计了一个描述符,以强大的捕捉,语义概念的存在和这些段的空间布局。然后,从GIS地图和查询图像中提取的描述符之间的成对距离用于生成在一致的空间布局中具有相似语义概念的最有希望的位置的短列表。具有挑战性的查询图像和一个大的城市地区的实验评估显示出可喜的成果。
2015-10-31 cs.CV
SAMatcher: Dense Co-Visibility Modeling via Cross-View Fusion for Scale-Imbalance Image Matching
Wuhan University(武汉大学);Nanyang Technological University(南洋理工大学);Space Engineering University(航天工程大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
提出SAMatcher框架,通过共视性建模预测共视区域掩码和边界框作为结构先验,利用Segment Anything Model的对称交叉视图交互机制和统一监督方案,显著提升大视角和尺度变化下的特征匹配性能。
2026-09-23 cs.CV
Learning-based Relational Object Matching Across Views
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Max Planck ETH Center for Learning Systems(马克斯·普朗克-苏黎世联邦理工学院学习系统中心);ETH Zurich(苏黎世联邦理工学院);University of Amsterdam(阿姆斯特丹大学);Microsoft Mixed Reality and AI Lab(微软混合现实与人工智能实验室)
针对大视角变化下图像匹配效果不佳的问题,提出结合局部关键点与对象级特征的学习式跨视图对象匹配方法,在关联图神经网络中基于外观和空间关系训练特征,在合成图像上的表现优于现有方法及纯关键点方法。
2023-05-03 cs.CV
ViewBridge:Revisiting Cross-View Localization from Image Matching
Wuhan University(武汉大学);Ant Group(蚂蚁集团);The Chinese University of Hong Kong(香港中文大学)
本文从图像匹配视角重新审视跨视角定位任务,提出包含Surface Model和SimRefiner的统一框架,构建首个像素级标注跨视角图像基准CVFM,有效提升了极端视角下跨视角定位的准确性与稳定性。
2025-11-19 cs.CV
Panorama to panorama matching for location recognition
Inria(法国国家信息与自动化研究所);CTU in Prague(布拉格捷克理工大学)
位置识别通常被视为“街景”图像上的视觉实例检索。数据集项目和查询是全景视图,即在单个位置拍摄的图像组。这项工作介绍了一种新的全景图到全景图的匹配过程,无论是通过聚合功能的个人图像在一个组中,或通过明确地构建一个更大的全景。在这两种情况下,都使用多个视图作为查询。我们达到接近完美的位置识别的标准基准只有四个查询视图。
2017-04-21 cs.CV
Ego2Top: Matching Viewers in Egocentric and Top-view Videos
Center for Research in Computer Vision University of Central Florida
以自我为中心的相机越来越受欢迎,并为我们提供了大量的视频,从第一人称视角捕捉。与此同时,监控摄像头和无人机提供了丰富的视觉信息,通常是从顶视图捕获的。虽然这两个信息来源在过去被单独研究,但它们没有被集体研究和联系起来。有一组以自我为中心的摄像机和顶视图摄像机捕捉相同的区域,我们提出了一个框架,以确定以自我为中心的观众在顶视图视频。我们利用两种类型的功能,我们的分配过程。一元特征编码观看者(从顶视图或记录自我中心视频)随时间的视觉体验。成对特征对一对观看者的视觉内容之间的关系进行编码。每个视图(自我中心或顶部)的图形建模,分配过程被公式化为谱图匹配。在不同场景下拍摄的50个顶视图和188个以自我为中心的视频的数据集上评估我们的方法,证明了所提出的方法在将以自我为中心的观众分配给顶视图相机中存在的身份方面的效率。我们还研究了不同的参数,如自我中心的观众和视觉功能的数量的影响。
2016-08-13 cs.CV
Joint optimization of fitting & matching in multi-view reconstruction
Western University(韦仕敦大学)
几何模型拟合的许多标准方法是基于预匹配的图像特征。通常,这种预匹配仅使用特征外观(例如SIFT),并且必须丢弃大量非唯一特征以控制误报率。相比之下,我们在联合优化框架中解决特征匹配和多模型拟合问题。本文提出了几个适合与匹配的能量公式的基础上推广的分配问题。我们开发了一个有效的求解器的基础上,最小成本最大流算法,找到接近最优的解决方案。我们的方法显著增加了检测到的匹配的数量。在实践中,基于能量的联合拟合和匹配允许增加先前由局部SIFT匹配的鲁棒性限制的视点之间的距离,并且当与最先进的多模型拟合技术相比时,提高模型拟合精度。
2014-04-09 cs.CV
Multi-View Matching Network for 6D Pose Estimation
Purdue University(普渡大学);HP Inc.(惠普公司)
与现实世界交互的应用,如增强现实或机器人操作,需要对周围物体的位置和姿态有很好的理解。在本文中,我们提出了一种新的方法来估计6自由度(DoF)或6D姿态的对象从一个单一的RGB图像。我们的方法可以与目标检测和分割方法配对,通过将输入图像与渲染图像进行匹配来估计、细化和跟踪对象的姿态。
2019-11-27 cs.CV
One-view occlusion detection for stereo matching with a fully connected CRF model
Universitat Autonoma de Barcelona(巴塞罗那自治大学)
本文将树重加权序贯方法中提出的标准置信传播(BP)序贯方法推广到具有测地线距离亲和度的全连通CRF模型。该方法已被应用到立体匹配问题。提出了一种新的BP边缘解方法,称为单视图遮挡检测(OVOD)。与标准的赢家通吃(WTA)估计相比,所提出的OVOD解决方案允许在视差图中找到遮挡区域,同时改善匹配结果。因此,我们可以只执行一个能量最小化过程,并避免了第二视图的成本计算和左右检查过程。我们表明,OVOD方法大大提高了成本增加和能量最小化技术的结果相比,标准的单视图亲和空间实现。我们将我们的方法应用于米德尔伯里数据集,并达到最先进的,特别是中位数,平均值和均方误差指标。
2019-01-12 cs.CV
A Resilient Image Matching Method with an Affine Invariant Feature Detector and Descriptor
University of Lincoln(林肯大学)
图像特征匹配就是寻找、定位和识别图像间的相似性。不同图像之间匹配的局部特征可以指示其内容的相似性。图像特征匹配对大视角变化的适应性对于三维物体重建、目标识别和导航等应用来说是一个挑战,这些应用需要从不同的视角进行准确和鲁棒的特征匹配。在本文中,我们提出了一种新的图像特征匹配算法,结合我们以前提出的仿射不变特征检测器(AIFD)和新提出的仿射不变特征描述符(AIFDd)。这两个阶段的新提出的算法可以提供足够的弹性视点的变化。通过系统的实验,我们可以证明,所提出的方法的特征检测器和描述符优于其他国家的最先进的特征匹配算法,特别是在视点的鲁棒性。在光照变化、旋转、压缩等条件下也有较好的效果。
2017-12-29 cs.CV
Enhancing Multi-view Stereo with Contrastive Matching and Weighted Focal Loss
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Research Institute of Tsinghua, Pearl River Delta(清华大学珠三角研究院)
近年来,基于学习的多视图立体视觉(MVS)方法取得了令人瞩目的进展,并超越了传统方法。然而,其准确性和完整性仍在努力。在本文中,我们提出了一种新的方法,以提高现有的网络的性能启发对比学习和特征匹配。首先,提出了一种对比度匹配损失(CML)算法,将深度维上正确匹配的点作为正样本,其他点作为负样本,根据特征的相似性计算对比度损失。我们进一步提出了一个加权焦点损失(WFL)更好的分类能力,这削弱了低置信度像素在不重要的地区的损失,根据预测的信心的贡献。在DTU,Tanks and Temples和BlendedMVS数据集上进行的大量实验表明,我们的方法实现了最先进的性能,并在基线网络上有显着的改进。
2022-06-21 cs.CV
Multi-view dense image matching with similarity learning and geometry priors
Univ Gustave Eiffel, LASTIG, ENSG-IGN(古斯塔夫·埃菲尔大学,LASTIG,ENSG-IGN);Thales(泰雷兹)
本研究提出MV-DeepSimNets多视图相似性学习深度网络套件,结合在线几何先验与平面扫描构建正则化代价体,无需专用多视图训练集即可提升重建效果,泛化性优异且已集成至MicMac软件。
2025-05-16 cs.CV
MonSter++: Unified Stereo Matching, Multi-view Stereo, and Real-time Stereo with Monodepth Priors
School of Electronic Information and Communications, Huazhong University of Science and Technology(电子信息与通讯学院,华中科技大学);Meta;AI Chip Center, Hong Kong University of Science and Technology(香港科技大学人工智能芯片中心);Nanjing Forestry University(南京林业大学);Autel Robotics
MonSter++通过双分支架构融合单目深度先验与多视点线索,迭代互增强解决病态区域匹配难题,在立体匹配、实时立体和多视点立体八个基准上达到最先进水平。
2025-09-25 cs.CV
Matching with AffNet based rectifications
Czech Technical University in Prague(布拉格捷克理工大学);HOVER Inc.(HOVER公司)
我们考虑的问题下,显着的视点变化与视图合成的两个视图匹配。我们提出了两种新的方法,最大限度地减少视图合成开销。第一个名为DenseAffNet,使用AffNet的密集仿射形状估计,这允许它对图像进行分区,仅用单个仿射映射纠正每个分区。第二个名为DepthAffNet,它结合了深度图和仿射形状估计的信息,为不同的图像分区生成不同的校正仿射图集。DenseAffNet比最先进的更快,在通用场景上更准确。DepthAffNet在包含大型飞机的场景中与最先进的技术水平相当。评估是在3个公共数据集上进行的- EVD数据集,强视点变化数据集和IMC摄影旅游数据集。
2022-07-29 cs.CV
Generalizable Novel-View Synthesis using a Stereo Camera
POSTECH(浦项科技大学);GSAI(人工智能研究生院);CSE(计算机科学与工程系)
本文提出首个针对多视图立体相机图像的泛化视图合成框架StereoNeRF,通过集成立体匹配技术实现高质量几何重建,并构建首个立体相机多视图数据集StereoNVS,实验证明其超越现有方法。
2024-04-21 cs.CV
End2End Multi-View Feature Matching with Differentiable Pose Optimization
Technical University of Munich(慕尼黑工业大学)
提出联合处理特征匹配与位姿优化的图注意力网络,利用可微位姿估计的梯度训练特征匹配以降低离群点权重,在多个数据集上显著提升位姿估计精度并大幅减少耗时。
2023-09-11 cs.CV
WarpNet: Weakly Supervised Matching for Single-view Reconstruction
University of Maryland, College Park(马里兰大学帕克分校);NEC Labs America(NEC美国实验室)
我们提出了一种方法来匹配图像的对象在细粒度的数据集,而不使用部分注释,具有挑战性的问题,弱监督单视图重建的应用程序。这与需要零件注释的先前工作形成对比,因为仅使用外观特征就很难跨类别和姿势变化匹配对象。我们通过一种新颖的深度学习架构WarpNet克服了这一挑战,该架构将一个图像中的对象与另一个图像中的不同对象对齐。我们利用细粒度数据集的结构来创建人工数据,以便在无监督判别学习方法中训练该网络。网络的输出充当空间先验,允许在测试时进行泛化,以匹配外观,视点和清晰度变化的真实图像。在CUB-200-2011鸟类类别数据集上,我们将AP比仅外观网络提高了13.6%。我们进一步证明了我们的WarpNet匹配,以及细粒度数据集的结构,允许单视图重建,其质量与使用注释点对应相当。
2016-06-20 cs.CV
Reference-Free Omnidirectional Stereo Matching via Multi-View Consistency Maximization
Nanjing University, Nanjing, China(南京大学);Nanyang Technological University, Singapore(南洋理工大学)
本文提出FreeOmniMVS框架,通过多视角一致性最大化实现无参考全景立体匹配,解决传统方法在几何关系和全局依赖性方面的不足,提升遮挡和基线变化下的鲁棒性。
2026-03-16 cs.CV
A Geometrically Constrained Point Matching based on View-invariant Cross-ratios, and Homography
National Yang Ming Chiao Tung Univ.(国立阳明交通大学)
在计算机视觉中,寻找图像间的点对应关系在图像拼接、图像检索、视觉定位等应用中起着重要的作用。大多数研究工作都集中在局部特征的匹配上,然后采用采样方法(如RANSAC),通过对图像间的某种全局变换进行反复拟合来验证初始匹配结果。然而,不正确的匹配仍然可能存在,而对这些问题的仔细检查往往被跳过。因此,在这项工作中,提出了一种几何约束算法,以验证初始匹配的SIFT关键点的正确性的基础上的视图不变的交比(CR)。通过从这些关键点随机形成五边形并将它们的形状和位置在具有CR的图像之间进行匹配,可以有效地实现用于上述验证的鲁棒平面区域估计,同时可以容易地相对于那些形状和位置匹配的五边形来检查关键点的正确和不正确的匹配。实验结果表明,该算法对各种场景的单平面区域和多平面区域都能获得满意的效果。
2022-11-06 cs.CV
Straight-Path Flow Matching for Incomplete Multi-View Clustering
School of Software Engineering, Huazhong University of Science and Technology(华中科技大学软件工程学院);Australian Institute for Machine Learning, Adelaide University(澳大利亚机器学习研究所,阿德莱德大学);University of Auckland(奥克兰大学);University of New South Wales(新南威尔士大学);Communication University of China(中国通信大学)
研究不完整多视图聚类问题,提出基于直线路径流匹配的框架,通过线性插值路径用概率流替代扩散,集成视图完成与聚类对齐,实验证明该框架在标准基准上达最优性能。
2026-07-08 cs.CV
Mammography Dual View Mass Correspondence
IBM Research(IBM研究院)
标准的乳腺癌筛查涉及为每个乳房采集两个乳房X射线摄影投影。通常,两种视图的比较支持肿瘤检测和定位的挑战性任务。我们引入了一种深度学习、基于块的Siamese网络,用于双视图乳腺X射线摄影中的病变匹配。我们的本地拟合方法生成一个联合补丁对表示和比较与两个视图之间的共享配置。我们在标准数据集上使用该网络进行了一系列全面的实验,其中包括大型数字数据库筛查乳腺X射线摄影(DDSM)。分析了不同类型数据集之间的网络迁移学习效果,并将基于网络的匹配与基于模板匹配的欧氏距离进行了比较。最后,我们评估了匹配网络在完整检测管道中的贡献。实验结果表明,使用我们的方法提高检测精度的承诺。
2018-07-02 cs.CV
ViewSynth: Learning Local Features from Depth using View Synthesis
Siemens Corporate Technology(西门子企业技术中心);Rutgers University(罗格斯大学)
廉价商品深度传感器的快速发展使得深度图像模态中的关键点检测和匹配成为计算机视觉中的重要问题。尽管最近的RGB局部特征学习方法有了很大的改进,但直接在深度模态中调整它们会导致性能不令人满意。这些方法中的大多数都没有明确地推理图像中的可见像素之外的内容。为了解决这些方法的局限性,我们提出了一个框架ViewSynth,以共同学习:(1)使用所提出的对比匹配损失从深度图像中获得视点不变的关键点描述符,以及(2)使用所提出的视图合成模块和视图合成损失从不同视点合成深度图像。通过学习视图合成,我们明确地鼓励特征提取器不仅对可见的信息进行编码,而且还对场景的遮挡部分进行编码。我们证明,在深度模态,ViewSynth优于国家的最先进的深度和RGB本地特征提取技术在3D关键点匹配和摄像机定位任务的RGB-D数据集7-场景,TUM RGBD和CoRBS在大多数情况下。我们还展示了ViewSynth在不同数据集的3D关键点匹配中的通用性。
2020-09-01 cs.CV
Raising the Ceiling: Conflict-Free Local Feature Matching with Dynamic View Switching
School of Automation, Southeast University(东南大学自动化学院)
针对现有特征匹配方法受可匹配点稀缺、匹配冲突、关键点重复依赖限制难以突破真实匹配上限的问题,提出RCM方法,通过动态视角切换、无冲突粗匹配、半稀疏粗到精架构三方面提升,真实匹配数提升260%,性能和效率优于现有最优方法。
2024-07-14 cs.CV
MATCH: Flow Matching for Multi-View Anomaly Detection
Institute for Information Processing, L3S, Leibniz University Hannover(汉诺威莱布尼茨大学L3S信息处理研究所)
提出首个基于流匹配的多视角异常检测方法MATCH,通过ODE公式估计似然并计算异常分数,在Real-IAD和MANTA-Tiny数据集上达到SOTA性能,且可在消费级硬件上实时运行。
2026-06-24 cs.CV
Mesh-Aware Epipolar Matching for Multi-View Multi-Person 3D Pose Estimation in Basketball
RIKEN Center for Advanced Intelligence Project(RIKEN先进情报项目中心)
提出一种无训练框架MAEM,通过单目3D人体网格恢复模型和两阶段对极匹配策略,解决团队运动场景中多视角多人3D姿态估计的遮挡和外观相似问题。
2026-05-28 cs.CV
Multi-View Person Matching and 3D Pose Estimation with Arbitrary Uncalibrated Camera Networks
Carnegie Mellon University(卡内基梅隆大学)
本文提出PME方法,将跨视角人员匹配建模为带规模约束和来源约束的聚类问题,仅依赖预训练二维姿态检测器,无需相机位姿和三维训练数据即可实现高精度人员匹配与三维姿态估计。
2023-12-04 cs.CV
STEAM: Stable Self-Training with Elastic Matching and Adaptive Purification
heu(哈尔滨工程大学)
跨视角地理定位中现有监督和无监督方法有局限,本文提出STEAM框架,通过稳定空间感知模块、弹性匹配和自适应净化进行自训练,在相关基准测试中性能达最优,验证了该框架在无监督跨视角地理定位中的有效性和优越性。
2026-10-21 cs.CV
DOMR: Establishing Cross-View Segmentation via Dense Object Matching
Hangzhou International Innovation Institute, Beihang University(北京航空航天大学杭州国际创新研究院);Faculty of Science and Technology, University of Macau(澳门大学科学与技术学院);College of Computer Science and Technology, Zhejiang University of Technology(浙江工业大学计算机科学与技术学院);School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院)
本文提出DOMR框架,通过密集对象匹配器联合建模对象间位置与语义关系,结合掩码细化头,在Ego-Exo4D上实现跨视角分割SOTA性能。
2025-08-06 cs.CV
A Survey of Recent View-based 3D Model Retrieval Methods
Huazhong University of Science & Technology(华中科技大学)
近几十年来,人们对三维模型检索进行了广泛的研究。近年来,基于视点的三维物体表示方法因其多视点的高分辨性而受到广泛关注。本文对基于视图的三维建模方法进行了总结,并提出了进一步的研究方向。本文主要研究三维模型多视图匹配方案和视觉词袋方法在三维模型检索中的应用。对于多视图间的匹配,介绍了多对多匹配、概率匹配和半监督学习方法。对于视觉词袋在三维模型检索中的应用,本文首先简要回顾了视觉词袋在多媒体和计算机视觉领域的研究进展,并对视觉词典进行了详细的介绍。然后综述了一系列基于视觉词袋描述的三维模型检索方法。最后总结了基于视图的三维模型检索的进一步研究内容。
2012-08-08 cs.CV
Where am I looking at? Joint Location and Orientation Estimation by Cross-View Matching
Australian National University(澳大利亚国立大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);University of Technology Sydney(悉尼科技大学)
交叉视图地理定位是在给定地理标记的天线(例如,卫星)图像。现有的方法把任务作为一个纯粹的位置估计问题,通过学习判别特征描述符,但忽略方向对齐。众所周知,知道地面和空中图像之间的取向可以显著减少这两个视图之间的匹配模糊性,特别是当地面图像具有有限的视场(FoV)而不是全视场全景时。因此,我们设计了一个动态相似度匹配网络来估计跨视图定位过程中的方向对齐。特别是,我们解决了跨视图域间隙通过应用极坐标变换的空间图像近似对齐的图像到一个未知的方位角。然后,使用双流卷积网络从地面和极坐标变换的航空图像中学习深度特征。最后,通过计算交叉视图特征之间的相关性来获得方向,这也提供了更准确的特征相似性度量,提高了位置召回率。标准数据集上的实验表明,我们的方法显着提高了最先进的性能。值得注意的是,我们将CVUSA数据集上的前1位位置召回率提高了1.5倍,对于具有已知方向的Cumarmas,提高了3.3倍,对于具有未知方向的Cumarmas,提高了6倍。
2020-05-08 cs.CV
VMRF: View Matching Neural Radiance Fields
Nanyang Technological University(南洋理工大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Alibaba Group(阿里巴巴集团);ByteDance(字节跳动);Wenzhou University(温州大学)
针对NeRF训练依赖相机位姿先验的问题,提出VMRF视角匹配神经辐射场,通过非平衡最优输运的视角匹配与位姿校准技术,无需位姿先验即可训练,在多数据集上性能大幅领先SOTA。
2023-06-11 cs.CV
Neural View Synthesis and Matching for Semi-Supervised Few-Shot Learning of 3D Pose
Johns Hopkins University(约翰斯·霍普金斯大学)
我们研究的问题,学习估计的3D对象的姿势从一些标记的例子和未标记的数据的集合。我们的主要贡献是一个学习框架,神经视图合成和匹配,它可以可靠地将3D姿态注释从标记图像转移到未标记图像,尽管有看不见的3D视图和讨厌的变化,如对象形状,纹理,照明或场景上下文。在我们的方法中,对象表示为三维立方体网格组成的特征向量在每个网格顶点。该模型是从几个标记的图像初始化,并随后用于合成看不见的三维视图的特征表示。合成视图与未标记图像的特征表示相匹配,以生成3D姿态的伪标签。伪标记的数据又用于训练特征提取器,使得每个网格顶点处的特征在对象的变化的3D视图上更加不变。我们的模型以EM类型的方式进行训练,在增加特征提取器的3D姿态不变性和通过神经视图合成和匹配注释未标记数据之间交替。我们证明了所提出的半监督学习框架的有效性,三维姿态估计的PASCAL 3D+和KITTI数据集。我们发现,我们的方法优于所有基线的一个很大的保证金,特别是在一个极端的Few-Shot设置,只有7个注释的图像。值得注意的是,我们观察到我们的模型在涉及部分遮挡的分布外场景中也实现了出色的鲁棒性。
2021-10-27 cs.CV
Semantic Part Detection via Matching: Learning to Generalize to Novel Viewpoints from Limited Training Data
Johns Hopkins University(约翰斯·霍普金斯大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Texas at Austin(得克萨斯大学奥斯汀分校)
在计算机视觉中,检测对象的语义部分是一项具有挑战性的任务,特别是因为由于注释语义部分的困难而难以构建大型注释数据集。在本文中,我们提出了一种方法,它从一个小的训练数据集的注释语义部分,其中的对象是从一个有限的角度来看,但概括检测语义部分从更大范围的观点。我们的方法是基于一个匹配算法,找到两个图像之间的准确的空间对应关系,这使得语义部分标注在一个图像被移植到另一个。特别地,这使得训练数据集中的图像能够与对象的虚拟3D模型相匹配(为了简单起见,我们假设可以通过标准技术来估计对象视点)。然后使用聚类算法对三维虚拟模型的语义部分进行标注。该虚拟3D模型可用于从大范围的视点合成带注释的图像。这些可以使用相同的匹配算法与测试集中的图像相匹配,以检测对象的新视点中的语义部分。我们的算法是非常简单,直观,并包含很少的参数。我们在VehicleSemanticPart数据集的汽车子类中评估我们的方法。我们发现它的性能优于标准的深度网络方法,特别是在新颖的观点上表现得更好。为了方便未来的研究,代码可供使用:https://github.com/ytongbai/SemanticPartDetection
2019-09-13 cs.CV
Self-Supervised Partial Cycle-Consistency for Multi-View Matching
Utrecht University(乌得勒支大学);TNO(荷兰应用科学研究组织)
针对部分重叠多视角目标匹配,本文扩展循环一致性并引入伪掩码、互补循环变体和时间发散采样,实现鲁棒的自监督特征学习。
2025-01-10 cs.CV
View-Invariant Template Matching Using Homography Constraints
University of Central Florida(中佛罗里达大学)
视点的变化是不同图像中物体外观变化的主要因素之一。因此,视点不变目标识别是一个具有挑战性和重要性的图像理解任务。在本文中,我们提出了一种方法,可以匹配在不同的观点下拍摄的图像中的对象。与文献中的大多数方法不同,对相机取向或内部相机参数没有限制,并且不需要物体的3D结构的先验知识。我们证明,当两个摄像机从两个不同的视角拍摄同一物体的照片时,每四个点之间的关系减少到具有两个相等特征值的单应性的特殊情况。基于此属性,我们制定的问题作为一个误差函数,表明如何可能两组二维点是同一组三维点在两个不同的相机下的投影。进行了一系列全面的实验来证明该方法对噪声的鲁棒性,并评估其在人脸和物体识别等现实应用中的性能。
2017-05-12 cs.CV
View-Centric Multi-Object Tracking with Homographic Matching in Moving UAV
MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China(脑启发智能感知与认知教育部重点实验室,中国科学技术大学);Singapore University of Technology and Design(新加坡科技设计大学);Alibaba Group(阿里巴巴集团);Department of Computer Science and Engineering, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系)
本文提出HomView-MOT框架,利用视角仿射变换解决移动无人机场景下的多目标跟踪问题,通过快速仿射估计和多视角特征学习实现最先进的跟踪性能。
2026-02-08 cs.CV
Generalizable Single-view Object Pose Estimation by Two-side Generating and Matching
The University of Hong Kong(香港大学);Beijing Institute of Technology(北京理工大学);Shanghai Technology University(上海科技大学)
本文提出一种基于扩散模型生成新视角图像并进行双侧匹配的可泛化单视图物体姿态估计方法,仅需一张参考RGB图像即可在无需大量训练和3D模型的情况下实现未见物体的姿态估计,并在合成与真实数据集上取得优于现有方法的性能。
2024-11-24 cs.CV
InLoc: Indoor Visual Localization with Dense Matching and View Synthesis
Tokyo Institute of Technology(东京工业大学);ETH Zürich(苏黎世联邦理工学院);CIIRC, CTU in Prague(布拉格捷克理工大学信息学、机器人学与网络学捷克研究所);Inria(法国国家信息与自动化研究所);Microsoft(微软)
我们试图预测6自由度(6DoF)的查询照片相对于一个大的室内3D地图的姿态。这项工作的贡献是三方面的。首先,我们开发了一种新的大规模视觉定位方法针对室内环境。该方法沿着三个步骤进行:(i)候选姿态的有效检索,以确保大规模环境的可扩展性,(ii)姿态估计使用密集匹配,而不是本地功能,以处理无纹理的室内场景,以及(iii)通过虚拟视图合成的姿态验证,以应对视点,场景布局和遮挡物的显着变化。其次,我们收集了一个新的数据集与参考6DoF构成大规模室内定位。查询照片由移动电话在与参考3D地图不同的时间捕获,从而呈现真实的室内定位场景。第三,我们证明,我们的方法在这些新的具有挑战性的数据上显着优于当前最先进的室内定位方法。
2018-04-08 cs.CV
BLASt3R: Bundle Adjustment of Any Image Set with Multi-View Matching and Monocular Priors
NAVER LABS Europe(NAVER欧洲实验室)
BLASt3R提出结合多视图匹配与单目先验的正则化BA框架,支持在线VSLAM和离线无序图像重建,在性能速度权衡上优于基线,其未标定VSLAM方法性能超此前所有标定方法。
2026-09-07 cs.CV
Pentagon-Match (PMatch): Identification of View-Invariant Planar Feature for Local Feature Matching-Based Homography Estimation
National Yang Ming Chiao Tung Univ.(国立阳明交通大学)
本文提出Pentagon-Match (PMatch)采样方案,利用随机采样的五边形及其交比视角不变性验证关键点匹配,从而在LoFTR匹配基础上高效准确地估计平面场景单应性并识别外点。
2023-05-27 cs.CV
Learning Dense Feature Matching via Lifting Single 2D Image to 3D Space
Beijing Institute of Technology(北京理工大学);School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Shanghai Al Laboratory(上海阿尔实验室)
本文提出L2M两阶段框架,通过将单张2D图像提升到3D空间,利用3D感知编码器和新视角渲染解码器学习鲁棒特征匹配,在零样本基准上实现优越泛化。
2025-07-05 cs.CV
Multi-View Matching (MVM): Facilitating Multi-Person 3D Pose Estimation Learning with Action-Frozen People Video
University of Southern California(南加州大学)
为了解决从单幅图像中估计多人三维姿态的挑战性问题,本文提出了一种多视点匹配(MVM)方法。MVM方法从大规模视频数据集(称为Mannequin数据集)生成可靠的3D人体姿势,该数据集包含模仿人体模型的动作冻结人。利用MVM自动生成的3D监督标记的大量野外视频数据,我们能够训练一个神经网络,该网络将单个图像作为多人3D姿态估计的输入。MVM的核心技术在于对具有强几何约束的静态场景的多个视图中获得的2D姿态进行有效的对齐。我们的目标是最大限度地提高在多帧中估计的2D姿态的相互一致性,同时考虑几何约束和外观相似性。为了证明MVM方法提供的3D监督的有效性,我们在3DPW和MSCOCO数据集上进行了实验,并表明我们提出的解决方案提供了最先进的性能。
2020-04-11 cs.CV
Unsupervised monocular stereo matching
Northeastern University(东北大学)
目前,深度学习在单目图像深度估计中的应用越来越多,并已显示出可喜的成果。目前较为理想的单目深度估计方法是基于地面真值深度的监督学习,但该方法需要大量昂贵的地面真值深度作为监督标签。因此,研究人员开始致力于无监督的深度估计方法。尽管无监督深度估计方法的精度仍低于有监督方法,但它是一个很有前途的研究方向。本文基于在相同的无监督深度估计模型下,立体匹配模型优于单目深度估计模型的实验结果,提出了一种无监督单目视觉立体匹配方法。为了实现单目立体匹配,我们构建了两个无监督的深度卷积网络模型,一个是从左视图重建右视图,另一个是利用重建的右视图和原始左视图估计深度图。这两个网络模型在测试阶段通过管道连接在一起。在具有挑战性的KITTI数据集上,该方法的输出结果优于当前主流的无监督深度估计方法。
2018-12-31 cs.CV
FewViewGS: Gaussian Splatting with Few View Matching and Multi-stage Training
University of Amsterdam(阿姆斯特丹大学);DUniversum(3DUniversum)
本文提出FewViewGS,一种基于3D高斯泼溅的少样本新视角合成方法,通过多阶段训练和匹配一致性约束(无需预训练深度或扩散模型)及局部保持正则化,在稀疏输入下实现准确渲染,性能优于或媲美现有方法。
2024-11-05 cs.CV
SymRegFlow: Symmetry-Regularized Flow Matching for Video World Models
Tsinghua University(清华大学);Bosch (China) Investment Ltd.(博世(中国)投资有限公司);University of Chinese Academy of Sciences(中国科学院大学)
SymRegFlow提出对称正则化流匹配框架,通过几何扭曲与双锚点监督实现连续视点多视图一致视频生成,无需新视图RGB监督,在nuScenes上FVD降低超31%。
2026-10-05 cs.CV
O-MaMa: Learning Object Mask Matching between Egocentric and Exocentric Views
O-MaMa将跨视角分割重构为掩码匹配任务,结合掩码上下文编码器、交叉注意力与对比损失,在Ego-Exo4D基准上以极低参数实现最先进性能。
2025-09-24 cs.CV
Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching
Alibaba A.I. Labs(阿里巴巴人工智能实验室);Simon Fraser University(西蒙弗雷泽大学)
深度多视图立体视觉(MVS)和立体匹配方法通常构造3D成本体积以正则化和回归输出深度或视差。当需要高分辨率输出时,这些方法是有限的,因为存储器和时间成本随着体积分辨率的增加而立方地增长。在本文中,我们提出了一个内存和时间效率的成本体积制定现有的多视图立体视觉和立体匹配方法的基础上,3D成本体积的补充。首先,建议的成本量是建立在一个标准的特征金字塔编码的几何形状和上下文在逐渐精细的尺度。然后,我们可以通过来自前一阶段的深度(或视差)图来缩小每个阶段的深度(或视差)范围。随着成本体积分辨率逐渐提高以及深度(或视差)间隔的自适应调整,以从粗到细的方式恢复输出。我们将级联成本量应用于代表性的MVS-Net,并在DTU基准测试(第一名)上获得了23.1%的改进,GPU内存和运行时间分别减少了50.6%和74.2%。它也是最先进的基于学习的坦克和寺庙基准方法。其他代表性立体CNN的准确性,运行时间和GPU内存的统计数据也验证了我们提出的方法的有效性。
2020-06-05 cs.CV
FG$^2$: Fine-Grained Cross-View Localization by Fine-Grained Feature Matching
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本研究提出FG²细粒度跨视图定位方法,通过特征映射、高度维度选择池化生成BEV平面,结合点匹配与Procrustes对齐估计3自由度位姿,在VIGOR数据集上较SOTA降低28%平均定位误差。
2025-03-24 cs.CV