Discriminative extended canonical correlation analysis for pattern set matching
Centre for Pattern Recognition;Data Analytics (PRaDA)\ University\ 3216, VIC, Australia\ -mail: \ : +61 (0)3 522-73079
在本文中,我们解决的问题,匹配嵌入在同一输入空间的向量集。我们提出了一种方法,这是由典型相关分析(CCA),统计技术,已被证明是成功的各种模式识别问题的动机。像CCA时,适用于匹配的集,我们的扩展典型相关分析(E-CCA)的目的是提取最相似的模式的变化在两个集。我们的第一个主要贡献是制定了一个原则性的框架,在存在与噪声和采样随机性相关的不确定性的情况下,从数据中对这些模式进行稳健的推断。E-CCA保留了CCA的效率和封闭形式的可计算性,但与之不同的是,它不具有不能直接从数据中推断出的自由参数(固有的数据维度,以及用于集合相似性计算的典型相关性的数量)。我们的第二个主要贡献是表明,在对比CCA,E-CCA是很容易适应匹配集的歧视性学习计划,我们称之为歧视性扩展典型相关分析(DE-CCA)。本文的理论贡献其次是经验评估其前提下的任务,人脸识别的光栅化外观图像集。结果表明,我们的方法,E-CCA,已经优于CCA和它的准歧视对手约束CCA(C-CCA),其自由参数的所有值。一个更大的改进是实现了与歧视的变种,DE-CCA。
2013-06-10 cs.CV
Robust Line Segments Matching via Graph Convolution Networks
Xidian University(西安电子科技大学)
直线匹配在运动恢复结构(SFM)和同时定位与地图构建(SLAM)中起着至关重要的作用,特别是在低纹理和重复场景中。本文提出了一种新的方法,使用图卷积网络来匹配线段在一对图像,我们设计了一个基于图的匹配策略,放松到一个最佳的运输问题。与手工制作的线匹配算法相比,我们的方法通过端到端训练同时学习局部线段描述符和匹配。实验结果表明,该方法的性能优于现有技术,特别是在相似的查全率下,查全率从45.28%提高到70.47%。我们的工作代码可在https://github.com/mameng1/GraphLineMatching上获得。
2020-04-13 cs.CV
Iterative Clustering with Game-Theoretic Matching for Robust Multi-consistency Correspondence
West Virginia University(西弗吉尼亚大学);Huazhong University of Science and Technology(华中科技大学)
在两幅图像之间匹配对应的特征是计算机视觉的一项基本任务,在物体识别、机器人和三维重建中有许多应用。图像特征匹配的当前技术状态集中于在静态场景中建立单一一致性;相比之下,在动态场景中发现多个一致性的研究还不够。在本文中,我们提出了一个端到端的优化框架命名为“迭代聚类与博弈论匹配”(ic-GTM)的鲁棒多一致性对应。其关键思想是制定多一致性匹配作为一个广义的聚类问题的图像对。在我们的配方中,几个本地匹配游戏的指导下,同时进行了不同的相应的块对一个新的支付功能组成的几何和描述性的兼容性;全局匹配结果进一步迭代细化聚类和阈值的支付矩阵。我们还提出了三个新的指标来评估多一致性图像特征匹配的性能。大量的实验结果表明,所提出的框架显着优于以前的国家的最先进的方法在两个电子商务onsimilarity和多一致性数据集。
2019-09-03 cs.CV
RobuSTereo: Robust Zero-Shot Stereo Matching under Adverse Weather
Beijing Institute of Technology(北京理工大学);School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院)
RobuSTereo通过扩散仿真与立体一致性模块生成恶劣天气立体数据,并结合ConvNet与去噪Transformer的鲁棒特征编码器,显著提升立体匹配模型的零样本泛化能力。
2025-07-02 cs.CV
SceneFlowFields++: Multi-frame Matching, Visibility Prediction, and Robust Interpolation for Scene Flow Estimation
DFKI - German Research Center for Artificial Intelligence(德国人工智能研究中心);BMW Group(宝马集团)
最先进的场景流算法追求准确性、运行时间和鲁棒性的相互冲突的目标。随着逐像素匹配和稀疏到密集插值的成功概念,我们推动了场景流估计的极限。避免对域或问题的强假设产生更鲁棒的算法。该算法是快速的,因为我们避免了显式正则化匹配过程中,这允许一个有效的计算。使用多个时间步长的图像信息和基于先前结果的显式可见性预测,我们在不同的数据集上实现了有竞争力的性能。我们的贡献和结果进行了评价比较实验。总的来说,我们提出了一个准确的场景流算法,比任何单个基准领导者更快,更通用。
2019-10-28 cs.CV
Matching Point Sets with Quantum Circuit Learning
University of Cambridge(剑桥大学)
在这项工作中,我们提出了一个参数化的量子电路学习方法的点集匹配问题。与以前的基于退火的方法相比,我们提出了一个基于量子电路的框架,其参数通过降低基于内核的损失函数的梯度来优化。我们将形状匹配问题转化为一个分布学习任务,即学习最优变换参数的分布。我们表明,该框架是能够找到多个对称形状的最佳解决方案,是更准确,可扩展性和鲁棒性比以前的退火为基础的方法。代码、数据和预先训练的权重可在项目页面上获得:\href{https://hansen7.github.io/qKC}{https://hansen7.github.io/qKC}
2021-06-27 cs.CV cs.LG
Flow Intelligence: Robust Feature Matching via Temporal Signature Correlation
SIGS, Tsinghua University(清华大学深圳国际研究生院);University of Electronic Science and Technology of China(电子科技大学);New York University Shanghai(上海纽约大学)
针对视频流特征匹配在噪声、跨模态等场景下的鲁棒性问题,提出Flow Intelligence方法,通过提取视频时间运动特征实现匹配,无需预训练数据和空间特征检测,在复杂场景中性能优于现有方法。
2025-04-16 cs.CV
A New Point-set Registration Algorithm for Fingerprint Matching
Bio-Key International Inc.(Bio-Key国际公司);Capella University(卡佩拉大学)
提出了一种新的基于细节点的指纹匹配算法。匹配器考虑所有可能的细节点配对,并迭代地对齐两个集合,直到细节点对的数量不超过允许的一对一配对的最大数量。通过线性最小二乘法解析推导出最佳对准参数。第一次对齐建立两个细节点集之间的重叠区域,然后通过每次连续对齐(迭代地)细化。在每次对准之后,丢弃表现出弱对应性的细节点对。重复该过程,直到剩余配对的数量不再超过允许的一对一配对的最大数量。该算法在FVC2000和FVC2002数据库上进行了测试,结果表明,所提出的匹配器是有效的和高效的指纹认证,它是快速的,不利用任何计算昂贵的数学函数(如三角函数,指数)。除了建议的匹配器,本文的另一个贡献是最小二乘解的分析推导的最佳对齐参数的两个点集缺乏精确的对应关系。
2017-02-07 cs.CV
DynaMiTe: A Dynamic Local Motion Model with Temporal Constraints for Robust Real-Time Feature Matching
Technische Universität München(慕尼黑工业大学)
基于特征的视觉里程计和SLAM方法需要在连续图像帧之间进行准确和快速的对应匹配,以用于实时的【形】精确的相机姿态估计。当前的特征匹配流水线或者仅仅依赖于特征提取器的描述能力,或者需要计算上复杂的优化方案。我们提出了轻量级管道DynaMiTe,这是不可知的描述符输入,并利用有效的统计措施的时空线索。该方法的理论骨干在于内的概率制定的特征匹配和相应的物理动机的约束研究。动态自适应局部运动模型将特征组封装在有效的数据结构中。时间约束跨时间传递局部运动模型的信息,从而额外地降低匹配的搜索空间复杂性。DynaMiTe在匹配精度和高帧速率下的相机姿态估计方面都取得了优异的结果,在计算效率更高的同时,性能优于最先进的匹配方法。
2020-07-31 cs.CV
Convolutional Hough Matching Networks for Robust and Efficient Visual Correspondence
尽管在特征表示方面取得了进展,但利用几何关系对于在图像的大变化下建立可靠的视觉对应至关重要。在这项工作中,我们介绍了一个霍夫变换的卷积匹配的角度,并提出了一个有效的几何匹配算法,称为卷积霍夫匹配(CHM)。该方法将候选匹配的相似性分布在几何变换空间上,并以卷积方式对其进行评估。我们将其转换为一个具有半各向同性高维内核的可训练神经层,该层通过少量可解释参数学习非刚性匹配。为了进一步提高高维投票的效率,我们还建议使用一个有效的核分解与中心枢轴邻居,这显着稀疏所提出的半各向同性内核没有性能下降。为了验证所提出的技术,我们开发了具有CHM层的神经网络,该CHM层在平移和缩放空间中执行卷积匹配。我们的方法在语义视觉对应的标准基准上设置了一个新的艺术状态,证明了其对具有挑战性的类内变化的强大鲁棒性。
2021-09-11 cs.CV
DINO-RotateMatch: A Rotation-Aware Deep Framework for Robust Image Matching in Large-Scale 3D Reconstruction
Beijing National Day School(北京国家日学校);No.2 High School of East China Normal University(华东师范大学第二中学);CodingFuture Research Center(CodingFuture研究中心)
DINO-RotateMatch通过结合自监督全局描述符与旋转增强的局部匹配,提升大规模3D重建中的图像匹配鲁棒性与可扩展性。
2025-12-03 cs.CV
Image Matching Using SIFT, SURF, BRIEF and ORB: Performance Comparison for Distorted Images
Faculty of Engineering and Applied Sciences, Memorial University(纽芬兰纪念大学工程与应用科学学院)
快速、鲁棒的图像匹配在计算机视觉和机器人技术中有着广泛的应用。在本文中,我们比较了三种不同的图像匹配技术的性能,即,SIFT、SURF和ORB,以抵抗不同类型的变换和变形,如缩放、旋转、噪波、鱼眼失真和剪切。为了这个目的,我们手动应用不同类型的原始图像上的变换和计算匹配的评价参数,如图像中的关键点的数量,匹配率,和每个算法所需的执行时间,我们将表明,该算法是最好的更强大的对每种失真。索引项-图像匹配,尺度不变特征变换(SIFT),加速鲁棒特征(SURF),鲁棒独立基本特征(BRIEF),定向FAST,旋转(ORB)。
2017-10-07 cs.CV
Best-Buddies Similarity - Robust Template Matching using Mutual Nearest Neighbors
Tel-Aviv University(特拉维夫大学);MIT Computer Science and Artificial Intelligence Lab(麻省理工学院计算机科学与人工智能实验室);Google(谷歌)
我们提出了一种新的方法在无约束环境中的模板匹配。它的本质是最佳伙伴相似性(BBS),一个有用的,强大的,两组点之间的参数自由的相似性度量。BBS基于最佳伙伴对(BBP)的数量计数-源和目标集中的点对,其中每个点都是另一个点的最近邻居。BBS具有几个关键特征,使其能够抵抗复杂的几何变形和高水平的离群值,例如由背景杂波和遮挡引起的离群值。我们研究了这些属性,提供了一个统计分析,证明他们,并证明了BBS在一个具有挑战性的现实世界的数据集上的一致成功,同时使用不同类型的功能。
2016-09-06 cs.CV
Cross-PCR: A Robust Cross-Source Point Cloud Registration Framework
School of Automation, Beijing Institute of Technology(北京理工大学自动化学院)
本文提出Cross-PCR框架,通过密度鲁棒编码器和“宽松生成、严格选择”的从松到紧匹配策略,解决跨源点云密度不一致与匹配困难问题,在3DCSR和3DMatch上显著提升配准召回率与鲁棒性。
2024-12-25 cs.CV
Path-following based Point Matching using Similarity Transformation
Changzhi University(长治学院)
为了解决3D点匹配的两个点集的姿态是未知的问题,我们适应最近提出的基于路径跟踪的方法使用相似性变换,而不是原来的仿射变换。变换参数的减少的数量导致更多约束和期望的匹配结果。实验结果表明,所提出的方法比国家的最先进的方法具有更好的鲁棒性。
2017-01-04 cs.CV
Robust Template Matching via Hierarchical Convolutional Features from a Shape Biased CNN
King’s College London(伦敦国王学院)
在搜索图像中找到模板是许多计算机视觉应用的重要任务。最近的方法在由卷积神经网络(CNN)产生的深特征空间中执行模板匹配,发现其对外观变化提供更多的容限。在这篇文章中,我们研究了增强CNN的形状信息编码是否可以产生更多可区分的特征,从而提高模板匹配的性能。这项调查的结果在一个新的模板匹配方法,产生国家的最先进的结果在一个标准的基准。为了证实这些结果,我们还创建了一个新的基准,并表明所提出的方法在这个新的数据集上也优于现有的技术。我们的代码和数据集可以在https://github.com/iminfine/Deep-DIM上找到。
2021-05-07 cs.CV
StickyPillars: Robust and Efficient Feature Matching on Point Clouds using Graph Neural Networks
Valeo Schalter und Sensoren GmbH(法雷奥开关与传感器有限公司);Spleenlab GmbH(Spleenlab有限公司);Ilmenau University of Technology(伊尔梅瑙工业大学);Software Engineering for Safety-Critical Systems(安全关键系统软件工程)
鲁棒的点云实时配准是许多地图绘制和定位算法的重要前提。传统的方法,如ICP往往失败,没有良好的初始化,不充分的重叠或在动态对象的存在。现代的基于深度学习的配准方法呈现出好得多的结果,但是遭受繁重的运行时间。我们通过引入StickyPillars来克服这些缺点,StickyPillars是一种快速,准确且非常强大的点云深中端3D特征匹配方法。它使用图神经网络,并在基于Transformer的多头自注意和交叉注意的帮助下,对稀疏的3D关键点进行上下文聚合。网络输出被用作最优运输问题的成本,该问题的解产生最终的匹配概率。该系统不依赖于手工制作的特征描述符或启发式匹配策略。我们在KITTI数据集上展示了配准问题的最新准确性结果,同时比领先的深度方法快四倍。此外,我们将我们的匹配系统集成到LiDAR里程计管道中,在KITTI里程计数据集上获得最准确的结果。最后,我们证明了KITTI里程计的鲁棒性。我们的方法在最先进的程序在帧丢失和更高的速度上失败的情况下保持稳定的准确性。
2021-02-19 cs.CV
TopicFM: Robust and Interpretable Topic-Assisted Feature Matching
School of Computing, KAIST(韩国科学技术院计算机学院);Intelligent Robotics Research Division, ETRI(韩国电子通信研究院智能机器人研究部)
针对大场景变化或无纹理场景下的图像匹配问题,提出TopicFM方法,利用主题建模策略编码高级语义上下文,将图像建模为多项分布并进行概率特征匹配,显著提升了匹配的鲁棒性和可解释性。
2022-11-29 cs.CV
Robust Image Matching By Dynamic Feature Selection
New York University(纽约大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
估计图像之间的密集对应关系是一个长期存在的图像理解任务。最近的工作引入了卷积神经网络(CNN)来提取高级特征图并通过特征匹配找到对应关系。然而,高级特征图的空间分辨率较低,因此不足以提供准确和细粒度的特征来区分类内变化以进行对应匹配。为了解决这个问题,我们生成强大的功能,通过动态选择功能在不同的尺度。为了解决特征选择中的两个关键问题,即,我们将特征选择过程构造为一个连续的马尔可夫决策过程(MDP),并引入了一种使用强化学习(RL)的最优选择策略。我们定义了一个用于图像匹配的RL环境,其中每个单独的动作要么需要新的功能,要么通过引用匹配分数来终止选择情节。深度神经网络被整合到我们的方法中,并被训练用于决策。实验结果表明,我们的方法实现了相当/优越的性能与国家的最先进的方法在三个基准测试,证明了我们的特征选择策略的有效性。
2020-08-13 cs.CV
GlueStick: Robust Image Matching by Sticking Points and Lines Together
ETH Zurich(苏黎世联邦理工学院);Qualcomm XR Labs Europe(高通欧洲XR实验室);Microsoft Mixed Reality and AI Zurich lab(微软苏黎世混合现实与人工智能实验室);Lund University(隆德大学)
本文提出了一种名为 GlueStick 的深度匹配图神经网络,通过将点、线及其描述子统一到单一的线框结构中,利用节点间的连接信息实现联合匹配,显著提升了图像匹配的鲁棒性和性能。
2023-10-20 cs.CV
RGM: A Robust Generalizable Matching Model
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学);Northwestern Polytechnical University(西北工业大学)
本文提出RGM,一种结合级联GRU细化与不确定性估计的深度模型,统一处理稀疏和密集匹配,并构建大规模混合数据集,显著提升零样本匹配与几何估计的泛化性能。
2024-03-15 cs.CV
RPM-Net: Robust Pixel-Level Matching Networks for Self-Supervised Video Object Segmentation
KAIST(韩国科学技术院)
本文介绍了一种无需人工标记数据的自监督视频对象分割方法,具体而言,我们提出了鲁棒像素级匹配网络(RPM-Net),这是一种新的深度架构,仅使用来自未标记视频的颜色信息进行训练,匹配相邻帧之间的像素。从技术上讲,RPM-Net可以分为两个主要模块。嵌入模块首先将输入图像投影到高维嵌入空间。与以往的基于可变形卷积的方法不同,本文的匹配模块采用可变形卷积来关注时空相邻像素中的相似特征,实验结果表明,选择性特征采样提高了视频对象分割对相机抖动等挑战性问题的鲁棒性,快速运动、变形和遮挡。此外,我们在三个公共数据集(即,DAVIS-2017、SegTrack-v2和Youtube-Objects),并在自监督视频对象分割方面实现最先进的性能。此外,我们显着减少了自监督和全监督视频对象分割之间的性能差距(DAVIS-2017验证集上为41.0% vs. 52.5%)
2019-10-10 cs.CV
SuperNCN: Neighbourhood consensus network for robust outdoor scenes matching
Warsaw University of Technology(华沙理工大学);Google(谷歌)
在本文中,我们提出了一个框架,用于计算密集的关键点之间的对应关系,在强烈的场景外观变化的图像。传统方法基于特征描述符空间中的最近邻搜索,当环境条件变化时,例如,当在一天或季节的不同时间拍摄图像时,其性能很差。我们的方法改进了在这种困难的条件下找到关键点对应。首先,我们使用邻域一致性网络在粗尺度上建立两幅图像之间的空间一致性匹配网格。然后,我们应用Superpoint-like角点检测器来实现像素级的精度。这两个部分都使用了通过领域自适应学习的特征,以增加对强场景外观变化的鲁棒性。该框架已经在RobotCar Seasons数据集上进行了测试,证明了在具有挑战性的环境条件下姿势估计任务的巨大改进。
2019-12-10 cs.CV
Stereo Anywhere: Robust Zero-Shot Deep Stereo Matching Even Where Either Stereo or Mono Fail
Advanced Research Center on Electronic System (ARCES)(电子系统高级研究中心);Department of Computer Science and Engineering (DISI)(计算机科学与工程系);University of Bologna(博洛尼亚大学)
本文提出 Stereo Anywhere 框架,通过双分支架构将立体几何约束与单目深度视觉基础模型的先验相融合,并引入新型成本体积融合机制,仅用合成数据训练即在零样本立体匹配中取得最先进结果,对无纹理、遮挡、镜面和透明等困难场景表现鲁棒。
2025-05-07 cs.CV
S2DNet: Learning Accurate Correspondences for Sparse-to-Dense Feature Matching
LIGM, École des Ponts, Univ Gustave Eiffel, CNRS(LIGM,法国国立桥路学校,古斯塔夫·埃菲尔大学,法国国家科学研究中心);Laboratoire IMS, Université de Bordeaux(IMS实验室,波尔多大学)
建立鲁棒且准确的对应关系是许多计算机视觉算法的基本支柱。虽然最近的基于学习的特征匹配方法在具有挑战性的条件下提供鲁棒的对应关系方面显示出有希望的结果,但它们通常在精度方面受到限制。在本文中,我们介绍了S2DNet,这是一种新型的特征匹配管道,经过设计和训练,可以有效地建立鲁棒和准确的对应关系。通过利用稀疏到密集的匹配范式,我们将对应学习问题视为一个监督分类任务,以学习输出高峰值的对应图。我们证明了S2DNet在HPatches基准测试以及几个长期视觉定位数据集上取得了最先进的结果。
2020-04-03 cs.CV
MODS: Fast and Robust Method for Two-View Matching
Czech Technical University in Prague(捷克布拉格技术大学)
提出了一种新的宽基线匹配算法-- MODS算法的实验表明,以解决更广泛的宽基线问题比最先进的,同时几乎一样快的标准匹配简单的问题。通过使用逐渐更耗时的特征检测器和按需生成合成图像来巧妙地处理明显的鲁棒性与速度的权衡,所述合成图像被执行直到获得可靠的几何估计。我们介绍了一种改进的方法,尝试对应选择,适用于和没有视图合成。对标准的第一至第二最近距离规则的修改在没有额外计算成本的情况下将正确匹配的数量增加了5-20%。MODS算法的性能进行了评估,在几个标准的公开数据集,并在一组新的几何挑战性的宽基线问题,是公开的地面真相。实验表明,MODS在鲁棒性和速度方面优于现有技术。此外,MODS在其他类别的困难的两视图问题上表现良好,例如来自不同模态的图像的匹配,具有宽的时间基线或具有显著的照明变化。
2016-05-01 cs.CV
Robust Dataset Distillation by Matching Adversarial Trajectories
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Microsoft Corporation(微软公司);University of Wollongong(卧龙岗大学)
本文提出鲁棒数据集蒸馏任务及 MAT 方法,通过在轨迹生成中引入对抗样本,使自然训练的模型兼具准确率与对抗鲁棒性。
2025-03-15 cs.CV
Exchangeable deep neural networks for set-to-set matching and learning
ZOZO Research(ZOZO研究院);The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学);Wakayama University(和歌山大学);The Institute of Statistical Mathematics(统计数学研究所)
匹配两个不同的项目集,称为异构集到集匹配问题,最近受到关注的一个很有前途的问题。困难在于提取特征以匹配正确的一对不同的集合,并且还保留集合到集合匹配所需的两种类型的交换:集合对以及每个集合中的项目应该是可交换的。在这项研究中,我们提出了一种新的深度学习架构来解决上述困难,也是一个有效的集到集匹配的训练框架。我们评估的方法,通过实验的基础上两个工业应用:时尚集推荐和组重新识别。在这些实验中,我们表明,所提出的方法提供了显着的改进和结果相比,国家的最先进的方法,从而验证了我们的架构的异构集匹配问题。
2021-01-28 cs.CV cs.LG stat.ML
Towards Adversarially Robust and Domain Generalizable Stereo Matching by Rethinking DNN Feature Backbones
North Carolina State University(北卡罗来纳州立大学)
立体匹配最近使用深度神经网络(DNN)取得了显著进展。但是,他们有多强大?尽管众所周知,DNN经常遭受对抗性漏洞,性能会出现灾难性下降,但在立体匹配中情况更糟。本文首先表明,一种弱白盒攻击可以压倒最先进的方法。该攻击是通过提出的立体约束投影梯度下降(PGD)立体匹配方法学习的。这种观察引起了对基于DNN的立体匹配的部署的严重关注。与对抗性漏洞并行,基于DNN的立体匹配通常在所谓的模拟到现实管道下进行训练,因此域泛化是一个重要问题。本文提出重新考虑可学习的基于DNN的特征骨干,通过完全删除它来进行匹配,从而实现对抗鲁棒性和域泛化的立体匹配。在实验中,该方法在SceneFlow数据集和KITTI2015基准测试中进行了测试,结果令人满意。我们使用经典的多尺度普查变换(即,局部二进制模式),然后是解决匹配问题的堆叠沙漏头子网络。它显著提高了对抗鲁棒性,同时保持了与最先进方法相当的准确性。当不使用微调时,它还显示了从模拟(SceneFlow)到真实(KITTI)数据集的更好的泛化能力。
2021-09-23 cs.AI cs.CV
Hybrid Multi-Phase Page Matching and Multi-Layer Diff Detection for Japanese Building Permit Document Review
Faculty of Engineering and Design, Kagawa University(工学及设计学部,香川大学)
本文提出一种混合多阶段页面匹配算法,结合LCS结构对齐、七阶段共识匹配流程和动态规划最优对齐阶段,实现建筑许可文档集的自动比对,同时多层差异引擎生成高亮差异报告,实测准确率高达0.80。
2026-03-27 cs.CL cs.CV
HOME: Robust Hough-space Matching Method for Structured and Textureless Videos
针对机器人定位中基于点的特征在结构化或无纹理环境中失效的问题,提出HOME框架,将图像转换到霍夫空间,通过一维点匹配实现高效线匹配,经单应性估计验证,其匹配精度高、速度快,扩展到3D姿态估计前景广阔。
2026-07-29 cs.CV cs.RO
Good Feature Matching: Towards Accurate, Robust VO/VSLAM with Low Latency
Georgia Institute of Technology(佐治亚理工学院)
对最先进的VO/VSLAM系统的分析暴露了在平衡性能(准确性和鲁棒性)和效率(延迟)方面的差距。基于特征的系统表现出良好的性能,但由于显式数据关联而具有较高的延迟;直接和半直接系统具有较低的延迟,但在某些目标场景中不适用,或者表现出比基于特征的系统更低的准确性。本文的目的是填补性能效率的差距与增强适用于基于特征的VSLAM。我们提出了良好的特征匹配,一个积极的地图到帧的特征匹配方法。特征匹配工作与子矩阵选择有关,这具有组合时间复杂度并且需要选择评分度量。通过仿真,Max-logDet矩阵揭示度量表现最好。对于实时适用性,研究了确定性选择和随机加速的组合。该算法被集成到单目和立体特征为基础的VSLAM系统。对多个基准测试和计算硬件的广泛评估量化了延迟减少以及准确性和鲁棒性保持。
2020-01-03 cs.CV cs.RO
Robust Near-Isometric Matching via Structured Learning of Graphical Models
NICTA(澳大利亚国家信息与通信技术研究院);Australian National University(澳大利亚国立大学)
用于近刚性形状匹配的模型通常基于与距离相关的特征,以便推断与等距假设一致的匹配。然而,从图像数据集的真实形状,即使预期是相关的“几乎等距”的转换,实际上是不仅受到噪声,而且在一定程度上,在外观和规模的变化。在本文中,我们引入了一个图形模型,它可以参数化外观,距离和角度特征,并且我们通过结构化预测来学习所有相关参数。其结果是一个模型的近刚性形状匹配,这是强大的意义上说,它是能够捕捉到可能有限的,但仍然重要的规模和外观变化。我们的实验结果显示,最近成功的模型有很大的改进,同时保持类似的运行时间。
2008-09-21 cs.CV cs.LG
Point Cloud Registration-Driven Robust Feature Matching for 3D Siamese Object Tracking
Nanjing University of Science and Technology(南京理工大学)
学习模板和搜索区域之间的鲁棒特征匹配对于3D暹罗跟踪至关重要。Siamese特征匹配的核心是如何在模板和搜索区域的对应点上分配高的特征相似度,以实现精确的目标定位。在本文中,我们提出了一种新型的点云配准驱动的连体追踪框架,直觉是空间对齐的对应点(通过3D配准)往往会实现一致的特征表示。具体来说,我们的方法包括两个模块,包括跟踪特定的非本地注册模块和注册辅助Sinkhorn模板特征聚合模块。配准模块的目标是模板和搜索区域之间的精确空间对准。提出了跟踪特定的空间距离约束,以细化区分性特征学习的非局部模块中的交叉注意权值。然后,我们使用加权SVD计算模板和搜索区域之间的刚性变换,并将它们对齐,以获得所需的空间对齐的对应点。对于特征聚合模型,我们将转换后的模板和搜索区域之间的特征匹配表示为最优传输问题,并利用Sinkhorn优化来搜索离群鲁棒匹配解决方案。此外,建立配准辅助的空间距离图以提高不可区分区域(例如,光滑表面)。最后,在得到的特征匹配图的指导下,将模板中的目标信息聚合到搜索区域中,构建目标特定特征,然后将其送入类似CenterPoint的检测头进行目标定位。在KITTI、NuScenes和Waymo数据集上的大量实验验证了该方法的有效性。
2022-12-03 cs.AI cs.CV
Fast and Robust Feature Matching for RGB-D Based Localization
University of Vigo(维戈大学);University of Freiburg(弗莱堡大学)
在本文中,我们提出了一种新的方法,全球定位使用RGB-D相机的视觉特征的地图。对于大型地图,纯图像匹配技术的性能在鲁棒性和计算成本方面有所下降。特别地,由于世界上的重复结构(例如,门口、椅子等)或者观测之间缺少关联对视觉定位提出了关键挑战。我们采用两步走的方法应对这些挑战。我们首先使用当前相机帧的特征与特征图之间的几个对应关系来估计候选姿势。通过特征空间中的邻近度建立初始对应集。在第二步骤中使用初始姿态估计来引导3D中的特征的空间匹配,即,搜索期望在地图中找到图像特征的关联。RANSAC算法用于从对应性计算姿态的精细估计。我们的方法显然优于定位的基础上的特征匹配专门在特征空间中,无论是在估计精度和鲁棒性的失败,并允许实时的(30 Hz)的全球定位。
2015-02-02 cs.CV cs.RO
Matching Image Sets via Adaptive Multi Convex Hull
University of Queensland(昆士兰大学);NICTA;Queensland University of Technology(昆士兰科技大学)
传统的最近点方法使用图像集中的所有样本来构造单个凸壳或仿射壳模型进行分类。然而,当在图像集中出现显著的类内变化和/或噪声时,可以从训练样本的组合生成强人工特征和噪声数据。现有的多模型方法通过对每个图像集单独聚类一次来提取局部模型,固定的聚类用于与不同的图像集进行匹配。这可能不是最佳的歧视,因为不理想的环境条件(如。照明和姿态变化)可以导致表示对象的不同特性的两个最接近的聚类(例如,正面脸与非正面脸比较)。为了解决上述问题,我们提出了一种新的方法,以提高最近点的方法集成仿射/凸包分类与适应多模型的方法。我们首先从一个查询图像集合中提取多个局部凸包,通过最大间距聚类来减少人为变化,并约束局部凸包中的噪声。然后,我们提出了自适应参考聚类(ARC)约束聚类的每个画廊图像集,迫使集群有相似的查询图像集中的集群。通过应用ARC,可以丢弃查询集中的噪声聚类。在Honda、MoBo和ETH-80数据集上的实验表明,该方法的性能优于单模型方法和其他最近的技术,如稀疏近似最近点、互子空间方法和流形判别分析。
2014-03-03 cs.CV stat.ML
Revocable Deep Reinforcement Learning with Affinity Regularization for Outlier-Robust Graph Matching
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);Nanjing University(南京大学);Shanghai University of Finance and Economics(上海财经大学);Huawei(华为技术有限公司)
图匹配(GM)已经成为包括计算机视觉和模式识别在内的各种领域中的构建块。尽管最近取得了令人印象深刻的进展,但现有的深度GM方法在处理异常值方面往往存在明显的困难,这些异常值在实践中无处不在。我们提出了一种基于深度强化学习的方法RGM,其顺序节点匹配方案自然适合选择性内点匹配离群点的策略。设计了一个可扩展的行动框架,以提高智能体对复杂约束GM的灵活性。此外,我们提出了一个二次近似技术来正则化的亲和力得分,在离群值的存在。因此,当亲和度分数停止增长时,代理可以及时完成内点匹配,否则需要额外的参数,即内点的数量,以避免匹配离群点。在本文中,我们专注于学习最一般形式的GM下的后端求解器:Lawler的QAP,其输入是亲和矩阵。特别是,我们的方法也可以提高现有的GM方法,使用这样的输入。在多个真实世界数据集上的实验证明了其在准确性和鲁棒性方面的性能。
2023-03-01 cs.CV cs.LG
MambaGlue: Fast and Robust Local Feature Matching With Mamba
School of Electrical Engineering, KAIST (Korea Advanced Institute of Science and Technology)(韩国科学技术院电气工程学院);Laboratory for Information & Decision Systems (LIDS), Massachusetts Institute of Technology(麻省理工学院信息与决策系统实验室)
为满足鲁棒且快速的特征匹配需求,本文提出基于Mamba架构的MambaGlue方法,通过设计MambaAttention混合器和深度置信度分数回归器,在保持快速推理的同时显著提升了匹配性能。
2025-02-01 cs.CV cs.RO
Robust Subpixel Localization of Diagonal Markers in Large-Scale Navigation via Multi-Layer Screening and Adaptive Matching
College of Aerospace Science and Engineering(航空航天科学与工程学院);National University of Defense Technology(国防科技大学);Hunan Provincial Key Laboratory of Image Measurement and Vision Navigation(湖南省图像测量与视觉导航重点实验室)
本文提出一种多层筛选与自适应匹配相结合的方法,用于大尺度导航中实现对角标记的鲁棒子像素定位。
2026-01-13 cs.CV cs.RO
Robust Reference-based Super-Resolution via C2-Matching
Nanyang Technological University(南洋理工大学)
基于参考的超分辨率(Ref-SR)最近已经成为一种有前途的范例,通过引入额外的高分辨率(HR)参考图像来增强低分辨率(LR)输入图像。现有的Ref-SR方法大多依赖于隐式对应匹配从参考图像中借用HR纹理来补偿输入图像中的信息损失。然而,由于输入图像和参考图像之间存在两个间隙:变换间隙(例如,缩放和旋转)和分辨率间隙(例如,HR和LR),因此难以执行局部转移。为了应对这些挑战,我们提出了C2-Matching,它产生显式的鲁棒匹配交叉变换和分辨率。1)对于变换间隙,我们提出了一个对比对应网络,它使用输入图像的增强视图来学习变换鲁棒对应。2)对于分辨率差距,我们采用了师生相关蒸馏,从更容易的HR-HR匹配中提取知识,以指导更模糊的LR-HR匹配。3)最后,我们设计了一个动态聚合模块来解决潜在的不对齐问题。此外,为了忠实地评估Ref-SR在现实环境下的性能,我们贡献了Webly引用的SR(WR-SR)数据集,模仿实际使用场景。大量的实验表明,我们提出的C2匹配显着优于国家的艺术超过1dB的标准CUFED 5基准。值得注意的是,它在WR-SR数据集上也表现出很强的泛化能力,以及在大规模和旋转变换中的鲁棒性。
2021-06-03 cs.CV cs.LG eess.IV
Robust Multi-object Matching via Iterative Reweighting of the Graph Connection Laplacian
Princeton University(普林斯顿大学);University of Minnesota(明尼苏达大学)
我们提出了一个有效的和强大的多目标匹配问题的迭代解决方案。我们首先澄清严重的局限性,目前的方法,以及不适当的标准迭代加权最小二乘程序。鉴于这些局限性,我们提出了一种新的和更可靠的迭代重加权策略,利用图形连接拉普拉斯算子,将信息从高阶邻域。我们使用合成和真实数据集证明了我们的程序优于最先进的方法。
2020-10-24 cs.CV cs.NA math.NA
A Strong and Robust Baseline for Text-Image Matching
University of Waterloo(滑铁卢大学);Aalto University(阿尔托大学)
我们回顾了目前的文本图像匹配模型的计划,并提出了改进的训练和推理。首先,我们经验性地显示了在训练文本图像嵌入中广泛使用的两种流行损失(总和和最大余量损失)的局限性,并提出了一种折衷:kNN余量损失,其1)利用来自硬否定的信息,2)对噪声是鲁棒的,因为考虑了所有$K$ -最硬的样本,容忍\emph{pseudo}否定和离群值。其次,我们提倡在推理过程中使用Inverted Softmax(\textsc{Is})和跨模态局部缩放(\textsc{Csls})来缓解高维嵌入空间中所谓的中心问题,大幅提高所有指标的得分。
2019-06-04 cs.CL cs.CV cs.LG
PhIT-Net: Photo-consistent Image Transform for Robust Illumination Invariant Matching
Technion - Israel Institute of Technology(以色列理工学院)
我们提出了一个新的和完全数据驱动的方法来生成一个照片一致的图像变换。我们表明,简单的经典算法,在变换域中的操作变得非常有弹性的照明变化。这大大提高了匹配精度,优于使用最先进的不变表示以及基于深度特征的新匹配方法。该变换是通过训练一个具有专门的三元组损失的神经网络来获得的,该三元组损失旨在强调实际场景的变化,同时衰减照明变化。该变换产生一个照明不变的表示,结构作为一个图像映射,这是非常灵活的,可以很容易地用于各种任务。
2021-10-24 cs.CV cs.LG eess.IV
Transferring Adversarial Robustness Through Robust Representation Matching
Stony Brook University(石溪大学);IBM(国际商业机器公司)
随着机器学习的广泛使用,对其安全性和可靠性的担忧变得普遍。因此,许多人已经开发出防御措施来强化神经网络,以对抗对抗性示例,即被可靠地错误分类的不知不觉地扰动的输入。对抗性训练是为数不多的能够可靠地抵御针对神经网络的此类攻击的已知防御方法之一,其中在训练期间生成并使用对抗性示例。然而,对抗性训练会带来显著的训练开销,并且随着模型复杂性和输入维度的变化而变化。在本文中,我们提出了鲁棒表示匹配(RRM),这是一种低成本的方法,可以将对抗训练模型的鲁棒性转移到针对相同任务训练的新模型中,而不管架构差异如何。受师生学习的启发,我们的方法引入了一种新颖的训练损失,鼓励学生学习教师的鲁棒表示。与以前的作品相比,RRM在模型性能和对抗训练时间方面都更优越。在CIFAR-10上,RRM训练一个健壮的模型$\sim 1.8\times$的速度比最先进的。此外,RRM在高维数据集上仍然有效。在Restricted-ImageNet上,RRM训练ResNet 50模型$\sim 18\times$的速度比标准对抗训练更快。
2022-05-05 cs.CR cs.CV cs.LG