Selective-Stereo: Adaptive Frequency Information Selection for Stereo Matching
Huazhong University of Science and Technology(华中科技大学)
针对迭代立体匹配难以兼顾边缘高频与平滑区域低频信息的问题,提出 SRU 与 CSA 自适应融合多频率隐式视差,Selective-Stereo 在四个权威基准均位列已发表方法第一。
2024-03-01 cs.CV
SelMatch: Effectively Scaling Up Dataset Distillation via Selection-Based Initialization and Partial Updates by Trajectory Matching
School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院电气工程学院)
提出SelMatch数据集蒸馏方法,通过基于选择的初始化和轨迹匹配的部分更新控制合成数据集难度,有效解决IPC增大时覆盖差距问题,在CIFAR-10/100和TinyImageNet上表现优异。
2024-05-28 cs.CV cs.LG
Robust affine point matching via quadratic assignment on Grassmannians
本研究提出一种名为RoAM的点云仿射配准新算法,通过格拉斯曼流形元素间Frobenius距离最小化及QAP不定松弛实现匹配,经实验验证其抗噪声和点差异的鲁棒性优于现有方法。
2024-10-07 cs.CV
Object-Level Targeted Selection via Deep Template Matching
University of Texas at Dallas(德克萨斯大学达拉斯分校);NVIDIA(英伟达)
检索具有在语义上类似于查询图像中的感兴趣对象(OOI)的对象的图像具有许多实际用例。一些例子包括修复失败,如学习模型的假阴性/阳性或减轻数据集中的类不平衡。有针对性的选择任务需要从大规模的未标记数据池中找到相关数据。这种规模的人工开采是不可行的。此外,OOI通常很小,并且占据不到1%的图像区域,被遮挡,并且在杂乱的场景中与许多语义上不同的对象共存。现有的语义图像检索方法通常集中在挖掘较大尺寸的地理地标,和/或需要额外的标记数据,如图像/图像对相似的对象,挖掘图像与通用对象。我们在DNN特征空间中提出了一种快速而强大的模板匹配算法,该算法从大型未标记数据池中检索对象级别的语义相似图像。我们将查询图像中OOI周围的区域投影到DNN特征空间,用作模板。这使得我们的方法能够专注于OOI的语义,而不需要额外的标记数据。在自动驾驶的背景下,我们通过使用对象检测器的失败案例作为OOI来评估我们的系统的目标选择。我们证明了它的有效性在一个大型的未标记的数据集与2.2M的图像,并显示高召回挖掘的图像与小尺寸的OOI。我们比较我们的方法对一个著名的语义图像检索方法,它也不需要额外的标记数据。最后,我们表明,我们的方法是灵活的,检索图像与一个或多个语义不同的共同出现的OOI无缝。
2022-07-05 cs.CV
Robust Line Segments Matching via Graph Convolution Networks
Xidian University(西安电子科技大学)
直线匹配在运动恢复结构(SFM)和同时定位与地图构建(SLAM)中起着至关重要的作用,特别是在低纹理和重复场景中。本文提出了一种新的方法,使用图卷积网络来匹配线段在一对图像,我们设计了一个基于图的匹配策略,放松到一个最佳的运输问题。与手工制作的线匹配算法相比,我们的方法通过端到端训练同时学习局部线段描述符和匹配。实验结果表明,该方法的性能优于现有技术,特别是在相似的查全率下,查全率从45.28%提高到70.47%。我们的工作代码可在https://github.com/mameng1/GraphLineMatching上获得。
2020-04-13 cs.CV
Iterative Clustering with Game-Theoretic Matching for Robust Multi-consistency Correspondence
West Virginia University(西弗吉尼亚大学);Huazhong University of Science and Technology(华中科技大学)
在两幅图像之间匹配对应的特征是计算机视觉的一项基本任务,在物体识别、机器人和三维重建中有许多应用。图像特征匹配的当前技术状态集中于在静态场景中建立单一一致性;相比之下,在动态场景中发现多个一致性的研究还不够。在本文中,我们提出了一个端到端的优化框架命名为“迭代聚类与博弈论匹配”(ic-GTM)的鲁棒多一致性对应。其关键思想是制定多一致性匹配作为一个广义的聚类问题的图像对。在我们的配方中,几个本地匹配游戏的指导下,同时进行了不同的相应的块对一个新的支付功能组成的几何和描述性的兼容性;全局匹配结果进一步迭代细化聚类和阈值的支付矩阵。我们还提出了三个新的指标来评估多一致性图像特征匹配的性能。大量的实验结果表明,所提出的框架显着优于以前的国家的最先进的方法在两个电子商务onsimilarity和多一致性数据集。
2019-09-03 cs.CV
RobuSTereo: Robust Zero-Shot Stereo Matching under Adverse Weather
Beijing Institute of Technology(北京理工大学);School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院)
RobuSTereo通过扩散仿真与立体一致性模块生成恶劣天气立体数据,并结合ConvNet与去噪Transformer的鲁棒特征编码器,显著提升立体匹配模型的零样本泛化能力。
2025-07-02 cs.CV
SceneFlowFields++: Multi-frame Matching, Visibility Prediction, and Robust Interpolation for Scene Flow Estimation
DFKI - German Research Center for Artificial Intelligence(德国人工智能研究中心);BMW Group(宝马集团)
最先进的场景流算法追求准确性、运行时间和鲁棒性的相互冲突的目标。随着逐像素匹配和稀疏到密集插值的成功概念,我们推动了场景流估计的极限。避免对域或问题的强假设产生更鲁棒的算法。该算法是快速的,因为我们避免了显式正则化匹配过程中,这允许一个有效的计算。使用多个时间步长的图像信息和基于先前结果的显式可见性预测,我们在不同的数据集上实现了有竞争力的性能。我们的贡献和结果进行了评价比较实验。总的来说,我们提出了一个准确的场景流算法,比任何单个基准领导者更快,更通用。
2019-10-28 cs.CV
Flow Intelligence: Robust Feature Matching via Temporal Signature Correlation
SIGS, Tsinghua University(清华大学深圳国际研究生院);University of Electronic Science and Technology of China(电子科技大学);New York University Shanghai(上海纽约大学)
针对视频流特征匹配在噪声、跨模态等场景下的鲁棒性问题,提出Flow Intelligence方法,通过提取视频时间运动特征实现匹配,无需预训练数据和空间特征检测,在复杂场景中性能优于现有方法。
2025-04-16 cs.CV
DynaMiTe: A Dynamic Local Motion Model with Temporal Constraints for Robust Real-Time Feature Matching
Technische Universität München(慕尼黑工业大学)
基于特征的视觉里程计和SLAM方法需要在连续图像帧之间进行准确和快速的对应匹配,以用于实时的【形】精确的相机姿态估计。当前的特征匹配流水线或者仅仅依赖于特征提取器的描述能力,或者需要计算上复杂的优化方案。我们提出了轻量级管道DynaMiTe,这是不可知的描述符输入,并利用有效的统计措施的时空线索。该方法的理论骨干在于内的概率制定的特征匹配和相应的物理动机的约束研究。动态自适应局部运动模型将特征组封装在有效的数据结构中。时间约束跨时间传递局部运动模型的信息,从而额外地降低匹配的搜索空间复杂性。DynaMiTe在匹配精度和高帧速率下的相机姿态估计方面都取得了优异的结果,在计算效率更高的同时,性能优于最先进的匹配方法。
2020-07-31 cs.CV
Convolutional Hough Matching Networks for Robust and Efficient Visual Correspondence
尽管在特征表示方面取得了进展,但利用几何关系对于在图像的大变化下建立可靠的视觉对应至关重要。在这项工作中,我们介绍了一个霍夫变换的卷积匹配的角度,并提出了一个有效的几何匹配算法,称为卷积霍夫匹配(CHM)。该方法将候选匹配的相似性分布在几何变换空间上,并以卷积方式对其进行评估。我们将其转换为一个具有半各向同性高维内核的可训练神经层,该层通过少量可解释参数学习非刚性匹配。为了进一步提高高维投票的效率,我们还建议使用一个有效的核分解与中心枢轴邻居,这显着稀疏所提出的半各向同性内核没有性能下降。为了验证所提出的技术,我们开发了具有CHM层的神经网络,该CHM层在平移和缩放空间中执行卷积匹配。我们的方法在语义视觉对应的标准基准上设置了一个新的艺术状态,证明了其对具有挑战性的类内变化的强大鲁棒性。
2021-09-11 cs.CV
DINO-RotateMatch: A Rotation-Aware Deep Framework for Robust Image Matching in Large-Scale 3D Reconstruction
Beijing National Day School(北京国家日学校);No.2 High School of East China Normal University(华东师范大学第二中学);CodingFuture Research Center(CodingFuture研究中心)
DINO-RotateMatch通过结合自监督全局描述符与旋转增强的局部匹配,提升大规模3D重建中的图像匹配鲁棒性与可扩展性。
2025-12-03 cs.CV
Image Matching Using SIFT, SURF, BRIEF and ORB: Performance Comparison for Distorted Images
Faculty of Engineering and Applied Sciences, Memorial University(纽芬兰纪念大学工程与应用科学学院)
快速、鲁棒的图像匹配在计算机视觉和机器人技术中有着广泛的应用。在本文中,我们比较了三种不同的图像匹配技术的性能,即,SIFT、SURF和ORB,以抵抗不同类型的变换和变形,如缩放、旋转、噪波、鱼眼失真和剪切。为了这个目的,我们手动应用不同类型的原始图像上的变换和计算匹配的评价参数,如图像中的关键点的数量,匹配率,和每个算法所需的执行时间,我们将表明,该算法是最好的更强大的对每种失真。索引项-图像匹配,尺度不变特征变换(SIFT),加速鲁棒特征(SURF),鲁棒独立基本特征(BRIEF),定向FAST,旋转(ORB)。
2017-10-07 cs.CV
Multiple Queries with Multiple Keys: A Precise Prompt Matching Paradigm for Prompt-based Continual Learning
National Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学);School of Electronic Science and Engineering, Nanjing University(电子科学与工程学院,南京大学)
针对基于提示的持续学习中提示选择准确率低的问题,提出多查询多键(MQMK)精确匹配范式,通过任务特定广度搜索与细粒度深度搜索提升匹配率,在三个基准上取得最优性能。
2025-10-02 cs.CV
Best-Buddies Similarity - Robust Template Matching using Mutual Nearest Neighbors
Tel-Aviv University(特拉维夫大学);MIT Computer Science and Artificial Intelligence Lab(麻省理工学院计算机科学与人工智能实验室);Google(谷歌)
我们提出了一种新的方法在无约束环境中的模板匹配。它的本质是最佳伙伴相似性(BBS),一个有用的,强大的,两组点之间的参数自由的相似性度量。BBS基于最佳伙伴对(BBP)的数量计数-源和目标集中的点对,其中每个点都是另一个点的最近邻居。BBS具有几个关键特征,使其能够抵抗复杂的几何变形和高水平的离群值,例如由背景杂波和遮挡引起的离群值。我们研究了这些属性,提供了一个统计分析,证明他们,并证明了BBS在一个具有挑战性的现实世界的数据集上的一致成功,同时使用不同类型的功能。
2016-09-06 cs.CV
Cross-PCR: A Robust Cross-Source Point Cloud Registration Framework
School of Automation, Beijing Institute of Technology(北京理工大学自动化学院)
本文提出Cross-PCR框架,通过密度鲁棒编码器和“宽松生成、严格选择”的从松到紧匹配策略,解决跨源点云密度不一致与匹配困难问题,在3DCSR和3DMatch上显著提升配准召回率与鲁棒性。
2024-12-25 cs.CV
Robust Template Matching via Hierarchical Convolutional Features from a Shape Biased CNN
King’s College London(伦敦国王学院)
在搜索图像中找到模板是许多计算机视觉应用的重要任务。最近的方法在由卷积神经网络(CNN)产生的深特征空间中执行模板匹配,发现其对外观变化提供更多的容限。在这篇文章中,我们研究了增强CNN的形状信息编码是否可以产生更多可区分的特征,从而提高模板匹配的性能。这项调查的结果在一个新的模板匹配方法,产生国家的最先进的结果在一个标准的基准。为了证实这些结果,我们还创建了一个新的基准,并表明所提出的方法在这个新的数据集上也优于现有的技术。我们的代码和数据集可以在https://github.com/iminfine/Deep-DIM上找到。
2021-05-07 cs.CV
StickyPillars: Robust and Efficient Feature Matching on Point Clouds using Graph Neural Networks
Valeo Schalter und Sensoren GmbH(法雷奥开关与传感器有限公司);Spleenlab GmbH(Spleenlab有限公司);Ilmenau University of Technology(伊尔梅瑙工业大学);Software Engineering for Safety-Critical Systems(安全关键系统软件工程)
鲁棒的点云实时配准是许多地图绘制和定位算法的重要前提。传统的方法,如ICP往往失败,没有良好的初始化,不充分的重叠或在动态对象的存在。现代的基于深度学习的配准方法呈现出好得多的结果,但是遭受繁重的运行时间。我们通过引入StickyPillars来克服这些缺点,StickyPillars是一种快速,准确且非常强大的点云深中端3D特征匹配方法。它使用图神经网络,并在基于Transformer的多头自注意和交叉注意的帮助下,对稀疏的3D关键点进行上下文聚合。网络输出被用作最优运输问题的成本,该问题的解产生最终的匹配概率。该系统不依赖于手工制作的特征描述符或启发式匹配策略。我们在KITTI数据集上展示了配准问题的最新准确性结果,同时比领先的深度方法快四倍。此外,我们将我们的匹配系统集成到LiDAR里程计管道中,在KITTI里程计数据集上获得最准确的结果。最后,我们证明了KITTI里程计的鲁棒性。我们的方法在最先进的程序在帧丢失和更高的速度上失败的情况下保持稳定的准确性。
2021-02-19 cs.CV
Video Face Matching using Subset Selection and Clustering of Probabilistic Multi-Region Histograms
NICTA;The University of Queensland(昆士兰大学)
平衡计算效率和识别精度是基于视频的真实世界人脸识别的主要挑战之一。任何这样的系统的一个重要的设计决策是是否处理和使用在视频帧上检测到的所有可能的面部,或者是否仅选择几个“最佳”面部。本文提出了一种基于概率多区域直方图的视频人脸识别系统,以消除性能权衡:(i)选择一个子集的脸相比,使用所有的脸,和(ii)通过聚类组合来自所有的脸的信息。三个人脸选择指标进行评估,选择一个子集:人脸检测的信心,随机子集,和顺序选择。在最近引入的MOBIO数据集上的实验表明,通过聚类使用所有人脸的效果总是优于只选择人脸的子集。实验还表明,基于人脸检测置信度的人脸选择度量通常比随机或顺序采样提供更好的识别性能。此外,最佳的人脸数量在选择度量和MOBIO子集之间变化很大。考虑到计算量、识别精度和鲁棒性之间的权衡,建议人脸特征聚类在批处理中最有利(特别是对于基于视频的监视列表),而人脸选择方法应限于具有显著计算限制的应用。
2013-03-26 cs.CV cs.IR
TopicFM: Robust and Interpretable Topic-Assisted Feature Matching
School of Computing, KAIST(韩国科学技术院计算机学院);Intelligent Robotics Research Division, ETRI(韩国电子通信研究院智能机器人研究部)
针对大场景变化或无纹理场景下的图像匹配问题,提出TopicFM方法,利用主题建模策略编码高级语义上下文,将图像建模为多项分布并进行概率特征匹配,显著提升了匹配的鲁棒性和可解释性。
2022-11-29 cs.CV
GlueStick: Robust Image Matching by Sticking Points and Lines Together
ETH Zurich(苏黎世联邦理工学院);Qualcomm XR Labs Europe(高通欧洲XR实验室);Microsoft Mixed Reality and AI Zurich lab(微软苏黎世混合现实与人工智能实验室);Lund University(隆德大学)
本文提出了一种名为 GlueStick 的深度匹配图神经网络,通过将点、线及其描述子统一到单一的线框结构中,利用节点间的连接信息实现联合匹配,显著提升了图像匹配的鲁棒性和性能。
2023-10-20 cs.CV
RGM: A Robust Generalizable Matching Model
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学);Northwestern Polytechnical University(西北工业大学)
本文提出RGM,一种结合级联GRU细化与不确定性估计的深度模型,统一处理稀疏和密集匹配,并构建大规模混合数据集,显著提升零样本匹配与几何估计的泛化性能。
2024-03-15 cs.CV
Contextual Flow Matching: Adaptive Step Selection in Flow Models for Efficient Visual Generation
IIT Bombay(印度理工学院孟买分校);SMART Centre(SMART中心)
提出COFLOW,一种推理时自适应步长选择方法,基于提示特征平衡效率与保真度,无需重训模型,在图像和视频生成中实现超2.5倍加速并保持质量。
2026-10-05 cs.AI cs.CV
RPM-Net: Robust Pixel-Level Matching Networks for Self-Supervised Video Object Segmentation
KAIST(韩国科学技术院)
本文介绍了一种无需人工标记数据的自监督视频对象分割方法,具体而言,我们提出了鲁棒像素级匹配网络(RPM-Net),这是一种新的深度架构,仅使用来自未标记视频的颜色信息进行训练,匹配相邻帧之间的像素。从技术上讲,RPM-Net可以分为两个主要模块。嵌入模块首先将输入图像投影到高维嵌入空间。与以往的基于可变形卷积的方法不同,本文的匹配模块采用可变形卷积来关注时空相邻像素中的相似特征,实验结果表明,选择性特征采样提高了视频对象分割对相机抖动等挑战性问题的鲁棒性,快速运动、变形和遮挡。此外,我们在三个公共数据集(即,DAVIS-2017、SegTrack-v2和Youtube-Objects),并在自监督视频对象分割方面实现最先进的性能。此外,我们显着减少了自监督和全监督视频对象分割之间的性能差距(DAVIS-2017验证集上为41.0% vs. 52.5%)
2019-10-10 cs.CV
SuperNCN: Neighbourhood consensus network for robust outdoor scenes matching
Warsaw University of Technology(华沙理工大学);Google(谷歌)
在本文中,我们提出了一个框架,用于计算密集的关键点之间的对应关系,在强烈的场景外观变化的图像。传统方法基于特征描述符空间中的最近邻搜索,当环境条件变化时,例如,当在一天或季节的不同时间拍摄图像时,其性能很差。我们的方法改进了在这种困难的条件下找到关键点对应。首先,我们使用邻域一致性网络在粗尺度上建立两幅图像之间的空间一致性匹配网格。然后,我们应用Superpoint-like角点检测器来实现像素级的精度。这两个部分都使用了通过领域自适应学习的特征,以增加对强场景外观变化的鲁棒性。该框架已经在RobotCar Seasons数据集上进行了测试,证明了在具有挑战性的环境条件下姿势估计任务的巨大改进。
2019-12-10 cs.CV
Stereo Anywhere: Robust Zero-Shot Deep Stereo Matching Even Where Either Stereo or Mono Fail
Advanced Research Center on Electronic System (ARCES)(电子系统高级研究中心);Department of Computer Science and Engineering (DISI)(计算机科学与工程系);University of Bologna(博洛尼亚大学)
本文提出 Stereo Anywhere 框架,通过双分支架构将立体几何约束与单目深度视觉基础模型的先验相融合,并引入新型成本体积融合机制,仅用合成数据训练即在零样本立体匹配中取得最先进结果,对无纹理、遮挡、镜面和透明等困难场景表现鲁棒。
2025-05-07 cs.CV
RobustMat: Neural Diffusion for Street Landmark Patch Matching under Challenging Environments
Nanyang Technological University(南洋理工大学)
本文提出 RobustMat,结合卷积神经 ODE 与图神经 PDE 扩散模块,利用邻域信息提升街景地标块在季节、天气和光照变化下的匹配鲁棒性,并在多个数据集上达到最先进性能。
2023-11-07 cs.CV
Loss-Curvature Matching for Dataset Selection and Condensation
KAIST(韩国科学技术院);Ewha Womans University(梨花女子大学)
在大型数据集上训练神经网络需要大量的计算成本。数据集缩减基于大型数据集选择或合成数据实例,同时最大限度地降低完整数据集的泛化性能下降。现有的方法在数据集约简过程中使用神经网络,因此模型参数成为保持约简后性能的重要因素。根据参数的重要性,本文提出了一种新的约简目标LCMat,它在模型参数空间上匹配原始数据集和约简数据集的损失曲率,而不是参数点。这个新的目标诱导一个更好的适应减少的数据集上的扰动参数区域比精确的点匹配。特别地,我们从局部参数区域中识别出损耗曲率间隙的最坏情况,并通过理论分析推导出这种最坏情况的可实现上界。我们在核心集选择和凝聚基准上的实验表明,LCMat比现有的基准具有更好的泛化性能。
2023-03-08 cs.AI cs.CV cs.LG
Automatic Creative Selection with Cross-Modal Matching
University of Southern California(南加州大学);Apple(苹果公司)
本文提出基于微调LXMERT模型的应用图片与搜索词匹配方法,在广告主关联和人工标注两组真值上分别取得0.96和0.95的AUC,显著优于CLIP和Transformer+ResNet基线。
2024-02-28 cs.CV cs.IR
Evaluating Text-to-Image Matching using Binary Image Selection (BISON)
University of Southern California(南加州大学);Facebook AI Research(Facebook人工智能研究院)
为系统提供关联语言和视觉内容的能力是计算机视觉的标志之一。任务,如基于文本的图像检索和图像描述的目的是测试这种能力,但与评估措施,有很大的差异或难以解释。我们研究了一个替代的任务,匹配文本和图像的系统:给定一个文本查询,系统被要求从一对语义相似的图像中选择最匹配的查询的图像。该系统的准确性,这个二进制图像选择(BISON)的任务是可解释的,消除了检索评估的可靠性问题,并专注于系统的能力,以了解细粒度的视觉结构。我们收集了一个BISON数据集,补充COCO数据集,并使用它来评估现代基于文本的图像检索和图像描述系统。我们的研究结果为这些系统的性能提供了新的见解。COCO-BISON数据集和相应的评估代码可从\url{http://hexianghu.com/bison/}公开获得。
2019-04-05 cs.AI cs.CL cs.CV
Automatic Real-time Vehicle Classification by Image Colour Component Based Template Matching
本文提出一种基于最佳颜色波段选择的快速模板匹配算法,在低成本硬件上以约4帧/秒实现实时车辆自动分类,解决了复杂道路场景下实时性与硬件成本之间的矛盾。
2025-09-20 cs.AI cs.CV
CA-I2P: Channel-Adaptive Registration Network with Global Optimal Selection
School of Information Science and Technology, University of Science and Technology of China(信息科学与技术学院,中国科学技术大学);Institute of Advanced Technology, University of Science and Technology of China(先进技术研究院,中国科学技术大学)
针对图像与点云特征通道差异及相似结构导致冗余匹配的问题,提出通道自适应调整模块和全局最优选择模块,在图像到点云配准任务上实现了最先进的性能。
2025-06-26 cs.AI cs.CV
Towards Adversarially Robust and Domain Generalizable Stereo Matching by Rethinking DNN Feature Backbones
North Carolina State University(北卡罗来纳州立大学)
立体匹配最近使用深度神经网络(DNN)取得了显著进展。但是,他们有多强大?尽管众所周知,DNN经常遭受对抗性漏洞,性能会出现灾难性下降,但在立体匹配中情况更糟。本文首先表明,一种弱白盒攻击可以压倒最先进的方法。该攻击是通过提出的立体约束投影梯度下降(PGD)立体匹配方法学习的。这种观察引起了对基于DNN的立体匹配的部署的严重关注。与对抗性漏洞并行,基于DNN的立体匹配通常在所谓的模拟到现实管道下进行训练,因此域泛化是一个重要问题。本文提出重新考虑可学习的基于DNN的特征骨干,通过完全删除它来进行匹配,从而实现对抗鲁棒性和域泛化的立体匹配。在实验中,该方法在SceneFlow数据集和KITTI2015基准测试中进行了测试,结果令人满意。我们使用经典的多尺度普查变换(即,局部二进制模式),然后是解决匹配问题的堆叠沙漏头子网络。它显著提高了对抗鲁棒性,同时保持了与最先进方法相当的准确性。当不使用微调时,它还显示了从模拟(SceneFlow)到真实(KITTI)数据集的更好的泛化能力。
2021-09-23 cs.AI cs.CV
Good Feature Matching: Towards Accurate, Robust VO/VSLAM with Low Latency
Georgia Institute of Technology(佐治亚理工学院)
对最先进的VO/VSLAM系统的分析暴露了在平衡性能(准确性和鲁棒性)和效率(延迟)方面的差距。基于特征的系统表现出良好的性能,但由于显式数据关联而具有较高的延迟;直接和半直接系统具有较低的延迟,但在某些目标场景中不适用,或者表现出比基于特征的系统更低的准确性。本文的目的是填补性能效率的差距与增强适用于基于特征的VSLAM。我们提出了良好的特征匹配,一个积极的地图到帧的特征匹配方法。特征匹配工作与子矩阵选择有关,这具有组合时间复杂度并且需要选择评分度量。通过仿真,Max-logDet矩阵揭示度量表现最好。对于实时适用性,研究了确定性选择和随机加速的组合。该算法被集成到单目和立体特征为基础的VSLAM系统。对多个基准测试和计算硬件的广泛评估量化了延迟减少以及准确性和鲁棒性保持。
2020-01-03 cs.CV cs.RO
HOME: Robust Hough-space Matching Method for Structured and Textureless Videos
针对机器人定位中基于点的特征在结构化或无纹理环境中失效的问题,提出HOME框架,将图像转换到霍夫空间,通过一维点匹配实现高效线匹配,经单应性估计验证,其匹配精度高、速度快,扩展到3D姿态估计前景广阔。
2026-07-29 cs.CV cs.RO
Matched sample selection with GANs for mitigating attribute confounding
University of California at Berkeley(加州大学伯克利分校);Massachusetts Institute of Technology(麻省理工学院);California Institute of Technology(加州理工学院);Amazon Web Services(亚马逊网络服务)
随着视觉系统在社会中的广泛使用,测量这些系统在性别和年龄等受保护属性方面的偏差至关重要。然而,基准数据集中属性之间的显著相关性使得很难将算法偏见与数据集偏差分开。为了减轻这种属性混淆在偏见分析,我们提出了一种匹配的方法,选择一个子集的图像从完整的数据集与平衡的属性分布在受保护的属性。我们的匹配方法首先以保留语义属性的方式将真实图像投影到生成对抗网络(GAN)的潜在空间上。然后,它在这个潜在空间中找到一个选定的受保护属性的图像匹配,产生一个数据集,其中语义和感知属性在受保护属性中得到平衡。我们验证投影和匹配策略与定性,定量和人类注释实验。我们在多个开源面部识别分类器的性别偏见背景下展示了我们的工作,并发现在通过匹配去除关键混杂因素后,偏见仍然存在。代码和文档可以在https://github.com/csinva/matching-with-gans上复制这里的结果并将方法应用于新数据。
2021-03-24 cs.AI cs.CV cs.LG
Dense-Caption Matching and Frame-Selection Gating for Temporal Localization in VideoQA
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
视频传达丰富的信息。人/物体之间的动态时空关系以及各种多模态事件存在于视频剪辑中。因此,重要的是开发能够从视频中准确提取这些信息的自动化模型。在视频上提问是可以评估这种AI能力的任务之一。在本文中,我们提出了一个视频问答模型,有效地集成多模态输入源,并找到时间相关的信息来回答问题。具体来说,我们首先使用密集的图像标题来帮助识别对象及其详细的显著区域和动作,从而为模型提供有用的额外信息(以显式文本格式,以便更容易匹配)来回答问题。此外,我们的模型还包括双级别的注意力(词/对象和帧级别),多头自我/交叉集成不同的来源(视频和密集的字幕),“与”门传递更多的相关信息到分类器。最后,我们还将帧选择问题转换为多标签分类任务,并引入两个损失函数,In-and Out Frame Score Margin(IOFSM)和Balanced Binary Cross-Entropy(BBCE),以更好地监督具有人类重要性注释的模型。我们在具有挑战性的TVQA数据集上评估了我们的模型,其中我们的每个模型组件都提供了显着的增益,并且我们的整体模型的性能大大优于最先进的模型(74.09%对70.52%)。我们还提出了几个字,对象和帧级可视化研究。我们的代码可在https://github.com/hyounghk/VideoQADenseCapFrameGate-ACL2020上公开获取
2020-05-13 cs.CL cs.CV cs.LG
Robust Near-Isometric Matching via Structured Learning of Graphical Models
NICTA(澳大利亚国家信息与通信技术研究院);Australian National University(澳大利亚国立大学)
用于近刚性形状匹配的模型通常基于与距离相关的特征,以便推断与等距假设一致的匹配。然而,从图像数据集的真实形状,即使预期是相关的“几乎等距”的转换,实际上是不仅受到噪声,而且在一定程度上,在外观和规模的变化。在本文中,我们引入了一个图形模型,它可以参数化外观,距离和角度特征,并且我们通过结构化预测来学习所有相关参数。其结果是一个模型的近刚性形状匹配,这是强大的意义上说,它是能够捕捉到可能有限的,但仍然重要的规模和外观变化。我们的实验结果显示,最近成功的模型有很大的改进,同时保持类似的运行时间。
2008-09-21 cs.CV cs.LG
Point Cloud Registration-Driven Robust Feature Matching for 3D Siamese Object Tracking
Nanjing University of Science and Technology(南京理工大学)
学习模板和搜索区域之间的鲁棒特征匹配对于3D暹罗跟踪至关重要。Siamese特征匹配的核心是如何在模板和搜索区域的对应点上分配高的特征相似度,以实现精确的目标定位。在本文中,我们提出了一种新型的点云配准驱动的连体追踪框架,直觉是空间对齐的对应点(通过3D配准)往往会实现一致的特征表示。具体来说,我们的方法包括两个模块,包括跟踪特定的非本地注册模块和注册辅助Sinkhorn模板特征聚合模块。配准模块的目标是模板和搜索区域之间的精确空间对准。提出了跟踪特定的空间距离约束,以细化区分性特征学习的非局部模块中的交叉注意权值。然后,我们使用加权SVD计算模板和搜索区域之间的刚性变换,并将它们对齐,以获得所需的空间对齐的对应点。对于特征聚合模型,我们将转换后的模板和搜索区域之间的特征匹配表示为最优传输问题,并利用Sinkhorn优化来搜索离群鲁棒匹配解决方案。此外,建立配准辅助的空间距离图以提高不可区分区域(例如,光滑表面)。最后,在得到的特征匹配图的指导下,将模板中的目标信息聚合到搜索区域中,构建目标特定特征,然后将其送入类似CenterPoint的检测头进行目标定位。在KITTI、NuScenes和Waymo数据集上的大量实验验证了该方法的有效性。
2022-12-03 cs.AI cs.CV
Fast and Robust Feature Matching for RGB-D Based Localization
University of Vigo(维戈大学);University of Freiburg(弗莱堡大学)
在本文中,我们提出了一种新的方法,全球定位使用RGB-D相机的视觉特征的地图。对于大型地图,纯图像匹配技术的性能在鲁棒性和计算成本方面有所下降。特别地,由于世界上的重复结构(例如,门口、椅子等)或者观测之间缺少关联对视觉定位提出了关键挑战。我们采用两步走的方法应对这些挑战。我们首先使用当前相机帧的特征与特征图之间的几个对应关系来估计候选姿势。通过特征空间中的邻近度建立初始对应集。在第二步骤中使用初始姿态估计来引导3D中的特征的空间匹配,即,搜索期望在地图中找到图像特征的关联。RANSAC算法用于从对应性计算姿态的精细估计。我们的方法显然优于定位的基础上的特征匹配专门在特征空间中,无论是在估计精度和鲁棒性的失败,并允许实时的(30 Hz)的全球定位。
2015-02-02 cs.CV cs.RO
Revocable Deep Reinforcement Learning with Affinity Regularization for Outlier-Robust Graph Matching
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);Nanjing University(南京大学);Shanghai University of Finance and Economics(上海财经大学);Huawei(华为技术有限公司)
图匹配(GM)已经成为包括计算机视觉和模式识别在内的各种领域中的构建块。尽管最近取得了令人印象深刻的进展,但现有的深度GM方法在处理异常值方面往往存在明显的困难,这些异常值在实践中无处不在。我们提出了一种基于深度强化学习的方法RGM,其顺序节点匹配方案自然适合选择性内点匹配离群点的策略。设计了一个可扩展的行动框架,以提高智能体对复杂约束GM的灵活性。此外,我们提出了一个二次近似技术来正则化的亲和力得分,在离群值的存在。因此,当亲和度分数停止增长时,代理可以及时完成内点匹配,否则需要额外的参数,即内点的数量,以避免匹配离群点。在本文中,我们专注于学习最一般形式的GM下的后端求解器:Lawler的QAP,其输入是亲和矩阵。特别是,我们的方法也可以提高现有的GM方法,使用这样的输入。在多个真实世界数据集上的实验证明了其在准确性和鲁棒性方面的性能。
2023-03-01 cs.CV cs.LG
MambaGlue: Fast and Robust Local Feature Matching With Mamba
School of Electrical Engineering, KAIST (Korea Advanced Institute of Science and Technology)(韩国科学技术院电气工程学院);Laboratory for Information & Decision Systems (LIDS), Massachusetts Institute of Technology(麻省理工学院信息与决策系统实验室)
为满足鲁棒且快速的特征匹配需求,本文提出基于Mamba架构的MambaGlue方法,通过设计MambaAttention混合器和深度置信度分数回归器,在保持快速推理的同时显著提升了匹配性能。
2025-02-01 cs.CV cs.RO
Robust Subpixel Localization of Diagonal Markers in Large-Scale Navigation via Multi-Layer Screening and Adaptive Matching
College of Aerospace Science and Engineering(航空航天科学与工程学院);National University of Defense Technology(国防科技大学);Hunan Provincial Key Laboratory of Image Measurement and Vision Navigation(湖南省图像测量与视觉导航重点实验室)
本文提出一种多层筛选与自适应匹配相结合的方法,用于大尺度导航中实现对角标记的鲁棒子像素定位。
2026-01-13 cs.CV cs.RO
Robust Reference-based Super-Resolution via C2-Matching
Nanyang Technological University(南洋理工大学)
基于参考的超分辨率(Ref-SR)最近已经成为一种有前途的范例,通过引入额外的高分辨率(HR)参考图像来增强低分辨率(LR)输入图像。现有的Ref-SR方法大多依赖于隐式对应匹配从参考图像中借用HR纹理来补偿输入图像中的信息损失。然而,由于输入图像和参考图像之间存在两个间隙:变换间隙(例如,缩放和旋转)和分辨率间隙(例如,HR和LR),因此难以执行局部转移。为了应对这些挑战,我们提出了C2-Matching,它产生显式的鲁棒匹配交叉变换和分辨率。1)对于变换间隙,我们提出了一个对比对应网络,它使用输入图像的增强视图来学习变换鲁棒对应。2)对于分辨率差距,我们采用了师生相关蒸馏,从更容易的HR-HR匹配中提取知识,以指导更模糊的LR-HR匹配。3)最后,我们设计了一个动态聚合模块来解决潜在的不对齐问题。此外,为了忠实地评估Ref-SR在现实环境下的性能,我们贡献了Webly引用的SR(WR-SR)数据集,模仿实际使用场景。大量的实验表明,我们提出的C2匹配显着优于国家的艺术超过1dB的标准CUFED 5基准。值得注意的是,它在WR-SR数据集上也表现出很强的泛化能力,以及在大规模和旋转变换中的鲁棒性。
2021-06-03 cs.CV cs.LG eess.IV
Robust Multi-object Matching via Iterative Reweighting of the Graph Connection Laplacian
Princeton University(普林斯顿大学);University of Minnesota(明尼苏达大学)
我们提出了一个有效的和强大的多目标匹配问题的迭代解决方案。我们首先澄清严重的局限性,目前的方法,以及不适当的标准迭代加权最小二乘程序。鉴于这些局限性,我们提出了一种新的和更可靠的迭代重加权策略,利用图形连接拉普拉斯算子,将信息从高阶邻域。我们使用合成和真实数据集证明了我们的程序优于最先进的方法。
2020-10-24 cs.CV cs.NA math.NA
A Strong and Robust Baseline for Text-Image Matching
University of Waterloo(滑铁卢大学);Aalto University(阿尔托大学)
我们回顾了目前的文本图像匹配模型的计划,并提出了改进的训练和推理。首先,我们经验性地显示了在训练文本图像嵌入中广泛使用的两种流行损失(总和和最大余量损失)的局限性,并提出了一种折衷:kNN余量损失,其1)利用来自硬否定的信息,2)对噪声是鲁棒的,因为考虑了所有$K$ -最硬的样本,容忍\emph{pseudo}否定和离群值。其次,我们提倡在推理过程中使用Inverted Softmax(\textsc{Is})和跨模态局部缩放(\textsc{Csls})来缓解高维嵌入空间中所谓的中心问题,大幅提高所有指标的得分。
2019-06-04 cs.CL cs.CV cs.LG
PhIT-Net: Photo-consistent Image Transform for Robust Illumination Invariant Matching
Technion - Israel Institute of Technology(以色列理工学院)
我们提出了一个新的和完全数据驱动的方法来生成一个照片一致的图像变换。我们表明,简单的经典算法,在变换域中的操作变得非常有弹性的照明变化。这大大提高了匹配精度,优于使用最先进的不变表示以及基于深度特征的新匹配方法。该变换是通过训练一个具有专门的三元组损失的神经网络来获得的,该三元组损失旨在强调实际场景的变化,同时衰减照明变化。该变换产生一个照明不变的表示,结构作为一个图像映射,这是非常灵活的,可以很容易地用于各种任务。
2021-10-24 cs.CV cs.LG eess.IV
Transferring Adversarial Robustness Through Robust Representation Matching
Stony Brook University(石溪大学);IBM(国际商业机器公司)
随着机器学习的广泛使用,对其安全性和可靠性的担忧变得普遍。因此,许多人已经开发出防御措施来强化神经网络,以对抗对抗性示例,即被可靠地错误分类的不知不觉地扰动的输入。对抗性训练是为数不多的能够可靠地抵御针对神经网络的此类攻击的已知防御方法之一,其中在训练期间生成并使用对抗性示例。然而,对抗性训练会带来显著的训练开销,并且随着模型复杂性和输入维度的变化而变化。在本文中,我们提出了鲁棒表示匹配(RRM),这是一种低成本的方法,可以将对抗训练模型的鲁棒性转移到针对相同任务训练的新模型中,而不管架构差异如何。受师生学习的启发,我们的方法引入了一种新颖的训练损失,鼓励学生学习教师的鲁棒表示。与以前的作品相比,RRM在模型性能和对抗训练时间方面都更优越。在CIFAR-10上,RRM训练一个健壮的模型$\sim 1.8\times$的速度比最先进的。此外,RRM在高维数据集上仍然有效。在Restricted-ImageNet上,RRM训练ResNet 50模型$\sim 18\times$的速度比标准对抗训练更快。
2022-05-05 cs.CR cs.CV cs.LG