Multi-Region Probabilistic Dice Similarity Coefficient using the Aitchison Distance and Bipartite Graph Matching
Simon Fraser University（西蒙弗雷泽大学）
图像分割方法的有效性是至关重要的。概率图像分割越来越受欢迎，因为它捕捉结果中的不确定性。支持多区域（与二进制相反）描绘的图像分割方法更有利，因为它们捕获图像中不同对象之间的相互作用。Dice相似系数（DSC）是一种流行的度量标准，用于通过将自动或半自动分割方法的结果与地面实况进行比较来评估其准确性。在这项工作中，我们开发了一个扩展的DSC多区域概率分割（无序标签）。我们使用二分图匹配建立标签对应，并提出了两个功能，扩展DSC，一个基于绝对概率差和一个基于艾奇逊距离。这些提供了多区域概率分割精度的鲁棒且准确的测量。
2015-10-13 cs.CV
Multi-view dense image matching with similarity learning and geometry priors
Univ Gustave Eiffel, LASTIG, ENSG-IGN（古斯塔夫·埃菲尔大学，LASTIG，ENSG-IGN）；Thales（泰雷兹）
本研究提出MV-DeepSimNets多视图相似性学习深度网络套件，结合在线几何先验与平面扫描构建正则化代价体，无需专用多视图训练集即可提升重建效果，泛化性优异且已集成至MicMac软件。
2025-05-16 cs.CV
DeepSim-Nets: Deep Similarity Networks for Stereo Image Matching
Thales（泰雷兹集团）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；ENSG-IGN（法国国立地理科学学院-法国国家地理与林业信息研究所）
本文提出 DeepSim-Nets 多尺度相似性学习架构，通过对比损失在大图像块上学习像素级匹配特征，并结合样本挖掘提升鲁棒性，在航空与卫星数据上优于混合和端到端方法。
2023-04-17 cs.CV
Geometric Image Correspondence Verification by Dense Pixel Matching
Nokia Technologies（诺基亚技术公司）；Aalto University（阿尔托大学）
本文讨论了确定两幅图像之间密集像素对应关系的问题，并将其应用于图像检索中的几何对应关系验证。的主要贡献是几何对应验证方法重新排序检索到的数据库图像的基础上，其密集的成对匹配的查询图像在像素级的短名单。我们确定了一组循环一致的密集像素匹配的图像对之间的匹配，并使用基于神经网络的图像描述符的匹配像素的局部相似性进行评估。最后的重新排序是基于一种新的相似性函数，它融合了局部相似性度量与全局相似性度量和几何一致性度量计算的匹配像素。对于密集匹配，我们的方法利用了最近提出的密集几何对应网络（DGC-Net）的修改版本，我们还通过优化架构来改进。所提出的模型和相似性度量相媲美的国家的最先进的图像检索方法。此外，我们将我们的方法应用于长期视觉定位的问题，展示了有希望的结果和跨数据集的泛化。
2020-08-17 cs.CV
Two-stream Hierarchical Similarity Reasoning for Image-text Matching
Tongji University（同济大学）；DeepBlue Academy of Sciences（深兰科学院）；City University of Hong Kong（香港城市大学）
基于推理的方法已经证明了其强大的能力，为任务的图像-文本匹配。在这项工作中，解决了两个问题的图像-文本匹配。首先，对于推理处理，传统的方法没有能力发现和使用多层次的层次相似性信息。为了解决这个问题，提出了一个层次相似性推理模块，自动提取上下文信息，然后与本地交互信息进行有效的推理。其次，先前的方法仅考虑学习单流相似性对齐（即，图像到文本级或文本到图像级），这不足以完全使用相似性信息进行图像-文本匹配。为了解决这个问题，一个双流架构的开发分解图像-文本匹配到图像到文本的水平和文本到图像的水平相似度计算。这两个问题进行了调查的一个统一的框架，是在一个端到端的方式，即双流层次相似性推理网络的训练。在MSCOCO和Flickr 30 K两个基准数据集上进行的广泛实验表明，与现有的最先进方法相比，所提出的方法具有优越性。
2022-03-10 cs.CV cs.MM
Context-Aware Palmprint Recognition via a Relative Similarity Metric
University of Edinburgh（爱丁堡大学）；Nethermind；University of Waterloo（滑铁卢大学）
针对传统掌纹匹配度量无法捕捉数据集上下文相似性比较的问题，提出引入相对相似性度量（RSM）的方法，应用于CCNet架构后在同济数据集获0.000036%的最先进EER，提升了鲁棒性与判别力。
2025-04-15 cs.CV
A Robust Point Sets Matching Method
University of Chinese Academy of Sciences（中国科学院大学）
点集匹配方法在计算机视觉、特征提取、指纹匹配、运动估计等领域有着重要的应用。我们提出了一个迭代算法，是强大的噪声情况下。首先，我们计算两点之间的所有变换。然后计算相似度矩阵来度量两个变换都为真的可能性。我们迭代更新的匹配得分矩阵，通过使用相似性矩阵。利用图上的匹配算法，得到了匹配结果。实验结果表明，我们的方法得到的鲁棒性离群值和抖动。
2014-11-04 cs.CV
Instance-aware Image and Sentence Matching with Selective Multimodal LSTM
National Laboratory of Pattern Recognition（模式识别国家重点实验室）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
有效的图像和句子匹配取决于如何很好地衡量它们的全局视觉语义相似性。基于观察到这种全局相似性来自图像（对象）和句子（单词）的成对实例之间的多个局部相似性的复杂聚合，我们提出了一种选择性多模态长短期记忆网络（sm-LSTM），用于实例感知的图像和句子匹配。sm-LSTM在每个时间步都包含一个多模态上下文调制注意力方案，通过预测图像和句子的成对实例感知显着性图，可以选择性地关注图像和句子的一对实例。对于选定的成对实例，基于预测的显著性图获得它们的表示，然后进行比较以测量它们的局部相似性。通过在几个时间步内类似地测量多个局部相似性，sm-LSTM顺序地将它们与隐藏状态聚合，以获得最终匹配分数作为所需的全局相似性。实验结果表明，该模型能够很好地匹配复杂内容的图像和句子，并在两个公共基准数据集上取得了较好的效果。
2016-11-17 cs.CV
Local Similarity Pattern and Cost Self-Reassembling for Deep Stereo Matching Networks
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）；ZJU-League Research & Development Center（浙江大学-联盟研发中心）；State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）；Zhejiang Provincial Key Laboratory of Information Processing, Communication and Networking（浙江省信息处理、通信与网络重点实验室）
虽然基于卷积神经网络的立体匹配体系结构取得了令人瞩目的成就，但仍存在一些局限性：1）卷积特征（Convolutional Feature，CF）倾向于捕捉外观信息，这对于精确匹配是不够的。2)由于静态滤波器，当前基于卷积的视差细化模块经常产生过平滑的结果。在本文中，我们提出了两个方案来解决这些问题，一些传统的智慧。首先，我们引入了一种用于深度立体匹配网络的成对特征，称为LSP（Local Similarity Pattern）。通过显式地揭示邻居关系，LSP包含丰富的结构信息，可以利用这些信息来帮助CF进行更具区分性的特征描述。其次，我们设计了一种动态的自重组细化策略，并将其分别应用于成本分布和视差图。前者可加入单峰分布约束以缓解过平滑问题，后者更实用。所提出的方法的有效性证明，通过将它们纳入两个著名的基本架构，GwcNet和GANet-deep。在SceneFlow和KITTI基准测试上的实验结果表明，我们的模块显着提高了模型的性能。
2021-12-05 cs.CV
HySim: An Efficient Hybrid Similarity Measure for Patch Matching in Image Inpainting
International University of Rabat（拉巴特国际大学）；College of Engineering and Architecture（工程与建筑学院）
本文提出一种用于图像修复块匹配的混合相似度度量HySim，结合切比雪夫和闵可夫斯基距离优势替代标准SSD，有效减少匹配错误并提升修复质量。
2024-03-21 cs.CV
SimMatch: Semi-supervised Learning with Similarity Matching
The University of Sydney（悉尼大学）；SenseTime Research（商汤科技研究院）；The University of Tokyo（东京大学）；University of Science and Technology of China（中国科学技术大学）
在计算机视觉和机器学习研究领域，使用少量标记数据进行学习一直是一个长期存在的问题。在本文中，我们介绍了一个新的半监督学习框架，SimMatch，同时考虑语义相似性和实例相似性。在SimMatch中，一致性正则化将同时应用于语义级和实例级。同一实例的不同增强视图被鼓励具有与其他实例相同的类别预测和相似的相似性关系。接下来，我们实例化了一个带标签的内存缓冲区，以充分利用实例级的地面真值标签，并弥合语义和实例相似性之间的差距。最后，我们提出了\textit{unfolding}和\textit{aggregation}操作，它允许这两个相似性是同构的相互转换。通过这种方式，语义和实例伪标签可以相互传播，以生成更高质量和可靠的匹配目标。大量的实验结果表明，SimMatch提高了半监督学习任务在不同基准数据集和不同设置的性能。值得注意的是，通过400次训练，SimMatch在ImageNet上的1\%和10\%标记示例中达到了67.2\%和74.4\%的Top-1准确率，显著优于基线方法，并且优于以前的半监督学习框架。代码和预训练模型可在https://github.com/KyleZheng1997/simmatch上获得。
2022-03-17 cs.CV
SOSNet: Second Order Similarity Regularization for Local Descriptor Learning
University of Chinese Academy of Science（中国科学院大学）；Australian National University（澳大利亚国立大学）；Scape Technologies（Scape科技公司）
尽管二阶相似性（SOS）已经在图匹配和聚类等任务中取得了显著的成功，但它还没有被用于学习局部描述符。在这项工作中，我们探索SOS在描述符学习领域的潜力，建立在直觉上，一对正匹配点应该表现出类似的距离相对于嵌入空间中的其他点。因此，我们提出了一个新的正则化项，命名为二阶相似正则化（SOSR），遵循这一原则。通过将SOSR纳入训练，我们学习的描述符在几个具有挑战性的基准测试中实现了最先进的性能，这些测试包含从局部补丁检索到运动运动恢复结构的不同任务。此外，通过设计一个基于von Mises-Fischer分布的评价方法，我们链接的描述符空间的利用率的匹配性能，从而证明了我们提出的SOSR的有效性。大量的实验结果，经验证据和深入的分析，表明SOSR可以显着提高学习描述符的匹配性能。
2019-12-16 cs.CV
LayoutGMN: Neural Graph Matching for Structural Layout Similarity
Simon Fraser University（西蒙弗雷泽大学）；Adobe Research（Adobe研究院）
我们提出了一个深度神经网络，利用图匹配网络（GMN）来预测2D布局之间的结构相似性。我们的网络称为LayoutGMN，通过神经图匹配学习布局度量，使用在三重网络设置下设计的基于注意力的GMN。为了训练我们的网络，我们利用通过逐像素的交集（IoUs）获得的弱标签来定义三重丢失。重要的是，LayoutGMN是用结构化的偏见构建的，可以有效地弥补IoU中结构意识的缺乏。我们在两种突出的布局形式上证明了这一点，即，平面图和UI设计，通过大规模数据集上的检索实验。特别是，与IoU和其他基线（包括基于图神经网络和图像卷积的最先进方法）相比，我们的网络的检索结果更好地匹配人类对结构布局相似性的判断。此外，LayoutGMN是第一个提供结构布局相似性度量学习和布局元素之间结构匹配的深度模型。
2021-04-06 cs.CV cs.IR
Identifying Ambiguous Similarity Conditions via Semantic Matching
Nanjing University（南京大学）
图像内部丰富的语义导致了图像与其他图像之间的模糊关系，即，两个图像在一种情况下可能相似，但在另一种情况下可能不同。假设“aircraft”与“bird”的相似度大于“训练”，弱监督条件相似性学习（WS-CSL）学习多个嵌入来匹配语义条件，而不需要“can fly”等显式条件标签。然而，三元组中的相似性关系是不确定的，除非提供一个条件。例如，一旦条件标签变为“is vehicle”，先前的比较就变得无效。为此，我们引入了一种新的评估标准，通过将学习到的嵌入分配到其最佳条件后预测比较的正确性，该标准衡量了WS-CSL作为监督模型可以覆盖多少潜在语义。此外，我们提出了距离诱导的语义条件验证网络（DiscoverNet），它的特点是在一个“分解和融合”的方式的实例-实例和三元组-条件关系。为了使学习的嵌入覆盖所有语义，DiscoverNet在三元组和条件之间的对应关系上使用了一个集合模块或额外的正则化器。DiscoverNet在UT-Zappos-50 k和Celeb-A w.r.t.等基准测试中达到了最先进的性能。不同的标准
2022-04-08 cs.CV
Features Based Text Similarity Detection
Faculty of Computer Science and Information Systems, University Teknologi Malaysia（马来西亚理工大学计算机科学与信息系统学院）
由于互联网通过提供不同的信息帮助我们跨越文化边界，抄袭问题必然会出现。因此，剽窃检测在克服这个问题方面变得更加苛刻。基于各种检测技术，已经开发了不同的剽窃检测工具。指纹匹配技术是目前检测工具中的重要组成部分。然而，在处理一些大内容的文章时，指纹匹配技术存在一些弱点，特别是在空间和时间消耗问题上。在本文中，我们提出了一种新的方法来检测剽窃，它集成了使用指纹匹配技术与四个关键特征，以协助检测过程。这些特征能够选择文章中的要点或关键句进行比较。这些被选中的句子将经历指纹匹配过程，以检测句子之间的相似性。因此，在不影响剽窃检测的有效性的情况下，减少了比较过程的时间和空间使用。
2010-01-20 cs.CV
MGFace: Mask-Gated Face Matching via Conditional Similarity Routing
UIT
研究针对口罩遮挡下面部识别准确率下降问题，提出MGFace掩码门控面部识别管道，通过预测掩码状态有条件地路由相似性计算，区分不同情况处理，实验表明其能高效提升准确率，降低查询时间。
2026-07-16 cs.CV
Dual-Edged Homogeneous-Modality Similarity: Towards Visible-Infrared Modality-Incomplete Person Re-Identification with Modality Adaptive Matching
研究开放世界场景下可见-红外模态不完整行人重识别问题，提出模态自适应匹配Transformer（MAMT），通过散度Transformer模块和共享Transformer模块提取特征，经模态自适应匹配模块动态融合，在新构建基准上实验，证明方法有效且具适应性。
2026-07-22 cs.CV
Similarity Reasoning and Filtration for Image-Text Matching
Dalian University of Technology（大连理工大学）；Tencent AI Lab（腾讯人工智能实验室）；Meituan（美团）
图像-文本匹配是连接视觉和语言的重要桥梁，通过图像和句子的全局匹配、区域和词语的局部匹配，图像-文本匹配已经取得了很大的进展。然而，如何充分利用这些比对来推断更准确的匹配分数仍然是探索不足。本文提出了一种新的相似图推理和注意力过滤（SGRAF）网络用于图像-文本匹配。具体地说，首先学习基于向量的相似性表示以更全面地表征局部和全局比对，然后引入依赖于一个图卷积神经网络的相似性图推理（Similarity Graph Reasoning，SGR）模块来推断局部和全局比对的关系感知相似性。进一步开发了相似性注意力过滤（SAF）模块，通过选择性地关注有意义和代表性的比对，同时排除无意义比对的干扰，有效地整合这些比对。通过在Flickr 30 K和MSCOCO数据集上的实验，证明了该方法的优越性，并通过大量的定性实验和分析，验证了该方法对SGR和SAF模块的良好可解释性。
2021-01-05 cs.CV cs.MM
Represent, Compare, and Learn: A Similarity-Aware Framework for Class-Agnostic Counting
Huazhong University of Science and Technology（华中科技大学）
类不可知计数（CAC）的目的是在给定少量样本的情况下对查询图像中的所有实例进行计数。一个标准的管道是从样本中提取视觉特征，并将它们与查询图像进行匹配以推断对象计数。该管道中的两个基本组件是特征表示和相似性度量。现有的方法要么采用预先训练好的网络来表示特征，要么学习一个新的网络，同时应用具有固定内积的朴素相似性度量。我们发现这种模式会导致嘈杂的相似性匹配，从而损害计数性能。在这项工作中，我们提出了一个相似性感知CAC框架，共同学习表示和相似性度量。我们首先实例化我们的框架与一个天真的基线称为双线性匹配网络（BMNet），其关键组成部分是一个可学习的双线性相似性度量。为了进一步体现我们框架的核心，我们将BMNet扩展到BMNet+，从三个方面对相似性进行建模：1）通过自相似性表示实例，以增强对类内变化的特征鲁棒性; 2）动态比较相似性，以关注每个样本的关键模式; 3）从监督信号中学习，对匹配结果施加显式约束。在最近的CAC数据集FSC 147上进行的大量实验表明，我们的模型显着优于最先进的CAC方法。此外，我们还验证了BMNet和BMNet+在汽车计数数据集CARPK上的跨数据集通用性。代码位于tiny.one/BMNet
2022-03-16 cs.CV
Dense Scene Multiple Object Tracking with Box-Plane Matching
Tencent Youtu Lab（腾讯优图实验室）
多目标跟踪（MOT）是计算机视觉中的一项重要任务。由于遮挡问题，MOT仍然具有挑战性，特别是在密集场景中。在检测跟踪的框架下，我们提出了盒平面匹配（BPM）方法来提高密集场景下的MOT性能。首先，我们设计了分层聚集判别模型（LADM）来过滤噪声检测。然后，为了正确地关联剩余检测，我们引入全局注意力特征模型（GAFM）来提取外观特征，并使用它来计算历史轨迹和当前检测之间的外观相似性。最后，我们提出了盒平面匹配策略，以实现数据关联，根据运动相似性和外观相似性之间的轨迹和检测。凭借这三个模块的有效性，我们的团队在ACM MM Grand Challenge Hieve 2020中获得了第一名。
2021-04-01 cs.CV
Descriptive Image-Text Matching with Graded Contextual Similarity
本文提出DITM方法，利用TF-IDF计算句子描述性得分，通过细化假阴性标注和按概括到具体顺序对齐句子，在分级上下文相似度下实现更鲁棒的图像-文本匹配，并在多个基准上验证了其有效性。
2025-11-10 cs.CV
LTSim: Layout Transportation-based Similarity Measure for Evaluating Layout Generation
CyberAgent（CyberAgent公司）
本文提出一种基于最优传输的布局相似度度量LTSim，解决现有度量依赖严格元素匹配的问题，并扩展至集合级比较，在布局生成评估中优于FID和Max.IoU。
2024-07-17 cs.CV
Hierarchical Matching and Reasoning for Multi-Query Image Retrieval
Tianjin University（天津大学）；Baidu Research（百度研究院）；Northwestern Polytechnical University（西北工业大学）
提出层次匹配与推理网络（HMRN），通过三个层次语义表示和两个模块实现多查询图像检索，在基准上超越现有方法，R@1提升23.4%。
2023-06-26 cs.CV
ROMA: Cross-Domain Region Similarity Matching for Unpaired Nighttime Infrared to Daytime Visible Video Translation
Beijing Institute of Technology（北京理工大学）；Yantai IRay Technologies Lt. Co.（烟台艾睿光电科技有限公司）
红外摄像机通常用于增强夜视，因为可见光摄像机在没有足够照明的情况下表现出较差的功效。然而，红外数据由于其固有的热相关成像原理而具有不足的颜色对比度和表示能力。这使得人类难以捕获和分析信息，同时也阻碍了其应用。虽然，未配对的夜间红外和白天可见光视频之间的域间隙甚至比同时捕获的配对视频更大，但建立有效的平移映射将极大地有助于各个领域。在这种情况下，夜间红外视频中的结构知识和翻译的白天可见光对中包含的语义信息可以同时被利用。为此，我们提出了一个量身定制的框架ROMA，与我们引入的cross域regiOn siMilarity匹配技术相结合，以弥合巨大的差距。具体来说，ROMA算法可以有效地将夜间红外视频转化为白天可见光视频，同时通过跨域区域相似性匹配保持视频的时空一致性。此外，我们设计了一个多尺度区域明智的分割，以区分合成的可见结果和真实参考的细节。针对特定应用的大量实验和评估表明，ROMA优于最先进的方法。此外，我们提供了一个新的和具有挑战性的数据集，鼓励进一步研究不成对的夜间红外和白天可见光视频翻译，命名为mixredCity。特别是，它由9个长视频片段组成，包括城市，高速公路和监视器场景。所有片段总共可以分割为603，142帧，比最近发布的日间红外到可见光数据集IRVI大20倍。
2022-04-26 cs.CV
Learning Two-Branch Neural Networks for Image-Text Matching Tasks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Georgia Institute of Technology（佐治亚理工学院）
图像-语言匹配任务最近在计算机视觉领域引起了广泛的关注。这些任务包括图像-句子匹配，即，给定图像查询，检索相关句子，反之亦然，以及区域短语匹配或视觉基础，即，将短语与相关区域进行匹配。本文研究了两个分支神经网络学习这两种数据模式之间的相似性。我们提出了两种网络结构，产生不同的输出表示。第一个，被称为嵌入网络，学习一个显式的共享潜在嵌入空间，具有最大边际排名损失和新的邻域约束。与标准的三重采样相比，我们进行了改进的邻域采样，在构建小批量时考虑了邻域信息。第二种网络结构，称为相似性网络，通过逐元素乘积融合两个分支，并使用回归损失进行训练，以直接预测相似性得分。大量的实验表明，我们的网络在Flickr 30 K实体数据集上实现了短语定位的高准确率，在Flickr 30 K和MSCOCO数据集上实现了双向图像-句子检索。
2018-05-01 cs.CV
Beyond the Deep Metric Learning: Enhance the Cross-Modal Matching with Adversarial Discriminative Domain Regularization
University of Central Florida（中佛罗里达大学）；Facebook（脸书）
跨图像和文本模态匹配信息是涉及视觉和自然语言处理的许多应用的基本挑战。我们的目标是找到有效的相似性度量比较视觉和文本信息之间的相似性。现有的方法主要是利用注意力机制将局部视觉对象和句子单词在共享空间中进行匹配。匹配性能仍然是有限的，因为相似性计算是基于简单的比较匹配功能，忽略了他们的分布在数据中的特点。在本文中，我们解决了这个限制与一个有效的学习目标，认为视觉对象和句子单词之间的歧视性特征分布。具体来说，我们提出了一种新的对抗性判别域正则化（ADDR）学习框架，超越了范式度量学习目标，在每个图像-文本对中构建一组判别数据域。我们的方法通常可以提高学习效率和现有的度量学习框架的性能，通过调节匹配对之间的隐藏空间的分布。在MS-COCO和Flickr 30 K上的实验结果表明，该方法显著提高了几种流行的跨模态匹配技术（SCAN，VSRN，BFAN）的整体性能.
2020-10-27 cs.CV
Cross-Domain Visual Matching via Generalized Similarity Measure and Feature Learning
Sun Yat-sen University（中山大学）；Harbin Institute of Technology（哈尔滨工业大学）；Xidian University（西安电子科技大学）；The Hong Kong Polytechnic University（香港理工大学）
跨域视觉数据匹配是许多现实世界视觉任务中的基本问题之一，例如，通过身份证照片和监控录像进行比对这个问题的传统方法通常涉及两个步骤：i）将来自不同域的样本投影到公共空间中，以及ii）基于一定距离计算该空间中的（不）相似性。在本文中，我们提出了一种新的成对相似性度量，通过i）将传统的线性投影扩展到仿射变换，ii）通过数据驱动的组合融合仿射马氏距离和余弦相似性，从而改进现有模型。此外，我们通过深度卷积神经网络将相似性度量与特征表示学习统一起来。具体来说，我们将相似性度量矩阵纳入到深度架构中，实现了端到端的模型优化方式。我们在几个具有挑战性的跨域匹配任务中广泛评估了我们的广义相似性模型：不同视图下的人重新识别和不同模式下的人脸验证（即，来自静止图像和视频的面部、较老和较年轻的面部以及素描和照片肖像）。实验结果表明，我们的模型优于其他国家的最先进的方法的性能。
2016-05-13 cs.AI cs.CV stat.ML
Visual Tracking with Similarity Matching Ratio
Purdue University（普渡大学）
提出了一种新的视觉跟踪方法：相似匹配比（SMR）。传统的跟踪方法是最小化模板和帧中的补丁之间的差异的一些措施。这种方法容易受到离群值和剧烈的外观变化的影响，一项广泛的研究正在集中于使这种方法对它们更宽容。然而，这往往会导致更长的，纠正算法不解决原来的问题。本文提出了一种新的方法来定义的跟踪问题，SMR，它变成了一个概率测度的差异。只有低于阈值的像素差异才对决定匹配进行计数，其余的都被忽略。这种方法使得SMR跟踪器对异常值和显著改变外观的点具有鲁棒性。SMR跟踪器在具有挑战性的视频序列上进行了测试，并实现了最先进的性能。
2012-09-12 cs.CV cs.RO
A Genetic Algorithm Enabled Similarity-Based Attack on Cancellable Biometrics
Monash University Malaysia（莫纳什大学马来西亚分校）；Yonsei University（延世大学）
可撤销生物特征（CB）作为一种生物特征模板保护方法，是指对原始模板进行不可逆的相似性保持变换。利用相似性保持特性，模板和查询实例之间的匹配可以在变换域中执行，而不会损害准确性性能。不幸的是，这种特性会引起一类攻击，即基于相似性的攻击（SA）。SA产生一个原像，转换后的模板的逆，它可以被用来模仿和交叉匹配。在本文中，我们提出了一个遗传算法启用基于相似性的攻击框架（GASAF），以证明CB方案，具有相似性保持属性是非常脆弱的基于相似性的攻击。此外，设计了一套新的度量相似性攻击效果的指标。我们对两个有代表性的CB方案进行了实验，即BioHash和Bloom-filter。实验结果证明了这种类型的攻击下的脆弱性。
2019-09-15 cs.CV
Matching Edges in Images ; Application to Face Recognition
该通信将图像的表示描述为以其位置和方向为特征的一组边缘。这种表示允许两个图像的比较和它们的相似性的计算。相似性计算的第一步是寻找二维的空间的几何基础，其中两个图像在其中一个图像变换后同时表示。目前，这种同时表示考虑了移位和缩放;它可以扩展到旋转或其他全局几何变换。一个基本的概率计算表明，一个足够的，但不过多的试验次数（几十），确保展览的这一共同的基础是保证，尽管在边缘检测可能的错误。当执行该第一步骤时，两个图像之间的相似性的搜索减少到对两个图像中的边缘的重合进行计数。该方法适用于模式匹配的许多问题，并在人脸识别中得到验证。
2006-03-22 cs.CV
Matching Handwritten Document Images
IIIT Hyderabad（海得拉巴国际信息技术学院）
我们解决的问题，预测由不同的个人写的一对手写文档图像之间的相似性。这具有与包含手写内容的图像集合中的匹配和挖掘相关的应用。通过检测文档图像之间的文本重复使用的模式来计算相似性得分，而不管内容的词形态、词排序、布局和释义的微小变化。我们的方法不依赖于精确的单词和行的分割。我们制定的文件匹配问题作为一个结构化的比较字分布在两个文档图像。为了匹配两个单词图像，我们提出了一个基于卷积神经网络（CNN）的特征描述符。这种表示的性能超过了手写单词识别的最新水平。最后，我们证明了我们的方法匹配手写作业的实际问题上的适用性。
2016-05-19 cs.CV
Transferring Pre-trained Multimodal Representations with Cross-modal Similarity Matching
LG AI Research（LG人工智能研究院）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
尽管在zero-shot传输上有令人惊讶的性能，但预训练大规模多模态模型通常是禁止的，因为它需要大量的数据和计算资源。在本文中，我们提出了一种方法（BeamCLIP），可以有效地将大型预训练多模态模型（CLIP-ViT）的表示转换为小型目标模型（例如，ResNet-18）。对于无监督传输，我们引入了跨模态相似性匹配（CSM），使学生模型能够通过匹配跨文本提示嵌入的相对相似性分布来学习教师模型的表示。为了更好地编码文本提示，我们设计了基于上下文的提示增强（CPA），可以减轻输入文本提示的词汇歧义。我们的实验表明，预训练的视觉语言模型的无监督表示转移使小型ResNet-18能够实现比仅视觉自监督学习（SSL）方法（例如，Simplified：51.8%，SwAV：63.7%），而监督学习（69.8%）则缩小了差距。
2023-01-07 cs.CV cs.LG
BiCro: Noisy Correspondence Rectification for Multi-modality Data via Bi-directional Cross-modal Similarity Consistency
University of Technology Sydney（悉尼科技大学）；Harbin Institute of Technology（哈尔滨工业大学）；National University Singapore（新加坡国立大学）；The University of Sydney（悉尼大学）
针对多模态匹配训练中互联网收集的共现数据对存在错配噪声的问题，提出名为BiCro的通用框架，通过双向跨模态相似性一致性估计软标签，可集成到现有模型中提升噪声鲁棒性，在三个数据集上显著优于现有最优方法。
2023-06-08 cs.CV
Beyond Meme Templates: Limitations of Visual Similarity Measures in Meme Matching
School of Computer Science University of Galway（计算机科学学院 Galway大学）；School of Computer Science Technological University Dublin（计算机科学学院 技术大学都柏林）
针对现有模因匹配局限于模板背景比较的问题，提出更广泛的匹配框架，发现传统及逐段相似性度量在非模板模因上表现不足，而逐段法更优，并探索了多模态大语言模型的提示方法，指出该任务仍需更复杂技术。
2025-08-05 cs.CL cs.CV
Spatio-Temporal Matching for Siamese Visual Tracking
Huazhong University of Science and Technology（华中科技大学）
相似性匹配是暹罗跟踪器的核心操作。大多数暹罗跟踪器通过源于图像匹配领域的互相关进行相似性学习。然而，与2-D图像匹配不同，目标跟踪中的匹配网络需要4-D信息（高度、宽度、通道和时间）。互相关算法忽略了信道和时间维度的信息，从而产生二义性匹配。本文提出了一种时空匹配过程，以深入探讨四维匹配在空间（高度，宽度和通道）和时间的能力。在空间匹配中，我们引入了一个空变通道引导相关（SVC-Corr）重新校准通道的功能响应为每个空间位置，它可以指导目标感知匹配功能的生成。在时间匹配中，我们研究了目标和背景的时域上下文关系，并开发了一个畸变抑制模块（ARM）。通过限制帧间响应图的突然变化，我们的ARM可以明显抑制畸变，从而实现更鲁棒和准确的对象跟踪。此外，提出了一种新的无锚跟踪框架，以适应这些创新。在OTB 100、VOT 2018、VOT 2020、GOT-10 k和LaSOT等具有挑战性的基准测试上的实验证明了所提出方法的最新性能。
2021-05-06 cs.CV
Full Matching on Low Resolution for Disparity Estimation
Dalian University of Technology（大连理工大学）；The University of Sydney（悉尼大学）
本文提出了一种多级全匹配视差估计方法。我们证明，解耦所有的相似性分数直接从低分辨率的4D体积一步一步，而不是估计低分辨率的3D成本体积，通过专注于优化低分辨率的4D体积迭代导致更准确的差异。为此，我们首先建议将完全匹配任务分解为成本聚合模块的多个阶段。具体来说，我们将高分辨率的预测结果分解为多个组，新设计的成本聚合模块的每个阶段只学习估计一组点的结果。这说明了当从一个阶段输出的一个低分辨率4D体积学习所有候选者的相似性分数时特征内部竞争的问题。在此基础上，提出了\emph{Stages Mutual Aid}策略，该策略利用多个阶段之间的关系来提高每个阶段的相似度估计，以解决多级框架串联造成的多个阶段预测不均衡的问题。在场景流、KITTI 2012和KITTI 2015数据集上的实验结果表明，该方法获得了更准确的视差估计结果，优于现有的视差估计方法。
2020-12-10 cs.CV
3rd Place Solution to Meta AI Video Similarity Challenge
LINE Corporation（LINE公司）；Keio University（庆应义塾大学）
针对视频拷贝检测问题，本文基于现有图像拷贝检测技术并结合视频数据特性提出多种策略，在VSC2022双赛道获第三名，准确率显著提升。
2023-05-18 cs.CV
ResMatch: Residual Attention Learning for Local Feature Matching
Wuhan University（武汉大学）
本文从传统匹配与过滤视角重新设计交叉/自注意力，提出残差注意力学习网络 ResMatch 及稀疏版本 sResMatch，并在多类视觉任务中验证其优势。
2023-07-11 cs.CV
HyNet: Learning Local Descriptor with Hybrid Similarity Measure and Triplet Loss
Imperial College London（帝国理工学院）；Facebook Reality Labs（Facebook现实实验室）
最近的工作表明，局部描述符学习受益于使用L2归一化，然而，在文献中缺乏对这种效果的深入分析。在本文中，我们研究了L2归一化在训练过程中如何影响反向传播的描述符梯度。根据我们的观察，我们提出了HyNet，一个新的局部描述符，导致国家的最先进的匹配结果。HyNet引入了一个混合相似性度量三重边际损失，一个正则化项约束描述符规范，和一个新的网络架构，执行L2规范化的所有中间特征映射和输出描述符。HyNet在标准基准测试（包括补丁匹配、验证和检索）上远远超过了以前的方法，在3D重建任务上也优于完整的端到端方法。
2020-11-09 cs.CV
Rethinking Token Reduction for Diffusion Models via Output-Similarity-Awareness
KAIST（韩国科学技术院）
本文提出DiTo，一种基于输出中心的token减少方法，通过利用相邻时间步的输出相似性来建立token对应关系，从而减少计算复杂度并提高生成质量。
2026-05-21 cs.CV
Feature-based Image Matching for Identifying Individual Kākā
本报告研究了一种无监督的，基于特征的图像匹配管道，用于识别单个kākān的新应用。应用相似性网络进行聚类，这解决了当前监督方法识别个体鸟类的弱点，这些方法难以处理向种群引入新个体的问题。我们的方法使用对象本地化来定位图像中的kākān，然后提取对旋转和缩放不变的局部特征。这些特征在图像之间用最近邻匹配技术和失配去除进行匹配，以产生用于图像匹配比较的相似性分数。结果表明，通过图像匹配管道获得的匹配达到了高精度的真实匹配。我们的结论是，基于特征的图像匹配可以与相似性网络一起使用，为现有的监督方法提供一种可行的替代方案。
2023-01-24 cs.CV cs.LG
A Multi-Level Similarity Approach for Single-View Object Grasping: Matching, Planning, and Fine-Tuning
Department of Systems Innovation, Graduate School of Engineering Science, Osaka University（大阪大学工学研究科系统创新部门）；School of Mechatronic Engineering and Automation, Shanghai University（上海大学机械电子工程与自动化学院）；National Institute of Advanced Industrial Science and Technology (AIST)（国家先进工业科学与技术研究院）
针对单视角未知物体抓取中学习方法的鲁棒性瓶颈，提出多级相似性匹配框架，利用语义、几何与维度特征匹配已知模型，结合大语言模型与点云配准技术，实现稳健的模仿抓取与局部微调。
2025-07-16 cs.CV cs.RO
Patch Craft: Video Denoising by Deep Modeling and Patch Matching
The Technion（以色列理工学院）；Google Research（谷歌研究院）
自然图像的非局部自相似特性已被广泛地用于解决各种图像处理问题。当涉及到视频序列时，由于时间冗余，利用这种力量甚至更有益。在图像和视频去噪的背景下，许多面向经典的算法采用自相似性，将数据分成重叠的补丁，收集相似的数据组并以某种方式将它们处理在一起。随着卷积神经网络（CNN）的出现，基于补丁的框架已经被抛弃。大多数CNN去噪器对整个图像进行操作，仅通过使用大的接收场来隐式地利用非局部关系。这项工作提出了一种新的方法，用于在视频去噪的背景下利用自相似性，同时仍然依赖于常规的卷积架构。我们介绍了一个概念的补丁工艺帧-人工帧，是类似于真正的，建立平铺匹配补丁。我们的算法用补丁工艺帧来增强视频序列，并将它们馈送到CNN。我们证明了所提出的方法获得的去噪性能的大幅提升。
2021-10-30 cs.CV
LayoutGKN: Graph Similarity Learning of Floor Plans
Delft University of Technology（代尔夫特理工大学）
针对现有图匹配网络比对建筑平面图时推理慢的问题，提出LayoutGKN方法，将跨图节点交互推迟到联合嵌入末端，用可微图核计算节点嵌入距离，在保证相似度计算效果的同时显著提速，且代码数据开源。
2025-09-03 cs.CV
Descriptor learning for omnidirectional image matching
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)（达勒莫勒人工智能研究所（IDSIA））；Faculty of Informatics, Università della Svizzera Italiana (USI)（瑞士意大利语区大学信息学院（USI））；Scuola Universitaria Professionale della Svizzera Italiana (SUPSI)（瑞士意大利语区高等专业学院（SUPSI））；Evidence Srl（Evidence 有限公司）
全方位视觉系统中的特征匹配是一个具有挑战性的问题，主要是因为复杂的光学系统使得不变性的理论建模和不变性特征描述子的构造变得困难甚至不可能。在本文中，我们提出了学习不变的描述符使用训练集的相似和不相似的描述符对。我们使用保持相似性的哈希框架，在这个框架中，我们试图将描述符数据映射到汉明空间，以保持训练集上的描述符相似性。一个神经网络用于解决潜在的优化问题。我们的方法不仅优于简单的描述符匹配，而且还优于最先进的保持相似性的哈希方法。
2011-12-29 cs.CV cs.NE
Iterative Global Similarity Points : A robust coarse-to-fine integration solution for pairwise 3D point cloud registration
Wuhan University（武汉大学）
在本文中，我们提出了一个由粗到细的集成解决方案的启发经典ICP算法，两个改进的混合度量空间（例如，BSC特征和欧几里得几何空间）和全局最佳对应匹配的成对3D点云配准。首先，我们检测点云的关键点，并使用二进制形状上下文（BSC）描述符来编码其局部特征。然后，我们制定的对应匹配任务作为一个能量函数，它模拟的BSC特征和欧氏几何的混合空间上的关键点的全局相似性。然后，我们通过Kuhn-Munkres算法优化能量函数来估计全局最优对应，然后基于对应计算变换。最后，通过最优对应匹配和变换计算相互补充，迭代地优化两点云之间的变换，实现统一框架下的粗到精配准。综合实验结果表明，该算法具有良好的性能，在旋转和平移误差方面均优于现有方法。
2018-08-12 cs.CV
Dynamic Content Moderation in Livestreams: Combining Supervised Classification with MLLM-Boosted Similarity Matching
TikTok Singapore Singapore（TikTok新加坡）；TikTok San Jose United States（TikTok旧金山美国）；TikTok Shanghai China（TikTok上海中国）
提出一种混合审核框架，结合监督分类和基于参考的相似度匹配，利用多模态大语言模型提升准确性，在保持轻量推理的同时实现大规模直播内容审核。
2026-06-03 cs.AI cs.CV
Epipolar Geometry Based On Line Similarity
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
众所周知，核几何可以从三个核线对应计算，但这种计算在实践中很少使用，因为没有简单的方法来找到相应的线。相反，用于找到对应点的方法被广泛使用。本文提出了一种线之间的相似性度量，指示两条线是否是对应的对极线，并能够根据需要找到对极线对应，用于对极几何的计算。先前已经描述了适用于动态场景的视频序列的两条线之间的相似性度量。本文提出了一种适用于图像的立体匹配相似性度量方法。它基于两条线之间的立体匹配的质量，因为对应的核线产生良好的立体对应。当给出两个对应的点对时，搜索空间大大减小，而不是在所有可能的线对上进行穷举搜索。我们使用真实世界的图像验证所提出的方法，并将其与最先进的方法进行比较。我们发现，与使用7个对应点的标准方法相比，该方法的准确度提高了5倍，与8点算法相当。
2017-01-08 cs.CV
Robust Visual Tracking Revisited: From Correlation Filter to Template Matching
Shanghai Jiao Tong University（上海交通大学）；Nanjing University of Science and Technology（南京理工大学）；University of Sydney（悉尼大学）
在本文中，我们提出了一种新的基于匹配的跟踪器之间的关系，模板匹配和最近流行的相关滤波器为基础的跟踪器（CFTs）的调查。与CFTs中的相关操作相比，提出了一种复杂的相似性度量，称为“相互伙伴相似性”（MBS），以利用多个倒数最近邻的关系进行目标匹配。通过这样做，我们的跟踪器获得了强大的区分能力，区分目标和背景的实验和理论分析表明。此外，本文设计了一种新的在线模板更新策略--“记忆过滤”（MF），以取代CFTs中使用单一模板的不当更新策略，该策略旨在选择历史上一定数量的具有代表性和可靠性的跟踪结果来构建当前稳定且具有表达力的模板集。该方案有利于跟踪器全面“理解”目标的外观变化，“回忆”出一些稳定的结果。两个基准的定性和定量评估表明，所提出的跟踪方法对一些最近开发的CFTs和其他竞争对手的跟踪器表现良好。
2019-04-15 cs.CV
Neural Graph Matching for Modification Similarity Applied to Electronic Document Comparison
Foxit Software Inc.（福昕软件公司）
在本文中，我们提出了一种新的神经图匹配方法应用于文档比较。文件比较是法律和金融行业的常见任务。在某些情况下，最重要的区别可能是增加或省略单词，句子，子句或段落。然而，这是一个具有挑战性的任务，没有记录或跟踪整个编辑过程。在许多时间不确定性下，我们探索了我们的方法的潜力，以接近准确的比较，以确定哪些元素块与其他元素块有版本关系。首先，我们采用传统与现代技术相结合的版面分析方法，对版面进行适当的块分割。然后，我们把这个问题转化为一个问题的布局图匹配与文本意识。关于图匹配，它是一个研究已久的问题，有着广泛的应用。然而，不同于以往的作品专注于视觉图像或结构布局，我们还把文本特征到我们的模型，以适应这一领域。具体地说，基于电子文档，我们引入了一个编码器来处理从PDF的视觉表示解码。此外，由于修改可能导致修改后的文档之间的文档布局分析不一致，并且块可以合并和拆分，因此在我们的图神经方法中采用了Sinkhorn发散，该方法试图通过多对多块匹配来克服这两个问题。我们在两类布局上演示这一点，如下所示。法律协议和科学文章，从我们的真实案例数据集中收集。
2022-11-02 cs.CV cs.LG
Device-based Image Matching with Similarity Learning by Convolutional Neural Networks that Exploit the Underlying Camera Sensor Pattern Noise
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen（格罗宁根大学伯努利数学、计算机科学与人工智能研究所）；Universidad de León（莱昂大学）
数字图像取证中的挑战性问题之一是识别由同一相机设备捕获的图像的能力。这些知识可以帮助法医专家通过分析数字图像来收集有关嫌疑人的情报。在本文中，我们提出了一个由两部分组成的网络来量化给定的一对图像具有相同源相机的可能性，并且我们在包含来自31个不同相机的1851张图像的基准Dresden数据集上对其进行了评估。据我们所知，我们是第一个解决基于设备的图像匹配挑战的公司。虽然所提出的方法还没有做好取证准备，但我们的实验表明，这个方向值得追求，目前达到了85%的准确率。这项正在进行的工作是欧盟资助的项目4NSEEK的一部分，该项目涉及对儿童性虐待的法医学。
2020-04-23 cs.CV eess.IV
DEMO: A Statistical Perspective for Efficient Image-Text Matching
Georgia Tech Shenzhen Institute, Tianjin University（天津大学佐治亚理工深圳学院）；Terminus Group（特变电工集团）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对无监督图像-文本哈希中语义分布边界导致的相似结构偏差，本文提出 DEMO，通过分布建模、非参数差异度量和协同一致性学习提升检索性能。
2024-05-19 cs.CV cs.IR
Variational Adapter for Cross-modal Similarity Representation
School of Remote Sensing and Information Engineering（遥感与信息工程学院）；Wuhan University（武汉大学）；School of Data Science and Engineering（数据科学与工程学院）；East China Normal University（华东师范大学）；State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing（测绘遥感信息工程国家重点实验室）
针对跨模态匹配中细粒度标注稀缺导致二元分类边界压缩和假负样本问题，提出变分适配器VACSR，将匹配任务重构为变分推断问题，通过构建潜在相似性空间和正则化缓解过拟合，在图像-文本检索、域泛化和基类到新类泛化任务上验证了有效性。
2026-05-29 cs.AI cs.CV
A path following algorithm for the graph matching problem
Centre for Computational Biology（计算生物学中心）；Centre for Mathematical Morphology（数学形态学中心）；Mines ParisTech（巴黎高等矿业学院）；Institut Curie（居里研究所）；INSERM（法国国家健康与医学研究院）；INRIA（法国国家信息与自动化研究所）；Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院计算机实验室）；CNRS（法国国家科学研究中心）；ENS（巴黎高等师范学院）
本文提出了一种凸-凹规划方法来求解带标号的加权图匹配问题。通过将加权图匹配问题改写为置换矩阵集上的最小二乘问题，并将其松弛为双随机矩阵集上的二次凸和二次凹优化问题，得到了凸-凹规划公式.凹松弛与初始图匹配问题具有相同的全局最小值，但寻找其全局最小值也是一个很难的组合问题。因此，我们构造一个近似的凹问题的解决方案，通过以下的凸，凹的公式的线性插值获得的凸-凹问题的解决方案的路径，从凸松弛。该方法允许容易地将关于图标签相似性的信息集成到优化问题中，并且因此执行带标签的加权图匹配。在模拟图、QAPLib、视网膜血管图像和手写体汉字四个数据集上，将该算法与一些性能最好的图匹配方法进行了比较。在所有情况下，结果都与最先进的技术相竞争。
2008-10-27 cs.CV cs.DM
