Efficient Discovery and Effective Evaluation of Visual Perceptual Similarity: A Benchmark and Beyond
Tel Aviv University（特拉维夫大学）；Technion（以色列理工学院）；The Open University（开放大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
针对现有视觉相似性发现方法评估依赖识别任务代理指标的局限，本文构建了含11万+专家标注对的首个大规模时尚视觉相似性基准，提出高效标注流程与缓解局限的度量指标，方法可拓展至多领域感知相似性研究。
2023-08-28 cs.CV cs.LG
Detecting Suspicious Behavior: How to Deal with Visual Similarity through Neural Networks
可疑行为可能威胁安全、资产、生命或自由。这种行为没有特定的模式，这使得检测和定义它的任务变得复杂。即使对于人类观察者来说，在监控视频中发现可疑行为也很复杂。文献中提供了一些解决异常和可疑行为相关问题的建议。然而，由于视觉相似性较高的不同类别，它们通常会出现很高的假阳性率。犯罪前行为方法删除了与犯罪相关的信息，以便在犯罪发生前关注可疑行为。从不同类型的犯罪得到的样本与正常行为样本具有高度的视觉相似性。为了解决这个问题，我们实现了3D卷积神经网络，并在不同的方法下训练它们。此外，我们测试了不同的过滤器数量参数值，以优化计算资源。最后，使用不同训练方法的性能比较显示了改进监控视频可疑行为检测的最佳选择。
2020-07-30 cs.CV cs.LG
Closed Curves and Elementary Visual Object Identification
对于平面上的两条封闭曲线（离散形式）和曲线上点的局部相似性准则，得到一个描述曲线点之间相似性的势函数。这是封闭曲线的全局相似性度量（Fréchet距离）的基础。我使用手写数字的边界线来演示应用领域。我想，测量闭合曲线的相似性是视觉系统执行的一项基本任务。这种相似性度量方法可以被视觉系统使用。
2015-07-14 cs.CV cs.LG q-bio.NC
Not just a matter of semantics: the relationship between visual similarity and semantic similarity
Michael Stifel Center Jena（耶拿米夏埃尔·施蒂费尔中心）；Friedrich Schiller University Jena（耶拿弗里德里希·席勒大学）
知识转移、零样本学习和语义图像检索是旨在通过利用例如来自WordNet的语义信息来提高准确性的方法。假设这些信息可以以标记的训练图像的形式增强或替换丢失的视觉数据，因为语义相似性与视觉相似性相关。这个假设可能看起来微不足道，但对于此类语义方法的应用至关重要。任何违规行为都可能导致错误预测。因此，对于特定的目标问题，检查视觉语义关系是很重要的。在本文中，我们使用五种不同的语义和视觉相似性度量来彻底分析关系，而不过分依赖于任何单一的定义。我们假设和验证三个高度重要的假设的关系。我们的研究结果表明，它确实存在，WordNet的语义相似性进行更多的信息，视觉相似性不仅仅是知识的“不同的类看起来不同”。他们认为，分类不是语义方法的理想应用，错误的语义信息比没有更糟糕。
2019-05-31 cs.CV
GAM: Explainable Visual Similarity and Classification via Gradient Activation Maps
The Open University（开放大学）；Microsoft（微软）；Tel-Aviv University（特拉维夫大学）；Bar-Ilan University（巴伊兰大学）；Technion（以色列理工学院）；Tel Aviv University（特拉维夫大学）
我们提出梯度激活图（GAM）-一种用于解释视觉相似性和分类模型预测的机器。通过从多个网络层收集局部梯度和激活信息，GAM提供了改进的视觉解释，与现有的替代方案相比。GAM的算法优势进行了详细的解释，并验证经验，它表明，GAM优于其替代品在各种任务和数据集。
2021-09-02 cs.AI cs.CV cs.LG
Learning Non-Metric Visual Similarity for Image Retrieval
Aston University（阿斯顿大学）
测量数据分布中两个或多个实例之间的视觉相似性是图像检索中的一项基本任务。理论上，非度量距离能够生成比度量距离更复杂和更准确的相似性模型，前提是系统精确地捕获非线性数据分布。在这项工作中，我们探索神经网络模型学习的非度量相似性函数的实例搜索。我们认为，基于神经网络的非度量相似性函数可以建立一个更好的人类视觉感知模型比标准的度量距离。由于我们提出的相似性函数是可微的，我们探索了一种真正的端到端的可训练图像检索方法，即我们从输入图像像素学习权重到最终的相似性得分。实验评估表明，非度量相似性网络能够学习图像之间的视觉相似性，并在最先进的图像表示的基础上提高性能，提高标准图像检索数据集与标准度量距离的结果。
2019-04-10 cs.CV
Semantic Granularity Metric Learning for Visual Search
University of Surrey（萨里大学）；Nanyang Technological University（南洋理工大学）；Amazon（亚马逊）
应用于各种应用的深度度量学习在识别，检索和识别方面显示出了有希望的结果。现有的方法往往没有考虑不同粒度的视觉相似性。然而，在许多领域应用中，图像在多个粒度上表现出与视觉语义概念的相似性，例如，时尚展示了从完全相同实例的服装到相似外观/设计或共同类别的相似性。因此，用于度量学习的训练图像三元组/对固有地具有不同程度的信息。然而，现有的方法在训练过程中往往将它们同等重要。这阻碍了捕获有效视觉搜索所需的特征相似性的底层粒度。有鉴于此，我们提出了一种新的深度语义粒度度量学习（SGML），开发了一种新的思想，利用属性语义空间来捕获不同粒度的相似性，然后将这些信息集成到深度度量学习中。该方法使用多任务CNN同时学习图像属性和嵌入。这两个任务不仅被联合优化，而且还通过语义粒度相似性映射进一步链接，以利用任务之间的相关性。为此，我们提出了一种新的软二项偏差损失，有效地整合了训练样本中的信息程度，这有助于在多个粒度上捕获视觉相似性。与最近的基于集成的方法相比，我们的框架在概念上是优雅的，计算简单，并提供更好的性能。我们在基准度量学习数据集上进行了广泛的实验，并证明我们的方法优于最近的最先进的方法，例如，在DeepFashion In-Shop数据集上，Recall@1比之前的最先进技术[1]，[2]提高了1-4.5\%。
2019-11-14 cs.CV cs.LG
Contextual Visual Similarity
Carnegie Mellon University（卡内基梅隆大学）
测量视觉相似性对于图像理解至关重要。是什么让两个图像相似？大多数现有的视觉相似性的工作假设图像是相似的，因为它们包含相同的对象实例或类别。然而，图像相似的原因要复杂得多。例如，从类别的角度来看，黑狗图像类似于白狗图像。然而，在颜色方面，黑狗图像比白狗图像更类似于黑马图像。这个例子用来说明视觉相似性是模糊的，但是当给出明确的上下文视角时可以变得精确。基于这一观察，我们提出了上下文视觉相似性的概念。具体来说，我们研究了图像搜索应用领域中的上下文视觉相似性的概念。而不是只提供一个图像的图像相似性搜索（\eg，谷歌图像搜索），我们需要三个图像。给定一个查询图像，第二个正图像和第三个负像，不同于前两个图像，我们定义了一个上下文的相似性搜索标准。特别是，我们学习每个图像的所有特征维度的特征权重，使得查询图像和正图像之间的距离很小，并且在重新加权它们的特征之后，它们到负像的距离很大。学习的特征权重编码由用户指定的上下文视觉相似性，并可用于属性特定的图像搜索。我们还展示了我们的上下文相似性加权方案对不同任务的有用性，例如回答视觉类比问题和无监督属性发现。
2016-12-08 cs.CV
Multi-Level Visual Similarity Based Personalized Tourist Attraction Recommendation Using Geo-Tagged Photos
Zhejiang University（浙江大学）
基于地理标记照片的旅游景点推荐可以从用户拍摄的照片中发现用户的旅游偏好，从而向用户推荐合适的旅游景点。然而，现有的基于视觉内容的方法不能充分利用照片的用户和旅游景点信息来提取视觉特征，并且不能区分不同照片的重要性。在本文中，我们提出了多层次的视觉相似性的个性化旅游景点推荐使用地理标记的照片（MEAL）。MEAL利用照片的视觉内容和交互行为数据来获得用户和旅游景点的最终嵌入，然后将其用于预测访问概率。具体来说，通过交叉的用户和旅游景点的信息的照片，我们定义了四个视觉相似度水平，并引入相应的五元组损失嵌入的照片的视觉内容。此外，为了捕捉不同照片的意义，我们利用自我注意力机制来获得用户和旅游景点的视觉表征。在Flickr抓取的数据集上进行了实验，实验结果证明了该方法的优越性。
2023-01-28 cs.CV cs.LG cs.MM
Visual-Text Cross Alignment: Refining the Similarity Score in Vision-Language Models
University of Melbourne（墨尔本大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文提出加权视觉-文本交叉对齐（WCA）方法，通过局部视觉提示识别图像局部区域并与细粒度文本描述交叉对齐计算加权相似度得分，显著提升了视觉语言模型的零样本分类性能。
2024-06-05 cs.CV cs.LG
Relational Visual Similarity
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Adobe Research（Adobe研究院）
本文提出通过关系相似性而非视觉属性来衡量图像相似性，构建了首个基于关系逻辑的图像表示空间，揭示了现有视觉模型在捕捉关系相似性方面的不足。
2026-04-09 cs.AI cs.CV cs.LG
Evaluating the Visual Similarity of Southwest China's Ethnic Minority Brocade Based on Deep Learning
Nanjing Tech University（南京工业大学）
本文利用深度学习方法研究中国西南少数民族图案的视觉相似性，开发了高精度的SResNet-18网络提取特征，并结合多种距离度量在专题地图上直观展示了民族图案与区域分布的联系。
2024-08-26 cs.CV
Towards Visually Explaining Similarity Models
United Imaging Intelligence（联影智能）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们考虑视觉上解释相似性模型的问题，即，解释了为什么模型预测两个图像除了产生标量分数之外是相似的。虽然视觉模型可解释性方面的最新工作主要集中在基于梯度的注意力上，但这些方法依赖于分类模块来生成视觉解释。因此，它们不能容易地解释不使用或不需要类似分类的损失函数（例如，用度量学习损失训练的相似性模型）。在这项工作中，我们弥合这一关键差距，提出了一种方法来生成基于梯度的视觉注意图像相似性预测。通过仅仅依赖于学习的特征嵌入，我们证明了我们的方法可以应用于任何一种基于CNN的相似性架构，这是迈向通用视觉可解释性的重要一步。我们表明，我们得到的注意力地图不仅仅是可解释性;它们可以通过新的可训练约束注入模型学习过程本身。我们表明，由此产生的相似性模型的性能，并可以在视觉上解释，比相应的基线模型训练没有这些约束。我们证明了我们的方法，使用广泛的实验上三种不同的任务：通用图像检索，人的重新识别，低杆语义分割。
2020-10-13 cs.AI cs.CV cs.LG
Similarity-based Text Recognition by Deeply Supervised Siamese Network
University of Louisville（路易斯维尔大学）；Captricity, Inc.（Captricity公司）
在本文中，我们提出了一个新的文本识别模型的基础上测量文本的视觉相似性和预测的内容未标记的文本。首先，在标记的训练数据集上对Siamese卷积网络进行深度监督训练。该网络将文本投影到相似性流形中。深度监督的暹罗网络学习文本的视觉相似性。然后利用K-近邻分类器对未标注文本进行基于与标注文本相似距离的预测。该模型的性能进行了评估的机器打印和手写文本相结合的三个数据集。我们证明，该模型降低了成本的人力估计$50\%-85\%$。系统误差小于$0.5\%$。该模型通过寻找视觉上相似的几乎可读和可读的文本，例如机器打印的，手写的，由于深度监督，优于传统的暹罗网络。结果还表明，预测的标签有时比人类标签更好，例如拼写校正。
2016-07-05 cs.CV cs.LG
High-Level Perceptual Similarity is Enabled by Learning Diverse Tasks
York University（约克大学）；University of Toronto（多伦多大学）
预测人类感知相似性是一个具有挑战性的课题正在进行的研究。人类视觉的这一方面的视觉过程被认为是采用多个不同层次的视觉分析（形状，对象，纹理，布局，颜色等）。在本文中，我们假设图像相似性的感知不是一个明确的学习能力，而是一个学习别人的副产品。这一主张得到了支持，利用表示从一组不同的视觉任务，并使用它们联合预测感知相似性。这是通过简单的特征拼接完成的，无需任何进一步的学习。尽管如此，在具有挑战性的完全相似（TLL）基准上进行的实验大大超过了最近的基线，缩小了人类感知相似性预测的大部分差距。我们对这些结果进行了分析，并在更广泛的背景下讨论了新兴的视觉能力及其对机器视觉研究过程的影响。
2019-03-26 cs.AI cs.CV cs.LG
DR-KFS: A Differentiable Visual Similarity Metric for 3D Shape Reconstruction
Simon Fraser University（西蒙弗雷泽大学）；Beihang University（北京航空航天大学）
为了提高三维重建的质量，我们引入了一种差分视觉相似性度量来训练深度神经网络。该度量通过测量从形状可区分地渲染的多视图图像之间的距离来比较两个3D形状。重要的是，图像空间距离也是可微的，并测量视觉相似性，而不是像素级失真。具体而言，相似性由从比较图像的概率关键点图计算的HardNet特征的均方误差定义。我们的差分视觉形状相似性度量可以很容易地插入到各种3D重建网络中，取代它们基于失真的损失，例如倒角或地球移动器距离，从而优化网络权重，以产生具有更好结构保真度和视觉质量的重建。我们证明了这两个客观的，使用著名的形状指标的检索和分类任务，是独立于我们的新指标，并通过主观的感知研究。
2020-03-31 cs.CV cs.GR
Examining Representational Similarity in ConvNets and the Primate Visual Cortex
Indian Institute of Technology Delhi（印度理工学院德里分校）
我们比较了几个具有不同深度和正则化技术的ConvNets与多单元猕猴IT皮层记录，并评估了它们对灵长类视觉皮层表征相似性的影响。我们发现，随着深度和验证性能的提高，ConvNet特征更接近皮质IT表示。
2016-09-12 cs.CV q-bio.NC
DiffSim: Taming Diffusion Models for Evaluating Visual Similarity
National University of Singapore（新加坡国立大学）
本文提出 DiffSim 方法，利用预训练扩散模型去噪 U-Net 注意力层的特征对齐来评估视觉相似性，克服了传统指标无法兼顾外观细节与语义内容的局限，并引入 Sref 和 IP 基准，在多基准上实现了与人类偏好高度一致的最先进性能。
2024-12-19 cs.CV
Combining Similarity and Adversarial Learning to Generate Visual Explanation: Application to Medical Image Classification
Incepto Medical；Université Paris-Saclay（巴黎-萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）
解释黑盒分类器的决策在敏感领域（如医学成像）至关重要，因为临床医生的信心是必要的。已经提出了各种解释方法，其中基于微扰的方法是非常有前途的。在这类方法中，我们利用学习框架来产生我们的视觉解释方法。从一个给定的分类器，我们训练两个生成器从输入图像产生所谓的相似和对抗图像。相似图像应被分类为输入图像，而对抗图像不应被分类。视觉解释是建立在这两个生成的图像之间的差异。使用文献中的指标，我们的方法优于最先进的方法。所提出的方法是模型不可知的，在预测时具有低的计算负担。因此，它适用于实时系统。最后，我们表明，随机几何增强应用于原始图像发挥正则化的作用，改善了以前提出的几种解释方法。我们验证了我们的方法在一个大型的胸部X射线数据库。
2020-12-14 cs.CV cs.LG
Feature learning based on visual similarity triplets in medical image analysis: A case study of emphysema in chest CT scans
University of Copenhagen（哥本哈根大学）；Eindhoven University of Technology（埃因霍温理工大学）；Hvidovre Hospital（维兹奥勒医院）；Bispebjerg Hospital（比斯佩比约医院）；Erasmus MC - University Medical Center Rotterdam（伊拉斯谟医学中心——鹿特丹大学医学中心）
使用卷积神经网络（CNN）的监督特征学习可以提供医学图像的简洁和疾病相关的表示。然而，训练CNN需要注释的图像数据。注释医学图像可能是一项耗时的任务，即使是专家注释也会受到评估者之间和评估者内部差异的影响。评估图像的视觉相似性，而不是指示特定的病理或估计疾病的严重程度，可以让非专家参与，帮助发现新的模式，并可能减少评级者的变异性。我们考虑的任务，评估肺气肿的程度在胸部CT扫描。我们从视觉评估的肺气肿程度中获得视觉相似性三元组，并使用CNN学习低维嵌入。我们在973张图像上评估了这些网络，并表明CNN可以从衍生的相似性三元组中学习疾病相关的特征表示。据我们所知，这是第一个医学图像应用程序，其中相似性三元组已被用于学习可用于嵌入不可见测试图像的特征表示
2018-06-19 cs.CV
Integrating Visual and Semantic Similarity Using Hierarchies for Image Retrieval
Laboratoire Interdisciplinaire des Environnements Continentaux, Université de Lorraine（洛林大学大陆环境跨学科实验室）；Georgia Tech Europe（佐治亚理工学院欧洲校区）；LTER- “Zone Atelier Moselle”（长期生态研究网络-“摩泽尔核心研究区”）
针对CBIR中视觉相似但语义不相关的检索问题，提出利用深度分类网络潜空间中类别重叠构建视觉层次，并将其融入距离度量，在CUB-200-2011、CIFAR100及硅藻显微图像用例中取得更优检索性能。
2023-08-16 cs.CV
PADS: Policy-Adapted Sampling for Visual Similarity Learning
Heidelberg Collaboratory for Image Processing / IWR（海德堡图像处理合作实验室/IWR）；Heidelberg University（海德堡大学）
学习视觉相似性需要学习关系，通常是三个图像之间的关系。尽管三元组方法很强大，但它们的计算复杂性主要限制了训练所有可能的训练三元组的子集。因此，决定在学习过程中何时使用哪个训练样本的采样策略至关重要。目前，突出的范例是固定的或课程抽样策略，在培训开始之前预定义。然而，这个问题确实需要一个采样过程，在训练过程中根据相似性表示的实际状态进行调整。因此，我们采用强化学习，并让教师网络根据学习者网络的当前状态调整采样分布，这表示视觉相似性。使用标准的基于三元组的损失的基准数据集上的实验表明，我们的自适应采样策略显着优于固定采样策略。此外，虽然我们的自适应采样仅应用于基本的三重学习框架之上，但我们达到了与采用不同附加学习信号或强大集成架构的最先进方法相竞争的结果。代码可以在https://github.com/Confusezius/CVPR2020_PADS下找到。
2020-03-28 cs.CV
Contextual Similarity Aggregation with Self-attention for Visual Re-ranking
University of Science and Technology of China（中国科学技术大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
在基于内容的图像检索中，通过简单的视觉特征比较的第一轮检索结果可能不令人满意，这可以通过视觉重排序技术来改善。在图像检索中，排名靠前的图像之间的上下文相似性是区分语义相关性的重要线索。受此启发，本文提出了一种基于自注意的上下文相似度聚合的视觉重排序方法。在我们的方法中，对于前K排名列表中的每个图像，我们通过将其与一组锚图像进行比较来将其表示为亲和度特征向量。然后，通过用Transformer编码器聚合上下文信息来细化前K个图像的亲和度特征。最后，亲和度特征被用来重新计算查询和前K个图像之间的相似性分数，以重新排名后者。为了进一步提高重排序模型的鲁棒性和增强算法的性能，设计了一种新的数据增强方案。由于我们的重排序模型不直接涉及在初始检索中使用的视觉特征，它是准备被应用到从各种检索算法获得的检索结果列表。我们在四个基准数据集上进行了全面的实验，以证明我们提出的视觉重排序方法的通用性和有效性。
2021-10-26 cs.CV
DreamSim: Learning New Dimensions of Human Visual Similarity using Synthetic Data
MIT（麻省理工学院）；Weizmann Institute of Science（魏茨曼科学研究所）；Adobe Research（Adobe研究）
本文提出DreamSim指标，通过合成数据训练，在图像布局、对象姿态和语义内容等中高层面上对齐人类感知，并在检索和重建任务中优于现有指标。
2023-12-08 cs.CV cs.LG
CLAY: Conditional Visual Similarity Modulation in Vision-Language Embedding Space
KAIST（韩国科学技术院）
CLAY通过重构预训练视觉-语言模型的嵌入空间，实现基于文本条件的灵活相似性计算，提升多条件检索效率与准确性。
2026-07-08 cs.AI cs.CV
Measuring Style Similarity in Diffusion Models
University of Maryland, College Park（马里兰大学帕克分校）；New York University（纽约大学）；ELLIS Institute, MPI for Intelligent Systems（ELLIS研究所、马克斯·普朗克智能系统研究所）
本文针对文本到图像模型中的风格复制问题，提出一种从图像中提取风格描述符的框架及新数据集，用于将生成图像的风格归因于训练数据，并在Stable Diffusion上验证了风格检索与匹配效果。
2024-04-01 cs.CV cs.LG
Regressing Transformers for Data-efficient Visual Place Recognition
Bernoulli Institute of the University of Groningen（格罗宁根大学伯努利学院）；University of Twente（特文特大学）
针对视觉位置识别中对比学习方法表征准确性不足、需复杂重排序的问题，提出将其转化为回归问题，以相机视场重叠为相似性真值训练描述符，实现数据高效训练与强泛化。
2024-01-29 cs.CV cs.LG
Beyond Visual Similarity: Rule-Guided Multimodal Clustering with explicit domain rules
Clark Atlanta University（克拉克阿特兰大学）；BRAC University（布拉克大学）；United International University（国际联合大学）
针对传统聚类忽视领域约束的问题，提出规则引导多模态聚类框架DARTVAE，将LLM生成的显式规则嵌入VAE潜在空间并施加惩罚，在飞机和汽车数据集上生成更可解释且有意义的聚类。
2025-09-24 cs.CV cs.LG
Learning icons appearance similarity
Universidad de Zaragoza（萨拉戈萨大学）；I3A（I3A（萨拉戈萨大学的一个机构））；Technicolor（泰克尼科尔公司（注：Technicolor现主要从事娱乐和技术服务，此处保留常见译名））
选择一组最佳的图标是视觉设计流程中的关键一步，以构建和浏览内容。然而，设计图标集通常是一项困难的任务，需要专业知识。在这项工作中，为了简化用户的图标集选择过程，我们提出了一个相似性度量，它捕获的风格和视觉识别的属性。我们训练一个连体神经网络，它具有一个在线的图标数据集，这些图标在视觉上是连贯的，用于自适应地对训练数据进行采样并优化训练过程。由于数据集包含噪声，我们进一步收集人类评分的信息，将用于评估和测试所提出的模型的图标的相似性的看法。我们提出了几个结果和应用程序的基础上搜索，内核可视化和优化设置的建议，可以帮助设计师和非专家用户，同时探索大集合的图标。
2019-02-01 cs.CV cs.LG stat.ML
Visual explanation of black-box model: Similarity Difference and Uniqueness (SIDU) method
Aalborg University（奥尔堡大学）；Yodaway
近年来，可解释人工智能（XAI）已成为一个非常适合的框架，以生成人类可理解的解释“黑盒”模型。在本文中，一种新的XAI视觉解释算法被称为相似性差异和uniform（SIDU）的方法，可以有效地本地化负责预测的整个对象区域的全部细节。SIDU算法的鲁棒性和有效性进行了分析，通过各种计算和人体实验。特别是，SIDU算法使用三种不同类型的评估（应用程序，人类和功能接地）进行评估，以证明其优越的性能。为了更好地理解SIDU算法的性能，进一步研究了SIDU算法在对抗攻击下对“黑箱”模型的鲁棒性.我们的代码可在https://github.com/satyamahesh84/SIDU_XAI_CODE上获得。
2022-07-10 cs.AI cs.CV cs.HC
Decoupled Similarity for Task-Aware Token Pruning in Large Vision-Language Models
Wuhan University（武汉大学）；University of Exeter（埃克塞特大学）；Chinese Academy of Sciences（中国科学院）；Xi'an University of Electronic Science and Technology（西安电子科技大学）
本文提出DeSAP方法，通过解耦相似性实现精准任务感知token剪枝，提升大视觉-语言模型的效率与性能，实验表明在不同基准和架构上均优于现有方法。
2026-08-10 cs.CV
Multimodal Scenario Similarity Search for Autonomous Driving
aiMotive（爱莫提夫）
研究自动驾驶场景相似性搜索，提出多模态框架结合视觉与轨迹表示，对比两种基于轨迹的方法与视觉基线，实验表明轨迹表示在运动事件中性能强，视觉嵌入在外观线索丰富时出色，结合二者可提升检索质量。
2026-07-13 cs.CV cs.LG
Axiomatic Explanations for Visual Search, Retrieval, and Similarity Learning
MIT（麻省理工学院）；Microsoft（微软）；Google（谷歌）
视觉搜索、推荐和对比相似性学习技术影响着全球数十亿用户。现代模型架构可能很复杂，很难解释，并且有几种相互竞争的技术可以用来解释搜索引擎的行为。我们表明，公平的信用分配理论提供了一个$\textit{unique}$公理化的解决方案，概括了现有的几个建议和度量的可解释性技术在文献中。使用这种形式主义，我们表明，当现有的方法违反“公平”，并得出回避这些缺点，自然处理反事实的信息的方法。更具体地说，我们现有的方法隐式近似二阶Shapley-Taylor指数和扩展CAM，GradCAM，LIME，SHAP，SBSM和其他方法的搜索引擎。这些扩展可以从训练的$\textit{opaque-box}$模型中提取图像之间的成对对应关系。我们还介绍了一个快速的基于内核的方法来估计Shapley-Taylor指数，需要数量级更少的函数评估收敛。最后，我们表明，这些博弈论的措施产生更一致的解释图像相似性架构。
2022-03-16 cs.CV cs.HC cs.IR
Beyond Visual Similarity: Entity-Aligned Retrieval for Knowledge-Based Visual Question Answering
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；University of Arizona（亚利桑那大学）
针对KB-VQA现有检索范式忽略实体语义对齐的缺陷，提出首个MLLM嵌入检索器KBMR，结合语义判别器与连续语义蒸馏目标，在Recall@1和VQA准确率上较CLIP基线实现显著提升。
2026-08-25 cs.CV
Geometric Visual Similarity Learning in 3D Medical Image Self-supervised Pre-training
Southeast University（东南大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Rennes 1（雷恩第一大学）；Western University（韦仕敦大学）；Case Western Reserve University（凯斯西储大学）
由于三维医学图像共享大量相同的语义区域，因此图像间相似性的学习是三维医学图像自监督预训练的关键。然而，缺乏语义先验的度量和语义无关的变化，在3D医学图像，使它具有挑战性，以获得一个可靠的测量图像间的相似性，阻碍了学习的一致表示相同的语义。我们研究了这项任务的挑战性问题，即，学习图像之间的一致表示，以获得相同语义特征的聚类效果。提出了一种新的视觉相似性学习范式--几何视觉相似性学习，它将拓扑不变性的先验知识嵌入到图像间相似性的度量中，以实现语义区域的一致表示。为了推动这一范式，我们进一步构建了一种新的几何匹配头，Z匹配头，协作学习的全局和局部相似性的语义区域，指导不同尺度的图像间语义特征的有效表示学习。我们的实验表明，预训练与我们的学习图像间的相似性产生更强大的场景内，场景间，和全局局部转移能力的四个具有挑战性的3D医学图像任务。我们的代码和预训练模型将在https://github.com/YutingHe-list/GVSL上公开。
2023-03-02 cs.AI cs.CV
Sparsity Meets Similarity: Leveraging Long-Tail Distribution for Dynamic Optimized Token Representation in Multimodal Large Language Models
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institution of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对多模态大语言模型（MM-LLMs）因令牌处理导致的高计算成本问题，提出基于视觉令牌与CLS令牌相似性长尾分布的动态剪枝算法，通过识别拐点修剪视觉标记并在LLM层二次过滤低相关令牌，仅用22%令牌量实现与原模型相当的性能。
2025-02-12 cs.CV
Spatio-Temporal Similarity Volume Aggregation for Open-Vocabulary Action Recognition
Ewha Womans University（成均馆大学）
提出相似性体积聚合（SimVA）框架，通过构建密集的4D时空相似性体积并融合空间聚合、运动感知调制和Mamba时序聚合，保留局部补丁和细粒度时空线索，实现开放词汇动作识别。
2026-11-04 cs.CV
Effectively Leveraging Attributes for Visual Similarity
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Boston University（波士顿大学）
测量两个图像之间的相似性通常需要沿着不同的轴执行复杂的推理（例如，颜色、纹理或形状）。可以通过注释属性来提供对测量相似性可能重要的见解，但是先前的工作倾向于将这些注释视为完整的，导致它们使用预测单个图像上的属性的简单方法，这些属性反过来又用于测量相似性。但是，对数据集来说，完全注释每个可能重要的属性是不切实际的。因此，仅基于这些不完整的注释来表示图像可能会错过关键信息。为了解决这个问题，我们提出了成对属性信息相似性网络（PAN），它将相似性学习分解为从两个图像的联合表示中捕获相似性条件和相关性得分。这使得我们的模型能够识别两个图像包含相同的属性，但可以将其视为不相关的（例如，由于它们之间的细粒度差异），并且在测量两个图像之间的相似性时被忽略。值得注意的是，虽然使用属性注释的现有方法通常不能优于现有技术，但是PAN在Polyvore Outfits上的服装物品之间的兼容性预测上获得了4-9%的改进，在使用Caltech-UCSD Birds（CUB）的图像的Few Shot分类上获得了5%的增益，并且在In-Shop Clothes Retrieval上获得了超过1%的Recall@1提升。可在https://github.com/samarth4149/PAN上获得实施
2021-08-20 cs.CV
Representational Similarity via Interpretable Visual Concepts
Caltech（加州理工学院）；University of Edinburgh（爱丁堡大学）
针对深度网络相似性度量缺乏可解释性的问题，提出RSVC方法，通过发现共享与独有视觉概念揭示模型差异，并经多架构与训练协议验证其有效性。
2025-03-30 cs.AI cs.CV q-bio.NC
Word to Sentence Visual Semantic Similarity for Caption Generation: Lessons Learned
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文提出一种基于词级和句级视觉语义相似度的后处理方法，通过从视觉上下文视角修正束搜索，选择与图像最相关的字幕输出，从而改进图像字幕生成系统。
2023-07-06 cs.CL cs.CV
Geometry-aware Similarity Learning on SPD Manifolds for Visual Recognition
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology (ICT)（中国科学院智能信息处理重点实验室，计算技术研究所）；Computer Vision Laboratory, Swiss Federal Institute of Technology (ETH)（瑞士联邦理工学院计算机视觉实验室）
对称正定矩阵（SPD）已被广泛用于许多视觉识别任务中的数据表示。成功的主要原因是学习判别SPD矩阵编码的基础SPD流形的黎曼几何。本文提出了一种几何感知的SPD相似性学习（SPDSL）框架，通过直接追求列满秩的流形-流形变换矩阵来学习区分性SPD特征。具体地说，通过利用固定秩半正定（PSD）矩阵流形的黎曼几何，我们提出了一种新的解决方案，以减少优化列满秩变换矩阵的空间上的PSD流形上的优化具有良好的黎曼结构。在这种解决方案下，我们利用一种新的监督SPD相似性学习技术，通过将选定SPD数据对的相似性回归到目标SPD流形上的地面真实相似性来学习转换。为了优化所提出的目标函数，我们进一步推导出PSD流形上的算法。三个视觉分类任务的评价表明，所提出的方法比现有的基于SPD的判别学习方法的优势。
2016-08-17 cs.CV
Robust Estimation of Similarity Transformation for Visual Object Tracking
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Singapore Management University（新加坡管理大学）
现有的基于相关滤波器的跟踪方法大多只估计简单的轴对齐的边界框，很少有能够恢复底层的相似性变换。为了解决这个具有挑战性的问题，在本文中，我们提出了一种新的相关滤波器为基础的跟踪器与一种新的鲁棒估计的相似变换的大位移。为了有效地搜索在这样一个大的4自由度空间中的实时性，我们制定了两个2自由度的子问题的问题，并应用一个有效的块坐标下降求解器来优化估计结果。具体来说，我们采用了一个有效的相位相关计划，同时处理尺度和旋转的变化，在对数极坐标。此外，相关滤波器的变体被用于单独地预测平移运动。我们的实验结果表明，该跟踪器实现了非常有前途的预测性能相比，国家的最先进的视觉对象跟踪方法，同时仍然保留了传统的相关滤波器为基础的跟踪方法的高效性和简单性的优点。
2018-11-07 cs.CV
Visual Fashion-Product Search at SK Planet
SK Planet
我们建立了一个大规模的视觉搜索系统，找到类似的产品图像给定的时尚项目。任意时尚产品之间的相似性定义仍然是一个具有挑战性的问题，即使没有确切的地面真理。为了解决这个问题，我们定义了90多个与时尚相关的属性，这些属性的组合可以代表数千种独特的时尚风格。服装属性是定义服装产品图像语义相似度的要素之一。为了大规模地构建我们的系统，这些时尚属性再次被用来构建一个倒排索引方案。除了这些时尚属性的语义相似性，我们提取颜色和外观特征的一个区域的兴趣（ROI）的时尚项目的视觉相似性。通过分享我们的方法，我们希望就如何将当前的计算机视觉研究应用于电子商务行业进行积极的讨论。
2017-04-12 cs.CV
Semantic Pose Verification for Outdoor Visual Localization with Self-supervised Contrastive Learning
Izmir Institute of Technology（伊兹密尔理工学院）；Instituto de Investigación en Ingeniería de Aragón (I3A)（阿拉贡工程研究院（I3A））；Universidad de Zaragoza（萨拉戈萨大学）
任何城市规模的视觉定位系统都必须克服长期的外观变化，例如查询图像和数据库图像之间的光照条件变化或季节变化。由于语义内容是更强大的这种变化，我们利用语义信息，以提高视觉定位。在我们的场景中，数据库由全景图像（例如Google街景）生成的日晷视图组成，查询图像是在不同时间用标准视场相机收集的。为了改进本地化，我们检查查询和数据库图像之间的语义相似性，这并不是小事，因为摄像机的位置和视角并不完全匹配。为了学习相似性，我们建议在语义分割图像的数据集上以自监督的方式训练CNN，并进行对比学习。实验表明，这种语义相似度估计方法比像素级的相似度测量方法效果更好。最后，我们使用语义相似性分数来验证通过最先进的视觉定位方法获得的检索，并观察到基于对比学习的姿势验证将前1召回值增加到0.90，这对应于2%的改进。
2022-03-31 cs.CV
Semantic Similarity Score for Measuring Visual Similarity at Semantic Level
Beijing University of Posts and Telecommunications（北京邮电大学）；Peng Cheng Laboratory（鹏城实验室）
针对传统图像相似性指标无法准确衡量语义通信中语义信息损失的问题，提出基于场景图生成与图匹配的SeSS指标，经人工标注微调后，在多类测试场景中验证了其衡量图像语义差异的有效性，可用于视觉语义通信系统评估。
2024-07-10 cs.AI cs.CV
Comparing Deep Neural Nets with UMAP Tour
The University of Arizona（亚利桑那大学）
神经网络应该是人类可以理解的。特别是，人们对层中学习的概念和层之间的相似性越来越感兴趣。在这项工作中，一个工具，UMAP旅游，建立了视觉检查和比较内部行为的真实世界的神经网络模型使用良好对齐，实例级表示。在可视化中使用的方法也意味着一个新的相似性度量之间的神经网络层。使用可视化工具和相似性度量，我们发现了在最先进的模型中学习的概念以及它们之间的差异，例如GoogLeNet和ResNet。
2021-10-18 cs.CV cs.HC cs.LG
Visual Tracking with Similarity Matching Ratio
Purdue University（普渡大学）
提出了一种新的视觉跟踪方法：相似匹配比（SMR）。传统的跟踪方法是最小化模板和帧中的补丁之间的差异的一些措施。这种方法容易受到离群值和剧烈的外观变化的影响，一项广泛的研究正在集中于使这种方法对它们更宽容。然而，这往往会导致更长的，纠正算法不解决原来的问题。本文提出了一种新的方法来定义的跟踪问题，SMR，它变成了一个概率测度的差异。只有低于阈值的像素差异才对决定匹配进行计数，其余的都被忽略。这种方法使得SMR跟踪器对异常值和显著改变外观的点具有鲁棒性。SMR跟踪器在具有挑战性的视频序列上进行了测试，并实现了最先进的性能。
2012-09-12 cs.CV cs.RO
SSIG: A Visually-Guided Graph Edit Distance for Floor Plan Similarity
Delft University of Technology（代尔夫特理工大学）
提出无需学习的平面图结构相似性度量SSIG，结合图像与图距离克服IoU和GMNs局限，并开发高效排名算法，检索效果媲美深度学习方法。
2023-09-08 cs.CV cs.GR
Bayesian Decision Making to Localize Visual Queries in 2D
Northeastern University（东北大学）
本文针对 EGO4D 2023 视觉查询二维定位任务，提出用 transformer 高维相似性作为先验、结合 Siamese Head 低维相似性作为测量的贝叶斯决策方法，以降低假阳性并提升定位精度。
2023-05-28 cs.CV
Application of Structural Similarity Analysis of Visually Salient Areas and Hierarchical Clustering in the Screening of Similar Wireless Capsule Endoscopic Images
Chongqing Jinshan Science & Technology (Group) Co., Ltd.（重庆金山科技（集团）有限公司）
小肠胶囊内镜是检查小肠病变的主流方法，但单次小肠胶囊内镜会产生6万~ 12万张图像，其中大部分图像相似，没有诊断价值。医生需要2 - 3个小时才能从这些图像中识别病变。针对医生长时间关注大量相似图像容易产生视觉疲劳的问题，提出了一种基于结构相似性分析和视觉显著子图像块层次聚类的无线胶囊内窥镜（WCE）相似图像筛选方法。基于图像的色调、饱和度、明度（HSV）空间颜色特征，通过层次聚类自动识别图像的相似性聚类，并基于视觉显著子图像块的结构相似性提取关键帧图像，从而准确识别和筛选出相似的小肠囊内窥镜图像。将该方法应用于胶囊内窥镜成像工作站。在I型小肠胶囊内镜收集的完整数据中筛选出相似图像后，我们获得了100%的病变召回率和76%的平均相似图像减少率。在筛选出类似图像的情况下，OMOM图像工作站的平均播放时间为18分钟，大大减少了医生查看图像的时间。
2020-04-01 cs.CV cs.LG eess.IV
A Compositional Feature Embedding and Similarity Metric for Ultra-Fine-Grained Visual Categorization
Griffith University（格里菲斯大学）
细粒度视觉分类（FGVC）是近年来发展起来的一种分类方法，其目标是以较小的类间方差对目标进行分类。然而，超细粒度的视觉分类（超FGVC），其目标是识别具有极其相似的模式的子类，并没有得到太多的关注。在超FGVC数据集中，随着粒度的下降，每个类别的样本总是稀缺的，这将导致过拟合问题。此外，不同类别之间的差异太微妙，即使是专业专家也无法区分。针对这些问题，提出了一种新的组合特征嵌入和相似性度量（CECS）。具体来说，在组成特征嵌入模块中，我们在原始输入图像中随机选择补丁，然后将这些补丁替换为来自不同类别的图像的补丁或屏蔽掉。然后利用替换后的图像对原始输入图像进行增强，可以提供更多样的样本，从而在很大程度上缓解了由于训练样本有限而导致的过拟合问题。此外，不同样本的学习迫使模型不仅学习最具区分力的特征，而且学习剩余区域中的其他信息特征，从而增强模型的泛化能力和鲁棒性。在组合相似性度量模块中，提出了一种新的相似性度量方法，通过缩小类内距离和扩大类间距离来提高分类性能。两个ultra-FGVC数据集和一个FGVC数据集与最近的基准方法的实验结果一致表明，所提出的CECS方法达到了最先进的性能。
2021-10-27 cs.CV
Cross-Domain Visual Matching via Generalized Similarity Measure and Feature Learning
Sun Yat-sen University（中山大学）；Harbin Institute of Technology（哈尔滨工业大学）；Xidian University（西安电子科技大学）；The Hong Kong Polytechnic University（香港理工大学）
跨域视觉数据匹配是许多现实世界视觉任务中的基本问题之一，例如，通过身份证照片和监控录像进行比对这个问题的传统方法通常涉及两个步骤：i）将来自不同域的样本投影到公共空间中，以及ii）基于一定距离计算该空间中的（不）相似性。在本文中，我们提出了一种新的成对相似性度量，通过i）将传统的线性投影扩展到仿射变换，ii）通过数据驱动的组合融合仿射马氏距离和余弦相似性，从而改进现有模型。此外，我们通过深度卷积神经网络将相似性度量与特征表示学习统一起来。具体来说，我们将相似性度量矩阵纳入到深度架构中，实现了端到端的模型优化方式。我们在几个具有挑战性的跨域匹配任务中广泛评估了我们的广义相似性模型：不同视图下的人重新识别和不同模式下的人脸验证（即，来自静止图像和视频的面部、较老和较年轻的面部以及素描和照片肖像）。实验结果表明，我们的模型优于其他国家的最先进的方法的性能。
2016-05-13 cs.AI cs.CV stat.ML
Learnable Parameter Similarity
Sun Yat-sen University（中山大学）
现有的方法大多集中在特定的视觉任务，而忽略了它们之间的关系。估计任务关系揭示了高阶语义概念的学习，例如，迁移学习。如何揭示不同视觉任务之间的潜在关系在很大程度上尚未探索。在本文中，我们提出了一种新的\textbf{L}可学习的\textbf{P} arrangement \textbf{S}相似性（\textbf{LPS}）方法，学习一个有效的度量来衡量训练模型中隐藏的二阶语义的相似性。LPS是通过使用二阶神经网络对齐高维模型参数和学习二阶相似性的端到端的方式来实现的。此外，我们创建了一个名为ModelSet500的模型集，作为包含500个训练模型的参数相似性学习基准。在ModelSet500上的大量实验验证了该方法的有效性。代码将在\url{https://github.com/Wanggcong/learnable-parameter-similarity}发布。
2019-07-27 cs.CV cs.LG stat.ML
Automatic Visual Theme Discovery from Joint Image and Text Corpora
University of Nottingham Ningbo China（宁波诺丁汉大学）
一种流行的语义图像理解方法是手动标记图像与关键字，然后学习从视觉特征到关键字的映射。人工标记图像是一个主观的过程，相同或非常相似的视觉内容通常使用不同的关键字标记。此外，并非所有的标签都对视觉内容具有相同的描述能力，并且来自自然语言的大量词汇可能导致非常多样化的关键字集合。在本文中，我们提出了一个无监督的视觉主题发现框架作为一个更好的（更紧凑，高效和有效的）替代语义表示的视觉内容。我们首先表明，基于标签的注释缺乏一致性和紧凑性描述视觉上相似的内容。然后，我们根据包含标签的图像的视觉特征来学习标签之间的视觉相似性。同时，我们使用一种自然语言处理技术（词嵌入）来度量标签之间的语义相似度。最后，我们使用谱聚类算法根据标签的视觉相似性和语义相似性度量将其聚类到视觉主题中。我们通过用户研究来评估我们的非监督算法发现的视觉主题的有效性和合理性，并取得了令人满意的结果。然后，我们设计了三个常见的计算机视觉任务，基于示例的图像搜索，基于关键字的图像搜索和图像标记，以探索我们的视觉主题发现框架的潜在应用。在实验中，视觉主题显著优于标签的语义图像理解，并实现了国家的艺术表现在所有三个任务。这再次证明了所提出的框架的有效性和通用性。
2016-09-07 cs.CV
