Similarity Learning via Adaptive Regression and Its Application to Image Retrieval
Michigan State University（密歇根州立大学）；Alibaba Group（阿里巴巴集团）
研究了相似性学习及其在大规模图像检索中的应用。图像对之间的相似性可以通过它们的高维表示之间的距离来测量，并且学习适当的相似性的问题通常通过距离度量学习来解决。然而，距离度量学习需要学习的度量是一个PSD矩阵，这是计算昂贵的，而不是必要的检索排名问题。另一方面，双线性模型被证明是更灵活的大规模的图像检索任务，因此，我们采用它来学习一个矩阵，估计成对的相似性下的回归框架。通过自适应更新回归中的目标矩阵，我们可以模仿铰链损失，这是更适合于相似性学习问题。虽然回归问题可以有封闭形式的解决方案，计算成本会非常昂贵。计算挑战来自两个方面：图像的数量可能非常大，图像特征具有高维数。我们解决了第一个挑战，压缩数据的随机算法的理论保证。对于高维问题，我们采用低秩假设，利用交替法得到部分矩阵，并使其具有全局最优解。对真实世界图像数据集的实证研究（即，Caltech和ImageNet）证明了所提出的方法的有效性和效率。
2015-12-06 cs.LG
Representation Learning for Efficient and Effective Similarity Search and Recommendation
如何表示和操作数据对于构建有效和高效的计算解决方案至关重要。一种常见的方法是将数据对象表示为二进制向量，表示为\textit{hash codes}，其需要很少的存储，并且通过直接索引到哈希表中或通过在适当空间中的相似性计算来实现有效的相似性搜索。由于散列码的可表达性有限，与实值表示相比，一个核心的开放挑战是如何生成散列码，使用少量的位来很好地捕获语义内容或潜在属性，同时确保散列码以不降低其搜索效率的方式分布。现有技术的方法使用表示学习来生成这样的散列码，集中于神经自动编码器架构，其中通过学习重构散列码的原始输入来将语义编码到散列码中。本论文解决了上述挑战，并作出了一些贡献，表示学习，（一）提高哈希码的有效性，通过更有表现力的表示和更有效的相似性措施比目前的最先进的，即汉明距离，和（ii）提高哈希码的效率，通过学习表示，特别是适合于搜索方法的选择。的贡献进行了经验验证的几个任务相关的相似性搜索和推荐。
2021-09-04 cs.AI cs.CL cs.IR
Financial Bond Similarity Search Using Representation Learning
TD Bank（TD银行）
本文提出利用表示学习方法，通过捕捉债券的语义相似性来提升固定收益分析中的债券相似性搜索能力。
2026-02-02 cs.LG q-fin.CP q-fin.PM
2nd Place Solution to Facebook AI Image Similarity Challenge Matching Track
Samsung Electronics（三星电子）
本文介绍了Facebook AI图像相似性挑战的第二名解决方案：DrivenData上的匹配跟踪。该解决方案基于自监督学习和视觉Transformer（ViT）。主要的突破来自于将查询图像和参考图像连接起来形成一个图像，并要求ViT直接从图像中预测查询图像是否使用参考图像。该解决方案在私人排行榜上获得了0.8291微平均精度。
2021-11-15 cs.CV
Finding your Lookalike: Measuring Face Similarity Rather than Face Identity
Lafayette College（拉斐特学院）；Google Research（谷歌研究院）
人脸图像是计算机视觉的主要研究领域之一，可以处理各种各样的任务。虽然人脸识别可能是最广泛的研究，许多其他的任务，如亲属关系检测，面部表情分类和面部衰老已经检查。在这项工作中，我们提出了新的，主观的任务，量化一对面孔之间的相似性。也就是说，我们预测面部图像之间的感知相似性，因为它们不是同一个人。虽然这项任务显然与面部识别相关，但它是不同的，因此有理由进行单独的调查。人们经常会说两个人长得很像，即使这两个人实际上并没有相互混淆。此外，由于人脸相似性不同于传统的图像相似性，因此在数据汇集和标记以及处理人类标记者之间的分歧主观意见方面存在挑战。我们提出的证据表明，寻找面部相似和识别面孔是两个不同的任务。我们提出了一个新的面部相似性数据集，并介绍了Lookalike网络，针对类似的面部分类，它优于针对同一任务的面部识别网络的临时使用。
2018-06-13 cs.CV
3rd Place Solution to Meta AI Video Similarity Challenge
LINE Corporation（LINE公司）；Keio University（庆应义塾大学）
针对视频拷贝检测问题，本文基于现有图像拷贝检测技术并结合视频数据特性提出多种策略，在VSC2022双赛道获第三名，准确率显著提升。
2023-05-18 cs.CV
Finding More Relevance: Propagating Similarity on Markov Random Field for Image Retrieval
Beijing University of Posts and Telecommunications（北京邮电大学）；Raytheon BBN Technologies（雷神BBN技术公司）；Tianjing University（天津大学）
如何从大规模的语料库中高效、准确地检索对象是一个具有挑战性的课题。在本文中，我们提出了一种方法，传播视觉特征水平的相似性的马尔可夫随机场（MRF），以获得高层次的对应关系，在图像空间中的图像对。所提出的图像对之间的对应关系不仅反映了底层视觉特征的相似性，而且还反映了数据库中其他图像之间的关系，并且可以很容易地集成到现有的基于视觉词袋（BoW）的系统中，以降低丢失率。我们在标准的Oxford-5 K，Oxford-105 K和Paris-6 K数据集上评估了我们的方法。实验结果表明，该方法在三个数据集上的检索准确率都有明显提高，超过了当前最先进的检索性能。
2013-12-26 cs.CV
3rd Place: A Global and Local Dual Retrieval Solution to Facebook AI Image Similarity Challenge
AI Technology Center, Online-Video BU, Tencent（腾讯在线视频事业部AI技术中心）
图像相似性检索作为计算机视觉的一项基本任务，正面临着大规模数据和图像拷贝攻击的挑战。本文介绍了Facebook AI组织的2021年图像相似性挑战赛（ISC）匹配赛道的第三名解决方案。我们提出了一个多分支检索方法相结合的全局描述符和局部描述符，以覆盖所有的攻击情况。具体而言，我们尝试了许多策略来优化全局描述符，包括丰富的数据增强，使用单个Transformer模型的自监督学习，重叠检测预处理。此外，我们引入了鲁棒的SIFT特征和GPU Faiss进行局部检索，弥补了全局检索的不足。最后，使用KNN匹配算法来判断匹配和合并分数。我们展示了我们的方法的一些消融实验，这揭示了全局和局部特征的互补优势。
2021-12-29 cs.CV
Symmetric Multi-Similarity Loss for EPIC-KITCHENS-100 Multi-Instance Retrieval Challenge 2024
The Hong Kong Polytechnic University（香港理工大学）
针对2024年EPIC-KITCHENS-100多实例检索挑战赛中现有损失未充分利用软标签相关矩阵的问题，提出对称多相似性损失，结合技巧与集成学习取得冠军成绩。
2024-06-18 cs.CV
Retrieval of Family Members Using Siamese Neural Network
University of Science and Technology of China（中国科学技术大学）
野外家庭成员检索的目的是在数据集中找到与该主题相关的家庭成员，这对于寻找走失儿童和分析亲属关系具有重要意义。然而，由于所收集的数据在年龄、性别、姿势和照明方面的多样性，这项任务总是具有挑战性。为了解决这个问题，我们提出了我们的解决方案与深连体神经网络。我们的解决方案可以分为两个部分：相似度计算和排名。在训练过程中，暹罗网络首先以两幅候选图像作为输入，产生两个特征向量。然后，计算两个向量之间的相似性与几个全连接层。而在推理过程中，我们尝试了另一种相似度计算方法，通过丢弃后面的几个全连接层，直接计算两个特征向量的余弦相似度。在相似度计算之后，我们使用排序算法合并具有相同身份的相似度得分，并根据它们的相似度输出有序列表。为了获得进一步的改进，我们尝试了不同的骨干，训练方法和相似度计算方法的组合。最后，我们提交了最佳组合作为我们的解决方案，我们的团队（ustc-nelslip）在RFIW 2020挑战赛的第三赛道上获得了良好的成绩，获得了亚军，这验证了我们的方法的有效性。我们的代码可在：https://github.com/gniknoil/FG2020-kinship
2020-05-30 cs.CV cs.LG
SLIQ: Quantum Image Similarity Networks on Noisy Quantum Computers
Northeastern University（东北大学）
针对无监督图像相似性检测难以在噪声量子计算机上实现的问题，本文提出首个资源高效的开源量子相似性检测网络 SLIQ，并结合量子学习与方差降低算法。
2023-09-26 cs.CV eess.IV quant-ph
On Nonrigid Shape Similarity and Correspondence
几何处理中的一个重要操作是寻找形状对之间的对应关系。Gromov-Hausdorff距离是度量空间之间相异性的一种度量，在非刚性形状比较中非常有用。在这里，我们探讨了相关的形状相似性措施的形状对应问题的适用性，采用光谱类型的距离。我们提出了谱核距离、谱嵌入距离和新的谱拟共形距离的概念，并从不同的角度对流形进行了比较。通过匹配光谱域中的形状，表面结构的重要属性被对齐。为了测试我们的想法，我们引入了一个全自动的框架来寻找两个形状之间的内在对应关系。所提出的方法实现了国家的最先进的普林斯顿等距形状匹配协议，像往常一样，TOSCA和SCAPE基准的结果。
2013-11-18 cs.CV cs.GR
ProtoPShare: Prototype Sharing for Interpretable Image Classification and Similarity Discovery
Jagiellonian University（雅盖隆大学）；Ardigen SA（阿迪根公司）
在本文中，我们介绍了ProtoPShare，一个自我解释的方法，它结合了原型部件的范式来解释其预测。ProtoPShare的主要新颖之处在于，由于我们的数据相关合并修剪，它能够有效地在类之间共享原型部分。此外，原型更一致，模型比最先进的方法ProtoPNet对图像扰动更鲁棒。我们在两个数据集上验证了我们的发现，CUB-200-2011和斯坦福汽车。
2020-11-29 cs.AI cs.CV cs.LG
Entropy-Aware Similarity for Balanced Clustering: A Case Study with Melanoma Detection
Korea University（高丽大学）
本文提出熵感知相似度平衡聚类方法EASB，通过结合角度、距离与熵最大化聚类平衡性，并在ISIC 2019/2020黑色素瘤数据上验证了其优于经典方法的检测性能。
2023-05-11 cs.CV cs.LG eess.IV
Leveraging Image-Text Similarity and Caption Modification for the DataComp Challenge: Filtering Track and BYOD Track
LINE Corporation（LINE公司）；LY Corporation（LY公司）
本文提出针对 DataComp 挑战赛 filtering track 和 BYOD track 的解决方案，利用 CLIP 和 BLIP-2 过滤修改网络爬取数据并结合外部数据集与技巧提升质量，分别实现 6.6% 和 48.5% 的显著提升。
2023-10-23 cs.AI cs.CV
Self-Similarity Priors: Neural Collages as Differentiable Fractal Representations
Stanford University（斯坦福大学）；University of Toronto（多伦多大学）；University of Tokyo（东京大学）
自然界中的许多模式都表现出自相似性：它们可以通过自指变换来描述。所述图案通常出现在自然和人造物体中，例如分子、海岸线、星系甚至图像。在这项工作中，我们研究了学习的作用，在自动发现的自相似性，并在其利用下游任务。为此，我们设计了一类新的隐式运算符，神经拼贴，它（1）将数据表示为自引用结构化变换的参数，（2）采用超网络将查找这些参数的成本分摊到单个前向传递中。我们研究如何在各种任务中利用神经拼贴产生的表示，包括数据压缩和生成。神经拼贴图像压缩器在编码过程中比其他基于自相似性的算法快几个数量级，并提供与隐式方法竞争的压缩率。最后，我们展示了神经拼贴在分形艺术和深度生成模型中的应用。
2022-04-15 cs.AI cs.CV cs.LG
Finding the Most Transferable Tasks for Brain Image Segmentation
Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Tsinghua University（清华大学）
虽然许多研究已经成功地将迁移学习应用于医学图像分割，但很少有人研究多个源任务可供迁移时的选择策略。在本文中，我们提出了一个先验知识指导和基于可转移性的框架，以选择最好的源任务中的大脑图像分割任务的集合，以提高迁移学习的性能在给定的目标任务。该框架由模态分析，ROI（感兴趣区域）分析，和可转移性估计，这样的源任务的选择，可以细化一步一步。具体来说，我们适应国家的最先进的分析可转移性估计指标的医学图像分割任务，并进一步表明，他们的性能可以显着提高过滤候选源任务的基础上的模态和ROI特征。我们对脑物质，脑肿瘤和白质高强度分割数据集的实验表明，在相同模式下从不同任务转移通常比在不同模式下从相同任务转移更成功。此外，在同一模态下，从与目标任务具有更强RoI形状相似性的源任务转移可以显著提高最终转移性能。这种相似性可以使用标签空间中的结构相似性索引来捕获。
2023-01-03 cs.AI cs.CV cs.LG
Motion-Enhanced Nonlocal Similarity Implicit Neural Representation for Infrared Dim and Small Target Detection
Xi’an Jiaotong University（西安交通大学）；Northwest Institute of Nuclear Technology（西北核技术研究所）；China Telecom Shaanxi Branch（中国电信陕西分公司）
针对红外暗弱小目标检测中动态背景和弱特征导致的漏检问题，提出运动增强非局部相似性隐式神经表示框架，通过光流估计与多帧融合增强运动显著性，并利用张量分解INR编码非局部低秩性，实现了更高精度和鲁棒性的检测。
2025-10-12 cs.CV
Winning the CVPR'2021 Kinetics-GEBD Challenge: Contrastive Learning Approach
Yonsei University（延世大学）；Hyundai Mobis（现代摩比斯）
通用事件边界检测（GEBD）是一个新引入的任务，旨在检测“一般”的事件边界，对应于自然的人类感知。在本文中，我们介绍了一种新的对比学习为基础的方法来处理GEBD。我们的直觉是，视频片段的特征相似性在事件边界附近会发生显著变化，而在视频的其余部分中保持相对相同。在我们的模型中，时间自相似性矩阵（TSM）被用作一个中间表示，它承担了信息瓶颈的作用。通过我们的模型，与给定的基线相比，我们实现了显着的性能提升。我们的代码可在https://github.com/hello-jinwoo/LOVEU-CVPR2021上获得。
2021-06-22 cs.CV
Exploring the similarity of medical imaging classification problems
Eindhoven University of Technology（埃因霍温理工大学）；Erasmus Medical Center（伊拉斯谟医学中心）；University Medical Center Utrecht（乌得勒支大学医学中心）
监督学习在医学图像分析中无处不在。在本文中，我们考虑元学习的问题-预测哪些方法将在一个看不见的分类问题中表现良好，给出以前的经验与其他分类问题。我们研究这种方法的第一步：如何量化不同分类问题的相似性。我们从六个分类问题的性能排名的简单分类器的采样数据集的特征，并定义在这个元特征空间的欧氏距离的倒数的相似性。我们可视化的相似性在一个二维空间中，有意义的集群开始出现，并表明，所提出的表示可以用来分类数据集根据其来源与89.3%的准确性。这些发现，以及对机器学习最近趋势的观察，表明元学习可能是医学成像界的一个有价值的工具。
2017-06-12 cs.CV
Online Pedestrian Group Walking Event Detection Using Spectral Analysis of Motion Similarity Graph
University of Genoa（热那亚大学）
提出了一种视频中运动目标群的在线识别方法。该方法利用运动相似性图的谱聚类，在每一帧中识别出具有相似局部瞬时运动模式的被跟踪对象组。然后，根据PETS 2015挑战的要求，使用算法的输出来检测两个以上物体一起移动的事件。在PETS 2015数据集上评估了算法的性能。
2019-09-03 cs.CV eess.IV
