Eclipse Hashing: Alexandrov Compactification and Hashing with Hyperspheres for Fast Similarity Search
使用由大量数据组成的高维特征向量进行相似性搜索有着广泛的应用。进行快速相似性搜索的一种方式是将特征向量转换成二进制向量，并通过使用汉明距离来执行相似性搜索。这种变换是一种哈希方法，哈希函数的选择很重要。提出了使用超平面或超球面的散列方法。这里报告的一项研究受到了Spherical LSH的启发，我们使用hypersperes来散列特征向量。我们的方法，称为哈希算法，通过使用逆赤平投影来执行R^n的紧化，这是一种Alexandrov紧化。通过使用哈希，可以获得超球哈希函数，而无需显式使用超球。因此，减少了非线性运算的数量，并且散列的处理时间变得更短。此外，我们还表明，作为提高近似精度的结果，超平面散列是更准确的。
2014-06-16 cs.IR
Efficient Similarity Indexing and Searching in High Dimensions
由于对高维数据的不断开发和传统搜索方法对维数灾难的脆弱性，高维数据的有效索引和搜索一直是一个活跃的研究领域。本文提出了一种新的方法，快速和有效的搜索和索引的高维特征使用随机分区的特征空间。手写数字和三维形状描述符的实验表明，该算法是非常有效的和高效的索引和搜索数百维的真实数据集。我们还比较其性能的最先进的局部敏感哈希算法。
2015-05-12 cs.IR
Unconventional application of k-means for distributed approximate similarity search
度量空间中基于距离函数的相似性搜索是许多应用中的基本问题。对相似对象的搜索导致了众所周知的最近邻识别的机器学习任务。许多数据索引策略，统称为度量访问方法（MAM），已被提出来加速在这种情况下对类似元素的查询。此外，由于解决相似性查询的精确方法可能是复杂且耗时的，因此已经出现了减少查询执行时间的替代选项，例如返回近似结果或诉诸分布式计算平台。在本文中，我们介绍了MASK（多级近似相似性搜索与$k$ -手段），一个非常规的应用程序的$k$ -手段算法的基础上的多级索引结构的近似相似性搜索，适用于度量空间。我们表明，固有属性的$k$ -手段，如表示高密度的数据区域，较少的原型，可以利用这一目的。这种新的索引方法的实现进行评估，使用合成数据集和真实世界的数据集在一个高维和高稀疏空间。结果是有前途的，并支持这种新的索引方法在多个领域的适用性。
2022-08-04 cs.IR
Semantic Vector Encoding and Similarity Search Using Fulltext Search Engines
向量表示和向量空间建模（VSM）在现代机器学习中起着核心作用。我们提出了一种新的方法来“向量相似性搜索”的密集语义表示的单词和文档，可以部署在传统的基于反向索引的全文引擎，利用其鲁棒性，稳定性，可扩展性和无处不在。我们表明，这种方法允许索引和查询密集向量的文本域。这为实现重大效率提升以及更简单的部署、扩展和监控开辟了令人兴奋的途径。最终的结果是一个快速和可扩展的向量数据库，在向量搜索性能和质量之间进行了可调的权衡，并得到了Elasticsearch等标准全文引擎的支持。我们经验证明其查询性能和质量，通过应用此解决方案的语义搜索任务在整个英文维基百科的密集矢量表示。
2017-06-03 cs.IR
Constrained Approximate Similarity Search on Proximity Graph
建立搜索引擎和推荐系统以有效地显示来自这些大量候选者的相关信息。通常，在这些系统中采用三阶段机制：（i）首先通过（例如，）近似近邻搜索算法;（ii）然后对检索到的项目应用一组约束;（iii）采用细粒度排名神经网络来确定最终推荐。我们观察到原始三阶段流水线的一个主要缺陷：虽然我们在最终建议中只针对检索$k$向量，但我们必须为每个查询预设足够大的$s$（$s > k$），并且“确保”过滤后存活的向量数量不小于$k$。即，$s$相似候选中的至少$k$向量满足查询约束。在本文中，我们研究这个受约束的相似性搜索问题，并试图合并的相似性搜索阶段和过滤阶段到一个单一的搜索操作。我们介绍了飞艇，一个系统，集成了用户定义的功能过滤到相似性搜索框架。建议的系统不需要建立额外的索引，也不需要先验知识的查询约束。我们提出了三种优化策略：（1）起点选择，（2）多方向搜索，（3）偏向优先级队列选择。仿真数据和实际数据的实验验证了算法的有效性。在这项研究中，我们专注于基于图的约束近似近邻（ANN）搜索，部分原因是基于图的ANN被称为实现出色的性能。我们相信也有可能开发基于约束哈希的ANN或基于约束量化的ANN。
2022-11-08 cs.IR
Approximating Categorical Similarity in Sponsored Search Relevance
赞助搜索是网络搜索引擎的主要收入来源。由于赞助搜索遵循点击付费模式，因此显示相关广告以获得点击至关重要。在查询-广告对的相关性建模中，已经探索了查询及其广告候选的匹配类别。该方法涉及将过去看到的查询的缓存类别与候选广告的类别进行匹配。由于查询具有重尾分布，因此该方法的覆盖范围有限。在这项工作中，我们提出了近似的类别相似性的查询广告对使用神经网络，特别是CLSM。查询（或文档）的嵌入是使用其三字母表示生成的，这允许覆盖尾部查询。与直接使用类别相比，结合此功能的离线实验显示AUC ROC提高了5.23%。A/B测试结果显示相关性提高了8.2%。
2018-12-01 cs.IR
Self-Taught Hashing for Fast Similarity Search
快速的大规模相似性搜索能力对于许多信息检索应用具有重要意义。加速相似性搜索的一种有前途的方法是语义哈希，它为大量文档设计紧凑的二进制代码，以便将语义相似的文档映射到相似的代码（在短的海明距离内）。虽然最近提出的一些技术能够生成高质量的代码的文件中已知的提前，获得以前看不见的文件的代码仍然是一个非常具有挑战性的问题。在本文中，我们强调这个问题，并提出了一种新的自学哈希（STH）的语义哈希方法：我们首先找到最佳的$l$位二进制代码的所有文件在给定的语料库中通过无监督学习，然后训练$l$分类器通过监督学习预测的$l$位代码的任何查询文档之前看不见的。我们在三个真实世界的文本数据集上的实验表明，所提出的方法使用二进制拉普拉斯特征映射（LapEig）和线性支持向量机（SVM）优于国家的最先进的技术显着。
2010-04-29 cs.IR
BMX: Entropy-weighted Similarity and Semantic-enhanced Lexical Search
针对传统BM25词汇搜索忽略查询-文档相似度、缺乏语义理解的问题，研究提出融合熵加权相似度与语义增强技术的BMX算法，在长上下文及真实检索基准上性能优于传统BM25和PLM/LLM稠密检索，填补了经典词汇搜索与现代语义方法的空白。
2024-08-14 cs.IR
Similarity = Value? Consultation Value Assessment and Alignment for Personalized Search
针对现有个性化搜索仅用语义相似性对齐咨询内容无法捕捉真实价值的问题，提出含三维度的咨询价值评估框架及价值感知模型VAPS，在多数据集的检索与排序任务上效果优于基线。
2025-06-17 cs.IR
SPELUNKER: Item Similarity Search Using Large Language Models and Custom K-Nearest Neighbors
Crab Technologies, Lda（Crab科技有限公司）；Instituto Superior Técnico（里斯本高等技术学院）
本文提出SPELUNKER系统，结合大语言模型与自定义KNN算法实现可解释的物品相似性搜索，在500条葡萄酒评论数据集上取得高F1分数和显著召回率提升。
2025-08-27 cs.IR
The Tangent Search Engine: Improved Similarity Metrics and Scalability for Math Formula Search
随着世界范围内数据数量和种类的不断增加，Web已经成为数学公式的丰富存储库。这就需要创建一个健壮的、可扩展的数学信息检索系统，用户可以使用单独的公式（按表达式查询）或关键字和公式的组合来搜索数学信息。通常，最能满足用户信息需求的页面包含的表达式只能近似匹配查询公式。对于试图定位或重新找到特定表达式、浏览相似公式或非数学专家的用户，公式的相似性更多地取决于符号的相对位置，而不是深层数学语义。我们提出了最大子树相似性（MSS）度量查询的表达式，产生直观的排名公式的基础上，他们的外观，所表示的类型和符号的相对位置。由于对大型集合中的所有公式应用度量的成本太高，因此我们首先使用元组上的倒排索引检索表达式，该元组对符号对之间的关系进行编码，使用Dice系数对命中进行排名。然后使用MSS对前k个公式进行重新排名。我们的方法在NTCIR-11维基百科公式检索基准上获得了最先进的性能，并且在索引空间和整体检索时间方面都是有效的。其他图形形式的检索系统，包括化学图表，流程图，图形和表格，也可以受益于采用我们的方法。
2015-07-22 cs.IR
Multi-reference Cosine: A New Approach to Text Similarity Measurement in Large Collections
一个高效、可扩展的文档相似性检测系统的重要性是不可否认的。搜索引擎需要批量文本相似性度量来检测其索引中的重复和接近重复的网页，以防止多次索引网页。此外，在评分阶段，搜索引擎需要相似性度量来检测网页上的重复内容，以提高其结果的质量。结合降维技术和信息增益理论的思想，提出了一种批量文本相似性检测的新方法。新方法的重点是搜索引擎需要检测重复和接近重复的网页。在NEWS20数据集上对新方法进行了测试，结果表明，新方法在速度和性能上都优于余弦文本相似度算法。最重要的是，它比其他竞争对手的方法，Simhash相似度算法更快，更准确.
2018-10-07 cs.IR
Generalized Relative Neighborhood Graph (GRNG) for Similarity Search
相似性搜索是在各种数据集上进行信息检索的基本构建块。邻居的概念通常基于二元考虑，例如k个最近邻居。然而，考虑到数据通常被组织为具有低内在维度的流形，邻居的概念必须识别高阶关系，以捕获所有方向上的邻居。邻近图，如相对邻居图（RNG），使用捕获方向概念的三元关系，并已成功地用于许多应用程序中。然而，当前用于计算RNG的算法尽管被广泛使用，但是是近似的并且不可扩展。本文提出了一种新型的图，广义相对邻域图（GRNG）中使用的枢轴层，然后指导一组样本的RNG的高效和准确的建设。它还展示了如何将其扩展到一个多层层次结构，该层次结构显着改善了只能构建近似RNG的最新方法。
2022-08-22 cs.IR
PolyMinHash: Efficient Area-Based MinHashing of Polygons for Approximate Nearest Neighbor Search
Missouri S&T（密苏里科技大学）
PolyMinHash通过二维多边形哈希方案实现高效近似最近邻搜索，显著减少候选处理数量。
2025-11-20 cs.IR
Dynamic Similarity Search on Integer Sketches
相似性保持散列是用于快速相似性搜索的核心技术，并且它将度量空间中的数据点随机映射到离散符号串（即，在Hamming空间中。虽然传统的散列技术产生二进制草图，最近的产生整数草图，以保持各种相似性措施。然而，大多数相似性搜索方法是针对二进制草图设计的，对于整数草图效率低下。此外，大多数方法要么不适用于动态数据集，要么效率低下，尽管现代现实世界的数据集随着时间的推移而更新。我们提出了动态过滤trie（DyFT），一个动态的相似性搜索方法的二进制和整数草图。使用大型真实世界数据集进行的广泛实验分析表明，DyFT在可扩展性，时间性能和内存效率方面表现出色。例如，在一个包含2.16亿个数据点的庞大数据集上，DyFT执行相似性搜索的速度比最先进的方法快6,000倍，同时内存减少到十三分之一。
2020-09-24 cs.DS cs.IR
FPScreen: A Rapid Similarity Search Tool for Massive Molecular Library Based on Molecular Fingerprint Comparison
我们设计了一个针对大型分子库的快速相似性搜索引擎：FPScreen。我们在PubChem中下载了1亿个分子的结构文件，并使用SDF扩展名，然后应用计算化学工具RDKit将每个结构文件转换为MACCS格式的一行文本，并将其存储在文本文件中作为我们的分子库。相似性搜索引擎在逐行遍历库文件中的166位位串的同时比较相似性。FPScreen可以在一小时内完成对分子库中1亿个条目的相似性搜索。作为一个生物计算工具，这是非常快的。此外，我们将我们的库划分为几个步幅以进行并行处理。FPScreen是在WEB模式下开发的。
2019-06-13 cs.IR cs.OH
Forward Backward Similarity Search in Knowledge Networks
相似性搜索是GitHub、DBLP、Wikipedia等社交和知识网络中的一个基本问题，现有的网络相似性度量方法由于只从查询节点的角度考虑相似性而受到限制。然而，由于现实世界的网络拓扑结构的复杂性，忽略目标节点的偏好往往会导致奇怪或不直观的性能。在这项工作中，我们提出了一个双视角的相似性度量称为向前向后相似性（FBS），有效地计算拓扑相似性的角度来看，查询节点和候选节点的角度。我们的方法的有效性进行了评估，传统的定量排名指标和大规模的人类判断四个大型现实世界的网络。该方法符合人类的偏好，并优于其他相似性搜索算法的社区重叠和链接预测。最后，我们展示了五位著名研究人员在学术合作网络上的前5名排名，以说明我们的方法如何比其他方法更直观地捕捉语义。
2016-11-28 cs.IR cs.SI
Inference-Based Similarity Search in Randomized Montgomery Domains for Privacy-Preserving Biometric Identification
相似性搜索对于许多重要的应用是必不可少的，并且通常涉及基于其与查询的相似性对高维数据进行大规模搜索。在生物识别应用中，最近的漏洞研究表明，对抗性机器学习可以通过利用生物识别相似性信息来危害生物识别系统。现有的生物计量隐私保护方法通常基于安全生物计量模板的成对匹配，并且在搜索效率和可扩展性方面具有固有的限制。在本文中，我们提出了一个基于推理的框架，隐私保护的相似性搜索在汉明空间。我们的方法建立在一个模糊的距离测量，可以隐藏汉明距离在一个动态的间隔。这样的机制使我们能够系统地设计统计可靠的方法来检索最有可能的候选人，而不知道确切的距离值。我们进一步建议应用蒙哥马利乘法生成搜索索引，可以承受对抗性的相似性分析，并表明随机蒙哥马利域的信息泄漏可以忽略不计的小。我们在公共生物特征数据集上的实验表明，基于推理的方法可以实现接近安全计算方法的最佳性能的搜索精度，但与加密原语相比，相关的成本降低了几个数量级。
2017-11-05 cs.CR cs.IR
Similarity search on neighbor's graphs with automatic Pareto optimal performance and minimum expected quality setups based on hyperparameter optimization
Consejo Nacional de Ciencia y Tecnología - Conacyt（国家科学与技术委员会 - Conacyt）；INFOTEC Centro de Investigación e Innovación en Tecnologías de la Información y Comunicación（INFOTEC 信息与通信技术创新研究中心）；CentroGEO Centro de Investigación en Ciencias de Información Geoespacial（CentroGEO 地理空间信息科学研究中心）
本文介绍了一种基于邻居图和优化元分析的自动调整算法，用于搜索最近邻居，以自动产生质量和搜索速度的帕累托最优搜索;同样的策略也用于产生达到最低质量的索引。我们的方法描述和基准与其他国家的最先进的相似性搜索方法，显示出方便性和竞争力。
2022-01-19 cs.AI cs.IR
Fast top-K Cosine Similarity Search through XOR-Friendly Binary Quantization on GPUs
Tencent（腾讯）
我们探索使用GPU来加速大规模最近邻搜索，我们提出了一种快速的基于矢量量化的穷举最近邻搜索算法，可以实现高精度，而无需任何专门为余弦相似性设计的索引结构。该算法使用一种新颖的XOR友好的二进制量化方法来编码浮点数，使得高复杂度的乘法可以优化为低复杂度的逐位运算。实验结果表明，该量化方法预处理时间短，在精度要求较高的情况下，穷举搜索算法的搜索速度比常用的近似最近邻算法快得多。
2020-08-05 cs.CV cs.IR
Rethinking Similarity Search: Embracing Smarter Mechanisms over Smarter Data
本文提出提升相似性搜索有效性的新视角，倡导在提升数据质量的同时增强底层搜索机制，通过利用隐式数据结构、引入用户迭代反馈和超越单一查询向量三条新途径重新定义该问题，并探讨相关挑战与初步发现。
2023-08-02 cs.DB cs.IR
GB-KMV: An Augmented KMV Sketch for Approximate Containment Similarity Search
本文研究了近似包含相似性搜索问题。给定两个记录Q和X，Q和X之间关于Q的包含相似性为：|Q与X相交|/ |Q|。给定查询记录Q和记录集合S，包含相似性搜索从S中找到关于Q的包含相似性不小于给定阈值的记录集合。该问题在商业和科学领域有许多重要的应用，如记录匹配和域搜索。现有的解决方案依赖于非对称LSH方法，通过将包容相似性转换为研究充分的Jaccard相似性。在本文中，我们使用一个不同的框架，通过转换的包含相似集交集。我们提出了一种新的增强KMV草图技术，即GB-KMV，这是数据相关的，可以实现草图的大小和准确性之间的一个很好的折衷。我们提供了一组理论分析，以支持建议的增强KMV草图技术，并表明它优于最先进的技术LSH-E在实际假设下的估计精度。我们在真实数据集上的综合实验验证了GB-KMV在空间精度权衡，时间精度权衡和草图构建时间方面优于LSH-E。例如，在类似的估计精度（F-1分数）下，GB-KMV在一些真实数据集上比LSH-E快100倍以上。
2018-09-03 cs.DB cs.IR
Similarity Search with Tensor Core Units
张量核心单元（TCU）是为深度神经网络开发的硬件加速器，它有效地支持两个密集$\sqrt{m}\times \sqrt{m}$矩阵的乘法，其中$m$是给定的硬件参数。在本文中，我们表明，TCU可以加快相似性搜索问题。我们提出了算法的Johnson-Lindenstrauss降维和相似性连接，通过利用TCU，实现了$\sqrt{m}$加速相对于传统的方法。
2020-06-22 cs.DC cs.DS cs.IR
LLM-assisted Vector Similarity Search
Grab（Grab公司）
本文提出一种将向量相似性搜索与LLM相结合的两步混合检索方法，先用向量搜索筛选候选，再用LLM进行上下文感知排序，以提升复杂查询的搜索准确性，同时保持效率。
2024-12-30 cs.AI cs.IR cs.LG
A Study on Passage Re-ranking in Embedding based Unsupervised Semantic Search
IBM Research（IBM研究）；IBM Watson
用于（基于嵌入的）无监督语义搜索的现有技术方法利用（查询和段落的）组成相似性或（来自查询和段落的）成对词（或术语）相似性。通过设计，基于单词的方法不包含更大上下文（查询/段落）中的相似性，而基于成分相似性的方法通常无法利用上下文中最重要的线索。在本文中，我们提出了一种新的成分相似性为基础的方法，称为可变质心向量（VCVB），试图解决这两个限制。我们还提出了使用不同类型的成分相似性为基础的方法，利用通用的句子嵌入的结果。我们提供了两个不同的基准的实证评估。
2019-03-13 cs.CL cs.IR
Visual-Interactive Similarity Search for Complex Objects by Example of Soccer Player Analysis
Technische Universität Darmstadt（达姆施塔特工业大学）；St. Pölten University of Applied Sciences（圣帕尔滕应用科学大学）；Fraunhofer Institute for Computer Graphics Research（弗劳恩霍夫计算机图形学研究所）
在数据挖掘、信息检索或机器学习中分析复杂数据类型时，相似性的定义是一个关键的先决条件。然而，有意义的定义往往是由数据对象的复杂性，特别是由目标用户组中潜在的主观相似性的不同概念的阻碍。以足球运动员为例，我们提出了一个视觉交互系统，学习用户的心理模型的相似性。在视觉交互界面中，用户能够根据他们主观的相似性概念来标记足球运动员对。我们提出的相似性模型自动学习各自的概念相似性使用主动学习策略。一个可视化的交互式检索技术提供了验证模型，并执行下游检索任务的足球运动员分析。该方法的适用性表现在不同的评估策略，包括使用的验证和交叉验证测试。
2017-03-09 cs.IR cs.LG
Similarity based Dynamic Web Data Extraction and Integration System from Search Engine Result Pages for Web Content Mining
有一个爆炸性的增长，在万维网上的信息，从而提出了一个挑战，Web用户从Web上提取的基本知识。搜索引擎以搜索引擎结果页面（SERP）的形式帮助我们缩小搜索范围。Web内容挖掘是帮助用户从这些SERP中提取有用信息的技术之一。在本文中，我们提出了两个相似性为基础的机制; WDES，提取所需的SERP和存储在本地存储离线浏览和WDICS，整合所需的内容，使用户能够执行预期的分析，并提取所需的信息。实验结果表明，WDES和WDICS在查准率和查全率方面优于DEPTA [1]。
2013-03-23 cs.DB cs.IR
Adaptive Prefiltering for High-Dimensional Similarity Search: A Frequency-Aware Approach
Vulture Labs, Inc.（Vulture Labs公司）
本文提出一种频率感知的自适应预过滤框架，通过动态分配计算预算提升高维相似性搜索效率，实验表明其在保持召回率的同时减少20.4%的距离计算。
2025-12-03 cs.CV cs.IR
Applying Transfer Learning for Improving Domain-Specific Search Experience Using Query to Question Similarity
Artificial Intelligence, CoE（人工智能卓越中心）；Fidelity Investments（富达投资）
搜索是最常用的信息搜索平台之一。然而，每当用户使用这样的平台来解决他们的查询时，他们大多会收到过多的结果。如今，对查询的直接回答作为搜索体验的一部分被提供。问答（QA）检索过程在丰富搜索体验方面起着重要作用。大多数现成的语义文本相似性模型对于格式良好的搜索查询都能很好地工作，但是当应用于特定于域的设置时，它们的性能会降低，该设置具有普遍存在的不完整或语法不正确的搜索查询。在本文中，我们讨论了一个框架，用于计算一个给定的输入查询和一组预定义的问题之间的相似性，以检索的问题，它最匹配。我们已经将其用于金融领域，但该框架适用于任何特定领域的搜索引擎，也可以用于其他领域。我们在长短期记忆（LSTM）[3]模型上使用暹罗网络[6]来训练分类器，该分类器为给定的一对问题生成未归一化和归一化的相似性得分。此外，对于这些问题对中的每一个，我们计算了其他三个相似性分数：它们的平均word2vec嵌入之间的余弦相似性[15]，使用RoBERTa [17]生成的句子嵌入之间的余弦相似性[7]以及它们的自定义模糊匹配分数。最后，我们使用支持向量机[19]开发了一个元分类器，用于结合这五个分数来检测给定的一对问题是否相似。我们在Quora Question Pairs（QQP）数据集以及特定于金融领域的数据集上对现有的最先进（SOTA）模型进行了性能基准测试。
2021-01-07 cs.CL cs.IR
Similarity search in the blink of an eye with compressed indices
Intel Labs（英特尔实验室）
针对十亿级向量相似性搜索中基于图的索引随机访存限制性能的问题，提出局部自适应向量压缩方法LVQ结合高性能图搜索系统，实现性能与内存效率的双重突破，大幅刷新业界标杆。
2023-07-24 cs.IR cs.LG
Distributed Tera-Scale Similarity Search with MPI: Provably Efficient Similarity Search over billions without a Single Distance Computation
Rice University（莱斯大学）
我们提出了SLASH（草图局部敏感哈希），MPI（消息传递接口）为基础的分布式系统的近似相似性搜索TB级规模的数据集。SLASH提供了流行的LSH（局部敏感哈希）算法的多节点实现，该算法通常在单个机器上实现。我们展示了如何在LSH算法中添加重打击者草图来证明解决（高）相似性搜索问题，而无需单个距离计算。总体而言，我们数学上表明，在现实的数据假设下，我们可以确定一个给定的查询$q$的近邻在次线性（$ \ll O(n)$）数量的简单的草图聚合操作。为了使这样一个系统实用，我们提供了一个新颖的设计和草图解决方案，以减少机器间的通信开销指数。在可比硬件上的直接比较中，SLASH比PySpark中流行的LSH包快10000倍以上。PySpark是LSH算法在大型数据集上的广泛采用的分布式实现，并部署在商业平台上。最后，我们展示了我们的系统如何扩展到具有超过40亿个样本的Tera-scale Criteo数据集。SLASH可以在不到一小时的时间内为20个节点上的2.3TB数据建立索引，查询时间只需几毫秒。据我们所知，目前还没有一个开源系统可以对Criteo进行商品集群索引和相似性搜索。
2020-08-17 cs.DB cs.DC cs.IR
Intent Classification on Low-Resource Languages with Query Similarity Search
Bloomberg L.P.（贝莱德公司）
针对低资源语言意图分类困难，提出将意图分类视为查询相似度搜索，利用示例查询定义意图，在零样本设置下实现合理性能。
2025-05-23 cs.AI cs.IR
Search Engine Similarity Analysis: A Combined Content and Rankings Approach
Athens University of Economics and Business（雅典经济与商业大学）
搜索引擎有什么不同？搜索引擎大战是网络分析师最喜欢的话题，因为世界上最大的两家公司，谷歌和微软，正在为争夺网络搜索空间的主导地位而战。搜索引擎受欢迎程度的差异可以通过其有效性或其他因素来解释，例如对最受欢迎的第一个引擎的熟悉程度，同行模仿或习惯力量。在这项工作中，我们提出了两个主要的搜索引擎，谷歌和必应，以及DuckDuckGo的亲和力的透彻分析，其中去了很大的篇幅，以强调其隐私友好的凭据。为此，我们使用2016年和2019年两个时间段的300个唯一查询的综合集合收集了搜索结果，并开发了一个新的相似性度量，该度量利用了搜索响应的内容和排名。我们评估了该度量的特征，并将其用于（1）调查搜索引擎结果的相似性，（2）它们的亲和力随时间的演变，（3）结果的哪些方面影响相似性，以及（4）该度量在不同类型的搜索服务中有何不同。我们发现，谷歌是与众不同的，但Bing和DuckDuckGo在很大程度上是无法区分的。
2020-11-06 cs.IR cs.LG
Multimodal Embeddings for 3D Similarity Search in Semantic Web-of-Things Digital-Twin Platforms
Univ Rennes, Inria, CNRS, IRISA（雷恩大学、法国国家信息与自动化研究所、法国国家科学研究中心、IRISA）；Orange Research（橙研）
本文针对语义物联网数字孪生平台缺乏三维相似度搜索能力的问题，提出多模态嵌入框架，在Thing'in平台实现后经S3DIS验证，可支持混合本体-向量查询，满足相关领域的三维相似度搜索需求。
2026-08-04 cs.DB cs.IR
NearBucket-LSH: Efficient Similarity Search in P2P Networks
我们提出了NearBucket-LSH，一个有效的算法相似性搜索在大规模分布式在线社交网络组织为对等覆盖。由于通信是分布式系统中的一个主要考虑因素，我们专注于最大限度地减少网络成本，同时保证良好的搜索质量。我们的算法是基于局部敏感哈希（LSH），它限制了搜索对象的集合，称为桶，有很高的概率是类似的查询。更具体地说，NearBucket-LSH采用了在近桶中搜索的LSH扩展，提高了搜索质量，但也显著增加了网络成本。我们通过考虑LSH和P2P覆盖的内部结构，并利用它们的属性来满足我们的需求，从而降低了网络成本。我们表明，我们的NearBucket-LSH提高了搜索质量为一个给定的网络成本相比，以前的艺术。在许多情况下，搜索质量提高了50%以上。
2015-11-23 cs.DC cs.IR cs.SI
HQANN: Efficient and Robust Similarity Search for Hybrid Queries with Structured and Unstructured Constraints
内存中近似最近邻搜索（ANNS）算法在快速高查全率查询处理方面取得了巨大成功，但在处理具有非结构化（即，特征向量）和结构化（即，相关属性）约束。在本文中，我们提出了HQANN，一个简单而高效的混合查询处理框架，可以很容易地嵌入到现有的基于邻近图的人工神经网络算法。我们保证低延迟和高召回利用属性之间的导航感和融合向量相似性搜索与属性过滤。在公共和内部数据集上的实验结果表明，HQANN比最先进的混合ANNS解决方案快10倍，以达到相同的召回质量，其性能几乎不受属性复杂性的影响。它可以在大约50微秒内达到99\% recall@10在GLOVE-1.2M上具有数千个属性约束。
2022-07-16 cs.DB cs.IR
Scalable Locality-Sensitive Hashing for Similarity Search in High-Dimensional, Large-Scale Multimedia Datasets
相似性搜索对于许多数据库应用至关重要，包括日益流行的基于内容的多媒体检索（CBMR）在线服务。这些服务，包括图像搜索引擎，必须处理大量的数据，同时保持较低的响应时间。因此，可扩展性是必不可少的相似性搜索在Web规模的应用程序，但大多数现有的方法是顺序和目标共享内存的机器。在这里，我们解决了这些问题，一个分布式的，高效的，可扩展的索引基于局部敏感哈希（LSH）。LSH是最有效和最流行的相似性搜索技术之一，但其不良的引用局部性使其实现具有挑战性的问题。我们的解决方案是基于一个广泛的异步并行化，具有许多优化，包括分层并行化解耦索引和数据存储，本地感知的数据分区策略，以减少消息传递，和多探测，以限制内存使用。建议的并行化达到了90%的效率，在分布式系统约800个CPU核心。特别是，原始的本地感知数据分区将交换的消息数量减少了30%。我们的并行LSH使用最大的公共数据集进行相似性搜索（据我们所知），从Web图像中提取$10^9$ 128-d SIFT描述符。这比以前的LSH并行化可以处理的数据集大两个数量级。
2013-10-15 cs.DB cs.DC cs.IR
LEMUR: Learned Multi-Vector Retrieval
Department of Computer Science, University of Helsinki, Helsinki, Finland（赫尔辛基大学计算机科学系）
LEMUR通过将多向量相似性搜索转化为监督学习问题，并利用现有单向量搜索索引加速检索，实现了高效的多向量相似性搜索，比现有方法快一个数量级。
2026-05-21 cs.IR cs.LG
Utilizing Low-Dimensional Molecular Embeddings for Rapid Chemical Similarity Search
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Eshelman School of Pharmacy, UNC Chapel Hill（北卡罗来纳大学教堂山分校埃谢尔曼药学院）；Department of Pharmacology, UNC Chapel Hill（北卡罗来纳大学教堂山分校药理学系）；Joint Department of Biomedical Engineering at UNC Chapel Hill and NCSU（北卡罗来纳大学教堂山分校与北卡罗来纳州立大学生物医学工程联合系）
针对化学相似性搜索中暴力搜索计算成本高的问题，提出结合低维分子嵌入与k-d树数据结构的快速搜索框架，在单核CPU上实现十亿级化学品秒级检索，较暴力搜索快五个数量级且保持基准竞争力。
2024-02-12 cs.IR cs.LG
Towards Math-Aware Automated Classification and Similarity Search of Scientific Publications: Methods of Mathematical Content Representations
Faculty of Informatics, Masaryk University（马萨里克大学信息学院）
在本文中，我们调查的数学内容表示适用于自动分类和STEM文档中的相似性搜索使用标准的机器学习算法：潜在狄利克雷分配（LDA）和潜在语义索引（LSI）。这些方法在arXiv.org论文的一个子集上进行评估，数学主题分类（MSC）作为参考分类，并使用标准的精确度/召回率/F1度量指标。这些结果让我们深入了解不同的数学表示如何影响STEM存储库中分类和相似性搜索任务的性能。毫不奇怪，机器学习方法能够从文本标记中获取分布式语义。适当选择表示数学的加权标记可以稍微提高结果的质量。一个结构化的数学表示，模仿成功的文本处理技术与数学，产生更好的结果比平面TeX令牌。
2021-10-08 cs.AI cs.CL cs.IR
Improved Fast Similarity Search in Dictionaries
我们设计了一个算法来解决近似字典匹配问题。给定单词列表$\mathcal{W}$、在预处理时固定的最大距离$d$和查询单词$q$，我们希望从$\mathcal{W}$中检索所有可以通过$d$或更少的编辑操作转换为$q$的单词。我们提出的数据结构，支持容错查询生成一个索引。最重要的是，我们提出了一个概括的方法，大大减轻了内存消耗和预处理时间。同时，查询的运行时间几乎不受影响。我们能够在合理的距离内在微秒内匹配数十万个单词的列表。
2010-08-18 cs.DS cs.IR
HetFS: A Method for Fast Similarity Search with Ad-hoc Meta-paths on Heterogeneous Information Networks
Fudan University（复旦大学）；Shanghai Key Laboratory of Data Science（上海数据科学重点实验室）
HetFS提出一种针对异构信息网络即席元路径查询的快速相似性搜索方法，结合路径信息与节点内容，在精度和效率上优于现有HGNN与路径方法，并适用于链接预测、节点分类和聚类等下游任务。
2025-02-22 cs.IR cs.LG cs.SI
Web Similarity in Sets of Search Terms using Database Queries
Drexel University（德雷塞尔大学）；CWI（荷兰国家数学与计算机科学研究中心）；University of Amsterdam（阿姆斯特丹大学）
归一化网络距离（NWD）是基于万维网或另一个大型电子数据库（例如维基百科）和返回可靠的聚合页面计数的搜索引擎的相似性或归一化语义距离。对于搜索词的集合，NWD给出了从0（相同）到1（完全不同）的尺度上的共同相似性（共同语义）。NWD根据所有（上半）可计算属性近似集合成员的相似性。我们开发的理论，并给出应用程序的分类使用亚马逊，维基百科，和NCBI网站从美国国立卫生研究院。最后一个给出了健康危害之间的新的相关性。NWD对两个的集合的限制产生较早的归一化谷歌距离（NGD），但是集合中的对的NGD的组合不能提取NWD从集合中提取的信息。NWD使一种新的上下文（不同的数据库）学习方法基于Kolmogorov复杂性理论，结合这些数据库的知识。
2020-07-23 cs.CL cs.CV cs.IR
Bayesian Locality Sensitive Hashing for Fast Similarity Search
The Ohio State University（俄亥俄州立大学）
给定一组对象和相关的相似性度量，所有对相似性搜索问题要求我们找到所有相似性大于某个用户指定阈值的对象对。基于局部敏感哈希（LSH）的方法已经成为解决这个问题的一种非常流行的方法。然而，大多数这样的方法仅在相似性搜索的第一阶段使用LSH-即用于候选生成的有效索引。在本文中，我们提出了BayesLSH，一个原则性的贝叶斯算法的后续阶段的相似性搜索-执行候选人修剪和相似性估计使用LSH。一个更简单的变种，贝叶斯LSH-Lite，它计算相似性，也提出了。BayesLSH能够快速修剪掉大部分假阳性候选对，从而使基线方法的速度显著提高。对于BayesLSH，我们还在准确率和召回率方面对输出质量提供概率保证。最后，BayesLSH的输出质量可以很容易地调整，并且不需要手动设置用于相似性估计的哈希数，这与标准方法不同。对于两种最先进的候选生成算法，AllPairs和LSH，BayesLSH能够显著加速，通常在2x-20 x范围内用于各种数据集。
2012-03-28 cs.AI cs.DB cs.DS
Billion-scale Similarity Search Using a Hybrid Indexing Approach with Advanced Filtering
BULGARIAN ACADEMY OF SCIENCES（保加利亚科学院）；Sofia University “St. Kliment Ohridski”（索非亚大学“圣·克利门特·奥赫里德斯基”）
本文提出一种面向CPU的十亿级相似性搜索混合索引方法，扩展IVF-Flat结构以集成多维过滤，实现高维空间快速检索，并通过案例研究验证其有效性与实用性。
2025-01-23 cs.DB cs.DC cs.IR
Towards Generalizable Semantic Product Search by Text Similarity Pre-training on Search Click Logs
Wayfair LLC（Wayfair有限责任公司）
最近，语义搜索已经成功地应用于电子商务产品搜索，并且用于查询和产品编码的学习的语义空间被期望推广到看不见的查询或产品。然而，推广是否可以方便地出现，迄今为止，在该领域还没有深入研究。在本文中，我们检查了几个通用领域和特定领域的预训练Roberta变体，并发现通用领域微调无助于泛化，这与现有技术的发现一致。基于对公开可用的手动注释查询-产品对数据的分桶分析，使用点击流数据进行适当的特定领域微调可以带来更好的模型泛化
2022-04-28 cs.AI cs.CL cs.IR
Musical Audio Similarity with Self-supervised Convolutional Neural Networks
Epidemic Sound（流行病声音公司）
我们已经建立了一个音乐相似性搜索引擎，让视频制作人搜索的音乐摘录，作为传统的全文搜索的补充。我们的系统通过训练具有三重损失项和音乐变换的自监督卷积神经网络，在大型音乐目录中建议类似的发声轨道段。半结构化的用户访谈表明，我们可以成功地打动专业视频制作人的搜索体验的质量，并在用户测试中的查询轨道平均7.8/10感知相似性。我们相信这个搜索工具将提供更自然的搜索体验，更容易找到音乐和配乐视频。
2022-02-04 cs.IR cs.LG cs.MM
Sparse Ternary Codes for similarity search have higher coding gain than dense binary codes
University of Geneva（日内瓦大学）
本文研究了模式识别中的近似最近邻（ANN）搜索问题，其中数据库中的特征向量被编码为紧凑代码，以加快在大规模数据库中的相似性搜索。从信息论的角度考虑ANN问题，我们将其解释为一种编码，将原始特征向量映射到熵较小的稀疏表示，同时要求它们尽可能提供信息。然后，我们定义的编码增益ANN搜索使用信息理论的措施。接下来，我们表明，这个问题的经典方法，其中包括二进制化的投影向量是次优的。相反，适当设计的三进制编码实现更高的编码增益和更低的复杂度。
2017-04-25 cs.CV cs.IR cs.IT
Interleaved Composite Quantization for High-Dimensional Similarity Search
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
相似性搜索从高维向量的数据集中检索查询向量的最近邻居。随着数据集大小的增长，执行实现查询所需的距离计算的成本可能变得过高。通常用于减少这种计算成本的方法是向量空间的量化和数据集向量的基于位置的编码。这些编码可以在查询处理期间使用，以快速找到查询点的近似最近邻。通过使用较短的码可以提高搜索速度，但是较短的码具有较高的量化误差，导致精度降低。在这项工作中，我们提出了交错复合量化（ICQ），实现快速相似性搜索，而不使用较短的代码。在ICQ中，代码的一个小子集用于近似距离，只有在必要时才使用完整的代码。我们的方法有效地减少了码长和量化误差。此外，ICQ与最近提出的几种用于减少量化误差的技术兼容，并且可以与这些其他技术结合使用以改善结果。我们证实了这些说法，并使用几个合成和真实的数据集显示ICQ强大的实证性能。
2019-12-19 cs.IR cs.LG stat.ML
Representation Learning for Efficient and Effective Similarity Search and Recommendation
如何表示和操作数据对于构建有效和高效的计算解决方案至关重要。一种常见的方法是将数据对象表示为二进制向量，表示为\textit{hash codes}，其需要很少的存储，并且通过直接索引到哈希表中或通过在适当空间中的相似性计算来实现有效的相似性搜索。由于散列码的可表达性有限，与实值表示相比，一个核心的开放挑战是如何生成散列码，使用少量的位来很好地捕获语义内容或潜在属性，同时确保散列码以不降低其搜索效率的方式分布。现有技术的方法使用表示学习来生成这样的散列码，集中于神经自动编码器架构，其中通过学习重构散列码的原始输入来将语义编码到散列码中。本论文解决了上述挑战，并作出了一些贡献，表示学习，（一）提高哈希码的有效性，通过更有表现力的表示和更有效的相似性措施比目前的最先进的，即汉明距离，和（ii）提高哈希码的效率，通过学习表示，特别是适合于搜索方法的选择。的贡献进行了经验验证的几个任务相关的相似性搜索和推荐。
2021-09-04 cs.AI cs.CL cs.IR
Axiomatic Explanations for Visual Search, Retrieval, and Similarity Learning
MIT（麻省理工学院）；Microsoft（微软）；Google（谷歌）
视觉搜索、推荐和对比相似性学习技术影响着全球数十亿用户。现代模型架构可能很复杂，很难解释，并且有几种相互竞争的技术可以用来解释搜索引擎的行为。我们表明，公平的信用分配理论提供了一个$\textit{unique}$公理化的解决方案，概括了现有的几个建议和度量的可解释性技术在文献中。使用这种形式主义，我们表明，当现有的方法违反“公平”，并得出回避这些缺点，自然处理反事实的信息的方法。更具体地说，我们现有的方法隐式近似二阶Shapley-Taylor指数和扩展CAM，GradCAM，LIME，SHAP，SBSM和其他方法的搜索引擎。这些扩展可以从训练的$\textit{opaque-box}$模型中提取图像之间的成对对应关系。我们还介绍了一个快速的基于内核的方法来估计Shapley-Taylor指数，需要数量级更少的函数评估收敛。最后，我们表明，这些博弈论的措施产生更一致的解释图像相似性架构。
2022-03-16 cs.CV cs.HC cs.IR
On the geometry of similarity search: dimensionality curse and concentration of measure
我们认为，在大数据集的相似性为基础的搜索影响的维数灾难是一种表现的现象的浓度的措施对高维结构。我们证明，在某些几何假设下的查询域$Ω$和数据集$X$，如果$Ω$满足所谓的浓度属性，那么对于大多数查询点$x^\ast$的球半径$(1+\e)d_X(x^\ast)$集中在$x^\ast$包含所有点的$X$或至少$C_1\exp(-C_2\e^2n)$的。这里，$d_X(x^\ast)$是从$x^\ast$到$X$中最近邻的距离，$n$是$Ω$的维数。
1999-01-12 cs.CG cs.DB cs.DS
A geometric framework for modelling similarity search
本文的目的是提出一个几何框架，在大型和多维数据空间的一般性质，这似乎是足够灵活，以解决诸如分析的复杂性，可索引性，和`灾难的维度相似性搜索建模。这种框架由所谓的相似性工作负载的概念提供，其是具有区别有限子空间$X$（数据集）的概率度量空间$Ω$（查询域），以及概念、技术和来自度量几何的结果的集合。它们包括度量变换、$\e$ -熵和高维结构上的测度集中现象等概念。特别是，我们讨论了后者的相关性，以了解灾难的维度。由于数据库社区目前正在重新发明其中的一些概念和技术，因此似乎有必要尝试弥合数据库研究与几何和分析领域已经完成的相关工作之间的差距。
1999-06-21 cs.DB cs.DS cs.IR
Diversity-Robust Acoustic Feature Signatures Based on Multiscale Fractal Dimension for Similarity Search of Environmental Sounds
Sapporo city university（札幌市立大学）；Hokkaido University（北海道大学）
本文提出了新的声学特征签名的基础上的多尺度分形维数（MFD），这是对环境声音的多样性鲁棒性，基于内容的相似性搜索。声源和声成分的多样性是环境声的一个典型特征。已经针对环境声音提出了若干声学特征。其中广泛使用的是梅尔频率倒谱系数（MFCC），它描述了频域特征。然而，除了频域中的这些特征之外，环境声音在具有各种时间尺度的时域中具有其他重要特征。在我们以前的论文中，我们提出了增强的多尺度分形维数签名（EMFD）的环境声音。本文通过使用核密度估计方法对EMFD进行扩展，从而提高了相似性搜索任务的性能。在此基础上，提出了另一种基于MFD的声学特征签名，即甚长距离多尺度分形维数签名（MFD-VL）。MFD-VL特征描述了长时间内时变包络的几个特征。MFD-VL签名具有稳定性和鲁棒性，可以抵抗现场记录中产生的背景噪声和声源参数的小波动。我们通过与DCASE 2018挑战中提出的声学特征进行比较，讨论了这些签名在相似性声音搜索中的有效性。由于我们所提出的签名的独特性，我们证实了签名与其他声学特征一起使用时是有效的。
2021-06-23 cs.IR cs.SD eess.AS
