Distributed Tera-Scale Similarity Search with MPI: Provably Efficient Similarity Search over billions without a Single Distance Computation
Rice University（莱斯大学）
我们提出了SLASH（草图局部敏感哈希），MPI（消息传递接口）为基础的分布式系统的近似相似性搜索TB级规模的数据集。SLASH提供了流行的LSH（局部敏感哈希）算法的多节点实现，该算法通常在单个机器上实现。我们展示了如何在LSH算法中添加重打击者草图来证明解决（高）相似性搜索问题，而无需单个距离计算。总体而言，我们数学上表明，在现实的数据假设下，我们可以确定一个给定的查询$q$的近邻在次线性（$ \ll O(n)$）数量的简单的草图聚合操作。为了使这样一个系统实用，我们提供了一个新颖的设计和草图解决方案，以减少机器间的通信开销指数。在可比硬件上的直接比较中，SLASH比PySpark中流行的LSH包快10000倍以上。PySpark是LSH算法在大型数据集上的广泛采用的分布式实现，并部署在商业平台上。最后，我们展示了我们的系统如何扩展到具有超过40亿个样本的Tera-scale Criteo数据集。SLASH可以在不到一小时的时间内为20个节点上的2.3TB数据建立索引，查询时间只需几毫秒。据我们所知，目前还没有一个开源系统可以对Criteo进行商品集群索引和相似性搜索。
2020-08-17 cs.DB cs.DC cs.IR
Similarity search in the blink of an eye with compressed indices
Intel Labs（英特尔实验室）
针对十亿级向量相似性搜索中基于图的索引随机访存限制性能的问题，提出局部自适应向量压缩方法LVQ结合高性能图搜索系统，实现性能与内存效率的双重突破，大幅刷新业界标杆。
2023-07-24 cs.IR cs.LG
Search Engine Similarity Analysis: A Combined Content and Rankings Approach
Athens University of Economics and Business（雅典经济与商业大学）
搜索引擎有什么不同？搜索引擎大战是网络分析师最喜欢的话题，因为世界上最大的两家公司，谷歌和微软，正在为争夺网络搜索空间的主导地位而战。搜索引擎受欢迎程度的差异可以通过其有效性或其他因素来解释，例如对最受欢迎的第一个引擎的熟悉程度，同行模仿或习惯力量。在这项工作中，我们提出了两个主要的搜索引擎，谷歌和必应，以及DuckDuckGo的亲和力的透彻分析，其中去了很大的篇幅，以强调其隐私友好的凭据。为此，我们使用2016年和2019年两个时间段的300个唯一查询的综合集合收集了搜索结果，并开发了一个新的相似性度量，该度量利用了搜索响应的内容和排名。我们评估了该度量的特征，并将其用于（1）调查搜索引擎结果的相似性，（2）它们的亲和力随时间的演变，（3）结果的哪些方面影响相似性，以及（4）该度量在不同类型的搜索服务中有何不同。我们发现，谷歌是与众不同的，但Bing和DuckDuckGo在很大程度上是无法区分的。
2020-11-06 cs.IR cs.LG
Fast Cosine Similarity Search in Binary Space with Angular Multi-index Hashing
University of Waterloo（滑铁卢大学）
给定一个大的数据集的二进制代码和一个二进制查询点，我们解决如何有效地找到$K$代码的数据集，产生最大的余弦相似的查询。这个问题的直接答案是将查询与数据集中的所有项进行比较，但这只适用于小数据集。一种增强搜索时间并实现次线性成本的潜在解决方案是使用填充有数据集的二进制代码的哈希表，然后查找查询的附近桶以检索最近的邻居。然而，如果代码在余弦相似性而不是汉明距离方面进行比较，则主要问题是要探测的桶的顺序不明显。为了研究这个问题，我们首先详细说明汉明距离和余弦相似性之间的联系。这样做允许我们系统地在哈希表中找到探测序列。然而，用单个表解决最近邻搜索仅对短二进制码是实用的。为了解决这个问题，我们提出了角度多索引哈希搜索算法，它依赖于建立多个哈希表的二进制代码子串。所提出的搜索算法解决了精确的角度$K$最近邻问题的时间，往往是数量级快于线性扫描基线，甚至近似方法。
2018-04-18 cs.DB cs.DS cs.IR
Advancing Similarity Search with GenAI: A Retrieval Augmented Generation Approach
提出一种用于相似性搜索的 RAG 方法，利用生成模型理解上下文并检索语义相似度，在 BIOSSES 上以温度 0.5、20 个提示示例取得 0.905 的 Pearson 相关性。
2024-12-03 cs.IR
FPScreen: A Rapid Similarity Search Tool for Massive Molecular Library Based on Molecular Fingerprint Comparison
我们设计了一个针对大型分子库的快速相似性搜索引擎：FPScreen。我们在PubChem中下载了1亿个分子的结构文件，并使用SDF扩展名，然后应用计算化学工具RDKit将每个结构文件转换为MACCS格式的一行文本，并将其存储在文本文件中作为我们的分子库。相似性搜索引擎在逐行遍历库文件中的166位位串的同时比较相似性。FPScreen可以在一小时内完成对分子库中1亿个条目的相似性搜索。作为一个生物计算工具，这是非常快的。此外，我们将我们的库划分为几个步幅以进行并行处理。FPScreen是在WEB模式下开发的。
2019-06-13 cs.IR cs.OH
Fishing in the Stream: Similarity Search over Endless Data
相似性搜索是检索与给定查询相似的数据项的任务。在本文中，我们介绍了时间敏感的概念相似性搜索在无尽的数据流（SSDS），它考虑到数据的质量和时间特性，除了相似性。SSDS是具有挑战性的，因为它需要处理无限的数据，而计算资源是有限的。我们提出了流LSH，一个随机SSDS算法，根据其新鲜度，质量和动态流行属性保留项目的索引大小的界限。我们分析表明，流LSH增加的概率，找到类似的项目相比，使用相同的空间容量的替代方法。我们进一步使用真实世界的流数据集进行了实证研究，证实了我们的理论结果。
2017-08-07 cs.IR
Forward Backward Similarity Search in Knowledge Networks
相似性搜索是GitHub、DBLP、Wikipedia等社交和知识网络中的一个基本问题，现有的网络相似性度量方法由于只从查询节点的角度考虑相似性而受到限制。然而，由于现实世界的网络拓扑结构的复杂性，忽略目标节点的偏好往往会导致奇怪或不直观的性能。在这项工作中，我们提出了一个双视角的相似性度量称为向前向后相似性（FBS），有效地计算拓扑相似性的角度来看，查询节点和候选节点的角度。我们的方法的有效性进行了评估，传统的定量排名指标和大规模的人类判断四个大型现实世界的网络。该方法符合人类的偏好，并优于其他相似性搜索算法的社区重叠和链接预测。最后，我们展示了五位著名研究人员在学术合作网络上的前5名排名，以说明我们的方法如何比其他方法更直观地捕捉语义。
2016-11-28 cs.IR cs.SI
On Projection Based Operators in Lp space for Exact Similarity Search
我们基于1-Lipschitz性质和投影算子研究了高维Lp范数的精确索引。描述了满足Lp范数的1-Lipschitz性质的正交投影。引入了由第一主成分定义的自适应投影。
2015-02-12 cs.IR
LEMUR: Learned Multi-Vector Retrieval
Department of Computer Science, University of Helsinki, Helsinki, Finland（赫尔辛基大学计算机科学系）
LEMUR通过将多向量相似性搜索转化为监督学习问题，并利用现有单向量搜索索引加速检索，实现了高效的多向量相似性搜索，比现有方法快一个数量级。
2026-05-21 cs.IR cs.LG
Utilizing Low-Dimensional Molecular Embeddings for Rapid Chemical Similarity Search
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Eshelman School of Pharmacy, UNC Chapel Hill（北卡罗来纳大学教堂山分校埃谢尔曼药学院）；Department of Pharmacology, UNC Chapel Hill（北卡罗来纳大学教堂山分校药理学系）；Joint Department of Biomedical Engineering at UNC Chapel Hill and NCSU（北卡罗来纳大学教堂山分校与北卡罗来纳州立大学生物医学工程联合系）
针对化学相似性搜索中暴力搜索计算成本高的问题，提出结合低维分子嵌入与k-d树数据结构的快速搜索框架，在单核CPU上实现十亿级化学品秒级检索，较暴力搜索快五个数量级且保持基准竞争力。
2024-02-12 cs.IR cs.LG
HetFS: A Method for Fast Similarity Search with Ad-hoc Meta-paths on Heterogeneous Information Networks
Fudan University（复旦大学）；Shanghai Key Laboratory of Data Science（上海数据科学重点实验室）
HetFS提出一种针对异构信息网络即席元路径查询的快速相似性搜索方法，结合路径信息与节点内容，在精度和效率上优于现有HGNN与路径方法，并适用于链接预测、节点分类和聚类等下游任务。
2025-02-22 cs.IR cs.LG cs.SI
Bayesian Locality Sensitive Hashing for Fast Similarity Search
The Ohio State University（俄亥俄州立大学）
给定一组对象和相关的相似性度量，所有对相似性搜索问题要求我们找到所有相似性大于某个用户指定阈值的对象对。基于局部敏感哈希（LSH）的方法已经成为解决这个问题的一种非常流行的方法。然而，大多数这样的方法仅在相似性搜索的第一阶段使用LSH-即用于候选生成的有效索引。在本文中，我们提出了BayesLSH，一个原则性的贝叶斯算法的后续阶段的相似性搜索-执行候选人修剪和相似性估计使用LSH。一个更简单的变种，贝叶斯LSH-Lite，它计算相似性，也提出了。BayesLSH能够快速修剪掉大部分假阳性候选对，从而使基线方法的速度显著提高。对于BayesLSH，我们还在准确率和召回率方面对输出质量提供概率保证。最后，BayesLSH的输出质量可以很容易地调整，并且不需要手动设置用于相似性估计的哈希数，这与标准方法不同。对于两种最先进的候选生成算法，AllPairs和LSH，BayesLSH能够显著加速，通常在2x-20 x范围内用于各种数据集。
2012-03-28 cs.AI cs.DB cs.DS
Inference-Based Similarity Search in Randomized Montgomery Domains for Privacy-Preserving Biometric Identification
相似性搜索对于许多重要的应用是必不可少的，并且通常涉及基于其与查询的相似性对高维数据进行大规模搜索。在生物识别应用中，最近的漏洞研究表明，对抗性机器学习可以通过利用生物识别相似性信息来危害生物识别系统。现有的生物计量隐私保护方法通常基于安全生物计量模板的成对匹配，并且在搜索效率和可扩展性方面具有固有的限制。在本文中，我们提出了一个基于推理的框架，隐私保护的相似性搜索在汉明空间。我们的方法建立在一个模糊的距离测量，可以隐藏汉明距离在一个动态的间隔。这样的机制使我们能够系统地设计统计可靠的方法来检索最有可能的候选人，而不知道确切的距离值。我们进一步建议应用蒙哥马利乘法生成搜索索引，可以承受对抗性的相似性分析，并表明随机蒙哥马利域的信息泄漏可以忽略不计的小。我们在公共生物特征数据集上的实验表明，基于推理的方法可以实现接近安全计算方法的最佳性能的搜索精度，但与加密原语相比，相关的成本降低了几个数量级。
2017-11-05 cs.CR cs.IR
Billion-scale Similarity Search Using a Hybrid Indexing Approach with Advanced Filtering
BULGARIAN ACADEMY OF SCIENCES（保加利亚科学院）；Sofia University “St. Kliment Ohridski”（索非亚大学“圣·克利门特·奥赫里德斯基”）
本文提出一种面向CPU的十亿级相似性搜索混合索引方法，扩展IVF-Flat结构以集成多维过滤，实现高维空间快速检索，并通过案例研究验证其有效性与实用性。
2025-01-23 cs.DB cs.DC cs.IR
A fast compression-based similarity measure with applications to content-based image retrieval
German Aerospace Center (DLR)（德国航空航天中心）
基于压缩的相似性度量可以有效地应用于各种数据类型的应用中，并且基本上没有参数。然而，在将这些技术应用于中型到大型数据集时存在很少解决的问题。本文提出了一种基于字典压缩的相似性度量，快速压缩距离（FCD），它降低了这些方法的复杂性，而不会降低性能。在此基础上定义了一个基于内容的彩色图像检索系统，它可以与基于不变颜色特征的最新方法相比较。通过FCD更好地理解基于压缩的技术，通过对比文献中迄今为止分析的数据集更大的数据集进行实验来实现。
2012-10-02 cs.IR cs.LG stat.ML
Similarity search on neighbor's graphs with automatic Pareto optimal performance and minimum expected quality setups based on hyperparameter optimization
Consejo Nacional de Ciencia y Tecnología - Conacyt（国家科学与技术委员会 - Conacyt）；INFOTEC Centro de Investigación e Innovación en Tecnologías de la Información y Comunicación（INFOTEC 信息与通信技术创新研究中心）；CentroGEO Centro de Investigación en Ciencias de Información Geoespacial（CentroGEO 地理空间信息科学研究中心）
本文介绍了一种基于邻居图和优化元分析的自动调整算法，用于搜索最近邻居，以自动产生质量和搜索速度的帕累托最优搜索;同样的策略也用于产生达到最低质量的索引。我们的方法描述和基准与其他国家的最先进的相似性搜索方法，显示出方便性和竞争力。
2022-01-19 cs.AI cs.IR
Eclipse Hashing: Alexandrov Compactification and Hashing with Hyperspheres for Fast Similarity Search
使用由大量数据组成的高维特征向量进行相似性搜索有着广泛的应用。进行快速相似性搜索的一种方式是将特征向量转换成二进制向量，并通过使用汉明距离来执行相似性搜索。这种变换是一种哈希方法，哈希函数的选择很重要。提出了使用超平面或超球面的散列方法。这里报告的一项研究受到了Spherical LSH的启发，我们使用hypersperes来散列特征向量。我们的方法，称为哈希算法，通过使用逆赤平投影来执行R^n的紧化，这是一种Alexandrov紧化。通过使用哈希，可以获得超球哈希函数，而无需显式使用超球。因此，减少了非线性运算的数量，并且散列的处理时间变得更短。此外，我们还表明，作为提高近似精度的结果，超平面散列是更准确的。
2014-06-16 cs.IR
Efficient Similarity Indexing and Searching in High Dimensions
由于对高维数据的不断开发和传统搜索方法对维数灾难的脆弱性，高维数据的有效索引和搜索一直是一个活跃的研究领域。本文提出了一种新的方法，快速和有效的搜索和索引的高维特征使用随机分区的特征空间。手写数字和三维形状描述符的实验表明，该算法是非常有效的和高效的索引和搜索数百维的真实数据集。我们还比较其性能的最先进的局部敏感哈希算法。
2015-05-12 cs.IR
Musical Audio Similarity with Self-supervised Convolutional Neural Networks
Epidemic Sound（流行病声音公司）
我们已经建立了一个音乐相似性搜索引擎，让视频制作人搜索的音乐摘录，作为传统的全文搜索的补充。我们的系统通过训练具有三重损失项和音乐变换的自监督卷积神经网络，在大型音乐目录中建议类似的发声轨道段。半结构化的用户访谈表明，我们可以成功地打动专业视频制作人的搜索体验的质量，并在用户测试中的查询轨道平均7.8/10感知相似性。我们相信这个搜索工具将提供更自然的搜索体验，更容易找到音乐和配乐视频。
2022-02-04 cs.IR cs.LG cs.MM
Towards Generalizable Semantic Product Search by Text Similarity Pre-training on Search Click Logs
Wayfair LLC（Wayfair有限责任公司）
最近，语义搜索已经成功地应用于电子商务产品搜索，并且用于查询和产品编码的学习的语义空间被期望推广到看不见的查询或产品。然而，推广是否可以方便地出现，迄今为止，在该领域还没有深入研究。在本文中，我们检查了几个通用领域和特定领域的预训练Roberta变体，并发现通用领域微调无助于泛化，这与现有技术的发现一致。基于对公开可用的手动注释查询-产品对数据的分桶分析，使用点击流数据进行适当的特定领域微调可以带来更好的模型泛化
2022-04-28 cs.AI cs.CL cs.IR
Fast top-K Cosine Similarity Search through XOR-Friendly Binary Quantization on GPUs
Tencent（腾讯）
我们探索使用GPU来加速大规模最近邻搜索，我们提出了一种快速的基于矢量量化的穷举最近邻搜索算法，可以实现高精度，而无需任何专门为余弦相似性设计的索引结构。该算法使用一种新颖的XOR友好的二进制量化方法来编码浮点数，使得高复杂度的乘法可以优化为低复杂度的逐位运算。实验结果表明，该量化方法预处理时间短，在精度要求较高的情况下，穷举搜索算法的搜索速度比常用的近似最近邻算法快得多。
2020-08-05 cs.CV cs.IR
Representation Learning for Efficient and Effective Similarity Search and Recommendation
如何表示和操作数据对于构建有效和高效的计算解决方案至关重要。一种常见的方法是将数据对象表示为二进制向量，表示为\textit{hash codes}，其需要很少的存储，并且通过直接索引到哈希表中或通过在适当空间中的相似性计算来实现有效的相似性搜索。由于散列码的可表达性有限，与实值表示相比，一个核心的开放挑战是如何生成散列码，使用少量的位来很好地捕获语义内容或潜在属性，同时确保散列码以不降低其搜索效率的方式分布。现有技术的方法使用表示学习来生成这样的散列码，集中于神经自动编码器架构，其中通过学习重构散列码的原始输入来将语义编码到散列码中。本论文解决了上述挑战，并作出了一些贡献，表示学习，（一）提高哈希码的有效性，通过更有表现力的表示和更有效的相似性措施比目前的最先进的，即汉明距离，和（ii）提高哈希码的效率，通过学习表示，特别是适合于搜索方法的选择。的贡献进行了经验验证的几个任务相关的相似性搜索和推荐。
2021-09-04 cs.AI cs.CL cs.IR
Interleaved Composite Quantization for High-Dimensional Similarity Search
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
相似性搜索从高维向量的数据集中检索查询向量的最近邻居。随着数据集大小的增长，执行实现查询所需的距离计算的成本可能变得过高。通常用于减少这种计算成本的方法是向量空间的量化和数据集向量的基于位置的编码。这些编码可以在查询处理期间使用，以快速找到查询点的近似最近邻。通过使用较短的码可以提高搜索速度，但是较短的码具有较高的量化误差，导致精度降低。在这项工作中，我们提出了交错复合量化（ICQ），实现快速相似性搜索，而不使用较短的代码。在ICQ中，代码的一个小子集用于近似距离，只有在必要时才使用完整的代码。我们的方法有效地减少了码长和量化误差。此外，ICQ与最近提出的几种用于减少量化误差的技术兼容，并且可以与这些其他技术结合使用以改善结果。我们证实了这些说法，并使用几个合成和真实的数据集显示ICQ强大的实证性能。
2019-12-19 cs.IR cs.LG stat.ML
Improved Fast Similarity Search in Dictionaries
我们设计了一个算法来解决近似字典匹配问题。给定单词列表$\mathcal{W}$、在预处理时固定的最大距离$d$和查询单词$q$，我们希望从$\mathcal{W}$中检索所有可以通过$d$或更少的编辑操作转换为$q$的单词。我们提出的数据结构，支持容错查询生成一个索引。最重要的是，我们提出了一个概括的方法，大大减轻了内存消耗和预处理时间。同时，查询的运行时间几乎不受影响。我们能够在合理的距离内在微秒内匹配数十万个单词的列表。
2010-08-18 cs.DS cs.IR
Unconventional application of k-means for distributed approximate similarity search
度量空间中基于距离函数的相似性搜索是许多应用中的基本问题。对相似对象的搜索导致了众所周知的最近邻识别的机器学习任务。许多数据索引策略，统称为度量访问方法（MAM），已被提出来加速在这种情况下对类似元素的查询。此外，由于解决相似性查询的精确方法可能是复杂且耗时的，因此已经出现了减少查询执行时间的替代选项，例如返回近似结果或诉诸分布式计算平台。在本文中，我们介绍了MASK（多级近似相似性搜索与$k$ -手段），一个非常规的应用程序的$k$ -手段算法的基础上的多级索引结构的近似相似性搜索，适用于度量空间。我们表明，固有属性的$k$ -手段，如表示高密度的数据区域，较少的原型，可以利用这一目的。这种新的索引方法的实现进行评估，使用合成数据集和真实世界的数据集在一个高维和高稀疏空间。结果是有前途的，并支持这种新的索引方法在多个领域的适用性。
2022-08-04 cs.IR
Axiomatic Explanations for Visual Search, Retrieval, and Similarity Learning
MIT（麻省理工学院）；Microsoft（微软）；Google（谷歌）
视觉搜索、推荐和对比相似性学习技术影响着全球数十亿用户。现代模型架构可能很复杂，很难解释，并且有几种相互竞争的技术可以用来解释搜索引擎的行为。我们表明，公平的信用分配理论提供了一个$\textit{unique}$公理化的解决方案，概括了现有的几个建议和度量的可解释性技术在文献中。使用这种形式主义，我们表明，当现有的方法违反“公平”，并得出回避这些缺点，自然处理反事实的信息的方法。更具体地说，我们现有的方法隐式近似二阶Shapley-Taylor指数和扩展CAM，GradCAM，LIME，SHAP，SBSM和其他方法的搜索引擎。这些扩展可以从训练的$\textit{opaque-box}$模型中提取图像之间的成对对应关系。我们还介绍了一个快速的基于内核的方法来估计Shapley-Taylor指数，需要数量级更少的函数评估收敛。最后，我们表明，这些博弈论的措施产生更一致的解释图像相似性架构。
2022-03-16 cs.CV cs.HC cs.IR
Semantic Vector Encoding and Similarity Search Using Fulltext Search Engines
向量表示和向量空间建模（VSM）在现代机器学习中起着核心作用。我们提出了一种新的方法来“向量相似性搜索”的密集语义表示的单词和文档，可以部署在传统的基于反向索引的全文引擎，利用其鲁棒性，稳定性，可扩展性和无处不在。我们表明，这种方法允许索引和查询密集向量的文本域。这为实现重大效率提升以及更简单的部署、扩展和监控开辟了令人兴奋的途径。最终的结果是一个快速和可扩展的向量数据库，在向量搜索性能和质量之间进行了可调的权衡，并得到了Elasticsearch等标准全文引擎的支持。我们经验证明其查询性能和质量，通过应用此解决方案的语义搜索任务在整个英文维基百科的密集矢量表示。
2017-06-03 cs.IR
On the geometry of similarity search: dimensionality curse and concentration of measure
我们认为，在大数据集的相似性为基础的搜索影响的维数灾难是一种表现的现象的浓度的措施对高维结构。我们证明，在某些几何假设下的查询域$Ω$和数据集$X$，如果$Ω$满足所谓的浓度属性，那么对于大多数查询点$x^\ast$的球半径$(1+\e)d_X(x^\ast)$集中在$x^\ast$包含所有点的$X$或至少$C_1\exp(-C_2\e^2n)$的。这里，$d_X(x^\ast)$是从$x^\ast$到$X$中最近邻的距离，$n$是$Ω$的维数。
1999-01-12 cs.CG cs.DB cs.DS
Rethinking Similarity Search: Embracing Smarter Mechanisms over Smarter Data
本文提出提升相似性搜索有效性的新视角，倡导在提升数据质量的同时增强底层搜索机制，通过利用隐式数据结构、引入用户迭代反馈和超越单一查询向量三条新途径重新定义该问题，并探讨相关挑战与初步发现。
2023-08-02 cs.DB cs.IR
GB-KMV: An Augmented KMV Sketch for Approximate Containment Similarity Search
本文研究了近似包含相似性搜索问题。给定两个记录Q和X，Q和X之间关于Q的包含相似性为：|Q与X相交|/ |Q|。给定查询记录Q和记录集合S，包含相似性搜索从S中找到关于Q的包含相似性不小于给定阈值的记录集合。该问题在商业和科学领域有许多重要的应用，如记录匹配和域搜索。现有的解决方案依赖于非对称LSH方法，通过将包容相似性转换为研究充分的Jaccard相似性。在本文中，我们使用一个不同的框架，通过转换的包含相似集交集。我们提出了一种新的增强KMV草图技术，即GB-KMV，这是数据相关的，可以实现草图的大小和准确性之间的一个很好的折衷。我们提供了一组理论分析，以支持建议的增强KMV草图技术，并表明它优于最先进的技术LSH-E在实际假设下的估计精度。我们在真实数据集上的综合实验验证了GB-KMV在空间精度权衡，时间精度权衡和草图构建时间方面优于LSH-E。例如，在类似的估计精度（F-1分数）下，GB-KMV在一些真实数据集上比LSH-E快100倍以上。
2018-09-03 cs.DB cs.IR
NearBucket-LSH: Efficient Similarity Search in P2P Networks
我们提出了NearBucket-LSH，一个有效的算法相似性搜索在大规模分布式在线社交网络组织为对等覆盖。由于通信是分布式系统中的一个主要考虑因素，我们专注于最大限度地减少网络成本，同时保证良好的搜索质量。我们的算法是基于局部敏感哈希（LSH），它限制了搜索对象的集合，称为桶，有很高的概率是类似的查询。更具体地说，NearBucket-LSH采用了在近桶中搜索的LSH扩展，提高了搜索质量，但也显著增加了网络成本。我们通过考虑LSH和P2P覆盖的内部结构，并利用它们的属性来满足我们的需求，从而降低了网络成本。我们表明，我们的NearBucket-LSH提高了搜索质量为一个给定的网络成本相比，以前的艺术。在许多情况下，搜索质量提高了50%以上。
2015-11-23 cs.DC cs.IR cs.SI
A geometric framework for modelling similarity search
本文的目的是提出一个几何框架，在大型和多维数据空间的一般性质，这似乎是足够灵活，以解决诸如分析的复杂性，可索引性，和`灾难的维度相似性搜索建模。这种框架由所谓的相似性工作负载的概念提供，其是具有区别有限子空间$X$（数据集）的概率度量空间$Ω$（查询域），以及概念、技术和来自度量几何的结果的集合。它们包括度量变换、$\e$ -熵和高维结构上的测度集中现象等概念。特别是，我们讨论了后者的相关性，以了解灾难的维度。由于数据库社区目前正在重新发明其中的一些概念和技术，因此似乎有必要尝试弥合数据库研究与几何和分析领域已经完成的相关工作之间的差距。
1999-06-21 cs.DB cs.DS cs.IR
Billion-scale similarity search with GPUs
Facebook AI Research（Facebook人工智能研究院）
相似性搜索在处理复杂数据（例如图像或视频）的专用数据库系统中找到应用，这些数据通常由高维特征表示并需要特定的索引结构。本文解决了更好地利用GPU完成这项任务的问题。虽然GPU擅长数据并行任务，但先前的方法被暴露较少并行性的算法所验证，例如k-min选择，或者对存储层次结构的利用不佳。我们提出了一种k-选择的设计，其运行速度高达理论峰值性能的55%，实现了比现有GPU最先进技术快8.5倍的最近邻实现。我们将其应用于不同的相似性搜索场景，通过提出基于乘积量化的蛮力，近似和压缩域搜索的优化设计。在所有这些设置中，我们的表现都远远超过了最先进的水平。我们的实现可以在35分钟内在Yfcc 100 M数据集的9500万张图像上构建高精度k-NN图，并在不到12小时的时间内在4个Maxwell Titan X GPU上构建连接10亿个向量的图。为了比较和可重复性，我们开放了我们的方法。
2017-02-28 cs.CV cs.DB cs.DS
Constrained Approximate Similarity Search on Proximity Graph
建立搜索引擎和推荐系统以有效地显示来自这些大量候选者的相关信息。通常，在这些系统中采用三阶段机制：（i）首先通过（例如，）近似近邻搜索算法;（ii）然后对检索到的项目应用一组约束;（iii）采用细粒度排名神经网络来确定最终推荐。我们观察到原始三阶段流水线的一个主要缺陷：虽然我们在最终建议中只针对检索$k$向量，但我们必须为每个查询预设足够大的$s$（$s > k$），并且“确保”过滤后存活的向量数量不小于$k$。即，$s$相似候选中的至少$k$向量满足查询约束。在本文中，我们研究这个受约束的相似性搜索问题，并试图合并的相似性搜索阶段和过滤阶段到一个单一的搜索操作。我们介绍了飞艇，一个系统，集成了用户定义的功能过滤到相似性搜索框架。建议的系统不需要建立额外的索引，也不需要先验知识的查询约束。我们提出了三种优化策略：（1）起点选择，（2）多方向搜索，（3）偏向优先级队列选择。仿真数据和实际数据的实验验证了算法的有效性。在这项研究中，我们专注于基于图的约束近似近邻（ANN）搜索，部分原因是基于图的ANN被称为实现出色的性能。我们相信也有可能开发基于约束哈希的ANN或基于约束量化的ANN。
2022-11-08 cs.IR
Approximating Categorical Similarity in Sponsored Search Relevance
赞助搜索是网络搜索引擎的主要收入来源。由于赞助搜索遵循点击付费模式，因此显示相关广告以获得点击至关重要。在查询-广告对的相关性建模中，已经探索了查询及其广告候选的匹配类别。该方法涉及将过去看到的查询的缓存类别与候选广告的类别进行匹配。由于查询具有重尾分布，因此该方法的覆盖范围有限。在这项工作中，我们提出了近似的类别相似性的查询广告对使用神经网络，特别是CLSM。查询（或文档）的嵌入是使用其三字母表示生成的，这允许覆盖尾部查询。与直接使用类别相比，结合此功能的离线实验显示AUC ROC提高了5.23%。A/B测试结果显示相关性提高了8.2%。
2018-12-01 cs.IR
Self-Taught Hashing for Fast Similarity Search
快速的大规模相似性搜索能力对于许多信息检索应用具有重要意义。加速相似性搜索的一种有前途的方法是语义哈希，它为大量文档设计紧凑的二进制代码，以便将语义相似的文档映射到相似的代码（在短的海明距离内）。虽然最近提出的一些技术能够生成高质量的代码的文件中已知的提前，获得以前看不见的文件的代码仍然是一个非常具有挑战性的问题。在本文中，我们强调这个问题，并提出了一种新的自学哈希（STH）的语义哈希方法：我们首先找到最佳的$l$位二进制代码的所有文件在给定的语料库中通过无监督学习，然后训练$l$分类器通过监督学习预测的$l$位代码的任何查询文档之前看不见的。我们在三个真实世界的文本数据集上的实验表明，所提出的方法使用二进制拉普拉斯特征映射（LapEig）和线性支持向量机（SVM）优于国家的最先进的技术显着。
2010-04-29 cs.IR
A Study on Passage Re-ranking in Embedding based Unsupervised Semantic Search
IBM Research（IBM研究）；IBM Watson
用于（基于嵌入的）无监督语义搜索的现有技术方法利用（查询和段落的）组成相似性或（来自查询和段落的）成对词（或术语）相似性。通过设计，基于单词的方法不包含更大上下文（查询/段落）中的相似性，而基于成分相似性的方法通常无法利用上下文中最重要的线索。在本文中，我们提出了一种新的成分相似性为基础的方法，称为可变质心向量（VCVB），试图解决这两个限制。我们还提出了使用不同类型的成分相似性为基础的方法，利用通用的句子嵌入的结果。我们提供了两个不同的基准的实证评估。
2019-03-13 cs.CL cs.IR
Scalable Locality-Sensitive Hashing for Similarity Search in High-Dimensional, Large-Scale Multimedia Datasets
相似性搜索对于许多数据库应用至关重要，包括日益流行的基于内容的多媒体检索（CBMR）在线服务。这些服务，包括图像搜索引擎，必须处理大量的数据，同时保持较低的响应时间。因此，可扩展性是必不可少的相似性搜索在Web规模的应用程序，但大多数现有的方法是顺序和目标共享内存的机器。在这里，我们解决了这些问题，一个分布式的，高效的，可扩展的索引基于局部敏感哈希（LSH）。LSH是最有效和最流行的相似性搜索技术之一，但其不良的引用局部性使其实现具有挑战性的问题。我们的解决方案是基于一个广泛的异步并行化，具有许多优化，包括分层并行化解耦索引和数据存储，本地感知的数据分区策略，以减少消息传递，和多探测，以限制内存使用。建议的并行化达到了90%的效率，在分布式系统约800个CPU核心。特别是，原始的本地感知数据分区将交换的消息数量减少了30%。我们的并行LSH使用最大的公共数据集进行相似性搜索（据我们所知），从Web图像中提取$10^9$ 128-d SIFT描述符。这比以前的LSH并行化可以处理的数据集大两个数量级。
2013-10-15 cs.DB cs.DC cs.IR
BMX: Entropy-weighted Similarity and Semantic-enhanced Lexical Search
针对传统BM25词汇搜索忽略查询-文档相似度、缺乏语义理解的问题，研究提出融合熵加权相似度与语义增强技术的BMX算法，在长上下文及真实检索基准上性能优于传统BM25和PLM/LLM稠密检索，填补了经典词汇搜索与现代语义方法的空白。
2024-08-14 cs.IR
FLASH: Randomized Algorithms Accelerated over CPU-GPU for Ultra-High Dimensional Similarity Search
我们提出了FLASH（\textbf{F} ast \textbf{L} SH \textbf{A} lsm for \textbf{S} imilarity search accelerated with \textbf{H} PC），一个在单机上的超高维数据集的相似性搜索系统，它不需要相似性计算，是为高性能计算平台量身定制的。通过利用LSH风格的随机化索引过程，并将其与几种原则性技术相结合，如水库采样，最新进展的一次通过minwise散列，基于计数的估计，我们降低了相似性搜索的计算和并行化成本，同时保留了良好的理论保证。我们评估FLASH上的几个真正的，高维的数据集，从不同的领域，包括文本，恶意URL，点击预测，社交网络等，我们的实验揭示了新的光与数据集具有数百万个维度的困难。当前最先进的实现要么在所呈现的规模上失败，要么比闪存慢几个数量级。FLASH能够在不到10秒的时间内从零开始计算整个垃圾邮件数据集（13亿个非零值）的近似k-NN图。使用蛮力（$n^2D$）在不到10秒的时间内在webspam数据集上计算一个完整的k-NN图，将需要至少20 teraflops。我们提供闪存的CPU和GPU实现，以实现结果的可复制性。
2018-07-03 cs.DB cs.DC cs.DS
Exact Trajectory Similarity Search With N-tree: An Efficient Metric Index for kNN and Range Queries
针对轨迹相似性搜索中现有度量索引性能不足的问题，提出新型度量距离函数DistanceAvg与N-tree索引结构，在kNN查询上优于现有最优索引，范围查询性能相当，可返回精确结果。
2024-08-14 cs.DB cs.DS cs.IR
Similarity = Value? Consultation Value Assessment and Alignment for Personalized Search
针对现有个性化搜索仅用语义相似性对齐咨询内容无法捕捉真实价值的问题，提出含三维度的咨询价值评估框架及价值感知模型VAPS，在多数据集的检索与排序任务上效果优于基线。
2025-06-17 cs.IR
Similarity based Dynamic Web Data Extraction and Integration System from Search Engine Result Pages for Web Content Mining
有一个爆炸性的增长，在万维网上的信息，从而提出了一个挑战，Web用户从Web上提取的基本知识。搜索引擎以搜索引擎结果页面（SERP）的形式帮助我们缩小搜索范围。Web内容挖掘是帮助用户从这些SERP中提取有用信息的技术之一。在本文中，我们提出了两个相似性为基础的机制; WDES，提取所需的SERP和存储在本地存储离线浏览和WDICS，整合所需的内容，使用户能够执行预期的分析，并提取所需的信息。实验结果表明，WDES和WDICS在查准率和查全率方面优于DEPTA [1]。
2013-03-23 cs.DB cs.IR
Adaptive Prefiltering for High-Dimensional Similarity Search: A Frequency-Aware Approach
Vulture Labs, Inc.（Vulture Labs公司）
本文提出一种频率感知的自适应预过滤框架，通过动态分配计算预算提升高维相似性搜索效率，实验表明其在保持召回率的同时减少20.4%的距离计算。
2025-12-03 cs.CV cs.IR
Towards Math-Aware Automated Classification and Similarity Search of Scientific Publications: Methods of Mathematical Content Representations
Faculty of Informatics, Masaryk University（马萨里克大学信息学院）
在本文中，我们调查的数学内容表示适用于自动分类和STEM文档中的相似性搜索使用标准的机器学习算法：潜在狄利克雷分配（LDA）和潜在语义索引（LSI）。这些方法在arXiv.org论文的一个子集上进行评估，数学主题分类（MSC）作为参考分类，并使用标准的精确度/召回率/F1度量指标。这些结果让我们深入了解不同的数学表示如何影响STEM存储库中分类和相似性搜索任务的性能。毫不奇怪，机器学习方法能够从文本标记中获取分布式语义。适当选择表示数学的加权标记可以稍微提高结果的质量。一个结构化的数学表示，模仿成功的文本处理技术与数学，产生更好的结果比平面TeX令牌。
2021-10-08 cs.AI cs.CL cs.IR
Semantic Equivalence of e-Commerce Queries
Ebay Inc.（易趣公司）
本文提出一个结合表面规范化和历史行为相似性的框架，用于识别电子商务查询的语义等价性，并通过离线训练与在线最近邻方法在查询相似性上达到0.85的Pearson相关系数，优于主流句子变换器模型。
2023-08-07 cs.CL cs.IR cs.LG
SPELUNKER: Item Similarity Search Using Large Language Models and Custom K-Nearest Neighbors
本文提出SPELUNKER系统，结合大语言模型与自定义KNN算法实现可解释的物品相似性搜索，在500条葡萄酒评论数据集上取得高F1分数和显著召回率提升。
2025-08-27 cs.IR
Applying Transfer Learning for Improving Domain-Specific Search Experience Using Query to Question Similarity
Artificial Intelligence, CoE（人工智能卓越中心）；Fidelity Investments（富达投资）
搜索是最常用的信息搜索平台之一。然而，每当用户使用这样的平台来解决他们的查询时，他们大多会收到过多的结果。如今，对查询的直接回答作为搜索体验的一部分被提供。问答（QA）检索过程在丰富搜索体验方面起着重要作用。大多数现成的语义文本相似性模型对于格式良好的搜索查询都能很好地工作，但是当应用于特定于域的设置时，它们的性能会降低，该设置具有普遍存在的不完整或语法不正确的搜索查询。在本文中，我们讨论了一个框架，用于计算一个给定的输入查询和一组预定义的问题之间的相似性，以检索的问题，它最匹配。我们已经将其用于金融领域，但该框架适用于任何特定领域的搜索引擎，也可以用于其他领域。我们在长短期记忆（LSTM）[3]模型上使用暹罗网络[6]来训练分类器，该分类器为给定的一对问题生成未归一化和归一化的相似性得分。此外，对于这些问题对中的每一个，我们计算了其他三个相似性分数：它们的平均word2vec嵌入之间的余弦相似性[15]，使用RoBERTa [17]生成的句子嵌入之间的余弦相似性[7]以及它们的自定义模糊匹配分数。最后，我们使用支持向量机[19]开发了一个元分类器，用于结合这五个分数来检测给定的一对问题是否相似。我们在Quora Question Pairs（QQP）数据集以及特定于金融领域的数据集上对现有的最先进（SOTA）模型进行了性能基准测试。
2021-01-07 cs.CL cs.IR
Sparse Ternary Codes for similarity search have higher coding gain than dense binary codes
University of Geneva（日内瓦大学）
本文研究了模式识别中的近似最近邻（ANN）搜索问题，其中数据库中的特征向量被编码为紧凑代码，以加快在大规模数据库中的相似性搜索。从信息论的角度考虑ANN问题，我们将其解释为一种编码，将原始特征向量映射到熵较小的稀疏表示，同时要求它们尽可能提供信息。然后，我们定义的编码增益ANN搜索使用信息理论的措施。接下来，我们表明，这个问题的经典方法，其中包括二进制化的投影向量是次优的。相反，适当设计的三进制编码实现更高的编码增益和更低的复杂度。
2017-04-25 cs.CV cs.IR cs.IT
The Tangent Search Engine: Improved Similarity Metrics and Scalability for Math Formula Search
随着世界范围内数据数量和种类的不断增加，Web已经成为数学公式的丰富存储库。这就需要创建一个健壮的、可扩展的数学信息检索系统，用户可以使用单独的公式（按表达式查询）或关键字和公式的组合来搜索数学信息。通常，最能满足用户信息需求的页面包含的表达式只能近似匹配查询公式。对于试图定位或重新找到特定表达式、浏览相似公式或非数学专家的用户，公式的相似性更多地取决于符号的相对位置，而不是深层数学语义。我们提出了最大子树相似性（MSS）度量查询的表达式，产生直观的排名公式的基础上，他们的外观，所表示的类型和符号的相对位置。由于对大型集合中的所有公式应用度量的成本太高，因此我们首先使用元组上的倒排索引检索表达式，该元组对符号对之间的关系进行编码，使用Dice系数对命中进行排名。然后使用MSS对前k个公式进行重新排名。我们的方法在NTCIR-11维基百科公式检索基准上获得了最先进的性能，并且在索引空间和整体检索时间方面都是有效的。其他图形形式的检索系统，包括化学图表，流程图，图形和表格，也可以受益于采用我们的方法。
2015-07-22 cs.IR
Multi-reference Cosine: A New Approach to Text Similarity Measurement in Large Collections
一个高效、可扩展的文档相似性检测系统的重要性是不可否认的。搜索引擎需要批量文本相似性度量来检测其索引中的重复和接近重复的网页，以防止多次索引网页。此外，在评分阶段，搜索引擎需要相似性度量来检测网页上的重复内容，以提高其结果的质量。结合降维技术和信息增益理论的思想，提出了一种批量文本相似性检测的新方法。新方法的重点是搜索引擎需要检测重复和接近重复的网页。在NEWS20数据集上对新方法进行了测试，结果表明，新方法在速度和性能上都优于余弦文本相似度算法。最重要的是，它比其他竞争对手的方法，Simhash相似度算法更快，更准确.
2018-10-07 cs.IR
Intent Classification on Low-Resource Languages with Query Similarity Search
Bloomberg L.P.（贝莱德公司）
针对低资源语言意图分类困难，提出将意图分类视为查询相似度搜索，利用示例查询定义意图，在零样本设置下实现合理性能。
2025-05-23 cs.AI cs.IR
Multimodal Embeddings for 3D Similarity Search in Semantic Web-of-Things Digital-Twin Platforms
Univ Rennes, Inria, CNRS, IRISA（雷恩大学、法国国家信息与自动化研究所、法国国家科学研究中心、IRISA）；Orange Research（橙研）
本文针对语义物联网数字孪生平台缺乏三维相似度搜索能力的问题，提出多模态嵌入框架，在Thing'in平台实现后经S3DIS验证，可支持混合本体-向量查询，满足相关领域的三维相似度搜索需求。
2026-08-04 cs.DB cs.IR
