APRF-Net: Attentive Pseudo-Relevance Feedback Network for Query Categorization
Emory University（埃默里大学）；The Home Depot（家得宝）
查询分类是电子商务搜索中查询意图理解的重要组成部分。常见的查询分类任务是在产品分类中选择相关的细粒度产品类别。对于频繁的查询，丰富的客户行为（例如，点进数据）可用于推断相关产品类别。然而，对于覆盖大量搜索流量的更罕见的查询，由于缺乏这种信号，仅仅依靠客户行为可能是不够的。为了提高罕见的查询分类，我们适应伪相关反馈（PRF）的方法，利用潜在的知识嵌入在语义或词汇相似的产品文档，以丰富表示更罕见的查询。为此，我们提出了一种新的深度神经模型，称为注意伪相关反馈网络（APRF-Net），以增强查询分类的罕见查询的表示。为了证明我们的方法的有效性，我们收集了来自大型商业搜索引擎的搜索查询，并将APRF-Net与最先进的文本分类深度学习模型进行了比较。我们的结果表明，APRF-Net在F1@1评分上比基线显着提高了查询分类5.9%，对于罕见（尾部）查询，这一提高提高到8.2%。本文的研究结果可以用来进一步改善搜索查询表示和理解。
2021-05-10 cs.CL cs.IR cs.LG
Novel text categorization by amalgamation of augmented k-nearest neighborhood classification and k-medoids clustering
文本分类的机器学习是文档编目、新闻过滤、文档导向和例证的基础。在文本挖掘领域中，有效的特征选择对于提高学习任务的准确性和有效性具有重要意义。传统的惰性文本分类器k-最近邻（kNN）在计算训练集和测试集中所有对象之间的相似度时存在一个主要缺陷，导致算法的计算复杂性增大，内存消耗巨大。为了从数据挖掘从业者的角度弥补这些不足，本文提出了一种新的kNN（AugmentedkNN，AkNN）和k-Medoids（kMdd）聚类的融合技术，该技术通过对初始训练集进行属性特征选择来降低高维数，该方法还检测并排除初始训练集中的高飞行器样本，并重构一个压缩的训练集。kMdd聚类算法为每个类别生成聚类中心（作为内部对象），并使用质心重构收缩的训练集。该技术与AkNN分类器合并，AkNN分类器预先安排了文本挖掘相似性度量。最后，根据每个对象对测试集中对象的附属性，为新训练集中的每个对象分配重要权值和等级。在UCI标准文本挖掘数据集Reuters-21578上进行的实验表明，该方法在聚类和分类方面都有很好的效果，并与传统的kNN分类器进行了比较。
2013-12-09 cs.IR
A Chain-of-Thought Approach to Semantic Query Categorization in e-Commerce Taxonomies
eBay Inc, USA（eBay公司）；eBay Inc, Germany（eBay公司）
本文提出基于链式思维的电子商务查询分类方法，结合树搜索与LLM语义评分，提升分类准确性和扩展性。
2026-01-01 cs.CL cs.IR
Performance Evaluation and Optimization of Math-Similarity Search
数学中的相似性搜索是寻找与用户查询相似的数学表达式。我们将数学表达式之间的相似性因子概念化，并提出了一种通过基于这些相似性因子定义度量来进行数学相似性搜索（MSS）的方法[11]。我们的初步实施表明MSS的优势相比，非相似性为基础的搜索。为了更有效地搜索相似的数学表达式，MSS进一步优化。本文主要研究MSS的性能评估和优化问题。我们的研究结果表明，所提出的优化过程显着提高了MSS的性能方面的相关性排名和召回。
2015-05-29 cs.IR
Similarity Search on Computational Notebooks
计算笔记本软件，如Xueyter Notebook，在数据科学任务中很受欢迎。大量的计算笔记本可以在Web上使用，并且可以重复使用;然而，手动搜索计算笔记本是一项繁琐的任务，并且到目前为止，还没有有效和高效地搜索计算笔记本的工具。在本文中，我们提出了一个计算笔记本上的相似性搜索，并开发了一个新的框架相似性搜索。给定内容（即，源代码、表格数据、库和输出格式）作为查询，相似性搜索问题旨在找到具有最相似内容的前k个计算笔记本。我们定义了两个相似性度量;基于集合和基于图的相似性。基于集合的相似性独立地处理每个内容，而基于图的相似性捕获内容之间的关系。我们的框架可以有效地修剪计算笔记本电脑的候选人，不应该在前k结果。此外，我们开发了优化技术，如缓存和索引，以加速搜索。使用Kaggle笔记本的实验表明，我们的方法，特别是基于图的相似性，可以实现高精度和高效率。
2022-01-30 cs.IR
Advancing Similarity Search with GenAI: A Retrieval Augmented Generation Approach
提出一种用于相似性搜索的 RAG 方法，利用生成模型理解上下文并检索语义相似度，在 BIOSSES 上以温度 0.5、20 个提示示例取得 0.905 的 Pearson 相关性。
2024-12-03 cs.IR
Fishing in the Stream: Similarity Search over Endless Data
相似性搜索是检索与给定查询相似的数据项的任务。在本文中，我们介绍了时间敏感的概念相似性搜索在无尽的数据流（SSDS），它考虑到数据的质量和时间特性，除了相似性。SSDS是具有挑战性的，因为它需要处理无限的数据，而计算资源是有限的。我们提出了流LSH，一个随机SSDS算法，根据其新鲜度，质量和动态流行属性保留项目的索引大小的界限。我们分析表明，流LSH增加的概率，找到类似的项目相比，使用相同的空间容量的替代方法。我们进一步使用真实世界的流数据集进行了实证研究，证实了我们的理论结果。
2017-08-07 cs.IR
On Projection Based Operators in Lp space for Exact Similarity Search
我们基于1-Lipschitz性质和投影算子研究了高维Lp范数的精确索引。描述了满足Lp范数的1-Lipschitz性质的正交投影。引入了由第一主成分定义的自适应投影。
2015-02-12 cs.IR
Eclipse Hashing: Alexandrov Compactification and Hashing with Hyperspheres for Fast Similarity Search
使用由大量数据组成的高维特征向量进行相似性搜索有着广泛的应用。进行快速相似性搜索的一种方式是将特征向量转换成二进制向量，并通过使用汉明距离来执行相似性搜索。这种变换是一种哈希方法，哈希函数的选择很重要。提出了使用超平面或超球面的散列方法。这里报告的一项研究受到了Spherical LSH的启发，我们使用hypersperes来散列特征向量。我们的方法，称为哈希算法，通过使用逆赤平投影来执行R^n的紧化，这是一种Alexandrov紧化。通过使用哈希，可以获得超球哈希函数，而无需显式使用超球。因此，减少了非线性运算的数量，并且散列的处理时间变得更短。此外，我们还表明，作为提高近似精度的结果，超平面散列是更准确的。
2014-06-16 cs.IR
Efficient Similarity Indexing and Searching in High Dimensions
由于对高维数据的不断开发和传统搜索方法对维数灾难的脆弱性，高维数据的有效索引和搜索一直是一个活跃的研究领域。本文提出了一种新的方法，快速和有效的搜索和索引的高维特征使用随机分区的特征空间。手写数字和三维形状描述符的实验表明，该算法是非常有效的和高效的索引和搜索数百维的真实数据集。我们还比较其性能的最先进的局部敏感哈希算法。
2015-05-12 cs.IR
A technical study and analysis on fuzzy similarity based models for text classification
Birla Institute of Technology, Mesra（比拉理工学院梅萨分校）
在这个新的和当前的技术，进步和技术的时代，高效和有效的文本文档分类正在成为一个具有挑战性和高度要求的领域，能够将文本文档分类到相互排斥的类别。模糊相似度提供了一种在不同的文档中发现特征相似性的方法。在本文中，各种模糊相似性为基础的模型进行了技术审查。这些模型进行了讨论和比较，以框出它们的使用和必要性。提供了一个不同的方法，这是基于模糊相似性相关的关注之旅。它展示了如何将文本和Web文档有效地分类为不同的类别。文中还讨论了这些模型的各种实验结果。每个模型的参数之间的技术比较以三维图表的形式显示。这些研究和技术综述为基于模糊相似度的文本分类的研究工作提供了坚实的基础。
2012-04-10 cs.IR cs.LG
Consistent Text Categorization using Data Augmentation in e-Commerce
Technion – Israel Institute of Technology（以色列理工学院）；Yahoo Research（雅虎研究院）
本文针对电商产品分类中相似商品标注不一致的问题，提出一种基于半监督数据增强的一致性文本分类框架，在保持生产级性能的同时提升模型一致性。
2023-05-30 cs.CL cs.IR cs.LG
Term-Class-Max-Support (TCMS): A Simple Text Document Categorization Approach Using Term-Class Relevance Measure
University of Mysore（迈索尔大学）
本文提出了一种简单的基于词类相关性的文本分类方法。最初，处理文本文档以提取其中存在的重要术语。对于从文档中提取的每个术语，我们通过Guru和Suhil（2015）[1]提出的称为术语类相关性（TCR）的新术语加权方案来计算其在保留类内容方面的重要性。通过这种方式，对于每个术语，计算其与语料库中存在的所有类的相关性并存储在知识库中。在测试过程中，测试文档中存在的术语被提取，并且从存储的知识库中获得每个术语的术语类相关性。为了实现词项权重的快速查找，采用了B树索引数据结构。最后，在术语类相关性方面获得最大支持的类被确定为给定测试文档的类。所提出的方法在对数复杂度的测试时间和简单的实现相比，在文献中的任何其他文本分类技术。在各种基准数据集上进行的实验表明，所提出的方法的性能是令人满意的和令人鼓舞的。
2016-10-16 cs.CL cs.IR
Unconventional application of k-means for distributed approximate similarity search
度量空间中基于距离函数的相似性搜索是许多应用中的基本问题。对相似对象的搜索导致了众所周知的最近邻识别的机器学习任务。许多数据索引策略，统称为度量访问方法（MAM），已被提出来加速在这种情况下对类似元素的查询。此外，由于解决相似性查询的精确方法可能是复杂且耗时的，因此已经出现了减少查询执行时间的替代选项，例如返回近似结果或诉诸分布式计算平台。在本文中，我们介绍了MASK（多级近似相似性搜索与$k$ -手段），一个非常规的应用程序的$k$ -手段算法的基础上的多级索引结构的近似相似性搜索，适用于度量空间。我们表明，固有属性的$k$ -手段，如表示高密度的数据区域，较少的原型，可以利用这一目的。这种新的索引方法的实现进行评估，使用合成数据集和真实世界的数据集在一个高维和高稀疏空间。结果是有前途的，并支持这种新的索引方法在多个领域的适用性。
2022-08-04 cs.IR
Semantic Vector Encoding and Similarity Search Using Fulltext Search Engines
向量表示和向量空间建模（VSM）在现代机器学习中起着核心作用。我们提出了一种新的方法来“向量相似性搜索”的密集语义表示的单词和文档，可以部署在传统的基于反向索引的全文引擎，利用其鲁棒性，稳定性，可扩展性和无处不在。我们表明，这种方法允许索引和查询密集向量的文本域。这为实现重大效率提升以及更简单的部署、扩展和监控开辟了令人兴奋的途径。最终的结果是一个快速和可扩展的向量数据库，在向量搜索性能和质量之间进行了可调的权衡，并得到了Elasticsearch等标准全文引擎的支持。我们经验证明其查询性能和质量，通过应用此解决方案的语义搜索任务在整个英文维基百科的密集矢量表示。
2017-06-03 cs.IR
Constrained Approximate Similarity Search on Proximity Graph
建立搜索引擎和推荐系统以有效地显示来自这些大量候选者的相关信息。通常，在这些系统中采用三阶段机制：（i）首先通过（例如，）近似近邻搜索算法;（ii）然后对检索到的项目应用一组约束;（iii）采用细粒度排名神经网络来确定最终推荐。我们观察到原始三阶段流水线的一个主要缺陷：虽然我们在最终建议中只针对检索$k$向量，但我们必须为每个查询预设足够大的$s$（$s > k$），并且“确保”过滤后存活的向量数量不小于$k$。即，$s$相似候选中的至少$k$向量满足查询约束。在本文中，我们研究这个受约束的相似性搜索问题，并试图合并的相似性搜索阶段和过滤阶段到一个单一的搜索操作。我们介绍了飞艇，一个系统，集成了用户定义的功能过滤到相似性搜索框架。建议的系统不需要建立额外的索引，也不需要先验知识的查询约束。我们提出了三种优化策略：（1）起点选择，（2）多方向搜索，（3）偏向优先级队列选择。仿真数据和实际数据的实验验证了算法的有效性。在这项研究中，我们专注于基于图的约束近似近邻（ANN）搜索，部分原因是基于图的ANN被称为实现出色的性能。我们相信也有可能开发基于约束哈希的ANN或基于约束量化的ANN。
2022-11-08 cs.IR
Approximating Categorical Similarity in Sponsored Search Relevance
赞助搜索是网络搜索引擎的主要收入来源。由于赞助搜索遵循点击付费模式，因此显示相关广告以获得点击至关重要。在查询-广告对的相关性建模中，已经探索了查询及其广告候选的匹配类别。该方法涉及将过去看到的查询的缓存类别与候选广告的类别进行匹配。由于查询具有重尾分布，因此该方法的覆盖范围有限。在这项工作中，我们提出了近似的类别相似性的查询广告对使用神经网络，特别是CLSM。查询（或文档）的嵌入是使用其三字母表示生成的，这允许覆盖尾部查询。与直接使用类别相比，结合此功能的离线实验显示AUC ROC提高了5.23%。A/B测试结果显示相关性提高了8.2%。
2018-12-01 cs.IR
DDNAS: Discretized Differentiable Neural Architecture Search for Text Classification
National Cheng Kung University（国立成功大学）
针对文本NAS缺乏操作融合与层次类别建模的问题，提出DDNAS，通过连续松弛、梯度搜索及互信息离散化层提升文本分类性能。
2023-07-12 cs.CL cs.IR cs.LG
Dynamic Similarity Search on Integer Sketches
相似性保持散列是用于快速相似性搜索的核心技术，并且它将度量空间中的数据点随机映射到离散符号串（即，在Hamming空间中。虽然传统的散列技术产生二进制草图，最近的产生整数草图，以保持各种相似性措施。然而，大多数相似性搜索方法是针对二进制草图设计的，对于整数草图效率低下。此外，大多数方法要么不适用于动态数据集，要么效率低下，尽管现代现实世界的数据集随着时间的推移而更新。我们提出了动态过滤trie（DyFT），一个动态的相似性搜索方法的二进制和整数草图。使用大型真实世界数据集进行的广泛实验分析表明，DyFT在可扩展性，时间性能和内存效率方面表现出色。例如，在一个包含2.16亿个数据点的庞大数据集上，DyFT执行相似性搜索的速度比最先进的方法快6,000倍，同时内存减少到十三分之一。
2020-09-24 cs.DS cs.IR
FPScreen: A Rapid Similarity Search Tool for Massive Molecular Library Based on Molecular Fingerprint Comparison
我们设计了一个针对大型分子库的快速相似性搜索引擎：FPScreen。我们在PubChem中下载了1亿个分子的结构文件，并使用SDF扩展名，然后应用计算化学工具RDKit将每个结构文件转换为MACCS格式的一行文本，并将其存储在文本文件中作为我们的分子库。相似性搜索引擎在逐行遍历库文件中的166位位串的同时比较相似性。FPScreen可以在一小时内完成对分子库中1亿个条目的相似性搜索。作为一个生物计算工具，这是非常快的。此外，我们将我们的库划分为几个步幅以进行并行处理。FPScreen是在WEB模式下开发的。
2019-06-13 cs.IR cs.OH
Forward Backward Similarity Search in Knowledge Networks
相似性搜索是GitHub、DBLP、Wikipedia等社交和知识网络中的一个基本问题，现有的网络相似性度量方法由于只从查询节点的角度考虑相似性而受到限制。然而，由于现实世界的网络拓扑结构的复杂性，忽略目标节点的偏好往往会导致奇怪或不直观的性能。在这项工作中，我们提出了一个双视角的相似性度量称为向前向后相似性（FBS），有效地计算拓扑相似性的角度来看，查询节点和候选节点的角度。我们的方法的有效性进行了评估，传统的定量排名指标和大规模的人类判断四个大型现实世界的网络。该方法符合人类的偏好，并优于其他相似性搜索算法的社区重叠和链接预测。最后，我们展示了五位著名研究人员在学术合作网络上的前5名排名，以说明我们的方法如何比其他方法更直观地捕捉语义。
2016-11-28 cs.IR cs.SI
A Fuzzy Similarity Based Concept Mining Model for Text Classification
BIT, Mesra（梅斯拉理工学院（BIT, Mesra））
文本分类是一个具有挑战性的热点领域，在文本分类应用中具有重要意义。在这一领域已经做了大量的研究工作，但有必要通过使用监督学习范式和不同的分类算法提取的概念或特征的文本文档的集合到互斥的类别进行分类。本文提出了一种新的基于模糊相似度的概念挖掘模型（FSCMM），通过在句子、文档和集成语料库三个层次上对文本文档进行训练和准备，并在每个层次上进行特征约简和歧义消除，将文本文档分类到预定义的类别组（CG）中，以提高系统的性能。模糊特征类别相似度分析器（FFCSA）用于分析集成语料库特征向量（ICFV）的每个提取的特征与相应的类别或类。该模型采用支持向量机分类器（SVMC）对训练数据进行正确分类。例如，+ 1和-1，从而产生准确和正确的结果。该模型工作效率高，性能好，计算精度高.
2012-04-10 cs.IR cs.LG
Inference-Based Similarity Search in Randomized Montgomery Domains for Privacy-Preserving Biometric Identification
相似性搜索对于许多重要的应用是必不可少的，并且通常涉及基于其与查询的相似性对高维数据进行大规模搜索。在生物识别应用中，最近的漏洞研究表明，对抗性机器学习可以通过利用生物识别相似性信息来危害生物识别系统。现有的生物计量隐私保护方法通常基于安全生物计量模板的成对匹配，并且在搜索效率和可扩展性方面具有固有的限制。在本文中，我们提出了一个基于推理的框架，隐私保护的相似性搜索在汉明空间。我们的方法建立在一个模糊的距离测量，可以隐藏汉明距离在一个动态的间隔。这样的机制使我们能够系统地设计统计可靠的方法来检索最有可能的候选人，而不知道确切的距离值。我们进一步建议应用蒙哥马利乘法生成搜索索引，可以承受对抗性的相似性分析，并表明随机蒙哥马利域的信息泄漏可以忽略不计的小。我们在公共生物特征数据集上的实验表明，基于推理的方法可以实现接近安全计算方法的最佳性能的搜索精度，但与加密原语相比，相关的成本降低了几个数量级。
2017-11-05 cs.CR cs.IR
Similarity search on neighbor's graphs with automatic Pareto optimal performance and minimum expected quality setups based on hyperparameter optimization
Consejo Nacional de Ciencia y Tecnología - Conacyt（国家科学与技术委员会 - Conacyt）；INFOTEC Centro de Investigación e Innovación en Tecnologías de la Información y Comunicación（INFOTEC 信息与通信技术创新研究中心）；CentroGEO Centro de Investigación en Ciencias de Información Geoespacial（CentroGEO 地理空间信息科学研究中心）
本文介绍了一种基于邻居图和优化元分析的自动调整算法，用于搜索最近邻居，以自动产生质量和搜索速度的帕累托最优搜索;同样的策略也用于产生达到最低质量的索引。我们的方法描述和基准与其他国家的最先进的相似性搜索方法，显示出方便性和竞争力。
2022-01-19 cs.AI cs.IR
Fast top-K Cosine Similarity Search through XOR-Friendly Binary Quantization on GPUs
Tencent（腾讯）
我们探索使用GPU来加速大规模最近邻搜索，我们提出了一种快速的基于矢量量化的穷举最近邻搜索算法，可以实现高精度，而无需任何专门为余弦相似性设计的索引结构。该算法使用一种新颖的XOR友好的二进制量化方法来编码浮点数，使得高复杂度的乘法可以优化为低复杂度的逐位运算。实验结果表明，该量化方法预处理时间短，在精度要求较高的情况下，穷举搜索算法的搜索速度比常用的近似最近邻算法快得多。
2020-08-05 cs.CV cs.IR
Rethinking Similarity Search: Embracing Smarter Mechanisms over Smarter Data
本文提出提升相似性搜索有效性的新视角，倡导在提升数据质量的同时增强底层搜索机制，通过利用隐式数据结构、引入用户迭代反馈和超越单一查询向量三条新途径重新定义该问题，并探讨相关挑战与初步发现。
2023-08-02 cs.DB cs.IR
Similarity Search with Tensor Core Units
张量核心单元（TCU）是为深度神经网络开发的硬件加速器，它有效地支持两个密集$\sqrt{m}\times \sqrt{m}$矩阵的乘法，其中$m$是给定的硬件参数。在本文中，我们表明，TCU可以加快相似性搜索问题。我们提出了算法的Johnson-Lindenstrauss降维和相似性连接，通过利用TCU，实现了$\sqrt{m}$加速相对于传统的方法。
2020-06-22 cs.DC cs.DS cs.IR
GB-KMV: An Augmented KMV Sketch for Approximate Containment Similarity Search
本文研究了近似包含相似性搜索问题。给定两个记录Q和X，Q和X之间关于Q的包含相似性为：|Q与X相交|/ |Q|。给定查询记录Q和记录集合S，包含相似性搜索从S中找到关于Q的包含相似性不小于给定阈值的记录集合。该问题在商业和科学领域有许多重要的应用，如记录匹配和域搜索。现有的解决方案依赖于非对称LSH方法，通过将包容相似性转换为研究充分的Jaccard相似性。在本文中，我们使用一个不同的框架，通过转换的包含相似集交集。我们提出了一种新的增强KMV草图技术，即GB-KMV，这是数据相关的，可以实现草图的大小和准确性之间的一个很好的折衷。我们提供了一组理论分析，以支持建议的增强KMV草图技术，并表明它优于最先进的技术LSH-E在实际假设下的估计精度。我们在真实数据集上的综合实验验证了GB-KMV在空间精度权衡，时间精度权衡和草图构建时间方面优于LSH-E。例如，在类似的估计精度（F-1分数）下，GB-KMV在一些真实数据集上比LSH-E快100倍以上。
2018-09-03 cs.DB cs.IR
LLM-assisted Vector Similarity Search
Grab（Grab公司）
本文提出一种将向量相似性搜索与LLM相结合的两步混合检索方法，先用向量搜索筛选候选，再用LLM进行上下文感知排序，以提升复杂查询的搜索准确性，同时保持效率。
2024-12-30 cs.AI cs.IR cs.LG
A Study on Passage Re-ranking in Embedding based Unsupervised Semantic Search
IBM Research（IBM研究）；IBM Watson
用于（基于嵌入的）无监督语义搜索的现有技术方法利用（查询和段落的）组成相似性或（来自查询和段落的）成对词（或术语）相似性。通过设计，基于单词的方法不包含更大上下文（查询/段落）中的相似性，而基于成分相似性的方法通常无法利用上下文中最重要的线索。在本文中，我们提出了一种新的成分相似性为基础的方法，称为可变质心向量（VCVB），试图解决这两个限制。我们还提出了使用不同类型的成分相似性为基础的方法，利用通用的句子嵌入的结果。我们提供了两个不同的基准的实证评估。
2019-03-13 cs.CL cs.IR
Visual-Interactive Similarity Search for Complex Objects by Example of Soccer Player Analysis
Technische Universität Darmstadt（达姆施塔特工业大学）；St. Pölten University of Applied Sciences（圣帕尔滕应用科学大学）；Fraunhofer Institute for Computer Graphics Research（弗劳恩霍夫计算机图形学研究所）
在数据挖掘、信息检索或机器学习中分析复杂数据类型时，相似性的定义是一个关键的先决条件。然而，有意义的定义往往是由数据对象的复杂性，特别是由目标用户组中潜在的主观相似性的不同概念的阻碍。以足球运动员为例，我们提出了一个视觉交互系统，学习用户的心理模型的相似性。在视觉交互界面中，用户能够根据他们主观的相似性概念来标记足球运动员对。我们提出的相似性模型自动学习各自的概念相似性使用主动学习策略。一个可视化的交互式检索技术提供了验证模型，并执行下游检索任务的足球运动员分析。该方法的适用性表现在不同的评估策略，包括使用的验证和交叉验证测试。
2017-03-09 cs.IR cs.LG
Similarity based Dynamic Web Data Extraction and Integration System from Search Engine Result Pages for Web Content Mining
有一个爆炸性的增长，在万维网上的信息，从而提出了一个挑战，Web用户从Web上提取的基本知识。搜索引擎以搜索引擎结果页面（SERP）的形式帮助我们缩小搜索范围。Web内容挖掘是帮助用户从这些SERP中提取有用信息的技术之一。在本文中，我们提出了两个相似性为基础的机制; WDES，提取所需的SERP和存储在本地存储离线浏览和WDICS，整合所需的内容，使用户能够执行预期的分析，并提取所需的信息。实验结果表明，WDES和WDICS在查准率和查全率方面优于DEPTA [1]。
2013-03-23 cs.DB cs.IR
Adaptive Prefiltering for High-Dimensional Similarity Search: A Frequency-Aware Approach
Vulture Labs, Inc.（Vulture Labs公司）
本文提出一种频率感知的自适应预过滤框架，通过动态分配计算预算提升高维相似性搜索效率，实验表明其在保持召回率的同时减少20.4%的距离计算。
2025-12-03 cs.CV cs.IR
Applying Transfer Learning for Improving Domain-Specific Search Experience Using Query to Question Similarity
Artificial Intelligence, CoE（人工智能卓越中心）；Fidelity Investments（富达投资）
搜索是最常用的信息搜索平台之一。然而，每当用户使用这样的平台来解决他们的查询时，他们大多会收到过多的结果。如今，对查询的直接回答作为搜索体验的一部分被提供。问答（QA）检索过程在丰富搜索体验方面起着重要作用。大多数现成的语义文本相似性模型对于格式良好的搜索查询都能很好地工作，但是当应用于特定于域的设置时，它们的性能会降低，该设置具有普遍存在的不完整或语法不正确的搜索查询。在本文中，我们讨论了一个框架，用于计算一个给定的输入查询和一组预定义的问题之间的相似性，以检索的问题，它最匹配。我们已经将其用于金融领域，但该框架适用于任何特定领域的搜索引擎，也可以用于其他领域。我们在长短期记忆（LSTM）[3]模型上使用暹罗网络[6]来训练分类器，该分类器为给定的一对问题生成未归一化和归一化的相似性得分。此外，对于这些问题对中的每一个，我们计算了其他三个相似性分数：它们的平均word2vec嵌入之间的余弦相似性[15]，使用RoBERTa [17]生成的句子嵌入之间的余弦相似性[7]以及它们的自定义模糊匹配分数。最后，我们使用支持向量机[19]开发了一个元分类器，用于结合这五个分数来检测给定的一对问题是否相似。我们在Quora Question Pairs（QQP）数据集以及特定于金融领域的数据集上对现有的最先进（SOTA）模型进行了性能基准测试。
2021-01-07 cs.CL cs.IR
Distributed Tera-Scale Similarity Search with MPI: Provably Efficient Similarity Search over billions without a Single Distance Computation
Rice University（莱斯大学）
我们提出了SLASH（草图局部敏感哈希），MPI（消息传递接口）为基础的分布式系统的近似相似性搜索TB级规模的数据集。SLASH提供了流行的LSH（局部敏感哈希）算法的多节点实现，该算法通常在单个机器上实现。我们展示了如何在LSH算法中添加重打击者草图来证明解决（高）相似性搜索问题，而无需单个距离计算。总体而言，我们数学上表明，在现实的数据假设下，我们可以确定一个给定的查询$q$的近邻在次线性（$ \ll O(n)$）数量的简单的草图聚合操作。为了使这样一个系统实用，我们提供了一个新颖的设计和草图解决方案，以减少机器间的通信开销指数。在可比硬件上的直接比较中，SLASH比PySpark中流行的LSH包快10000倍以上。PySpark是LSH算法在大型数据集上的广泛采用的分布式实现，并部署在商业平台上。最后，我们展示了我们的系统如何扩展到具有超过40亿个样本的Tera-scale Criteo数据集。SLASH可以在不到一小时的时间内为20个节点上的2.3TB数据建立索引，查询时间只需几毫秒。据我们所知，目前还没有一个开源系统可以对Criteo进行商品集群索引和相似性搜索。
2020-08-17 cs.DB cs.DC cs.IR
NearBucket-LSH: Efficient Similarity Search in P2P Networks
我们提出了NearBucket-LSH，一个有效的算法相似性搜索在大规模分布式在线社交网络组织为对等覆盖。由于通信是分布式系统中的一个主要考虑因素，我们专注于最大限度地减少网络成本，同时保证良好的搜索质量。我们的算法是基于局部敏感哈希（LSH），它限制了搜索对象的集合，称为桶，有很高的概率是类似的查询。更具体地说，NearBucket-LSH采用了在近桶中搜索的LSH扩展，提高了搜索质量，但也显著增加了网络成本。我们通过考虑LSH和P2P覆盖的内部结构，并利用它们的属性来满足我们的需求，从而降低了网络成本。我们表明，我们的NearBucket-LSH提高了搜索质量为一个给定的网络成本相比，以前的艺术。在许多情况下，搜索质量提高了50%以上。
2015-11-23 cs.DC cs.IR cs.SI
Scalable Locality-Sensitive Hashing for Similarity Search in High-Dimensional, Large-Scale Multimedia Datasets
相似性搜索对于许多数据库应用至关重要，包括日益流行的基于内容的多媒体检索（CBMR）在线服务。这些服务，包括图像搜索引擎，必须处理大量的数据，同时保持较低的响应时间。因此，可扩展性是必不可少的相似性搜索在Web规模的应用程序，但大多数现有的方法是顺序和目标共享内存的机器。在这里，我们解决了这些问题，一个分布式的，高效的，可扩展的索引基于局部敏感哈希（LSH）。LSH是最有效和最流行的相似性搜索技术之一，但其不良的引用局部性使其实现具有挑战性的问题。我们的解决方案是基于一个广泛的异步并行化，具有许多优化，包括分层并行化解耦索引和数据存储，本地感知的数据分区策略，以减少消息传递，和多探测，以限制内存使用。建议的并行化达到了90%的效率，在分布式系统约800个CPU核心。特别是，原始的本地感知数据分区将交换的消息数量减少了30%。我们的并行LSH使用最大的公共数据集进行相似性搜索（据我们所知），从Web图像中提取$10^9$ 128-d SIFT描述符。这比以前的LSH并行化可以处理的数据集大两个数量级。
2013-10-15 cs.DB cs.DC cs.IR
Towards Math-Aware Automated Classification and Similarity Search of Scientific Publications: Methods of Mathematical Content Representations
Faculty of Informatics, Masaryk University（马萨里克大学信息学院）
在本文中，我们调查的数学内容表示适用于自动分类和STEM文档中的相似性搜索使用标准的机器学习算法：潜在狄利克雷分配（LDA）和潜在语义索引（LSI）。这些方法在arXiv.org论文的一个子集上进行评估，数学主题分类（MSC）作为参考分类，并使用标准的精确度/召回率/F1度量指标。这些结果让我们深入了解不同的数学表示如何影响STEM存储库中分类和相似性搜索任务的性能。毫不奇怪，机器学习方法能够从文本标记中获取分布式语义。适当选择表示数学的加权标记可以稍微提高结果的质量。一个结构化的数学表示，模仿成功的文本处理技术与数学，产生更好的结果比平面TeX令牌。
2021-10-08 cs.AI cs.CL cs.IR
HetFS: A Method for Fast Similarity Search with Ad-hoc Meta-paths on Heterogeneous Information Networks
Fudan University（复旦大学）；Shanghai Key Laboratory of Data Science（上海数据科学重点实验室）
HetFS提出一种针对异构信息网络即席元路径查询的快速相似性搜索方法，结合路径信息与节点内容，在精度和效率上优于现有HGNN与路径方法，并适用于链接预测、节点分类和聚类等下游任务。
2025-02-22 cs.IR cs.LG cs.SI
Automating Categorization of Scientific Texts with In-Context Learning and Prompt-Chaining in Large Language Models
Technische Hochschule Mannheim（曼海姆技术大学）
本文评估了大语言模型在科学文本分类中的性能，发现提示链在处理ORKG层级分类时优于纯上下文学习，但在第三层级主题分类上仍存在50%的准确率限制。
2026-04-25 cs.AI cs.CL cs.DL
Web Similarity in Sets of Search Terms using Database Queries
Drexel University（德雷塞尔大学）；CWI（荷兰国家数学与计算机科学研究中心）；University of Amsterdam（阿姆斯特丹大学）
归一化网络距离（NWD）是基于万维网或另一个大型电子数据库（例如维基百科）和返回可靠的聚合页面计数的搜索引擎的相似性或归一化语义距离。对于搜索词的集合，NWD给出了从0（相同）到1（完全不同）的尺度上的共同相似性（共同语义）。NWD根据所有（上半）可计算属性近似集合成员的相似性。我们开发的理论，并给出应用程序的分类使用亚马逊，维基百科，和NCBI网站从美国国立卫生研究院。最后一个给出了健康危害之间的新的相关性。NWD对两个的集合的限制产生较早的归一化谷歌距离（NGD），但是集合中的对的NGD的组合不能提取NWD从集合中提取的信息。NWD使一种新的上下文（不同的数据库）学习方法基于Kolmogorov复杂性理论，结合这些数据库的知识。
2020-07-23 cs.CL cs.CV cs.IR
Bayesian Locality Sensitive Hashing for Fast Similarity Search
The Ohio State University（俄亥俄州立大学）
给定一组对象和相关的相似性度量，所有对相似性搜索问题要求我们找到所有相似性大于某个用户指定阈值的对象对。基于局部敏感哈希（LSH）的方法已经成为解决这个问题的一种非常流行的方法。然而，大多数这样的方法仅在相似性搜索的第一阶段使用LSH-即用于候选生成的有效索引。在本文中，我们提出了BayesLSH，一个原则性的贝叶斯算法的后续阶段的相似性搜索-执行候选人修剪和相似性估计使用LSH。一个更简单的变种，贝叶斯LSH-Lite，它计算相似性，也提出了。BayesLSH能够快速修剪掉大部分假阳性候选对，从而使基线方法的速度显著提高。对于BayesLSH，我们还在准确率和召回率方面对输出质量提供概率保证。最后，BayesLSH的输出质量可以很容易地调整，并且不需要手动设置用于相似性估计的哈希数，这与标准方法不同。对于两种最先进的候选生成算法，AllPairs和LSH，BayesLSH能够显著加速，通常在2x-20 x范围内用于各种数据集。
2012-03-28 cs.AI cs.DB cs.DS
Billion-scale Similarity Search Using a Hybrid Indexing Approach with Advanced Filtering
BULGARIAN ACADEMY OF SCIENCES（保加利亚科学院）；Sofia University “St. Kliment Ohridski”（索非亚大学“圣·克利门特·奥赫里德斯基”）
本文提出一种面向CPU的十亿级相似性搜索混合索引方法，扩展IVF-Flat结构以集成多维过滤，实现高维空间快速检索，并通过案例研究验证其有效性与实用性。
2025-01-23 cs.DB cs.DC cs.IR
Musical Audio Similarity with Self-supervised Convolutional Neural Networks
Epidemic Sound（流行病声音公司）
我们已经建立了一个音乐相似性搜索引擎，让视频制作人搜索的音乐摘录，作为传统的全文搜索的补充。我们的系统通过训练具有三重损失项和音乐变换的自监督卷积神经网络，在大型音乐目录中建议类似的发声轨道段。半结构化的用户访谈表明，我们可以成功地打动专业视频制作人的搜索体验的质量，并在用户测试中的查询轨道平均7.8/10感知相似性。我们相信这个搜索工具将提供更自然的搜索体验，更容易找到音乐和配乐视频。
2022-02-04 cs.IR cs.LG cs.MM
Towards Generalizable Semantic Product Search by Text Similarity Pre-training on Search Click Logs
Wayfair LLC（Wayfair有限责任公司）
最近，语义搜索已经成功地应用于电子商务产品搜索，并且用于查询和产品编码的学习的语义空间被期望推广到看不见的查询或产品。然而，推广是否可以方便地出现，迄今为止，在该领域还没有深入研究。在本文中，我们检查了几个通用领域和特定领域的预训练Roberta变体，并发现通用领域微调无助于泛化，这与现有技术的发现一致。基于对公开可用的手动注释查询-产品对数据的分桶分析，使用点击流数据进行适当的特定领域微调可以带来更好的模型泛化
2022-04-28 cs.AI cs.CL cs.IR
Sparse Ternary Codes for similarity search have higher coding gain than dense binary codes
University of Geneva（日内瓦大学）
本文研究了模式识别中的近似最近邻（ANN）搜索问题，其中数据库中的特征向量被编码为紧凑代码，以加快在大规模数据库中的相似性搜索。从信息论的角度考虑ANN问题，我们将其解释为一种编码，将原始特征向量映射到熵较小的稀疏表示，同时要求它们尽可能提供信息。然后，我们定义的编码增益ANN搜索使用信息理论的措施。接下来，我们表明，这个问题的经典方法，其中包括二进制化的投影向量是次优的。相反，适当设计的三进制编码实现更高的编码增益和更低的复杂度。
2017-04-25 cs.CV cs.IR cs.IT
Representation Learning for Efficient and Effective Similarity Search and Recommendation
如何表示和操作数据对于构建有效和高效的计算解决方案至关重要。一种常见的方法是将数据对象表示为二进制向量，表示为\textit{hash codes}，其需要很少的存储，并且通过直接索引到哈希表中或通过在适当空间中的相似性计算来实现有效的相似性搜索。由于散列码的可表达性有限，与实值表示相比，一个核心的开放挑战是如何生成散列码，使用少量的位来很好地捕获语义内容或潜在属性，同时确保散列码以不降低其搜索效率的方式分布。现有技术的方法使用表示学习来生成这样的散列码，集中于神经自动编码器架构，其中通过学习重构散列码的原始输入来将语义编码到散列码中。本论文解决了上述挑战，并作出了一些贡献，表示学习，（一）提高哈希码的有效性，通过更有表现力的表示和更有效的相似性措施比目前的最先进的，即汉明距离，和（ii）提高哈希码的效率，通过学习表示，特别是适合于搜索方法的选择。的贡献进行了经验验证的几个任务相关的相似性搜索和推荐。
2021-09-04 cs.AI cs.CL cs.IR
Axiomatic Explanations for Visual Search, Retrieval, and Similarity Learning
MIT（麻省理工学院）；Microsoft（微软）；Google（谷歌）
视觉搜索、推荐和对比相似性学习技术影响着全球数十亿用户。现代模型架构可能很复杂，很难解释，并且有几种相互竞争的技术可以用来解释搜索引擎的行为。我们表明，公平的信用分配理论提供了一个$\textit{unique}$公理化的解决方案，概括了现有的几个建议和度量的可解释性技术在文献中。使用这种形式主义，我们表明，当现有的方法违反“公平”，并得出回避这些缺点，自然处理反事实的信息的方法。更具体地说，我们现有的方法隐式近似二阶Shapley-Taylor指数和扩展CAM，GradCAM，LIME，SHAP，SBSM和其他方法的搜索引擎。这些扩展可以从训练的$\textit{opaque-box}$模型中提取图像之间的成对对应关系。我们还介绍了一个快速的基于内核的方法来估计Shapley-Taylor指数，需要数量级更少的函数评估收敛。最后，我们表明，这些博弈论的措施产生更一致的解释图像相似性架构。
2022-03-16 cs.CV cs.HC cs.IR
On the geometry of similarity search: dimensionality curse and concentration of measure
我们认为，在大数据集的相似性为基础的搜索影响的维数灾难是一种表现的现象的浓度的措施对高维结构。我们证明，在某些几何假设下的查询域$Ω$和数据集$X$，如果$Ω$满足所谓的浓度属性，那么对于大多数查询点$x^\ast$的球半径$(1+\e)d_X(x^\ast)$集中在$x^\ast$包含所有点的$X$或至少$C_1\exp(-C_2\e^2n)$的。这里，$d_X(x^\ast)$是从$x^\ast$到$X$中最近邻的距离，$n$是$Ω$的维数。
1999-01-12 cs.CG cs.DB cs.DS
Learning Style Similarity for Searching Infographics
Rutgers University（罗格斯大学）；Adobe Research（奥多比研究院）
信息图表是一种综合了文本、图像、图表和草图的复杂图形设计。尽管信息图表越来越受欢迎，在线设计组合也在快速增长，但很少有研究调查我们如何利用这些设计资源。在本文中，我们提出了一种方法来衡量信息图表之间的风格相似性。基于从众包实验中收集的人类感知数据，我们使用计算机视觉和机器学习算法来学习信息图形设计的风格相似性度量。我们评估了不同的视觉特征和学习算法，发现颜色直方图和直方图的分量（HoG）功能的组合是最有效的特征化的风格的信息图表。我们证明了我们的相似性度量的初步图像检索测试。
2015-05-05 cs.CV cs.GR cs.HC
