Similarity of Semantic Relations
至少有两种相似之处。关系相似性是关系之间的对应关系，而属性相似性是属性之间的对应关系。当两个词的属性相似度很高时，我们称之为同义词。当两对词具有高度的关系相似性时，我们说它们的关系是相似的。例如，单词对mason：stone类似于单词对carpenter：wood。本文介绍了潜在关系分析（LRA），一种测量关系相似性的方法。LRA在信息抽取、词义消歧、信息检索等领域有着广泛的应用前景。最近的向量空间模型（VSM）的信息检索已被用来衡量关系的相似性，取得了47%的分数上收集的374个大学水平的多项选择词类比问题。在VSM方法中，一对词之间的关系由大型语料库中预定义模式的频率向量来表征。LRA以三种方式扩展了VSM方法：（1）从语料库自动导出模式，（2）使用奇异值分解（SVD）来平滑频率数据，以及（3）自动生成的同义词用于探索单词对的变化。LRA在374个类比问题上的得分为56%，在统计学上相当于人类的平均得分57%。在分类语义关系的相关问题上，LRA比VSM获得了类似的收益。
2006-08-25 cs.CL cs.IR cs.LG
Automatic Construction of Evaluation Sets and Evaluation of Document Similarity Models in Large Scholarly Retrieval Systems
学术文献检索系统为科学界提供了搜索、探索和下载跨各种科学学科的学术文章的能力。这些系统主要由特定领域的专家使用，包含用户社区日志，包括用户特定下载文章的信息。在本文中，我们提出了一种新的方法，自动评估文档相似性模型在大量的学术出版物。与使用由查询文档和人类注释的相关性判断组成的测试集合的典型评估设置不同，我们使用下载日志来自动生成类似文档对的伪相关集。更具体地说，我们表明，连续下载的文件对，从学术信息检索（IR）系统中提取，可以用作测试集合，用于评估文档相似性模型。我们的方法的另一个新颖的方面在于，我们采用的方法，通过比较连续下载的文档对和随机文档对在日志空间中的分布来评估模型的性能。在两个家族的相似性模型，表示文档的术语向量和主题空间，我们表明，我们的评估方法实现了非常高的相关性与传统的性能指标，如平均平均精度（MAP），同时更有效地计算。
2016-01-07 cs.IR
Extracting an English-Persian Parallel Corpus from Comparable Corpora
Institute for Advanced Studies in Basic Sciences (IASBS)（基础科学高级研究所）
并行数据是可靠的统计机器翻译（SMT）系统的重要组成部分。这些数据越多，SMT系统的质量就越好。然而，对于一些语言对，如波斯语-英语，这种平行的来源是稀缺的。本文提出了一种双向的方法，从英语和波斯语文档对齐的维基百科中提取平行句子。两个机器翻译系统被用来从波斯语翻译成英语和反向之后，IR系统被用来衡量翻译句子的相似性。将提取的句子添加到现有SMT系统的训练数据中，可以提高翻译的质量。此外，所提出的方法略优于单向方法。所提取的语料库由约20万个句子组成，这些句子已通过IR系统计算出的相似度进行了排序，并可在Web上免费供公众访问。
2019-03-31 cs.CL cs.IR
A German Corpus for Text Similarity Detection Tasks
Université d’Avignon et des Pays de Vaucluse（阿维尼翁大学）；École Polytechnique de Montréal（蒙特利尔理工学院）；Universidad Nacional Autónoma de México（墨西哥国立自治大学）；University of Applied Sciences Fulda（富尔达应用技术大学）
文本相似性检测的目的是度量一对文本之间的相似程度。文本相似性检测语料库的设计是为了评估文本之间的释义水平的算法。在本文中，我们提出了一个文本德语语料库的相似性检测。该语料库的目的是自动评估一对文本之间的相似性，并评估不同的相似性度量，无论是整个文档还是单个句子。因此，我们已经计算了几个简单的措施，我们的语料库的基础上的相似性函数库。
2017-03-11 cs.CL cs.IR
Neural Network Graph Similarity Computation Based on Graph Fusion
本文提出图融合方法，将图对节点序列合并为单图并利用全局注意力实现并行交互，在图级和节点级计算相似度，在五个数据集上超越基线模型。
2025-02-25 cs.IR cs.LG
Billion-scale similarity search with GPUs
Facebook AI Research（Facebook人工智能研究院）
相似性搜索在处理复杂数据（例如图像或视频）的专用数据库系统中找到应用，这些数据通常由高维特征表示并需要特定的索引结构。本文解决了更好地利用GPU完成这项任务的问题。虽然GPU擅长数据并行任务，但先前的方法被暴露较少并行性的算法所验证，例如k-min选择，或者对存储层次结构的利用不佳。我们提出了一种k-选择的设计，其运行速度高达理论峰值性能的55%，实现了比现有GPU最先进技术快8.5倍的最近邻实现。我们将其应用于不同的相似性搜索场景，通过提出基于乘积量化的蛮力，近似和压缩域搜索的优化设计。在所有这些设置中，我们的表现都远远超过了最先进的水平。我们的实现可以在35分钟内在Yfcc 100 M数据集的9500万张图像上构建高精度k-NN图，并在不到12小时的时间内在4个Maxwell Titan X GPU上构建连接10亿个向量的图。为了比较和可重复性，我们开放了我们的方法。
2017-02-28 cs.CV cs.DB cs.DS
Human-Level Performance on Word Analogy Questions by Latent Relational Analysis
本文介绍了潜在关系分析（LRA），一种测量关系相似性的方法。LRA在信息抽取、词义消歧、机器翻译、信息检索等领域有着广泛的应用前景。关系相似性是关系之间的对应关系，而属性相似性是属性之间的对应关系。当两个词的属性相似度很高时，我们称之为同义词。当两对词具有高度的关系相似性时，我们说它们的关系是相似的。例如，mason/stone这个词对就类似于carpenter/wood这个词对。过去的工作语义相似性的措施，主要是关注属性相似性。最近的向量空间模型（VSM）的信息检索已被改编为测量关系相似性的任务，实现了47%的分数上收集的374个大学水平的多项选择词类比问题。在VSM方法中，一对词之间的关系由大型语料库中预定义模式的频率向量来表征。LRA以三种方式扩展了VSM方法：（1）模式是从语料库中自动导出的（它们不是预定义的），（2）奇异值分解（SVD）用于平滑频率数据（在潜在语义分析中也以这种方式使用），以及（3）自动生成的同义词用于探索词对的重新表达。LRA在374个类比问题上的得分为56%，在统计学上相当于人类的平均得分57%。在分类名词修饰语关系的相关问题上，LRA在使用较小的语料库的同时实现了与VSM相似的增益。
2004-12-06 cs.CL cs.IR cs.LG
Efficient Taxonomic Similarity Joins with Adaptive Overlap Constraint
相似性连接的目的是找到两个记录集合之间的所有相似对。既定的方法通常处理合成的差异，如错别字和缩写，但忽略了词之间的语义关系。然而，这种关系有助于获得高质量的接合结果。在本文中，我们利用分类学知识（即，一组IS-A分层关系）来定义从两个数据集中找到语义相似的记录的相似性度量。在此基础上，我们提出了一个基于前缀过滤框架的相似连接算法来有效地删除不相关的数据对。我们在这里的技术贡献是一个算法，明智地选择关键参数的前缀过滤器，以最大限度地提高其过滤能力，支持的估计技术和蒙特卡洛模拟过程。实验表明，我们提出的方法具有高效率和可扩展性，优于国家的最先进的大幅度。
2018-10-29 cs.DB cs.IR
Building Subject-aligned Comparable Corpora and Mining it for Truly Parallel Sentence Pairs
Polish Japanese Institute of Information Technology（波兰-日本信息技术学院）
平行句子是一种相对稀缺但非常有用的资源，对于许多应用，包括跨语言检索和统计机器翻译。本研究探讨了我们的方法，从以前获得的可比语料库挖掘这些数据。这项任务是非常实用的，因为非平行的多语言数据存在的数量远远超过平行语料库，但平行的句子是一个更有用的资源。在这里，我们提出了一个网络爬行方法，从维基百科的文章建立主题对齐的可比语料库。我们还介绍了一种方法，用于提取真正的平行的句子，从嘈杂的或只是可比的句子对过滤掉。我们描述了我们的执行这项任务的一个专门的工具，以及训练和适应的机器翻译系统，提供我们的过滤器与可比的句子对的相似性的额外信息。
2015-09-29 cs.CL cs.IR stat.ML
Content-based Text Categorization using Wikitology
National University of Computer and Emerging Sciences (NU-FAST)（国立计算机与新兴科学大学（NU-FAST））
一个主要的计算负担，而执行文档聚类，是一对文档之间的相似性度量的计算。相似性度量是一个函数，它根据文档之间的相似程度，为一对文档分配一个介于0和1之间的实数。值为零表示文档完全不相似，而值为1表示文档实际上相同。传统上，基于向量的模型已被用于计算文档相似度。基于向量的模型表示文档中存在的几个特征。这些方法的相似性措施，在一般情况下，不能占的语义文件。用人类语言编写的文档包含上下文，并且用于描述这些上下文的词语通常在语义上相关。受此启发，许多研究人员提出了基于语义的相似性度量，通过使用外部词库（如WordNet）进行文本注释。在本文中，我们定义了一个语义相似性度量的基础上表示的主题地图的文件。主题地图正迅速成为知识表示的工业标准，其重点是以后的搜索和提取。将文档转换为基于主题图的编码知识，并将一对文档之间的相似性表示为共同模式之间的相关性。在文本挖掘数据集上的实验研究表明，与常用的文本聚类相似性度量方法相比，该方法具有更好的聚类效果。
2012-08-17 cs.AI cs.IR
Applying Transfer Learning for Improving Domain-Specific Search Experience Using Query to Question Similarity
Artificial Intelligence, CoE（人工智能卓越中心）；Fidelity Investments（富达投资）
搜索是最常用的信息搜索平台之一。然而，每当用户使用这样的平台来解决他们的查询时，他们大多会收到过多的结果。如今，对查询的直接回答作为搜索体验的一部分被提供。问答（QA）检索过程在丰富搜索体验方面起着重要作用。大多数现成的语义文本相似性模型对于格式良好的搜索查询都能很好地工作，但是当应用于特定于域的设置时，它们的性能会降低，该设置具有普遍存在的不完整或语法不正确的搜索查询。在本文中，我们讨论了一个框架，用于计算一个给定的输入查询和一组预定义的问题之间的相似性，以检索的问题，它最匹配。我们已经将其用于金融领域，但该框架适用于任何特定领域的搜索引擎，也可以用于其他领域。我们在长短期记忆（LSTM）[3]模型上使用暹罗网络[6]来训练分类器，该分类器为给定的一对问题生成未归一化和归一化的相似性得分。此外，对于这些问题对中的每一个，我们计算了其他三个相似性分数：它们的平均word2vec嵌入之间的余弦相似性[15]，使用RoBERTa [17]生成的句子嵌入之间的余弦相似性[7]以及它们的自定义模糊匹配分数。最后，我们使用支持向量机[19]开发了一个元分类器，用于结合这五个分数来检测给定的一对问题是否相似。我们在Quora Question Pairs（QQP）数据集以及特定于金融领域的数据集上对现有的最先进（SOTA）模型进行了性能基准测试。
2021-01-07 cs.CL cs.IR
Deep Self-Adaptive Hashing for Image Retrieval
Shenzhen University（深圳大学）；Tencent（腾讯）；The University of Queensland（昆士兰大学）
散列技术因其计算和存储效率高而被广泛应用于图像检索中。最近，由于现实世界中人工注释的高成本和深度学习技术的优越性，深度无监督哈希方法受到越来越多的关注。然而，大多数深度无监督哈希方法通常预先计算相似性矩阵，以在预训练的特征空间中对成对关系进行建模。然后，这个相似性矩阵将用于指导哈希学习，其中大多数数据对被等效处理。上述过程面临以下缺陷：1）预先计算的相似度矩阵是不可改变的，并且与散列学习过程断开，这不能探索底层语义信息。2)信息数据对可能被大量信息量较小的数据对所掩盖。为了解决上述问题，我们提出了一个深度自适应哈希（DSAH）模型，自适应地捕捉语义信息与两个特殊的设计：自适应邻居发现（AND）和成对信息内容（PIC）。首先，我们采用AND初步构建一个基于邻域的相似性矩阵，然后用一种新的更新策略来细化这个初始相似性矩阵，以进一步研究学习表示背后的语义结构。其次，我们用PIC来衡量数据对的优先级，并为它们分配自适应的权重，这依赖于假设更多的不相似数据对包含更多的哈希学习的判别信息。在多个数据集上的大量实验表明，上述两种技术有助于深度哈希模型实现卓越的性能。
2021-08-21 cs.CV cs.IR
Bayesian Locality Sensitive Hashing for Fast Similarity Search
The Ohio State University（俄亥俄州立大学）
给定一组对象和相关的相似性度量，所有对相似性搜索问题要求我们找到所有相似性大于某个用户指定阈值的对象对。基于局部敏感哈希（LSH）的方法已经成为解决这个问题的一种非常流行的方法。然而，大多数这样的方法仅在相似性搜索的第一阶段使用LSH-即用于候选生成的有效索引。在本文中，我们提出了BayesLSH，一个原则性的贝叶斯算法的后续阶段的相似性搜索-执行候选人修剪和相似性估计使用LSH。一个更简单的变种，贝叶斯LSH-Lite，它计算相似性，也提出了。BayesLSH能够快速修剪掉大部分假阳性候选对，从而使基线方法的速度显著提高。对于BayesLSH，我们还在准确率和召回率方面对输出质量提供概率保证。最后，BayesLSH的输出质量可以很容易地调整，并且不需要手动设置用于相似性估计的哈希数，这与标准方法不同。对于两种最先进的候选生成算法，AllPairs和LSH，BayesLSH能够显著加速，通常在2x-20 x范围内用于各种数据集。
2012-03-28 cs.AI cs.DB cs.DS
Distributional semantics beyond words: Supervised learning of analogy and paraphrase
National Research Council Canada（加拿大国家研究委员会）
已经有一些努力将分布式语义扩展到单个单词之外，以测量单词对，短语和句子的相似性（简单地说，元组;单词的有序集合，连续或不连续）。扩展到单词之外的一种方法是使用一个函数来比较两个元组，该函数组合元组中的组成单词之间的成对相似性。这种方法的优点是它可以处理关系相似性（类比）和组成相似性（释义）。然而，过去的工作需要手工编码的组合功能，为不同的任务。本文的主要贡献是通过监督学习生成组合函数。我们在测量词对之间的关系相似性（SAT类比和SemEval~2012任务2）以及测量名词修饰语短语和一元词之间的成分相似性（多项选择释义问题）方面取得了最先进的结果。
2013-10-18 cs.AI cs.CL cs.IR
Taken by Surprise: Contrast effect for Similarity Scores
EliseAI（Elise人工智能公司）；King’s College London（伦敦国王学院）
针对现有相似度得分未考虑对象集合分布的问题，提出体现人类感知对比效应的surprise score指标，在零/少样本分类等任务上性能较余弦相似度提升10-15%。
2023-08-22 cs.AI cs.CL cs.IR
