An improved semantic similarity measure for document clustering based on topic maps
一个主要的计算负担，而执行文档聚类，是一对文档之间的相似性度量的计算。相似性度量是一个函数，它根据文档之间的相似程度，为一对文档分配一个介于0和1之间的实数。值为零表示文档完全不相似，而值为1表示文档实际上相同。传统上，基于向量的模型已被用于计算文档相似度。基于向量的模型表示文档中存在的几个特征。这些方法的相似性措施，在一般情况下，不能占的语义文件。用人类语言编写的文档包含上下文，并且用于描述这些上下文的词语通常在语义上相关。受此启发，许多研究者提出了基于语义的相似性度量方法，即通过外部词库如WordNet（一个词汇数据库）进行文本注释。在本文中，我们定义了一个语义相似性度量的基础上表示的主题地图的文件。主题地图正迅速成为知识表示的工业标准，其重点是以后的搜索和提取。文档被转换成基于主题图的编码知识，并且一对文档之间的相似性被表示为共同模式（子树）之间的相关性。在文本挖掘数据集上的实验研究表明，与常用的文本聚类相似性度量方法相比，该方法具有更好的聚类效果。
2013-03-17 cs.IR
An Efficient Approach to Learning Chinese Judgment Document Similarity Based on Knowledge Summarization
North China Electric Power University（华北电力大学）；Renmin University of China（中国人民大学）
普通法体系中以前的类似案例可用作本案的参考，以便在每一个案例中对相同的情况作类似的处理。然而，现有的判决文本相似度计算方法未能捕捉到判决文本的核心语义，存在准确度低、计算复杂度高的问题。提出了一种基于知识块摘要的机器学习方法来计算中文判决书的语义相似度。利用裁判文书的领域本体，基于知识块对中文裁判文书的核心语义进行归纳。然后利用WMD算法计算知识块之间的相似度。最后通过实验验证了该方法的有效性，与传统方法相比，该方法具有更高的精度和更快的计算速度。
2018-08-06 cs.AI cs.CL cs.IR
A new simple and effective measure for bag-of-word inter-document similarity measurement
为了在词袋向量表示中度量两个文档的相似性，使用不同的术语加权方案来提高文本挖掘中最广泛使用的文档间相似性度量--余弦相似性的性能。在本文中，我们确定的不足之处，在文档间的相似性测量任务的术语加权的基本假设，并提供了一个更适合的替代方案。基于这个新的假设，我们引入了一个新的简单，但有效的相似性度量，不需要显式的术语加权。建议的措施采用了一个更细致入微的概率方法比那些用于长期加权来衡量两个文件的相似性w.r.t每个术语发生在两个文件。我们的经验比较与现有的相似性措施，使用不同的术语加权方案表明，新的措施产生（i）更好的结果，在二进制的BoW表示;和（ii）竞争力和更一致的结果，在基于词频的BoW表示。
2019-02-09 cs.IR
Bridging the Gap: Incorporating a Semantic Similarity Measure for Effectively Mapping PubMed Queries to Documents
National Center for Biotechnology Information（国家生物技术信息中心）；National Library of Medicine, National Institutes of Health（美国国家医学图书馆，美国国立卫生研究院）
传统的信息检索（IR）的主要方法是检查查询中有多少单词出现在文档中。然而，这种方法的一个缺点是，它可能无法检测到相关的文档中没有或只有少数单词从一个查询中被发现，语义分析方法，如LSA（潜在语义分析）和LDA（潜在Dirichlet分配）已被提出来解决这个问题，但他们的性能并不优于普通的IR方法相比。在这里，我们提出了一个查询文档的相似性措施的动机字移动器的距离。与其他相似性度量不同，所提出的方法依赖于神经词嵌入来计算词之间的距离。当在查询和文档之间没有找到直接匹配时，此过程有助于识别相关单词。我们的方法是有效的和简单的实现。在TREC Genomics数据上的实验结果表明，该方法的平均精度比BM 25排序函数平均高12%。此外，对于从PubMed搜索日志收集的真实数据集，我们使用学习排序方法将语义度量与BM 25相结合，从而将排名分数提高了25%。该实验表明，所提出的方法和BM 25很好地相互补充，并共同产生卓越的性能。
2017-10-17 cs.CL cs.IR
News Across Languages - Cross-Lingual Document Similarity and Event Tracking
在今天的世界里，我们关注的新闻是全球性的。重大事件由不同来源以不同语文报道。在这项工作中，我们解决的问题，在一个大的多语言流的事件跟踪。在最近开发的系统事件注册表中，我们研究这个问题的两个方面：如何比较不同语言的文章，以及如何链接不同语言的文章集合，这些文章指的是同一事件。以多语言流和集群的文章，从每种语言，我们比较不同的跨语言文档相似性措施的基础上维基百科。这使我们能够计算任何两篇文章的相似性，而无论语言如何。在以前工作的基础上，我们展示了一些方法，这些方法可以很好地扩展，并且可以计算来自语言的文章之间的有意义的相似性，在训练数据中很少或没有直接重叠。利用这种能力，我们提出了一种方法来链接集群的文章跨语言，代表同一事件。我们提供了一个广泛的评价系统作为一个整体，以及评价的质量和鲁棒性的相似性度量和链接算法。
2015-12-22 cs.CL cs.IR
Contextual Document Similarity for Content-based Literature Recommender Systems
为了应对日益增长的信息过载，越来越多的数字图书馆采用基于内容的推荐系统。这些系统传统上推荐相关的文件的帮助下，相似性的措施。然而，当前的文档相似性度量仅仅区分相似和不相似的文档。这种简化对于大量的文件尤其重要，因为这些文件涵盖了一个主题的各个方面，并且经常在数字图书馆中找到。然而，这些相似性度量忽略了相似性涉及的方面。因此，相似性的背景仍然不明确。在这篇博士论文中，我们探讨了上下文文档相似性度量，即，将文档相似性确定为两个文档及其相似性上下文的三元组的方法。在这里，上下文是相似性的进一步说明。例如，在科学领域，研究论文可以在背景、方法或发现方面相似。关于一个或多个给定上下文的相似性的度量将增强推荐系统。也就是说，用户将能够通过制定查询的文件及其上下文的相似性来探索文档集合。因此，我们的研究目标是开发和评估的推荐系统的基础上上下文相似性。底层技术将应用已建立的相似性度量以及神经方法，同时利用从文档及其文本之间的链接中获得的语义特征。
2020-08-01 cs.DL cs.IR
Multi-layered graph-based multi-document summarization model
University of Prizren（普里兹伦大学）
多文档摘要是自动生成给定文档集合的压缩版本的过程。最近，基于图的模型和排序算法已经被抽取文档摘要社区积极研究。虽然大多数工作集中在同质连接的句子和异质连接的文件和句子（如句子相似度加权的文件重要性），在本文中，我们提出了一种新的3层图模型，不仅强调句子和文档级别的关系，但也下句子级别的关系（如句子相似度的一部分）的影响。
2014-05-17 cs.CL cs.IR
Methods for Computing Legal Document Similarity: A Comparative Study
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Tata Research Development and Design Centre (TRDDC)（塔塔研究开发与设计中心（TRDDC））；Data61, CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；Cyber Security CRC（网络安全合作研究中心）
计算法律文本之间的相似度是法律信息检索领域中一个重要而又具有挑战性的课题。发现相似的法律文档在下游任务中有许多应用，包括先前案例检索、法律文章推荐等。先前的工作已经提出了两种广泛的测量法律文档之间相似性的方法-分析先例引文网络和基于文本内容相似性度量来测量相似性。但是还没有在一个共同的平台上对这些现有方法进行全面的比较。在本文中，我们执行现有的方法的第一个系统的分析。此外，我们还探索了两种有前途的新的相似度计算方法-一种是基于文本的，另一种是基于网络嵌入的，这是迄今为止还没有考虑过的。
2020-04-26 cs.CL cs.IR cs.LG
Comparison Clustering using Cosine and Fuzzy set based Similarity Measures of Text Documents
考虑到聚类的高要求，本文重点介绍了使用两种不同的相似性度量来理解和实现K-均值聚类。我们尝试使用两种不同的方法对文档进行聚类，而不是使用欧氏距离进行聚类。并在此基础上对模糊相似性度量和余弦相似性度量的聚类精度进行了比较。聚类的开始时间和结束时间参数用于确定最佳相似性度量。
2015-05-01 cs.IR
Arabic text summarization based on latent semantic analysis to enhance arabic documents clustering
University Sidi Mohamed Ben Abdellah (USMBA)（西迪·穆罕默德·本·阿卜杜拉大学）；Faculty of Science Dhar EL Mahraz (FSDM)（达尔·马赫拉兹科学学院）
阿拉伯文文档聚类是一项重要的任务，以获得良好的效果与传统的信息检索（IR）系统，特别是与阿拉伯语在线文档的数量迅速增长。文档聚类的目标是使用不同的相似性/距离度量将相似的文档自动分组到一个聚类中。该任务往往受到文档长度的影响，文档上的有用信息往往伴随着大量的噪声，因此有必要在保留有用信息的同时消除这些噪声，以提高文档聚类的性能。在本文中，我们建议使用潜在语义分析模型对阿拉伯文文档聚类的文本摘要的影响进行评估，以解决上述问题，使用五个相似性/距离的措施：欧几里德距离，余弦相似性，Jaccard系数，皮尔逊相关系数和平均Kullback-Leibler发散，两次：没有和词干。实验结果表明，该方法有效地解决了噪声信息和文档长度的问题，从而显着提高聚类性能。
2013-02-06 cs.CL cs.IR
Supervised Contrastive Learning for Interpretable Long-Form Document Matching
深度学习技术的最新进展已经改变了语义文本匹配领域。然而，大多数最先进的模型被设计用于短文档，如推文，用户评论，评论等，这些模型在应用于长格式文档（如科学论文，法律文档和专利）时具有根本的局限性。在处理如此长的文档时，存在三个主要挑战：（i）在整个文档中同一个词存在不同的上下文，（ii）在两个文档之间存在上下文相似的文本的小部分，但在其余部分中存在不同的文本（这违背了对“相似性”的基本理解），以及（iii）不能捕获文档内容的异质性的单个全局相似性度量的粗糙性质。在本文中，我们描述了CoLDE：对比长文档编码器-一个基于transformer的框架，它解决了这些挑战，并允许对长文档进行可解释的比较。CoLDE使用独特的位置嵌入和多头分块注意层，结合有监督的对比学习框架，以捕获三个不同级别的相似性：（i）一对文档之间的高级别相似性得分，（ii）文档内和跨文档的不同部分之间的相似性得分，以及（iii）同一文档中不同块之间和跨其他文档的相似性得分。这些细粒度的相似性分数有助于更好的可解释性。我们在三个长文档数据集上评估CoLDE，即ACL Anthology出版物，维基百科文章和USPTO专利。除了在文档匹配任务上优于最先进的方法外，CoLDE还对文档长度和文本扰动的变化具有鲁棒性，并提供可解释的结果。
2022-06-02 cs.IR
Automatic Construction of Evaluation Sets and Evaluation of Document Similarity Models in Large Scholarly Retrieval Systems
学术文献检索系统为科学界提供了搜索、探索和下载跨各种科学学科的学术文章的能力。这些系统主要由特定领域的专家使用，包含用户社区日志，包括用户特定下载文章的信息。在本文中，我们提出了一种新的方法，自动评估文档相似性模型在大量的学术出版物。与使用由查询文档和人类注释的相关性判断组成的测试集合的典型评估设置不同，我们使用下载日志来自动生成类似文档对的伪相关集。更具体地说，我们表明，连续下载的文件对，从学术信息检索（IR）系统中提取，可以用作测试集合，用于评估文档相似性模型。我们的方法的另一个新颖的方面在于，我们采用的方法，通过比较连续下载的文档对和随机文档对在日志空间中的分布来评估模型的性能。在两个家族的相似性模型，表示文档的术语向量和主题空间，我们表明，我们的评估方法实现了非常高的相关性与传统的性能指标，如平均平均精度（MAP），同时更有效地计算。
2016-01-07 cs.IR
Legal Case Document Similarity: You Need Both Network and Text
估计两个法律案件文档之间的相似性是一个重要且具有挑战性的问题，具有各种下游应用，例如先前案例检索和引用推荐。有两种广泛的方法来完成这项任务--基于引文网络和基于文本。先前的基于引文网络的方法仅考虑对先前案例（也称为先例）的引用（PCNet）。这种方法忽略了成文法（一个司法管辖区的成文法）中固有的重要信号。在这项工作中，我们提出了层次SPCNet增强PCNet与法规的异构网络。我们将领域知识的法律文件的相似性到Hier-SPCNet，从而获得国家的最先进的结果，基于网络的法律文件的相似性。文本相似性和网络相似性都为法律案例的相似性提供了重要的信号，但到目前为止，只有微不足道的尝试已经统一了这两个信号。在这项工作中，我们采用了几种方法结合文本和网络信息来估计法律案件的相似性。我们对来自印度司法部门的法律案件文件进行了广泛的实验，其中文件对之间的黄金标准相似性由来自印度两个著名法律机构的法律专家判断。我们的实验表明，我们提出的基于网络的方法显着提高与领域专家的意见相比，现有的基于网络的法律文件相似性的方法。我们的最佳组合方法（结合了基于网络和基于文本的相似性）提高了与领域专家意见的相关性，比基于文本的最佳方法提高了11.8%，比基于网络的最佳方法提高了20.6%。我们还建立了我们的最佳性能的方法可以用来推荐/检索引用和类似的情况下，一个源（查询）的情况下，这是非常赞赏的法律专家。
2022-09-26 cs.IR
Calculating Semantic Similarity between Academic Articles using Topic Event and Ontology
State Key Laboratory of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）
确定学术文档之间的语义相似度对于剽窃检测、自动技术调查和语义搜索等任务至关重要。目前的研究主要集中在概念、句子和短文本片段之间的语义相似度。然而，文档级语义匹配仍然基于表层的统计信息，忽略了文章结构和全局语义，这可能会导致文档理解的偏差。针对学术文献的文档级语义相似性问题，提出了一种新的方法。该方法以主题事件表示学术文章，利用研究目的、研究方法和研究领域等多个信息描述学术文章的研究工作，并基于领域本体计算主题事件之间的相似度，得到文章之间的语义相似度。实验表明，我们的方法实现了显着的性能相比，国家的最先进的方法。
2017-11-30 cs.AI cs.CL cs.IR
Identifying document similarity using a fast estimation of the Levenshtein Distance based on compression and signatures
针对Levenshtein距离二次时间复杂度不适用于大文档相似性识别的问题，提出基于压缩签名的快速估计算法，兼具效率与准确性，还引入显著性分数辅助相关文档识别。
2023-07-21 cs.IR
Content-based Text Categorization using Wikitology
National University of Computer and Emerging Sciences (NU-FAST)（国立计算机与新兴科学大学（NU-FAST））
一个主要的计算负担，而执行文档聚类，是一对文档之间的相似性度量的计算。相似性度量是一个函数，它根据文档之间的相似程度，为一对文档分配一个介于0和1之间的实数。值为零表示文档完全不相似，而值为1表示文档实际上相同。传统上，基于向量的模型已被用于计算文档相似度。基于向量的模型表示文档中存在的几个特征。这些方法的相似性措施，在一般情况下，不能占的语义文件。用人类语言编写的文档包含上下文，并且用于描述这些上下文的词语通常在语义上相关。受此启发，许多研究人员提出了基于语义的相似性度量，通过使用外部词库（如WordNet）进行文本注释。在本文中，我们定义了一个语义相似性度量的基础上表示的主题地图的文件。主题地图正迅速成为知识表示的工业标准，其重点是以后的搜索和提取。将文档转换为基于主题图的编码知识，并将一对文档之间的相似性表示为共同模式之间的相关性。在文本挖掘数据集上的实验研究表明，与常用的文本聚类相似性度量方法相比，该方法具有更好的聚类效果。
2012-08-17 cs.AI cs.IR
Privacy Preserving MFI Based Similarity Measure For Hierarchical Document Clustering
万维网的日益增长的性质给研究人员在提高互联网上的搜索效率方面提出了巨大的挑战。如今，Web文档聚类已经成为一个重要的研究课题，以提供最相关的文档在巨大的卷返回响应于一个简单的查询。本文首先提出了一种基于最大频繁项集（MFI）的Apriori聚类算法。然后利用相同的最大频繁项集（MFI）的相似性度量的层次文档聚类。通过考虑最大频繁项集，降低了文档集的维数。第二，提供开放的Web文档的隐私保护是为了避免重复文档。这样，我们就可以保护个人的隐私文件的版权。这可以通过等价关系来实现。
2012-07-12 cs.DB cs.IR
Hier-SPCNet: A Legal Statute Hierarchy-based Heterogeneous Network for Computing Legal Case Document Similarity
计算两个法律案例文档之间的相似度是法律信息检索中一个重要且具有挑战性的任务，文献中已经提出了基于文本和基于网络的相似度度量。所有先前的基于网络的相似性方法都只考虑案例文档之间的先例引文网络（PCNet）。然而，这种方法忽略了法律知识的一个重要来源--适用于给定法律管辖区的法律法规的层次结构（例如，国家）。我们建议增加PCNet与法律法规的层次结构，形成一个异构网络Hier-SPCNet，案例文件和法规之间的引用链接，以及引用和层次之间的联系的法规。一组印度最高法院的案件文件的实验表明，我们提出的异构网络，使显着更好的文档相似性估计相比，现有的方法使用PCNet。我们还表明，所提出的基于网络的方法可以补充基于文本的措施，更好地估计法律文件的相似性。
2020-07-07 cs.CY cs.IR cs.SI
Scalable Cross-lingual Document Similarity through Language-specific Concept Hierarchies
Universidad Politécnica de Madrid（马德里理工大学）；Amazon Research（亚马逊研究院）
随着越来越多的数字文章以更广泛的语言出现，以及不同语言的使用范围不断扩大，我们需要能够浏览多语言语料库的注释方法。多语言概率主题模型是近年来出现的一组半监督机器学习模型，可用于对多种语言的文本集合进行主题探索。然而，这些方法需要主题对齐的训练数据来创建语言独立的空间。这种限制限制了该技术可以为训练提供解决方案的场景数量，并且很难扩展到训练阶段需要大量多语言文档的情况。本文提出了一种无监督的文档相似度算法，不需要平行或可比语料库，或任何其他类型的翻译资源。该算法用跨语言标签标注从单一语言文档中自动创建的主题，并通过独立训练的模型中的多语言概念层次来描述文档。在英语，西班牙语和法语版的JCR-Accounts语料库上进行的实验显示，通过相似内容对文档进行分类和排序的结果很有希望。
2020-12-15 cs.AI cs.CL cs.IR
A Fast Text Similarity Measure for Large Document Collections using Multi-reference Cosine and Genetic Algorithm
使搜索引擎快速、准确的重要因素之一是一个简洁、无重复的索引。为了从索引中删除重复和接近重复的文档，搜索引擎需要一个快速可靠的重复和接近重复的文本文档检测系统。解决这个问题的传统方法，如蛮力比较或简单的基于散列的算法是不合适的，因为它们是不可扩展的，并且不能有效地检测近似重复的文档。本文提出了一种新的基于特征的文本相似性检测方法，该方法具有速度快、可扩展性好、可靠性高、占用存储空间少等优点。在CiteseerX、Enron、Gold Set of Near-Duplicate News Articles等流行的文本文档数据集上进行了实验，结果表明，该方法在准确性和性能方面都优于最先进的算法。所提出的方法是基于使用参考文本生成签名的文本文档的想法。本文的新颖之处在于使用遗传算法来生成更好的参考文本。
2019-09-24 cs.IR
Self-Taught Hashing for Fast Similarity Search
快速的大规模相似性搜索能力对于许多信息检索应用具有重要意义。加速相似性搜索的一种有前途的方法是语义哈希，它为大量文档设计紧凑的二进制代码，以便将语义相似的文档映射到相似的代码（在短的海明距离内）。虽然最近提出的一些技术能够生成高质量的代码的文件中已知的提前，获得以前看不见的文件的代码仍然是一个非常具有挑战性的问题。在本文中，我们强调这个问题，并提出了一种新的自学哈希（STH）的语义哈希方法：我们首先找到最佳的$l$位二进制代码的所有文件在给定的语料库中通过无监督学习，然后训练$l$分类器通过监督学习预测的$l$位代码的任何查询文档之前看不见的。我们在三个真实世界的文本数据集上的实验表明，所提出的方法使用二进制拉普拉斯特征映射（LapEig）和线性支持向量机（SVM）优于国家的最先进的技术显着。
2010-04-29 cs.IR
Unsupervised Semantic Hashing with Pairwise Reconstruction
University of Copenhagen（哥本哈根大学）
语义哈希是一种流行的方法，用于在大规模数据集中进行高效的相似性搜索。在语义散列中，文档被编码为短二进制向量（即，散列码），使得可以使用汉明距离来有效地计算语义相似性。最近的最先进的方法已经利用弱监督来训练性能更好的散列模型。受此启发，我们提出了语义哈希与成对重建（PairRec），这是一个离散的变分自编码器为基础的哈希模型。PairRec首先将弱监督训练对（查询文档和语义相似的文档）编码成两个散列码，然后学习从这两个散列码重构相同的查询文档（即，成对重建）。这种成对重建使我们的模型能够直接通过解码器对哈希码中的局部邻域结构进行编码。我们实验比较PairRec的传统和国家的最先进的方法，并获得显着的性能改进的任务，文档相似性搜索。
2020-07-01 cs.CL cs.IR
Textual Spatial Cosine Similarity
在处理文档相似性时，目前存在许多方法，如余弦相似性。基于文本信息的语义分析的更复杂的方法也是可用的，这些方法在计算上是昂贵的并且很少用于如在企业范围的搜索环境中的内容的实时的馈送。为了解决这些实时约束，我们开发了一种新的文档相似性度量，称为文本空间余弦相似性，它能够使用文档中包含的单词位置信息在语义级别上检测相似性。在本文中，我们将看到该模型存在两种退化情况，这与余弦相似性在一侧相一致，而与另一侧的释义检测模型相一致。
2015-05-15 cs.IR
Topic Similarity Networks: Visual Analytics for Large Document Sets
Institute for Defense Analyses（国防分析研究所）
我们研究的方法，以提高LDA主题模型的可解释性，更好地分析和可视化其输出。我们专注于研究我们所说的主题相似性网络：图中的节点代表文本集合中的潜在主题，链接代表主题之间的相似性。我们描述了高效和有效的方法来构建和标记这样的网络。基于这些网络的主题模型的可视化被证明是探索，表征和总结大量非结构化文本文档的强大手段。它们有助于“梳理”不同文档集之间的非明显联系，并提供有关主题如何形成更大主题的见解。我们通过两个案例研究证明了这些方法的有效性和实用性：1）NSF资助的基础研究跨越14年的时间和2）维基百科的整个英文部分。
2014-09-26 cs.CL cs.HC cs.IR
Efficient Document Indexing Using Pivot Tree
UPMC（巴黎第六大学）
我们提出了一种新的方法，有效地搜索前k个邻居表示在高维空间的条件的基础上余弦相似性的文件。大多数情况下，文档是以词袋tf-idf表示的形式存储的。向量表示之间的余弦相似度是计算文档间相似度最常用的方法之一，但余弦相似度不遵循三角不等式，不是度量距离的度量，因此大多数度量搜索方法不能直接应用。我们提出了一个有效的方法，索引文件使用枢轴树，导致有效的检索。我们还研究了该方法的精度和效率之间的关系，并将其与基于内积的文档搜索领域的最新技术进行了比较。
2016-05-21 cs.IR cs.LG
Document Similarity Enhanced IPS Estimation for Unbiased Learning to Rank
针对学习排序中的位置偏差，提出IPSsim估计器，利用文档相似性改进IPS加权，在多个数据集上显著提升无偏排序性能。
2025-07-10 cs.IR
H3D: Benchmarking Unsupervised Text Hashing for Fine-Grained Document Deduplication
Zhongguancun Laboratory（中关村实验室）；Beihang University（北京航空航天大学）；Monash University Australia（澳大利亚莫纳什大学）；Hong Kong Polytechnic University（香港理工大学）
H3D作为细粒度文档去重的无监督文本哈希基准测试，评估多种哈希方法，在两个数据集上进行实验，报告排名质量、效率和鲁棒性等结果，揭示不同方法权衡，分析相似性度量等效情况，提升方法比较的可解释性与可重复性。
2026-07-10 cs.IR
Element Retrieval using Namespace Based on keyword search over XML Documents
使用关键字搜索来查询XML元素正逐渐流行起来。传统的相似性度量被广泛应用于各种XML文档的检索。许多作者已经提出了利用XML文档的结构和内容的不同的相似性度量方法。然而，它们没有考虑元素文本的潜在语义信息和查询中的关键字之间的相似性。XML元素搜索算法很多，但由于搜索的元素数量庞大，有的算法存在很高的计算复杂性。在本文中，我们提出了一个新的算法，利用元素之间的语义相似性，而不是整个XML文档之间，考虑不仅是XML文档的结构和内容，但元素中的名称空间的语义信息。通过在真实数据集上的测试，我们将我们的算法与其他三种算法进行了比较。实验结果表明，该方法能够提高查询的准确率，并减少运行时间。
2010-12-17 cs.IR
Representing Documents and Queries as Sets of Word Embedded Vectors for Information Retrieval
在IR中应用词向量嵌入的一个主要困难是设计一个有效和高效的策略来获得文本的复合单元的表示，例如整个文档（与原子词相比），用于索引和评分文档。而不是争取一个合适的方法来获得一个单一的向量表示的一个大文档的文本，我们的目标是开发一个相似性度量，利用在一个文档和查询中的各个嵌入式词向量之间的相似性。更具体地说，我们将文档和查询表示为词向量集，并使用这些集合之间的相似性度量的标准概念，计算这些集合中每个组成词对之间的相似性。然后，我们利用这种相似性度量结合标准的IR为基础的相似性文档排序。我们最初的实验研究的结果表明，我们提出的方法提高了MAP的$5.77\%$，相比标准的基于文本的语言模型相似性，TREC特设数据集。
2016-06-25 cs.IR
A technical study and analysis on fuzzy similarity based models for text classification
Birla Institute of Technology, Mesra（比拉理工学院梅萨分校）
在这个新的和当前的技术，进步和技术的时代，高效和有效的文本文档分类正在成为一个具有挑战性和高度要求的领域，能够将文本文档分类到相互排斥的类别。模糊相似度提供了一种在不同的文档中发现特征相似性的方法。在本文中，各种模糊相似性为基础的模型进行了技术审查。这些模型进行了讨论和比较，以框出它们的使用和必要性。提供了一个不同的方法，这是基于模糊相似性相关的关注之旅。它展示了如何将文本和Web文档有效地分类为不同的类别。文中还讨论了这些模型的各种实验结果。每个模型的参数之间的技术比较以三维图表的形式显示。这些研究和技术综述为基于模糊相似度的文本分类的研究工作提供了坚实的基础。
2012-04-10 cs.IR cs.LG
High-Level Text Preprocessing for Semantic Similarity Analysis of Discursive Texts: A Framework and Empirical Demonstration
Işık University（伊斯克大学）；Boğaziçi University（博阿齐奇大学）
针对话语性文本语义相似度因词汇扩散而虚高的问题，提出高层文本预处理框架，含12条规则，经哲学语料实验验证可有效降低相似度分数，并引入语义扩散指数。
2026-09-29 cs.CL cs.IR cs.LG
A comparison of two suffix tree-based document clustering algorithms
National University of Computer & Emerging Sciences NU-FAST（国家计算机与新兴科学大学 NU-FAST）
文档聚类作为一种无监督的方法，广泛用于导航，过滤，汇总和管理大量的文档库，如万维网（WWW）。最近，在这个领域的重点从传统的基于向量的文档相似度聚类后缀树的文档相似度，因为它提供了更多的语义表示的文本中存在的文件。在本文中，我们比较和对比两个最近推出的方法，基于后缀树数据模型的文档聚类。第一种是基于有效短语的文档聚类，它从文档中抽取短语，形成紧凑的文档表示，并使用基于公共后缀树的相似性度量对文档进行聚类。第二种方法是基于频繁词/词义序列的文档聚类，它从文档中相似地提取出共同词序列，并利用共同序列/共同词义序列进行紧凑表示，最后利用文档聚类方法对紧凑文档进行聚类。这些算法使用凝聚层次文档聚类来执行实际的聚类步骤，这些方法的差异主要是基于短语的提取，作为紧凑文档的模型表示，以及用于聚类的相似性度量。本文研究了这两种算法的计算方面，以及它们产生的结果的质量。
2012-01-10 cs.AI cs.IR
Contextualization for the Organization of Text Documents Streams
University of Porto（波尔图大学）；FEUP（波尔图大学工程学院）；CEFET-RJ（里约热内卢联邦教育科学与技术学院）；INESC TEC（葡萄牙国家电气与计算机工程系统与技术研究所）
研究团体已经做出了重大努力来解决提供借助于信息检索方法来组织文档的方法的问题。在这篇报告中，我们提出了一些实验与一些流分析方法来探索文本文档流。我们只使用动态算法来探索，分析和组织文本文档的流量。本文档展示了文本文档流组织的已开发架构的案例研究，使用增量TextRank和IS-TFIDF等增量算法。这两种算法都是基于这样的假设，即与批处理算法相比，文本文档及其文档-术语矩阵在低维演化网络中的映射提供了更快的处理速度。有了这个架构，并通过使用快速文本嵌入检索文档之间的相似性，我们比较方法与大型文本数据集和地面真相评估聚类能力。使用的数据集是路透社和COVID-19情绪。研究结果为基于文档流中文档间的相似性，利用上述算法，在文档组织任务中处理文档流时，相似性的语境化提供了一个新的视角。
2022-05-30 cs.AI cs.CL cs.IR
RARE: Redundancy-Aware Retrieval Evaluation Framework for High-Similarity Corpora
Allganize；Seoul National University（首尔国立大学）
RARE通过分解文档为原子事实和增强LLM生成数据，构建更真实的基准，揭示当前评估体系无法捕捉的鲁棒性差距。
2026-07-01 cs.AI cs.CL cs.IR
Legal Document Retrieval using Document Vector Embeddings and Deep Learning
University of Moratuwa（莫拉图瓦大学）；University of London（伦敦大学）
特定领域信息检索过程是自然语言处理领域的一个重要研究方向。许多研究人员已经采用了不同的技术来克服技术和领域的特异性，并为各种感兴趣的领域提供了一个成熟的模型。这些研究中的主要瓶颈是领域专家之间的严重耦合，这使得整个过程非常耗时和繁琐。在这项研究中，我们已经开发了三种新的模式，通过提供的在线存储库生成的黄金标准进行比较，特别是法律领域。这三种不同的模型结合了法律领域的向量空间表示，其中文档向量生成是在两种不同的机制中完成的，并且是上述两种机制的集合。本研究包含的研究正在进行的过程中表示法律案件文件到不同的向量空间，同时将语义词的措施和自然语言处理技术。在这项研究中建立的集成模型，显示出显着更高的准确性水平，这确实证明了需要将特定领域的语义相似性措施纳入信息检索过程。这项研究还表明，不同分布的词相似性措施的影响，对不同的文档向量的尺寸，这可能会导致法律信息检索的过程中的改进。
2018-05-27 cs.CL cs.IR
Entity Retrieval for Answering Entity-Centric Questions
School of Computing Science（计算科学学院）；Simon Fraser University（西蒙菲莎大学）
针对以实体为中心的问答，本文提出 Entity Retrieval，利用问题中的显著实体而非问题—文档相似性检索文档，并证明其相比稠密与稀疏检索更准确、更高效。
2024-08-05 cs.CL cs.IR
Learning from similarity and information extraction from structured documents
Faculty of Mathematics and Physics, Charles University（查理大学数学与物理学院）
文件处理的自动化最近受到重视，因为通过改进方法和硬件，有很大潜力减少手工工作。神经网络以前曾被成功应用过--尽管到目前为止它们只在相对较小的数据集上训练过，这些数据集有数百个文档。为了成功探索深度学习技术并改进信息抽取结果，我们已经编译了一个包含25000多个文档的数据集，并对其进行了匿名处理，并将其作为这项工作的一部分发布。我们将扩展我们以前的工作，证明卷积，图卷积和自我注意力可以一起工作，并利用结构化文档中存在的所有信息。将完全可训练的方法更进一步，我们现在将设计和研究使用连体网络、相似性概念、一次性学习和上下文/记忆感知的各种方法。其目的是在庞大的真实世界文档数据集上改进逐词分类的微F1。结果验证了这样的假设，即对类似（但仍然不同）页面的可训练访问连同其已知目标信息一起改进了信息抽取。此外，实验证实，所有提出的架构部分都需要击败以前的结果。最好的模型改进了以前的最先进的结果，F1得分增加了8.25。定性分析，以验证新的模型执行更好的所有目标类。此外，揭示了一些架构性能不佳的原因的多个结构性观察。所有的源代码、参数和实现细节都与数据集一起发布，希望能突破研究的界限，因为这项工作中使用的所有技术都不是针对特定问题的，可以推广到其他任务和环境。
2021-03-13 cs.CL cs.IR cs.LG
Unreported links between trial registrations and published articles were identified using document similarity measures in a cross-sectional analysis of ClinicalTrials.gov
目的：试验注册可用于衡量报告偏倚并支持系统评价，但45%的注册未提供与报告试验的文章的链接。我们评估了使用文档相似性方法来识别ClinicalTrials.gov和PubMed之间未报告的链接。研究设计和设置：我们从72，469个ClinicalTrials.gov注册和276，307篇PubMed文章的数据集中提取术语和概念，并测试了16，005个报告链接和90个手动识别的未报告链接的文章排名方法。性能通过匹配文章的中位数排名和未报告链接的比例来衡量，这些链接可以通过筛选按顺序排列的候选文章来发现。结果如下：表现最好的基于概念的表示产生了3（IQR 1-21）的报告链接和3（IQR 1-19）的手动识别的未报告链接的中位数排名，和基于术语的表示产生了2（1-20）的报告链接和2（IQR 1-12）的未报告链接的中位数排名。匹配的文章在40%的注册中排名第一，每次注册筛选50篇候选文章，确定了86%的未报告链接。结论：利用ClinicalTrials.gov和PubMed之间报告链接的语料库的增长，我们发现文档相似性方法可以帮助识别试验注册和相应文章之间未报告的链接。
2018-01-07 cs.IR
A PSO Strategy of Finding Relevant Web Documents using a New Similarity Measure
UBDTCE（UBDT工程学院）
本文提出一种基于新型相似度度量SMDR和生物启发PSO优化的网络文档检索策略，在CACM数据集上实验表明其精确率、召回率及整体效率均优于现有方法。
2021-03-26 cs.AI cs.DB cs.IR
Exploiting "Quantum-like Interference" in Decision Fusion for Ranking Multimodal Documents
多模态信息的融合和排序始终是一项具有挑战性的任务。一个强大的决策级融合方法不仅应该是动态自适应的权重分配给每个代表，但也包括不同的模态之间的相互关系。在本文中，我们提出了一个量子启发的模型融合和排名的视觉和文本信息占上述模态之间的依赖关系。首先，我们分别计算基于文本和基于图像的相似度。两种不同的方法已被应用于计算每个单峰相似性。第一个模型使用词袋模型。对于第二种方法，在ImageNet上使用预先训练好的VGG19模型计算图像相似度，同时对基于文本的查询采用查询扩展方法提高检索性能。之后，局部相似性得分符合所提出的量子启发模型。这两种模式之间的相互依赖性是通过“量子干涉”隐含地捕获的。最后，根据建议的相似性度量的文件进行排名。我们在ImageCLEF 2007照片数据汇集上测试了我们的方法，并展示了所提出方法的有效性。一系列有趣的研究结果进行了讨论，这将提供理论和经验基础，为未来的发展这一方向。
2018-11-28 cs.IR
A Survey of Long-Document Retrieval in the PLM and LLM Era
本综述首次系统梳理长文档检索在PLM与LLM时代的方法演进、应用与开放挑战，涵盖段落聚合、层次编码及LLM重排序等关键技术，旨在提供综合参考与未来研究议程。
2025-10-25 cs.IR
GeAR: Generation Augmented Retrieval
Microsoft Corporation（微软公司）
提出GeAR方法，通过对比学习提升全局相似度并引入融合与解码模块生成相关上下文，实现细粒度局部信息检索，在不增加计算成本下展现竞争力并提供结果解释新见解。
2025-05-30 cs.CL cs.IR
Quantifying Similarity: Text-Mining Approaches to Evaluate ChatGPT and Google Bard Content in Relation to BioMedical Literature
Faculty of Computer Science, AGH（AGH计算机科学学院）；Sano Centre for Computational Medicine（Sano计算医学中心）
本研究通过文本挖掘和网络分析比较ChatGPT与Google Bard生成的临床内容与生物医学文献的相似度，发现ChatGPT在文档相似度、二元词组及网络中心性上均优于Google Bard，且能产生文献中不存在的新术语链接以启发新假设。
2024-02-11 cs.CL cs.DL cs.IR
Labeling Case Similarity based on Co-Citation of Legal Articles in Judgment Documents with Empirical Dispute-Based Evaluation
National Chengchi University（国立政治大学）
针对法律推荐系统标注数据集有限的问题，提出利用法律条文共引建立案例相似性并实现算法标注，结合微调文本嵌入模型和BiLSTM模块评估，推动了法律文件自动标注技术发展。
2025-04-29 cs.AI cs.CL cs.DL
Regulatory Compliance through Doc2Doc Information Retrieval: A case study in EU/UK legislation where text similarity has limitations
EY AI Centre of Excellence in Document Intelligence（安永文档智能卓越人工智能中心）；Athens University of Economics and Business（雅典经济与商业大学）；Panteion University（潘泰翁大学）
企业历史上的重大丑闻促使人们迫切需要遵守法规，组织需要确保其控制（流程）符合相关法律、法规和政策。然而，跟踪不断变化的立法是困难的，因此组织越来越多地采用监管技术（RegTech）来促进这一过程。为此，我们引入监管信息检索（REG-IR），文档到文档信息检索（DOC 2DOC IR）的应用程序，其中查询是一个完整的文件，使任务更具挑战性比传统的IR的查询是短的。此外，我们根据欧盟指令和英国立法之间的关系编制并发布了两个数据集。我们使用典型的两步管道方法对这些数据集进行实验，该方法包括预取器和神经重排序器。通过在几个BERT模型的表示上使用从BM 25到k个最近邻的各种预取器进行实验，我们表明，在域内分类任务上微调BERT模型可以产生IR的最佳表示。我们还表明，由于监督矛盾，神经重排序器表现不佳，即，具有相反标签的类似查询-文档对。因此，它们偏向于预取器的分数。有趣的是，应用日期过滤器进一步提高了性能，显示了时间维度的重要性。
2021-01-26 cs.CL cs.IR
Finding the most similar textual documents using Case-Based Reasoning
ETH Zurich（苏黎世联邦理工学院）；Mälardalen University（梅拉伦大学）
近年来，互联网上大量的非结构化文本数据是AI算法为用户及其搜索查询提供最佳推荐的一大困难。随着互联网的普及，在自然语言处理（NLP）和机器学习领域进行了大量的研究。几乎每一种解决方案都将文档转换为向量空间模型（VSM），以便对其应用AI算法。一种这样的方法是基于案例推理（CBR）。因此，这些系统中最重要的部分是计算数值数据点之间的相似性。2016年，提出了新的相似性TS-SS度量，该度量在无监督学习的文本挖掘领域取得了最先进的成果。然而，以前没有人研究过它在监督学习（分类任务）中的性能。在这项工作中，我们设计了一个CBR系统，能够找到最相似的文件，为一个给定的查询，旨在调查性能的新的国家的最先进的度量，TS-SS，除了其他两个几何相似性的措施-欧几里得距离和余弦相似性-这表明最好的预测结果在几个基准语料库。结果表明，令人惊讶的不适当的TS-SS措施的高维特征。
2019-11-01 cs.CL cs.IR cs.LG
Hierarchical Optimal Transport for Document Representation
IBM Research（IBM研究院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
测量文档之间相似性的能力使大型语料库的智能摘要和分析成为可能。过去文档之间的距离要么是因为无法合并单词之间的语义相似性，要么是因为可扩展性问题。作为一种替代方案，我们引入分层最优传输作为文档之间的元距离，其中文档被建模为主题的分布，这些主题本身被建模为单词的分布。然后，我们在较小的主题空间上解决一个最优传输问题，以计算相似性得分。我们给出的条件下，这个结构定义的距离的主题，我们把它与词移动的距离。我们评估了我们的技术的k-NN分类，并显示出更好的可解释性和可扩展性，与当前的方法相比，性能在成本的一小部分。
2019-11-01 cs.CL cs.IR cs.LG
Text classification with word embedding regularization and soft similarity measure
Masaryk University（马萨里克大学）；Faculty of Informatics（信息学院）
自从Mikolov等人的开创性工作以来，词嵌入已经成为许多自然语言处理任务的优选单词表示。从词嵌入中提取的文档相似性度量，如软余弦度量（SCM）和词移动者距离（WMD），被报道在语义文本相似性和文本分类方面达到最先进的性能。尽管WMD在文本分类和语义文本相似性方面表现出色，但其超立方平均时间复杂度是不切实际的。SCM具有二次最坏情况时间复杂度，但其在文本分类上的性能从未与WMD进行过比较。最近，两种词嵌入正则化技术被证明可以减少存储和内存成本，并提高训练速度，文档处理速度以及词类比，词相似性和语义文本相似性的任务性能。然而，这些技术对文本分类的影响尚未得到研究。在我们的工作中，我们调查的两个词嵌入正则化技术的文档处理速度和任务性能的SCM和WMD对文本分类的单独和联合效果。为了进行评估，我们使用$k$ NN分类器和六个标准数据集：BBCSPORT，TWITTER，OHSUMED，REUTERS-21578，AMAZON和20 NEWS。我们发现，与非正则化词嵌入相比，正则化词嵌入的平均$k$ NN测试错误减少了39%。我们描述了一个实用的程序，通过Cholesky分解得到这样的正则化嵌入。我们还表明，具有正则化词嵌入的SCM在文本分类方面明显优于WMD，并且速度快了10，000倍以上。
2020-03-10 cs.CL cs.IR cs.LG
Locate, Judge, Read: Role-Specialized Tool Agents over a Knowledge-Point Index for Open-Domain Multimodal Document QA
Metask Lab（Metask实验室）
本文提出KnowForge，一种按职责划分的多智能体流水线，在M3DocVQA、MultiHop-RAG等基准上显著优于现有RAG方法，实现了开放域多模态文档问答性能提升。
2026-10-12 cs.AI cs.CL cs.IR
DotHash: Estimating Set Similarity Metrics for Link Prediction and Document Deduplication
本文提出无偏估计器DotHash，用于估计集合交集大小，可估计Jaccard指数并首次支持Adamic-Adar指数及相关度量族，在链接预测和文档去重中比MinHash、SimHash更准确且复杂度相同。
2023-05-27 cs.DS cs.IR cs.SI
Content-based similar document image retrieval using fusion of CNN features
The College of Information Engineering, Xiangtan University（湘潭大学信息工程学院）
数字化文献的迅速增长对文献图像检索提出了更高的要求。传统的文档图像检索方法依赖于复杂的基于OCR的文本识别和文本相似性检测，本文提出了一种新的基于内容的方法，其中更多的注意力放在特征提取和融合。在该方法中，文档图像的多个特征提取不同的CNN模型。然后对提取的CNN特征进行约简并融合为加权平均特征。最后，基于与所提供的查询图像的特征相似性对文档图像进行排名。对一组由学术论文转化而来的包含英文和中文文档的文档图像进行了实验，结果表明，该方法具有良好的检索文本内容相似的文档图像的能力，并且融合CNN特征可以有效提高检索准确率。
2017-09-01 cs.CV cs.IR cs.LG
Learning to Rank Scientific Documents from the Crowd
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Massachusetts Medical School（马萨诸塞大学医学院）
在任何科学中，寻找相关的已发表文章都是一项重要的任务，但随着生物医学领域新工作的爆炸式增长，它变得特别具有挑战性。大多数现有的方法使用文本相似性度量来识别两篇文章是否相关。然而，生物医学知识发现是假设驱动的。最相关的文章可能不是具有最高文本相似性的文章。在这项研究中，我们首先开发了一种创新的众包方法来建立一个专家注释的文档排名语料库。使用这个语料库作为金标准，我们然后评估的方法，使用文本相似度排名的相关性的文章。最后，我们开发和评估了一个新的监督模型，自动排名相关的科学文章。我们的研究结果表明，作者的排名显着不同的排名基于文本相似性的模型。通过在注释语料库的一个子集上训练学习排名模型，我们发现最好的监督学习排名模型（SVM-Rank）显着超过了最先进的基线系统。
2016-11-04 cs.CL cs.DL cs.IR
Event-Driven News Stream Clustering using Entity-Aware Contextual Embeddings
Amazon AI（亚马逊人工智能）；Columbia University（哥伦比亚大学）
我们提出了一种在线新闻流聚类的方法，这是一个变种的非参数流K-means算法。我们的模型使用稀疏和密集文档表示的组合，沿着这些多个表示聚集文档聚类相似性，并使用神经分类器进行聚类决策。加权文档聚类相似性模型学习使用一种新的适应的三重损失成一个线性分类目标。我们表明，在预训练的Transformer模型中使用适当的微调目标和外部知识，可以显着提高聚类的上下文嵌入的有效性。我们的模型实现了一个新的国家的最先进的标准流聚类数据集的英文文档。
2021-01-26 cs.AI cs.CL cs.IR
Legal document retrieval across languages: topic hierarchies based on synsets
立法文本的跨语言注释使我们能够探索多语言法律数据中涵盖的主要主题，并且在搜索类似文件时是语义相似性的关键促进因素。多语言概率主题模型是近年来出现的一组半监督机器学习模型，可用于对多种语言的文本集合进行主题探索。然而，这些方法需要主题对齐的训练数据来创建独立于语言的空间，这限制了可以使用该技术的场景的数量。在这项工作中，我们提供了一个无监督的文档相似性算法的基础上，层次结构的多语言的概念来描述跨语言的主题。该算法不需要并行或可比的语料库，或任何其他类型的翻译资源。在英语，西班牙语，法语和葡萄牙语版本的JCR-Accounts语料库上进行的实验显示，按相似内容对文档进行分类和排序的结果很有希望。
2019-11-28 cs.DL cs.IR
