Specialized Document Embeddings for Aspect-based Similarity of Research Papers
DFKI GmbH（德国人工智能研究中心）；Ernst & Young GmbH WPG（安永会计师事务所（德国））；University of Wuppertal（伍珀塔尔大学）；University of Göttingen（哥廷根大学）
文档嵌入和相似性度量支持基于内容的推荐系统，其中文档通常表示为单个通用嵌入。然而，在单个向量表示上计算的相似性仅提供了关于文档相似性的一个视角，忽略了哪些方面使两个文档相似。为了解决这一限制，已经开发了基于方面的相似性措施，使用文档分割或成对多类文档分类。虽然分割损害了文档的连贯性，但成对分类方法对大规模语料库的扩展性很差。在本文中，我们把基于方面的相似性作为一个经典的向量相似性问题，在特定方面的嵌入空间。我们不是将文档表示为单个通用嵌入，而是表示为多个专用嵌入。我们的方法避免了文件分割和规模线性w.r.t.语料库的大小。在实证研究中，我们使用包含157，606篇研究论文的Papers with Code语料库，并将各自研究论文的任务，方法和数据集作为其方面。我们比较和分析三个通用的文档嵌入，六个专门的文档嵌入和成对的分类基线的背景下，研究论文的建议。作为通用文档嵌入，我们考虑FastText，SciBERT和SPECTER。为了计算专门的文档嵌入，我们比较了三种替代方法，灵感来自改造，微调和暹罗网络。在我们的实验中，Siamese SciBERT获得了最高的分数。额外的分析表明，对数据集方面和对每个研究论文的方法方面的通用文档嵌入的隐含偏见。我们的方法基于方面的文档嵌入减轻潜在的风险所产生的隐性偏见，使他们明确。
2022-03-28 cs.CL cs.IR
Improving the Similarity Measure of Determinantal Point Processes for Extractive Multi-Document Summarization
University of Central Florida（中佛罗里达大学）
多文档摘要面临的最重要的障碍包括源描述中的过度冗余和训练数据的迫在眉睫的短缺。这些障碍阻碍了编码器-解码器模型的直接使用，但基于优化的方法，如确定性点过程（DPP），可以很好地处理它们。在本文中，我们试图加强基于DPP的方法提取多文档摘要，提出了一种新的相似性度量胶囊网络的启发。该方法基于句子的表面形式和语义信息来度量句子之间的冗余。我们表明，我们的DPP系统具有改进的相似性度量表现出竞争力，在基准数据集上表现优于强大的汇总基线。我们的研究结果是特别有意义的总结多个作者创建的文档包含冗余但词汇多样的表达。
2019-05-31 cs.CL
Aspect-based Document Similarity for Research Papers
German Research Center for Artificial Intelligence（德国人工智能研究中心）；University of Konstanz（康斯坦茨大学）；University of Wuppertal（伍珀塔尔大学）；University of Kiel（基尔大学）
传统的文档相似性度量提供了相似和不相似文档之间的粗粒度区分。通常，他们不会考虑两个文件在哪些方面相似。这限制了依赖于文档相似性的推荐系统等应用程序的粒度。在本文中，我们扩展相似性方面的信息进行成对的文档分类任务。我们评估我们的基于方面的文档相似性的研究论文。论文引用表明基于方面的相似性，即，出现引用的章节标题充当引用和被引用论文对的标签。我们应用了一系列Transformer模型，如RoBERTa、ELECTRA、XLNet和BERT变体，并将它们与LSTM基线进行比较。我们在ACL Anthology和CORD-19语料库的172，073篇研究论文对的两个新构建的数据集上进行了实验。我们的研究结果表明，SciBERT是性能最好的系统。定性检验证实了我们的定量结果。我们的研究结果激励未来的研究方面为基础的文档相似性和开发的推荐系统的基础上评估的技术。我们公开我们的数据集、代码和训练模型。
2020-10-13 cs.CL cs.IR
FastKASSIM: A Fast Tree Kernel-Based Syntactic Similarity Metric
Columbia University（哥伦比亚大学）
句法是语言的基本组成部分，但很少有指标已被用来捕捉句法相似性或连贯性在话语和文档的水平。现有的标准文档级句法相似性度量计算量大，并且在面对句法不相似的文档时表现不一致。为了解决这些挑战，我们提出了FastKASSIM，一个度量话语和文档级的句法相似性配对和平均最相似的选区解析树之间的一对文件的基础上树内核。FastKASSIM对句法差异更强大，在r/ChangeMyView语料库中的文档上比其前身快5.32倍。FastKASSIM的改进使我们能够在两个大文档的设置中检查假设。我们发现，句法相似的参数r/ChangeMyView往往更有说服力，和句法是预测的作者归属在澳大利亚高等法院判决语料库。
2023-01-27 cs.CL
The Critical Role of Aspects in Measuring Document Similarity
Department of Computer Science University of Central Florida（佛罗里达大学中央分校计算机科学系）
ASPECTSIM通过显式考虑方面来提高文档相似性测量的人类-机器一致性，尽管在小型开源模型上效果有限，但仍展示了改进的方向。
2026-01-06 cs.CL
Improving Sentence Similarity Estimation for Unsupervised Extractive Summarization
The Hong Kong Polytechnic University（香港理工大学）；Peking University（北京大学）
无监督抽取式摘要的目的是从文档中抽取显著句子作为摘要，而不需要标注数据。近年来的文献主要研究如何利用句子相似度对句子进行显著性排序。然而，使用预训练的语言模型的句子相似性估计大多考虑文档级信息很少，并且与句子显著性排名的相关性较弱。在本文中，我们提出了两个新的策略，以改善句子相似性估计的无监督提取摘要。我们使用对比学习来优化文档级目标，即来自同一文档的句子比来自不同文档的句子更相似。此外，我们使用相互学习来增强句子相似度估计和句子显著性排名之间的关系，其中使用额外的信号放大器来细化关键信息。实验结果证明了我们的策略的有效性。
2023-02-24 cs.CL
Comparative Analysis of Document-Level Embedding Methods for Similarity Scoring on Shakespeare Sonnets and Taylor Swift Lyrics
本研究对比了TF-IDF、Word2Vec和BERT在莎士比亚十四行诗与泰勒·斯威夫特歌词上的文档相似度评分表现，发现TF-IDF依赖词汇重叠，Word2Vec语义泛化更佳，而BERT因缺乏领域微调表现较差。
2024-12-23 cs.CL cs.IR
An Efficient Approach to Learning Chinese Judgment Document Similarity Based on Knowledge Summarization
North China Electric Power University（华北电力大学）；Renmin University of China（中国人民大学）
普通法体系中以前的类似案例可用作本案的参考，以便在每一个案例中对相同的情况作类似的处理。然而，现有的判决文本相似度计算方法未能捕捉到判决文本的核心语义，存在准确度低、计算复杂度高的问题。提出了一种基于知识块摘要的机器学习方法来计算中文判决书的语义相似度。利用裁判文书的领域本体，基于知识块对中文裁判文书的核心语义进行归纳。然后利用WMD算法计算知识块之间的相似度。最后通过实验验证了该方法的有效性，与传统方法相比，该方法具有更高的精度和更快的计算速度。
2018-08-06 cs.AI cs.CL cs.IR
Extractive Summarization for Arabic Documents Using SAraBERT with a Semantic Siamese Similarity Evaluation Metric
American University of Beirut（贝鲁特美国大学）
该研究提出增强版AraBERT（SAraBERT）及语义连体相似度评估指标，通过BLEU、ROUGE等验证，证明SAraBERT在阿拉伯语文档抽取式摘要任务中有效。
2026-08-24 cs.AI cs.CL
Metric Learning in Multilingual Sentence Similarity Measurement for Document Alignment
University of Moratuwa（莫拉图瓦大学）
基于多语言句子表示的文档对齐技术最近已经显示出最先进的结果。然而，这些技术依赖于无监督的距离测量技术，无法根据手头的任务进行微调。在本文中，我们采用度量学习来获得特定于任务的距离测量，而不是这些无监督的距离测量技术。这些测量是有监督的，这意味着距离测量度量是使用并行数据集训练的。使用属于英语，僧伽罗语，泰米尔语，这属于三个不同的语言家族的数据集，我们表明，这些特定任务的监督远程学习指标优于他们的无监督同行，文档对齐。
2021-08-21 cs.CL
Method for Determining the Similarity of Text Documents for the Kazakh language, Taking Into Account Synonyms: Extension to TF-IDF
University of Birmingham（伯明翰大学）
文本相似度的确定在信息检索、文本挖掘、自然语言处理（NLP）和计算语言学等领域都受到了广泛的关注。将数据转换为数字向量是一项复杂的任务，其中使用了诸如标记化、停止词过滤、词干提取和项加权等算法。词频-逆文档频率（TF-IDF）是最广泛使用的术语加权方法，以便于搜索相关文档。为了提高权重的条款，大量的TF-IDF扩展。在本文中，TF-IDF方法的另一个扩展，提出了考虑同义词。通过余弦函数、骰子函数和Jaccard函数对哈萨克语文本文档进行相似性度量的实验，验证了该方法的有效性。
2022-11-22 cs.CL cs.IR
Methods for Computing Legal Document Similarity: A Comparative Study
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Tata Research Development and Design Centre (TRDDC)（塔塔研究开发与设计中心（TRDDC））；Data61, CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；Cyber Security CRC（网络安全合作研究中心）
计算法律文本之间的相似度是法律信息检索领域中一个重要而又具有挑战性的课题。发现相似的法律文档在下游任务中有许多应用，包括先前案例检索、法律文章推荐等。先前的工作已经提出了两种广泛的测量法律文档之间相似性的方法-分析先例引文网络和基于文本内容相似性度量来测量相似性。但是还没有在一个共同的平台上对这些现有方法进行全面的比较。在本文中，我们执行现有的方法的第一个系统的分析。此外，我们还探索了两种有前途的新的相似度计算方法-一种是基于文本的，另一种是基于网络嵌入的，这是迄今为止还没有考虑过的。
2020-04-26 cs.CL cs.IR cs.LG
Multi-Vector Models with Textual Guidance for Fine-Grained Scientific Document Similarity
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
提出了一种基于文本细粒度特征匹配的科技文档相似度模型。为了训练我们的模型，我们利用了一个自然发生的监督源：论文全文中的句子，这些句子一起引用了多篇论文（共同引用）。这样的共同引用不仅反映了密切的论文相关性，而且还提供了共同引用的论文是如何相关的文本描述。这种新颖的文本监督形式用于学习跨论文匹配方面。我们开发了多向量表示，其中向量对应于文档的文档级方面，并提出了两种方面匹配方法：（1）仅匹配单个方面的快速方法，以及（2）使用最优传输机制进行稀疏多个匹配的方法，该机制计算方面之间的地球移动器距离。我们的方法提高了四个数据集的文档相似性任务的性能。此外，我们的快速单匹配方法取得了有竞争力的结果，为将细粒度相似性应用于大型科学语料库铺平了道路。代码、数据和模型请访问：https://github.com/allenai/aspire
2022-05-04 cs.CL cs.IR
Sparse Graph Representations for Procedural Instructional Documents
Indian Institute of Technology Gandhinagar（印度理工学院甘地纳格尔分校）；Bosch Research and Technology Centre（博世研究技术中心）
针对程序性教学文档的相似度计算，提出将文档对表示为融合顺序信息的稀疏有向联合概念交互图，采用超基因组排序和哈密顿路径算法替换边，并配合孪生编码器与图卷积网络，在顺序数据集上超越基线十分。
2024-02-06 cs.CL
Combining Word Embeddings and N-grams for Unsupervised Document Summarization
Raytheon BBN Technologies（雷神BBN技术公司）
基于图的抽取式文档摘要依赖于句子相似度图的质量。基于词袋或tf-idf的句子相似度使用精确的词匹配，但不能测量单个词之间的语义相似度或考虑句子的语义结构。为了提高句子之间的相似性度量，我们采用了现成的深度嵌入特征和tf-idf特征，并引入了一种新的文本相似性度量。建立了一种改进的句子相似度图，并将其用于子模块目标函数中，该子模块目标函数由加权覆盖项和差异项组成。一个基于Transformer的压缩模型被开发用于句子压缩以帮助文档摘要。我们的摘要方法是提取和无监督的。实验表明，我们的方法可以优于基于tf-idf的方法，并在DUC 04数据集上实现最先进的性能，并且与CNN/DM和NYT数据集上的完全监督学习方法的性能相当。
2020-04-25 cs.CL cs.LG stat.ML
Calculating Semantic Similarity between Academic Articles using Topic Event and Ontology
State Key Laboratory of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）
确定学术文档之间的语义相似度对于剽窃检测、自动技术调查和语义搜索等任务至关重要。目前的研究主要集中在概念、句子和短文本片段之间的语义相似度。然而，文档级语义匹配仍然基于表层的统计信息，忽略了文章结构和全局语义，这可能会导致文档理解的偏差。针对学术文献的文档级语义相似性问题，提出了一种新的方法。该方法以主题事件表示学术文章，利用研究目的、研究方法和研究领域等多个信息描述学术文章的研究工作，并基于领域本体计算主题事件之间的相似度，得到文章之间的语义相似度。实验表明，我们的方法实现了显着的性能相比，国家的最先进的方法。
2017-11-30 cs.AI cs.CL cs.IR
Topic Similarity Networks: Visual Analytics for Large Document Sets
Institute for Defense Analyses（国防分析研究所）
我们研究的方法，以提高LDA主题模型的可解释性，更好地分析和可视化其输出。我们专注于研究我们所说的主题相似性网络：图中的节点代表文本集合中的潜在主题，链接代表主题之间的相似性。我们描述了高效和有效的方法来构建和标记这样的网络。基于这些网络的主题模型的可视化被证明是探索，表征和总结大量非结构化文本文档的强大手段。它们有助于“梳理”不同文档集之间的非明显联系，并提供有关主题如何形成更大主题的见解。我们通过两个案例研究证明了这些方法的有效性和实用性：1）NSF资助的基础研究跨越14年的时间和2）维基百科的整个英文部分。
2014-09-26 cs.CL cs.HC cs.IR
Semantic Similarity Matching for Patent Documents Using Ensemble BERT-related Model and Novel Text Processing Method
The University of Chicago（芝加哥大学）；Zhejiang University（浙江大学）；Trine University（特里恩大学）；The George Washington University（乔治·华盛顿大学）
本文针对专利文献语义相似度匹配问题，提出融合四个BERT相关模型的集成方法和面向专利文本的新型预处理方法，并在美国专利短语匹配数据集上验证了其有效性。
2024-01-06 cs.AI cs.CL
Bridging the Gap: Incorporating a Semantic Similarity Measure for Effectively Mapping PubMed Queries to Documents
National Center for Biotechnology Information（国家生物技术信息中心）；National Library of Medicine, National Institutes of Health（美国国家医学图书馆，美国国立卫生研究院）
传统的信息检索（IR）的主要方法是检查查询中有多少单词出现在文档中。然而，这种方法的一个缺点是，它可能无法检测到相关的文档中没有或只有少数单词从一个查询中被发现，语义分析方法，如LSA（潜在语义分析）和LDA（潜在Dirichlet分配）已被提出来解决这个问题，但他们的性能并不优于普通的IR方法相比。在这里，我们提出了一个查询文档的相似性措施的动机字移动器的距离。与其他相似性度量不同，所提出的方法依赖于神经词嵌入来计算词之间的距离。当在查询和文档之间没有找到直接匹配时，此过程有助于识别相关单词。我们的方法是有效的和简单的实现。在TREC Genomics数据上的实验结果表明，该方法的平均精度比BM 25排序函数平均高12%。此外，对于从PubMed搜索日志收集的真实数据集，我们使用学习排序方法将语义度量与BM 25相结合，从而将排名分数提高了25%。该实验表明，所提出的方法和BM 25很好地相互补充，并共同产生卓越的性能。
2017-10-17 cs.CL cs.IR
News Across Languages - Cross-Lingual Document Similarity and Event Tracking
在今天的世界里，我们关注的新闻是全球性的。重大事件由不同来源以不同语文报道。在这项工作中，我们解决的问题，在一个大的多语言流的事件跟踪。在最近开发的系统事件注册表中，我们研究这个问题的两个方面：如何比较不同语言的文章，以及如何链接不同语言的文章集合，这些文章指的是同一事件。以多语言流和集群的文章，从每种语言，我们比较不同的跨语言文档相似性措施的基础上维基百科。这使我们能够计算任何两篇文章的相似性，而无论语言如何。在以前工作的基础上，我们展示了一些方法，这些方法可以很好地扩展，并且可以计算来自语言的文章之间的有意义的相似性，在训练数据中很少或没有直接重叠。利用这种能力，我们提出了一种方法来链接集群的文章跨语言，代表同一事件。我们提供了一个广泛的评价系统作为一个整体，以及评价的质量和鲁棒性的相似性度量和链接算法。
2015-12-22 cs.CL cs.IR
Trial2Vec: Zero-Shot Clinical Trial Document Similarity Search using Self-Supervision
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
临床试验对于药物开发至关重要，但进行起来极其昂贵和耗时。在设计临床试验时，研究类似的历史试验是有益的。然而，冗长的试验文件和缺乏标记的数据，使试验相似性搜索困难。我们提出了一个zero-shot临床试验检索方法Trial 2 Vec，它通过自我监督学习，而不注释类似的临床试验。具体而言，审判文件的元结构（例如，标题、资格标准、目标疾病）以及临床知识（例如，UMLS知识库https：//www.nlm.nih.gov/research/umls/index.html）被用来自动生成对比样本。此外，Trial 2 Vec编码审判文件考虑元结构，从而产生紧凑的嵌入聚合多方面的信息，从整个文件。我们表明，我们的方法通过可视化产生了医学上可解释的嵌入，并且在试验检索的精确度/召回率方面比最佳基线平均提高了15%，这是在我们标记的1600个试验对上进行的评估。此外，我们证明了预训练的嵌入有利于下游试验结果预测任务超过24万次试验。软件可在https://github.com/RyanWangZf/Trial2Vec上获得。
2022-10-09 cs.AI cs.CL cs.LG
Multi-layered graph-based multi-document summarization model
University of Prizren（普里兹伦大学）
多文档摘要是自动生成给定文档集合的压缩版本的过程。最近，基于图的模型和排序算法已经被抽取文档摘要社区积极研究。虽然大多数工作集中在同质连接的句子和异质连接的文件和句子（如句子相似度加权的文件重要性），在本文中，我们提出了一种新的3层图模型，不仅强调句子和文档级别的关系，但也下句子级别的关系（如句子相似度的一部分）的影响。
2014-05-17 cs.CL cs.IR
OpenMSD: Towards Multilingual Scientific Documents Similarity Measurement
Google Research（谷歌研究院）；Sizzle AI
本文提出首个多语言科学文献数据集OpenMSD（含103种语言、7400万篇论文），并利用引用、共引和文献耦合对预训练与微调科学专用语言模型，结合生成式模型为非英语论文补充英文摘要，最终使相似度测量性能超越强基线7-16%。
2023-09-19 cs.AI cs.CL
Scalable Cross-lingual Document Similarity through Language-specific Concept Hierarchies
Universidad Politécnica de Madrid（马德里理工大学）；Amazon Research（亚马逊研究院）
随着越来越多的数字文章以更广泛的语言出现，以及不同语言的使用范围不断扩大，我们需要能够浏览多语言语料库的注释方法。多语言概率主题模型是近年来出现的一组半监督机器学习模型，可用于对多种语言的文本集合进行主题探索。然而，这些方法需要主题对齐的训练数据来创建语言独立的空间。这种限制限制了该技术可以为训练提供解决方案的场景数量，并且很难扩展到训练阶段需要大量多语言文档的情况。本文提出了一种无监督的文档相似度算法，不需要平行或可比语料库，或任何其他类型的翻译资源。该算法用跨语言标签标注从单一语言文档中自动创建的主题，并通过独立训练的模型中的多语言概念层次来描述文档。在英语，西班牙语和法语版的JCR-Accounts语料库上进行的实验显示，通过相似内容对文档进行分类和排序的结果很有希望。
2020-12-15 cs.AI cs.CL cs.IR
Using Document Similarity Methods to create Parallel Datasets for Code Translation
IBM Research AI（IBM研究院人工智能部门）；IBM Argentina（IBM阿根廷公司）
将源代码从一种程序设计语言转换为另一种语言是对遗留应用程序和代码库进行现代化改造的一项关键而耗时的任务。最近在这个领域的工作已经从软件自然性假设中获得了灵感，通过将自然语言处理技术应用于自动化代码翻译任务。然而，由于在这个领域中的并行数据的缺乏，监督技术只被应用于一组有限的流行程序设计语言。为了绕过这一限制，已经提出了无监督神经机器翻译技术来仅使用单语语料库来学习代码翻译。在这项工作中，我们建议使用文档相似性方法来创建有噪声的并行代码数据集，从而使监督技术能够应用于自动代码翻译，而不必依赖于并行代码数据集的可用性或昂贵的策展。我们探索了在这种自动创建的数据集上训练的模型的噪声容限，并表明这些模型对在合理水平的噪声下训练的模型进行了验证。最后，我们展示了所提出的方法的实际效用，通过创建并行数据集的语言超出了以前的工作中探索的，从而扩大了一套程序设计语言的自动代码翻译。
2021-10-11 cs.CL
Arabic text summarization based on latent semantic analysis to enhance arabic documents clustering
University Sidi Mohamed Ben Abdellah (USMBA)（西迪·穆罕默德·本·阿卜杜拉大学）；Faculty of Science Dhar EL Mahraz (FSDM)（达尔·马赫拉兹科学学院）
阿拉伯文文档聚类是一项重要的任务，以获得良好的效果与传统的信息检索（IR）系统，特别是与阿拉伯语在线文档的数量迅速增长。文档聚类的目标是使用不同的相似性/距离度量将相似的文档自动分组到一个聚类中。该任务往往受到文档长度的影响，文档上的有用信息往往伴随着大量的噪声，因此有必要在保留有用信息的同时消除这些噪声，以提高文档聚类的性能。在本文中，我们建议使用潜在语义分析模型对阿拉伯文文档聚类的文本摘要的影响进行评估，以解决上述问题，使用五个相似性/距离的措施：欧几里德距离，余弦相似性，Jaccard系数，皮尔逊相关系数和平均Kullback-Leibler发散，两次：没有和词干。实验结果表明，该方法有效地解决了噪声信息和文档长度的问题，从而显着提高聚类性能。
2013-02-06 cs.CL cs.IR
Beyond Semantic Similarity: A Two-Phase Non-Parametric Retrieval Workflow for Corporate Credit Underwriting
Georgia Institute of Technology（佐治亚理工学院）
本文提出了一种双阶段非参数检索架构，旨在解决信贷审批中检索结果与决策有用性之间的差距问题，通过结合词法和密集多语言检索构建候选池，并利用LLM作为判断机制对文档进行实用性评分，从而提高检索效率和实用性。
2026-05-20 cs.CL
Semantic Needles in Document Haystacks: Sensitivity Testing of LLM-as-a-Judge Similarity Scoring
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Washington University in St. Louis（华盛顿大学圣路易斯分校）；Humana Inc.（Humana公司）
本文提出一个可扩展的多因素实验框架，系统探讨LLM对文档配对中细微语义变化的敏感性。通过针在 haystack 中的类比，测试不同扰动类型、上下文类型、针位置和文档长度对五种LLM相似性评分的影响，揭示LLM在文档内位置偏倚、上下文相关性对评分的影响及模型间的评分分布差异。
2026-10-27 cs.AI cs.CL cs.LG
Neighborhood Contrastive Learning for Scientific Document Representations with Citation Embeddings
DFKI GmbH（德国人工智能研究中心）；University of Göttingen（哥廷根大学）；University of Copenhagen（哥本哈根大学）
通过对比学习目标，可以大大改善学习科学文档表示，其中的挑战在于创建编码所需相似性语义的正训练样本和负训练样本。先前的工作依赖于离散引用关系来生成对比样本。然而，离散引用强制执行硬截止相似性。这与基于相似性的学习是反直觉的，并且忽略了科学论文尽管缺乏直接引用也可以非常相似-这是寻找相关研究的核心问题。相反，我们使用受控的最近邻采样引用图嵌入对比学习。这种控制使我们能够学习连续的相似性，对难以学习的阴性和阳性样本进行采样，并通过控制它们之间的采样裕度来避免阴性和阳性样本之间的冲突。由此产生的方法SciNCL在Sciencore基准测试中优于最先进的方法。此外，我们证明，它可以训练（或调整）模型的样本效率，它可以与最近的训练效率的方法相结合。也许令人惊讶的是，即使是以这种方式训练通用领域的语言模型，其性能也优于在领域内预先训练的基线。
2022-10-19 cs.CL
Contextualization for the Organization of Text Documents Streams
University of Porto（波尔图大学）；FEUP（波尔图大学工程学院）；CEFET-RJ（里约热内卢联邦教育科学与技术学院）；INESC TEC（葡萄牙国家电气与计算机工程系统与技术研究所）
研究团体已经做出了重大努力来解决提供借助于信息检索方法来组织文档的方法的问题。在这篇报告中，我们提出了一些实验与一些流分析方法来探索文本文档流。我们只使用动态算法来探索，分析和组织文本文档的流量。本文档展示了文本文档流组织的已开发架构的案例研究，使用增量TextRank和IS-TFIDF等增量算法。这两种算法都是基于这样的假设，即与批处理算法相比，文本文档及其文档-术语矩阵在低维演化网络中的映射提供了更快的处理速度。有了这个架构，并通过使用快速文本嵌入检索文档之间的相似性，我们比较方法与大型文本数据集和地面真相评估聚类能力。使用的数据集是路透社和COVID-19情绪。研究结果为基于文档流中文档间的相似性，利用上述算法，在文档组织任务中处理文档流时，相似性的语境化提供了一个新的视角。
2022-05-30 cs.AI cs.CL cs.IR
Sentence Embeddings and High-speed Similarity Search for Fast Computer Assisted Annotation of Legal Documents
Université de Montréal（蒙特利尔大学）；Carnegie Mellon University（卡内基梅隆大学）；Hofstra University（霍夫斯特拉大学）；University of Pittsburgh（匹兹堡大学）
对法律文档中的句子进行人工注释是许多基于机器学习的系统支持法律任务的重要前提。通常，注释是逐句顺序完成的，这通常是耗时的，因此是昂贵的。在本文中，我们介绍了一个概念证明系统，用于注释句子的横向。“这种方法是基于这样一种观察，即意义相似的句子在特定的类型系统中通常具有相同的标签。我们使用这种观察，允许注释者快速查看和注释句子，语义上类似于一个给定的句子，在整个语料库的文件。在这里，我们提出了系统的接口和经验评估的方法。实验表明，横向标注有可能使标注过程更快，更一致。
2021-12-21 cs.AI cs.CL cs.LG
High-Level Text Preprocessing for Semantic Similarity Analysis of Discursive Texts: A Framework and Empirical Demonstration
Işık University（伊斯克大学）；Boğaziçi University（博阿齐奇大学）
针对话语性文本语义相似度因词汇扩散而虚高的问题，提出高层文本预处理框架，含12条规则，经哲学语料实验验证可有效降低相似度分数，并引入语义扩散指数。
2026-09-29 cs.CL cs.IR cs.LG
A German Corpus for Text Similarity Detection Tasks
Université d’Avignon et des Pays de Vaucluse（阿维尼翁大学）；École Polytechnique de Montréal（蒙特利尔理工学院）；Universidad Nacional Autónoma de México（墨西哥国立自治大学）；University of Applied Sciences Fulda（富尔达应用技术大学）
文本相似性检测的目的是度量一对文本之间的相似程度。文本相似性检测语料库的设计是为了评估文本之间的释义水平的算法。在本文中，我们提出了一个文本德语语料库的相似性检测。该语料库的目的是自动评估一对文本之间的相似性，并评估不同的相似性度量，无论是整个文档还是单个句子。因此，我们已经计算了几个简单的措施，我们的语料库的基础上的相似性函数库。
2017-03-11 cs.CL cs.IR
Labeling Case Similarity based on Co-Citation of Legal Articles in Judgment Documents with Empirical Dispute-Based Evaluation
National Chengchi University（国立政治大学）
针对法律推荐系统标注数据集有限的问题，提出利用法律条文共引建立案例相似性并实现算法标注，结合微调文本嵌入模型和BiLSTM模块评估，推动了法律文件自动标注技术发展。
2025-04-29 cs.AI cs.CL cs.DL
Measuring Similarity: Computationally Reproducing the Scholar's Interests
Brown University（布朗大学）；Southern Methodist University（南卫理公会大学）
计算机化的文档分类已经对苹果的“新闻”应用程序或谷歌的“个性化搜索”功能组合在一起的新闻文章进行了排序，以匹配读者的兴趣。这些量身定制的搜索中不可见的、因此难以辨认的决定一直是学者们批评的主题，他们强调，我们对文件的智力只与我们理解搜索标准的能力一样好。本文将试图解开计算文本分类中使用的程序，将它们翻译成人文主义者可读的术语，并研究使计算文本分类过程受到专家批评和改进的机会。
2018-12-14 cs.CL
The Document Vectors Using Cosine Similarity Revisited
National Research University Higher School of Economics（国家研究型高等经济学院）；Samsung Research Center Russia（三星俄罗斯研究中心）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
\citet{thongtan-phienthrakul-2019-sentiment}报告了IMDB电影评论数据集上当前最先进的测试准确率（97.42\%），并通过在他们的论文中提出的使用余弦相似性（DV-ngrams-cosine）的文档向量和通过朴素贝叶斯权重缩放的Bag-of-N-gram（BON）向量上训练的逻辑回归分类器实现。虽然大型的基于transformer的预训练模型已经在许多数据集和任务中显示了SOTA结果，但上述模型并没有被它们超越，尽管它更简单，并且只在IMDB数据集上进行了预训练。在本文中，我们描述了这个模型的评估过程中的一个错误，当我们试图分析它在IMDB数据集上的出色性能时发现了这个错误。我们进一步表明，以前报道的97.42%的测试准确度是无效的，应纠正为93.68%。我们还分析了不同数量的训练数据（IMDB数据集的子集）的模型性能，并将其与基于Transformer的RoBERTa模型进行比较。结果表明，虽然RoBERTa对于较大的训练集具有明显的优势，但当标记的训练集非常小时（10或20个文档），DV-ngrams-cosine的性能优于RoBERTa。最后，我们引入了一种基于朴素贝叶斯权重的子采样方案用于DV-ngrams-cosine的训练过程，这使得训练速度更快，质量更好。
2022-05-26 cs.AI cs.CL
RARE: Redundancy-Aware Retrieval Evaluation Framework for High-Similarity Corpora
Allganize；Seoul National University（首尔国立大学）
RARE通过分解文档为原子事实和增强LLM生成数据，构建更真实的基准，揭示当前评估体系无法捕捉的鲁棒性差距。
2026-07-01 cs.AI cs.CL cs.IR
Unsupervised Semantic Hashing with Pairwise Reconstruction
University of Copenhagen（哥本哈根大学）
语义哈希是一种流行的方法，用于在大规模数据集中进行高效的相似性搜索。在语义散列中，文档被编码为短二进制向量（即，散列码），使得可以使用汉明距离来有效地计算语义相似性。最近的最先进的方法已经利用弱监督来训练性能更好的散列模型。受此启发，我们提出了语义哈希与成对重建（PairRec），这是一个离散的变分自编码器为基础的哈希模型。PairRec首先将弱监督训练对（查询文档和语义相似的文档）编码成两个散列码，然后学习从这两个散列码重构相同的查询文档（即，成对重建）。这种成对重建使我们的模型能够直接通过解码器对哈希码中的局部邻域结构进行编码。我们实验比较PairRec的传统和国家的最先进的方法，并获得显着的性能改进的任务，文档相似性搜索。
2020-07-01 cs.CL cs.IR
Automatic Identification of Document Translations in Large Multilingual Document Collections
文本及其翻译是一种丰富的语言资源，可用于训练和测试基于语法的机器翻译系统和许多其他应用。在本文中，我们提出了一个工作系统，可以识别翻译和其他非常相似的文件之间的大量的候选人，通过表示文档内容与一个向量的词库术语从多语言词库，然后测量向量之间的语义相似性。对不同文本类型的测试表明，该系统可以在820个或更多文档的大搜索空间中以超过96%的精度检测翻译。该系统被调整为忽略特定语言的相似性，并给予第二语言的类似文档与相同语言的等效文档相同的相似性得分。该应用程序还可用于检测跨语言文档剽窃。
2006-09-12 cs.CL cs.IR
The Medium Is Not the Message: Deconfounding Document Embeddings via Linear Concept Erasure
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）；Center for Data Science, New York University（纽约大学数据科学中心）
本文提出通过线性概念擦除从文档嵌入中移除混杂因素信息，以最小计算成本显著降低相似度与聚类偏差，且不损害分布外性能。
2025-09-24 cs.CL
The power of text similarity in identifying AI-LLM paraphrased documents: The case of BBC news articles and ChatGPT
Stetson University（斯泰森大学）；University of Calgary（卡尔加里大学）；Hellenic Air Force Academy（希腊空军学院）
针对生成式AI改写文本侵犯版权的问题，提出一种基于模式相似度且不依赖深度学习的算法方案，不仅能检测AI改写文章，还能准确识别侵权来源为ChatGPT，在BBC新闻数据集上检测准确率达96.23%。
2025-05-18 cs.AI cs.CL
Finding the most similar textual documents using Case-Based Reasoning
ETH Zurich（苏黎世联邦理工学院）；Mälardalen University（梅拉伦大学）
近年来，互联网上大量的非结构化文本数据是AI算法为用户及其搜索查询提供最佳推荐的一大困难。随着互联网的普及，在自然语言处理（NLP）和机器学习领域进行了大量的研究。几乎每一种解决方案都将文档转换为向量空间模型（VSM），以便对其应用AI算法。一种这样的方法是基于案例推理（CBR）。因此，这些系统中最重要的部分是计算数值数据点之间的相似性。2016年，提出了新的相似性TS-SS度量，该度量在无监督学习的文本挖掘领域取得了最先进的成果。然而，以前没有人研究过它在监督学习（分类任务）中的性能。在这项工作中，我们设计了一个CBR系统，能够找到最相似的文件，为一个给定的查询，旨在调查性能的新的国家的最先进的度量，TS-SS，除了其他两个几何相似性的措施-欧几里得距离和余弦相似性-这表明最好的预测结果在几个基准语料库。结果表明，令人惊讶的不适当的TS-SS措施的高维特征。
2019-11-01 cs.CL cs.IR cs.LG
Learning from similarity and information extraction from structured documents
Faculty of Mathematics and Physics, Charles University（查理大学数学与物理学院）
文件处理的自动化最近受到重视，因为通过改进方法和硬件，有很大潜力减少手工工作。神经网络以前曾被成功应用过--尽管到目前为止它们只在相对较小的数据集上训练过，这些数据集有数百个文档。为了成功探索深度学习技术并改进信息抽取结果，我们已经编译了一个包含25000多个文档的数据集，并对其进行了匿名处理，并将其作为这项工作的一部分发布。我们将扩展我们以前的工作，证明卷积，图卷积和自我注意力可以一起工作，并利用结构化文档中存在的所有信息。将完全可训练的方法更进一步，我们现在将设计和研究使用连体网络、相似性概念、一次性学习和上下文/记忆感知的各种方法。其目的是在庞大的真实世界文档数据集上改进逐词分类的微F1。结果验证了这样的假设，即对类似（但仍然不同）页面的可训练访问连同其已知目标信息一起改进了信息抽取。此外，实验证实，所有提出的架构部分都需要击败以前的结果。最好的模型改进了以前的最先进的结果，F1得分增加了8.25。定性分析，以验证新的模型执行更好的所有目标类。此外，揭示了一些架构性能不佳的原因的多个结构性观察。所有的源代码、参数和实现细节都与数据集一起发布，希望能突破研究的界限，因为这项工作中使用的所有技术都不是针对特定问题的，可以推广到其他任务和环境。
2021-03-13 cs.CL cs.IR cs.LG
Evaluating the Utility of Document Embedding Vector Difference for Relation Learning
最近的工作表明，通过减去预训练的词嵌入向量获得的向量偏移量可以用于预测词汇关系，具有惊人的准确性。受这一发现的启发，在本文中，我们将这个想法扩展到文档级，生成文档级嵌入，计算它们之间的距离，并使用线性分类器对文档之间的关系进行分类。在重复检测和对话行为标记任务的背景下，我们表明，文档级差异向量在评估文档级相似性方面具有实用性，但在多关系分类中表现不佳。
2019-07-18 cs.CL
Hierarchical Optimal Transport for Document Representation
IBM Research（IBM研究院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
测量文档之间相似性的能力使大型语料库的智能摘要和分析成为可能。过去文档之间的距离要么是因为无法合并单词之间的语义相似性，要么是因为可扩展性问题。作为一种替代方案，我们引入分层最优传输作为文档之间的元距离，其中文档被建模为主题的分布，这些主题本身被建模为单词的分布。然后，我们在较小的主题空间上解决一个最优传输问题，以计算相似性得分。我们给出的条件下，这个结构定义的距离的主题，我们把它与词移动的距离。我们评估了我们的技术的k-NN分类，并显示出更好的可解释性和可扩展性，与当前的方法相比，性能在成本的一小部分。
2019-11-01 cs.CL cs.IR cs.LG
Quantifying Similarity: Text-Mining Approaches to Evaluate ChatGPT and Google Bard Content in Relation to BioMedical Literature
Faculty of Computer Science, AGH（AGH计算机科学学院）；Sano Centre for Computational Medicine（Sano计算医学中心）
本研究通过文本挖掘和网络分析比较ChatGPT与Google Bard生成的临床内容与生物医学文献的相似度，发现ChatGPT在文档相似度、二元词组及网络中心性上均优于Google Bard，且能产生文献中不存在的新术语链接以启发新假设。
2024-02-11 cs.CL cs.DL cs.IR
ProSiT! Latent Variable Discovery with PROgressive SImilarity Thresholds
Italian National Police（意大利国家警察）；Bocconi University（博科尼大学）；Stanford University（斯坦福大学）
探索潜在文档维度的最常见方法是主题模型和聚类方法。然而，主题模型有几个缺点：例如，它们要求我们先验地选择潜在维数的数目，并且结果是随机的。大多数聚类方法都有相同的问题，并且在各种方面缺乏灵活性，例如不考虑不同主题对单个文档的影响，迫使词描述符属于单个主题（硬聚类）或必须依赖于词表示。我们提出了渐进相似性保持- ProSiT，这是一种确定性和可解释的方法，与输入格式无关，它可以找到潜在维度的最佳数量，并且只有两个超参数，可以通过网格搜索有效地设置。我们比较了这种方法与广泛的主题模型和聚类方法在四个基准数据集。在大多数情况下，ProSiT匹配或优于其他方法的主题一致性和独特性的六个指标，产生可复制的，确定性的结果。
2022-10-26 cs.CL
Learning to Rank Scientific Documents from the Crowd
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Massachusetts Medical School（马萨诸塞大学医学院）
在任何科学中，寻找相关的已发表文章都是一项重要的任务，但随着生物医学领域新工作的爆炸式增长，它变得特别具有挑战性。大多数现有的方法使用文本相似性度量来识别两篇文章是否相关。然而，生物医学知识发现是假设驱动的。最相关的文章可能不是具有最高文本相似性的文章。在这项研究中，我们首先开发了一种创新的众包方法来建立一个专家注释的文档排名语料库。使用这个语料库作为金标准，我们然后评估的方法，使用文本相似度排名的相关性的文章。最后，我们开发和评估了一个新的监督模型，自动排名相关的科学文章。我们的研究结果表明，作者的排名显着不同的排名基于文本相似性的模型。通过在注释语料库的一个子集上训练学习排名模型，我们发现最好的监督学习排名模型（SVM-Rank）显着超过了最先进的基线系统。
2016-11-04 cs.CL cs.DL cs.IR
Interpretable probabilistic embeddings: bridging the gap between topic models and neural networks
National Research University Higher School of Economics（国立研究大学高等经济学院）；Lomonosov Moscow State University（莫斯科国立大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
我们认为概率主题模型和最近的词嵌入技术从学习的角度隐藏的语义表示。受这两种方法惊人相似性的启发，我们将它们合并，并在词共现数据上使用在线EM算法学习概率嵌入。由此产生的嵌入执行与跳过革兰氏阴性采样（SGNS）的单词相似性任务，并在组件的可解释性的好处。接下来，我们学习概率文档嵌入，在文档相似性任务上优于paragraph2vec，并且需要更少的内存和训练时间。最后，我们采用多模态主题模型的加性正则化（ARTM）来获得高稀疏性，并学习其他模态的嵌入，例如时间戳和类别。我们观察到词相似性性能和有意义的模态间相似性的进一步改善。
2017-11-11 cs.CL
OntoSeg: a Novel Approach to Text Segmentation using Ontological Similarity
Trinity College Dublin（都柏林圣三一学院）
文本分割（TS）的目的是将长文本分割成连贯的片段，以反映文本的子主题结构。它对许多自然语言处理任务都是有益的，例如信息检索（IR）和文档摘要。目前的文本分割方法是相似的，因为它们都使用词频度量来衡量文本的两个区域之间的相似性，所以文档是基于其单词之间的词汇衔接来分割的。各种NLP任务现在正朝着语义网和本体（如基于本体的IR系统）发展，以捕获与用户需求和内容相关的概念化。因此，基于词与词之间的词汇衔接的文本分割对于这样的任务来说是不够的。本文提出了OntoSeg，一种新的文本分割方法的基础上的本体相似性的文本块。该方法使用本体相似性来探索文本片段之间的概念关系，并使用层次聚集聚类（HAC）算法将文本表示为概念结构化的树状层次结构。所创建的树的丰富结构进一步允许以各种粒度级别的线性方式分割文本。在一个著名的数据集上对所提出的方法进行了评估，结果表明，利用本体相似度进行文本分割是非常有前途的。我们还提出了改进的方法，结合本体相似度和词汇相似度，结果表明分割质量的提高。
2015-11-26 cs.CL
Text classification with word embedding regularization and soft similarity measure
Masaryk University（马萨里克大学）；Faculty of Informatics（信息学院）
自从Mikolov等人的开创性工作以来，词嵌入已经成为许多自然语言处理任务的优选单词表示。从词嵌入中提取的文档相似性度量，如软余弦度量（SCM）和词移动者距离（WMD），被报道在语义文本相似性和文本分类方面达到最先进的性能。尽管WMD在文本分类和语义文本相似性方面表现出色，但其超立方平均时间复杂度是不切实际的。SCM具有二次最坏情况时间复杂度，但其在文本分类上的性能从未与WMD进行过比较。最近，两种词嵌入正则化技术被证明可以减少存储和内存成本，并提高训练速度，文档处理速度以及词类比，词相似性和语义文本相似性的任务性能。然而，这些技术对文本分类的影响尚未得到研究。在我们的工作中，我们调查的两个词嵌入正则化技术的文档处理速度和任务性能的SCM和WMD对文本分类的单独和联合效果。为了进行评估，我们使用$k$ NN分类器和六个标准数据集：BBCSPORT，TWITTER，OHSUMED，REUTERS-21578，AMAZON和20 NEWS。我们发现，与非正则化词嵌入相比，正则化词嵌入的平均$k$ NN测试错误减少了39%。我们描述了一个实用的程序，通过Cholesky分解得到这样的正则化嵌入。我们还表明，具有正则化词嵌入的SCM在文本分类方面明显优于WMD，并且速度快了10，000倍以上。
2020-03-10 cs.CL cs.IR cs.LG
Legal Document Retrieval using Document Vector Embeddings and Deep Learning
University of Moratuwa（莫拉图瓦大学）；University of London（伦敦大学）
特定领域信息检索过程是自然语言处理领域的一个重要研究方向。许多研究人员已经采用了不同的技术来克服技术和领域的特异性，并为各种感兴趣的领域提供了一个成熟的模型。这些研究中的主要瓶颈是领域专家之间的严重耦合，这使得整个过程非常耗时和繁琐。在这项研究中，我们已经开发了三种新的模式，通过提供的在线存储库生成的黄金标准进行比较，特别是法律领域。这三种不同的模型结合了法律领域的向量空间表示，其中文档向量生成是在两种不同的机制中完成的，并且是上述两种机制的集合。本研究包含的研究正在进行的过程中表示法律案件文件到不同的向量空间，同时将语义词的措施和自然语言处理技术。在这项研究中建立的集成模型，显示出显着更高的准确性水平，这确实证明了需要将特定领域的语义相似性措施纳入信息检索过程。这项研究还表明，不同分布的词相似性措施的影响，对不同的文档向量的尺寸，这可能会导致法律信息检索的过程中的改进。
2018-05-27 cs.CL cs.IR
Entity Retrieval for Answering Entity-Centric Questions
School of Computing Science（计算科学学院）；Simon Fraser University（西蒙菲莎大学）
针对以实体为中心的问答，本文提出 Entity Retrieval，利用问题中的显著实体而非问题—文档相似性检索文档，并证明其相比稠密与稀疏检索更准确、更高效。
2024-08-05 cs.CL cs.IR
PRecG: Legal Precedent Retrieval with Graph Neural Networks and Rhetorical Role Segmentation
University of Delhi（德里大学）；IBM Research（IBM 研究院）
研究法律先例检索问题，提出PRecG管道，通过基于句子修辞角色分解文档、构建知识图、学习聚合实体上下文表示等步骤，分层学习法律判决对的表示来计算相似度，经实验验证其有效性。
2026-07-13 cs.AI cs.CL
