CrossFormer: Cross-Segment Semantic Fusion for Document Segmentation
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Tencent Inc.(腾讯公司)
针对传统文档分割预处理导致跨片段语义丢失的问题,提出基于transformer的CrossFormer模型,通过跨片段融合模块动态建模语义依赖,提升了分割准确率,并能替代RAG系统中基于规则的分块方法以增强效能。
2025-04-02 cs.CL
Probabilistic Latent Semantic Analysis (PLSA) untuk Klasifikasi Dokumen Teks Berbahasa Indonesia
Universitas Indonesia(印度尼西亚大学)
管理文档中包含的一项任务是如何找到内部的大量信息。主题建模是一种以关键字的形式生成文档表示的技术。关键词将用于索引编制过程和用户所需的文件检索。在本研究中,我们将具体讨论概率潜在语义分析(PLSA)。它将涵盖PLSA机制,其中涉及期望最大化(EM)作为训练算法,如何进行测试,并获得准确性结果。
2015-12-02 cs.CL cs.IR
Unsupervised Neural Generative Semantic Hashing
University of Copenhagen(哥本哈根大学)
快速相似性搜索是大规模信息检索中的关键组成部分,其中语义哈希已经成为将文档表示为二进制哈希码的流行策略。这一领域的最新进展是通过基于神经网络的模型获得的:通过学习重建原始文档来训练生成模型。我们提出了一种新的无监督生成语义哈希方法,\textit{Ranking based Semantic Hashing}(RBSH),它由一个变分和排名为基础的组件。类似于变分自编码器,变分组件被训练以根据其生成的哈希码重建原始文档,并且与先前的工作一样,它只考虑单独的文档。排名组件通过将文档间相似性并入哈希代码生成中、通过铰链损失对文档排序进行建模来解决此限制。为了避免需要标记数据来计算铰链损失,我们使用弱标记器,从而保持该方法完全无监督。针对传统基线和最近最先进的语义哈希方法对四个公开可用的数据集进行了广泛的实验评估,结果表明RBSH在所有评估的哈希码长度上都显着优于所有其他方法。事实上,RBSH哈希码能够执行类似于最先进的哈希码,同时使用2- 4倍的比特。
2019-06-03 cs.CL cs.IR cs.LG
Document-level Relation Extraction as Semantic Segmentation
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Hangzhou Innovation Center, Zhejiang University(浙江大学杭州国际科创中心);Alibaba Group(阿里巴巴集团)
文档级关系抽取的目的是从文档中抽取多个实体对之间的关系。先前提出的基于图或基于变换的模型独立地利用实体,而不管关系三元组之间的全局信息。本文通过预测实体级关系矩阵来捕获局部和全局信息,并行于计算机视觉中的语义分割任务来解决这个问题。在此,我们提出了一个文档U形网络的文档级关系抽取。具体来说,我们利用编码器模块来捕获实体的上下文信息,并在图像风格的特征映射上利用U形分割模块来捕获三元组之间的全局相互依赖性。实验结果表明,我们的方法可以获得最先进的性能在三个基准数据集DocRED,CDR和GDA。
2021-08-22 cs.AI cs.CL cs.CV
SimDoc: Topic Sequence Alignment based Document Similarity Framework
University of Bonn(波恩大学);Emory University(埃默里大学);Rygbee Inc.(Rygbee公司)
文档相似性是估计给定文档对具有相似语义内容的程度的问题。一个准确的文档相似性度量可以改善一些企业相关的任务,如文档聚类,文本挖掘和问答。在本文中,我们表明,文档的主题流(通常被词袋技术忽视)在估计其相似性方面至关重要。为此,我们提出了一种新的语义文档相似性框架,称为SimDoc。我们的模型文件的主题序列,主题代表潜在的生成集群的相关词。然后,我们使用序列比对算法来估计它们的语义相似度。我们进一步概念化一种新的机制来计算主题主题相似度,以微调我们的系统。在我们的实验中,我们表明,SimDoc优于许多当代的词袋技术,准确计算文档相似性,并在实际应用中,如文档聚类。
2017-11-11 cs.CL
A Semantic Search Pipeline for Causality-driven Adhoc Information Retrieval
National University of Ireland Galway(爱尔兰国立高威大学);University College Cork(科克大学学院)
本文提出一种无监督语义搜索流水线,通过在语义和词汇索引上聚合多查询策略结果,有效区分主题文档与因果文档,在CAIR-2021任务中表现领先。
2025-03-02 cs.AI cs.CL cs.IR
Transforming Questions and Documents for Semantically Aligned Retrieval-Augmented Generation
Seokgi Lee
提出一种面向多跳问答的RAG框架,利用LLM分解复杂问题并基于生成问题的嵌入相似度检索文档块,有效提升了多跳问答性能。
2025-08-13 cs.CL
The Token Tax of Epistemic Accuracy: Comparing RAG and Long-Context Architectures for Document-Grounded Generative AI Applications
Miami University(迈阿密大学);University at Buffalo(布法罗大学)
研究比较RAG与长上下文提示两种架构在文档基础生成式AI中的认知准确性与成本权衡,发现长上下文虽准确率更高(73.1% vs 65.4%),但Token成本增加26倍。
2026-06-23 cs.AI cs.CL cs.CY
Explainable Semantic Text Relations: A Question-Answering Framework for Comparing Document Content
Afeka Academic College of Engineering(阿费卡工程学院);Holon Institute of Technology(霍隆理工学院)
本文提出一种基于问答集的框架,用于比较文档内容的语义关系,并通过合成基准评估模型在捕捉深层语义关系方面的性能。
2025-11-30 cs.CL
Semantic Evolutionary Concept Distances for Effective Information Retrieval in Query Expansion
Hong Kong Baptist University(香港浸会大学);University of Perugia(佩鲁贾大学)
在这项工作中,几个语义方法的概念为基础的查询扩展和重新排序方案进行了研究,并与不同的基于本体的扩展方法在Web文档搜索和检索进行了比较。特别是,我们专注于基于概念的查询扩展计划,其中,为了有效地提高精度的Web文档检索,以减少用户的浏览时间,主要目标是快速地为用户提供最合适的查询扩展。在Web文档检索中,查询扩展的两个关键任务是找到扩展候选,即Web文档域中最接近的概念,并对扩展查询进行适当的排序。我们提出的方法,旨在提高扩展阶段更好的Web文档检索和精度。其基本思想是使用PMING距离来测量候选概念之间的距离,PMING距离是一种协作语义接近度度量,即可以通过使用来自web搜索引擎的统计结果来计算的度量。实验结果表明,该方法能为用户提供更满意的扩展结果,提高了Web文档检索的质量。
2017-01-19 cs.AI cs.CL cs.IR
Information Extraction in Domain and Generic Documents: Findings from Heuristic-based and Data-driven Approaches
Stevens Institute of Technology(史蒂文斯理工学院)
本研究探讨了文档体裁和长度对启发式与数据驱动信息抽取方法的影响,发现在NER和SRL任务中无单一方法占绝对优势,数据驱动方法在短文本NER上表现更佳,而结合句法表示的方法在SRL上更优。
2023-06-30 cs.CL
Semantic classifier approach to document classification
Polish Academy of Sciences(波兰科学院)
在本文中,我们提出了一种新的文档分类方法,弥合训练集和应用集的文本数据之间的差异(所谓的语义差距)。我们证明了它的优越性,经典的文本分类方法,包括传统的分类器集成。该方法包括将文档分类技术与单个分类器或分类器集成(SEMCOM算法-具有语义分类器的委员会)相结合。
2017-01-16 cs.CL cs.IR
Semantic Technology-Assisted Review (STAR) Document analysis and monitoring using random vectors
计算机软件的新发展极大地促进了对大量文件的审查和分析以及对新增文件的定期监测。本文演示了如何使用随机向量来构建一个低维欧氏空间嵌入单词和文档,使它们之间的语义相似度的快速和准确的计算。通过这种语义技术辅助审查(STAR)技术,可以非常快速地选择、比较、分类、总结和评估文档,只需最少的专家参与和高质量的结果。
2017-11-29 cs.CL cs.IR
Semantic Document Distance Measures and Unsupervised Document Revision Detection
Northwestern University(西北大学);Intel Corporation(英特尔公司)
在本文中,我们将文档修订检测问题建模为依赖于计算文档距离的最小成本分支问题。此外,我们提出了两个新的文档距离的措施,基于词向量的动态时间弯曲(wDTW)和基于词向量的树编辑距离(wTED)。我们的修订检测系统是为大规模语料库设计的,并在Apache Spark中实现。我们证明,我们的系统可以更精确地检测修订比国家的最先进的方法,利用维基百科的修订转储https://snap.stanford.edu/data/wiki-meta.html和模拟数据集。
2017-11-22 cs.CL cs.IR
Using Semantic Role Knowledge for Relevance Ranking of Key Phrases in Documents: An Unsupervised Approach
IBM Research(IBM研究院)
本文研究了PageRank系统中句子位置和词的语义角色的结合,建立了一种关键短语排序方法。我们提出了我们的方法对三篇科学文章的评价结果。我们表明,语义角色信息,当与PageRank系统集成,可以成为一个新的词汇功能。我们的方法在所有数据集上都比最先进的基线方法有了全面的改进。
2019-08-09 cs.CL cs.IR
Arabic text summarization based on latent semantic analysis to enhance arabic documents clustering
University Sidi Mohamed Ben Abdellah (USMBA)(西迪·穆罕默德·本·阿卜杜拉大学);Faculty of Science Dhar EL Mahraz (FSDM)(达尔·马赫拉兹科学学院)
阿拉伯文文档聚类是一项重要的任务,以获得良好的效果与传统的信息检索(IR)系统,特别是与阿拉伯语在线文档的数量迅速增长。文档聚类的目标是使用不同的相似性/距离度量将相似的文档自动分组到一个聚类中。该任务往往受到文档长度的影响,文档上的有用信息往往伴随着大量的噪声,因此有必要在保留有用信息的同时消除这些噪声,以提高文档聚类的性能。在本文中,我们建议使用潜在语义分析模型对阿拉伯文文档聚类的文本摘要的影响进行评估,以解决上述问题,使用五个相似性/距离的措施:欧几里德距离,余弦相似性,Jaccard系数,皮尔逊相关系数和平均Kullback-Leibler发散,两次:没有和词干。实验结果表明,该方法有效地解决了噪声信息和文档长度的问题,从而显着提高聚类性能。
2013-02-06 cs.CL cs.IR
A Framework for Comparing Groups of Documents
Institute for Defense Analyses(国防分析研究所)
我们提出了一个通用的框架,比较多组文件。提出了一种二分图模型,其中文档组表示为一个节点集,比较标准表示为另一个节点集。使用这个模型,我们提出了基本的算法来提取的文档组之间的相似性和差异的见解。最后,我们展示了我们的框架的多功能性,通过分析NSF资助计划的基础研究。
2015-08-24 cs.CL cs.SI
Learning Document-Level Semantic Properties from Free-Text Annotations
Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种利用自由文本关键词注释来推断文档语义属性的新方法。由于最近半结构化的用户生成的在线内容的急剧增长,这样的注释变得越来越丰富。一个特别相关的领域是产品评论,这些评论通常由其作者用优点/缺点关键词进行注释,例如真正的讨价还价或良好的价值。这些注释代表了底层的语义属性;然而,与专家注释不同,它们是嘈杂的:外行作者可能使用不同的标签来表示相同的属性,并且某些标签可能会丢失。为了使用这种嘈杂的注释进行学习,我们发现了一个隐藏的释义结构,它将关键短语聚集在一起。释义结构与评论文本的潜在主题模型相联系,使系统能够预测未注释文档的属性,并有效地聚合多个评论的语义属性。我们的方法被实现为一个分层贝叶斯模型与联合推理。我们发现,联合推理增加了关键词聚类的鲁棒性,并鼓励潜在的主题与语义有意义的属性。多个评估表明,我们的模型大大优于其他方法总结成一组语义突出的关键词的单个和多个文件。
2014-01-15 cs.CL cs.IR
Unsupervised Semantic Hashing with Pairwise Reconstruction
University of Copenhagen(哥本哈根大学)
语义哈希是一种流行的方法,用于在大规模数据集中进行高效的相似性搜索。在语义散列中,文档被编码为短二进制向量(即,散列码),使得可以使用汉明距离来有效地计算语义相似性。最近的最先进的方法已经利用弱监督来训练性能更好的散列模型。受此启发,我们提出了语义哈希与成对重建(PairRec),这是一个离散的变分自编码器为基础的哈希模型。PairRec首先将弱监督训练对(查询文档和语义相似的文档)编码成两个散列码,然后学习从这两个散列码重构相同的查询文档(即,成对重建)。这种成对重建使我们的模型能够直接通过解码器对哈希码中的局部邻域结构进行编码。我们实验比较PairRec的传统和国家的最先进的方法,并获得显着的性能改进的任务,文档相似性搜索。
2020-07-01 cs.CL cs.IR
Automatic Text Document Summarization using Semantic-based Analysis
Jawaharlal Nehru University(贾瓦哈拉尔·尼赫鲁大学)
自从网络出现以来,关于文的数据量已经增加了数百万倍。近年来产生的Web数据超过了存储多年的数据。一种重要的数据格式是文本。为了回答用户在互联网上的查询,并克服信息过载的问题,一个可能的解决方案是文本文档摘要。这不仅减少了查询访问时间,而且还根据特定用户的要求优化了文档结果。文本摘要可分为摘要式和抽取式两类。大部分工作都是在提取摘要的方向上完成的。摘要提取结果是原始文档的子集,其目标是更多的内容覆盖和减少冗余。我们的工作基于提取方法。在第一种方法中,我们使用一些统计特征和基于语义的特征。将情感作为一个特征是从情感扮演重要角色的观点中缓存的想法。它有效地传递了一个信息。因此,它可以发挥重要作用,在文本文档摘要。
2018-11-15 cs.CL cs.IR
Towards Semantic Markup of Mathematical Documents via User Interaction
Heriot-Watt University(赫瑞-瓦特大学)
本文提出从现有 sTeX 宏定义半自动生成文法并解析数学公式的方法,配合 GUI 消歧工具,帮助作者将普通 LaTeX 文档转换为语义标记。
2024-08-05 cs.CL cs.IR
A Semantic approach for effective document clustering using WordNet
Amravati University(阿姆拉瓦蒂大学)
如今,文本文档在互联网、电子邮件和网页上自发地增加,并以电子数据库的形式存储。安排和浏览文档变得困难。为了克服这一问题,文档预处理、术语选择、属性约简以及利用背景知识WordNet维护重要术语之间的关系成为数据采掘的重要参数。本文分三个阶段进行,首先通过去除停用词对文档进行预处理,使用porter词干提取算法进行词干提取,使用词网词库维护重要词之间的关系,生成全局唯一词和频繁词集,然后形成数据矩阵,最后使用tf-idf术语选择方法从文档中提取术语,TF-DF和TF 2基于它们的最小阈值。此外,每个文档术语都被预处理,其中每个术语在文档中的频率被计算用于表示。这种方法的目的是减少属性,并找到有效的术语选择方法,使用WordNet更好的聚类精度。实验在路透社转录子集,小麦,贸易,货币谷物和船舶,路透社21578,经典30,20新闻组(无神论),20新闻组(硬件),20新闻组(计算机图形学)等上进行评估。
2013-03-03 cs.CL cs.IR
Pairwise Multi-Class Document Classification for Semantic Relations between Wikipedia Articles
DFKI GmbH(德国人工智能研究中心有限公司);University of Konstanz(康斯坦茨大学);University of Wuppertal(伍珀塔尔大学)
许多数字图书馆在向用户推荐文献时会考虑到查询文档与其存储库之间的相似性。然而,他们经常无法区分是什么关系使两个文档相似。在本文中,我们模型的问题,找到两个文件之间的关系作为一个成对的文件分类任务。为了发现文档之间的语义关系,我们应用了一系列技术,例如GloVe,Paragraph-Vectors,BERT和XLNet,在不同的配置下(例如,序列长度、向量级联方案),包括用于基于变换器的系统的连体架构。我们在一个新提出的数据集上进行实验,该数据集包含32,168个维基百科文章对和定义语义文档关系的Wikidata属性。我们的研究结果表明,香草BERT作为最好的表现系统的F1得分为0.93,我们手动检查,以更好地了解其适用于其他领域。我们的研究结果表明,分类文档之间的语义关系是一个可解决的任务,并激励推荐系统的发展的基础上评估的技术。本文中的讨论作为第一步,在探索文件通过SPARQL类查询,这样就可以找到文件,在一个方面是相似的,但在另一个不同的。
2020-03-22 cs.CL cs.DL cs.IR
Understanding and representing the semantics of large structured documents
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
理解大型结构化文档(例如学术文章、提案请求或业务报告)是一项复杂且困难的任务。它涉及发现文档的总体目的和主题,理解其部分和子部分的功能和意义,并提取有关它们的低级别实体和事实。在这项研究中,我们提出了一个基于深度学习的文档本体,从大量的学术文章和商业文档中捕获通用语义结构和特定领域的语义概念。本体能够描述文档的不同功能部分,可以用于增强语义索引,以便人类和机器更好地理解。我们通过对arXiv和征求建议书文件中的学术文章数据集进行广泛的实验来评估我们的模型。
2018-07-24 cs.CL cs.IR cs.LG
S2 Chunking: A Hybrid Framework for Document Segmentation Through Integrated Spatial and Semantic Analysis
Indian Institute of Technology, Patna(印度理工学院巴特那分校)
本文提出 S2 Chunking 混合框架,融合 bbox 空间布局、文本语义与元素关系构建加权图并进行谱聚类,在多样版式文档上提升分块准确性并满足 token 长度限制。
2025-01-08 cs.CL cs.IR cs.LG
Classifying complex documents: comparing bespoke solutions to large language models
Artefact UK
针对复杂法律文档的多层级多类别分类任务,对比研究微调大语言模型与定制专用模型的准确率,探究大模型达成定制模型性能所需的微调数据量。
2023-12-12 cs.CL cs.LG
Semantic Regularities in Document Representations
Institute of Computing Technology(计算技术研究所);Chinese Academy of Sciences(中国科学院)
近年来的研究表明,分布式词表示能够很好地捕捉语言中的语义信息。这允许基于单词之间的简单线性代数的面向向量的推理。由于已经提出了许多不同的方法来学习文档表示,很自然地会问,在这些学习的表示中是否也有线性结构,以允许在文档级别进行类似的推理。为了回答这个问题,我们设计了一个新的文档类比任务来测试文档表示中的语义相似性,并对几种最先进的文档表示模型进行了实证评估。结果表明,基于神经嵌入的文档表示在这个类比任务上比传统方法更好,我们对这些观察结果提供了一些初步的解释。
2016-03-24 cs.CL
Joint Semantic Analysis with Document-Level Cross-Task Coherence Rewards
University of Copenhagen(哥本哈根大学)
共指消解和语义角色标注是捕捉语义的不同方面的NLP任务,分别指示哪些表达式指代同一实体,以及表达式在句子中充当什么语义角色。然而,它们通常是紧密相互依赖的,并且两者通常都需要自然语言理解。它们是否形成了文档的连贯抽象表示?我们提出了一个神经网络架构的联合共指消解和语义角色标注的英语,和训练图神经网络模型的“连贯性”的组合浅层语义图。使用所得到的一致性得分作为对我们的联合语义分析器的奖励,我们使用强化学习来鼓励文档和语义注释之间的全局一致性。这导致了来自不同领域的多个数据集的两个任务的改进,并且跨越了一系列不同表达能力的编码器,我们相信,这需要一种更全面的NLP语义方法。
2020-10-12 cs.CL
Bilingual Document Alignment with Latent Semantic Indexing
我们将跨语言潜在语义索引应用于WMT 16的双语文档对齐任务。从训练数据中已知的英语/法语页面对导出的双语术语-文档矩阵的降秩奇异值分解允许我们将单语文档映射到联合语义空间中。将每个文档放入联合语义空间的向量之间的余弦相似性的两个变体与对应URL之间的字符串相似性的度量相结合,以在各种域中产生英语/法语网页的1:1对齐。该系统实现了ca的召回。如果没有使用域内数据来构建潜在语义模型,则为88%,如果包含此类数据,则为93%。通过分析系统在训练数据上的错误,我们认为基于精确的URL匹配来评估对齐器性能会低估其真实性能,并提出了一种能够考虑底层数据中的重复和接近重复的替代方案。
2017-07-29 cs.CL
A Topological Approach to Compare Document Semantics Based on a New Variant of Syntactic N-grams
Biocomplexity Institute University of Virginia(弗吉尼亚大学生物复杂性研究所)
本文提供了一个新的角度来思考和利用句法n-gram(sn-gram)。Sn-gram是一种非线性n-gram,在许多NLP任务中发挥着重要作用。因此,引入sn-gram来比较文档语义是一个有吸引力的应用,很少有研究报告在这方面取得了进展。然而,当我们继续在这个应用程序中,我们发现三个主要的问题:缺乏意义,是敏感的词序和未能捕捉间接的句法关系。为了解决这些问题,我们提出了一个新的变体的sn-元命名为广义短语(GP)。然后,基于GP,我们提出了一种拓扑方法,命名为DSCoH,计算文档语义相似度。DSCoH已经在文档语义比较和文档聚类任务上进行了广泛的测试。实验结果表明,DSCoH可以优于最先进的嵌入式方法。
2021-03-08 cs.CL
Explaining Away Syntactic Structure in Semantic Document Representations
ETH Zürich(苏黎世联邦理工学院)
大多数生成式文档模型作用于词袋输入,试图专注于语义内容,从而部分放弃句法信息。我们认为,它是更可取的,以保持原来的词序完整,而明确的句法结构,而不是。我们提出了对神经变分文档模型的扩展(Miao等人,2016年),它正是这样做的,以分离本地(语法)上下文从全局(语义)表示的文件。我们的模型建立在变分自编码器框架上,定义了一个基于下一个词预测的生成文档模型。我们将我们的方法命名为序列感知变分自编码器,因为与其前身相比,它对真实的输入序列进行操作。在一系列的实验中,我们观察到更强的时事性的学习表示,以及增加的鲁棒性语法噪声在我们的训练数据。
2018-06-05 cs.CL
From Surface to Semantics: Semantic Structure Parsing for Table-Centric Document Analysis
University of New South Wales, Sydney, Australia(新南威尔士大学,悉尼,澳大利亚)
针对现有文档分析缺乏表格深度语义解析的问题,提出以表格为中心的语义解析框架 DOTABLER,通过定制数据集与模型微调实现文档结构解析与表格检索,在真实数据上表现优于 GPT-4o。
2025-08-14 cs.CL
Reinforcing Semantic-Symmetry for Document Summarization
文档摘要是将一个长文档压缩成一个信息突出、语义描述准确的短文本。主要问题是如何使输出摘要与输入文档在语义上保持一致。为了实现这一目标,最近,研究人员集中在监督端到端的混合方法,其中包含提取器模块和抽象器模块。其中,提取器从输入文档中识别显著句子,并且摘要器从显著句子生成摘要。该模型通过各种策略(例如,强化学习)。在训练混合模型时,存在两个语义间隙(一个是文档和提取的句子之间,另一个是提取的句子和摘要之间)。然而,现有的方法并没有明确地考虑它们,这通常会导致摘要的语义偏差。为了解决上述问题,本文提出了一种新的文档摘要\textbf{e}增强模型-- \textbf{sy}度量学习模型(\textbf{ReSyM}). ReSyM在提取器中引入了语义一致性奖励来弥合第一个差距。语义双重奖励的目的是弥合第二个差距的抽象。整个文档摘要过程通过具有混合奖励机制(结合上述两种奖励)的强化学习来实现。此外,一个全面的句子表示学习方法,提出了充分捕获的信息,从原始文件。在两个广泛使用的基准数据集CNN/Daily Mail和BigPatent上进行了一系列实验。结果显示了ReSyM的优越性,通过比较它与最先进的基线在各种评估指标。
2022-03-31 cs.CL
Semantic Sensitive TF-IDF to Determine Word Relevance in Documents
Itaú Unibanco(伊塔乌联合银行);Federal University of Minas Gerais(米纳斯吉拉斯联邦大学)
关键词提取作为一个重要的研究课题,在文档上下文分类、文本索引和文档分类等领域有着广泛的应用前景。在本文中,我们提出了STF-IDF,一种新的语义方法TF-IDF的基础上,评分的非正式文件中的语料库中的词的重要性。收集了来自医疗社交媒体的近400万份文档,并进行了训练,以绘制语义模型并找到词嵌入。然后,利用语义空间的特征,通过迭代求解对原始TF-IDF评分进行重新排序,以提高该算法对非正式文本的适度性能。在测试了所提出的方法与200个随机选择的文件,我们的方法设法减少TF-IDF的平均出错率的一个因素的50%,达到13.7%的平均错误,而不是原来的TF-IDF的27.2%。
2021-01-25 cs.CL cs.IR cs.LG
Classification and Clustering of arXiv Documents, Sections, and Abstracts, Comparing Encodings of Natural and Mathematical Language
University of Konstanz(康斯坦茨大学);University of Wuppertal(伍珀塔尔大学);FIZ Karlsruhe(卡尔斯鲁厄专业信息中心);George Washington University(乔治华盛顿大学)
在本文中,我们将展示如何选择和结合编码的自然和数学语言影响分类和聚类的文件与数学内容。我们通过使用arXiv预印本服务器中的文档、章节和摘要集来证明这一点,这些文档、章节和摘要都是按其主题类(数学、计算机科学、物理等)标记的。比较文本和公式的不同编码,并评估所选分类和聚类算法的性能和运行时间。我们的编码实现分类精度高达$82.8\%$和集群纯度高达$69.4\%$(集群的数量等于类的数量),和$99.9\%$(未指定的集群数量)分别。我们观察到文本和数学相似性之间的相关性相对较低,这表明文本和公式的独立性,并激励将它们作为文档的单独特征。可以采用分类和聚类,例如,用于文档搜索和推荐。此外,我们表明,计算机在分类文档时优于人类专家。最后,我们评估和讨论多标签分类和公式语义。
2020-05-22 cs.CL cs.DL cs.IR
Information Terra: A Narrative-Anchored Semantic-First Projection of Document Embeddings
Virginia Tech(弗吉尼亚理工大学)
提出一种将文档嵌入投影到类地球球体的方法,以用户选择的端点文档为两极,经线为嵌入超球面上的大圆测地线,通过核密度估计恢复主题特征并构建叙事轨迹,在540篇古巴抗议文章语料上验证了从奥巴马访问到国际援助的叙事线。
2026-07-01 cs.CL cs.HC cs.IR
An Unsupervised Semantic Sentence Ranking Scheme for Text Documents
University of Massachusetts, Lowell(马萨诸塞大学洛厄尔分校)
本文提出了语义句子排名(SSR),一个无监督的计划自动排名句子在一个单一的文件,根据其相对重要性。特别地,SSR从文本文档中提取关键词和短语,并使用语义度量来分别构建短语和词的语义短语图和句子的语义句子图。它应用了两种偏向文章结构的PageRank变体,对第一个图上的短语和单词以及第二个图上的句子进行评分。然后,它将这些分数结合起来,生成每个句子的最终分数。最后,SSR解决了一个多目标优化问题,排名句子的基础上,他们的最终得分和主题的多样性,通过语义子主题聚类。在二次时间内运行的SSR的实现,它优于,在SummBank基准,每个单独的法官的排名,并与所有法官的综合排名相比。
2020-04-28 cs.CL cs.IR cs.LG
Calculating Semantic Similarity between Academic Articles using Topic Event and Ontology
State Key Laboratory of Software Development Environment, Beihang University(北京航空航天大学软件开发环境国家重点实验室)
确定学术文档之间的语义相似度对于剽窃检测、自动技术调查和语义搜索等任务至关重要。目前的研究主要集中在概念、句子和短文本片段之间的语义相似度。然而,文档级语义匹配仍然基于表层的统计信息,忽略了文章结构和全局语义,这可能会导致文档理解的偏差。针对学术文献的文档级语义相似性问题,提出了一种新的方法。该方法以主题事件表示学术文章,利用研究目的、研究方法和研究领域等多个信息描述学术文章的研究工作,并基于领域本体计算主题事件之间的相似度,得到文章之间的语义相似度。实验表明,我们的方法实现了显着的性能相比,国家的最先进的方法。
2017-11-30 cs.AI cs.CL cs.IR
Enhanced Knowledge Selection for Grounded Dialogues via Document Semantic Graphs
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Alexa AI(亚马逊Alexa人工智能部门)
提供具有背景知识的对话模型已被证明可以使开放域对话更具信息性和吸引力。现有的模型将知识选择视为句子排序或分类问题,其中每个句子都单独处理,忽略了背景文档中句子之间的内部语义联系。在这项工作中,我们建议自动转换的背景知识文件到文档的语义图,然后进行知识选择这样的图。我们的文档语义图通过使用句子节点来保留句子级别的信息,并提供句子之间的概念连接。我们联合应用多任务学习的知识水平和概念水平的选择,并表明它提高了知识水平的选择。我们的实验表明,我们的基于语义图的知识选择提高了句子选择基线的知识选择任务和端到端的响应生成任务的HollE,并提高了泛化在魔兽世界中看不见的主题。
2022-06-30 cs.CL
Toward General Semantic Chunking: A Discriminative Framework for Ultra-Long Documents
KingSoft Office Zhuiguang AI Lab(金山办公曙光人工智能实验室)
本文提出基于Qwen3-0.6B的判别分割模型,通过跨窗口上下文融合和重叠滑动窗口策略,实现超长文档的高效段落边界检测,并提升下游检索效率。
2025-12-23 cs.AI cs.CL cs.IR
Towards Unsupervised Recognition of Token-level Semantic Differences in Related Documents
University of Zurich(苏黎世大学)
本文将识别两篇文档间语义差异(RSD)构建为 token 级回归任务,研究了三种基于掩码语言模型的无监督方法,发现基于词对齐和句子级对比学习的方法与金标准标签相关性稳健,但整体仍有较大改进空间。
2023-10-20 cs.CL
Multi-document Summarization using Semantic Role Labeling and Semantic Graph for Indonesian News Article
School of Electrical Engineering and Informatics(电气工程与信息学院);Bandung Institute of Technology(万隆理工学院)
在本文中,我们提出了一个多文档摘要系统使用语义角色标注(SRL)和语义图的印尼新闻文章。为了改进现有的摘要器,我们的系统修改的摘要器,采用主语,谓语,宾语和状语(SVOA)提取谓词论元结构(PAS)提取。印度尼西亚语的SVOA提取被SRL模型取代。我们还取代了遗传算法,以确定与决策树分类器的重要PAS,因为没有遗传算法的汇总器,给更好的性能。采用决策树模型识别重要PAS。具有10个特征的决策树模型比具有4个句子特征的决策树模型具有更好的性能。实验和评估进行生成100字的摘要和200字的摘要。实验结果表明,该模型在100字摘要中的平均ROUGE-2召回率为0.313,在200字摘要中的平均ROUGE-2召回率为0.394。
2021-03-05 cs.CL
Semantic WordRank: Generating Finer Single-Document Summarizations
University of Massachusetts, Lowell(马萨诸塞大学洛厄尔分校)
我们提出了语义WordRank(SWR),一个无监督的方法,用于生成一个单一的文档的提取摘要。建立在具有语义和共现边缘的加权词图上,SWR使用具有Softplus函数调整的文章结构偏向PageRank算法对句子进行评分,并使用Word-Movers-Distance度量下的谱子主题聚类来促进主题多样性。我们在DUC-02和SummBank数据集上评估了SWR,并表明在常见的ROUGE措施下,SWR比DUC-02上的最先进算法产生更好的摘要。然后,我们表明,在SummBank的相同措施下,SWR优于三个人类注释器(又名。法官),并与所有法官的综合表现相媲美。
2018-09-12 cs.CL
KeyVec: Key-semantics Preserving Document Representations
Microsoft Research(微软研究院)
先前的研究已经证明了词嵌入在各种应用中的经验成功。在本文中,我们研究的问题,学习分布式表示的文本文件,许多机器学习算法作为输入的一些NLP任务。我们提出了一个神经网络模型,KeyVec,学习文档表示的目标是保持输入文本的关键语义。它使学习到的低维向量能够保留来自文档的主题和重要信息,这些主题和信息将流向下游任务。我们的实证评估表明,在两个不同的文档理解任务的KeyVec表示的优良品质。
2017-09-27 cs.CL cs.LG cs.NE
SemTrace: Source-Grounded Semantic Signatures for Tracing LLM Exposure to Protected Documents
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Bosum Institute of Management Science(博硕管理科学研究院)
针对大语言模型文档暴露溯源问题,提出基于源的语义水印SemTrace,通过构建文档特定二进制签名实现模型不可知的受保护副本暴露检测。
2026-09-01 cs.CL
ClueWeb22: 10 Billion Web Documents with Visual and Semantic Information
Microsoft(微软);Carnegie Mellon University(卡内基梅隆大学)
作为最新版本的数据集,CNET Web 22提供了100亿个包含丰富信息的网页。它的设计受到了对高质量,大规模网络语料库的需求的影响,以支持一系列学术和工业研究,例如,在信息系统,检索增强AI系统和模型预训练中。与早期的语料库相比,CCRYSTWeb 22语料库更大,更多样,质量更高,并且符合商业网络搜索的文档分布。除了原始HTML之外,Cocktail Web 22还包含有关行业标准文档理解系统提供的网页的丰富信息,包括Web浏览器呈现的页面的视觉表示,来自神经网络解析器的解析HTML结构信息,以及预处理的清洁文档文本,以降低进入门槛。这些信号中有许多已在工业中广泛使用,但在这种规模下首次提供给研究界。
2022-12-02 cs.AI cs.CL cs.IR
Semantic Matching of Documents from Heterogeneous Collections: A Simple and Transparent Method for Practical Applications
Heidelberg Institute for Theoretical Studies gGmbH(海德堡理论研究所)
我们提出了一个非常简单的,无监督的方法,成对匹配的文件从异构集合。我们展示了我们的方法与概念项目匹配任务,这是一个二进制分类任务,涉及对来自异构集合的文档。虽然我们的方法只使用标准资源,没有任何特定于领域或任务的修改,但它明显优于原作者的更复杂的系统。此外,我们的方法是透明的,因为它提供了有关如何计算相似性得分的明确信息,并且是高效的,因为它是基于(可预先计算的)单词级相似性的聚合。
2019-04-29 cs.CL
Using Titles vs. Full-text as Source for Automated Semantic Document Annotation
ZBW—Leibniz Information Centre for Economics(ZBW—莱布尼茨经济信息中心);Kiel University(基尔大学)
链接开放数据云是当今最大的知识图谱的重要组成部分,它由关于出版物、新闻报道和其他媒体文章等文档的元数据组成。虽然对文档元数据的广泛访问是一个巨大的进步,但分配语义注释并按照语义概念组织文档并不容易。在SKOS词库中提供类似概念的语义注释是一个经典的研究课题,但通常是在文档的全文上进行。这是第一次,我们提供了分类方法的系统比较,以调查语义注释可以在多大程度上只使用文档的元数据进行,例如在链接开放数据云上作为标签发布的标题。我们比较了从分析文档标题获得的分类与从分析全文获得的语义标注。除了突出的文本分类基线kNN和SVM,我们还比较了学习排序和神经网络的最新技术,并重新审视了传统的方法逻辑回归,Rocchio和朴素贝叶斯。结果表明,在我们的四个数据集中的三个数据集中,与使用全文时的分类性能相比,仅使用标题的分类性能达到了90%以上的质量。因此,仅使用标题进行文档分类是自动语义标注的合理方法,并为丰富知识图谱开辟了新的可能性。
2017-09-27 cs.CL cs.DL
S2Doc -- Spatial-Semantic Document Format
University of Würzburg Center for Artificial Intelligence(乌尔姆大学人工智能与数据科学中心)
针对文档与表格建模缺乏标准且难以兼顾空间与语义结构的问题,提出了S2Doc这一灵活数据结构,首次在单一格式中结合空间与语义信息,支持多页文档并易于扩展。
2025-11-02 cs.CL cs.DL
Understanding Archives: Towards New Research Interfaces Relying on the Semantic Annotation of Documents
Université de Franche-Comté(弗朗什-孔泰大学);Institut Universitaire de France(法兰西大学研究院)
本文针对档案文献数量庞大导致难以探索利用的问题,提出基于文本语义标注构建新型研究界面的方法学框架,并分析技术障碍及实际应用案例。
2024-03-28 cs.CL cs.DL
Web Document Categorization Using Naive Bayes Classifier and Latent Semantic Analysis
Iran University of Science and Technology(伊朗科学技术大学);Umeå University(于默奥大学)
由于大量使用万维网的Web文档的快速增长,需要有效的技术来有效地分类在Web上的文档。因此,它产生了每秒高容量的数据,具有高多样性。自动分类这些不断增长的Web文档量是我们今天面临的最大挑战之一。概率分类算法,如朴素贝叶斯已成为常用的Web文档分类。这主要是因为在很多应用领域中分类精度不高,以及对文本数据表示所独有的高维稀疏数据缺乏支持。传统的特征选择方法在处理大数据、大规模Web文档时,往往缺乏对词与词之间语义关系的关注和支持。为了解决这个问题,我们提出了一种Web文档分类方法,使用LSA来增加同类文档的相似性,提高分类精度。使用这种方法,我们设计了一个更快,更准确的分类器的Web文档。实验结果表明,采用上述预处理方法可以有效地提高朴素贝叶斯分类器的准确率和速度,准确率和召回率指标都得到了提高。
2020-06-02 cs.CL
Unveiling the semantic structure of text documents using paragraph-aware Topic Models
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
经典的主题模型是在词袋假设下构建的,为了简单起见,忽略了词的位置。此外,在大多数应用中通常使用对称先验。为了更容易地学习同一语料库中具有不同属性的主题,我们提出了一种新的工作路线,其中利用段落结构。我们的建议是基于以下假设:在许多文本文档语料库中,有正式的约束共享所有的集合,例如节。当这个假设得到满足时,一些段落可能与语料库中所有文档共享的一般概念有关,而另一些段落则包含文档的真实描述。假设每个段落在语义上可以更一般、更具体或更混合,我们寻找方法来衡量这一点,将这种区别转移到主题上,并能够学习我们所谓的具体主题和一般主题。实验表明,这是一个适当的方法来突出结构化文档中的某些段落,同时我们学习有趣的和更多样化的主题。
2018-06-26 cs.CL cs.IR cs.LG
Cascaded Semantic and Positional Self-Attention Network for Document Classification
College of Internet of Things Engineering, Hohai University(河海大学物联网工程学院);Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University(复旦大学类脑智能科学与技术研究院);Department of Computer & Information Sciences, Temple University(天普大学计算机与信息科学系)
Transformers在学习语言建模的表示方面取得了巨大的成功。然而,一个开放的挑战仍然是如何系统地聚合语义信息(词嵌入)与位置(或时间)信息(词序)。在这项工作中,我们提出了一个新的架构来聚合的两个来源的信息,使用级联的语义和位置的自我注意力网络(CSPAN)的文件分类的背景下。CSPAN使用与Bi-LSTM级联的语义自注意层,以顺序的方式处理语义和位置信息,然后通过残差连接将它们自适应地组合在一起。与常用的位置编码方案相比,CSPAN能够更好地利用语义和词位置之间的相互作用,具有更强的可解释性和自适应性,在保持模型规模和收敛速度的同时,分类性能得到显著提高。我们评估了CSPAN模型的几个基准数据集的文件分类仔细消融研究,并证明了令人鼓舞的结果与最先进的。
2020-09-19 cs.CL
An Efficient Approach to Learning Chinese Judgment Document Similarity Based on Knowledge Summarization
North China Electric Power University(华北电力大学);Renmin University of China(中国人民大学)
普通法体系中以前的类似案例可用作本案的参考,以便在每一个案例中对相同的情况作类似的处理。然而,现有的判决文本相似度计算方法未能捕捉到判决文本的核心语义,存在准确度低、计算复杂度高的问题。提出了一种基于知识块摘要的机器学习方法来计算中文判决书的语义相似度。利用裁判文书的领域本体,基于知识块对中文裁判文书的核心语义进行归纳。然后利用WMD算法计算知识块之间的相似度。最后通过实验验证了该方法的有效性,与传统方法相比,该方法具有更高的精度和更快的计算速度。
2018-08-06 cs.AI cs.CL cs.IR