Multi-document Summarization using Semantic Role Labeling and Semantic Graph for Indonesian News Article
School of Electrical Engineering and Informatics（电气工程与信息学院）；Bandung Institute of Technology（万隆理工学院）
在本文中，我们提出了一个多文档摘要系统使用语义角色标注（SRL）和语义图的印尼新闻文章。为了改进现有的摘要器，我们的系统修改的摘要器，采用主语，谓语，宾语和状语（SVOA）提取谓词论元结构（PAS）提取。印度尼西亚语的SVOA提取被SRL模型取代。我们还取代了遗传算法，以确定与决策树分类器的重要PAS，因为没有遗传算法的汇总器，给更好的性能。采用决策树模型识别重要PAS。具有10个特征的决策树模型比具有4个句子特征的决策树模型具有更好的性能。实验和评估进行生成100字的摘要和200字的摘要。实验结果表明，该模型在100字摘要中的平均ROUGE-2召回率为0.313，在200字摘要中的平均ROUGE-2召回率为0.394。
2021-03-05 cs.CL
Using Titles vs. Full-text as Source for Automated Semantic Document Annotation
ZBW—Leibniz Information Centre for Economics（ZBW—莱布尼茨经济信息中心）；Kiel University（基尔大学）
链接开放数据云是当今最大的知识图谱的重要组成部分，它由关于出版物、新闻报道和其他媒体文章等文档的元数据组成。虽然对文档元数据的广泛访问是一个巨大的进步，但分配语义注释并按照语义概念组织文档并不容易。在SKOS词库中提供类似概念的语义注释是一个经典的研究课题，但通常是在文档的全文上进行。这是第一次，我们提供了分类方法的系统比较，以调查语义注释可以在多大程度上只使用文档的元数据进行，例如在链接开放数据云上作为标签发布的标题。我们比较了从分析文档标题获得的分类与从分析全文获得的语义标注。除了突出的文本分类基线kNN和SVM，我们还比较了学习排序和神经网络的最新技术，并重新审视了传统的方法逻辑回归，Rocchio和朴素贝叶斯。结果表明，在我们的四个数据集中的三个数据集中，与使用全文时的分类性能相比，仅使用标题的分类性能达到了90%以上的质量。因此，仅使用标题进行文档分类是自动语义标注的合理方法，并为丰富知识图谱开辟了新的可能性。
2017-09-27 cs.CL cs.DL
Learning Document-Level Semantic Properties from Free-Text Annotations
Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种利用自由文本关键词注释来推断文档语义属性的新方法。由于最近半结构化的用户生成的在线内容的急剧增长，这样的注释变得越来越丰富。一个特别相关的领域是产品评论，这些评论通常由其作者用优点/缺点关键词进行注释，例如真正的讨价还价或良好的价值。这些注释代表了底层的语义属性;然而，与专家注释不同，它们是嘈杂的：外行作者可能使用不同的标签来表示相同的属性，并且某些标签可能会丢失。为了使用这种嘈杂的注释进行学习，我们发现了一个隐藏的释义结构，它将关键短语聚集在一起。释义结构与评论文本的潜在主题模型相联系，使系统能够预测未注释文档的属性，并有效地聚合多个评论的语义属性。我们的方法被实现为一个分层贝叶斯模型与联合推理。我们发现，联合推理增加了关键词聚类的鲁棒性，并鼓励潜在的主题与语义有意义的属性。多个评估表明，我们的模型大大优于其他方法总结成一组语义突出的关键词的单个和多个文件。
2014-01-15 cs.CL cs.IR
Learning Unsupervised Semantic Document Representation for Fine-grained Aspect-based Sentiment Analysis
National Taiwan University（国立台湾大学）
本文提出一种无监督文档表示模型，同时克服序列与非序列方法的弱点，在通用情感分析和细粒度方面级情感分析任务上显著超越现有最优方法。
2024-01-11 cs.AI cs.CL cs.IR
Topic Model Supervised by Understanding Map
Tsinghua University（清华大学）
受物理学中质心概念的启发，提出了一种扩展的语义质心（SCOM），用于发现文档的抽象主题。这个概念是在一个框架模型下，称为理解地图监督主题模型（UM-S-TM）。UM-S-TM的设计目标是让文档内容和语义网络（具体地说，理解地图）在解释文档的含义方面发挥作用。基于不同的理由，设计了三种可能的方法来发现文档的SCOM。在人工文档和理解地图上进行了实验，以检验其结果。此外，还测试了它的文档矢量化能力和顺序信息捕获能力。我们还比较了UM-S-TM与概率主题模型，如潜在狄利克雷分配（LDA）和概率潜在语义分析（pLSA）。
2022-05-27 cs.CL
Object-oriented Neural Programming (OONP) for Document Understanding
Tsinghua University（清华大学）；Beijing Innovation Center for Future Chip, Tsinghua University（清华大学北京未来芯片创新中心）
我们提出了面向对象的神经编程（OONP），在特定领域的语义解析文件的框架。基本上，OONP读取文档并将其解析为预先设计的面向对象的数据结构（本文中称为本体），该数据结构反映文档的特定于领域的语义。OONP解析器将语义解析建模为决策过程：基于神经网络的阅读器依次遍历文档，在此过程中，它构建并更新中间本体，以总结其对所涵盖文本的部分理解。OONP支持一系列丰富的操作（包括符号和可微分）来组成本体，以及各种各样的形式（包括符号和可微分）来表示状态和文档。OONP解析器可以用不同形式和强度的监督来训练，包括监督学习（SL）、强化学习（RL）以及两者的混合。我们对合成和真实世界的文档解析任务的实验表明，OONP可以学习处理相当复杂的本体与训练数据的适度大小。
2018-07-25 cs.AI cs.CL cs.LG
Unveiling the semantic structure of text documents using paragraph-aware Topic Models
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
经典的主题模型是在词袋假设下构建的，为了简单起见，忽略了词的位置。此外，在大多数应用中通常使用对称先验。为了更容易地学习同一语料库中具有不同属性的主题，我们提出了一种新的工作路线，其中利用段落结构。我们的建议是基于以下假设：在许多文本文档语料库中，有正式的约束共享所有的集合，例如节。当这个假设得到满足时，一些段落可能与语料库中所有文档共享的一般概念有关，而另一些段落则包含文档的真实描述。假设每个段落在语义上可以更一般、更具体或更混合，我们寻找方法来衡量这一点，将这种区别转移到主题上，并能够学习我们所谓的具体主题和一般主题。实验表明，这是一个适当的方法来突出结构化文档中的某些段落，同时我们学习有趣的和更多样化的主题。
2018-06-26 cs.CL cs.IR cs.LG
Top2Vec: Distributed Representations of Topics
主题建模用于在大量文档中发现潜在的语义结构，通常称为主题。最广泛使用的方法是潜在狄利克雷分配和概率潜在语义分析。尽管它们很受欢迎，但它们有几个弱点。为了达到最佳效果，他们通常需要知道主题的数量，自定义停止词列表，词干提取和词形还原。另外，这些方法依赖于文档的词袋表示，而忽略了词的顺序和语义。文档和单词的分布式表示由于其捕获单词和文档的语义的能力而得到普及。我们提出了$\texttt{top2vec}$，它利用联合文档和单词语义嵌入找到$\textit{topic vectors}$。这个模型不需要停用词列表、词干提取或词形还原，它会自动找到主题的数量。将得到的主题向量与文档和词向量联合嵌入，它们之间的距离表示语义相似性。我们的实验表明，$\texttt{top2vec}$发现的主题是显着更多的信息和代表性的语料库训练比概率生成模型。
2020-08-19 cs.CL cs.LG stat.ML
Semantic Centroids and Hierarchical Density-Based Clustering for Cross-Document Software Coreference Resolution
Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）；Wismar University of Applied Sciences（威斯马应用科学大学）
本文提出结合语义嵌入、知识库检索与密度聚类的方法，解决跨文档软件提及的一致性识别问题，通过表面形式规范化和缩写解析提升命名匹配，系统在三个子任务中均取得高F1分数。
2026-03-25 cs.CL
TopicRNN: A Recurrent Neural Network with Long-Range Semantic Dependency
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）
在本文中，我们提出了TopicRNN，一个基于循环神经网络（RNN）的语言模型，旨在通过潜在主题直接捕获文档中与单词相关的全局语义。由于它们的顺序性质，RNN擅长捕捉单词序列的局部结构-语义和句法-但可能难以记住长距离依赖关系。直观地说，这些长距离依赖关系是语义性质的。相比之下，潜在主题模型能够捕获文档的全局底层语义结构，但不考虑单词排序。所提出的TopicRNN模型集成了RNN和潜在主题模型的优点：它使用RNN捕获局部（语法）依赖关系，使用潜在主题捕获全局（语义）依赖关系。与以前的上下文RNN语言建模工作不同，我们的模型是端到端学习的。单词预测的实证结果表明，TopicRNN优于现有的上下文RNN基线。此外，TopicRNN可以用作文档的无监督特征提取器。我们这样做是为了对IMDB电影评论数据集进行情感分析，并报告出错率为$6.28\%$。这与半监督方法产生的最先进的$5.91\%$相当。最后，TopicRNN还产生了合理的主题，使其成为潜在Dirichlet分配等文档模型的有用替代品。
2017-02-27 cs.AI cs.CL cs.LG
Joint Lifelong Topic Model and Manifold Ranking for Document Summarization
Beihang University（北京航空航天大学）
由于流形排序方法对基于已知数据的未知数据的排序有显著的影响，通过使用加权网络，许多研究人员使用流形排序方法来解决文档摘要任务。然而，他们的模型只考虑了原始特征，而忽略了句子的语义特征时，他们构建的加权网络的流形排序方法。针对这一问题，提出了两种基于流形排序方法的改进模型。一种是结合主题模型和流形排序方法（JTMMR）来解决文档摘要问题。该模型不仅利用了原始特征，而且利用语义特征来表示文档，提高了流形排序方法的准确性。另一种是结合终身主题模型和流形排序方法（JLTMMR）。该模型在JTMMR的基础上，增加了知识约束，提高了主题的质量。同时，我们还加入了文档间关系的约束，挖掘出更好的文档语义特征。JTMMR模型通过使用更好的语义特征来改善流形排序方法的效果。实验表明，我们的模型可以取得更好的结果比其他基线模型的多文档摘要任务。同时，我们的模型在单文档摘要任务上也有很好的表现。在结合了一些基本的表面特征后，我们的模型明显优于近年来基于深度学习的一些模型。然后，通过分析加入反馈的效果，为终身机器学习做了一个探索性的工作。实验结果表明，在模型中加入反馈的效果是显著的。
2019-07-07 cs.CL
Semantic Term "Blurring" and Stochastic "Barcoding" for Improved Unsupervised Text Classification
Duke University（杜克大学）
现代社会产生的大量文本数据使得按主题直观地对文本数据进行分组、分类或分类变得越来越重要，以便进行有效的检索和搜索。然而，文本数据的高维性和不精确性，或者更一般地说，语言作为一个整体，在尝试执行无监督文档聚类时被证明是具有挑战性的。在这篇论文中，我们提出了两个新的方法来提高无监督的文档聚类/分类的主题。第一是改进文档表示。我们希望利用“术语邻域”和“模糊”相邻术语的语义权重。这些邻域位于由“词嵌入”提供的语义空间中。第二种方法是基于我们认为的“随机条形码”或“S-条形码”模式进行聚类修正。文本数据本质上是高维的，然而聚类通常发生在低维表示空间中。我们的方法利用低维聚类结果作为初始的集群配置，并迭代修改的配置在高维空间。我们的实验结果表明，这两种方法如何提高文档聚类的质量。虽然这篇论文详细阐述了这两个新的概念贡献，但David Yan的联合论文详细介绍了我们为无监督文档分类开发的特征转换和软件架构。
2018-11-06 cs.CL cs.LG
Hybrid Topic-Semantic Labeling and Graph Embeddings for Unsupervised Legal Document Clustering
Department of Mathematical Sciences（数学科学系）；Salisbury University（萨里大学）；Department of Mathematics and Statistics（数学与统计学系）；Carleton College（卡尔顿学院）
针对法律文档标注数据有限、领域性强的分类难题，提出结合Top2Vec语义主题嵌入与Node2Vec图嵌入的混合无监督聚类方法，性能优于基线模型，为法律文本分析提供新思路。
2026-10-20 cs.CL cs.LG stat.ML
High-Level Text Preprocessing for Semantic Similarity Analysis of Discursive Texts: A Framework and Empirical Demonstration
Işık University（伊斯克大学）；Boğaziçi University（博阿齐奇大学）
针对话语性文本语义相似度因词汇扩散而虚高的问题，提出高层文本预处理框架，含12条规则，经哲学语料实验验证可有效降低相似度分数，并引入语义扩散指数。
2026-09-29 cs.CL cs.IR cs.LG
Efficient Vector Representation for Documents through Corruption
Criteo Research（Criteo研究院）
我们提出了一个有效的文档表示学习框架，文档向量通过腐败（Doc2VecC）。Doc2VecC将每个文档表示为词嵌入的简单平均值。它确保生成的表示在学习过程中捕获文档的语义含义。包括一个腐败模型，它引入了一个依赖于数据的正则化，有利于信息或罕见的单词，同时迫使常见和非歧视性的嵌入接近零。Doc2VecC比Word2Vec产生更好的词嵌入。我们比较Doc2VecC与几个国家的最先进的文档表示学习算法。Doc2VecC引入的简单模型架构在为情感分析、文档分类以及语义相关性任务生成高质量文档表示方面与最先进的技术相匹配或优于最先进的技术。该模型的简单性使其能够在一台机器上每小时训练数十亿个单词。同时，该模型在测试时生成未见过文档的表示方面非常有效。
2017-07-08 cs.CL cs.LG
Neural Attention-Aware Hierarchical Topic Model
Monash University（莫纳什大学）；Deakin University（迪肯大学）
神经主题模型（NTM）将深度神经网络应用于主题建模。尽管他们的成功，NTMs通常忽略了两个重要方面：（1）只有文档级的单词计数信息被用于训练，而更细粒度的文本级信息被忽略，以及（2）关于文档，句子和单词的外部语义知识没有被利用的训练。为了解决这些问题，我们提出了一个变分自编码器（VAE）NTM模型，该模型使用词袋（BoW）主题嵌入和预训练语义嵌入的组合来联合重建句子和文档字数。预训练的嵌入首先被转换到一个公共的潜在主题空间中，以使它们的语义与BoW嵌入保持一致。我们的模型还具有分层KL分歧，以利用每个文档的嵌入来正则化其句子的嵌入，从而更加关注语义相关的句子。定量和定性实验都表明了我们的模型在以下方面的有效性：1）降低句子和文档级别的重建错误; 2）从真实世界的数据集中发现更连贯的主题。
2021-10-14 cs.CL cs.LG
Extractive Summarization for Arabic Documents Using SAraBERT with a Semantic Siamese Similarity Evaluation Metric
American University of Beirut（贝鲁特美国大学）
该研究提出增强版AraBERT（SAraBERT）及语义连体相似度评估指标，通过BLEU、ROUGE等验证，证明SAraBERT在阿拉伯语文档抽取式摘要任务中有效。
2026-08-24 cs.AI cs.CL
Length is a Curse and a Blessing for Document-level Semantics
Durham University（杜伦大学）；The University of Manchester（曼彻斯特大学）
本研究质疑对比学习模型的长度泛化能力，发现文档长度既是语义偏移的诱因也可作为无监督信号，并据此提出LA(SER)$^{3}$框架，在信息检索基准上实现了最先进的无监督性能。
2023-10-24 cs.AI cs.CL
A Semantic Mention Graph Augmented Model for Document-Level Event Argument Extraction
School of Computer Science and Technology, Xi'an Jiaotong University（西安交通大学计算机科学与技术学院）；National University of Singapore（新加坡国立大学）
本文提出语义提及图增强模型（GAM），通过构建语义提及图并集成图变换器模块，解决文档级事件参数提取中实体提及独立建模和文档-提示隔离问题，在RAMS和WikiEvents数据集上取得最优性能。
2024-03-12 cs.AI cs.CL
GraphLSS: Integrating Lexical, Structural, and Semantic Features for Long Document Extractive Summarization
Hasso Plattner Institute (HPI)（哈索·普拉特纳研究所（HPI））；University of Potsdam（波茨坦大学）
针对现有异构图神经网络长文档摘要模型依赖外部工具、结构复杂的问题，提出融合词汇、结构、语义特征的GraphLSS异构图构建方法，无需辅助模型，在两个基准数据集上性能比肩顶尖图方法、优于近期非图模型，且已开源代码。
2024-10-25 cs.AI cs.CL
DAGverse: Building Document-Grounded Semantic DAGs from Scientific Papers
Arizona State University（亚利桑那州立大学）；Worcester Polytechnic Institute（伍斯特理工学院）
本文提出DAGverse框架，通过科学论文中的显式DAG图和文本上下文，自动构建文档导向的语义DAG，提升DAG分类和标注的精度。
2026-03-26 cs.AI cs.CL
Semantic Similarity Matching for Patent Documents Using Ensemble BERT-related Model and Novel Text Processing Method
The University of Chicago（芝加哥大学）；Zhejiang University（浙江大学）；Trine University（特里恩大学）；The George Washington University（乔治·华盛顿大学）
本文针对专利文献语义相似度匹配问题，提出融合四个BERT相关模型的集成方法和面向专利文本的新型预处理方法，并在美国专利短语匹配数据集上验证了其有效性。
2024-01-06 cs.AI cs.CL
Modelling the semantics of text in complex document layouts using graph transformer networks
BlackRock Inc.（贝莱德集团）
从复杂文档中表示结构化文本通常需要不同的机器学习技术，例如用于段落的语言模型和用于表格提取的卷积神经网络（CNN），这禁止在不同内容类型的文本跨度之间绘制链接。在这篇文章中，我们提出了一个模型，近似的人类阅读模式的文件，并输出一个独特的语义表示为每个文本跨度，无论内容类型，他们被发现。我们的架构的结构化文本的图形表示的基础上，我们证明，我们不仅可以检索语义相似的信息跨文档，而且我们生成的嵌入空间捕获有用的语义信息，类似于语言模型，只对文本序列的工作。
2022-02-18 cs.AI cs.CL cs.LG
Modeling Unified Semantic Discourse Structure for High-quality Headline Generation
School of Cyber Science and Engineering, Wuhan University（武汉大学网络安全学院）；National University of Singapore（新加坡国立大学）；Leshan Normal University（乐山师范学院）
提出统一语义语篇结构S3，结合RST树与AMR图编码文档语义，并设计层级剪枝机制去除冗余，显著提升标题生成质量。
2024-03-23 cs.AI cs.CL
Doc2SoarGraph: Discrete Reasoning over Visually-Rich Table-Text Documents via Semantic-Oriented Hierarchical Graphs
National University of Singapore（新加坡国立大学）；Estates Pte Ltd（6Estates私人有限公司）；University of Science and Technology of China（中国科学技术大学）
本文提出Doc2SoarGraph框架，利用语义导向层次图建模视觉丰富表格-文本文档中元素间的差异与关联，在TAT-DQA数据集上大幅超越基线模型，实现离散推理的新最优性能。
2024-02-22 cs.AI cs.CL
CrossFormer: Cross-Segment Semantic Fusion for Document Segmentation
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Tencent Inc.（腾讯公司）
针对传统文档分割预处理导致跨片段语义丢失的问题，提出基于transformer的CrossFormer模型，通过跨片段融合模块动态建模语义依赖，提升了分割准确率，并能替代RAG系统中基于规则的分块方法以增强效能。
2025-04-02 cs.CL
Semantic Regularities in Document Representations
Institute of Computing Technology（计算技术研究所）；Chinese Academy of Sciences（中国科学院）
近年来的研究表明，分布式词表示能够很好地捕捉语言中的语义信息。这允许基于单词之间的简单线性代数的面向向量的推理。由于已经提出了许多不同的方法来学习文档表示，很自然地会问，在这些学习的表示中是否也有线性结构，以允许在文档级别进行类似的推理。为了回答这个问题，我们设计了一个新的文档类比任务来测试文档表示中的语义相似性，并对几种最先进的文档表示模型进行了实证评估。结果表明，基于神经嵌入的文档表示在这个类比任务上比传统方法更好，我们对这些观察结果提供了一些初步的解释。
2016-03-24 cs.CL
Bilingual Document Alignment with Latent Semantic Indexing
我们将跨语言潜在语义索引应用于WMT 16的双语文档对齐任务。从训练数据中已知的英语/法语页面对导出的双语术语-文档矩阵的降秩奇异值分解允许我们将单语文档映射到联合语义空间中。将每个文档放入联合语义空间的向量之间的余弦相似性的两个变体与对应URL之间的字符串相似性的度量相结合，以在各种域中产生英语/法语网页的1：1对齐。该系统实现了ca的召回。如果没有使用域内数据来构建潜在语义模型，则为88%，如果包含此类数据，则为93%。通过分析系统在训练数据上的错误，我们认为基于精确的URL匹配来评估对齐器性能会低估其真实性能，并提出了一种能够考虑底层数据中的重复和接近重复的替代方案。
2017-07-29 cs.CL
A Topological Approach to Compare Document Semantics Based on a New Variant of Syntactic N-grams
Biocomplexity Institute University of Virginia（弗吉尼亚大学生物复杂性研究所）
本文提供了一个新的角度来思考和利用句法n-gram（sn-gram）。Sn-gram是一种非线性n-gram，在许多NLP任务中发挥着重要作用。因此，引入sn-gram来比较文档语义是一个有吸引力的应用，很少有研究报告在这方面取得了进展。然而，当我们继续在这个应用程序中，我们发现三个主要的问题：缺乏意义，是敏感的词序和未能捕捉间接的句法关系。为了解决这些问题，我们提出了一个新的变体的sn-元命名为广义短语（GP）。然后，基于GP，我们提出了一种拓扑方法，命名为DSCoH，计算文档语义相似度。DSCoH已经在文档语义比较和文档聚类任务上进行了广泛的测试。实验结果表明，DSCoH可以优于最先进的嵌入式方法。
2021-03-08 cs.CL
Explaining Away Syntactic Structure in Semantic Document Representations
ETH Zürich（苏黎世联邦理工学院）
大多数生成式文档模型作用于词袋输入，试图专注于语义内容，从而部分放弃句法信息。我们认为，它是更可取的，以保持原来的词序完整，而明确的句法结构，而不是。我们提出了对神经变分文档模型的扩展（Miao等人，2016年），它正是这样做的，以分离本地（语法）上下文从全局（语义）表示的文件。我们的模型建立在变分自编码器框架上，定义了一个基于下一个词预测的生成文档模型。我们将我们的方法命名为序列感知变分自编码器，因为与其前身相比，它对真实的输入序列进行操作。在一系列的实验中，我们观察到更强的时事性的学习表示，以及增加的鲁棒性语法噪声在我们的训练数据。
2018-06-05 cs.CL
Semantic Technology-Assisted Review (STAR) Document analysis and monitoring using random vectors
计算机软件的新发展极大地促进了对大量文件的审查和分析以及对新增文件的定期监测。本文演示了如何使用随机向量来构建一个低维欧氏空间嵌入单词和文档，使它们之间的语义相似度的快速和准确的计算。通过这种语义技术辅助审查（STAR）技术，可以非常快速地选择、比较、分类、总结和评估文档，只需最少的专家参与和高质量的结果。
2017-11-29 cs.CL cs.IR
Reinforcing Semantic-Symmetry for Document Summarization
文档摘要是将一个长文档压缩成一个信息突出、语义描述准确的短文本。主要问题是如何使输出摘要与输入文档在语义上保持一致。为了实现这一目标，最近，研究人员集中在监督端到端的混合方法，其中包含提取器模块和抽象器模块。其中，提取器从输入文档中识别显著句子，并且摘要器从显著句子生成摘要。该模型通过各种策略（例如，强化学习）。在训练混合模型时，存在两个语义间隙（一个是文档和提取的句子之间，另一个是提取的句子和摘要之间）。然而，现有的方法并没有明确地考虑它们，这通常会导致摘要的语义偏差。为了解决上述问题，本文提出了一种新的文档摘要\textbf{e}增强模型-- \textbf{sy}度量学习模型（\textbf{ReSyM}）. ReSyM在提取器中引入了语义一致性奖励来弥合第一个差距。语义双重奖励的目的是弥合第二个差距的抽象。整个文档摘要过程通过具有混合奖励机制（结合上述两种奖励）的强化学习来实现。此外，一个全面的句子表示学习方法，提出了充分捕获的信息，从原始文件。在两个广泛使用的基准数据集CNN/Daily Mail和BigPatent上进行了一系列实验。结果显示了ReSyM的优越性，通过比较它与最先进的基线在各种评估指标。
2022-03-31 cs.CL
SCORE: A Semantic Evaluation Framework for Generative Document Parsing
Unstructured Technologies
SCORE提出一个解释无关的语义评估框架，通过编辑距离、令牌诊断、表格空间容差和层级一致性检查，纠正传统指标对生成式文档解析中有效多样性的误罚，实现公平且可解释的基准测试。
2025-09-16 cs.AI cs.CL
Enhanced Knowledge Selection for Grounded Dialogues via Document Semantic Graphs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
提供具有背景知识的对话模型已被证明可以使开放域对话更具信息性和吸引力。现有的模型将知识选择视为句子排序或分类问题，其中每个句子都单独处理，忽略了背景文档中句子之间的内部语义联系。在这项工作中，我们建议自动转换的背景知识文件到文档的语义图，然后进行知识选择这样的图。我们的文档语义图通过使用句子节点来保留句子级别的信息，并提供句子之间的概念连接。我们联合应用多任务学习的知识水平和概念水平的选择，并表明它提高了知识水平的选择。我们的实验表明，我们的基于语义图的知识选择提高了句子选择基线的知识选择任务和端到端的响应生成任务的HollE，并提高了泛化在魔兽世界中看不见的主题。
2022-06-30 cs.CL
Calculating Semantic Similarity between Academic Articles using Topic Event and Ontology
State Key Laboratory of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）
确定学术文档之间的语义相似度对于剽窃检测、自动技术调查和语义搜索等任务至关重要。目前的研究主要集中在概念、句子和短文本片段之间的语义相似度。然而，文档级语义匹配仍然基于表层的统计信息，忽略了文章结构和全局语义，这可能会导致文档理解的偏差。针对学术文献的文档级语义相似性问题，提出了一种新的方法。该方法以主题事件表示学术文章，利用研究目的、研究方法和研究领域等多个信息描述学术文章的研究工作，并基于领域本体计算主题事件之间的相似度，得到文章之间的语义相似度。实验表明，我们的方法实现了显着的性能相比，国家的最先进的方法。
2017-11-30 cs.AI cs.CL cs.IR
Semantic Segmentation of Legal Documents via Rhetorical Roles
Indian Institute of Technology Kanpur (IIT-K)（印度理工学院坎普尔分校）；West Bengal National University of Juridical Sciences (WBNUJS)（西孟加拉国立法律科学大学）；Indian Institute of Management Ranchi (IIM-R)（印度管理学院兰契分校）
法律文档是非结构化的，使用法律术语，并且具有相当长的长度，使得它们难以通过传统的文本处理技术来自动处理。如果文件能够被分割成连贯的信息单元，法律文件处理系统将大大受益。本文提出了一个新的法律文件语料库注释（法律专家的帮助下）与一组13个语义连贯的单位标签（称为修辞角色），例如，事实、论据、法规、问题、先例、裁决和比例。我们对语料库和注释进行了全面的分析。为了实现法律文本的自动切分，我们尝试了修辞角色预测的任务：给定一个文本，预测对应于不同角色的文本片段。使用创建的语料库，我们对任务的各种基于深度学习的基线模型进行了广泛的实验。此外，我们开发了一个基于多任务学习（MTL）的深度模型，其中文档修辞角色标签偏移作为分割法律文档的辅助任务。所提出的模型表现出优越的性能比现有的模型。我们还对域转移和模型蒸馏技术的情况下的模型性能进行了实验，以查看有限数据条件下的模型性能。
2022-11-07 cs.AI cs.CL cs.LG
Semantic Document Distance Measures and Unsupervised Document Revision Detection
Northwestern University（西北大学）；Intel Corporation（英特尔公司）
在本文中，我们将文档修订检测问题建模为依赖于计算文档距离的最小成本分支问题。此外，我们提出了两个新的文档距离的措施，基于词向量的动态时间弯曲（wDTW）和基于词向量的树编辑距离（wTED）。我们的修订检测系统是为大规模语料库设计的，并在Apache Spark中实现。我们证明，我们的系统可以更精确地检测修订比国家的最先进的方法，利用维基百科的修订转储https://snap.stanford.edu/data/wiki-meta.html和模拟数据集。
2017-11-22 cs.CL cs.IR
Towards Unsupervised Recognition of Token-level Semantic Differences in Related Documents
University of Zurich（苏黎世大学）
本文将识别两篇文档间语义差异（RSD）构建为 token 级回归任务，研究了三种基于掩码语言模型的无监督方法，发现基于词对齐和句子级对比学习的方法与金标准标签相关性稳健，但整体仍有较大改进空间。
2023-10-20 cs.CL
Toward General Semantic Chunking: A Discriminative Framework for Ultra-Long Documents
KingSoft Office Zhuiguang AI Lab（金山办公曙光人工智能实验室）
本文提出基于Qwen3-0.6B的判别分割模型，通过跨窗口上下文融合和重叠滑动窗口策略，实现超长文档的高效段落边界检测，并提升下游检索效率。
2025-12-23 cs.AI cs.CL cs.IR
Khmer Semantic Search Engine (KSE): Digital Information Access and Document Retrieval
Institute of Technology of Cambodia (ITC)（柬埔寨理工学院）
提出首个高棉语语义搜索引擎 KSE，结合关键词词典、本体和排序三种语义匹配框架及数据准备工具，提升高棉语文档与在线资源检索准确率。
2024-06-16 cs.CL cs.IR
Semantic Needles in Document Haystacks: Sensitivity Testing of LLM-as-a-Judge Similarity Scoring
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Washington University in St. Louis（华盛顿大学圣路易斯分校）；Humana Inc.（Humana公司）
本文提出一个可扩展的多因素实验框架，系统探讨LLM对文档配对中细微语义变化的敏感性。通过针在 haystack 中的类比，测试不同扰动类型、上下文类型、针位置和文档长度对五种LLM相似性评分的影响，揭示LLM在文档内位置偏倚、上下文相关性对评分的影响及模型间的评分分布差异。
2026-10-27 cs.AI cs.CL cs.LG
KeyVec: Key-semantics Preserving Document Representations
Microsoft Research（微软研究院）
先前的研究已经证明了词嵌入在各种应用中的经验成功。在本文中，我们研究的问题，学习分布式表示的文本文件，许多机器学习算法作为输入的一些NLP任务。我们提出了一个神经网络模型，KeyVec，学习文档表示的目标是保持输入文本的关键语义。它使学习到的低维向量能够保留来自文档的主题和重要信息，这些主题和信息将流向下游任务。我们的实证评估表明，在两个不同的文档理解任务的KeyVec表示的优良品质。
2017-09-27 cs.CL cs.LG cs.NE
Semantic WordRank: Generating Finer Single-Document Summarizations
University of Massachusetts, Lowell（马萨诸塞大学洛厄尔分校）
我们提出了语义WordRank（SWR），一个无监督的方法，用于生成一个单一的文档的提取摘要。建立在具有语义和共现边缘的加权词图上，SWR使用具有Softplus函数调整的文章结构偏向PageRank算法对句子进行评分，并使用Word-Movers-Distance度量下的谱子主题聚类来促进主题多样性。我们在DUC-02和SummBank数据集上评估了SWR，并表明在常见的ROUGE措施下，SWR比DUC-02上的最先进算法产生更好的摘要。然后，我们表明，在SummBank的相同措施下，SWR优于三个人类注释器（又名。法官），并与所有法官的综合表现相媲美。
2018-09-12 cs.CL
SemTrace: Source-Grounded Semantic Signatures for Tracing LLM Exposure to Protected Documents
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Bosum Institute of Management Science（博硕管理科学研究院）
针对大语言模型文档暴露溯源问题，提出基于源的语义水印SemTrace，通过构建文档特定二进制签名实现模型不可知的受保护副本暴露检测。
2026-09-01 cs.CL
Understanding and representing the semantics of large structured documents
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
理解大型结构化文档（例如学术文章、提案请求或业务报告）是一项复杂且困难的任务。它涉及发现文档的总体目的和主题，理解其部分和子部分的功能和意义，并提取有关它们的低级别实体和事实。在这项研究中，我们提出了一个基于深度学习的文档本体，从大量的学术文章和商业文档中捕获通用语义结构和特定领域的语义概念。本体能够描述文档的不同功能部分，可以用于增强语义索引，以便人类和机器更好地理解。我们通过对arXiv和征求建议书文件中的学术文章数据集进行广泛的实验来评估我们的模型。
2018-07-24 cs.CL cs.IR cs.LG
Semantic Matching of Documents from Heterogeneous Collections: A Simple and Transparent Method for Practical Applications
Heidelberg Institute for Theoretical Studies gGmbH（海德堡理论研究所）
我们提出了一个非常简单的，无监督的方法，成对匹配的文件从异构集合。我们展示了我们的方法与概念项目匹配任务，这是一个二进制分类任务，涉及对来自异构集合的文档。虽然我们的方法只使用标准资源，没有任何特定于领域或任务的修改，但它明显优于原作者的更复杂的系统。此外，我们的方法是透明的，因为它提供了有关如何计算相似性得分的明确信息，并且是高效的，因为它是基于（可预先计算的）单词级相似性的聚合。
2019-04-29 cs.CL
ClueWeb22: 10 Billion Web Documents with Visual and Semantic Information
Microsoft（微软）；Carnegie Mellon University（卡内基梅隆大学）
作为最新版本的数据集，CNET Web 22提供了100亿个包含丰富信息的网页。它的设计受到了对高质量，大规模网络语料库的需求的影响，以支持一系列学术和工业研究，例如，在信息系统，检索增强AI系统和模型预训练中。与早期的语料库相比，CCRYSTWeb 22语料库更大，更多样，质量更高，并且符合商业网络搜索的文档分布。除了原始HTML之外，Cocktail Web 22还包含有关行业标准文档理解系统提供的网页的丰富信息，包括Web浏览器呈现的页面的视觉表示，来自神经网络解析器的解析HTML结构信息，以及预处理的清洁文档文本，以降低进入门槛。这些信号中有许多已在工业中广泛使用，但在这种规模下首次提供给研究界。
2022-12-02 cs.AI cs.CL cs.IR
S2Doc -- Spatial-Semantic Document Format
University of Würzburg Center for Artificial Intelligence（乌尔姆大学人工智能与数据科学中心）
针对文档与表格建模缺乏标准且难以兼顾空间与语义结构的问题，提出了S2Doc这一灵活数据结构，首次在单一格式中结合空间与语义信息，支持多页文档并易于扩展。
2025-11-02 cs.CL cs.DL
Understanding Archives: Towards New Research Interfaces Relying on the Semantic Annotation of Documents
Université de Franche-Comté（弗朗什-孔泰大学）；Institut Universitaire de France（法兰西大学研究院）
本文针对档案文献数量庞大导致难以探索利用的问题，提出基于文本语义标注构建新型研究界面的方法学框架，并分析技术障碍及实际应用案例。
2024-03-28 cs.CL cs.DL
Web Document Categorization Using Naive Bayes Classifier and Latent Semantic Analysis
Iran University of Science and Technology（伊朗科学技术大学）；Umeå University（于默奥大学）
由于大量使用万维网的Web文档的快速增长，需要有效的技术来有效地分类在Web上的文档。因此，它产生了每秒高容量的数据，具有高多样性。自动分类这些不断增长的Web文档量是我们今天面临的最大挑战之一。概率分类算法，如朴素贝叶斯已成为常用的Web文档分类。这主要是因为在很多应用领域中分类精度不高，以及对文本数据表示所独有的高维稀疏数据缺乏支持。传统的特征选择方法在处理大数据、大规模Web文档时，往往缺乏对词与词之间语义关系的关注和支持。为了解决这个问题，我们提出了一种Web文档分类方法，使用LSA来增加同类文档的相似性，提高分类精度。使用这种方法，我们设计了一个更快，更准确的分类器的Web文档。实验结果表明，采用上述预处理方法可以有效地提高朴素贝叶斯分类器的准确率和速度，准确率和召回率指标都得到了提高。
2020-06-02 cs.CL
Cascaded Semantic and Positional Self-Attention Network for Document Classification
College of Internet of Things Engineering, Hohai University（河海大学物联网工程学院）；Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学类脑智能科学与技术研究院）；Department of Computer & Information Sciences, Temple University（天普大学计算机与信息科学系）
Transformers在学习语言建模的表示方面取得了巨大的成功。然而，一个开放的挑战仍然是如何系统地聚合语义信息（词嵌入）与位置（或时间）信息（词序）。在这项工作中，我们提出了一个新的架构来聚合的两个来源的信息，使用级联的语义和位置的自我注意力网络（CSPAN）的文件分类的背景下。CSPAN使用与Bi-LSTM级联的语义自注意层，以顺序的方式处理语义和位置信息，然后通过残差连接将它们自适应地组合在一起。与常用的位置编码方案相比，CSPAN能够更好地利用语义和词位置之间的相互作用，具有更强的可解释性和自适应性，在保持模型规模和收敛速度的同时，分类性能得到显著提高。我们评估了CSPAN模型的几个基准数据集的文件分类仔细消融研究，并证明了令人鼓舞的结果与最先进的。
2020-09-19 cs.CL
LLM Based Multi-Agent Generation of Semi-structured Documents from Semantic Templates in the Public Administration Domain
Sapienza University of Rome（罗马第一大学）
本文提出将LLM、提示工程与多智能体系统结合，用语义检索生成的任务描述替代人工提示，从语义模板自动生成符合结构的公共行政半结构化文档，并通过实验验证其有效性。
2024-02-21 cs.AI cs.CL cs.HC
SenTag: a Web-based Tool for Semantic Annotation of Textual Documents
European University Institute（欧洲大学学院）；University of Padova（帕多瓦大学）
在这项工作中，我们提出了SenTag，一个轻量级的基于Web的工具，专注于文本文档的语义注释。该平台允许多个用户处理文档语料库。该工具能够通过采用可扩展置标语言（XML）作为输出格式的直观和易于使用的用户界面来标记文档语料库。该应用程序的主要目标是双重的：促进标记过程，减少或避免输出文档中的错误。此外，它允许识别用于构建参数图的参数和其他实体。也可以评估在文本语料库上工作的注释者的一致性水平。
2021-09-16 cs.CL cs.DL
An Efficient Approach to Learning Chinese Judgment Document Similarity Based on Knowledge Summarization
North China Electric Power University（华北电力大学）；Renmin University of China（中国人民大学）
普通法体系中以前的类似案例可用作本案的参考，以便在每一个案例中对相同的情况作类似的处理。然而，现有的判决文本相似度计算方法未能捕捉到判决文本的核心语义，存在准确度低、计算复杂度高的问题。提出了一种基于知识块摘要的机器学习方法来计算中文判决书的语义相似度。利用裁判文书的领域本体，基于知识块对中文裁判文书的核心语义进行归纳。然后利用WMD算法计算知识块之间的相似度。最后通过实验验证了该方法的有效性，与传统方法相比，该方法具有更高的精度和更快的计算速度。
2018-08-06 cs.AI cs.CL cs.IR
