An Automatic Text Classification Method Based on Hierarchical Taxonomies, Neural Networks and Document Embedding: The NETHIC Tool
Eustema S.p.A.（Eustema公司）；Allianz SE（Allianz公司）；Innovation Engineering S.r.l.（创新工程公司）；Department of Sciences, Roma Tre University（罗马三大学科部）
NETHIC工具结合层次分类法、神经网络和文档嵌入，实现高效且有效的文本分类方法。
2026-03-12 cs.AI cs.CL
Weakly-Supervised Hierarchical Text Classification
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
层次文本分类是将文本分类到给定的层次结构中的一个重要任务。最近，深度神经模型由于其表达能力和对特征工程的最低要求而越来越受欢迎。然而，将深度神经网络应用于分层文本分类仍然具有挑战性，因为它们严重依赖于大量的训练数据，同时不能容易地确定分层设置中文档的适当级别。本文提出了一种弱监督的神经网络层次文本分类方法。我们的方法不需要大量的训练数据，但只需要容易提供弱的监督信号，如一些类相关的文件或关键字。我们的方法有效地利用这种微弱的监督信号来生成用于模型预训练的伪文档，然后对真实的未标记数据进行自训练，以迭代地改进模型。在训练过程中，我们的模型具有分层神经结构，它模仿给定的层次结构，并能够通过阻塞机制确定文档的适当级别。在三个不同领域的数据集上进行的实验表明，与一组全面的基线相比，我们的方法是有效的。
2018-12-29 cs.AI cs.CL cs.LG
HDLTex: Hierarchical Deep Learning for Text Classification
Department of Computer Science, University of Virginia（弗吉尼亚大学计算机科学系）；Department of System and Information Engineering, University of Virginia（弗吉尼亚大学系统与信息工程系）；Data Science Institute, University of Virginia（弗吉尼亚大学数据科学研究所）
每年产生的文件数量不断增加，这就需要不断改进搜索、检索和组织文本的信息处理方法。这些信息处理方法的核心是文档分类，它已经成为监督学习的一个重要应用。最近，这些传统的分类器的性能已经退化的文件数量的增加。这是因为随着文件数量的增长，类别的数量也在增加。本文探讨这个问题不同于目前的文档分类方法，认为这个问题作为多类分类。相反，我们使用一种我们称之为分层深度学习文本分类（HDLTex）的方法来执行分层分类。HDLTex采用深度学习架构堆栈，在文档层次结构的每个级别提供专业的理解。
2017-10-06 cs.AI cs.CL cs.CV
Hierarchical Document Encoder for Parallel Corpus Mining
Google AI（谷歌人工智能）
我们探索使用多语言文档嵌入并行数据的最近邻挖掘。三个文档级表示进行了研究：（i）简单地平均多语言句子嵌入生成的文档嵌入;（ii）神经袋的话（BoW）文档编码模型;（iii）层次多语言文档编码器（HiDE），建立在我们的文档级模型。结果表明，来自文档级平均的文档嵌入对于干净的数据集是非常有效的，但表明在文档级分层训练的模型对噪声数据更有效。分析实验表明，我们的分层模型是非常强大的变化，在潜在的句子嵌入质量。使用经过HiDE训练的文档嵌入在联合国（UN）并行文档挖掘上实现了最先进的性能，en-fr为94.9% P@1，en-es为97.3% P@1。
2019-06-30 cs.CL
Language Model Pre-training for Hierarchical Document Representations
Google AI Language（谷歌人工智能语言（Google AI Language））
分层神经架构通常用于捕获长距离依赖关系，并已应用于许多文档级任务，如摘要，文档分割和情感分析。然而，有效使用这样一个大的上下文可能很难学习，特别是在有限的标记数据可用的情况下。最近成功的语言模型预训练方法学习平面表示的文本的基础上，我们提出了算法预训练的分层文档表示从未标记的数据。与以前的工作，这集中在预训练上下文令牌表示或上下文无关的{句子/段落}表示，我们的分层文档表示包括固定长度的句子/段落表示，它集成了整个文档的上下文信息。在文档分割、文档级问答和抽取式文档摘要上的实验证明了所提出的预训练算法的有效性。
2019-01-26 cs.CL
Keyword Extraction in Scientific Documents
ETH Zurich（苏黎世联邦理工学院）；SUPSI（瑞士南部应用科学与艺术大学）；HE-Arc（阿尔高等工程学院）；Dalle Molle Institute for Artificial Intelligence USI-SUPSI（USI-SUPSI达尔·莫勒人工智能研究所）
科学出版物的产量呈指数级增长。因此，跟踪趋势和变化越来越具有挑战性。理解科学文献是知识图谱构建、文本挖掘和学科分类等下游任务的重要步骤。在这个研讨会中，我们提供了一个更好的理解关键字和关键短语提取从摘要的科学出版物。
2022-07-07 cs.CL
Hi-Transformer: Hierarchical Interactive Transformer for Efficient and Effective Long Document Modeling
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
Transformer对于文本建模非常重要。然而，由于输入文本长度的二次复杂性，它在处理长文档时有困难。为了处理这个问题，我们提出了一个层次化的交互式Transformer（Hi-Transformer），以实现高效和有效的长文档建模。Hi-Transformer以分层的方式对文档进行建模，即，首先学习句子表示，然后学习文档表示。它可以有效地降低复杂度，同时捕获全局文档上下文的建模中的每一个句子。更具体地说，我们首先使用句子Transformer来学习每个句子的表示。然后，我们使用一个文档Transformer来从这些句子表示中建模全局文档上下文。接下来，我们使用另一个句子Transformer来使用全局文档上下文增强句子建模。最后，我们使用层次池方法来获得文档嵌入。在三个基准数据集上的大量实验验证了Hi-Transformer在长文档建模中的效率和有效性。
2021-12-09 cs.CL
SciBERTSUM: Extractive Summarization for Scientific Documents
Pennsylvania State University（宾夕法尼亚州立大学）
摘要类文献主要研究新闻文章的摘要。CNN-DailyMail中的新闻文章是相对较短的文档，平均每个文档约30个句子。我们介绍了SciBERTSUM，这是我们的摘要框架，专为超过500句的科学论文等长文档的摘要而设计。SciBERTSUM通过以下方式将BERTSUM扩展到长文档：1）添加一个节嵌入层，以将节信息包含在句子向量中; 2）应用稀疏注意力机制，其中每个句子将本地关注附近的句子，并且只有少数句子全局关注所有其他句子。我们使用科学论文作者生成的幻灯片作为参考摘要，因为它们包含论文的技术细节。结果表明，我们的模型在ROUGE分数方面的优越性。
2022-01-21 cs.CL
Leveraging Information Bottleneck for Scientific Document Summarization
Monash University（莫纳什大学）；Deakin University（迪肯大学）；Zhongtukexin Co. Ltd.（中土科信有限公司）
基于信息瓶颈原理，提出了一种无监督的科技长文档抽取方法。以前的工作，使用信息瓶颈原则的句子压缩的启发，我们将其扩展到文档级的摘要与两个单独的步骤。在第一步中，我们使用信号作为查询，从源文档中检索关键内容。然后，预先训练的语言模型进行进一步的句子搜索和编辑，以返回最终提取的摘要。重要的是，我们的工作可以通过不同的信号灵活地扩展到多视图框架。对三个科学文献数据集的自动评估验证了该框架的有效性。进一步的人工评估表明，提取的摘要比以前的系统覆盖更多的内容方面。
2021-10-04 cs.CL
Discourse-Aware Unsupervised Summarization of Long Scientific Documents
MILA（MILA研究所）；McGill University（麦吉尔大学）
我们提出了一种无监督的基于图的排序模型，用于长科学文献的提取摘要。我们的方法假设一个两级的层次图表示的源文件，并利用不对称的位置线索，以确定句子的重要性。在PubMed和arXiv数据集上的结果表明，我们的方法在自动度量和人工评估方面远远优于强大的无监督基线。此外，它实现了与许多最先进的监督方法相当的性能，这些方法是在数十万个示例上训练的。这些结果表明，语篇结构中的模式是决定科技文章重要性的一个强有力的信号。
2021-01-13 cs.CL
Contrastive Hierarchical Discourse Graph for Scientific Document Summarization
University of California, Davis（加州大学戴维斯分校）
本文提出 CHANGES，通过层级语篇图、图信息聚合与图对比学习获得主题感知句子表示，用于抽取式科学论文摘要，并在 PubMed 和 arXiv 上验证有效。
2023-05-31 cs.CL
A Summarization System for Scientific Documents
IBM Research（IBM研究）；IBM Cloud（IBM云）
我们提出了一个新的系统提供摘要的计算机科学出版物。通过定性的用户研究，我们确定了发现，探索和理解科学文献的最有价值的场景。基于这些发现，我们建立了一个系统，可以检索和总结给定信息需求的科学文档，无论是以自由文本查询的形式，还是通过选择分类值，如科学任务，数据集等。我们的系统摄取了270，000篇论文，其摘要模块旨在生成简洁而详细的摘要。我们用人类专家验证了我们的方法。
2019-08-29 cs.CL
Coherence-Based Distributed Document Representation Learning for Scientific Documents
Key Laboratory of Intelligent Computing and Signal Processing, Ministry of Education（教育部智能计算与信号处理重点实验室）；School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）；Information Materials and Intelligent Sensing Laboratory of Anhui Province（安徽省信息材料与智能感知实验室）
分布式文档表示是自然语言处理的基本问题之一。目前的分布式文档表示方法主要考虑单词或句子的上下文信息。这些方法没有考虑到文件作为一个整体的连贯性，例如，论文标题与摘要、标题与说明或文档中相邻正文之间的关系。连贯性表明文档在逻辑和句法上是否有意义，特别是在科学文档（论文或专利等）中。在本文中，我们提出了一个耦合文本对嵌入（CTPE）模型来学习科学文档的表示，它保持了文档的连贯性与耦合文本对形成的分割文件。首先，我们将文档分为两部分（例如，标题和摘要等），它们构成耦合的文本对。然后，采用负抽样方法构造两部分来自不同文档的非耦合文本对。最后，我们训练模型来判断文本对是否耦合，并将得到的耦合文本对嵌入作为文档的嵌入。我们在三个数据集上进行了一个信息检索任务和两个推荐任务的实验。实验结果验证了CTPE模型的有效性。
2022-01-08 cs.CL
Explaining Relationships Between Scientific Documents
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们解决的任务是使用自然语言文本解释两个科学文献之间的关系。这项任务需要对长技术文档的复杂内容进行建模，推导出这些文档之间的关系，并在文本中表达这种关系的细节。除了这个任务的理论兴趣，成功的解决方案可以帮助提高研究人员在搜索和审查的效率。在本文中，我们从154K文档中建立了622K示例的数据集。我们预训练了一个大语言模型，作为自回归方法的基础。我们探讨了采取不同的观点对这两个文件的影响，包括使用科学IE系统提取的密集表示。我们提供了广泛的自动和人工评估，显示了这些模型的前景，但为未来的工作提出了明确的挑战。
2021-08-12 cs.CL
Hierarchical RNN for Information Extraction from Lawsuit Documents
Jurtech（律典科技）；Maurer School of Law, Indiana University Bloomington（印第安纳大学伯明顿分校莫勒法学院）
每一份诉讼文书都包含着当事人的诉讼请求、法院的分析、判决等信息，这些信息有助于更好地理解案件，并预测法官将来对类似案件的判决。然而，从文件中提取这些信息是困难的，因为语言太复杂，句子长度各不相同。我们把这个问题作为一个序列标记的任务，本文提出了在中国的第一个研究，以提取相关信息的民事诉讼文件的层次RNN框架。
2018-04-25 cs.CL
Automatic Inter-document Multi-hop Scientific QA Generation
本文提出AIM-SciQA框架，通过大语言模型生成多文档多跳科学问答数据集，结合语义对齐和引用信息提升事实一致性，构建IM-SciQA数据集并验证其在检索增强推理中的有效性。
2026-03-15 cs.CL
Multilingual Hierarchical Attention Networks for Document Classification
Idiap Research Institute（伊迪亚普研究所）；HEIG-VD / HES-SO（沃州工程与管理高等学院 / 瑞士西部应用科学与艺术大学）
分层注意力网络最近在给定语言的文档分类中取得了显着的性能。然而，当考虑多语言文档集合时，为每种语言单独训练这样的模型需要线性参数增长和缺乏跨语言迁移。因此，学习具有较少参数的单一多语言模型是一个具有挑战性但可能有益的目标。为此，我们提出了多语言层次注意力网络学习文档结构，共享编码器和/或共享注意力机制跨语言，使用多任务学习和对齐的语义空间作为输入。我们评估了建议的模型与不相交的标签集的多语言文档分类，在一个大型数据集，我们提供的，在8种语言的600 k新闻文档，和5 k标签。多语言模型在低资源和全资源环境中的表现优于单语言模型，并且使用更少的参数，从而证实了它们的计算效率和跨语言迁移的实用性。
2017-09-15 cs.CL
LDKP: A Dataset for Identifying Keyphrases from Long Scientific Documents
Moody’s Analytics（穆迪分析）；IIIT-Delhi（德里英迪拉·甘地信息技术学院）；IIT-Dhanbad（印度理工学院丹巴德分校）；NYU（纽约大学）；Adobe Media Data Science Research（奥多比媒体数据科学研究院）；UT Austin（德克萨斯大学奥斯汀分校）
从文本中识别关键词是自然语言处理和信息检索中的一项基本任务。绝大多数用于此任务的基准数据集来自仅包含文档标题和摘要信息的科学领域。这限制了关键短语提取（KPE）和关键短语生成（KPG）算法从通常非常短（大约8句）的人类书面摘要中识别关键短语。这对现实世界的应用程序提出了三个挑战：大多数文档都无法使用人类编写的摘要，文档几乎总是很长，并且很高比例的KP可以在标题和摘要的有限上下文之外直接找到。因此，我们发布了两个广泛的语料库，映射了约130万和约10万科学文章的KP，以及它们的完整提取文本和额外的元数据，包括出版地点、年份、作者、研究领域和引文，以促进对这个现实世界问题的研究。
2022-04-01 cs.CL
SKT5SciSumm -- Revisiting Extractive-Generative Approach for Multi-Document Scientific Summarization
University of Information Technology（信息科技大学）；VNU - HCM（胡志明市国家大学）；Deakin University（迪肯大学）；National Institute of Informatics（情报学研究所）；University of Göttingen（哥廷根大学）；University of Würzburg（维尔茨堡大学）
本文提出SKT5SciSumm混合框架，利用SPECTER编码和k-means聚类进行抽取式摘要，并结合T5模型生成抽象式摘要，在Multi-XScience数据集上达到最先进性能。
2024-09-27 cs.CL
Document-Level Neural Machine Translation with Hierarchical Attention Networks
Idiap Research Institute（Idiap研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））
神经机器翻译（NMT）可以通过包含文档级上下文信息来改进。为此，我们提出了一个层次化的注意力模型，以结构化和动态的方式捕捉上下文。该模型集成在原始NMT架构中作为另一个抽象级别，以NMT模型自己以前的隐藏状态为条件。实验表明，分层注意力显着提高了BLEU分数超过一个强大的NMT基线与最先进的上下文感知方法，编码器和解码器都受益于上下文的互补方式。
2018-10-01 cs.CL
Dimsum @LaySumm 20: BART-based Approach for Scientific Document Summarization
Center for Artificial Intelligence Research (CAiRE)The Hong Kong University of Science and Technology（香港科技大学人工智能研究中心（CAiRE））；EMOS Technologies Inc.（EMOS科技公司）
摘要的目的是自动生成科技论文的摘要。这是一项重要的任务，可以增加科学对全社会的相关性。在本文中，我们建立了一个基于BART模型的层摘要生成系统。我们利用句子标签作为额外的监督信号，以提高分层摘要的性能。在CL-LaySumm 2020共享任务中，我们的模型获得了46.00\% Rouge 1-F1得分。
2020-10-19 cs.CL
HIBRIDS: Attention with Hierarchical Biases for Structure-aware Long Document Summarization
University of Michigan（密歇根大学）
文档结构对于有效的信息消费至关重要。然而，将其有效地编码到现代Transformer架构中是具有挑战性的。在这项工作中，我们提出了HIBRIDS，它注入了层次偏见的文件结构的注意力分数的计算。我们进一步提出了一个新的任务，分层问题摘要生成，用于将源文档中的突出内容总结为问题和摘要的层次结构，其中每个后续问题询问其父问题摘要对的内容。我们还对一个新的数据集进行了注释，该数据集包含6，153个问题摘要层次结构，这些层次结构标记在长的政府报告上。实验结果表明，我们的模型产生更好的问题摘要层次结构比层次结构质量和内容覆盖率的比较，这一发现也呼应了人类法官。此外，我们的模型提高了从冗长的政府报告和维基百科文章中生成长格式摘要的能力，这是由ROUGE分数来衡量的。
2022-03-21 cs.CL
An Exploration of Hierarchical Attention Transformers for Efficient Long Document Classification
University of Copenhagen（哥本哈根大学）；CSIRO Data61（澳大利亚联邦科学与工业研究组织Data61）；Athens University of Economics and Business（雅典经济与商业大学）；Pioneer Centre for AI（人工智能先锋中心）
基于非层次稀疏注意力转换器的模型，如Longformer和Big Bird，是处理长文档的流行方法。与原始的Transformer相比，这些方法在效率方面有明显的好处，但分层注意力Transformer（HAT）模型是一个研究不足的替代方案。我们开发并发布了完全预训练的HAT模型，这些模型使用分段编码器，然后使用跨段编码器，并将它们与Longformer模型和部分预训练的HAT进行比较。在几个长文档下游分类任务中，我们最好的HAT模型优于同等大小的Longformer模型，同时使用的GPU内存减少10-20%，处理文档的速度提高40-45%。在一系列消融研究中，我们发现HAT在整个模型中的跨段情境化表现最好，而不是实施早期或晚期跨段情境化的替代配置。我们的代码在GitHub上：https://github.com/coastalcph/hierarchical-transformers。
2022-10-11 cs.CL
A Hierarchical Entity Graph Convolutional Network for Relation Extraction across Documents
National University of Singapore（新加坡国立大学）；Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
用于关系抽取的远程监督数据集主要集中在事务级抽取，并且它们覆盖的关系很少。在这项工作中，我们提出了跨文档的关系抽取，其中的两个实体的关系元组出现在两个不同的文件，通过一个共同的实体链连接。按照这个想法，我们创建了一个两跳关系抽取的数据集，其中每个链只包含两个文档。我们提出的数据集涵盖了更多的关系比公开可用的数据集级别。我们还为此任务提出了一个分层实体图卷积网络（HEGCN）模型，与一些强大的神经基线相比，该模型在我们的两跳关系抽取数据集上将性能提高了1.1\% F1分数。
2021-08-21 cs.CL
A Sentence-level Hierarchical BERT Model for Document Classification with Limited Labelled Data
University College Dublin（都柏林大学）；Teagasc Agriculture and Food Development Authority（爱尔兰农业与食品发展局）；ADAPT Research Centre（ADAPT研究中心）
使用有限的标记数据训练深度学习模型对于许多NLP任务（包括文档分类）来说是一个有吸引力的场景。虽然随着最近BERT的出现，深度学习语言模型可以在文档分类中实现相当好的性能，但在长文档分类中应用BERT类模型的实用性缺乏证据。这项工作介绍了一个长文本特定的模型-层次BERT模型（HBM）-学习文本的文本级特征，并在有限的标记数据的情况下工作得很好。各种评估实验表明，HBM可以实现更高的性能，在文档分类比以前的国家的最先进的方法，只有50至200个标记的实例，特别是当文档很长。此外，作为HBM的一个额外好处，由学习过的HBM识别的突出句子对于根据用户研究标记文档的解释非常有用。
2021-06-12 cs.CL
LTG-Oslo Hierarchical Multi-task Network: The importance of negation for document-level sentiment in Spanish
University of Oslo（奥斯陆大学）
本文详细介绍了LTG-Oslo团队参与NEGES 2019评估活动的情绪跟踪。我们使用分层多任务网络参与任务，该网络使用深度BiLSTM中的共享较低层来预测否定，而较高层则致力于预测文档级情感。多任务组件显示出将否定信息纳入深度神经情感分类器的希望，尽管测试集上的绝对结果对于二进制分类任务来说相对较低。
2019-06-18 cs.CL
Hierarchical Neural Networks for Sequential Sentence Classification in Medical Scientific Abstracts
MIT（麻省理工学院）
基于人工神经网络（ANN）的句子分类模型通常孤立地对句子进行分类，而不考虑句子出现的上下文。这阻碍了传统的句子分类方法的顺序句子分类的问题，需要结构化的预测更好的整体分类性能。在这项工作中，我们提出了一个层次顺序标记网络，利用周围的句子中的上下文信息，以帮助分类当前的句子。我们的模型在两个基准数据集上的表现优于最先进的结果2%-3%，用于医学科学摘要中的顺序句子分类。
2018-08-19 cs.CL
Bringing Structure into Summaries: a Faceted Summarization Dataset for Long Scientific Documents
University of Pittsburgh（匹兹堡大学）；McGill University（麦吉尔大学）；Microsoft Research（微软研究院）
分面摘要从不同的角度提供文档的简要说明。读者可以在结构化大纲的帮助下快速理解长文档的要点。然而，很少有研究已经在这个问题上进行，部分原因是缺乏大规模的分面摘要数据集。在这项研究中，我们提出FacetSum，一个基于Emerald期刊文章的多方面摘要基准，涵盖了各种领域。与传统的文档摘要对不同，FacetSum提供多个摘要，每个摘要针对长文档的特定部分，包括目的，方法，发现和价值。对我们数据集的分析和实证结果揭示了将结构纳入摘要的重要性。我们相信FacetSum将推动摘要研究的进一步发展，并促进NLP系统的发展，这些系统可以利用长文本和摘要中的结构化信息。
2021-06-23 cs.CL
Efficient Few-shot Learning for Multi-label Classification of Scientific Documents with Many Classes
Technical University of Munich（慕尼黑工业大学）
本文提出 FusionSent 方法，通过对比微调两个句嵌入模型并融合参数，在无需提示的情况下高效实现多类别科学文档少样本分类，并引入包含 203,961 篇文章和 130 个类别的 arXiv 多标签分类数据集。
2024-10-21 cs.CL
Self-Supervised Document Similarity Ranking via Contextualized Language Models and Hierarchical Inference
Tel-Aviv University（特拉维夫大学）；Ariel University（阿里埃勒大学）；Bar-Ilan University（巴伊兰大学）；Microsoft（微软）
我们提出了一种新的模型，根据其语义相似性的源（查询）文档的文档集合的排名问题。虽然已经研究了文档到文档相似性排名的问题，但大多数现代方法仅限于相对较短的文档或依赖于“地面实况”相似性标签的存在。然而，在大多数常见的现实情况下，相似性排名是一个无监督的问题，因为相似性标签不可用。此外，一个理想的模型不应该受到文档长度的限制。因此，我们引入SDR，这是一种用于文档相似性的自监督方法，可以应用于任意长度的文档。重要的是，SDR可以有效地应用于非常长的文档，超过了Longformer的4，096个最大令牌限制。对大型文档数据集的广泛评估表明，SDR在所有指标上都显着优于其替代品。为了加速未来对无标签长文档相似性排名的研究，并作为对社区的额外贡献，我们在此发布了两个人工注释的长文档相似性评估测试集。SDR代码和数据集是公开的。
2021-06-02 cs.CL
HIN: Hierarchical Inference Network for Document-Level Relation Extraction
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
文档级RE需要阅读，推断和聚合多个句子。从我们的观点来看，文档级RE需要利用多粒度的推理信息：实体级，句子级和文档级。因此，如何获取和聚合不同粒度的推理信息是具有挑战性的文档级RE，这是以前的工作没有考虑。本文提出了一种层次推理网络（HIN），充分利用了实体级、句子级和文档级的丰富信息。在多个子空间中对目标实体对进行平移约束和双线性变换，得到实体级推理信息。其次，我们对实体级信息和句子表示之间的推理进行建模，得到句子级的推理信息。最后，采用层次聚合方法获得文档级推理信息。通过这种方式，我们的模型可以有效地聚合这三个不同粒度的推理信息。实验结果表明，我们的方法在大规模DocRED数据集上实现了最先进的性能。我们还证明，使用BERT表示可以进一步大幅提高性能。
2020-03-28 cs.CL
Discovering Patterns of Definitions and Methods from Scientific Documents
The Key Laboratory of Intelligent Information Processing, ICT, CAS（中国科学院计算技术研究所智能信息处理重点实验室）；The Great Bay University（大湾区大学）
本文针对科学文档中定义与方法分散且语言复杂的问题，提出一种结合语义关系及句法词汇约束的模式发现方法，实验证明所发现模式可有效提取完整定义和方法。
2023-07-01 cs.CL
A Question Answering Framework for Decontextualizing User-facing Snippets from Scientific Documents
Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）；Yale University（耶鲁大学）
本文针对科学文档片段脱离原文后难以理解的问题，提出一种由问题生成、问题回答和重写三阶段组成的去语境化框架，并开发了优于端到端提示的 QaDecontext 策略。
2023-12-01 cs.CL
Inferring Scientific Cross-Document Coreference and Hierarchy with Definition-Augmented Relational Reasoning
The Hebrew University of Jerusalem（希伯来大学）
本文提出基于定义增强的relational推理方法，用于科学文本中的跨文档指代和层次推断，通过生成上下文依赖的概念定义和关系定义，提升模型对复杂科学概念的推理能力。
2026-02-02 cs.CL
Are Layout-Infused Language Models Robust to Layout Distribution Shifts? A Case Study with Scientific Documents
University of California Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）；Allen Institute for AI（艾伦人工智能研究所）；Hebrew University of Jerusalem（希伯来大学）；Northwestern University（西北大学）
本文以科学文档结构恢复为案例，通过重新划分GROTOAP2评估融入布局的语言模型，发现布局分布偏移可导致最高20个F1下降，增加训练多样性可缓解但无法消除性能损失。
2023-06-01 cs.CL
HiCuLR: Hierarchical Curriculum Learning for Rhetorical Role Labeling of Legal Documents
Technical University of Munich（慕尼黑工业大学）；Télécom Paris（巴黎电信学院）；South China University of Technology（华南理工大学）
本文提出分层课程学习框架HiCuLR，通过文档级课程和修辞角色级课程由易到难地训练模型，在法律文档修辞角色标注任务上取得有效提升。
2024-09-27 cs.CL
Acronym Identification and Disambiguation Shared Tasks for Scientific Document Understanding
University of Oregon（俄勒冈大学）；Adobe Research（奥多比研究院）；Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
缩略语是较长短语的缩写形式，经常用于写作，特别是学术写作，以节省空间并促进信息交流。因此，每个文本理解工具都应该能够识别文本中的首字母缩略词（即，首字母缩略词识别）并且还找到它们的正确含义（即，首字母缩略词消歧）。由于这些任务的大多数先前工作仅限于生物医学领域，并且使用在有限数据集上训练的无监督方法或模型，因此它们无法很好地执行科学文档理解。为了推动这一方向的研究，我们组织了两个共享的任务，分别命名为AI@SDU和AD@SDU的首字母缩略词识别和首字母缩略词消歧的科学文献。这两项共同任务分别吸引了52名和43名参与者。虽然提交的系统与现有的基线相比有了很大的改进，但仍然远远没有达到人类水平的性能。本文回顾了这两个共享任务以及它们各自的主要参与系统。
2021-01-06 cs.CL
HPD-Parsing: Hierarchical Parallel Document Parsing
研究基于统一视觉语言模型的文档解析器顺序瓶颈问题，提出HPD解析，采用分层并行解码范式，含主要布局分支和P-MTP，实验显示其吞吐量高且精度有竞争力，为高效统一文档解析开辟新方向。
2026-07-22 cs.CL
Hierarchical Attention Graph for Scientific Document Summarization in Global and Local Level
School of Electronic Engineering, Beijing University of Posts and Telecommunications（北京邮电大学电子工程学院）；Beijing Key Laboratory of Work Safety Intelligent Monitoring, Beijing University of Posts and Telecommunications（北京邮电大学安全生产智能监控北京市重点实验室）
针对长科学文档摘要中难以同步建模全局句间与局部句内关系的问题，提出基于层级语篇结构的HAESum方法，结合局部异构图与超图自注意力层建模两类关系，在两个基准数据集上验证了有效性。
2024-05-16 cs.CL
+VeriRel: Verification Feedback to Enhance Document Retrieval for Scientific Fact Checking
University of Sheffield（谢菲尔德大学）
本文提出+VeriRel方法，将验证成功纳入文档排序，在三个科学事实验证数据集上提升了文档证据检索性能并促进下游验证。
2025-08-14 cs.CL cs.IR
A Hierarchical Structured Self-Attentive Model for Extractive Document Summarization (HSSAS)
School of Information Science and Engineering, Central South University（中南大学信息科学与工程学院）
神经网络结构和训练算法的最新进展表明了表示学习的有效性。基于神经网络的模型比传统的模型产生更好的表示。它们能够自动学习句子和文档的分布式表示。为此，我们提出了一种新的模型，解决了几个问题，没有充分建模的先前提出的模型，如内存问题，并将文档结构的知识。我们的模型使用一个层次结构的自我注意力机制来创建句子和文档嵌入。该架构反映了文档的层次结构，从而使我们能够获得更好的特征表示。注意力机制提供额外的信息源来指导摘要提取。新模型将摘要任务视为一个分类问题，在该问题中，模型计算各个摘要-摘要成员资格的概率。该模型的预测被分解的几个功能，如信息内容，显着性，新颖性和位置表示。该模型进行了评估，两个著名的数据集，CNN /每日邮报，DUC 2002年。实验结果表明，我们的模型优于目前的提取国家的最先进的一个相当大的保证金。
2018-05-20 cs.CL
Extending a Single-Document Summarizer to Multi-Document: a Hierarchical Approach
INESC-ID Lisboa（里斯本信息与通信技术研究院）；IST/ULisboa（里斯本大学高等技术学院）；School of Computer Science, CMU（卡内基梅隆大学计算机学院）；ISCTE-IUL（里斯本大学学院）
在线内容的不断增加推动了多文档摘要方法的发展。在这项工作中，我们探索直接的方法来扩展单文档摘要方法，多文档摘要。所提出的方法是基于单文档摘要的层次组合，并取得了最先进的结果。
2015-07-10 cs.CL cs.IR
Multi-News: a Large-Scale Multi-Document Summarization Dataset and Abstractive Hierarchical Model
Yale University（耶鲁大学）
随着在线出版物数量的迅速增长，从多篇新闻文章自动生成摘要是一个有价值的工具。由于大数据集的可用性，单文档摘要（SDS）系统受益于神经编码器-解码器模型的进步。然而，新闻文章的多文档摘要（MDS）仅限于几百个例子的数据集。在本文中，我们介绍了多新闻，第一个大规模的MDS新闻数据集。此外，我们提出了一个端到端的模型，该模型将传统的提取摘要模型与标准SDS模型相结合，并在MDS数据集上取得了有竞争力的结果。我们在Multi-News上对几种方法进行了基准测试，并发布了我们的数据和代码，希望这项工作能够促进多文档环境中摘要的进步。
2019-06-19 cs.CL
TLDR: Extreme Summarization of Scientific Documents
Allen Institute for AI（艾伦人工智能研究所）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
我们介绍了TLDR生成，一种新的形式的极端摘要，科技论文。TLDR生成涉及高度的源压缩，并且需要专业的背景知识和对复杂的领域特定语言的理解。为了促进这项任务的研究，我们引入了SciTLDR，这是一个新的多目标数据集，包含5.4K TLDR和3.2K论文。SciTLDR包含作者撰写的和专家衍生的TLDR，后者是使用一种新的注释协议收集的，该协议可以产生高质量的摘要，同时最大限度地减少注释负担。我们提出了CATTS，一个简单而有效的学习策略，用于生成TLD，利用标题作为辅助训练信号。CATTS在自动化指标和人工评估的基础上进行了改进。数据和代码可在https://github.com/allenai/scitldr上公开获取。
2020-10-08 cs.CL
Hierarchical Question Answering for Long Documents
University of Washington（华盛顿大学）；Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）
我们提出了一个用于问答的框架，可以有效地扩展到更长的文档，同时保持甚至提高最先进模型的性能。虽然大多数成功的阅读理解方法都依赖于递归神经网络（RNN），但在长文档上运行它们的速度非常慢，因为很难在序列上并行化。受人们如何首先浏览文档，识别相关部分，并仔细阅读这些部分以产生答案的启发，我们结合了一个粗糙，快速的模型来选择相关句子，并使用一个更昂贵的RNN来从这些句子中产生答案。我们把句子选择作为一个潜在的变量，只使用强化学习从答案中联合训练。实验证明了在维基阅读的一个具有挑战性的子集和一个新的数据集上的最先进的性能，同时将模型加速了3.5x-6.7x。
2017-02-08 cs.CL
Neighborhood Contrastive Learning for Scientific Document Representations with Citation Embeddings
DFKI GmbH（德国人工智能研究中心）；University of Göttingen（哥廷根大学）；University of Copenhagen（哥本哈根大学）
通过对比学习目标，可以大大改善学习科学文档表示，其中的挑战在于创建编码所需相似性语义的正训练样本和负训练样本。先前的工作依赖于离散引用关系来生成对比样本。然而，离散引用强制执行硬截止相似性。这与基于相似性的学习是反直觉的，并且忽略了科学论文尽管缺乏直接引用也可以非常相似-这是寻找相关研究的核心问题。相反，我们使用受控的最近邻采样引用图嵌入对比学习。这种控制使我们能够学习连续的相似性，对难以学习的阴性和阳性样本进行采样，并通过控制它们之间的采样裕度来避免阴性和阳性样本之间的冲突。由此产生的方法SciNCL在Sciencore基准测试中优于最先进的方法。此外，我们证明，它可以训练（或调整）模型的样本效率，它可以与最近的训练效率的方法相结合。也许令人惊讶的是，即使是以这种方式训练通用领域的语言模型，其性能也优于在领域内预先训练的基线。
2022-10-19 cs.CL
RAISE: Enhancing Scientific Reasoning in LLMs via Step-by-Step Retrieval
Seoul National University（首尔国立大学）；KAIST（韩国科学技术院）；Hanyang University（翰阳大学）
RAISE通过逐步检索增强科学推理，其核心方法是问题分解、逻辑查询生成和逻辑检索，优于其他基线模型。
2026-03-19 cs.CL
CCSBench: Evaluating Compositional Controllability in LLMs for Scientific Document Summarization
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Sea AI Lab（Sea AI实验室）
CCSBench是首个科学文档组合可控摘要基准，评估LLMs同时控制长度与实证焦点等多属性的能力，发现其在平衡隐性属性上存在显著局限。
2025-08-04 cs.CL
Hierarchical Document Refinement for Long-context Retrieval-augmented Generation
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学首都人工智能学院）；Huawei Poisson Lab（华为Poisson实验室）
针对长上下文RAG中的冗余与噪声问题，提出即插即用的LongRefiner，通过双层查询分析、分层文档结构化和多任务自适应精炼，在七个QA数据集上以十分之一成本取得竞争力性能。
2025-05-15 cs.CL
MIReAD: Simple Method for Learning High-quality Representations from Scientific Documents
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
MIReAD通过微调transformer模型基于摘要预测期刊类别，在50万篇PubMed和arXiv摘要上训练，生成高质量科学论文表示，在四项评估标准上优于六种现有模型，可用于论文检索、主题分类和文献搜索。
2023-05-07 cs.AI cs.CL
A Hierarchical Neural Autoencoder for Paragraphs and Documents
Stanford University（斯坦福大学）
自然语言生成连贯的长文本，如段落或更长的文档，是递归网络模型的一个具有挑战性的问题。在本文中，我们探索了这个生成任务的重要一步：训练LSTM（长短期记忆）自动编码器来保存和重建多句段落。我们引入了一个LSTM模型，该模型从句子和单词的嵌入中分层构建段落的嵌入，然后解码该嵌入以重建原始段落。我们使用ROUGE和Entity Grid等标准度量来评估重建的段落，表明神经模型能够以保持句法，语义和话语连贯性的方式编码文本。虽然这只是从神经模型生成连贯文本单元的第一步，但我们的工作有可能显著影响自然语言生成和摘要\footnote {本文中描述的三个模型的代码可以在www.stanford.edu/~jiweil/上找到。
2015-06-06 cs.CL
Asymmetric Within-Document Predictive Learning for Scientific Document Representation
Questel（奎斯特尔）；Inria（法国国家信息与自动化研究所）
本研究提出无引文框架SciJEPA，采用文档内非对称预测学习科学文献表示，结合SIGReg可提升性能，为科学文献表示提供了新的无引文方案。
2026-09-01 cs.AI cs.CL
MultiVerS: Improving scientific claim verification with weak supervision and full-document context
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
科学声明验证任务要求NLP系统标记支持或反驳输入声明的科学文档，并选择证明每个预测标签的证据句子（或理由）。在这项工作中，我们提出了MultiVerS，它预测了一个事实检查标签，并确定了理由，在一个多任务的方式的基础上共享编码的索赔和完整的文档上下文。这种方法实现了两个关键的建模目标。首先，它确保所有相关的上下文信息都被纳入每个标签决策。其次，它使模型能够从用文档级事实检查标签注释的实例中学习，但缺乏文档级的基本原理。这使得MultiVerS能够通过对使用高精度语法标记的科学文档进行训练来执行弱监督领域自适应。我们的方法在三个科学声明验证数据集上优于两个竞争基线，在零/Few-Shot领域自适应实验中表现特别出色。我们的代码和数据可在www.example.com上获得。
2022-05-09 cs.AI cs.CL
Multi-XScience: A Large-scale Dataset for Extreme Multi-document Summarization of Scientific Articles
Mila（米拉人工智能研究所）；University of Waterloo（滑铁卢大学）；McGill University（麦吉尔大学）；HEC Montréal（蒙特利尔高等商学院）
多文档摘要是一个具有挑战性的任务，存在很少的大规模数据集。我们提出了Multi-XScience，这是一个从科学文章中创建的大规模多文档摘要数据集。Multi-XScience引入了一个具有挑战性的多文档摘要任务：根据摘要及其引用的文章撰写论文的相关工作部分。我们的工作受到极端总结的启发，极端总结是一种有利于抽象建模方法的数据集构建协议。描述性统计和实证结果-使用在Multi-XScience数据集上训练的几个最先进的模型-表明Multi-XScience非常适合抽象模型。
2020-10-27 cs.AI cs.CL
