Guided Neural Language Generation for Abstractive Summarization using Abstract Meaning Representation
The University of Sheffield（谢菲尔德大学）
最近关于抽象摘要的工作在神经编码器-解码器架构方面取得了进展。然而，这样的模型往往是挑战，由于他们缺乏明确的语义建模的源文档及其摘要。在本文中，我们扩展了以前的工作抽象摘要使用抽象意义表示（AMR）与神经语言生成阶段，我们指导使用源文件。我们证明，这一指导提高了7.4和10.5点，在ROUGE-2使用黄金标准AMR解析和解析从现成的解析器分别获得的摘要结果。我们还发现，使用后者的摘要性能比在较大数据集上训练的成熟神经编码器-解码器方法高2个ROUGE-2点。代码可在\url{https://github.com/sheffieldnlp/AMR2Text-summ}上获得
2018-08-28 cs.CL
Topic-Guided Abstractive Text Summarization: a Joint Learning Approach
University of Delaware（特拉华大学）；University of Maryland, College Park（马里兰大学帕克分校）；Tongji University（同济大学）；Tezign（特赞）
我们介绍了一种新的方法，抽象的文本摘要，主题引导的抽象摘要，校准长期的依赖关系，从主题级功能与全球显着的内容。我们的想法是将神经主题建模与基于transformer的序列到序列（seq2seq）模型结合在一个联合学习框架中。这种设计可以学习和保存文档的全局语义，这可以为捕获文档的重要思想提供额外的上下文指导，从而增强摘要的生成。我们在两个数据集上进行了大量的实验，结果表明，我们提出的模型在ROUGE测量和人类评估方面优于许多提取和抽象系统。我们的代码可在https://github.com/chz816/tas上获得。
2021-08-27 cs.CL
Document-aware Positional Encoding and Linguistic-guided Encoding for Abstractive Multi-document Summarization
The University of Adelaide（阿德莱德大学）
多文档摘要中的一个关键挑战是捕获输入文档之间的关系，以区分单文档摘要（SDS）和多文档摘要（MDS）。现有的MDS工程很少解决这个问题。一种有效的方法是对文档位置信息进行编码，以帮助模型捕获跨文档关系。然而，现有的MDS模型，如基于转换器的模型，只考虑令牌级的位置信息。此外，这些模型无法捕捉句子的语言结构，这不可避免地导致在生成的摘要混乱。因此，在本文中，我们提出了文档感知的位置编码和语言指导的编码，可以融合Transformer架构的MDS。对于文档感知的位置编码，我们引入了一个通用协议来指导文档编码函数的选择。对于语言引导的编码，我们建议将句法依赖关系嵌入到依赖关系掩码中，并使用简单但有效的非线性编码学习器进行特征学习。大量的实验表明，该模型可以生成高质量的摘要。
2022-09-13 cs.CL
Extractive Opinion Summarization in Quantized Transformer Spaces
University of Edinburgh（爱丁堡大学）；Megagon Labs（Megagon实验室）
我们提出了量化的Transformer（QT），一个无监督的系统提取意见摘要。QT受到矢量量化变分自编码器的启发，我们将其重新用于流行驱动的摘要。它使用量化空间的聚类解释和一种新的提取算法来发现数百篇评论中的流行观点，这是走向实用范围的观点摘要的重要一步。此外，QT通过利用量化空间的属性来提取特定于方面的摘要，从而在没有进一步训练的情况下实现可控摘要。我们还公开了SPACE，这是一个针对意见总结者的大规模评估基准，包括50家酒店的一般和特定方面的总结。实验证明了我们的方法的承诺，这是通过人类研究验证，其中法官显示出明显的偏好，我们的方法比竞争基线。
2020-12-08 cs.CL
Efficient Adaptation of Pretrained Transformers for Abstractive Summarization
Allen School of Computer Science & Engineering, University of Washington（华盛顿大学艾伦计算机科学与工程学院）；Microsoft Research（微软研究院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
Transformer语言模型的大规模学习已经在各种自然语言理解任务上取得了改进。然而，它们是否可以有效地适应摘要，还没有得到太多的探索，因为学习的表示不太无缝地集成到现有的神经文本生成架构中。在这项工作中，我们提出了两种解决方案，有效地适应预训练的Transformer语言模型作为文本摘要：源嵌入和域自适应训练。我们在三个抽象摘要数据集上测试了这些解决方案，在其中两个数据集上实现了最先进的性能。最后，我们表明，这些改进是通过产生更有针对性的摘要，减少多余的，更抽象的数据集上的性能提高更明显。
2019-06-01 cs.CL
Efficient Extractive Summarization with MAMBA-Transformer Hybrids for Low-Resource Scenarios
University of Memphis（密苏里大学）
本文提出了一种结合Transformer和Mamba的状态空间模型，用于高效提取式摘要，尤其在低资源环境下表现出色，提升了摘要质量并加快了推理速度。
2026-03-01 cs.CL
Unsupervised Extractive Summarization by Pre-training Hierarchical Transformers
Microsoft Research Asia（微软亚洲研究院）；Shanghai Qi Zhi institute（上海期智研究院）
无监督提取文档摘要旨在从文档中选择重要句子，而无需在训练期间使用标记摘要。现有的方法大多是基于图的句子作为节点和句子的相似性衡量的边的权重。在这项工作中，我们发现，Transformer注意力可以用来排名句子的无监督提取摘要。具体来说，我们首先只使用未标记的文档来预训练分层Transformer模型。然后，我们提出了一种方法来排名的句子，使用双水平的自我注意力和预训练目标。在CNN/DailyMail和New York Times数据集上的实验表明，该模型在无监督摘要方面具有最先进的性能。我们还发现，在实验中，我们的模型是依赖于句子位置。当使用我们的模型和最近的无监督模型显式建模句子位置的线性组合时，我们获得了更好的结果。
2020-10-16 cs.CL
Automated News Summarization Using Transformers
Delhi Technological University（德里理工大学）
在线可用的文本数据量正在以非常快的速度增加，因此文本摘要变得至关重要。大多数现代推荐和文本分类系统都需要处理大量的数据。手动生成冗长文章的精确和流畅的摘要是一项非常烦人和耗时的任务。因此，为数据生成自动摘要并使用它来训练机器学习模型将使这些模型具有空间和时间效率。摘要的生成有两种不同的方法：抽取式摘要和抽象式摘要。提取技术从原始文档中识别出相关句子，并仅从文本中提取那些句子。而在摘要技术中，摘要是在解释原文之后生成的，因此使其更加复杂。在本文中，我们将全面比较几个基于Transformer架构的文本摘要预训练模型。为了进行分析和比较，我们使用了BBC新闻数据集，该数据集包含可用于摘要的文本数据和人类生成的摘要，用于评估和比较机器学习模型生成的摘要。
2021-04-23 cs.CL
On Extractive and Abstractive Neural Document Summarization with Transformer Language Models
Element AI；Montréal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；École Polytechnique de Montréal（蒙特利尔高等理工学院）
我们提出了一种方法，通过神经抽象摘要产生超过几千字的长文档的摘要。在生成摘要之前，我们执行一个简单的提取步骤，然后在生成摘要之前，使用该摘要来根据相关信息调节Transformer语言模型。我们表明，这一提取步骤显着提高摘要结果。我们还表明，这种方法产生更抽象的摘要相比，以前的工作，采用复制机制，同时仍然实现更高的胭脂分数。注意：上面的摘要不是作者写的，它是由本文中提出的一个模型生成的。
2020-04-28 cs.CL
Learning to Fuse Sentences with Transformers for Summarization
University of Central Florida（中佛罗里达大学）；Adobe Research（奥多比研究院）
摘要系统具有很强的句子融合能力，因为这是生成简洁摘要的必要步骤。然而，到目前为止，总结器可能无法融合句子。他们倾向于通过融合产生很少的摘要句或产生不正确的融合，导致摘要无法保留原始意义。在本文中，我们探讨了Transformers融合句子的能力，并提出了新的算法，以提高他们的能力，通过利用句子之间的对应点的知识来执行句子融合。通过大量的实验，我们研究了不同的设计选择对Transformer性能的影响。我们的研究结果突出了建模点之间的对应有效的句子融合的重要性。
2020-10-08 cs.CL
Topic-Guided Reinforcement Learning with LLMs for Enhancing Multi-Document Summarization
Department of Computer Science, University of British Columbia（英属哥伦比亚大学计算机科学系）；Salesforce AI Research（Salesforce人工智能研究）
本文提出一种主题引导的强化学习方法，通过在GRPO框架中引入主题奖励以衡量生成摘要与源文档的主题对齐度，有效改进了多文档摘要的内容选择，并在Multi-News等数据集上持续优于强基线。
2025-09-11 cs.CL
Do We Really Need That Many Parameters In Transformer For Extractive Summarization? Discourse Can Help !
University of British Columbia（不列颠哥伦比亚大学）
流行的Transformer模型的多头自注意广泛用于自然语言处理（NLP）中，包括用于提取摘要的任务。为了分析和修剪参数重的自注意力机制，有多种方法提出更多的参数轻的自注意力替代方案。本文提出了一种新的基于话语先验的参数化自注意力机制。我们的新树自注意力是基于文档级的话语信息，扩展了最近提出的“合成器”框架与另一个轻量级的替代方案。我们的实证结果表明，我们的树自我注意力的方法实现了有竞争力的ROUGE分数的任务提取摘要。当与原始单头Transformer模型相比时，树注意方法在EDU和句子级别上达到相似的性能，尽管注意分量中的参数显著减少。我们进一步显着优于8头Transformer模型在句子水平时，应用更平衡的超参数设置，需要一个数量级的参数少。
2020-12-03 cs.CL
Curriculum-Guided Abstractive Summarization
Georgetown University（乔治城大学）；Adobe Research（奥多比研究院）
最近的基于transformer的摘要模型提供了一个很有前途的方法抽象摘要。他们超越句子选择和提取策略，以处理更复杂的任务，如新词生成和句子释义。然而，这些模型有两个缺点：（1）它们在内容选择方面表现不佳，（2）它们的训练策略不是很有效，这限制了模型的性能。在本文中，我们探索了两种正交的方法来弥补这些缺陷。首先，我们在解码器中增加了一个句子交叉注意模块来增强Transformer网络，鼓励对突出内容进行更多的抽象。其次，我们包括一个课程学习的方法来重新加权的训练样本，带来了一个有效的学习过程。与第一种方法相比，我们的第二种方法增强了Transformers网络的训练策略。我们将我们的模型应用于Reddit TIFU帖子的极端摘要数据集。我们进一步研究了三个跨域摘要数据集（Webis-TLDR-17，CNN/DM和XSum），测量了应用于摘要时课程学习的有效性。此外，人类的评价进行显示所提出的方法在定性标准，即流畅性，信息量和整体质量方面的功效。
2023-02-08 cs.CL
DETQUS: Decomposition-Enhanced Transformers for QUery-focused Summarization
University of Florida（佛罗里达大学）
本文提出DETQUS系统，通过大型语言模型对表格进行查询相关的列分解并结合微调的编码器-解码器模型，在查询聚焦表格摘要任务上以ROUGE-L 0.4437超越REFACTOR模型，实现了可扩展且高效的摘要生成。
2025-03-07 cs.CL
Code Summarization with Structure-induced Transformer
Shanghai Jiao Tong University（上海交通大学）；Soochow University（苏州大学）
代码摘要是近年来语言理解研究的一个热点，它旨在以源代码的形式自动生成程序设计语言的合理的人类语言，以最大限度地方便程序员的开发。众所周知，程序设计语言是高度结构化的。因此，以前的工作尝试应用基于结构的遍历（SBT）或非顺序模型，如Tree-LSTM和图神经网络（GNN）来学习结构化程序语义。然而，令人惊讶的是，将SBT纳入高级编码器（如Transformer）而不是LSTM并没有表现出性能提升，这使得GNN成为唯一的休息手段，在源代码中建模这种必要的结构线索。为了解决这一问题，我们提出了结构诱导的Transformer，它利用一种新提出的结构诱导的自注意力机制，对具有多视角结构线索的序列代码输入进行编码。大量的实验表明，我们提出的结构诱导的Transformer有助于实现新的国家的最先进的基准测试结果。
2021-06-01 cs.CL
SGD-KV: Summarization Guided KV Cache Compression
USC（南加州大学）；KAIST（韩国科学技术院）；Amazon AGI（亚马逊AGI）
针对LLMs长上下文推理的KV缓存内存瓶颈，提出SGD-KV框架，通过分块摘要诊断任务识别分层信息聚合的注意力头，在Qwen2.5模型上实现1M token上下文的SOTA性能，同时降低75%内存使用，达成更优效率-精度权衡。
2026-09-04 cs.CL
Sample Efficient Text Summarization Using a Single Pre-Trained Transformer
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
语言模型（LM）预训练在各种语言理解任务上取得了令人印象深刻的性能和样本效率。然而，目前还不清楚如何最好地使用预训练的LM生成任务，如抽象总结，特别是提高样本效率。在这些序列到序列设置中，先前的工作已经试验了将预训练的权重加载到编码器和/或解码器网络中，但是使用了非预训练的编码器-解码器注意力权重。相反，我们使用一个预先训练的仅解码器网络，其中相同的Transformer LM既编码源又生成摘要。这确保了网络中的所有参数，包括那些控制对源状态的注意力的参数，都在微调步骤之前进行了预训练。在CNN/Daily Mail数据集上的实验表明，我们预先训练的Transformer LM在有限的数据设置中大大改善了预先训练的Transformer编码器-解码器网络。例如，它仅使用1%的训练数据（约3000个示例）就达到了13.1 ROUGE-2，而预训练的编码器-解码器模型得分为2.3 ROUGE-2。
2019-05-21 cs.CL
Topic-Controllable Summarization: Topic-Aware Evaluation and Transformer Methods
School of Informatics（信息学院）；Aristotle University of Thessaloniki（亚里士多德大学（塞萨洛尼基））
针对主题可控摘要生成现有方法性能受限、缺乏专用评估指标的问题，本研究提出主题导向评估指标，以及基于Transformer、通过控制令牌引导生成的高效方法，性能更优且速度更快。
2024-04-17 cs.CL
A Decoding Algorithm for Length-Control Summarization Based on Directed Acyclic Transformers
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））
本文提出基于有向无环Transformer和SeqMAP解码的长度控制摘要算法，通过路径边缘化与束搜索重排序，在Gigaword和DUC2004上取得最优性能。
2025-02-06 cs.CL
PERCS: Persona-Guided Controllable Biomedical Summarization Dataset
Department of Computer Science, University of Illinois, Chicago, IL, 60607, USA（伊利诺伊大学芝加哥分校计算机科学系）；Indian Institute of Technology, Varanasi, India（印度班加罗尔理工学院）；Department of Computer Science & Engineering, Indraprastha Institute of Information Technology, Delhi, New Delhi, 110020, India（印度德里印度信息技术研究所计算机科学与工程系）
PERCS数据集通过针对不同医学素养角色的可控摘要，提升生物医学信息的可及性与准确性。
2025-12-03 cs.CL
Repurposing Decoder-Transformer Language Models for Abstractive Summarization
Twilio AI（Twilio人工智能）
神经网络模型在应用于抽象摘要时表现出了出色的流畅性和性能。许多神经抽象总结的方法都涉及引入显著的归纳偏差，例如使用指针生成器架构，覆盖范围和部分提取程序等组件，旨在模仿人类总结文档的过程。我们表明，它是可能的，而不是直接查看摘要作为一个语言建模问题，并有效地利用迁移学习，以获得有竞争力的性能。我们介绍了一个简单的程序，建立在解码器变压器，以获得高度竞争力的ROUGE分数的摘要性能，单独使用语言建模损失，没有波束搜索或其他解码时间优化，而是依赖于有效的核采样和贪心解码。
2019-09-01 cs.CL cs.LG
Sparsity and Sentence Structure in Encoder-Decoder Attention of Summarization Systems
University of Cambridge（剑桥大学）
Transformer模型在包括摘要在内的各种NLP任务中取得了最先进的结果。使用大型Transformer模型的训练和推理在计算上可能是昂贵的。以前的工作集中在一个重要的瓶颈，二次自我注意力机制的编码器。改进的编码器架构（如LED或LoBART）使用局部注意模式来解决此问题。与此相反，这项工作的重点是Transformer的编码器-解码器的注意力机制。在需要模型生成历史的推理或训练方法中，这种注意力的成本变得更加重要。首先，我们研究编码器-解码器注意力的复杂性。我们的经验表明，有一个稀疏的句子结构，在文档摘要，可以利用约束的注意力机制的输入句子的子集，同时保持系统的性能。其次，我们提出了一种修改后的架构，该架构选择句子子集来约束编码器-解码器的注意力。在抽象摘要任务上进行了实验，包括CNN/DailyMail，XSum，Spotify Podcast和arXiv。
2021-09-08 cs.CL
Headline-Guided Extractive Summarization for Thai News Articles
Chulalongkorn University（朱拉隆功大学）；National Institute of Informatics（信息学研究所）
针对泰语等低资源语言摘要研究不足及现有模型未利用标题的问题，提出CHIMA模型，结合标题上下文信息，采用两种相似度聚合策略，实验表明其在多指标上优于基线，提升了摘要质量与相关性。
2025-02-10 cs.CL
Word Graph Guided Summarization for Radiology Findings
National University of Defense Technology（国防科技大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳市大数据研究院）
放射学报告在向医生传达医学发现方面发挥着关键作用。在每份报告中，印象部分总结了基本的放射学发现。在临床实践中，放射科医师书写印模要求高，费时且容易出错。因此，自动印模生成已成为一个有吸引力的研究方向，以促进这种临床实践。现有的研究主要集中在将显著词信息引入到通用的文本摘要框架中，以指导放射学发现中关键内容的选择。然而，对于这项任务，模型不仅需要捕捉发现中的重要词汇，还需要准确地描述它们之间的关系，以产生高质量的印象。在本文中，我们提出了一种新的方法来自动产生的印象，其中一个词图是由调查结果来记录的关键词和它们的关系，然后词图引导的摘要模型（WGSum）的设计，以产生的印象的帮助下，词图。在OpenI和MIMIC-CXR两个数据集上的实验结果证实了我们所提出的方法的有效性和有效性，在这两个数据集上都取得了最先进的结果。进一步的实验也进行了分析不同的图设计的影响，我们的方法的性能。
2021-12-18 cs.CL
Long-Span Summarization via Local Attention and Content Selection
University of Cambridge（剑桥大学）
基于transformer的模型已经在包括文档摘要在内的广泛的自然语言处理（NLP）任务中取得了最先进的结果。通常，这些系统是通过将大型预训练模型微调到目标任务来训练的。这些基于transformer的模型的一个问题是，随着输入长度的增长，它们在内存和计算需求方面不能很好地扩展。因此，对于较长的文档摘要，训练或微调这些模型可能具有挑战性。在这项工作中，我们利用大型的预训练的基于transformer的模型，并使用两种方法解决抽象摘要中的长跨度依赖关系：局部自注意和显式内容选择。这些方法进行了比较，在一系列的网络配置。实验在标准的长跨度摘要任务上进行，包括Spotify Podcast，arXiv和PubMed数据集。我们证明，通过结合这些方法，我们可以在ROUGE分数中的所有三个任务上实现最先进的结果。此外，在没有大规模GPU卡的情况下，我们的方法可以实现与现有方法相当或更好的结果。
2021-05-29 cs.CL
Transformer Models for Text Summarization: A Comparative Study of BART, BERT, and RoBERTa
该研究针对文本摘要任务，对比分析BERT、RoBERTa、BART三款Transformer模型的架构、预训练策略及在抽取式、生成式摘要任务中的适用性，为相关应用提供参考。
2026-08-21 cs.AI cs.CL
Domain-specific Guided Summarization for Mental Health Posts
School of Advanced Technology, Xi’an Jiaotong-Liverpool University（西交利物浦大学先进技术学院）；University of Liverpool（利物浦大学）；School of Information Science and Technology, Hangzhou Normal University（杭州师范大学信息科学与技术学院）
针对心理健康领域生成式摘要需贴合专业内容的需求，提出带双编码器与适配解码器的引导式摘要器及后编辑校正模型，在Mentsum数据集上ROUGE和FactCC得分优于基线，方法具广泛适用性。
2024-11-03 cs.CL
Mind The Facts: Knowledge-Boosted Coherent Abstractive Text Summarization
Stanford University（斯坦福大学）；Microsoft（微软）
神经模型已经成功地产生了人类可读和流畅的抽象摘要。然而，这些模型有两个关键的缺点：它们通常不尊重源文章中包含的事实或人类已知的常识知识，并且当源文章很长时，它们不会产生连贯的摘要。在这项工作中，我们提出了一种新的架构，扩展了Transformer的编码器-解码器架构，以改善这些缺点。首先，我们将来自Wikidata知识图谱的实体级知识整合到编码器-解码器架构中。从维基数据中注入结构化世界知识有助于我们的抽象摘要模型更加了解事实。其次，我们利用的思想，在transformer-XL语言模型在我们提出的编码器-解码器架构。这有助于我们的模型生成连贯的摘要，即使源文章很长。我们在CNN/Daily Mail摘要数据集上测试了我们的模型，并显示了ROUGE分数比基线Transformer模型的改进。我们还包括模型预测，我们的模型准确地传达了事实，而基线Transformer模型没有。
2020-06-27 cs.CL
Counseling Summarization using Mental Health Knowledge Guided Utterance Filtering
IIIT-Delhi（德里英迪拉·甘地信息技术学院）；University of Washington（华盛顿大学）
心理治疗干预技术是治疗师和患者之间的多方面对话。与一般的临床讨论不同，心理治疗的核心组成部分（即症状）很难区分，因此成为一个复杂的问题，以后要总结。结构化的咨询对话可能包含关于症状的讨论，心理健康问题的历史，或患者行为的发现。它还可能包含与临床总结无关的讨论填充词。我们将结构化心理治疗的这些要素称为咨询要素。在本文中，目的是心理健康咨询总结建立在领域知识，并帮助临床医生迅速收集的意义。我们创建一个新的数据集后，注释12.9K话语的咨询组件和参考摘要的每个对话。此外，我们提出了ConSum，一种新的辅导组件引导的摘要模型。ConSum经历了三个独立的模块。首先，为了评估抑郁症状的存在，它利用患者健康问卷（PHQ-9）过滤话语，而第二和第三模块的目的是分类咨询组件。最后，我们提出了一个针对具体问题的心理健康信息捕获（MHIC）评估指标的咨询总结。我们的比较研究表明，我们提高了性能，并产生凝聚力，语义和连贯的摘要。我们全面分析所产生的摘要，调查捕获的心理治疗元素。对摘要的人类和临床评价表明，ConSum生成质量摘要。此外，心理健康专家验证ConSum的临床可接受性。最后，我们讨论了心理健康咨询摘要在现实世界中的独特性，并在mpathic.ai的支持下展示了其在在线应用程序上部署的证据
2022-06-08 cs.CL
CiteSum: Citation Text-guided Scientific Extreme Summarization and Domain Adaptation with Limited Supervision
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
科学极端摘要（TLDR）旨在形成科学论文的超短摘要。由于需要大量的人工注释和领域专业知识，以前管理科学TLDR数据集的努力未能扩大规模。在本文中，我们提出了一个简单而有效的方法来自动提取TLDR摘要的科学论文从他们的引文文本。基于所提出的方法，我们创建了一个没有人类注释的新基准CiteSum，它比以前的人类策划数据集SciTLDR大30倍左右。我们对CiteSum进行全面分析，检查其数据特征并建立强大的基线。我们通过使在CiteSum（名为CITES）上预训练的模型适应监督有限的新任务和领域，进一步证明了CiteSum的有用性。对于科学的极端总结，CITES在SciTLDR上的表现优于大多数完全监督的方法，无需任何微调，并且仅用128个例子就获得了最先进的结果。对于新闻极端摘要，CITES在XSum上实现了其基础模型（未在CiteSum上预训练）的显著增益，例如，+7.2 ROUGE-1 zero-shot性能和最先进的Few-Shot性能。对于新闻标题生成，CITES在Gigaword上的无监督和zero-shot方法中表现最好。我们的数据集和代码可以在https://github.com/morningmoni/CiteSum上找到。
2022-10-19 cs.CL
Question-aware Transformer Models for Consumer Health Question Summarization
U.S. National Library of Medicine（美国国家医学图书馆）
越来越多的消费者每天都在网上搜索健康信息，这使得对高效可靠的问答系统的需求更加迫切。这些系统成功率的一个重要因素是它们能够充分理解消费者的问题。然而，这些问题往往比所需的要长，而且提到的外围信息对找到相关答案没有帮助。问题摘要是在试图找到答案之前简化冗长复杂的消费者问题的潜在解决方案之一。在本文中，我们研究了现实世界的消费者健康问题的抽象概括的任务。我们开发了一个抽象的问题摘要模型，该模型通过识别医疗实体来利用问题的语义解释，从而生成信息丰富的摘要。为此，我们提出了多个完形填空任务（即在给定的上下文中填写缺失单词的任务），以确定执行模型的关键医学实体，以更好地覆盖问题焦点识别。此外，我们将问题类型信息注入解码器输入，以生成问题类型驱动的摘要。在MeQSum基准语料库上进行评估时，我们的框架比最先进的方法高出10.2个ROUGE-L点。我们还进行了手动评估，以评估生成的摘要的正确性。
2021-06-01 cs.CL
Vision Guided Generative Pre-trained Language Models for Multimodal Abstractive Summarization
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；Department of Electronic and Computer Engineering（电子与计算机工程系）；The Hong Kong University of Science and Technology（香港科技大学）
多模态摘要（MultimodalAbstractiveSummarization，MAS）模型能够从互联网上的海量多模态数据中提取关键信息。最近，大规模生成预训练语言模型（GPLM）已被证明是有效的文本生成任务。然而，现有的MAS模型不能利用GPLM强大的生成能力。为了填补这一研究空白，我们的目标是研究两个研究问题：1）如何将视觉信息注入到GPLM中，而不损害他们的生成能力; 2）在GPLM中的最佳位置是注入视觉信息。在本文中，我们提出了一个简单而有效的方法来构建视觉引导（VG）GPLM的MAS任务使用基于注意力的附加层，将视觉信息，同时保持其原始文本生成能力。结果表明，我们的最佳模型在How2数据集上的5.7 ROUGE-1，5.3 ROUGE-2和5.1 ROUGE-L得分显着超过了现有的最先进的模型，我们的视觉引导方法贡献了83.6%的整体改进。此外，我们进行了全面的消融研究，以分析各种模态融合方法和融合位置的有效性。
2021-10-10 cs.CL
AST-Transformer: Encoding Abstract Syntax Trees Efficiently for Code Summarization
Nanjing University（南京大学）；Saarland Informatics Campus（萨尔兰信息学园区）
代码摘要旨在为源代码生成简短的自然语言描述。由于源代码是高度结构化的，并且遵循严格的程序设计语言语法，因此通常利用其抽象树（AST）来通知编码器有关结构信息。然而，AST通常比源代码长得多。目前的方法忽略了大小限制，并简单地将整个线性化AST馈送到编码器中。为了解决这个问题，我们提出了AST-Transformer来有效地编码树结构的AST。实验结果表明，AST-变压器优于国家的艺术由一个相当大的保证金，同时能够降低$90\sim95\%$的计算复杂性在编码过程中。
2021-12-02 cs.CL cs.SE
End-to-End Aspect-Guided Review Summarization at Scale
Wayfair
本研究提出结合ABSA与引导式摘要的可扩展LLM系统，为Wayfair生成产品评论摘要，经大规模A/B测试验证有效，还发布了含1180万条评论的数据集以支持相关研究。
2025-09-30 cs.AI cs.CL
Abstractive summarization of hospitalisation histories with transformer networks
Sber AI Lab（Sber人工智能实验室）
在本文中，我们提出了一种新的方法来抽象总结病人的住院史。我们应用了一个编码器-解码器框架，Longformer神经网络作为编码器，BERT作为解码器。我们的实验表明，与指针生成器网络相比，某些摘要任务的质量有所提高。我们还与经验丰富的医生进行了一项研究，将我们的模型结果与PGN基线和人类生成的摘要进行了比较，这表明了我们模型的有效性。
2022-04-05 cs.AI cs.CL cs.LG
Improving Abstractive Text Summarization with History Aggregation
School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
最近的神经序列到序列模型为抽象摘要提供了可行的解决方案。然而，这样的模型仍然很难解决长文本依赖的摘要任务。一个高质量的摘要系统通常依赖于强大的编码器，它可以从长输入文本中提炼重要信息，以便解码器可以从编码器的内存中生成显著的摘要。在本文中，我们提出了一个聚合机制的基础上的Transformer模型，以解决长文本表示的挑战。我们的模型可以回顾历史信息，使编码器持有更多的内存容量。从经验上讲，我们将我们的聚合机制应用于Transformer模型，并在CNN/DailyMail数据集上进行实验，以实现比ROUGE指标上的几个强基线模型更高质量的摘要。
2019-12-24 cs.CL
Hierarchical Transformers for Multi-Document Summarization
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
在本文中，我们开发了一个神经摘要模型，它可以有效地处理多个输入文档和提取Transformer架构的能力，以分层的方式编码文档。我们表示跨文档的关系，通过一个注意力机制，它允许共享信息，而不是简单地连接文本跨度和处理它们作为一个平面序列。我们的模型学习文本单元之间的潜在依赖关系，但也可以利用专注于相似性或话语关系的显式图形表示。WikiSum数据集上的实证结果表明，所提出的架构带来了几个强大的基线大幅改善。
2019-05-30 cs.AI cs.CL
Attention Temperature Matters in Abstractive Summarization Distillation
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
摘要文本摘要的最新进展在很大程度上依赖于大型预训练的序列到序列Transformer模型，这是计算昂贵的。本文旨在将这些大型模型提取为较小的模型，以实现更快的推理和最小的性能损失。基于伪标记的方法在序列到序列模型蒸馏中很流行。在本文中，我们发现简单地操纵Transformers中的注意力温度可以使学生模型更容易学习伪标签。我们在三个摘要数据集上的实验表明，我们提出的方法始终优于基于香草伪标签的方法。我们还发现，我们的学生产生的伪标签和摘要都更短，更抽象。我们的代码可在\url{https://github.com/Shengqiang-Zhang/plate}上获得。
2022-03-01 cs.CL
Meeting Summarization with Pre-training and Clustering Methods
自动会议摘要是越来越受欢迎的这些天。自动总结会议和提取关键信息的能力可以大大提高我们的工作和生活效率。在本文中，我们实验了不同的方法来提高基于查询的会议摘要的性能。我们从HMNet \cite{hmnet}开始，这是一个分层网络，它同时使用字级Transformer和匝级Transformer作为基线。我们探索了使用大型新闻摘要数据集预训练模型的有效性。我们研究添加查询的嵌入作为基于查询的摘要的输入向量的一部分。此外，我们还尝试使用中间聚类步骤扩展QMSum \cite{qmsum}的定位然后汇总方法。最后，我们将我们的基线模型的性能与BART进行了比较，BART是一种最先进的语言模型，对于摘要是有效的。我们通过在模型的输入中添加查询嵌入，使用BART作为替代语言模型，以及在将文本输入摘要模型之前使用聚类方法在话语级别提取关键信息来提高性能。
2021-11-16 cs.CL
Parallel Hierarchical Transformer with Attention Alignment for Abstractive Multi-Document Summarization
与单文档摘要相比，抽象的多文档摘要（MDS）在表示和覆盖其冗长和链接的源方面带来了挑战。本研究开发了一种用于MDS的注意对齐的并行分层Transformer（PHT）。通过结合单词级和段落级的多头注意力，PHT的分层架构允许在标记和文档级更好地处理依赖关系。为了引导解码更好地覆盖源文档，然后引入注意力对齐机制来用预测的最佳注意力分布校准束搜索。基于WikiSum数据，进行了全面的评估，以测试所提出的架构对MDS的改进。通过更好地处理内部和跨文档信息，ROUGE和人工评估的结果表明，我们的分层模型以相对较低的计算成本生成了相对于其他基于Transformer的基线质量更高的摘要。
2022-08-16 cs.AI cs.CL
PersonalSum: A User-Subjective Guided Personalized Summarization Dataset for Large Language Models
Norwegian University of Science and Technology（挪威科技大学）
针对现有个性化摘要研究缺乏普通大众主动标注数据集的问题，本文提出首个探究读者关注与LLM通用摘要差异的人工标注个性化摘要数据集PersonalSum，并验证了实体/主题等信号对个性化摘要生成的影响，指出该任务对现有LLM仍具挑战。
2024-10-04 cs.CL
HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Huazhong University of Science and Technology（华中科技大学）；Lehigh University（理海大学）
为了从原始文本中捕获语义图结构，大多数现有的摘要方法都是基于具有预训练模型的GNN构建的。然而，这些方法遭受繁琐的程序和低效率的计算长文本文档。为了缓解这些问题，本文提出了HETFORMER，这是一种基于Transformer的预训练模型，具有多粒度稀疏注意力，用于长文本提取摘要。具体来说，我们将原始文本中不同类型的语义节点建模为潜在的异构图，并通过Transformer直接学习节点之间的异构关系（边）。在单文档和多文档摘要任务上的大量实验表明，HETFORMER在Rouge F1中实现了最先进的性能，同时使用更少的内存和更少的参数。
2021-10-19 cs.AI cs.CL cs.LG
OpinionDigest: A Simple Framework for Opinion Summarization
University of Edinburgh（爱丁堡大学）；Megagon Labs（Megagon实验室）
我们提出了OpinionDigest，一个抽象的意见摘要框架，它不依赖于黄金标准的摘要进行训练。该框架使用一个基于April的情感分析模型从评论中提取意见短语，并训练一个Transformer模型从这些提取中重建原始评论。在总结时，我们合并多个评论中的摘录，并选择最受欢迎的评论。所选择的意见被用作经训练的Transformer模型的输入，该模型将它们口头表达为意见摘要。OpinionDigest还可以通过根据其方面和/或情绪过滤所选意见来生成定制的摘要，以满足特定的用户需求。对Yelp数据的自动评估表明，我们的框架优于竞争对手的基线。对两个语料库的人类研究验证了OpinionDigest产生信息丰富的摘要，并显示出有前途的定制功能。
2020-05-05 cs.CL
Topic-Guided Abstractive Multi-Document Summarization
Harbin Institute of Technology（哈尔滨工业大学）
多文档文摘的一个关键点是了解文档之间的关系。在本文中，我们提出了一种新的抽象MDS模型，在该模型中，我们表示多个文档作为一个异构的图，考虑到不同粒度的语义节点，然后应用图序列框架生成摘要。此外，我们采用神经主题模型来联合发现潜在的主题，这些主题可以作为跨文档的语义单元来桥接不同的文档，并提供全局信息来指导摘要生成。由于主题提取可以被视为一种特殊类型的摘要，它将文本“概括”为更抽象的格式，即，在主题分发方面，我们采用多任务学习策略，对主题和摘要模块进行联合训练，使其相互促进。在Multi-News数据集上的实验结果表明，我们的模型在Rouge指标和人工评价方面都优于以前最先进的MDS模型，同时学习高质量的主题。
2021-10-21 cs.AI cs.CL
Transformer Based Implementation for Automatic Book Summarization
Vishwakarma Institute of Information Technology（维什瓦卡玛信息技术学院）
文档摘要是生成给定文档的有意义和简洁的摘要的过程，其中包括相关和主题重要的点。有两种方法：一种是从文档本身中提取最相关的语句，并将其添加到摘要中，称为提取，另一种是为摘要生成句子，称为抽象摘要。训练机器学习模型来执行耗时或人类难以评估的任务是一项重大挑战。图书摘要生成就是这样一个复杂的任务。传统的机器学习模型正在通过预先训练的Transformers进行修改。以自监督方式训练的基于Transformer的语言模型正在获得大量关注;当针对文本摘要等自然语言处理（NLP）下游任务进行微调时。这项工作是一种尝试，使用Transformer为基础的技术，抽象生成。
2023-01-17 cs.AI cs.CL cs.LG
An entity-guided text summarization framework with relational heterogeneous graph neural network
School of Computer Science, Nanjing University of Posts and Telecommunications（南京邮电大学计算机学院）
本文提出实体引导的两步摘要框架，利用实体构建连接KG的加权异构句子-实体图，并通过关系异构GNN建模跨句关系与外部知识，在CNN/DM和NYT50上取得优于基线的效果。
2023-02-07 cs.CL
HIBERT: Document Level Pre-training of Hierarchical Bidirectional Transformers for Document Summarization
Microsoft Research Asia（微软亚洲研究院）
神经提取摘要模型通常采用分层编码器进行文档编码，并使用基于规则的方法创建的分级标签进行训练。用这些\emph{inaccurate}标签训练分层编码器是具有挑战性的。受最近关于预训练Transformer语句编码器\cite{devlin:2018:arxiv}的工作的启发，我们提出了用于文档编码的{ \sc Hibert}（作为{ \bf HI}erachical { \bf B}idirectional { \bf E}ncoder { \bf R} epresentation from { \bf T} transformers的简写）以及使用未标记数据对其进行预训练的方法。我们将预训练的{ \sc Hibert}应用于我们的摘要模型，它在CNN/Dailymail数据集上的性能优于随机初始化的对应模型1.25 ROUGE，在纽约时报数据集上的性能优于随机初始化的对应模型2.0 ROUGE。我们还在这两个数据集上实现了最先进的性能。
2019-05-16 cs.CL cs.LG
TED: A Pretrained Unsupervised Summarization Model with Theme Modeling and Denoising
Stanford University（斯坦福大学）；Microsoft Cognitive Services Research Group（微软认知服务研究组）
文本摘要的目的是从文本中提取必要的信息，并将文本转换为简洁的文本。现有的无监督摘要模型利用递归神经网络框架，而最近提出的Transformer具有更多的能力。此外，大多数以前的摘要模型忽略了丰富的未标记语料库资源可用于预训练。为了解决这些问题，我们提出了TED，一个基于transformer的无监督抽象摘要系统，对大规模数据进行预训练。我们首先利用新闻文章中的铅偏见在数百万未标记的语料库上预训练模型。接下来，我们通过主题建模和去噪自动编码器对目标领域的TED进行微调，以提高生成摘要的质量。值得注意的是，TED在NYT、CNN/DM和英语Gigaword数据集上的表现优于所有无监督的抽象基线，这些数据集具有各种文档风格。进一步的分析表明，TED生成的摘要是高度抽象的，TED的目标函数中的每个组件是非常有效的。
2020-10-18 cs.CL
Knowledge-guided Unsupervised Rhetorical Parsing for Text Summarization
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
由于深度学习的最新进展和大规模语料库的可用性，自动文本摘要（ATS）最近取得了令人印象深刻的性能。为了提高自动文摘系统的自动文摘结果的可信度，提出了一种结合修辞结构理论、深度神经模型和领域知识关注的无监督自动文摘方法。该体系结构主要包括三个部分：基于表示学习的领域知识库构建、修辞分析的注意编码解码器模型和基于子例程的文本摘要模型。领域知识可以有效地用于无监督的修辞分析，从而为每个文档的修辞结构树可以得到。在无监督修辞句法分析模块中，采用了翻译的思想来缓解数据不足的问题。基于子例程的摘要模型完全依赖于派生的修辞结构树，可以生成内容平衡的结果。为了在没有金标准的情况下对摘要结果进行评价，提出了一种无监督的评价指标，其超参数由监督学习调整。实验结果表明，在大规模中文数据集上，该方法可以获得与现有方法相当的性能。
2019-10-14 cs.AI cs.CL
Abstractive Summarization Guided by Latent Hierarchical Document Structure
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
顺序抽象神经摘要器通常不使用输入文章中的底层结构或输入句子之间的依赖关系。这种结构对于整合和巩固来自文本不同部分的信息至关重要。为了解决这个问题，我们提出了一个层次感知的图神经网络（HierGNN），它通过三个主要步骤来捕获这种依赖关系：1）通过稀疏矩阵树计算学习潜在结构树来学习层次文档结构; 2）使用一种新的消息传递节点传播机制来在这个结构上传播句子信息以识别显著信息; 3）使用图级注意力来将解码器集中在显著信息上。实验证实HierGNN改进了BART等强序列模型，CNN/DM和XSum的平均ROUGE-1/2/L的裕度分别为0.55和0.75。进一步的人类评估表明，我们的模型生成的摘要比HierGNN所包含的基线更相关，冗余度更低。我们还发现HierGNN通过更多地融合多个源句子来合成摘要，而不是压缩单个源句子，并且它更有效地处理长输入。
2022-11-17 cs.CL
Deep Learning Models for Automatic Summarization
onepoint（一点公司）
文本摘要是一项NLP任务，旨在将文本文档转换为更短的文档，同时尽可能保留更多的含义。这篇教学文章回顾了一些最近的深度学习架构，这些架构有助于推进该领域的研究。我们将特别讨论指针网络、分层Transformers和强化学习的应用。我们假设有Seq2Seq架构和NLP中的Transformer网络的基本知识。
2020-05-25 cs.CL cs.LG
An Exploratory Study on Long Dialogue Summarization: What Works and What's Next
Penn State University（宾夕法尼亚州立大学）；Yale University（耶鲁大学）；Microsoft Research（微软研究院）；Facebook AI Research（Facebook人工智能研究院）
对话摘要帮助读者从会议、访谈和电视剧中的长对话中捕捉突出信息。然而，现实世界的对话对当前的摘要模型提出了巨大的挑战，因为对话长度通常超过了最近基于transformer的预训练模型所施加的输入限制，并且对话的交互性质使得相关信息比新闻文章更依赖于上下文并且分布稀疏。在这项工作中，我们进行了全面的研究，通过调查三种策略来处理冗长的输入问题，并找到相关的信息：（1）扩展的Transformer模型，如Longformer，（2）检索，然后总结管道模型与几个对话话语检索方法，和（3）分层对话编码模型，如HMNet。我们在三个长对话数据集（QMSum，MediaSum，SummScreen）上的实验结果表明，检索然后汇总管道模型产生最好的性能。我们还证明，通过更强的检索模型和适当的外部摘要数据集的预训练，可以进一步提高摘要质量。
2021-09-10 cs.CL
Multi-document Summarization with Maximal Marginal Relevance-guided Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
虽然神经序列学习方法在单文档摘要（SDS）方面取得了显著的进展，但它们在多文档摘要（MDS）上的结果并不令人满意。我们观察到两个主要的挑战时，适应SDS的进步MDS：（1）MDS涉及更大的搜索空间和更有限的训练数据，设置障碍的神经方法学习足够的表示;（2）MDS需要解决较高的信息冗余源文件，SDS方法是不太有效的处理。为了缩小差距，我们提出了RL-MMR，最大边缘相关引导的强化学习MDS，它统一了先进的神经SDS方法和统计措施中使用的经典MDS。RL-MMR将MMR指导投射在较少的有希望的候选者上，这限制了搜索空间，从而导致更好的表示学习。此外，MMR中的显式冗余度量有助于摘要的神经表征更好地捕获冗余。大量的实验表明，RL-MMR达到最先进的性能基准MDS数据集。特别是，我们将MMR到端到端的学习时，适应SDS MDS的学习效果和效率方面的好处。
2020-09-30 cs.AI cs.CL
Curriculum-guided Abstractive Summarization for Mental Health Online Posts
Georgetown University（乔治城大学）；Adobe Research（奥多比研究院）
从用户的在线心理健康帖子中自动生成简短的摘要可以节省咨询师的阅读时间，减少他们的疲劳，以便他们能够及时回应那些寻求帮助以改善心理状态的人。最近的基于transformers的摘要模型为抽象摘要提供了一种很有前途的方法。他们超越句子选择和提取策略，以处理更复杂的任务，如新词生成和句子释义。然而，这些模型有一个突出的缺点，它们的训练策略不是很有效，这限制了模型的性能。在本文中，我们包括一个课程学习的方法来重新衡量训练样本，带来了一个有效的学习过程。我们将我们的模型应用于MentSum帖子的极端摘要数据集-来自Reddit社交媒体的心理健康相关帖子的数据集。与最先进的模型相比，我们提出的方法在Rouge和Bertscore评估指标方面取得了实质性的进步，分别获得了3.5%（Rouge-1），10.4%（Rouge-2）和4.7%（Rouge-L），1.5%（Bertscore）的相对改进。
2023-02-02 cs.AI cs.CL
