Fine-tune BERT for Extractive Summarization
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
BERT是一个预训练的Transformer模型，在多个NLP任务上取得了突破性的性能。在本文中，我们描述了BERTSUM，一个简单的变种BERT，提取摘要。我们的系统在CNN/Dailymail数据集上是最先进的，在ROUGE-L上比以前性能最好的系统高出1.65。可在https://github.com/nlpyang/BertSum上获得重现我们结果的代码
2019-09-05 cs.CL
A Pilot Study of Domain Adaptation Effect for Neural Abstractive Summarization
研究了神经网络文摘的领域自适应问题。我们在调查哪些信息可以转移到一个新的域的初步努力。对新闻故事和评论文章的实验结果表明，神经摘要模型受益于基于提取摘要的预训练。我们还发现，在域内和域外设置的组合产生更好的摘要时，域内数据不足。进一步的分析表明，该模型即使在域外数据上训练也能够选择突出内容，但需要域内数据来捕获目标域的风格。
2017-07-21 cs.CL
Training Dynamics for Text Summarization Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
预训练的语言模型（例如BART）在大型摘要数据集上进行微调时显示出令人印象深刻的结果。然而，人们对这个微调过程知之甚少，包括从预训练时间中保留了哪些知识，或者如何在迭代过程中学习内容选择和生成策略。在这项工作中，我们分析了生成模型的训练动态，重点是总结。在不同的数据集（CNN/DM，XSum，MediaSum）和摘要属性（如抽象性和幻觉）中，我们研究了模型在微调过程的不同阶段学习到的内容。我们发现，在所有研究的数据集上，复制输入的倾向在训练过程的早期就被学习到了。另一方面，事实错误，如对不支持的事实的幻觉，是在后期阶段学习的，尽管这种行为在不同的领域中变化更大。基于这些观察结果，我们探索了修改训练的补充方法：首先，忽略具有学习挑战性的高损失令牌，其次，忽略在训练过程的后期阶段学习非常快的低损失令牌。我们表明，这些简单的训练修改允许我们配置模型以实现不同的目标，例如提高真实性或提高抽象性。
2022-03-15 cs.CL
What Makes a Good and Useful Summary? Incorporating Users in Automatic Summarization Research
University of Amsterdam（阿姆斯特丹大学）；Microsoft Research（微软研究院）
自动文本摘要多年来取得了很大的进展，并在许多应用中使用，影响了许多人的生活。尽管有这样的发展，有意义的研究很少调查如何在自动摘要目前的研究重点与用户的需求一致。为了弥合这一差距，我们提出了一个调查方法，可用于调查用户的自动生成的摘要的需求。重要的是，这些需求取决于目标群体。因此，我们设计的调查可以很容易地进行调整，以调查不同的用户组。在这项工作中，我们专注于大学生，他们在学习期间广泛使用摘要。我们发现，目前的研究方向的自动摘要社区不完全符合学生的需求。受我们的研究结果的启发，我们提出了在未来的自动摘要研究中减轻这种不匹配的方法：我们提出了影响自动生成摘要的设计，开发和评估的研究方向。
2022-04-29 cs.AI cs.CL cs.HC
Towards a Neural Network Approach to Abstractive Multi-Document Summarization
Institute of Computer Science and Technology, Peking University（北京大学计算机科学与技术学院）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
目前，神经抽象文摘方法在单文档文摘（SDS）中取得了很大的成功。然而，由于缺乏大规模的多文档摘要，这些方法很难适用于多文档摘要（MDS）。在本文中，我们探讨神经抽象方法MDS适应一个国家的最先进的神经抽象摘要模型SDS。我们提出了一种方法来扩展大规模SDS数据训练的神经抽象模型MDS任务。我们的方法只使用少量的多文档摘要进行微调。在两个基准DUC数据集上的实验结果表明，我们的方法可以优于各种基线神经模型。
2018-04-24 cs.CL
ExtraPhrase: Efficient Data Augmentation for Abstractive Summarization
Tokyo Institute of Technology（东京工业大学）
用大量并行数据训练的神经模型在抽象摘要任务中取得了令人印象深刻的性能。然而，大规模的平行语料库是昂贵的和具有挑战性的建设。在这项工作中，我们引入了一个低成本和有效的策略，ExtraPhrase，以增加训练数据抽象摘要任务。ExtraPhrase通过两个步骤构建伪训练数据：提取摘要和释义。在摘要提取阶段，我们提取了输入文本的主要部分，并在释义阶段获得了其不同的表达方式。通过实验，我们表明，ExtraPhrase提高了抽象摘要任务的性能超过0.50点的ROUGE分数相比，设置没有数据增强。ExtraPhrase也优于现有的方法，如反向翻译和自我训练。我们还表明，当真正的训练数据的量非常小时，ExtraPhrase是非常有效的，即，一个低资源的环境。此外，ExtraPhrase比现有方法更具成本效益。
2022-01-14 cs.CL
What Is That Talk About? A Video-to-Text Summarization Dataset for Scientific Presentations
Saarland University（萨尔兰大学）；Max Planck Institute for Informatics（马克斯·普朗克信息研究所）；University of Cambridge（剑桥大学）；University of Edinburgh（爱丁堡大学）
本文提出VISTA数据集，含18,599个AI会议演示及其摘要，并采用基于计划的框架提升摘要质量，但模型与人类表现仍有差距。
2025-05-24 cs.AI cs.CL cs.CV
Multi-Document Summarization with Determinantal Point Processes and Contextualized Representations
University of Central Florida（中佛罗里达大学）；Tencent AI Lab（腾讯人工智能实验室）
作为一种性能最好的摘要提取技术，决定点过程选择最有可能的一组句子，形成一个摘要，根据一个概率度量模型定义的句子突出和成对排斥。传统上，这些方面的建模使用浅和语言上知情的功能，但深语境化表示的兴起提出了一个有趣的问题，是否，以及在何种程度上，语境化表示可以用来改善DPP建模。我们的研究结果表明，尽管成功的深层表征，它仍然有必要将它们与表面指标相结合，以有效地识别摘要句。
2019-10-24 cs.CL
Efficient Adaptation of Pretrained Transformers for Abstractive Summarization
Allen School of Computer Science & Engineering, University of Washington（华盛顿大学艾伦计算机科学与工程学院）；Microsoft Research（微软研究院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
Transformer语言模型的大规模学习已经在各种自然语言理解任务上取得了改进。然而，它们是否可以有效地适应摘要，还没有得到太多的探索，因为学习的表示不太无缝地集成到现有的神经文本生成架构中。在这项工作中，我们提出了两种解决方案，有效地适应预训练的Transformer语言模型作为文本摘要：源嵌入和域自适应训练。我们在三个抽象摘要数据集上测试了这些解决方案，在其中两个数据集上实现了最先进的性能。最后，我们表明，这些改进是通过产生更有针对性的摘要，减少多余的，更抽象的数据集上的性能提高更明显。
2019-06-01 cs.CL
Abstractive Summarization for Low Resource Data using Domain Transfer and Data Synthesis
University of Pittsburgh（匹兹堡大学）
训练抽象摘要模型通常需要大量数据，这可能是许多领域的限制。在本文中，我们探索使用域转移和数据合成来提高最近的抽象摘要方法在应用于学生反思的小型语料库时的性能。首先，我们探讨了调整在报纸数据上训练的最先进模型是否可以提高学生反思数据的性能。评估表明，与仅使用学生反思数据或仅使用报纸数据训练的模型相比，调整后的模型产生的摘要获得了更高的ROUGE分数。与提取摘要基线相比，调整后的模型还获得了更高的分数，并且在人类评估中被判定为产生更连贯和可读的摘要。其次，我们探讨了综合学生数据摘要是否可以进一步提高成绩。我们提出了一种基于模板的模型来合成新数据，当将其纳入训练时，进一步增加了ROUGE分数。最后，我们表明，与仅使用两种方法之一相比，将数据合成与域转移相结合可以获得更高的ROUGE分数。
2020-02-09 cs.CL cs.LG
Sequence Level Contrastive Learning for Text Summarization
IIIS, Tsinghua University（清华大学交叉信息研究院）；Microsoft Research Asia（微软亚洲研究院）；Shanghai Qi Zhi Institute（上海期智研究院）
对比学习模型在无监督视觉表示学习中取得了巨大的成功，它最大化同一图像不同视图的特征表示之间的相似性，同时最小化不同图像视图的特征表示之间的相似性。在文本摘要中，输出摘要是输入文档的较短形式，它们具有相似的含义。在本文中，我们提出了一个对比学习模型的监督抽象文本摘要，我们认为一个文档，它的黄金摘要和它的模型生成的摘要作为不同的视图相同的平均表示，并在训练过程中最大限度地提高它们之间的相似性。我们改进了强序列到序列文本生成模型（即，BART）在三个不同的摘要数据集上。人类的评价也表明，我们的模型实现了更好的忠诚度评级相比，它的对手没有对比的目标。
2022-01-12 cs.CL
Improving the Faithfulness of Abstractive Summarization via Entity Coverage Control
Salesforce Research（赛富时研究院）
利用预训练语言模型的抽象摘要系统在基准数据集上取得了优异的结果。然而，这样的模型已经被证明更容易产生对输入上下文不忠实的幻觉事实。在本文中，我们提出了一种方法来补救实体级的外部幻觉与实体覆盖控制（ECC）。首先计算实体覆盖精度，并为每个训练样本预先设定相应的控制代码，隐式地指导模型在训练阶段识别忠实内容。我们进一步扩展我们的方法，通过中间微调从维基百科提取的大但嘈杂的数据解锁zero-shot摘要。我们表明，该方法导致更忠实和突出的抽象摘要在监督微调和zero-shot设置根据我们的实验结果在三个基准数据集XSum，Pubmed和SAMSum非常不同的领域和风格。
2022-07-05 cs.CL
Clinical Text Summarization with Syntax-Based Negation and Semantic Concept Identification
在临床信息爆炸的时代，一个好的临床文本摘要策略有助于改善临床工作流程。理想的摘要策略可以在信息量大但组织性差、结构不良的临床叙述性文本中保留重要信息。我们利用计算语言学的知识和人类专家策划的生物医学知识库，而不是使用难以解释和解释的纯统计学习方法，来实现可解释和有意义的临床文本摘要。我们的研究目标是使用具有语义信息的生物医学本体，并利用语言的层次结构，即组成树，来识别正确的临床概念和相应的否定信息，这对于从叙述性文本中总结临床概念至关重要。我们取得了临床上可接受的性能，无论是否定检测和概念识别，并与常见的否定模式的临床概念可以识别和否定所提出的方法。
2020-02-29 cs.CL
Deep Reinforced Self-Attention Masks for Abstractive Summarization (DR.SAS)
Stanford（斯坦福大学）
我们提出了一种新的架构方案来解决基于CNN/DM数据集的抽象摘要问题，该数据集将强化学习（RL）与UniLM（一种预训练的深度学习模型）融合在一起，以解决各种自然语言任务。我们已经测试了在Transformers中学习细粒度注意力以提高摘要质量的限制。UniLM以全局方式关注整个令牌空间。我们提出了DR.SAS，它应用Actor-Critic（AC）算法来学习令牌上的动态自我注意力分布，以减少冗余，并生成事实和连贯的摘要，以提高摘要的质量。在进行超参数调整后，我们获得了比基线更好的ROUGE结果。由于对ROUGE奖励进行了优化，我们的模型往往更加提取/真实，但在细节上更加连贯。我们提出了详细的误差分析与我们的模型的优势和局限性的例子。我们的代码库将在我们的GitHub上公开。
2019-12-30 cs.CL
AdvSumm: Adversarial Training for Bias Mitigation in Text Summarization
Columbia University（哥伦比亚大学）
本文提出领域无关的对抗训练框架AdvSumm，通过在序列到序列模型嵌入层施加梯度引导扰动来缓解文本摘要中的姓名-国籍偏差和政治框架偏差，并在不损害摘要质量的前提下优于标准transformers和回译等数据增强方法。
2025-09-20 cs.CL
Explaining Veracity Predictions with Evidence Summarization: A Multi-Task Model Approach
Middle East Technical University（中东技术大学）
针对社交媒体错误信息检测，提出一种多任务可解释神经模型，将真实性预测的解释生成视为文本摘要问题，并在公开数据集上评估其性能。
2024-02-09 cs.CL
Understanding Neural Abstractive Summarization Models via Uncertainty
Department of Computer Science（计算机科学系）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
seq2seq抽象摘要模型的一个优点是它们以自由形式生成文本，但是这种灵活性使得解释模型行为变得困难。在这项工作中，我们通过研究模型的令牌级预测的熵或不确定性，以黑盒和白盒的方式分析摘要解码器。对于两个强大的预训练模型，PEGASUS和BART在两个摘要数据集上，我们发现低预测熵与模型复制标记而不是生成新文本之间存在很强的相关性。解码器的不确定性还与句子位置和相邻标记对之间的句法距离等因素有关，从而了解哪些因素使上下文对模型的下一个输出标记具有特别的选择性。最后，我们研究了解码器的不确定性和注意行为的关系，以了解注意如何引起这些观察到的影响模型。我们表明，不确定性是一个有用的角度更广泛地分析摘要和文本生成模型。
2020-10-15 cs.CL
Sparsity and Sentence Structure in Encoder-Decoder Attention of Summarization Systems
University of Cambridge（剑桥大学）
Transformer模型在包括摘要在内的各种NLP任务中取得了最先进的结果。使用大型Transformer模型的训练和推理在计算上可能是昂贵的。以前的工作集中在一个重要的瓶颈，二次自我注意力机制的编码器。改进的编码器架构（如LED或LoBART）使用局部注意模式来解决此问题。与此相反，这项工作的重点是Transformer的编码器-解码器的注意力机制。在需要模型生成历史的推理或训练方法中，这种注意力的成本变得更加重要。首先，我们研究编码器-解码器注意力的复杂性。我们的经验表明，有一个稀疏的句子结构，在文档摘要，可以利用约束的注意力机制的输入句子的子集，同时保持系统的性能。其次，我们提出了一种修改后的架构，该架构选择句子子集来约束编码器-解码器的注意力。在抽象摘要任务上进行了实验，包括CNN/DailyMail，XSum，Spotify Podcast和arXiv。
2021-09-08 cs.CL
Joint Parsing and Generation for Abstractive Summarization
University of Central Florida（中佛罗里达大学）；Fudan University（复旦大学）；Tencent AI Lab（腾讯AI实验室）
由抽象摘要系统生成的句子可能是不合语法的，并且无法保留原始含义，尽管它们在局部是流畅的。在本文中，我们提出了解决这个问题，联合生成一个句子和它的句法依赖分析，同时执行抽象。如果生成一个单词会给摘要引入一个错误的关系，那么必须阻止这种行为。因此，所提出的方法有望产生合乎语法的句子，并鼓励总结保持真实的原始。我们对这项工作的贡献是双重的。首先，我们提出了一种新的神经架构的抽象摘要，结合了顺序解码器与基于树的解码器在同步的方式来生成一个摘要句子和它的语法分析。其次，我们描述了一种新的人类评估协议，以评估是否以及在何种程度上，摘要仍然是真实的，其原始含义。我们评估了我们的方法在一些摘要数据集，并展示了竞争力的结果对强大的基线。
2019-11-23 cs.CL
Long-Span Summarization via Local Attention and Content Selection
University of Cambridge（剑桥大学）
基于transformer的模型已经在包括文档摘要在内的广泛的自然语言处理（NLP）任务中取得了最先进的结果。通常，这些系统是通过将大型预训练模型微调到目标任务来训练的。这些基于transformer的模型的一个问题是，随着输入长度的增长，它们在内存和计算需求方面不能很好地扩展。因此，对于较长的文档摘要，训练或微调这些模型可能具有挑战性。在这项工作中，我们利用大型的预训练的基于transformer的模型，并使用两种方法解决抽象摘要中的长跨度依赖关系：局部自注意和显式内容选择。这些方法进行了比较，在一系列的网络配置。实验在标准的长跨度摘要任务上进行，包括Spotify Podcast，arXiv和PubMed数据集。我们证明，通过结合这些方法，我们可以在ROUGE分数中的所有三个任务上实现最先进的结果。此外，在没有大规模GPU卡的情况下，我们的方法可以实现与现有方法相当或更好的结果。
2021-05-29 cs.CL
CO2Sum:Contrastive Learning for Factual-Consistent Abstractive Summarization
Tencent AI Platform Department（腾讯人工智能平台部）；Harbin Institute of Technology（哈尔滨工业大学）
摘要摘要的生成是一个具有挑战性的任务。以前的工作主要是编码的事实信息或执行后纠正/排名解码后。在本文中，我们从对比学习的角度提供了一个事实一致的解决方案，这是一个自然的延伸，以前的工作。我们提出了CO2 Sum（Contrasive for Consistency），一个对比学习方案，可以很容易地应用于序列到序列模型的事实一致的抽象摘要，证明该模型可以是事实感知的，而无需修改架构。CO2 Sum在编码器上进行对比学习，帮助模型感知输入文章中包含的事实信息;在解码器上进行对比学习，使模型生成符合事实的输出摘要。更重要的是，这两个方案是正交的，可以结合起来，以进一步提高忠诚度。在公共基准上的综合实验表明，CO2 Sum提高了大型预训练语言模型的忠实性，并与其他强事实一致的摘要基线相比达到了有竞争力的结果。
2022-01-09 cs.CL
Annotating and Modeling Fine-grained Factuality in Summarization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的预训练抽象摘要系统已经开始实现可靠的性能，但在实践中使用它们的主要障碍是它们倾向于输出不忠实于输入并且包含事实错误的摘要。虽然已经探索了一些用于评估真实性的注释数据集和统计模型，但没有明确说明哪些错误最重要，也没有明确说明当前技术的成功和失败之处。我们探索了合成和人工标记的数据源，用于训练模型，以识别总结中的事实错误，并在单词，依赖关系和重复级别上研究真实性。我们的观察有三个方面。首先，表现出的事实错误在不同的数据集上有很大的不同，而常用的简单合成错误训练集并不能反映像XSum这样的抽象数据集上的错误。第二，具有细粒度注释的人工标记数据提供比分级注释或合成数据更有效的训练信号。最后，我们证明了我们的最佳真实性检测模型可以通过识别训练数据中的非事实标记来训练更真实的XSum摘要模型。
2021-04-09 cs.CL
How Private are Language Models in Abstractive Summarization?
School of Computer Science, University of Sheffield（计算机科学学院，谢菲尔德大学）
本研究全面评估了语言模型在医疗和法律摘要中的隐私风险，发现模型常泄露个人信息，与人类专家摘要相比隐私保护差距显著。
2025-05-27 cs.CL
Diversity driven Attention Model for Query-based Abstractive Summarization
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；IBM Research India（IBM印度研究院）
摘要的目的是生成一个简短的版本的文件，涵盖了所有的显着点，在一个紧凑和连贯的方式。另一方面，基于查询的摘要突出显示了与给定查询上下文相关的那些点。编码-参与-解码范式在机器翻译、摘要提取、对话系统等方面取得了显著的成功，但它存在产生重复短语的缺点。在这项工作中，我们提出了一个基于查询的摘要任务的编码-参加-解码范式的基础上，有两个关键的补充（i）查询注意力模型（除了文档注意力模型之外），它学习在不同的时间步长关注查询的不同部分（而不是使用查询的静态表示）和（ii）一种新的基于多样性的注意力模型，旨在减轻摘要中重复短语的问题。为了能够测试这个模型，我们引入了一个新的基于查询的摘要数据集建立在debatepedia。我们的实验表明，有了这两个补充，所提出的模型明显优于香草编码参加解码模型的增益为28%（绝对）的ROUGE-L分数。
2018-07-13 cs.CL
Towards Improving Faithfulness in Abstractive Summarization
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Ant Group（蚂蚁集团）；University of Notre Dame（圣母大学）
尽管基于预训练语言模型的神经抽象摘要取得了成功，但一个未解决的问题是生成的摘要并不总是忠实于输入文档。不忠实问题有两个可能的原因：（1）摘要模型无法理解或捕捉输入文本的要点，以及（2）该模型过度依赖于语言模型来生成流畅但不充分的单词。在这项工作中，我们提出了一个忠实增强摘要模型（FES），这是专为解决这两个问题，提高抽象摘要的忠实性。对于第一个问题，我们建议使用问答（QA）来检查编码器是否完全掌握输入文档，并能够回答输入中的关键信息的问题。QA对正确输入单词的关注也可以用来规定解码器应该如何关注源。对于第二个问题，我们引入了一个定义在语言和摘要模型之间的差异的最大余量损失，旨在防止过度信任的语言模型。在两个基准摘要数据集CNN/DM和XSum上进行的大量实验表明，我们的模型显著优于强基线。对事实一致性的评估也表明，我们的模型比基线生成更忠实的摘要。
2022-10-04 cs.CL
Diverse Beam Search for Increased Novelty in Abstractive Summarization
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Swisscom AG（瑞士电信股份公司）
文本摘要将文本压缩为较短的版本，同时保留重要信息。摘要摘要是一种新的发展，它生成新的短语，而不是简单地复制或改写原始文本中的句子。最近，神经序列到序列模型在抽象摘要领域取得了很好的效果，这为工业目的开辟了新的可能性和应用。然而，大多数从业者观察到，这些模型在输出摘要中仍然使用大部分原始文本，使其通常类似于提取框架。为了解决这个缺点，我们首先引入了一个新的度量标准来衡量从输入文本中提取了多少摘要。其次，我们提出了一种新的方法，它依赖于一个多样性的因素，在计算神经网络的损失，以提高多样性的摘要产生的任何神经抽象模型实现束搜索。最后，我们证明了这种方法不仅使系统不那么提取，而且还将最先进的方法的整体胭脂分数提高了至少2个点。
2018-02-05 cs.CL
Leveraging Locality in Abstractive Text Summarization
Yale University（耶鲁大学）；Microsoft Research（微软研究院）
神经注意力模型在许多自然语言处理任务上取得了显著的进步。然而，自注意模块相对于输入长度的二次记忆复杂度阻碍了它们在长文本摘要中的应用。而不是设计更有效的注意力模块，我们通过调查，如果模型与一个受限制的上下文可以有竞争力的性能相比，内存效率的注意力模型，保持一个全球范围内的输入作为一个单一的序列来解决这个问题。我们的模型被应用到单独的页面，其中包含部分输入分组的原则，在编码和解码过程中的局部性。我们实证研究了三种不同粒度的文本摘要的局部性，从句子到文档。我们的实验结果表明，我们的模型具有更好的性能与强大的基线与有效的注意力模块相比，我们的分析提供了进一步的见解，我们的位置感知建模策略。
2022-10-31 cs.CL
Get To The Point: Summarization with Pointer-Generator Networks
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
神经序列到序列模型为抽象文本摘要提供了一种可行的新方法（这意味着它们不限于简单地从原始文本中选择和重新排列段落）。然而，这些模型有两个缺点：它们容易不准确地再现事实细节，并且它们倾向于重复自己。在这项工作中，我们提出了一种新的架构，增强了标准的序列到序列的注意力模型在两个正交的方式。首先，我们使用混合指针生成器网络，它可以通过指向从源文本复制单词，这有助于准确再现信息，同时保留通过生成器生成新单词的能力。第二，我们使用覆盖率来跟踪已经总结的内容，这不鼓励重复。我们将我们的模型应用于CNN/Daily Mail摘要任务，至少比当前抽象的最先进技术高出2个ROUGE点。
2017-04-25 cs.CL
Extractive Summarization of Legal Decisions using Multi-task Learning and Maximal Marginal Relevance
Technical University of Munich（慕尼黑工业大学）
总结法律判决需要法律从业人员的专门知识，这既需要时间，也需要成本。本文提出了在低资源环境中使用有限的专家注释数据提取法律决策摘要的技术。我们测试了一组模型，这些模型使用顺序模型定位相关内容，并通过利用最大边际相关性来撰写摘要来解决冗余问题。我们还展示了一个隐式的方法来帮助训练我们提出的模型生成更多的信息摘要。我们的多任务学习模型变体利用修辞角色识别作为辅助任务来进一步改进摘要器。我们对包含美国退伍军人上诉委员会法律决定的数据集进行了广泛的实验，并对我们的模型进行了定量和专家排名评估。我们的研究结果表明，所提出的方法可以实现ROUGE分数相对于专家提取的摘要，匹配那些通过注释器间比较。
2022-10-22 cs.CL
A Deep Reinforced Model for Abstractive Summarization
Salesforce Research（Salesforce 研究院）
用于抽象摘要的基于RNN的编码器-解码器模型在短输入和输出序列上取得了良好的性能。然而，对于较长的文档和摘要，这些模型通常包括重复和不连贯的短语。我们引入了一个神经网络模型，该模型具有一种新的内部注意力，分别关注输入和连续生成的输出，以及一种新的训练方法，该方法结合了标准的监督词预测和强化学习（RL）。仅使用监督学习训练的模型通常会表现出“暴露偏差”-它们假设在训练过程中的每一步都提供了基础事实。然而，当标准单词预测与RL的全局序列预测训练相结合时，所得到的摘要变得更具可读性。我们在CNN/Daily Mail和New York Times数据集上评估了这个模型。我们的模型在CNN/Daily Mail数据集上获得了41.16 ROUGE-1得分，比以前的最先进模型有所改进。人工评估也表明，我们的模型产生更高质量的摘要。
2017-11-13 cs.CL
Adaptive Beam Search to Enhance On-device Abstractive Summarization
Samsung R&D Institute Bangalore（三星班加罗尔研发研究所）
我们在智能手机上收到了一些重要的更新，比如短信、文档、语音信息等，这些更新被淹没在杂乱的内容之下。我们经常不了解关键信息，而不了解全部内容。短信通知有时可以帮助您了解消息的内容，但是，它们仅提供开始内容的预览。解决这个问题的一种方法是建立一个有效的模型，可以适应和总结来自不同来源的数据。在本文中，我们解决了这个问题，并首次提出了一种新的自适应束搜索，以提高设备上的抽象摘要的质量，可以应用于短信，语音消息，并可以扩展到文档。据我们所知，这是第一个提出的设备上抽象摘要管道，与大多数将数据发送到服务器的现有摘要系统相比，它可以适应多个数据源，解决用户的隐私问题。我们减少了30.9%，使用知识蒸馏模型的大小，并表明，该模型具有97.6%的内存占用量少提取相同或更多的关键信息相比，BERT。
2021-12-22 cs.CL
Experiments with LVT and FRE for Transformer model
在本文中，我们尝试将大词汇量技巧和丰富的词汇编码应用于文本摘要的Transformer模型。我们无法获得比类似的基于RNN的序列到序列模型更好的结果，所以我们尝试了更多的模型来找出是什么改善了结果，是什么恶化了结果。
2020-04-26 cs.CL
Factual Consistency Evaluation for Text Summarization via Counterfactual Estimation
Alibaba Group（阿里巴巴集团）；The Chinese University of Hong Kong（香港中文大学）
尽管文本摘要技术已经取得了很大的进展，但摘要中的事实不一致性仍然严重限制了它的实际应用。在保证事实一致性的关键因素中，可靠的自动评价指标是首要的，也是最关键的。然而，现有的度量方法要么忽略了造成事实不一致的内在原因，要么依赖于辅助任务，导致与人类判断的相关性不高，或者增加了实际使用的不便。鉴于这些挑战，我们提出了一种新的度量标准来评估事实的一致性，在文本摘要通过反事实的估计，它制定了源文件，生成的摘要，和语言先验之间的因果关系。我们删除了语言先验的影响，这可能会导致事实的不一致性，从总的因果关系的影响所产生的摘要，并提供了一个简单而有效的方法来评估一致性，而不依赖于其他辅助任务。我们在三个公开的抽象文本摘要数据集上进行了一系列的实验，并证明了所提出的度量在提高与人类判断的相关性和使用的方便性方面的优势。源代码可在https://github.com/xieyxclack/factual_coco上获得。
2021-09-08 cs.CL
Alleviating Exposure Bias via Contrastive Learning for Abstractive Text Summarization
The Hong Kong Polytechnic University（香港理工大学）
编码器-解码器模型在抽象文本摘要中取得了显著的成功，其目的是将一个或多个文档压缩成较短的版本而不丢失基本内容。不幸的是，这些模型在训练和推理之间存在差异，即，曝光偏差问题。在训练阶段，通过教师强制，这些模型被优化以最大化黄金摘要的可能性，给定黄金摘要令牌作为解码器的输入，而在推理时，给定令牌被生成的令牌替换。因此，很可能会生成低质量的摘要。为了解决这个问题，我们建议利用对比学习来降低这些低质量摘要的可能性，同时增加黄金摘要的可能性。由于我们的解决方案扩展了模型在训练过程中感知到的状态，我们希望可以缓解暴露偏差问题。我们的实验证明，我们的方法有效地提高了最先进的模型在不同数据集上的性能。
2021-08-26 cs.CL
Advancements in Natural Language Processing for Automatic Text Summarization
School of Computing（计算机学院）；Informatics Institute of Technology（信息技术学院）
本文综述了自动文本摘要技术，分类探讨抽取式与抽象式方法及混合技术，比较其优缺点，并展望语言生成模型在摘要评估中的应用。
2025-02-27 cs.CL
An Overview of Indian Language Datasets used for Text Summarization
Jawaharlal Nehru University（贾瓦哈拉尔·尼赫鲁大学）
在本文中，我们调查了印度语言（IL）中的文本摘要（TS）数据集，这些语言也是低资源语言（LRL）。我们试图回答一个主要的问题：印度语言文本摘要（ILTS）数据集的池是不断增长的，还是存在资源贫困？为了回答这个基本问题，我们提出了两个关于ILTS数据集的子问题：第一，ILTS数据集具有什么特征：格式和域？其次，ILTS数据集的这些特征与高资源语言（HRL），特别是英语有多大的不同。我们专注于2012-2022年期间发表的ILTS研究工作中报告的数据集。对ILTS和英语数据集的调查显示了两个相似之处和一个对比。两个相似之处是：第一，数据集的域通常是新闻（Hermann et al.，2015）。第二个相似之处是数据集的格式，它是提取和抽象的。对比之处在于数据集开发的研究进展如何。与英语相比，国际劳工组织面临着数据集开发和公开发布速度缓慢的问题。我们认为，ILTS数据集的数量相对较低是因为两个原因：第一，没有一个专门的论坛开发TS工具和资源;第二，缺乏共享的标准数据集在公共领域。
2022-04-26 cs.CL
Summarization with Graphical Elements
University of Amsterdam（阿姆斯特丹大学）；Microsoft Research（微软研究院）
近年来，自动文本摘要取得了长足的进步。随着这一进展，出现了一个问题，即通常由自动摘要模型生成的摘要类型是否符合用户的需求。Ter Hoeve et al（2020）否定地回答了这个问题。除其他外，他们建议专注于生成具有更多图形元素的摘要。这与我们从心理语言学文献中了解到的人类如何处理文本是一致的。从这两个角度出发，我们提出了一个新的任务：总结与图形元素，我们验证了这些摘要是有帮助的临界质量的人。我们收集了一个高质量的人类标记数据集，以支持对任务的研究。我们提出了一些基线方法，表明任务是有趣的和具有挑战性的。因此，通过这项工作，我们希望在自动摘要社区中激发一条新的研究路线。
2022-04-25 cs.AI cs.CL
Abstractive Summarization Improved by WordNet-based Extractive Sentences
Peking University（北京大学）；Chinese Academy of Medical Sciences（中国医学科学院）
最近，seq 2seq抽象摘要模型在CNN/Daily Mail数据集上取得了良好的效果。然而，如何用抽取方法改进抽取方法是一个很好的研究方向，因为抽取方法具有利用各种有效特征提取文本中重要句子的潜力。为了提高摘要的语义相关性，本文采用基于WordNet的句子排序算法，抽取与文本语义相关性最高的句子。然后，我们设计了一个双注意seq 2seq框架，以生成摘要考虑提取的信息。同时，结合指针生成器和覆盖机制，解决了抽象模型中存在的词汇表外词和重复词问题。在CNN/Daily Mail数据集上的实验表明，我们的模型具有最先进的ROUGE分数，具有竞争力的性能。人类的评价也表明，我们的模型生成的摘要具有较高的语义相关性的原始文本。
2018-08-04 cs.CL
Abstractive and Extractive Text Summarization using Document Context Vector and Recurrent Neural Networks
Amazon Lab126（亚马逊Lab126）；eBay Inc.（eBay公司）；Google（谷歌）
序列到序列（Seq2Seq）学习最近已被用于抽象和提取摘要。在目前的研究中，Seq2Seq模型已被用于eBay产品描述摘要。我们提出了一种新的基于文档上下文的Seq2Seq模型，使用RNN进行抽象和提取摘要。直觉上，这类似于人类在阅读文档之前阅读标题，摘要或任何其他上下文信息。这让人们对文档的内容有了一个高层次的了解。我们使用这个想法，并建议Seq2Seq模型应该在输入的第一个时间步开始使用上下文信息，以获得更好的摘要。通过这种方式，输出摘要更加以文档为中心，而不是通用的，克服了使用生成模型的主要障碍之一。我们从用户行为和卖方提供的信息生成文档上下文。我们在人类提取的黄金总结上训练和评估我们的模型。文档上下文Seq2Seq模型优于标准Seq2Seq模型。此外，生成人类提取的摘要是非常昂贵的规模，因此，我们提出了一种半监督技术，用于提取近似摘要，并使用它来训练Seq2Seq模型的规模。半监督模型对人类提取的摘要进行了评估，并发现具有相似的功效。我们在相同的评估数据集上提供了抽象和提取摘要器（上下文和非上下文）的并排比较。总的来说，我们提供了方法来使用和评估所提出的技术，大型文档摘要。此外，我们发现这些技术非常有效，而现有技术并非如此。
2018-07-29 cs.CL
ARLED: Leveraging LED-based ARMAN Model for Abstractive Summarization of Persian Long Documents
Ferdowsi University of Mashhad（马什哈德费尔多西大学）
本文针对波斯语长文档摘要难题，构建含30万篇Ensani全文论文的数据集，并采用基于Longformer的ARMAN模型验证其抽象式摘要效果。
2025-03-13 cs.CL
Incorporating Domain Knowledge for Extractive Summarization of Legal Case Documents
IIT Kharagpur（印度理工学院卡哈拉格普尔分校）；L3S Research Center（L3S研究中心）
法律案例文档的自动摘要是一个重要的和实际的挑战。除了许多独立于领域的文本摘要算法可以用于此目的，几个算法已经开发了专门用于总结法律案例文档。然而，大多数现有的算法没有系统地纳入领域知识，指定什么信息应该理想地存在于法律案件文档摘要中。为了解决这一差距，我们提出了一个无监督的摘要算法DELSumm，旨在系统地将法律专家的指导方针纳入优化设置。我们对印度最高法院的案例文件进行了详细的实验。实验表明，我们提出的无监督方法优于几个强基线的ROUGE分数，包括一般的摘要算法和法律特定的。事实上，尽管我们提出的算法是无监督的，但它优于几个经过数千个文档摘要对训练的监督摘要模型。
2021-06-30 cs.CL cs.IR
Implicit Sensitive Text Summarization based on Data Conveyed by Connectives
King Saud University（沙特国王大学）
到目前为止，为了达到人类的能力，自动摘要的研究一直基于既有利又有限制的假设。这些限制包括：如何考虑和反映（在生成的摘要中）文本中传达的隐含信息，作者意图，读者意图，语境影响，一般世界知识。因此，如果我们希望机器模仿人类的能力，那么它们将需要获得同样大量的知识。隐性影响着文本的定位和论证，进而影响着文本的概括。大多数文本摘要器都是对原始数据进行压缩处理，必然会造成信息的丢失。TS只关注文本的特征，而不是作者的意图或读者为什么阅读文本。在本文中，我们解决这个问题，我们提出了一个系统，专注于获取知识是隐含的。本文重点分析了诸如：but、even、yet等议论性连接词所传达的隐含信息及其对摘要的影响。
2013-12-11 cs.CL
Regularizing Output Distribution of Abstractive Chinese Social Media Text Summarization for Improved Semantic Consistency
Peking University（北京大学）；Northwestern Polytechnical University（西北工业大学）
摘要文本摘要是一个非常困难的问题，序列到序列模型已经成功地提高了任务的性能。然而，生成的摘要往往在语义上与源内容不一致。在这种情况下，当生成摘要时，模型选择与源内容语义无关的单词作为最可能的输出。这个问题可以归因于抽象地构造的训练数据，其中摘要可以与源内容无关，因此包含语义上不相关的单词和虚假的单词对应。在本文中，我们提出了一种正则化方法的序列到序列模型，并利用模型已经学会了正则化的学习目标，以减轻问题的影响。此外，针对现有自动评估方法无法正确评估与源内容的语义一致性的问题，我们提出了一种实用的人工评估方法。实验结果表明，该方法的有效性，它优于几乎所有现有的模型。特别是在人工评价方面，该方法将语义一致性提高了4%.
2018-05-10 cs.CL
Assessing LLMs for Zero-shot Abstractive Summarization Through the Lens of Relevance Paraphrasing
University of California, Davis（加利福尼亚大学戴维斯分校）；University of South Florida（南佛罗里达大学）
本文提出相关性改写策略，通过识别并改写关键句子生成最小扰动数据集，评估4个数据集和4种不同规模LLM的零样本摘要鲁棒性，发现模型对扰动文章的摘要生成表现不一致，需进一步改进。
2025-02-01 cs.CL
Cutting-off Redundant Repeating Generations for Neural Abstractive Summarization
NTT Communication Science Laboratories, NTT Corporation（NTT通信科学实验室，NTT公司）
本文解决了在基于RNN的编码器-解码器模型中经常观察到的冗余重复生成的减少。我们的基本思想是在编码器中联合估计每个目标词汇的上界频率，并在解码器中根据估计控制输出单词。我们的方法在基于RNN的编码器-解码器基线上显示出显着的改进，并在抽象摘要基准上取得了最佳结果。
2017-02-13 cs.AI cs.CL stat.ML
Factual Error Correction for Abstractive Summarization Models
McGill University（麦吉尔大学）；MILA（MILA研究所）
神经抽象摘要系统已经取得了可喜的进展，这要归功于大规模数据集和使用自监督方法预训练的模型的可用性。然而，确保抽象摘要系统生成的摘要的事实一致性是一个挑战。我们提出了一个后编辑校正模块，以解决这个问题，通过识别和纠正生成的摘要中的事实错误。神经校正器模型在人工示例上进行预训练，这些人工示例是通过对参考摘要应用一系列启发式变换而创建的。这些转换的灵感来自于对最先进的摘要模型输出的错误分析。实验结果表明，该模型能够纠正由其他神经摘要模型生成的摘要中的事实错误，并且在CNN/DailyMail数据集上的事实一致性评价上优于以前的模型。我们还发现，从人工纠错转移到下游设置仍然是非常具有挑战性的。
2021-04-01 cs.AI cs.CL
CONFIT: Toward Faithful Dialogue Summarization with Linguistically-Informed Contrastive Fine-tuning
Yale University（耶鲁大学）；Meta AI
针对对话摘要中的事实不一致问题，提出基于语言学错误类型学的对比微调方法ConFiT，通过模块化目标和对话特定损失显著减少幻觉，并在SAMSum和AMI数据集上超越多数基线。
2022-07-09 cs.CL
Comparing Approaches to Automatic Summarization in Less-Resourced Languages
本文比较了不同方法在资源较少语言中自动摘要的效果，发现多语言微调的mT5基线表现最佳，而LLM作为评判者在资源较少语言上可靠性较低。
2025-12-30 cs.AI cs.CL
Proposal Report for the 2nd SciCAP Competition 2024
Nanjing University of Science and Technology（南京理工大学）
提出融合高质量OCR与原文初提取信息、并为文本生成模型增加辅助分支的文档摘要方法，在2024 SciCAP长、短字幕赛道均获第一名。
2024-07-02 cs.CL
Word Graph Guided Summarization for Radiology Findings
National University of Defense Technology（国防科技大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳市大数据研究院）
放射学报告在向医生传达医学发现方面发挥着关键作用。在每份报告中，印象部分总结了基本的放射学发现。在临床实践中，放射科医师书写印模要求高，费时且容易出错。因此，自动印模生成已成为一个有吸引力的研究方向，以促进这种临床实践。现有的研究主要集中在将显著词信息引入到通用的文本摘要框架中，以指导放射学发现中关键内容的选择。然而，对于这项任务，模型不仅需要捕捉发现中的重要词汇，还需要准确地描述它们之间的关系，以产生高质量的印象。在本文中，我们提出了一种新的方法来自动产生的印象，其中一个词图是由调查结果来记录的关键词和它们的关系，然后词图引导的摘要模型（WGSum）的设计，以产生的印象的帮助下，词图。在OpenI和MIMIC-CXR两个数据集上的实验结果证实了我们所提出的方法的有效性和有效性，在这两个数据集上都取得了最先进的结果。进一步的实验也进行了分析不同的图设计的影响，我们的方法的性能。
2021-12-18 cs.CL
Does Pretraining for Summarization Require Knowledge Transfer?
Carnegie Mellon University（卡内基梅隆大学）
利用大量数据集的预训练技术推动了文本摘要的最新进展。虽然民间的解释表明知识转移是预训练的好处，但人们对它为什么有效，或者是什么使预训练任务或数据集合适却知之甚少。在本文中，我们挑战了知识转移的故事，表明对随机选择的字符n-gram组成的文档进行预训练，我们几乎可以匹配在真实语料库上预训练的模型的性能。这项工作有望消除上游语料库，这可能会减轻对攻击性语言，偏见和版权问题的一些担忧。为了了解使用真实数据的小剩余收益是否可以通过预训练任务的结构来解释，我们设计了几个任务，这些任务的动机是对摘要语料库进行定性研究。然而，这些任务没有带来明显的好处，留下了一个小的作用，知识转让的可能性。
2021-09-10 cs.CL cs.LG
Learning to Encode Text as Human-Readable Summaries using Generative Adversarial Networks
National Taiwan University（国立台湾大学）
自动编码器将输入数据压缩成潜在空间表示，并从该表示重建原始数据。这种潜在的表征不容易被人类解释。在本文中，我们提出了训练一个自动编码器，将输入文本编码成人类可读的句子，从而实现不成对的抽象摘要。自动编码器由发生器和重建器组成。生成器将输入文本编码为较短的单词序列，重建器从生成器输出中恢复生成器输入。为了使生成器输出人类可读的内容，一个JavaScript将生成器的输出限制为类似于人类书写的句子。通过将生成器的输出作为输入文本的摘要，实现了不需要文档摘要对作为训练数据的抽象摘要。在英汉两种语料库上都取得了令人满意的结果。
2018-10-05 cs.CL
Prompt-tuning for Clickbait Detection via Text Summarization
School of Information Engineering, Yangzhou University（扬州大学信息工程学院）；School of Electronics and Information Engineering, Anhui Jianzhu University（安徽建筑大学电子与信息工程学院）
针对标题与内容长度、语义差异大导致直接计算相似度难以检测点击诱饵的问题，提出结合文本摘要的提示调优方法，通过两阶段摘要模型生成摘要并融入外部知识，在基准数据集上取得最优性能。
2024-04-17 cs.CL
Unsupervised Extractive Summarization of Emotion Triggers
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对危机文本中情绪触发因素标注昂贵的问题，本文构建 CovidET-EXT 抽取式数据集，并提出联合检测情绪与总结触发因素的无监督 Emotion-Aware Pagerank，性能优于强基线。
2023-06-02 cs.CL
