Document Summarization with Text Segmentation
Microsoft AI（微软人工智能）
在本文中，我们利用固有的文档段结构，以改善提取摘要任务。我们建立了两个文本分割模型，并找到了最佳的策略，以介绍他们的输出预测在提取摘要模型。在科技文章语料库上的实验结果表明，提取式摘要得益于使用高精度的分割方法。特别是，大部分的改进是在文档中，最相关的信息不是在开始，因此，我们得出结论，分割有助于减少铅偏见的问题。
2023-01-20 cs.CL
Automatic Keyword Extraction for Text Summarization: A Survey
National Institute of Technology, Rourkela（鲁尔克拉国立技术学院）
近年来，数据在新闻、社交媒体、银行、教育等各个领域迅速增长，由于数据的过剩，需要自动摘要器，它能够在原始文档中总结数据，特别是文本数据，而不会丢失任何关键目的。摘要是近年来出现的一个重要的研究领域。在这方面，回顾文本摘要过程的现有工作对于开展进一步的研究是有用的。由于文本摘要过程高度依赖于关键词提取，本文介绍了自动关键词提取和文本摘要的最新文献。这篇文献包括讨论不同的方法用于关键字提取和文本摘要。它还讨论了在几个领域中用于文本摘要的不同数据库以及评估矩阵。最后，简要讨论了研究者面临的问题和研究挑战以及未来的发展方向。
2017-04-11 cs.CL
Query-Based Abstractive Summarization Using Neural Networks
Chalmers University of Technology（查尔姆斯理工大学）
在本文中，我们提出了一个模型，生成摘要的文本文档的查询。这称为基于查询的摘要。我们针对该任务调整现有的新闻文章摘要数据集，并使用该数据集训练指针生成器模型。通过测量与参考摘要的相似性来评价生成的摘要。我们的研究结果表明，一个神经网络摘要模型，类似于现有的神经网络模型的抽象摘要，可以构建利用查询，以产生有针对性的摘要。
2017-12-17 cs.CL
VT-SSum: A Benchmark Dataset for Video Transcript Segmentation and Summarization
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft（微软）
视频文本摘要是视频理解的一项基本任务。传统的文本摘要方法通常建立在书面语言（如新闻文章）的摘要数据上，而领域差异可能会降低口语文本的模型性能。在本文中，我们介绍了VT-Ssum，这是一个用于视频转录分割和摘要的口语基准数据集，其中包括来自9，616个视频的125 K转录摘要对。VT-SSum利用VideoLectures.NET中的视频，利用幻灯片内容作为弱监督来生成视频记录的提取摘要。使用最先进的深度学习方法进行的实验表明，使用VT-Ssum训练的模型在AMI口语文本摘要基准测试中有显着改进。VT-SSum可在https://github.com/Dod-o/VT-SSum上公开获取，以支持未来的视频文本分割和摘要任务研究。
2021-07-15 cs.CL
Pre-training for Abstractive Document Summarization by Reinstating Source Text
StatNLP Research Group, Singapore University of Technology and Design（新加坡科技设计大学StatNLP研究组）；Microsoft Research Asia, Beijing, China（微软亚洲研究院，北京）
摘要文档摘要通常被建模为序列到序列（Seq 2Seq）学习问题。不幸的是，在有限的监督摘要数据上训练基于Seq 2Seq的大型摘要模型是具有挑战性的。本文提出了三个预训练目标，使我们能够在未标记文本上预训练基于Seq 2Seq的抽象摘要模型。其主要思想是，给定从文档人工构建的输入文本，预先训练模型以恢复原始文档。这些目标包括句子重排、下一句生成和屏蔽文档生成，这些目标与摘要文档摘要任务有着密切的关系。在两个基准摘要数据集上的实验（即，CNN/DailyMail和纽约时报）表明，所有这三个目标都可以提高基线的性能。与在大规模数据（超过160 GB）上预训练的模型相比，我们的方法仅用19 GB的文本进行预训练，就取得了相当的结果，这证明了它的有效性。
2020-10-11 cs.CL
Ranking Sentences for Extractive Summarization with Reinforcement Learning
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；University of Edinburgh（爱丁堡大学）
单文档摘要是在保留文档主要信息内容的同时生成文档的较短版本的任务。在本文中，我们概念化提取摘要作为一个句子排序任务，并提出了一种新的训练算法，通过强化学习目标全局优化的ROUGE评价指标。我们使用我们的算法在CNN和DailyMail数据集上训练神经摘要模型，并通过实验证明，当自动和人工评估时，它的性能优于最先进的提取和抽象系统。
2018-04-16 cs.CL
Unsupervised Abstractive Summarization of Bengali Text Documents
Ahsanullah Univ of Science & Tech（阿赫桑乌拉科技大学）
抽象摘要系统通常依赖于大量的文档-摘要对集合。然而，抽象系统的性能仍然是一个挑战，因为像孟加拉语这样的低资源语言无法获得并行数据。为了克服这个问题，我们提出了一个基于图的无监督摘要系统在单文档设置孟加拉语文本文件，它只需要一个部分的语音（POS）标记和一个预先训练的语言模型孟加拉语文本训练。我们还提供了一个带有文档摘要对的人类注释数据集，以评估我们的抽象模型，并支持孟加拉语未来抽象摘要系统的比较。我们在这个数据集上进行实验，并将我们的系统与几个成熟的无监督提取摘要系统进行比较。我们的无监督抽象摘要模型在不暴露于任何人工注释的参考摘要的情况下优于基线。
2021-02-19 cs.CL
Liputan6: A Large-scale Indonesian Dataset for Text Summarization
School of Computing and Information Systems（计算与信息系统学院）；The University of Melbourne（墨尔本大学）
在本文中，我们介绍了一个大规模的印尼摘要数据集。我们从在线新闻门户网站Liputan6.com获取文章，并获得215，827个文档摘要对。我们利用预先训练的语言模型，通过多语言和单语言基于BERT的模型，在数据集上开发基准提取和抽象摘要方法。我们包括一个彻底的错误分析，通过检查机器生成的摘要，具有低ROUGE分数，并暴露这两个问题与ROUGE本身，以及与提取和抽象的摘要模型。
2020-11-02 cs.CL
Unsupervised Extractive Opinion Summarization Using Sparse Coding
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
意见摘要是自动生成摘要的任务，这些摘要封装了来自多个用户评论的信息。我们提出了语义自动编码器（SemAE），以无监督的方式执行提取意见摘要。SemAE使用字典学习来隐式地从评论中捕获语义信息，并在语义单元上学习每个句子的潜在表示。语义单位应该捕捉抽象的语义概念。我们的提取摘要算法利用这些表示来识别数百条评论中的代表性意见。SemAE还能够执行可控摘要，以生成特定于方面的摘要。我们在SPACE和AMAZON数据集上报告了强大的性能，并进行了实验来研究我们模型的功能。我们的代码可在https://github.com/brcsomnath/SemAE上公开获取。
2022-05-19 cs.CL
Analyzing and Evaluating Faithfulness in Dialogue Summarization
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Kriston AI（Kriston AI（科思顿人工智能））
摘要的抽象性使其容易出现事实性错误。摘要的事实正确性在实际应用之前具有最高优先级。为了提高文本摘要的忠实度，人们做了很多努力。然而，目前还缺乏对对话摘要系统的系统研究。在这项工作中，我们首先对对话摘要的忠实性进行细粒度的人工分析，并观察到超过35%的生成摘要与源对话忠实地不一致。此外，我们提出了一种新的模型级的忠诚度评估方法。它检查了生成模型，其中包含由基于规则的转换创建的多项选择题。实验结果表明，我们的评估模式是一个强大的代理的事实正确性的摘要模型。人类注释的忠实性样本和评估工具包的发布，以促进未来的研究对忠实的对话摘要。
2022-10-21 cs.CL
Measuring the Effect of Discourse Relations on Blog Summarization
Concordia University（康考迪亚大学）
本文提出的工作试图评估和量化的话语关系的使用情况下，博客摘要和比较他们的使用更传统和事实的文本。具体来说，我们测量了6个话语关系的有用性-即比较，权变，插图，归因，主题意见，并从博客的文本摘要的任务归因。我们使用TAC 2008意见摘要数据集评估了每个关系的效果，并将其与DUC 2007数据集的结果进行了比较。结果表明，在这两种文本体裁，权变，比较，和插图关系提供了一个显着的改善摘要内容，而归属，主题意见，和归因关系不提供一个一致的和显着的改善。这些结果表明，至少对于摘要来说，话语关系对于非正式和情感文本和传统的新闻文章一样有用。
2017-08-19 cs.CL
SupMMD: A Sentence Importance Model for Extractive Summarization using Maximum Mean Discrepancy
Australian National University（澳大利亚国立大学）；Google Research（谷歌研究院）
多文档摘要的大部分工作都集中在每个单独的文档集中存在的信息的通用摘要。然而，更新摘要的未充分开发的设置（其中目标是识别每个集合中存在的新信息）具有相同的实际兴趣（例如，向读者呈现关于演进的新闻主题的更新）。在这项工作中，我们提出了SupMMD，一种新的技术，通用和更新摘要的基础上最大的平均差异，从内核两个样本测试。SupMMD结合了针对显著性的监督学习和针对覆盖率和多样性的无监督学习。此外，我们调整多核学习以利用多个信息源之间的相似性（例如，文本特征和基于知识的概念）。我们通过在DUC-2004和TAC-2009数据集上达到或超过当前最先进水平，展示了SupMMD在通用和更新摘要任务中的功效。
2020-10-06 cs.CL
Automated News Summarization Using Transformers
Delhi Technological University（德里理工大学）
在线可用的文本数据量正在以非常快的速度增加，因此文本摘要变得至关重要。大多数现代推荐和文本分类系统都需要处理大量的数据。手动生成冗长文章的精确和流畅的摘要是一项非常烦人和耗时的任务。因此，为数据生成自动摘要并使用它来训练机器学习模型将使这些模型具有空间和时间效率。摘要的生成有两种不同的方法：抽取式摘要和抽象式摘要。提取技术从原始文档中识别出相关句子，并仅从文本中提取那些句子。而在摘要技术中，摘要是在解释原文之后生成的，因此使其更加复杂。在本文中，我们将全面比较几个基于Transformer架构的文本摘要预训练模型。为了进行分析和比较，我们使用了BBC新闻数据集，该数据集包含可用于摘要的文本数据和人类生成的摘要，用于评估和比较机器学习模型生成的摘要。
2021-04-23 cs.CL
ArgLegalSumm: Improving Abstractive Summarization of Legal Documents with Argument Mining
University of Pittsburgh（匹兹堡大学）
在生成法律文件摘要时，一项具有挑战性的任务是处理其争论性质的能力。我们引入了一个简单的技术来捕捉的论证结构的法律文件，通过整合的参数角色标签的摘要过程。使用预训练的语言模型进行的实验表明，我们提出的方法在强基线上提高了性能
2022-09-20 cs.CL
An Unsupervised Masking Objective for Abstractive Multi-Document News Summarization
University of California, San Diego（加州大学圣迭戈分校）
我们表明，一个简单的无监督掩蔽目标可以接近抽象的多文档新闻摘要的监督性能。我们的方法训练了一个最先进的神经摘要模型来预测相对于多文档组具有最高词汇中心性的屏蔽源文档。在Multi-News数据集上的实验中，我们的掩蔽训练目标产生了一个优于过去无监督方法的系统，并且在人类评估中，超过了最好的监督方法，而无需访问任何地面事实摘要。此外，我们评估不同的词汇中心性的措施，启发过去的工作提取摘要，影响最终的表现。
2022-01-07 cs.CL
Guided Neural Language Generation for Abstractive Summarization using Abstract Meaning Representation
The University of Sheffield（谢菲尔德大学）
最近关于抽象摘要的工作在神经编码器-解码器架构方面取得了进展。然而，这样的模型往往是挑战，由于他们缺乏明确的语义建模的源文档及其摘要。在本文中，我们扩展了以前的工作抽象摘要使用抽象意义表示（AMR）与神经语言生成阶段，我们指导使用源文件。我们证明，这一指导提高了7.4和10.5点，在ROUGE-2使用黄金标准AMR解析和解析从现成的解析器分别获得的摘要结果。我们还发现，使用后者的摘要性能比在较大数据集上训练的成熟神经编码器-解码器方法高2个ROUGE-2点。代码可在\url{https://github.com/sheffieldnlp/AMR2Text-summ}上获得
2018-08-28 cs.CL
Abstractive Dialog Summarization with Semantic Scaffolds
Zhejiang University（浙江大学）；University of California, Davis（加州大学戴维斯分校）
在现实世界的应用中，对抽象对话摘要的需求正在增长。例如，客户服务中心或医院希望总结客户服务互动和医患互动。然而，由于缺乏合适的数据集，很少有研究者探讨对话的摘要。我们提出了一个抽象的对话摘要数据集的基础上MultiWOZ。如果我们直接应用以前的国家的最先进的文件摘要对话框的方法，有两个显着的缺点：信息实体，如餐厅名称是难以保存，和内容从不同的对话域有时不匹配。为了解决这两个缺点，我们提出了脚手架指针网络（SPNet），利用现有的注释扬声器角色，语义槽和对话域。SPNet将这些语义支架用于对话摘要。由于ROUGE不能捕捉到上述两个缺点，我们还提出了一个新的评估指标，认为关键的信息实体的文本。在MultiWOZ上，我们提出的SPNet在所有自动和人工评估指标上都优于最先进的抽象摘要方法。
2019-10-02 cs.CL
Leverage Unlabeled Data for Abstractive Speech Summarization with Self-Supervised Learning and Back-Summarization
Ubiqus Labs（Ubiqus实验室）；LIUM – Le Mans Université（勒芒大学计算机科学实验室）；Université de Paris（巴黎大学）；LIA – Avignon Université（阿维尼翁大学计算机科学实验室）
神经抽象摘要的监督方法需要大量的注释语料库，构建成本很高。我们提出了一个法语会议摘要任务，报告预测的基础上自动转录的会议录音。为了为该任务构建语料库，需要获取每次会议的（自动或手动）转录，然后将其与相应的手动报告进行分割和对齐，以产生适合于训练的训练样本。另一方面，我们可以访问大量未对齐的数据，特别是没有相应转录的报告。报告是专业的书面和良好的格式，使预处理简单。在这种情况下，我们研究了如何使用两种方法来利用这种大量的未对齐数据：（i）使用目标端去噪编码器-解码器模型的自监督预训练;（ii）后摘要，即通过学习预测给定报告的转录来逆转摘要过程，以便将单个报告与生成的转录对齐，并使用此合成数据集进行进一步训练。我们报告了两种方法在两个评估集上与以前的基线（仅在对齐数据上训练）相比的巨大改进。此外，将两者结合起来可以得到更好的结果，在两个评估集上，其表现优于基线，分别为+6 ROUGE-1和ROUGE-L以及+5 ROUGE-2
2020-09-17 cs.CL
ED-FAITH: Evaluating Dialogue Summarization on Faithfulness
Meta AI
摘要摘要模型通常会生成不忠实于输入的内容，因此突出了评估所生成摘要的忠实性的重要性。大部分忠实度指标只在新闻领域进行评估，它们是否可以转移到其他摘要任务中？在这项工作中，我们首先提出了一个系统的研究的忠实度指标的对话摘要。我们在对话数据集上评估了常见的忠诚度指标，并观察到大多数指标与人类判断的相关性很差，尽管在新闻数据集上表现良好。鉴于这些发现，为了提高现有指标在对话摘要上的性能，我们首先对域内数据集进行微调，然后对负样本进行不似然训练，并表明它们可以成功地提高对话数据的指标性能。受T0语言模型强大的zero-shot性能的启发，我们进一步提出了T0-Score --一种新的忠实性评估指标，它在多个领域的基线指标上显示出一致的改进。
2022-11-15 cs.CL
A Cascade Approach to Neural Abstractive Summarization with Content Selection and Fusion
University of Central Florida（中佛罗里达大学）；Adobe Research（奥多比研究院）
我们提出了一个实证研究，有利于级联架构的神经文本摘要。摘要实践变化很大，但除了新闻摘要之外，很少有其他的摘要可以提供足够量的训练数据，足以满足端到端神经摘要系统的要求，该系统联合执行内容选择和表面实现以生成摘要。这样的系统也对摘要评估提出了挑战，因为它们迫使内容选择与文本生成一起评估，但后者的评估仍然是一个未解决的问题。在本文中，我们提出的实证结果表明，级联管道的性能，分别识别重要的内容片段，并将它们缝合在一起成为一个连贯的文本是可比的或超越的端到端系统，而管道架构允许灵活的内容选择。最后，我们讨论了如何在神经文本摘要中利用级联管道，并为未来的研究指明了重要方向。
2020-10-08 cs.CL
From News to Summaries: Building a Hungarian Corpus for Extractive and Abstractive Summarization
HUN-REN Institute for Computer Science and Control（HUN-REN计算机科学与控制研究所）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）
针对匈牙利语摘要资源稀缺的问题，本文构建了开源语料库HunSum-2，生成两类摘要标签并训练基线模型，经评估验证有效，相关资源全部公开以推动后续研究与应用。
2024-04-12 cs.CL
The Rule of Three: Abstractive Text Summarization in Three Bullet Points
Graduate School of System Design（系统设计研究生院）；Tokyo Metropolitan University（东京都立大学）
基于神经网络的方法已经广泛用于抽象文本摘要。虽然以前提出的模型抽象的文本摘要解决了重复的问题，相同的内容在摘要中，他们没有明确考虑其信息结构。这些先前的模型未能解释生成的摘要中的信息结构的原因之一是，标准数据集包括可变长度的摘要，导致分析信息流时出现问题，具体地说，第一个句子与下面的句子相关的方式。因此，我们使用一个数据集包含的摘要只有三个要点，并提出了一个基于神经网络的抽象摘要模型，认为所生成的摘要的信息结构。我们的实验结果表明，摘要的信息结构可以控制，从而提高整体摘要的性能。
2018-09-28 cs.CL
Echoes from Alexandria: A Large Resource for Multilingual Book Summarization
Sapienza University of Rome（罗马第一大学）；Babelscape（Babelscape公司）；Free University of Bozen（博尔扎诺自由大学）
本文构建涵盖5种语言、25个语言对的多语言图书摘要资源Echoes及三个数据集，并提出先抽取后抽象基线，证明其更适合整本书摘要。
2023-06-07 cs.CL
A Hybrid Strategy for Chat Transcript Summarization
Verizon Communications（威瑞森通信）
本文提出一种结合抽取式与生成式技术并利用强化学习优化质量的混合方法，用于在缺乏标注摘要时大规模部署聊天记录摘要。
2024-07-31 cs.CL
Extractive Summarization of Call Transcripts
Verizon Communications（威瑞森通信公司）
文本摘要是从文本中提取最重要的信息，并以较少的句子简洁地呈现的过程。通话记录是涉及客户（呼叫者）和代理（客户代表）之间电话对话的文本描述的文本。本文提出了一种本土开发的方法，结合主题建模和句子选择与标点符号恢复在浓缩不佳标点或unpunctuated通话记录，以产生更可读的摘要。广泛的测试，评估和比较已经证明了这个汇总器的呼叫成绩单摘要的有效性。
2021-04-15 cs.CL
Clustering of Deep Contextualized Representations for Summarization of Biomedical Texts
近年来，将领域知识融入文本摘要过程的摘要器已经优于一般方法，特别是对于生物医学文本的摘要。然而，领域知识库的建设和维护是资源密集型的任务，需要大量的人工注释。在本文中，我们证明了从预训练的深度语言模型BERT中提取的上下文表示可以有效地用于测量句子之间的相似性并量化信息内容。实验结果表明，我们的基于BERT的摘要器可以提高生物医学摘要的性能。虽然摘要器不使用任何领域知识的来源，它可以捕捉句子的上下文比比较方法更准确。源代码和数据可在https://github.com/BioTextSumm/BERT-based-Summ上获得。
2019-08-22 cs.CL
AdvSumm: Adversarial Training for Bias Mitigation in Text Summarization
Columbia University（哥伦比亚大学）
本文提出领域无关的对抗训练框架AdvSumm，通过在序列到序列模型嵌入层施加梯度引导扰动来缓解文本摘要中的姓名-国籍偏差和政治框架偏差，并在不损害摘要质量的前提下优于标准transformers和回译等数据增强方法。
2025-09-20 cs.CL
PromptSum: Parameter-Efficient Controllable Abstractive Summarization
Nanyang Technological University（南洋理工大学）；Salesforce AI（赛富时人工智能研究院）
PromptSum 结合提示微调、多任务目标和离散实体提示，在参数高效、数据高效和可控性条件下实现强抽象式摘要性能。
2023-08-06 cs.CL
CNewSum: A Large-scale Chinese News Summarization Dataset with Human-annotated Adequacy and Deducibility Level
ByteDance（字节跳动）
自动文本摘要旨在为输入文档生成简短但关键的摘要。近年来，抽取和抽象方法在英语数据集上取得了巨大的成功。然而，由于缺乏大规模的数据集，中文文本摘要的研究很少。在本文中，我们提出了一个大规模的中文新闻摘要数据集CNewSum，其中包括304，307个文档和人类撰写的新闻摘要。它有很长的文档和高度抽象的摘要，这可以鼓励文档级的理解和当前摘要模型的生成。CNewSum的另一个显着特征是它的测试集包含摘要的充分性和演绎性注释。充分性水平度量文档所覆盖的摘要信息的程度，演绎性表示模型生成摘要所需的推理能力。这些注释可以帮助研究人员分析和定位他们的模型性能瓶颈。我们研究了CNewSum上最近的方法，并发布了我们的数据集，为中文自动摘要研究提供了一个坚实的测试平台。
2021-10-21 cs.CL
Hierarchical3D Adapters for Long Video-to-text Summarization
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
在本文中，我们专注于视频到文本摘要，并研究如何最好地利用多模态信息来摘要长输入（例如，一小时长的电视节目）转换成长输出（例如，多句总结）。我们扩展了SummScreen（Chen等人，2021），由具有参考摘要的电视剧集的转录组成的对话摘要数据集，并通过收集相应的全长视频来创建多模态变体。我们将多模态信息有效地使用适配器模块增强了层次结构，同时调整只有3.8%的模型参数的预训练的文本摘要。我们的实验表明，多模态信息提供了更高的性能超过内存繁重和完全微调的文本摘要方法。
2022-10-10 cs.CL
Can LMs Generalize to Future Data? An Empirical Analysis on Text Summarization
University of Macau（澳门大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
本文构建覆盖2010–2022年的TempoSum基准，实证检验摘要模型对未来数据的时间泛化，发现参数化知识显著影响未来摘要忠实性，现有增强方法效果有限。
2023-11-02 cs.CL
Automatic text summarization: What has been done and what has to be done
Ecole nationale Supérieure d’Informatique (ESI, ex. INI)（阿尔及利亚阿尔及尔高等国立计算机学院（ESI，前身为INI））
在处理大量信息时，摘要很重要。它们最重要的好处是节省时间，而我们现在没有多少时间。因此，摘要必须简短、具有代表性和可读性。自动生成摘要对人类来说是有益的，因为它可以节省时间并帮助选择相关文档。自动摘要，特别是自动文本摘要（ATS）并不是一个新的研究领域，它在50年代就被人们所知。从那时起，研究者们就一直在积极寻找完美的摘要方法。在这篇文章中，我们将讨论自动摘要的不同工作，特别是最近的。我们将提出一些问题和限制，阻止工作向前迈进。这些挑战中的大多数与处理语言的性质有关。这些挑战对于学术界和开发人员来说都很有趣，作为该领域的一条道路。
2019-04-01 cs.CL
To Adapt or to Fine-tune: A Case Study on Abstractive Summarization
University of Edinburgh（爱丁堡大学）
摘要领域的最新进展利用预训练的语言模型，而不是从头开始训练模型。然而，这样的模型是缓慢的训练，并伴随着大量的开销。研究人员已经提出了一些轻量级的替代方案，如较小的适配器，以减轻缺点。尽管如此，仍然不确定使用适配器是否有利于总结任务，在提高效率而不牺牲性能方面。在这项工作中，我们进行了多方面的调查微调和适配器的摘要任务具有不同的复杂性：语言，域和任务转移。在我们的实验中，微调预训练的语言模型通常比使用适配器获得更好的性能;性能差距与所使用的训练数据的量呈正相关。值得注意的是，适配器在资源非常少的情况下超过了微调。我们进一步提供了对多语言性，模型收敛性和鲁棒性的见解，希望能够阐明抽象摘要中微调或适配器的务实选择。
2022-08-30 cs.CL
ARMAN: Pre-training with Semantically Selecting and Reordering of Sentences for Persian Abstractive Summarization
University of Tehran（德黑兰大学）；Institute for Research in Fundamental Sciences (IPM)（基础科学研究研究所（IPM））
摘要文本摘要是受预训练语言模型出现影响的领域之一。摘要文摘的预训练主要集中在与正文相似词较多的摘要上，而对生成句子与原文的语义相似度关注较少。我们提出了ARMAN，这是一个基于transformer的编码器-解码器模型，它预先训练了三个新的目标来解决这个问题。在ARMAN中，根据修改后的语义得分从文档中选择要掩蔽的显著句子并形成伪摘要。为了更准确地总结和类似于人类的写作模式，我们应用了修改后的句子重排。我们评估了我们提出的模型在六个下游波斯语摘要任务。实验结果表明，我们提出的模型达到了最先进的性能上的所有六个摘要任务测量的ROUGE和BERTScore。我们的模型在文本蕴涵、问题释义和多项选择问答方面也优于先前的工作。最后，我们建立了一个人的评价，并表明使用语义得分显着提高摘要结果。
2021-09-09 cs.CL
A Stepwise Questioning Expert-Editor Multi-Agent Framework for Long-Document Summarization
针对大语言模型长文档摘要性能挑战，提出专家 - 编辑逐步提问多智能体方法，通过不同方面提问和提供修订线索完善摘要，经实验验证了该方法在长文档科学数据集上的有效性。
2026-07-14 cs.AI cs.CL
Unsupervised Text Summarization via Mixed Model Back-Translation
Facebook AI Research（脸书人工智能研究院）
基于反向翻译的方法最近在无监督的序列到序列任务（诸如机器翻译或风格转移）中取得了重大进展。在这项工作中，我们扩展的范式学习的句子摘要系统从不对齐的数据的问题。我们提出了几个初始模型，依赖于任务的不对称性来执行第一个回译步骤，并展示了将这些不同的初始化方法创建的数据相结合的价值。我们的系统在从完全未对齐的数据中进行无监督句子摘要方面优于当前最先进的技术超过2个ROUGE，并且与最近的半监督方法的性能相匹配。
2019-08-22 cs.CL
Towards Improving Faithfulness in Abstractive Summarization
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Ant Group（蚂蚁集团）；University of Notre Dame（圣母大学）
尽管基于预训练语言模型的神经抽象摘要取得了成功，但一个未解决的问题是生成的摘要并不总是忠实于输入文档。不忠实问题有两个可能的原因：（1）摘要模型无法理解或捕捉输入文本的要点，以及（2）该模型过度依赖于语言模型来生成流畅但不充分的单词。在这项工作中，我们提出了一个忠实增强摘要模型（FES），这是专为解决这两个问题，提高抽象摘要的忠实性。对于第一个问题，我们建议使用问答（QA）来检查编码器是否完全掌握输入文档，并能够回答输入中的关键信息的问题。QA对正确输入单词的关注也可以用来规定解码器应该如何关注源。对于第二个问题，我们引入了一个定义在语言和摘要模型之间的差异的最大余量损失，旨在防止过度信任的语言模型。在两个基准摘要数据集CNN/DM和XSum上进行的大量实验表明，我们的模型显著优于强基线。对事实一致性的评估也表明，我们的模型比基线生成更忠实的摘要。
2022-10-04 cs.CL
Exploring Content Selection in Summarization of Novel Chapters
Columbia University（哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）；Amazon AI（亚马逊人工智能实验室）
我们提出了一个新的摘要任务，使用摘要/章节对在线学习指南生成小说章节的摘要。这是一个比新闻摘要任务更难的任务，考虑到章节的长度以及摘要中的极端释义和概括。我们专注于提取摘要，这需要创建一组黄金标准的提取摘要。我们提出了一个新的指标，用于将参考摘要句子与章节句子对齐，以创建黄金提取物，并尝试不同的对齐方法。我们的实验表明，通过自动度量和众包金字塔分析，我们的任务比以前的对齐方法有显着的改进。我们在https://github.com/manestay/novel-chapter-dataset上提供我们的数据汇集脚本。
2021-03-30 cs.CL
Dimensionality on Summarization
Chinese Academy of Sciences（中国科学院）；Aston University（阿斯顿大学）
摘要是人类智能的关键特征之一。它在理解和表达中起着重要的作用。随着网络空间中文本、图片和视频的不断膨胀，自动文摘的需求越来越迫切。文本摘要的研究已经有半个多世纪了，但是自动生成一个令人满意的摘要仍然是一个难题。传统的语言分析方法对语篇进行经验性分析，忽视了语言使用和理解的基本特征和原则。本文在多维分类空间中对已有的文本摘要方法进行了总结，介绍了一种多维的研究和开发方法，揭示了语言使用和理解的基本特征和原则，探讨了摘要的基本机制，研究了表征的维度和形式，提出了一种多维的评价机制。研究扩展到将图片纳入摘要，视频，图形和图片的摘要，然后得到一个通用的摘要框架。
2015-07-01 cs.CL cs.IR
The Current State of Summarization
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
本文概述了抽象文本摘要的当前技术发展水平，包括向预训练编码器-解码器模型和大型自回归语言模型转变的范式，并探讨了评估挑战、指令微调模型在零样本摘要中的潜力及商业应用集成现状。
2023-08-01 cs.AI cs.CL
Bengali text summarization by sentence extraction
Jadavpur University（贾达普大学）
文本摘要是从一个或多个文本中选取重要部分的信息生成摘要或摘要的过程。在自动文本摘要过程中，将文本提供给计算机，计算机返回原始文本的较短的较少冗余的摘录或摘要。已经开发了许多技术来总结英语文本。但是，很少有人尝试孟加拉语文本摘要。本文提出了一种孟加拉语文本摘要的方法，它从孟加拉语文档中提取重要的句子来生成摘要。
2012-01-11 cs.CL cs.IR
Extractive Summarization: Limits, Compression, Generalized Model and Heuristics
University of Houston（休斯顿大学）
摘要技术因其在缓解信息过载方面的优势而引起了研究者的广泛关注。然而，这仍然是一个严峻的挑战。在这里，我们首先证明了在单文档和多文档摘要任务的ROUGE评估下DUC数据集上提取摘要器的召回率（和F1分数）的经验限制。接下来，我们定义了文档的可压缩性的概念，并提出了一种新的摘要模型，该模型概括了文献中现有的模型，并集成了摘要的几个维度，即，抽象与提取、单文档与多文档以及句法与语义。最后，我们研究了一些新的和现有的单文档摘要算法在一个单一的框架，并比较与国家的最先进的摘要DUC数据。
2017-04-18 cs.CL cs.IR
Survey of Query-based Text Summarization
针对基于查询的文本摘要领域现有研究缺乏系统梳理的问题，本综述总结了该领域及相关通用文本摘要的代表性研究，并提出分类体系与相关分析。
2024-10-06 cs.CL cs.IR
Transformer Models for Text Summarization: A Comparative Study of BART, BERT, and RoBERTa
该研究针对文本摘要任务，对比分析BERT、RoBERTa、BART三款Transformer模型的架构、预训练策略及在抽取式、生成式摘要任务中的适用性，为相关应用提供参考。
2026-08-21 cs.AI cs.CL
BERT Fine-tuning For Arabic Text Summarization
Department of Electrical and Electronics Engineering（电气与电子工程系）
微调预训练的BERT模型是提取/抽象文本摘要的最先进方法，在本文中，我们展示了如何将这种微调方法应用于阿拉伯语，以构建第一个用于抽象阿拉伯语文本摘要的文档化模型，并展示其在阿拉伯语提取摘要中的性能。我们的模型适用于多语言BERT（因为阿拉伯语没有自己的预训练BERT）。我们首先在英语语料库中展示了它的性能，然后将其应用于阿拉伯语语料库中的提取和抽象任务。
2020-03-29 cs.CL cs.LG
Incorporating Domain Knowledge for Extractive Summarization of Legal Case Documents
IIT Kharagpur（印度理工学院卡哈拉格普尔分校）；L3S Research Center（L3S研究中心）
法律案例文档的自动摘要是一个重要的和实际的挑战。除了许多独立于领域的文本摘要算法可以用于此目的，几个算法已经开发了专门用于总结法律案例文档。然而，大多数现有的算法没有系统地纳入领域知识，指定什么信息应该理想地存在于法律案件文档摘要中。为了解决这一差距，我们提出了一个无监督的摘要算法DELSumm，旨在系统地将法律专家的指导方针纳入优化设置。我们对印度最高法院的案例文件进行了详细的实验。实验表明，我们提出的无监督方法优于几个强基线的ROUGE分数，包括一般的摘要算法和法律特定的。事实上，尽管我们提出的算法是无监督的，但它优于几个经过数千个文档摘要对训练的监督摘要模型。
2021-06-30 cs.CL cs.IR
Unsupervised Extractive Dialogue Summarization in Hyperdimensional Space
ActionPower
本研究提出基于超维空间的无监督抽取式摘要框架HyperSum，利用高维向量伪正交性构建高效句子嵌入，经聚类提取中心点生成摘要，性能优于现有最优模型且速度快10-100倍，已开源作为强基线。
2024-05-16 cs.AI cs.CL
OpineSum: Entailment-based self-training for abstractive opinion summarization
Google Research（谷歌研究院）
一个典型的产品或地方往往有数百个评论，这些文本的摘要是一个重要的和具有挑战性的问题。最近在新闻等领域的抽象摘要方面的进展是由监督系统驱动的，这些系统在数十万篇新闻文章中进行了训练，并与人类撰写的摘要相结合。然而，对于意见文本，这种大规模的数据集很少可用。无监督方法、自我训练和少样本学习方法弥补了这一差距。在这项工作中，我们提出了一种新的自我训练方法，OpineSum，抽象的意见摘要。这种方法中的摘要是使用文本蕴涵的新应用程序构建的，并捕获了对一个项目的各种评论的一致意见。该方法可用于大规模获得银标准摘要，并可用于无监督和Few-Shot抽象摘要系统的训练。OpineSum在这两种设置下都实现了最先进的性能。
2022-12-21 cs.AI cs.CL
Summarization with Graphical Elements
University of Amsterdam（阿姆斯特丹大学）；Microsoft Research（微软研究院）
近年来，自动文本摘要取得了长足的进步。随着这一进展，出现了一个问题，即通常由自动摘要模型生成的摘要类型是否符合用户的需求。Ter Hoeve et al（2020）否定地回答了这个问题。除其他外，他们建议专注于生成具有更多图形元素的摘要。这与我们从心理语言学文献中了解到的人类如何处理文本是一致的。从这两个角度出发，我们提出了一个新的任务：总结与图形元素，我们验证了这些摘要是有帮助的临界质量的人。我们收集了一个高质量的人类标记数据集，以支持对任务的研究。我们提出了一些基线方法，表明任务是有趣的和具有挑战性的。因此，通过这项工作，我们希望在自动摘要社区中激发一条新的研究路线。
2022-04-25 cs.AI cs.CL
Semi-Supervised Dialogue Abstractive Summarization via High-Quality Pseudolabel Selection
AWS AI Labs（亚马逊AI实验室）；Virginia Tech（弗吉尼亚理工大学）
针对现有半监督方法不适用于生成式对话摘要的问题，提出包含语义不变性、覆盖度、忠实度三维度的SiCF评分法筛选高质量伪标签，提升半监督对话摘要性能。
2024-03-06 cs.AI cs.CL
Factual Error Correction for Abstractive Summarization Models
McGill University（麦吉尔大学）；MILA（MILA研究所）
神经抽象摘要系统已经取得了可喜的进展，这要归功于大规模数据集和使用自监督方法预训练的模型的可用性。然而，确保抽象摘要系统生成的摘要的事实一致性是一个挑战。我们提出了一个后编辑校正模块，以解决这个问题，通过识别和纠正生成的摘要中的事实错误。神经校正器模型在人工示例上进行预训练，这些人工示例是通过对参考摘要应用一系列启发式变换而创建的。这些转换的灵感来自于对最先进的摘要模型输出的错误分析。实验结果表明，该模型能够纠正由其他神经摘要模型生成的摘要中的事实错误，并且在CNN/DailyMail数据集上的事实一致性评价上优于以前的模型。我们还发现，从人工纠错转移到下游设置仍然是非常具有挑战性的。
2021-04-01 cs.AI cs.CL
Faithful to the Original: Fact Aware Neural Abstractive Summarization
The Hong Kong Polytechnic University（香港理工大学）；Hong Kong Polytechnic University Shenzhen Research Institute（香港理工大学深圳研究院）；Microsoft Research（微软研究院）；Peking University（北京大学）
摘要与抽取式摘要不同，摘要必须融合源文本的不同部分，这倾向于创建虚假事实。我们的初步研究表明，来自最先进的神经摘要系统的近30%的输出都存在这个问题。虽然以前的摘要方法通常侧重于信息量的提高，我们认为，忠实性也是一个实用的摘要系统的重要前提。为了避免在摘要中生成虚假事实，我们利用开放的信息抽取和依赖解析技术从源文本中提取实际的事实描述。然后提出了双注意序列到序列框架，以迫使生成条件的源文本和提取的事实描述。在Gigaword基准数据集上的实验表明，我们的模型可以大大减少80%的虚假摘要。值得注意的是，事实描述也带来了显着的信息量的改善，因为他们往往浓缩的源文本的含义。
2017-11-13 cs.CL cs.IR
Bengali Abstractive News Summarization(BANS): A Neural Attention Approach
Shahjalal University of Science and Technology（沙贾拉勒科技大学）
摘要是在保持文本上下文的基础上，根据从原始文本中提取的信息生成新颖句子的过程。由于摘要的复杂性，过去的研究工作主要集中在抽取式摘要方法上。然而，随着序列到序列（seq 2seq）模型的成功，抽象摘要变得更加可行。虽然在英语语言中已经做了大量的基于摘要的研究，但只有几项工作是关于孟加拉语摘要新闻摘要（BANS）的。在这篇文章中，我们提出了一个基于seq 2seq的长短期记忆（LSTM）网络模型，在编码器-解码器处具有注意力。我们提出的系统部署了一个基于本地注意力的模型，该模型可以生成一个长序列的单词，这些单词具有清晰和类似人类的句子，其中包含原始文档的重要信息。我们还准备了一个数据集，其中包含从bangla.bdnews24.com1收集的超过19，000篇文章和相应的人类书面摘要，这是迄今为止最广泛的孟加拉语新闻文档摘要数据集，并在Kaggle 2中公开发布。我们定性和定量地评估了我们的模型，并将其与其他已发表的结果进行了比较。它显示出显着的改善方面的人类评价分数与国家的最先进的方法为BANS。
2020-12-03 cs.AI cs.CL
Document-Level Abstractive Summarization
INESC-ID（里斯本系统与计算机工程研究所）；Instituto Superior Técnico（高等技术学院）；Universidade de Lisboa（里斯本大学）；Instituto de Telecomunicações（电信研究所）
自动文本摘要的任务产生一个简洁流畅的文本摘要，同时保留关键信息和整体意义。近年来，通过使用基于Transformer体系结构的模型，文档级摘要的最新方法有了显著的改进。然而，相对于序列长度的二次存储器和时间复杂度使得它们的使用非常昂贵，特别是对于文档级摘要所需的长序列。我们的工作解决了文档级摘要的问题，通过研究如何有效的Transformer技术可以用来提高自动摘要的很长的文本。特别是，我们将使用arXiv数据集（由多篇科学论文和相应的摘要组成）作为这项工作的基线。然后，我们提出了一种新的检索增强方法的基础上的架构，通过处理较小的块，降低了整个文档的摘要生成的成本。结果低于基线，但表明更有效的记忆，消费和诚实。
2022-12-06 cs.CL cs.IR
