What comes next? Extractive summarization by next-sentence prediction
McGill University(麦吉尔大学);University of Edinburgh(爱丁堡大学)
现有的自动摘要方法假设摘要的长度限制是给定的,并将内容选择视为优化问题,以在此预算内最大化信息量并最小化冗余。这个框架忽略了这样一个事实,即人类编写的摘要具有丰富的内部结构,可以利用这些结构来训练摘要系统。我们提出了NEXTSUM,一种新的方法来总结的基础上的模型,预测下一个句子,包括在摘要不仅使用源文章,但也产生了迄今为止的摘要。我们表明,这样的模型成功地捕捉到摘要特定的话语动作,并导致更好的内容选择性能,除了自动预测多长时间的目标摘要应该。我们进行实验的纽约时报注释语料库的摘要,其中NEXTSUM优于铅和内容模型摘要基线的显着利润率。我们还表明,我们的系统产生的摘要的长度与人类书面黄金标准的长度相关。
2019-01-12 cs.CL
Learning Summary-Worthy Visual Representation for Abstractive Summarization in Video
Sun Yat-sen University(中山大学);Guangdong Key Laboratory of Big Data Analysis and Processing(广东省大数据分析与处理重点实验室);The Chinese University of Hong Kong(香港中文大学)
提出一种学习摘要价值视觉表示的新方法,利用跨模态转录与伪摘要知识,在三个公开数据集上超越基线,尤其在小数据场景下提升显著。
2023-05-08 cs.CL
OrderSum: Semantic Sentence Ordering for Extractive Summarization
OrderSum提出了一种新颖的抽取式摘要模型,通过将句子顺序融入摘要嵌入并训练模型识别语义空间中更好的顺序,同时提升了句子包含与排序性能,在CNN/DailyMail上以ROUGE-L 30.52超越先前最优模型2.54。
2025-02-22 cs.CL
Summary Refinement through Denoising
Institute of Neuroinformatics, University of Zürich and ETH Zürich(苏黎世大学与苏黎世联邦理工学院神经信息学研究所)
我们提出了一个简单的方法后处理的文本摘要系统的输出,以改善其整体质量。我们的方法是训练文本到文本重写模型,以纠正信息冗余的错误,可能会出现在摘要。我们对合成生成的噪声摘要进行训练,测试三种不同类型的噪声,这些噪声在每个摘要中引入了上下文外的信息。当应用于提取和抽象摘要基线时,我们的摘要去噪模型在减少冗余的同时提高了指标。
2019-07-25 cs.CL
Should We Trust This Summary? Bayesian Abstractive Summarization to The Rescue
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
我们使用贝叶斯深度学习的工具,在现代抽象摘要模型的背景下探索不确定性的概念。我们的方法近似贝叶斯推理,首先扩展了最先进的总结模型与蒙特卡洛辍学,然后使用它们来执行多个随机向前传递。基于贝叶斯推理,我们能够有效地量化预测时的不确定性。有了可靠的不确定性度量,我们可以通过过滤掉生成的高不确定性摘要来改善最终用户的体验。此外,不确定性估计可以用作选择用于注释的样本的标准,并且可以与主动学习和人在回路方法很好地配对。最后,贝叶斯推理使我们能够找到一个贝叶斯总结,它比确定性的表现更好,更强大的不确定性。在实践中,我们表明,我们的变分贝叶斯等价BART和PEGASUS可以在多个基准数据集上胜过他们的确定性同行。
2022-05-03 cs.CL
AgreeSum: Agreement-Oriented Multi-Document Summarization
Google Research(谷歌研究院);New York University(纽约大学)
我们的目标是重新关注一个特定的多文档摘要(MDS)的任务,我们称之为EaseSum:面向协议的多文档摘要。给定一组文章,目标是提供抽象摘要,表示所有输入文章的通用和忠实信息。由于缺乏现有的数据集,我们创建了一个数据集为pageSum,并提供注释的文章摘要蕴涵关系的一个子集的集群在数据集中。我们的目标是通过将性能最好的预训练单文档摘要模型PEGASUS应用于PegeSum,利用监督损失的注释聚类和基于T5的蕴涵相关和语言相关损失的未注释聚类,为任务创建强大的基线。与其他基线相比,自动评估和人工评估在生成的摘要中显示出更好的文章摘要和聚类摘要蕴涵。另外,我们希望我们的文章摘要蕴涵注释有助于社区提高抽象摘要的忠实性。
2021-06-04 cs.CL
The Rule of Three: Abstractive Text Summarization in Three Bullet Points
Graduate School of System Design(系统设计研究生院);Tokyo Metropolitan University(东京都立大学)
基于神经网络的方法已经广泛用于抽象文本摘要。虽然以前提出的模型抽象的文本摘要解决了重复的问题,相同的内容在摘要中,他们没有明确考虑其信息结构。这些先前的模型未能解释生成的摘要中的信息结构的原因之一是,标准数据集包括可变长度的摘要,导致分析信息流时出现问题,具体地说,第一个句子与下面的句子相关的方式。因此,我们使用一个数据集包含的摘要只有三个要点,并提出了一个基于神经网络的抽象摘要模型,认为所生成的摘要的信息结构。我们的实验结果表明,摘要的信息结构可以控制,从而提高整体摘要的性能。
2018-09-28 cs.CL
Joint Parsing and Generation for Abstractive Summarization
University of Central Florida(中佛罗里达大学);Fudan University(复旦大学);Tencent AI Lab(腾讯AI实验室)
由抽象摘要系统生成的句子可能是不合语法的,并且无法保留原始含义,尽管它们在局部是流畅的。在本文中,我们提出了解决这个问题,联合生成一个句子和它的句法依赖分析,同时执行抽象。如果生成一个单词会给摘要引入一个错误的关系,那么必须阻止这种行为。因此,所提出的方法有望产生合乎语法的句子,并鼓励总结保持真实的原始。我们对这项工作的贡献是双重的。首先,我们提出了一种新的神经架构的抽象摘要,结合了顺序解码器与基于树的解码器在同步的方式来生成一个摘要句子和它的语法分析。其次,我们描述了一种新的人类评估协议,以评估是否以及在何种程度上,摘要仍然是真实的,其原始含义。我们评估了我们的方法在一些摘要数据集,并展示了竞争力的结果对强大的基线。
2019-11-23 cs.CL
Topic-Aware Encoding for Extractive Summarization
文档摘要提供了一种更快地理解文本文档集合的工具,并有几个实际应用。随着在线文本数据的增长,近年来提出了许多摘要模型。基于序列到序列(Seq2Seq)的神经摘要模型由于其高性能而在摘要领域中应用最广泛。这是因为在编码时充分考虑了文本中的语义信息和结构信息。然而,现有的抽取式摘要模型很少关注和利用中心主题信息来辅助摘要的生成,导致模型不能保证生成的摘要是在主主题下生成的。一个冗长的文档可以跨越多个主题,而一个摘要无法公正地处理所有主题。因此,生成高质量摘要的关键是确定中心主题,并在此基础上构建摘要,特别是对于长文档。我们提出了一个主题感知编码的文档摘要来处理这个问题。该模型有效地结合了句法级和主题级信息,构建了一个全面的句子表示。具体而言,在基于神经元的文本级表示学习中添加神经元主题模型,以充分考虑用于捕获原始文档中的关键内容的中心主题信息。在三个公共数据集上的实验结果表明,我们的模型优于最先进的模型。
2022-03-31 cs.CL
Toward Abstractive Summarization Using Semantic Representations
School of Computer Science(计算机科学学院);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种新的抽象摘要框架,借鉴了最近发展的树库的抽象意义表示(AMR)。在这个框架中,源文本被解析成一组AMR图,这些图被转换成摘要图,然后从摘要图生成文本。我们专注于图到图的转换,减少了源语义图到一个摘要图,利用现有的AMR解析器,并假设最终可用的AMR到文本生成器。该框架是数据驱动的,可训练的,而不是专门为特定领域设计的。在金标准AMR注释和系统解析上的实验显示了良好的结果。代码可在:https://github.com/summarization
2018-05-25 cs.CL
EDU-level Extractive Summarization with Varying Summary Lengths
University of Manchester(曼彻斯特大学)
抽取模型通常将文本摘要表述为从文档中抽取固定的顶部$k$显著句子作为摘要。很少有研究对抽取细粒度的基本语篇单元(EDU)进行研究,很少对抽取单元的选择进行分析和论证。此外,固定顶部$k$显著句的选择策略不太适合摘要需要,因为不同文档中的显著句的数量不同,因此在现实中不存在共同的或最好的$k$。为了填补这一空白,本文首先对基于教育单元和句子的甲骨文摘要进行了对比分析,从理论和实验两个角度对教育单元摘要的自动评价得分高于句子的现象进行了论证和量化。针对教育单元的这一特点,本文进一步提出了一种基于变摘要律的教育单元级抽取模型,并给出了相应的学习算法。EDU-VL学习编码和预测文档中EDU的概率,基于各种$k$值生成具有不同长度的多个候选摘要,并以端到端的训练方式对候选摘要进行编码和评分。最后,EDU-VL在单文档和多文档基准数据集上进行了实验,并与最先进的提取模型相比,在ROUGE分数上显示出改进的性能,进一步的人工评估表明,EDU成分摘要保持了良好的语法性和可读性。
2023-03-13 cs.CL
On Improving Summarization Factual Consistency from Natural Language Feedback
Yale University(耶鲁大学);Microsoft Research(微软研究院)
本研究提出利用自然语言信息反馈改善摘要事实一致性,构建DeFacto数据集,通过微调语言模型在编辑、反馈生成和修正任务中提升性能,而大型语言模型零样本能力不足。
2023-10-16 cs.CL
How to Write Summaries with Patterns? Learning towards Abstractive Summarization through Prototype Editing
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Tencent AI Lab(腾讯AI实验室);Center for Data Science, Peking University(北京大学数据科学中心)
在特殊情况下,摘要应符合特定的文体模式,如法院判决书和学术论文摘要。为此,可以利用原型文档-摘要对来生成更好的摘要。在这个任务中有两个主要的挑战:(1)模型需要从原型中整合学习到的模式,但是(2)应该避免将模式化单词以外的内容(例如不相关的事实)复制到生成的摘要中。为了解决这些问题,我们设计了一个基于原型编辑的摘要生成器(Prototype Editing based Summary Generator,PESG)。PESG首先通过分析原型文档与其摘要之间的相关性来学习摘要模式和原型事实。然后利用原型事实来帮助从输入文档中提取事实。接下来,编辑生成器基于概要模式或提取的事实生成新的概要。最后,为了解决第二个挑战,使用事实检查器来估计输入文档和生成的摘要之间的互信息,为生成器提供附加信号。在大规模真实文本摘要数据集上进行的大量实验表明,PESG在自动度量和人工评估方面都达到了最先进的性能。
2019-09-19 cs.CL
CNewSum: A Large-scale Chinese News Summarization Dataset with Human-annotated Adequacy and Deducibility Level
ByteDance(字节跳动)
自动文本摘要旨在为输入文档生成简短但关键的摘要。近年来,抽取和抽象方法在英语数据集上取得了巨大的成功。然而,由于缺乏大规模的数据集,中文文本摘要的研究很少。在本文中,我们提出了一个大规模的中文新闻摘要数据集CNewSum,其中包括304,307个文档和人类撰写的新闻摘要。它有很长的文档和高度抽象的摘要,这可以鼓励文档级的理解和当前摘要模型的生成。CNewSum的另一个显着特征是它的测试集包含摘要的充分性和演绎性注释。充分性水平度量文档所覆盖的摘要信息的程度,演绎性表示模型生成摘要所需的推理能力。这些注释可以帮助研究人员分析和定位他们的模型性能瓶颈。我们研究了CNewSum上最近的方法,并发布了我们的数据集,为中文自动摘要研究提供了一个坚实的测试平台。
2021-10-21 cs.CL
SummIt: Iterative Text Summarization via ChatGPT
University of California, Davis(加州大学戴维斯分校)
针对单步文本摘要易出现幻觉、遗漏关键信息的问题,提出基于ChatGPT的迭代摘要框架SummIt,通过自评估反馈迭代优化摘要,结合知识与主题提取器提升效果,经实验验证有效性并发现过校正问题。
2023-10-09 cs.CL
Autoencoder as Assistant Supervisor: Improving Text Representation for Chinese Social Media Text Summarization
Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院)
目前的摘要模型大多是基于序列到序列模型(Seq2Seq)的。社交媒体的源内容很长且有噪声,因此Seq2Seq很难学习准确的语义表示。与源内容相比,注释摘要简短且写得很好。此外,它与源内容具有相同的含义。在这项工作中,我们监督学习的表示源内容的摘要。在实现上,我们将摘要自动编码器作为Seq2Seq的辅助管理器。在之前的工作之后,我们在一个流行的中国社交媒体数据集上评估了我们的模型。实验结果表明,我们的模型在基准数据集上达到了最先进的性能。
2018-05-13 cs.CL
Query Focused Abstractive Summarization: Incorporating Query Relevance, Multi-Document Coverage, and Summary Length Constraints into seq2seq Models
Ben-Gurion University(本-古里安大学);Dept. of Computer Science(计算机科学系)
查询集中摘要(QFS)主要使用提取方法来解决。然而,这种方法产生的文本具有低连贯性。我们研究如何将抽象方法应用于QFS,以克服这些限制。基于神经注意力的序列到序列模型的最新发展已经导致了抽象通用单文档摘要任务的最新成果。这样的模型在大量训练数据上以端到端的方法训练。我们从三个方面使抽象摘要适用于QFS:(a)由于没有训练数据,我们将查询相关性纳入到预先训练的抽象模型中;(b)由于现有的抽象模型是在单文档环境中训练的,我们设计了一种迭代方法来将抽象模型嵌入到QFS的多文档需求中;(c)我们调整的抽象模型经过训练,可以生成特定长度的文本(约100个单词),而我们的目标是生成不同大小的输出(约250个单词);我们设计了一种方法,使生成的摘要的目标大小适应给定的大小比例。我们将我们的方法(QFS的相关性敏感注意力)与提取基线进行了比较,并将其与DUC QFS数据集上的抽象模型相结合的各种方法进行了比较,并证明了ROUGE性能的可靠改进。
2018-01-25 cs.CL
HydraSum: Disentangling Stylistic Features in Text Summarization using Multi-Decoder Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Hugging Face(Hugging Face(抱抱脸));Faire;Salesforce Research(赛富时研究院)
摘要系统在推理过程中对摘要属性做出了许多“决定”,例如复制程度、输出的特异性和长度等。然而,这些都被隐式地编码在模型参数中,无法强制执行特定的样式。为了解决这个问题,我们引入了HydraSum,这是一种新的摘要架构,它将当前模型的单个解码器框架扩展到具有多个解码器的专家混合版本。我们表明,HydraSum的多个解码器自动学习对比摘要风格时,在标准的训练目标,没有任何额外的监督下训练。通过对三个摘要数据集(CNN,Newsroom和XSum)的实验,我们表明HydraSum提供了一种简单的机制,通过从单个解码器或其混合物中采样来获得风格多样的摘要,优于基线模型。最后,我们证明了在训练过程中对门控策略的一个小的修改可以强制执行更严格的风格划分,例如高与低抽象性或高与低特异性,允许用户从生成空间中的更大区域进行采样,并沿多个维度改变摘要风格。
2022-10-21 cs.CL
Analyzing Sentence Fusion in Abstractive Summarization
University of Central Florida(中佛罗里达大学);Adobe Research(奥多比研究院);Amazon Alexa AI(亚马逊 Alexa 人工智能)
虽然最近在抽象摘要方面的工作已经在自动度量中获得了更高的分数,但对这些系统如何结合从多个文档句子中获取的信息却知之甚少。在本文中,我们分析了五个国家的最先进的抽象摘要器的输出,侧重于总结句子,形成句子融合。我们要求评判员对摘要句的语法性、忠实性和融合方法进行评判。我们的分析表明,系统句大多是语法,但往往不能保持忠实于原文。
2019-10-01 cs.CL
Unsupervised Summarization Re-ranking
Nanyang Technological University(南洋理工大学);Institute of Infocomm Research (IR), A * STAR(新加坡科技研究局信息通信研究院);Salesforce AI(Salesforce人工智能部门)
针对无监督摘要模型性能落后且有候选质量方差大的问题,提出无监督摘要候选重排序方法,在多个基准和零样本迁移设置中显著缩小了与有监督模型的性能差距。
2024-11-14 cs.CL
Constrained Abstractive Summarization: Preserving Factual Consistency with Constrained Generation
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Southern California(南加州大学)
尽管取得了重大进展,但最先进的抽象摘要方法仍然容易产生与源文档不一致的幻觉内容。在本文中,我们提出了约束抽象摘要(CAS),一个一般的设置,保持事实的一致性,抽象摘要,通过指定令牌的约束,必须存在于摘要。我们采用词汇约束解码,一种通常适用于自回归生成模型的技术,以实现CAS,并在两种情况下进行实验:(1)自动摘要没有人类参与,其中关键词从源文档中提取并用作约束;(2)人工指导的交互式摘要,其中人工反馈的形式手动约束用于指导摘要生成。两个基准数据集上的自动和人工评估表明,CAS提高了抽象摘要的词汇重叠(ROUGE)和事实一致性。特别是,我们观察到高达13.8 ROUGE-2增益时,只有一个手动约束用于交互式摘要。
2021-12-16 cs.CL
Unsupervised Abstractive Summarization of Bengali Text Documents
Ahsanullah Univ of Science & Tech(阿赫桑乌拉科技大学)
抽象摘要系统通常依赖于大量的文档-摘要对集合。然而,抽象系统的性能仍然是一个挑战,因为像孟加拉语这样的低资源语言无法获得并行数据。为了克服这个问题,我们提出了一个基于图的无监督摘要系统在单文档设置孟加拉语文本文件,它只需要一个部分的语音(POS)标记和一个预先训练的语言模型孟加拉语文本训练。我们还提供了一个带有文档摘要对的人类注释数据集,以评估我们的抽象模型,并支持孟加拉语未来抽象摘要系统的比较。我们在这个数据集上进行实验,并将我们的系统与几个成熟的无监督提取摘要系统进行比较。我们的无监督抽象摘要模型在不暴露于任何人工注释的参考摘要的情况下优于基线。
2021-02-19 cs.CL
Exploring Content Selection in Summarization of Novel Chapters
Columbia University(哥伦比亚大学);University of Pennsylvania(宾夕法尼亚大学);Amazon AI(亚马逊人工智能实验室)
我们提出了一个新的摘要任务,使用摘要/章节对在线学习指南生成小说章节的摘要。这是一个比新闻摘要任务更难的任务,考虑到章节的长度以及摘要中的极端释义和概括。我们专注于提取摘要,这需要创建一组黄金标准的提取摘要。我们提出了一个新的指标,用于将参考摘要句子与章节句子对齐,以创建黄金提取物,并尝试不同的对齐方法。我们的实验表明,通过自动度量和众包金字塔分析,我们的任务比以前的对齐方法有显着的改进。我们在https://github.com/manestay/novel-chapter-dataset上提供我们的数据汇集脚本。
2021-03-30 cs.CL
VT-SSum: A Benchmark Dataset for Video Transcript Segmentation and Summarization
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软)
视频文本摘要是视频理解的一项基本任务。传统的文本摘要方法通常建立在书面语言(如新闻文章)的摘要数据上,而领域差异可能会降低口语文本的模型性能。在本文中,我们介绍了VT-Ssum,这是一个用于视频转录分割和摘要的口语基准数据集,其中包括来自9,616个视频的125 K转录摘要对。VT-SSum利用VideoLectures.NET中的视频,利用幻灯片内容作为弱监督来生成视频记录的提取摘要。使用最先进的深度学习方法进行的实验表明,使用VT-Ssum训练的模型在AMI口语文本摘要基准测试中有显着改进。VT-SSum可在https://github.com/Dod-o/VT-SSum上公开获取,以支持未来的视频文本分割和摘要任务研究。
2021-07-15 cs.CL
Leveraging Summary Guidance on Medical Report Summarization
Hainan University(海南大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本研究提出了三个去识别的大型医学文本数据集,名为DISCHARGE,ECHO和RADIOLOGY,分别包含来自MIMIC-III的50 K,16 K和378 K对报告和摘要。我们实现了令人信服的基线的自动抽象摘要建议的数据集与预训练的编码器-解码器语言模型,包括BERT 2BERT,T5-大和BART。此外,基于BART模型,我们利用采样摘要从训练集作为先验知识指导,编码器编码额外的上下文表示的指导和增强解码器中的解码表示。实验结果证实了所提出的方法的ROUGE分数和BERTScore的改善,优于更大的模型T5-large。
2023-02-08 cs.AI cs.CL
Summary-Oriented Vision Modeling for Multimodal Abstractive Summarization
Beijing Jiaotong University(北京交通大学);Tencent Inc(腾讯公司)
针对多模态生成式摘要中现有方法从摘要视角利用视觉特征不足的问题,提出结合两项辅助任务优化模型,在44种语言多资源场景下达到最优性能,并将发布MM-Sum数据集。
2023-05-04 cs.CL cs.CV
On Extractive and Abstractive Neural Document Summarization with Transformer Language Models
Element AI;Montréal Institute for Learning Algorithms(蒙特利尔学习算法研究所);Université de Montréal(蒙特利尔大学);École Polytechnique de Montréal(蒙特利尔高等理工学院)
我们提出了一种方法,通过神经抽象摘要产生超过几千字的长文档的摘要。在生成摘要之前,我们执行一个简单的提取步骤,然后在生成摘要之前,使用该摘要来根据相关信息调节Transformer语言模型。我们表明,这一提取步骤显着提高摘要结果。我们还表明,这种方法产生更抽象的摘要相比,以前的工作,采用复制机制,同时仍然实现更高的胭脂分数。注意:上面的摘要不是作者写的,它是由本文中提出的一个模型生成的。
2020-04-28 cs.CL
Differentiable Multi-Agent Actor-Critic for Multi-Step Radiology Report Summarization
Siemens Healthineers(西门子医疗);Siemens AG(西门子股份公司)
影像学报告的印象部分是放射科医生的推理和结论的总结,它也有助于转诊医生确认或排除某些诊断。需要一系列任务来自动生成典型的信息丰富的放射学报告的抽象摘要。这些任务包括从报告中获取突出的内容,并生成一个简洁、易于使用的印象部分。先前对放射学报告摘要的研究主要集中在单步端到端模型上--它完成了显著内容获取的任务。为了充分探索放射学报告摘要的级联结构和可解释性,我们引入了两个创新。首先,我们设计了一个两步的方法:提取摘要其次是抽象摘要。其次,我们还将提取部分分解为两个独立的任务:提取突出的(1)句子和(2)关键字。对来自两个临床站点的英文放射学报告的实验表明,与单步和两步单提取过程基线相比,我们的新方法导致更精确的总结,F1评分总体提高3- 4%。
2022-04-29 cs.CL
Unsupervised Opinion Summarization with Noising and Denoising
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
在包含数十万文档摘要对的大型数据集上对高容量模型进行监督训练,对于最近深度学习技术在抽象摘要方面的成功至关重要。不幸的是,在大多数领域(除了新闻),这样的训练数据是不可用的,不能容易地来源。在本文中,我们使监督学习的使用设置只有文件可用(例如,~产品或业务评论)而没有基本事实摘要。我们从用户评论的语料库中创建一个合成数据集,通过对评论进行采样,假装它是一个摘要,并生成我们视为伪评论输入的噪声版本。我们引入了几个语言动机的噪声生成函数和一个摘要模型,它学习对输入进行去噪并生成原始评论。在测试时,该模型接受真实的评论,并生成一个包含突出意见的摘要,将那些没有达成共识的评论视为噪音。广泛的自动和人工评估表明,我们的模型在抽象和提取基线上都有了实质性的改进。
2020-04-21 cs.CL
Scoring Sentence Singletons and Pairs for Abstractive Summarization
University of Central Florida(中佛罗里达大学);Adobe Research(奥多比研究院)
在撰写摘要时,人类倾向于从一两个句子中选择内容,并将它们合并成一个单一的摘要句子。然而,选择一个或多个源句子背后的机制仍然知之甚少。句子融合假设多句输入;然而句子选择方法仅适用于单个句子,而不是它们的组合。因此,在句子选择和融合之间存在一个关键的差距,以支持通过压缩单句和融合对来进行摘要。本文试图通过在一个统一的空间中将句子的单例和成对排列在一起来弥合这一差距。我们提出的框架试图通过选择单个句子或一对句子来模拟人类方法,然后压缩或融合句子以产生摘要句子。我们在单文档和多文档摘要数据集上进行了广泛的实验,并报告了句子选择和抽象的结果。
2019-05-31 cs.CL
Towards Summary Candidates Fusion
Nanyang Technological University(南洋理工大学);Salesforce Research(Salesforce研究院)
本文提出SummaFusion方法,通过融合多个摘要候选生成更优的第二阶段抽象式摘要,在多个数据集上提升ROUGE分数,并在少样本场景下取得新最优结果。
2023-05-26 cs.CL
EASE: Extractive-Abstractive Summarization with Explanations
Facebook(脸书)
目前的抽象摘要系统优于其提取同行,但其广泛采用的内在缺乏可解释性的抑制。为了实现两全其美,我们提出了EASE,一个基于证据的文本生成的提取抽象框架,并将其应用于文档摘要。我们提出了一个可解释的摘要系统的基础上的信息瓶颈的原则,联合训练的提取和抽象的端到端的方式。受先前研究的启发,人类使用两阶段框架来总结长文档(Jing和McKeown,2000),我们的框架首先提取预定义数量的证据跨度作为解释,然后仅使用证据生成摘要。使用自动和人工评估,我们表明,我们的框架的解释比简单的基线更相关,而不会实质上牺牲生成的摘要的质量。
2021-05-14 cs.CL
Alleviating Exposure Bias via Contrastive Learning for Abstractive Text Summarization
The Hong Kong Polytechnic University(香港理工大学)
编码器-解码器模型在抽象文本摘要中取得了显著的成功,其目的是将一个或多个文档压缩成较短的版本而不丢失基本内容。不幸的是,这些模型在训练和推理之间存在差异,即,曝光偏差问题。在训练阶段,通过教师强制,这些模型被优化以最大化黄金摘要的可能性,给定黄金摘要令牌作为解码器的输入,而在推理时,给定令牌被生成的令牌替换。因此,很可能会生成低质量的摘要。为了解决这个问题,我们建议利用对比学习来降低这些低质量摘要的可能性,同时增加黄金摘要的可能性。由于我们的解决方案扩展了模型在训练过程中感知到的状态,我们希望可以缓解暴露偏差问题。我们的实验证明,我们的方法有效地提高了最先进的模型在不同数据集上的性能。
2021-08-26 cs.CL
DiffuSum: Generation Enhanced Extractive Summarization with Diffusion
University of California, Davis(加州大学戴维斯分校)
DiffuSum提出用扩散模型直接生成摘要句表示并匹配抽取句子,联合优化对比编码器,在CNN/DailyMail上取得ROUGE 44.83/22.56/40.56的最优结果,验证了生成模型用于抽取式摘要的潜力。
2023-05-11 cs.CL
Improving Factuality of Abstractive Summarization without Sacrificing Summary Quality
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);University of Southern California(南加州大学)
提出EFACTSUM候选摘要生成与排序技术,结合对比学习框架与排序策略,在不牺牲摘要质量的前提下显著提升生成式摘要的事实性。
2023-05-24 cs.AI cs.CL cs.LG
KLearn: Background Knowledge Inference from Summarization Data
EPFL(洛桑联邦理工学院)
文本摘要的目标是将文档压缩为相关信息,同时排除接收者已知的背景信息。到目前为止,摘要研究者对相关性的关注远远超过了对背景知识的关注。相反,这项工作把背景知识放在前台。人类摘要者和注释者所做的选择包含关于其背景知识的隐含信息,基于这一认识,我们开发并比较了从摘要数据推断背景知识的技术。基于这个框架,我们定义了摘要评分函数,明确模型背景知识,并表明这些评分函数适合人类的判断显着优于基线。我们说明了我们的框架的许多潜在的应用。首先,我们提供了对人类信息重要性先验的见解。其次,我们证明了平均的背景知识的多个,潜在的偏见注释者或语料库大大提高了摘要评分性能。最后,我们讨论了我们的框架超越总结的潜在应用。
2020-10-13 cs.CL
Multi-Document Summarization with Determinantal Point Processes and Contextualized Representations
University of Central Florida(中佛罗里达大学);Tencent AI Lab(腾讯人工智能实验室)
作为一种性能最好的摘要提取技术,决定点过程选择最有可能的一组句子,形成一个摘要,根据一个概率度量模型定义的句子突出和成对排斥。传统上,这些方面的建模使用浅和语言上知情的功能,但深语境化表示的兴起提出了一个有趣的问题,是否,以及在何种程度上,语境化表示可以用来改善DPP建模。我们的研究结果表明,尽管成功的深层表征,它仍然有必要将它们与表面指标相结合,以有效地识别摘要句。
2019-10-24 cs.CL
Deep Communicating Agents for Abstractive Summarization
Microsoft Research(微软研究院);University of Washington(华盛顿大学);JD AI Research(京东人工智能研究院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们在编码器-解码器架构中提出了深度通信代理,以解决表示长文档进行抽象摘要的挑战。使用深度通信代理,编码长文本的任务被分配给多个协作代理,每个代理负责输入文本的一个子部分。这些编码器连接到单个解码器,使用强化学习进行端到端训练,以生成集中和连贯的摘要。实证结果表明,多个通信编码器导致更高质量的摘要相比,几个强大的基线,包括那些基于一个单一的编码器或多个非通信编码器。
2018-08-15 cs.CL
Learning Non-Autoregressive Models from Search for Unsupervised Sentence Summarization
Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所);University of Alberta(阿尔伯塔大学)
文本摘要旨在为输入文本生成简短的摘要。在这项工作中,我们提出了一种非自回归无监督汇总(NAUS)方法,该方法不需要并行数据进行训练。我们的NAUS首先执行基于编辑的搜索到一个明确定义的分数,并生成一个摘要作为伪地面实况。然后,我们根据搜索结果训练一个仅编码器的非自回归Transformer。我们还提出了一个动态规划的方法长度控制解码,这是重要的摘要任务。在两个数据集上的实验表明,NAUS实现了最先进的无监督摘要性能,但大大提高了推理效率。此外,我们的算法是能够执行显式的长度传输摘要生成。
2022-05-28 cs.CL cs.LG
Leveraging ParsBERT and Pretrained mT5 for Persian Abstractive Text Summarization
Islamic Azad University North Tehran Branch(伊斯兰阿扎德大学北德黑兰分校);Queensland University of Technology(昆士兰科技大学)
文本摘要是自然语言处理(NLP)中最重要的任务之一。越来越多的研究在这一领域进行的每一天。预先训练的基于transformer的编码器-解码器模型已经开始在这些任务中流行起来。本文提出了两种方法来解决这个任务,并介绍了一种新的数据集命名为pn-summary波斯语摘要文本摘要。本文中采用的模型是mT5和ParsBERT模型的编码器-解码器版本(即,波斯语的单语BERT模型)。这些模型在pn-summary数据集上进行了微调。目前的工作是这类工作中的第一次,通过取得有希望的成果,可以作为今后任何工作的基线。
2020-12-21 cs.CL
Sequence Level Contrastive Learning for Text Summarization
IIIS, Tsinghua University(清华大学交叉信息研究院);Microsoft Research Asia(微软亚洲研究院);Shanghai Qi Zhi Institute(上海期智研究院)
对比学习模型在无监督视觉表示学习中取得了巨大的成功,它最大化同一图像不同视图的特征表示之间的相似性,同时最小化不同图像视图的特征表示之间的相似性。在文本摘要中,输出摘要是输入文档的较短形式,它们具有相似的含义。在本文中,我们提出了一个对比学习模型的监督抽象文本摘要,我们认为一个文档,它的黄金摘要和它的模型生成的摘要作为不同的视图相同的平均表示,并在训练过程中最大限度地提高它们之间的相似性。我们改进了强序列到序列文本生成模型(即,BART)在三个不同的摘要数据集上。人类的评价也表明,我们的模型实现了更好的忠诚度评级相比,它的对手没有对比的目标。
2022-01-12 cs.CL
A Survey on Neural Abstractive Summarization Methods and Factual Consistency of Summarization
McGill University(麦吉尔大学)
自动摘要是通过计算缩短一组文本数据的过程,以创建表示原始文本中最重要信息的子集(摘要)。现有的文摘方法大致可以分为两类:抽取式和抽象式。提取摘要器显式地选择文本片段(单词、短语、句子等)。从源文档,而抽象的摘要生成器生成新颖的文本片段,以传达源中流行的最突出的概念。
2022-04-20 cs.CL
Enhancing Factual Consistency of Abstractive Summarization
Microsoft Cognitive Services Group(微软认知服务团队);University of Notre Dame(圣母大学)
自动摘要经常歪曲或捏造事实的文章。摘要与原文之间的这种不一致严重影响了其适用性。我们提出了一个事实感知的摘要模型FASum提取和整合的事实关系到摘要生成过程中,通过图形注意。然后,我们设计了一个事实校正模型FC自动纠正现有系统生成的摘要中的事实错误。实验结果表明,与现有系统相比,基于事实感知的摘要生成的摘要具有更高的事实一致性,而修正模型仅通过修改少量关键词就能提高摘要的事实一致性。
2021-03-15 cs.CL
SummHelper: Collaborative Human-Computer Summarization
Bar-Ilan University(巴伊兰大学);Amazon(亚马逊)
针对自动摘要缺乏人工干预的问题,提出两阶段人机协同摘要助手SummHelper,通过内容选择与整合及视觉映射实现人机协作,用户研究验证其有效性。
2023-10-16 cs.CL
COLO: A Contrastive Learning based Re-ranking Framework for One-Stage Summarization
Fudan University(复旦大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Shanghai AI Lab(上海人工智能实验室)
针对单阶段摘要训练目标与摘要级评估不一致的问题,本文提出 COLO 对比学习重排序框架,无需额外模块或参数即可提升 CNN/DailyMail 性能,并显著降低训练与推理成本。
2023-04-19 cs.CL
Towards Abstractive Grounded Summarization of Podcast Transcripts
Tencent AI Lab(腾讯人工智能实验室);University of Central Florida(中佛罗里达大学)
播客最近显示出受欢迎程度的迅速上升。摘要的播客成绩单是实际利益的内容提供方和消费者。它帮助消费者快速决定是否要收听播客,并减少内容提供方撰写摘要的认知负荷。然而,播客摘要面临着重大的挑战,包括输入的事实不一致。这个问题是加剧了言语不流利和识别错误的口头语言的成绩单。在本文中,我们探索了一种新的抽象摘要方法,以减轻这些挑战。具体来说,我们的方法学习产生抽象的摘要,同时将摘要片段固定在转录本的特定部分,以允许对摘要细节进行全面检查。我们在一个大型播客数据集上对所提出的方法进行了一系列分析,并表明该方法可以取得令人满意的结果。固定摘要在定位包含不一致信息的摘要和转录片段方面带来了明显的好处,因此在自动和人工评估指标中显着提高了摘要质量。
2022-03-22 cs.AI cs.CL
Improve Query Focused Abstractive Summarization by Incorporating Answer Relevance
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心);The Hong Kong University of Science and Technology(香港科技大学)
以查询为中心的摘要(QFS)模型的目的是从源文档生成摘要,可以回答给定的查询。大多数以前的工作QFS只考虑查询的相关性标准时,产生的摘要。然而,研究答案相关性在摘要生成过程中的作用也是重要的。在本文中,我们提出了QFS-BART,一个模型,该模型通过一个问答模型,结合了明确的答案相关的源文件的查询,生成连贯的和答案相关的摘要。此外,我们的模型可以利用大型预训练模型,显着提高摘要性能。在Debatepedia数据集上的实验结果表明,该模型达到了新的最先进的性能。
2021-05-31 cs.CL
Summary Level Training of Sentence Rewriting for Abstractive Summarization
Department of Computer Science and Engineering(计算机科学与工程系);Seoul National University(首尔国立大学)
句子重写模型试图将抽取式摘要和抽象式摘要结合起来,采用先从文档中抽取显著句子,然后对所选句子进行释义的策略生成摘要。然而,该框架中的现有模型大多依赖于奖励级别或次优标签,导致训练目标和评估指标之间的不匹配。在本文中,我们提出了一种新的训练信号,通过强化学习直接最大化摘要级ROUGE分数。此外,我们将BERT融入到我们的模型中,充分利用了它的自然语言理解能力。在广泛的实验中,我们证明了我们提出的模型和训练过程的组合在CNN/Daily Mail和New York Times数据集上获得了新的最先进的性能。在DUC-2002测试集上,我们也证明了它具有更好的推广性。
2019-09-26 cs.CL cs.IR cs.LG
Abstractive Text Summarization by Incorporating Reader Comments
Peking University(北京大学);Tencent AI Lab(腾讯人工智能实验室);Alibaba DAMO Academy(阿里巴巴达摩院)
在神经抽象文摘领域,传统的基于序列到序列的模型经常遭受关于主要方面总结文档的错误方面。为了解决这个问题,我们提出了读者感知的摘要生成任务,它利用读者的评论,以帮助模型产生更好的摘要的主要方面。与传统的抽象摘要任务不同,读者感知摘要面临两个主要挑战:(1)评论是非正式的,而且带有噪声;(2)对新闻文档和读者评论进行联合建模具有挑战性。为了解决上述问题,我们设计了一个名为读者感知摘要生成器(RASG)的对抗性学习模型,该模型由四个部分组成:(1)基于序列到序列的摘要生成器;(2)捕获读者关注方面的读者关注模块;(3)对生成的摘要和读者关注方面之间的语义鸿沟进行建模的监督模块;(4)目标跟踪器,其为每个生成步骤产生目标。监督者和目标跟踪者用于以对抗的方式指导我们的框架的训练。在我们的大规模真实文本摘要数据集上进行了大量的实验,结果表明,RASG在自动度量和人工评估方面都达到了最先进的性能。实验结果也证明了我们的框架中的每个模块的有效性。我们发布了我们的大规模数据集以供进一步研究。
2018-12-13 cs.AI cs.CL
Bengali text summarization by sentence extraction
Jadavpur University(贾达普大学)
文本摘要是从一个或多个文本中选取重要部分的信息生成摘要或摘要的过程。在自动文本摘要过程中,将文本提供给计算机,计算机返回原始文本的较短的较少冗余的摘录或摘要。已经开发了许多技术来总结英语文本。但是,很少有人尝试孟加拉语文本摘要。本文提出了一种孟加拉语文本摘要的方法,它从孟加拉语文档中提取重要的句子来生成摘要。
2012-01-11 cs.CL cs.IR
Extractive Summarization using Deep Learning
Delhi Technological University(德里理工大学)
提出了一种基于深度学习模型的事实报告文本摘要方法。该方法由三个阶段组成:特征提取、特征增强和摘要生成,这三个阶段一起工作以吸收核心信息并生成连贯的、可理解的摘要。我们正在探索各种功能来改进为摘要选择的句子集,并使用受限玻尔兹曼机来增强和抽象这些功能,以提高结果的准确性,而不会丢失任何重要信息。基于这些增强的特征对句子进行评分,并构造提取摘要。在几篇文章上进行的实验证明了所提出的方法的有效性。源代码可在:https://github.com/vagisha-nidhi/TextSummarizer
2019-01-09 cs.CL cs.IR cs.LG
Generating Multiple-Length Summaries via Reinforcement Learning for Unsupervised Sentence Summarization
Pohang University of Science and Technology(浦项科技大学);Microsoft Research Asia(微软亚洲研究院);Korea Advanced Institute of Science and Technology(韩国科学技术院)
句子摘要缩短了给定的文本,同时保持了文本的核心内容。已经研究了无监督的方法来总结没有人类书面摘要的文本。然而,最近的无监督模型是提取的,它从文本中删除单词,因此它们不如抽象摘要灵活。在这项工作中,我们设计了一个抽象模型的基础上强化学习没有地面实况摘要。我们制定的无监督摘要的马尔可夫决策过程的基础上,代表摘要质量的奖励。为了进一步提高摘要质量,我们开发了一种多摘要学习机制,该机制可以为给定的文本生成多个不同长度的摘要,同时使摘要相互增强。实验结果表明,该模型大大优于抽象和提取模型,但经常产生新的单词不包含在输入文本。
2022-12-21 cs.AI cs.CL
Entity-level Factual Consistency of Abstractive Text Summarization
Amazon Web Services(亚马逊网络服务);Columbia University(哥伦比亚大学)
摘要摘要的一个关键挑战是确保生成的摘要与原始文档的事实一致性。例如,在现有数据集上训练的最先进的模型表现出实体幻觉,生成源文档中不存在的实体名称。我们提出了一组新的指标来量化生成的摘要的实体级事实的一致性,我们表明,实体幻觉问题可以通过简单地过滤训练数据来缓解。此外,我们提出了一个值得总结的实体分类任务的训练过程,以及一个联合实体和摘要生成方法,从而进一步提高实体级指标。
2021-02-18 cs.AI cs.CL
What Makes a Good and Useful Summary? Incorporating Users in Automatic Summarization Research
University of Amsterdam(阿姆斯特丹大学);Microsoft Research(微软研究院)
自动文本摘要多年来取得了很大的进展,并在许多应用中使用,影响了许多人的生活。尽管有这样的发展,有意义的研究很少调查如何在自动摘要目前的研究重点与用户的需求一致。为了弥合这一差距,我们提出了一个调查方法,可用于调查用户的自动生成的摘要的需求。重要的是,这些需求取决于目标群体。因此,我们设计的调查可以很容易地进行调整,以调查不同的用户组。在这项工作中,我们专注于大学生,他们在学习期间广泛使用摘要。我们发现,目前的研究方向的自动摘要社区不完全符合学生的需求。受我们的研究结果的启发,我们提出了在未来的自动摘要研究中减轻这种不匹配的方法:我们提出了影响自动生成摘要的设计,开发和评估的研究方向。
2022-04-29 cs.AI cs.CL cs.HC