BanditSum: Extractive Summarization as a Contextual Bandit
Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）；University of Montréal（蒙特利尔大学）；University of Amsterdam（阿姆斯特丹大学）
在这项工作中，我们提出了一种新的方法来训练神经网络执行单文档提取摘要，而无需抽象生成的提取标签。我们称我们的方法为BanditSum，因为它将提取摘要视为上下文强盗（CB）问题，其中模型接收要摘要的文档（上下文），并选择要包含在摘要中的句子序列（动作）。策略梯度强化学习算法用于训练模型，以选择最大化ROUGE得分的句子序列。我们进行了一系列实验，证明BanditSum能够实现ROUGE分数，优于或相当于最先进的提取摘要，并使用比竞争方法少得多的更新步骤收敛。此外，我们的经验表明，BanditSum表现明显优于竞争对手的方法时，良好的摘要句子出现在源文件中的后期。
2019-05-07 cs.CL
Guided Neural Language Generation for Abstractive Summarization using Abstract Meaning Representation
The University of Sheffield（谢菲尔德大学）
最近关于抽象摘要的工作在神经编码器-解码器架构方面取得了进展。然而，这样的模型往往是挑战，由于他们缺乏明确的语义建模的源文档及其摘要。在本文中，我们扩展了以前的工作抽象摘要使用抽象意义表示（AMR）与神经语言生成阶段，我们指导使用源文件。我们证明，这一指导提高了7.4和10.5点，在ROUGE-2使用黄金标准AMR解析和解析从现成的解析器分别获得的摘要结果。我们还发现，使用后者的摘要性能比在较大数据集上训练的成熟神经编码器-解码器方法高2个ROUGE-2点。代码可在\url{https://github.com/sheffieldnlp/AMR2Text-summ}上获得
2018-08-28 cs.CL
SciBERTSUM: Extractive Summarization for Scientific Documents
Pennsylvania State University（宾夕法尼亚州立大学）
摘要类文献主要研究新闻文章的摘要。CNN-DailyMail中的新闻文章是相对较短的文档，平均每个文档约30个句子。我们介绍了SciBERTSUM，这是我们的摘要框架，专为超过500句的科学论文等长文档的摘要而设计。SciBERTSUM通过以下方式将BERTSUM扩展到长文档：1）添加一个节嵌入层，以将节信息包含在句子向量中; 2）应用稀疏注意力机制，其中每个句子将本地关注附近的句子，并且只有少数句子全局关注所有其他句子。我们使用科学论文作者生成的幻灯片作为参考摘要，因为它们包含论文的技术细节。结果表明，我们的模型在ROUGE分数方面的优越性。
2022-01-21 cs.CL
Liputan6: A Large-scale Indonesian Dataset for Text Summarization
School of Computing and Information Systems（计算与信息系统学院）；The University of Melbourne（墨尔本大学）
在本文中，我们介绍了一个大规模的印尼摘要数据集。我们从在线新闻门户网站Liputan6.com获取文章，并获得215，827个文档摘要对。我们利用预先训练的语言模型，通过多语言和单语言基于BERT的模型，在数据集上开发基准提取和抽象摘要方法。我们包括一个彻底的错误分析，通过检查机器生成的摘要，具有低ROUGE分数，并暴露这两个问题与ROUGE本身，以及与提取和抽象的摘要模型。
2020-11-02 cs.CL
Constrained Abstractive Summarization: Preserving Factual Consistency with Constrained Generation
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
尽管取得了重大进展，但最先进的抽象摘要方法仍然容易产生与源文档不一致的幻觉内容。在本文中，我们提出了约束抽象摘要（CAS），一个一般的设置，保持事实的一致性，抽象摘要，通过指定令牌的约束，必须存在于摘要。我们采用词汇约束解码，一种通常适用于自回归生成模型的技术，以实现CAS，并在两种情况下进行实验：（1）自动摘要没有人类参与，其中关键词从源文档中提取并用作约束;（2）人工指导的交互式摘要，其中人工反馈的形式手动约束用于指导摘要生成。两个基准数据集上的自动和人工评估表明，CAS提高了抽象摘要的词汇重叠（ROUGE）和事实一致性。特别是，我们观察到高达13.8 ROUGE-2增益时，只有一个手动约束用于交互式摘要。
2021-12-16 cs.CL
On Extractive and Abstractive Neural Document Summarization with Transformer Language Models
Element AI；Montréal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；École Polytechnique de Montréal（蒙特利尔高等理工学院）
我们提出了一种方法，通过神经抽象摘要产生超过几千字的长文档的摘要。在生成摘要之前，我们执行一个简单的提取步骤，然后在生成摘要之前，使用该摘要来根据相关信息调节Transformer语言模型。我们表明，这一提取步骤显着提高摘要结果。我们还表明，这种方法产生更抽象的摘要相比，以前的工作，采用复制机制，同时仍然实现更高的胭脂分数。注意：上面的摘要不是作者写的，它是由本文中提出的一个模型生成的。
2020-04-28 cs.CL
Unsupervised Multi-document Summarization with Holistic Inference
University of California, Davis（加州大学戴维斯分校）；Tencent AI Lab（腾讯人工智能实验室）
本文提出一种用于无监督多文档抽取式摘要的整体框架，结合整体束搜索推断与子集代表性指数（SRI）平衡句子重要性和多样性，在多数据集上显著超越强基线并验证了多样性的关键作用。
2023-09-08 cs.CL
Sparse Optimization for Unsupervised Extractive Summarization of Long Documents with the Frank-Wolfe Algorithm
University of California, Berkeley（加州大学伯克利分校）
我们解决了无监督的提取文档摘要的问题，特别是对于长文档。我们将无监督问题建模为稀疏自回归问题，并通过一个凸的范数约束问题近似得到的组合问题。我们使用专门的Frank-Wolfe算法来解决它。为了生成具有$k$语句的摘要，该算法仅需要执行$\approx k$迭代，使得其非常高效。我们解释了如何避免显式计算的完整梯度，以及如何包括句子嵌入信息。我们评估我们的方法对其他两个无监督的方法使用词汇（标准）ROUGE分数，以及语义（基于嵌入）的。我们的方法在两个数据集上都取得了更好的结果，并且在与高度释义的摘要的嵌入相结合时效果尤其好。
2022-08-19 cs.CL
Neural Abstractive Summarization with Structural Attention
IIIT-Delhi（德里印度理工学院）；Carnegie Mellon University（卡内基梅隆大学）
基于RNN的编码器-解码器架构在新闻文章的抽象摘要方面取得了令人印象深刻的性能。然而，这些方法无法考虑文档的句子内的长期依赖性。这个问题在多文档摘要任务中加剧，例如在社区问答（CQA）网站（例如Yahoo！答案和Quora。这些线索包含的答案往往相互重叠或矛盾。在这项工作中，我们提出了一个分层编码器的基础上结构注意力模型，这样的句子间和文档间的依赖关系。我们设置流行的指针生成器架构和一些衍生自它的架构作为我们的基线，并表明它们无法在多文档设置中生成良好的摘要。我们进一步说明，我们提出的模型在单文档和多文档摘要设置中的基线上都取得了显着的改进-在前一种设置中，它分别在CNN和CQA数据集上击败了最佳基线1.31和7.8个ROUGE-1点;在后一种设置中，性能在CQA数据集上进一步提高了1.6个ROUGE-1点。
2020-10-10 cs.CL cs.LG
Keyphrase Based Evaluation of Automatic Text Summarization
Electronics Research Institute（电子研究所）；Benha University（班哈大学）
在匹配过程中处理文本单元的信息内容的方法的开发是使用固定n-gram匹配的自动摘要评估系统中的主要挑战。该限制导致对等和参考摘要中的单元之间的不准确匹配。本研究介绍了一个新的基于关键词的摘要评估KpEval自动摘要。KpEval依赖于关键词，因为它们传达了文本中最重要的概念。在评估过程中，关键短语以其词元形式作为匹配文本单元。该系统被用于评价在2011年技术咨询委员会上提交的阿拉伯文多文件数据集的不同摘要。结果表明，新的评估技术与已知的评估系统：Rouge 1，Rouge 2，RougeSU 4和AutoSummENG MeMoG相关性良好。KpEval与AutoSummENG MeMoG的相关性最强，Pearson和Spearman相关系数分别为0.8840、0.9667。
2015-05-22 cs.CL
Efficient Extractive Summarization with MAMBA-Transformer Hybrids for Low-Resource Scenarios
University of Memphis（密苏里大学）
本文提出了一种结合Transformer和Mamba的状态空间模型，用于高效提取式摘要，尤其在低资源环境下表现出色，提升了摘要质量并加快了推理速度。
2026-03-01 cs.CL
Generating Wikipedia by Summarizing Long Sequences
Google Brain（谷歌大脑）
我们表明，生成英文维基百科的文章可以接近作为一个多文档摘要的源文件。我们使用提取摘要来粗略地识别显著信息，并使用神经抽象模型来生成文章。对于抽象模型，我们引入了一个仅解码器的架构，该架构可以可扩展地处理非常长的序列，比序列转导中使用的典型编码器-解码器架构长得多。我们表明，该模型可以生成流畅，连贯的多句段落，甚至整个维基百科的文章。当给定参考文献时，我们表明它可以提取相关的事实信息，反映在困惑，ROUGE分数和人类的评价。
2018-01-30 cs.CL
Improving Abstraction in Text Summarization
KTH Royal Institute of Technology（瑞典皇家理工学院）；Salesforce Research（赛富时研究院）
摘要文本摘要旨在将长文本文档缩短为人类可读的形式，其中包含原始文档中最重要的事实。然而，在现有的方法中，通过不出现在源文档中的新颖短语来测量的实际抽象水平仍然很低。我们提出了两种技术来提高生成的摘要的抽象水平。首先，我们将解码器分解为一个上下文网络，用于检索源文档的相关部分，以及一个预先训练的语言模型，该模型包含有关语言生成的先验知识。其次，我们提出了一个新颖的度量，直接通过策略学习优化，以鼓励新短语的生成。我们的模型实现了与最先进的模型相当的结果，由ROUGE分数和人类评估确定，同时实现了显着更高的抽象级别，由与源文档的n-gram重叠测量。
2018-08-23 cs.CL
A Hierarchical Neural Autoencoder for Paragraphs and Documents
Stanford University（斯坦福大学）
自然语言生成连贯的长文本，如段落或更长的文档，是递归网络模型的一个具有挑战性的问题。在本文中，我们探索了这个生成任务的重要一步：训练LSTM（长短期记忆）自动编码器来保存和重建多句段落。我们引入了一个LSTM模型，该模型从句子和单词的嵌入中分层构建段落的嵌入，然后解码该嵌入以重建原始段落。我们使用ROUGE和Entity Grid等标准度量来评估重建的段落，表明神经模型能够以保持句法，语义和话语连贯性的方式编码文本。虽然这只是从神经模型生成连贯文本单元的第一步，但我们的工作有可能显著影响自然语言生成和摘要\footnote {本文中描述的三个模型的代码可以在www.stanford.edu/~jiweil/上找到。
2015-06-06 cs.CL
MemSum: Extractive Summarization of Long Documents Using Multi-Step Episodic Markov Decision Processes
Institute of Neuroinformatics（神经信息学研究所）；University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
我们介绍MemSum（多步情节马尔可夫决策过程提取SUMmarizer），一个基于学习的提取总结器，在每一步都用当前提取历史的信息来丰富。当MemSum迭代地选择句子到摘要中时，它会考虑一个广泛的信息集，这些信息集也会被人类在这个任务中直观地使用：1）句子的文本内容，2）文档其余部分的全局文本上下文，以及3）由已经提取的句子集组成的提取历史。通过轻量级架构，MemSum在总结来自PubMed，arXiv和GovReport的长文档方面获得了最先进的测试集性能（ROUGE）。消融研究证明了局部、全局和历史信息的重要性。人工评估证实了所生成摘要的高质量和低冗余，这源于MemSum对提取历史的了解。
2022-03-16 cs.CL
D2S: Document-to-Slide Generation Via Query-Based Text Summarization
University of Michigan（密歇根大学）；IBM Research Europe（IBM欧洲研究院）；IBM Research（IBM研究院）
演示文稿对于我们生活中的各个领域的沟通至关重要，但幻灯片的制作往往是乏味和耗时的。旨在自动化文档到幻灯片生成过程的研究有限，并且都面临着一个关键挑战：没有公开的数据集用于培训和基准测试。在这项工作中，我们首先贡献了一个新的数据集，SciDuet，由近年来NLP和ML会议的成对论文及其相应的幻灯片组成（例如，ACL）。其次，我们提出了D2 S，一个新的系统，解决了文件到幻灯片的任务，有两个步骤的方法：1）使用幻灯片标题检索相关和从事文本，数字和表格; 2）总结检索到的上下文到要点与长形式的问答。我们的评估表明，长式QA在自动ROUGE指标和定性人工评估方面都优于最先进的汇总基线。
2021-05-08 cs.CL
Ranking Sentences for Extractive Summarization with Reinforcement Learning
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；University of Edinburgh（爱丁堡大学）
单文档摘要是在保留文档主要信息内容的同时生成文档的较短版本的任务。在本文中，我们概念化提取摘要作为一个句子排序任务，并提出了一种新的训练算法，通过强化学习目标全局优化的ROUGE评价指标。我们使用我们的算法在CNN和DailyMail数据集上训练神经摘要模型，并通过实验证明，当自动和人工评估时，它的性能优于最先进的提取和抽象系统。
2018-04-16 cs.CL
Specificity-Based Sentence Ordering for Multi-Document Extractive Risk Summarization
Thomson Reuters Special Services, LLC（汤森路透特别服务有限责任公司）
风险挖掘技术寻求找到捕获实体风险关系的相关文本提取。然而，当处理大量数据集时，可以返回大量相关提取，将焦点转移到如何最好地呈现结果。我们提供的风险挖掘多文档提取摘要系统，产生高质量的输出建模的特殊性，形成良好的话语的特点的变化的细节。特别是，我们提出了一种新的选择算法，交替提取基于人类策划或扩展的自动编码的关键词，表现出更大的特异性或一般性，因为它涉及到一个实体的风险关系。通过这种提取排序，并且不需要更复杂的话语感知NLP，我们在交替摘要中诱导了特异性的适当转变，这些交替摘要在自动ROUGE和BLEU评分以及手动可理解性和偏好评估方面优于非交替摘要-与人类撰写的摘要相比，没有统计学上的显著差异。
2019-09-23 cs.CL
Long document summarization using page specific target text alignment and distilling page importance
本文提出PTS和PTSPI模型，通过页面划分、目标文本对齐和页面重要性权重改进长文档抽象式摘要，在基准数据集上ROUGE-1和ROUGE-2分别超越SOTA 6.32%和8.08%。
2025-09-20 cs.CL cs.IR
Extractive Summarization for Arabic Documents Using SAraBERT with a Semantic Siamese Similarity Evaluation Metric
American University of Beirut（贝鲁特美国大学）
该研究提出增强版AraBERT（SAraBERT）及语义连体相似度评估指标，通过BLEU、ROUGE等验证，证明SAraBERT在阿拉伯语文档抽取式摘要任务中有效。
2026-08-24 cs.AI cs.CL
Multi-document abstractive summarization using ILP based multi-sentence compression
The Pennsylvania State University（宾夕法尼亚州立大学）；QCRI（卡塔尔计算研究所）；National University of Singapore（新加坡国立大学）
摘要文摘是一种理想的文摘形式，它可以综合多个文档中的信息，生成简洁的信息摘要。在这项工作中，我们的目标是开发一个抽象的摘要。首先，我们提出的方法确定多文档集中最重要的文档。最重要文档中的句子与其他文档中的句子对齐，以生成相似句子的聚类。其次，我们使用词图结构从每个聚类中的句子生成K-最短路径。最后，我们选择句子从所有集群产生的最短路径集采用一种新的整数线性规划（ILP）模型的目标是最大限度地提高信息含量和可读性的最终摘要。我们的ILP模型将最短路径表示为二元变量，并在目标函数中考虑路径的长度、信息分数和语言质量分数。DUC 2004年和2005年的多文档摘要数据集上的实验结果表明，我们提出的方法优于所有的基线和国家的最先进的提取摘要衡量的ROUGE分数。我们的方法也优于最近的抽象摘要技术。在人工评估中，我们的方法也取得了可喜的成果的信息性和可读性。
2016-09-22 cs.CL
Multi-Reward Reinforced Summarization with Saliency and Entailment
UNC Chapel Hill（北卡罗来纳大学教堂山分校(UNC Chapel Hill)）
摘要文本摘要是将长文档压缩并重写为简短摘要的任务，同时保持显著性，定向逻辑蕴涵和非冗余。在这项工作中，我们通过强化学习方法解决了这三个重要方面的一个很好的总结与两个新的奖励函数：ROUGESal和Entail，在基于覆盖率的基线之上。ROUGESal奖励通过对经由关键短语分类器检测到的显著短语/单词进行上加权来修改ROUGE度量。蕴涵奖励使用蕴涵分类器为逻辑蕴涵摘要提供高（长度归一化）分数。此外，当这些奖励与传统的基于度量（ROUGE）的奖励相结合时，我们表现出卓越的性能改善，通过我们新颖有效的多奖励方法，在交替的小批量中同时优化多个奖励。我们的方法在CNN/Daily Mail数据集上实现了新的最先进的结果（包括人类评估），并在DUC-2002上的测试传输设置中取得了很大的改进。
2018-05-29 cs.AI cs.CL cs.LG
Conceptual Text Summarizer: A new model in continuous vector space
Malek Ashtar University of Technology（马利克·阿什塔尔理工大学）
传统的摘要方法在今天是不经济的，也是不可能的。摘要提取是一个自动从文本中提取最重要的句子并生成简短摘要的过程。在这项工作中，我们提出了一种无监督的方法来总结波斯语文本。该方法是一种新颖的混合方法，使用深度学习和传统的统计方法对文本的概念进行聚类。首先，我们产生一个词嵌入的基础上Hamshahri 2语料库和词频字典。然后提取文档的关键词，对其进行概念聚类，最后对句子进行排序，生成摘要。我们使用ROUGE评价指标在Pasokh单文档语料库上对所提出的方法进行了评价。在不使用任何手工制作的功能，我们提出的方法实现了最先进的结果。我们将我们的无监督方法与最好的监督波斯语方法进行了比较，我们实现了ROUGE-2召回分数的7.5%的整体改善。
2018-09-01 cs.CL cs.IR
Extractive Summarization: Limits, Compression, Generalized Model and Heuristics
University of Houston（休斯顿大学）
摘要技术因其在缓解信息过载方面的优势而引起了研究者的广泛关注。然而，这仍然是一个严峻的挑战。在这里，我们首先证明了在单文档和多文档摘要任务的ROUGE评估下DUC数据集上提取摘要器的召回率（和F1分数）的经验限制。接下来，我们定义了文档的可压缩性的概念，并提出了一种新的摘要模型，该模型概括了文献中现有的模型，并集成了摘要的几个维度，即，抽象与提取、单文档与多文档以及句法与语义。最后，我们研究了一些新的和现有的单文档摘要算法在一个单一的框架，并比较与国家的最先进的摘要DUC数据。
2017-04-18 cs.CL cs.IR
Controllable Abstractive Summarization
Facebook AI Research（脸书人工智能研究院）
当前的文档摘要模型忽略了用户的偏好，例如所需的长度，样式，用户可能感兴趣的实体，或者用户已经阅读了多少文档。我们提出了一个神经摘要模型，它具有一个简单但有效的机制，使用户能够指定这些高级属性，以便控制最终摘要的形状，以更好地满足他们的需求。通过用户输入，我们的系统可以生成符合用户偏好的高质量摘要。无需用户输入，我们自动设置控制变量。在全文CNN-Dailymail数据集上，我们的表现优于最先进的抽象系统（F1-ROUGE 1 40.38 vs. 39.53和人类评估）。
2018-05-18 cs.CL
Abstractive Summarization Guided by Latent Hierarchical Document Structure
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
顺序抽象神经摘要器通常不使用输入文章中的底层结构或输入句子之间的依赖关系。这种结构对于整合和巩固来自文本不同部分的信息至关重要。为了解决这个问题，我们提出了一个层次感知的图神经网络（HierGNN），它通过三个主要步骤来捕获这种依赖关系：1）通过稀疏矩阵树计算学习潜在结构树来学习层次文档结构; 2）使用一种新的消息传递节点传播机制来在这个结构上传播句子信息以识别显著信息; 3）使用图级注意力来将解码器集中在显著信息上。实验证实HierGNN改进了BART等强序列模型，CNN/DM和XSum的平均ROUGE-1/2/L的裕度分别为0.55和0.75。进一步的人类评估表明，我们的模型生成的摘要比HierGNN所包含的基线更相关，冗余度更低。我们还发现HierGNN通过更多地融合多个源句子来合成摘要，而不是压缩单个源句子，并且它更有效地处理长输入。
2022-11-17 cs.CL
Query Focused Abstractive Summarization: Incorporating Query Relevance, Multi-Document Coverage, and Summary Length Constraints into seq2seq Models
Ben-Gurion University（本-古里安大学）；Dept. of Computer Science（计算机科学系）
查询集中摘要（QFS）主要使用提取方法来解决。然而，这种方法产生的文本具有低连贯性。我们研究如何将抽象方法应用于QFS，以克服这些限制。基于神经注意力的序列到序列模型的最新发展已经导致了抽象通用单文档摘要任务的最新成果。这样的模型在大量训练数据上以端到端的方法训练。我们从三个方面使抽象摘要适用于QFS：（a）由于没有训练数据，我们将查询相关性纳入到预先训练的抽象模型中;（b）由于现有的抽象模型是在单文档环境中训练的，我们设计了一种迭代方法来将抽象模型嵌入到QFS的多文档需求中;（c）我们调整的抽象模型经过训练，可以生成特定长度的文本（约100个单词），而我们的目标是生成不同大小的输出（约250个单词）;我们设计了一种方法，使生成的摘要的目标大小适应给定的大小比例。我们将我们的方法（QFS的相关性敏感注意力）与提取基线进行了比较，并将其与DUC QFS数据集上的抽象模型相结合的各种方法进行了比较，并证明了ROUGE性能的可靠改进。
2018-01-25 cs.CL
Using Statistical and Semantic Models for Multi-Document Summarization
LNM Institute of Information Technology（LNM信息技术学院）
我们报告了一系列的实验，不同的语义模型上的各种统计模型提取文本摘要。虽然统计模型可以更好地捕获文本周围的单词共现和分布，但它们无法检测句子/单词作为一个整体的上下文和意义。语义模型帮助我们更好地洞察句子的上下文。我们展示了如何调整不同模型之间的权重可以帮助我们在各种基准测试中取得显着的结果。在给定的语料库上，进一步学习语义模型中使用的预训练向量可以在性能上提供额外的尖峰。在不同的统计模型之间使用加权技术也进一步改进了我们的结果。对于统计模型，我们使用了TF/IDF，TextRANK，Jaccard/Cosine相似性。对于语义模型，我们使用了基于WordNet的模型，并提出了两个模型的基础上手套向量和Facebook的Infersent。我们在DUC 2004数据集上测试了我们的方法，生成了100字的摘要。我们已经讨论了系统，算法，分析，并提出和测试可能的改进。使用ROUGE评分与其他汇总器进行比较。
2018-05-17 cs.CL
A BART-based approach with hierarchical strategy for Vietnamese abstractive multi-document summarization
Aimesoft JSC（Aimesoft股份公司）
提出一种新颖简单的基于黄金摘要缩短文档的分层策略，结合BART模型实现越南语多文档抽象式摘要，在VLSP 2022测试集上达到ROUGE2-F1 0.2468，并利用外部数据增强训练。
2026-06-19 cs.AI cs.CL
Topic-Guided Abstractive Text Summarization: a Joint Learning Approach
University of Delaware（特拉华大学）；University of Maryland, College Park（马里兰大学帕克分校）；Tongji University（同济大学）；Tezign（特赞）
我们介绍了一种新的方法，抽象的文本摘要，主题引导的抽象摘要，校准长期的依赖关系，从主题级功能与全球显着的内容。我们的想法是将神经主题建模与基于transformer的序列到序列（seq2seq）模型结合在一个联合学习框架中。这种设计可以学习和保存文档的全局语义，这可以为捕获文档的重要思想提供额外的上下文指导，从而增强摘要的生成。我们在两个数据集上进行了大量的实验，结果表明，我们提出的模型在ROUGE测量和人类评估方面优于许多提取和抽象系统。我们的代码可在https://github.com/chz816/tas上获得。
2021-08-27 cs.CL
Incorporating Domain Knowledge for Extractive Summarization of Legal Case Documents
IIT Kharagpur（印度理工学院卡哈拉格普尔分校）；L3S Research Center（L3S研究中心）
法律案例文档的自动摘要是一个重要的和实际的挑战。除了许多独立于领域的文本摘要算法可以用于此目的，几个算法已经开发了专门用于总结法律案例文档。然而，大多数现有的算法没有系统地纳入领域知识，指定什么信息应该理想地存在于法律案件文档摘要中。为了解决这一差距，我们提出了一个无监督的摘要算法DELSumm，旨在系统地将法律专家的指导方针纳入优化设置。我们对印度最高法院的案例文件进行了详细的实验。实验表明，我们提出的无监督方法优于几个强基线的ROUGE分数，包括一般的摘要算法和法律特定的。事实上，尽管我们提出的算法是无监督的，但它优于几个经过数千个文档摘要对训练的监督摘要模型。
2021-06-30 cs.CL cs.IR
Neural Extractive Text Summarization with Syntactic Compression
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的神经网络摘要方法主要是基于选择的提取或基于生成的抽象。在这项工作中，我们提出了一个基于联合提取和句法压缩的单文档摘要的神经模型。我们的模型从文档中选择句子，根据选区分析识别可能的压缩，并使用神经模型对这些压缩进行评分，以生成最终摘要。对于学习，我们构建了Oracle提取压缩摘要，然后通过这种监督来学习我们的两个组件。在CNN/Daily Mail和New York Times数据集上的实验结果表明，根据ROUGE的评估，我们的模型实现了强大的性能（与最先进的系统相当）。此外，我们的方法优于现成的压缩模块，人工和手动评估表明，我们的模型的输出通常保持语法。
2019-09-09 cs.CL
Summarization of Films and Documentaries Based on Subtitles and Scripts
INESC ID Lisboa（里斯本高等工程学院信息与决策系统研究所）；Instituto Universitário de Lisboa (ISCTE-IUL)（里斯本大学学院（ISCTE-IUL））；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）
我们评估的通用文本摘要算法应用于电影和纪录片的性能，使用众所周知的行为摘要的新闻文章作为参考。我们使用三个数据集：（i）新闻文章，（ii）电影剧本和字幕，以及（iii）纪录片字幕。标准ROUGE指标用于将生成的摘要与新闻摘要、情节摘要和概要进行比较。我们发现，最好的性能算法是LSA，新闻文章和纪录片，和LexRank和支持集，电影。尽管电影和纪录片的性质不同，但它们的相对行为与新闻文章的行为是一致的。
2016-03-09 cs.AI cs.CL cs.IR
Attend to the beginning: A study on using bidirectional attention for extractive summarization
University of Pittsburgh（匹兹堡大学）；Microsoft Research（微软研究院）
论坛讨论数据在结构和属性上都不同于一般形式的文本数据（如新闻）。相反，总结技术应该利用这些差异，并制作可以从讨论数据的结构性中受益的模型。在这项工作中，我们建议参加一个文件的开头，以提高性能的提取摘要模型时，应用于论坛讨论数据。评估表明，在双向注意力机制的帮助下，关注讨论线程中的文档开头（初始评论/帖子）可以持续提高ROUGE分数，并在论坛讨论数据集上引入新的最新技术水平（SOTA）ROUGE分数。此外，我们探讨了这一假设是否可扩展到其他通用形式的文本数据。我们利用在文本早期引入重要信息的趋势，通过关注通用文本数据中的前几句话。评估表明，参加介绍性句子使用双向注意，提高了提取摘要模型的性能，甚至适用于更通用形式的文本数据。
2020-05-09 cs.CL cs.LG
Automatic Summarization of Long Documents
IIT Hyderabad（印度理工学院海得拉巴分校）；University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
针对现有基于Transformer的摘要模型受输入上下文长度限制、无法处理超长文本的问题，本研究提出三种无需修改架构即可让任意LLM突破输入限制的新算法，在超7万词文本上实现BERTScore显著提升、ROUGE分数具备竞争力的效果。
2024-10-08 cs.AI cs.CL
Learning to Extract Coherent Summary via Deep Reinforcement Learning
Hong Kong University of Science and Technology（香港科技大学）；University of Massachusetts Medical School（马萨诸塞大学医学院）
连贯性在从文件中生成高质量摘要方面发挥着关键作用。近年来，神经抽取摘要越来越受到人们的关注。然而，他们大多数人在提取句子时忽略了摘要的连贯性。作为对提取连贯摘要的努力，我们提出了一个神经连贯模型来捕捉跨句子的语义和句法连贯模式。所提出的神经一致性模型消除了对特征工程的需要，并且可以使用未标记的数据以端到端的方式进行训练。实验结果表明，所提出的神经连贯模型可以有效地捕捉跨句连贯模式。利用神经元相干模型和ROUGE包的组合输出作为奖励，我们设计了一种强化学习方法来训练一个神经元提取摘要器，称为强化神经提取摘要（RNES）模型。RNES模型学习同时优化摘要的连贯性和信息重要性。在CNN/Daily Mail数据集上的实验结果表明，该算法的ROUGE性能优于现有的基线算法，达到了最先进的水平.质量评价表明，国家评价网络编写的摘要更加连贯和可读。
2018-04-19 cs.CL
Contextualized Rewriting for Text Summarization
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
摘要存在着不相关、冗余和不连贯等问题。已有的工作表明，摘要的抽象重写可以提高摘要的简洁性和可读性。这些重写系统将提取的摘要视为唯一的输入，这是相对集中的，但可能丢失重要的背景知识。在本文中，我们研究语境重写，它摄取整个原始文档。我们将上下文重写形式化为具有组对齐的seq2seq问题，引入组标签作为对对齐进行建模的解决方案，通过基于内容的寻址来识别提取的摘要。结果表明，我们的方法显着优于非上下文重写系统，而不需要强化学习，实现了多个提取摘要的ROUGE分数的大幅改善。
2021-04-26 cs.CL
On Faithfulness and Factuality in Abstractive Summarization
Google Research（谷歌研究院）
众所周知，神经文本生成模型中的标准似然训练和近似解码目标导致对语言建模和故事生成等开放式任务的响应不太像人类。在本文中，我们分析了这些模型的局限性，抽象的文档摘要，发现这些模型是非常容易产生幻觉的内容是不忠实的输入文档。我们对几种神经抽象摘要系统进行了大规模的人类评估，以更好地了解它们产生的幻觉类型。我们的人类注释者在所有模型生成的摘要中发现了大量的幻觉内容。然而，我们的分析确实表明，预训练模型不仅在原始指标方面，即，ROUGE，但也在生成由人类评估的忠实和事实的总结。此外，我们表明，文本蕴涵措施更好地与忠诚度比标准的指标，潜在的自动评估指标以及训练和解码标准的方式。
2020-05-02 cs.CL
EDU-level Extractive Summarization with Varying Summary Lengths
University of Manchester（曼彻斯特大学）
抽取模型通常将文本摘要表述为从文档中抽取固定的顶部$k$显著句子作为摘要。很少有研究对抽取细粒度的基本语篇单元（EDU）进行研究，很少对抽取单元的选择进行分析和论证。此外，固定顶部$k$显著句的选择策略不太适合摘要需要，因为不同文档中的显著句的数量不同，因此在现实中不存在共同的或最好的$k$。为了填补这一空白，本文首先对基于教育单元和句子的甲骨文摘要进行了对比分析，从理论和实验两个角度对教育单元摘要的自动评价得分高于句子的现象进行了论证和量化。针对教育单元的这一特点，本文进一步提出了一种基于变摘要律的教育单元级抽取模型，并给出了相应的学习算法。EDU-VL学习编码和预测文档中EDU的概率，基于各种$k$值生成具有不同长度的多个候选摘要，并以端到端的训练方式对候选摘要进行编码和评分。最后，EDU-VL在单文档和多文档基准数据集上进行了实验，并与最先进的提取模型相比，在ROUGE分数上显示出改进的性能，进一步的人工评估表明，EDU成分摘要保持了良好的语法性和可读性。
2023-03-13 cs.CL
An Enhanced MeanSum Method For Generating Hotel Multi-Review Summarizations
多文档摘要是将多个文本作为输入，并根据输入文本的内容生成简短摘要文本的过程。直到最近，多文档摘要器大多是监督提取的。然而，监督方法需要大型的成对文档摘要示例的数据集，这些示例很少且生产成本高。2018年，Chu和Liu提出了一种无监督的多文档摘要方法（Meansum），与提取方法相比表现出了竞争力。尽管在自动度量上有很好的评估结果，但Meansum有很多局限性，特别是无法处理多个方面。这项工作的目的是使用多方面掩蔽（MAM）作为内容选择器，以解决多方面的问题。此外，我们提出了一个正则化控制生成的摘要的长度。通过在Trip Advisor酒店数据集上的一系列实验，我们验证了我们的假设，并表明我们改进的模型比原来的Meansum方法实现了更高的ROUGE，情感准确性，并且还击败/可比较/接近监督基线。
2021-04-20 cs.AI cs.CL
Enumeration of Extractive Oracle Summaries
NTT Communication Science Laboratories, NTT Corporation（NTT通信科学实验室，NTT公司）
为了分析抽取摘要范式的局限性和未来发展方向，本文提出了一种基于ROUGE-N的线性规划（ILP）公式来获得抽取摘要。我们还提出了一个算法，列举了所有的甲骨文摘要的一组参考摘要，利用F-措施，评估哪些系统摘要包含多少句子，提取作为一个甲骨文摘要。我们在文档理解会议（DUC）语料库上的实验结果表明：（1）抽取式摘要的性能仍有提高的空间;（2）从枚举式甲骨文摘要中得到的F-测度与人类判断的相关性显著强于从单个甲骨文摘要中得到的F-测度。
2017-01-06 cs.CL
Long-Span Summarization via Local Attention and Content Selection
University of Cambridge（剑桥大学）
基于transformer的模型已经在包括文档摘要在内的广泛的自然语言处理（NLP）任务中取得了最先进的结果。通常，这些系统是通过将大型预训练模型微调到目标任务来训练的。这些基于transformer的模型的一个问题是，随着输入长度的增长，它们在内存和计算需求方面不能很好地扩展。因此，对于较长的文档摘要，训练或微调这些模型可能具有挑战性。在这项工作中，我们利用大型的预训练的基于transformer的模型，并使用两种方法解决抽象摘要中的长跨度依赖关系：局部自注意和显式内容选择。这些方法进行了比较，在一系列的网络配置。实验在标准的长跨度摘要任务上进行，包括Spotify Podcast，arXiv和PubMed数据集。我们证明，通过结合这些方法，我们可以在ROUGE分数中的所有三个任务上实现最先进的结果。此外，在没有大规模GPU卡的情况下，我们的方法可以实现与现有方法相当或更好的结果。
2021-05-29 cs.CL
BERT-VBD: Vietnamese Multi-Document Summarization Framework
Phenikaa University（斐佳大学）
针对越南语多文档摘要研究中抽取与生成结合方法匮乏的问题，提出BERT-VBD双组件流水线框架，经改进的BERT抽取关键句后结合VBD-LLaMA2生成摘要，在VN-MDS数据集上ROUGE-2得分达39.6%，超越现有最优基线。
2024-09-18 cs.AI cs.CL
ARMAN: Pre-training with Semantically Selecting and Reordering of Sentences for Persian Abstractive Summarization
University of Tehran（德黑兰大学）；Institute for Research in Fundamental Sciences (IPM)（基础科学研究研究所（IPM））
摘要文本摘要是受预训练语言模型出现影响的领域之一。摘要文摘的预训练主要集中在与正文相似词较多的摘要上，而对生成句子与原文的语义相似度关注较少。我们提出了ARMAN，这是一个基于transformer的编码器-解码器模型，它预先训练了三个新的目标来解决这个问题。在ARMAN中，根据修改后的语义得分从文档中选择要掩蔽的显著句子并形成伪摘要。为了更准确地总结和类似于人类的写作模式，我们应用了修改后的句子重排。我们评估了我们提出的模型在六个下游波斯语摘要任务。实验结果表明，我们提出的模型达到了最先进的性能上的所有六个摘要任务测量的ROUGE和BERTScore。我们的模型在文本蕴涵、问题释义和多项选择问答方面也优于先前的工作。最后，我们建立了一个人的评价，并表明使用语义得分显着提高摘要结果。
2021-09-09 cs.CL
A General Contextualized Rewriting Framework for Text Summarization
Westlake University（西湖大学）；Westlake Institute of Advanced Study（西湖高等研究院）
摘要重写方法结合了抽取和抽象方法，使用抽象模型提高了抽取摘要的简洁性和可读性。现有的改写系统将抽取出的句子作为唯一的输入，相对集中，但会丢失必要的背景知识和语篇语境。在本文中，我们研究上下文重写，它消耗整个文档，并认为摘要上下文。我们将上下文重写形式化为具有组标签对齐的seq2seq，引入组标签作为对对齐进行建模的解决方案，通过基于内容的寻址来识别提取的句子。结果表明，我们的方法显着优于非上下文重写系统，而不需要强化学习，实现了多个提取器上的ROUGE分数的大幅改善。
2022-07-13 cs.CL
DeepChannel: Salience Estimation by Contrastive Learning for Extractive Document Summarization
Tsinghua University（清华大学）；Nanyang Technological University（南洋理工大学）
我们提出了DeepChannel，这是一个强大的，数据高效的，可解释的神经模型，用于提取文档摘要。给定任何文档-摘要对，我们都会估计一个显着分数，该分数使用基于注意力的深度神经网络建模，以表示用于生成文档的摘要的显着程度。我们设计了一种对比训练策略来学习显着性估计网络，然后使用学习到的显着性得分作为指导，并迭代地从文档中提取最显着的句子作为我们生成的摘要。在实验中，我们的模型不仅在CNN/Daily Mail数据集上获得了最好的ROUGE分数，而且在DUC 2007测试集上的域外测试中也表现出了很强的鲁棒性。此外，我们的模型在CNN/Daily Mail测试集上仅使用$1 / 100$训练集就达到了39.41的ROUGE-1 F-1得分，展示了巨大的数据效率。
2018-11-07 cs.CL
Fill in the BLANC: Human-free quality estimation of document summaries
Primer Technologies Inc.（Primer科技公司）
我们提出了BLANC，一种新的方法来自动估计的文件摘要质量。我们的目标是用一种客观的、可重复的、完全自动化的方法来衡量摘要的功能性能。我们的方法通过测量预训练的语言模型在对文档文本执行语言理解任务时获得的性能提升来实现这一点。我们目前的证据表明，BLANC评分与人类评价的ROUGE家庭的汇总质量测量有很好的相关性。与ROUGE不同的是，BLANC方法不需要人工编写的参考摘要，允许完全不受人工影响的摘要质量估计。
2020-11-11 cs.CL
Multi-Topic Multi-Document Summarizer
Electronics Research Institute（电子研究所）；Faculty of Computers and Information, Benha University（班哈大学计算机与信息学院）
现有的多文档文摘系统虽然能够成功地提取摘要语句，但存在覆盖率低、重要语句提取不准确、句子冗余和连贯性差等问题。本研究引入了一个新的概念，质心的方法和报告的新技术提取摘要句子的多文档。在这两种技术中，关键词都被用来衡量句子和文档。第一种摘要技术（Sen-Rich）更喜欢最大丰富度的句子。而第二个（Doc-Rich），更喜欢来自质心文档的句子。为了演示新的摘要系统应用程序提取阿拉伯文文档的摘要，我们进行了两个实验。首先，我们应用Rouge测量来比较在TAC 2011上提出的系统之间的新技术。结果表明，Sen-Rich优于ROUGE-S中的所有系统。第二，将该系统应用于多主题文档的摘要。使用人工评估，结果表明，Doc-Rich是优越的，其中总结句的特点是额外的覆盖范围和更多的衔接。
2014-01-03 cs.CL
Enhanced Seq2Seq Autoencoder via Contrastive Learning for Abstractive Text Summarization
University of Delaware（特拉华大学）；University of Maryland, College Park（马里兰大学帕克分校）；Tongji University（同济大学）；Tezign（特赞）
在本文中，我们提出了一个去噪序列到序列（seq2seq）自动编码器通过对比学习的抽象文本摘要。我们的模型采用了一个标准的transformer为基础的架构与多层双向编码器和自回归解码器。为了增强其去噪能力，我们将自监督对比学习与各种文档级文档增强相结合。这两个组件seq2seq autoencoder和对比学习通过微调进行联合训练，从而提高了文本摘要在ROUGE分数和人工评估方面的性能。我们在两个数据集上进行了实验，并证明我们的模型优于许多现有的基准测试，甚至达到了与使用更复杂的架构和广泛的计算资源训练的最先进的抽象系统相当的性能。
2021-08-26 cs.CL
A Multilingual Study of Compressive Cross-Language Text Summarization
Université d’Avignon et des Pays de Vaucluse（阿维尼翁与沃克吕兹地区大学）；École Polytechnique de Montréal（蒙特利尔综合理工学院）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）
跨语言文本摘要（CLTS）生成的摘要语言与源文档的语言不同。最近的方法使用来自两种语言的信息来生成具有最多信息的句子的摘要。然而，这些方法的性能可能因语言而异，这可能会降低摘要的质量。在本文中，我们提出了一个压缩框架来生成跨语言摘要。为了分析性能，特别是稳定性，我们在四种语言（英语，法语，葡萄牙语和西班牙语）的数据集上测试了我们的系统和提取基线，以生成英语和法语摘要。自动评估表明，我们的方法优于提取最先进的CLTS方法，对所有语言都有更好，更稳定的ROUGE分数。
2018-10-24 cs.CL
Diversity driven Attention Model for Query-based Abstractive Summarization
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；IBM Research India（IBM印度研究院）
摘要的目的是生成一个简短的版本的文件，涵盖了所有的显着点，在一个紧凑和连贯的方式。另一方面，基于查询的摘要突出显示了与给定查询上下文相关的那些点。编码-参与-解码范式在机器翻译、摘要提取、对话系统等方面取得了显著的成功，但它存在产生重复短语的缺点。在这项工作中，我们提出了一个基于查询的摘要任务的编码-参加-解码范式的基础上，有两个关键的补充（i）查询注意力模型（除了文档注意力模型之外），它学习在不同的时间步长关注查询的不同部分（而不是使用查询的静态表示）和（ii）一种新的基于多样性的注意力模型，旨在减轻摘要中重复短语的问题。为了能够测试这个模型，我们引入了一个新的基于查询的摘要数据集建立在debatepedia。我们的实验表明，有了这两个补充，所提出的模型明显优于香草编码参加解码模型的增益为28%（绝对）的ROUGE-L分数。
2018-07-13 cs.CL
Improving the Robustness of Summarization Models by Detecting and Removing Input Noise
Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
本文通过大规模实证研究量化了输入噪声对摘要模型性能的影响，并提出一种无需额外训练或先验知识的轻量级推理阶段去噪方法，可恢复最高11个ROUGE-1分的性能损失。
2023-12-04 cs.CL cs.LG
Unity in Diversity: Learning Distributed Heterogeneous Sentence Representation for Extractive Summarization
IIIT Hyderabad（印度海得拉巴国际信息技术学院）；Microsoft（微软）
多文档自动摘要是自然语言理解领域的一个研究热点。这样的提取机制以某种形式计算要被包括到摘要中的句子的价值。虽然传统的方法依赖于人工制作的文档独立的功能来生成摘要，我们开发了一个数据驱动的新的摘要系统称为HNet，它利用各种语义和成分方面潜在的一句话来捕捉文档独立的功能。该网络以一种方式学习句子表示，即显著句子在向量空间中比非显著句子更接近。然后将此语义和组成特征向量与文档相关特征连接起来，以进行句子排名。在DUC基准数据集（DUC-2001，DUC-2002和DUC-2004）上的实验表明，与最先进的基线相比，我们的模型在ROUGE得分方面显示出约1.5-2点的显着性能增益。
2019-12-25 cs.CL cs.IR cs.LG
'Finance Wizard' at the FinLLM Challenge Task: Financial Text Summarization
Monash University（莫纳什大学）
本文提出通过持续预训练、多任务指令微调和任务专用微调将Llama3 8B适配为金融文本摘要模型FinLlama3_sum，在FinNLP-AgentScen 2024共享任务2中以ROUGE-1 0.521获得第三名。
2024-08-07 cs.CL
