Controlling Output Length in Neural Encoder-Decoders
Tokyo Institute of Technology（东京工业大学）；Carnegie Mellon University（卡内基梅隆大学）
神经编码器-解码器模型在许多序列生成任务中表现出巨大的成功。然而，以前的工作没有调查的情况下，我们想控制编码器-解码器输出的长度。这种能力对于文本摘要等应用程序至关重要，在这些应用程序中，我们必须生成具有所需长度的简明摘要。在本文中，我们提出了控制神经编码器-解码器模型的输出序列长度的方法：两种基于解码的方法和两种基于学习的方法。结果表明，我们基于学习的方法有能力控制长度，而不会降低摘要质量的摘要任务。
2016-09-30 cs.CL
Leveraging ParsBERT and Pretrained mT5 for Persian Abstractive Text Summarization
Islamic Azad University North Tehran Branch（伊斯兰阿扎德大学北德黑兰分校）；Queensland University of Technology（昆士兰科技大学）
文本摘要是自然语言处理（NLP）中最重要的任务之一。越来越多的研究在这一领域进行的每一天。预先训练的基于transformer的编码器-解码器模型已经开始在这些任务中流行起来。本文提出了两种方法来解决这个任务，并介绍了一种新的数据集命名为pn-summary波斯语摘要文本摘要。本文中采用的模型是mT5和ParsBERT模型的编码器-解码器版本（即，波斯语的单语BERT模型）。这些模型在pn-summary数据集上进行了微调。目前的工作是这类工作中的第一次，通过取得有希望的成果，可以作为今后任何工作的基线。
2020-12-21 cs.CL
Learning Cluster Patterns for Abstractive Summarization
Kunsan National University（群山国立大学）；Yonsei University（延世大学）
如今，预训练的序列到序列模型，如BERTSUM和BART，在抽象摘要方面已经显示出最先进的结果。在这些模型中，在微调期间，编码器将句子转换为潜在空间中的上下文向量，解码器基于上下文向量学习摘要生成任务。在我们的方法中，我们考虑两个集群的显着和非显着的上下文向量，使用它的解码器可以参加更多的显着上下文向量摘要生成。为此，我们提出了一种新的聚类Transformer层之间的编码器和解码器，它首先生成两个集群的显着和非显着的向量，然后规范化和收缩的集群，使它们分开的潜在空间。我们的实验结果表明，该模型优于现有的BART模型，通过学习这些不同的聚类模式，提高高达4%的ROUGE和0.3%的BERTScore平均在CNN/DailyMail和XSUM数据集。
2022-02-23 cs.CL
Learning Non-Autoregressive Models from Search for Unsupervised Sentence Summarization
Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）
文本摘要旨在为输入文本生成简短的摘要。在这项工作中，我们提出了一种非自回归无监督汇总（NAUS）方法，该方法不需要并行数据进行训练。我们的NAUS首先执行基于编辑的搜索到一个明确定义的分数，并生成一个摘要作为伪地面实况。然后，我们根据搜索结果训练一个仅编码器的非自回归Transformer。我们还提出了一个动态规划的方法长度控制解码，这是重要的摘要任务。在两个数据集上的实验表明，NAUS实现了最先进的无监督摘要性能，但大大提高了推理效率。此外，我们的算法是能够执行显式的长度传输摘要生成。
2022-05-28 cs.CL cs.LG
Learning Syntactic and Dynamic Selective Encoding for Document Summarization
AI Labs - Didi Chuxing Co., Ltd.（滴滴出行有限公司AI实验室）；Beijing, China（中国北京（注：此处为地址信息，按要求不应提取，原回答有误，正确应为仅保留AI Labs - Didi Chuxing Co., Ltd.））
摘要的目的是生成一个标题或一个简短的摘要组成的主要信息的源文本。最近的研究采用序列到序列的框架，用神经网络对输入进行编码，并生成抽象摘要。然而，大多数的研究都是以语义词嵌入的方式提供给编码器，而忽略了文本的句法信息。此外，虽然先前的研究提出了选择性门来控制从编码器到解码器的信息流，但它在解码期间是静态的，并且不能基于解码器状态来区分信息。在本文中，我们提出了一种新的神经结构的文档摘要。我们的方法有以下贡献：第一，我们将句法信息，如选区解析树到编码序列中学习的语义和句法信息的文件，从而更准确的摘要;第二，我们提出了一个动态门网络来选择显着的信息的基础上的上下文的解码器状态，这是必不可少的文档摘要。在CNN/Daily Mail摘要数据集上对所提出的模型进行了测试，实验结果表明，所提出的方法优于基线方法。
2020-03-25 cs.CL cs.LG
Alleviating Exposure Bias via Contrastive Learning for Abstractive Text Summarization
The Hong Kong Polytechnic University（香港理工大学）
编码器-解码器模型在抽象文本摘要中取得了显著的成功，其目的是将一个或多个文档压缩成较短的版本而不丢失基本内容。不幸的是，这些模型在训练和推理之间存在差异，即，曝光偏差问题。在训练阶段，通过教师强制，这些模型被优化以最大化黄金摘要的可能性，给定黄金摘要令牌作为解码器的输入，而在推理时，给定令牌被生成的令牌替换。因此，很可能会生成低质量的摘要。为了解决这个问题，我们建议利用对比学习来降低这些低质量摘要的可能性，同时增加黄金摘要的可能性。由于我们的解决方案扩展了模型在训练过程中感知到的状态，我们希望可以缓解暴露偏差问题。我们的实验证明，我们的方法有效地提高了最先进的模型在不同数据集上的性能。
2021-08-26 cs.CL
Sample Efficient Text Summarization Using a Single Pre-Trained Transformer
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
语言模型（LM）预训练在各种语言理解任务上取得了令人印象深刻的性能和样本效率。然而，目前还不清楚如何最好地使用预训练的LM生成任务，如抽象总结，特别是提高样本效率。在这些序列到序列设置中，先前的工作已经试验了将预训练的权重加载到编码器和/或解码器网络中，但是使用了非预训练的编码器-解码器注意力权重。相反，我们使用一个预先训练的仅解码器网络，其中相同的Transformer LM既编码源又生成摘要。这确保了网络中的所有参数，包括那些控制对源状态的注意力的参数，都在微调步骤之前进行了预训练。在CNN/Daily Mail数据集上的实验表明，我们预先训练的Transformer LM在有限的数据设置中大大改善了预先训练的Transformer编码器-解码器网络。例如，它仅使用1%的训练数据（约3000个示例）就达到了13.1 ROUGE-2，而预训练的编码器-解码器模型得分为2.3 ROUGE-2。
2019-05-21 cs.CL
Positional Encoding to Control Output Sequence Length
Tokyo Institute of Technology（东京工业大学）
神经编码器-解码器模型在自然语言生成任务中已经取得了成功。然而，抽象摘要的实际应用必须考虑生成的摘要不应超过期望长度的附加约束。在本文中，我们提出了正弦位置编码的简单但有效的扩展（Vaswani等人，2017），以使神经编码器-解码器模型能够保留长度约束。与以前的研究不同，在以前的研究中，学习嵌入表示每个长度，所提出的方法可以生成任何长度的文本，即使目标长度不存在于训练数据中。实验结果表明，该方法不仅可以控制生成长度，而且提高了ROUGE分数。
2019-04-16 cs.CL
Improving Social Media Text Summarization by Learning Sentence Weight Distribution
MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）；School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院）
最近，编码器-解码器模型被广泛用于社交媒体文本摘要。然而，这些模型有时会错误地选择不相关句子中的噪声词作为摘要的一部分，从而降低了性能。为了抑制不相关的句子，集中在关键信息，我们提出了一种有效的方法，通过学习句子的权重分布。在我们的模型中，我们构建了一个多层感知器来预测句子权重。在训练过程中，我们使用ROUGE得分作为估计的句子权重的替代方案，并尝试最小化估计权重和预测权重之间的差距。通过这种方式，我们鼓励我们的模型专注于与摘要具有高度相关性的关键句子。实验结果表明，我们的方法优于基线上的大规模社交媒体语料库。
2017-10-31 cs.CL
FactGraph: Evaluating Factuality in Summarization with Semantic Graph Representations
Technical University of Darmstadt（达姆施塔特工业大学）；Amazon Alexa AI（亚马逊Alexa AI）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
尽管最近在抽象摘要方面有所改进，但大多数当前方法生成的摘要与源文档实际上并不一致，严重限制了它们在现实世界应用中的信任和使用。最近的工作已经显示出有前途的改进，在使用文本或依赖弧蕴涵的真实性错误识别，但是，他们不考虑整个语义图同时。为此，我们提出了FactGraph，一种将文档和摘要分解为结构化含义表示（MR）的方法，该方法更适合于真实性评估。MR描述核心语义概念及其关系，以规范形式聚合文档和摘要中的主要内容，并降低数据稀疏性。FactGraph使用增强了结构感知适配器的图形编码器来编码这些图形，以基于图形连接性捕获概念之间的交互，以及使用基于适配器的文本编码器的文本表示。在不同的基准测试上进行的实验表明，FactGraph比以前的方法性能高出15%。此外，FactGraph提高了识别内容可验证性错误的性能，并更好地捕获了主题级别的事实不一致。
2022-07-19 cs.AI cs.CL cs.LG
Bipartite Graph Pre-training for Unsupervised Extractive Summarization with Graph Convolutional Auto-Encoders
Zhongguancun Laboratory（中关村实验室）；Beihang University（北京航空航天大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出一种基于句子-词二部图的图预训练自编码器，显式建模句内区分性与句间连贯性特征，以获得更优句子表示，从而提升无监督抽取式摘要性能并超越BERT/RoBERTa表示。
2023-10-29 cs.AI cs.CL
Improving Semantic Relevance for Sequence-to-Sequence Learning of Chinese Social Media Text Summarization
Peking University（北京大学）；The Hong Kong Polytechnic University（香港理工大学）
目前的中文社交媒体文本摘要模型是基于编码器-解码器框架的。虽然其生成的摘要在字面上与源文本相似，但它们的语义相关性较低。在这项工作中，我们的目标是提高中文社交媒体摘要的源文本和摘要之间的语义相关性。我们引入了一个基于语义相关性的神经模型，以鼓励文本和摘要之间的高语义相似性。在我们的模型中，源文本由门控注意编码器表示，而摘要表示由解码器产生。此外，表示之间的相似性得分在训练期间被最大化。我们的实验表明，该模型优于基线系统上的社交媒体语料库。
2017-06-08 cs.CL
DiffuSum: Generation Enhanced Extractive Summarization with Diffusion
University of California, Davis（加州大学戴维斯分校）
DiffuSum提出用扩散模型直接生成摘要句表示并匹配抽取句子，联合优化对比编码器，在CNN/DailyMail上取得ROUGE 44.83/22.56/40.56的最优结果，验证了生成模型用于抽取式摘要的潜力。
2023-05-11 cs.CL
Guided Neural Language Generation for Abstractive Summarization using Abstract Meaning Representation
The University of Sheffield（谢菲尔德大学）
最近关于抽象摘要的工作在神经编码器-解码器架构方面取得了进展。然而，这样的模型往往是挑战，由于他们缺乏明确的语义建模的源文档及其摘要。在本文中，我们扩展了以前的工作抽象摘要使用抽象意义表示（AMR）与神经语言生成阶段，我们指导使用源文件。我们证明，这一指导提高了7.4和10.5点，在ROUGE-2使用黄金标准AMR解析和解析从现成的解析器分别获得的摘要结果。我们还发现，使用后者的摘要性能比在较大数据集上训练的成熟神经编码器-解码器方法高2个ROUGE-2点。代码可在\url{https://github.com/sheffieldnlp/AMR2Text-summ}上获得
2018-08-28 cs.CL
BASS: Boosting Abstractive Summarization with Unified Semantic Graph
Peking University（北京大学）；Baidu Inc.（百度公司）；Soochow University（苏州大学）
对于Seq 2Seq架构来说，长文档或多文档的抽象摘要仍然具有挑战性，因为Seq 2Seq不擅长分析文本中的长距离关系。在本文中，我们提出了BASS，一种新的框架，用于基于统一的语义图，聚合分布在很长一段时间的上下文中的共指短语，并传达丰富的短语之间的关系，以促进抽象摘要。此外，提出了一种基于图的编码器-解码器模型，通过利用图结构来改进文档表示和摘要生成过程。具体而言，几个图增强方法被设计成编码文本中的显式和隐式关系，而图传播注意力机制是在解码器中开发的，以选择突出的内容到摘要。实验结果表明，所提出的架构带来了实质性的改善，为长文档和多文档摘要任务。
2021-05-25 cs.CL
Exploring Explainable Selection to Control Abstractive Summarization
Institute for Language, Cognition and Computation, School of Informatics, University of Edinburgh（爱丁堡大学信息学院语言、认知与计算研究所）
像人类一样，文档摘要模型可以以多种方式解释文档的内容。不幸的是，今天的神经模型在很大程度上是黑盒子，几乎没有解释它们如何或为什么以这种方式生成摘要。因此，为了开始撬开黑匣子，并在最终摘要的实质内容中注入一定程度的控制，我们开发了一个新的选择和生成框架，专注于可解释性。通过揭示潜在的中心性和句子之间的相互作用，以及句子新颖性和相关性的分数，用户可以看到模型正在做出的选择，并有机会将这些选择引导到更理想的方向。一种新颖的成对矩阵捕获句子的相互作用，中心性和属性得分，和一个可调属性阈值的掩码允许用户控制哪些句子可能被包括在提取中。摘要器中的一个临时部署的注意力机制确保最终摘要强调所需的内容。此外，该编码器具有自适应性，支持基于Transformer和基于BERT的配置。在一系列使用ROUGE指标和两次人工评估进行评估的实验中，ESCA在CNN/DailyMail和NYT 50基准数据集上的表现优于八种最先进的模型。
2020-12-14 cs.CL
A Discourse-Aware Attention Model for Abstractive Summarization of Long Documents
Georgetown University（乔治城大学）；Adobe Research（奥多比研究院）
神经抽象摘要模型在总结相对较短的文档方面取得了可喜的成果。我们提出了第一个模型，用于对单个较长形式的文档（例如，研究论文）。我们的方法包括一个新的分层编码器，模型的话语结构的文档，和一个细心的话语感知解码器生成的摘要。在两个大规模的科学论文数据集上的实证结果表明，我们的模型显着优于最先进的模型。
2018-05-22 cs.CL
Covid-Transformer: Detecting COVID-19 Trending Topics on Twitter Using Universal Sentence Encoder
Tabriz University（大不里士大学）；Snap Inc（Snap公司）
新型冠状病毒病（也称为COVID-19）已导致大流行，影响全球200多个国家。由于其全球影响，COVID-19已成为几乎世界各地人们的主要关注点，因此世界各地都有大量关于COVID-19相关主题的推文。在这项工作中，我们试图分析推文，并检测Twitter上人们的热门话题和主要关注点，这可以使我们更好地了解情况，并制定更好的计划。更具体地说，我们提出了一个模型的基础上，通用的句子编码器来检测最近几个月的推文的主要主题。我们使用通用的句子编码器，以获得的语义表示和相似性的鸣叫。然后，我们使用句子相似性和它们的嵌入，并将它们馈送到K-means聚类算法，以将相似的推文（在语义意义上）分组。然后，使用基于深度学习的文本摘要算法获得聚类摘要，该算法可以揭示每个聚类的底层主题。通过实验结果，我们表明，我们的模型可以检测非常翔实的主题，通过处理大量的句子级别的推文（这可以保持推文的整体意义）。由于该框架对特定数据分布没有限制，因此可用于检测来自任何其他社交媒体和任何其他背景的热门话题，而不是COVID-19。实验结果表明，我们提出的方法优于其他基线，包括TF-IDF，和潜在的Dirichlet分配（LDA）。
2020-09-19 cs.CL cs.LG
Absformer: Transformer-based Model for Unsupervised Multi-Document Abstractive Summarization
Nokia Bell Labs（诺基亚贝尔实验室）
针对无参考摘要的无监督多文档抽象摘要任务，提出 Absformer，通过 MLM 预训练 Transformer 编码器聚类文档并训练解码器生成摘要，在三个跨领域数据集上显著优于现有方法。
2023-06-07 cs.CL cs.LG
MeanSum: A Neural Model for Unsupervised Multi-document Abstractive Summarization
MIT Media Lab（麻省理工学院媒体实验室）；Google Brain（谷歌大脑）
摘要已经研究了使用神经序列转导方法与数据集的大型，成对的文档摘要的例子。然而，这样的数据集是罕见的，从它们训练的模型不能推广到其他领域。最近，在学习序列到序列映射方面取得了一些进展，只有不成对的例子。在我们的工作中，我们考虑了只有文档（产品或业务评论）而没有提供摘要的情况，并提出了一个端到端的神经模型架构来执行无监督的抽象摘要。我们提出的模型由一个自动编码器组成，其中输入评论的表示的平均值解码为合理的摘要评论，同时不依赖于任何特定于评论的特征。我们考虑所提出的架构的变体，并进行消融研究，以显示特定组件的重要性。我们通过自动化指标和人工评估表明，生成的摘要高度抽象，流畅，相关，并代表了输入评论的平均情绪。最后，我们收集了一个参考评估数据集，并表明我们的模型优于强提取基线。
2019-05-22 cs.CL
Semantic Similarity Measure of Natural Language Text through Machine Learning and a Keyword-Aware Cross-Encoder-Ranking Summarizer -- A Case Study Using UCGIS GIS&T Body of Knowledge
School of Geographical Sciences and Urban Planning, Arizona State University（亚利桑那州立大学地理科学与城市规划学院）
针对GIS&T BoK主题语义关系手动定义不完整的问题，评估多种NLP技术提取文本语义，并提出KACERS摘要器生成科学文献语义摘要，以指导BoK内容组织并展示长文本语义理解潜力。
2023-05-17 cs.AI cs.CL cs.IR
Windowing Models for Abstractive Summarization of Long Texts
University of Mannheim（曼海姆大学）；inovex GmbH（inovex有限公司）
神经摘要模型受到固定大小输入限制的影响：如果文本长度超过模型的最大输入标记数，则某些文档内容（可能与摘要相关）会被截断。我们提出了（任意）长文本的神经抽象摘要的窗口模型。我们扩展了序列到序列模型，增加了指针生成器网络，（1）允许编码器在输入文档的不同窗口上滑动，（2）共享解码器并在不同的输入窗口上保留其状态。我们探索两种窗口化变体：静态窗口化预先计算解码器应该从每个窗口生成的令牌数量（基于训练语料统计）;在动态窗口化中，解码器学会发出一个令牌，该令牌指示编码器向下一个输入窗口的移位。实证结果使我们的模型在其预期的用例中有效：总结长文本，相关内容不限于文档开头。
2020-04-07 cs.CL
GRETEL: Graph Contrastive Topic Enhanced Language Model for Long Document Extractive Summarization
National Centre for Text Mining（国家文本挖掘中心）；The University of Manchester（曼彻斯特大学）；Chancefocus AMC
最近，神经主题模型（NTM）已被纳入到预训练的语言模型（PLM），以捕捉全局语义信息的文本摘要。然而，在这些方法中，仍然存在的方式，他们捕获和集成的全局语义信息的限制。在本文中，我们提出了一种新的模型，图对比主题增强语言模型（GRETEL），它结合了图对比主题模型与预训练的语言模型，充分利用全局和局部上下文语义的长文档提取摘要。为了更好地捕获全局语义信息并将其合并到PLM中，图对比主题模型集成了分层Transformer编码器和图对比学习，以融合来自全局文档上下文和黄金摘要的语义信息。为此，GRETEL鼓励模型有效地提取与黄金摘要主题相关的突出句子，而不是覆盖次优主题的冗余句子。在一般领域和生物医学数据集上的实验结果表明，我们提出的方法优于SOTA方法。
2022-08-21 cs.CL
A Semantic Relevance Based Neural Network for Text Summarization and Text Simplification
Peking University（北京大学）
文本摘要和文本简化是为包括儿童、非母语者和功能性文盲在内的贫困读者简化文本的两种主要方法。文本摘要是对文本的主要内容进行简要概括，而文本简化则是降低文本的语言复杂度，保留原文的意思。目前，大多数的文本摘要和文本简化方法都是基于序列到序列模型，它在许多文本生成任务中取得了很大的成功。然而，尽管生成的简化文本在字面上与源文本相似，但它们的语义相关性较低。在这项工作中，我们的目标是提高源文本和简化文本的文本摘要和文本简化之间的语义相关性。我们引入了一个基于语义相关性的神经模型，以鼓励文本和摘要之间的高语义相似性。在我们的模型中，源文本由门控注意编码器表示，而摘要表示由解码器产生。此外，表示之间的相似性得分在训练期间被最大化。我们的实验表明，该模型优于国家的最先进的系统在两个基准语料库。
2017-10-06 cs.CL
Neural Summarization by Extracting Sentences and Words
University of Edinburgh（爱丁堡大学）
传统的提取摘要方法在很大程度上依赖于人类工程特征。在这项工作中，我们提出了一个基于神经网络和连续句特征的数据驱动方法。我们开发了一个通用的框架，单文档摘要组成的分层文档编码器和基于注意力的提取器。这种架构允许我们开发不同类别的摘要模型，可以提取句子或单词。我们在包含数十万文档摘要对的大规模语料库上训练我们的模型。在两个摘要数据集上的实验结果表明，我们的模型在没有任何语言注释的情况下获得了与现有技术相当的结果。
2016-07-01 cs.CL
Hallucination Reduction in Long Input Text Summarization
Jadavpur University（贾达沃普尔大学）；School of Mathematical and Computational Sciences, Indian Association for the Cultivation of Science（印度科学促进会数学与计算科学学院）
本文针对长文档摘要幻觉问题，在 PubMed 上微调 LED，并结合数据过滤与 JAENS 联合生成，提升实体层面事实一致性。
2023-09-28 cs.CL cs.IR cs.LG
See, Hear, Read: Leveraging Multimodality with Guided Attention for Abstractive Text Summarization
IIIT-Delhi（印度德里信息技术学院）
近年来，多模态输入的摘要文本摘要已经开始引起人们的关注，因为它能够从不同的源模态中积累信息，并生成流畅的文本摘要。然而，现有的方法使用短视频作为视觉模态和短摘要作为地面实况，因此，在长视频和长地面实况摘要上表现不佳。此外，没有基准数据集可以在不同长度的视频上推广此任务。在本文中，我们介绍了AVIATE，第一个大规模的抽象文本摘要数据集与不同持续时间的视频，从著名的学术会议，如NDSS，ICML，NeurIPS等的演讲中编译，我们使用相应的研究论文摘要作为参考摘要，这确保了足够的质量和一致性的地面真相。然后，我们提出了FLORAL，一个分解的多模态Transformer的解码器只有语言模型，它固有地捕捉内的模态和模态间的动态在各种输入模态的文本摘要任务。FLORAL利用越来越多的自我关注来捕获多模态，并且比传统的基于编码器-解码器的网络表现得更好。大量的实验表明，FLORAL在现有的短视频How2数据集和新引入的AVIATE数据集上的定性和定量评估方面都取得了显著的基线改善，分别击败了两个数据集上的最佳基线$1.39$和$2.74$ ROUGE-L点。
2021-09-15 cs.CL cs.LG
Abstractive Summary Generation for the Urdu Language
FAST NUCES（巴基斯坦国立计算机与新兴科学大学）
本文提出基于Transformer编码器/解码器的乌尔都语抽象式摘要生成方法，在公开数据集上取得最先进Rouge分数，并验证了该方法可扩展至其他语言。
2023-05-25 cs.AI cs.CL
Entity-driven Fact-aware Abstractive Summarization of Biomedical Literature
Wright State University（莱特州立大学）
作为每年出版的大量科学文章的一部分，生物医学文献的出版率一直在增加。因此，已经有相当大的努力来利用和总结大量的生物医学研究文章。虽然已经针对不同领域中的抽象摘要广泛研究了普通源文档到摘要设置中的基于变换器的编码器-解码器模型，但是它们的主要局限性仍然是实体幻觉（生成的摘要构成与源文章不相关或不存在于源文章中的实体的现象）和事实不一致。在生物医学环境中，命名实体及其语义（可以通过知识库捕获）构成文章的本质，这一问题会加剧。在生物医学文章摘要文献中，尚未研究使用命名实体和从与命名实体有关的背景知识库中挖掘的事实来指导抽象摘要。在本文中，我们提出了一个实体驱动的事实感知框架，用于训练端到端的基于变换的编码器-解码器模型，用于生物医学文章的抽象摘要。我们称之为所提出的方法，其构建块是一个基于变换的模型，EFAS，可靠性驱动的事实感知抽象摘要。我们使用五种最先进的基于变压器的模型进行实验（其中两个是专门为长文档摘要设计的），并证明将知识注入这些模型的训练/推理阶段，使模型能够在实体级事实准确性，N-gram新颖性，和语义等价。在ICD-11-Summ-1000和PubMed-50 k上对所提出的方法进行了评价。
2022-03-30 cs.CL cs.LG
Soft Layer-Specific Multi-Task Summarization with Entailment and Question Generation
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
一份准确的文件摘要应包含所有重要信息，并在逻辑上与输入文件相关联。我们通过多任务学习与问题生成和蕴涵生成的辅助任务来改进抽象摘要的这些重要方面，其中前者教导摘要模型如何寻找突出的值得提问的细节，后者教导模型如何重写摘要，摘要是输入文档的有向逻辑子集。我们还提出了新的多任务架构，在这三个任务的多个编码器和解码器层之间具有高级别（语义）层特定的共享，以及软共享机制（并显示每个贡献的性能消融和分析示例）。总的来说，我们实现了统计上的显着改进，在国家的最先进的CNN/DailyMail和Gigaword数据集，以及在DUC-2002传输设置。我们还提出了一些定量和定性分析研究我们的模型的学习显着性和蕴涵技能。
2018-05-28 cs.AI cs.CL cs.LG
Inducing Causal Structure for Abstractive Text Summarization
CAS Key Lab of Network Data Science and Technology, ICT, CAS , University of Chinese Academy of Sciences（中国科学院计算技术研究所网络数据科学与技术重点实验室，中国科学院大学）；University of Amsterdam（阿姆斯特丹大学）
针对生成式摘要模型易受虚假关联影响的问题，提出基于结构因果模型的CI-Seq2Seq方法，通过重构VAE学习因果表征生成摘要，在两个常用数据集上验证了有效性。
2023-08-24 cs.AI cs.CL
Domain-specific Guided Summarization for Mental Health Posts
School of Advanced Technology, Xi’an Jiaotong-Liverpool University（西交利物浦大学先进技术学院）；University of Liverpool（利物浦大学）；School of Information Science and Technology, Hangzhou Normal University（杭州师范大学信息科学与技术学院）
针对心理健康领域生成式摘要需贴合专业内容的需求，提出带双编码器与适配解码器的引导式摘要器及后编辑校正模型，在Mentsum数据集上ROUGE和FactCC得分优于基线，方法具广泛适用性。
2024-11-03 cs.CL
Modeling Paragraph-Level Vision-Language Semantic Alignment for Multi-Modal Summarization
Tencent Inc.（腾讯公司）；Beihang University（北京航空航天大学）
本文提出ViL-Sum，通过联合多模态编码器及图像重排序和选择任务，建模段落级视觉-语言语义对齐，显著提升多模态摘要性能。
2023-05-10 cs.CL cs.CV
San-BERT: Extractive Summarization for Sanskrit Documents using BERT and it's variants
Sri Sathya Sai Institute of Higher Learning（斯里萨提亚赛高等研究院）
本研究基于天城体梵语语料库开发BERT及其变体模型，通过特征提取、降维与聚类技术实现梵语文档的抽取式摘要，并公开发布了相关语料库。
2023-04-04 cs.CL
Neural Document Summarization by Jointly Learning to Score and Select Sentences
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research（微软研究院）
句子评分和句子选择是抽取式文摘系统的两个主要步骤。然而，以前的作品将它们视为两个独立的子任务。在本文中，我们提出了一种新的端到端的神经网络框架提取文档摘要，通过联合学习评分和选择句子。它首先用分层编码器读取文档句子，获得句子的表示。然后通过逐个提取句子来构建输出摘要。与以往的方法不同，我们的方法将选择策略集成到评分模型中，直接预测先前选择的句子的相对重要性。在CNN/Daily Mail数据集上的实验表明，该框架的性能明显优于最先进的提取摘要模型。
2018-07-06 cs.CL
Unsupervised Abstractive Dialogue Summarization for Tete-a-Tetes
ASAPP Inc.（ASAPP公司）；Duke University（杜克大学）；Google Research（谷歌研究院）
高质量的对话摘要配对数据的生产成本很高，并且对领域敏感，这使得抽象的对话摘要成为一项具有挑战性的任务。在这项工作中，我们提出了第一个无监督的抽象对话摘要模型，为tete-a-tetes（SuTaT）。与标准文本摘要不同，对话摘要方法应该考虑多说话者的情况，其中说话者具有不同的角色，目标和语言风格。在一个tite-a-tete，如客户代理对话，SuTaT的目的是总结每个扬声器通过建模的客户话语和代理话语分别保留其相关性。SuTaT由一个条件生成模块和两个无监督摘要模块组成。条件生成模块包含两个编码器和两个解码器，在一个变分自编码器框架中，捕获两个潜在空间之间的依赖关系。使用相同的编码器和解码器，两个无监督的摘要模块配备了自注意力机制生成摘要，而不使用任何注释。实验结果表明，SuTaT是优越的无监督的对话摘要的自动和人类的评价，并能够对话分类和单轮会话生成。
2020-09-15 cs.CL cs.LG stat.ML
Controlling Summarization Length Through EOS Token Weighting
本文提出一种通过加权EOS令牌损失来控制摘要长度的方法，无需修改模型架构，与解码算法无关，并在编码器-解码器和GPT风格大语言模型上验证了其有效性且不影响摘要质量。
2025-06-05 cs.CL cs.LG
Augmented Abstractive Summarization With Document-LevelSemantic Graph
School of Statistics, Renmin University of China（中国人民大学统计学院）；T.H. Chan School of Public Health, Harvard University（哈佛大学陈曾熙公共卫生学院）；Department of ORFE, Princeton University（普林斯顿大学运筹学与金融工程系）；Center for Applied Statistics, School of Statistics, Renmin University of China（中国人民大学统计学院应用统计研究中心）
以前的抽象方法应用序列到序列结构来生成摘要，而没有模块来帮助系统检测文档中的重要提及和关系。为了解决这个问题，我们利用语义图来提高生成性能。首先，我们从每个文档中提取重要的实体，然后建立一个图的思想启发的远程监督\citep{mintz-etal-2009-distant}。然后，我们将Bi-LSTM与图形编码器相结合，以获得每个图形节点的表示。提出了一种新的神经解码器来利用这种实体图的信息。自动和人工评估显示了我们的技术的有效性。
2021-09-13 cs.CL
Follow the Timeline! Generating Abstractive and Extractive Timeline Summary in Chronological Order
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Peking University（北京大学）；University of Notre Dame（圣母大学）；Renmin University of China（中国人民大学）
如今，与一般新闻查询相关的带时间戳的Web文档在整个互联网上泛滥，并且时间轴摘要目标是简明地总结事件沿着时间轴的演变轨迹。与传统的文档摘要不同，时间轴摘要需要对输入事件的时间序列信息进行建模，并按时间顺序对重要事件进行摘要。为了解决这个问题，在本文中，我们提出了一个统一的时间轴摘要（UTS），可以生成抽象和提取的时间轴摘要的时间顺序。具体而言，在编码器部分，我们提出了一个基于图的事件编码器，根据它们的内容依赖关系将多个事件联系起来，并学习每个事件的全局表示。在解码器部分，为了保证摘要的时序性，提出在摘要生成过程中提取事件级注意特征，并保留序列信息，以此来模拟真实摘要的进化注意。事件级注意力还可以用于帮助提取摘要，其中提取的摘要也是按时间顺序出现的。我们扩充了以前的中文大规模时间轴摘要数据集，并收集了一个新的英文时间轴数据集。对这些数据集和域外时间轴17数据集进行的大量实验表明，UTS在自动和人工评估方面都达到了最先进的性能。
2023-01-02 cs.CL
Exploiting Representation Bias for Data Distillation in Abstractive Text Summarization
IIIT-Delhi（德里英迪拉·甘地信息技术学院）；IIT Delhi（德里印度理工学院）
本文通过离散化抽象摘要模型的向量空间，发现深度模型未能捕获输入多样性，提出基于聚类的数据蒸馏方法过滤冗余样本，以提升模型鲁棒性和忠实性，并用Rouge、BERTScore等指标验证。
2023-12-20 cs.CL
Low-Resource Dialogue Summarization with Domain-Agnostic Multi-Source Pretraining
Fudan University（复旦大学）
随着日常生活中对话数据量的迅速增加，对对话摘要的需求也越来越大。不幸的是，由于带有注释摘要的对话数据的不足，训练大型摘要模型通常是不可行的。大多数现有的低资源对话摘要工作直接预训练其他领域的模型，例如，新闻领域，但他们往往忽视了对话和常规文章之间的巨大差异。为了弥合域外预训练和域内微调之间的差距，在这项工作中，我们提出了一个多源预训练范式，以更好地利用外部汇总数据。具体来说，我们利用大规模的域内非摘要数据分别预训练对话编码器和摘要解码器。然后，使用对抗性评论器在域外摘要数据上对组合的编码器-解码器模型进行预训练，旨在促进领域不可知的摘要。在两个公开数据集上的实验结果表明，该方法在训练数据有限的情况下，具有较好的性能，并且在不同的对话场景中具有较好的泛化能力.
2021-09-11 cs.CL
Order-Planning Neural Text Generation From Structured Data
University of Waterloo（滑铁卢大学）
从结构化数据生成文本（例如，表）对于诸如问答和对话系统的各种自然语言处理任务是重要的。在最近的研究中，研究人员使用神经语言模型和编码器-解码器框架来生成表到文本。然而，这些基于神经网络的方法在文本生成期间不对内容的顺序进行建模。当一个人根据给定的表格写摘要时，他或她可能会在措辞之前考虑内容顺序。例如，在传记中，一个人的国籍通常在传记中的职业之前提到。在本文中，我们提出了一个订单规划文本生成模型，捕捉不同领域之间的关系，并利用这种关系，使生成的文本更加流畅和光滑。我们在WikiBio数据集上进行了实验，并在BLEU，ROUGE和NIST分数方面实现了比以前方法更高的性能。
2017-09-01 cs.AI cs.CL cs.IR
Stepwise Extractive Summarization and Planning with Structured Transformers
Google Research（谷歌研究院）
我们提出了以编码器为中心的逐步模型提取摘要使用结构化的变压器- HiBERT和扩展Transformers。我们通过将先前生成的摘要作为辅助子结构注入到结构化的Transformer中来实现逐步摘要。我们的模型不仅可以有效地对长输入的结构进行建模，而且它们也不依赖于特定于任务的冗余感知建模，使它们成为不同任务的通用提取内容规划器。当在CNN/DailyMail提取摘要上进行评估时，逐步模型在Rouge方面实现了最先进的性能，而无需任何冗余感知建模或句子过滤。这也适用于Rotowire表格到文本生成，我们的模型超过了之前报道的内容选择，规划和订购指标，突出了逐步建模的优势。在我们测试的两个结构化转换器中，逐步扩展的Transformers在两个数据集上提供了最佳性能，并为这些挑战设定了新的标准。
2020-10-06 cs.CL
Self-Supervised Multimodal Opinion Summarization
NCSOFT Co.（NCSoft公司）
最近，通过将抽样评论视为伪摘要，已经以自监督的方式进行了意见摘要（其是从多个评论生成摘要）。然而，与审查有关的图像和元数据等非文本数据较少得到考虑。为了利用非文本数据中包含的丰富信息，我们提出了一个自监督的多模态意见摘要框架MultimodalSum。我们的框架使用单独的编码器为每种模态获得每种模态的表示，文本解码器生成摘要。为了解决多模态数据固有的异质性，我们提出了一种多模态训练管道。我们首先只根据文本模态数据预训练文本编码器-解码器。随后，我们通过将预训练的文本解码器视为多模态数据的同质表示的枢轴来预训练非文本模态编码器。最后，为了融合多模态表示，我们以端到端的方式训练整个框架。我们通过在Yelp和Amazon数据集上进行实验来证明MultimodalSum的优越性。
2021-05-27 cs.AI cs.CL cs.LG
Q-learning with Language Model for Edit-based Unsupervised Summarization
IBM Research（IBM研究公司）
无监督的方法是有前途的抽象文本摘要，因为它不需要平行语料库。然而，它们的性能仍然远远不能令人满意，因此正在研究有前途的解决方案。在本文中，我们提出了一种新的方法，基于Q学习与基于编辑的摘要。该方法将两个关键模块结合起来，形成编辑代理和语言模型转换器（EALM）。代理预测编辑动作（例如，删除、保持和替换），然后LM转换器基于动作信号确定性地生成概要。Q-learning被用来训练智能体以产生适当的编辑动作。实验结果表明，与先前的基于编码器-解码器的方法相比，EALM提供了有竞争力的性能，即使具有真正的零配对数据（即，无验证集）。将任务定义为Q学习不仅使我们能够开发出一种有竞争力的方法，而且还使强化学习的最新技术可用于无监督摘要。我们还进行了定性分析，为未来的研究提供见解无监督摘要。
2020-10-09 cs.CL
CO2Sum:Contrastive Learning for Factual-Consistent Abstractive Summarization
Tencent AI Platform Department（腾讯人工智能平台部）；Harbin Institute of Technology（哈尔滨工业大学）
摘要摘要的生成是一个具有挑战性的任务。以前的工作主要是编码的事实信息或执行后纠正/排名解码后。在本文中，我们从对比学习的角度提供了一个事实一致的解决方案，这是一个自然的延伸，以前的工作。我们提出了CO2 Sum（Contrasive for Consistency），一个对比学习方案，可以很容易地应用于序列到序列模型的事实一致的抽象摘要，证明该模型可以是事实感知的，而无需修改架构。CO2 Sum在编码器上进行对比学习，帮助模型感知输入文章中包含的事实信息;在解码器上进行对比学习，使模型生成符合事实的输出摘要。更重要的是，这两个方案是正交的，可以结合起来，以进一步提高忠诚度。在公共基准上的综合实验表明，CO2 Sum提高了大型预训练语言模型的忠实性，并与其他强事实一致的摘要基线相比达到了有竞争力的结果。
2022-01-09 cs.CL
Towards Neural Numeric-To-Text Generation From Temporal Personal Health Data
Rensselaer Polytechnic Institute（伦斯勒理工学院）
随着对设计用于跟踪用户数据（例如，营养摄入、步数），现在比以往任何时候都有更多的机会以自然语言的形式向日常用户呈现有意义的行为见解。这些知识可以提高他们的行为意识，使他们能够采取行动，以实现他们的健康目标。它还可以弥合大量个人健康数据收集与描述个人行为倾向所需的摘要生成之间的差距。以前的工作主要集中在基于规则的时间序列数据摘要方法，旨在生成自然语言摘要的时间内的个人健康数据中发现的有趣的模式。我们研究了循环，卷积和基于transformer的编码器-解码器模型，以从数字时间个人健康数据自动生成自然语言摘要。我们展示了我们的模型在MyFitnessTools中记录的真实用户健康数据上的有效性，并表明我们可以自动生成高质量的自然语言摘要。我们的工作是实现从个人健康数据自动生成新颖且有意义的时间摘要这一宏伟目标的第一步。
2022-07-11 cs.CL
StructSum: Summarization via Structured Representations
School of Computer Science（计算机学院）；Carnegie Mellon University（卡内基梅隆大学）
摘要文本摘要的目的是将长源文档的信息压缩成重新措辞的、精简的摘要。尽管建模技术取得了进步，但抽象摘要模型仍然面临着几个关键挑战：（i）布局偏差：它们过度适应训练语料库的风格;（ii）有限的抽象性：它们被优化为从源代码复制n-gram，而不是生成新的抽象摘要;（iii）缺乏透明度：它们不可解释。在这项工作中，我们提出了一个基于文档级结构归纳的摘要框架来解决这些挑战。为此，我们建议将源文档中句子之间的潜在和显式依赖关系纳入端到端的单文档摘要模型。我们的框架补充了标准的编码器-解码器摘要模型，通过使用基于隐式学习（潜在）结构和外部派生语言（显式）结构的丰富的结构感知文档表示来增强它们。我们证明了我们的摘要框架，在CNN/DM数据集上训练，提高了源文档中内容的覆盖率，通过生成更多新颖的n-gram生成更抽象的摘要，并结合了可解释的摘要级结构，同时与标准基线保持一致。
2021-02-16 cs.CL
ARMAN: Pre-training with Semantically Selecting and Reordering of Sentences for Persian Abstractive Summarization
University of Tehran（德黑兰大学）；Institute for Research in Fundamental Sciences (IPM)（基础科学研究研究所（IPM））
摘要文本摘要是受预训练语言模型出现影响的领域之一。摘要文摘的预训练主要集中在与正文相似词较多的摘要上，而对生成句子与原文的语义相似度关注较少。我们提出了ARMAN，这是一个基于transformer的编码器-解码器模型，它预先训练了三个新的目标来解决这个问题。在ARMAN中，根据修改后的语义得分从文档中选择要掩蔽的显著句子并形成伪摘要。为了更准确地总结和类似于人类的写作模式，我们应用了修改后的句子重排。我们评估了我们提出的模型在六个下游波斯语摘要任务。实验结果表明，我们提出的模型达到了最先进的性能上的所有六个摘要任务测量的ROUGE和BERTScore。我们的模型在文本蕴涵、问题释义和多项选择问答方面也优于先前的工作。最后，我们建立了一个人的评价，并表明使用语义得分显着提高摘要结果。
2021-09-09 cs.CL
Modeling Endorsement for Multi-Document Abstractive Summarization
University of Central Florida（中佛罗里达大学）；Robert Bosch LLC（罗伯特·博世有限责任公司）
单文档摘要和多文档摘要之间的一个关键区别是显著内容在文档中的表现方式。虽然这些内容可能出现在一份文件的开头，但基本信息经常在与特定主题有关的一组文件中重复，从而产生了增加信息显著性的认可效应。在本文中，我们模型的跨文档背书效应及其利用多文档摘要。我们的方法从每个文档中生成一个概要，它可以作为一个背书者来识别其他文档中的突出内容。强烈认可的文本片段用于丰富神经编码器-解码器模型，以将其合并为抽象摘要。该方法具有很大的潜力，从更少的例子中学习，以确定显着的内容，这表明需要昂贵的重新培训时，一组文件是动态调整。通过对基准多文档摘要数据集的广泛实验，我们证明了我们提出的方法在强发布基线上的有效性。最后，我们阐明了未来的研究方向，并讨论了更广泛的挑战，这项任务使用的案例研究。
2021-10-15 cs.CL
Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
受人类如何总结长文档的启发，我们提出了一个准确快速的摘要模型，首先选择突出的句子，然后抽象地重写它们（即，压缩和释义）以生成简明的总体概要。我们使用了一种新的策略级策略梯度方法，以分层的方式在这两个神经网络之间架起不可微计算的桥梁，同时保持语言的流畅性。从经验上讲，我们在CNN/Daily Mail数据集上的所有指标（包括人工评估）上都达到了最新水平，而且抽象度得分也显著提高。此外，通过首先在段落级操作，然后在单词级操作，我们实现了神经生成模型的并行解码，这使得推理速度比以前的长段落编码器-解码器模型快得多（10- 20倍），训练收敛速度也快4倍。我们还展示了我们的模型在仅测试DUC-2002数据集上的泛化，在那里我们获得了比最先进的模型更高的分数。
2018-05-28 cs.AI cs.CL cs.LG
Neural Abstractive Text Summarizer for Telugu Language
IIIT Allahabad（阿拉哈巴德国际信息技术学院）；Shiv Nadar University（希夫·纳达尔大学）；University of Hyderabad（海得拉巴大学）
摘要文本摘要是构建语义相关的短句的过程，它抓住了源文本的整体意义的本质。对于人类来说，手动汇总大型文本文档实际上是非常困难和耗时的。摘要文本摘要的大部分工作都是用英语完成的，几乎没有重大的工作报告在泰卢固语摘要文本摘要。因此，我们想提出一种使用深度学习的泰卢固语抽象文本摘要方法。在本文中，我们提出了一个泰卢固语的抽象文本摘要深度学习模型。该架构基于具有注意力机制的编码器-解码器顺序模型。我们已经将该模型应用于手动创建的数据集上，生成源文本的一句话摘要，并取得了良好的效果。
2021-01-18 cs.CL cs.LG
Knowledge-guided Unsupervised Rhetorical Parsing for Text Summarization
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
由于深度学习的最新进展和大规模语料库的可用性，自动文本摘要（ATS）最近取得了令人印象深刻的性能。为了提高自动文摘系统的自动文摘结果的可信度，提出了一种结合修辞结构理论、深度神经模型和领域知识关注的无监督自动文摘方法。该体系结构主要包括三个部分：基于表示学习的领域知识库构建、修辞分析的注意编码解码器模型和基于子例程的文本摘要模型。领域知识可以有效地用于无监督的修辞分析，从而为每个文档的修辞结构树可以得到。在无监督修辞句法分析模块中，采用了翻译的思想来缓解数据不足的问题。基于子例程的摘要模型完全依赖于派生的修辞结构树，可以生成内容平衡的结果。为了在没有金标准的情况下对摘要结果进行评价，提出了一种无监督的评价指标，其超参数由监督学习调整。实验结果表明，在大规模中文数据集上，该方法可以获得与现有方法相当的性能。
2019-10-14 cs.AI cs.CL
Adapting the Neural Encoder-Decoder Framework from Single to Multi-Document Summarization
University of Central Florida（中佛罗里达大学）
从一组文档中生成文本摘要仍然是一项具有挑战性的任务。神经编码器-解码器框架最近已被用于总结单个文档，但其成功部分归功于从Web自动获取的大型并行数据的可用性。相比之下，多文档摘要的并行数据是稀缺的，获得成本高。迫切需要调整在单文档摘要数据上训练的编码器-解码器模型，以处理多文档输入。在本文中，我们提出了一个新的适应方法的初步调查。它利用最大边缘相关性方法从多文档输入中选择代表性句子，并利用抽象的编码器-解码器模型将不同的句子融合到抽象摘要中。自适应方法是鲁棒的，并且其本身不需要训练数据。我们的系统相媲美的最先进的提取和抽象的方法判断自动指标和人类评估。
2018-08-28 cs.CL
