Measuring Contextual Informativeness in Child-Directed Text
University of Colorado Boulder(科罗拉多大学博尔德分校);Johannes Gutenberg University Mainz(美因茨约翰内斯·古腾堡大学);University of California Berkeley(加州大学伯克利分校)
研究提出了一种基于LLM的方法来自动评估儿童故事中目标词汇的语境信息量,实验证明该方法在儿童和成人导向文本上均优于基线,对教育内容生成具有重要意义。
2024-12-23 cs.CL
Power-Law Decay Loss for Large Language Model Finetuning: A Theory Perspective
针对交叉熵平等加权导致模型偏重高频低信息 token 的问题,本文提出按语料频率幂律衰减重加权的 PDL 损失,并从理论上说明其可提升文本生成质量、多样性与信息量。
2025-06-09 cs.CL cs.LG
BLooP: Zero-Shot Abstractive Summarization using Large Language Models with Bigram Lookahead Promotion
BLooP通过双元前瞻促进技术,在无需训练的情况下提升大语言模型生成摘要的准确性和忠实度。
2026-03-12 cs.CL
TANet: Thread-Aware Pretraining for Abstractive Conversational Summarization
Beihang University(北京航空航天大学);Meituan(美团)
虽然预训练的语言模型(PLM)已经取得了巨大的成功,并成为自然语言处理的一个里程碑,抽象的会话摘要仍然是一个具有挑战性的,但研究较少的任务。困难在于两个方面。一是缺乏大规模的会话摘要数据。另一个问题是,将现有的预训练模型应用于这项任务是很棘手的,因为对话中的结构依赖及其非正式表达等,在这项工作中,我们首先基于Reddit社区中的多人讨论构建了一个名为RCS的大规模(11M)预训练数据集。然后,我们提出了TANet,一个线程感知的基于transformer的网络。与现有的将对话视为句子序列的预训练模型不同,我们认为话语之间固有的上下文依赖性在理解整个对话中起着至关重要的作用,因此提出了两种新技术来将结构信息纳入我们的模型。第一种是线索感知注意力,它是通过考虑话语内的上下文依赖性来计算的。其次,我们应用线索预测损失来预测话语之间的关系。我们在四个真实对话的数据集上评估了我们的模型,这些数据集涵盖了会议记录、客户服务记录和论坛线程的类型。实验结果表明,TANET实现了一个新的国家的最先进的自动评估和人类的判断。
2022-04-09 cs.CL
Faithful to the Original: Fact Aware Neural Abstractive Summarization
The Hong Kong Polytechnic University(香港理工大学);Hong Kong Polytechnic University Shenzhen Research Institute(香港理工大学深圳研究院);Microsoft Research(微软研究院);Peking University(北京大学)
摘要与抽取式摘要不同,摘要必须融合源文本的不同部分,这倾向于创建虚假事实。我们的初步研究表明,来自最先进的神经摘要系统的近30%的输出都存在这个问题。虽然以前的摘要方法通常侧重于信息量的提高,我们认为,忠实性也是一个实用的摘要系统的重要前提。为了避免在摘要中生成虚假事实,我们利用开放的信息抽取和依赖解析技术从源文本中提取实际的事实描述。然后提出了双注意序列到序列框架,以迫使生成条件的源文本和提取的事实描述。在Gigaword基准数据集上的实验表明,我们的模型可以大大减少80%的虚假摘要。值得注意的是,事实描述也带来了显着的信息量的改善,因为他们往往浓缩的源文本的含义。
2017-11-13 cs.CL cs.IR
Unsupervised Abstractive Meeting Summarization with Multi-Sentence Compression and Budgeted Submodular Maximization
École Polytechnique(巴黎综合理工学院);Linagora(利纳戈拉公司);AUEB(雅典经济与商业大学)
我们介绍了一种新的基于图的框架,抽象的会议语音摘要,是完全无监督的,不依赖于任何注释。我们的工作结合了多种最新方法的优势,同时解决了它们的弱点。此外,我们利用应用于NLP的词嵌入和图退化的最新进展,考虑外部语义知识,并设计自定义多样性和信息量的措施。在AMI和ICSI语料库上的实验表明,我们的系统在现有技术的基础上有所改进,代码和数据是公开的,并且我们的系统可以进行交互式测试。
2018-11-14 cs.CL
Evaluating Large Language Models for Multilingual Abstractive Summarization: A Comprehensive Study of English and Bengali
Islamic University of Technology(伊斯兰科技大学)
本文通过对8种LLM在英语和孟加拉语XL-Sum测试集的零样本基准测试,发现多语言摘要生成存在跨语言差异,单一评估指标不可靠,需为低资源语言构建综合评估框架。
2026-10-15 cs.AI cs.CL
Enhancing Semantic Understanding with Self-supervised Methods for Abstractive Dialogue Summarization
Samsung SDS(三星数据系统)
语境化的词嵌入可以在自然语言理解中产生最先进的性能。最近,预训练的深度上下文文本编码器(如BERT)在改进包括抽象摘要在内的自然语言任务方面显示出了潜力。现有的对话摘要方法集中于将大语言模型结合到由新闻文章而不是多个说话人的对话组成的大规模语料库上训练的摘要任务中。在本文中,我们引入自监督的方法来弥补不足,训练的对话摘要模型。我们的原则是检测不连贯的信息流使用借口对话文本,以提高BERT的能力,语境化的对话文本表示。我们使用增强的BERT在共享的编码器-解码器架构上构建并微调抽象对话摘要模型。我们经验评估我们的抽象对话摘要与SAMSum语料库,最近推出的数据集与抽象对话摘要。我们所有的方法都有助于改善ROUGE评分的抽象总结。通过广泛的消融研究,我们还提出了一个敏感性分析的关键模型超参数,切换话语和掩蔽对话者的概率。
2022-09-01 cs.AI cs.CL
uMedSum: A Unified Framework for Advancing Medical Abstractive Summarization
ASUS Intelligent Cloud Services (AICS)(华硕智能云服务)
本文提出uMedSum模块化混合摘要框架,通过顺序移除虚构并补充关键信息,在多个数据集和指标上显著优于基于GPT-4的SOTA方法,提升了医学摘要的忠实性与信息量。
2024-08-26 cs.AI cs.CL cs.LG
LongDocFACTScore: Evaluating the Factuality of Long Document Abstractive Summarisation
Artificial Intelligence Research Center(人工智能研究中心)
本文提出LongDocFACTScore框架及LongSciVerify数据集,用于评估长文档摘要的事实一致性,该框架可扩展至任意长度文档,且与人类判断的相关性优于现有指标。
2024-05-28 cs.AI cs.CL cs.LG
Click it or Leave it: Detecting and Spoiling Clickbait with Informativeness Measures and Large Language Models
Faculty of Mathematics and Information Science(数学与信息科学学院)
本文提出结合Transformer嵌入和语言学特征的点击诱饵检测方法,通过XGBoost模型在信息度量基础上达到91%的F1分数,提升预测透明度和可解释性。
2026-02-20 cs.AI cs.CL
How Ready are Pre-trained Abstractive Models and LLMs for Legal Case Judgement Summarization?
IIT Kharagpur(印度理工学院卡拉格普尔分校);IISER Kolkata(印度科学教育与研究院加尔各答分院)
该研究针对法律案件判决摘要生成任务,测试多款领域专用生成式摘要模型与通用LLMs在印度法院判决数据集上的表现,发现其指标得分略高于抽取式模型但存在大量幻觉与不一致问题,指出当前这类模型尚不适合全自动部署,推荐采用人在环路方案。
2023-06-14 cs.CL cs.IR cs.LG
Progressive Code Integration for Abstractive Bug Report Summarization
Islamic University of Technology(伊斯兰技术大学)
本文提出渐进式代码集成框架,通过整合长代码片段和文本内容,提升基于LLM的bug报告摘要效果,优于现有方法。
2025-11-29 cs.AI cs.CL cs.SE
Structured and Abstractive Reasoning on Multi-modal Relational Knowledge Images
Zhejiang University(浙江大学);Zhejiang University - Ant Group Joint Laboratory of Knowledge Graph(浙江大学-蚂蚁集团知识图谱联合实验室)
本文提出STAR-64K数据集及两阶段增强框架,通过合成多模态指令数据提升模型在抽象推理任务中的性能,实验表明小型模型在STAR任务中超越GPT-4o。
2026-04-29 cs.CL cs.CV
Multi-document abstractive summarization using ILP based multi-sentence compression
The Pennsylvania State University(宾夕法尼亚州立大学);QCRI(卡塔尔计算研究所);National University of Singapore(新加坡国立大学)
摘要文摘是一种理想的文摘形式,它可以综合多个文档中的信息,生成简洁的信息摘要。在这项工作中,我们的目标是开发一个抽象的摘要。首先,我们提出的方法确定多文档集中最重要的文档。最重要文档中的句子与其他文档中的句子对齐,以生成相似句子的聚类。其次,我们使用词图结构从每个聚类中的句子生成K-最短路径。最后,我们选择句子从所有集群产生的最短路径集采用一种新的整数线性规划(ILP)模型的目标是最大限度地提高信息含量和可读性的最终摘要。我们的ILP模型将最短路径表示为二元变量,并在目标函数中考虑路径的长度、信息分数和语言质量分数。DUC 2004年和2005年的多文档摘要数据集上的实验结果表明,我们提出的方法优于所有的基线和国家的最先进的提取摘要衡量的ROUGE分数。我们的方法也优于最近的抽象摘要技术。在人工评估中,我们的方法也取得了可喜的成果的信息性和可读性。
2016-09-22 cs.CL
Balancing Complexity and Informativeness in LLM-Based Clustering: Finding the Goldilocks Zone
本文利用大语言模型生成聚类名称,通过语义密度、信息论和聚类准确率量化信息量与可解释性的权衡,发现16-22个聚类是兼顾区分度与可解释性的最优区间。
2025-04-06 cs.AI cs.CL math.ST
Curriculum-Guided Abstractive Summarization
Georgetown University(乔治城大学);Adobe Research(奥多比研究院)
最近的基于transformer的摘要模型提供了一个很有前途的方法抽象摘要。他们超越句子选择和提取策略,以处理更复杂的任务,如新词生成和句子释义。然而,这些模型有两个缺点:(1)它们在内容选择方面表现不佳,(2)它们的训练策略不是很有效,这限制了模型的性能。在本文中,我们探索了两种正交的方法来弥补这些缺陷。首先,我们在解码器中增加了一个句子交叉注意模块来增强Transformer网络,鼓励对突出内容进行更多的抽象。其次,我们包括一个课程学习的方法来重新加权的训练样本,带来了一个有效的学习过程。与第一种方法相比,我们的第二种方法增强了Transformers网络的训练策略。我们将我们的模型应用于Reddit TIFU帖子的极端摘要数据集。我们进一步研究了三个跨域摘要数据集(Webis-TLDR-17,CNN/DM和XSum),测量了应用于摘要时课程学习的有效性。此外,人类的评价进行显示所提出的方法在定性标准,即流畅性,信息量和整体质量方面的功效。
2023-02-08 cs.CL
CaPE: Contrastive Parameter Ensembling for Reducing Hallucination in Abstractive Summarization
Salesforce AI Research(赛富时人工智能研究院);Hugging Face(抱抱脸公司)
幻觉是神经抽象摘要模型的一个已知问题。最近的研究表明,幻觉的程度可能取决于训练数据中的错误。在这项工作中,我们提出了一种新的方法,称为对比参数集成(CaPE)更有效地使用训练数据,利用训练样本中的噪声变化,以减少幻觉。我们首先使用不同的自动事实度量从训练数据中选择干净和有噪声的子集。然后,我们微调一个基本的摘要模型,这是在所有的训练样本,在干净的(嘈杂的)子集,以获得一个\textit{expert}(\textit{anti-expert})模型。最后,根据\textit{expert}模型和\textit{anti-expert}模型参数的差异,调整基础模型的参数,使基础模型向\textit{expert}模型靠拢,向远离\textit{anti-expert}模型靠拢。实验结果表明,CaPE提高了不同自动事实度量和人工评估的性能,XSUM和CNN/DM数据集的摘要级依赖弧蕴涵准确度最大分别提高了16.69%和15.78%.实际性能的提高不会降低其他信息性指标(如ROUGE)的性能。
2022-05-20 cs.CL
ACM -- Attribute Conditioning for Abstractive Multi Document Summarization
UC Berkeley(加州大学伯克利分校);Stanford(斯坦福大学)
抽象的多文档摘要作为一项任务已经从基本的序列到序列方法发展到基于Transformer和图形的技术。这些方法中的每一种主要集中在多文档信息合成和基于注意力的方法来提取突出信息的问题上。在单文档摘要中并不普遍的多文档摘要中出现的挑战是需要有效地摘要可能具有关于给定主题的冲突极性、情感或主观信息的多个文档。在本文中,我们提出了ACM,属性条件多文档摘要,一个模型,它结合了属性条件模块,以解耦冲突的信息,在输出摘要中的某个属性的条件。这种方法在ROUGE分数上比基线多文档摘要方法有了很大的提高,并且在流畅性、信息量和重复性方面都有了提高,如通过人类注释分析研究所示。
2022-05-09 cs.AI cs.CL
A Reinforced Topic-Aware Convolutional Sequence-to-Sequence Model for Abstractive Text Summarization
Tencent Data Center of SNG(腾讯社交网络事业群数据中心);Columbia University(哥伦比亚大学);Tencent AI Lab(腾讯AI实验室)
在本文中,我们提出了一种深度学习方法,通过将主题信息纳入卷积序列到序列(ConvS 2S)模型并使用自临界序列训练(SCST)进行优化来解决自动摘要任务。通过共同参加主题和词级对齐,我们的方法可以提高一致性,多样性和信息量的摘要生成机制,通过有偏见的概率。另一方面,强化训练,如SCST,直接优化所提出的模型关于不可微度量ROUGE,这也避免了在推理过程中的暴露偏差。我们进行了实验评估与国家的最先进的方法在千兆字,DUC-2004,和LCSTS数据集。实验结果表明,我们提出的方法在抽象摘要的优越性。
2020-07-27 cs.CL cs.LG stat.ML
Evaluating the Tradeoff Between Abstractiveness and Factuality in Abstractive Summarization
Amazon(亚马逊公司);SliceX AI(SliceX人工智能公司)
针对抽象式摘要中抽象性提升常损害事实性的问题,本文通过人类评估分析二者权衡,发布两个判断数据集并提出抽象性调整的事实性指标与基线。
2023-04-24 cs.CL
Robust Neural Abstractive Summarization Systems and Evaluation against Adversarial Information
Northeastern University(东北大学);Tencent AI Lab(腾讯人工智能实验室)
序列到序列(seq2seq)神经模型已经被积极地研究用于抽象摘要。然而,现有的神经抽象系统经常生成事实上不正确的摘要,并且容易受到对抗性信息的影响,这表明严重缺乏语义理解。在本文中,我们提出了一种新的语义感知神经抽象摘要模型,学习生成高质量的摘要,通过语义解释显着的内容。引入了一种带有对抗性样本的新评估方案来衡量模型识别主题外信息的能力,我们的模型比流行的指针生成器摘要器的性能要好得多。人工评估也证实了我们的系统摘要比seq2seq模型更加信息化和忠实,并且冗余度更低。
2018-10-14 cs.CL
Event-based evaluation of abstractive news summarization
University of Oslo(奥斯陆大学);University of Bergen(卑尔根大学)
本文提出一种基于事件重叠的抽象式新闻摘要评估方法,通过在挪威语数据集上计算生成摘要、参考摘要与原文之间的事件重叠来评估摘要质量,为摘要中的事件信息提供更深入的分析。
2025-07-01 cs.CL
Faithful or Extractive? On Mitigating the Faithfulness-Abstractiveness Trade-off in Abstractive Summarization
Columbia University(哥伦比亚大学);Stanford University(斯坦福大学);New York University(纽约大学);Cornell University(康奈尔大学)
尽管最近在摘要摘要方面取得了进展,但系统仍然遭受忠实性错误。虽然先前的工作已经提出了提高忠实度的模型,但尚不清楚这种改进是否来自模型输出的提取水平的提高,因为提高忠实度的一种简单方法是使摘要模型更提取。在这项工作中,我们提出了一个框架,用于评估有效的忠实性摘要系统,通过生成一个faithfulnessabstractiveness权衡曲线,作为控制在不同的操作点上的抽象频谱。然后,我们表明,最大似然估计(MLE)的基线,以及最近提出的方法,以提高忠诚度,都比控制在同一水平的抽象。最后,我们学习了一个选择器来识别给定文档的最忠实和最抽象的摘要,并表明该系统可以在人类评估中获得更高的忠实度分数,同时在两个数据集上比基线系统更抽象。此外,我们表明,我们的系统是能够实现一个更好的忠实性,抽象性的权衡比控制在同一水平的抽象性。
2022-04-21 cs.CL
Abstractive Summarization of Low resourced Nepali language using Multilingual Transformers
Tribhuvan University(特里布万大学);Institute of Engineering, Pulchowk Campus(工程学院普尔乔克校区)
本研究针对低资源尼泊尔语抽象式摘要任务,构建新闻摘要数据集并微调mBART和mT5多语言Transformer模型,实验表明4位量化mBART结合LoRA在ROUGE和人工评估中表现最优。
2024-09-29 cs.AI cs.CL
FEQA: A Question Answering Evaluation Framework for Faithfulness Assessment in Abstractive Summarization
Cornell University(康奈尔大学);New York University(纽约大学);The George Washington University(乔治华盛顿大学);Amazon Web Services AI(亚马逊网络服务人工智能)
神经抽象摘要模型容易产生与源文档不一致的内容,即不忠实。现有的自动度量不能有效地捕获此类错误。我们解决的问题,评估的忠实性生成的摘要,其源文件。我们首先收集了两个数据集上众多模型输出的忠实度的人类注释。我们发现,目前的模型表现出抽象性和忠实性之间的权衡:与源文档的字重叠较少的输出更有可能是不忠实的。接下来,我们提出了一个自动的问答(QA)为基础的忠实度,FEQA,它利用了最近的进展,阅读理解。给定从摘要生成的问题-答案对,QA模型从文档中提取答案;不匹配的答案表示摘要中的不忠实信息。在基于词重叠、嵌入相似性和学习语言理解模型的度量中,我们基于QA的度量与人类忠实度分数具有显著更高的相关性,特别是在高度抽象的摘要上。
2020-05-07 cs.CL
How Far are We from Robust Long Abstractive Summarization?
Monash University(莫纳什大学);Zhongtukexin Co. Ltd.(中图科信有限公司);Deakin University(迪肯大学);Griffith University(格里菲斯大学)
摘要文摘近年来取得了巨大的进展。在这项工作中,我们执行细粒度的人工注释来评估长文档抽象摘要系统(即,模型和指标),目的是实施它们以生成可靠的摘要。对于长文档抽象模型,我们表明,不断争取国家的最先进的ROUGE结果可以导致我们生成更多的相关摘要,但不是事实的。对于长文档评估指标,人工评估结果显示ROUGE在评估摘要的相关性方面仍然是最好的。它还揭示了事实性度量在检测不同类型的事实错误方面的重要局限性以及BARTScore有效性背后的原因。然后,我们提出了有前途的方向,在努力发展的事实一致性指标。最后,我们发布了带注释的长文档数据集,希望它能有助于在更广泛的摘要设置中开发指标。
2022-10-30 cs.CL
Abstractive Summarization Using Attentive Neural Techniques
Gonzaga University(贡萨加大学);University of Colorado, Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
在一个数据激增的世界里,快速总结文本的能力越来越重要。文本的自动摘要可以被认为是一个序列到序列的问题。解决序列到序列问题的自然语言处理的另一个领域是机器翻译,由于基于注意力的编码器-解码器网络的发展,机器翻译正在迅速发展。这项工作将这些现代技术应用于抽象概括。我们对各种用于摘要的注意力机制进行了分析,目的是开发一种旨在改进现有技术的方法和架构。特别是,我们修改和优化了一个用于生成抽象句子摘要的自注意翻译模型。这个基础模型的有效性以及注意力变量进行了比较和分析的背景下,标准化的评估集和测试指标。然而,我们发现,这些指标是有限的,在他们的能力,有效地评分抽象摘要,并提出了一种新的方法,基于直觉的抽象模型需要一个抽象的评价。
2018-10-20 cs.CL
Abstractive Dialog Summarization with Semantic Scaffolds
Zhejiang University(浙江大学);University of California, Davis(加州大学戴维斯分校)
在现实世界的应用中,对抽象对话摘要的需求正在增长。例如,客户服务中心或医院希望总结客户服务互动和医患互动。然而,由于缺乏合适的数据集,很少有研究者探讨对话的摘要。我们提出了一个抽象的对话摘要数据集的基础上MultiWOZ。如果我们直接应用以前的国家的最先进的文件摘要对话框的方法,有两个显着的缺点:信息实体,如餐厅名称是难以保存,和内容从不同的对话域有时不匹配。为了解决这两个缺点,我们提出了脚手架指针网络(SPNet),利用现有的注释扬声器角色,语义槽和对话域。SPNet将这些语义支架用于对话摘要。由于ROUGE不能捕捉到上述两个缺点,我们还提出了一个新的评估指标,认为关键的信息实体的文本。在MultiWOZ上,我们提出的SPNet在所有自动和人工评估指标上都优于最先进的抽象摘要方法。
2019-10-02 cs.CL
An Unsupervised Masking Objective for Abstractive Multi-Document News Summarization
University of California, San Diego(加州大学圣迭戈分校)
我们表明,一个简单的无监督掩蔽目标可以接近抽象的多文档新闻摘要的监督性能。我们的方法训练了一个最先进的神经摘要模型来预测相对于多文档组具有最高词汇中心性的屏蔽源文档。在Multi-News数据集上的实验中,我们的掩蔽训练目标产生了一个优于过去无监督方法的系统,并且在人类评估中,超过了最好的监督方法,而无需访问任何地面事实摘要。此外,我们评估不同的词汇中心性的措施,启发过去的工作提取摘要,影响最终的表现。
2022-01-07 cs.CL
PELMS: Pre-training for Effective Low-Shot Multi-Document Summarization
University of Michigan(密歇根大学)
PELMS通过基于语义连贯性和忠实性约束的预训练目标,利用大规模多文档语料库,在低样本多文档摘要任务中显著提升了摘要的抽象性、连贯性和忠实性。
2023-11-16 cs.AI cs.CL
On Faithfulness and Factuality in Abstractive Summarization
Google Research(谷歌研究院)
众所周知,神经文本生成模型中的标准似然训练和近似解码目标导致对语言建模和故事生成等开放式任务的响应不太像人类。在本文中,我们分析了这些模型的局限性,抽象的文档摘要,发现这些模型是非常容易产生幻觉的内容是不忠实的输入文档。我们对几种神经抽象摘要系统进行了大规模的人类评估,以更好地了解它们产生的幻觉类型。我们的人类注释者在所有模型生成的摘要中发现了大量的幻觉内容。然而,我们的分析确实表明,预训练模型不仅在原始指标方面,即,ROUGE,但也在生成由人类评估的忠实和事实的总结。此外,我们表明,文本蕴涵措施更好地与忠诚度比标准的指标,潜在的自动评估指标以及训练和解码标准的方式。
2020-05-02 cs.CL
Unsupervised Abstractive Summarization of Bengali Text Documents
Ahsanullah Univ of Science & Tech(阿赫桑乌拉科技大学)
抽象摘要系统通常依赖于大量的文档-摘要对集合。然而,抽象系统的性能仍然是一个挑战,因为像孟加拉语这样的低资源语言无法获得并行数据。为了克服这个问题,我们提出了一个基于图的无监督摘要系统在单文档设置孟加拉语文本文件,它只需要一个部分的语音(POS)标记和一个预先训练的语言模型孟加拉语文本训练。我们还提供了一个带有文档摘要对的人类注释数据集,以评估我们的抽象模型,并支持孟加拉语未来抽象摘要系统的比较。我们在这个数据集上进行实验,并将我们的系统与几个成熟的无监督提取摘要系统进行比较。我们的无监督抽象摘要模型在不暴露于任何人工注释的参考摘要的情况下优于基线。
2021-02-19 cs.CL
WikiLingua: A New Benchmark Dataset for Cross-Lingual Abstractive Summarization
Columbia University(哥伦比亚大学);Cornell University(康奈尔大学)
我们介绍WikiLingua,一个大规模的,多语言数据集的跨语言抽象摘要系统的评估。我们从WikiHow中提取了18种语言的文章和摘要对,WikiHow是一个高质量的协作资源,由人类作者撰写的各种主题的操作指南。我们通过对齐用于描述文章中每个操作步骤的图像来创建跨语言的黄金标准文章摘要对齐。作为进一步研究的一组基线,我们评估了现有的跨语言抽象摘要方法在我们的数据集上的性能。我们进一步提出了一种直接跨语言摘要的方法(即,而不需要在推理时进行翻译),这是通过利用合成数据和神经机器翻译作为预训练步骤实现的。我们的方法显着优于基线方法,同时在推理过程中更具成本效益。
2020-10-07 cs.CL
GUMSum: Multi-Genre Data and Evaluation for English Abstractive Summarization
Georgetown University(乔治城大学)
GUMSum构建了12种体裁的英语摘要数据集,评估发现GPT3虽流畅但仍有幻觉且不如人类,并揭示了不同方法生成摘要的错误类型与挑战。
2023-06-20 cs.CL
Query-Based Abstractive Summarization Using Neural Networks
Chalmers University of Technology(查尔姆斯理工大学)
在本文中,我们提出了一个模型,生成摘要的文本文档的查询。这称为基于查询的摘要。我们针对该任务调整现有的新闻文章摘要数据集,并使用该数据集训练指针生成器模型。通过测量与参考摘要的相似性来评价生成的摘要。我们的研究结果表明,一个神经网络摘要模型,类似于现有的神经网络模型的抽象摘要,可以构建利用查询,以产生有针对性的摘要。
2017-12-17 cs.CL
MeanSum: A Neural Model for Unsupervised Multi-document Abstractive Summarization
MIT Media Lab(麻省理工学院媒体实验室);Google Brain(谷歌大脑)
摘要已经研究了使用神经序列转导方法与数据集的大型,成对的文档摘要的例子。然而,这样的数据集是罕见的,从它们训练的模型不能推广到其他领域。最近,在学习序列到序列映射方面取得了一些进展,只有不成对的例子。在我们的工作中,我们考虑了只有文档(产品或业务评论)而没有提供摘要的情况,并提出了一个端到端的神经模型架构来执行无监督的抽象摘要。我们提出的模型由一个自动编码器组成,其中输入评论的表示的平均值解码为合理的摘要评论,同时不依赖于任何特定于评论的特征。我们考虑所提出的架构的变体,并进行消融研究,以显示特定组件的重要性。我们通过自动化指标和人工评估表明,生成的摘要高度抽象,流畅,相关,并代表了输入评论的平均情绪。最后,我们收集了一个参考评估数据集,并表明我们的模型优于强提取基线。
2019-05-22 cs.CL
Systematic Exploration of Dialogue Summarization Approaches for Reproducibility, Comparative Assessment, and Methodological Innovations for Advancing Natural Language Processing in Abstractive Summarization
SRM Institute of Science and Technology(SRM科学技术学院);SRM University, AP(SRM大学(安得拉邦))
本文系统复现并比较了基于AMI数据集的HMNet和多种PGN对话摘要模型,通过人工评估分析其摘要质量与信息量,揭示了原始研究与复现结果之间的差异,为抽象式摘要的可复现性研究提供方法学参考。
2024-10-21 cs.AI cs.CL
Topic-Guided Abstractive Text Summarization: a Joint Learning Approach
University of Delaware(特拉华大学);University of Maryland, College Park(马里兰大学帕克分校);Tongji University(同济大学);Tezign(特赞)
我们介绍了一种新的方法,抽象的文本摘要,主题引导的抽象摘要,校准长期的依赖关系,从主题级功能与全球显着的内容。我们的想法是将神经主题建模与基于transformer的序列到序列(seq2seq)模型结合在一个联合学习框架中。这种设计可以学习和保存文档的全局语义,这可以为捕获文档的重要思想提供额外的上下文指导,从而增强摘要的生成。我们在两个数据集上进行了大量的实验,结果表明,我们提出的模型在ROUGE测量和人类评估方面优于许多提取和抽象系统。我们的代码可在https://github.com/chz816/tas上获得。
2021-08-27 cs.CL
Differentiable N-gram Objective on Abstractive Summarization
Hainan University(海南大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);South China University of Technology(华南理工大学)
ROUGE是一种基于n-gram的序列到序列任务的标准自动评估度量,而交叉熵损失是神经网络语言模型在unigram级别优化的一个基本目标。我们提出了可区分的n-gram目标,试图减轻训练标准和评估标准之间的差异。该目标最大化匹配子序列的概率权重,并且我们的工作的新颖性在于该目标相等地对匹配子序列进行加权,并且不以参考序列中的n-gram的地面真值计数来限制匹配子序列的数量。我们联合优化了交叉熵损失和提出的目标,在抽象摘要数据集CNN/DM和XSum上提供了体面的ROUGE分数增强,优于替代的n-gram目标。
2022-12-25 cs.CL
Abstractive and Extractive Text Summarization using Document Context Vector and Recurrent Neural Networks
Amazon Lab126(亚马逊Lab126);eBay Inc.(eBay公司);Google(谷歌)
序列到序列(Seq2Seq)学习最近已被用于抽象和提取摘要。在目前的研究中,Seq2Seq模型已被用于eBay产品描述摘要。我们提出了一种新的基于文档上下文的Seq2Seq模型,使用RNN进行抽象和提取摘要。直觉上,这类似于人类在阅读文档之前阅读标题,摘要或任何其他上下文信息。这让人们对文档的内容有了一个高层次的了解。我们使用这个想法,并建议Seq2Seq模型应该在输入的第一个时间步开始使用上下文信息,以获得更好的摘要。通过这种方式,输出摘要更加以文档为中心,而不是通用的,克服了使用生成模型的主要障碍之一。我们从用户行为和卖方提供的信息生成文档上下文。我们在人类提取的黄金总结上训练和评估我们的模型。文档上下文Seq2Seq模型优于标准Seq2Seq模型。此外,生成人类提取的摘要是非常昂贵的规模,因此,我们提出了一种半监督技术,用于提取近似摘要,并使用它来训练Seq2Seq模型的规模。半监督模型对人类提取的摘要进行了评估,并发现具有相似的功效。我们在相同的评估数据集上提供了抽象和提取摘要器(上下文和非上下文)的并排比较。总的来说,我们提供了方法来使用和评估所提出的技术,大型文档摘要。此外,我们发现这些技术非常有效,而现有技术并非如此。
2018-07-29 cs.CL
Selective Encoding for Abstractive Sentence Summarization
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research(微软研究院)
我们提出了一个选择性编码模型,以扩展抽象句子摘要的序列到序列框架。它包括一个句子编码器,一个选择门网络,和一个注意装备解码器。句子编码器和解码器是用递归神经网络构建的。选择门网络通过控制从编码器到解码器的信息流来构造第二级句子表示。第二层表征是为句子摘要任务量身定制的,这导致了更好的性能。我们评估我们的模型上的英语Gigaword,DUC 2004年和MSR摘要句子摘要数据集。实验结果表明,所提出的选择性编码模型优于最先进的基线模型。
2017-04-24 cs.CL
Overview of the VLSP 2022 -- Abmusu Shared Task: A Data Challenge for Vietnamese Abstractive Multi-document Summarization
VNU University of Engineering and Technology(越南国立大学工程技术大学)
本文介绍了 VLSP 2022 的越南语生成式多文档摘要共享任务,构建了包含1,839篇文档的人工标注数据集,并使用 ROUGE2-F1 评估模型。
2023-11-27 cs.CL
Joint Parsing and Generation for Abstractive Summarization
University of Central Florida(中佛罗里达大学);Fudan University(复旦大学);Tencent AI Lab(腾讯AI实验室)
由抽象摘要系统生成的句子可能是不合语法的,并且无法保留原始含义,尽管它们在局部是流畅的。在本文中,我们提出了解决这个问题,联合生成一个句子和它的句法依赖分析,同时执行抽象。如果生成一个单词会给摘要引入一个错误的关系,那么必须阻止这种行为。因此,所提出的方法有望产生合乎语法的句子,并鼓励总结保持真实的原始。我们对这项工作的贡献是双重的。首先,我们提出了一种新的神经架构的抽象摘要,结合了顺序解码器与基于树的解码器在同步的方式来生成一个摘要句子和它的语法分析。其次,我们描述了一种新的人类评估协议,以评估是否以及在何种程度上,摘要仍然是真实的,其原始含义。我们评估了我们的方法在一些摘要数据集,并展示了竞争力的结果对强大的基线。
2019-11-23 cs.CL
Constrained Abstractive Summarization: Preserving Factual Consistency with Constrained Generation
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Southern California(南加州大学)
尽管取得了重大进展,但最先进的抽象摘要方法仍然容易产生与源文档不一致的幻觉内容。在本文中,我们提出了约束抽象摘要(CAS),一个一般的设置,保持事实的一致性,抽象摘要,通过指定令牌的约束,必须存在于摘要。我们采用词汇约束解码,一种通常适用于自回归生成模型的技术,以实现CAS,并在两种情况下进行实验:(1)自动摘要没有人类参与,其中关键词从源文档中提取并用作约束;(2)人工指导的交互式摘要,其中人工反馈的形式手动约束用于指导摘要生成。两个基准数据集上的自动和人工评估表明,CAS提高了抽象摘要的词汇重叠(ROUGE)和事实一致性。特别是,我们观察到高达13.8 ROUGE-2增益时,只有一个手动约束用于交互式摘要。
2021-12-16 cs.CL
A Cascade Approach to Neural Abstractive Summarization with Content Selection and Fusion
University of Central Florida(中佛罗里达大学);Adobe Research(奥多比研究院)
我们提出了一个实证研究,有利于级联架构的神经文本摘要。摘要实践变化很大,但除了新闻摘要之外,很少有其他的摘要可以提供足够量的训练数据,足以满足端到端神经摘要系统的要求,该系统联合执行内容选择和表面实现以生成摘要。这样的系统也对摘要评估提出了挑战,因为它们迫使内容选择与文本生成一起评估,但后者的评估仍然是一个未解决的问题。在本文中,我们提出的实证结果表明,级联管道的性能,分别识别重要的内容片段,并将它们缝合在一起成为一个连贯的文本是可比的或超越的端到端系统,而管道架构允许灵活的内容选择。最后,我们讨论了如何在神经文本摘要中利用级联管道,并为未来的研究指明了重要方向。
2020-10-08 cs.CL
Learning with Rejection for Abstractive Text Summarization
Mila(米拉研究所);McGill University(麦吉尔大学)
最先进的抽象摘要系统经常会产生源文档不支持的内容,这主要是由于训练数据集中的噪声。现有的方法选择从训练集中完全丢弃噪声样本或标记,减少了有效训练集的大小,并创造了从源复制单词的人为倾向。在这项工作中,我们提出了一个基于拒绝学习的抽象摘要的训练目标,其中模型学习是否拒绝潜在的噪声标记。我们进一步提出了一个正则化的解码目标,通过使用在训练过程中学习到的拒绝概率,在推理过程中惩罚非事实的候选摘要。我们表明,我们的方法大大提高了真实性的自动和人工评估生成的摘要相比,五个基线模型,它这样做,同时增加了抽象的生成的摘要。
2023-02-16 cs.CL
Regularizing Output Distribution of Abstractive Chinese Social Media Text Summarization for Improved Semantic Consistency
Peking University(北京大学);Northwestern Polytechnical University(西北工业大学)
摘要文本摘要是一个非常困难的问题,序列到序列模型已经成功地提高了任务的性能。然而,生成的摘要往往在语义上与源内容不一致。在这种情况下,当生成摘要时,模型选择与源内容语义无关的单词作为最可能的输出。这个问题可以归因于抽象地构造的训练数据,其中摘要可以与源内容无关,因此包含语义上不相关的单词和虚假的单词对应。在本文中,我们提出了一种正则化方法的序列到序列模型,并利用模型已经学会了正则化的学习目标,以减轻问题的影响。此外,针对现有自动评估方法无法正确评估与源内容的语义一致性的问题,我们提出了一种实用的人工评估方法。实验结果表明,该方法的有效性,它优于几乎所有现有的模型。特别是在人工评价方面,该方法将语义一致性提高了4%.
2018-05-10 cs.CL
Entity-based SpanCopy for Abstractive Summarization to Improve the Factual Consistency
University of British Columbia(不列颠哥伦比亚大学)
尽管最近的抽象摘要自动评价指标的成功,生成的摘要仍然存在与源文件的事实不一致。在本文中,我们专注于实体级的事实不一致,即减少不匹配的实体之间生成的摘要和源文档。因此,我们提出了一种新的基于实体的SpanCopy机制,并探索其扩展与全局相关性组件。在4个摘要数据集上的实验结果表明,SpanCopy能有效地提高实体级的事实一致性,而对词级和实体级的显著性基本没有影响。代码可在www.example.com上获得
2022-09-07 cs.CL
Planning with Learned Entity Prompts for Abstractive Summarization
Google Research(谷歌研究院);Google Brain(谷歌大脑);ASAPP
我们引入了一个简单但灵活的机制来学习一个中间计划,以生成抽象摘要。具体地说,我们在目标摘要前添加(或提示)实体链--摘要中提到的实体的有序序列。然后训练基于转换器的序列到序列模型以生成实体链,然后继续生成以实体链和输入为条件的摘要。我们对这个内容规划目标进行了预训练和微调。当在CNN/DailyMail、XSum、SAMSum和BillSum上进行评估时,我们根据经验证明,具有规划目标的接地生成提高了所有数据集的实体特异性和摘要中的规划,并在Rouge方面实现了XSum和SAMSum的最新性能。此外,我们实证表明,规划与实体链提供了一种机制,以控制幻觉的抽象摘要。通过用修改后的内容计划提示解码器,删除幻觉实体,我们在自动评估和人类评估时的忠实性优于最先进的方法。
2021-09-05 cs.CL
A Deep Reinforced Model for Abstractive Summarization
Salesforce Research(Salesforce 研究院)
用于抽象摘要的基于RNN的编码器-解码器模型在短输入和输出序列上取得了良好的性能。然而,对于较长的文档和摘要,这些模型通常包括重复和不连贯的短语。我们引入了一个神经网络模型,该模型具有一种新的内部注意力,分别关注输入和连续生成的输出,以及一种新的训练方法,该方法结合了标准的监督词预测和强化学习(RL)。仅使用监督学习训练的模型通常会表现出“暴露偏差”-它们假设在训练过程中的每一步都提供了基础事实。然而,当标准单词预测与RL的全局序列预测训练相结合时,所得到的摘要变得更具可读性。我们在CNN/Daily Mail和New York Times数据集上评估了这个模型。我们的模型在CNN/Daily Mail数据集上获得了41.16 ROUGE-1得分,比以前的最先进模型有所改进。人工评估也表明,我们的模型产生更高质量的摘要。
2017-11-13 cs.CL
Evaluating the Factual Consistency of Abstractive Text Summarization
Salesforce Research(赛富时研究院)
目前用于评估摘要算法的指标并不考虑摘要是否与源文档事实上一致。我们提出了一个弱监督,基于模型的方法来验证事实的一致性和识别源文件和生成的摘要之间的冲突。训练数据是通过对源文档的句子应用一系列基于规则的转换来生成的。事实一致性模型然后被联合训练用于三个任务:1)识别句子在变换后是否保持事实一致,2)在源文档中提取跨度以支持一致性预测,3)在摘要句子中提取不一致的跨度(如果存在的话)。将此模型转换为由几个最先进的模型生成的摘要表明,这种高度可扩展的方法大大优于以前的模型,包括使用标准数据集进行自然语言推理和事实检查的强监督训练的模型。此外,人类的评价表明,辅助跨度提取任务提供了有用的帮助,在验证事实的一致性的过程中。
2019-10-28 cs.CL
Abstractive Summarization Improved by WordNet-based Extractive Sentences
Peking University(北京大学);Chinese Academy of Medical Sciences(中国医学科学院)
最近,seq 2seq抽象摘要模型在CNN/Daily Mail数据集上取得了良好的效果。然而,如何用抽取方法改进抽取方法是一个很好的研究方向,因为抽取方法具有利用各种有效特征提取文本中重要句子的潜力。为了提高摘要的语义相关性,本文采用基于WordNet的句子排序算法,抽取与文本语义相关性最高的句子。然后,我们设计了一个双注意seq 2seq框架,以生成摘要考虑提取的信息。同时,结合指针生成器和覆盖机制,解决了抽象模型中存在的词汇表外词和重复词问题。在CNN/Daily Mail数据集上的实验表明,我们的模型具有最先进的ROUGE分数,具有竞争力的性能。人类的评价也表明,我们的模型生成的摘要具有较高的语义相关性的原始文本。
2018-08-04 cs.CL
SimCLS: A Simple Framework for Contrastive Learning of Abstractive Summarization
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出了一个概念简单但经验强大的抽象摘要框架SimCLS,它可以通过将文本生成公式化来弥合学习目标与当前占主导地位的序列到序列学习框架产生的评估指标之间的差距。无参考评估问题(即,质量评估)。实验结果表明,与现有的最高评分系统的微小修改,SimCLS可以提高现有的高性能模型的性能由大幅度。特别是,在CNN/DailyMail数据集上,相对于BART的绝对改进为2.51,相对于PEGASUS的ROUGE-1的绝对改进为2.50,将最先进的性能提升到了一个新的水平。我们已经开源了我们的代码和结果:https://github.com/yixinL7/SimCLS。我们提出的模型的结果已经部署到ExplainaBoard平台,这使得研究人员能够以更细粒度的方式了解我们的系统。
2021-06-03 cs.CL