Hooks in the Headline: Learning to Generate Headlines with Controlled Styles
MIT（麻省理工学院）；Amazon Web Services（亚马逊云科技）；Wellesley College（韦尔斯利学院）；A*STAR（新加坡科技研究局）
目前的摘要系统只能产生简单、真实的标题，但不能满足创建令人难忘的标题以增加曝光的实际需求。我们提出了一个新的任务，文体标题生成（SHG），以丰富的标题与三种风格的选择（幽默，浪漫和点击诱饵），以吸引更多的读者。没有特定风格的文章标题对（只有标准的标题摘要数据集和单风格语料库），我们的方法TitleStylist通过将摘要和重建任务结合到多任务框架中来生成特定风格的标题。我们还引入了一个新的参数共享方案，以进一步从文本中解开风格。通过自动和人工评估，我们证明了TitleStylist可以生成相关的，流畅的标题与三个目标风格：幽默，浪漫和clickbait。我们的模型生成的标题的吸引力得分超过了最先进的摘要模型9.68%，甚至超过了人类撰写的参考文献。
2020-05-29 cs.AI cs.CL cs.LG
Multi-hop Inference for Question-driven Summarization
The Chinese University of Hong Kong（香港中文大学）
摘要驱动的摘要最近被研究作为一种有效的方法来总结源文档，以产生简洁，但非事实问题的信息量的答案。在这项工作中，我们提出了一种新的问题驱动的抽象摘要方法，多跳选择性生成器（MSG），将多跳推理到问题驱动的摘要，同时，为生成的摘要提供理由。具体来说，我们通过一个类似人类的多跳推理模块，捕捉重要的句子，以证明总结的答案，联合模型的相关性的问题和不同的句子之间的相互关系。设计了一个具有多视角覆盖机制的门控选择性指针生成器网络，用于整合来自不同视角的各种信息。实验结果表明，该方法始终优于国家的最先进的方法在两个非factoid QA数据集，即WikiHow和PubMedQA。
2020-10-08 cs.CL
KLearn: Background Knowledge Inference from Summarization Data
EPFL（洛桑联邦理工学院）
文本摘要的目标是将文档压缩为相关信息，同时排除接收者已知的背景信息。到目前为止，摘要研究者对相关性的关注远远超过了对背景知识的关注。相反，这项工作把背景知识放在前台。人类摘要者和注释者所做的选择包含关于其背景知识的隐含信息，基于这一认识，我们开发并比较了从摘要数据推断背景知识的技术。基于这个框架，我们定义了摘要评分函数，明确模型背景知识，并表明这些评分函数适合人类的判断显着优于基线。我们说明了我们的框架的许多潜在的应用。首先，我们提供了对人类信息重要性先验的见解。其次，我们证明了平均的背景知识的多个，潜在的偏见注释者或语料库大大提高了摘要评分性能。最后，我们讨论了我们的框架超越总结的潜在应用。
2020-10-13 cs.CL
Unsupervised Multi-document Summarization with Holistic Inference
University of California, Davis（加州大学戴维斯分校）；Tencent AI Lab（腾讯人工智能实验室）
本文提出一种用于无监督多文档抽取式摘要的整体框架，结合整体束搜索推断与子集代表性指数（SRI）平衡句子重要性和多样性，在多数据集上显著超越强基线并验证了多样性的关键作用。
2023-09-08 cs.CL
WikiHow: A Large Scale Text Summarization Dataset
University of California, Santa Barbara（加州大学圣巴巴拉分校）
序列到序列模型最近获得了最先进的性能总结。然而，大规模的高质量数据集并不多，而且几乎所有的数据集都主要是具有特定写作风格的新闻文章。此外，涉及更深层次内容描述的抽象人类风格系统需要具有更高抽象级别的数据。在本文中，我们介绍了WikiHow，这是一个包含23万多篇文章和摘要对的数据集，这些文章和摘要对是从不同人类作者编写的在线知识库中提取和构建的。文章涵盖广泛的主题，因此代表了高度多样性的风格。我们评估了WikiHow上现有方法的性能，以提出其挑战，并设置一些基线以进一步改进它。
2018-10-18 cs.CL cs.IR cs.LG
Long Document Summarization with Top-down and Bottom-up Inference
Salesforce Research（赛富时研究院）
文本摘要旨在压缩长文档并保留关键信息。摘要模型成功的关键是对源文档中单词或标记的潜在表示的忠实推断。最新的模型推断潜在的表示与Transformer编码器，这是纯粹的自自底向上的【形】。此外，基于自我注意的推理模型面临着序列长度的二次复杂性的挑战。我们提出了一个原则性的推理框架，以改善这两个方面的摘要模型。我们的框架假设了一个分层的潜在结构的文档，其中顶层捕获的长距离依赖在一个粗略的时间尺度和底部令牌级别保留的细节。重要的是，这种层次结构使令牌表示能够以自自底向上的【形】和自顶向下的方式更新。在自自底向上的【形】的过程中，使用局部自我注意力来推断令牌表示以利用其效率。然后应用自上而下的校正以允许令牌捕获长范围依赖性。我们证明了所提出的框架在不同的摘要数据集上的有效性，包括叙事，会话，科学文档和新闻。我们的模型实现了（1）与全注意力Transformers相比，在具有更高内存和计算效率的短文档上具有竞争力或更好的性能，以及（2）与最近的高效Transformers相比，在广泛的长文档摘要基准上具有最先进的性能。我们还表明，我们的模型可以总结一整本书，并实现竞争力的性能使用$0.27\%$参数（464 M与175 B）和更少的训练数据，相比，最近的GPT-3为基础的模型。这些结果表明，所提出的框架的普遍适用性和好处。
2022-03-15 cs.CL
FENICE: Factuality Evaluation of summarization based on Natural language Inference and Claim Extraction
Babelscape；Sapienza University of Rome（罗马大学）
本文提出FENICE度量指标，通过NLI对齐源文档与摘要提取的原子声明来评估摘要事实性，在AGGREFACT上取得最优结果，并扩展到长文本摘要场景。
2024-08-31 cs.CL
ChatGPT vs Human-authored Text: Insights into Controllable Text Summarization and Sentence Style Transfer
Saarland University（萨尔大学）
本文系统评估 ChatGPT 在面向受众和写作风格的可控文本摘要与风格迁移中的表现，并通过与人类文本对比揭示其风格变化较弱、分布差异及幻觉问题。
2024-12-10 cs.AI cs.CL cs.LG
Controllable Abstractive Summarization
Facebook AI Research（脸书人工智能研究院）
当前的文档摘要模型忽略了用户的偏好，例如所需的长度，样式，用户可能感兴趣的实体，或者用户已经阅读了多少文档。我们提出了一个神经摘要模型，它具有一个简单但有效的机制，使用户能够指定这些高级属性，以便控制最终摘要的形状，以更好地满足他们的需求。通过用户输入，我们的系统可以生成符合用户偏好的高质量摘要。无需用户输入，我们自动设置控制变量。在全文CNN-Dailymail数据集上，我们的表现优于最先进的抽象系统（F1-ROUGE 1 40.38 vs. 39.53和人类评估）。
2018-05-18 cs.CL
Query-OPT: Optimizing Inference of Large Language Models via Multi-Query Instructions in Meeting Summarization
Dialpad Inc.（Dialpad公司）
本文研究在会议摘要任务中将同一上下文的多个查询合并为单个提示，以减少LLM推理调用成本，并通过对比多种主流LLMs验证了多查询提示在优化推理成本方面的有效性。
2024-10-20 cs.CL
Predicting Discourse Trees from Transformer-based Neural Summarizers
University of British Columbia（不列颠哥伦比亚大学）
以往的研究表明，语篇信息有利于总结。在本文中，我们通过从预先训练的神经摘要器推断文档级话语树来探索话语和摘要之间的协同作用是否是双向的。特别是，我们从Transformer模型的自注意矩阵生成未标记的RST风格的话语树。跨模型和数据集的实验表明，摘要器学习依赖和选民风格的话语信息，这些信息通常编码在单个头部中，覆盖长距离和短距离话语依赖。总体而言，实验结果表明，学习到的语篇信息是通用的，可以跨域传递。
2021-04-14 cs.CL
Improving the Faithfulness of Abstractive Summarization via Entity Coverage Control
Salesforce Research（赛富时研究院）
利用预训练语言模型的抽象摘要系统在基准数据集上取得了优异的结果。然而，这样的模型已经被证明更容易产生对输入上下文不忠实的幻觉事实。在本文中，我们提出了一种方法来补救实体级的外部幻觉与实体覆盖控制（ECC）。首先计算实体覆盖精度，并为每个训练样本预先设定相应的控制代码，隐式地指导模型在训练阶段识别忠实内容。我们进一步扩展我们的方法，通过中间微调从维基百科提取的大但嘈杂的数据解锁zero-shot摘要。我们表明，该方法导致更忠实和突出的抽象摘要在监督微调和zero-shot设置根据我们的实验结果在三个基准数据集XSum，Pubmed和SAMSum非常不同的领域和风格。
2022-07-05 cs.CL
Should We Trust This Summary? Bayesian Abstractive Summarization to The Rescue
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
我们使用贝叶斯深度学习的工具，在现代抽象摘要模型的背景下探索不确定性的概念。我们的方法近似贝叶斯推理，首先扩展了最先进的总结模型与蒙特卡洛辍学，然后使用它们来执行多个随机向前传递。基于贝叶斯推理，我们能够有效地量化预测时的不确定性。有了可靠的不确定性度量，我们可以通过过滤掉生成的高不确定性摘要来改善最终用户的体验。此外，不确定性估计可以用作选择用于注释的样本的标准，并且可以与主动学习和人在回路方法很好地配对。最后，贝叶斯推理使我们能够找到一个贝叶斯总结，它比确定性的表现更好，更强大的不确定性。在实践中，我们表明，我们的变分贝叶斯等价BART和PEGASUS可以在多个基准数据集上胜过他们的确定性同行。
2022-05-03 cs.CL
SteerEval: Inference-time Interventions Strengthen Multilingual Generalization in Neural Summarization Metrics
MaiNLP, Center for Information and Language Processing, LMU Munich（MaiNLP、信息与语言处理中心、慕尼黑大学）；Language Science and Technology, Saarland University（语言科学与技术、萨尔兰大学）
SteerEval通过在推理时干预激活向英语基准倾斜，提升多语言神经摘要度量的泛化能力。
2026-10-26 cs.CL
Sparsity and Sentence Structure in Encoder-Decoder Attention of Summarization Systems
University of Cambridge（剑桥大学）
Transformer模型在包括摘要在内的各种NLP任务中取得了最先进的结果。使用大型Transformer模型的训练和推理在计算上可能是昂贵的。以前的工作集中在一个重要的瓶颈，二次自我注意力机制的编码器。改进的编码器架构（如LED或LoBART）使用局部注意模式来解决此问题。与此相反，这项工作的重点是Transformer的编码器-解码器的注意力机制。在需要模型生成历史的推理或训练方法中，这种注意力的成本变得更加重要。首先，我们研究编码器-解码器注意力的复杂性。我们的经验表明，有一个稀疏的句子结构，在文档摘要，可以利用约束的注意力机制的输入句子的子集，同时保持系统的性能。其次，我们提出了一种修改后的架构，该架构选择句子子集来约束编码器-解码器的注意力。在抽象摘要任务上进行了实验，包括CNN/DailyMail，XSum，Spotify Podcast和arXiv。
2021-09-08 cs.CL
Spotify at TREC 2020: Genre-Aware Abstractive Podcast Summarization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Spotify
本文描述了我们提交给2020年TREC（文本检索会议）播客轨道摘要任务的内容。这项挑战的目标是使用自动生成的播客音频转录来生成简短、信息丰富的摘要，其中包含播客片段中存在的关键信息。由于播客不同的风格，主题和粒度的信息，我们提出了两个摘要模型，明确考虑到体裁和命名实体，以生成适当的播客风格的摘要。我们的模型是抽象的，并使用创建者提供的描述作为基础事实摘要进行监督。提交的摘要的结果表明，我们最好的模型实现了1.58的总质量分数相比，创建者的描述和基线抽象系统，都得分1.49（9%的改进），由人类评估。
2021-04-07 cs.CL
Vectors Are Not Neutral: Sensitive-Information Inference from Exported LLM Representations in Summarization
Vanderbilt University（范德比大学）；Vanderbilt University Medical Center（范德比大学医学院）
研究LLM摘要系统导出向量中的敏感信息泄露风险，提出SurfaceLoRA微调方法降低特定向量的可恢复性，但未针对的池化向量仍存在风险。
2026-05-26 cs.CL
AgenticSum: An Agentic Inference-Time Framework for Faithful Clinical Text Summarization
Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家）；School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家）；University of Delaware, Newark, DE, USA（特拉华大学）
AgenticSum通过代理推理框架提升临床文本摘要的准确性与一致性。
2026-02-23 cs.AI cs.CL
SGD-KV: Summarization Guided KV Cache Compression
USC（南加州大学）；KAIST（韩国科学技术院）；Amazon AGI（亚马逊AGI）
针对LLMs长上下文推理的KV缓存内存瓶颈，提出SGD-KV框架，通过分块摘要诊断任务识别分层信息聚合的注意力头，在Qwen2.5模型上实现1M token上下文的SOTA性能，同时降低75%内存使用，达成更优效率-精度权衡。
2026-09-04 cs.CL
Latent Prompt Tuning for Text Summarization
The Hong Kong Polytechnic University（香港理工大学）；Microsoft（微软）；Microsoft Research Asia（微软亚洲研究院）
具有不同控制信号的开关（例如，长度、关键字等）可用于控制文本摘要。当控制信号可用时，它们可以控制生成的摘要的属性，并潜在地提高摘要质量（因为给出了更多信息）。不幸的是，控制信号在推断时间期间还不可用。在本文中，我们提出了莲花（简写为潜在的提示微调的总结），这是一个单一的模型，可以应用于控制和非控制（无控制信号）模式。在训练过程中，Lotus使用对比学习目标从具有黄金控制信号的提示中学习潜在的提示表示。实验表明，Lotus在不受控制的模式下在四个不同的摘要数据集上一致地改进了强（不可控）摘要模型。我们还演示了生成的摘要可以使用用户指定的控制令牌的提示进行控制。
2022-12-19 cs.CL
Conditional Neural Generation using Sub-Aspect Functions for Extractive News Summarization
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
在使用大规模训练语料库的神经架构的推动下，文本摘要已经取得了很大的进展。然而，在新闻领域，由于倒金字塔写作风格的流行，神经模型很容易通过利用与位置相关的特征而过拟合。此外，为不同用户生成各种摘要的需求尚未得到满足。在本文中，我们提出了一个神经框架，可以通过引入一组子方面功能（即重要性，多样性，位置）灵活地控制摘要生成。这些子方面功能由一组控制代码调节，以决定在摘要生成期间关注哪个子方面。我们证明，提取的摘要与最小的位置偏差是可比的标准模型，利用位置偏好。我们还表明，以多样性为重点生成的新闻摘要可以更受人类评分员的青睐。这些结果表明，提供更多控制选项的更灵活的神经摘要框架在定制不同的用户偏好时可能是可取的，这是有用的，因为先验地阐明不同应用的这些偏好通常是不切实际的。
2020-10-06 cs.CL
Alleviating Exposure Bias via Contrastive Learning for Abstractive Text Summarization
The Hong Kong Polytechnic University（香港理工大学）
编码器-解码器模型在抽象文本摘要中取得了显著的成功，其目的是将一个或多个文档压缩成较短的版本而不丢失基本内容。不幸的是，这些模型在训练和推理之间存在差异，即，曝光偏差问题。在训练阶段，通过教师强制，这些模型被优化以最大化黄金摘要的可能性，给定黄金摘要令牌作为解码器的输入，而在推理时，给定令牌被生成的令牌替换。因此，很可能会生成低质量的摘要。为了解决这个问题，我们建议利用对比学习来降低这些低质量摘要的可能性，同时增加黄金摘要的可能性。由于我们的解决方案扩展了模型在训练过程中感知到的状态，我们希望可以缓解暴露偏差问题。我们的实验证明，我们的方法有效地提高了最先进的模型在不同数据集上的性能。
2021-08-26 cs.CL
CTRLsum: Towards Generic Controllable Text Summarization
Carnegie Mellon University（卡内基梅隆大学）；Salesforce Research（赛富时研究院）
当前的摘要系统产生与用户的偏好和期望断开的通用摘要。为了解决这个问题，我们提出了CTRLsum，一个新的框架可控总结。我们的方法使用户能够控制多个方面生成的摘要通过与摘要系统通过文本输入的形式，一组关键字或描述性提示。使用单一的统一模型，CTRLsum能够在推理时实现广泛的汇总操作，而无需额外的人工注释或在训练期间预先定义一组控制方面。我们定量地证明了我们的方法在三个领域的摘要数据集和五个控制方面的有效性：1）以实体为中心和2）长度可控的摘要，3）科学论文的贡献摘要，4）专利申请的发明目的摘要，和5）在阅读理解设置中的新闻文章的问题引导摘要。此外，当在标准、不受控制的摘要设置中使用时，CTRLsum在CNN/DailyMail数据集上获得了最先进的结果。代码和模型检查点可在https://github.com/salesforce/ctrl-sum上获得
2020-12-08 cs.CL
XWikiGen: Cross-lingual Summarization for Encyclopedic Text Generation in Low Resource Languages
IIIT Hyderabad（印度海得拉巴国际信息技术学院）
针对低资源语言百科文本生成中参考文献稀缺的问题，提出跨语言多文档摘要任务 XWikiGen 及基准数据集 XWikiRef，构建基于无监督抽取式与生成式模型的两阶段系统，并验证多领域训练优于多语言设置。
2023-04-18 cs.CL
Deep Recurrent Generative Decoder for Abstractive Text Summarization
The Chinese University of Hong Kong（香港中文大学）；Tencent Inc.（腾讯公司）
我们提出了一个新的框架，抽象的文本摘要的基础上，序列到序列导向的编码器-解码器模型配备了一个深度递归生成解码器（DRGN）。为了提高摘要质量，基于递归潜随机模型学习目标摘要中隐含的潜在结构信息。神经变分推理用于解决递归隐变量的后验推理问题。摘要生成的基础上生成的潜变量和歧视性的确定性状态。在不同语言的基准数据集上的大量实验表明，DRGN实现了对最先进方法的改进。
2017-08-02 cs.AI cs.CL
SETTP: Style Extraction and Tunable Inference via Dual-level Transferable Prompt Learning
Amii, University of Alberta（阿尔伯塔大学 Amii）；Northeastern University（东北大学）；Key Laboratory of Intelligent Computing in Medical Image of Ministry of Education, Northeastern University（东北大学医学影像智能计算教育部重点实验室）；The Chinese University of Hong Kong（香港中文大学）；National Frontiers Science Center for Industrial Intelligence and Systems Optimization（工业智能与系统优化全国前沿科学中心）
SETTP通过双层可迁移提示学习，在低资源文本风格迁移中仅用1/20数据达到先进性能，并在稀缺风格任务上提升16.24%。
2024-07-22 cs.CL
ARC-NLP at PAN 2023: Transition-Focused Natural Language Inference for Writing Style Detection
Aselsan Research Center（阿瑟尔桑研究中心）
ARC-NLP团队将多作者写作风格检测表述为连续段落配对的自然语言推理问题，提出聚焦段落转换并截断输入标记的方法，采用带预热的Transformer编码器，在PAN 2023各难度设置中表现优于基线。
2023-07-27 cs.CL
Controlling Summarization Length Through EOS Token Weighting
本文提出一种通过加权EOS令牌损失来控制摘要长度的方法，无需修改模型架构，与解码算法无关，并在编码器-解码器和GPT风格大语言模型上验证了其有效性且不影响摘要质量。
2025-06-05 cs.CL cs.LG
Dialogue Summarization with Supporting Utterance Flow Modeling and Fact Regularization
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Macau（澳门大学）
对话摘要的目的是生成一个摘要，指出一个给定的对话的关键点。在这项工作中，我们提出了一个端到端的神经模型的对话摘要与两个新的模块，即\emph{supporting utterance flow modeling module}和\emph{fact regularization module}。支持话语流建模有助于通过平滑地将焦点从前一个话语转移到后一个话语来生成连贯的摘要。事实正则化鼓励生成的摘要在模型训练期间与地面实况摘要事实上一致，这有助于在推理时间内提高生成的摘要的事实正确性。此外，我们还介绍了一个新的基准数据集的对话摘要。在现有数据集和新引入的数据集上进行的大量实验证明了该模型的有效性。
2021-08-03 cs.CL
Unsupervised Abstractive Sentence Summarization using Length Controlled Variational Autoencoder
Institute for Computational Linguistics（计算语言学研究所）；Heidelberg University（海德堡大学）
在这项工作中，我们提出了一个无监督的方法来摘要的句子抽象的方式使用变分自编码器（VAE）。已知VAE学习表示高维输入的语义丰富的潜在变量。VAE通过学习从概率潜在变量重建输入来训练。在训练过程中显式地提供关于输出长度的信息会影响VAE不对该信息进行编码，从而可以在推理过程中进行操纵。指示解码器产生更短的输出序列导致用更少的单词表达输入句子。我们在不同的摘要数据集上显示，这些较短的句子不能击败一个简单的基线，但产生更高的ROUGE分数比试图重建整个句子。
2018-09-21 cs.CL
Abstractive Text Summarization Using the BRIO Training Paradigm
Can Tho University（芹苴大学）；Duy Tan University（维新大学）；University of Colorado（科罗拉多大学）
本文提出使用BRIO训练范式微调预训练语言模型，以减少对参考摘要的依赖，并在CNNDM和越南语VieSum数据集上验证，模型在基础硬件上性能优于现有抽象摘要模型。
2023-05-23 cs.CL
Simple Yet Effective Synthetic Dataset Construction for Unsupervised Opinion Summarization
Arizona State University（亚利桑那州立大学）；AWS AI Labs（亚马逊云服务人工智能实验室）
意见摘要是对大量评论中表达的意见进行总结的重要解决方案。然而，由于缺乏注释数据，生成特定方面和一般摘要是具有挑战性的。在这项工作中，我们提出了两种简单而有效的无监督方法，通过在与方面相关的评论内容构建的合成数据集上进行训练来生成特定方面和一般性的意见摘要。我们的第一种方法，基于种子词的留一法（SW-LOO），识别方面相关的部分，简单地通过精确匹配方面种子词，并优于现有的方法由3.4 ROUGE-L点的空间和0.5 ROUGE-1点的OPOSUM+方面特定的意见摘要。我们的第二种方法，自然语言推理为基础的留一法（NLI-LOO）确定方面相关的句子，利用NLI模型在一个更一般的设置，而不使用种子词，并优于现有的方法由1.2 ROUGE-L点的空间特定方面的意见摘要，并保持竞争力的其他指标。
2023-03-21 cs.CL
Enhanced Electronic Health Records Text Summarization Using Large Language Models
University of the Western Cape（西开普大学）
本项目提出基于Google Flan-T5模型并在SQuAD风格EHR问答数据集上微调的系统，生成临床医生偏好的聚焦EHR摘要，在EM、ROUGE和BLEU指标上表现优异，助力医疗数字化转型与个性化护理。
2024-10-12 cs.CL
ChatGPT as a Factual Inconsistency Evaluator for Text Summarization
The University of Manchester（曼彻斯特大学）
本文探索ChatGPT在零样本设置下评估文本摘要事实不一致性的能力，实验表明其在蕴含推理、摘要排序和一致性评分三项任务上普遍优于以往指标，但也存在偏好词汇相似候选、错误推理和理解指令不足等局限。
2023-04-13 cs.CL
DiffPO: Diffusion-styled Preference Optimization for Efficient Inference-Time Alignment of Large Language Models
Zhejiang Key Laboratory of Medical Imaging Artificial Intelligence（浙江医学影像人工智能重点实验室）；Zhejiang University（浙江大学）；SUTD（新加坡科技设计大学）；Princeton University（普林斯顿大学）；Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；A*STAR Centre for Frontier AI Research（A*STAR前沿人工智能研究中心）
DiffPO提出一种策略无关的句子级扩散风格偏好优化方法，实现高效推理时对齐，在多个基准上取得优越性能并支持大型模型扩展。
2025-05-25 cs.CL
Analyzing LLM Behavior in Dialogue Summarization: Unveiling Circumstantial Hallucination Trends
Northeastern University（东北大学）；Abridge AI
该研究基准测试了GPT-4和Alpaca-13B在对话摘要中的忠实度，提出“情境推论”错误分类法，并引入两种基于提示的细粒度错误检测方法，优于现有指标。
2024-06-05 cs.AI cs.CL
Retrieved-Span Training for Efficient Query-Focused Meeting Summarization on QMSum
Ertas AI
针对QMSum无评分器问题，提出检索跨度训练方法，使406M模型在测试集上以36.33 ROUGE-1超越1.2B系统，且参数和内存更少，验证了该方法的有效性。
2026-09-23 cs.CL
Mind the Gap! Injecting Commonsense Knowledge for Abstractive Dialogue Summarization
Yonsei University（延世大学）；Seoul National University（首尔大学）
在本文中，我们建议利用对话的独特特征，在参与者之间共享常识知识，以解决总结它们的困难。我们提出了SICK，一个框架，使用常识推理作为额外的背景。与以前的工作，仅仅依赖于输入对话，SICK使用外部知识模型来生成一组丰富的常识推理，并选择最可能的一个基于相似性的选择方法。SICK++以SICK为基础，利用常识作为监督，在多任务学习环境中总结对话时添加生成常识推理的任务。实验结果表明，注入常识知识，我们的框架比现有的方法产生更多的信息和一致的摘要。
2022-09-02 cs.AI cs.CL cs.LG
Learning Non-Autoregressive Models from Search for Unsupervised Sentence Summarization
Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）
文本摘要旨在为输入文本生成简短的摘要。在这项工作中，我们提出了一种非自回归无监督汇总（NAUS）方法，该方法不需要并行数据进行训练。我们的NAUS首先执行基于编辑的搜索到一个明确定义的分数，并生成一个摘要作为伪地面实况。然后，我们根据搜索结果训练一个仅编码器的非自回归Transformer。我们还提出了一个动态规划的方法长度控制解码，这是重要的摘要任务。在两个数据集上的实验表明，NAUS实现了最先进的无监督摘要性能，但大大提高了推理效率。此外，我们的算法是能够执行显式的长度传输摘要生成。
2022-05-28 cs.CL cs.LG
Calibrating Likelihoods towards Consistency in Summarization Models
Google DeepMind（谷歌DeepMind）
针对摘要模型生成事实不一致内容的问题，提出通过校准模型生成序列的似然度以对齐NLI一致性指标，实验证明该方法能提升摘要的一致性和质量，并增强模型可靠性。
2023-10-12 cs.CL cs.LG
To Asymmetry and Beyond: Structured Pruning of Sequence to Sequence Models for Improved Inference Efficiency
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Neeva Inc.（Neeva公司）
针对序列到序列语言模型规模大、难在延迟敏感场景部署的问题，本文通过结构化剪枝研究发现准确率与编码器、推理效率与解码器相关，采用不对称剪枝可近3倍提升推理速度且Rouge-2仅降约1点，该规律在不同模型规模和数据集下一致。
2023-06-12 cs.AI cs.CL
Understanding LLM Behavior in Multi-Target Cross-Lingual Summarization
GSAI, POSTECH（POSTECH认知科学研究院）；CSE, POSTECH（POSTECH计算机科学与工程学院）；LMU Munich（慕尼黑大学）；MCML；LILT（语言信息实验室）
针对多目标跨语言摘要任务，提出MEA基准并分析LLM内部机制，发现翻译和摘要行为在后期层联合出现，并引入推理时激活引导方法提升生成质量。
2026-05-31 cs.AI cs.CL
Switchable Decision: Dynamic Neural Generation Networks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对自回归生成模型推理慢的问题，提出动态神经生成网络与可切换决策，按实例分配计算并约束优化质量与成本，在多类NLP任务中降本且不损失准确率。
2024-05-07 cs.AI cs.CL cs.LG
