Learning with Rejection for Abstractive Text Summarization
Mila（米拉研究所）；McGill University（麦吉尔大学）
最先进的抽象摘要系统经常会产生源文档不支持的内容，这主要是由于训练数据集中的噪声。现有的方法选择从训练集中完全丢弃噪声样本或标记，减少了有效训练集的大小，并创造了从源复制单词的人为倾向。在这项工作中，我们提出了一个基于拒绝学习的抽象摘要的训练目标，其中模型学习是否拒绝潜在的噪声标记。我们进一步提出了一个正则化的解码目标，通过使用在训练过程中学习到的拒绝概率，在推理过程中惩罚非事实的候选摘要。我们表明，我们的方法大大提高了真实性的自动和人工评估生成的摘要相比，五个基线模型，它这样做，同时增加了抽象的生成的摘要。
2023-02-16 cs.CL
Enhance Long Text Understanding via Distilled Gist Detector from Abstractive Summarization
Zhejiang University（浙江大学）
长文本理解在自然语言处理中是一个重要而又具有挑战性的问题。一篇长文章通常包含许多与主旨无关的多余的词，有时可以被视为噪音。在本文中，我们考虑的问题，如何解开gist-relevant和无关信息的长文本理解。通过提取机制，我们将关于如何从抽象摘要模型中聚焦显著部分的知识转移到提取模型中，并进一步将提取模型（\emph{Gist Detector}）作为补充组件集成到现有模型中，以增强长文本理解。在文档分类、远距离监督开放域问答（DS-QA）和非并行文本风格迁移上的实验表明，该方法能够显著提高基线模型的性能，并取得了最先进的文档分类整体效果。
2021-10-10 cs.CL
CaPE: Contrastive Parameter Ensembling for Reducing Hallucination in Abstractive Summarization
Salesforce AI Research（赛富时人工智能研究院）；Hugging Face（抱抱脸公司）
幻觉是神经抽象摘要模型的一个已知问题。最近的研究表明，幻觉的程度可能取决于训练数据中的错误。在这项工作中，我们提出了一种新的方法，称为对比参数集成（CaPE）更有效地使用训练数据，利用训练样本中的噪声变化，以减少幻觉。我们首先使用不同的自动事实度量从训练数据中选择干净和有噪声的子集。然后，我们微调一个基本的摘要模型，这是在所有的训练样本，在干净的（嘈杂的）子集，以获得一个\textit{expert}（\textit{anti-expert}）模型。最后，根据\textit{expert}模型和\textit{anti-expert}模型参数的差异，调整基础模型的参数，使基础模型向\textit{expert}模型靠拢，向远离\textit{anti-expert}模型靠拢。实验结果表明，CaPE提高了不同自动事实度量和人工评估的性能，XSUM和CNN/DM数据集的摘要级依赖弧蕴涵准确度最大分别提高了16.69%和15.78%.实际性能的提高不会降低其他信息性指标（如ROUGE）的性能。
2022-05-20 cs.CL
Improving the Faithfulness of Abstractive Summarization via Entity Coverage Control
Salesforce Research（赛富时研究院）
利用预训练语言模型的抽象摘要系统在基准数据集上取得了优异的结果。然而，这样的模型已经被证明更容易产生对输入上下文不忠实的幻觉事实。在本文中，我们提出了一种方法来补救实体级的外部幻觉与实体覆盖控制（ECC）。首先计算实体覆盖精度，并为每个训练样本预先设定相应的控制代码，隐式地指导模型在训练阶段识别忠实内容。我们进一步扩展我们的方法，通过中间微调从维基百科提取的大但嘈杂的数据解锁zero-shot摘要。我们表明，该方法导致更忠实和突出的抽象摘要在监督微调和zero-shot设置根据我们的实验结果在三个基准数据集XSum，Pubmed和SAMSum非常不同的领域和风格。
2022-07-05 cs.CL
Adaptive Beam Search to Enhance On-device Abstractive Summarization
Samsung R&D Institute Bangalore（三星班加罗尔研发研究所）
我们在智能手机上收到了一些重要的更新，比如短信、文档、语音信息等，这些更新被淹没在杂乱的内容之下。我们经常不了解关键信息，而不了解全部内容。短信通知有时可以帮助您了解消息的内容，但是，它们仅提供开始内容的预览。解决这个问题的一种方法是建立一个有效的模型，可以适应和总结来自不同来源的数据。在本文中，我们解决了这个问题，并首次提出了一种新的自适应束搜索，以提高设备上的抽象摘要的质量，可以应用于短信，语音消息，并可以扩展到文档。据我们所知，这是第一个提出的设备上抽象摘要管道，与大多数将数据发送到服务器的现有摘要系统相比，它可以适应多个数据源，解决用户的隐私问题。我们减少了30.9%，使用知识蒸馏模型的大小，并表明，该模型具有97.6%的内存占用量少提取相同或更多的关键信息相比，BERT。
2021-12-22 cs.CL
Summary Refinement through Denoising
Institute of Neuroinformatics, University of Zürich and ETH Zürich（苏黎世大学与苏黎世联邦理工学院神经信息学研究所）
我们提出了一个简单的方法后处理的文本摘要系统的输出，以改善其整体质量。我们的方法是训练文本到文本重写模型，以纠正信息冗余的错误，可能会出现在摘要。我们对合成生成的噪声摘要进行训练，测试三种不同类型的噪声，这些噪声在每个摘要中引入了上下文外的信息。当应用于提取和抽象摘要基线时，我们的摘要去噪模型在减少冗余的同时提高了指标。
2019-07-25 cs.CL
Autoencoder as Assistant Supervisor: Improving Text Representation for Chinese Social Media Text Summarization
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
目前的摘要模型大多是基于序列到序列模型（Seq2Seq）的。社交媒体的源内容很长且有噪声，因此Seq2Seq很难学习准确的语义表示。与源内容相比，注释摘要简短且写得很好。此外，它与源内容具有相同的含义。在这项工作中，我们监督学习的表示源内容的摘要。在实现上，我们将摘要自动编码器作为Seq2Seq的辅助管理器。在之前的工作之后，我们在一个流行的中国社交媒体数据集上评估了我们的模型。实验结果表明，我们的模型在基准数据集上达到了最先进的性能。
2018-05-13 cs.CL
Sentiment-Aware Extractive and Abstractive Summarization for Unstructured Text Mining
Department of Information Systems and Analytics（信息系统与分析系）；National University of Singapore（新加坡国立大学）
本文提出一种结合情感意识的摘要方法，通过整合情感信号提升非结构化文本摘要的质量，以增强动态在线环境中的决策能力。
2025-12-23 cs.CL
Order-Preserving Abstractive Summarization for Spoken Content Based on Connectionist Temporal Classification
National Taiwan University（台湾大学）
连接主义时态分类（CTC）是一种强有力的序列到序列学习方法，在语音识别中得到了广泛的应用。CTC的核心思想包括在培训过程中添加一个标签“空白”。通过这种机制，CTC消除了段对齐的需要，因此已被应用于各种序列到序列的学习问题。在这项工作中，我们将CTC应用于口语内容的抽象摘要。这种情况下的“空白”意味着相应的输入数据不太重要或有噪声;因此可以忽略它。在中文Gigaword和MATBN语料库上的ROUGE测试结果表明，该方法优于现有方法。这种方法还有一个很好的特性，即在生成的摘要中可以更好地保留输入文档中单词或字符的顺序。
2017-11-16 cs.CL
How to Train Text Summarization Model with Weak Supervisions
School of Computer Science and Technology, North University of China（中北大学计算机科学与技术学院）；School of Semiconductor and Physics, North University of China（中北大学半导体与物理学院）
本文提出一种将复杂目标分解为简单子任务并生成弱监督信号的方法，实现无标签端到端训练主题摘要模型，在CNN和DailyMail数据集上取得优异效果。
2024-08-27 cs.CL cs.LG
Unsupervised Opinion Summarization with Noising and Denoising
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
在包含数十万文档摘要对的大型数据集上对高容量模型进行监督训练，对于最近深度学习技术在抽象摘要方面的成功至关重要。不幸的是，在大多数领域（除了新闻），这样的训练数据是不可用的，不能容易地来源。在本文中，我们使监督学习的使用设置只有文件可用（例如，~产品或业务评论）而没有基本事实摘要。我们从用户评论的语料库中创建一个合成数据集，通过对评论进行采样，假装它是一个摘要，并生成我们视为伪评论输入的噪声版本。我们引入了几个语言动机的噪声生成函数和一个摘要模型，它学习对输入进行去噪并生成原始评论。在测试时，该模型接受真实的评论，并生成一个包含突出意见的摘要，将那些没有达成共识的评论视为噪音。广泛的自动和人工评估表明，我们的模型在抽象和提取基线上都有了实质性的改进。
2020-04-21 cs.CL
BiSET: Bi-directional Selective Encoding with Template for Abstractive Summarization
Sun Yat-sen University（中山大学）；Alibaba Inc.（阿里巴巴公司）
神经摘要模型的成功源于对源文章的细致编码。为了克服有限且有时有噪声的训练数据的障碍，一个有希望的方向是通过在摘要期间应用滤波器来更好地利用可用的训练数据。本文提出了一种新的双向模板选择性编码（BiSET）模型，该模型利用从训练数据中发现的模板，从每篇源文章中软选择关键信息来指导摘要过程。在标准摘要数据集上进行了大量的实验，结果表明，配备模板的BiSET模型管理，以提高摘要性能显着与一个新的国家的艺术。
2019-06-12 cs.CL cs.IR
Harnessing Abstractive Summarization for Fact-Checked Claim Detection
IIT Bombay（印度理工学院孟买分校）；Surrey Institute for People-Centred AI（萨里以人为本人工智能研究所）；University of Surrey（萨里大学）
社交媒体平台已成为反社会分子的新战场，错误信息成为首选武器。事实核查组织试图揭穿尽可能多的说法，同时保持真实的新闻过程，但无法应对其快速传播。我们认为，解决方案在于事实检查生存周期的部分自动化，节省人类的时间，需要高认知的任务。我们提出了一个新的工作流程，有效地检测以前的事实检查索赔，使用抽象的总结，以生成清晰的查询。然后，这些查询可以在与先前经过事实检查的索赔集合相关联的通用检索系统上执行。我们策划了一个抽象的文本摘要数据集，包括来自Twitter的嘈杂的索赔和他们的黄金摘要。结果表明，检索性能提高2倍，通过使用流行的开箱即用的摘要模型和3倍，通过微调他们对附带的数据集相比，逐字查询。我们的方法实现了Recall@5和MRR分别为35%和0.3，而基线值分别为10%和0.1。我们的数据集、代码和模型都是公开的：https://github.com/varadhbhatnagar/FC-Claim-Det/
2022-09-14 cs.CL
DUAL: Diversity and Uncertainty Active Learning for Text Summarization
Aristotle University of Thessaloniki（亚里士多德塞萨洛尼基大学）；School of Informatics（信息学院）
提出结合不确定性与多样性的主动学习算法DUAL，通过迭代选择兼具代表性和挑战性的样本，有效解决了文本摘要任务中传统主动学习方法表现不佳的问题。
2025-03-02 cs.CL
Improving Zero and Few-Shot Abstractive Summarization with Intermediate Fine-tuning and Data Augmentation
Yale University（耶鲁大学）；Facebook AI（脸书人工智能研究院）；Nanyang Technological University（南洋理工大学）；Renmin University of China（中国人民大学）
在大型文本语料库上使用自监督目标预训练的模型在英语文本摘要任务上实现了最先进的性能。然而，这些模型通常在数十万个数据点上进行微调，这在将摘要应用于新的利基领域时是不可行的要求。在这项工作中，我们介绍了一种新颖的和可推广的方法，称为WikiTransfer，用于微调预训练模型，以无监督的，特定于网络的方式进行摘要。WikiTransfer对伪摘要的预训练模型进行微调，伪摘要是从通用维基百科数据中产生的，其中包含目标数据集的特征，例如所需摘要的长度和抽象级别。WikiTransfer模型在CNN-DailyMail数据集上实现了最先进的zero-shot抽象摘要性能，并在另外三个不同的数据集上证明了我们的方法的有效性。这些模型对噪声数据更鲁棒，并且与来自其他摘要数据集的Few-Shot传输相比，使用10个和100个训练样本也实现了更好或相当的Few-Shot性能。为了进一步提高性能，我们通过往返转换采用数据增强，并引入正则化项以改进Few-Shot传输。为了了解数据集方面在传输性能和最终输出摘要质量中的作用，我们进一步研究了无监督微调数据的组件的影响，并使用自动和人工评估来分析Few-Shot性能。
2021-04-11 cs.CL
DeepSeek-R1 vs. o3-mini: How Well can Reasoning LLMs Evaluate MT and Summarization?
University of Mannheim（曼海姆大学）；University of Technology Nuremberg（纽伦堡技术大学）
本研究首次系统比较了推理与非推理LLM在机器翻译和文本摘要评估任务中的表现，发现推理能力带来的提升具有架构和任务依赖性，并揭示了推理token使用与评估质量之间的相关性。
2025-05-30 cs.CL
Improving Argument Saliency Coverage in Small LLMs for Long Legal Opinion Summarization via Sequence-Level Distillation
University of Pittsburgh（匹兹堡大学）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
该研究针对小型LLMs在长法律意见摘要中难以保留关键论点的问题，提出从高性能长上下文教师模型进行序列级蒸馏的方法，其数据效率高且效果优于专家摘要微调，为该任务提供了高效解决方案。
2026-09-01 cs.CL
UniMS: A Unified Framework for Multimodal Summarization with Knowledge Distillation
Noah’s Ark Lab, Huawei Technologies（华为诺亚方舟实验室）
随着多媒体数据的快速增长，大量的文献已经出现了工作的多模态摘要，其中大多数的目标是从文本和视觉模态提炼显着信息，以输出具有最相关的图像的图片摘要。现有的方法主要集中在提取或抽象摘要，并依赖于合格的图像字幕建立图像参考。我们是第一个提出基于BART的多模态摘要统一框架，UniMS，它集成了提取和抽象目标，以及选择图像输出。特别地，我们采用从视觉语言预训练模型中提取知识蒸馏来改进图像选择，这避免了对图像字幕的存在和质量的任何要求。此外，我们引入了一个视觉引导解码器，以更好地结合文本和视觉形式指导抽象文本生成。结果表明，我们的最佳模型在大规模基准数据集上实现了新的最先进的结果。新涉及的提取目标以及知识蒸馏技术被证明是一个显着的改善多模态摘要任务。
2022-02-15 cs.CL
On the Benefits of Fine-Grained Loss Truncation: A Case Study on Factuality in Summarization
Yale University（耶鲁大学）；Allen Institute for AI（艾伦人工智能研究所）
针对文本摘要模型的幻觉问题，研究发现现有Loss Truncation方法因假设局限效果有限，提出基于实体词级NLL的细粒度损失与数据清洗策略，有效减少部分数据集上的幻觉。
2024-03-09 cs.AI cs.CL
Faithfulness-Aware Decoding Strategies for Abstractive Summarization
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Amazon Alexa AI（亚马逊Alexa人工智能部门）；AWS AI Labs（亚马逊云服务人工智能实验室）
尽管在理解和提高摘要忠实性方面取得了重大进展，但解码策略如何影响摘要忠实性的问题研究较少。我们提出了一个系统的研究，如束搜索和核心抽样的生成技术的影响，在摘要的忠实性。我们发现了一个一致的趋势，其中具有大波束尺寸的束搜索产生最忠实的摘要，而核采样产生最不忠实的摘要。我们提出了两种忠实性感知的生成方法，以进一步提高忠实性比当前的生成技术：（1）排名的候选人产生的束搜索使用自动忠实性指标和（2）纳入前瞻性分析，产生一个忠实性分数的未来摘要。我们表明，这两种生成方法显着提高了两个数据集的忠实性，由四个自动忠实性指标和人类评价。为了减少计算成本，我们展示了一个简单的蒸馏方法，允许模型生成忠实的摘要，只需贪心解码。我们的代码可在https://github.com/amazon-science/faithful-summarization-generation上公开获取
2023-03-06 cs.AI cs.CL cs.LG
Improving Neural Cross-Lingual Summarization via Employing Optimal Transport Distance for Knowledge Distillation
VinAI Research（VinAI 研究院）；Nanyang Technological University（南洋理工大学）
当前最先进的跨语言摘要模型采用多任务学习范式，其工作在共享的词汇模块上，并依赖于自我注意力机制来参与两种语言中的标记。然而，通过自我注意学习的相关性往往是松散和隐含的，在捕捉关键的跨语言表征语言之间的效率低下。当在具有单独的形态或结构特征的语言上执行时，这一问题变得更加复杂，使得跨语言对齐更具挑战性，从而导致性能下降。为了克服这个问题，我们提出了一种新的基于知识蒸馏的跨语言摘要框架，寻求明确构建跨语言的相关性，通过蒸馏的单语总结教师的知识到跨语言的总结学生。由于教师和学生的表示位于两个不同的向量空间，我们进一步提出了一个知识蒸馏损失使用Sinkhorn发散，最优运输距离，以估计这些教师和学生表示之间的差异。由于Sinkhorn Divergence的直观几何性质，学生模型可以有效地学习将其产生的跨语言隐藏状态与单语言隐藏状态对齐，从而导致遥远语言之间的强相关性。在两种远距离语言的跨语言摘要数据集上的实验表明，我们的方法在高和低资源设置下的性能都优于最先进的模型。
2021-12-07 cs.CL
A Self-Paced Mixed Distillation Method for Non-Autoregressive Generation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft（微软）
非自回归生成是一种序列生成范式，它消除了目标令牌之间的依赖性。该算法采用并行解码代替逐令牌的顺序解码，可以有效降低文本生成延迟。然而，由于已知的多模态问题，非自回归（NAR）模型在各种语言生成任务上的表现明显低于自回归（AR）模型。在NAR模型中，BANG是第一个在英语未标注原始文本语料库上进行大规模预训练的模型。它考虑不同的生成范式作为其预训练任务，包括自回归（AR），非自回归（NAR）和半非自回归（semi-NAR）的多流策略的信息流。它无需任何蒸馏技术即可实现最先进的性能。然而，AR蒸馏已被证明是提高NAR性能的非常有效的解决方案。在本文中，我们提出了一种新的自定步混合蒸馏方法，以进一步提高生成的BANG的质量。首先，提出了基于AR流知识的混合蒸馏策略。其次，我们鼓励模型通过自定进度的学习来关注具有相同情态的样本。所提出的自步调混合蒸馏算法提高了生成质量，并且对推理延迟没有影响。我们进行了广泛的实验总结和问题生成任务，以验证的有效性。为了进一步说明我们的方法的商业价值，我们在现实世界的广告应用程序中的三个生成任务进行实验。商业数据的实验结果表明了该模型的有效性。与BANG相比，BLEU评分有显著改善。另一方面，与自回归生成方法相比，它实现了7倍以上的加速比。
2022-05-23 cs.CL
Salience Estimation with Multi-Attention Learning for Abstractive Text Summarization
The Chinese University of Hong Kong（香港中文大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Tencent AI Lab（腾讯人工智能实验室）；Fudan University（复旦大学）
注意力机制在序列生成模型中起着主导作用，并被用于提高机器翻译和摘要的性能。与神经机器翻译不同，在文本摘要任务中，单词、短语或句子的显著性估计是一个关键组成部分，因为输出摘要是输入文本的精华。虽然典型的注意力机制可以根据解码器的状态从输入文本中进行文本片段的选择，但要进行直接有效的显著性检测仍然存在差距。为了用神经网络恢复摘要的直接显著性估计，我们提出了一个多注意力学习框架，该框架包含两个新的显著性估计注意力学习组件：监督注意力学习和无监督注意力学习。我们将注意力权重作为显著性信息，这意味着注意力值大的语义单元将更重要。基于估计的显著性获得的上下文信息与解码器中的典型注意力机制结合以进行摘要生成。在不同语言的基准数据集上进行的大量实验证明了该框架对抽象摘要任务的有效性。
2020-04-07 cs.CL cs.IR cs.LG
Error-Aware Knowledge Distillation via Targeted Revision for Customer-Service Summarization
eBay Inc.（eBay公司）
通过分析-修订-微调流程，利用开源模型提升客户服务摘要任务的性能，实现比专有模型更高效和隐私保护的摘要生成。
2026-02-26 cs.CL
Salience Allocation as Guidance for Abstractive Summarization
University of Southern California（南加州大学）
抽象摘要模型通常学习从零开始隐式地捕获显著信息。最近的文献增加了提取摘要作为抽象摘要模型的指导，以提供显着内容的提示，并取得更好的性能。然而，提取摘要作为指导可能过于严格，导致信息丢失或噪声信号。此外，它不能很容易地适应各种抽象的文件。由于显著性内容片段的数量和分配不同，因此很难找到决定哪些内容应该包括在指南中的固定阈值。在本文中，我们提出了一种新的摘要方法，灵活和可靠的显着性指导，即SEASON（显着性分配作为指导抽象摘要）。SEASON利用显著性期望值的分配来指导文摘，对不同抽象程度的文章有较好的适应性。在两个基准数据集上的自动和人工评估表明，该方法是有效和可靠的。对超过一百万篇新闻文章的实证结果表明，新闻文章句子的显着性自然分裂为1550，为撰写新闻文章提供了有用的见解。
2022-10-22 cs.AI cs.CL cs.LG
Pre-trained Summarization Distillation
Hugging Face；Cornell University（康奈尔大学）
最近的最先进的摘要方法利用大型预训练的Transformer模型。将这些模型提炼成更小的学生模型对于实际应用来说已经变得至关重要;然而，NLP文献提出了许多不同的提炼方法。最近的工作蒸馏BERT的分类和回归任务显示出强大的性能，使用直接知识蒸馏。或者，机器翻译从业者使用伪标记进行提取，其中小模型在较大模型的翻译上进行训练。第三种更简单的方法是“收缩和微调”（SFT），它通过将参数复制到较小的学生模型然后进行微调来避免任何显式蒸馏。我们比较了这三种方法对Pegasus和BART的蒸馏，当前和以前的最新技术水平，预训练的摘要模型，并发现SFT在CNN/DailyMail数据集上优于知识蒸馏和伪标记，但在更抽象的XSUM数据集上表现不佳。PyTorch代码和不同大小的检查点可以通过Hugging Face Transformers获得，网址为http://tiny.cc/4iy0tz。
2020-10-28 cs.AI cs.CL
Abstractive Text Summarization by Incorporating Reader Comments
Peking University（北京大学）；Tencent AI Lab（腾讯人工智能实验室）；Alibaba DAMO Academy（阿里巴巴达摩院）
在神经抽象文摘领域，传统的基于序列到序列的模型经常遭受关于主要方面总结文档的错误方面。为了解决这个问题，我们提出了读者感知的摘要生成任务，它利用读者的评论，以帮助模型产生更好的摘要的主要方面。与传统的抽象摘要任务不同，读者感知摘要面临两个主要挑战：（1）评论是非正式的，而且带有噪声;（2）对新闻文档和读者评论进行联合建模具有挑战性。为了解决上述问题，我们设计了一个名为读者感知摘要生成器（RASG）的对抗性学习模型，该模型由四个部分组成：（1）基于序列到序列的摘要生成器;（2）捕获读者关注方面的读者关注模块;（3）对生成的摘要和读者关注方面之间的语义鸿沟进行建模的监督模块;（4）目标跟踪器，其为每个生成步骤产生目标。监督者和目标跟踪者用于以对抗的方式指导我们的框架的训练。在我们的大规模真实文本摘要数据集上进行了大量的实验，结果表明，RASG在自动度量和人工评估方面都达到了最先进的性能。实验结果也证明了我们的框架中的每个模块的有效性。我们发布了我们的大规模数据集以供进一步研究。
2018-12-13 cs.AI cs.CL
Adapter-based Selective Knowledge Distillation for Federated Multi-domain Meeting Summarization
Research Center for Social Computing and Information Retrieval, Harbin Institute of Technology（哈尔滨工业大学社会计算与信息检索研究中心）；Peng Cheng Laboratory（鹏城实验室）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）
针对会议摘要中数据敏感、多领域non-IID分布及通信成本高的问题，提出AdaFedSelecKD，通过双适配器与选择性知识蒸馏实现低通信、鲁棒的联邦训练。
2023-08-07 cs.CL
Arabic text summarization based on latent semantic analysis to enhance arabic documents clustering
University Sidi Mohamed Ben Abdellah (USMBA)（西迪·穆罕默德·本·阿卜杜拉大学）；Faculty of Science Dhar EL Mahraz (FSDM)（达尔·马赫拉兹科学学院）
阿拉伯文文档聚类是一项重要的任务，以获得良好的效果与传统的信息检索（IR）系统，特别是与阿拉伯语在线文档的数量迅速增长。文档聚类的目标是使用不同的相似性/距离度量将相似的文档自动分组到一个聚类中。该任务往往受到文档长度的影响，文档上的有用信息往往伴随着大量的噪声，因此有必要在保留有用信息的同时消除这些噪声，以提高文档聚类的性能。在本文中，我们建议使用潜在语义分析模型对阿拉伯文文档聚类的文本摘要的影响进行评估，以解决上述问题，使用五个相似性/距离的措施：欧几里德距离，余弦相似性，Jaccard系数，皮尔逊相关系数和平均Kullback-Leibler发散，两次：没有和词干。实验结果表明，该方法有效地解决了噪声信息和文档长度的问题，从而显着提高聚类性能。
2013-02-06 cs.CL cs.IR
Leveraging Generative Models for Real-Time Query-Driven Text Summarization in Large-Scale Web Search
Baidu Inc.（百度公司）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
本文提出融合蒸馏、监督微调、偏好优化与前瞻解码的生成式 QDTS 框架，使 0.1B 模型超越生产基线并实现低延迟大规模部署。
2025-08-28 cs.CL cs.IR
Abstractive Text Summarization: State of the Art, Challenges, and Improvements
University of Colorado（科罗拉多大学）；University of Arkansas（阿肯色大学）
该综述系统梳理了抽象式文本摘要的最新技术、挑战与改进方向，涵盖序列到序列模型、预训练大语言模型、强化学习等方法，并提出知识融合等解决方案，为后续研究提供结构化参考。
2024-09-04 cs.AI cs.CL cs.LG
Noisy Pairing and Partial Supervision for Stylized Opinion Summarization
Megagon Labs（美嘉岗实验室）；Meta Platforms, Inc.（元平台公司）；NVIDIA（英伟达公司）
本文提出风格化观点摘要任务，并设计非平行训练框架 NAPA，利用客户评论与专业评论构建 ProSum 基准，在 ProSum 和 FewSum 上验证其可生成专业风格摘要。
2024-08-09 cs.CL
Referee: Reference-Free Sentence Summarization with Sharper Controllability through Symbolic Knowledge Distillation
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们提出了Reflection，一个新的句子摘要框架，可以训练无参考（即，不需要用于监督的黄金摘要），同时允许对压缩比的直接控制。我们的工作是第一次证明，通过符号知识蒸馏的概念框架，无参考，受控的句子摘要是可行的（韦斯特等人，2022），其中预训练的语言模型中的潜在知识通过从教师模型中采样的显式示例进行提取，并使用三种类型的过滤器进行进一步纯化：长度，保真度和信息瓶颈。此外，我们独特地提出了知识的迭代蒸馏，其中来自上一次迭代蒸馏的学生模型在下一次迭代中充当教师模型。从一组相对温和的GPT 3生成的摘要开始，我们演示了迭代知识蒸馏如何导致相当小的，但更好的摘要具有更清晰的可控性。这种迭代蒸馏过程的一个有用的副产品是具有不同程度压缩比的高质量数据集。实证结果表明，最终的学生模型在压缩比的可控性方面大大优于更大的GPT 3-Instruct模型，而不会影响所得摘要的质量。
2022-10-25 cs.AI cs.CL cs.LG
Sentence-wise Speech Summarization: Task, Datasets, and End-to-End Modeling with LM Knowledge Distillation
NTT Corporation（NTT公司）
本文提出逐句语音摘要任务及两个数据集，并针对端到端模型性能不足的问题，引入基于级联模型伪摘要的知识蒸馏方法，在两个数据集上有效提升了端到端模型的摘要性能。
2024-08-01 cs.CL eess.AS
When Does Knowledge Distillation Hurt? Reliability-Aware Distillation for Low-Resource Language Summarization
BRAC University（BRAC大学）
研究低资源语言摘要中知识蒸馏的问题，提出CHAD和EWAD+CPDP两种可靠性感知蒸馏方法，在BanSum基准测试中显著优于标准KD，EWAD+CPDP在多种语言上也有良好表现，还发布相关资源助力研究。
2026-07-23 cs.AI cs.CL
D$^2$TV: Dual Knowledge Distillation and Target-oriented Vision Modeling for Many-to-Many Multimodal Summarization
Beijing Jiaotong University（北京交通大学）；Tencent Inc（腾讯公司）；Soochow University（苏州大学）
本文提出双重知识蒸馏与目标导向视觉建模框架，用于多对多多模态摘要任务，通过双向知识迁移和对比目标过滤无关视觉信息，并贡献M$^3$Sum数据集。
2023-10-16 cs.AI cs.CL cs.CV
Impossible Distillation: from Low-Quality Model to High-Quality Dataset & Model for Summarization and Paraphrasing
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
提出“不可能蒸馏”框架，从低质量教师模型（如GPT2）中提取高质量数据集和模型，用于释义和摘要，7.7亿参数模型性能超越ChatGPT蒸馏模型。
2024-08-19 cs.AI cs.CL cs.LG
Knowledge Distillation with Noisy Labels for Natural Language Understanding
David R. Cheriton School of Computer Science, University of Waterloo（滑铁卢大学大卫·R·切里顿计算机科学学院）；RALI/DIRO, Université de Montréal（蒙特利尔大学RALI/DIRO）
知识蒸馏（KD）被广泛用于在边缘设备上压缩和部署大型预训练的语言模型，以用于现实世界的应用。然而，一个被忽视的研究领域是噪声（损坏）标签对KD的影响。我们目前，尽我们所知，第一次研究KD与噪声标签在自然语言理解（NLU）。我们记录了问题的范围，并提出了两种方法来减轻标签噪声的影响。在GLUE基准测试上的实验表明，即使在高噪声水平下，我们的方法也是有效的。然而，我们的研究结果表明，更多的研究是必要的，以应付标签噪声下的KD。
2021-09-21 cs.CL
Information-Theoretic Distillation for Reference-less Summarization
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗 G. 艾伦计算机科学与工程学院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
提出InfoSumm框架，基于信息论目标从Pythia-2.8B自训练蒸馏出5.68亿参数的摘要器，无需LLM或人工参考，性能媲美ChatGPT且可控性更优。
2024-08-19 cs.AI cs.CL
Recall with Reasoning: Chain-of-Thought Distillation for Mamba's Long-Context Memory and Extrapolation
Tencent AI Lab（腾讯AI实验室）
本文提出 RwR 方法，通过从教师模型蒸馏思维链摘要并在微调时前置为提示，解锁 Mamba 的长上下文记忆与外推能力，在保持短上下文性能和无需改架构的情况下超越 Transformer/混合基线。
2025-06-03 cs.CL
Learning to Revise References for Faithful Summarization
Columbia University（哥伦比亚大学）；Amazon AWS AI（亚马逊AWS人工智能部门）
在具有自然发生的数据集的真实世界场景中，参考摘要是嘈杂的，并且可能包含无法从源文本推断出的信息。在大型新闻语料库中，删除低质量的样本已被证明可以减少模型幻觉。然而，对于较小和/或噪声较大的语料库，过滤对性能是有害的。为了提高参考文献的质量，同时保留所有的数据，我们提出了一种新的方法：选择性地重写不支持的参考语句，以更好地反映源数据。我们通过破坏支持句子自动生成正面和负面修订的合成数据集，并使用对比学习学习修订参考句子。修订的强度被视为一个可控的属性，以便在推理，不同的候选人可以过度生成，然后重新评分，以平衡忠实性和抽象。为了测试我们的方法，我们从公开的MIMIC-III出院总结中提取噪声参考，用于医院病程总结任务，并改变模型训练的数据。根据指标和人工评估，在修订的临床参考上训练的模型比在原始或过滤数据上训练的模型更忠实，信息量更大，更流畅。
2022-10-11 cs.CL
Multilingual AMR Parsing with Noisy Knowledge Distillation
The Chinese University of Hong Kong（香港中文大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
本文从知识蒸馏的角度研究多语言AMR句法分析，目的是以现有的英语句法分析器为教师，学习和改进多语言AMR句法分析器。我们将我们的探索限制在严格的多语言环境中：只有一个模型可以解析所有不同的语言，包括英语。我们确定，嘈杂的输入和精确的输出是成功蒸馏的关键。再加上广泛的预训练，我们得到了一个AMR解析器，其性能超过了所有以前发表的结果，四种不同的外语，包括德语，西班牙语，意大利语和中文，由大利润率（高达18.8 \textsc{Smatch}点，中文和平均11.3 \textsc{Smatch}点）。我们的解析器在英语上也达到了与最新的最先进的纯英语解析器相当的性能。
2021-10-14 cs.AI cs.CL
SCURank: Ranking Multiple Candidate Summaries with Summary Content Units for Enhanced Summarization
Department of Computer Science and Information Engineering, National Cheng Kung University（国立成功大学计算机科学与资讯工程系）；Artificial Intelligence Research Center, Chang Gung University（长庚大学人工智能研究中心）；Department of Artificial Intelligence, Chang Gung University（长庚大学人工智能系）；Department of Computer Science, National Tsing Hua University（国立清华大学计算机科学系）
SCURank通过摘要内容单元提升摘要生成，优于传统指标和LLM排序方法，验证了信息导向排序在多LLM蒸馏中的优势。
2026-04-21 cs.AI cs.CL
Who Taught You That? Tracing Teachers in Model Distillation
Northeastern University（东北大学）
该研究针对模型蒸馏后的教师溯源问题，在摘要、问答和指令遵循等任务上，将候选教师视为黑盒并利用词汇特征构建判别模型，发现 n-gram 相似性不可靠而词性模板可揭示师生关系。
2025-05-20 cs.CL
Grounding Memory Summarization in Utility Intent
University of Virginia（弗吉尼亚大学）；Northeastern University（东北大学）
针对记忆摘要与下游查询效用错位的问题，提出MemSuit自蒸馏框架，通过问答对调节生成效用感知条目并微调检索器，显著提升答案质量。
2026-09-29 cs.CL
Robust Knowledge Distillation from RNN-T Models With Noisy Training Labels Using Full-Sum Loss
Google（谷歌）
本文研究了知识蒸馏（KD）问题，并针对递归神经网络转换器（RNN-T）模型提出了知识蒸馏的约束条件。在硬蒸馏中，教师模型转录大量未标记的语音来训练学生模型。软蒸馏是另一种流行的KD方法，它提取教师模型的输出logits。由于RNN-T比对的性质，在具有不同后验分布的RNN-T架构之间应用软蒸馏是具有挑战性的。此外，高错字率的差教师会降低KD的效能。我们研究如何有效地提取知识的可变质量ASR教师，这还没有被研究之前，我们的知识。我们证明了序列级KD，全和蒸馏，优于RNN-T模型的其他蒸馏方法，特别是对于糟糕的教师。我们还提出了一个变种的全和蒸馏，蒸馏的顺序判别知识的老师，导致进一步改善WER。我们在公共数据集SpeechStew和LibriSpeech以及内部生产数据上进行实验。
2023-03-10 cs.CL cs.SD eess.AS
$\mathcal{X}$-KD: General Experiential Knowledge Distillation for Large Language Models
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出$\mathcal{X}$-KD，通过模拟教师的原始学习环境，提升大型语言模型的蒸馏效果，优于现有基线方法。
2026-02-13 cs.CL
A Noisy-Channel Model for Document Compression
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
我们提出了一个文件压缩系统，使用分层噪声通道模型的文本生产。我们的压缩系统首先自动推导出每个句子的句法结构和作为输入的文本的整体话语结构。然后，该系统使用文本生产的统计层次模型，以丢弃不重要的句法和话语成分，从而生成任意长度的连贯的、语法的文档压缩。该系统的性能优于基线和基于压缩的压缩系统，后者通过顺序简化文本中的所有句子来操作。我们的研究结果支持了语篇知识在文档摘要中起着重要作用的观点。
2009-07-04 cs.CL
Autoregressive Knowledge Distillation through Imitation Learning
ASAPP, Inc.（ASAPP公司）
自回归模型在自然语言生成任务上的性能由于采用了深度、自我关注的架构而得到了显着提高。然而，这些收益是以阻碍推理速度为代价的，使得最先进的模型在现实世界中部署起来很麻烦，时间敏感的设置。我们开发了一种压缩技术的自回归模型，是由模仿学习的角度来看，知识蒸馏。该算法旨在解决曝光偏差问题。在原型语言生成任务，如翻译和摘要，我们的方法始终优于其他蒸馏算法，如序列级知识蒸馏。使用我们的方法训练的学生模型比从头开始训练的模型高出1.4到4.8个BLEU/ROUGE点，同时与教师模型相比，推理速度提高了14倍。
2020-10-29 cs.CL cs.LG
LLMR: Knowledge Distillation with a Large Language Model-Induced Reward
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
提出LLMR，一种利用大语言模型诱导奖励函数进行知识蒸馏的新方法，在对话生成和摘要任务中优于传统KD方法。
2026-10-16 cs.AI cs.CL
GateKD: Confidence-Gated Closed-Loop Distillation for Robust Reasoning
Chulalongkorn University（朱拉隆梭大学）；MARSAIL；PBYAIL (Panboonyuen AI Lab)（Panboonyuen AI Lab）
提出GateKD框架，通过置信度门控的闭环蒸馏（包括软监督、隐藏状态演化和注意力蒸馏）减少噪声传播，提升学生模型在常识、逻辑和符号推理上的鲁棒性。
2026-06-01 cs.CL
Boosting Summarization with Normalizing Flows and Aggressive Training
University of Minnesota（明尼苏达大学）
本文提出基于归一化流的变分编码器-解码器框架FlowSUM，通过灵活的潜在后验建模和带改进门控机制的控制交替激进训练策略，解决了变分摘要中语义信息不足和后验坍缩问题，显著提升摘要质量并支持知识蒸馏。
2023-11-01 cs.AI cs.CL
EchoDistill: Robust Large Audio Language Models via Noisy-to-Clean Self-Distillation
NTU（国立台湾大学）；SHU（上海大学）；ICT, CAS（中国科学院信息科技研究院）；HDU（华中科技大学）；BUPT（北京邮电大学）；USTC（中国科学技术大学）；SKL-NST, BUPT（北京邮电大学国家智能计算研究中心）
提出EchoDistill框架，通过冻结的干净音频教师模型指导噪声学生模型进行组相对策略优化，实现噪声到干净的自蒸馏对齐，提升音频大语言模型在复杂噪声下的语义可靠性和任务性能。
2026-10-12 cs.AI cs.CL cs.SD
Explaining Sequence-Level Knowledge Distillation as Data-Augmentation for Neural Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）
序列级知识蒸馏（SLKD）是一种模型压缩技术，它利用大型、准确的教师模型来训练较小的、参数化不足的学生模型。为什么使用SLKD预处理MT数据有助于我们训练更小的模型？我们测试的共同假设，SLKD解决能力不足的学生通过“简化”嘈杂的数据点，并发现它不太可能在我们的情况下。在原始数据集和“简化”数据集的连接上训练的模型与基线SLKD一样通用。然后，我们提出了一个替代假设的镜头下的数据增强和正则化。我们尝试了各种增强策略，并观察到dropout正则化可能变得不必要。我们的方法在TED演讲中实现了0.7-1.2的BLEU增益。
2019-12-06 cs.CL
