BRIDO: Bringing Democratic Order to Abstractive Summarization
Samsung Research（三星研究院）
本文提出BRIDO模型，通过对比学习激励高候选间ROUGE分数，缓解暴露偏差以减少抽象摘要中的幻觉，在XSum和CNN/DM数据集上分别提升一致性G-Eval分数6.25%和3.82%。
2025-02-25 cs.CL cs.LG
Hallucination Reduction in Long Input Text Summarization
Jadavpur University（贾达沃普尔大学）；School of Mathematical and Computational Sciences, Indian Association for the Cultivation of Science（印度科学促进会数学与计算科学学院）
本文针对长文档摘要幻觉问题，在 PubMed 上微调 LED，并结合数据过滤与 JAENS 联合生成，提升实体层面事实一致性。
2023-09-28 cs.CL cs.IR cs.LG
Hallucinated but Factual! Inspecting the Factuality of Hallucinations in Abstractive Summarization
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；MILA（蒙特利尔学习算法研究所）
现有技术的抽象摘要系统通常生成\emph{hallucinations} ;即，不能从源文本直接推断的内容。尽管假设是不正确的，但我们发现许多幻觉内容是真实的，即与世界知识一致。这些真实的幻觉可以通过提供有用的背景信息而在摘要中受益。在这项工作中，我们提出了一种新的检测方法，将实体的真实幻觉与非真实幻觉分开。我们的方法利用一个实体的先验和后验概率根据预先训练和微调掩蔽语言模型，分别。实证结果表明，我们的方法大大优于两个基线%的准确性和F1分数，并与人类的判断强烈相关。%的真实性分类任务。此外，我们表明，我们的检测器，当用作奖励信号在离线强化学习（RL）算法，显着提高了真实性的摘要，同时保持抽象的水平。
2021-12-06 cs.CL
Faithful to the Document or to the World? Mitigating Hallucinations via Entity-linked Knowledge in Abstractive Summarization
Mila（米拉研究所）；McGill University（麦吉尔大学）；Google Research（谷歌研究院）
尽管最近在抽象摘要方面取得了进展，但当前的摘要系统仍然遭受内容幻觉，其中模型生成与源文档无关或矛盾的文本。然而，先前的工作一直是基于这样的假设，即任何没有明确出现在源中的生成事实都是不受欢迎的幻觉。已经提出了通过最终提高对源文档的“忠诚度”来解决这种情况的方法，但实际上，黄金参考目标中有很大一部分实体并不直接位于源中。在这项工作中，我们表明，这些实体不是畸变，而是需要利用外部世界的知识来推断推理路径的实体在源。我们表明，通过利用外部的知识库，我们可以提高摘要的忠实性，而不是简单地使他们更提取，此外，我们表明，从源链接的外部知识库可以受益于生成的摘要的真实性。
2022-04-28 cs.CL
Optimal path for Biomedical Text Summarization Using Pointer GPT
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对GPT模型在生物医学文本摘要中存在事实错误、缺上下文、过度简化的问题，提出用指针网络替换GPT注意力机制的Pointer-GPT模型，经ROUGE评测优于原模型，可提升电子病历摘要质量。
2024-03-22 cs.AI cs.CL
CaPE: Contrastive Parameter Ensembling for Reducing Hallucination in Abstractive Summarization
Salesforce AI Research（赛富时人工智能研究院）；Hugging Face（抱抱脸公司）
幻觉是神经抽象摘要模型的一个已知问题。最近的研究表明，幻觉的程度可能取决于训练数据中的错误。在这项工作中，我们提出了一种新的方法，称为对比参数集成（CaPE）更有效地使用训练数据，利用训练样本中的噪声变化，以减少幻觉。我们首先使用不同的自动事实度量从训练数据中选择干净和有噪声的子集。然后，我们微调一个基本的摘要模型，这是在所有的训练样本，在干净的（嘈杂的）子集，以获得一个\textit{expert}（\textit{anti-expert}）模型。最后，根据\textit{expert}模型和\textit{anti-expert}模型参数的差异，调整基础模型的参数，使基础模型向\textit{expert}模型靠拢，向远离\textit{anti-expert}模型靠拢。实验结果表明，CaPE提高了不同自动事实度量和人工评估的性能，XSUM和CNN/DM数据集的摘要级依赖弧蕴涵准确度最大分别提高了16.69%和15.78%.实际性能的提高不会降低其他信息性指标（如ROUGE）的性能。
2022-05-20 cs.CL
Mutual Information Alleviates Hallucinations in Abstractive Summarization
尽管从抽象摘要模型生成的语言质量有了显著的进步，但这些模型仍然表现出幻觉的倾向，即，源文档不支持输出内容。许多作品试图解决--或者至少揭示--这个问题的根源，但收效甚微。在本文中，我们确定了一个简单的标准，根据该标准，模型在生成过程中更有可能为幻觉内容分配更多的概率：高模型不确定性。这一发现为幻觉提供了一个潜在的解释：模型默认支持边缘概率高的文本，即，当不确定是否继续时，训练集中的高频事件。它还激发了解码过程中实时干预的可能途径，以防止这种幻觉。我们提出了一种解码策略，切换到优化逐点互信息的源和目标令牌-而不是纯粹的目标令牌的概率-当模型表现出不确定性。在XSum数据集上的实验表明，我们的方法降低了幻觉令牌的概率，同时保持了最佳解码策略的Rouge和BertS分数。
2022-10-29 cs.CL
Automatic Text Summarization of COVID-19 Medical Research Articles using BERT and GPT-2
Rockefeller University（洛克菲勒大学）
随着COVID-19大流行，医学界越来越迫切需要跟上新冠病毒相关文献的加速增长。因此，COVID-19开放研究数据集挑战赛发布了一个学术文章语料库，并呼吁使用机器学习方法来帮助弥合研究人员与快速增长的出版物之间的差距。在这里，我们利用预训练的NLP模型BERT和OpenAI GPT-2的最新进展，通过对该数据集执行文本摘要来解决这一挑战。我们使用ROUGE评分和目视检查来评估结果。我们的模型提供了抽象和全面的信息的基础上提取的关键字从原始文章。我们的工作可以帮助医学界，通过提供摘要尚未提供的文章的简洁摘要。
2020-06-03 cs.CL cs.LG
Reducing Quantity Hallucinations in Abstractive Summarization
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；University of Edinburgh（爱丁堡大学）
众所周知，摘要容易让人产生幻觉-包括原文没有支持的材料。虽然可以通过将摘要限制为一般短语来使摘要不产生幻觉，但这样的摘要将无法提供非常多的信息。或者，人们可以通过验证摘要中的任何特定实体在类似的上下文中出现在原始文本中来避免幻觉。这就是我们的系统所采取的方法，赫尔曼。系统学习识别和验证数量实体（日期，数字，金额等）。在由最先进的模型制作的大量抽象摘要中，以便提高原始文本支持数量术语的摘要的排名。实验结果表明，这样的排名上升的摘要的ROUGE分数具有更高的精度比没有被提升排名的摘要，没有相当的召回损失，导致更高的F $_1$。对排名上升的摘要与原始摘要的初步人类评估显示了人们对前者的偏好。
2020-09-28 cs.CL
Prompt-Efficient Fine-Tuning for GPT-like Deep Models to Reduce Hallucination and to Improve Reproducibility in Scientific Text Generation Using Stochastic Optimisation Techniques
Higher School of Economics (HSE)（高等经济大学（HSE））；AI for Computational biology (AIC)（计算生物学人工智能研究所（AIC））
本研究提出一种参数高效微调方法（PEFT），通过LoRA适配器微调GPT-2为MS-GPT，用于质谱科学文本生成，以减少幻觉并提高可复现性，实验显示其在BLEU、ROUGE和困惑度上优于基线，并提出了基于余弦相似性的可复现性度量。
2024-11-10 cs.AI cs.CL
Layer-Resolved Optimal Transport for Hallucination Detection in NMT and Abstractive Summarization
Fairseq；AggreFact
通过最优传输分析跨注意力分布，发现幻觉检测集中于解码器前四层，且该方法在源脱离时有效，但无法检测注意力下游的不忠实摘要。
2026-06-12 cs.CL cs.LG
Iterative Prompt Refinement for Dyslexia-Friendly Text Summarization Using GPT-4o
University of Nebraska-Lincoln（内布拉斯加大学林肯分校）
本文提出基于GPT-4o的迭代提示细化方法，通过提升文本摘要的可读性，为视读障碍人群提供更友好的信息获取方式。
2026-02-26 cs.AI cs.CL
Entity-level Factual Consistency of Abstractive Text Summarization
Amazon Web Services（亚马逊网络服务）；Columbia University（哥伦比亚大学）
摘要摘要的一个关键挑战是确保生成的摘要与原始文档的事实一致性。例如，在现有数据集上训练的最先进的模型表现出实体幻觉，生成源文档中不存在的实体名称。我们提出了一组新的指标来量化生成的摘要的实体级事实的一致性，我们表明，实体幻觉问题可以通过简单地过滤训练数据来缓解。此外，我们提出了一个值得总结的实体分类任务的训练过程，以及一个联合实体和摘要生成方法，从而进一步提高实体级指标。
2021-02-18 cs.AI cs.CL
Improving Faithfulness in Abstractive Summarization with Contrast Candidate Generation and Selection
University of Pennsylvania（宾夕法尼亚大学）；Google（谷歌）
尽管在神经抽象摘要方面取得了重大进展，但最近的研究表明，当前的模型容易生成不忠实于原始上下文的摘要。为了解决这个问题，我们研究对比候选生成和选择作为一个模型不可知的后处理技术，以纠正外在的幻觉（即信息不存在于源文本）在不忠实的摘要。我们通过生成替代候选摘要来学习判别校正模型，其中所生成的摘要中的命名实体和数量被替换为来自源文档的具有兼容语义类型的实体和数量。然后使用该模型选择最佳候选项作为最终输出摘要。我们在一些神经摘要系统上的实验和分析表明，我们提出的方法在识别和纠正外部幻觉方面是有效的。我们通过不同类型的神经摘要系统分析了典型的幻觉现象，希望为未来的工作方向提供见解。
2021-04-19 cs.CL
Probing of Quantitative Values in Abstractive Summarization Models
James Cook University（詹姆斯·库克大学）
摘要文本摘要最近已经成为一种流行的方法，但数据幻觉仍然是一个严重的问题，包括定量数据。我们提出了一组探测测试来评估抽象摘要模型对输入文本中发现的定量值建模的有效性。我们的研究结果表明，在大多数情况下，最近SOTA性能模型的编码器很难提供与基线相比能够充分表示输入中的定量值的嵌入，特别是，它们在某些情况下优于随机表示，但令人惊讶的是，并非所有情况下。根据我们的假设，这表明编码器的性能有助于数量幻觉问题。特别是一种模型类型，DistilBart-CDM，在几个实验中被观察到表现不佳的随机初始化表示，与BERT的性能表明，标准的预训练和微调方法的摘要任务可能会在一些编码器的表现不佳中发挥作用。
2022-10-03 cs.CL
Don't Say What You Don't Know: Improving the Consistency of Abstractive Summarization by Constraining Beam Search
Allen Institute for AI（艾伦人工智能研究所）；Masakhane（马萨卡内）；University of Washington（华盛顿大学）；MosaicML；MIT（麻省理工学院）；Northwestern University（西北大学）
本研究提出PINOCCHIO解码方法，通过约束束搜索检测并避免幻觉，将抽象式摘要的一致性平均提升约67%。
2023-11-17 cs.CL
Self-Supervised and Controlled Multi-Document Opinion Summarization
Naver Labs Europe（NAVER Labs欧洲）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）
我们解决的问题，无监督的抽象摘要的用户生成的评论与自我监督和控制的集合。我们提出了一个自我监督的设置，认为一个单独的文件作为一组类似的文件的目标摘要。这种设置使训练比以前的方法更简单，只依赖于标准的对数似然损失。我们通过使用控制代码来解决幻觉的问题，以引导生成更连贯和相关的summarization.Finally，我们扩展了Transformer架构，以允许多个评论作为输入。我们在两个数据集上对基于图和最近的神经抽象无监督模型进行的基准测试表明，我们提出的方法生成的摘要具有优异的质量和相关性。这在我们的人类评估中得到了证实，该评估明确关注生成摘要的忠实性。我们还提供了消融研究，其示出了控制设置在控制幻觉中的重要性，并且实现了概要与输入评论的高度情感和主题对准。
2020-05-01 cs.CL cs.LG
Enhancing Faithfulness in Abstractive Summarization via Span-Level Fine-Tuning
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文研究了通过片段级微调策略减少LLM生成式摘要中的幻觉问题，构建了含片段级标签的忠实与不忠实摘要数据集，并评估了梯度上升、不可能性训练和任务向量否定三种技术，发现不可能性训练效果最佳。
2025-10-10 cs.CL
On the Benefits of Fine-Grained Loss Truncation: A Case Study on Factuality in Summarization
Yale University（耶鲁大学）；Allen Institute for AI（艾伦人工智能研究所）
针对文本摘要模型的幻觉问题，研究发现现有Loss Truncation方法因假设局限效果有限，提出基于实体词级NLL的细粒度损失与数据清洗策略，有效减少部分数据集上的幻觉。
2024-03-09 cs.AI cs.CL
Improving abstractive summarization with energy-based re-ranking
Priberam（Priberam公司）；Universidade do Porto（波尔图大学）；Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）；Unbabel（Unbabel公司）
当前的抽象摘要系统存在重要的弱点，这阻碍了它们在现实世界应用中的部署，例如遗漏相关信息和产生事实不一致（也称为幻觉）。与此同时，最近已经提出了自动评估指标，如CTC分数，表现出更高的相关性与人类的判断比传统的词汇重叠指标，如ROUGE。在这项工作中，我们打算利用最近的进展，总结指标，以创建质量感知的抽象摘要关闭循环。也就是说，我们提出了一个基于能量的模型，学习根据这些指标中的一个或组合重新排名摘要。我们实验使用几个指标来训练我们的基于能量的重排序器，并表明它始终提高了预测摘要所获得的分数。尽管如此，人工评估结果表明，重新排序的方法应谨慎使用高度抽象的摘要，因为可用的指标还不够可靠，为此目的。
2022-11-07 cs.AI cs.CL cs.LG
FactPEGASUS: Factuality-Aware Pre-training and Fine-tuning for Abstractive Summarization
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
我们提出了FactPEGASUS，一个抽象的摘要模型，解决了预训练和微调期间的真实性问题：（1）我们增强了PEGASUS的句子选择策略（Zhang et al.，（2020）预训练目标是创建既重要又真实的伪摘要;（2）我们引入了三个互补的组件进行微调。校正器去除参考摘要中存在的幻觉，对比器使用对比学习来更好地区分非事实摘要和事实摘要，连接器弥合预训练和微调之间的差距，以更好地传递知识。在三个下游任务上的实验表明，FactPEGASUS大大提高了由多个自动度量和人类评估的真实性。我们的全面分析表明，FactPEGASUS比在zero-shot和Few-Shot设置中使用原始预训练目标更符合事实，比强基线更稳健地保留事实行为，并且不完全依赖于变得更加提取来提高真实性。我们的代码和数据可在以下网址公开获取：https://github.com/meetdavidwan/factpegasus
2022-05-16 cs.AI cs.CL cs.LG
Fine-tuning GPT-3 for Russian Text Summarization
Federal State Budget Educational Institution of Higher Education «MIREA - Russian Technological University»（联邦国家预算高等教育机构「MIREA——俄罗斯技术大学」）；National Research University Higher School of Economics（国立研究型大学高等经济学院）
自动摘要技术旨在缩短和概括文本中给出的信息，同时保留其核心信息和最相关的想法。这个任务可以用各种方法来处理和处理，然而，尽管现有的最先进的模型的本地化，但并没有进行很多尝试来产生专门针对俄语的解决方案。在本文中，我们的目标是展示ruGPT3的能力，总结文本，微调它对语料库的俄罗斯新闻与相应的人工生成的摘要。此外，我们采用超参数调整，使模型的输出变得不那么随机，更紧密地联系到原始文本。我们评估所产生的文本与一组指标，表明我们的解决方案可以超越国家的最先进的模型的性能，而无需额外的架构或损失函数的变化。尽管能够生成合理的摘要，但我们的模型仍然存在一些缺陷，即它容易改变原始文本中存在的命名实体（如姓氏，地点，日期），偏离给定文档中陈述的事实，并重复摘要中的信息。
2021-08-07 cs.CL
Towards Clinical Encounter Summarization: Learning to Compose Discharge Summaries from Prior Notes
University of Maryland（马里兰大学）；Amazon Web Service AI（亚马逊云服务人工智能）
临床遭遇的记录可能是广泛和复杂的，因此需要能够提取和总结相关信息的工具。本文介绍的任务，产生出院摘要的临床遭遇。在这种情况下，摘要需要忠实、可追溯，并可扩展到多个长文档，这促使使用提取然后抽象的摘要级联。我们引入了两个新的措施，忠实度和幻觉率在这项任务中的评估，补充现有的流畅性和信息量的措施。七个医学部分和五个模型的结果表明，支持可追溯性的摘要架构产生了有希望的结果，并且在不同范围的生成部分上，重复重写方法在用于忠诚度的测量（忠诚度调整的$F_3$）上表现一致。
2021-04-27 cs.CL cs.LG
Training Dynamics for Text Summarization Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
预训练的语言模型（例如BART）在大型摘要数据集上进行微调时显示出令人印象深刻的结果。然而，人们对这个微调过程知之甚少，包括从预训练时间中保留了哪些知识，或者如何在迭代过程中学习内容选择和生成策略。在这项工作中，我们分析了生成模型的训练动态，重点是总结。在不同的数据集（CNN/DM，XSum，MediaSum）和摘要属性（如抽象性和幻觉）中，我们研究了模型在微调过程的不同阶段学习到的内容。我们发现，在所有研究的数据集上，复制输入的倾向在训练过程的早期就被学习到了。另一方面，事实错误，如对不支持的事实的幻觉，是在后期阶段学习的，尽管这种行为在不同的领域中变化更大。基于这些观察结果，我们探索了修改训练的补充方法：首先，忽略具有学习挑战性的高损失令牌，其次，忽略在训练过程的后期阶段学习非常快的低损失令牌。我们表明，这些简单的训练修改允许我们配置模型以实现不同的目标，例如提高真实性或提高抽象性。
2022-03-15 cs.CL
Challenges in Domain-Specific Abstractive Summarization and How to Overcome them
Technical University of Munich（慕尼黑工业大学）；University of Twente（特温特大学）
本文指出了大型语言模型在特定领域抽象式文本摘要中的三大局限性（二次复杂度、模型幻觉和领域偏移），并评估了现有最先进技术以解决这些研究空白。
2023-07-03 cs.AI cs.CL
SEval-Ex: A Statement-Level Framework for Explainable Summarization Evaluation
AgroParisTech - MIA（阿格罗巴黎科技-信息与自动化学院）
SEval-Ex框架通过将摘要评估分解为原子语句并进行语句级匹配，在保持可解释性的同时实现了优于GPT-4评估器的最先进性能。
2025-05-04 cs.AI cs.CL
A Guide To Effectively Leveraging LLMs for Low-Resource Text Summarization: Data Augmentation and Semi-supervised Approaches
Cheriton School of Computer Science, University of Waterloo（滑铁卢大学切尔顿计算机科学学院）；ServiceNow Research（ServiceNow研究院）；University of British Columbia（不列颠哥伦比亚大学）
本文提出MixSumm数据增强和PPSL半监督伪标签两种方法，利用LLaMA-3-70b-Instruct模型在低资源场景下有效提升文本摘要性能，仅用5%标注数据即可达到全监督效果。
2025-01-23 cs.AI cs.CL
ChallengeMe: An Adversarial Learning-enabled Text Summarization Framework
本文提出基于对抗学习的提示框架ChallengeMe，通过生成提示、评估提示和反馈优化三级级联及七个优化维度，提升LLMs在文本摘要任务中的准确性与流畅性。
2025-02-07 cs.AI cs.CL
Controlling Summarization Length Through EOS Token Weighting
本文提出一种通过加权EOS令牌损失来控制摘要长度的方法，无需修改模型架构，与解码算法无关，并在编码器-解码器和GPT风格大语言模型上验证了其有效性且不影响摘要质量。
2025-06-05 cs.CL cs.LG
Improving the Faithfulness of Abstractive Summarization via Entity Coverage Control
Salesforce Research（赛富时研究院）
利用预训练语言模型的抽象摘要系统在基准数据集上取得了优异的结果。然而，这样的模型已经被证明更容易产生对输入上下文不忠实的幻觉事实。在本文中，我们提出了一种方法来补救实体级的外部幻觉与实体覆盖控制（ECC）。首先计算实体覆盖精度，并为每个训练样本预先设定相应的控制代码，隐式地指导模型在训练阶段识别忠实内容。我们进一步扩展我们的方法，通过中间微调从维基百科提取的大但嘈杂的数据解锁zero-shot摘要。我们表明，该方法导致更忠实和突出的抽象摘要在监督微调和zero-shot设置根据我们的实验结果在三个基准数据集XSum，Pubmed和SAMSum非常不同的领域和风格。
2022-07-05 cs.CL
TIAO: Token Importance-Aware Policy Optimization for Text Summarization
National University of Defense Technology（国防科技大学）
针对文本摘要中令牌重要性被忽视的问题，提出令牌重要性感知策略优化（TIAO），通过识别核心令牌并重新加权优势，使7B模型性能媲美GPT-4和GPT-5-nano。
2026-09-16 cs.CL
SummIt: Iterative Text Summarization via ChatGPT
University of California, Davis（加州大学戴维斯分校）
针对单步文本摘要易出现幻觉、遗漏关键信息的问题，提出基于ChatGPT的迭代摘要框架SummIt，通过自评估反馈迭代优化摘要，结合知识与主题提取器提升效果，经实验验证有效性并发现过校正问题。
2023-10-09 cs.CL
Survey of Hallucination in Natural Language Generation
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；Hong Kong University of Science and Technology（香港科技大学）
本综述首次全面梳理自然语言生成领域的幻觉问题，涵盖度量指标、缓解方法、未来方向，以及多下游任务和大语言模型中的相关研究进展，以推动研究者协同应对该挑战。
2024-07-14 cs.CL
Tackling Hallucinations in Neural Chart Summarization
Charles University（查理大学）；Saarland University（萨尔大学）；Julius-Maximilians-Universität Würzburg（维尔茨堡朱利叶斯-马克西米利安大学）
本文针对神经图表摘要中的幻觉问题，提出基于自然语言推理的训练数据预处理方法，并通过缩短长距离依赖和引入标题、图例等图表信息提升摘要性能。
2023-08-01 cs.CL cs.LG
Using Multimodal and Language-Agnostic Sentence Embeddings for Abstractive Summarization
本文提出SBARThez框架，利用多模态和多语言句子嵌入提升抽象摘要的准确性与跨语言能力。
2026-03-09 cs.CL
On Faithfulness and Factuality in Abstractive Summarization
Google Research（谷歌研究院）
众所周知，神经文本生成模型中的标准似然训练和近似解码目标导致对语言建模和故事生成等开放式任务的响应不太像人类。在本文中，我们分析了这些模型的局限性，抽象的文档摘要，发现这些模型是非常容易产生幻觉的内容是不忠实的输入文档。我们对几种神经抽象摘要系统进行了大规模的人类评估，以更好地了解它们产生的幻觉类型。我们的人类注释者在所有模型生成的摘要中发现了大量的幻觉内容。然而，我们的分析确实表明，预训练模型不仅在原始指标方面，即，ROUGE，但也在生成由人类评估的忠实和事实的总结。此外，我们表明，文本蕴涵措施更好地与忠诚度比标准的指标，潜在的自动评估指标以及训练和解码标准的方式。
2020-05-02 cs.CL
Don't Believe Everything You Read: Enhancing Summarization Interpretability through Automatic Identification of Hallucinations in Large Language Models
University of California Santa Cruz（加州大学圣克鲁兹分校）
本文针对LLMs在对话摘要中的幻觉问题，提出令牌级幻觉识别方法，并据此构建增强数据集和新训练范式，以提升模型的可解释性与忠实性。
2024-04-03 cs.AI cs.CL
GUMSum: Multi-Genre Data and Evaluation for English Abstractive Summarization
Georgetown University（乔治城大学）
GUMSum构建了12种体裁的英语摘要数据集，评估发现GPT3虽流畅但仍有幻觉且不如人类，并揭示了不同方法生成摘要的错误类型与挑战。
2023-06-20 cs.CL
NTS-CoT: Mitigating Hallucinations in LLM-based News Timeline Summarization with Chain-of-Thought Reasoning
Central South University（中南大学）；Tsinghua University（清华大学）；Nanjing University（南京大学）；Suzhou Aerospace Information Research Institute（苏州空天信息研究院）；McGill University（麦吉尔大学）
针对大模型在新闻时间线摘要中产生内容不忠实和信息遗漏两类幻觉，提出NTS-CoT框架，通过元素思维链、日期选择和因果思维链三个模块有效缓解幻觉，在三个基准上超越现有方法。
2026-06-12 cs.AI cs.CL
Reducing Hallucinations in Summarization via Reinforcement Learning with Entity Hallucination Index
International Institute of Information Technology（国际信息研究所）；Informatica Business Solutions（Informatica商务解决方案）
针对抽象式摘要的幻觉问题，提出基于实体幻觉指数（EHI）的强化学习微调框架，无需人工事实标注即可提升摘要实体忠实度，且不损害流畅度与信息量，同时开源了可复现实验流程。
2025-07-30 cs.AI cs.CL
FaithBench: A Diverse Hallucination Benchmark for Summarization by Modern LLMs
Vectara, Inc.（Vectara公司）；Iowa State University（爱荷华州立大学）；University of Southern California（南加利福尼亚大学）；Entropy Technologies（熵技术公司）；University of Waterloo（滑铁卢大学）；University of Wisconsin, Madison（威斯康星大学麦迪逊分校）
本文提出FaithBench基准，汇集10个现代LLM的挑战性摘要幻觉并由专家标注，发现GPT-4o和GPT-3.5-Turbo幻觉最少，但现有检测模型准确率仅约50%，揭示改进空间。
2024-10-17 cs.AI cs.CL
Investigating Hallucinations in Pruned Large Language Models for Abstractive Summarization
University of Sheffield（谢菲尔德大学）；AstraZeneca（阿斯利康）
本文通过五个摘要数据集、两种剪枝方法和五个指令微调 LLM 的实证研究，发现剪枝模型幻觉更少，原因可能是其更依赖源文档、词汇重叠更高。
2024-10-24 cs.AI cs.CL
Hallucination Detection-Guided Preference Optimization for Clinical Summarization
Manning College of Information and Computer Sciences（Manning信息与计算机科学学院）；Ensemble HP；Columbia University（哥伦比亚大学）；University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）
提出利用幻觉检测器指导迭代修正的推理时方法及偏好学习微调，显著减少临床摘要中的幻觉。
2026-06-02 cs.AI cs.CL
Evaluating LLMs' Assessment of Mixed-Context Hallucination Through the Lens of Summarization
King’s College London（伦敦国王学院）；Cambridge University（剑桥大学）；The Alan Turing Institute（阿兰·图灵研究所）
本研究以摘要为任务，评估LLMs检测混合上下文幻觉的能力，发现其内在知识会引入偏差，导致事实性幻觉检测遇瓶颈，根本挑战在于平衡内在知识与外部上下文。
2025-03-03 cs.AI cs.CL cs.CY
Medically Aware GPT-3 as a Data Generator for Medical Dialogue Summarization
Curai（Curai公司）
在医学对话摘要中，摘要必须连贯一致，并且必须捕获对话中的所有医学相关信息。然而，学习有效的摘要模型需要大量的标记数据，这是特别难以获得的。我们提出了一种算法来创建合成的训练数据，明确侧重于捕获医学相关信息。我们利用GPT-3作为我们算法的主干，并扩展210个人类标记的示例，以产生与使用6400个人类标记的示例（约30倍）相媲美的结果，利用低拍摄学习和集成方法。在详细的实验中，我们表明，这种方法产生高质量的训练数据，可以进一步与人类标记的数据相结合，得到的摘要是强烈优选的模型训练人类数据单独在医疗准确性和一致性。
2021-09-09 cs.AI cs.CL cs.LG
Mechanistic Interpretability of GPT-like Models on Summarization Tasks
Rochester Institute of Technology（罗切斯特技术研究所）
本文提出一种机制可解释性框架，通过差分分析定位GPT类模型中的摘要回路，发现中间层和注意力头熵降低是关键，并证明针对性LoRA适配优于标准微调。
2025-05-20 cs.AI cs.CL cs.LG
TofuEval: Evaluating Hallucinations of LLMs on Topic-Focused Dialogue Summarization
AWS AI Labs（亚马逊云科技人工智能实验室）；Korea Advanced Institute of Science & Technology（韩国科学技术院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出主题聚焦对话摘要评估基准TofuEval，通过人工标注和错误分类分析揭示现有LLM在对话摘要中幻觉严重且作为评估器表现不佳，而非LLM指标更优。
2024-03-31 cs.AI cs.CL
Analyzing LLM Behavior in Dialogue Summarization: Unveiling Circumstantial Hallucination Trends
Northeastern University（东北大学）；Abridge AI
该研究基准测试了GPT-4和Alpaca-13B在对话摘要中的忠实度，提出“情境推论”错误分类法，并引入两种基于提示的细粒度错误检测方法，优于现有指标。
2024-06-05 cs.AI cs.CL
LongNovel: A Multi-Scale Benchmark for Hallucination Detection in Long-Context Novel Summarization
East China Normal University（华东师范大学）；iQIYI Inc（爱奇艺公司）；Tencent（腾讯）
该研究针对长语境小说摘要幻觉检测缺乏多尺度基准的问题，构建了LongNovel双语多尺度基准，经实验验证其具有挑战性并将发布供后续研究使用。
2026-09-22 cs.CL
CHI: A Composite Hallucination Index Unifying Entity, Relation, and Quantity Dimensions for Summarization Evaluation
针对现有摘要忠实性指标仅覆盖单一幻觉类型的问题，提出统一度量CHI，将错误分解为实体、关系、数量三个正交维度，经调和平均融合，在SummEval上相关性达0.66，优于现有基线。
2026-09-29 cs.AI cs.CL
Leveraging GPT-4 for Food Effect Summarization to Enhance Product-Specific Guidance Development via Iterative Prompting
Drexel University（德雷塞尔大学）；United States Food and Drug Administration（美国食品药品监督管理局）
本研究提出一种三轮迭代提示方法，利用 GPT-4 从新药申请文件中生成食物效应摘要，实验表明其生成的摘要在事实一致性上表现优异，能显著提升特定产品指南评估的效率。
2023-06-28 cs.AI cs.CL cs.LG
Characterizing Multimodal Long-form Summarization: A Case Study on Financial Reports
Carnegie Mellon University（卡内基梅隆大学）；JPMorgan AI Research（摩根大通人工智能研究院）；The University of Chicago（芝加哥大学）
本研究以财务报告摘要为案例，提出多模态长文本摘要特征刻画框架，分析多款LLM的表现，发现Claude 2处理长多模态输入能力较强，还揭示了位置偏差、数值幻觉等问题并尝试优化。
2024-08-15 cs.AI cs.CL cs.LG
Can GPT models Follow Human Summarization Guidelines? A Study for Targeted Communication Goals
Univ. Grenoble Alpes, CNRS, Inria, Grenoble INP, LIG（格勒诺布尔阿尔卑斯大学、国家科学研究中心、法国国家信息与自动化研究所、格勒诺布尔INP、实验室）
本研究探究GPT模型遵循人类摘要指南生成对话摘要的能力，通过多提示词在两个对话数据集实验，发现其生成的摘要更受人工评估青睐，但现有自动评估指标与人工评估存在差异，需更可靠的自动评估指标。
2025-10-04 cs.AI cs.CL
Improving Factual Consistency of News Summarization by Contrastive Preference Optimization
School of Computer Science and Engineering, South China University of Technology（华南理工大学计算机科学与工程学院）；Alibaba Group（阿里巴巴集团）
针对大型语言模型（LLMs）新闻摘要存在的复杂事实幻觉问题，提出对比偏好优化（CPO）分离其生成忠实与虚假内容的倾向，并结合探测式训练增强区分能力，显著提升了摘要可靠性。
2025-02-13 cs.AI cs.CL
