SummaC: Re-Visiting NLI-based Models for Inconsistency Detection in Summarization
UC Berkeley（加州大学伯克利分校）；Microsoft（微软）
在摘要领域中，摘要的一个关键要求是与输入文档事实上一致。以前的工作已经发现，自然语言推理（NLI）模型不执行竞争时，应用于不一致检测。在这项工作中，我们重新使用NLI不一致检测，发现过去的工作遭受了NLI数据集（文档级）和不一致检测（文档级）之间的输入粒度不匹配。我们提供了一种称为SummaCConv的高效轻量级方法，通过将文档分割成句子单元并在句子对之间聚合分数，使NLI模型能够成功用于此任务。在我们新引入的由六个大型不一致检测数据集组成的SummaC（总结一致性）基准测试中，SummaCConv获得了最先进的结果，平衡准确率为74.4%，与之前的工作相比提高了5%。我们提供模型和数据集：https://github.com/tingofurro/summac
2021-11-18 cs.CL
Looking Beyond Sentence-Level Natural Language Inference for Downstream Tasks
College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）；IBM Research（IBM研究院）
近年来，自然语言推理（NLI）任务获得了极大的关注，新的数据集和模型在其上实现了接近人类水平的性能。然而，NLI的全部承诺-特别是它学习的知识应该推广到其他下游NLP任务-尚未实现。在本文中，我们从两个下游任务的镜头：问答（QA）和文本摘要研究这个未实现的承诺。我们推测，NLI数据集和这些下游任务之间的关键区别在于前提的长度;并且从现有的QA数据集创建新的长前提NLI数据集是训练真正可推广的NLI模型的有希望的途径。我们验证了我们的猜想，通过显示竞争力的结果，QA的任务，并获得最好的报告结果的任务，检查事实的正确性摘要。
2020-09-18 cs.AI cs.CL cs.LG
SWING: Balancing Coverage and Faithfulness for Dialogue Summarization
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；AWS AI Labs（AWS人工智能实验室）；Amazon（亚马逊）
信息缺失是对话摘要的一个常见问题，其中参考摘要中的某些信息未在生成的摘要中覆盖。为了解决这个问题，我们建议利用自然语言推理（NLI）模型，以提高覆盖率，同时避免引入事实不一致。具体来说，我们使用NLI来计算细粒度的训练信号，以鼓励模型在参考摘要中生成尚未涵盖的内容，并区分实际一致和不一致的生成句子。在DialogSum和SAMSum数据集上的实验证实了所提出的方法在平衡覆盖率和忠诚度方面的有效性，并通过自动度量和人工评估进行了验证。此外，我们计算常用的自动度量与人类判断的三个不同的维度方面的覆盖面和事实的一致性，以提供最合适的度量评估对话摘要的洞察力之间的相关性。
2023-01-25 cs.CL
The Exploration of Knowledge-Preserving Prompts for Document Summarisation
The University of Adelaide（阿德莱德大学）；Begum Nusrat Bhutto Women University（贝古姆·努斯拉特·布托女子大学）
本研究探索采用prefix-tuning结合连续前缀提示与离散自然语言提示，将事实知识融入文档摘要生成，以解决事实不一致问题并提升整体性能。
2023-05-17 cs.AI cs.CL cs.LG
Enhancing Robustness in Biomedical NLI Models: A Probing Approach for Clinical Trials
National University of Computer & Emerging Sciences（国家计算机与新兴科学大学）
本研究通过记忆探针分析Sci-five模型在临床试验蕴含任务中的特征学习，并利用迭代零空间投影微调，提升了模型鲁棒性和准确性。
2024-02-04 cs.CL cs.LG
Optimising Factual Consistency in Summarisation via Preference Learning from Multiple Imperfect Metrics
Intelligent System Laboratory（智能系统实验室）
提出一种自动化训练流程，通过聚合多个弱事实性指标的分数并映射为偏好，过滤高分歧样本，利用词汇相似摘要对进行偏好学习，从而提升摘要的事实一致性。
2026-05-26 cs.CL
Natural Language Inference in Context -- Investigating Contextual Reasoning over Long Texts
Zhejiang University（浙江大学）；Fudan University（复旦大学）；Westlake University（西湖大学）
自然语言推理是自然语言处理的一项基本任务，它研究两个文本之间的蕴涵关系。受欢迎的NLI数据集将该任务呈现在任务级别。虽然足以测试语义表示，但它们不足以测试长文本的上下文推理，这是人类推理过程的自然部分。我们介绍了ConTRoL，一个新的数据集，用于长文本的上下文推理。ConTRoL由8，325个专家设计的带有黄金标签的“上下文假设”对组成，是一个高级NLI数据集，专注于复杂的上下文推理类型，如逻辑推理。该测验源于警察征聘的竞争性选拔和征聘测验（言语推理测验），具有专家级质量。与以前的NLI基准相比，ConTRoL中的材料更具挑战性，涉及一系列推理类型。实证结果表明，最先进的语言模型的表现远远不如受过教育的人。我们的数据集还可以作为下游任务的测试集，例如检查摘要的事实正确性。
2020-11-10 cs.CL
Commonsense on Demand: Generating and Selectively Integrating Commonsense Knowledge for Natural Language Inference
University of Florida（佛罗里达大学）
本研究探讨了大型语言模型通过生成常识公理提升自然语言推理性能的效果，并发现选择性知识访问能有效提高准确率并减少对中性类别的偏见。
2026-08-13 cs.AI cs.CL
Calibrating Likelihoods towards Consistency in Summarization Models
Google DeepMind（谷歌DeepMind）
针对摘要模型生成事实不一致内容的问题，提出通过校准模型生成序列的似然度以对齐NLI一致性指标，实验证明该方法能提升摘要的一致性和质量，并增强模型可靠性。
2023-10-12 cs.CL cs.LG
How Far Can You Get Without a GPU? A Systematic Benchmark of Lightweight Hallucination Detection Across Question Answering, Dialogue, and Summarisation
Independent Researcher（独立研究者）
系统评估五种轻量级、CPU可运行的幻觉检测方法在HaluEval基准上的表现，发现性能高度依赖任务，在摘要任务上接近随机，为资源受限场景提供方法选择指导。
2026-10-05 cs.AI cs.CL
Falsesum: Generating Document-level NLI Examples for Recognizing Factual Inconsistency in Summarization
Bloomberg（彭博社）；Technical University of Darmstadt（达姆施塔特工业大学）；The University of Sheffield（谢菲尔德大学）
神经抽象文摘模型容易产生与源文档不一致的摘要。以前的工作已经介绍了识别这种事实不一致的任务，作为自然语言推理（NLI）的下游应用。然而，国家的最先进的NLI模型表现不佳，在这种情况下，由于他们无法推广到目标任务。在这项工作中，我们表明，NLI模型可以有效地完成这项任务时，训练数据增加了高质量的面向任务的例子。我们引入了Falsesum，这是一个数据生成管道，它利用可控的文本生成模型来扰乱人类注释的摘要，引入了不同类型的事实不一致。与之前介绍的文档级NLI数据集不同，我们生成的数据集包含各种各样的示例，这些示例不一致，但似乎合理。我们表明，在Falsesum增强的NLI数据集上训练的模型在四个基准测试中提高了最先进的性能，用于检测摘要中的事实不一致性。获取数据集的代码可在https://github.com/joshbambrick/Falsesum上在线获取
2022-05-12 cs.CL
WeCheck: Strong Factual Consistency Checker via Weakly Supervised Learning
Peking University（北京大学）；Baidu Inc.（百度公司）
本文提出弱监督框架WeCheck，通过聚合多资源弱标签训练事实一致性度量模型，在TRUE基准上平均超越先前最优方法3.4%。
2023-05-27 cs.CL
FENICE: Factuality Evaluation of summarization based on Natural language Inference and Claim Extraction
Babelscape；Sapienza University of Rome（罗马大学）
本文提出FENICE度量指标，通过NLI对齐源文档与摘要提取的原子声明来评估摘要事实性，在AGGREFACT上取得最优结果，并扩展到长文本摘要场景。
2024-08-31 cs.CL
Fast and Accurate Factual Inconsistency Detection Over Long Documents
ASAPP；Abstractive Health
提出SCALE模型，基于NLI和分块策略，实现长文档事实不一致的快速准确检测，并在多个基准及新数据集上超越现有方法。
2023-10-23 cs.AI cs.CL
Get Your Vitamin C! Robust Fact Verification with Contrastive Evidence
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
典型的事实验证模型使用检索到的书面证据来验证声明。然而，随着更多信息的收集和修订，证据来源往往会随着时间的推移而变化。为了适应，模型必须对支持证据的细微差异敏感。我们提出了VitaminC，一个充满挑战性案例的基准，需要事实验证模型来识别和调整轻微的事实变化。我们收集了超过100，000个维基百科修订版本，这些修订版本修改了一个潜在的事实，并利用这些修订版本，以及其他合成构建的版本，创建了总共超过400，000个声明-证据对。与以前的资源不同，维生素C中的例子是对比性的，即，它们包含的证据对在语言和内容上几乎完全相同，只是其中一个支持某一主张，而另一个不支持。我们表明，使用这种设计进行训练可以提高鲁棒性--在对抗性事实验证上提高了10%的准确性，在对抗性自然语言推理（NLI）上提高了6%。此外，维生素C的结构使我们为事实核查资源定义了额外的任务：标记证据中的相关词语以验证声明，识别事实修订，并通过事实一致的文本生成提供自动编辑。
2021-03-15 cs.CL cs.IR cs.LG
Mixture-of-Partitions: Infusing Large Biomedical Knowledge Graphs into BERT
University of Cambridge（剑桥大学）；Monash University（莫纳什大学）
将事实知识注入预先训练的模型是许多知识密集型任务的基础。在本文中，我们提出了混合分区（MoP），一种注入方法，可以处理一个非常大的知识图谱（KG）划分成更小的子图，并注入他们的特定知识到各种BERT模型使用轻量级适配器。为了利用目标任务的整体事实知识，这些子图适配器与底层的BERT一起通过混合层进一步微调。我们评估我们的MoP与三个生物医学BERT（SciBERT，BioBERT，PubmedBERT）的六个下游任务（包括。NLI，QA，Classification），结果表明，我们的MoP在任务性能方面始终增强了底层BERT，并在五个评估数据集上实现了新的SOTA性能。
2021-09-10 cs.CL
Template-based Abstractive Microblog Opinion Summarisation
University of Warwick（华威大学）；The Alan Turing Institute（艾伦·图灵研究所）；Massachusetts General Hospital（麻省总医院）；Queen Mary University of London（伦敦玛丽女王大学）；Utrecht University（乌得勒支大学）
我们介绍了微博意见摘要（MOS）的任务，并分享了一个数据集的3100个黄金标准的意见摘要，以促进在这一领域的研究。该数据集包含了2年内的推文摘要，涵盖的主题比任何其他公共Twitter摘要数据集都多。摘要本质上是抽象的，由擅长总结新闻文章的记者根据将事实信息（主要故事）与作者意见分开的模板创建。我们的方法不同于以往从社交媒体生成黄金标准摘要的工作，后者通常涉及选择代表性帖子，因此更倾向于提取摘要模型。为了展示数据集的实用性和挑战，我们对一系列抽象和提取的最先进的汇总模型进行了基准测试，并取得了良好的性能，前者的表现优于后者。我们还表明，微调是必要的，以提高性能和调查的好处，使用不同的样本量。
2022-10-03 cs.CL cs.LG
Leveraging Entailment Judgements in Cross-Lingual Summarisation
University of Edinburgh（爱丁堡大学）；School of Informatics（信息学院）；ILCC（国际语言通信中心）
本文针对跨语言摘要数据中的幻觉问题，提出用跨语言自然语言推理评估忠实度，并通过非似然损失训练模型，在保持信息量的同时提升摘要忠实度。
2024-08-01 cs.CL
SemEval-2024 Task 2: Safe Biomedical Natural Language Inference for Clinical Trials
University of Manchester（曼彻斯特大学）；Idiap Research Institute（Idiap研究所）；CRUK-MI（英国癌症研究中心曼彻斯特研究所）；National Biomarker Centre（国家生物标志物中心）
本文介绍 SemEval-2024 任务 2，通过改进的 NLI4CT-P 数据集评测 LLM 的干预与因果推理能力，并汇总参赛系统结果，以提升医疗 NLI 的安全性和鲁棒性。
2024-04-07 cs.AI cs.CL
Efficient and Interpretable Compressive Text Summarisation with Unsupervised Dual-Agent Reinforcement Learning
The University of Sydney（悉尼大学）；International Digital Economy Academy（国际数字经济研究院）
提出首个无监督压缩式文本摘要方法，通过extractor与compressor双智能体强化学习优化语义覆盖和流畅性，无需参考摘要，并在Newsroom、CNN/DM和XSum上验证有效。
2023-06-06 cs.CL
SinBrief: A Hybrid Framework for Abstractive Text Summarisation of Sinhala Legal Documents
SinBrief提出一种无需人工标注的混合抽象摘要框架，结合词图构建与神经句子评分，在僧伽罗语法律文本上实现低词汇重叠且保持事实一致性的摘要生成。
2026-09-29 cs.CL
FactCheck Editor: Multilingual Text Editor with End-to-End fact-checking
University of Stavanger（斯塔万格大学）；Factiverse AI（Factiverse AI公司）
本文提出FactCheck Editor，一个支持90多种语言、利用transformer模型和LLM实现端到端事实核查与文本纠错的编辑器，并评估了多语言下声明检测与真实性判断模型的效果。
2024-04-30 cs.CL
Just ClozE! A Novel Framework for Evaluating the Factual Consistency Faster in Abstractive Summarization
Beijing University of Posts and Telecommunications（北京邮电大学）；Shamoon College of Engineering（沙蒙工程学院）
本文提出基于完形填空的评估框架ClozE，用于快速评估抽象摘要的事实一致性，在保留QA级可解释性和性能的同时将评估时间减少近96%。
2023-11-28 cs.AI cs.CL
Combining Hierachical VAEs with LLMs for clinically meaningful timeline summarisation in social media
Queen Mary University of London（伦敦玛丽女王大学）；The Alan Turing Institute（图灵研究所）；Bar-Ilan University（巴伊兰大学）
提出结合层次化 VAE（TH-VAE）与 LLM（LlaMA-2）的混合摘要方法，生成兼具第三人称临床见解和第一人称时间敏感摘要的心理健康监测内容，实验证明其事实性、连贯性及捕捉时序变化能力优于纯 LLM 方法。
2024-02-16 cs.AI cs.CL
Comprehensiveness Metrics for Automatic Evaluation of Factual Recall in Text Generation
Department of Computing, Imperial College London（伦敦帝国学院计算机系）；IBM Research（IBM研究院）
本文提出三种自动评估指标以评估大语言模型生成文本的全面性，发现端到端方法在效果上优于复杂指标，但牺牲了鲁棒性和可解释性。
2026-05-07 cs.CL
AlignScore: Evaluating Factual Consistency with a Unified Alignment Function
UC San Diego（加州大学圣迭戈分校）
本文提出统一信息比对指标 AlignScore，通过融合 7 类任务共 470 万样本训练比对函数，在 22 个数据集上显著超越以往事实一致性评估指标，并能匹敌更大规模的 GPT-4 类模型。
2023-05-26 cs.CL
$Q^{2}$: Evaluating Factual Consistency in Knowledge-Grounded Dialogues via Question Generation and Question Answering
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Google Research（谷歌研究院）
以神经知识为基础的对话生成模型通常会产生与其所依赖的知识实际上不一致的内容，使其不可靠并限制其适用性。受最近在评估摘要中事实一致性方面的工作的启发，我们提出了一种基于知识的对话中使用自动问题生成和问答的事实一致性自动评估度量。我们的度量，表示为$Q^2$，比较答案跨度使用自然语言推理（NLI），而不是基于令牌的匹配，在以前的工作。为了促进正确的评估，我们为维基百科的向导数据集策划了一个新的对话系统输出数据集，并手动注释了事实的一致性。我们使用该数据集和其他两个数据集对$Q^2$与其他指标进行了全面的元评估，其中它始终显示出与人类判断的较高相关性。
2021-09-09 cs.CL
Identifying Factual Inconsistencies in Summaries: Grounding LLM Inference via Task Taxonomy
Pattern Recognition Center, WeChat AI（微信AI模式识别中心）；South China University of Technology（华南理工大学）；Pazhou Lab, Guangzhou（广州琶洲实验室）；Emory University（埃默里大学）
针对摘要事实不一致检测，本文提出将错误类型任务分类法引入 LLM 的零样本与监督推理，在十数据集五领域达到 SOTA，并蒸馏出更小模型替代大型零样本 LLM。
2024-10-04 cs.CL cs.LG
mFACE: Multilingual Summarization with Factual Consistency Evaluation
Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
本文提出利用事实一致性评估模型改进多语言摘要生成，通过数据过滤和受控生成缓解幻觉，在XLSum数据集45种语言上的自动与人工评估均优于基线。
2024-01-05 cs.CL
EntailE: Introducing Textual Entailment in Commonsense Knowledge Graph Completion
Hong Kong University of Science and Technology（香港科技大学）
针对常识知识图谱稀疏性问题，提出框架EntailE，利用自然语言推理任务微调的transformer挖掘节点间文本蕴含关系以致密化图谱，并通过对比损失增强节点表示，有效提升了图谱补全性能。
2024-02-15 cs.CL
TRUE: Re-evaluating Factual Consistency Evaluation
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Meta AI
固定文本生成系统通常生成包含事实不一致的文本，这阻碍了它们在现实世界中的适用性。自动事实一致性评估可以通过加速评估周期、过滤不一致的输出和增加训练数据来帮助缓解这种限制。虽然吸引了越来越多的关注，但这些评估指标通常是针对单个任务或数据集在孤岛中开发和评估的，这减缓了它们的采用。此外，以前的元评估协议侧重于系统级与人类注释的相关性，这使得这些指标的示例级准确性不清楚。在这项工作中，我们介绍真：一个全面的调查和评估的事实一致性指标的标准化收集现有的文本从不同的任务，手动注释的事实一致性。我们的标准化实现了一个示例级的元评估协议，该协议比以前报告的相关性更具可操作性和可解释性，从而产生更清晰的质量指标。在各种最先进的指标和11个数据集中，我们发现大规模的NLI和基于问题生成和回答的方法实现了强大和互补的结果。我们推荐这些方法作为模型和度量开发人员的起点，并希望TRUE将促进更好的评估方法的进展。
2022-05-03 cs.CL
TrueTeacher: Learning Factual Consistency Evaluation with Large Language Models
Technion - Israel Institute of Technology（以色列理工学院）；Google Research（谷歌研究院）
本文提出TrueTeacher方法，利用大型语言模型标注多样化的模型生成摘要来生成合成数据，以学习事实一致性评估，在TRUE基准上显著优于现有模型和LLM教师，并发布了140万示例的大规模数据集。
2023-10-18 cs.CL
FactEHR: A Dataset for Evaluating Factuality in Clinical Notes Using LLMs
Khoury College of Computer Sciences, Northeastern University（东北大学克劳尔计算机科学学院）；Center for Biomedical Informatics Research, Stanford University（斯坦福大学生物医学信息学研究中心）；Department of Biomedical Data Science, Stanford School of Medicine（斯坦福医学院生物医学数据科学系）；Stanford Health Care（斯坦福健康系统）；Department of Medicine, Stanford School of Medicine（斯坦福医学院医学系）；Clinical Excellence Research Center, Stanford School of Medicine（斯坦福医学院临床卓越研究中心）；Department of Anesthesiology, Perioperative & Pain Medicine, Stanford School of Medicine（斯坦福医学院麻醉学、手术及疼痛医学系）；Department of Dermatology, Stanford School of Medicine（斯坦福医学院皮肤病学系）；Technology and Digital Solutions, Stanford Health Care（斯坦福健康系统技术与数字解决方案）
FactEHR是一个用于评估LLMs在临床笔记中事实分解能力的数据集，通过生成987,266个蕴含对揭示LLM在细粒度事实验证中的性能差异。
2025-08-05 cs.CL
The Labeling Problem in Hallucination Detection Benchmarks: An Empirical Evaluation
University of Helsinki（赫尔辛基大学）
本研究通过900个人工标注问答对实证评估了幻觉检测基准中参考忠实性与事实正确性标准不匹配的问题，发现自动化标注策略间及与人工标注存在显著分歧，提示设计对结果影响大，标注来源选择应成为基准设计的关键部分。
2026-10-07 cs.CL
