$Q^{2}$: Evaluating Factual Consistency in Knowledge-Grounded Dialogues via Question Generation and Question Answering
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Google Research(谷歌研究院)
以神经知识为基础的对话生成模型通常会产生与其所依赖的知识实际上不一致的内容,使其不可靠并限制其适用性。受最近在评估摘要中事实一致性方面的工作的启发,我们提出了一种基于知识的对话中使用自动问题生成和问答的事实一致性自动评估度量。我们的度量,表示为$Q^2$,比较答案跨度使用自然语言推理(NLI),而不是基于令牌的匹配,在以前的工作。为了促进正确的评估,我们为维基百科的向导数据集策划了一个新的对话系统输出数据集,并手动注释了事实的一致性。我们使用该数据集和其他两个数据集对$Q^2$与其他指标进行了全面的元评估,其中它始终显示出与人类判断的较高相关性。
2021-09-09 cs.CL
Entity-based SpanCopy for Abstractive Summarization to Improve the Factual Consistency
University of British Columbia(不列颠哥伦比亚大学)
尽管最近的抽象摘要自动评价指标的成功,生成的摘要仍然存在与源文件的事实不一致。在本文中,我们专注于实体级的事实不一致,即减少不匹配的实体之间生成的摘要和源文档。因此,我们提出了一种新的基于实体的SpanCopy机制,并探索其扩展与全局相关性组件。在4个摘要数据集上的实验结果表明,SpanCopy能有效地提高实体级的事实一致性,而对词级和实体级的显著性基本没有影响。代码可在www.example.com上获得
2022-09-07 cs.CL
Factual Consistency Evaluation for Text Summarization via Counterfactual Estimation
Alibaba Group(阿里巴巴集团);The Chinese University of Hong Kong(香港中文大学)
尽管文本摘要技术已经取得了很大的进展,但摘要中的事实不一致性仍然严重限制了它的实际应用。在保证事实一致性的关键因素中,可靠的自动评价指标是首要的,也是最关键的。然而,现有的度量方法要么忽略了造成事实不一致的内在原因,要么依赖于辅助任务,导致与人类判断的相关性不高,或者增加了实际使用的不便。鉴于这些挑战,我们提出了一种新的度量标准来评估事实的一致性,在文本摘要通过反事实的估计,它制定了源文件,生成的摘要,和语言先验之间的因果关系。我们删除了语言先验的影响,这可能会导致事实的不一致性,从总的因果关系的影响所产生的摘要,并提供了一个简单而有效的方法来评估一致性,而不依赖于其他辅助任务。我们在三个公开的抽象文本摘要数据集上进行了一系列的实验,并证明了所提出的度量在提高与人类判断的相关性和使用的方便性方面的优势。源代码可在https://github.com/xieyxclack/factual_coco上获得。
2021-09-08 cs.CL
Improving Factual Consistency for Knowledge-Grounded Dialogue Systems via Knowledge Enhancement and Alignment
The Chinese University of Hong Kong(香港中文大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
针对知识接地对话易违背给定知识的问题,本文提出 K-Dial 扩展 FFN 并结合 RLFC 对齐事实偏好,在 WoW 与 CMU_DoG 上提升了回复事实一致性。
2023-11-03 cs.CL
Transferable and Efficient Non-Factual Content Detection via Probe Training with Offline Consistency Checking
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);School of Information, Renmin University of China(中国人民大学信息学院)
本文提出 PINOSE,利用离线自一致性检查结果训练事实性探针,无需人工标注即可跨分布检测非事实内容,并降低在线多次采样的计算开销。
2024-04-10 cs.CL
Prompting Science Report 4: Playing Pretend: Expert Personas Don't Improve Factual Accuracy
Generative AI Labs, The Wharton School, University of Pennsylvania(宾夕法尼亚大学沃顿商学院生成式人工智能实验室);Glowforge;WHU–Otto Beisheim School of Management(WHU奥托·贝谢姆管理学院)
该研究探讨了专家角色和低知识角色对AI模型在客观多项选择题上的准确性影响,发现角色提示通常未提升表现,专家角色在多数情况下无益,低知识角色反而降低准确性。
2025-12-05 cs.CL
Questioning the Validity of Summarization Datasets and Improving Their Factual Consistency
École Polytechnique(巴黎综合理工学院);Institut Polytechnique de Paris(巴黎理工学院);Télécom-Paris(巴黎电信学院)
摘要评价的话题近年来引起了人们的关注,因为摘要摘要系统的快速发展。然而,任务的制定是相当模糊的,无论是语言还是自然语言处理社区都没有成功地给出一个相互同意的定义。由于缺乏明确定义的公式,大量流行的抽象摘要数据集的构建方式既不能保证有效性,也不符合摘要的最基本标准之一:事实一致性。在本文中,我们通过结合最先进的事实一致性模型来识别流行摘要数据集中存在的问题实例来解决这个问题。我们发布了SummFC,这是一个经过过滤的摘要数据集,具有更好的事实一致性,并证明在此数据集上训练的模型在几乎所有质量方面都实现了性能的提高。我们认为我们的数据集应该成为开发和评估摘要系统的有效基准。
2022-10-31 cs.CL
Asking and Answering Questions to Evaluate the Factual Consistency of Summaries
New York University(纽约大学);Facebook AI(Facebook人工智能)
摘要摘要模型的实际应用受到其输入的频繁事实不一致的限制。摘要的现有自动评估指标在很大程度上对此类错误不敏感。我们提出了一个自动评估协议,称为QAGS(发音为“kags”),旨在确定事实的不一致,在生成的摘要。QAGS基于这样一种直觉:如果我们询问有关摘要及其来源的问题,如果摘要与来源事实上一致,我们将得到类似的答案。为了评估QAGS,我们收集了对CNN/DailyMail的模型生成摘要的事实一致性的人类判断(Hermann等人,2015)和XSUM(Narayan等人,2018年)总结数据集。QAGS与这些判断的相关性比其他自动评估指标高得多。此外,QAGS提供了一种自然形式的可解释性:在计算QAGS时生成的答案和问题表明摘要的哪些标记不一致以及原因。我们相信QAGS是一个很有前途的工具,在自动生成可用的和事实上一致的文本。
2020-04-08 cs.CL
Optimising Factual Consistency in Summarisation via Preference Learning from Multiple Imperfect Metrics
Intelligent System Laboratory(智能系统实验室)
提出一种自动化训练流程,通过聚合多个弱事实性指标的分数并映射为偏好,过滤高分歧样本,利用词汇相似摘要对进行偏好学习,从而提升摘要的事实一致性。
2026-05-26 cs.CL
Who's Asking? Evaluating LLM Robustness to Inquiry Personas in Factual Question Answering
Microsoft(微软);Amazon Web Services(亚马逊网络服务)
本文首次系统评估大语言模型对询问人设的鲁棒性,发现用户画像线索能显著改变问答准确性并触发失败模式,提出将询问人设测试作为鲁棒性评估的有效工具。
2025-10-14 cs.CL cs.LG
On Improving Summarization Factual Consistency from Natural Language Feedback
Yale University(耶鲁大学);Microsoft Research(微软研究院)
本研究提出利用自然语言信息反馈改善摘要事实一致性,构建DeFacto数据集,通过微调语言模型在编辑、反馈生成和修正任务中提升性能,而大型语言模型零样本能力不足。
2023-10-16 cs.CL
Evaluating Factual Consistency of Summaries with Large Language Models
City University of Hong Kong(香港城市大学);Hong Kong University of Science and Technology(香港科技大学)
本研究通过直接提示大型语言模型来评估摘要的事实一致性,系统比较了多种模型和提示方法,实验证明该方法在多个设置下均优于现有最佳系统,准确率最高提升12.2个百分点。
2023-10-12 cs.CL
Latent-Space Intervention for Cross-Lingual Factual Consistency: Consistency Improvements without Accuracy Drops
School of Computation, Information and Technology, TU Munich(慕尼黑工业大学计算、信息与技术学院);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系)
本研究提出通过在平行多语言表示上训练特定层自编码器并应用推理时修正的跨语言隐空间干预方法,在不降低事实准确率的前提下提升了LLMs跨语言事实一致性。
2026-09-09 cs.CL
BanglaSummEval: Reference-Free Factual Consistency Evaluation for Bangla Summarization
Islamic University of Technology(伊斯兰科技大学);York University(约克大学)
BanglaSummEval通过无参考文献的问答框架评估孟加拉语摘要的事实一致性,结合BERTScore-Recall实现语义一致性检测,验证了其在教育和医疗领域的有效性。
2026-02-18 cs.CL
TRUE: Re-evaluating Factual Consistency Evaluation
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院);Meta AI
固定文本生成系统通常生成包含事实不一致的文本,这阻碍了它们在现实世界中的适用性。自动事实一致性评估可以通过加速评估周期、过滤不一致的输出和增加训练数据来帮助缓解这种限制。虽然吸引了越来越多的关注,但这些评估指标通常是针对单个任务或数据集在孤岛中开发和评估的,这减缓了它们的采用。此外,以前的元评估协议侧重于系统级与人类注释的相关性,这使得这些指标的示例级准确性不清楚。在这项工作中,我们介绍真:一个全面的调查和评估的事实一致性指标的标准化收集现有的文本从不同的任务,手动注释的事实一致性。我们的标准化实现了一个示例级的元评估协议,该协议比以前报告的相关性更具可操作性和可解释性,从而产生更清晰的质量指标。在各种最先进的指标和11个数据集中,我们发现大规模的NLI和基于问题生成和回答的方法实现了强大和互补的结果。我们推荐这些方法作为模型和度量开发人员的起点,并希望TRUE将促进更好的评估方法的进展。
2022-05-03 cs.CL
A Survey on Neural Abstractive Summarization Methods and Factual Consistency of Summarization
McGill University(麦吉尔大学)
自动摘要是通过计算缩短一组文本数据的过程,以创建表示原始文本中最重要信息的子集(摘要)。现有的文摘方法大致可以分为两类:抽取式和抽象式。提取摘要器显式地选择文本片段(单词、短语、句子等)。从源文档,而抽象的摘要生成器生成新颖的文本片段,以传达源中流行的最突出的概念。
2022-04-20 cs.CL
Evaluating the Factual Consistency of Large Language Models Through News Summarization
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出事实不一致基准FIB,通过比较LLM对新闻摘要的评分衡量其事实一致性,并评估23个模型,发现逐字出现的不一致摘要会误导LLM。
2023-12-02 cs.CL
PlainQAFact: Retrieval-augmented Factual Consistency Evaluation Metric for Biomedical Plain Language Summarization
School of Information Sciences, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校信息科学学院)
本文提出PlainQAFact,一种针对生物医学平白语言摘要中详尽解释的事实一致性评估指标,通过检索增强的问答方法,有效评估源简化和详尽解释句子的事实一致性。
2026-03-19 cs.CL
QAFactEval: Improved QA-Based Factual Consistency Evaluation for Summarization
Salesforce AI Research(Salesforce人工智能研究院)
事实一致性是文本摘要模型在实际应用中的一个重要特性。现有的工作在评估这方面可以大致分为两条线的研究,蕴涵为基础的和问答(QA)为基础的指标,不同的实验设置往往会导致对比的结论,哪种范式表现最好。在这项工作中,我们进行了广泛的比较蕴涵和QA为基础的指标,表明仔细选择的组件的QA为基础的指标,特别是问题的生成和可回答性分类,是至关重要的性能。基于这些见解,我们提出了一个优化的指标,我们称之为QAFactEval,它比SummaC事实一致性基准上以前基于QA的指标平均提高了14%,并且优于性能最好的基于蕴涵的指标。此外,我们发现,基于QA和基于蕴涵的指标可以提供互补的信号,并结合成一个单一的指标,以进一步提高性能。
2022-04-29 cs.CL
Improving Factual Consistency in Summarization with Compression-Based Post-Editing
Salesforce AI Research(Salesforce人工智能研究院)
最先进的摘要模型仍然很难与输入文本保持一致。解决这个问题的一种与模型无关的方法是对生成的摘要进行后期编辑。然而,如果合适的输入实体替换不可用或者可能插入错误内容,则现有方法通常无法移除实体错误。在我们的工作中,我们专注于删除外部实体错误,或不在源代码中的实体,以提高一致性,同时保留摘要的基本信息和形式。我们建议使用压缩数据来训练后编辑模型,以获取带有用特殊标记标记的外部实体错误的摘要,并输出一个压缩的、格式良好的摘要,其中删除了这些错误。我们发现,该模型在保持ROUGE的同时提高了事实一致性,在XSum上将实体精度提高了30%,并且该模型可以应用于另一个后期编辑器,将实体精度提高了38%。我们进行了广泛的比较后编辑的方法,证明事实的一致性,信息量和语法之间的权衡,我们分析设置后编辑器显示最大的改进。
2022-11-11 cs.CL
mFACE: Multilingual Summarization with Factual Consistency Evaluation
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
本文提出利用事实一致性评估模型改进多语言摘要生成,通过数据过滤和受控生成缓解幻觉,在XLSum数据集45种语言上的自动与人工评估均优于基线。
2024-01-05 cs.CL
Constrained Abstractive Summarization: Preserving Factual Consistency with Constrained Generation
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Southern California(南加州大学)
尽管取得了重大进展,但最先进的抽象摘要方法仍然容易产生与源文档不一致的幻觉内容。在本文中,我们提出了约束抽象摘要(CAS),一个一般的设置,保持事实的一致性,抽象摘要,通过指定令牌的约束,必须存在于摘要。我们采用词汇约束解码,一种通常适用于自回归生成模型的技术,以实现CAS,并在两种情况下进行实验:(1)自动摘要没有人类参与,其中关键词从源文档中提取并用作约束;(2)人工指导的交互式摘要,其中人工反馈的形式手动约束用于指导摘要生成。两个基准数据集上的自动和人工评估表明,CAS提高了抽象摘要的词汇重叠(ROUGE)和事实一致性。特别是,我们观察到高达13.8 ROUGE-2增益时,只有一个手动约束用于交互式摘要。
2021-12-16 cs.CL
The Effect of Scaling, Retrieval Augmentation and Form on the Factual Consistency of Language Models
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
本文研究LLM对语义等价问题回答不一致的问题,评估扩大规模与检索增强两种策略,发现二者均有效且检索增强效率更高,并分析了Atlas组件及句法形式等因素。
2023-11-02 cs.CL
Zero-shot Factual Consistency Evaluation Across Domains
University of Potsdam(波茨坦大学)
本文统一多种事实一致性相关任务训练跨域评估模型,在涵盖22个数据集的基准上超越八个基线,实现最先进性能与跨域泛化。
2024-08-07 cs.CL cs.LG
Grounded Visual Factualization: Factual Anchor-Based Finetuning for Enhancing MLLM Factual Consistency
University of Padua(帕多瓦大学)
针对多模态大语言模型的视觉幻觉问题,本文提出GVF微调方法,通过三大核心机制整合事实信号,在不损失通用能力的前提下显著提升模型视觉事实一致性。
2025-11-09 cs.CL cs.CV
Atomic Consistency Preference Optimization for Long-Form Question Answering
本文提出自监督方法ACPO,利用多个随机响应中单个事实的原子一致性信号构建偏好数据对,在不依赖外部模型或知识库的情况下提升LLM事实准确性,并在LongFact和BioGen上平均超越强监督基线1.95分。
2026-10-19 cs.CL
Discourse Understanding and Factual Consistency in Abstractive Summarization
University of Washington(华盛顿大学);Microsoft Research(微软研究院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Stanford University(斯坦福大学);University of Cape Town(开普敦大学)
我们介绍了一个抽象的摘要与事实的一致性和独特的建模的叙述流在输出摘要的一般框架。我们的工作解决了当前抽象摘要模型的局限性,这些模型通常会产生幻觉信息或生成具有一致性问题的摘要。为了生成具有事实一致性和叙述流的抽象摘要,我们提出了合作生成器-鉴别器网络(Co-opNet),这是一种新的基于变换器的框架,其中生成器与一个转换器架构一起工作,以组成连贯的长格式摘要。我们探讨了四个不同的目标,每个捕获不同方面的连贯性,包括是否显着跨度生成的摘要是幻觉或出现在输入的上下文中,和句子相邻生成的摘要的可能性。我们使用arXiv科学论文来衡量Co-opNet学习这些目标的能力,使用摘要作为黄金长格式科学文章摘要的代理。自动和人工评估的实证结果表明,与竞争基线相比,Co-opNet学习总结具有显著提高的全局一致性。
2021-04-09 cs.CL
UniArk: Improving Generalisation and Consistency for Factual Knowledge Extraction through Debiasing
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);School of Computer Science and Informatics, Cardiff University(卡迪夫大学计算机科学与信息学院)
本文提出基于适配器的框架 UniArk,通过同时去偏预训练与微调目标,在不增加参数的情况下提升语言模型事实知识抽取的域外泛化性和一致性,并构建了大规模改写数据集 ParaTrex 用于评估不一致性。
2024-04-01 cs.CL
Using Similarity to Evaluate Factual Consistency in Summaries
Intelligent Systems Laboratory(智能系统实验室);University of Bristol(布里斯托尔大学)
本文提出零样本事实性评估指标 SBERTScore,通过比较摘要与源文档的句子,无需微调即可媲美基于 NLI 和 QA 的指标,并证明结合多种技术能更有效检测摘要中的事实性错误。
2024-09-23 cs.CL
Improving Factual Consistency of Abstractive Summarization via Question Answering
Amazon Web Services(亚马逊云服务);Columbia University(哥伦比亚大学)
最先进的抽象摘要模型的一个常见问题是生成的摘要可能与输入文档事实上不一致。事实上,自动摘要可能会产生听起来不可信但不准确的摘要是一个主要的问题,限制了它的广泛应用。在本文中,我们提出了一种方法来解决事实的一致性摘要。我们首先提出了一个有效的自动评估指标来衡量事实的一致性,接下来,我们提出了一种新的学习算法,最大限度地提高模型训练过程中提出的度量。通过大量的实验,我们证实,我们的方法是有效的,在提高事实的一致性,甚至整体质量的摘要,判断自动指标和人类的评价。
2021-05-10 cs.AI cs.CL
SummExecEdit: A Factual Consistency Benchmark in Summarization with Executable Edits
Salesforce AI Research(Salesforce人工智能研究)
本文提出SummExecEdit基准,利用可执行编辑评估模型检测摘要事实错误及提供解释的能力,发现现有20多个LLM表现不佳,最佳模型Claude3-Opus联合得分仅0.49,并揭示了四种主要解释错误类型。
2025-05-30 cs.CL
WeCheck: Strong Factual Consistency Checker via Weakly Supervised Learning
Peking University(北京大学);Baidu Inc.(百度公司)
本文提出弱监督框架WeCheck,通过聚合多资源弱标签训练事实一致性度量模型,在TRUE基准上平均超越先前最优方法3.4%。
2023-05-27 cs.CL
PolyFact: Comparing Consistency-Driven Post-training Methods for Cross-Lingual Factual Recall
University College London(伦敦大学学院);Centre for Artificial Intelligence(人工智能中心)
提出PolyFact数据集,利用GRPO强化学习方法提升大语言模型的跨语言事实回忆一致性,优于监督微调,并揭示其通过减少语言专用表示实现跨语言共享的机制。
2026-08-10 cs.CL
Factual Dialogue Summarization via Learning from Large Language Models
School of Computing and Information Systems(计算与信息系统学院);The University of Melbourne(墨尔本大学)
针对小型预训练模型对话摘要事实一致性不足及大语言模型部署受限的问题,提出基于符号知识蒸馏的方法,通过零样本学习从大语言模型提取正负例摘要,结合对比学习增强小型模型,在多个模型上超越强基线,兼顾事实一致性与文本质量并开放资源。
2024-06-20 cs.CL
Learning to Generate Answers with Citations via Factual Consistency Models
University of Cambridge(剑桥大学);Amazon Web Services(亚马逊网络服务)
针对大语言模型幻觉及答案引用标注难的问题,提出基于事实一致性模型的弱监督微调方法,通过交替生成带引用文本与过滤数据微调、融入聚焦学习,在引用性能和事实准确性上均优于基线方法且具备领域迁移能力。
2024-07-15 cs.CL
Exploring the Factual Consistency in Dialogue Comprehension of Large Language Models
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学现代软件工程国家重点实验室)
本文通过对话摘要和派生事实性问题评估大语言模型的对话理解能力,发现其事实一致性错误率较高,并提出自动构建多任务数据的微调方法以降低错误率。
2024-04-01 cs.CL
CAP-LLM: Context-Augmented Personalized Large Language Models for News Headline Generation
National Energy University(国家能源大学)
针对个性化新闻标题生成中用户兴趣捕捉和事实一致性的挑战,提出CAP-LLM框架,通过用户偏好编码器、上下文注入适配器和对比损失强化模块,在PENS数据集上取得最优性能,平衡个性化与事实准确性。
2025-08-05 cs.CL
Improving Factual Completeness and Consistency of Image-to-Text Radiology Report Generation
Stanford University(斯坦福大学)
神经图像到文本放射学报告生成系统通过减少报告起草的重复过程和识别可能的医疗错误,提供了改进放射学报告的潜力。然而,现有的报告生成系统,尽管实现了高性能的自然语言生成度量,如CIDER或BLEU,仍然遭受不完整和不一致的代。在这里,我们介绍了两个新的简单的奖励,以鼓励生成事实上完整和一致的放射学报告:一个鼓励系统生成与参考一致的放射学领域实体,以及一个使用自然语言推理,以鼓励这些实体被描述在不一致的方式。我们将这些与现有的语义等价度量(BERTScore)的新用途相结合。我们进一步提出了一个报告生成系统,通过强化学习优化这些奖励。在两个开放的放射学报告数据集上,我们的系统将临床信息抽取性能的F1评分大幅提高了+22.1(Delta +63.9%)。我们通过人工评估和定性分析进一步表明,与基线相比,我们的系统导致了更真实完整和一致的世代。
2021-04-12 cs.CL
AlignScore: Evaluating Factual Consistency with a Unified Alignment Function
UC San Diego(加州大学圣迭戈分校)
本文提出统一信息比对指标 AlignScore,通过融合 7 类任务共 470 万样本训练比对函数,在 22 个数据集上显著超越以往事实一致性评估指标,并能匹敌更大规模的 GPT-4 类模型。
2023-05-26 cs.CL
Entity-level Factual Consistency of Abstractive Text Summarization
Amazon Web Services(亚马逊网络服务);Columbia University(哥伦比亚大学)
摘要摘要的一个关键挑战是确保生成的摘要与原始文档的事实一致性。例如,在现有数据集上训练的最先进的模型表现出实体幻觉,生成源文档中不存在的实体名称。我们提出了一组新的指标来量化生成的摘要的实体级事实的一致性,我们表明,实体幻觉问题可以通过简单地过滤训练数据来缓解。此外,我们提出了一个值得总结的实体分类任务的训练过程,以及一个联合实体和摘要生成方法,从而进一步提高实体级指标。
2021-02-18 cs.AI cs.CL
Factual consistency evaluation of summarization in the Era of large language models
The University of Manchester(曼彻斯特大学);The Fin AI
本研究引入临床摘要事实一致性数据集TreatFact,并基准测试11个LLM,发现开源模型落后于专有模型,且现有方法难以捕捉临床摘要中的事实不一致。
2025-02-27 cs.CL
Factual Consistency Oriented Speech Recognition
Microsoft(微软)
本文提出了一种新的优化框架,自动语音识别(ASR)的目的是减少幻觉产生的ASR模型。所提出的框架优化了ASR模型,以最大限度地提高ASR假设和地面实况之间的预期事实一致性得分,其中事实一致性得分由单独训练的估计器计算。使用AMI会议语料库和VoxPopuli语料库的实验结果表明,使用所提出的框架训练的ASR模型生成的ASR假设具有显着更高的一致性分数与地面实况transmittance,同时保持接近交叉熵训练的ASR模型的单词错误率。此外,它表明,训练的ASR模型与所提出的框架,提高了语音摘要的质量,由一个大型语言模型生成的会议会话摘要的事实一致性来衡量。
2023-02-24 cs.CL cs.SD eess.AS
Hallucination-R1: Robustness-Oriented Paraphrase Generation for Factual Consistency
Beihang University(北京航空航天大学)
提出HALLUCINATION-R1框架,通过两阶段优化生成语义忠实且具挑战性的改写,揭示并提升问答模型的事实一致性鲁棒性,实验验证其有效性与数据价值。
2026-09-21 cs.AI cs.CL
Improving Factual Error Correction for Abstractive Summarization via Data Distillation and Conditional-generation Cloze
Beijing University of Posts and Telecommunications(北京邮电大学);Shamoon College of Engineering(沙蒙工程大学)
本文提出基于条件生成完形填空任务的事实错误纠正模型 FactCloze,并结合数据蒸馏方法生成更忠实的摘要数据集 SummDSC,有效提升了抽象式摘要的事实一致性。
2024-02-13 cs.CL
Evaluating Factual Consistency of Texts with Semantic Role Labeling
Heidelberg University(海德堡大学)
本文提出无参考评估指标SRLScore,利用语义角色标注构建事实元组并通过可调机制评分,在英文摘要数据集上表现出与最先进方法相当的竞争力及稳定的跨域泛化能力。
2023-05-22 cs.CL
AlignCheck: a Semantic Open-Domain Metric for Factual Consistency Assessment
Institute of Computational Life Sciences, Department of Life Sciences and Facility Management, Zurich University of Applied Sciences(计算生命科学研究所,生命科学与设施管理系,苏黎世应用科学大学);Swiss Institute of Bioinformatics(瑞士生物信息学研究所)
AlignCheck提出了一种可解释的开放域事实一致性评估框架,通过分解文本为原子事实并引入加权度量,提升事实评估的准确性和可解释性。
2025-12-03 cs.AI cs.CL
TrueTeacher: Learning Factual Consistency Evaluation with Large Language Models
Technion - Israel Institute of Technology(以色列理工学院);Google Research(谷歌研究院)
本文提出TrueTeacher方法,利用大型语言模型标注多样化的模型生成摘要来生成合成数据,以学习事实一致性评估,在TRUE基准上显著优于现有模型和LLM教师,并发布了140万示例的大规模数据集。
2023-10-18 cs.CL
AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出AMRFact框架,通过将摘要解析为AMR图并注入受控错误生成高质量负样本,结合NegFilter数据选择模块,在AggreFact-SOTA基准上显著提升了抽象式摘要事实一致性评估的性能。
2024-10-03 cs.CL
FIZZ: Factual Inconsistency Detection by Zoom-in Summary and Zoom-out Document
Chung-Ang University(中央大学);Adobe Research(奥多比研究院)
本文提出基于细粒度原子事实分解与自适应粒度扩展对齐的 FIZZ 指标,以提升抽象式摘要事实不一致检测的效果与可解释性,实验显示其显著优于现有系统。
2024-10-02 cs.CL
Probing Factually Grounded Content Transfer with Factual Ablation
University of Washington(华盛顿大学);Microsoft Research(微软研究院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
尽管最近取得了成功,但大型神经模型通常会生成不正确的文本。更糟糕的是,缺乏对真实性的标准自动评估--如果无法衡量,就无法有意义地改进。扎根生成有望解决这两个问题:模型利用可靠的外部文档(接地)获取事实信息,简化了真实性的挑战。衡量真实性也被简化为事实的一致性,测试一代人是否同意基础,而不是所有的事实。然而,没有一个标准的自动度量事实的一致性,事实接地生成仍然是一个悬而未决的问题。我们研究这个问题的内容传输,在这几代人延长提示,使用信息从事实接地。特别是,这个领域允许我们引入事实消融的概念,用于自动测量事实一致性:这捕获了这样一种直觉,即模型不太可能在给定不太相关的基础文档的情况下产生输出。在实践中,我们通过呈现具有两个基础文档的模型来衡量这一点,并且模型应该更喜欢使用与事实更相关的文档。我们提供了两个评估集来衡量这一点。应用我们的新评估,我们提出了多种新方法,在强基线上进行改进。
2022-03-29 cs.AI cs.CL
ConsistencyAI: A Benchmark to Assess LLMs' Factual Consistency When Responding to Different Demographic Groups
Duke University(杜克大学);UNC-Chapel Hill(北卡罗来纳大学教堂山分校)
ConsistencyAI基准通过多角色查询19个LLM,计算跨角色余弦相似度,评估事实一致性,发现提供商和主题影响一致性,Grok-3最优。
2026-09-09 cs.AI cs.CL cs.HC
Improving Factual Consistency of Abstractive Summarization on Customer Feedback
Amazon, Inc.(亚马逊公司)
电子商务商店收集客户反馈,让卖家了解客户关注的问题,提升客户订单体验。由于客户反馈通常包含冗余信息,因此可以生成反馈的简明摘要,以帮助销售人员更好地了解导致客户不满的问题。现有的抽象文本摘要模型在根据客户反馈生成摘要时会产生两种主要的事实错误,即错误的实体检测(WED)和错误的产品缺陷描述(IPD)。在这项工作中,我们介绍了一套方法来提高客户反馈的抽象摘要的事实一致性。我们用人工破坏的摘要来增加训练数据,并将它们用作目标摘要的对应物。我们在训练目标中添加了一个对比损失项,以便模型学习避免某些事实错误。评估结果表明,大部分的WED和IPD错误减轻BART和T5。此外,我们的方法不依赖于结构的摘要模型,因此是可推广到任何抽象的摘要系统。
2021-06-30 cs.CL cs.LG
Detecting Response Generation Not Requiring Factual Judgment
Tohoku University(东北大学);RIKEN(理化学研究所)
本文提出识别对话中无需事实判断的句子,构建众包数据集DDFC并评估多类模型,最高分类准确率约88%,以兼顾回复吸引力与事实性。
2024-06-14 cs.CL
Tracing Multilingual Factual Knowledge Acquisition in Pretraining
Center for Information and Language Processing, LMU Munich(信息与语言处理中心,慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML));Bosch Center for Artificial Intelligence(博世人工智能中心);Sorbonne Université, CNRS, ISIR, France(索邦大学,法国国家科学研究中心,ISIR)
本研究以OLMo-7B为例,追踪预训练中多语言事实知识获取,发现频率驱动学习为主导,跨语言迁移在早期阶段辅助低频事实回忆。
2025-10-07 cs.CL