Few-shot Text Classification with Dual Contrastive Consistency
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在本文中,我们将探讨如何利用预先训练的语言模型来执行Few-Shot文本分类,其中每个类只给出几个注释的例子。由于在这种情况下使用传统的交叉熵损失对语言模型进行微调会导致严重的过拟合,导致模型泛化效果不佳,因此我们采用了对少量标记数据进行有监督对比学习,对大量未标记数据进行一致性正则化的方法。此外,我们提出了一种新的对比一致性,以进一步提高模型性能和改进句子表示。在四个数据集上进行了广泛的实验后,我们证明了我们的模型(FTCC)可以优于最先进的方法,并具有更好的鲁棒性。
2022-09-29 cs.AI cs.CL cs.LG
Improving Factual Consistency of Abstractive Summarization on Customer Feedback
Amazon, Inc.(亚马逊公司)
电子商务商店收集客户反馈,让卖家了解客户关注的问题,提升客户订单体验。由于客户反馈通常包含冗余信息,因此可以生成反馈的简明摘要,以帮助销售人员更好地了解导致客户不满的问题。现有的抽象文本摘要模型在根据客户反馈生成摘要时会产生两种主要的事实错误,即错误的实体检测(WED)和错误的产品缺陷描述(IPD)。在这项工作中,我们介绍了一套方法来提高客户反馈的抽象摘要的事实一致性。我们用人工破坏的摘要来增加训练数据,并将它们用作目标摘要的对应物。我们在训练目标中添加了一个对比损失项,以便模型学习避免某些事实错误。评估结果表明,大部分的WED和IPD错误减轻BART和T5。此外,我们的方法不依赖于结构的摘要模型,因此是可推广到任何抽象的摘要系统。
2021-06-30 cs.CL cs.LG
Masked Summarization to Generate Factually Inconsistent Summaries for Improved Factual Consistency Checking
NAVER AI Lab(NAVER人工智能实验室);University of Richmond(里士满大学);Seoul National University(首尔国立大学)
尽管近年来摘要系统取得了很大的进步,但仍然很难确定生成的摘要是否与源文本的事实一致。为此,最新的方法是训练一个事实一致性分类器的事实一致性和不一致的摘要。幸运的是,前者可以在现有的摘要数据集中作为参考摘要。然而,生成后者仍然是一个挑战,因为它们需要在事实上不一致,但与源文本密切相关才能有效。在本文中,我们提出了使用源文本和参考摘要与关键信息掩盖生成事实上不一致的摘要。在七个基准数据集上的实验表明,在使用我们的方法生成的摘要上训练的事实一致性分类器通常优于现有模型,并与人类判断具有竞争力。我们还分析了使用我们的方法生成的摘要的特点。我们将在https://github.com/hwanheelee1993/MFMA上发布预训练模型和代码。
2022-05-04 cs.CL
An Extensive Evaluation of Factual Consistency in Large Language Models for Data-to-Text Generation
Indian Statistical Institute(印度统计研究所)
本文针对当前文献缺乏LLMs在DTG任务中事实一致性深入评估的空白,通过涵盖五个DTG数据集和五个LLM家族,结合自动指标与人工评估,揭示了模型大小、源-参考差异等对事实一致性的影响及关键发现。
2024-11-28 cs.CL
Factual Consistency of Multilingual Pretrained Language Models
University of Copenhagen(哥本哈根大学)
本文构建 mParaRel 资源评估 mBERT 与 XLM-R 的事实一致性,发现多语言模型并未优于单语模型,且在英语及其他45种语言中均存在严重的改写不一致问题。
2022-03-22 cs.CL cs.LG
Investigating Crowdsourcing Protocols for Evaluating the Factual Consistency of Summaries
Yale University(耶鲁大学);Columbia University(哥伦比亚大学);Facebook AI(脸书人工智能)
当前应用于摘要的预训练模型容易出现事实不一致,要么歪曲源文本,要么引入无关信息。因此,在我们开发改进的模型时,比较摘要的事实一致性是必要的。然而,事实一致性的最佳人类评估设置尚未标准化。为了解决这个问题,我们使用基于评级的李克特量表和基于排名的最佳-最差缩放协议,对来自CNN-每日邮报和XSum数据集的100篇文章进行了众包评估,以确定最可靠的评估框架。我们发现,基于排名的协议提供了一个更可靠的衡量汇总质量的数据集,而李克特评级的可靠性取决于目标数据集和评估设计。我们的众包模板和摘要评估将公开提供,以促进未来对摘要中事实一致性的研究。
2022-07-09 cs.CL
Enhancing Factual Consistency of Abstractive Summarization
Microsoft Cognitive Services Group(微软认知服务团队);University of Notre Dame(圣母大学)
自动摘要经常歪曲或捏造事实的文章。摘要与原文之间的这种不一致严重影响了其适用性。我们提出了一个事实感知的摘要模型FASum提取和整合的事实关系到摘要生成过程中,通过图形注意。然后,我们设计了一个事实校正模型FC自动纠正现有系统生成的摘要中的事实错误。实验结果表明,与现有系统相比,基于事实感知的摘要生成的摘要具有更高的事实一致性,而修正模型仅通过修改少量关键词就能提高摘要的事实一致性。
2021-03-15 cs.CL
Evaluating the Factual Consistency of Abstractive Text Summarization
Salesforce Research(赛富时研究院)
目前用于评估摘要算法的指标并不考虑摘要是否与源文档事实上一致。我们提出了一个弱监督,基于模型的方法来验证事实的一致性和识别源文件和生成的摘要之间的冲突。训练数据是通过对源文档的句子应用一系列基于规则的转换来生成的。事实一致性模型然后被联合训练用于三个任务:1)识别句子在变换后是否保持事实一致,2)在源文档中提取跨度以支持一致性预测,3)在摘要句子中提取不一致的跨度(如果存在的话)。将此模型转换为由几个最先进的模型生成的摘要表明,这种高度可扩展的方法大大优于以前的模型,包括使用标准数据集进行自然语言推理和事实检查的强监督训练的模型。此外,人类的评价表明,辅助跨度提取任务提供了有用的帮助,在验证事实的一致性的过程中。
2019-10-28 cs.CL
Grounded Visual Factualization: Factual Anchor-Based Finetuning for Enhancing MLLM Factual Consistency
University of Padua(帕多瓦大学)
针对多模态大语言模型的视觉幻觉问题,本文提出GVF微调方法,通过三大核心机制整合事实信号,在不损失通用能力的前提下显著提升模型视觉事实一致性。
2025-11-09 cs.CL cs.CV
Improving Factual Consistency Between a Response and Persona Facts
Technical University of Darmstadt(达姆施塔特工业大学);University of Bristol(布里斯托尔大学)
用于响应生成的神经模型产生的响应在语义上是合理的,但不一定与描述说话者角色的事实一致。这些模型是用完全监督学习训练的,其中目标函数几乎不能捕捉事实的一致性。我们建议通过强化学习和一个有效的奖励函数来微调这些模型,该函数显式地捕获响应和人物角色事实之间的一致性以及语义可扩展性。我们对PersonaChat语料库的自动和人工评估证实,我们的方法增加了与其监督对应物实际上与人物角色事实一致的响应率,同时保留了响应的语言质量。
2021-02-15 cs.CL
Adapting AlignScore Mertic for Factual Consistency Evaluation of Text in Russian: A Student Abstract
本文提出AlignRuScore,通过微调RuBERT模型实现俄语事实一致性评估,为多语言评估奠定基础。
2025-12-06 cs.CL
$Q^{2}$: Evaluating Factual Consistency in Knowledge-Grounded Dialogues via Question Generation and Question Answering
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Google Research(谷歌研究院)
以神经知识为基础的对话生成模型通常会产生与其所依赖的知识实际上不一致的内容,使其不可靠并限制其适用性。受最近在评估摘要中事实一致性方面的工作的启发,我们提出了一种基于知识的对话中使用自动问题生成和问答的事实一致性自动评估度量。我们的度量,表示为$Q^2$,比较答案跨度使用自然语言推理(NLI),而不是基于令牌的匹配,在以前的工作。为了促进正确的评估,我们为维基百科的向导数据集策划了一个新的对话系统输出数据集,并手动注释了事实的一致性。我们使用该数据集和其他两个数据集对$Q^2$与其他指标进行了全面的元评估,其中它始终显示出与人类判断的较高相关性。
2021-09-09 cs.CL
Zero-shot Faithful Factual Error Correction
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Macau(澳门大学)
本文提出一种零样本事实错误纠正框架,通过提问、在证据中检索答案并评估纠正与证据的一致性,在FEVER和SciFact上超越全监督方法,同时具备可解释性,并分析了评估指标与人类判断的相关性。
2023-05-27 cs.CL
Evaluating the Factuality of Zero-shot Summarizers Across Varied Domains
Northeastern University(东北大学);Carnegie Mellon University(卡内基梅隆大学)
本研究评估零样本摘要器在生物医学和法律等专业领域的事实性,通过专家标注错误并分析预训练语料领域普遍性的影响,发布标注数据集以促进事实准确摘要研究。
2024-02-05 cs.AI cs.CL cs.LG
Entity-based SpanCopy for Abstractive Summarization to Improve the Factual Consistency
University of British Columbia(不列颠哥伦比亚大学)
尽管最近的抽象摘要自动评价指标的成功,生成的摘要仍然存在与源文件的事实不一致。在本文中,我们专注于实体级的事实不一致,即减少不匹配的实体之间生成的摘要和源文档。因此,我们提出了一种新的基于实体的SpanCopy机制,并探索其扩展与全局相关性组件。在4个摘要数据集上的实验结果表明,SpanCopy能有效地提高实体级的事实一致性,而对词级和实体级的显著性基本没有影响。代码可在www.example.com上获得
2022-09-07 cs.CL
Towards Reliable Latent Knowledge Estimation in LLMs: Zero-Prompt Many-Shot Based Factual Knowledge Extraction
MPI-SWS(马克斯·普朗克软件系统研究所);Boston University(波士顿大学)
本文提出零提示潜在知识估计器(ZP-LKE),利用上下文学习消除提示工程,可靠估计LLM事实知识,并在多种开源模型上大规模评估,揭示模型间知识差异。
2024-12-17 cs.CL cs.LG
Factual Consistency Evaluation for Text Summarization via Counterfactual Estimation
Alibaba Group(阿里巴巴集团);The Chinese University of Hong Kong(香港中文大学)
尽管文本摘要技术已经取得了很大的进展,但摘要中的事实不一致性仍然严重限制了它的实际应用。在保证事实一致性的关键因素中,可靠的自动评价指标是首要的,也是最关键的。然而,现有的度量方法要么忽略了造成事实不一致的内在原因,要么依赖于辅助任务,导致与人类判断的相关性不高,或者增加了实际使用的不便。鉴于这些挑战,我们提出了一种新的度量标准来评估事实的一致性,在文本摘要通过反事实的估计,它制定了源文件,生成的摘要,和语言先验之间的因果关系。我们删除了语言先验的影响,这可能会导致事实的不一致性,从总的因果关系的影响所产生的摘要,并提供了一个简单而有效的方法来评估一致性,而不依赖于其他辅助任务。我们在三个公开的抽象文本摘要数据集上进行了一系列的实验,并证明了所提出的度量在提高与人类判断的相关性和使用的方便性方面的优势。源代码可在https://github.com/xieyxclack/factual_coco上获得。
2021-09-08 cs.CL
Improving Factual Consistency for Knowledge-Grounded Dialogue Systems via Knowledge Enhancement and Alignment
The Chinese University of Hong Kong(香港中文大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
针对知识接地对话易违背给定知识的问题,本文提出 K-Dial 扩展 FFN 并结合 RLFC 对齐事实偏好,在 WoW 与 CMU_DoG 上提升了回复事实一致性。
2023-11-03 cs.CL
Transferable and Efficient Non-Factual Content Detection via Probe Training with Offline Consistency Checking
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);School of Information, Renmin University of China(中国人民大学信息学院)
本文提出 PINOSE,利用离线自一致性检查结果训练事实性探针,无需人工标注即可跨分布检测非事实内容,并降低在线多次采样的计算开销。
2024-04-10 cs.CL
Improving Factual Consistency of Abstractive Summarization via Question Answering
Amazon Web Services(亚马逊云服务);Columbia University(哥伦比亚大学)
最先进的抽象摘要模型的一个常见问题是生成的摘要可能与输入文档事实上不一致。事实上,自动摘要可能会产生听起来不可信但不准确的摘要是一个主要的问题,限制了它的广泛应用。在本文中,我们提出了一种方法来解决事实的一致性摘要。我们首先提出了一个有效的自动评估指标来衡量事实的一致性,接下来,我们提出了一种新的学习算法,最大限度地提高模型训练过程中提出的度量。通过大量的实验,我们证实,我们的方法是有效的,在提高事实的一致性,甚至整体质量的摘要,判断自动指标和人类的评价。
2021-05-10 cs.AI cs.CL
Questioning the Validity of Summarization Datasets and Improving Their Factual Consistency
École Polytechnique(巴黎综合理工学院);Institut Polytechnique de Paris(巴黎理工学院);Télécom-Paris(巴黎电信学院)
摘要评价的话题近年来引起了人们的关注,因为摘要摘要系统的快速发展。然而,任务的制定是相当模糊的,无论是语言还是自然语言处理社区都没有成功地给出一个相互同意的定义。由于缺乏明确定义的公式,大量流行的抽象摘要数据集的构建方式既不能保证有效性,也不符合摘要的最基本标准之一:事实一致性。在本文中,我们通过结合最先进的事实一致性模型来识别流行摘要数据集中存在的问题实例来解决这个问题。我们发布了SummFC,这是一个经过过滤的摘要数据集,具有更好的事实一致性,并证明在此数据集上训练的模型在几乎所有质量方面都实现了性能的提高。我们认为我们的数据集应该成为开发和评估摘要系统的有效基准。
2022-10-31 cs.CL
Asking and Answering Questions to Evaluate the Factual Consistency of Summaries
New York University(纽约大学);Facebook AI(Facebook人工智能)
摘要摘要模型的实际应用受到其输入的频繁事实不一致的限制。摘要的现有自动评估指标在很大程度上对此类错误不敏感。我们提出了一个自动评估协议,称为QAGS(发音为“kags”),旨在确定事实的不一致,在生成的摘要。QAGS基于这样一种直觉:如果我们询问有关摘要及其来源的问题,如果摘要与来源事实上一致,我们将得到类似的答案。为了评估QAGS,我们收集了对CNN/DailyMail的模型生成摘要的事实一致性的人类判断(Hermann等人,2015)和XSUM(Narayan等人,2018年)总结数据集。QAGS与这些判断的相关性比其他自动评估指标高得多。此外,QAGS提供了一种自然形式的可解释性:在计算QAGS时生成的答案和问题表明摘要的哪些标记不一致以及原因。我们相信QAGS是一个很有前途的工具,在自动生成可用的和事实上一致的文本。
2020-04-08 cs.CL
Optimising Factual Consistency in Summarisation via Preference Learning from Multiple Imperfect Metrics
Intelligent System Laboratory(智能系统实验室)
提出一种自动化训练流程,通过聚合多个弱事实性指标的分数并映射为偏好,过滤高分歧样本,利用词汇相似摘要对进行偏好学习,从而提升摘要的事实一致性。
2026-05-26 cs.CL
On Improving Summarization Factual Consistency from Natural Language Feedback
Yale University(耶鲁大学);Microsoft Research(微软研究院)
本研究提出利用自然语言信息反馈改善摘要事实一致性,构建DeFacto数据集,通过微调语言模型在编辑、反馈生成和修正任务中提升性能,而大型语言模型零样本能力不足。
2023-10-16 cs.CL
Evaluating Factual Consistency of Summaries with Large Language Models
City University of Hong Kong(香港城市大学);Hong Kong University of Science and Technology(香港科技大学)
本研究通过直接提示大型语言模型来评估摘要的事实一致性,系统比较了多种模型和提示方法,实验证明该方法在多个设置下均优于现有最佳系统,准确率最高提升12.2个百分点。
2023-10-12 cs.CL
Latent-Space Intervention for Cross-Lingual Factual Consistency: Consistency Improvements without Accuracy Drops
School of Computation, Information and Technology, TU Munich(慕尼黑工业大学计算、信息与技术学院);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系)
本研究提出通过在平行多语言表示上训练特定层自编码器并应用推理时修正的跨语言隐空间干预方法,在不降低事实准确率的前提下提升了LLMs跨语言事实一致性。
2026-09-09 cs.CL
BanglaSummEval: Reference-Free Factual Consistency Evaluation for Bangla Summarization
Islamic University of Technology(伊斯兰科技大学);York University(约克大学)
BanglaSummEval通过无参考文献的问答框架评估孟加拉语摘要的事实一致性,结合BERTScore-Recall实现语义一致性检测,验证了其在教育和医疗领域的有效性。
2026-02-18 cs.CL
TRUE: Re-evaluating Factual Consistency Evaluation
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院);Meta AI
固定文本生成系统通常生成包含事实不一致的文本,这阻碍了它们在现实世界中的适用性。自动事实一致性评估可以通过加速评估周期、过滤不一致的输出和增加训练数据来帮助缓解这种限制。虽然吸引了越来越多的关注,但这些评估指标通常是针对单个任务或数据集在孤岛中开发和评估的,这减缓了它们的采用。此外,以前的元评估协议侧重于系统级与人类注释的相关性,这使得这些指标的示例级准确性不清楚。在这项工作中,我们介绍真:一个全面的调查和评估的事实一致性指标的标准化收集现有的文本从不同的任务,手动注释的事实一致性。我们的标准化实现了一个示例级的元评估协议,该协议比以前报告的相关性更具可操作性和可解释性,从而产生更清晰的质量指标。在各种最先进的指标和11个数据集中,我们发现大规模的NLI和基于问题生成和回答的方法实现了强大和互补的结果。我们推荐这些方法作为模型和度量开发人员的起点,并希望TRUE将促进更好的评估方法的进展。
2022-05-03 cs.CL
Factual Consistency Oriented Speech Recognition
Microsoft(微软)
本文提出了一种新的优化框架,自动语音识别(ASR)的目的是减少幻觉产生的ASR模型。所提出的框架优化了ASR模型,以最大限度地提高ASR假设和地面实况之间的预期事实一致性得分,其中事实一致性得分由单独训练的估计器计算。使用AMI会议语料库和VoxPopuli语料库的实验结果表明,使用所提出的框架训练的ASR模型生成的ASR假设具有显着更高的一致性分数与地面实况transmittance,同时保持接近交叉熵训练的ASR模型的单词错误率。此外,它表明,训练的ASR模型与所提出的框架,提高了语音摘要的质量,由一个大型语言模型生成的会议会话摘要的事实一致性来衡量。
2023-02-24 cs.CL cs.SD eess.AS
A Survey on Neural Abstractive Summarization Methods and Factual Consistency of Summarization
McGill University(麦吉尔大学)
自动摘要是通过计算缩短一组文本数据的过程,以创建表示原始文本中最重要信息的子集(摘要)。现有的文摘方法大致可以分为两类:抽取式和抽象式。提取摘要器显式地选择文本片段(单词、短语、句子等)。从源文档,而抽象的摘要生成器生成新颖的文本片段,以传达源中流行的最突出的概念。
2022-04-20 cs.CL
Evaluating the Factual Consistency of Large Language Models Through News Summarization
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出事实不一致基准FIB,通过比较LLM对新闻摘要的评分衡量其事实一致性,并评估23个模型,发现逐字出现的不一致摘要会误导LLM。
2023-12-02 cs.CL
PlainQAFact: Retrieval-augmented Factual Consistency Evaluation Metric for Biomedical Plain Language Summarization
School of Information Sciences, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校信息科学学院)
本文提出PlainQAFact,一种针对生物医学平白语言摘要中详尽解释的事实一致性评估指标,通过检索增强的问答方法,有效评估源简化和详尽解释句子的事实一致性。
2026-03-19 cs.CL
QAFactEval: Improved QA-Based Factual Consistency Evaluation for Summarization
Salesforce AI Research(Salesforce人工智能研究院)
事实一致性是文本摘要模型在实际应用中的一个重要特性。现有的工作在评估这方面可以大致分为两条线的研究,蕴涵为基础的和问答(QA)为基础的指标,不同的实验设置往往会导致对比的结论,哪种范式表现最好。在这项工作中,我们进行了广泛的比较蕴涵和QA为基础的指标,表明仔细选择的组件的QA为基础的指标,特别是问题的生成和可回答性分类,是至关重要的性能。基于这些见解,我们提出了一个优化的指标,我们称之为QAFactEval,它比SummaC事实一致性基准上以前基于QA的指标平均提高了14%,并且优于性能最好的基于蕴涵的指标。此外,我们发现,基于QA和基于蕴涵的指标可以提供互补的信号,并结合成一个单一的指标,以进一步提高性能。
2022-04-29 cs.CL
Improving Factual Consistency in Summarization with Compression-Based Post-Editing
Salesforce AI Research(Salesforce人工智能研究院)
最先进的摘要模型仍然很难与输入文本保持一致。解决这个问题的一种与模型无关的方法是对生成的摘要进行后期编辑。然而,如果合适的输入实体替换不可用或者可能插入错误内容,则现有方法通常无法移除实体错误。在我们的工作中,我们专注于删除外部实体错误,或不在源代码中的实体,以提高一致性,同时保留摘要的基本信息和形式。我们建议使用压缩数据来训练后编辑模型,以获取带有用特殊标记标记的外部实体错误的摘要,并输出一个压缩的、格式良好的摘要,其中删除了这些错误。我们发现,该模型在保持ROUGE的同时提高了事实一致性,在XSum上将实体精度提高了30%,并且该模型可以应用于另一个后期编辑器,将实体精度提高了38%。我们进行了广泛的比较后编辑的方法,证明事实的一致性,信息量和语法之间的权衡,我们分析设置后编辑器显示最大的改进。
2022-11-11 cs.CL
Cross-Lingual Consistency of Factual Knowledge in Multilingual Language Models
Center for Language and Cognition, University of Groningen(格罗宁根大学语言与认知中心);Institute for Logic, Language and Computation, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)
该研究针对多语言预训练语言模型事实知识的跨语言一致性问题,提出RankC评估指标,分析其影响因素,并通过模型编辑案例发现新知识仅向与英语RankC得分高的语言迁移。
2025-05-19 cs.AI cs.CL cs.HC
Less is More for Improving Automatic Evaluation of Factual Consistency
AWS Bedrock Science(AWS Bedrock 科学部门)
针对事实一致性评估,本文清洗并增强 AlignScore 训练数据,仅用 10% 子集训练 LIM-RA,在多项基准上超越 AlignScore 与 ChatGPT。
2024-04-09 cs.AI cs.CL cs.LG
mFACE: Multilingual Summarization with Factual Consistency Evaluation
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
本文提出利用事实一致性评估模型改进多语言摘要生成,通过数据过滤和受控生成缓解幻觉,在XLSum数据集45种语言上的自动与人工评估均优于基线。
2024-01-05 cs.CL
Constrained Abstractive Summarization: Preserving Factual Consistency with Constrained Generation
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Southern California(南加州大学)
尽管取得了重大进展,但最先进的抽象摘要方法仍然容易产生与源文档不一致的幻觉内容。在本文中,我们提出了约束抽象摘要(CAS),一个一般的设置,保持事实的一致性,抽象摘要,通过指定令牌的约束,必须存在于摘要。我们采用词汇约束解码,一种通常适用于自回归生成模型的技术,以实现CAS,并在两种情况下进行实验:(1)自动摘要没有人类参与,其中关键词从源文档中提取并用作约束;(2)人工指导的交互式摘要,其中人工反馈的形式手动约束用于指导摘要生成。两个基准数据集上的自动和人工评估表明,CAS提高了抽象摘要的词汇重叠(ROUGE)和事实一致性。特别是,我们观察到高达13.8 ROUGE-2增益时,只有一个手动约束用于交互式摘要。
2021-12-16 cs.CL
Entity-level Factual Consistency of Abstractive Text Summarization
Amazon Web Services(亚马逊网络服务);Columbia University(哥伦比亚大学)
摘要摘要的一个关键挑战是确保生成的摘要与原始文档的事实一致性。例如,在现有数据集上训练的最先进的模型表现出实体幻觉,生成源文档中不存在的实体名称。我们提出了一组新的指标来量化生成的摘要的实体级事实的一致性,我们表明,实体幻觉问题可以通过简单地过滤训练数据来缓解。此外,我们提出了一个值得总结的实体分类任务的训练过程,以及一个联合实体和摘要生成方法,从而进一步提高实体级指标。
2021-02-18 cs.AI cs.CL
Stress Testing Factual Consistency Metrics for Long-Document Summarization
University of Copenhagen(哥本哈根大学)
本文评估了六个常用无参考事实性度量在长文档摘要中的可靠性,发现短形式度量在处理信息密集型声明时可靠性下降,提出改进方向包括多跨度推理、上下文感知校准和训练保留意义的变体。
2026-04-29 cs.AI cs.CL cs.LG
The Effect of Scaling, Retrieval Augmentation and Form on the Factual Consistency of Language Models
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
本文研究LLM对语义等价问题回答不一致的问题,评估扩大规模与检索增强两种策略,发现二者均有效且检索增强效率更高,并分析了Atlas组件及句法形式等因素。
2023-11-02 cs.CL
Hallucination-R1: Robustness-Oriented Paraphrase Generation for Factual Consistency
Beihang University(北京航空航天大学)
提出HALLUCINATION-R1框架,通过两阶段优化生成语义忠实且具挑战性的改写,揭示并提升问答模型的事实一致性鲁棒性,实验验证其有效性与数据价值。
2026-09-21 cs.AI cs.CL
AlignCheck: a Semantic Open-Domain Metric for Factual Consistency Assessment
Institute of Computational Life Sciences, Department of Life Sciences and Facility Management, Zurich University of Applied Sciences(计算生命科学研究所,生命科学与设施管理系,苏黎世应用科学大学);Swiss Institute of Bioinformatics(瑞士生物信息学研究所)
AlignCheck提出了一种可解释的开放域事实一致性评估框架,通过分解文本为原子事实并引入加权度量,提升事实评估的准确性和可解释性。
2025-12-03 cs.AI cs.CL
Identifying Factual Inconsistencies in Summaries: Grounding LLM Inference via Task Taxonomy
Pattern Recognition Center, WeChat AI(微信AI模式识别中心);South China University of Technology(华南理工大学);Pazhou Lab, Guangzhou(广州琶洲实验室);Emory University(埃默里大学)
针对摘要事实不一致检测,本文提出将错误类型任务分类法引入 LLM 的零样本与监督推理,在十数据集五领域达到 SOTA,并蒸馏出更小模型替代大型零样本 LLM。
2024-10-04 cs.CL cs.LG
Atomic Consistency Preference Optimization for Long-Form Question Answering
本文提出自监督方法ACPO,利用多个随机响应中单个事实的原子一致性信号构建偏好数据对,在不依赖外部模型或知识库的情况下提升LLM事实准确性,并在LongFact和BioGen上平均超越强监督基线1.95分。
2026-10-19 cs.CL
Prompted Zero-Shot Multi-label Classification of Factual Incorrectness in Machine-Generated Summaries
Peoples' Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学);Joint Institute for Nuclear Research(联合核研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Skövde(舍夫德大学)
本文针对机器生成摘要中的事实错误,提出基于提示的零样本多标签分类系统,将错误分为歪曲、数量不准、错误归因和捏造四类,并通过定性评估验证其检测效果。
2023-12-02 cs.AI cs.CL
Discourse Understanding and Factual Consistency in Abstractive Summarization
University of Washington(华盛顿大学);Microsoft Research(微软研究院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Stanford University(斯坦福大学);University of Cape Town(开普敦大学)
我们介绍了一个抽象的摘要与事实的一致性和独特的建模的叙述流在输出摘要的一般框架。我们的工作解决了当前抽象摘要模型的局限性,这些模型通常会产生幻觉信息或生成具有一致性问题的摘要。为了生成具有事实一致性和叙述流的抽象摘要,我们提出了合作生成器-鉴别器网络(Co-opNet),这是一种新的基于变换器的框架,其中生成器与一个转换器架构一起工作,以组成连贯的长格式摘要。我们探讨了四个不同的目标,每个捕获不同方面的连贯性,包括是否显着跨度生成的摘要是幻觉或出现在输入的上下文中,和句子相邻生成的摘要的可能性。我们使用arXiv科学论文来衡量Co-opNet学习这些目标的能力,使用摘要作为黄金长格式科学文章摘要的代理。自动和人工评估的实证结果表明,与竞争基线相比,Co-opNet学习总结具有显著提高的全局一致性。
2021-04-09 cs.CL
UniArk: Improving Generalisation and Consistency for Factual Knowledge Extraction through Debiasing
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);School of Computer Science and Informatics, Cardiff University(卡迪夫大学计算机科学与信息学院)
本文提出基于适配器的框架 UniArk,通过同时去偏预训练与微调目标,在不增加参数的情况下提升语言模型事实知识抽取的域外泛化性和一致性,并构建了大规模改写数据集 ParaTrex 用于评估不一致性。
2024-04-01 cs.CL
Probing Factually Grounded Content Transfer with Factual Ablation
University of Washington(华盛顿大学);Microsoft Research(微软研究院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
尽管最近取得了成功,但大型神经模型通常会生成不正确的文本。更糟糕的是,缺乏对真实性的标准自动评估--如果无法衡量,就无法有意义地改进。扎根生成有望解决这两个问题:模型利用可靠的外部文档(接地)获取事实信息,简化了真实性的挑战。衡量真实性也被简化为事实的一致性,测试一代人是否同意基础,而不是所有的事实。然而,没有一个标准的自动度量事实的一致性,事实接地生成仍然是一个悬而未决的问题。我们研究这个问题的内容传输,在这几代人延长提示,使用信息从事实接地。特别是,这个领域允许我们引入事实消融的概念,用于自动测量事实一致性:这捕获了这样一种直觉,即模型不太可能在给定不太相关的基础文档的情况下产生输出。在实践中,我们通过呈现具有两个基础文档的模型来衡量这一点,并且模型应该更喜欢使用与事实更相关的文档。我们提供了两个评估集来衡量这一点。应用我们的新评估,我们提出了多种新方法,在强基线上进行改进。
2022-03-29 cs.AI cs.CL
COFFEQA: Counterfactual-Guided Few-Shot Distillation for LLM Question Answering
University of Maryland, College Park(马里兰大学学院公园分校)
COFFEQA是一种用于大语言模型问答的反事实引导少样本蒸馏策略,通过引入CFD指标验证事实-反事实对,在多个问答基准上优于仅事实的蒸馏基线。
2026-10-12 cs.AI cs.CL cs.LG
SummExecEdit: A Factual Consistency Benchmark in Summarization with Executable Edits
Salesforce AI Research(Salesforce人工智能研究)
本文提出SummExecEdit基准,利用可执行编辑评估模型检测摘要事实错误及提供解释的能力,发现现有20多个LLM表现不佳,最佳模型Claude3-Opus联合得分仅0.49,并揭示了四种主要解释错误类型。
2025-05-30 cs.CL
PolyFact: Comparing Consistency-Driven Post-training Methods for Cross-Lingual Factual Recall
University College London(伦敦大学学院);Centre for Artificial Intelligence(人工智能中心)
提出PolyFact数据集,利用GRPO强化学习方法提升大语言模型的跨语言事实回忆一致性,优于监督微调,并揭示其通过减少语言专用表示实现跨语言共享的机制。
2026-08-10 cs.CL
LongDocFACTScore: Evaluating the Factuality of Long Document Abstractive Summarisation
Artificial Intelligence Research Center(人工智能研究中心)
本文提出LongDocFACTScore框架及LongSciVerify数据集,用于评估长文档摘要的事实一致性,该框架可扩展至任意长度文档,且与人类判断的相关性优于现有指标。
2024-05-28 cs.AI cs.CL cs.LG
ReFEree: Reference-Free and Fine-Grained Method for Evaluating Factual Consistency in Real-World Code Summarization
本文提出ReFEree,一种无需参考的细粒度方法,用于评估现实世界代码总结中的事实一致性。通过定义特定于代码总结的事实不一致标准,并在段落层面进行评估,最终获得细粒度评分。
2026-04-12 cs.AI cs.CL cs.PL