WildHallucinations: Evaluating Long-form Factuality in LLMs with Real-World Entity Queries
Cornell University(康奈尔大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学);University of Waterloo(滑铁卢大学)
该研究提出WildHallucinations基准,通过真实世界实体查询评估LLM长文本事实性,发现LLM在无维基百科页面实体上幻觉更多,且检索组件仅能略微减少幻觉。
2024-07-24 cs.AI cs.CL
Improving Factual Completeness and Consistency of Image-to-Text Radiology Report Generation
Stanford University(斯坦福大学)
神经图像到文本放射学报告生成系统通过减少报告起草的重复过程和识别可能的医疗错误,提供了改进放射学报告的潜力。然而,现有的报告生成系统,尽管实现了高性能的自然语言生成度量,如CIDER或BLEU,仍然遭受不完整和不一致的代。在这里,我们介绍了两个新的简单的奖励,以鼓励生成事实上完整和一致的放射学报告:一个鼓励系统生成与参考一致的放射学领域实体,以及一个使用自然语言推理,以鼓励这些实体被描述在不一致的方式。我们将这些与现有的语义等价度量(BERTScore)的新用途相结合。我们进一步提出了一个报告生成系统,通过强化学习优化这些奖励。在两个开放的放射学报告数据集上,我们的系统将临床信息抽取性能的F1评分大幅提高了+22.1(Delta +63.9%)。我们通过人工评估和定性分析进一步表明,与基线相比,我们的系统导致了更真实完整和一致的世代。
2021-04-12 cs.CL
Entity-based SpanCopy for Abstractive Summarization to Improve the Factual Consistency
University of British Columbia(不列颠哥伦比亚大学)
尽管最近的抽象摘要自动评价指标的成功,生成的摘要仍然存在与源文件的事实不一致。在本文中,我们专注于实体级的事实不一致,即减少不匹配的实体之间生成的摘要和源文档。因此,我们提出了一种新的基于实体的SpanCopy机制,并探索其扩展与全局相关性组件。在4个摘要数据集上的实验结果表明,SpanCopy能有效地提高实体级的事实一致性,而对词级和实体级的显著性基本没有影响。代码可在www.example.com上获得
2022-09-07 cs.CL
Improving the Factual Correctness of Radiology Report Generation with Semantic Rewards
Stanford University(斯坦福大学)
神经图像到文本放射学报告生成系统通过减少报告起草的重复过程和识别可能的医疗错误,提供了改进放射学报告的潜力。这些系统已经实现了有前途的性能,如广泛使用的NLG指标,如BLEU和CIDER。然而,目前的系统面临着严重的局限性。首先,它们增加了架构的复杂性,仅对NLG指标进行了边际改进。其次,由于培训和评估不足,这些在这些指标上实现高性能的系统并不总是真实完整或一致的。最近的研究表明,通过使用新的方法,可以大大改善系统,鼓励1)与参考文献一致的领域实体的生成和2)以不一致的方式描述这些实体。到目前为止,这些方法依赖于弱监督方法(基于规则)和命名实体识别系统,这些系统并不特定于胸部X射线领域。为了克服这一限制,我们提出了一种新的方法,RadGraph奖励,以进一步提高事实的完整性和正确性生成的放射学报告。更准确地说,我们利用RadGraph数据集,其中包含带有实体和实体之间关系的注释胸部X射线报告。在两个开放的放射学报告数据集上,我们的系统在评估报告的事实正确性和完整性的指标上大幅提高了14.2%和25.3%的分数。
2022-10-21 cs.AI cs.CL
Be Concise and Precise: Synthesizing Open-Domain Entity Descriptions from Facts
Rutgers University - New Brunswick(罗格斯大学新不伦瑞克分校)
尽管是事实信息的巨大存储库,但跨域知识图谱,如维基数据和谷歌知识图谱,仅稀疏地提供对实体的简短概括性描述。这种简要识别实体最明显特征的描述为读者提供了几乎即时的了解他们所呈现的实体类型的信息。它们还可以帮助完成命名实体消歧、本体类型确定和回答实体查询等任务。鉴于知识图谱中的实体数量迅速增加,从底层事实信息中全自动合成简洁的文本描述是必不可少的。为此,我们提出了一种新的事实到序列的编码器-解码器模型,具有合适的复制机制,以生成简洁而精确的实体文本描述。在深入的评估中,我们证明了我们的方法显着优于最先进的替代品。
2019-04-16 cs.CL
CAIRe: Cultural Attribution of Images by Retrieval-Augmented Evaluation
BITS Pilani(比斯·皮兰大学);Carnegie Mellon University(卡内基梅隆大学);University of California, Santa Barbara(加州大学圣巴巴拉分校)
CAIRe通过检索增强评估方法,评估图像在不同文化标签下的相关性,有效衡量文化偏见,提升跨文化公平性。
2025-11-19 cs.CL cs.CV
CR-LT-KGQA: A Knowledge Graph Question Answering Dataset Requiring Commonsense Reasoning and Long-Tail Knowledge
University of Toronto(多伦多大学);Vector Institute of Artificial Intelligence(向量人工智能研究院)
本文构建CR-LT-KGQA数据集,基于Wikidata扩展StrategyQA与CREAK,涵盖问答和声明验证,考察LLM在需常识推理的长尾实体问题上的幻觉与KG利用挑战。
2024-03-03 cs.CL
Does Bielik Know What It Doesn't Know? Activation Dispersion Separates Entity Familiarity from Factual Reliability Across Model Scale
Prosit AS(Prosit公司)
研究大语言模型中实体熟悉度与事实可靠性,通过两种无监督离散度度量及有监督线性探测,在比埃利克模型上区分不同实体,发现激活离散度信号在模型规模上与事实可靠性表现不同,已知实体中区分正误更难,模型几乎不弃权。
2026-07-09 cs.CL cs.LG
Improving Factual Consistency in Summarization with Compression-Based Post-Editing
Salesforce AI Research(Salesforce人工智能研究院)
最先进的摘要模型仍然很难与输入文本保持一致。解决这个问题的一种与模型无关的方法是对生成的摘要进行后期编辑。然而,如果合适的输入实体替换不可用或者可能插入错误内容,则现有方法通常无法移除实体错误。在我们的工作中,我们专注于删除外部实体错误,或不在源代码中的实体,以提高一致性,同时保留摘要的基本信息和形式。我们建议使用压缩数据来训练后编辑模型,以获取带有用特殊标记标记的外部实体错误的摘要,并输出一个压缩的、格式良好的摘要,其中删除了这些错误。我们发现,该模型在保持ROUGE的同时提高了事实一致性,在XSum上将实体精度提高了30%,并且该模型可以应用于另一个后期编辑器,将实体精度提高了38%。我们进行了广泛的比较后编辑的方法,证明事实的一致性,信息量和语法之间的权衡,我们分析设置后编辑器显示最大的改进。
2022-11-11 cs.CL
Understanding New-Knowledge-Induced Factual Hallucinations in LLMs: Analysis and Interpretation
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室);Huawei Translation Services Center(华为翻译服务中心)
研究探讨了新知识微调导致的大语言模型事实幻觉现象,通过设计Biography-Reasoning数据集,分析不同知识类型和任务类型中的幻觉表现,发现知识类型中不熟悉程度是幻觉的主要驱动因素。
2026-04-17 cs.CL
NativE: Multi-modal Knowledge Graph Completion in the Wild
Zhejiang University(浙江大学);Ant Group(蚂蚁集团);Zhejiang University-Ant Group Joint Laboratory of Knowledge Graph(浙江大学-蚂蚁集团知识图谱联合实验室);Alibaba-Zhejiang University Joint Institute of Frontier Technology(阿里巴巴-浙江大学前沿技术联合研究院)
针对真实多模态知识图谱中模态多样且分布不均的挑战,提出综合框架NativE,通过关系引导双重自适应融合与协作模态对抗训练增强不平衡信息,并在新基准WildKGC上取得SOTA表现。
2024-03-28 cs.AI cs.CL cs.CV
Entity-level Factual Consistency of Abstractive Text Summarization
Amazon Web Services(亚马逊网络服务);Columbia University(哥伦比亚大学)
摘要摘要的一个关键挑战是确保生成的摘要与原始文档的事实一致性。例如,在现有数据集上训练的最先进的模型表现出实体幻觉,生成源文档中不存在的实体名称。我们提出了一组新的指标来量化生成的摘要的实体级事实的一致性,我们表明,实体幻觉问题可以通过简单地过滤训练数据来缓解。此外,我们提出了一个值得总结的实体分类任务的训练过程,以及一个联合实体和摘要生成方法,从而进一步提高实体级指标。
2021-02-18 cs.AI cs.CL
MLRIP: Pre-training a military language representation model with informative factual knowledge and professional knowledge base
School of Automation, Nanjing University of Science and Technology(自动化学院,南京理工大学)
针对现有方法未能充分利用军事文本内在战术关联且引入外部噪声的问题,提出MLRIP预训练框架,通过分层知识整合与双阶段实体替换机制建模军事实体作战关联,在多项军事NLP任务上取得最先进性能。
2025-10-14 cs.CL
Multi-Fact Correction in Abstractive Text Summarization
Mila(米拉研究中心);McGill University(麦吉尔大学);Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究院)
预训练的神经抽象摘要系统在新闻摘要性能上占主导地位,至少在ROUGE方面。然而,系统生成的摘要往往面临事实不一致的陷阱:生成与源文本相关的不正确事实。为了应对这一挑战,我们提出了跨度事实,一套两个事实校正模型,利用知识学习的问答模型,使更正系统生成的摘要通过跨度选择。我们的模型采用单一或多掩蔽策略迭代或自回归替换实体,以确保语义一致性w.r.t.源文本,同时保留由抽象摘要模型生成的摘要的句法结构。实验表明,我们的模型显着提高了系统生成的摘要的事实一致性,而不会牺牲摘要质量的自动指标和人类评估。
2020-10-06 cs.CL
Factuality Enhanced Language Models for Open-Ended Text Generation
Hong Kong University of Science and Technology(香港科技大学);NVIDIA(英伟达)
预训练的语言模型(LM)容易生成含有非事实信息的文本。在这项工作中,我们测量和提高开放式文本生成的大规模LM的实际精度。我们设计了FactualityTests测试集和指标来衡量LM生成的真实性。在此基础上,我们研究了参数大小从126 M到530 B的线性矩阵的实际精度。有趣的是,我们发现较大的LM比较小的LM更真实,尽管先前的研究表明,较大的LM在误解方面可能不太真实。此外,流行的采样算法(例如,top-p)可能由于在每个采样步骤引入的“均匀随机性”而损害真实性。我们提出了事实核采样算法,动态地适应随机性,以提高真实性的产生,同时保持质量。此外,我们分析了标准训练方法在从事实文本语料库(例如,Wikipedia).我们提出了一种事实增强的训练方法,使用TopicPrefix更好地意识到事实和句子完成作为训练目标,这可以大大减少事实错误。我们在https://github.com/nayeon7lee/FactualityPrompt上发布我们的代码和FactualityLogistics基准。
2023-03-02 cs.AI cs.CL cs.CY
Consistent Document-Level Relation Extraction via Counterfactuals
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出CovEReD反事实数据生成方法,通过实体替换解决文档级关系抽取模型的事实偏差和不一致性问题,同时发布Re-DocRED-CF数据集以评估模型一致性。
2024-10-15 cs.CL
ExpArt-KG: Artwork Image Description Generation through Iterative Exploration of Knowledge Graphs
The University of Tokyo(东京大学);Nara Institute of Science and Technology (NAIST)(奈良科学技术研究所)
本研究提出结合检索增强生成(RAG)的框架,构建艺术品知识图谱ExpArt-KG,通过交替生成答案与检索知识、用正确性判断控制搜索,提升艺术品图像解释的详细度并降低检索成本。
2026-09-02 cs.CL cs.CV
Faithful to the Document or to the World? Mitigating Hallucinations via Entity-linked Knowledge in Abstractive Summarization
Mila(米拉研究所);McGill University(麦吉尔大学);Google Research(谷歌研究院)
尽管最近在抽象摘要方面取得了进展,但当前的摘要系统仍然遭受内容幻觉,其中模型生成与源文档无关或矛盾的文本。然而,先前的工作一直是基于这样的假设,即任何没有明确出现在源中的生成事实都是不受欢迎的幻觉。已经提出了通过最终提高对源文档的“忠诚度”来解决这种情况的方法,但实际上,黄金参考目标中有很大一部分实体并不直接位于源中。在这项工作中,我们表明,这些实体不是畸变,而是需要利用外部世界的知识来推断推理路径的实体在源。我们表明,通过利用外部的知识库,我们可以提高摘要的忠实性,而不是简单地使他们更提取,此外,我们表明,从源链接的外部知识库可以受益于生成的摘要的真实性。
2022-04-28 cs.CL
Multilingual Models for Check-Worthy Social Media Posts Detection
Kempelen Institute of Intelligent Technologies(凯姆佩伦智能技术研究所);West Pomeranian University of Technology in Szczecin(什切青西波美拉尼亚理工大学)
本研究开发了可高效同时检测社交媒体中有害帖子及可核查事实主张的多标签多语言分类模型,验证了其鲁棒性,覆盖多语言场景。
2026-09-07 cs.CL
Exploring Neural Entity Representations for Semantic Information
Duolingo(多邻国);Carnegie Mellon University(卡内基梅隆大学)
用于嵌入实体的神经方法通常在下游任务上进行外部评估,最近,本质上使用探测任务。由于任务结构的差异,下游基于任务的比较通常很难解释,而探测任务评估通常只关注少数属性和模型。我们通过在一组简单的探测任务上评估一组不同的八种神经实体嵌入方法来解决这两个问题,展示哪些方法能够记住用于描述实体的单词,学习类型,关系和事实信息,并确定实体被提及的频率。我们还在两个实体链接任务的统一框架中比较了这些方法,并讨论了它们如何推广到不同的模型架构和数据集。
2020-11-17 cs.CL
On the Entity-Level Alignment in Crosslingual Consistency
Center for Information and Language Processing, LMU Munich(信息与语言处理中心,慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML));Sorbonne Université, CNRS, ISIR, France(索邦大学,CNRS,ISIR,法国)
本研究假设跨语言事实不一致源于实体对齐失败,提出SubSub和SubInj方法将主体英文翻译集成至提示中,显著提升了多语言LLMs的事实回忆准确性与一致性。
2025-10-11 cs.CL
The X Types -- Mapping the Semantics of the Twitter Sphere
University of Haifa(海法大学)
针对Twitter缺乏结构化语义信息的问题,该研究通过将约20万账户与DBpedia和Wikidata对齐获取标签,微调Transformer文本编码器生成语义嵌入并结合网络嵌入,构建了136种细粒度语义类型的预测模型,揭示了Twitter全局语义并提升了实体相似性评估性能。
2024-09-22 cs.CL
AFCS: Atomic-Fact-Conditioned Synthesis for Factual Knowledge Pretraining
Hunyuan Team, Tencent(腾讯混元团队)
本研究提出AFCS流水线,通过原子事实条件合成生成知识语料库,在OLMo-3-7B等模型的持续预训练实验中,其在多个问答基准上优于WRAP等方法,且事实级合成效果更优。
2026-10-15 cs.AI cs.CL
To Know or Not To Know? Analyzing Self-Consistency of Large Language Models under Ambiguity
LMU Munich(慕尼黑大学);Faculty of Philological and Cultural Studies, University of Vienna(维也纳大学语言与文化学院);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);UniVie Doctoral School Computer Science(维也纳大学计算机博士学院)
本文针对大语言模型在实体类型歧义下的自洽性问题,提出区分知识掌握与知识应用的评估协议,在49个歧义实体上测试并揭示LLMs准确率有限且存在系统性不一致,强调需解决实体歧义以提升模型可信度。
2024-10-04 cs.CL cs.LG
The Integration of Semantic and Structural Knowledge in Knowledge Graph Entity Typing
The Chinese University of Hong Kong(香港中文大学)
针对知识图谱实体类型划分任务忽视语义知识及假阴性问题,提出融合语义与结构知识的SSET框架,通过语义编码、结构聚合和无监督重排三模块显著提升预测性能。
2024-04-12 cs.AI cs.CL
On the Role of Conceptualization in Commonsense Knowledge Graph Construction
Hong Kong University of Science and Technology(香港科技大学);Tencent(腾讯)
常识知识图谱(CKG)如Atomic和ASER与传统知识图谱有很大的不同,因为它们由大量由松散结构的文本形成的节点组成,这虽然使它们能够处理与常识相关的自然语言中的高度多样化的查询,但导致自动知识图谱构建方法的独特挑战。除了识别节点之间的KG中不存在的关系之外,还期望这些方法探索由文本表示的不存在的节点,其中可能出现不同的现实世界事物或实体。为了处理现实世界中涉及常识的无数实体,我们将概念化引入CKG构造方法,即,将文本中提到的实体视为特定概念的实例,反之亦然。我们通过概念化构建合成三元组,并进一步将任务制定为三元组分类,由一个具有从预训练的语言模型转移的知识的判别模型处理,并通过负采样进行微调。实验表明,我们的方法可以有效地识别合理的三元组和扩大KG的三元组的新节点和边缘的高多样性和新颖性。
2020-04-07 cs.AI cs.CL
Real-Time Detection of Hallucinated Entities in Long-Form Generation
本文提出了一种廉价且可扩展的方法,用于实时检测长文本生成中的幻觉实体,通过网络搜索标注数据集训练高效分类器,并在多个模型家族上实现了优于基线的检测效果。
2026-02-05 cs.AI cs.CL cs.LG
When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories
University of Washington(华盛顿大学);Johns Hopkins University(约翰斯·霍普金斯大学);Allen Institute for AI(艾伦人工智能研究所)
本文探究了语言模型在事实知识记忆上的局限,发现在PopQA数据集上模型对冷门知识记忆不佳且规模扩展效果有限,据此提出一种仅在必要时检索非参数化记忆的方法,显著提升了性能并降低推理成本。
2023-07-02 cs.AI cs.CL cs.LG
Duality-Induced Regularizer for Semantic Matching Knowledge Graph Embeddings
University of Science and Technology of China(中国科学技术大学);Hefei Comprehensive National Science Center(合肥综合性国家科学中心);Texas A&M University(德克萨斯农工大学)
语义匹配模型--假设具有相似语义的实体具有相似的嵌入--在知识图谱嵌入(KGE)中显示出强大的功能。现有的语义匹配模型多采用嵌入空间的内积来度量静态和时态知识图谱中三元组和四元组的可扩展性。然而,与另一个向量具有相同内积的向量仍然可以彼此正交,这意味着具有相似语义的实体可能具有不同的嵌入。内积的这种性质极大地限制了语义匹配模型的性能。为了解决这一挑战,我们提出了一种新的正则化器-即Duality-induced Regularizer(DURA)-它有效地鼓励具有相似语义的实体具有相似的嵌入。DURA的主要新颖性是基于这样的观察,即对于现有的语义匹配KGE模型(原始),通常存在另一个与之密切相关的基于距离的KGE模型(对偶),这可以用作实体嵌入的有效约束。实验表明,DURA一致和显着提高了最先进的静态和时间知识图谱基准的语义匹配模型的性能。
2022-04-06 cs.AI cs.CL
Semantic Framework based Query Generation for Temporal Question Answering over Knowledge Graphs
Nanjing University(南京大学)
本文提出SF-TQA方法,基于时序约束语义框架生成查询图,解决时序知识图谱问答中事件时间关联问题,在两个基准上显著优于现有方法。
2023-05-11 cs.CL
ACLM: A Selective-Denoising based Generative Data Augmentation Approach for Low-Resource Complex NER
NSUT Delhi(德里内塔吉·苏巴斯科技大学);University of Maryland, College Park(马里兰大学帕克分校);NVIDIA(英伟达)
本文提出基于 BART 与注意力图选择性去噪的生成式数据增强方法 ACLM,以缓解低资源复杂 NER 的上下文—实体不匹配问题,并在单语、跨语言和多语设置中显著提升性能。
2023-06-01 cs.AI cs.CL cs.IR
BioAug: Conditional Generation based Data Augmentation for Low-Resource Biomedical NER
University of Maryland, College Park(马里兰大学帕克分校)
提出基于BART的BioAug数据增强框架,通过选择性掩码和知识增强的文本重建任务,在5个基准数据集上显著提升低资源BioNER性能。
2023-05-18 cs.AI cs.CL cs.IR
Robust LLM Watermarking with Minimal Semantic Distortion for IP Protection
State University of New York at Albany(纽约州立大学阿尔巴尼分校);New Jersey Institute of Technology(新泽西理工学院);Microsoft(微软);Kent State University(肯特州立大学)
提出SAFESEAL框架,通过密钥条件锦标赛采样和对比检测器,在保持语义保真度的同时实现强可检测性、高实用性和鲁棒性,用于保护专有大语言模型的知识产权。
2026-10-21 cs.CL cs.CR