DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models
Massachusetts Institute of Technology（麻省理工学院）；Microsoft（微软公司）
针对大语言模型易产生幻觉的问题，提出无需外部知识和微调的DoLa对比层解码策略，通过对比前后层logits差异挖掘事实知识，在多类任务中显著提升模型真实性。
2024-03-11 cs.AI cs.CL cs.LG
Integrative Decoding: Improve Factuality via Implicit Self-consistency
The Hong Kong Polytechnic University（香港理工大学）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）；Microsoft Azure AI（微软Azure人工智能）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出整合式解码（ID），通过隐式自一致性在开放式生成中提升大模型事实性，在多个基准上显著改进并随采样扩展。
2025-01-23 cs.AI cs.CL cs.LG
Watermarking for Factuality: Guiding Vision-Language Models Toward Truth via Tri-layer Contrastive Decoding
CSE, Korea University（韩国大学计算机科学与工程系）；KT Corporation（KT公司）；Soongsil University（顺成大学）
提出无需训练的三层对比解码加水印方法，通过选择成熟层、业余层和枢轴层，减少视觉语言模型幻觉，在POPE、MME和AMBER基准上达到最先进性能。
2025-10-16 cs.AI cs.CV
When Context Misleads: Intent-Guided Decoding for Robust Retrieval-Augmented Generation
针对现有RAG系统固定信任策略的缺陷，提出意图引导解码（IGD）框架，经多基准评估，可显著提升事实恢复能力，同时保持或改善上下文遵循行为。
2026-08-18 cs.AI cs.CL
Invisible Ink, Visible Lies: How Production Watermarking Causes LLMs to Hallucinate
Nanjing University of Science and Technology（南京理工大学）；Anhui University of Technology（安徽工业大学）；The Hong Kong Polytechnic University（香港理工大学）；University of Luxembourg（卢森堡大学）；CSIRO（澳大利亚联邦科学与工业研究组织）
本文研究生产水印导致大语言模型幻觉的问题，提出令牌级和注意力级两种干预措施，在保持流畅性的同时将事实错误减少约90%，强调事实性应成为水印评估的首要标准。
2026-10-06 cs.AI cs.CR
The Geometry of Truth: Layer-wise Semantic Dynamics for Hallucination Detection in Large Language Models
Sirraya Labs（Sirraya实验室）
本研究针对大语言模型的幻觉问题，提出基于几何框架的逐层语义动力学（LSD）检测方法，通过层间隐藏语义轨迹分析实现单次前向传播的高效检测，性能优于现有基线且提速显著，为实时幻觉监测提供了可扩展的模型无关方案。
2025-10-06 cs.AI cs.CL cs.IT
Hallucination to Truth: A Review of Fact-Checking and Factuality Evaluation in Large Language Models
Department of Computer Science and Engineering, United International University, Dhaka 1212, Bangladesh（乌姆特国际大学计算机科学与工程系）；Department of Computer Science and Engineering, Daffodil International University, Dhaka-1341, Bangladesh（达芙尼国际大学计算机科学与工程系）；Faculty of Science and Technology, Charles Darwin University, Casuarina, NT 0909, Australia（查尔斯·达尔文大学科学与技术学院）
本文综述了大型语言模型中事实核查与事实性评估的关键挑战及方法，强调了提升事实准确性的重要性。
2025-09-26 cs.AI cs.CL cs.LG
Active Layer-Contrastive Decoding Reduces Hallucination in Large Language Model Generation
Purdue University（普渡大学）；University of California, Davis（加州大学戴维斯分校）
提出主动层对比解码（ActLCD），通过强化学习策略在生成过程中动态决定何时应用对比层，在五个基准上超越现有方法，有效缓解大语言模型的长上下文幻觉问题。
2025-09-15 cs.AI cs.CL cs.LG
Mathematical Analysis of Hallucination Dynamics in Large Language Models: Uncertainty Quantification, Advanced Decoding, and Principled Mitigation
Catholic University of America（美国天主教大学）
针对大型语言模型（LLMs）的幻觉问题，本研究提出基于数学的统一框架，结合多学科方法分析错误复合机制、提出改进指标并开发多类缓解策略，连接多领域进展以提升LLMs的安全性与可靠性。
2025-11-19 cs.AI cs.CL
APCD: Adaptive Path-Contrastive Decoding for Reliable Large Language Model Generation
本文提出了一种自适应路径对比解码方法，通过自适应探索和受控路径交互提高大型语言模型生成的可靠性，实验表明在保持解码效率的同时提升了事实准确性。
2026-10-08 cs.AI cs.CL
Truth or Deceit? A Bayesian Decoding Game Enhances Consistency and Reliability
Imperial College London（伦敦帝国学院）；University of Tokyo（东京大学）；Friedrich-Alexander University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
本文提出多阶段贝叶斯解码博弈，通过正确性对齐和模糊性校准，在无人工反馈或额外训练下区分有效与似是而非输出，使小模型可靠性超过更大模型。
2024-10-01 cs.AI
Attention-Guided Layer Selection for Contrastive Decoding in Large Language Models
Japan Advanced Institute of Science and Technology（日本先进科学技术学院）
研究大语言模型中对比解码的层选择问题，提出Attention-JSD等三种基于注意力引导的策略，实验表明这些策略在TruthfulQA上优于原始DoLa，在多答案指标上有显著提升，凸显注意力分布在解决事实性知识上的优势。
2026-07-28 cs.AI cs.CL
SH2: Self-Highlighted Hesitation Helps You Decode More Truthfully
Shanghai Jiao Tong University（上海交通大学）
针对大语言模型的幻觉问题，本文提出推理阶段的自高亮犹豫（SH2）方法，通过高亮低概率事实token并结合对比解码，无需额外数据或模型即可显著提升多个模型在幻觉任务上的事实生成准确性。
2024-10-07 cs.AI cs.CL
Quantifying truth and authenticity in AI-assisted candidate evaluation: A multi-domain pilot analysis
Altera Strategy Foundry Inc.（阿尔特拉战略铸造公司）
本文分析了AI原生平台AlteraSF在试点招聘中的候选人评估数据，提出多维验证框架，通过事实有效性、工作匹配度及语言真实性模式评估候选人真实性，实现90-95%筛选时间缩减并提升招聘效率与系统信任。
2025-11-05 cs.AI cs.HC
HICD: Hallucination-Inducing via Attention Dispersion for Contrastive Decoding to Mitigate Hallucinations in Large Language Models
Shanghai Advanced Research Institute, Chinese Academy of Sciences（上海先进研究院，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
提出HICD方法，通过选择关键注意力头并分散其注意力诱导幻觉，与原始输出对比解码，以缓解大语言模型幻觉，提升上下文忠实性和事实性任务性能。
2025-05-23 cs.AI cs.CL
MAP: Mitigating Hallucinations in Large Vision-Language Models with Map-Level Attention Processing
DAIL Tech（DAIL科技）
MAP通过地图级注意力处理提升大视觉-语言模型的事实一致性与性能。
2026-03-06 cs.AI cs.CV
Alleviating Hallucinations of Large Language Models through Induced Hallucinations
Tencent AI Lab（腾讯AI Lab）
针对大语言模型的幻觉问题，提出“诱导-对比”解码策略，通过构建弱事实性模型并在解码时惩罚诱导幻觉，有效提升多类模型的事实准确性，部分小模型性能可对标ChatGPT、GPT4。
2024-03-11 cs.AI cs.CL
BaRDa: A Belief and Reasoning Dataset that Separates Factual Accuracy and Reasoning Ability
Allen Institute for AI（艾伦人工智能研究所）
本文提出了 BaRDa 数据集，通过利用真假事实混合的人工标注蕴含树，清晰区分并量化了语言模型的事实准确性与推理能力。
2024-03-23 cs.AI cs.CL
Rome was built in 1776: A Case Study on Factual Correctness in Knowledge-Grounded Response Generation
University of North Carolina, Charlotte（北卡罗来纳大学夏洛特分校）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
最近，神经响应生成模型已经利用大型预训练的Transformer模型和知识片段来生成相关的和信息丰富的响应。但是，这并不能保证生成的响应是真实正确的。在本文中，我们研究知识为基础的神经反应生成模型中的事实正确性。我们提出了一个人的注释设置，以确定三种不同的响应类型：与输入知识实际上一致的响应，包含幻觉知识的响应，以及不可验证的闲聊风格的响应。我们使用这种设置来注释使用不同的最先进的模型，知识片段和解码策略生成的响应。此外，为了促进事实一致性检测器的开发，我们自动创建了一个名为Conv-FEVER的新语料库，该语料库改编自维基百科数据集的向导，包括事实一致和不一致的响应。我们证明了我们的Conv-FEVER数据集的好处，通过对我们的人类注释数据进行评估，表明在此数据上训练的模型在检测与所提供的知识有关的事实上不一致的反应方面表现得相当好。我们将发布Conv-FEVER数据集和人类注释的响应。
2022-10-04 cs.AI cs.CL
Factuality Enhanced Language Models for Open-Ended Text Generation
Hong Kong University of Science and Technology（香港科技大学）；NVIDIA（英伟达）
预训练的语言模型（LM）容易生成含有非事实信息的文本。在这项工作中，我们测量和提高开放式文本生成的大规模LM的实际精度。我们设计了FactualityTests测试集和指标来衡量LM生成的真实性。在此基础上，我们研究了参数大小从126 M到530 B的线性矩阵的实际精度。有趣的是，我们发现较大的LM比较小的LM更真实，尽管先前的研究表明，较大的LM在误解方面可能不太真实。此外，流行的采样算法（例如，top-p）可能由于在每个采样步骤引入的“均匀随机性”而损害真实性。我们提出了事实核采样算法，动态地适应随机性，以提高真实性的产生，同时保持质量。此外，我们分析了标准训练方法在从事实文本语料库（例如，Wikipedia）.我们提出了一种事实增强的训练方法，使用TopicPrefix更好地意识到事实和句子完成作为训练目标，这可以大大减少事实错误。我们在https://github.com/nayeon7lee/FactualityPrompt上发布我们的代码和FactualityLogistics基准。
2023-03-02 cs.AI cs.CL cs.CY
Knowledge Infused Decoding
Dartmouth College（达特茅斯学院）；Microsoft（微软）；Northwestern University（西北大学）
预训练的语言模型（LM）已经被证明可以从预训练语料库中记住大量的知识;然而，它们在给定特定上下文的情况下仍然受限于回忆事实上正确的知识。因此，当用于知识密集型自然语言生成（NLG）任务时，它们往往会遭受反事实或幻觉生成。最近的补救措施，这个问题的重点是修改预训练或任务微调目标，以纳入知识，这通常需要额外的昂贵的培训或架构修改LM的实际应用。我们提出了知识注入解码（KID）-一种新的解码算法生成LM，动态注入外部知识到LM解码的每一步。具体来说，我们保持一个本地知识记忆的基础上，当前的背景下，与动态创建的外部知识trie进行交互，并不断更新本地存储器作为知识感知的约束，以指导解码通过强化学习。在六个不同的知识密集型NLG任务上，任务不可知的LM（例如，GPT-2和BART）配备KID的性能优于许多任务优化的最先进的模型，并显示出特别强大的性能在Few-Shot的情况下超过七个相关的知识注入技术。人工评估证实，与多个基线相比，KID能够为输入上下文生成更相关和更真实的语言。最后，KID还消除了曝光偏差，并在生成较长序列时提供稳定的生成质量。KID代码可在https://github.com/microsoft/KID上获得。
2022-04-06 cs.AI cs.CL cs.LG
Knowledge Injection Exists in MoE? Exploring Expert-Aware Contrast Decoding in MoE for Mitigating LLMs'Hallucinations
College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机科学与技术学院）
研究探索混合专家模型中基于专家感知的对比解码以减轻大语言模型幻觉问题。提出EAACD方法，利用MoE高层专家差异，将专家分组对比校准预测，放大低可靠性专家幻觉提供负面参考，在四个数据集上优于所有基线。
2026-07-24 cs.AI cs.CL
From Confidence to Collapse in LLM Factual Robustness
Technical University of Munich（慕尼黑技术大学）
本研究提出了一种通过分析令牌分布熵和温度缩放敏感性来评估大语言模型事实鲁棒性的新方法，并通过实验验证了其有效性。
2025-11-20 cs.AI cs.CL
EchoChange: A Diffusion Language Model with Dual Pass Remasking for Factual Remote Sensing Disaster Change Captioning
针对现有遥感灾害变化描述方法的级联事实错误问题，提出EchoChange扩散语言模型，经实验在RSCC基准上优于各类基线
2026-08-17 cs.AI
Hallucination-R1: Robustness-Oriented Paraphrase Generation for Factual Consistency
Beihang University（北京航空航天大学）
提出HALLUCINATION-R1框架，通过两阶段优化生成语义忠实且具挑战性的改写，揭示并提升问答模型的事实一致性鲁棒性，实验验证其有效性与数据价值。
2026-09-21 cs.AI cs.CL
FactReasoner: A Probabilistic Approach to Long-Form Factuality Assessment for Large Language Models
IBM Research（IBM研究院）；IT:U - Interdisciplinary Transformation University Austria（interdisciplinary Transformation University Austria）
针对大语言模型生成长文本时的事实准确性问题，提出基于神经符号的FactReasoner框架，通过分解原子单元、检索外部证据、概率建模逻辑关系评估真实性，在事实精确率和召回率上优于现有方法且开源。
2025-11-12 cs.AI cs.CL
LFD: Layer Fused Decoding to Exploit External Knowledge in Retrieval-Augmented Generation
Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education, School of Cyber Science and Engineering, Wuhan University（航空信息安全与可信计算重点实验室，教育部，武汉大学计算机科学与工程学院）；Lehigh University（莱斯大学）；Monash University（墨尔本大学）；City University of Hong Kong（香港城市大学）；CNCERT/CC（国家互联网应急中心）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Search Team, WeChat, Tencent Inc.（微信搜索团队，腾讯公司）
LFD通过层融合解码策略，利用中层表示与最终层解码输出结合，提升RAG系统在检索外部事实性知识上的效率。
2026-01-07 cs.AI cs.CL
Self-Alignment for Factuality: Mitigating Hallucinations in LLMs via Self-Evaluation
Tencent AI Lab（腾讯AI实验室）；The Chinese University of Hong Kong（香港中文大学）
本文提出面向事实性的 LLM 自对齐方法，通过 Self-Eval 与 SK-Tuning 生成自评估偏好信号并以 DPO 微调，显著提升 Llama 模型在 TruthfulQA 和 BioGEN 上的事实准确性。
2024-06-11 cs.AI cs.CL
Truth, Trust, and Trouble: Medical AI on the Edge
Jamia Hamdard（贾迈亚哈姆达德大学）；DSEU-Okhla；Macquarie University（麦考瑞大学）；Center for SDGC, Stanford University（SDGC中心，斯坦福大学）
通过一个包含1000多个健康问题的基准测试框架，评估Mistral-7B、BioMistral-7B-DARE和AlpaCare-13B三个模型在诚实、有用性和无害性方面的表现，发现AlpaCare-13B准确率最高（91.7%）且无害性最佳（0.92），而领域微调可提升安全性，少样本提示能提高准确率，但复杂查询下有用性下降。
2026-05-31 cs.AI cs.CL
On Coordinate Decoding for Keypoint Estimation Tasks
Centre for Research & Technology Hellas（色雷斯研究与技术中心）；Information Technologies Institute（信息技术研究所）
一系列2D（和3D）关键点估计任务建立在热图坐标表示上，即允许网格上的关键点坐标的可学习和空间感知编码和解码的概率图，甚至允许子像素坐标精度。在本报告中，我们的目标是重现DARK的研究结果，该研究通过强调地面实况热图的编码和预测热图到关键点坐标的解码的重要性来研究2D热图表示。作者声称：a）一种更有原则的分布感知坐标解码方法克服了文献中广泛使用的标准技术的局限性，以及b）通过生成准确和连续的热图分布从地面实况坐标重建热图导致无偏模型训练，与在输入图像网格的分辨率上量化关键点坐标的标准坐标编码过程相反。
2021-10-19 cs.AI cs.CV cs.LG
DSCC-HS: A Dynamic Self-Reinforcing Framework for Hallucination Suppression in Large Language Models
School of Computing and Technology（计算机学院）；China University of Petroleum（中国石油大学）；Qingdao（青岛）
提出DSCC-HS框架，通过FAP和HDP双代理在自回归解码时注入实时引导向量，无需修改目标模型即可主动抑制LLM幻觉，在TruthfulQA和BioGEN上达到SOTA。
2025-09-17 cs.AI cs.CL
Promote, Suppress, Iterate: How Language Models Answer One-to-Many Factual Queries
University of Southern California（南加州大学）
本文揭示语言模型回答一对多事实查询时采用“先促进后抑制”机制，先回忆全部答案再抑制已生成项，并通过Token Lens和knockout方法验证了注意力与MLP的分工。
2025-09-23 cs.AI cs.CL cs.LG
Self-Aug: Query and Entropy Adaptive Decoding for Large Vision-Language Models
Arizona State University（亚利桑那州立大学）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔兰根-纽伦堡弗里德里希-亚历山大大学）
本研究提出Self-Aug，一种无需训练的解码策略，通过自增强提示和自适应阈值算法提升大视觉-语言模型的事实一致性。
2026-03-03 cs.AI cs.CV
Stemming Hallucination in Language Models Using a Licensing Oracle
RA Software（RA软件公司）；Sofia University “St. Kliment Ohridski”（索非亚大学）
本文提出许可预言机（Licensing Oracle），通过在语言模型生成过程中引入基于结构化知识图谱的确定性验证来遏制幻觉，实验表明其可实现完美弃权（不执行）和零错误回答，优于微调与RAG等统计方法。
2025-11-08 cs.AI cs.CL cs.LG
The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets
Northeastern University（东北大学）；MIT（麻省理工学院）
该研究通过可视化、迁移实验和因果干预三方面证据，验证了大语言模型对事实真假存在线性表征结构，且简单均值差探针泛化性佳且因果关联性更强。
2024-08-19 cs.AI
An Analysis of Decoding Methods for LLM-based Agents for Faithful Multi-Hop Question Answering
University of Edinburgh（爱丁堡大学）
本文系统分析了ReAct框架与DeCoRe、DoLa、CAD等解码策略的结合对LLM多跳问答忠实度的影响，发现该方法显著提升了下游任务的准确性。
2025-03-30 cs.AI cs.CL
Towards Reliable Truth-Aligned Uncertainty Estimation in Large Language Models
Nanyang Technological University（南洋理工大学）；KAIST（韩国科学技术院）；Shanghai Jiao Tong University（上海交通大学）
本文提出Truth AnChoring方法，通过将原始分数映射到事实对齐分数，解决不确定性估计指标在低信息区域的非判别性问题，提升大语言模型的可靠性。
2026-10-19 cs.AI cs.CL
Retrieval-Constrained Decoding Reveals Underestimated Parametric Knowledge in Language Models
Télécom Paris, Institut Polytechnique de Paris（巴黎电信学院，巴黎理工学院）；Université Paris-Saclay, CentraleSupélec, Inria（巴黎萨克雷大学，中央理工-SUPÉLEC，Inria）
针对严格评估因答案表层形式不同而低估语言模型参数知识的问题，提出 RCD 解码策略，并通过 YAGO-QA 数据集证明其可显著提升开源 LM 的问答 F1。
2025-09-27 cs.AI cs.CL
ListQA: A Benchmark for Evaluating List-Formatted Factual Knowledge Retrieval in Large Language Models
Amazon AGI（亚马逊AGI）
该研究推出ListQA基准，评估大语言模型的列表格式事实知识检索能力，发现模型组织事实易但仅从参数检索难，提供维基百科源可大幅提升性能。
2026-10-15 cs.AI cs.CL
SciFix: Outperforming GPT3 on Scientific Factual Error Correction
Carnegie Mellon University（卡内基梅隆大学）
SciFix无需验证器，利用LLM提示生成注释数据并采用主张感知解码，在科学事实纠正上以84%、77%、72%准确率大幅超越现有方法及GPT3.5。
2023-10-12 cs.AI cs.CL cs.LG
Memory-Augmented Knowledge Fusion with Safety-Aware Decoding for Domain-Adaptive Question Answering
Independent Researcher（独立研究者）；Boston University（波士顿大学）；Binghamton University（伯克利大学）
KARMA通过记忆增强和安全意识解码提升领域自适应问答的准确性和安全性
2025-12-02 cs.AI cs.CL
MediEval: A Unified Medical Benchmark for Patient-Contextual and Knowledge-Grounded Reasoning in LLMs
TU Dresden and ScaDS.AI（德累斯顿理工大学和ScaDS.AI）
MediEval通过整合MIMIC-IV电子健康记录与统一的知识库，系统评估医疗模型的知识基础和上下文一致性，识别关键失败模式并提出CoRFu方法提升准确性和安全性。
2026-05-07 cs.AI cs.CL
Personas as a Way to Model Truthfulness in Language Models
New York University（纽约大学）；ETH Zurich（苏黎世联邦理工学院）；Boston University（波士顿大学）
本文提出“人格假设”，认为预训练数据中的（不）真实智能体群体形成人格，使语言模型能在激活空间中表征并控制真实性，并通过探测与微调实验及算术环境验证。研究揭示模型可利用数据层次结构学习真实性等抽象概念。
2024-02-06 cs.AI cs.CL cs.LG
Enhancing Contextual Understanding in Large Language Models through Contrastive Decoding
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Amazon（亚马逊）
本文提出一种在推理时结合对比解码与对抗性不相关段落负样本的方法，以增强大语言模型在开放域问答中的上下文锚定能力，实验证明其优于现有方法且无需额外训练。
2024-05-04 cs.AI cs.CL
The Energy of Falsehood: Detecting Hallucinations via Diffusion Model Likelihoods
Dell Technologies, CSG CTO Team（戴尔技术，CSG CTO团队）
DiffuTruth通过扩散模型似然检测幻觉，利用非平衡热力学原理，提出语义能量度量和混合校准方法，在FEVER和HOVER数据集上取得显著性能提升。
2026-02-11 cs.AI cs.CL
AssertBench: A Benchmark for Evaluating Self-Assertion in Large Language Models
Brown University（布朗大学）
本研究提出基准AssertBench，从FEVEROUS数据集采样有证据支撑的事实构建正反两种表述提示，通过分层结果分离表述影响与事实知识，评估大语言模型在面对用户矛盾断言时的自我断言能力。
2025-06-08 cs.AI cs.CL cs.LG
Ground-Truth Subgraphs for Better Training and Evaluation of Knowledge Graph Augmented LLMs
Graphcore Research（Graphcore研究院）
SynthKGQA通过生成高质量的知识图谱问答数据集，提升知识图谱增强大语言模型的训练和评估效果。
2026-10-15 cs.AI cs.CL cs.IR
The Metanym Game: An LLM Benchmark Without Ground Truth That Rises With the Models It Measures
提出Metanym游戏作为LLM结构智能基准，通过同行互评和奇异值分解实现无黄金标准的客观评估，事实评分与GPQA Diamond相关性达0.92，发现评判能力比生成能力更稀缺。
2026-09-22 cs.AI cs.CL cs.LG
