Mathematical Analysis of Hallucination Dynamics in Large Language Models: Uncertainty Quantification, Advanced Decoding, and Principled Mitigation
Catholic University of America(美国天主教大学)
针对大型语言模型(LLMs)的幻觉问题,本研究提出基于数学的统一框架,结合多学科方法分析错误复合机制、提出改进指标并开发多类缓解策略,连接多领域进展以提升LLMs的安全性与可靠性。
2025-11-19 cs.AI cs.CL
Uncertainty Quantification for Language Models: A Suite of Black-Box, White-Box, LLM Judge, and Ensemble Scorers
CVS Health(CVS健康公司)
本文提出了一种灵活的框架,利用黑盒、白盒、LLM评判者和集成评分器来检测语言模型的幻觉问题,通过可调节的集成方法提升检测性能。
2025-11-12 cs.AI cs.CL cs.LG
FactSelfCheck: Fact-Level Black-Box Hallucination Detection for LLMs
wrocław University of Science and Technology(沃拉布罗德技术大学);University of Technology Sydney(悉尼技术大学)
FactSelfCheck通过事实级黑盒采样方法提升LLM幻觉检测精度,实现更详细的事实性分析与纠正。
2026-01-30 cs.AI cs.CL cs.LG
OpenHalDet: A Unified Benchmark for Hallucination Detection across Diverse Generation Scenarios
University of Technology Sydney(新南威尔士大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of Bristol(布里斯托大学);The University of Queensland(昆士兰大学);Nanyang Technological University(南洋理工大学)
提出OpenHalDet基准,标准化幻觉检测评估流程,支持黑盒、灰盒、白盒检测器,实现跨任务、模型和检测器的可控比较。
2026-06-05 cs.AI cs.CL
Uncertainty-Based Abstention in LLMs Improves Safety and Reduces Hallucinations
Meta;Technical University of Munich(慕尼黑工业大学)
本研究针对大语言模型可靠性不足的问题,提出结合统计不确定性与对话内不确定性(InDU)的弃权(不执行)机制,在三类场景下显著提升模型正确率、减少幻觉并增强安全性,且几乎无额外计算开销。
2024-04-16 cs.AI cs.CL
SAC3: Reliable Hallucination Detection in Black-Box Language Models via Semantic-aware Cross-check Consistency
Intuit AI Research(Intuit人工智能研究院);Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心)
针对语言模型自一致性检查无法有效识别问题级和模型级幻觉的问题,提出SAC3方法,通过语义等价问题扰动和跨模型响应一致性检查进行检测,在多个基准上优于现有技术。
2024-02-18 cs.CL
How Do Uncertainty Estimators Align with Hallucination Occurrence in LLMs?
CREST, ENSAE Institut Polytechnique de Paris(CREST,巴黎高等理工学院);Ekimetrics France(法国Ekimetrics);Centre Inria de l’Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学信息研究院)
通过系统实证研究,评估信息论、基于采样和反思性等不确定性估计器与LLM幻觉之间的关联,发现关联性高度可变且通常较弱,挑战了将不确定性作为幻觉直接信号的做法。
2026-10-14 cs.AI cs.CL cs.LG
On Epistemic Uncertainty of Visual Tokens for Object Hallucinations in Large Vision-Language Models
Seoul National University(首尔大学)
本研究揭示视觉令牌的认知不确定性是物体幻觉的关键因素,提出通过对抗扰动识别并掩蔽不确定令牌的VE修改策略,显著减少幻觉并可与现有方法协同。
2025-10-10 cs.AI cs.CL cs.CV
Gray-Box Hallucination Detection in LLMs with Token Identities
Technion(以色列理工学院)
本文提出GURI检测器,结合候选token概率与token身份,在灰盒设置下提升了大语言模型幻觉检测的ROC-AUC,跨模型与跨数据集迁移性能优异。
2026-10-15 cs.CL
HALT: Hallucination Assessment via Log-probs as Time series
Georgia Institute of Technology(佐治亚理工学院)
HALT通过log-prob时间序列检测幻觉,比Lettuce更高效且兼容专有模型。
2026-09-17 cs.AI cs.CL
A Head to Predict and a Head to Question: Pre-trained Uncertainty Quantification Heads for Hallucination Detection in LLM Outputs
MBZUAI;ETH Zürich(苏黎世联邦理工学院);University of Cambridge(剑桥大学);Behavox;Accenture;Computational Semantics Group(语义计算小组)
本文提出预训练的监督式UQ辅助头,利用Transformer架构和LLM注意力图特征检测输出幻觉,在域内外及跨语言场景取得SOTA,并开源模型与代码。
2025-05-13 cs.AI cs.CL
UHP Detection: LVLMs have their Unique Hallucination Pattern in the Consistency Space
本研究针对LVLMs的幻觉问题,提出UHP检测框架,通过图像与文本扰动模态、陈述与否定逻辑极性构建四组一致性特征,训练分类器,在AMBER和PhD数据集上显著优于现有基线。
2026-08-05 cs.AI cs.CV
keepitsimple at SemEval-2025 Task 3: LLM-Uncertainty based Approach for Multilingual Hallucination Span Detection
IIIT Hyderabad(海得拉巴印度理工学院)
针对多语言幻觉跨度检测任务,提出基于LLM不确定性的方法,利用采样响应的熵分歧识别幻觉,无需额外训练,成本低且适应性强。
2025-05-23 cs.AI cs.CL
MetaCheckGPT -- A Multi-task Hallucination Detector Using LLM Uncertainty and Meta-models
IIIT Hyderabad(印度理工学院海得拉巴分校);Purdue University(普渡大学);Northwestern University(西北大学);Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校)
针对大语言模型的幻觉问题,本文提出基于LLM元回归器的MetaCheckGPT检测框架,在Semeval 2024 SHROOM任务的两个子赛道分获冠亚军,还通过实验对比揭示了GPT-4的局限性。
2024-04-11 cs.AI cs.CL
Directional Hallucinations: Ideological Drift in News-Grounded LLM Question Answering
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
研究基于新闻的语言模型问答中的意识形态漂移,提出可重复测量框架,利用大量新闻文章对多个模型进行实验,发现幻觉率因模型和话题而异,幻觉内容有向左漂移现象,并探讨了相关意义。
2026-07-27 cs.AI cs.CL
Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus
Shanghai Jiaotong University(上海交通大学);Amazon AWS AI(亚马逊AWS人工智能);Westlake University(西湖大学);IGSNRR, Chinese Academy of Sciences(中国科学院地理科学与资源研究所)
本文提出一种无参考、基于不确定性的LLM幻觉检测方法,通过聚焦关键词、历史不可靠token及token属性模仿人类事实核查,在相关数据集上达到SOTA且无需额外信息。
2023-11-22 cs.AI cs.CL
Revisiting Hallucination Detection with Effective Rank-based Uncertainty
Peking University(北京大学)
本文提出一种基于有效秩的不确定性量化方法,通过分析多输出多层的隐藏状态谱特征来检测大语言模型幻觉,无需额外模块,兼具理论依据与实验验证,实现稳健的幻觉检测。
2025-10-09 cs.AI
Uncertainty-Aware Fusion: An Ensemble Framework for Mitigating Hallucinations in Large Language Models
Amazon(亚马逊公司)
本文提出不确定性感知融合(UAF)集成框架,通过结合多个大语言模型的准确性与自我评估能力来缓解事实型问答中的幻觉,在多个基准上比现有方法提升8%的事实准确性。
2025-02-22 cs.AI cs.CL cs.LG
TriLens: Per-Layer Logit-Lens Entropy for White-Box Hallucination Detection
Binjiang Institute of Zhejiang University(浙江大学滨海学院);Beijing Normal-Hong Kong Baptist University(北京师范大学-香港 Baptist大学);Zhejiang University(浙江大学);GenTel.io;Great Bay University(Great Bay大学)
提出TriLens方法,通过在每个Transformer层读取多头自注意力、前馈网络和残差流的logit-lens输出熵,构建紧凑的3L维轨迹,有效检测大语言模型幻觉。
2026-05-31 cs.AI
Reference-free Hallucination Detection for Large Vision-Language Models
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Technical University of Munich(慕尼黑工业大学)
本文研究不依赖外部工具的无参考方法在大型视觉语言模型幻觉检测中的有效性,通过对比不确定性、一致性和有监督不确定性量化三类方法,发现无参考方法可有效检测非事实响应,且有监督不确定性量化方法表现最佳。
2024-11-19 cs.AI cs.CL
Enhancing Multi-Agent Consensus through Third-Party LLM Integration: Analyzing Uncertainty and Mitigating Hallucinations in Large Language Models
China Telecom Shanghai Company(中国电信上海公司);Ferret Relationship Intelligence(Ferret关系智能公司)
本文提出引入第三方LLM进行不确定性估计与置信度分析以优化多智能体共识,并在算术数据集上验证其优于传统多智能体基线,从而缓解LLM幻觉。
2024-11-25 cs.AI cs.CL cs.MA
Text Corpora as Concept Fields: Providing Explainable Groundedness
Oracle Corporation(Oracle公司)
本文提出文本语料的概念场,通过句子嵌入空间中连续句子的delta差异估计局部漂移场。引入向量序列数据库存储嵌入与序列位置及下一delta元数据,用于评估候选句子转换的同意分数。在联邦法规和古腾堡计划上验证了该方法在幻觉检测和新颖性检测中的有效性。
2026-11-03 cs.AI cs.CL cs.CY
From Loops to Oops: Fallback Behaviors of Language Models Under Uncertainty
Blavatnik School of Computer Science, Tel Aviv University(特拉维夫大学布拉瓦尼克计算机科学学院)
该研究将LLMs的幻觉、序列重复等不良行为视为认知不确定性下的回退表现,通过分析不同训练token、参数规模和指令微调的模型,揭示回退行为的一致顺序,并发现常见解码技术缓解部分问题时会加剧幻觉。
2025-02-08 cs.AI cs.CL
A Benchmark for Hallucination Detection in VLMs for Gastrointestinal Endoscopy
University of Aberdeen(阿伯丁大学);Nepal Applied Mathematics and Informatics Institute for Research(尼泊尔应用数学与信息学研究所);West Virginia University(西弗吉尼亚大学)
针对胃肠内窥镜领域,在Gut-VLM数据集上基准测试九种幻觉检测方法,发现白盒方法ReXTrust在所有五个视觉语言模型上AUC最高,平均领先19.5点。
2026-06-24 cs.AI cs.CV
ReXTrust: A Model for Fine-Grained Hallucination Detection in AI-Generated Radiology Reports
Harvard Medical School(哈佛医学院);Seoul National University Hospital(首尔大学医院)
针对AI生成放射学报告中的幻觉问题,提出ReXTrust框架,利用大型视觉语言模型的隐藏状态生成发现级幻觉风险评分,在MIMIC-CXR子集上AUROC达0.8751,提升了医疗AI系统的安全性与可靠性。
2025-01-31 cs.AI cs.CL
From Tokens to Semantics: Leveraging Complementary Signals for Hallucination Detection in Black-Box LLMs
BNY(纽约梅隆银行)
该研究针对黑盒大语言模型的幻觉检测问题,提出 TopK、CoCoA、Gated、Stacked 等方法,结合语义熵与 token 不确定性信号,在七个基准上开展评估,为不同场景提供了有效检测方案。
2026-09-09 cs.AI cs.CL
When Answers Stray from Questions: Hallucination Detection via Question-Answer Orthogonal Decomposition
Shanghai Jiao Tong University(上海交通大学)
本文提出QAOD框架,通过正交分解回答表示以抑制领域变化,结合双策略实现领域内检测与跨领域泛化,提升检测鲁棒性。
2026-05-14 cs.AI cs.CL cs.LG
BEACON: Behavioral Entropy Aggregation for Cross-Model Hallucination Detection in Large Language Models
LLM Lens
提出BEACON框架,通过多维度行为特征(语义熵、嵌入几何、思维链一致性、释义稳定性)的黑盒检测方法,在7个基准上达到0.8123 AUROC,优于现有方法。
2026-04-20 cs.AI cs.CL cs.LG
SINdex: Semantic INconsistency Index for Hallucination Detection in LLMs
Texas A&M University(德克萨斯农工大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学);Luddy School of Informatics(勒迪信息学院);Lebanese American University(黎巴嫩美国大学)
本文提出基于语义聚类的幻觉检测框架SINdex,利用句子嵌入和层次聚类提升LLMs幻觉检测准确性,在多个问答数据集上AUROC最高提升9.3%。
2025-03-07 cs.AI cs.CL
Towards Mitigation of Hallucination for LLM-empowered Agents: Progressive Generalization Bound Exploration and Watchdog Monitor
College of Computer Science, Nankai University(南开大学计算机科学学院);Haihe Lab of ITAI College of intelligent Science and Technology, Inner Mongolia University of Technology(内蒙古工业大学智能科学与技术学院海河实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Department of Electrical and Computer Engineering, Stony Brook University(石溪大学电气与计算机工程系);Department of Computer Science, Michigan Technological University(密歇根技术大学计算机科学系)
研究针对大语言模型赋能智能体的幻觉问题,提出HalMit黑箱框架,用概率分形采样技术并行生成查询触发异常响应,以识别泛化边界来检测幻觉,提升智能体可靠性。
2026-07-07 cs.AI cs.LG
SIRIN: A Unified Toolkit for Detecting Contextual Hallucinations in Retrieval-Augmented and Memory-Grounded LLM Systems
Sber AI Lab(Sber AI实验室)
本研究提出SIRIN工具包,整合三类检测器范式与查询可回答性任务,支持多设置下的幻觉检测,可作为长期记忆系统的忠实性门控,源代码公开可用。
2026-08-04 cs.AI
Cleanse: Uncertainty Estimation Approach Using Clustering-based Semantic Consistency in LLMs
Ewha Womans University(成均馆大学)
本文提出Cleanse方法,通过聚类分析LLM隐藏嵌入的语义一致性来量化不确定性,从而检测幻觉,并在多个模型和问答基准上验证了其有效性。
2025-07-19 cs.AI cs.CL
A Geometric Taxonomy of Hallucinations in LLMs
Javier Marín
本文提出基于嵌入空间几何的幻觉检测方法,通过三种操作类型区分可检测与不可检测的幻觉,验证了在不同领域数据集上的有效性。
2026-05-08 cs.AI cs.CL
Semantic Reformulation Entropy for Robust Hallucination Detection in QA Tasks
针对LLM问答中的幻觉问题,提出语义重构熵(SRE),通过输入语义重构与能量混合聚类改进不确定性估计,在SQuAD和TriviaQA上超越强基线,实现更鲁棒的幻觉检测。
2025-09-25 cs.CL
HalluEntity: Benchmarking and Understanding Entity-Level Hallucination Detection
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对现有LLM幻觉检测方法粒度过粗、无法定位具体实体的问题,研究提出实体级标注的HalluEntity数据集,评估17个LLM的不确定性检测方法,发现上下文感知方法更优但仍有不足,并揭示幻觉与语言特性的关联。
2025-09-04 cs.CL
Small Updates, Big Doubts: Does Parameter-Efficient Fine-tuning Enhance Hallucination Detection ?
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Baylor University(贝勒大学);The University of California, Davis(加州大学戴维斯分校)
本文研究参数高效微调对幻觉检测的影响,通过实证分析发现PEFT增强了检测能力,且主要通过重塑不确定性编码而非注入新知识。
2026-09-01 cs.AI cs.CL
Alleviating Hallucination in Reasoning Tasks with Training-Free Uncertainty-Guided Steering
Qualcomm AI Research(高通人工智能研究院);UC Santa Barbara(加州大学圣塔芭芭拉分校)
提出无需训练的USteer机制,利用置信度梯度调整层激活,在推理时引导生成低不确定性输出,从而减少幻觉并提升准确性。
2026-11-10 cs.AI
The Map of Misbelief: Tracing Intrinsic and Extrinsic Hallucinations Through Attention Patterns
针对LLMs幻觉检测中采样策略成本高、忽视幻觉类型区分的问题,提出区分内外在幻觉的评估框架,结合基于注意力的不确定性量化算法及新聚合策略,提升检测性能与可解释性,为幻觉检测提供新方向。
2025-11-13 cs.AI cs.CL cs.LG
Efficient Hallucination Detection for LLMs Using Uncertainty-Aware Attention Heads
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(莫扎德人工智能大学);ETH Zurich(苏黎世联邦理工学院);Independent Researcher(独立研究者);Applied AI Institute(应用人工智能研究所)
提出RAUQ框架,利用不确定性感知注意力头与令牌级置信度,通过单次前向传递实现无监督、高效的序列级幻觉检测,在12个数据集上优于现有方法且额外计算少于1%。
2026-06-18 cs.CL
NeuroActiSep: Detecting Factual Hallucinations from Feed-Forward Neurons in a Single Pass
University of Tehran(德黑兰大学)
本文提出NeuroActiSep方法,通过自定义数据集排序前馈神经元,迁移至其他问答数据集训练幻觉分类器,证明其性能与内部状态探针相当,并分析神经元分布与层深度影响。
2026-11-10 cs.AI cs.CL cs.LG
Single-Pass Uncertainty Heads for Claim-Level Hallucination Detection in Persian Medical Language Models
University of Isfahan(伊斯法罕大学);University of Tehran(德黑兰大学);University of Windsor(温莎大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本研究将LUH框架适配至波斯语医学模型,构建声明级数据集并训练轻量级头,实现单次前向的幻觉检测,PR-AUC达随机基线2.3倍以上。
2026-10-09 cs.CL
Credal Transformer: A Principled Approach for Quantifying and Mitigating Hallucinations in Large Language Models
Zaozhuang No.28 Middle School(邹庄28号中学);Tengzhou No.1 High School(滕州1号高中);Xi’an Jiaotong University(西安交通大学)
针对LLM幻觉问题,本文提出Credal Transformer,用基于证据理论的Credal注意力机制替代Softmax,通过credal集度量不确定性,并在不可回答问题上弃权以减少错误,提升可靠性。
2025-10-14 cs.AI cs.CL
Beyond Hallucinations: A Composite Score for Measuring Reliability in Open-Source Large Language Models
本文提出综合可靠性评分(CRS)用于评估开源大语言模型的可靠性,通过实验发现最可靠的系统在准确率、鲁棒性和校准不确定性间取得平衡。
2025-12-30 cs.AI cs.CL cs.LG
Prompt Embedding Probes (PEP): Hallucination Detection in LLMs from Hidden States
HSE University(高等经济大学)
本研究提出提示嵌入探针(PEP),一种白盒幻觉检测方法,通过少量可学习提示嵌入扩充标准线性探针,在TriviaQA等数据集的Qwen3模型上验证其在生成前、跨模型等场景的有效性,仅需少量参数即可提升检测性能。
2026-08-11 cs.AI cs.CL
Theoretical Foundations and Mitigation of Hallucination in Large Language Models
Department of Computer Science, University of Sana'a(桑加大学计算机科学系)
该研究对大语言模型幻觉问题给出形式化定义与理论分析,推导幻觉风险边界,调研检测与缓解方法,提出统一工作流与评估协议,为解决该挑战提供理论基础与实践指南。
2025-07-20 cs.AI cs.CL
When Do Supervised UQ Ensembles Improve LLM Hallucination Detection? A Robustness Study
CVS Health(CVS健康公司)
本文研究监督式UQ集成对LLM幻觉检测的鲁棒性,在多模型、多数据集、多生成范式下分析其性能,发现其多数场景优于单个评分器,采样黑盒集成效果接近全集成。
2026-09-09 cs.AI cs.CL cs.LG
UQLM: A Python Package for Uncertainty Quantification in Large Language Models
CVS Health(CVS健康)
UQLM是一个用于检测大型语言模型幻觉的Python工具包,通过先进的不确定性量化技术提升模型输出的可靠性。
2026-01-26 cs.AI cs.CL cs.LG
Entropy Distribution as a Fingerprint for Hallucinations in Generative Models
Global Technology Applied Research(全球技术应用研究)
本文提出基于token级熵分布(而非仅均值)的校准熵分数(CES),通过单次前向传递和黑盒logits访问实现幻觉检测,并提供理论保证和实证验证。
2026-05-27 cs.AI
Semantic Entropy Probes: Robust and Cheap Hallucination Detection in LLMs
University of Oxford(牛津大学);OATML
针对大语言模型幻觉检测中语义熵计算成本过高的问题,提出可从单次生成隐藏状态直接近似语义熵的语义熵探针,在保持检测性能的同时大幅降低开销,且泛化性更优。
2024-06-22 cs.AI cs.CL cs.LG
Hallucination as output-boundary misclassification: a composite abstention architecture for language models
NEXUS Laboratory(NEXUS实验室)
本文提出一种复合架构,结合指令拒绝与结构回避门,通过计算支持不足分数来减少语言模型的幻觉问题,实验表明两者互补可提升准确性与减少幻觉。
2026-03-12 cs.AI cs.CL
Enhancing Hallucination Detection through Noise Injection
Qualcomm AI Research(高通人工智能研究)
提出一种基于贝叶斯模型不确定性的无训练噪声注入方法,通过扰动模型参数或隐藏单元激活来改进采样过程,显著提升大语言模型幻觉检测性能。
2026-06-03 cs.CL cs.SY eess.SY
From Retinal Evidence to Safe Decisions: RETINA-SAFE and ECRT for Hallucination Risk Triage in Medical LLMs
Binjiang Institute of Zhejiang University(浙江大学滨江研究院);Communication University of Zhejiang(浙江传媒学院);Zhejiang University(浙江大学)
本文提出RETINA-SAFE和ECRT框架,通过视网膜分级记录构建证据基准,解决医疗LLM中证据不足或冲突导致的幻觉风险分层问题,提升风险评估的准确性和可解释性。
2026-04-07 cs.AI
A Probabilistic Framework for LLM Hallucination Detection via Belief Tree Propagation
UC Santa Barbara(加州大学圣巴巴拉分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
针对LLM幻觉检测中现有方法增强陈述单调无结构、信念信息丢失问题,提出BTProp概率框架,通过构建信念树并结合隐马尔可夫树模型整合连续信念分数,在多个基准上较基线提升3%-9%。
2025-02-08 cs.CL
FaithSCAN: Model-Driven Single-Pass Hallucination Detection for Faithful Visual Question Answering
Institute of Information Engineering, Chinese Academy of Sciences (CAS) and the School of Cyber Security, University of CAS(信息工程研究所、中国科学院(CAS)和安全学院、CAS大学)
FaithSCAN通过利用VLMs的内部信号实现高效准确的视觉问答幻觉检测,克服现有方法的效率与鲁棒性限制。
2026-01-31 cs.AI cs.CV