A Multiple-Fill-in-the-Blank Exam Approach for Enhancing Zero-Resource Hallucination Detection in Large Language Models
Fujitsu LTD.(富士通公司)
本文提出一种多项填空考试方法,通过掩码原始文本多个对象并让LLM反复作答以保持故事情节一致,从而量化幻觉程度,有效提升了零资源幻觉检测的准确率并实现了更优的集成性能。
2024-09-20 cs.AI cs.CL
How Do Uncertainty Estimators Align with Hallucination Occurrence in LLMs?
CREST, ENSAE Institut Polytechnique de Paris(CREST,巴黎高等理工学院);Ekimetrics France(法国Ekimetrics);Centre Inria de l’Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学信息研究院)
通过系统实证研究,评估信息论、基于采样和反思性等不确定性估计器与LLM幻觉之间的关联,发现关联性高度可变且通常较弱,挑战了将不确定性作为幻觉直接信号的做法。
2026-10-14 cs.AI cs.CL cs.LG
Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus
Shanghai Jiaotong University(上海交通大学);Amazon AWS AI(亚马逊AWS人工智能);Westlake University(西湖大学);IGSNRR, Chinese Academy of Sciences(中国科学院地理科学与资源研究所)
本文提出一种无参考、基于不确定性的LLM幻觉检测方法,通过聚焦关键词、历史不可靠token及token属性模仿人类事实核查,在相关数据集上达到SOTA且无需额外信息。
2023-11-22 cs.AI cs.CL
Uncertainty-Based Abstention in LLMs Improves Safety and Reduces Hallucinations
Meta;Technical University of Munich(慕尼黑工业大学)
本研究针对大语言模型可靠性不足的问题,提出结合统计不确定性与对话内不确定性(InDU)的弃权(不执行)机制,在三类场景下显著提升模型正确率、减少幻觉并增强安全性,且几乎无额外计算开销。
2024-04-16 cs.AI cs.CL
Enhancing Multi-Agent Consensus through Third-Party LLM Integration: Analyzing Uncertainty and Mitigating Hallucinations in Large Language Models
China Telecom Shanghai Company(中国电信上海公司);Ferret Relationship Intelligence(Ferret关系智能公司)
本文提出引入第三方LLM进行不确定性估计与置信度分析以优化多智能体共识,并在算术数据集上验证其优于传统多智能体基线,从而缓解LLM幻觉。
2024-11-25 cs.AI cs.CL cs.MA
A Head to Predict and a Head to Question: Pre-trained Uncertainty Quantification Heads for Hallucination Detection in LLM Outputs
MBZUAI;ETH Zürich(苏黎世联邦理工学院);University of Cambridge(剑桥大学);Behavox;Accenture;Computational Semantics Group(语义计算小组)
本文提出预训练的监督式UQ辅助头,利用Transformer架构和LLM注意力图特征检测输出幻觉,在域内外及跨语言场景取得SOTA,并开源模型与代码。
2025-05-13 cs.AI cs.CL
keepitsimple at SemEval-2025 Task 3: LLM-Uncertainty based Approach for Multilingual Hallucination Span Detection
IIIT Hyderabad(海得拉巴印度理工学院)
针对多语言幻觉跨度检测任务,提出基于LLM不确定性的方法,利用采样响应的熵分歧识别幻觉,无需额外训练,成本低且适应性强。
2025-05-23 cs.AI cs.CL
MetaCheckGPT -- A Multi-task Hallucination Detector Using LLM Uncertainty and Meta-models
IIIT Hyderabad(印度理工学院海得拉巴分校);Purdue University(普渡大学);Northwestern University(西北大学);Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校)
针对大语言模型的幻觉问题,本文提出基于LLM元回归器的MetaCheckGPT检测框架,在Semeval 2024 SHROOM任务的两个子赛道分获冠亚军,还通过实验对比揭示了GPT-4的局限性。
2024-04-11 cs.AI cs.CL
Revisiting Hallucination Detection with Effective Rank-based Uncertainty
Peking University(北京大学)
本文提出一种基于有效秩的不确定性量化方法,通过分析多输出多层的隐藏状态谱特征来检测大语言模型幻觉,无需额外模块,兼具理论依据与实验验证,实现稳健的幻觉检测。
2025-10-09 cs.AI
Directional Hallucinations: Ideological Drift in News-Grounded LLM Question Answering
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
研究基于新闻的语言模型问答中的意识形态漂移,提出可重复测量框架,利用大量新闻文章对多个模型进行实验,发现幻觉率因模型和话题而异,幻觉内容有向左漂移现象,并探讨了相关意义。
2026-07-27 cs.AI cs.CL
The Reasoning Trap: How Enhancing LLM Reasoning Amplifies Tool Hallucination
The Pennsylvania State University(宾夕法尼亚州立大学);Nanjing University of Science and Technology(南京理工大学);Independent Researcher(独立研究者)
研究探讨增强LLM推理能力是否导致工具幻觉增加,通过SimpleToolHalluBench验证因果关系,发现推理增强与幻觉成正比,且不受过拟合影响,揭示需新的训练目标平衡能力和可靠性。
2026-04-17 cs.AI cs.LG
On Epistemic Uncertainty of Visual Tokens for Object Hallucinations in Large Vision-Language Models
Seoul National University(首尔大学)
本研究揭示视觉令牌的认知不确定性是物体幻觉的关键因素,提出通过对抗扰动识别并掩蔽不确定令牌的VE修改策略,显著减少幻觉并可与现有方法协同。
2025-10-10 cs.AI cs.CL cs.CV
Uncertainty-Aware Fusion: An Ensemble Framework for Mitigating Hallucinations in Large Language Models
Amazon(亚马逊公司)
本文提出不确定性感知融合(UAF)集成框架,通过结合多个大语言模型的准确性与自我评估能力来缓解事实型问答中的幻觉,在多个基准上比现有方法提升8%的事实准确性。
2025-02-22 cs.AI cs.CL cs.LG
Reference-free Hallucination Detection for Large Vision-Language Models
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Technical University of Munich(慕尼黑工业大学)
本文研究不依赖外部工具的无参考方法在大型视觉语言模型幻觉检测中的有效性,通过对比不确定性、一致性和有监督不确定性量化三类方法,发现无参考方法可有效检测非事实响应,且有监督不确定性量化方法表现最佳。
2024-11-19 cs.AI cs.CL
From Loops to Oops: Fallback Behaviors of Language Models Under Uncertainty
Blavatnik School of Computer Science, Tel Aviv University(特拉维夫大学布拉瓦尼克计算机科学学院)
该研究将LLMs的幻觉、序列重复等不良行为视为认知不确定性下的回退表现,通过分析不同训练token、参数规模和指令微调的模型,揭示回退行为的一致顺序,并发现常见解码技术缓解部分问题时会加剧幻觉。
2025-02-08 cs.AI cs.CL
Enhancing Hallucination Detection through Noise Injection
Qualcomm AI Research(高通人工智能研究)
提出一种基于贝叶斯模型不确定性的无训练噪声注入方法,通过扰动模型参数或隐藏单元激活来改进采样过程,显著提升大语言模型幻觉检测性能。
2026-06-03 cs.CL cs.SY eess.SY
"Sorry, Come Again?" Prompting -- Enhancing Comprehension and Diminishing Hallucination with [PAUSE]-injected Optimal Paraphrasing
AI Institute, University of South Carolina(南卡罗来纳大学AI研究院);Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校);Islamic University of Technology(伊斯兰科技大学);Stanford University(斯坦福大学);Amazon AI(亚马逊AI研究院)
本文提出SCA提示方法,通过最优改写和注入[PAUSE]标记增强LLM对提示的理解,从而减少幻觉生成。
2024-03-27 cs.AI cs.CL
Black-Box Hallucination Detection via Consistency Under the Uncertain Expression
本文研究LLM幻觉检测问题,通过分析模型在不确定表达下的一致性与事实性的关系,提出一种无需内部状态和外部资源的黑盒检测指标,实验证明其预测事实性的效果优于使用内部知识的基线方法。
2025-09-26 cs.AI cs.CL
Cleanse: Uncertainty Estimation Approach Using Clustering-based Semantic Consistency in LLMs
Ewha Womans University(成均馆大学)
本文提出Cleanse方法,通过聚类分析LLM隐藏嵌入的语义一致性来量化不确定性,从而检测幻觉,并在多个模型和问答基准上验证了其有效性。
2025-07-19 cs.AI cs.CL
SINdex: Semantic INconsistency Index for Hallucination Detection in LLMs
Texas A&M University(德克萨斯农工大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学);Luddy School of Informatics(勒迪信息学院);Lebanese American University(黎巴嫩美国大学)
本文提出基于语义聚类的幻觉检测框架SINdex,利用句子嵌入和层次聚类提升LLMs幻觉检测准确性,在多个问答数据集上AUROC最高提升9.3%。
2025-03-07 cs.AI cs.CL
Semantic Reformulation Entropy for Robust Hallucination Detection in QA Tasks
针对LLM问答中的幻觉问题,提出语义重构熵(SRE),通过输入语义重构与能量混合聚类改进不确定性估计,在SQuAD和TriviaQA上超越强基线,实现更鲁棒的幻觉检测。
2025-09-25 cs.CL
Alleviating Hallucination in Reasoning Tasks with Training-Free Uncertainty-Guided Steering
Qualcomm AI Research(高通人工智能研究院);UC Santa Barbara(加州大学圣塔芭芭拉分校)
提出无需训练的USteer机制,利用置信度梯度调整层激活,在推理时引导生成低不确定性输出,从而减少幻觉并提升准确性。
2026-11-10 cs.AI
Efficient Hallucination Detection for LLMs Using Uncertainty-Aware Attention Heads
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(莫扎德人工智能大学);ETH Zurich(苏黎世联邦理工学院);Independent Researcher(独立研究者);Applied AI Institute(应用人工智能研究所)
提出RAUQ框架,利用不确定性感知注意力头与令牌级置信度,通过单次前向传递实现无监督、高效的序列级幻觉检测,在12个数据集上优于现有方法且额外计算少于1%。
2026-06-18 cs.CL
Enhancing Mathematical Reasoning in Large Language Models with Self-Consistency-Based Hallucination Detection
The Hong Kong University of Science and Technology(香港理工大学);Fudan University(复旦大学)
提出结构化自一致性框架,在中间步骤和最终输出上强制一致性,以减少大型语言模型在定理证明、符号变换和数值计算中的幻觉,显著提升推理准确性与稳定性。
2025-06-19 cs.AI
HalluEntity: Benchmarking and Understanding Entity-Level Hallucination Detection
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对现有LLM幻觉检测方法粒度过粗、无法定位具体实体的问题,研究提出实体级标注的HalluEntity数据集,评估17个LLM的不确定性检测方法,发现上下文感知方法更优但仍有不足,并揭示幻觉与语言特性的关联。
2025-09-04 cs.CL
Single-Pass Uncertainty Heads for Claim-Level Hallucination Detection in Persian Medical Language Models
University of Isfahan(伊斯法罕大学);University of Tehran(德黑兰大学);University of Windsor(温莎大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本研究将LUH框架适配至波斯语医学模型,构建声明级数据集并训练轻量级头,实现单次前向的幻觉检测,PR-AUC达随机基线2.3倍以上。
2026-10-09 cs.CL
HICD: Hallucination-Inducing via Attention Dispersion for Contrastive Decoding to Mitigate Hallucinations in Large Language Models
Shanghai Advanced Research Institute, Chinese Academy of Sciences(上海先进研究院,中国科学院);University of Chinese Academy of Sciences(中国科学院大学)
提出HICD方法,通过选择关键注意力头并分散其注意力诱导幻觉,与原始输出对比解码,以缓解大语言模型幻觉,提升上下文忠实性和事实性任务性能。
2025-05-23 cs.AI cs.CL
Small Updates, Big Doubts: Does Parameter-Efficient Fine-tuning Enhance Hallucination Detection ?
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Baylor University(贝勒大学);The University of California, Davis(加州大学戴维斯分校)
本文研究参数高效微调对幻觉检测的影响,通过实证分析发现PEFT增强了检测能力,且主要通过重塑不确定性编码而非注入新知识。
2026-09-01 cs.AI cs.CL
The Map of Misbelief: Tracing Intrinsic and Extrinsic Hallucinations Through Attention Patterns
针对LLMs幻觉检测中采样策略成本高、忽视幻觉类型区分的问题,提出区分内外在幻觉的评估框架,结合基于注意力的不确定性量化算法及新聚合策略,提升检测性能与可解释性,为幻觉检测提供新方向。
2025-11-13 cs.AI cs.CL cs.LG
Credal Transformer: A Principled Approach for Quantifying and Mitigating Hallucinations in Large Language Models
Zaozhuang No.28 Middle School(邹庄28号中学);Tengzhou No.1 High School(滕州1号高中);Xi’an Jiaotong University(西安交通大学)
针对LLM幻觉问题,本文提出Credal Transformer,用基于证据理论的Credal注意力机制替代Softmax,通过credal集度量不确定性,并在不可回答问题上弃权以减少错误,提升可靠性。
2025-10-14 cs.AI cs.CL
UQLM: A Python Package for Uncertainty Quantification in Large Language Models
CVS Health(CVS健康)
UQLM是一个用于检测大型语言模型幻觉的Python工具包,通过先进的不确定性量化技术提升模型输出的可靠性。
2026-01-26 cs.AI cs.CL cs.LG
Enhancing Visual Reliance in Text Generation: A Bayesian Perspective on Mitigating Hallucination in Large Vision-Language Models
Beihang University(北航大学);Tencent WXG(腾讯 WXG)
本文从贝叶斯视角分析LVLM幻觉成因,提出移除冗余视觉token、修正先验信息以及在视觉后验坍缩时停止生成三种策略,在多个基准上有效缓解幻觉并优于现有方法。
2025-08-19 cs.AI cs.CV
Seeing Clearly by Layer Two: Enhancing Attention Heads to Alleviate Hallucination in LVLMs
Shanghai Jiao Tong University(上海交通大学);Beijing Jiaotong University(北京交通大学);Alibaba Group(阿里巴巴集团)
针对多模态大语言模型的幻觉问题,提出免训练方法EAH,通过将浅层视觉汇聚注意力头的注意力矩阵广播至其他头以增强图像注意力,有效缓解了幻觉现象。
2024-11-15 cs.AI cs.CV
Probing LLM Hallucination from Within: Perturbation-Driven Approach via Internal Knowledge
Georgia Institute of Technology(佐治亚理工学院);JPMorganChase Global Technology Applied Research(摩根大通全球科技应用研究)
针对LLM幻觉检测依赖外部资源且未区分幻觉类型的问题,提出无需外部知识或训练的SHINE方法,通过扰动提示中的关键实体来探测对齐、未对齐和捏造三类幻觉,在多个数据集和模型上达到SOTA性能。
2025-09-15 cs.AI cs.CL
UHP Detection: LVLMs have their Unique Hallucination Pattern in the Consistency Space
本研究针对LVLMs的幻觉问题,提出UHP检测框架,通过图像与文本扰动模态、陈述与否定逻辑极性构建四组一致性特征,训练分类器,在AMBER和PhD数据集上显著优于现有基线。
2026-08-05 cs.AI cs.CV
Hydra: An Agentic Reasoning Approach for Enhancing Adversarial Robustness and Mitigating Hallucinations in Vision-Language Models
University of West Florida(西弗吉尼亚大学);New York University(纽约大学);United States Military Academy(美国军事学院)
Hydra提出一种自适应智能体推理框架,通过迭代推理、批评与跨模型验证,同时增强视觉-语言模型的对抗鲁棒性和缓解幻觉,无需训练即可超越现有方法。
2025-04-19 cs.AI cs.CV cs.MA
Theoretical Foundations and Mitigation of Hallucination in Large Language Models
Department of Computer Science, University of Sana'a(桑加大学计算机科学系)
该研究对大语言模型幻觉问题给出形式化定义与理论分析,推导幻觉风险边界,调研检测与缓解方法,提出统一工作流与评估协议,为解决该挑战提供理论基础与实践指南。
2025-07-20 cs.AI cs.CL
Beyond Hallucinations: A Composite Score for Measuring Reliability in Open-Source Large Language Models
本文提出综合可靠性评分(CRS)用于评估开源大语言模型的可靠性,通过实验发现最可靠的系统在准确率、鲁棒性和校准不确定性间取得平衡。
2025-12-30 cs.AI cs.CL cs.LG
Semantic Entropy Probes: Robust and Cheap Hallucination Detection in LLMs
University of Oxford(牛津大学);OATML
针对大语言模型幻觉检测中语义熵计算成本过高的问题,提出可从单次生成隐藏状态直接近似语义熵的语义熵探针,在保持检测性能的同时大幅降低开销,且泛化性更优。
2024-06-22 cs.AI cs.CL cs.LG
Multi-stage Prompt Refinement for Mitigating Hallucinations in Large Language Models
Department of Artificial Intelligence, Korea University(人工智能系,韩国大学)
针对提示词结构不良导致的幻觉问题,提出多阶段提示词优化(MPR)框架,利用微调的小语言模型逐阶段修正错误并增强清晰度,在幻觉基准上实现超85%胜率,可有效减少幻觉并兼容现有缓解框架。
2025-10-14 cs.AI cs.CL cs.LG
Luna: An Evaluation Foundation Model to Catch Language Model Hallucinations with High Accuracy and Low Cost
Galileo Technologies Inc.(伽利略科技公司)
提出Luna,一个基于DeBERTa-large微调的轻量级幻觉检测模型,在RAG系统中以低成本和低延迟优于GPT-3.5及商业框架,适用于工业级LLM应用。
2024-06-05 cs.AI cs.CL
Uncertainty Quantification for Language Models: A Suite of Black-Box, White-Box, LLM Judge, and Ensemble Scorers
CVS Health(CVS健康公司)
本文提出了一种灵活的框架,利用黑盒、白盒、LLM评判者和集成评分器来检测语言模型的幻觉问题,通过可调节的集成方法提升检测性能。
2025-11-12 cs.AI cs.CL cs.LG
Enhancing LLMs with Context-Specific Knowledge for Mitigating Misinformation in SMEs: A RAG-based Modeling and Analysis
School of Science, Edith Cowan University(伊迪斯科文大学理学院)
该研究针对中小企业使用LLM时面临的错误信息问题,提出VectorRAG与GraphRAG方法,在LLaMA等模型上验证RAG可提升响应质量,助力可靠决策。
2026-08-04 cs.AI
FaithSCAN: Model-Driven Single-Pass Hallucination Detection for Faithful Visual Question Answering
Institute of Information Engineering, Chinese Academy of Sciences (CAS) and the School of Cyber Security, University of CAS(信息工程研究所、中国科学院(CAS)和安全学院、CAS大学)
FaithSCAN通过利用VLMs的内部信号实现高效准确的视觉问答幻觉检测,克服现有方法的效率与鲁棒性限制。
2026-01-31 cs.AI cs.CV
Estimating LLM Uncertainty with Evidence
Tianjin University(天津大学);Beijing University of Posts and Telecommunications(北京邮电大学);A*STAR(新加坡科技研究局)
本文针对大语言模型幻觉问题,提出LogTokU框架,通过证据建模估计解耦的token不确定性,无需多次采样即可实现实时估计并指导下游任务。
2025-05-09 cs.AI cs.CL
LoGU: Long-form Generation with Uncertainty Expressions
Fudan University(复旦大学);University of Cambridge(剑桥大学);Tencent AI Lab(腾讯AI实验室);The Chinese University of Hong Kong(香港中文大学)
本文提出LoGU任务,针对长文本生成中的不确定性抑制和不确定性错位问题,设计基于原子声明的精炼数据收集框架及SFT与DPO两阶段训练方法,在三个长文本指令遵循数据集上显著提升准确性并减少幻觉。
2025-06-04 cs.AI cs.CL
MedHallBench: A New Benchmark for Assessing Hallucination in Medical Large Language Models
University of Warwick(华威大学);Cranfield University(克兰菲尔德大学);University of Oxford(牛津大学)
该研究提出MedHallBench基准,结合专家验证病例与ACHMI自动评分及RLHF训练,全面评估并缓解医学大语言模型幻觉,提升其医疗可靠性。
2025-03-28 cs.AI cs.CL
A Survey on Uncertainty Quantification of Large Language Models: Taxonomy, Open Research Challenges, and Future Directions
Princeton University(普林斯顿大学)
本文系统综述了大型语言模型不确定性量化方法,提出统一分类体系以整合现有方法,梳理其在文本与具身智能中的应用,并指出开放性挑战与未来方向。
2025-07-01 cs.AI cs.CL
From Tokens to Semantics: Leveraging Complementary Signals for Hallucination Detection in Black-Box LLMs
BNY(纽约梅隆银行)
该研究针对黑盒大语言模型的幻觉检测问题,提出 TopK、CoCoA、Gated、Stacked 等方法,结合语义熵与 token 不确定性信号,在七个基准上开展评估,为不同场景提供了有效检测方案。
2026-09-09 cs.AI cs.CL
Robust Uncertainty Quantification for Factual Generation of Large Language Models
School of Cyberspace Security, Beijing University of Posts and Telecommunications(网络安全学院,北京邮电大学)
本文提出了一种新颖的鲁棒不确定性量化方法,用于评估大型语言模型在生成多事实任务中的可靠性,通过构建陷阱问题集验证了其有效性,提升了对抗性提问下的模型鲁棒性。
2026-01-01 cs.AI cs.CL
SLM Meets LLM: Balancing Latency, Interpretability and Consistency in Hallucination Detection
Microsoft Responsible AI(微软负责任人工智能部门)
针对 LLM 在实时幻觉检测中的延迟问题,提出结合 SLM 分类器与 LLM 受限推理器的新框架,通过提示技术对齐两者决策与解释,有效优化了实时可解释检测并提升用户体验。
2024-08-22 cs.AI cs.CL cs.LG
DSCC-HS: A Dynamic Self-Reinforcing Framework for Hallucination Suppression in Large Language Models
School of Computing and Technology(计算机学院);China University of Petroleum(中国石油大学);Qingdao(青岛)
提出DSCC-HS框架,通过FAP和HDP双代理在自回归解码时注入实时引导向量,无需修改目标模型即可主动抑制LLM幻觉,在TruthfulQA和BioGEN上达到SOTA。
2025-09-17 cs.AI cs.CL
Joint Evaluation of Answer and Reasoning Consistency for Hallucination Detection in Large Reasoning Models
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Quan Cheng Laboratory(泉城实验室)
针对大型推理模型推理轨迹易产生难检测幻觉的问题,提出RACE框架联合四类一致性与不确定性信号检测幻觉,实验证明其性能优于现有基线。
2025-11-15 cs.CL
TRE: Training-Free Hallucination Detection for Diffusion Language Models
University of Bern(伯尔尼大学);Nanyang Technological University(南洋理工大学);Griffith University(格里菲斯大学)
针对扩散语言模型的幻觉问题,现有方法有局限。本文提出无训练的TRE指标,通过在模型解码过程中沿时空维度提取熵信号来估计幻觉风险,经实验验证其性能有竞争力,具有泛化性、效率和鲁棒性等优点。
2026-07-28 cs.AI