How Much Do LLMs Hallucinate across Languages? On Realistic Multilingual Estimation of LLM Hallucination
WüNLP, CAIDAS, University of Würzburg（乌尔姆大学）；Data Science Group, University of Hamburg（汉堡大学）
研究评估了多语言LLM在长形式问答中的幻觉程度，发现高资源语言中幻觉率与语言规模无关，且支持更多语言的LLM幻觉率更高。
2026-02-02 cs.AI cs.CL
Hallucination Diversity-Aware Active Learning for Text Summarization
Shanghai Jiao Tong University（上海交通大学）；University of Michigan（密歇根大学）；Adobe Research（奥多比研究院）
本文提出首个缓解LLM幻觉的主动学习框架HADAS，通过从语义框架、话语和内容可验证性度量细粒度幻觉并选择多样化样本标注，在三个数据集上验证了其高效减轻文本摘要幻觉的效果。
2024-04-02 cs.AI cs.CL cs.LG
Sample Transform Cost-Based Training-Free Hallucination Detector for Large Language Models
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出基于最优传输距离的hallucination检测方法，通过计算token嵌入之间的Wasserstein距离矩阵，得到AvgWD和EigenWD两个指标，用于无训练检测大型语言模型的hallucination问题。
2026-03-17 cs.AI cs.LG
Measuring the Measurers: Quality Evaluation of Hallucination Benchmarks for Large Vision-Language Models
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences, and also with University of Chinese Academy of Sciences（人工智能安全国家重点实验室，计算技术研究所，中国科学院，以及中国科学院大学）
本文提出HQM框架评估幻觉基准质量，发现现有基准存在可靠性与有效性不足问题，并提出HQQ基准以提升评估效果，揭示LVLMs在幻觉问题上的严重缺陷。
2026-02-25 cs.AI cs.CV
Detecting Hallucinations in SpeechLLMs at Inference Time Using Attention Maps
University of Edinburgh（爱丁堡大学）；Amazon AGI（亚马逊人工智慧实验室）
本文提出四种基于注意力的指标，用于检测语音大语言模型中的幻觉，通过轻量级逻辑回归分类器实现高效推理检测，在多个任务中优于基线方法，展示了注意力模式在检测幻觉中的价值。
2026-04-21 cs.AI cs.CL cs.LG
Efficiency Hallucination: Formalizing and Measuring Behavioral Calibration in LLM-Based Code Optimization
Google（谷歌）；Columbia University（哥伦比亚大学）；Vanderbilt University（范德堡大学）
针对LLM在代码优化中的“效率幻觉”问题，提出基于分类惩罚的验证框架，在九个模型上测试，将正确弃权率从0%提升至44.4%，且不牺牲次优代码编辑率，实现无需训练的校准。
2026-09-15 cs.AI cs.SE
Halo: Estimation and Reduction of Hallucinations in Open-Source Weak Large Language Models
University of Pittsburgh（匹兹堡大学）；TikTok Inc.（字节跳动TikTok公司）
本文针对开源弱大型语言模型（如BLOOM 7B）的幻觉问题，提出HaloCheck框架量化幻觉严重程度，并通过知识注入和师生方法减少幻觉，实验证明其有效性。
2023-09-13 cs.AI cs.CL
Hallucinations on the Board: Tool-Augmented Evaluation of LLM Chess Commentary
Princeton University（普林斯顿大学）；Sentient Labs；University of Washington（华盛顿大学）
本研究提出ACT-Eval框架，评估工具增强型LLM的象棋评论，发现事实幻觉普遍存在，工具可提升事实正确性但战略战术覆盖度仍有限。
2026-08-06 cs.AI cs.CL
ALOHa: A New Measure for Hallucination in Captioning Models
University of California, Berkeley（加州大学伯克利分校）
针对 CHAIR 受限于固定物体词表的问题，本文提出开放词汇指标 ALOHa，利用 LLM 提取物体、计算语义相似度并通过匈牙利匹配评分，在 HAT 和 nocaps 上显著提升幻觉识别率。
2024-04-03 cs.AI cs.CL cs.CV
Prompt-Response Semantic Divergence Metrics for Faithfulness Hallucination and Misalignment Detection in Large Language Models
Fidelity Investments（fidelity投资公司）
本文提出轻量级框架SDM，通过联合聚类与信息论指标测量提示与响应间的语义分歧，以检测大语言模型中的忠实性幻觉与不对齐问题，并构建诊断框架语义盒对响应类型进行分类。
2025-08-13 cs.AI cs.CL cs.LG
(Im)possibility of Automated Hallucination Detection in Large Language Models
Yale University（耶鲁大学）
本文从理论上证明，仅用正确示例训练时，LLM 幻觉检测对多数语言集合不可行；但引入专家标注的正负例反馈后，对所有可数语言集合均可实现自动化检测，为 RLHF 等方法提供了理论支撑。
2025-06-02 cs.AI cs.CL cs.LG
From Flat Facts to Sharp Hallucinations: Detecting Stubborn Errors via Gradient Sensitivity
School of Intelligent Manufacturing Ecosystem, Xi’an Jiaotong-Liverpool University, People’s Republic of China（智能制造生态系统学院，西安交通大学-利物浦大学，中华人民共和国）；Department of Computer Science, University of Liverpool, United Kingdom（计算机科学系，利物浦大学，英国）；Faculty of Engineering and Technology, Sunway University, Malaysia（工程与技术学院，Sunway大学，马来西亚）；School of Robotics, Xi’an Jiaotong-Liverpool University, People’s Republic of China（机器人学院，西安交通大学-利物浦大学，中华人民共和国）
本文提出通过梯度敏感性检测顽固错误，利用嵌入扰动梯度敏感性（EPGS）区分稳定知识与不稳定记忆，实验显示其优于熵基和表示基方法。
2026-05-12 cs.AI cs.LG
Graphing the Truth: Structured Visualizations for Automated Hallucination Detection in LLMs
Department of Computer Science, University of Arizona（计算机科学系，亚利桑那大学）
本文提出通过结构化可视化技术，帮助自动检测大型语言模型中的幻觉问题，提升模型可靠性和响应质量。
2025-11-29 cs.AI cs.CL
RePPL: Recalibrating Perplexity by Uncertainty in Semantic Propagation and Language Generation for Explainable QA Hallucination Detection
The Hong Kong University of Science and Technology（香港科学与技术大学）；Tsinghua University（清华大学）
RePPL通过校准语义传播和语言生成中的不确定性，提升问答幻觉检测性能，生成token级不确定性评分作为解释。
2026-02-02 cs.AI cs.CL
The Reasoning Trap: How Enhancing LLM Reasoning Amplifies Tool Hallucination
The Pennsylvania State University（宾夕法尼亚州立大学）；Nanjing University of Science and Technology（南京理工大学）；Independent Researcher（独立研究者）
研究探讨增强LLM推理能力是否导致工具幻觉增加，通过SimpleToolHalluBench验证因果关系，发现推理增强与幻觉成正比，且不受过拟合影响，揭示需新的训练目标平衡能力和可靠性。
2026-04-17 cs.AI cs.LG
Revisiting Hallucination Detection with Effective Rank-based Uncertainty
Peking University（北京大学）
本文提出一种基于有效秩的不确定性量化方法，通过分析多输出多层的隐藏状态谱特征来检测大语言模型幻觉，无需额外模块，兼具理论依据与实验验证，实现稳健的幻觉检测。
2025-10-09 cs.AI
HALoGEN: Fantastic LLM Hallucinations and Where to Find Them
University of Washington（华盛顿大学）；Google（谷歌公司）；NVIDIA（英伟达公司）
本研究发布综合性幻觉基准HALoGEN，含9领域10923条提示与自动核验器，评估14个模型的15万条生成内容，发现最优模型幻觉占比最高达86%，还提出三类幻觉错误分类，助力可信LLM研发。
2025-01-14 cs.AI cs.CL
THRONE: An Object-based Hallucination Benchmark for the Free-form Generations of Large Vision-Language Models
University of Oxford（牛津大学）；AWS AI Labs（AWS AI实验室）
针对大型视觉语言模型自由生成中的“第一类幻觉”问题，提出基于对象的自动化评估框架THRONE，利用公开语言模型量化幻觉，并发现其与“第二类幻觉”负相关，同时提供数据增强基线以减少两类幻觉。
2025-04-03 cs.AI cs.CV cs.LG
CrossCheckGPT: Universal Hallucination Ranking for Multimodal Foundation Models
University of Cambridge（剑桥大学）；SCB 10X；SCBX；Tsinghua University（清华大学）
针对多模态基础模型幻觉评估，提出无参考的通用排名方法CrossCheckGPT，利用跨系统一致性打分，适用于任意模型和任务，并在文本、图像及音视频基准上验证，与人类判断高度相关。
2024-05-22 cs.CL
Measuring Faithfulness and Abstention: An Automated Pipeline for Evaluating LLM-Generated 3-ply Case-Based Legal Arguments
Intelligent Systems Program, University of Pittsburgh（匹兹堡大学智能系统项目）；School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）
本文提出一种自动化流水线，通过外部LLM提取因子并与案件三元组比对，评估LLM生成三层法律论证时的忠实性、因子利用和弃权（不执行）能力，发现现有模型虽幻觉率低但因子利用不足且弃权表现差。
2025-06-03 cs.AI cs.CL cs.LG
Weakly Supervised Distillation of Hallucination Signals into Transformer Representations
LLM Lens
本文提出弱监督框架，通过子串匹配、句子嵌入相似性和LLM判官信号，无需人工标注即可标注生成响应是否 grounded 或 hallucinated，并通过五种探针分类器验证 hallucination 信号可被蒸馏到 Transformer 表示中。
2026-04-07 cs.AI cs.CL cs.LG
HalluWorld: A Controlled Benchmark for Hallucination via Reference World Models
Carnegie Mellon University（卡内基梅隆大学）；Patronus AI；Independent Researcher（独立研究者）；Stanford University（斯坦福大学）；The Ohio State University（俄亥俄州立大学）；DegenAI Labs（DegenAI实验室）
本文提出HalluWorld基准，通过显式参考世界模型研究语言模型的幻觉问题，发现不同任务中幻觉表现不一致，表明幻觉源于多种失败模式而非单一能力。
2026-05-19 cs.AI cs.CL cs.LG
Evaluating Hallucination in Large Vision-Language Models based on Context-Aware Object Similarities
Indian Statistical Institute（印度统计研究所）；Duke University（杜克大学）
提出CAOS评估框架，结合物体统计与语义关系，利用语言模型识别域外物体并验证，系统量化并解释大型视觉语言模型的物体幻觉。
2025-01-25 cs.AI cs.CV cs.LG
The Energy of Falsehood: Detecting Hallucinations via Diffusion Model Likelihoods
Dell Technologies, CSG CTO Team（戴尔技术，CSG CTO团队）
DiffuTruth通过扩散模型似然检测幻觉，利用非平衡热力学原理，提出语义能量度量和混合校准方法，在FEVER和HOVER数据集上取得显著性能提升。
2026-02-11 cs.AI cs.CL
Credal Transformer: A Principled Approach for Quantifying and Mitigating Hallucinations in Large Language Models
Zaozhuang No.28 Middle School（邹庄28号中学）；Tengzhou No.1 High School（滕州1号高中）；Xi’an Jiaotong University（西安交通大学）
针对LLM幻觉问题，本文提出Credal Transformer，用基于证据理论的Credal注意力机制替代Softmax，通过credal集度量不确定性，并在不可回答问题上弃权以减少错误，提升可靠性。
2025-10-14 cs.AI cs.CL
ChartCap: Mitigating Hallucination of Dense Chart Captioning
Seoul National University（首尔国立大学）
针对图表描述中的幻觉问题，提出包含565K真实图表及密集描述的ChartCap数据集，并设计四阶段生成流水线与视觉一致性分数，微调模型后显著提升描述准确性和信息量，减少幻觉。
2025-08-05 cs.AI cs.CL cs.CV
Predictive Coding and Information Bottleneck for Hallucination Detection in Large Language Models
AI Offensive Security Researcher, OWASP（AI攻击防御安全研究员，OWASP）
本研究提出了一种结合预测编码和信息瓶颈的轻量级框架，用于高效检测大语言模型中的幻觉，实现了比传统方法更高的准确率和效率。
2026-01-22 cs.AI cs.CR cs.ET
MultiQ&A: An Analysis in Measuring Robustness via Automated Crowdsourcing of Question Perturbations and Answers
J.P. Morgan AI Research（摩根大通人工智能研究院）
本文提出MultiQ&A方法，通过独立LLM智能体大规模众包问题扰动与答案，评估LLM生成回答的鲁棒性和一致性，为机构采用LLM提供衡量置信度与量化幻觉的框架。
2025-02-06 cs.AI cs.CL cs.LG
Lost in Transcription, Found in Distribution Shift: Demystifying Hallucination in Speech Foundation Models
Carnegie Mellon University（卡内基梅隆大学）；MBZUAI（穆扎布伊人工智能研究所）
本文研究语音基础模型中ASR幻觉问题，提出幻觉错误率HER指标，发现分布偏移与HER强相关，并揭示传统WER指标可能掩盖或隐藏幻觉风险。
2025-06-04 cs.CL
DynHD: Hallucination Detection for Diffusion Large Language Models via Denoising Dynamics Deviation Learning
Nanyang Technological University, Singapore（新加坡南洋理工大学）；Griffith University, Australia（澳大利亚格里菲斯大学）
本文提出DynHD，通过空间和时间视角解决扩散大语言模型幻觉检测中的信息密度不均和去噪动态建模问题，采用语义感知证据构造模块和偏差检测器提升检测性能。
2026-08-25 cs.CL
When the Wrong Key Wins: Understanding and Detecting Hallucinations in LLMs
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文通过潜在键视角揭示大语言模型幻觉源于预训练关联竞争，提出两阶段关键词扰动检测法，在多个基准上达0.910 AUROC，并统一解释四种幻觉机制。
2026-09-30 cs.CL
Do Large Language Models Play Six Degrees of Separation? Measuring Topological Compression in Long-Context Manifolds
BRAC University（BRAC大学）
本研究通过分析LLM隐藏状态流形的几何结构，发现深度推理层的语义锚点遵循六度分隔理论，该拓扑特性可用于RAG的零样本幻觉检测，为评估事实可靠性提供了几何指标。
2026-08-24 cs.CL
MedFabric: Gold Evidence Hides the Difficulty of Word-Level Medical Fabrication Detection
University of California, Los Angeles（加州大学洛杉矶分校）；Optum AI（奥普特姆人工智能公司）
针对LLM医学编造检测的评估假象问题，构建了词级医学编造基准MedFabric，发现检测由证据正确性决定，通过检索置信度门提升了检测性能并开放资源。
2026-08-28 cs.AI cs.CL
Estimating LLM Consistency: A User Baseline vs Surrogate Metrics
Carnegie Mellon University（卡内基梅隆大学）；RSAC Labs（RSAC实验室）
本文提出了一种基于logits的集成方法，用于估计LLM一致性，并展示了其在匹配人类评分方面与现有最佳指标相当。
2025-11-21 cs.AI cs.CL cs.HC
TN-Eval: Rubric and Evaluation Protocols for Measuring the Quality of Behavioral Therapy Notes
Georgia Institute of Technology（佐治亚理工学院）；AWS AI Labs（亚马逊云科技AI实验室）；OneMedical
本研究提出TN-Eval评分标准与评估协议，用于衡量行为治疗笔记质量，发现LLM生成的笔记在盲测中被治疗师认为优于人工笔记，但存在幻觉问题。
2025-03-26 cs.AI cs.CL
Measuring and Eliminating Refusals in Military Large Language Models
本研究通过评估军事大语言模型的拒绝行为，提出通过中期训练和端到端后训练实现零拒绝和最大军事任务准确性的方法。
2026-02-18 cs.AI cs.CL
Safe: Enhancing Mathematical Reasoning in Large Language Models via Retrospective Step-aware Formal Verification
School of Computer Science, National Key Laboratory for Multimedia Information Processing, PKU-Anker LLM Lab, Peking University（计算机学院、多媒体信息处理国家重点实验室、PKU-Anker LLM实验室、北京大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）；The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出回顾式逐步形式化验证框架Safe，利用Lean 4对LLM数学推理的每一步进行形式化证明以识别幻觉，并构建FormalStep基准，显著提升推理性能与可验证性。
2025-06-05 cs.AI cs.CL cs.LG
Google（谷歌公司）
In this work we present Google's submission to the BioASQ 7 biomedical question answering (QA) task (specifically Task 7b, Phase B). The core of our systems are based on BERT QA models, specifically the model of \cite{alberti2019bert}. In this report, and via our submissions, we aimed to investigate two research questions. We start by studying how domain portable are QA systems that have been pre-trained and fine-tuned on general texts, e.g., Wikipedia. We measure this via two submissions. The first is a non-adapted model that uses a public pre-trained BERT model and is fine-tuned on the Natur…
2019-09-24 cs.AI cs.CL cs.LG
Beyond the Surface: Measuring Self-Preference in LLM Judgments
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学首都人工智能学院）；Huawei Poisson Lab（华为Poisson实验室）；Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京大型模型与智能治理重点实验室）
本文提出DBG分数，利用黄金评判分离回答质量与自我偏好偏差，系统测量不同LLM的自我偏好偏差，并分析其影响因素与注意力机制层面的成因。
2025-06-03 cs.CL
GROUND: Reducing Hallucinations in LLM-Based Enterprise Analytics Through Governed Semantic Definitions
Cox Automotive Inc（考克斯汽车公司）
该研究提出GROUND框架，通过受监管语义层约束大语言模型生成的企业分析内容，在多模型多数据集测试中消除了所有评估类别的幻觉，保障了数据安全。
2026-08-28 cs.AI
MIRAGE-Bench: LLM Agent is Hallucinating and Where to Find Them
University of California, Berkeley（加州大学伯克利分校）
本文提出 MIRAGE-Bench，通过三类幻觉分类、快照决策点测试用例和细粒度 LLM-as-a-Judge 评估，系统识别交互式 LLM 智能体的幻觉动作。
2025-07-28 cs.AI
Conservative Bias in Large Language Models: Measuring Relation Predictions
本文研究大型语言模型在关系抽取中偏好 No_Relation 的保守偏见，通过多提示、数据集和关系类型评估，并用 SBERT 与 LLM 提示量化其相对幻觉更频繁的语义表现。
2025-06-09 cs.CL
The Curious Case of Factuality Finetuning: Models' Internal Beliefs Can Improve Factuality
University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
研究微调数据事实性与长文本生成幻觉的关系，发现基于模型内部信念过滤的模型生成数据微调比金标准数据更能提升跨领域事实性。
2025-07-11 cs.CL
Measuring the Inconsistency of Large Language Models in Preferential Ranking
University of Edinburgh（爱丁堡大学）；Huawei IT Innovation and Research Center（华为IT创新研究中心）
本研究基于序理论形式化定义了偏好排序的一致性标准，通过诊断实验揭示了LLMs在传递性、无关替代方案独立性等方面的显著不一致性及强烈的positional bias。
2024-10-11 cs.CL
Improving Quantized Model Performance in Qualitative Analysis with Multi-Pass Prompt Verification
University of Turku, Turku, Finland（图尔库大学，芬兰图尔库）；Brilloconnetz Partners avoin yhtiö, Turku, Finland（Brilloconnetz Partners 有限公司，芬兰图尔库）
本文研究了不同位数量化级别和类型对LLaMA-3.1(8B)在定性分析中的性能影响，提出了一种量化感知的多轮提示验证方法以提高模型的稳定性和准确性，结果显示8位模型最接近黄金标准，4位模型在应用方法后变得稳定，3位和2位模型在提示设计和验证后性能有所提升。
2026-04-04 cs.AI cs.CL cs.LG
Right Number, Wrong State? Measuring Cross-Jurisdiction Substitution in LLM Recall of State Policy
Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）
本研究通过最小集设计测试LLM回答州政策问题时，错误答案是否源于跨辖区替代，发现归因脆弱，需完整同州参考集验证，并发布协议与数据。
2026-10-08 cs.CL
BabelJudge: Measuring LLM-as-a-Judge Reliability Across Languages and Agent Trajectories
提出BabelJudge基准，通过受控扰动生成已知标签的成对样本，无监督地测量评判模型的位置偏差、冗长偏差、顺序不一致和跨语言退化，发现Swahili顺序一致性接近随机。
2026-06-23 cs.AI cs.CL
Auditing and Repairing LLM-as-Judge Failures in a Production Text-to-SQL Pipeline
Santa Clara University（圣克拉拉大学）
本文审计生产环境文本到SQL流水线中的LLM评判者，发现其与人类一致性极低，归因于GRADE-HALLUCINATION机制，并证明自托管Qwen模型以极低成本达到与Claude相当的一致性，且强评判者集成可进一步提升。
2026-09-28 cs.CL cs.LG
Targeting the Attention Heads Behind Object Hallucination in LLaVA
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本研究针对LLaVA的物体幻觉问题，通过注意力头诊断筛选出32个关键注意力头，结合LoRA适配器与推理控制器，在COCO数据集上显著降低了物体幻觉率。
2026-08-27 cs.AI cs.CV
K-QA: A Real-World Medical Q&A Benchmark
K Health Inc（K Health 公司）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
该研究构建了包含1212条真实患者问题的医疗问答基准K-QA，提出基于NLI的全面性和幻觉率评估指标，验证了上下文学习可提升模型回复全面性、增强检索能减少幻觉，为医疗准确型NLP研究提供支持。
2024-01-25 cs.CL cs.HC cs.LG
UniCAR-RL: Seeing Better before Thinking Deeper in Visual Mathematics
Huawei Inc.（华为公司）；Huazhong University of Science and Technology（华中科技大学）
针对多模态大模型视觉数学推理中感知幻觉引发级联错误的问题，提出UniCAR-RL，通过解耦感知与推理优化，以三个协同分支提升推理性能，仅用短答案数据即显著增强并具良好泛化性。
2026-09-15 cs.AI
QUENCH: Measuring the gap between Indic and Non-Indic Contextual General Reasoning in LLMs
IIIT Delhi（德里印度信息技术学院）
QUENCH基准通过YouTube问答视频人工构建文本问答，评估LLMs在印度与非印度地理语境下的常识推理差距，发现模型规模、提示风格和地理语境影响推理能力，并分析常见错误。
2024-12-16 cs.CL
Measuring What Matters -- or What's Convenient?: Robustness of LLM-Based Scoring Systems to Construct-Irrelevant Factors
Acuity Insights Inc.（Acuity Insights公司）
研究探讨了基于LLM的评分系统在面对无关因素时的鲁棒性，发现其在处理无意义填充文本、拼写错误等时表现稳健，但对偏离主题的回答惩罚较重，为未来设计更相关的LLM评分系统提供了支持。
2026-03-26 cs.AI cs.CL cs.CY
VLind-Bench: Measuring Language Priors in Large Vision-Language Models
Seoul National University（首尔大学）；IPAI, Seoul National University（首尔大学 IPAI）；Adobe Research（奥多比研究院）
本文提出首个专门测量大型视觉-语言模型语言先验的基准VLind-Bench，通过先验证常识、视觉感知等基础能力再评估反事实图像上的表现，发现几乎所有模型都严重依赖语言先验。
2025-02-08 cs.AI cs.CL cs.CV
