On Epistemic Uncertainty of Visual Tokens for Object Hallucinations in Large Vision-Language Models
Seoul National University(首尔大学)
本研究揭示视觉令牌的认知不确定性是物体幻觉的关键因素,提出通过对抗扰动识别并掩蔽不确定令牌的VE修改策略,显著减少幻觉并可与现有方法协同。
2025-10-10 cs.AI cs.CL cs.CV
Reference-free Hallucination Detection for Large Vision-Language Models
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Technical University of Munich(慕尼黑工业大学)
本文研究不依赖外部工具的无参考方法在大型视觉语言模型幻觉检测中的有效性,通过对比不确定性、一致性和有监督不确定性量化三类方法,发现无参考方法可有效检测非事实响应,且有监督不确定性量化方法表现最佳。
2024-11-19 cs.AI cs.CL
CORTEX: Token-Level Hallucination Detection in RAG via Comparative Internal Representations
KDDI Research, Inc.(KDDI研究所)
提出CORTEX方法,通过比较有无检索文档时LLM的内部表示,实现RAG中令牌级幻觉检测,并利用前序令牌传播和连续性平滑提升性能。
2026-07-01 cs.CL
Enhancing Uncertainty Modeling with Semantic Graph for Hallucination Detection
Xiaohongshu Inc.(小红书科技有限公司)
本文提出一种利用语义图增强不确定性建模的幻觉检测方法,通过构建实体与句子关系图进行不确定性传播与校准,在段落级幻觉检测上提升19.78%。
2025-04-05 cs.AI cs.CL
Scalable Token-Level Hallucination Detection in Large Language Models
Sea AI Lab(Sea AI实验室);Hong Kong University of Science and Technology(香港科学与技术大学);Pennsylvania State University(宾夕法尼亚州立大学)
本文提出TokenHD方法,通过可扩展的数据引擎和重要性加权策略,实现令牌级幻觉检测,实验显示小型模型在训练后性能优于大模型,且检测能力随模型规模扩大而提升。
2026-05-12 cs.AI cs.CL cs.LG
MultiToP: Learning to Patch Visual Tokens to Mitigate Hallucinations in Video Large Multimodal Models
Zhejiang University(浙江大学);Sun Yat-sen University(中山大学);East China Normal University(华东师范大学)
提出MultiToP框架,通过轻量级视觉令牌修补器动态替换不可靠视觉令牌,结合信息引导排名校准和稀疏正则化,在不修改原模型情况下减少视频多模态模型幻觉,显著提升F1分数和问答准确率。
2026-06-12 cs.AI cs.CL cs.CV
COPO: Causal-Oriented Policy Optimization for Hallucinations of MLLMs
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所);Wangxuan Institute of Computer Technology, Peking University(北京大学王轩计算机技术研究所);Amazon.com, Inc.(亚马逊公司)
COPO通过引入因果完整性奖励和GRPO框架,解决多模态大语言模型的幻觉问题,通过令牌级因果约束确保输出的正确性和证据基础。
2025-11-27 cs.AI cs.CL
ANHALTEN: Cross-Lingual Transfer for German Token-Level Reference-Free Hallucination Detection
CAIDAS, University of Würzburg(维尔茨堡大学CAIDAS机构);NEC Laboratories Europe(欧洲NEC实验室);University of Mannheim(曼海姆大学)
本文提出德语词元级无参考幻觉检测数据集ANHALTEN,并探索跨语言迁移方法,发现少样本迁移在多数设置下最有效,且更大上下文长度提升检测性能。
2024-07-18 cs.CL
RePPL: Recalibrating Perplexity by Uncertainty in Semantic Propagation and Language Generation for Explainable QA Hallucination Detection
The Hong Kong University of Science and Technology(香港科学与技术大学);Tsinghua University(清华大学)
RePPL通过校准语义传播和语言生成中的不确定性,提升问答幻觉检测性能,生成token级不确定性评分作为解释。
2026-02-02 cs.AI cs.CL
KCTS: Knowledge-Constrained Tree Search Decoding with Token-Level Hallucination Detection
HKUST(香港科技大学)
提出KCTS解码方法,结合知识分类器评分和MCTS,并引入词元级幻觉检测RIPA,在对话和摘要任务中有效减少幻觉,无需微调。
2023-10-13 cs.AI cs.CL cs.LG
Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus
Shanghai Jiaotong University(上海交通大学);Amazon AWS AI(亚马逊AWS人工智能);Westlake University(西湖大学);IGSNRR, Chinese Academy of Sciences(中国科学院地理科学与资源研究所)
本文提出一种无参考、基于不确定性的LLM幻觉检测方法,通过聚焦关键词、历史不可靠token及token属性模仿人类事实核查,在相关数据集上达到SOTA且无需额外信息。
2023-11-22 cs.AI cs.CL
DynHD: Hallucination Detection for Diffusion Large Language Models via Denoising Dynamics Deviation Learning
Nanyang Technological University, Singapore(新加坡南洋理工大学);Griffith University, Australia(澳大利亚格里菲斯大学)
本文提出DynHD,通过空间和时间视角解决扩散大语言模型幻觉检测中的信息密度不均和去噪动态建模问题,采用语义感知证据构造模块和偏差检测器提升检测性能。
2026-08-25 cs.CL
Don't Believe Everything You Read: Enhancing Summarization Interpretability through Automatic Identification of Hallucinations in Large Language Models
University of California Santa Cruz(加州大学圣克鲁兹分校)
本文针对LLMs在对话摘要中的幻觉问题,提出令牌级幻觉识别方法,并据此构建增强数据集和新训练范式,以提升模型的可解释性与忠实性。
2024-04-03 cs.AI cs.CL
BALTO: Balanced Token-Level Policy Optimization for Hallucination Mitigation
Shanghai Jiao Tong University(上海交通大学);Tencent(腾讯);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对大语言模型幻觉问题,提出BALTO框架,通过提取可验证事实声明并投影为令牌级标签,引入平衡信用分配机制,在六个模型-基准设置中实现最高忠实度,优于现有后训练基线。
2026-11-11 cs.CL
Probabilistic distances-based hallucination detection in LLMs with RAG
Markov Lab, Department of Mathematics(马尔可夫实验室,数学系);Computer Science, Saint-Petersburg University(计算机科学,圣彼得堡大学);AI Center, Skoltech(人工智能中心,斯克里普丘克技术学院);SB AI Lab(SB人工智能实验室);AI Center, Skoltech, Risk department, Sber(人工智能中心,斯克里普丘克技术学院,风险部门)
本文提出了一种基于概率距离的LLM幻觉检测方法,利用提示标记与响应标记嵌入分布的距离来检测幻觉,具有高效性和可迁移性。
2026-02-24 cs.AI cs.CL
Two-Token Features and Small-Large Ensembles for VLM Hallucination Detection
IBM Research(IBM研究院)
本研究提出一种结合小型微调VLM(4B参数)与大型零样本VLM(400B参数)的集成方法,利用双令牌特征和OCR进行字符级幻觉检测,在SHROOM-Visions 2026任务中取得良好排名。
2026-09-10 cs.CL
OmniConfess: Eliciting Token Confessions to Mitigate Omni-Modal Hallucination
Beijing University of Posts and Telecommunications(北京邮电大学);Nanyang Technological University(南洋理工大学)
OmniConfess通过令牌级通道干预生成证据坦白,无需训练即可缓解全模态大模型的幻觉,并在OmniHalluBench基准上验证了有效性。
2026-10-06 cs.CL
Detecting Token-Level Hallucinations Using Variance Signals: A Reference-Free Approach
ThinkAnalytics
提出一种基于多次生成中词元对数概率方差的无参考幻觉检测框架,在SQuAD v2上跨三个模型验证,可有效突出输出不稳定性并适配多领域。
2025-10-16 cs.CL cs.LG
On Early Detection of Hallucinations in Factual Question Answering
Amazon Web Services(亚马逊网络服务);Ruhr-Universität Bochum(鲁尔大学波鸿分校)
本文研究事实问答中的幻觉早期检测,通过分析LLM的输入、输出和内部状态线索训练二元分类器,实现了高达0.80的AUROC,并发现幻觉前的token已能预测后续幻觉。
2024-08-22 cs.AI cs.CL
Improve Decoding Factuality by Token-wise Cross Layer Entropy of Large Language Models
Harbin Institute of Technology(哈尔滨工业大学);Beijing Wispirit Technology(北京智语科技);Xuanwu Hospital(宣武医院);Tsinghua University(清华大学)
本文提出无需训练的跨层熵增强解码方法END,通过逐词量化跨层概率变化来优先选择事实性更高的词,从而在保持问答准确率的同时显著缓解大语言模型的幻觉问题。
2025-02-05 cs.AI cs.CL
DHI: Leveraging Diverse Hallucination Induction for Enhanced Contrastive Factuality Control in Large Language Models
School of Computer Science, Wuhan University(武汉大学计算机学院);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);School of Artificial Intelligence, Wuhan University(武汉大学人工智能学院)
DHI通过多样化幻觉诱导提升大语言模型对比事实性控制,有效减少幻觉生成。
2026-01-03 cs.CL
Quickest Detection of Hallucination Onset: Delay Bounds and Learned CUSUM Statistics
Independent Researcher(独立研究员)
将幻觉起始检测建模为快速变化检测问题,基于RAGTruth验证的一阶马尔可夫模型,利用学习型CUSUM算法在匹配虚警率下实现11-13个token的检测延迟,优于线性基线,并揭示了分类指标掩盖的延迟结构。
2026-07-07 cs.AI cs.CL cs.LG
Temporal Multi-Signal Fusion for Token-Level Hallucination Detection
本文提出一种融合多信号的时序方法,通过 BiGRU 序列标注检测 token 级幻觉,在 RAGTruth 上较基线提升 11 个百分点,适用于闭源模型且泛化性良好。
2026-08-20 cs.AI cs.CL cs.LG
Hallucination Span Detection with Input-Side Evidence Alignment
Institute of Science Tokyo(东京科学大学)
针对大型语言模型生成文本的幻觉问题,提出结合输入侧证据对齐的幻觉跨度检测任务,训练编码器模型通过预测置信度检测幻觉并对齐输入证据,实验验证了方法的有效性。
2026-08-18 cs.CL
The Null Token Knows: Reducing Message-Free Hallucination in ASR and NMT
该研究针对ASR与NMT的无信息幻觉问题,通过空令牌探查弃权信号,发现提升空令牌分数可抑制虚构但存在删除有效内容的权衡,推动多维度评估弃权方法。
2026-08-19 cs.CL cs.LG cs.SD
LettuceDetect: A Hallucination Detection Framework for RAG Applications
KR Labs(KR实验室);TU Wien(维也纳技术大学)
LettuceDetect基于ModernBERT和RAGTruth数据集,以token分类方式处理上下文-问题-答案三元组,实现高效准确的RAG幻觉检测,F1达79.22%,模型规模仅为最佳模型的1/30。
2025-02-24 cs.AI cs.CL
From Tokens to Semantics: Leveraging Complementary Signals for Hallucination Detection in Black-Box LLMs
BNY(纽约梅隆银行)
该研究针对黑盒大语言模型的幻觉检测问题,提出 TopK、CoCoA、Gated、Stacked 等方法,结合语义熵与 token 不确定性信号,在七个基准上开展评估,为不同场景提供了有效检测方案。
2026-09-09 cs.AI cs.CL
ESREAL: Exploiting Semantic Reconstruction to Mitigate Hallucinations in Vision-Language Models
Seoul National University(首尔大学);Sogang University(西江大学)
本文提出无监督框架 ESREAL,通过基于描述的语义图像重建、区域对齐与 token 级幻觉评分,并结合 PPO 惩罚幻觉 token,在无需图文对的情况下显著降低多个视觉-语言模型的幻觉。
2024-10-03 cs.CL cs.CV
Active Layer-Contrastive Decoding Reduces Hallucination in Large Language Model Generation
Purdue University(普渡大学);University of California, Davis(加州大学戴维斯分校)
提出主动层对比解码(ActLCD),通过强化学习策略在生成过程中动态决定何时应用对比层,在五个基准上超越现有方法,有效缓解大语言模型的长上下文幻觉问题。
2025-09-15 cs.AI cs.CL cs.LG
LLM Lies: Hallucinations are not Bugs, but Features as Adversarial Examples
Peking University(北京大学)
本文揭示LLM幻觉可由随机无意义提示触发,证明其类似对抗样本,并形式化提出hallucination attack及防御策略。
2024-08-04 cs.AI cs.CL
PAINT: Paying Attention to INformed Tokens to Mitigate Hallucination in Large Vision-Language Model
Virginia Tech(弗吉尼亚理工大学)
针对LVLM幻觉问题,提出PAINT框架,通过选择性增强局部与汇总视觉标记的注意力权重,在MSCOCO上降低幻觉率62.3%。
2025-03-26 cs.CL cs.CV
Detecting Hallucinations in Large Language Model Generation: A Token Probability Approach
Baylor University(贝勒大学);The University of Arizona(亚利桑那大学)
本文提出一种有监督学习方法,利用两个简单分类器并仅基于来自其他LLM评估器的四个词元与词汇概率数值特征来检测大型语言模型幻觉,在三个基准上超越现有最优结果。
2024-05-30 cs.AI cs.CL cs.LG
From Pixels to Tokens: Revisiting Object Hallucinations in Large Vision-Language Models
University of Chinese Academy of Sciences(中国科学院大学);Dept. of Comp. Sci. and Tech., Institute for AI, Tsinghua University(计算机科学与技术系,人工智能研究院,清华大学);Gaoling School of Artificial Intelligence, Renmin University of China(人工智能学院,中国人民大学);Kuaishou Technology Inc.(快手科技有限公司);Shanghai Key Laboratory of Multi. Info. Processing, East China Normal University(多信息处理重点实验室,华东师范大学)
本文从架构角度重新审视大型视觉语言模型中的幻觉问题,发现其主因在于视觉特征提取或解耦不足,并提出即插即用的微调策略PATCH,利用自适应虚拟词元从边界框提取对象特征以缓解幻觉,在多模态数据集上达到SOTA性能。
2025-08-12 cs.CL cs.CV
Measuring the Impact of Lexical Training Data Coverage on Hallucination Detection in Large Language Models
Université de Montréal(蒙特利尔大学)
本研究探讨词汇训练数据覆盖对大型语言模型幻觉检测的影响,通过构建后缀数组和n-gram统计,发现结合出现特征与对数概率可提升检测效果。
2025-11-22 cs.AI cs.CL
ReWEIGH the Evidence: Calibrating Token-Level Ordinal Visual Evidence to Mitigate Hallucinations in Large Vision-Language Models
Pohang University of Science and Technology (POSTECH)(浦项科技大学(POSTECH))
ReWEIGH是一种无需训练的解码干预方法,通过聚合视觉位置的令牌排名并施加有界惩罚,在多个7B至32B规模的LVLM上减少了最多21.3%的幻觉对象提及,且延迟增加极少。
2026-08-20 cs.AI cs.CL cs.CV
Focus Matters: Attention-Value Dynamics for Efficient Hallucination Mitigation in Vision-Language Models
Pusan National University(釜山大学);Pukyong National University(釜庆大学)
本文提出一种轻量级干预方法,在视觉编码器的聚焦阶段选择性抑制低关注的token,通过单次前向传递统计信息和DPP保留多样视觉线索,减少幻觉的同时保持caption质量,且推理延迟低。
2026-11-10 cs.AI cs.CL cs.CV
HalluCounter: Reference-free LLM Hallucination Detection in the Wild!
IIIT Hyderabad(IIIT海得拉巴);TCS Research, Hyderabad, India(TCS研究, 海得拉巴, 印度);University of Oslo, Norway(奥斯陆大学)
提出无参考幻觉检测方法HalluCounter,结合响应-响应与查询-响应一致性,并构建多领域基准HalluCounterEval,检测置信度超90%。
2025-05-27 cs.CL
D$^2$HScore: Reasoning-Aware Hallucination Detection via Semantic Breadth and Depth Analysis in LLMs
本文提出无需训练的D$^2$HScore框架,通过分析LLMs多层结构中的层内离散和层间漂移来捕获语义广度与深度,实现可解释的幻觉检测,在五个模型和五个基准上优于现有基线。
2025-09-15 cs.CL
Grounding Language with Vision: A Conditional Mutual Information Calibrated Decoding Strategy for Reducing Hallucinations in LVLMs
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);Harbin Institute of Technology(哈尔滨工业大学)
针对LVLMs解码时过度依赖语言先验导致的幻觉问题,提出基于条件逐点互信息校准的解码策略,联合建模视觉与文本标记贡献,通过双层优化和标记净化机制最大化互信息,在多个基准上显著减少幻觉并保持解码效率。
2025-10-23 cs.CL cs.CV
Where Fake Citations Are Made: Tracing Field-Level Hallucination to Specific Neurons in LLMs
Rutgers University(罗格斯大学)
研究发现LLM生成虚假引用时,作者名错误率最高,领域特定的幻觉神经元通过内部模型信号可检测和缓解。
2026-04-20 cs.AI cs.CL
HalluWorld: A Controlled Benchmark for Hallucination via Reference World Models
Carnegie Mellon University(卡内基梅隆大学);Patronus AI;Independent Researcher(独立研究者);Stanford University(斯坦福大学);The Ohio State University(俄亥俄州立大学);DegenAI Labs(DegenAI实验室)
本文提出HalluWorld基准,通过显式参考世界模型研究语言模型的幻觉问题,发现不同任务中幻觉表现不一致,表明幻觉源于多种失败模式而非单一能力。
2026-05-19 cs.AI cs.CL cs.LG
Mitigating Object Hallucination via Concentric Causal Attention
Nanyang Technological University(南洋理工大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出同心因果注意力(CCA)位置对齐策略,通过缩小视觉与指令token的相对距离来缓解RoPE长距离衰减导致的物体幻觉,在多个基准上大幅超越现有方法。
2024-10-21 cs.CL cs.CV
Steer Where It Matters: Token-Level Visual-Sensitivity Steering for LVLMs Hallucination Mitigation
University of Science and Technology of China(中国科学技术大学)
提出令牌级视觉敏感度引导(TLVS)方法,通过提取令牌级引导向量并自适应调整引导强度,仅在关键解码步骤抑制幻觉,在多个基准上优于现有方法。
2026-06-02 cs.CL cs.CV cs.LG
Gray-Box Hallucination Detection in LLMs with Token Identities
Technion(以色列理工学院)
本文提出GURI检测器,结合候选token概率与token身份,在灰盒设置下提升了大语言模型幻觉检测的ROC-AUC,跨模型与跨数据集迁移性能优异。
2026-10-15 cs.CL
TAD: Token-Adaptive Contrastive Decoding with Confidence-Guided Gating for Hallucination Mitigation in Large Audio-Language Models
Information Engineering University(信息工程大学)
针对大型音频语言模型的幻觉问题,提出无需训练的令牌自适应对比解码(TAD),通过置信度引导门控对比真实与静音音频逻辑分数,在多个基准上显著提升F1分数。
2026-09-09 cs.CL cs.CV cs.SD
CHAIR -- Classifier of Hallucination as Improver
CHAIR通过分析各层令牌logits的紧凑特征来检测幻觉,在TruthfulQA和MMLU上显著提升零样本检测准确率,并启发利用内部表示改进解码策略。
2025-01-22 cs.CL
Decoding Memories: An Efficient Pipeline for Self-Consistency Hallucination Detection
ORNL(橡树岭国家实验室)
针对自一致性幻觉检测中重复生成导致的高计算成本,本文提出 DMP 流水线,利用共享前缀冗余、选择性推理与退火解码,在保持 AUROC 的同时实现最高 3 倍加速。
2025-08-28 cs.AI cs.CL
CBSiMT: Mitigating Hallucination in Simultaneous Machine Translation with Weighted Prefix-to-Prefix Training
Beijing Institute of Technology(北京理工大学);Xiaomi AI Lab(小米人工智能实验室)
针对同声传译中因词序差异导致的幻觉问题,提出基于置信度的CBSiMT框架,通过词元级和句子级加权训练缓解干扰,在多语种任务中多数延迟区间提升翻译质量,低延迟下BLEU最高提2分。
2023-11-07 cs.CL
Hallucination Detection and Hallucination Mitigation: An Investigation
Samsung AI Center Montreal(三星蒙特利尔人工智能中心)
本文系统综述了大型语言模型幻觉检测与缓解的研究现状,旨在为相关工程师和研究人员提供参考。
2024-01-16 cs.AI cs.CL
Concept Tokens: Learning Behavioral Embeddings Through Concept Definitions
Instituto de Computación, Facultad de Ingeniería, Universidad de la República(共和国大学工程学院计算研究所)
Concept Tokens通过概念定义学习行为嵌入,能有效控制冻结语言模型的行为,减少幻觉并提升合规性。
2026-01-08 cs.AI cs.CL cs.LG
DENEB: A Hallucination-Robust Automatic Evaluation Metric for Image Captioning
Keio University(庆应义塾大学)
本文提出抗幻觉的图像描述自动评估指标 DENEB,利用 Sim-Vec Transformer 同时建模图像、候选描述与多参考描述,并基于 Nebula 人工标注数据集训练,在多个基准上达到无 LLM 指标的最优水平。
2024-10-24 cs.AI cs.CL cs.CV
First Logit Boosting: Visual Grounding Method to Mitigate Object Hallucination in Large Vision-Language Models
DGIST EECS(大邱庆北科学技术院电子工程与计算机科学系)
本文提出FLB方法,通过存储首个生成token的logit并加到后续预测中,缓解大视觉-语言模型中的长期衰减问题,有效减少物体幻觉并保持视觉信息。
2026-04-01 cs.AI cs.CL cs.CV
Learning Auxiliary Tasks Improves Reference-Free Hallucination Detection in Open-Domain Long-Form Generation
HKUST(GZ)(香港科技大学(广州));NTU(国立新加坡大学);GenAI, Meta(生成式人工智能,Meta)
针对开放域长文本生成的无参考幻觉检测难题,提出RATE-FT微调范式,通过引入辅助任务联合学习提升检测准确率,在LongFact等数据集上验证了其有效性与泛化性,性能优于通用微调方法。
2025-05-18 cs.CL
Mitigating Hallucinations in Large Vision-Language Models via Summary-Guided Decoding
IPAI, Seoul National University(首尔大学IPAI研究所);Seoul National University(首尔大学)
针对 LVLM 因语言先验产生物体幻觉的问题,提出 SumGD,通过摘要压缩上下文并仅调控图像相关词性 token,在保持文本质量的同时取得最优幻觉缓解效果。
2025-02-19 cs.AI cs.CL cs.CV