ReactBench: A Cause-Driven Benchmark for Multimodal Hallucination via Systematic Evaluation
East China Normal University(华东师范大学)
提出ReactBench基准,通过对抗性图像和诱导幻觉的查询,系统评估多模态大模型在关系擦除、反事实属性、变化追踪和密集计数等任务中的因果幻觉。
2026-05-28 cs.CV
Geo3R: Mitigating Spatial Reasoning Hallucination in Multimodal Large Language Models
Peking University(北京大学);Joy Future Academy(京东探索研究院)
多模态大语言模型推理空间关系易产生幻觉,现有方法效果有限。本文定义空间推理幻觉及常见场景,提出无训练的Geo3R框架,结合几何证据和结构化3D推理减轻幻觉,实验证明该框架显著减少幻觉,优于现有模型和方法。
2026-07-24 cs.CV
MIHBench: Benchmarking and Mitigating Multi-Image Hallucinations in Multimodal Large Language Models
Xiamen University(厦门大学);Zhongguancun Academy(中关村学院)
该研究首次系统探究多图像MLLM的幻觉问题,提出含三项核心任务的MIHBench基准,明确幻觉发生的关键影响因素,并提出动态注意力平衡机制,有效减少多图像场景下的幻觉、提升语义整合与推理稳定性。
2025-08-01 cs.CV
Hallucination-Aware Multimodal Benchmark for Gastrointestinal Image Analysis with Large Vision-Language Models
Rochester Institute of Technology, Rochester, NY, USA(罗切斯特技术学院);Nepal Applied Mathematics and Informatics Institute for Research (NAAMII)(尼泊尔应用数学与信息技术研究所);Kathmandu University(加德满都大学);University of Lausanne(洛桑大学);University of Aberdeen(阿伯丁大学)
针对VLM在胃肠道图像分析中的幻觉问题,构建Gut-VLM数据集并采用幻觉感知微调方法,优于传统微调,建立基准。
2025-06-22 cs.CV cs.LG
Seeing Clearly without Training: Mitigating Hallucinations in Multimodal LLMs for Remote Sensing
School of Computer Science, Wuhan University, China(武汉大学计算机学院);Zhongguancun Academy, China(中关村学院);School of Computer Science, Chongqing University, China(重庆大学计算机学院)
RADAR通过利用多模态大语言模型的内在注意力,无需训练即可减少遥感视觉问答中的事实性和逻辑性幻觉。
2026-03-03 cs.CV
Mitigating Hallucination in Multimodal Large Language Model via Hallucination-targeted Direct Preference Optimization
Renmin University of China(中国人民大学);Tencent(腾讯)
针对多模态大语言模型的幻觉问题,提出HDPO方法,通过构建针对视觉能力不足、长上下文生成和多模态冲突三类成因的偏好对数据进行偏好优化,有效缓解幻觉并在多个评估数据集上超越多数SOTA方法。
2024-11-15 cs.AI cs.CL cs.CV
PrismAlign: Prior-Steered Multi-View VLM Alignment for Hallucination-Robust Table OCR
Huawei Technologies, Co., Ltd(华为技术有限公司)
提出PrismAlign多VLM框架,利用表格逻辑先验和贝叶斯决策策略对齐多视角,减少表格OCR中的幻觉,在多个基准上达到最先进性能。
2026-09-21 cs.CV
Mitigating Object and Action Hallucinations in Multimodal LLMs via Self-Augmented Contrastive Alignment
Graduate Institute of Communication Engineering, National Taiwan University(国家交通大学通信工程研究所);NVIDIA
SANTA框架通过自增强对比对齐方法,有效缓解多模态大语言模型中的对象和动作幻觉问题。
2025-12-04 cs.AI cs.CL cs.CV
HaloQuest: A Visual Hallucination Dataset for Advancing Multimodal Reasoning
Google DeepMind(谷歌DeepMind);Columbia University(哥伦比亚大学)
HaloQuest是一个视觉问答数据集,利用合成与真实图像捕捉多模态幻觉,作为基准和微调数据,显著降低幻觉率并保持推理性能,同时提出高相关性的自动评估机制。
2024-07-22 cs.AI cs.CV cs.LG
PerturboLLaVA: Reducing Multimodal Hallucinations with Perturbative Visual Training
Zhejiang University(浙江大学);WeChat Group(腾讯微信团队);Zhejiang University of Technology(浙江工业大学)
本文提出PerturboLLaVA方法,通过对抗性扰动文本训练降低模型对语言先验的依赖,并引入HalFscore细粒度指标,有效减少多模态大语言模型在密集图像描述中的幻觉,提升描述准确性与基准性能。
2025-03-09 cs.AI cs.CV
Understanding and Mitigating Hallucinations in Multimodal Chain-of-Thought Models
School of Computer Science and Ningbo Institute, Northwestern Polytechnical University, China(西北工业大学计算机学院和宁波研究院);National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology, China(国家空天地海一体化大数据应用技术国家工程实验室)
本文研究多模态推理链模型中的幻觉问题,发现其源于联想推理步骤中的虚假文本生成,提出一种有效策略缓解幻觉,实验表明方法效果显著且可与其他缓解方法结合提升性能。
2026-03-28 cs.CV
Mask What Matters: Mitigating Object Hallucinations in Multimodal Large Language Models with Object-Aligned Visual Contrastive Decoding
ETH Zurich(苏黎世联邦理工学院);Amazon(亚马逊);MBZUAI(穆罕默德·本·拉什德智能科学技术研究院)
本文提出了一种通过对象对齐的视觉对比解码缓解多模态大语言模型中对象幻觉的方法,具有计算开销低且兼容性强的特点。
2026-02-12 cs.CL cs.CV
Mitigating Hallucinations in Large Vision-Language Models via Entity-Centric Multimodal Preference Optimization
Soochow University(苏州大学);Baidu Inc.(百度公司);Shandong University(山东大学)
本文提出以实体为中心的多模态偏好优化方法EMPO,通过自动构建图像、指令和响应三方面偏好数据来增强模态对齐,显著降低大型视觉语言模型的幻觉率。
2025-09-22 cs.AI cs.CL cs.CV
Hallucination of Multimodal Large Language Models: A Survey
National University of Singapore(新加坡国立大学);Amazon AGI(亚马逊AGI);AWS Shanghai AI Lab(亚马逊云科技上海人工智能实验室);Show Lab(秀实验室)
本综述全面分析了多模态大语言模型(MLLMs)中的幻觉现象,详细探讨了其潜在原因、评估基准、指标与缓解策略,并提出了未来研究路径,旨在增强模型的鲁棒性与可靠性。
2025-04-01 cs.CV
EFUF: Efficient Fine-grained Unlearning Framework for Mitigating Hallucinations in Multimodal Large Language Models
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
提出高效细粒度遗忘框架EFUF,无需配对数据即可消除多模态大语言模型的物体幻觉,在降低幻觉的同时保持生成质量且计算开销适中。
2024-09-23 cs.CL cs.CV
Combating Multimodal LLM Hallucination via Bottom-Up Holistic Reasoning
National University of Singapore(新加坡国立大学);University of Arizona(亚利桑那大学);University of California, Santa Barbara(加州大学圣巴巴拉分校);Skywork AI(天工智能);Nanyang Technological University(南洋理工大学)
本文提出一种自下而上的整体推理框架,通过验证并整合感知层面信息与认知层面常识知识,系统解决多模态大语言模型中视觉和文本输入的潜在问题,有效对抗幻觉并显著提升多个幻觉基准上的表现。
2024-12-21 cs.CV
ZINA: Multimodal Fine-grained Hallucination Detection and Editing
Keio AI Research Center(庆应义塾大学人工智能研究中心);Keio University(庆应义塾大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出ZINA方法,用于多模态大语言模型的细粒度幻觉检测与编辑,通过构建VisionHall数据集验证了其在检测和编辑任务中的优越性。
2026-04-05 cs.AI cs.CL cs.CV
SchröMind: Mitigating Hallucinations in Multimodal Large Language Models via Solving the Schrödinger Bridge Problem
Fujitsu Research \& Development Center Co.,LTD., Beijing, China Fujitsu Limited, Tokyo, Japan
SchröMind通过求解薛定谔桥问题,有效减轻多模态大语言模型中的幻觉问题,提升模型在医疗等高风险领域的应用能力。
2026-02-10 cs.CV
Mitigating Hallucination in Multimodal LLMs with Layer Contrastive Decoding
Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·扎耶德人工智能大学);Hong Kong Baptist University(香港 Baptist大学)
针对多模态大语言模型的图像幻觉问题,提出 LayerCD,通过对比视觉编码器浅层与深层特征产生的输出分布过滤幻觉,并在两个基准上显著超过现有方法。
2025-09-29 cs.CV
FREAK: A Fine-grained Hallucination Evaluation Benchmark for Advanced MLLMs
Wangxuan Institute of Computer Technology, Peking University(北京大学王学苑计算机技术研究所);State Key Laboratory of General Artificial Intelligence(通用人工智能国家重点实验室)
本文提出FREAK基准测试,通过高质量图像评估MLLMs在细粒度视觉感知中的幻觉问题,揭示了现有模型在详细视觉感知上的严重幻觉问题。
2026-03-20 cs.CV
ODE: Open-Set Evaluation of Hallucinations in Multimodal Large Language Models
Beijing Jiaotong University(北京交通大学)
本文提出开放集动态评估协议ODE,利用图结构生成多样化样本,在存在性和属性层面评估多模态大语言模型的对象幻觉,揭示数据污染风险并支持幻觉分析与模型微调。
2025-07-04 cs.CL cs.CV
Investigating and Mitigating the Multimodal Hallucination Snowballing in Large Vision-Language Models
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室)
本文提出 MMHalSnowball 框架揭示 LVLM 会受既有幻觉误导而产生“多模态幻觉滚雪球”,并给出无需训练的 Residual Visual Decoding,缓解逾24%的此类幻觉且保持能力。
2024-08-03 cs.AI cs.CL cs.CV
Woodpecker: Hallucination Correction for Multimodal Large Language Models
School of Data Science, USTC(中国科学技术大学数据科学学院);Tencent YouTu Lab(腾讯优图实验室)
针对多模态大语言模型的幻觉问题,提出免训练的事后校正方法Woodpecker,通过五阶段流程校正生成文本中的幻觉,适配多种模型且具备可解释性,在POPE基准上准确率较基线最高提升30.66%。
2024-12-11 cs.AI cs.CL cs.CV
Thinking Before Looking: Improving Multimodal LLM Reasoning via Mitigating Visual Hallucination
Columbia University(哥伦比亚大学);Lehigh University(理海大学);University of Pennsylvania(宾夕法尼亚大学)
本文提出视觉推理链(VIC)框架,通过先基于纯文本构建推理链再引入视觉输入,缓解多模态大语言模型中由误导性图像引起的幻觉,并显著提升零样本视觉推理性能。
2024-11-15 cs.AI cs.CV
EmotionHallucer: Evaluating Emotion Hallucinations in Multimodal Large Language Models
Lappeenranta-Lahti University of Technology LUT(拉佩兰塔-拉赫蒂技术大学);University of Oulu(奥卢大学);Southeast University(东南大学);Shanghai Jiao Tong University(上海交通大学);Brno University of Technology(布拉格技术大学)
本研究推出首个评估MLLMs情绪幻觉的基准EmotionHallucer,从情绪心理学知识和多模态感知双维度、采用对抗式二元QA框架评估38个模型,发现普遍存在情绪幻觉问题,并提出PEP-MEK框架使检测性能平均提升9.90%。
2025-05-16 cs.CL cs.CV
HallE-Control: Controlling Object Hallucination in Large Multimodal Models
ByteDance Inc.(字节跳动公司);Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校);UIUC(伊利诺伊大学厄巴纳-香槟分校)
本文提出CCEval评估方法和HallE-Control可控模型,通过分离上下文知识与参数化知识,在保持物体覆盖率的同时将大型多模态模型的物体存在性幻觉降低44%。
2024-03-28 cs.CV
SAGE: Sink-Aware Grounded Decoding for Multimodal Hallucination Mitigation
Georgia Institute of Technology(佐治亚理工学院)
SAGE通过动态调节自注意力机制,实时监控 grounding 可靠性,有效缓解多模态幻觉问题,实验显示在MSCOCO和AMBER基准上取得显著提升。
2026-03-29 cs.CV
Beyond Language Priors: Diagnosing and Fixing Visual-Origin Hallucinations in Multimodal LLM
Tsinghua University(清华大学)
该研究指出多模态大语言模型的幻觉存在视觉起源因素,提出 ACFT 方法,仅用 0.9% COCO 数据即可在多个基准上实现最优幻觉修正性能
2026-09-02 cs.CV
Beyond Single Models: Mitigating Multimodal Hallucinations via Adaptive Token Ensemble Decoding
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学 Gallup 学院);Department of Electrical and Computer Engineering, McGill University(麦吉尔大学电气与计算机工程系);School of Statistics, Renmin University of China(中国人民大学统计学院);Tencent Jarvis Lab(腾讯 Jarvis 实验室);Medical Artificial Intelligence Lab, Westlake University(西湖大学医学人工智能实验室)
针对大视觉语言模型易出现物体幻觉的问题,提出无需训练的自适应Token集成解码框架,通过推理阶段多模型预测聚合与动态权重计算缓解幻觉,性能优于现有最优方法,为提升模型鲁棒性提供了新方向。
2025-10-21 cs.CV
Can Hallucination Correction Improve Video-Language Alignment?
University of Maryland(马里兰大学);Stony Brook University(石溪大学);Honda Research Institute(本田研究所)
针对大型视觉-语言模型的幻觉问题,该研究提出自训练框架HACA,将幻觉校正作为训练目标,通过识别校正视频描述与内容的不一致来增强时空推理下的视频-语言对齐能力,在相关任务中取得稳定提升。
2025-02-20 cs.AI cs.CL cs.CV
Magnifier Prompt: Tackling Multimodal Hallucination via Extremely Simple Instructions
针对多模态大语言模型的幻觉问题,提出无需训练的Magnifier Prompt方法,基于两项核心原则设计极简指令,适用于开源闭源模型,效果媲美甚至优于复杂方法,为相关研究提供见解。
2025-02-21 cs.AI cs.CL cs.CV
Reducing Hallucination in Multimodal Large Language Models through Hard Grounding Preference Supervision
Meta AI
本文提出分阶段偏好优化框架,通过构建针对幻觉问题的数据集,提升视觉-语言模型的 grounded reasoning,减少幻觉并提高响应信息量。
2026-09-29 cs.AI cs.CL cs.CV
Scalpel: Fine-Grained Alignment of Attention Activation Manifolds via Mixture Gaussian Bridges to Mitigate Multimodal Hallucination
Fujitsu Research & Development Center Co.,LTD.(Fujitsu 研究与开发中心有限公司);Fujitsu Limited(Fujitsu 有限公司)
Scalpel通过高斯混合模型和熵最优传输减少多模态幻觉,实现注意力激活流形的细粒度对齐,提升视觉-语言模型的输出一致性。
2026-02-10 cs.CV
Intervene-All-Paths: Unified Mitigation of LVLM Hallucinations across Alignment Formats
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);ShanghaiTech University(上海科技大学)
本文提出一种统一干预框架,通过分析不同路径间的相互作用,有效缓解跨对齐格式的LVLM幻觉问题。
2026-01-06 cs.AI cs.CV
Look Carefully: Adaptive Visual Reinforcements in Multimodal Large Language Models for Hallucination Mitigation
MoE Key Lab of BIPC, University of Science and Technology of China(信息与电子技术联合实验室,中国科学技术大学);Nanyang Technological University(南洋理工大学)
本研究提出自适应视觉增强框架AIR,通过减少冗余标记和选择性整合补丁来缓解多模态大语言模型中的幻觉问题。
2026-02-27 cs.CV
Mitigating Multimodal Hallucinations via Gradient-based Self-Reflection
NVIDIA;Australian National University(澳大利亚国立大学);Data61, CSIRO(Data61,CSIRO)
本文提出GACD方法,通过梯度分析缓解多模态模型的幻觉问题,提升输出的视觉基础性。
2026-03-02 cs.CL cs.CV
CutPaste&Find: Efficient Multimodal Hallucination Detector with Visual-aid Knowledge Base
Nanyang Technological University, Singapore(南洋理工大学);National University of Singapore, Singapore(国立新加坡大学)
针对LVLM物体幻觉检测依赖昂贵API和迭代验证的问题,提出无需训练的轻量框架CutPaste&Find,利用视觉辅助知识库和缩放因子高效验证,在POPE和R-Bench上达到竞争性能且成本更低。
2025-08-05 cs.CL cs.CV
Dynamic Multimodal Activation Steering for Hallucination Mitigation in Large Vision-Language Models
East China Normal University(华东师范大学)
本文提出动态多模态激活引导方法,通过构建语义真实性引导向量数据库,实现幻觉缓解,提升模型性能。
2026-02-25 cs.AI cs.CV
Look Twice Before You Answer: Memory-Space Visual Retracing for Hallucination Mitigation in Multimodal Large Language Models
Ant Group(蚂蚁集团);University of Technology Sydney(悉尼科技大学);Huazhong University of Science and Technology(华中科技大学)
本文提出MemVR解码范式,通过在模型推理不确定性高时将视觉token作为键值记忆经FFN重新注入MLLM,模拟人类“再看一次”的认知过程,从而在多种多模态大语言模型上显著缓解幻觉且不增加时间开销。
2025-05-08 cs.CV
Mitigating Hallucinations in Multimodal Spatial Relations through Constraint-Aware Prompting
University of Rochester(罗切斯特大学)
针对大型视觉语言模型存在的空间关系幻觉问题,提出融入双向与传递性约束的约束感知提示框架,在三个常用数据集上性能优于现有方法,为约束缓解空间幻觉提供了更多可能。
2025-03-21 cs.AI cs.CL cs.CV
More Thinking, Less Seeing? Assessing Amplified Hallucination in Multimodal Reasoning Models
UC Santa Cruz(加州大学圣克ruz分校);Stanford University(斯坦福大学);UC Santa Barbara(加州大学圣芭芭拉分校)
本研究提出RH-AUC指标和RH-Bench基准,系统评估多模态推理模型在长推理链下的幻觉加剧现象,发现模型规模与训练数据类型影响推理与感知的平衡。
2025-06-20 cs.AI cs.CL cs.CV
Mitigating Object Hallucination in MLLMs via Data-augmented Phrase-level Alignment
Vector Institute(矢量研究所);Google DeepMind(谷歌DeepMind);Google Cloud AI Research(谷歌云人工智能研究)
本文提出数据增强的短语级对齐(DPA)损失,通过生成幻觉与正确响应对并微调现成MLLMs,有效缓解对象幻觉,同时保持通用性能,在幻觉VQA和图像描述任务上分别提升F1达13.4%和降低幻觉率4.2%。
2025-02-28 cs.CV
Mitigating Multimodal Hallucination via Phase-wise Self-reward
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);Shenzhen(深圳);China(中国)
本文提出PSRD框架,通过分阶段自奖励信号在推理时动态抑制幻觉,有效降低LLaVA-1.5-7B的幻觉率50%,在多个基准上优于现有方法。
2026-04-20 cs.CL cs.CV
LISA: A Layer-wise Integration and Suppression Approach for Hallucination Mitigation in Multimodal Large Language Models
针对多模态大语言模型易产生物体幻觉的问题,提出即插即用的逐层集成与抑制方法LISA,通过频谱调制与锚点路由融合logits缓解幻觉,在多个基准上取得显著效果且泛化性强。
2025-11-13 cs.CV
Dynamic Alignment Compensation for Hallucination Mitigation in Large Vision-Language Models
Zhejiang University(浙江大学);Southeast University(东南大学)
针对大型视觉语言模型的幻觉问题,提出无需训练的推理时方法动态对齐补偿,结合分层语义补偿与序列语义校正,在9个多模态基准上可减少幻觉并保持整体性能。
2026-08-31 cs.AI cs.CV
Extracting Visual Facts from Intermediate Layers for Mitigating Hallucinations in Multimodal Large Language Models
Southeast University(东南大学)
本文提出无需训练的 EVA 方法,通过动态选择中间层并对比原始输入与纯文本输入的输出分布来提取视觉事实知识,从而校正多模态大语言模型的输出 logits,显著降低对象幻觉率。
2025-07-21 cs.CV
NoiseBoost: Alleviating Hallucination with Noise Perturbation for Multimodal Large Language Models
Tencent Youtu Lab(腾讯优图实验室);Tongji University(同济大学)
本文提出NoiseBoost方法,通过引入噪声特征扰动作为正则化器,平衡多模态大语言模型对视觉和语言标记的注意力,有效缓解幻觉问题,并支持半监督学习以提升性能。
2024-05-31 cs.AI cs.CV
Temporal Insight Enhancement: Mitigating Temporal Hallucination in Multimodal Large Language Models
Tohoku University(东北大学);RIKEN Center for AIP(理化学研究所革新智能统合研究中心)
针对多模态大语言模型处理视频时的事件级时间幻觉,提出将事件查询分解为标志性动作并用CLIP、BLIP2预测时间戳的框架,在Charades-STA上显著降低幻觉并提升回答质量。
2024-01-18 cs.AI cs.CV
Does Playing it Safe Count as Faithfulness? Reassessing LVLM Hallucination Mitigation Methods
George Mason University(乔治梅森大学)
该研究评估6种LVLM幻觉缓解方法,发现其虽降低幻觉率但会削弱信息性,且无法迁移到多模态能力,提出应从忠实性-信息性-能力权衡评估幻觉缓解。
2026-09-03 cs.CV
Hallucination Augmented Contrastive Learning for Multimodal Large Language Model
National Engineering Research Center for Software Engineering, Peking University(北京大学国家软件工程研究中心);Alibaba Group(阿里巴巴集团)
本文提出幻觉增强对比学习方法,将含幻觉文本作为困难负样本引入多模态大语言模型训练,以改善跨模态表示对齐并抑制幻觉,在多个基准上取得显著提升。
2024-02-24 cs.CV
ClearSight: Visual Signal Enhancement for Object Hallucination Mitigation in Multimodal Large language Models
University of Science and Technology of China(中国科学技术大学)
针对多模态大语言模型对象幻觉问题,提出即插即用的视觉放大融合技术,增强中间层视觉信号关注,减少幻觉且不降低推理速度。
2025-05-27 cs.AI cs.CV
ReLoop: "Seeing Twice and Thinking Backwards" via Closed-loop Training to Mitigate Hallucinations in Multimodal understanding
University of Bristol(布里斯托大学);Brown University(布朗大学);South China University of Technology(华南理工大学)
本文提出 ReLoop 闭环训练框架,通过冻结的 CFP 融合语义重建、视觉描述和注意力监督,使 MLLMs 在训练中自我校验并降低多模态幻觉。
2025-09-30 cs.CL cs.CV
TGIF: Text-Guided Layer Fusion Mitigates Hallucination in Multimodal LLMs
University of Connecticut(康涅狄格大学);NVIDIA(NVIDIA公司);Stanford University(斯坦福大学)
TGIF通过文本引导的层融合方法,有效缓解多模态大语言模型中的幻觉问题,提升视觉接地能力。
2026-08-11 cs.AI cs.CV
Clearer Sight, Fewer Lies: Oriented Pickup Preference Optimization for Multimodal Hallucination Mitigation
HKUST (GZ)(香港科技大学(广州));HKUST(香港科技大学);OPPO AI Center(OPPO AI中心)
提出一种证据感知的对齐目标OPPO,通过对比不同视觉证据强度下的相同忠实响应,将视觉偏好转化为有序视觉证据对齐,以缓解多模态大模型的幻觉问题。
2026-07-01 cs.CV