视觉大模型 / VLM

Steer Where It Matters: Token-Level Visual-Sensitivity Steering for LVLMs Hallucination Mitigation

关键位置引导：基于令牌级视觉敏感度引导的LVLMs幻觉缓解

Ruipeng Zhang, Zhihao Li, C. L. Philip Chen, Tong Zhang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；vision language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出令牌级视觉敏感度引导（TLVS）方法，通过提取令牌级引导向量并自适应调整引导强度，仅在关键解码步骤抑制幻觉，在多个基准上优于现有方法。

Mitigating Perceptual Judgment Bias in Multimodal LLM-as-a-Judge via Perceptual Perturbation and Reward Modeling

通过感知扰动和奖励建模减轻多模态大语言模型作为评判者中的感知判断偏差

Seojeong Park, Jiho Choi, Junyong Kang, Seonho Lee, Jaeyo Shin, Hyunjung Shim

机构 * University of California, Berkeley（加州大学伯克利分校） ； KAIST（韩国科学技术院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文通过构建感知扰动数据集和结合GRPO奖励与批排序目标的统一训练框架，解决了多模态大语言模型作为评判者时因视觉证据与文本线索冲突而产生的感知判断偏差问题，显著提升了感知忠实度和与人类评价的一致性。

Comments ICML 2026

PaSBench-Video: A Streaming Video Benchmark for Proactive Safety Warning

PaSBench-Video: 面向主动安全预警的流式视频基准

Yusong Zhao, Yuejin Xie, Youliang Yuan, Junjie Hu, Jitian Guo, Yujiu Yang, Pinjia He

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Tsinghua University（清华大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出PaSBench-Video基准，包含740个视频，评估多模态大模型在危险发生前及时发出预警的能力，发现现有模型在时序精度和低误报率上表现不佳。

Prototypicality Bias Reveals Blindspots in Multimodal Evaluation Metrics

原型性偏差揭示多模态评估指标中的盲点

Subhadeep Roy, Gagan Bhatia, Steffen Eger

机构 * University of Technology Nuremberg（图恩大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文通过构建受控诊断基准PROTOBIAS，发现并验证了多模态评估指标中存在原型性偏差，即倾向于选择视觉或社会原型性高但语义错误的图像，并提出了轻量级对比训练评估器PROTOSCORE作为缓解基线。

Drive-P2D: A Progressive Perception-to-Decision Benchmark for VLMs in Autonomous Driving

Drive-P2D：自动驾驶中视觉语言模型的渐进式感知到决策基准

Zecong Tang, Zixu Wang, Yifei Wang, Weitong Lian, Tianjian Gao, Haoran Li, Tengju Ru, Lingyi Meng, Zhejun Cui, Yichen Zhu, Qi Kang, Kaixuan Wang, Yu Zhang

机构 * Zhejiang University（浙江大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出Drive-P2D基准，通过分离推理与答案的协议，在目标、场景和决策三个层级上评估视觉语言模型的感知到决策能力，并分析错误模式。

Systematic Discovery of Semantic Attacks in Online Map Construction through Conditional Diffusion

通过条件扩散系统发现在线地图构建中的语义攻击

Chenyi Wang, Ruoyu Song, Raymond Muller, Jean-Philippe Monteuuis, Jonathan Petit, Z. Berkay Celik, Ryan Gerdes, Ming F. Li

机构 * University of Arizona（亚利桑那大学） ； Purdue University（普渡大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.LG

AI总结 本文提出MIRAGE框架，系统发现能绕过对抗防御的语义攻击，通过寻找环境变化（如阴影、湿路）来降低地图预测准确性，实验显示两种攻击在多种防御下仍有效。

When Looking Is Not Enough: Visual Attention Structure Reveals Hallucination in MLLMs

当观察不足时：视觉注意结构揭示大语言模型中的幻觉

Fanpu Cao, Xin Zou, Xuming Hu, Hui Xiong

机构 * Thrust of Artificial Intelligence, HKUST (Guangzhou)（人工智能前沿 thrust，香港科技大学（广州）） ； Department of Computer Science and Engineering, HKUST（计算机科学与工程系，香港科技大学） 纠错

专题命中 幻觉与鲁棒性 ：visual reasoning(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文通过分析视觉注意的高频结构揭示大语言模型中的幻觉现象，提出LaSCD解码策略，有效减少幻觉并保持模型能力。

Not Blind but Silenced: Rebalancing Vision and Language via Adversarial Counter-Commonsense Equilibrium

非盲目而是被沉默：通过对抗性反常识平衡视觉与语言

Qingxin Xiao, Peilin Zhao, Yangyang Zhao, Lingwei Dang, Qingyao Wu

机构 * South China University of Technology（华南理工大学） ； Institute for Super Robotics (Huangpu)（机器人研究所（黄埔）） ； Shanghai Jiao Tong University（上海交通大学） ； Changsha University of Science and Technology（长沙理工大学） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.LG

AI总结 本文提出ACE框架，通过对抗性反常识补丁扰动视觉上下文，动态平衡语言先验与视觉信息，提升模型可信度。

PromptGuard: Soft Prompt-Guided Unsafe Content Moderation for Text-to-Image Models

PromptGuard: 基于软提示的文本到图像模型不安全内容审查

Lingzhi Yuan, Xinfeng Li, Chejian Xu, Guanhong Tao, Xiaojun Jia, Yihao Huang, Wei Dong, Yang Liu, Bo Li

机构 * Department of Computer Science, University of Maryland（计算机科学系，马里兰大学） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算机科学与数据科学学院） ； Kahlert School of Computing, The University of Utah（犹他大学Kahlert计算学院） ； Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校Siebel计算与数据科学学院） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 PromptGuard通过引入软提示机制，有效抑制文本到图像模型生成不安全内容，同时保持生成质量，且比现有方法快3.8倍。

Comments Accepted for publication in IEEE Transactions on Information Forensics and Security (TIFS)

The Cost of Context: Mitigating Textual Bias in Multimodal Retrieval-Augmented Generation

上下文的成本：减轻多模态检索增强生成中的文本偏差

Hoin Jung, Xiaoqian Wang

机构 * Elmore Family School of Electrical and Computer Engineering（埃尔莫夫家族电气与计算机工程学院） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文探讨了多模态大语言模型在整合检索增强生成时出现的文本偏差问题，提出BAIR方法通过恢复视觉显著性并施加位置感知惩罚来提升多模态接地和诊断可靠性。

Visual Self-Fulfilling Alignment: Shaping Safety-Oriented Personas via Threat-Related Images

视觉自我实现对齐：通过威胁相关图像塑造安全导向的人设

Qishun Yang, Shu Yang, Lijie Hu, Di Wang

机构 * King Abdullah University of Science and Technology（国王阿卜杜勒·阿齐兹大学科学与技术学院） ； Provable Responsible AI and Data Analytics Lab（可证责任AI与数据分析实验室） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； China University of Petroleum-Beijing at Karamay（北京石油大学克拉玛依校区） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出视觉自我实现对齐方法，通过威胁相关图像训练视觉语言模型，塑造安全导向的人设，减少攻击成功率并提升响应质量。

Seeing is Believing: Robust Vision-Guided Cross-Modal Prompt Learning under Label Noise

见仁见智：在标签噪声下鲁棒的视觉引导跨模态提示学习

Zibin Geng, Xuefeng Jiang, Jia Li, Zheng Li, Tian Wen, Lvhua Wu, Sheng Sun, Yuwei Wang, Min Liu

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； PCALab, VCIP, College of Computer Science, Nankai University（南开大学计算机学院PCALab, VCIP） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VisPrompt框架，通过跨模态注意力机制将视觉语义注入提示表示，提升在标签噪声下的鲁棒性，实验表明其在多个数据集上表现优于现有基线。

Countering the Over-Reliance Trap: Mitigating Object Hallucination for LVLMs via a Self-Validation Framework

对抗过度依赖陷阱：通过自验证框架缓解LVLMs中的物体幻觉

Shiyu Liu, Xinyi Wen, Zhibin Lan, Ante Wang, Jinsong Su

专题命中 幻觉与鲁棒性 ：vision language model(abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出自验证框架，通过验证生成描述中物体存在的可信度，缓解LVLMs中的物体幻觉问题，在图像描述任务中取得显著改进。

Comments Code is available at https://github.com/Liushiyu-0709/SelfVal

PyFi: Toward Pyramid-like Financial Image Understanding for VLMs via Adversarial Agents

PyFi: 通过对抗代理实现金字塔式金融图像理解的愿景语言模型

Yuqun Zhang, Yuxuan Zhao, Sijia Chen

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Yantai Research Institute, Harbin Engineering University（哈尔滨工程大学烟台研究院） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(abstract)；visual reasoning(abstract)；分类 cs.CV、cs.AI

AI总结 PyFi通过对抗代理生成的金字塔结构数据集，提升VLM在金融图像理解中的推理能力，实验显示模型在复杂金融问题上的准确率提升19.52%。

When Understanding Becomes a Risk: Authenticity and Safety Risks in the Emerging Image Generation Paradigm

当理解成为风险：新兴图像生成范式中的真实性与安全性风险

Ye Leng, Junjie Chu, Mingjie Li, Chenhao Lin, Chao Shen, Michael Backes, Yun Shen, Yang Zhang

机构 * CISPA Helmholtz Center for Information Security（CISPA海德堡信息安全中心） ； Xi’an Jiaotong University（西安交通大学） ； Flexera（Flexera公司） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了多模态大语言模型在图像生成中的安全性风险，发现其在语义理解能力上强于扩散模型，但生成不安全内容和伪造图像的风险更高，挑战现有检测方法。

Comments Accepted by CVPR 2026. 15 pages, 11 figures

FAPE-IR: Frequency-Aware Planning and Execution Framework for All-in-One Image Restoration

FAPE-IR：面向全场景图像修复的频率感知规划与执行框架

Jingren Liu, Shuning Xu, Qirui Yang, Yun Wang, Xiangyu Chen, Zhong Ji

机构 * Tianjin University（天津大学） ； University of Macau（澳门大学） ； City University of Hong Kong（香港城市大学） ； Institute of Artificial Intelligence (TeleAI)（人工智能研究所（TeleAI）） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出FAPE-IR框架，通过频率感知规划与执行模块，结合多模态大语言模型和LoRA-MoE架构，实现统一且可解释的全场景图像修复，实验显示其在七项任务中表现优异。

QUSR: Quality-Aware and Uncertainty-Guided Image Super-Resolution Diffusion Model

QUSR: 一种基于质量感知和不确定性引导的图像超分辨率扩散模型

Junjie Yin, Jiaju Li, Hanfa Xing

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 QUSR通过引入质量感知先验和不确定性引导噪声生成模块，提升图像超分辨率在复杂场景下的真实感和细节还原能力。

Comments This paper has been accepted by ICASSP 2026

Scalable Evaluation of the Realism of Synthetic Environmental Augmentations in Images

可扩展性评估合成环境增强图像的真实性

Damian J. Ruck, Paul Vautravers, Oliver Chalkley, Jake Thomas

机构 * Advai Ltd（Advai有限公司） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出了一种可扩展框架，用于评估合成环境增强图像的真实性，发现生成式AI在大多数条件下优于基于规则的方法。

Semantic Similarity is a Spurious Measure of Comic Understanding: Lessons Learned from Hallucinations in a Benchmarking Experiment

语义相似性是漫画理解的虚假度量：来自基准实验中幻觉的教训

Christopher Driggers-Ellis, Nachiketh Tibrewal, Rohit Bogulla, Harsh Khanna, Sangpil Youm, Christan Grant, Bonnie Dorr

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出了一项初步基准测试，评估生成视觉-语言模型在漫画解释任务中的表现，并分析了幻觉现象，强调未来研究中需加强幻觉缓解和数据整理。

Comments 8 pages, 2 figures, 3 tables. Includes link to code

Can a Teenager Fool an AI? Evaluating Low-Cost Cosmetic Attacks on Age Estimation Systems

青少年能否欺骗AI？评估低成本的外貌攻击对年龄估计系统的影响

Xingyu Shen, Tommy Duong, Xiaodong An, Zengqi Zhao, Zebang Hu, Haoyu Hu, Ziyou Wang, Finn Guo, Simiao Ren

机构 * Reality Inc ； UC Berkeley（伯克利大学） ； Duke University（杜克大学） ； Georgia Tech（佐治亚理工学院） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； UC San Diego（南加州大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.LG

AI总结 研究评估了低成本外貌攻击对年龄估计系统的影响，发现合成胡须等修改可使AI将未成年人误判为成年人，视觉-语言模型的鲁棒性略低于专门模型。

Comments 13 pages, 6 figures

MiSCHiEF: A Benchmark in Minimal-Pairs of Safety and Culture for Holistic Evaluation of Fine-Grained Image-Caption Alignment

MiSCHiEF：安全与文化最小对基准用于细粒度图像-描述对齐的全面评估

Sagarika Banerjee, Tangatar Madi, Advait Swaminathan, Nguyen Dao Minh Anh, Shivank Garg, Kevin Zhu, Vasu Sharma

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 MiSCHiEF通过安全与文化最小对基准，评估细粒度图像-描述对齐的挑战，揭示当前VLMs在模态对齐上的持续问题。

Comments EACL 2026, Main, Short Paper

Sketch2Feedback: Grammar-in-the-Loop Framework for Rubric-Aligned Feedback on Student STEM Diagrams

Sketch2Feedback: 用于学生STEM图表的基于语法规则的反馈框架

Aayam Bansal

机构 * IEEE 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

AI总结 Sketch2Feedback通过结合语法规则和视觉语言模型，提高了学生STEM图表反馈的准确性与可靠性，展示了语法规则与端到端方法的互补性。

IRIS: Implicit Reward-Guided Internal Sifting for Mitigating Multimodal Hallucination

IRIS: 隐式奖励引导的内部筛选以缓解多模态幻觉

Yuanshuai Li, Yuping Yan, Jirui Han, Fei Ming, Lingjuan Lv, Yaochu Jin

机构 * Department of Artificial Intelligence, Westlake University, Hangzhou, China（人工智能系，西湖大学，杭州，中国） ； Sony Research, Sony（索尼研究，索尼） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI、cs.LG

AI总结 IRIS通过隐式奖励引导内部筛选，有效缓解多模态大语言模型的幻觉问题，无需外部反馈且性能优异。

UniFGVC: Universal Training-Free Few-Shot Fine-Grained Vision Classification via Attribute-Aware Multimodal Retrieval

UniFGVC: 一种通用无训练少样本细粒度视觉分类方法通过属性感知多模态检索

Hongyu Guo, Xiangzhao Hao, Jiarui Guo, Haiyun Guo, Jinqiao Wang, Tat-Seng Chua

机构 * School of Traffic and Transportation, Beijing Jiaotong University（交通与运输学院，北京交通大学） ； Foundation Modal Research Center, Institute of Automation, Chinese Academy of Sciences（基础模态研究中心，自动化研究所） ； Queen Mary School Hainan, Beijing University of Posts and Telecommunications（海南女王学院，北京邮电大学） ； Department of Computer Science, NUS School of Computing（计算机科学系，国立大学计算机学院） 纠错

专题命中 幻觉与鲁棒性 ：visual language model(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 UniFGVC通过属性感知多模态检索方法，实现无训练少样本细粒度视觉分类，优于现有方法。

Cross-Paradigm Evaluation of Gaze-Based Semantic Object Identification for Intelligent Vehicles

跨范式评估基于注视的语义物体识别用于智能车辆

Penghao Deng, Jidong J. Yang, Jiachen Bian

机构 * Smart Mobility & Infrastructure Laboratory（智能移动与基础设施实验室） ； College of Engineering, University of Georgia（工程学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文通过三种方法评估基于注视的语义物体识别，发现大型VLM在识别小型安全关键物体上表现优异，但传统检测器在实时性上更高效。

Comments 21 pages, 15 figures, 3 tables

Decoupling Perception and Calibration: Label-Efficient Image Quality Assessment Framework

解耦感知与校准：一种标签高效的图像质量评估框架

Xinyue Li, Zhichao Zhang, Zhiming Xu, Shubo Xu, Xiongkuo Min, Yitong Chen, Guangtao Zhai

机构 * Shanghai Jiao Tong University（上海交通大学） ； Xi’an Jiaotong University（西安交通大学） ； Baidu（百度） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 LEAF通过蒸馏多模态大语言模型的感知先验，实现轻量级图像质量评估，减少对人类标注的依赖，同时保持与人类注释的一致性。

VIOLA: Towards Video In-Context Learning with Minimal Annotations

VIOLA：迈向最小标注的视频情境学习

Ryo Fujii, Hideo Saito, Ryo Hachiuma

机构 * Keio University（Keio大学） ； Keio AI Research Center（Keio人工智能研究中心） ； NVIDIA（NVIDIA公司） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 VIOLA通过结合最小专家监督和大量未标注数据，实现高效视频情境学习，显著提升低资源环境下的适应性能。

Tone Matters: The Impact of Linguistic Tone on Hallucination in VLMs

语气至关重要：语言语气对VLMs幻觉影响的研究

Weihao Hong, Zhiyuan Jiang, Bingyu Shen, Xinlei Guan, Yangyi Feng, Meng Xu, Boyang Li

机构 * Department of Computer Science and Technology, Kean University（计算机科学与技术系，凯恩大学） ； Department of Computer Science and Engineering, University of Notre Dame（计算机科学与工程系，圣母大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了提示语气对VLMs幻觉的影响，通过Ghost-100数据集发现幻觉率与提示强度非线性相关，揭示模型在处理结构性强制时的局限性。

Comments 10 pages, 6 figures, WACV Workshop

Transferability of Adversarial Attacks in Video-based MLLMs: A Cross-modal Image-to-Video Approach

视频基于多模态大语言模型中的对抗攻击可迁移性：一种跨模态图像到视频的方法

Linhao Huang, Xue Jiang, Zhiqiang Wang, Wentao Mo, Xi Xiao, Yong-Jie Yin, Bo Han, Feng Zheng

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出了一种跨模态图像到视频的对抗攻击方法，用于研究视频多模态大语言模型的可迁移性，实验表明该方法在多个视频-文本多模态任务中表现出强对抗转移性。

Look Closer! An Adversarial Parametric Editing Framework for Hallucination Mitigation in VLMs

更仔细地看！一种对抗性参数编辑框架用于减轻视觉语言模型中的幻觉

Jiayu Hu, Beibei Li, Jiangwei Xia, Yanjun Qin, Bing Ji, Zhongshi He

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出了一种对抗性参数编辑框架，通过激活-定位-编辑-对抗范式减轻视觉语言模型中的幻觉问题。