视觉大模型 / VLM

Attention Hijacking: Response Manipulation Across Queries in Vision-Language Models

注意力劫持：跨查询的视觉-语言模型响应操控

Zhiqiang Wang, Dongrui Liu, Yan Li, Zonghao Ying, Wei Xue, Wenhan Luo, Yike Guo

机构 * Hong Kong University of Science and Technology（香港理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了视觉-语言模型中跨查询响应操控问题，提出了一种新的对抗攻击方法Attention Hijacking，通过引导内部注意力分布保持图像主导模式，提高攻击在不同查询下的有效性。

On the Adversarial Robustness of Large Vision-Language Models under Visual Token Compression

大型视觉-语言模型在视觉标记压缩下的对抗鲁棒性研究

Xinwei Zhang, Hangcheng Liu, Li Bai, Hao Wang, Qingqing Ye, Tianwei Zhang, Haibo Hu

机构 * The Hong Kong Polytechnic University, Hong Kong（香港理工大学） ； Nanyang Technological University, Singapore（南洋理工大学） ； Chongqing University, Chongqing, China（重庆大学） ； Research Centre for Privacy and Security Technologies in Future Smart Systems, PolyU（未来智能系统中的隐私与安全技术研究中心） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了视觉标记压缩对大型视觉-语言模型对抗鲁棒性的影响，提出CAGE攻击方法，通过优化与压缩推理对齐，揭示压缩机制下的鲁棒性漏洞。

Comments Accepted by ICML 2026

Neutral-Reference Prompting for Vision-Language Models

视觉-语言模型的中性参考提示

Senmao Tian, Xiang Wei, Shunli Zhang

机构 * Beijing Jiaotong University（北京交通大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 本文提出NeRP策略，通过中性提示和参考图像提升模型对未知类别的判别能力，同时保持对已知类别的准确性。

Comments Accepted at ICML 2026

Operating Within the Operational Design Domain: Zero-Shot Perception with Vision-Language Models

在操作设计域内运行：基于视觉-语言模型的零样本感知

Berkehan Ünal, Hauke Dierend, Dren Fazlija, Christopher Plachetka

机构 * Volkswagen Aktiengesellschaft（大众汽车股份有限公司） ； L3S Research Center（莱比锡大学汉诺威研究中心） ； Faculty of Information Technology（信息科技学院） ； MOIA GmbH（MOIA公司） ； Motor AI GmbH（Motor AI公司） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文探讨了视觉-语言模型在无监督条件下对操作设计域的零样本感知能力，通过实验验证了基于链式推理的提示方法在OBD感知中的有效性，并提出了可重用的提示模板。

Comments 8 pages, 4 figures

Revis: Sparse Latent Steering to Mitigate Object Hallucination in Large Vision-Language Models

Revis: 通过稀疏潜在引导缓解大视觉-语言模型中的物体幻觉

Jialin Wu, Wei Shi, Han Shen, Peigui Qi, Kunsheng Tang, Zhicong Huang, Binghao Wang, Zhou Yang

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 Revis通过潜在空间几何学提取纯视觉信息向量，采用校准策略在抑制发生深度进行稀疏干预，有效降低物体幻觉率19%，同时保持推理能力。

Comments Accepted by ICML 2026

Online Self-Calibration Against Hallucination in Vision-Language Models

在线对抗幻觉的视觉-语言模型自我校准

Minghui Chen, Chenxu Yang, Hengjie Zhu, Dayan Wu, Zheng Lin, Qingyi Si

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 本文提出OSCAR框架，通过蒙特卡洛树搜索和双粒度奖励机制在线校准视觉-语言模型，减少幻觉并提升多模态能力。

Comments IJCAI 2026

Prefill-Time Intervention for Mitigating Hallucination in Large Vision-Language Models

预填充阶段干预用于缓解大视觉-语言模型中的幻觉

Chengsheng Zhang, Chenghao Sun, Xinyan Jiang, Wei Li, Xinmei Tian

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai Advanced Research Institute, Chinese Academy of Sciences（上海先进研究院，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出PTI方法，在预填充阶段干预KV缓存以减少幻觉，通过模态感知方向修正错误表示，提升模型可靠性。

Comments Accepted by CVPR 2026

Ramen: Robust Test-Time Adaptation of Vision-Language Models with Active Sample Selection

Ramen: 通过主动样本选择实现视觉语言模型的鲁棒性测试时适应

Wenxuan Bao, Yanjun Zhao, Xiyuan Yang, Jingrui He

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 本文提出Ramen框架，通过主动样本选择实现视觉语言模型在混合域下的鲁棒测试时适应，通过领域一致性与预测平衡准则提升适应性能，实验表明其在多种图像退化和领域偏移基准上表现优异。

Comments Accepted by CVPR 2026 (Findings Track)

When Text Hijacks Vision: Benchmarking and Mitigating Text Overlay-Induced Hallucination in Vision Language Models

当文本劫持视觉：基准测试与减轻文本叠加引起的视觉语言模型幻觉

Cui Yakun, Xingqun Qi, TianTian Geng, Yuyao Zhang, Sirui Han, Yike Guo

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； University of Birmingham（伯明翰大学） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VisualTextTrap基准测试，通过大规模人工验证样本和定制评估指标，减轻文本叠加引起的幻觉问题，并提出VTHM-MoE框架以提升视觉-文本解耦能力。

Mechanisms of Prompt-Induced Hallucination in Vision-Language Models

视觉-语言模型中提示诱导幻觉的机制

William Rudman, Michal Golovanevsky, Dana Arad, Yonatan Belinkov, Ritambhara Singh, Carsten Eickhoff, Kyle Mahowald

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Brown University（布朗大学） ； Technion（技术学院） ； University of Tübingen（图宾根大学） ； Harvard University（哈佛大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究揭示了视觉-语言模型在提示诱导幻觉中的机制，通过分析三种模型发现特定注意力头可显著减少幻觉现象，揭示了模型对提示的响应差异。

Comments ACL 2026 Main

Edu-MMBias: A Three-Tier Multimodal Benchmark for Auditing Social Bias in Vision-Language Models under Educational Contexts

Edu-MMBias: 一种三级多模态基准，用于在教育背景下审计视觉-语言模型中的社会偏见

Ruijia Li, Mingzi Zhang, Zengyi Yu, Yuang Wei, Bo Jiang

机构 * School of Computer Science and Technology, East China Normal University（东华师范大学计算机科学与技术学院） ； Shanghai Institute of Artificial Intelligence for Education, East China Normal University（东华师范大学教育人工智能研究所） ； Faculty of Education, East China Normal University（东华师范大学教育学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Edu-MMBias基准，通过三级维度审计视觉-语言模型中的社会偏见，揭示模型存在补偿性类偏见和深层健康与种族刻板印象，视觉输入可触发偏见回潮。

Risk Awareness Injection: Calibrating Vision-Language Models for Safety without Compromising Utility

风险感知注入：为安全校准视觉-语言模型而不牺牲实用性

Mengxuan Wang, Yuxin Chen, Gang Xu, Tao He, Hongjie Jiang, Ming Li

机构 * Shien-Ming Wu School of Intelligent Engineering, South China University of Technology（华南理工大学吴贤铭智能工程学院） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳）） ； Computer Science and Engineering, The Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title)；vision language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出RAI框架，通过增强不安全信号恢复视觉-语言模型的安全识别能力，同时保持语义完整性，实验显示有效降低攻击成功率。

Enhancing the Safety of Medical Vision-Language Models by Synthetic Demonstrations

通过合成演示增强医疗视觉-语言模型的安全性

Zhiyu Xue, Reza Abbasi-Asl, Ramtin Pedarsani

机构 * UC Santa Barbara（加州大学圣塔芭芭拉分校） ； UC San Francisco（加州大学旧金山分校） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种新的推理时防御策略，通过合成临床演示提升模型安全性，同时平衡安全与性能。

Mitigating Entangled Steering in Large Vision-Language Models for Hallucination Reduction

缓解大型视觉-语言模型中的纠缠引导以减少幻觉

Yuanhong Zhang, Zhaoyang Wang, Xin Zhang, Weizhan Zhang, Joey Tianyi Zhou

机构 * Ministry of Education Key Laboratory of Intelligent Networks and Network Security（教育部智能网络与网络安全重点实验室） ； Centre for Frontier AI Research, Institute of High Performance Computing, Agency for Science, Technology and Research（前沿人工智能研究中心，高性能计算研究所，科技研究局） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MESA框架，通过可控的潜在空间干预减少视觉-语言模型中的幻觉，同时保持生成行为，实验表明其在多个模型家族中表现优于现有方法。

MM-MoralBench: A MultiModal Moral Evaluation Benchmark for Large Vision-Language Models

MM-MoralBench: 一种多模态道德评估基准用于大型视觉-语言模型

Bei Yan, Jie Zhang, Zhiyuan Chen, Shiguang Shan, Xilin Chen

机构 * University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 为评估大型视觉-语言模型的道德对齐性，提出MM-MoralBench基准，通过多模态场景测试模型在六个道德基础上的判断与分类能力，揭示模型存在显著的道德偏见问题。

Comments Accepted by Pattern Recognition

VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model

VLBiasBench: 一个用于评估大视觉-语言模型偏见的综合性基准

Sibo Wang, Xiangkui Cao, Jie Zhang, Zheng Yuan, Shiguang Shan, Xilin Chen, Wen Gao

机构 * Key Laboratory of AI Safety of CAS, Institute of Computing Technology (ICT)（中国科学院人工智能安全重点实验室，计算技术研究所） ； University of Chinese Academy of Sciences (UCAS)（中国科学院大学） ； Peking University（北京大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VLBiasBench，通过覆盖九种社会偏见类别和两个交叉偏见类别的大规模数据集，评估大视觉-语言模型的偏见问题，基于15种开源和两种闭源模型进行广泛评估，揭示模型中的偏见特征。

Comments Accepted By TPAMI

Focus Matters: Phase-Aware Suppression for Hallucination in Vision-Language Models

重点至关重要：面向视觉语言模型中幻觉的相位感知抑制

Sohyeon Kim, Sang Yeon Yoon, Kyeongbo Kong

机构 * Pusan National University（釜山大学） ； Pukyong National University（釜庆大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种轻量级干预方法，在视觉编码器的聚焦阶段选择性抑制低关注的token，通过单次前向传递统计信息和DPP保留多样视觉线索，减少幻觉的同时保持caption质量，且推理延迟低。

CDH-Bench: A Commonsense-Driven Hallucination Benchmark for Evaluating Visual Fidelity in Vision-Language Models

CDH-Bench：一种基于常识的幻觉基准，用于评估视觉语言模型中的视觉保真度

Kesheng Chen, Yamin Hu, Qi Zhou, Zhenqian Zhu, Wenjian Luo

机构 * Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies, Institute of Cyberspace Security, School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen（广东省新型安全智能技术重点实验室，网络空间安全研究院，计算机科学与技术学院，哈尔滨工业大学（深圳）） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CDH-Bench基准，用于评估视觉语言模型在视觉证据与常识冲突时的视觉保真度，通过三种异常类型和两种QA任务，揭示模型在常识驱动下的幻觉问题。

Hallucination-aware intermediate representation edit in large vision-language models

具有幻觉意识的中间表示编辑在大视觉-语言模型中

Wei Suo, Hanzu Zhang, Lijun Zhang, Ji Ma, Peng Wang, Yanning Zhang

机构 * School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种动态检测和消除幻觉表示的框架，通过最小额外计算成本在现有基准上实现最先进的性能，展示了高效且稳健的幻觉消除能力。

Domain-Invariant Prompt Learning for Vision-Language Models

领域不变提示学习用于视觉-语言模型

Arsham Gholamzadeh Khoee, Yinan Yu, Robert Feldt

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DiCoOp，通过对抗训练方法提升视觉-语言模型在不同领域中的泛化能力，有效解决领域偏移问题。

Diagnosing and Repairing Unsafe Channels in Vision-Language Models via Causal Discovery and Dual-Modal Safety Subspace Projection

通过因果发现和双模态安全子空间投影诊断和修复视觉-语言模型中的不安全通道

Jinhu Fu, Yihang Lou, Qingyi Si, Shudong Zhang, Yan Bai, Sen Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； Peking University（北京大学） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CARE框架，通过因果分析和双模态安全子空间投影修复视觉-语言模型中的不安全通道，提升安全性而不影响多模态能力。

Comments Accepted by CVPR 2026 main conference

Contextual inference from single objects in Vision-Language models

从单个物体中推断上下文在视觉-语言模型中的研究

Martina G. Vilas, Timothy Schaumlöffel, Gemma Roig

机构 * Goethe University Frankfurt（法兰克福大学） ； The Hessian Center for AI（黑森州人工智能中心） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了视觉-语言模型中单个物体推断场景上下文的能力，发现物体属性影响推断性能，且不同层次的推断存在解耦现象。

TreeTeaming: Autonomous Red-Teaming of Vision-Language Models via Hierarchical Strategy Exploration

TreeTeaming：通过分层策略探索实现视觉语言模型的自主红队测试

Chunxiao Li, Lijun Li, Jing Shao

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 TreeTeaming通过动态演化策略探索方法，实现对视觉语言模型的自主红队测试，显著提升攻击成功率和策略多样性，同时降低攻击毒性。

Comments CVPR2026

Gaze-VLM:Bridging Gaze and VLMs through Attention Regularization for Egocentric Understanding

gaze-VLM：通过注意力正则化连接 gaze 与 VLMs 以实现 egocentric 理解

Anupam Pani, Yanchao Yang

机构 * HKU Musketeers Foundation Institute of Data Science, The University of Hong Kong（香港大学穆斯克特基金会数据科学研究所，香港大学） ； Department of Electrical and Electronic Engineering, The University of Hong Kong（电气电子工程系，香港大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出 gaze-regularized 框架，通过注意力正则化提升 VLMs 在细粒度未来事件预测和当前活动理解任务中的性能，实验表明在预测精度和鲁棒性上有显著提升。

Mitigating Object Hallucinations in Large Vision-Language Models via Attention Calibration

通过注意力校准缓解大视觉-语言模型中的物体幻觉

Younan Zhu, Linwei Tao, Minjing Dong, Chang Xu

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出动态注意力校准方法，通过对比学习动态强制位置不变性，有效缓解大视觉-语言模型中的物体幻觉问题，并在多个基准测试中取得最佳性能。

TTP: Test-Time Padding for Adversarial Detection and Robust Adaptation on Vision-Language Models

TTP: 视觉-语言模型上的对抗检测与鲁棒适应的测试时填充

Zhiwei Li, Yitian Pang, Weining Wang, Zhenan Sun, Qi Li

机构 * NLPR & MAIS, Institute of Automation, Chinese Academy of Sciences（神经网络与模式识别实验室及自动化研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Department of Automation, Tsinghua University（清华大学自动化系） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出TTP框架，通过测试时填充实现对抗检测与鲁棒适应，提升视觉-语言模型在对抗攻击下的鲁棒性而不影响清洁准确性。

Comments Accepted to the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026

Hidden Clones: Exposing and Fixing Family Bias in Vision-Language Model Ensembles

隐藏克隆：揭示并修复视觉-语言模型集成中的家族偏见

Zacharie Bugaud

机构 * Astera Institute（Astera研究院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了视觉-语言模型集成中同家族模型的关联误差问题，提出三种家族感知方法，通过层级家族投票、QualRCCV和学得候选评分，提升了集成性能并验证了方法的泛化能力。

Comments 15 pages, 6 figures, 11 tables

Mostly Text, Smart Visuals: Asymmetric Text-Visual Pruning for Large Vision-Language Models

大部分文本，智能视觉：不对称文本-视觉剪枝用于大型视觉-语言模型

Sijie Li, Biao Qian, Jungong Han

机构 * University of Sheffield, UK（英国谢菲尔德大学） ； Tsinghua University, China（清华大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 本文提出不对称文本-视觉剪枝方法，通过解耦文本和视觉token的权重，发现文本路径需用文本token校准，视觉路径可实现50%稀疏率，验证了其在多模态基准上的优越性。

Comments CVPR 2026. Code available here: https://github.com/LezJ/ATV-Pruning

VisualLeakBench: Auditing the Fragility of Large Vision-Language Models against PII Leakage and Social Engineering

VisualLeakBench: 对大型视觉-语言模型在PII泄露和社会工程中的脆弱性进行审计

Youting Wang, Yuan Tang, Yitian Qian, Chen Zhao

机构 * Northeastern University（东北大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Boston University（波士顿大学） ； New York University（纽约大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VisualLeakBench，通过合成对抗图像评估LVLMs对OCR注入和PII泄露的鲁棒性，揭示了Claude~4在PII识别上的高风险及防御策略的模板依赖性。

IMPACT: Intelligent Motion Planning with Acceptable Contact Trajectories via Vision-Language Models

IMPACT: 通过视觉-语言模型实现可接受接触轨迹的智能运动规划

Yiyang Ling, Karan Owalekar, Oluwatobiloba Adesanya, Erdem Bıyık, Daniel Seita

机构 * Thomas Lord Department of Computer Science, Viterbi School of Engineering, University of Southern California（托马斯·劳德计算机科学系，维特里比工程学院，南加州大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 IMPACT通过视觉-语言模型实现高效的接触丰富运动规划，在杂乱环境中优于其他方法。