视觉大模型 / VLM

CUAAudit: Meta-Evaluation of Vision-Language Models as Auditors of Autonomous Computer-Use Agents

CUAAudit: 视觉语言模型作为自主计算机使用代理的元评估

Marta Sumyk, Oleksandr Kosovan

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.AI

AI总结 本文研究了视觉语言模型作为自主计算机使用代理审计员的元评估，发现尽管先进模型在准确性方面表现良好，但在复杂环境中性能下降，突显了现实部署中需考虑评估者可靠性与不确定性的重要性。

Comments This work has been accepted to appear at the HEAL @ CHI 2026 Worshop on Human-centered Evaluation and Auditing of Language Models

OOD-MMSafe: Advancing MLLM Safety from Harmful Intent to Hidden Consequences

OOD-MMSafe: 推进多模态大语言模型安全性从有害意图到隐藏后果

Ming Wen, Kun Yang, Jingyu Zhang, Yuxuan Liu, shiwen cui, Shouling Ji, Xingjun Ma

专题命中 幻觉与鲁棒性 ：MLLM(title)；multimodal large language model(abstract)；分类 cs.AI

AI总结 OOD-MMSafe通过CASPO框架提升多模态大语言模型对隐藏后果的识别能力，显著降低风险识别失败率。

Comments 30 pages

LLaVAShield: Safeguarding Multimodal Multi-Turn Dialogues in Vision-Language Models

LLaVAShield: 保障视觉语言模型中的多模态多轮对话安全

Guolei Huang, Qinzhi Peng, Gan Xu, Yao Huang, Yuxuan Lu, Yongjun Shen

机构 * Southeast University（东南大学） ； University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Zhejiang University of Technology（浙江工业大学） ； Tsinghua University（清华大学） ； RealAI 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 LLaVAShield通过构建MMDS数据集和MMRT框架，有效提升多模态多轮对话的安全性，优于现有VLMs和内容审查工具，揭示了主流模型的安全漏洞。

Comments Accepted to CVPR 2026

FVG-PT: Adaptive Foreground View-Guided Prompt Tuning for Vision-Language Models

FVG-PT：适应性前景视图引导的提示微调用于视觉-语言模型

Haoyang Li, Liang Wang, Siyu Zhou, Jiacheng Sun, Jing Jiang, Chao Wang, Guodong Long, Yan Peng

机构 * University of Technology Sydney（悉尼技术大学） ； Shanghai University（上海大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 FVG-PT通过引入前景可靠性门、蒸馏补偿模块和先验校准模块，解决提示微调中前景注意力偏移问题，提升视觉-语言模型的适应性和泛化能力。

Comments 27 Pages, 9 Figures, 15 Tables

Benchmarking MLLM-based Web Understanding: Reasoning, Robustness and Safety

基于MLLM的网页理解基准测试：推理、鲁棒性与安全性

Junliang Liu, Jingyu Xiao, Wenxin Tang, Zhixian Wang, Zipeng Xie, Wenxuan Wang, Minrui Zhang, Shuanghe Yu

机构 * Dalian Maritime University（大连海事大学） ； The Chinese University of Hong Kong（香港中文大学） ； Tsinghua University（清华大学） ； Nanyang Technological University（南洋理工大学） ； Xi'an Jiaotong University（西安交通大学） ； Renmin University of China（中国人民大学） ； Wuhan University（武汉大学） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(title)；multimodal large language model(abstract)；分类 cs.AI

AI总结 本文提出WebRRSBench基准测试，评估多模态大语言模型在网页理解中的推理、鲁棒性和安全性能力，揭示模型在复杂交互任务中的不足。

ViTSP: A Vision Language Models Guided Framework for Solving Large-Scale Traveling Salesman Problems

ViTSP：一种由视觉语言模型引导的解决大规模旅行商问题的框架

Zhuoli Yin, Yi Ding, Reem Khir, Hua Cai

专题命中 幻觉与鲁棒性 ：vision language model(title,abstract)；分类 cs.AI

AI总结 ViTSP利用预训练视觉语言模型指导大规模TSP求解，通过识别子问题提升全局解的质量，实验表明其在大规模实例上优于现有方法。

Look Carefully: Adaptive Visual Reinforcements in Multimodal Large Language Models for Hallucination Mitigation

仔细观察：多模态大语言模型中的自适应视觉增强以缓解幻觉

Xingyu Zhu, Kesen Zhao, Liang Yi, Shuo Wang, Zhicai Wang, Beier Zhu, Hanwang Zhang

机构 * MoE Key Lab of BIPC, University of Science and Technology of China（信息与电子技术联合实验室，中国科学技术大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 本研究提出自适应视觉增强框架AIR，通过减少冗余标记和选择性整合补丁来缓解多模态大语言模型中的幻觉问题。

Comments ICLR 2026

GuardAlign: Test-time Safety Alignment in Multimodal Large Language Models

GuardAlign: 多模态大语言模型中的测试时安全性对齐

Xingyu Zhu, Beier Zhu, Junfeng Fang, Shuo Wang, Yin Zhang, Xiang Wang, Xiangnan He

机构 * MoE Key Lab of BIPC, University of Science and Technology of China（摩埃关键实验室，中国科学技术大学） ； Nanyang Technological University（南洋理工大学） ； National University of Singapore（新加坡国立大学） ； Tianjin University（天津大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title)；vision-language model(abstract)；分类 cs.CV

AI总结 GuardAlign通过OT增强的安全检测和跨模态注意力校准，有效提升多模态大语言模型在测试时的安全性，减少不安全响应率并提升任务表现。

Comments ICLR 2026

Detecting Misbehaviors of Large Vision-Language Models by Evidential Uncertainty Quantification

通过证据不确定性量化检测大视觉-语言模型的误行

Tao Huang, Rui Wang, Xiaofei Liu, Yi Qin, Li Duan, Liping Jing

机构 * State Key Laboratory of Advanced Rail Autonomous Operation（先进轨道交通自主运行国家重点实验室） ； Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence（北京交通数据挖掘与具身智能重点实验室） ； School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院） ； School of Automation and Intelligence, Beijing Jiaotong University（北京交通大学自动化与智能学院） ； Beijing Key Laboratory of Security and Privacy in Intelligent Transportation（北京智能交通安全与隐私重点实验室） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.LG

AI总结 通过证据不确定性量化检测大视觉-语言模型的误行，识别内部冲突和无知以提高模型可靠性。

Comments Accepted to ICLR 2026. Code is available at https://github.com/HT86159/EUQ

JailBound: Jailbreaking Internal Safety Boundaries of Vision-Language Models

JailBound: 视觉语言模型内部安全边界的劫持

Jiaxin Song, Yixu Wang, Jie Li, Rui Yu, Yan Teng, Xingjun Ma, Yingchun Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； Xuan Tong（宣通） ； NSFOCUS 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 JailBound通过在视觉语言模型的潜在空间中探索安全边界，提出了一种新的劫持框架，有效提升了白盒和黑盒攻击成功率，揭示了模型的安全风险。

Comments The Thirty-ninth Annual Conference on Neural Information Processing Systems (NeurIPS 2025)

Towards Calibrating Prompt Tuning of Vision-Language Models

面向视觉-语言模型提示微调的校准

Ashshak Sharifdeen, Fahad Shamshad, Muhammad Akhtar Munir, Abhishek Basu, Mohamed Insaf Ismithdeen, Jeyapriyan Jeyamohan, Chathurika Sewwandi Silva, Karthik Nandakumar, Muhammad Haris Khan

机构 * Mohamed bin Zayed University of AI（Mohamed bin Zayed人工智能大学） ； University of Colombo（科伦坡大学） ； Michigan State University（密歇根州立大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出一种校准框架，通过引入均值-方差边际惩罚和文本矩匹配损失，提升视觉-语言模型提示微调的预测可靠性与置信度校准。

Comments Accepted to CVPR 2026

SGM: Safety Glasses for Multimodal Large Language Models via Neuron-Level Detoxification

SGM: 通过神经层面的净化为多模态大语言模型提供安全眼镜

Hongbo Wang, MaungMaung AprilPyone, Isao Echizen

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.AI

AI总结 SGM通过神经层面的净化技术，有效降低多模态大语言模型的毒性，同时保持生成流畅性和推理能力。

Mask What Matters: Mitigating Object Hallucinations in Multimodal Large Language Models with Object-Aligned Visual Contrastive Decoding

关注关键要素：通过对象对齐的视觉对比解码缓解多模态大语言模型中的对象幻觉

Boqi Chen, Xudong Liu, Jianing Qiu

机构 * ETH Zurich（苏黎世联邦理工学院） ； Amazon（亚马逊） ； MBZUAI（穆罕默德·本·拉什德智能科学技术研究院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 本文提出了一种通过对象对齐的视觉对比解码缓解多模态大语言模型中对象幻觉的方法，具有计算开销低且兼容性强的特点。

SAKED: Mitigating Hallucination in Large Vision-Language Models via Stability-Aware Knowledge Enhanced Decoding

SAKED: 通过稳定性感知知识增强解码缓解大视觉-语言模型中的幻觉

Zhaoxu Li, Chenqi Kong, Peijun Bao, Song Xia, Yi Tu, Yi Yu, Xinghao Jiang, Xudong Jiang

机构 * ROSE Lab, School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（ROSE实验室，电子工程学院，南洋理工大学，新加坡） ； ROSE Lab, Interdisciplinary Graduate Programme, Nanyang Technological University, Singapore（ROSE实验室，跨学科研究生项目，南洋理工大学，新加坡） ； School of Physical and Mathematical Sciences, Nanyang Technological University, Singapore（物理与数学科学学院，南洋理工大学，新加坡） ； Shanghai Jiao Tong University, China（上海交通大学，中国） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 SAKED通过引入稳定性感知知识增强解码方法，有效缓解大视觉-语言模型中的幻觉问题，无需训练即可集成至不同架构中，实现最佳性能。

Moral Sycophancy in Vision Language Models

视觉语言模型中的道德趋炎奉承

Shadman Rabby, Md. Hefzul Hossain Papon, Sabbir Ahmed, Nokimul Hasan Arif, A. B. M. Ashikur Rahman, Irfan Ahmad

机构 * University of Dhaka（达卡大学） ； Daffodil International University（达福迪国际大学） ； Islamic University of Technology（伊斯兰技术大学） ； University of Central Florida（佛罗里达中央大学） ； King Fahad University of Petroleum and Minerals（国王法赫德石油与矿物大学） ； SDAIA - KFUPM Joint research Center for Artificial Intelligence（SDAIA-KFUPM人工智能联合研究中心） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title)；vision-language model(abstract)；分类 cs.AI

AI总结 本文研究了视觉语言模型在道德决策中的趋炎奉承现象，发现模型在用户偏见下易产生道德错误回应，揭示了模型在伦理一致性与稳健性上的权衡问题。

Comments 13 pages, 6 figures, 8 tables, Submitted for review in ACL

Rethinking Practical and Efficient Quantization Calibration for Vision-Language Models

重新思考视觉-语言模型的实用且高效的量化校准

Zhenhao Shang, Haizhao Jing, Guoting Wei, Haokui Zhang, Rong Xiao, Jianqing Gao, Peng Wang

机构 * Northwestern Polytechnical University, Xi'an, China（西北工业大学，西安，中国） ； Nanjing University of Science and Technology, Nanjing, China（南京理工大学，南京，中国） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 TLQ通过标记级重要性整合和多GPU层级校准，提升视觉-语言模型的量化稳定性与效率。

SafeGround: Know When to Trust GUI Grounding Models via Uncertainty Calibration

SafeGround: 通过不确定性校准了解何时信任GUI接地模型

Qingni Wang, Yue Fan, Xin Eric Wang

机构 * University of California, Santa Barbara（加州大学圣芭芭拉分校） ； University of California, Santa Cruz（加州大学圣克ruz分校） 纠错

专题命中 幻觉与鲁棒性 ：grounding(title,abstract)；分类 cs.AI

AI总结 SafeGround通过不确定性校准提升GUI接地模型的可靠性与准确性。

Beyond the Vision Encoder: Identifying and Mitigating Spatial Bias in Large Vision-Language Models

超越视觉编码器：识别和缓解大视觉-语言模型中的空间偏差

Yingjie Zhu, Xuefeng Bai, Kehai Chen, Yang Xiang, Youcheng Pan, Yongshuai Hou, Weili Guan, Jun Yu, Min Zhang

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学深圳学院） ； Peng Cheng Laboratory, Shenzhen, China（鹏城实验室） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出AGCI机制，通过动态注入全局视觉上下文缓解大视觉-语言模型中的空间偏差问题，提升模型的空间鲁棒性和下游任务表现。

HERMES: A Holistic End-to-End Risk-Aware Multimodal Embodied System with Vision-Language Models for Long-Tail Autonomous Driving

HERMES: 一种集成端到端风险感知多模态具身系统，用于长尾自动驾驶

Weizhe Tang, Junwei You, Jiaxi Liu, Zhaoyi Wang, Rui Gan, Zilin Huang, Feng Wei, Bin Ran

机构 * Department of Civil and Environmental Engineering, University of Wisconsin–Madison（土木与环境工程系，威斯康星大学麦迪逊分校） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title)；VLM(abstract)；分类 cs.AI

AI总结 HERMES通过整合视觉-语言模型和多模态感知，提升自动驾驶在长尾混合交通场景中的风险感知和轨迹规划能力。

Data Matters Most: Auditing Social Bias in Contrastive Vision Language Models

数据最为关键：审计对比视觉语言模型中的社会偏见

Zahraa Al Sahili, Ioannis Patras, Matthew Purver

机构 * Queen Mary University of London（伦敦女王学院） ； Institut Jožef Stefan（Jožef Stefan研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title)；vision-language model(abstract)；分类 cs.LG

AI总结 研究通过对比CLIP和OpenCLIP模型，发现数据来源是偏见的主要驱动因素，不同去偏策略在不同模型和数据规模下效果各异。

Comments Published at TMLR; updated version

More Images, More Problems? A Controlled Analysis of VLM Failure Modes

更多图像，更多问题？对VLV失败模式的受控分析

Anurag Das, Adrian Bulat, Alberto Baldrati, Ioannis Maniadis Metaxas, Bernt Schiele, Georgios Tzimiropoulos, Brais Martinez

机构 * MPI for Informatics Saarland Informatics Campus（马克斯·普朗克研究所（信息学）萨尔兰信息学校区） ； Samsung AI Cambridge（三星人工智能（剑桥）） ； Technical University of Iași Romania（罗文扎大学（罗马尼亚）） ； Queen Mary University of London UK（伦敦女王大学（英国）） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title)；vision language model(abstract)；分类 cs.CV

AI总结 MIMIC基准通过诊断实验揭示LVLM在多图像任务中的失败模式，并提出数据生成和注意力遮罩方案以提升跨图像信息聚合能力。

Comments 19 pages, 16 figures

MTMCS-Bench: Evaluating Contextual Safety of Multimodal Large Language Models in Multi-Turn Dialogues

MTMCS-Bench: 多轮对话中多模态大语言模型上下文安全性的评估

Zheyuan Liu, Dongwhi Kim, Yixin Wan, Xiangchi Yuan, Zhaoxuan Tan, Fengran Mo, Meng Jiang

机构 * University of Notre Dame（诺丁汉大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Georgia Institute of Technology（佐治亚理工学院） ； University of Montreal（蒙特利尔大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.AI

AI总结 MTMCS-Bench评估多模态大语言模型在多轮对话中的上下文安全性，揭示了安全与效用之间的权衡及现有防护措施的不足。

Comments A benchmark of realistic images and multi-turn conversations that evaluates contextual safety in MLLMs under two complementary settings

On the Adversarial Robustness of 3D Large Vision-Language Models

关于3D大视觉-语言模型的对抗鲁棒性

Chao Liu, Ngai-Man Cheung

机构 * Singapore University of Technology and Design (SUTD)（新加坡科技设计大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文研究了3D大视觉-语言模型的对抗鲁棒性，提出两种攻击策略评估其鲁棒性，发现其在无目标攻击下较脆弱，但在有目标攻击中更稳健。

Comments Under Review

OFFSIDE: Benchmarking Unlearning Misinformation in Multimodal Large Language Models

OFFSIDE: 多模态大语言模型中误信信息消除的基准测试

Hao Zheng, Zirui Pang, Ling li, Zhijie Deng, Yuhan Pu, Zhaowei Zhu, Xiaobo Xia, Jiaheng Wei

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； BIAI, ZJUT & D5Data.ai（BIAI、浙江工业大学及D5Data.ai） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.AI

AI总结 OFFSIDE通过足球转会谣言数据集，评估多模态大语言模型中误信信息消除的挑战与方法，揭示现有技术的局限性。

CRoPS: A Training-Free Hallucination Mitigation Framework for Vision-Language Models

CRoPS：一种用于视觉-语言模型的无训练幻觉缓解框架

Neeraj Anand, Samyak Jha, Udbhav Bamba, Rahul Rahaman

机构 * Indian Institute of Technology (ISM)（印度理工学院（ISM）） ； Transmute AI ； National University of Singapore（新加坡国立大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 CRoPS通过选择性移除关键文本标记和广义对比解码，有效缓解视觉-语言模型的幻觉问题，提升CHAIR分数20%并优于现有无训练方法。

Comments Accepted at TMLR 2026

DA-DPO: Cost-efficient Difficulty-aware Preference Optimization for Reducing MLLM Hallucinations

DA-DPO：面向减少多模态大语言模型幻觉的高效难度感知偏好优化

Longtian Qiu, Shan Ning, Chuyu Zhang, Jiaxuan Sun, Xuming He

机构 * ShanghaiTech University（上海科技大学） ； Lingang Laboratory（灵冈实验室） ； Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(title)；multimodal large language model(abstract)；分类 cs.AI

AI总结 DA-DPO通过难度感知机制优化多模态大语言模型的偏好学习，有效减少幻觉并提升模型鲁棒性与泛化能力。

Comments Accepted by TMLR

Beyond Memorization: A Multi-Modal Ordinal Regression Benchmark to Expose Popularity Bias in Vision-Language Models

超越记忆：一个多模态序回归基准以揭示视觉-语言模型中的流行偏差

Li-Zhong Szu-Tu, Ting-Lin Wu, Chia-Jui Chang, He Syu, Yu-Lun Liu

机构 * National Yang Ming Chiao Tung University 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本研究提出一个多模态序回归基准，揭示视觉-语言模型在流行度上的偏差，通过YearGuessr数据集验证模型在记忆化与未识别对象上的表现差异。

Comments Project page: https://sytwu.github.io/BeyondMemo/

Vision Language Models are Confused Tourists

视觉语言模型是困惑的游客

Patrick Amadeus Irawan, Ikhlasul Akmal Hanif, Muhammad Dehan Al Kautsar, Genta Indra Winata, Fajri Koto, Alham Fikri Aji

专题命中 幻觉与鲁棒性 ：vision language model(title)；vision-language model(abstract)；分类 cs.CV

AI总结 本研究提出ConfusedTourist，通过文化对抗鲁棒性测试揭示视觉语言模型在文化线索干扰下的稳定性问题，发现其在简单扰动下表现显著下降，凸显了多文化环境下模型鲁棒性的关键挑战。

SafeMed-R1: Adversarial Reinforcement Learning for Generalizable and Robust Medical Reasoning in Vision-Language Models

SafeMed-R1: 为视觉-语言模型中的通用性和鲁棒性医疗推理设计的对抗强化学习

A. A. Gde Yogi Pramana, Jason Ray, Anthony Jaya, Michael Wijaya

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title)；visual question answering(abstract)；分类 cs.AI

AI总结 SafeMed-R1通过对抗训练与组相对策略优化提升视觉-语言模型在医疗推理中的鲁棒性和可解释性。

Watch Closely: Mitigating Object Hallucinations in Large Vision-Language Models with Disentangled Decoding

Watch Closely: 通过解耦解码缓解大视觉-语言模型中的物体幻觉

Ruiqi Ma, Yu Yan, Chunhong Zhang, Minghao Yin, XinChao Liu, Zhihong Jin, Zheng Hu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 通过解耦解码方法，无需训练即可缓解大视觉-语言模型中的物体幻觉问题，提升模型的视觉性能和准确性。