视觉大模型 / VLM

Robust Prompt Tuning for Vision-Language Models with Mild Semantic Noise

Yansheng Gao, Yufei Zheng, Shengsheng Wang

机构 * College of Computer Science and Technology, Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University（计算机科学与技术学院、教育部符号计算与知识工程重点实验室、吉林大学） ； College of Software, Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University（软件学院、教育部符号计算与知识工程重点实验室、吉林大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.CV

Randomized Smoothing Meets Vision-Language Models

Emmanouil Seferis, Changshun Wu, Stefanos Kollias, Saddek Bensalem, Chih-Hong Cheng

机构 * National Technical University of Athens（希腊雅典国家技术大学） ； Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学） ； CSX-AI（CSX-AI公司） ； Carl von Ossietzky University of Oldenburg（奥尔登堡卡尔·冯·奥西特齐大学） ； Chalmers University of Technology（查尔姆斯理工大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.LG

Comments EMNLP'25 full version, including appendix (proofs, additional experiments)

Distribution-Based Masked Medical Vision-Language Model Using Structured Reports

Shreyank N Gowda, Ruichi Zhang, Xiao Gu, Ying Weng, Lu Yang

机构 * School of Computer Science, University of Nottingham（计算机科学学院，诺丁汉大学） ； Department of Computer Science and Technology, School of Informatics, Xiamen University（计算机科学与技术系，信息学院，厦门大学） ； CHI Lab, University of Oxford（CHI实验室，牛津大学） ； School of Computer Science, University of Nottingham Ningbo China（计算机科学学院，宁波大学中国） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.CV

Comments Accepted in MICCAI-W 2025

Histopathology Image Report Generation by Vision Language Model with Multimodal In-Context Learning

Shih-Wen Liu, Hsuan-Yu Fan, Wei-Ta Chu, Fu-En Yang, Yu-Chiang Frank Wang

机构 * National Cheng Kung University, Taiwan（国立成功大学） ； NVIDIA Research（NVIDIA研究） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title)；分类 cs.CV

Comments Accepted to MIDL 2025

ELEMENTAL: Interactive Learning from Demonstrations and Vision-Language Models for Reward Design in Robotics

Letian Chen, Nina Moorman, Matthew Gombolay

机构 * School of Interactive Computing, Georgia Institute of Technology, Atlanta, United States（交互计算学院，佐治亚理工学院，美国亚特兰大） ； Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，Location Country） ； School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，Location Country） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.LG

Comments ICML 2025

Feedback-Enhanced Hallucination-Resistant Vision-Language Model for Real-Time Scene Understanding

Zahir Alsulaimawi

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.LG

CLIP-PCQA: Exploring Subjective-Aligned Vision-Language Modeling for Point Cloud Quality Assessment

Yating Liu, Yujie Zhang, Ziyu Shan, Yiling Xu

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.CV

Efficient Generation of Targeted and Transferable Adversarial Examples for Vision-Language Models Via Diffusion Models

Qi Guo, Shanmin Pang, Xiaojun Jia, Yang Liu, Qing Guo

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.CV

Vision-Language Modeling with Regularized Spatial Transformer Networks for All Weather Crosswind Landing of Aircraft

Debabrata Pal, Anvita Singh, Saumya Saumya, Shouvik Das

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.CV

Comments Accepted in Indian Conference on Vision Graphics and Image Processing - ICVGIP 2024

Utility of Multimodal Large Language Models in Analyzing Chest X-ray with Incomplete Contextual Information

Choonghan Kim, Seonhee Cho, Joo Heung Yoon

专题命中 幻觉与鲁棒性 ：multimodal large language model(title)；分类 cs.CV

Magnet: We Never Know How Text-to-Image Diffusion Models Work, Until We Learn How Vision-Language Models Function

Chenyi Zhuang, Ying Hu, Pan Gao

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.CV

Comments Accepted to NeurIPS 2024. Code is available at https://github.com/I2-Multimedia-Lab/Magnet

A Lost Opportunity for Vision-Language Models: A Comparative Study of Online Test-Time Adaptation for Vision-Language Models

Mario Döbler, Robert A. Marsden, Tobias Raichle, Bin Yang

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.CV

Comments Accepted at ECCV 2024 OOD-CV Workshop

Machine Vision Therapy: Multimodal Large Language Models Can Enhance Visual Robustness via Denoising In-Context Learning

Zhuo Huang, Chang Liu, Yinpeng Dong, Hang Su, Shibao Zheng, Tongliang Liu

专题命中 幻觉与鲁棒性 ：multimodal large language model(title)；分类 cs.CV

Comments ICML 2024

What Are We Measuring When We Evaluate Large Vision-Language Models? An Analysis of Latent Factors and Biases

Anthony Meng Huat Tiong, Junqi Zhao, Boyang Li, Junnan Li, Steven C. H. Hoi, Caiming Xiong

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.CV

An Image Is Worth 1000 Lies: Adversarial Transferability across Prompts on Vision-Language Models

Haochen Luo, Jindong Gu, Fengyuan Liu, Philip Torr

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.CV

Comments Accepted to ICLR 2024

OT-Attack: Enhancing Adversarial Transferability of Vision-Language Models via Optimal Transport Optimization

Dongchen Han, Xiaojun Jia, Yang Bai, Jindong Gu, Yang Liu, Xiaochun Cao

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.CV

Survey of Social Bias in Vision-Language Models

Nayeon Lee, Yejin Bang, Holy Lovenia, Samuel Cahyawijaya, Wenliang Dai, Pascale Fung

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.AI

When Generated Images Look Right and Retrieve Wrong: Coverage-Guided Cross-Scale Re-Indexing for Knowledge-Faithful Generative Perception

当生成图像看起来正确但检索错误：面向知识保真生成感知的覆盖度引导跨尺度重索引

Guangyuan Dong, Chuang Liu, Yangchen Zeng, Haoyu Wang, Xiaoyang Yu, Pinlong Zhao, Yuchao Hou, Ziwei Li, Zheng Lin

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 针对生成图像因尺度差异导致的语义崩溃问题，提出闭环多模态索引框架CERES，在多基准上实现SOTA，显著提升概念-查询检索性能。

Comments 20 pages, 7 figures, and 20 tables

Evolving Safety Landscape of Multi-modal Large Language Models: A Survey of Emerging Threats and Safeguards

多模态大语言模型的演进安全态势：新兴威胁与防护措施综述

Xi Li, Shu Zhao, Xiaohan Zou, Fei Zhao, Fuxiao Liu, Yusen Zhang, Cheng Han, Yushun Dong, Jiaqi Wang

机构 * University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； NVIDIA（英伟达公司） ； Penn State University（宾夕法尼亚州立大学） ； Columbia University（哥伦比亚大学） ； University of Missouri-Kansas City（密苏里大学堪萨斯分校） ； Florida State University（佛罗里达州立大学） ； Auburn University（奥本大学） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本综述针对多模态大语言模型（MLLMs）的新型安全威胁，提出多模态安全威胁分类法，梳理安全策略进展，探讨未来安全机制的研究方向。

Comments Accepted at the ICLR 2026 Workshop on Principled Design for Trustworthy AI

Disentangling Semantic Attention from Structural Bias in the Attention Manifold

在注意力流形中分离语义注意力与结构偏差

Pengkun Jiao, Bin Zhu, Jingjing Chen, Yu-gang Jiang

机构 * Fudan University（复旦大学） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究多模态大语言模型中注意力机制对无信息视觉 tokens 关注过多的问题，提出无需训练的 SPAR 方法，通过净化噪声和重分配注意力，有效恢复真实视觉基础且计算开销小。

AI-generated Images Challenge Visual Trust in High-risk Scenarios

人工智能生成的图像在高风险场景中挑战视觉信任

Yi-Zhi Wang, Yichen Xiao, Linan Yue, Weibo Gao, Yichao Du, Pengfei Fang, Shimin Di, Min-Ling Zhang

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 研究聚焦人工智能生成图像在高风险场景下对视觉信任的挑战，提出SafeIMG基准，涵盖12个安全场景。评估专门探测器和视觉语言模型，发现它们检测可靠性不足，模型解释覆盖低，表明当前探测器在多方面欠缺，难以可靠评估此类图像。

Visual Token Compression Enhances Robustness of MLLMs

视觉令牌压缩增强多模态大语言模型的鲁棒性

Shishen Gu, Jiequan Cui, Wenbo Hu, Zenglin Shi, Zhenzhen Hu, Richang Hong

机构 * Hefei University of Technology（合肥工业大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.LG

AI总结 研究如何增强多模态大语言模型的鲁棒性，核心方法是通过测量视觉令牌与语言特征空间的距离来识别并剪枝分布外视觉令牌，该方法能有效防御越狱攻击、减轻幻觉，提升模型在通用数据集上的表现。

Comments 20 pages, 16 figures. Accepted at ACM Multimedia 2026. Code: https://github.com/Eurek001/OOD-VTP

RobustMAD: Evaluating Real-World Robustness of Multimodal Small Language Models for Deployable Anomaly Detection Assistants

RobustMAD：评估用于可部署异常检测助手的多模态小语言模型的现实世界鲁棒性

Anushiya Arunan, Xin Li, Yan Qin, U-Xuan Tan, Nhu Khue Vuong, Xiaoli Li, Chau Yuen

机构 * Singapore University of Technology and Design（新加坡科技设计大学） ； Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局） ； Nanyang Technological University（南洋理工大学） ； Chongqing University（重庆大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对多模态小语言模型现场部署的鲁棒性评估问题，开发RobustMAD基准测试，通过多种开放式查询评估模型，发现最佳模型虽有潜力但仍存差距及三种失败模式，为下一代多模态工业检测助手设计提供指导。

Comments Accepted for publication in Transactions on Machine Learning Research (TMLR), 2026 at https://openreview.net/forum?id=skrA9UYNIZ

Do Agents Dream of False Memories? Black-box Visual Attacks on Long-term Memory in Multimodal AI Agents

智能体是否会梦到虚假记忆？对多模态人工智能智能体长期记忆的黑盒视觉攻击

Halima Bouzidi, Mboutidem Ekemini Mkpong, Mohammad Abdullah Al Faruque

机构 * University of California, Irvine（加州大学尔湾分校） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；MLLM(abstract)；分类 cs.CV、cs.LG

AI总结 研究针对多模态人工智能智能体长期记忆的黑盒视觉攻击，提出Lucid框架，通过制作扰动实现记忆中毒和注入两种攻击模式，在多种对话领域和架构上评估，揭示了多模态记忆管道的结构漏洞。

Comments 34 pages, 5 figures, 15 tables

FAIR_XAI: Improving Multimodal Foundation Model Fairness via Explainability for Wellbeing Assessment

FAIR_XAI: 通过可解释性提升多模态基础模型公平性以用于幸福感评估

Sophie Chiang, Tom Brennan, Fethiye Irmak Dogan, Jiaee Cheong, Hatice Gunes

机构 * Department of Computer Science & Technology, University of Cambridge（计算机科学与技术系，剑桥大学） ； Harvard University（哈佛大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了多模态基础模型在幸福感评估中的公平性问题，通过可解释性干预框架改善诊断可靠性与公平性，发现不同模型在不同数据集上表现差异显著，且存在性别和种族偏见。

Comments 11 pages, 4 figures

IRIS: A Real-World Benchmark for Inverse Recovery and Identification of Physical Dynamic Systems from Monocular Video

IRIS：从单目视频进行物理动态系统逆恢复与识别的真实世界基准

Rasul Khanbayov, Mohamed Rayan Barhdadi, Erchin Serpedin, Hasan Kurban

机构 * Hamad Bin Khalifa University（哈马德·本·哈利法大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.LG

AI总结 提出IRIS基准，包含240个4K/60fps真实视频，覆盖单体和多体动力学，提供真实参数和不确定度，定义标准化评估协议，评估多种基线方法，揭示系统失败模式。

UltraFlux: Data-Model Co-Design for High-quality Native 4K Text-to-Image Generation across Diverse Aspect Ratios

UltraFlux：面向多种宽高比的高质量原生4K文本到图像生成的数据-模型协同设计

Tian Ye, Song Fei, Lei Zhu

机构 * HKUST(GZ)（香港科技大学（广州）） ； HKUST（香港科技大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 针对扩散变压器扩展到原生4K多宽高比时出现的位置编码、VAE压缩和优化耦合失效问题，提出数据-模型协同设计的UltraFlux，通过共振2D RoPE、非对抗VAE后训练、SNR感知Huber小波目标和分阶段美学课程学习，在4K分辨率下实现高保真、细节保留的文本到图像生成。

Comments Project Page: https://w2genai-lab.github.io/UltraFlux/

MECoBench: A Systematic Study of Multimodal Agent Collaboration in Embodied Environments

MECoBench：具身环境中多模态智能体协作的系统研究

Qingyun Liu, Jiwen Zhang, Jingyi Hu, Siyuan Wang, Zhongyu Wei

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出MECoBench基准，通过多任务、多结构、多模式的实验，系统研究多模态大模型在具身环境中的协作机制，发现协作能提升任务完成度但需平衡收益与复杂度，通信是关键，且协作增强鲁棒性。

Comments Project website: https://q-i-n-g.github.io/MECoBench-Website/

Break the Brake, Not the Wheel: Untargeted Jailbreak via Entropy Maximization

打破刹车，而非车轮：通过熵最大化实现无目标越狱

Mengqi He, Xinyu Tian, Xin Shen, Shu Zou, Jinhong Ni, Zhaoyuan Yang, Weikang Li, Xuesong Li, Jing Zhang

机构 * Australian National University（澳大利亚国立大学） ； The University Of Queensland（昆士兰大学） ； Peking University（北京大学） ； GE research（通用电气研究院） ； CSIRO（澳大利亚联邦科学与工业研究组织） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出UJEM-KL攻击方法，通过最大化决策令牌的熵来翻转视觉-语言模型的拒绝输出，实现高迁移性的无目标越狱。

Comments Preprint. 17 pages, 8 figures, 6 tables

Semantic Router: On the Feasibility of Hijacking MLLMs via a Single Adversarial Perturbation

语义路由器：通过单一对抗扰动劫持多模态大语言模型的可行性研究

Changyue Li, Jiaying Li, Youliang Yuan, Jiaming He, Zhicong Huang, Pinjia He

机构 * The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）） ； School of Data Science, School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen, China（数据科学学院、人工智能学院、香港中文大学（深圳）） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出语义感知通用扰动（SAUP），作为语义路由器同时劫持多个无状态决策，通过理论分析和SORT优化策略实现，在Qwen上对五个目标达到66%攻击成功率。

Comments Accepted to ICML 2026