视觉大模型 / VLM

TOFA: Training-Free One-Shot Federated Adaptation for Vision-Language Models

TOFA: 无需训练的一次性联邦适应用于视觉-语言模型

Li Zhang, Zhongxuan Han, XiaoHua Feng, Jiaming Zhang, Yuyuan Li, Linbo Jiang, Jianan Lin, Chaochao Chen

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.AI

AI总结 TOFA提出一种无需训练的一次性联邦适应方法，通过视觉和文本管道提取任务相关表示，以高效适应视觉-语言模型在联邦学习中的应用。

Comments Accepted by AAAI 2026

DiffuSyn Bench: Evaluating Vision-Language Models on Real-World Complexities with Diffusion-Generated Synthetic Benchmarks

DiffuSyn Bench: 评估视觉-语言模型在现实世界复杂性中的能力，通过扩散生成的合成基准

Haokun Zhou, Yipeng Hong

机构 * Imperial College London（伦敦帝国理工学院） ； Shanghai University（上海大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 DiffuSyn Bench通过扩散生成的合成基准评估视觉-语言模型在现实世界复杂性中的能力，揭示其区分AI与人类图像的性能及局限性。

Multi-Faceted Attack: Exposing Cross-Model Vulnerabilities in Defense-Equipped Vision-Language Models

多面攻击：揭示配备防御机制的视觉语言模型中的跨模型漏洞

Yijun Yang, Lichao Wang, Jianping Zhang, Chi Harold Liu, Lanqing Hong, Qiang Xu

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)

AI总结 多面攻击揭示了配备防御机制的视觉语言模型中的跨模型安全漏洞，通过注意力转移攻击和轻量级转移增强算法，实现了58.5%的成功率。

Comments AAAI 2026 Oral

The Shawshank Redemption of Embodied AI: Understanding and Benchmarking Indirect Environmental Jailbreaks

具身AI的肖申克救赎：理解与评估间接环境劫持

Chunyang Li, Zifeng Kang, Junwei Zhang, Zhuo Ma, Anda Cheng, Xinghua Li, Jianfeng Ma

机构 * Xidian University（西安电子科技大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)

AI总结 本文提出了一种新型的间接环境劫持攻击，通过环境注入的恶意提示劫持具身AI，并设计了自动攻击生成和基准评估框架，评估结果显示其在多个任务场景中表现优异。

An Image Is Worth Ten Thousand Words: Verbose-Text Induction Attacks on VLMs

一张图像等于一万字：针对视觉语言模型的冗余文本诱导攻击

Zhi Luo, Zenghui Yuan, Wenqi Wei, Daizong Liu, Pan Zhou

机构 * Huazhong University of Science and Technology（华中科技大学） ； Fordham University（福特汉姆大学） ； Wuhan University（武汉大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出一种针对视觉语言模型的冗余文本诱导攻击，通过两阶段框架生成恶意图像以诱导模型生成冗长文本，提升攻击效果与可控性。