视觉大模型 / VLM

PaSBench-Video: A Streaming Video Benchmark for Proactive Safety Warning

PaSBench-Video: 面向主动安全预警的流式视频基准

Yusong Zhao, Yuejin Xie, Youliang Yuan, Junjie Hu, Jitian Guo, Yujiu Yang, Pinjia He

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Tsinghua University（清华大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出PaSBench-Video基准，包含740个视频，评估多模态大模型在危险发生前及时发出预警的能力，发现现有模型在时序精度和低误报率上表现不佳。

Prototypicality Bias Reveals Blindspots in Multimodal Evaluation Metrics

原型性偏差揭示多模态评估指标中的盲点

Subhadeep Roy, Gagan Bhatia, Steffen Eger

机构 * University of Technology Nuremberg（图恩大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文通过构建受控诊断基准PROTOBIAS，发现并验证了多模态评估指标中存在原型性偏差，即倾向于选择视觉或社会原型性高但语义错误的图像，并提出了轻量级对比训练评估器PROTOSCORE作为缓解基线。

LL-Bench: Rethinking Low-Level Vision Evaluation in the Era of Large-Scale Generative Models

LL-Bench: 在大规模生成模型时代重新思考低级视觉评估

Lu Liu, Huiyu Duan, Chenxin Zhu, Jintong Lu, Haoyun Jiang, Liu Yang, Qiang Hu, Guangtao Zhai, Xiaoyun Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出LL-Bench基准，包含大量真实退化图像和人工偏好标注，系统评估大规模生成模型在低级视觉任务中的性能，并引入LL-Score评估器以更好对齐人类偏好。

Bridging the Sim-to-Real Gap in Semiconductor Visual Program Synthesis via Input Binarization

通过输入二值化弥合半导体视觉程序合成中的仿真到现实差距

Yusuke Ohtsubo, Kota Dohi, Koichiro Yawata, Koki Takeshita, Tatsuya Sasaki

机构 * National Institute of Information and Communications Technology, Japan（日本信息通信技术全国研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI

AI总结 提出一种视觉程序合成框架，利用输入二值化策略消除扫描电子显微镜图像的纹理和噪声，使视觉语言模型专注于几何结构，从而弥合仿真到现实的差距，在MIIC数据集上将平均Dice系数从0.4393提升至0.5256。

MT-EditFlow: Reinforcement Learning for Multi-Turn Image Editing with Flow Matching

MT-EditFlow：基于流匹配的多轮图像编辑强化学习

Jiahui Huang, Yasi Zhang, Tianyu Chen, Shu Wang, Jianwen Xie, Oscar Leong, Mingyuan Zhou, Nanzhu Wang, Ying Nian Wu

机构 * Apple（苹果公司） ； University of California, Los Angeles（加州大学洛杉矶分校） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Lambda, Inc（Lambda公司） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出MT-EditFlow框架，通过流匹配强化学习优化多轮图像编辑的奖励信号，解决单轮编辑模型在多轮交互中的失败和误差传播问题，显著提升多轮编辑性能。

RDA: Reward Design Agent for Reinforcement Learning

RDA：用于强化学习的奖励设计智能体

Hojoon Lee, Ajay Subramanian, Ben Abbatematteo, Vijay Veerabadran, Pedro Matias, Karl Ridgeway, Nitin Kamra

机构 * University of California, Berkeley（加州大学伯克利分校） ； DeepMind（深度Mind） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出基于视觉语言模型的奖励设计智能体RDA，通过任务分解、视觉轨迹评估和失败模式总结迭代优化奖励函数，在操作任务中生成更符合指令的策略。

Comments Accepted to RLC'26

MM-Snowball: Evaluating and Mitigating Hallucination Snowballing in Multimodal Multi-Turn Dialogue

MM-Snowball：多模态多轮对话中的幻觉雪崩评估与缓解

Yue Jiang, Xue Jiang, Lihua Zhang, Zhiqiang Wang, Yuhang Lu, Peng Wang, Bo Han, Feng Zheng, Dingkang Yang

机构 * College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） ； Southern University of Science and Technology（南方科技大学） ； TMLR Group, Hong Kong Baptist University（香港 Baptist 大学 TMLR 团体） ； MM Lab, CUHK（CUHK 多模态实验室） ； RAMS Lab, Huawei Technologies Co., Ltd.（华为技术有限公司 RAMS 实验室） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 针对多模态大模型在多轮对话中因初始错误累积导致幻觉雪崩的问题，提出首个细粒度诊断基准MM-Snowball，并设计无训练的冲突感知视觉校正方法CAVR，通过表示级刷新视觉锚定和logit级修正输出分布来缓解雪崩效应。

Comments Accepted by The International Conference on Machine Learning (ICML 2026)

Belief Consistency Between Foundation-Model Evidence and Geometric Perception in Persistent Robotic Maps

持久机器人地图中基础模型证据与几何感知之间的信念一致性

Christoffer Heckman, Harel Biggie, Brendan Crowe, Nicholas Roy

机构 * Department of Computer Science, University of Colorado, Boulder（科罗拉多大学博尔德分校计算机科学系） ； Computer Science and Artificial Intelligence Lab, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出一种更新算子，通过每类校准提交门和每事件冲突丢弃窗口，解决基础模型语义通道与几何感知通道在持久地图中的矛盾，显著提升地图精度。

Catch-Only-One: Non-Transferable Examples for Model-Specific Authorization

仅捕获一个：用于模型特定授权的不可迁移样本

Zihan Wang, Zhiyong Ma, Zhongkui Ma, Shuofeng Liu, Akide Liu, Derui Wang, Minhui Xue, Guangdong Bai

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出不可迁移样本（NTEs），通过将数据编码为仅能被指定模型解码的“密文”，在无需训练的情况下利用模型特定低敏感子空间实现授权模型保真度与未授权模型性能退化。

MLLM-Microscope: Unlocking Hidden Structure Within Multimodal Large Language Models

MLLM-Microscope：解锁多模态大语言模型中的隐藏结构

Ravil Mussabayev, Rustam Mussabayev

机构 * Satbayev University（萨特拜耶夫大学） 纠错

专题命中 VLM训练与架构 ：MLLM(title,title_cn)；LLaVA(summary_cn,abstract)；multimodal large language model(title,abstract)；分类 cs.AI

AI总结 提出MLLM-Microscope系统，通过分析线性度、内在维度和各向异性，揭示多模态大语言模型中隐藏的表示结构，并基于ScienceQA数据集评估LLaVA-NeXT和OmniFusion，发现模态融合方式显著影响模型内部工作机理。

GAP3D: Generative Alignment of VLM Latents to Patch-Level Embeddings for 3D Generation

GAP3D: 将VLM潜在表示与补丁级嵌入进行生成式对齐以实现3D生成

Polytimi Anna Gkotsi, Andrii Zadaianchuk, Mohammad Mahdi Derakhshani

机构 * Polytimi Anna Gkotsi ； Andrii Zadaianchuk ； Mohammad Mahdi Derakhshani 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出GAP3D，一种基于扩散的模块化方法，将VLM生成的潜在表示直接对齐到预训练图像编码器的完整补丁级特征空间，使冻结的下游生成模型能够利用VLM作为提示编码器，同时保持空间结构化的条件信号，在3D资产生成中无需大规模3D数据训练，并展现出多模态提示的零样本能力。

Safety Mirage: How Spurious Correlations Undermine VLM Safety Fine-Tuning and Can Be Mitigated by Machine Unlearning

安全幻象：虚假相关性如何破坏VLM安全微调及通过机器遗忘缓解

Yiwei Chen, Yuguang Yao, Yihua Zhang, Bingquan Shen, Gaowen Liu, Sijia Liu

机构 * Michigan State University（密歇根州立大学） ； National University of Singapore（新加坡国立大学） ； Cisco Research（思科研究） 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；vision language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文发现视觉语言模型（VLM）的安全微调存在“安全幻象”，即虚假相关性导致脆弱性，并提出机器遗忘作为替代方案，显著降低攻击成功率和不必要拒绝。

Comments Accepted to ICLR 2026

Cross-modal linkage risk in clinical vision-language models

临床视觉-语言模型中的跨模态链接风险

Soroosh Tayebi Arasteh, Mahshad Lotfinia, Sven Nebelung, Daniel Truhn

机构 * Lab for AI in Medicine（医学人工智能实验室） ； RWTH Aachen University（亚琛工业大学） ； Department of Diagnostic and Interventional Radiology（诊断与介入放射学部门） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 研究临床视觉-语言模型（VLM）在图像与报告分离场景下通过余弦相似度实现跨模态重链接的风险，并采用仅对投影头进行差分隐私微调的方法在保持图像效用同时显著降低重链接率。

EvoCut: Multi-Layer Evolution-Aware Visual Token Compression for Efficient Large Vision-Language Models

EvoCut：面向高效大型视觉语言模型的多层演化感知视觉标记压缩

Hongyu Lu, Feng Zhang, Wenwei Jin, Huanling Hu, Pengfei Zhang, Yao Hu, Jiawei Li, Shikai Jiang

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Xiaohongshu（小红书） ； Fudan University（复旦大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；vision-language model(title,abstract)；分类 cs.CV

AI总结 提出一种无需训练和注意力的视觉标记压缩方法EvoCut，通过分析多层演化偏差估计标记重要性，在LLaVA-1.5-7B上仅保留11.1%的视觉标记即可保持94.4%的平均性能。

Comments Preprint. 12 pages, 6 figures, 7 tables

CLIP Tricks You: Training-free Token Pruning for Efficient Pixel Grounding in Large VIsion-Language Models

CLIP Tricks You: 面向大型视觉-语言模型中高效像素定位的无训练令牌剪枝

Sangin Lee, Yukyung Choi

机构 * KAIST（韩国科学技术院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；grounding(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出LiteLVLM，一种无需训练、文本引导的令牌剪枝策略，通过反转CLIP视觉-文本相似度排序，保留指代区域令牌并恢复上下文令牌，实现高效像素定位推理，在多种令牌预算下性能提升超5%，保持90%原始性能同时加速22%并减少2.3倍内存。

Comments Accepted by ICML 2026

Model-Dowser: Data-Free Importance Probing to Mitigate Catastrophic Forgetting in Multimodal Large Language Models

Model-Dowser：无数据重要性探测以缓解多模态大语言模型中的灾难性遗忘

Hyeontaek Hwang, Nguyen Dinh Son, Daeyoung Kim

专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；multimodal large language model(title,abstract)

AI总结 提出Model-Dowser，一种基于重要性评分的稀疏微调方法，通过联合考虑权重幅度、输入激活和输出敏感性来缓解多模态大语言模型微调中的灾难性遗忘，在LLaVA和NVILA上优于现有方法。

Comments Accepted at ICML 2026. Code link: https://model-dowser.github.io

CARES: Context-Aware Resolution Selector for VLMs

CARES: 面向视觉语言模型的上下文感知分辨率选择器

Moshe Kimhi, Nimrod Shabtay, Raja Giryes, Chaim Baskin, Eli Schwartz

机构 * Technion（技术ion大学） ； IBM Research（IBM研究院） ； Tel-Aviv University（特拉维夫大学） ； Ben-Gurion University（本· Gurion大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出CARES轻量级预处理模块，通过紧凑型VLM预测图像-查询对的最小足够分辨率，在保持任务性能的同时最多减少80%计算量。

Comments Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) Accepted to ACL 2026 (Oral presentation). Code available at https://github.com/mkimhi/CARES

GRPO-TTA: Test-Time Visual Tuning for Vision-Language Models via GRPO-Driven Reinforcement Learning

GRPO-TTA：基于GRPO驱动的强化学习进行视觉语言模型的测试时视觉调优

Yujun Li, Hongyuan Zhang, Yuan Yuan

机构 * School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University（人工智能、光学与电子学院（iOPEN），西北工业大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；vision language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出GRPO-TTA方法，将GRPO应用于测试时适应，通过将类特定提示预测重构为组策略优化问题，并设计对齐奖励和分散奖励，在多种基准上优于现有方法。

Benchmarks for Vision-Language Models in Urban Perception Should Be Reliability-Aware and Negotiated

城市感知中的视觉语言模型基准应具备可靠性意识且可协商

Rashid Mushkani

机构 * Rashid Mushkani 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文提出，用于城市感知的视觉语言模型基准应将分歧和弃权视为测量结果，报告标注者间信度，并将标签空间和评分策略视为可协商的产物。

Comments To appear in the Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)

Wall-OSS-0.5 Technical Report

Wall-OSS-0.5 技术报告

Ryan Yu, Pushi Zhang, Starrick Liu, Brae Liu, Miracle Kang, Shalfun Li, Lights Shi, Ellie Ma, Ping Yang, Chris Pan, Jerry Chen, Dongxiu Liu, Rain Sun, Miles Guo, Byron Zhang, Hugo Zhou, Zach Xu, Vincent Chen, Harrison Huang, James Wang, Dance Kuzi, Andy Zhai, Hang Su, Roy Gan, Lucy Liang, Hao Wang, Qian Wang

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；grounding(abstract)

AI总结 本文提出Wall-OSS-0.5，一个基于3B VLM骨干网络并增强动作生成组件的4B开源VLA模型，通过梯度桥接联合训练策略，在超过20个实体上预训练，实现零样本真实机器人行为，并在微调后超越π_0.5，证明VLA预训练本身即可产生可执行的机器人能力。

Thinking in Blender: Staged Executable Inverse Graphics with Vision-Language Models

在Blender中思考：基于视觉语言模型的分阶段可执行逆向图形

Guangzhao He, Rundong Luo, Wei-Chiu Ma, Hadar Averbuch-Elor

机构 * Cornell University（康奈尔大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出分阶段可执行逆向图形（SEIG）框架，利用预训练视觉语言模型直接从单张图像重建可编辑的Blender程序，无需专用基础模型或可微渲染，通过逐步细化几何、材质、组合和光照提升重建保真度。

Vision-language Models for Driver Monitoring Systems: A Driver Activity Description Dataset

用于驾驶员监控系统的视觉语言模型：一个驾驶员活动描述数据集

David J. Lerch, Sarath Mulugurthi, Manuel Martin, Frederik Diederichs, Rainer Stiefelhagen

机构 * Fraunhofer IOSB（弗劳恩霍夫智能系统研究所） ； Technische Hochschule Ingolstadt（图林根工业大学） ； Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文通过创建Drive&Act数据集的详细自然语言版本，评估并微调视觉语言模型，以提升对驾驶员细微动作的识别能力，微调后的模型在跨数据集评估中表现更优。

Comments Accepted at IEEE ITSC 2026

Vision-Language Model Ensembles Achieve Human-Expert Accuracy for Galaxy Merger Classification

视觉-语言模型集成达到人类专家精度的星系合并分类

Marco Chiaberge, Elias Stengel-Eskin, Massimo Stiavelli, Colin Norman

专题命中 VLM训练与架构 ：vision-language model(title)；VLM(abstract,abstract_cn)

AI总结 本研究通过贝叶斯统计框架集成15种视觉-语言模型配置，在星系合并形态分类中达到与训练有素的人类专家相当的准确率（83.3%），并恢复了合并分数。

Comments This work used LLMs as research assistants for code development, statistical analysis, and drafting under close human supervision; the workflow is described in Appendix A. Submitted to the Astronomical Journal

Evi-Steer: Learning to Steer Biomedical Vision-Language Models through Efficient and Generalizable Evidential Tuning

Evi-Steer：通过高效且可泛化的证据调优学习引导生物医学视觉-语言模型

Taha Koleilat, Hassan Rivaz, Yiming Xiao

机构 * Concordia University（康科迪亚大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 提出Evi-Steer框架，通过证据跨模态低维引导实现BiomedCLIP的不确定性感知参数高效微调，仅更新0.11%参数，在15个生物医学数据集上少样本学习和域泛化设置中优于现有方法。

Comments MICCAI 2026 Early Accept; Project Page: https://tahakoleilat.github.io/Evi-Steer. This preprint has not undergone peer review or any post-submission improvements or corrections. The Version of Record of this contribution will be published as part of the MICCAI 2026 proceedings in October

WAON: A Large-Scale Japanese Image-Text Dataset for Cultural Adaptation in Contrastive Vision-Language Models

WAON：用于对比视觉语言模型文化适应的大规模日语图像-文本数据集

Issa Sugiura, Shuhei Kurita, Yusuke Oda, Daisuke Kawahara, Yasuo Okabe, Naoaki Okazaki

机构 * Kyoto University（京都大学） ； NII LLMC（日本国家研究所语言模型中心） ； NII（日本国家研究所） ； Waseda University（早稻田大学） ； Institute of Science Tokyo（东京科学研究所） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 提出WAON，一个从Common Crawl构建的包含约1.55亿样本的最大公开原生日语图像-文本数据集，并通过微调实验证明其在日语文化基准上优于翻译数据。

Comments 13 pages, 7 figures

Can Vision Language Models Learn Intuitive Physics from Interaction?

视觉语言模型能否从交互中学习直观物理？

Luca M. Schulze Buschoff, Konstantinos Voudouris, Can Demircan, Eric Schulz

专题命中 VLM训练与架构 ：vision language model(title,abstract)；分类 cs.LG

AI总结 研究通过强化学习与环境交互训练视觉语言模型，发现交互学习能提升任务内性能，但无法产生可泛化的物理直觉。

Comments Updated accepted version for ICML'26

Scaling Pre-training to One Hundred Billion Data for Vision Language Models

将视觉语言模型的预训练扩展到一千亿数据

Xiao Wang, Ibrahim Alabdulmohsin, Daniel Salz, Zhe Li, Keran Rong, Xiaohua Zhai

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；分类 cs.CV

AI总结 本文通过实验探究将视觉语言模型预训练数据扩展到一千亿规模的效果，发现传统基准性能饱和，但文化多样性任务和低资源语言受益显著，并指出质量过滤可能减少文化多样性。

Comments v2: CVPR Findings'26

Density-Aware Translation of Spurious Correlations in Zero-Shot VLMs

零样本VLM中虚假相关性的密度感知转换

Afsaneh Hasanebrahimi, Hanxun Huang, Christopher Leckie, Sarah Erfani

机构 * School of Computing and Information Systems, The University of Melbourne, Victoria, Australia（计算与信息系统学院，墨尔本大学，维多利亚，澳大利亚） 纠错

专题命中 VLM训练与架构 ：VLM(title_cn)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出密度感知转换（DAT）方法，利用局部几何密度项修正图像-文本相似度，以缓解CLIP等视觉语言模型在零样本分类中因虚假相关性导致的性能下降。

Comments ICML 2026

On the Limits of Token Reduction for Efficient Unified Vision Language Training

论高效统一视觉语言训练中令牌缩减的极限

Siyi Chen, Weiming Zhuang, Jingtao Li, Lingjuan Lv

机构 * University of Michigan（密歇根大学） ； Sony AI（索尼人工智能） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文通过分析层注意力分配，发现视觉理解与视觉生成在令牌冗余上存在不对称性，设计任务特定加速器，但统一训练中任务特定令牌丢弃导致协同损失，表明高效统一建模需保留共享跨任务结构。

Zamba2-VL Technical Report

Zamba2-VL 技术报告

Hassan Shapourian, Kasra Hejazi, Olabode M. Sule, Beren Millidge

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Cambridge（剑桥大学） ； University of Washington（华盛顿大学） ； University of Toronto（多伦多大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 提出基于混合架构Zamba2的视觉语言模型Zamba2-VL，在图像理解等基准上媲美Transformer模型，且首次令牌延迟降低约一个数量级。

Comments 16 pages, 2 figures