视觉大模型 / VLM

RoboMME-Interference: Benchmarking Robot Memory Under Interference

干扰下的机器人记忆基准测试

Soumil Rathi

机构 * Independent Researcher（独立研究员） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出RoboMME-Interference基准，通过跨会话干扰评估机器人长期记忆能力，发现现有系统在干扰下性能显著下降。

Comments 9 pages, 5 figures. Updated results; added subgoal-memory systems

Multi-Granularity Context-Enhanced RAG over Multimodal Knowledge Graphs

面向多模态知识图谱的多粒度上下文增强检索增强生成

Zongyu Wu, Yilong Wang, Xiaochen Wang, Minhua Lin, Zhichao Xu, Fenglong Ma, Xiang Zhang, Suhang Wang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； University of Utah（犹他大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 针对现有多模态知识图谱RAG方法的语义鸿沟问题，本文提出CEMMKG框架，通过多粒度局部与全局上下文增强，有效提升了多模态GraphRAG的性能与适用性。

Comments Preprint

MMJailBench: A Factorized Benchmark for Disentangling Multimodal Jailbreak Vulnerabilities

MMJailBench：用于解耦多模态越狱漏洞的因子化基准

Tianshi Wang, Jingsong Wang, Yafei Huang, Fengling Li, Xin Li, Lei Zhu

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 研究人员推出MMJailBench因子化基准，对16个MLLMs评估后揭示其越狱漏洞特征异质且依赖模型，明确提示框架等关键影响因素，开发出模块化多模态越狱评估套件用于高效审计。

Scale-CDA: A Scalable Aftermarket Platform to Democratize Cooperative Driving Automation in Production Cars

Scale-CDA：一款用于量产车的、可扩展的原型，旨在普及AI辅助的协同驾驶自动化（CDA）

Hao Zhou, Shengming Yuan, Yuhang Wang, Alina Hagen, Haibin Wen

专题命中 幻觉与鲁棒性 ：MLLM(abstract_cn)

AI总结 本研究提出Scale-CDA这一开源工具链，基于OpenDBC与Openpilot构建，成本低于1000美元，可实现AI辅助CDA的即插即用改装，通过多车辆测试验证了其低时延与数据隐私保护能力，为普及协同自动驾驶提供了实用方案。

Targeting the Attention Heads Behind Object Hallucination in LLaVA

针对LLaVA中物体幻觉背后的注意力头

Armaan Sandhu, Abhilasha Senapati, Hima Kammachi

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） 纠错

专题命中 VLM训练与架构 ：LLaVA(title,title_cn)；grounding(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本研究针对LLaVA的物体幻觉问题，通过注意力头诊断筛选出32个关键注意力头，结合LoRA适配器与推理控制器，在COCO数据集上显著降低了物体幻觉率。

Comments 10 pages, 5 figures, 3 tables. Accepted at the Actionable Interpretability Workshop, COLM 2026

MLLMCLIP: Feature-Level Distillation of MLLM for Robust Vision-Language Representations

MLLMCLIP：面向鲁棒视觉-语言表征的多模态大语言模型（MLLM）特征级蒸馏

Jongsuk Kim, Qiyu Wu, Zhuoyuan Mao, Hiromi Wakaki, Junmo Kim, Yuki Mitsufuji

机构 * KAIST（韩国科学技术院） ； Sony Group Corporation（索尼集团公司） 纠错

专题命中 VLM训练与架构 ：MLLM(title,title_cn)；vision-language model(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 MLLMCLIP是一种异构特征级蒸馏框架，直接将MLLM的多模态知识迁移至CLIP，在组合性任务和通用视觉-语言任务上均实现最优性能。

Comments EMNLP 2026 Main Conference

Retrieve, Match, Escalate: Accurate and Scalable Product Linking with VLM-Distilled Cross-Encoders and Agentic VLMs

检索、匹配、升级：基于VLM蒸馏的交叉编码器与智能体VLMs的准确且可扩展的商品链接

Jian Wang, Steven Xu, Sanjyot Thete, Maryam Barouti, Tom Tang, Elaine Wu, Charu Sareen, Kyle MacDonald

机构 * DoorDash Inc.（DoorDash公司） 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 该研究针对大规模商品链接的成本与精度矛盾，提出“检索-匹配-升级”级联框架，用VLM蒸馏的交叉编码器处理多数简单案例，智能体VLM解决模糊案例，提升了链接覆盖率且降低成本。

Comments 9 pages, 3 figures, 5 tables

SMART: MLLM-guided Temporal Alignment for Unifying Sign Language Recognition and Spotting

SMART：用于统一手语识别与定位的多模态大语言模型（MLLM）引导的时间对齐框架

Eunjee Choi, JungHoon Sung, Seongwhan Cho, Chu Xin, Younggeun Choi

机构 * Dankook University（檀国大学） 纠错

专题命中 VLM训练与架构 ：MLLM(title,title_cn)；分类 cs.CV

AI总结 本研究提出 MLLM 引导的 SMART 框架，整合多尺度时间适配器与 CSFormer 模块，在四个手语基准数据集上实现了手语识别与定位任务的性能提升。

Not All Attention Heads Contribute to Critical Visual Token Selection: Head-Aware Pruning Matters More

并非所有注意力头都有助于关键视觉标记选择：头感知剪枝更重要

Chaofang Ma, Lin Jiang, Carol Jingyi Li, Xingyu Liu, Zeyu Li, Jiang Xu, Wei Zhang

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Northeastern University（东北大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 本文针对视觉-语言模型推理效率问题，提出无需训练的渐进式视觉标记剪枝框架ProViP，利用关键注意力头提升剪枝效果，在LLaVA-1.5-7B上实现高剪枝率下的性能保留与推理加速。

Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models

视觉还是认知？多模态大语言模型的视觉上下文敏感性

Jiaang Li, Chengzu Li, Zhaochong An, Yifei Yuan, Xi Liu, Serge Belongie, Vésteinn Snæbjarnarson

机构 * University of Copenhagen（哥本哈根大学） ； University of Cambridge（剑桥大学） ； ETH Zürich（苏黎世联邦理工学院） ； Clemson University（克莱姆森大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 该研究探究多模态大语言模型在视觉证据与先验冲突任务上的失效原因，引入WhatIfVis基准，发现其能编码视觉证据但难以控制对其的依赖，监督微调等方法可提升可控性。

What Do Medical Vision-Language Models Learn in Radiology? Transfer, Alignment, and Source-Proxy Leakage Under Distribution Shift

医学视觉-语言模型在放射学中学到了什么？分布偏移下的迁移、对齐与源代理泄露

Ayoub Louaye Bouaziz, Lokmane Chebouba, Yassine Himeur

机构 * University of Constantine（康斯坦丁大学） ； University of Dubai（迪拜大学） ； University of Western Brittany（西布列塔尼大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究针对医学视觉-语言模型在分布偏移下的失效问题，探究其跨数据集迁移、多模态对齐及源代理泄露特性，发现表观能力掩盖相关失效模式，推动对该类模型的压力测试评估。

Learning to Detect Unseen Jailbreak Attacks in Large Vision-Language Models

学习检测未见过的大型视觉-语言模型中的对抗攻击

Shuang Liang, Zhihao Xu, Jiaqi Weng, Jialing Tao, Hui Xue, Xiting Wang

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 LoD通过学习模型内部激活生成安全表示，实现对未见过的对抗攻击的高效检测，提升检测性能和效率。

Comments 17 pages; Previously this version appeared as arXiv:2510.15430 (https://arxiv.org/abs/2510.15430) which was submitted as a new work by accident

Beyond Pairwise Feedback: Listwise Vision-Language Supervision for Preference-Based Reward Learning

超越成对反馈：用于基于偏好的奖励学习的列表式视觉-语言监督

Srivalli Katkuri, Maxwell Kawada, Juan Wachs

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.LG

AI总结 本研究提出首个结合视觉-语言模型生成偏好与普拉科特-卢斯模型的列表式奖励学习框架，在Meta-World操纵任务中，其表现与基线相当且更灵活，最佳配置达86%平均成功率。

Comments 13 pages, 10 figures. Srivalli Katkuri and Maxwell Kawada contributed equally to this work

SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning

SAME: 用于多模态持续指令调优的稳定混合专家模型

Zhen-Hao Xie, Jun-Tao Tang, Yu-Cheng Shi, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

机构 * State Key Laboratory of Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对多模态持续指令调优中专家路由漂移和专家漂移问题，提出稳定混合专家模型（SAME），通过正交子空间分解路由动态和曲率感知缩放更新专家，实现无重放的状态最优性能。

Comments Accepted to ICML 2026. Code is available at this https URL (https://github.com/LAMDA-CL/Prism)

VGA-BenchV2: An Expanded Unified Benchmark and Multi-Model Framework for Evaluating Video Aesthetics and Generation Quality

VGA-BenchV2：用于评估视频美学与生成质量的扩展统一基准及多模型框架

Longteng Jiang, DanDan Zheng, Qianqian Qiao, Heng Huang, Huaye Wang, Yihang Bo, Bao Peng, Jingdong Chen, Jun Zhou, Xin Jin

机构 * Ant Group（蚂蚁集团） ； Beijing Film Academy（北京电影学院） ； Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 该研究提出扩展的视频评估基准VGA-BenchV2，构建混合评估器架构，并将其作为奖励模型优化视频生成器，实现从基准到模型优化的闭环，提升视频的美学质量与人类偏好对齐性。

Comments IJCAI 2026

Label-Free Foundational Model Selection for Medical Image Classification under Distribution Shift via Pseudo Label Discrepancy

分布偏移下基于伪标签差异的医学图像分类无基准模型选择

Juan Iñaki Larrea, Lucas Mansilla, Enzo Ferrante

机构 * Universidad de Buenos Aires（布宜诺斯艾利斯大学） ； CONICET（阿根廷国家科学技术研究委员会） ； Universidad Nacional del Litoral（国立 littoral 大学） ； Research Institute for Signals, Systems and Computational Intelligence（信号、系统与计算智能研究所） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 针对分布偏移下医学图像分类的无基准模型选择问题，提出基于SUDO框架的AURCC准则，在胸部X射线分类任务中实现了与真实排名高相关性的模型排名，小源标注数据下表现更优。

Comments Accepted at MIRASOL Workshop, MICCAI 2026. 10 pages, 3 figures

Fairness-Aware Test-Time Prompt Tuning

感知公平性的测试时提示调优

Yoann Launay, Parameswaran Kamalaruban, Tom Kempton, Stuart Burrell, David Sutton

机构 * University of Cambridge（剑桥大学） ； Visa Inc.（维萨公司） ； University of Manchester（曼彻斯特大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.LG

AI总结 本文针对分布偏移下视觉-语言模型的公平性问题，提出了感知公平性的情节式测试时自适应方法FairTPT，通过软提示调优联合优化熵，实现公平性提升并优于现有方法。

Where to Look Matters: On-Policy Self-Distillation for Long-Video Understanding

关注何处至关重要：面向长视频理解的策略内自蒸馏

Kaishen Wang, Dongdi Zhao, Yijun Liang, Dingqiang Ye, Ruibo Chen, Heng Huang, Di Fu

机构 * University of Maryland（马里兰大学） ； Johns Hopkins University（约翰斯·霍普金斯大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 该研究针对长视频理解中全视频冗余干扰问题，提出Clue-OPSD线索特权策略内自蒸馏框架，无需线索标注，可提升模型准确率并优于相关基线。

Comments 15 pages, 8 figures, 5 tables

Gated Recurrent Transformers: Expressive Depth through Recurrent Modulation

RecurrentGPT：通过Transformer中的循环调制实现表达性深度

Amr Hegazy, Amr Alanwar, Mostafa Elhoushi

机构 * The German University in Cairo（开罗德国大学） ； Technical University of Munich（慕尼黑工业大学） ； Cerebras Systems Inc.（赛布拉斯系统公司） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.LG

AI总结 本文提出RecurrentGPT，通过循环调制解决Transformer语言模型表达性与内存效率的矛盾，在多约束下优于基线模型，实现参数与内存的高效利用。

Training-Free Interaction-Aligned Visual Token Pruning for Efficient Embodied Manipulation

VLA-IAP: 通过交互对齐实现无训练视觉令牌剪枝用于视觉-语言-动作模型

Jintao Cheng, Weibin Li, Haozhe Wang, Gang Wang, Yipu Zhang, Xiaoyu Tang, Jin Wu, Xieyuanli Chen, Yunhui Liu, Wei Zhang

机构 * Hong Kong University of Science and Technology（香港科学与技术大学） ； South China Normal University（华南师范大学） ； The Chinese University of Hong Kong（香港中文大学） ； University of Science and Technology Beijing（北京科技大学） ； National University of Defense Technology（国防科技大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

AI总结 本文提出VLA-IAP方法，通过引入几何先验机制和动态调度策略，实现无训练的视觉令牌剪枝，提升VLA模型在资源受限平台上的推理效率和稳定性，实验显示在LIBERO基准上成功率达97.8%且速度提升1.25倍。

Comments 27 pages, 8 figures

PARAssist: A Framework for Personalized and Adaptive Robotic Assistance from Ambiguous User Requests

PARAssist：面向模糊用户请求的个性化自适应机器人辅助框架

Pourya Aliasghari, Goldie Nejat

专题命中 VLM训练与架构 ：vision-language model(abstract)

AI总结 该研究提出PARAssist框架，利用视觉-语言模型结合用户历史与环境信息，个性化消除服务机器人模糊请求的歧义，经实验验证其个性化能力及核心组件的有效性。

Comments This work has been submitted to the IEEE for possible publication

Semi-Supervised Adaptation of Vision-Language Models for Image Classification

面向图像分类的视觉-语言模型半监督适配

Mohamed L. Mekhalfi, Mohamad M. Al Rahhal, Yakoub Bazi, Salah E. Khenfer, Mingdeng Shi, Hua Zou, Mansour Zuair

机构 * Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会） ； King Saud University（沙特国王大学） ； Tarim University（塔里木大学） ； Wuhan University（武汉大学） 纠错

专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本研究针对视觉-语言模型适配遥感卫星图像时标注样本匮乏的问题，提出SE-CLIP半监督框架，通过双阶段流程与类平衡选择策略提升性能，在UCM、NWPU基准上优于现有方法。

SciMIF: Understanding Multimodal Instruction Following in Scientific Domains

SciMIF：理解科学领域中的多模态指令遵循

Ye Shen, Yuting Zheng, Dun Pei, Zijian Chen, Wenlong Zhang, Qi Jia, Guangtao Zhai

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出用于评估多模态大语言模型科学指令遵循能力的SciMIF基准，揭示模型在科学领域性能差异及规模提升未对应改善约束遵循等问题，填补相关评估空白。

Comments 21pages, 9 figures, 16 tables

MODE: Modality-Decomposed Expert-Level Mixed-Precision Quantization for MoE Multimodal LLMs

MODE: 面向MoE多模态大语言模型的模态分解专家级混合精度量化

Yuanteng Chen, Nanxin Zeng, Peisong Wang, Zhilei Liu, Yuantian Shao, Shiqiang Lang, Tao Liu, Chuangyi Li, Qinghao Hu, Gang Li, Jing Liu, Jian Cheng

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对MoE多模态大语言模型在专家重要性估计中存在的跨模态和视觉内偏差，提出模态分解的专家级混合精度量化框架MODE，通过分解选择频率、过滤冗余视觉令牌并评估模态敏感性，在给定预算下分配比特宽度，在W3A16下平均性能损失控制在2.9%以内。

Comments 19 pages, 8 figures

Video-IFBench: Evaluating Instruction Following of Multimodal LLMs in Video Understanding Scenarios

Video-IFBench：评估多模态大语言模型在视频理解场景中的指令遵循能力

Hongbo Liu, Peixian Chen, Sihan Liu, Peiyuan Zhang, Kai Zou, Dian Zheng, Xiaoxing Hu, Yuhao Dong, Mengdan Zhang, Yunhang Shen, Haoyu Cao, Wei Liu, Weibo Gu, Xing Sun, Shengjie Zhao

机构 * TJU（天津大学） ； Tencent Youtu Lab（腾讯优图实验室） ； SJTU（上海交通大学） ； Tencent Hunyuan（腾讯混元） ； CUHK（香港中文大学） ； NTU（南洋理工大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文推出Video-IFBench基准，构建含四类模板的指令分类体系与半自动数据 pipeline，评估20余种MLLMs的视频指令遵循能力，发现当前模型在复杂指令上仍具挑战，推动相关研究。