视觉大模型 / VLM

Targeting the Attention Heads Behind Object Hallucination in LLaVA

针对LLaVA中物体幻觉背后的注意力头

Armaan Sandhu, Abhilasha Senapati, Hima Kammachi

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） 纠错

专题命中 VLM训练与架构 ：LLaVA(title,title_cn)；grounding(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本研究针对LLaVA的物体幻觉问题，通过注意力头诊断筛选出32个关键注意力头，结合LoRA适配器与推理控制器，在COCO数据集上显著降低了物体幻觉率。

Comments 10 pages, 5 figures, 3 tables. Accepted at the Actionable Interpretability Workshop, COLM 2026

MLLMCLIP: Feature-Level Distillation of MLLM for Robust Vision-Language Representations

MLLMCLIP：面向鲁棒视觉-语言表征的多模态大语言模型（MLLM）特征级蒸馏

Jongsuk Kim, Qiyu Wu, Zhuoyuan Mao, Hiromi Wakaki, Junmo Kim, Yuki Mitsufuji

机构 * KAIST（韩国科学技术院） ； Sony Group Corporation（索尼集团公司） 纠错

专题命中 VLM训练与架构 ：MLLM(title,title_cn)；vision-language model(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 MLLMCLIP是一种异构特征级蒸馏框架，直接将MLLM的多模态知识迁移至CLIP，在组合性任务和通用视觉-语言任务上均实现最优性能。

Comments EMNLP 2026 Main Conference

Retrieve, Match, Escalate: Accurate and Scalable Product Linking with VLM-Distilled Cross-Encoders and Agentic VLMs

检索、匹配、升级：基于VLM蒸馏的交叉编码器与智能体VLMs的准确且可扩展的商品链接

Jian Wang, Steven Xu, Sanjyot Thete, Maryam Barouti, Tom Tang, Elaine Wu, Charu Sareen, Kyle MacDonald

机构 * DoorDash Inc.（DoorDash公司） 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 该研究针对大规模商品链接的成本与精度矛盾，提出“检索-匹配-升级”级联框架，用VLM蒸馏的交叉编码器处理多数简单案例，智能体VLM解决模糊案例，提升了链接覆盖率且降低成本。

Comments 9 pages, 3 figures, 5 tables

SMART: MLLM-guided Temporal Alignment for Unifying Sign Language Recognition and Spotting

SMART：用于统一手语识别与定位的多模态大语言模型（MLLM）引导的时间对齐框架

Eunjee Choi, JungHoon Sung, Seongwhan Cho, Chu Xin, Younggeun Choi

机构 * Dankook University（檀国大学） 纠错

专题命中 VLM训练与架构 ：MLLM(title,title_cn)；分类 cs.CV

AI总结 本研究提出 MLLM 引导的 SMART 框架，整合多尺度时间适配器与 CSFormer 模块，在四个手语基准数据集上实现了手语识别与定位任务的性能提升。

Not All Attention Heads Contribute to Critical Visual Token Selection: Head-Aware Pruning Matters More

并非所有注意力头都有助于关键视觉标记选择：头感知剪枝更重要

Chaofang Ma, Lin Jiang, Carol Jingyi Li, Xingyu Liu, Zeyu Li, Jiang Xu, Wei Zhang

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Northeastern University（东北大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 本文针对视觉-语言模型推理效率问题，提出无需训练的渐进式视觉标记剪枝框架ProViP，利用关键注意力头提升剪枝效果，在LLaVA-1.5-7B上实现高剪枝率下的性能保留与推理加速。

Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models

视觉还是认知？多模态大语言模型的视觉上下文敏感性

Jiaang Li, Chengzu Li, Zhaochong An, Yifei Yuan, Xi Liu, Serge Belongie, Vésteinn Snæbjarnarson

机构 * University of Copenhagen（哥本哈根大学） ； University of Cambridge（剑桥大学） ； ETH Zürich（苏黎世联邦理工学院） ； Clemson University（克莱姆森大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 该研究探究多模态大语言模型在视觉证据与先验冲突任务上的失效原因，引入WhatIfVis基准，发现其能编码视觉证据但难以控制对其的依赖，监督微调等方法可提升可控性。

What Do Medical Vision-Language Models Learn in Radiology? Transfer, Alignment, and Source-Proxy Leakage Under Distribution Shift

医学视觉-语言模型在放射学中学到了什么？分布偏移下的迁移、对齐与源代理泄露

Ayoub Louaye Bouaziz, Lokmane Chebouba, Yassine Himeur

机构 * University of Constantine（康斯坦丁大学） ； University of Dubai（迪拜大学） ； University of Western Brittany（西布列塔尼大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究针对医学视觉-语言模型在分布偏移下的失效问题，探究其跨数据集迁移、多模态对齐及源代理泄露特性，发现表观能力掩盖相关失效模式，推动对该类模型的压力测试评估。

Learning to Detect Unseen Jailbreak Attacks in Large Vision-Language Models

学习检测未见过的大型视觉-语言模型中的对抗攻击

Shuang Liang, Zhihao Xu, Jiaqi Weng, Jialing Tao, Hui Xue, Xiting Wang

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 LoD通过学习模型内部激活生成安全表示，实现对未见过的对抗攻击的高效检测，提升检测性能和效率。

Comments 17 pages; Previously this version appeared as arXiv:2510.15430 (https://arxiv.org/abs/2510.15430) which was submitted as a new work by accident

Beyond Pairwise Feedback: Listwise Vision-Language Supervision for Preference-Based Reward Learning

超越成对反馈：用于基于偏好的奖励学习的列表式视觉-语言监督

Srivalli Katkuri, Maxwell Kawada, Juan Wachs

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.LG

AI总结 本研究提出首个结合视觉-语言模型生成偏好与普拉科特-卢斯模型的列表式奖励学习框架，在Meta-World操纵任务中，其表现与基线相当且更灵活，最佳配置达86%平均成功率。

Comments 13 pages, 10 figures. Srivalli Katkuri and Maxwell Kawada contributed equally to this work

SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning

SAME: 用于多模态持续指令调优的稳定混合专家模型

Zhen-Hao Xie, Jun-Tao Tang, Yu-Cheng Shi, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

机构 * State Key Laboratory of Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对多模态持续指令调优中专家路由漂移和专家漂移问题，提出稳定混合专家模型（SAME），通过正交子空间分解路由动态和曲率感知缩放更新专家，实现无重放的状态最优性能。

Comments Accepted to ICML 2026. Code is available at this https URL (https://github.com/LAMDA-CL/Prism)

VGA-BenchV2: An Expanded Unified Benchmark and Multi-Model Framework for Evaluating Video Aesthetics and Generation Quality

VGA-BenchV2：用于评估视频美学与生成质量的扩展统一基准及多模型框架

Longteng Jiang, DanDan Zheng, Qianqian Qiao, Heng Huang, Huaye Wang, Yihang Bo, Bao Peng, Jingdong Chen, Jun Zhou, Xin Jin

机构 * Ant Group（蚂蚁集团） ； Beijing Film Academy（北京电影学院） ； Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 该研究提出扩展的视频评估基准VGA-BenchV2，构建混合评估器架构，并将其作为奖励模型优化视频生成器，实现从基准到模型优化的闭环，提升视频的美学质量与人类偏好对齐性。

Comments IJCAI 2026

Label-Free Foundational Model Selection for Medical Image Classification under Distribution Shift via Pseudo Label Discrepancy

分布偏移下基于伪标签差异的医学图像分类无基准模型选择

Juan Iñaki Larrea, Lucas Mansilla, Enzo Ferrante

机构 * Universidad de Buenos Aires（布宜诺斯艾利斯大学） ； CONICET（阿根廷国家科学技术研究委员会） ； Universidad Nacional del Litoral（国立 littoral 大学） ； Research Institute for Signals, Systems and Computational Intelligence（信号、系统与计算智能研究所） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 针对分布偏移下医学图像分类的无基准模型选择问题，提出基于SUDO框架的AURCC准则，在胸部X射线分类任务中实现了与真实排名高相关性的模型排名，小源标注数据下表现更优。

Comments Accepted at MIRASOL Workshop, MICCAI 2026. 10 pages, 3 figures

Fairness-Aware Test-Time Prompt Tuning

感知公平性的测试时提示调优

Yoann Launay, Parameswaran Kamalaruban, Tom Kempton, Stuart Burrell, David Sutton

机构 * University of Cambridge（剑桥大学） ； Visa Inc.（维萨公司） ； University of Manchester（曼彻斯特大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.LG

AI总结 本文针对分布偏移下视觉-语言模型的公平性问题，提出了感知公平性的情节式测试时自适应方法FairTPT，通过软提示调优联合优化熵，实现公平性提升并优于现有方法。

Where to Look Matters: On-Policy Self-Distillation for Long-Video Understanding

关注何处至关重要：面向长视频理解的策略内自蒸馏

Kaishen Wang, Dongdi Zhao, Yijun Liang, Dingqiang Ye, Ruibo Chen, Heng Huang, Di Fu

机构 * University of Maryland（马里兰大学） ； Johns Hopkins University（约翰斯·霍普金斯大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 该研究针对长视频理解中全视频冗余干扰问题，提出Clue-OPSD线索特权策略内自蒸馏框架，无需线索标注，可提升模型准确率并优于相关基线。

Comments 15 pages, 8 figures, 5 tables

Gated Recurrent Transformers: Expressive Depth through Recurrent Modulation

RecurrentGPT：通过Transformer中的循环调制实现表达性深度

Amr Hegazy, Amr Alanwar, Mostafa Elhoushi

机构 * The German University in Cairo（开罗德国大学） ； Technical University of Munich（慕尼黑工业大学） ； Cerebras Systems Inc.（赛布拉斯系统公司） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.LG

AI总结 本文提出RecurrentGPT，通过循环调制解决Transformer语言模型表达性与内存效率的矛盾，在多约束下优于基线模型，实现参数与内存的高效利用。

Training-Free Interaction-Aligned Visual Token Pruning for Efficient Embodied Manipulation

VLA-IAP: 通过交互对齐实现无训练视觉令牌剪枝用于视觉-语言-动作模型

Jintao Cheng, Weibin Li, Haozhe Wang, Gang Wang, Yipu Zhang, Xiaoyu Tang, Jin Wu, Xieyuanli Chen, Yunhui Liu, Wei Zhang

机构 * Hong Kong University of Science and Technology（香港科学与技术大学） ； South China Normal University（华南师范大学） ； The Chinese University of Hong Kong（香港中文大学） ； University of Science and Technology Beijing（北京科技大学） ； National University of Defense Technology（国防科技大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

AI总结 本文提出VLA-IAP方法，通过引入几何先验机制和动态调度策略，实现无训练的视觉令牌剪枝，提升VLA模型在资源受限平台上的推理效率和稳定性，实验显示在LIBERO基准上成功率达97.8%且速度提升1.25倍。

Comments 27 pages, 8 figures

PARAssist: A Framework for Personalized and Adaptive Robotic Assistance from Ambiguous User Requests

PARAssist：面向模糊用户请求的个性化自适应机器人辅助框架

Pourya Aliasghari, Goldie Nejat

专题命中 VLM训练与架构 ：vision-language model(abstract)

AI总结 该研究提出PARAssist框架，利用视觉-语言模型结合用户历史与环境信息，个性化消除服务机器人模糊请求的歧义，经实验验证其个性化能力及核心组件的有效性。

Comments This work has been submitted to the IEEE for possible publication