多模态大模型

ActiveScope: Actively Seeking and Correcting Perception for MLLMs

ActiveScope: 主动寻求和纠正MLLMs的感知

Yajing Wang, Chao Bi, Junshu Sun, Shufan Shen, Zhaobo Qi, Shuhui Wang, Qingming Huang

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； State Key Lab of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China（中国科学院人工智能安全国家重点实验室，计算技术研究所，北京，中国） ； Harbin Institute of Technology (Weihai)（哈尔滨工业大学（威海）） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出ActiveScope框架，通过语义锚点定位和干扰抑制细化模块，解决MLLMs在高分辨率图像中的细粒度感知问题，在V* Bench上达到96.34%准确率。

Comments ICML 2026

HANCLIP: A Family of Hyperbolic Angular Negation Vision Language Models

HANCLIP：双曲角否定视觉语言模型系列

Hoang-Bao Le, Aiden Durrant, Thai Son Mai, Binh T. Nguyen, Liting Zhou, Cathal Gurrin

机构 * ADAPT Centre Dublin City University, Ireland（爱尔兰都柏林城市大学ADAPT中心） ； University of East Anglia Norwich, UK（英国东英吉利大学） ； Queen’s University Belfast Belfast, UK（英国贝尔法斯特女王大学） ； University of Science Vietnam National University Ho Chi Minh City, Vietnam（越南胡志明市国家大学理科大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 针对视觉语言模型对否定语义脆弱的问题，提出HANCLIP系列，通过双曲空间和角度三元组目标重构嵌入空间，在20K数据上训练，增强否定敏感性同时保持预训练表示，在NegBench等基准上取得一致提升。

Unmasking LAION-5B: Age, Gender, Race, and Emotion Biases in Large-Scale Image Datasets

揭开LAION-5B的面纱：大规模图像数据集中的年龄、性别、种族和情感偏见

Iris Dominguez-Catena, Daniel Paternain, Mikel Galar

机构 * Institute of Smart Cities (ISC), Department of Statistics, Computer Science and Mathematics（智能城市研究所（ISC），统计、计算机科学与数学系） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本研究利用FairFace、DeepFace和Emo-AffectNet模型分析LAION-5B数据集中的年龄、性别、种族和情感偏见，发现年轻白人男性过度代表，少数族裔和中老年女性不足，以及情感与人口属性的刻板关联。

Comments Published as a paper at 3rd DATA-FM workshop @ ICLR 2026, Brazil

4DVLT: Dynamic Scene Understanding with Worldline-Centered Vision-Language Tracking

4DVLT：以世界线为中心的视觉-语言跟踪动态场景理解

Chaoyue Li, Boxue Yang, Shengyao Zhou, Haoyang Wu, Rui Qian, Linfeng Zhang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出世界线为中心的4D动态场景理解任务4DVLT及基准Instruct-4D，通过图条件世界线推理方法4DTrack实现指令跟踪，在指标上超越基线19.62点。

GTA-Net: Cooperative Game Theory for Vision-Language Alignment in Chest X-Ray Report Generation

GTA-Net：合作博弈论在胸部X光报告生成中的视觉-语言对齐

Saif ur Rehman Khan, Imad Ahmed Waqar, Sebastian Vollmer, Andreas Dengel, Muhammad Nabeel Asim

机构 * Department of Computer Science, Rhineland-Palatinate Technical University of Kaiserslautern-Landau（莱茵兰-普法尔茨凯泽斯劳滕-兰道工业大学计算机科学系） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心） ； IntelligentX GmbH 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出GTA-Net，利用合作博弈论实现图像区域与文本的显式对齐，通过二元和三元对齐器提升胸部X光报告生成的临床一致性。

Spectral Query-Key Product Weight Steering for Training-Free VLM Hallucination Mitigation

谱查询-键乘积权重引导用于免训练VLM幻觉缓解

Karn Tiwari, Varnith Chordia, Prathosh A P

机构 * Indian Institute of Science, Bengaluru（印度科学理工学院，班加罗尔） ； Snap Research（Snap 研究院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出QK乘积引导，一种无数据、免训练、零推理成本的权重编辑方法，通过抑制中间层主导奇异模式减少对象幻觉，在三个GQA基VLM上平均降低CHAIR$_s$ 4.0%。

Comments Under Review

SAFE-Cascade: Cost-Adaptive Vision-Language Routing for Chart Question Answering

SAFE-Cascade: 面向图表问答的成本自适应视觉语言路由

Ayush Dwivedi, Qixin Wang, Ashvi Soni, Ruoteng Wang, Han Li, Animesh Mahapatra, Neeraj Agrawal, Xintao Wu

机构 * University of Arkansas（亚拉巴马大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出SAFE-Cascade系统，通过OCR和轻量语言模型先给出答案，再由学习路由器决定是否调用VLM，在ChartQA上以73.1%的VLM调用率达到69.1%准确率，减少26.9%的VLM调用和9.3%的成本。

Comments Demo paper submitted at CIKM 2026. 4 pages, 2 figures

CaVe-VLM-CoT: An Interpretable Vision-Language Model Framework

CaVe-VLM-CoT：一种可解释的视觉-语言模型框架

Sneha Rao, Shaina Raza, Dhanesh Ramachandram

机构 * Vector Institute（向量研究所） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.AI

AI总结 提出CaVe-VLM-CoT框架，通过五阶段闭环流水线（提取器、检索器、求解器、引用注入器、验证器）实现证据推理，并引入CaVeScore复合指标评估检索质量、引用忠实度和跨模态基础，在ScienceQA和MMMU上取得性能提升。

NAVI-Orbital: First In-Orbit Demonstration of a Zero-Shot Vision-Language Model for Autonomous Earth Observation

NAVI-Orbital：用于自主地球观测的零样本视觉语言模型的首次在轨演示

Juan Manuel Delfa Victoria, Taran Cyriac John, Andrew W. Herson

机构 * NASA Jet Propulsion Laboratory (JPL)（美国宇航局喷气推进实验室） ； Loft Orbital（Loft Orbital公司） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.AI

AI总结 本文介绍NAVI-Orbital系统，在低地球轨道卫星上首次实现视觉语言模型的自主多模态推理，通过语义压缩解决数据下传瓶颈。

Comments 17 pages, 47 figures

Beyond English: Uncovering the Multilingual Gap in Vision-Language-Action Models

超越英语：揭示视觉-语言-动作模型中的多语言差距

Hanyang Chen, Hongliang Li, Jiarui Cao, Yang Li, Yang Jiang, Haonan Wen, Kaiyu Huang, Shengnan Guo, Huaiyu Wan

机构 * Beijing Jiaotong University（北京交通大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本研究首次系统探究VLA模型的多语言指令跟随能力，发现英语训练模型在其他语言上性能显著下降，并提出多语言主成分对齐方法缩小差距。

Multi-Label Test-Time Adaptation with Bayesian Conditional Priors

基于贝叶斯条件先验的多标签测试时自适应

Qiru Li, Ao Zhou, Zhiwei Jiang, Zifeng Cheng, Cong Wang, Yafeng Yin, Qing Gu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 提出贝叶斯条件先验估计（BCP），一种无梯度的测试时自适应方法，通过在线估计锚定条件先验注入标签依赖性，提升冻结视觉语言模型在多标签识别中的分布偏移鲁棒性。

Comments accepted by ICML2026

Adapting Vision-Language Models from Iconic to Inclusive for Multi-Label Recognition Without Labels

将视觉-语言模型从标志性适应到包容性：用于无标签的多标签识别

Cheng Chen, Jingyu Zhou, Yifan Zhao, Jia Li

机构 * State Key Laboratory of Virtual Reality Technology and Systems, SCSE & QRI, Beihang University（虚拟现实技术与系统国家重点实验室，北京航空航天大学计算机学院与青岛研究院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出无监督框架，通过“切割”和“缝合”两阶段适应VLMs，实现无标签的多标签图像识别，在四个数据集上超越现有无监督方法。

CapRL++: Unified Reinforcement Learning with Verifiable Rewards for Dense Image and Video Captioning

CapRL++：基于可验证奖励的统一强化学习用于密集图像和视频描述生成

Penghui Yang, Long Xing, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Yibin Wang, Yujie Zhou, Jiazi Bu, Jianze Liang, Qidong Huang, Jiaqi Wang, Feng Wu, Dahua Lin

机构 * Tsinghua University（清华大学） ； University of Science and Technology of China（中国科学技术大学） ； Microsoft（微软） ； Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Innovation Institute（上海创新研究院） ； Alibaba Cloud（阿里云） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出CapRL++框架，利用可验证奖励的强化学习（RLVR）优化多模态描述生成，通过非视觉语言模型回答问题的准确性作为奖励，提升密集描述质量，在20多个基准上超越传统监督微调。

Comments 26 pages, 10 figures. Project page: https://github.com/InternLM/CapRL. arXiv admin note: text overlap with arXiv:2509.22647

Zero-Shot Semantic Re-Identification for Autonomous Driving: A VLM Baseline Study

零样本语义重识别用于自动驾驶：一项VLM基线研究

Eduardo Borges, Manuel Abreu, Luís Garrote, Urbano J. Nunes

机构 * Autonomous Mobile Robot（自主移动机器人） ； University of Minho（明德大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出使用视觉-语言模型生成语义描述进行零样本重识别，在自动驾驶场景中实现与监督CNN基线相当的检索性能，并增强可解释性。

Comments 7 pages

Scaling by Diversified Experience for Vision-Language-Action Models

通过多样化经验扩展视觉-语言-动作模型

Leiyu Wang, Zhaofengnian Wang, Xueqi Li, Luoyi Fan, Cewu Lu, Nanyang Ye

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出SyVLA模型，通过意图解耦算法和相似样本引导的强化学习管道，解决视觉-语言-动作模型在推理与控制耦合及策略优化不稳定问题，在真实机器人任务中取得更高成功率和泛化能力。

Comments ICML 2026, SyVLA

MLingualFC: Evaluating Jailbreak Vulnerabilities in Multilingual Vision-Language Models

MLingualFC: 评估多语言视觉语言模型中的越狱漏洞

Rishabh Makwana, Mamta, Deeksha Varshney, Oana Cocarascu

机构 * Dwarkadas Jivanlal Sanghvi College of Engineering（达沃拉斯·吉万拉尔·桑格维工程学院） ； King’s College London（伦敦国王学院） ； Indian Institute of Technology Jodhpur（印度理工学院朱罗普尔） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出多语言多模态基准MLingualFC，使用流程图编码有害指令评估多语言VLM的越狱漏洞，发现拉丁语系攻击成功率显著高于非拉丁语系，揭示安全机制跨语言泛化不足。

CL-CLIP: CLIP-Based Continual Learning Framework with Cost-Volume Category Decoupling for Object Detection

CL-CLIP: 基于CLIP的持续学习框架与代价体积类别解耦用于目标检测

Zihan Liu, Yuguang Yang, Shengjie Su, Jianing Pang, Linlin Yang, Chunyu Xie, Nikolai Yu. Zolotykh, Baochang Zhang

机构 * National College for Excellent Engineers, Beihang University（卓越工程师学院，北京航空航天大学） ； AI Research, Qihoo 360（360人工智能研究院，奇虎360） ； School of Electronic Information Engineering, Beihang University（电子信息学院，北京航空航天大学） ； School of Cyber Science and Technology, Beihang University（网络安全科学与技术学院，北京航空航天大学） ； School of Computer Science and Engineering, Beihang University（计算机科学与工程学院，北京航空航天大学） ； State Key Laboratory of Media Convergence and Communication, Communication University of China（媒体融合与传播国家重点实验室，中国传媒大学） ； Institute of Information Technology, Mathematics and Mechanics, Lobachebsky University（信息技术、数学与力学学院，洛瓦茨基大学） ； School of Artificial Intelligence, Beihang University（人工智能学院，北京航空航天大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 提出CL-CLIP框架，通过代价体积引导的类别解耦，增强开放词汇检测器的持续学习能力，缓解灾难性遗忘，在PASCAL VOC和MS-COCO上显著提升F-ViT基线性能。

Diagnosing Visual Ignorance in Vision-Language Models

诊断视觉语言模型中的视觉忽视

Runyu Zhou, Qi Zhang, Qixun Wang, Yisen Wang

机构 * Peking University（北京大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 研究视觉语言模型依赖语言先验的内部机制，通过层替换和探针分析揭示多阶段瓶颈，并引入渐进视觉退化指标发现基准测试可能奖励视觉忽视。

MedSIGHT: Towards Grounded Visual Comprehension in Medical Large Vision-Language Models

MedSIGHT：迈向医学大型视觉语言模型中的基础视觉理解

Aofei Chang, Le Huang, Alex James Boyd, Parminder Bhatia, Taha Kass-Hout, Fenglong Ma, Cao Xiao

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出MedSIGHT框架，通过区域感知器、医学区域码本和渐进训练策略，统一医学视觉语言模型的语义理解和像素级分割，在72K数据上达到多模态理解与分割的SOTA。

Comments Accepted at ICML 2026

$τ_0$-VLA: a Hierarchical Robot Foundation Model with World-Model-Guided Test-Time Computation

$τ_0$-VLA：一种具有世界模型引导测试时计算能力的分层机器人基础模型

Xiaowei Cai, Yunuo Cai, Bingao Chen, Jingxiao Chen, Zhi Chen, Siyuan Feng, Tengyu Hou, Jingshun Huang, Han Jiang, Runkun Ju, Dong Li, Mingxiang Li, Shaowei Li, Xinchen Li, Yifan Li, Yi Liu, Zhongyuan Liu, Jianlan Luo, Junwen Miao, Ruiqi Ni, Buqing Nie, Mingjie Pan, Xinlin Ren, Jianheng Song, Jiaxu Wang, Peiqi Wang, Sen Wang, Xiaoyan Wang, Dafeng Wei, Dongming Wu, Pengwei Xie, Pu Yang, Hangjian Ye, Xiangyu Yue, Jinyu Zhang, Qinglin Zhang, Xueyong Zhao, Pengfei Zhou, Yue Zhou

机构 * Shanghai Innovation Institute（上海创新研究院） ； Agibot Finch（智元 Finch（智元鹦鹉）） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 $τ_0$-VLA是一种分层机器人基础模型，通过世界模型引导的测试时计算分配额外资源优化子任务生成，经40115小时异构真实数据训练后，可提升长时程机器人操作的闭环成功率。

Comments 18 pages, 5 figures. Project page: https://tau0-vla.github.io/

Quantum Models with Multi-Stage Training for Compositional Concept Generalization

用于组合概念泛化的多阶段训练量子模型

Mina Abbaszadeh, Matilda Karabina Moore, Mehrnoosh Sadrzadeh, Martha Lewis

机构 * University College London（伦敦大学学院） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 该研究针对多模态学习的组合概念泛化挑战，提出带多阶段训练的量子模型，在CLEVR数据集上验证其可提升分布外关系泛化能力且参数远少于经典基准。

Heterogeneity-Aware Microscaling for Efficient Low-Bit LLM Inference

面向高效低比特大语言模型推理的异构感知微缩放技术

Junyi Luo, Xinting Jiang, Tai-Hao Wen, Ruichen Qi, Minxing Chu, Hongyi Wu, Gregory Kielian, Ben Laurie, Qirui Zhang, Quan Cheng, Dennis Sylvester, Mehdi Saligane

专题命中 图文多模态 ：multimodal(abstract)

AI总结 研究针对低比特LLM推理的MX格式精度损失问题，提出异构感知的AdaMX格式与加速器，在不增加EBW的前提下提升精度、降低存储能耗，在多类LLM及多模态模型上表现优异。

Single-Beat Cuffless Blood Pressure Estimation Using Ear-PPG and ECG with a Lightweight Hybrid Learning Framework

采用耳式光电容积描记法（PPG）与心电图（ECG）结合轻量混合学习框架的单搏无袖带血压估计

Kindeep K. Dhatt, Tengyue Wu, Hanbang Hua, Yayun Du

机构 * Vanderbilt University（范德堡大学） ； Vanderbilt Institute for Surgery and Engineering（范德堡外科工程研究所） ； Department of Electrical and Computer Engineering（电气与计算机工程系） 纠错

专题命中 图文多模态 ：multi-modal(abstract)

AI总结 该研究提出轻量混合学习框架，结合ECG、耳式PPG与6轴IMU，实现单搏无袖带血压估计，在多阶段压力方案与PulseDB数据集上，较基线模型降低28.2%组合MAE，适配可穿戴部署。

Comments 7 pages, 5 figures

Separating Clicks from Baits: Using Large Language Models to Detect Misleading YouTube Thumbnails

从诱饵中分离点击：使用大语言模型检测误导性的YouTube缩略图

Wajiha Naveed, Muhammad Muneeb Pervez, Zaeem Mohtashim Khan, Zafar Ayyub Qazi, Zartash Afzal Uzmi

专题命中 图文多模态 ：multi-modal(abstract)

AI总结 研究针对YouTube等平台误导性缩略图问题，提出用大语言模型的多模态检测管道，构建数据集并评估多个模型，发现Claude 3.5 Sonnet性能突出，通过失败分析为视频平台发展提供方向。

Comments Accepted to the 21st International AAAI Conference on Web and Social Media (ICWSM 2027)

Journal ref Proceedings of the International AAAI Conference on Web and Social Media, 2027

KALE: Kernel Alignment with Loss Equilibration for Stable CLIP-DINOv2 Alignment at Web Scale

KALE：通过损失均衡实现网络规模下CLIP与DINOv2的稳定对齐的核对齐方法

Michał Pawłowicz

专题命中 图文多模态 ：image-text(abstract)

AI总结 研究在网络规模数据上CLIP与DINOv2对齐问题，引入KALE损失均衡控制器，自适应调整对齐权重，无需数据集微调，在CC12M子集实验中提升了模型图像-文本检索及线性探测性能，零样本性能显著提高。

Comments 13 pages, 7 figures, 6 tables

The Hyperspherical Geometry of CLIP Latent Space: A Semantic Mixture Model

CLIP 潜在空间的超球面几何：一种语义混合模型

Zijie Yu, Gaowen Liu, Ramana Rao Kompella, Philip S. Yu, Yue Song

机构 * Tsinghua University（清华大学） ； Cisco Research（思科研究院） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 研究 CLIP 潜在空间，提出基于冯·米塞斯-费舍尔分布混合的密度模型，用期望最大化算法学习，实现准确可解释的密度估计，改善长尾和分布外检测，建立几何一致的概率框架。

Comments 23 pages, 8 figures

Devil in the Lens: Analyzing and Defending Physical Prompt Injection Against Vision-Language Models on Wearable Devices

镜头中的恶魔：分析并防御可穿戴设备上针对视觉语言模型的物理提示注入

Yaxin Li, Hao Wang, Yanda Shao, Shuhao Zhang, Yan Long

专题命中 图文多模态 ：multimodal(abstract)

AI总结 研究针对可穿戴设备上视觉语言模型的物理提示注入攻击，利用真实环境照片分析出6种威胁向量及对12个模型的影响，攻击成功率高，还提出基于掩码的外部过滤器和基于语义向量的内部检测器两种防御策略。

UP: Unbounded Positive Asymmetric Optimization for Breaking the Exploration-Stability Dilemma

UP：用于打破探索-稳定性困境的无界正不对称优化

Chongyu Fan, Pengfei Liu, Jingjia Huang, Sijia Liu, Yi Lin

机构 * ByteDance Seed（字节跳动种子） ； Michigan State University（密歇根州立大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 研究针对强化学习探索-稳定性困境，提出无界正不对称优化（UP）方法，通过特殊设计重组优化过程，在多种算法、模型架构及训练模式下增强探索能力，实现卓越推理精度，是通用即插即用的强化学习训练增强方法。

CAC-VLA: Context-Gated Action Conditioning for Vision-Language-Action Models

CAC-VLA：用于视觉-语言-动作模型的上下文门控动作条件调节

Yifu Xiong, Wenhao Yu, Jiaxuan Lin, Bojun Zou, Jiahao Li, Lu Zhang, Yanyong Zhang, Jianmin Ji

机构 * University of Science and Technology of China (USTC)（中国科学技术大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 研究视觉-语言-动作模型，提出上下文门控动作条件调节框架CAC-VLA，在视觉语言模型中学习轻量级潜在动作接口，训练模型预测潜在动作并通过上下文门调节动作专家，实验验证其有效性。

Comments 16 pages, 6 figures

SEAM: Smooth Execution of Action-Chunked Motion for Vision-Language-Action Policies

SEAM：用于视觉-语言-动作策略的动作块运动平滑执行

Dijia Zhan, Xuemiao Xu, Jinyi Li, Jie Tang

机构 * South China University of Technology（南方科技大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 研究视觉-语言-动作策略中动作块执行的多模态分叉问题，提出无训练推理时的SEAM方法，利用同步执行见解，通过速度引导损失转向机制减少边界抖动和块过渡不连续性。

Comments 8 pages, 4 figures, 5 tables