多模态大模型

GTR-Turbo: Merged Checkpoint is Secretly a Free Teacher for Agentic VLM Training

GTR-Turbo：合并的检查点实际上是为代理VLM训练提供免费的教师

Tong Wei, Yijun Yang, Changhao Zhang, Junliang Xing, Yuanchun Shi, Zongqing Lu, Deheng Ye

机构 * Tsinghua University（清华大学） ； Tencent Hunyuan（腾讯文生） ； Peking University（北京大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 GTR-Turbo通过合并检查点作为免费教师，提升了多模态代理训练的效率和效果。

Comments Accepted by CVPR 2026

RubiCap: Rubric-Guided Reinforcement Learning for Dense Image Captioning

RubiCap：基于评分标准的强化学习用于密集图像描述

Tzu-Heng Huang, Sirajul Salekin, Javier Movellan, Frederic Sala, Manjot Bilkhu

机构 * Apple（苹果公司） ； University of Wisconsin—Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 RubiCap通过基于评分标准的强化学习方法，在密集图像描述任务中实现了更高的胜率和词效，优于监督蒸馏和传统RL方法。

When Robots Obey the Patch: Universal Transferable Patch Attacks on Vision-Language-Action Models

当机器人服从补丁：对视觉-语言-动作模型的通用可转移补丁攻击

Hui Lu, Yi Yu, Yiming Yang, Chenyu Yi, Qixin Zhang, Bingquan Shen, Alex C. Kot, Xudong Jiang

机构 * ROSE Lab, Interdisciplinary Graduate Programme, Nanyang Technological University（罗思实验室，跨学科研究生项目，南洋理工大学） ； ROSE Lab, School of Electrical and Electronic Engineering, Nanyang Technological University（罗思实验室，电子与电气工程学院，南洋理工大学） ； CCDS, Nanyang Technological University（CCDS，南洋理工大学） ； DSO National Laboratories（国防科学局实验室） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出UPA-RFAS框架，通过鲁棒特征、注意和语义方法，实现对视觉-语言-动作模型的通用可转移补丁攻击，揭示了基于补丁的攻击面并为未来防御提供基线。

Comments Accepted by CVPR 2026

CrystaL: Spontaneous Emergence of Visual Latents in MLLMs

CrystaL: MLLMs中视觉潜在特征的自发涌现

Yang Zhang, Danyang Li, Yuxuan Li, Xin Zhang, Tianyu Xie, Mingming Cheng, Xiang Li

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 CrystaL通过显式对齐注意力模式和预测分布，实现视觉潜在特征的自发涌现，提升细粒度视觉理解和推理能力。

CASA: Cross-Attention over Self-Attention for Efficient Vision-Language Fusion

CASA: 交叉注意力优于自注意力用于高效的视觉-语言融合

Moritz Böhle, Amélie Royer, Juliette Marrie, Edouard Grave, Patrick Pérez

机构 * Kyutai 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 CASA通过交叉注意力机制提升视觉-语言模型的效率，实现实时视频字幕处理中的低延迟和恒定内存成本。

Comments updated with improved CA results

HiPP-Prune: Hierarchical Preference-Conditioned Structured Pruning for Vision-Language Models

HiPP-Prune: 基于层次化偏好条件的结构化剪枝用于视觉-语言模型

Lincen Bai, Hedi Tabia, Raul Santos-Rodriguez

机构 * Université Paris-Saclay（巴黎萨克雷大学） ； University of Bristol（布里斯托大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 HiPP-Prune通过层次化偏好条件的结构化剪枝框架，在视觉-语言模型中实现高效部署，通过多目标优化提供可控的鲁棒性与效用权衡。

GazeMoE: Perception of Gaze Target with Mixture-of-Experts

GazeMoE：基于专家混合的注视目标感知

Zhuangzhuang Dai, Zhongxi Lu, Vincent G. Zakka, Luis J. Manso, Jose M Alcaraz Calero, Chen Li

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 GazeMoE通过MoE模块结合多模态线索，实现对注视目标的高精度识别，优于现有方法。

Comments 8 pages, 3 figures, ICRA 2026

MAP: Mitigating Hallucinations in Large Vision-Language Models with Map-Level Attention Processing

MAP: 通过地图级注意力处理缓解大视觉-语言模型中的幻觉

Chenxi Li, Yichen Guo, Benfang Qian, Jinhao You, Kai Tang, Yaosong Du, Zonghao Zhang, Xiande Huang

机构 * DAIL Tech（DAIL科技） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 MAP通过地图级注意力处理提升大视觉-语言模型的事实一致性与性能。

Vision-Zero: Scalable VLM Self-Improvement via Strategic Gamified Self-Play

Vision-Zero: 通过战略化游戏化自play实现可扩展的VLM自改进

Qinsi Wang, Bo Liu, Tianyi Zhou, Jing Shi, Yueqian Lin, Yiran Chen, Hai Helen Li, Kun Wan, Wentian Zhao

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 Vision-Zero通过战略化游戏化自play框架，实现无标注数据下的多模态模型自改进，提升推理与跨领域任务性能。

Comments ICLR 2026

CAPT: Confusion-Aware Prompt Tuning for Reducing Vision-Language Misalignment

CAPT：基于混淆的提示微调以减少视觉-语言不一致

Maoyuan Shao, Yutong Gao, Xinyang Huang, Chuang Zhu, Lijuan Sun, Guoshun Nan

机构 * School of Information Engineering, Minzu University of China（中国民族大学信息工程学院） ； School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院） ； National Library of China, Beijing, China（中国国家图书馆） ； School of Cyberspace Security, Beijing University of Posts and Telecommunications（北京邮电大学网络安全学院） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 CAPT通过引入混淆感知的提示微调框架，有效减少视觉-语言模型中的混淆误差，提升模型判别能力和泛化性能。

Comments Accepted by CVPR2026

Self-Aug: Query and Entropy Adaptive Decoding for Large Vision-Language Models

Self-Aug: 用于大视觉-语言模型的查询和熵自适应解码

Eun Woo Im, Muhammad Kashif Ali, Vivek Gupta

机构 * Arizona State University（亚利桑那州立大学） ； Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔兰根-纽伦堡弗里德里希-亚历山大大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出Self-Aug，一种无需训练的解码策略，通过自增强提示和自适应阈值算法提升大视觉-语言模型的事实一致性。

Comments 10 pages, accepted to ICLR 2026

ClinCoT: Clinical-Aware Visual Chain-of-Thought for Medical Vision Language Models

ClinCoT：面向医学视觉语言模型的临床感知视觉推理链

Xiwei Liu, Yulong Li, Xinlin Zhuang, Xuhui Li, Jianxu Chen, Haolin Yang, Imran Razzak, Yutong Xie

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； East China Normal University（东华大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 ClinCoT通过引入临床感知的视觉推理链框架，提升医学视觉语言模型在临床决策中的事实性支撑与多模态推理能力。

CaptionFool: Universal Image Captioning Model Attacks

CaptionFool: 针对最新Transformer图像描述模型的通用图像描述模型攻击

Swapnil Parekh

机构 * Intuit 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 CaptionFool通过修改少量图像块，成功生成任意目标描述，揭示了视觉-语言模型的安全漏洞。

ChainMPQ: Interleaved Text-Image Reasoning Chains for Mitigating Relation Hallucinations

ChainMPQ: 交错文本图像推理链用于缓解关系幻觉

Yike Wu, Yiwei Wang, Yujun Cai

机构 * University of Queensland（昆士兰大学） ； University of California, Merced（加州大学梅尔德分校） ； Ant Group（蚂蚁集团） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 ChainMPQ通过交错文本和图像推理链，利用积累的记忆减少大型视觉语言模型的关系幻觉，提升关系推理能力。

Comments Accepted by ICLR2026

Interpretable Debiasing of Vision-Language Models for Social Fairness

可解释的视觉-语言模型社会公平性偏见消除

Na Min An, Yoonna Jang, Yusuke Hirota, Ryo Hachiuma, Isabelle Augenstein, Hyunjung Shim

机构 * KAIST AI（韩国科学技术院人工智能研究所） ； University of Copenhagen（哥本哈根大学） ； NVIDIA（英伟达公司） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出DeBiasLens框架，通过稀疏自编码器局部化VLM中的社会属性神经元，以可解释的方式消除模型中的社会偏见，同时保持语义知识。

Comments 25 pages, 30 figures, 13 Tables Accepted to CVPR 2026

Dyslexify: A Mechanistic Defense Against Typographic Attacks in CLIP

Dyslexify: 一种针对CLIP中印刷攻击的机制性防御

Lorenz Hufe, Constantin Venhoff, Erblina Purelku, Maximilian Dreyer, Sebastian Lapuschkin, Wojciech Samek

机构 * Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所） ； University of Oxford（牛津大学） ； Technological University Dublin（都柏林技术大学） ； Technische Universität Berlin（柏林技术大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 Dyslexify通过消融CLIP中的印刷电路，有效防御印刷攻击，提升性能并保持应用安全性。

Unbiased Sliced Wasserstein Kernels for High-Quality Audio Captioning

无偏切片Wasserstein核用于高质量音频描述生成

Manh Luong, Khai Nguyen, Dinh Phung, Gholamreza Haffari, Lizhen Qu

机构 * Monash University（墨尔本大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.AI、eess.AS

AI总结 本文提出无偏切片Wasserstein核，通过保留模态间时间信息，提升音频描述质量及推理能力。

Journal ref Manh Luong. (2025). Unbiased Sliced Wasserstein Kernels for High-Quality Audio Captioning. In Advances in Neural Information Processing Systems 38 (NeurIPS 2025)

MedCLIPSeg: Probabilistic Vision-Language Adaptation for Data-Efficient and Generalizable Medical Image Segmentation

MedCLIPSeg: 基于概率视觉语言适应的数据高效且可泛化的医学图像分割

Taha Koleilat, Hojat Asgariandehkordi, Omid Nejati Manzari, Berardino Barile, Yiming Xiao, Hassan Rivaz

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 MedCLIPSeg通过概率视觉语言适应方法，提升医学图像分割的数据效率和泛化能力，提供可解释的不确定性图。

Comments CVPR 2026; Project Page: https://tahakoleilat.github.io/MedCLIPSeg

Mantis: A Versatile Vision-Language-Action Model with Disentangled Visual Foresight

Mantis：一种具有解耦视觉前瞻性能力的多功能视觉-语言-动作模型

Yi Yang, Xueqi Li, Yiyang Chen, Jin Song, Yihan Wang, Zipeng Xiao, Jiadi Su, You Qiaoben, Pengfei Liu, Zhijie Deng

机构 * SJTU（上海交通大学） ； SII（上海信息所） ； SUSTech（四川大学） ； NJUPT（南京工业大学） ； FDU（福建大学） ； BOSCH（博世） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 Mantis通过解耦视觉前瞻性模块提升视觉-语言-动作模型的性能，实现高成功率和快速收敛。

Designing Production-Scale OCR for India: Multilingual and Domain-Specific Systems

为印度设计生产级OCR：多语言和领域特定系统

Ali Faraz, Raja Kolla, Ashish Kulkarni, Shubham Agarwal

机构 * Krutrim AI 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出两种多语言OCR训练策略，通过Chitrapathak系列在印度多语言文档中实现SOTA性能，并展示了Parichay在政府文档中的高效提取能力。

Language-Guided Invariance Probing of Vision-Language Models

语言引导的视觉-语言模型不变性探测

Jae Joong Lee

机构 * Department of Computer Science, Purdue University（普渡大学计算机科学系） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出LGIP基准，用于评估视觉-语言模型对语言扰动的鲁棒性，发现EVA02-CLIP和OpenCLIP表现优异，而SigLIP存在显著缺陷。

Comments Pattern Recognition Letters 2026

Annotation-Efficient Vision-Language Model Adaptation to the Polish Language Using the LLaVA Framework

利用LLaVA框架实现波兰语视觉-语言模型的高效标注

Grzegorz Statkiewicz, Alicja Dobrzeniecka, Karolina Seweryn, Aleksandra Krasnodębska, Karolina Piosek, Katarzyna Bogusz, Sebastian Cygert, Wojciech Kusa

机构 * NASK National Research Institute（国家研究机构NASK） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出利用LLaVA框架高效适应波兰语的视觉-语言模型，通过自动化翻译和合成数据提升多模态模型性能。

Adapting Vision-Language Models for E-commerce Understanding at Scale

大规模电商理解中的视觉-语言模型适应

Matteo Nulli, Vladimir Orshulevich, Tala Bazazo, Christian Herold, Michael Kozielski, Marcin Mazur, Szymon Tuzel, Cees G. M. Snoek, Seyyed Hadi Hashemi, Omar Javed, Yannick Versley, Shahram Khadivi

机构 * eBay Inc.（eBay公司） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种方法，通过大规模实验研究，展示如何通过针对性适应通用视觉-语言模型以提升电子商务性能，同时保持多模态能力，并提出新的评估套件。

Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models

代理拼图交互学习：提升视觉感知与推理能力在视觉-语言模型中

Yu Zeng, Wenxuan Huang, Shiting Huang, Xikun Bao, Yukun Qi, Yiming Zhao, Qiuchen Wang, Lin Chen, Zehui Chen, Huaian Chen, Wanli Ouyang, Feng Zhao

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； East China Normal University（华东师范大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 AGILE通过代理拼图交互学习提升视觉-语言模型的感知与推理能力，显著提高拼图任务性能并增强多模态模型的泛化能力。

A Vision-Language Foundation Model for Zero-shot Clinical Collaboration and Automated Concept Discovery in Dermatology

一种用于零样本临床协作和皮肤病自动概念发现的视觉-语言基础模型

Siyuan Yan, Xieji Li, Dan Mo, Philipp Tschandl, Yiwen Jiang, Zhonghua Wang, Ming Hu, Lie Ju, Cristina Vico-Alonso, Yizhen Zheng, Jiahe Liu, Juexiao Zhou, Camilla Chello, Jen G. Cheung, Julien Anriot, Luc Thomas, Clare Primiero, Gin Tan, Aik Beng Ng, Simon See, Xiaoying Tang, Albert Ip, Xiaoyang Liao, Adrian Bowling, Martin Haskett, Shuang Zhao, Monika Janda, H. Peter Soyer, Victoria Mar, Harald Kittler, Zongyuan Ge

机构 * AIM for Health Lab（AIM for Health实验室） ； Faculty of Information Technology, Monash University（信息技术学院，墨尔本大学） ； Department of Dermatology, Medical University of Vienna（皮肤科，维也纳医学大学） ； Faculty of Engineering, Monash University（工程学院，墨尔本大学） ； Institute of Ophthalmology, University College London（眼科研究所，伦敦大学学院） ； Dermatology Department. Fundacion Hospital 12 de Octubre（皮肤科部门，12月12日基金会医院） ； School of Data Science, The Chinese University of Hong Kong, Shenzhen（数据科学学院，香港中文大学（深圳）） ； Frazer Institute, The University of Queensland（弗拉泽研究所，昆士兰大学） ； Dermatology Research Centre, Brisbane, Australia（皮肤科研究中心，澳大利亚布里斯班） ； Department of Medical and Cardiovascular Sciences, Sapienza University of Rome（医学与心血管科学系，罗马萨皮恩扎大学） ； Victorian Melanoma Service, Alfred Care Group, Bayside Health, Melbourne, Australia（维多利亚黑色素瘤服务，阿尔弗雷德护理集团，墨尔本布里斯班健康中心，澳大利亚） ； SkIIN Discovery Program, Monash University（SkIIN发现计划，墨尔本大学） ； Claude Bernard Lyon-1 University（克劳德·伯纳德里昂-1大学） ； Centre Léon Berard, Lyon, France（莱昂·贝拉德中心，法国里昂） ； Dermatology department, Hôpital Lyon Sud, Hospices Civils de Lyon, Lyons, France（皮肤科部门，里昂南医院，里昂民事医院，法国里昂） ； Cancer Research Center of Lyon, Lyons, France（里昂癌症研究中心，法国里昂） ； eResearch Centre, Monash University（eResearch研究中心，墨尔本大学） ； NVIDIA AI Techno（NVIDIA AI技术） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 DermFM-Zero是一种用于皮肤病零样本临床协作和自动概念发现的视觉-语言基础模型，通过掩码潜在建模和对比学习训练，实现了无需任务特定适应的高精度诊断和多模态检索能力。

Comments reports

SHIELD: Suppressing Hallucinations In LVLM Encoders via Bias and Vulnerability Defense

SHIELD：通过偏差和脆弱性防御抑制LVLM编码器中的幻觉

Yiyang Huang, Liang Shi, Yitian Zhang, Yi Xu, Yun Fu

机构 * Department of Electrical and Computer Engineering, Northeastern University（电气与计算机工程系，东北大学） ； Khoury College of Computer Science, Northeastern University（计算机科学学院，东北大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 SHIELD通过减少统计偏差、对抗固有偏差和解决脆弱性，有效抑制LVLM编码器中的对象幻觉。

Comments ICLR 2026

STELAR-VISION: Self-Topology-Aware Efficient Learning for Aligned Reasoning in Vision

STELAR-VISION：基于拓扑意识的高效学习以实现对齐推理

Chen Li, Han Zhang, Zhantao Yang, Fangyi Chen, Zihan Wang, Anudeepsekhar Bolimera, Marios Savvides

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 STELAR-VISION通过拓扑意识训练框架提升视觉-语言模型的推理准确性和效率，实现更高效的多模态任务处理。

Comments This paper has been accepted at AAAI 2026. This is the author's extended version. The final version will appear in the official proceedings

Know "No" Better: A Data-Driven Approach for Enhancing Negation Awareness in CLIP

了解“不”：一种数据驱动的方法用于增强CLIP中的否定意识

Junsung Park, Jungbeom Lee, Jongyoon Song, Sangwon Yu, Dahuin Jung, Sungroh Yoon

机构 * Department of Electrical and Computer Engineering, Seoul National University（首尔国立大学电子与计算机工程系） ； Amazon（亚马逊） ； Samsung Research（三星研究院） ； School of Computer Science and Engineering, Soongsil University（顺天大学计算机科学与工程学院） ； IPAI, AIIS, ASRI, INMC, and ISRC, Seoul National University（首尔国立大学IPAI、AIIS、ASRI、INMC和ISRC） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出NegationCLIP，通过生成包含否定的数据增强CLIP的否定意识，同时提出NegRefCOCOg基准用于评估多模态模型的否定理解能力。

Comments Accepted to ICCV 2025

Journal ref Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2025, pp. 2825-2835

CoTZero: Annotation-Free Human-Like Vision Reasoning via Hierarchical Synthetic CoT

CoTZero：通过分层合成CoT实现无标注的人类级视觉推理

Chengyi Du, Yazhe Niu, Dazhong Shen, Luxin Xu

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong MMLab（香港中文大学 MMLab） ； The College of Computer Science and Technology（计算机科学与技术学院） ； Nanjing University of Aeronautics and Astronautics（南京航空航天大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 CoTZero通过双阶段数据合成和认知对齐训练，实现无标注的人类级视觉推理，提升模型的层次推理和泛化能力。

Comments 16 pages 6 figures

Fine-tuning Pre-trained Vision-Language Models in a Human-Annotation-Free Manner

无需人工标注的预训练视觉-语言模型微调

Qian-Wei Wang, Guanghao Meng, Ren Cai, Yaguang Song, Shu-Tao Xia

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Institute of Perceptual Intelligence, Peng Cheng Laboratory（感知智能研究院，鹏城实验室） ； Peking University Shenzhen Graduate School, Peking University（北京大学深圳研究生院，北京大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 CoFT通过双模型跨模态协作机制和双提示学习策略，在无需人工标注的情况下提升预训练视觉-语言模型的下游任务适应能力。