多模态大模型

See Further, Think Deeper: Advancing VLM's Reasoning Ability with Low-level Visual Cues and Reflection

看得更远，想得更深：通过低级视觉线索和反思提升VLM的推理能力

Zhiheng Wu, Tong Wang, Shuning Wang, Naiming Liu, Yumeng Zhang

机构 * Baidu Inc.（百度公司） ； Zhejiang University（浙江大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出ForeSight框架，通过低级视觉线索和有效视觉反馈提升VLM推理能力，构建新数据集CG-SalBench，并验证其在参数规模相同和部分指标上优于现有SOTA模型。

Comments CVPR2026

Discovering Failure Modes in Vision-Language Models using RL

通过强化学习发现视觉-语言模型的失败模式

Kanishk Jain, Qian Yang, Shravan Nayak, Parisa Kordjamshidi, Nishanth Anand, Aishwarya Agrawal

机构 * Mila – Québec AI Institute（魁北克AI研究所） ； Université de Montréal（蒙特利尔大学） ； Michigan State University（密歇根州立大学） ； McGill University（麦吉尔大学） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出基于强化学习的框架，自动发现视觉-语言模型在特定数据分布上的失败模式，通过生成问题来识别模型在细粒度视觉细节和技能组合上的不足。

CGC: Compositional Grounded Contrast for Fine-Grained Multi-Image Understanding

CGC：基于组成性 grounded 对比的细粒度多图像理解

Lihao Zheng, Zhenwei Shao, Yu Zhou, Yan Yang, Xintian Shen, Jiawei Chen, Hao Ma, Tao Wei

机构 * School of Computer Science and Technology, Hangzhou Dianzi University（杭州电子科技大学计算机科学与技术学院） ； School of Computer Science（计算机科学学院） ； Technology, Hangzhou Dianzi University（技术，杭州电子科技大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CGC框架，通过跨图像对比和内图像对比提升多图像细粒度理解，结合规则空间奖励增强属性和对齐，实验显示在多个基准上取得最佳结果，并在多模态任务中表现优异。

From Global to Local: Rethinking CLIP Feature Aggregation for Person Re-Identification

从全局到局部：重新思考CLIP特征聚合用于人重识别

Aotian Zheng, Winston Sun, Bahaa Alattar, Vitaly Ablavsky, Jenq-Neng Hwang

机构 * Department of Electrical and Computer Engineering, University of Washington（华盛顿大学电气与计算机工程系） ； Applied Physics Laboratory, University of Washington（华盛顿大学应用物理实验室） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SAGA-ReID，通过在CLIP文本嵌入空间中对齐中间补丁标记与锚向量，改进CLIP基于的人重识别方法，提升在遮挡和跨摄像头变化下的鲁棒性，实验表明其在遮挡增加时表现更优，达到+10.6 Rank-1的提升。

Comments 14 pages, 7 figures

CLIP-SVD: Efficient and Interpretable Vision-Language Adaptation via Singular Values

CLIP-SVD：通过奇异值实现高效且可解释的视觉-语言适应

Taha Koleilat, Hassan Rivaz, Yiming Xiao

机构 * Department of Electrical & Computer Engineering, Concordia University（康科迪亚大学电气与计算机工程系） ； Department of Computer Science & Software Engineering, Concordia University（康科迪亚大学计算机科学与软件工程系） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.CL

AI总结 CLIP-SVD通过奇异值微调方法，以0.04%的参数量实现高效视觉-语言模型适应，提升适应性能并保留泛化能力，在11个自然和10个生物医学数据集上取得最佳分类结果。

Comments TMLR 2026

Evian: Towards Explainable Visual Instruction-tuning Data Auditing

Evian：迈向可解释的视觉指令微调数据审计

Zimu Jia, Mingjie Xu, Andrew Estornell, Jiaheng Wei

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； ByteDance Seed（字节跳动种子） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Evian框架，通过分解评估模型响应的三大认知组件，解决数据审计中逻辑一致性与事实准确性不足的问题，验证高质量小规模数据优于大规模低质量数据。

Comments Accepted at ACL 2026

Hierarchically Robust Zero-shot Vision-language Models

层次化鲁棒零样本视觉-语言模型

Junhao Dong, Yifei Zhang, Hao Zhu, Yew-Soon Ong, Piotr Koniusz

机构 * Nanyang Technological University（南洋理工大学） ； CFAR, IHPC, A*STAR（CFAR、IHPC、A*STAR） ； Northwest Polytechnical University（西北工业大学） ； Data61 CSIRO ； University of New South Wales（新南威尔士大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出基于层次嵌入的鲁棒微调框架，提升视觉-语言模型对对抗攻击的鲁棒性，通过多级对抗对齐和层次嵌入深度控制，增强模型泛化能力与语义多样性。

Comments This paper is accepted by CVPR'26

VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction

VLM-3R：融合指令对齐3D重建的视觉-语言模型

Zhiwen Fan, Jian Zhang, Renjie Li, Junge Zhang, Runjin Chen, Hezhen Hu, Kevin Wang, Huaizhi Qu, Shijie Zhou, Dilin Wang, Zhicheng Yan, Hongyu Xu, Justin Theiss, Tianlong Chen, Jiachen Li, Zhengzhong Tu, Zhangyang Wang, Rakesh Ranjan

机构 * UT Austin（德克萨斯大学奥斯汀分校） ； XMU（厦门大学） ； TAMU（德克萨斯大学阿灵顿分校） ； UCR（加州大学河滨分校） ； UNC（北卡罗来纳大学教堂山分校） ； Meta ； UCLA（加州大学洛杉矶分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出VLM-3R，通过融合3D重建指令微调，实现单目视频的3D空间辅助与具身推理，提升了视觉-空间推理和时间3D上下文理解的准确性和可扩展性。

Comments Project Page: https://vlm-3r.github.io/

ESsEN: Training Compact Discriminative Vision-Language Transformers in a Low-Resource Setting

ESsEN: 在低资源环境下训练紧凑的判别视觉-语言变换器

Clayton Fields, Casey Kennington

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出ESsEN模型，通过双塔编码器结构和传统卷积网络，实现低资源环境下高效视觉-语言模型训练，实验表明其参数量仅为其他模型的分数，性能优异。

From Heads to Neurons: Causal Attribution and Steering in Multi-Task Vision-Language Models

从头到神经元：多任务视觉-语言模型中的因果归因与操控

Qidong Wang, Junjie Hu, Ming Jiang

机构 * Tongji University（同济大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出HONES框架，通过任务相关的注意力头来评估神经元的因果贡献，改进多任务视觉-语言模型中神经元的归因与操控，提升模型性能。

Comments ACL 2026 Findings

SmoGVLM: A Small, Graph-enhanced Vision-Language Model

SmoGVLM：一种小型、图增强的视觉-语言模型

Debjyoti Mondal, Rituraj Singh, Subhadarshi Panda

机构 * Samsung R\&D Institute India-Bangalore 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出SmoGVLM，一种结合图神经网络的视觉-语言模型，通过结构化知识提升小规模多模态推理性能，实验表明小型模型性能提升达16.24%。

Comments ICASSP 2026

HQA-VLAttack: Towards High Quality Adversarial Attack on Vision-Language Pre-Trained Models

HQA-VLAttack：面向视觉-语言预训练模型的高质量对抗攻击

Han Liu, Jiaqi Li, Zhi Xu, Xiaotong Zhang, Xiaoming Xu, Fenglong Ma, Yuanman Li, Hong Yu

机构 * Dalian University of Technology（大连理工大学） ； The Pennsylvania State University（宾夕法尼亚州立大学） ； Shenzhen University（深圳大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出HQA-VLAttack框架，通过文本和图像攻击阶段生成高质量对抗示例，同时优化正负样本相似度，提升攻击成功率。

#PraCegoVer: A Large Dataset for Image Captioning in Portuguese

#PraCegoVer：一种用于葡萄牙语图像描述的大型数据集

Gabriel Oliveira dos Santos, Esther Luna Colombini, Sandra Avila

机构 * Institute of Computing, University of Campinas（计算机学院，坎皮纳斯大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出#PraCegoVer数据集，基于Instagram帖子生成葡萄牙语图像描述，是首个大规模葡萄牙语图像描述数据集，具有单张图像仅一个描述及较长句子长度的挑战性特征。

Comments 23 pages, 21 figures, 2 tables

SatBLIP: Context Understanding and Feature Identification from Satellite Imagery with Vision-Language Learning

SatBLIP：基于卫星影像的视觉-语言学习用于农村环境理解和特征识别

Xue Wu, Shengting Cao, Shenglin Li, Jiaqi Gong

机构 * The University of Alabama（阿拉巴马大学） ； Knox College（克诺克斯学院） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 SatBLIP通过结合对比图像-文本对齐与定制化卫星语义描述，提升农村风险环境的可解释性分析，预测县级社会脆弱性指数。

VIB-Probe: Detecting and Mitigating Hallucinations in Vision-Language Models via Variational Information Bottleneck

VIB-Probe：通过变分信息瓶颈检测和缓解视觉-语言模型中的幻觉

Feiran Zhang, Yixin Wu, Zhenghua Wang, Xiaohua Wang, Changze Lv, Xuanjing Huang, Xiaoqing Zheng

机构 * College of Computer Science and Artificial Intelligence, Fudan University, Shanghai, China（复旦大学计算机科学与人工智能学院，上海，中国） ； Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VIB-Probe框架，通过变分信息瓶颈理论检测和缓解视觉-语言模型中的幻觉，利用注意力头提取判别模式并过滤语义噪声，实验表明其在多个基准上表现优异。

One RL to See Them All: Visual Triple Unified Reinforcement Learning

一个RL看尽一切：视觉三合一强化学习

Yan Ma, Linge Du, Xuyang Shen, Shaoxiang Chen, Pengfei Li, Qibing Ren, Lizhuang Ma, Yuchao Dai, Pengfei Liu, Junjie Yan

机构 * Qwen Team（通义实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出V-Triune方法，通过三个协调抽象提升多模态RL性能，开发Orsta模型在多个任务中表现优异，展示统一RL在视觉语言模型中的优势。

Comments Technical Report

Grid2Matrix: Revealing Digital Agnosia in Vision-Language Models

Grid2Matrix: 揭示视觉语言模型中的数字失读

Yunkai Zhang, Linda Li, Yingxin Cui, Xiyuan Ruan, Zeyu Zheng, Kezhen Chen, Yi Zhang, Diji Yang

机构 * BAIR, UC Berkeley（伯克利大学BAIR实验室） ； UC Santa Cruz（圣克拉拉大学） ； Analogy AI 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 Grid2Matrix通过控制视觉复杂度测试视觉语言模型在捕捉细节方面的不足，发现模型在小网格上表现不佳，揭示了视觉编码与语言表达间的差距，即'数字失读'。

Arbitration Failure, Not Perceptual Blindness: How Vision-Language Models Resolve Visual-Linguistic Conflicts

仲裁失败，而非感知失明：视觉-语言模型如何解决视觉-语言冲突

Farhad Nooralahzadeh, Omid Rohanian, Yi Zhang, Jonathan Fürst, Kurt Stockinger

机构 * Institute of Computer Science, Zurich University of Applied Sciences（苏黎世应用科技大学计算机科学研究所） ； University of Oxford（牛津大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 研究探讨视觉-语言模型在视觉与语言冲突中的仲裁机制，发现编码与基础的脱节，通过多模态仲裁交叉分析揭示视觉属性在早期层可线性解码，最终层logit与基础结果相关性达0.847，表明需针对性干预提升视觉基础能力。

Towards Efficient Large Vision-Language Models: A Comprehensive Survey on Inference Strategies

迈向高效的大型视觉-语言模型：关于推理策略的综合调查

Surendra Pathak, Bo Han

机构 * George Mason University（乔治梅森大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文综述了提升大型视觉语言模型推理效率的最新方法，从视觉token压缩、内存管理、架构设计和解码策略四个维度进行分类，并指出当前方法的局限性及未来研究方向。

Comments 12 pages

Better Eyes, Better Thoughts: Why Vision Chain-of-Thought Fails in Medicine

更好的眼睛，更好的思考：为何视觉链式推理在医学中失效

Yuan Wu, Zongxian Yang, Jiayu Qian, Songpan Gao, Guanxing Chen, Qiankun Li, Yu-An Huang, Zhi-An Huang

机构 * Department of Computer Science, City University of Hong Kong (Dongguan)（香港城市大学（东莞）计算机科学系） ； College of Computing and Data Science (CCDS), Nanyang Technological University（南洋理工大学计算与数据科学学院） ； School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机科学学院） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文发现链式推理在医学视觉问答中表现欠佳，提出通过感知锚定和描述 grounding 提升视觉 grounding 和跨模态对齐以改善性能。

Enhancing the Safety of Medical Vision-Language Models by Synthetic Demonstrations

通过合成演示增强医疗视觉-语言模型的安全性

Zhiyu Xue, Reza Abbasi-Asl, Ramtin Pedarsani

机构 * UC Santa Barbara（加州大学圣塔芭芭拉分校） ； UC San Francisco（加州大学旧金山分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种新的推理时防御策略，通过合成临床演示提升模型安全性，同时平衡安全与性能。

Growing a Multi-head Twig via Distillation and Reinforcement Learning to Accelerate Large Vision-Language Models

通过蒸馏和强化学习生长多头Twig以加速大视觉-语言模型

Zhenwei Shao, Mingyang Wang, Weijun Zhang, Zhou Yu, Wenwen Pan, Yan Yang, Tao Wei, Hongyuan Zhang, Jun Yu

机构 * Zhejiang Key Laboratory of Space Information Sensing and Transmission, School of Computer Science, Hangzhou Dianzi University（浙江省空间信息感知与传输重点实验室，计算机学院，杭州电子科技大学） ； Li Auto Inc.（理想汽车） ； School of Intelligence Science and Engineering, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）智能科学与工程学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出TwigVLM，通过在基础VLM早期层上生长轻量模块Twig，结合 Twig 引导的 token 剪枝和自推测解码策略，实现更高的准确性和速度。实验表明， TwigVLM 在剪枝88.9%的视觉token后仍保持96%的原始性能，并在生成长响应时达到154%的速度提升。

Comments An extended version of our ICCV paper at ICCV2025/html/Shao_Growing_a_Twig_to_Accelerate_Large_Vision-Language_Models_ICCV_2025_paper.html" target="_blank" rel="noopener">https://openaccess.thecvf.com/content/ICCV2025/html/Shao_Growing_a_Twig_to_Accelerate_Large_Vision-Language_Models_ICCV_2025_paper.html

Phantasia: Context-Adaptive Backdoors in Vision Language Models

幻象：面向视觉语言模型的上下文自适应后门

Nam Duong Tran, Phi Le Nguyen

机构 * Institute for AI Innovation and Societal Impact, Hanoi University of Science and Technology（河内科技大学人工智能创新与社会影响研究所） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Phantasia，一种能根据输入语义动态调整恶意输出的后门攻击方法，提升了攻击隐蔽性和适应性，实验显示其在多种防御设置下均保持良好性能。

Comments CVPR 2026 Findings

SeMoBridge: Semantic Modality Bridge for Efficient Few-Shot Adaptation of CLIP

SeMoBridge：用于CLIP高效少样本适应的语义模态桥

Christoph Timmermann, Hyunse Lee, Woojin Lee

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 SeMoBridge通过语义模态桥技术解决CLIP在少样本分类中的模态对齐问题，通过轻量级方法提升低数据场景下的性能，训练时间显著减少。

Comments 22 pages, 12 figures

Mitigating Entangled Steering in Large Vision-Language Models for Hallucination Reduction

缓解大型视觉-语言模型中的纠缠引导以减少幻觉

Yuanhong Zhang, Zhaoyang Wang, Xin Zhang, Weizhan Zhang, Joey Tianyi Zhou

机构 * Ministry of Education Key Laboratory of Intelligent Networks and Network Security（教育部智能网络与网络安全重点实验室） ； Centre for Frontier AI Research, Institute of High Performance Computing, Agency for Science, Technology and Research（前沿人工智能研究中心，高性能计算研究所，科技研究局） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MESA框架，通过可控的潜在空间干预减少视觉-语言模型中的幻觉，同时保持生成行为，实验表明其在多个模型家族中表现优于现有方法。

Beyond Pedestrians: Caption-Guided CLIP Framework for High-Difficulty Video-based Person Re-Identification

超越行人：基于描述的CLIP框架用于高难度视频基的人重识别

Shogo Hamano, Shunya Wakasugi, Tatsuhito Sato, Sayaka Nakamura

机构 * Sony Group Corporation（索尼集团公司） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CG-CLIP框架，通过文本描述和可学习令牌提升视频中高难度行人重识别性能，实验表明其在多个数据集上优于现有方法。

Which Way Does Time Flow? A Psychophysics-Grounded Evaluation for Vision-Language Models

时间如何流逝？基于心理物理学的评估用于视觉-语言模型

Shiho Matta, Lis Kanashiro Pereira, Peitao Han, Fei Cheng, Shigeru Kitazawa

机构 * Kyoto University（京都大学） ； Center for Information and Neural Networks（信息与神经网络中心） ； National Institute of Information and Communications Technology（国立信息通信技术研究所） ； The University of Osaka（大阪大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文通过心理物理学验证的基准测试评估了视觉-语言模型对时间方向的理解能力，发现大多数模型表现接近随机，且在物理不可逆过程和因果手动动作上远低于人类水平。

Comments 12 pages

Asking like Socrates: Socrates helps VLMs understand remote sensing images

像苏格拉底提问：苏格拉底帮助VLMs理解遥感图像

Run Shao, Ziyu Li, Zhaoyang Zhang, Linrui Xu, Xinran He, Hongyuan Yuan, Bolei He, Yongxing Dai, Yiming Yan, Yijun Chen, Wang Guo, Haifeng Li

机构 * School of Geosciences and Info-Physics, Central South University（中南大学地球科学与信息物理学院） ； Baidu Inc.（百度公司） ； School of Earth Sciences, Zhejiang University（浙江大学地球科学学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出RS-EoT方法，通过迭代视觉证据寻求机制和两阶段强化学习策略，解决遥感图像中伪推理问题，提升视觉证据基础的推理能力。

Comments Accepted by CVPR 2026

GENFIG1: Visual Summaries of Scholarly Work as a Challenge for Vision-Language Models

GENFIG1：学术工作的视觉摘要对视觉-语言模型的挑战

Yaohan Guan, Pristina Wang, Najim Dehak, Alan Yuille, Jieneng Chen, Daniel Khashabi

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 GENFIG1基准测试要求视觉-语言模型生成能清晰表达论文核心思想的图表，强调科学理解与视觉合成的结合，揭示生成高质量学术图表的难度。

Learning Robust Visual Features in Computed Tomography Enables Efficient Transfer Learning for Clinical Tasks

在计算机断层扫描中学习鲁棒的视觉特征以实现临床任务的高效迁移学习

Rubén Moreno-Aguado, Alba Magallón, Victor Moreno, Yingying Fang, Guang Yang

机构 * Bioengineering Department and Imperial-X, Imperial College London（帝国理工学院生物工程系与Imperial-X） ； Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系） ； Oncology Data Analytics Program, Catalan Institute of Oncology（加泰罗尼亚肿瘤研究所肿瘤数据分析项目） ； Colorectal Cancer Group, ONCOBELL Program, Institut d’Investigació Biomèdica de Bellvitge（贝尔维特奇生物医学研究所ONCOBELL项目结直肠癌研究组） ； Consortium for Biomedical Research in Epidemiology and Public Health（流行病学与公共卫生生物医学研究联盟） ； Department of Clinical Sciences, Faculty of Medicine and Health Sciences, Universitat de Barcelona（巴塞罗那大学医学与健康科学学院临床科学系） ； Institute of Complex Systems, University of Barcelona（巴塞罗那大学复杂系统研究所） ； National Heart and Lung Institute, Imperial College London（帝国理工学院国家心肺研究所） ； Cardiovascular Research Centre, Royal Brompton Hospital（皇家布朗普顿医院心血管研究中心） ； School of Biomedical Engineering & Imaging Sciences, King’s College London（伦敦国王学院生物医学工程与影像科学学院） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VoxelFM，一种基于自蒸馏的3D CT基础模型，通过学习语义丰富的特征，实现了在多种临床任务中无需微调即可高效迁移。