视觉大模型 / VLM

AdaptInfer: Adaptive Token Pruning for Vision-Language Model Inference with Dynamical Text Guidance

AdaptInfer: 用于视觉-语言模型推理的自适应令牌剪枝与动态文本引导

Weichen Zhang, Zhui Zhu, Ningbo Li, Shilong Tao, Kebin Liu, Yunhao Liu

机构 * Global Innovation Exchange, Tsinghua University（清华大学全球创新交流中心） ； Department of Automation, Tsinghua University（清华大学自动化系） ； School of Computer Science, Peking University（北京大学计算机科学系） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 AdaptInfer通过动态文本引导和自适应令牌剪枝，有效降低视觉-语言模型推理成本，提升推理效率与准确性。

Towards Long-window Anchoring in Vision-Language Model Distillation

迈向视觉-语言模型蒸馏中的长窗口锚定

Haoyi Zhou, Shuo Li, Tianyu Chen, Qi Song, Chonghan Gao, Jianxin Li

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出LAid方法，通过改进注意力机制和RoPE响应调节，提升视觉-语言模型的长上下文理解能力，使蒸馏模型的有效上下文窗口长度增加3.2倍。

Comments Accepted by AAAI 2026

How to make Medical AI Systems safer? Simulating Vulnerabilities, and Threats in Multimodal Medical RAG System

如何使医疗AI系统更安全？在多模态医疗RAG系统中模拟漏洞和威胁

Kaiwen Zuo, Zelin Liu, Raman Dutt, Ziyang Wang, Zhongtian Sun, Fan Mo, Pietro Liò

专题命中 VLM训练与架构 ：vision-language model(abstract)；LLaVA(abstract)；grounding(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出MedThreatRAG框架，通过模拟攻击环境揭示医疗RAG系统漏洞，展示跨模态冲突注入对系统性能的严重影响。

Comments Sumbitted to 2026 ICASSP

LinMU: Multimodal Understanding Made Linear

LinMU: 使多模态理解线性化

Hongjie Wang, Niraj K. Jha

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 LinMU通过线性复杂度设计实现多模态理解，无需二次注意力模块，提升视频处理效率。

Comments 23 pages, 7 figures

Autoregressive Semantic Visual Reconstruction Helps VLMs Understand Better

自回归语义视觉重建有助于VLMs更好地理解

Dianyi Wang, Wei Song, Yikun Wang, Siyuan Wang, Kaicheng Yu, Zhongyu Wei, Jiaqi Wang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； AutoLab, Westlake University（西湖大学AutoLab） ； Zhejiang University（浙江大学） ； Shanghai AI Lab（上海人工智能实验室） ； University of Southern California（美国南加州大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

AI总结 自回归语义视觉重建通过提升多模态理解能力，改进了VLMs对视觉信息的把握

ITSELF: Attention Guided Fine-Grained Alignment for Vision-Language Retrieval

ITSELF: 基于注意力引导的细粒度对齐用于视觉-语言检索

Tien-Huy Nguyen, Huu-Loc Tran, Thanh Duc Ngo

机构 * University of Information Technology（信息技术大学） ； Vietnam National University（越南国家大学） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.CV、cs.AI

AI总结 ITSELF通过基于注意力引导的细粒度对齐框架，在视觉-语言检索任务中实现最先进的性能和跨数据集泛化能力。

Comments Accepted at WACV Main Track 2026

WildIng: A Wildlife Image Invariant Representation Model for Geographical Domain Shift

WildIng: 一种用于地理域转移的野生动物图像不变表示模型

Julian D. Santamaria, Claudia Isaza, Jhony H. Giraldo

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 WildIng通过整合文本描述与图像特征，提升野生动物在不同地理区域的识别准确率，有效解决地理域转移问题。

HOLOGRAPH: Active Causal Discovery via Sheaf-Theoretic Alignment of Large Language Model Priors

HOLOGRAPH：通过sheaf理论对大型语言模型先验进行对齐以实现主动因果发现

Hyunjun Kim

机构 * Korea Advanced Institute of Science ； \'Ecole Polytechnique F\'ed\'erale de Lausanne (EPFL), Lausanne, Switzerland 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 HOLOGRAPH通过sheaf理论对齐大型语言模型先验，实现主动因果发现，提供严谨的数学基础并实现竞争性性能。

PICABench: How Far Are We from Physically Realistic Image Editing?

PICABench: 我们距离物理真实图像编辑还有多远？

Yuandong Pu, Le Zhuo, Songhao Han, Jinbo Xing, Kaiwen Zhu, Shuo Cao, Bin Fu, Si Liu, Hongsheng Li, Yu Qiao, Wenlong Zhang, Xi Chen, Yihao Liu

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV、cs.AI

AI总结 PICABench通过系统评估物理真实感，探索图像编辑中物理效应的挑战与解决方案。

TalkPhoto: A Versatile Training-Free Conversational Assistant for Intelligent Image Editing

TalkPhoto: 一种多功能的无需训练的对话式智能图像编辑助手

Yujie Hu, Zecheng Tang, Xu Jiang, Weiqi Li, Jian Zhang

机构 * School of Electronic and Computer Engineering, Peking University（电子与计算机工程学院，北京大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 TalkPhoto通过对话交互实现无需训练的多功能图像编辑，利用提示模板分层调用现有高级编辑方法，提升编辑精度与质量。

Comments a Conversational Assistant for Intelligent Image Editing

Entity-Guided Multi-Task Learning for Infrared and Visible Image Fusion

实体引导的多任务学习用于红外和可见图像融合

Wenyu Shao, Hongbo Liu, Yunchuan Ma, Ruili Wang

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 EGMT通过实体引导的多任务学习方法，提升红外和可见图像融合的语义一致性与质量。

Comments Accepted by IEEE Transactions on Multimedia

Cosmos: Compressed and Smooth Latent Space for Text Diffusion Modeling

Cosmos: 用于文本扩散建模的压缩和平滑潜在空间

Viacheslav Meshchaninov, Egor Chimbulatov, Alexander Shabalin, Aleksandr Abramov, Dmitry Vetrov

机构 * HSE University（俄罗斯高等经济大学） ； Constructor University（建设大学） ； SaluteDevices 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 Cosmos通过压缩和平滑的潜在空间提升文本生成效率，实现比传统方法更快的推理速度和相当的生成质量。