视觉大模型 / VLM

Hidden Ads: Behavior Triggered Semantic Backdoors for Advertisement Injection in Vision Language Models

隐性广告：用于视觉语言模型中广告注入的行为触发语义后门

Duanyi Yao, Changyue Li, Zhicong Huang, Cheng Hong, Songze Li

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.LG

AI总结 本文提出隐性广告攻击，通过用户行为触发在视觉语言模型中注入未经授权的广告，利用自然用户行为实现高效且隐蔽的广告注入，同时评估了不同防御方法的失效性。

Structural Graph Probing of Vision-Language Models

视觉-语言模型的结构图谱探查

Haoyu He, Yue Zhuo, Yu Zheng, Qi R. Wang

机构 * Northeastern University（东北大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 研究通过神经拓扑分析视觉-语言模型的层间相关图谱，揭示群体结构对行为的意义、跨模态变化及因果影响，提出神经拓扑作为解释性中间尺度。

Comments IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026

VisionTrim: Unified Vision Token Compression for Training-Free MLLM Acceleration

VisionTrim: 一种用于无训练多模态大语言模型加速的统一视觉标记压缩方法

Hanxun Yu, Wentong Li, Xuan Qu, Song Wang, Junbo Chen, Jianke Zhu

机构 * State Key Lab of CAD & CG, Zhejiang University（浙江大学CAD&CG国家重点实验室） ； NUAA（南京航空航天大学） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 VLM训练与架构 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出VisionTrim，通过整合DVTS和TGVC模块，有效减少视觉标记，提升多模态大语言模型在高分辨率和视频场景中的计算效率。

Comments ICLR2026, Code Link: https://github.com/hanxunyu/VisionTrim

The Limits of Learning from Pictures and Text: Vision-Language Models and Embodied Scene Understanding

图像与文本学习的极限：视觉语言模型与具身场景理解

Gillian Rosenberg, Skylar Stadhard, Bruce C. Hansen, Michelle R. Greene

机构 * Barnard College, Columbia University（哥伦比亚大学巴纳德学院） ； Colgate University（科尔盖特大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 研究探讨图像与文本学习在人类场景理解中的局限性，通过对比18个视觉语言模型与2000名人类观察者在15项任务中的表现，发现模型在具身认知任务中存在显著缺陷，表明分布学习不足以实现基于 affordance 的场景理解。

Comments 7 figures, 5 tables

ORION: ORthonormal Text Encoding for Universal VLM AdaptatION

ORION：用于通用视觉语言模型适应的正交文本编码

Omprakash Chakraborty, Jose Dolz, Ismail Ben Ayed

机构 * ÉTS Montréal, Canada（蒙特利尔高等技术学院（加拿大）） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision language model(abstract)；分类 cs.CV

AI总结 ORION通过低秩适应优化正交损失，提升预训练VLM的文本嵌入质量，实验表明其在多个基准上显著提升性能。

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026

Vision-Language Models vs Human: Perceptual Image Quality Assessment

视觉-语言模型与人类：感知图像质量评估

Imran Mehmood, Imad Ali Shah, Ming Ronnier Luo, Brian Deegan

机构 * School of Engineering, University of Galway（Galway大学工程学院） ； State Key Laboratory of Extreme Photonics and Instrumentation, Zhejiang University（浙江大学极端光信息获取国家重点实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；vision language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文研究视觉语言模型是否能近似人类对图像质量的感知判断，通过对比心理物理数据，发现模型在颜色丰富度上表现优异，但在对比度上表现较差，且模型一致性与人类对齐性存在矛盾。

A Vision Language Model for Generating Procedural Plant Architecture Representations from Simulated Images

一种用于从模拟图像生成程序化植物建筑表示的视觉语言模型

Heesup Yun, Isaac Kazuo Uyehara, Ioannis Droutsas, Earl Ranario, Christine H. Diepenbrock, Brian N. Bailey, J. Mason Earles

机构 * Biological and Agricultural Engineering（生物与农业工程系） ； Department of Plant Sciences（植物科学系） ； Viticulture and Enology（葡萄栽培与酿酒系） ； Wageningen University & Research（瓦赫宁根大学与研究学院） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出一种视觉语言模型，通过合成图像生成3D植物建筑模型，提取器官级参数，验证了从图像数据中提取植物建筑参数的可能性。

ResPrune: Text-Conditioned Subspace Reconstruction for Visual Token Pruning in Large Vision-Language Models

ResPrune：基于文本的子空间重建用于大视觉-语言模型中的视觉令牌修剪

Xu Li, Yi Zheng, Yuxuan Liang, Zhe Liu, Xiaolei Chen, Haotian Chen, Rui Zhu, Xiangyang Xue

机构 * College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract)；分类 cs.LG

AI总结 ResPrune通过子空间重建方法实现视觉令牌修剪，结合文本相关性选择信息量大的令牌，提升大视觉-语言模型推理效率，减少计算和内存开销。

MultiMedEval: A Benchmark and a Toolkit for Evaluating Medical Vision-Language Models

MultiMedEval：用于评估医学视觉-语言模型的基准和工具包

Corentin Royer, Bjoern Menze, Anjany Sekuboyina

机构 * University of Zürich（苏黎世大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 MultiMedEval通过23个数据集和11个医学领域，评估六种多模态任务，提供开源工具简化VLM评估，促进公平统一的基准测试。

Comments Accepted at MIDL 2024

Bodhi VLM: Privacy-Alignment Modeling for Hierarchical Visual Representations in Vision Backbones and VLM Encoders via Bottom-Up and Top-Down Feature Search

Bodhi VLM：通过自上而下和自下而上的特征搜索实现视觉主干和VLM编码器中层次视觉表示的隐私对齐建模

Bo Ma, Wei Qi Yan, Jinsong Wu

机构 * Auckland University of Technology（奥克兰技术大学） ； Resideo Technologies, Inc.（Resideo技术公司） ； Guilin University of Electronic Technology（桂林电子科技大学） ； Universidad de Chile（智利大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；LLaVA(abstract)；分类 cs.CV

AI总结 本文提出Bodhi VLM框架，通过NCP和MDAV聚类将敏感概念与分层神经表示的层间分组关联，并利用自上而下和自下而上的策略定位敏感特征区域，结合EMPA模块生成可解释的隐私预算对齐信号，验证了在目标检测和VLM视觉编码器中的有效性。

HeBA: Heterogeneous Bottleneck Adapters for Robust Vision-Language Models

HeBA：异构瓶颈适配器用于鲁棒的视觉-语言模型

Md Jahidul Islam

机构 * Department of Electrical and Electronic Engineering（电气电子工程系） ； Bangladesh University of Engineering and Technology（孟加拉工程与技术大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 HeBA通过引入模态特定的结构归纳偏置，改进了视觉-语言模型在下游任务中的适应性，提升了稳定性和准确性，达到11个少样本基准的新状态。

Vision-Language Models for Infrared Industrial Sensing in Additive Manufacturing Scene Description

面向增材制造场景的红外工业感知的视觉-语言模型

Nazanin Mahjourian, Vinh Nguyen

机构 * Department of Mechanical and Aerospace Engineering, Michigan Technological University（机械与航空航天工程系，密歇根技术大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出VLM-IRIS框架，通过预处理红外图像为RGB兼容输入，利用CLIP编码器实现无监督的零样本工作件存在检测，展示了在热成像中的高精度应用。

DAIT: Distillation from Vision-Language Models to Lightweight Classifiers with Adaptive Intermediate Teacher Transfer

DAIT: 从视觉-语言模型到轻量分类器的适应性中间教师知识蒸馏

Zhengxu He, Jun Li, Zhijian Wu

机构 * School of Computer and Electronic Information, Nanjing Normal University, Nanjing, China（南京师范大学计算机与电子信息学院） ； Medical Artificial Intelligence Lab, Westlake University（西湖大学医学人工智能实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出DAIT方法，通过引入可训练的中间教师模型，从冻结的视觉-语言模型中适应性地蒸馏出任务对齐的知识，提升细粒度视觉分类性能。

Penguin-VL: Exploring the Efficiency Limits of VLM with LLM-based Vision Encoders

Penguin-VL：探索基于大语言模型的视觉编码器的效率极限

Boqiang Zhang, Lei Ke, Ruihan Yang, Qi Gao, Tianyuan Qu, Rossell Chen, Dong Yu, Leoweiliang

机构 * Tencent AI Lab（腾讯AI实验室） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision language model(abstract)；分类 cs.CV

AI总结 本文提出Penguin-VL，通过基于大语言模型的视觉编码器替代传统对比预训练，实现更高效的多模态理解，在文档理解、视觉知识和多视角视频理解等任务中超越现有领先VLM。

Comments Penguin-VL demonstrates that text-only initialized vision encoders can achieve superior performance in multimodal understanding tasks; Code: https://github.com/tencent-ailab/Penguin-VL

DriveMind: A Dual Visual Language Model-based Reinforcement Learning Framework for Autonomous Driving

DriveMind: 一种基于双视觉语言模型的强化学习框架，用于自动驾驶

Dawood Wasif, Terrence J. Moore, Chandan K. Reddy, Frederica Free-Nelson, Seunghyun Yoon, Hyuk Lim, Dan Dongseong Kim, Jin-Hee Cho

专题命中 VLM训练与架构 ：visual language model(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.AI

AI总结 DriveMind结合对比视觉语言模型和动态提示生成，实现自动驾驶的语义奖励框架，提升适应性和安全性，实测性能优于基线4%以上。

Comments Submitted to IEEE Transactions on Intelligent Vehicles (T-IV)

Visual Alignment of Medical Vision-Language Models for Grounded Radiology Report Generation

医学视觉-语言模型的视觉对齐以实现基于基础的放射学报告生成

Sarosij Bose, Ravi K. Rajendran, Biplob Debnath, Konstantinos Karydis, Amit K. Roy-Chowdhury, Srimat Chakradhar

机构 * NEC Laboratories America（NEC美洲实验室） ； University of California, Riverside（加州大学河滨分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；visual reasoning(abstract)；分类 cs.CV

AI总结 本文提出VALOR方法，通过临床指导文本推理和自监督视觉推理解决医学报告生成中的视觉幻觉问题，提升生成质量与临床准确性。

ID-Crafter: VLM-Grounded Online RL for Compositional Multi-Subject Video Generation

ID-Crafter：基于视觉语言模型的在线强化学习多主体视频生成框架

Panwang Pan, Jingjing Zhao, Yuchen Lin, Chenguo Lin, Chenxin Li, Hengyu Liu, Tingting Shen, Yadong MU

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出ID-Crafter框架，通过层次化注意力机制、预训练视觉语言模型和在线强化学习，提升多主体视频生成中身份保持与语义一致性。

Comments Project page: https://angericky.github.io/ID-Crafter, Code: https://github.com/paulpanwang/IDCrafter

Journal ref CVPR 2026

Senna-2: Aligning VLM and End-to-End Driving Policy for Consistent Decision Making and Planning

Senna-2：对齐视觉语言模型与端到端驾驶策略以实现一致的决策与规划

Yuehao Song, Shaoyu Chen, Hao Gao, Yifan Zhu, Weixiang Yue, Jialv Zou, Bo Jiang, Zihao Lu, Yu Wang, Qian Zhang, Xinggang Wang

机构 * Huazhong University of Science & Technology（华中科技大学） ； Horizon Robotics 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 Senna-2通过三阶段训练范式对齐视觉语言模型与端到端驾驶策略，提升决策与规划的一致性，增强驾驶安全性和效率。

Comments 15 pages, 8 figures. Project page: https://ambitious-idiot.github.io/senna2-project

Generalizing Vision-Language Models with Dedicated Prompt Guidance

通过专用提示引导泛化视觉语言模型

Xinyao Li, Yinjie Min, Hongbo Chen, Zhekai Du, Fengling Li, Jingjing Li

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出GuiDG框架，通过提示微调和跨模态注意力模块提升视觉语言模型的领域泛化能力，并在ImageNet-DG上验证了其有效性。

Comments Accepted to AAAI26

R4-CGQA: Retrieval-based Vision Language Models for Computer Graphics Image Quality Assessment

R4-CGQA: 基于检索的视觉语言模型用于计算机图形图像质量评估

Zhuangzi Li, Jian Jin, Shilv Cai, Weisi Lin

专题命中 VLM训练与架构 ：vision language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 R4-CGQA通过构建包含3500张CG图像及其质量描述的数据集，提出双流检索框架提升视觉语言模型对计算机图形图像质量的评估能力。

UrbanAlign: Post-hoc Semantic Calibration for VLM-Human Preference Alignment

UrbanAlign: 域内任务中VLM与人类偏好对齐的后处理语义校准

Yecheng Zhang, Rong Zhao, Zhizhou Sha, Yong Li, Lei Wang, Ce Hou, Wen Ji, Hao Huang, Yunshan Wan, Jian Yu, Junhao Xia, Yuru Zhang, Chunlei Shi

机构 * Tsinghua University（清华大学） ； University College London（伦敦大学学院） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； Peking University（北京大学） ； Southwest Jiaotong University（西南交通大学） ； Zhejiang University（浙江大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Renmin University of China（中国人民大学） ； Southeast University（东南大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 UrbanAlign通过后处理方法实现VLM与人类偏好的对齐，无需修改模型权重，提升领域任务的准确性和可解释性。

Comments 26 pages

Enhanced Continual Learning of Vision-Language Models with Model Fusion

增强视觉-语言模型的持续学习与模型融合

Haoyuan Gao, Zicong Zhang, Yuqi Wei, Linglan Zhao, Guilin Li, Yexin Li, Bo Wang, Linghe Kong, Weiran Huang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； State Key Laboratory of General Artificial Intelligence, BIGAI（国家一般人工智能重点实验室，BIGAI） ； Tencent（腾讯） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出ConDU方法，通过模型融合解决VLMs在持续学习中的灾难性遗忘问题，提升零样本性能和多任务表现。

Comments Published as a conference paper at ICLR 2026

Granulon: Awakening Pixel-Level Visual Encoders with Adaptive Multi-Granularity Semantics for MLLM

Granulon: 通过自适应多粒度语义唤醒像素级视觉编码器以实现MLLM

Junyuan Mao, Qiankun Li, Linghao Meng, Zhicheng He, Xinliang Zhou, Kun Wang, Yang Liu, Yueming Jin

机构 * National University of Singapore（国立新加坡大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 VLM训练与架构 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 Granulon通过自适应多粒度语义增强，提升多模态大语言模型的像素级视觉理解和多粒度推理能力。

MetaWorld-X: Hierarchical World Modeling via VLM-Orchestrated Experts for Humanoid Loco-Manipulation

MetaWorld-X: 通过VLM协调的专家实现人形机器人的分层世界建模

Yutong Shen, Hangxu Liu, Penghui Liu, Jiashuo Luo, Yongkang Zhang, Rex Morvley, Chen Jiang, Jianwei Zhang, Lei Zhang

机构 * University of Hamburg（汉堡大学） ； School of Information Science and Technology, Beijing University of Technology（信息科学与技术学院，北京理工大学） ； School of Information Science and Engineering, Fudan University（信息科学与工程学院，复旦大学） ； University of Alberta（阿尔伯塔大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.AI

AI总结 MetaWorld-X通过VLM协调的专家实现人形机器人分层世界建模，解决loco-manipulation任务中的控制策略泛化问题。

Comments 8 figures, https://syt2004.github.io/metaworldX/

DeAR: Fine-Grained VLM Adaptation by Decomposing Attention Head Roles

DeAR: 通过分解注意力头角色实现细粒度VLM适应

Yiming Ma, Hongkun Yang, Lionel Z. Wang, Bin Chen, Weizhi Xian, Jianzhi Teng

机构 * Chongqing Research Institute of Harbin Institute of Technology（哈尔滨工业大学重庆研究所） ； Ocean University of China（中国海洋大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 DeAR通过分解注意力头角色实现细粒度VLM适应，有效平衡任务适应与泛化能力。

Comments Accepted by CVPR 2026

Human-Object Interaction via Automatically Designed VLM-Guided Motion Policy

通过自动设计的VLM引导运动策略实现人-物交互

Zekai Deng, Ye Shi, Kaiyang Ji, Lan Xu, Shaoli Huang, Jingya Wang

机构 * ShanghaiTech University（上海科技大学） ； AgiBot 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出了一种基于VLMs的统一物理框架，通过自动设计的RMD方法实现人-物交互合成，提升了运动生成的自然性和通用性。

Comments iclr camera ready

VLMFusionOcc3D: VLM Assisted Multi-Modal 3D Semantic Occupancy Prediction

VLMFusionOcc3D: 基于VLM的多模态3D语义占位预测

A. Enes Doruk, Hasan F. Ates

机构 * Department of Artificial Intelligence and Data Engineering, Ozyegin University（人工智能与数据工程系，奥克辛大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 VLMFusionOcc3D通过融合视觉语言模型的语义先验，提升多模态3D语义占位预测的鲁棒性和适应性。

Do Vision-Language Models Leak What They Learn? Adaptive Token-Weighted Model Inversion Attacks

视觉-语言模型是否会泄露所学内容？基于自适应令牌加权的模型逆向攻击

Ngoc-Bao Nguyen, Sy-Tuyen Ho, Koh Jun Hao, Ngai-Man Cheung

机构 * Singapore University of Technology and Design (SUTD)（新加坡科技设计大学） ； University of Maryland, College Park（马里兰大学学院公园分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；grounding(abstract)；分类 cs.LG

AI总结 本研究提出SMI-AW攻击方法，揭示视觉-语言模型在隐私泄露方面的脆弱性，通过自适应令牌加权提升图像重建效果，验证了VLMs在敏感领域中的隐私风险。

Comments Accepted to CVPR 2026

MLLM-4D: Towards Visual-based Spatial-Temporal Intelligence

MLLM-4D: 向基于视觉的空间-时间智能迈进

Xingyilang Yin, Chengzhengxu Li, Jiahao Chang, Chi-Man Pun, Xiaodong Cun

机构 * University of Macau（澳门大学） ； Xi'an Jiaotong University（西安交通大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； GVC Lab, Great Bay University（大湾大学GVC实验室） 纠错

专题命中 VLM训练与架构 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 MLLM-4D通过改进的数据筛选和训练策略，实现了从2D输入中强大的空间-时间理解和推理能力。

Fourier-Attentive Representation Learning: A Fourier-Guided Framework for Few-Shot Generalization in Vision-Language Models

傅里叶-注意力表示学习：一种引导少样本泛化的视觉-语言模型框架

Hieu Dinh Trung Pham, Huy Minh Nhat Nguyen, Cuong Tuan Nguyen

机构 * Vietnamese German University（越南德语大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出FARL框架，通过傅里叶分析解缠视觉表示，提升视觉-语言模型在少样本场景下的泛化能力。