视觉大模型 / VLM

Delta-LLaVA: Base-then-Specialize Alignment for Token-Efficient Vision-Language Models

Delta-LLaVA: 基于令牌效率的视觉-语言模型对齐方法

Mohamad Zamini, Diksha Shukla

机构 * University of Wyoming（怀俄明大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(title,abstract)；vision-language model(title)；multimodal large language model(abstract)；分类 cs.CV

AI总结 Delta-LLaVA通过低秩Delta投影和轻量级Transformer块实现视觉-语言模型的高效对齐，提升推理速度和训练效率。

EEG-VLM: A Hierarchical Vision-Language Model with Multi-Level Feature Alignment and Visually Enhanced Language-Guided Reasoning for EEG Image-Based Sleep Stage Prediction

EEG-VLM：一种具有多级特征对齐和视觉增强语言引导推理的分层视觉-语言模型，用于基于EEG图像的睡眠阶段预测

Xihe Qiu, Gengchen Ma, Haoyu Wang, Chen Zhan, Xiaoyu Tan, Shuo Li

机构 * School of Electronic and Electrical Engineering, Shanghai University of Engineering Science（上海工程技术大学电子与电气工程学院） ； Department of Control Science and Engineering, College of Electronics and Information Engineering, Tongji University（同济大学电子信息工程学院控制科学与工程系） ； Tencent Youtu Lab（腾讯云视觉实验室） ； Case Western Reserve University（凯斯西储大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(title,abstract)；分类 cs.AI

AI总结 EEG-VLM通过多级特征对齐和视觉增强语言引导推理，提升基于EEG图像的睡眠阶段分类的准确性和可解释性。

Q-MLLM: Vector Quantization for Robust Multimodal Large Language Model Security

Q-MLLM：向量量化用于鲁棒多模态大语言模型安全

Wei Zhao, Zhe Li, Yige Li, Jun Sun

机构 * Singapore Management University（新加坡管理大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(title,abstract)；分类 cs.AI

AI总结 Q-MLLM通过两级向量量化提升多模态大语言模型的安全性，有效防御对抗性攻击并保持模型实用性。

Comments Accepted by NDSS 2026

Part-X-MLLM: Part-aware 3D Multimodal Large Language Model

Chunshi Wang, Junliang Ye, Yunhan Yang, Yang Li, Zizhuo Lin, Jun Zhu, Zhuo Chen, Yawei Luo, Chunchao Guo

机构 * Zhejiang University（浙江大学） ； Tencent Hunyuan（腾讯文言） ； Tsinghua University（清华大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(title,abstract)；分类 cs.CV

MLLM-Fabric: Multimodal Large Language Model-Driven Robotic Framework for Fabric Sorting and Selection

Liman Wang, Hanyang Zhong, Tianyuan Wang, Shan Luo, Jihong Zhu

机构 * School of Physics, Engineering and Technology, University of York（物理、工程与技术学院，约克大学） ； Department of Engineering, King’s College London（工程学院，伦敦国王学院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(title,abstract)；分类 cs.AI

Comments Accepted to IEEE Robotics and Automation Letters (RAL)

VLM-3D:End-to-End Vision-Language Models for Open-World 3D Perception

Fuhao Chang, Shuxin Li, Yabei Li, Lei He

机构 * School of Vehicle and Mobility, Tsinghua University（清华大学车辆与移动性学院） ； State Key Laboratory of Intelligent Green Vehicle and Mobility, Tsinghua University（清华大学智能绿色车辆与移动性国家重点实验室） ； College of Information and Electrical Engineering, China Agricultural University（中国农业大学信息与电气工程学院） ； School of Statistics and Data Science, Southwestern University of Finance and Economics（西南财经大学统计与数据科学学院） ； Meituan, China（美团（中国）） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(title)；visual language model(abstract)；分类 cs.CV

Graph-MLLM: Harnessing Multimodal Large Language Models for Multimodal Graph Learning

Jiajin Liu, Dongzhe Fan, Jiacheng Shen, Chuanhao Ji, Daochen Zha, Qiaoyu Tan

机构 * New York University Shanghai（纽约大学上海校区） ； University of Chinese Academy of Sciences（中国科学院大学） ； Rice University（德克萨斯大学里德学院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(title,abstract)；分类 cs.LG

Comments 16 pages, 4 figures

Causal-LLaVA: Causal Disentanglement for Mitigating Hallucination in Multimodal Large Language Models

Xinmiao Hu, Chun Wang, Ruihe An, ChenYu Shao, Xiaojun Ye, Sheng Zhou, Liangcheng Li

机构 * Zhejiang University（浙江大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(title,abstract)；multimodal large language model(title,abstract)；分类 cs.AI

Comments 21 pages, 19 figures, Submitted to NeurIPS 2025

Q-VLM: Post-training Quantization for Large Vision-Language Models

Changyuan Wang, Ziwei Wang, Xiuwei Xu, Yansong Tang, Jie Zhou, Jiwen Lu

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(title)；LLaVA(abstract)；分类 cs.CV

MoE-LLaVA: Mixture of Experts for Large Vision-Language Models

Bin Lin, Zhenyu Tang, Yang Ye, Jinfa Huang, Junwu Zhang, Yatian Pang, Peng Jin, Munan Ning, Jiebo Luo, Li Yuan

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(title,abstract)；分类 cs.CV

Comments update author

ATP-LLaVA: Adaptive Token Pruning for Large Vision Language Models

Xubing Ye, Yukang Gan, Yixiao Ge, Xiao-Ping Zhang, Yansong Tang

专题命中 VLM训练与架构 ：vision language model(title,abstract)；LLaVA(title,abstract)；分类 cs.CV

Comments 11 pages, 4 figures

Continual LLaVA: Continual Instruction Tuning in Large Vision-Language Models

Meng Cao, Yuyang Liu, Yingfei Liu, Tiancai Wang, Jiahua Dong, Henghui Ding, Xiangyu Zhang, Ian Reid, Xiaodan Liang

专题命中 VLM训练与架构 ：LLaVA(title,abstract)；vision-language model(title)；vision language model(abstract)；分类 cs.CV

CXR-LLAVA: a multimodal large language model for interpreting chest X-ray images

Seowoo Lee, Jiwon Youn, Hyungjin Kim, Mansu Kim, Soon Ho Yoon

专题命中 VLM训练与架构 ：LLaVA(title,abstract)；multimodal large language model(title,abstract)；分类 cs.AI

Breaking the weakest link to evade vision language models

打破最弱环节以规避视觉语言模型

Ilan Zini, Boussad Addad, Katarzyna Kapusta

机构 * ESILV（ESILV高等工程师学院） ； Thales（泰雷兹集团） 纠错

专题命中 VLM训练与架构 ：vision language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本研究针对视觉语言模型（VLMs）提出仅优化视觉编码器的梯度攻击方法，在Qwen2.5-VL等模型上验证微小扰动可规避模型，凸显其对抗操纵的脆弱性并呼吁强化安全机制。

Comments 17 pages

The Hidden Evolution of Disguised Visual Context inside the VLM

VLM内部伪装视觉上下文的隐藏演化

Wish Suharitdamrong, Tony Alex, Xiatian Zhu, Muhammad Awais, Sara Atito

机构 * Surrey Institute for People-Centred AI, University of Surrey（萨里大学以人为本人工智能研究所） ； Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（萨里大学视觉、语音与信号处理中心） 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；分类 cs.CV、cs.AI

AI总结 研究视觉语言模型中视觉令牌如何通过不同集成架构（上下文注入与逐层注入）转化为有意义表示，揭示其内部演化过程及对性能的影响。

MedUP: Awakening Unified Understanding and Perception in Medical Vision-Language Models

MedUP：唤醒医学视觉-语言模型中的统一理解与感知能力

Yuan Wang, Hualiang Wang, Yixin Chen, Songtao Jiang, Shujian Gao, Jiaming Lin, Siming Fu, Jian Wu, Zuozhu Liu

机构 * Zhejiang University（浙江大学） ； Fudan University（复旦大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 该研究提出MedUP模型，通过UniMedTok分词器在共享token空间统一医学视觉-语言模型的感知与理解，构建相关训练语料库和评估基准，在多医学任务上性能优于现有模型。

Comments 10 pages, 6 figures

Energy-Driven Adaptive Visual Token Pruning for Efficient Vision-Language Models

基于能量驱动的自适应视觉令牌修剪以提高视觉语言模型的效率

Jialuo He, Huangxun Chen

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；LLaVA(abstract_cn)；分类 cs.CV、cs.AI

AI总结 E-AdaPrune通过能量驱动的自适应修剪方法，提高视觉语言模型的效率，实现令牌预算的动态分配，减少冗余并提升推理性能。

Dual Adversarial Fine-tuning for Enhancing Robustness of Large Vision Language Model

用于增强大型视觉语言模型鲁棒性的对偶对抗微调

Sibo Wang, Jie Zhang, Shiguang Shan, Xilin Chen, Wen Gao

专题命中 VLM训练与架构 ：vision language model(title)；LLaVA(abstract,abstract_cn)；vision-language model(abstract)；visual question answering(abstract)

AI总结 针对大型视觉语言模型视觉输入易受攻击且现有防御方法缺乏通用性的问题，提出对偶对抗微调框架，通过联合优化视觉和语义监督信号增强模型鲁棒性，实验证明该方法在多任务对抗鲁棒性评估中表现优异。

FineGen: A VLM-based Multi-Agent Framework for Fine-Grained Image-Text Dataset Construction

FineGen：基于VLM的多智能体框架用于细粒度图像-文本数据集构建

Chang Kong, Yuebing Li, Peng Mo, Haigang Zhang, Qiuming Luo

机构 * Shenzhen Polytechnic University（深圳职业技术大学） ； Institute of Applied Artificial Intelligence of the Guangdong-Hong Kong Macao Greater Bay Area（粤港澳大湾区应用人工智能研究所） ； Shenzhen University（深圳大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；分类 cs.CV、cs.AI

AI总结 提出FineGen框架，通过生成-验证-校正流水线和闭环反馈机制自动构建含硬负样本的细粒度数据集，在ImageNet上构建FineGen-100K，硬样本准确率提升14.4%。

Comments 15 pages, 2 figures, conference

Beyond Symmetric Alignment: Spectral Diagnostics of Modality Imbalance in Vision-Language Models in the Medical Domain

超越对称对齐：医学领域视觉-语言模型中模态不平衡的光谱诊断

Alessandro Gambetti, Qiwei Han, Cláudia Soares, Hong Shen

机构 * NOVA School of Science and Technology（诺瓦科学与技术学校） ； Nova School of Business and Economics（诺瓦商业与经济学校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(summary_cn,abstract_cn)；分类 cs.CV、cs.LG

AI总结 提出非对称光谱对齐分数（SAS），通过特征值加权的特征模态相关性量化模态信息不平衡，并在医学图像-文本数据集上评估15个VLM，发现医学图像比临床报告保留更丰富的结构信息，且SAS与检索性能的相关性最强。

Comments 10 pages, 3 figures, 9 tables

Beyond VLM-Based Rewards: Diffusion-Native Latent Reward Modeling

超越基于VLM的奖励：扩散原生潜在奖励建模

Gongye Liu, Bo Yang, Yida Zhi, Zhizhou Zhong, Lei Ke, Didan Deng, Han Gao, Yongxiang Huang, Kaihao Zhang, Hongbo Fu, Wenhan Luo

机构 * The Hong Kong University of Science ； Huawei Hong Kong AI Framework \& Data Technologies Lab ； Tsinghua University ； The Australian National University 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出扩散原生潜在奖励模型DiNa-LRM，直接在噪声扩散状态上进行偏好学习，通过噪声校准Thurstone似然和推理时噪声集成，实现高效且鲁棒的奖励建模。

Comments Accepted by ICML 2026. Code: https://github.com/HKUST-C4G/diffusion-rm

Delineating Knowledge Boundaries for Honest Large Vision-Language Models

界定诚实大视觉-语言模型的知识边界

Junru Song, Yimeng Hu, Yijing Chen, Huining Li, Qian Li, Lizhen Cui, Yuntao Du

机构 * Shandong University（山东大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(summary_cn,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文提出系统框架提升VLM在面对未知问题时的拒绝能力，通过构建'视觉-不知'数据集并采用监督微调与偏好优化方法，提升事实准确率至67.3%，并在医疗等领域实现泛化。

Nüwa: Mending the Spatial Integrity Torn by VLM Token Pruning

Nüwa: 通过VLM令牌剪枝修复空间完整性

Yihong Huang, Fei Ma, Yihua Shao, Jingcai Guo, Zitong Yu, Laizhong Cui, Qi Tian

机构 * Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（人工智能与数字经济广东实验室） ； School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院） ； The Hong Kong Polytechnic University（香港理工大学） ； Great Bay University（大鹏大学） ； Shenzhen University（深圳大学） ； Huawei（华为） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision language model(abstract)；visual question answering(abstract)；grounding(abstract)

AI总结 Nüwa通过两阶段令牌剪枝框架在保持空间完整性的同时实现高效特征聚合，提升VQA和视觉定位任务性能

Conscious Gaze: Adaptive Attention Mechanisms for Hallucination Mitigation in Vision-Language Models

有意识的注视：用于视觉-语言模型中幻觉抑制的自适应注意力机制

Weijue Bu, Guan Yuan, Guixian Zhang

机构 * School of Computer Science and Technology/School of Artificial Intelligence（计算机科学与技术学院/人工智能学院） ； China University of Mining and Technology（中国矿业大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；LLaVA(abstract)；grounding(abstract)

AI总结 CG-VLM通过认知需求传感器和聚焦共识诱导模块，在推理时精准干预视觉-语言模型的注意力，有效抑制幻觉并提升性能。

Comments 6 pages, 6 figures

EventVL: Understand Event Streams via Multimodal Large Language Model

Pengteng Li, Yunfan Lu, Pinghao Song, Wuyang Li, Huizai Yao, Hui Xiong

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； KU Leuven（根特大学） ； École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院） ； Carleton University（卡尔顿大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；vision-language model(abstract)；VLM(abstract)；MLLM(abstract)

Generalizing vision-language models to novel domains: A comprehensive survey

Xinyao Li, Jingjing Li, Fengling Li, Lei Zhu, Yang Yang, Heng Tao Shen

机构 * University of Electronic Science and Technology of China（电子科技大学） ； University of Technology Sydney（技术学院） ； Tongji University（同济大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；multimodal large language model(abstract)；MLLM(abstract)

VL2Spike: Spike-driven Distillation from VLMs for Low-Power Visual Perception in Embodied AI

VL2Spike：面向具身AI低功耗视觉感知的VLM脉冲驱动蒸馏

Zinan Liu, Eric Zheng, Soumyaratna Debnath, Hao Shi, Ling Xiao, Lin Wang

机构 * School of EEE, Nanyang Technological University (NTU)（南洋理工大学电气与电子工程学院） ； Department of Computer Science, University of Toronto（多伦多大学计算机科学系） ； Advanced Micro Devices, Inc.（超威半导体公司） ； State Key Laboratory of Extreme Photonics and Instrumentation, Zhejiang University（浙江大学极端光子学与仪器国家重点实验室） ； Faculty of Information Science and Technology, Hokkaido University（北海道大学信息科学与技术学院） 纠错

专题命中 VLM训练与架构 ：VLM(title_cn,summary_cn)；vision-language model(abstract)

AI总结 提出VL2Spike框架，通过时空视觉脉冲蒸馏和脉冲原型引导语言蒸馏，将VLM多模态知识迁移至Spikformer，在静态数据集上提升6.81%性能且能耗仅15.7%，并显著增强机器人视觉地点识别能力。

Comments 9 pages, 4 figures, 8 tables

Two Bridges, One Pathway: From VLMs to Generalizable VLAs with Embodied Trajectory-Coupled Data

两座桥梁，一条路径：从VLM到具有具身轨迹耦合数据的可泛化VLA

Linqi Yin, Shiduo Zhang, Shenling Qiu, Chenxin Li, Zhaoyang Fu, Lei Xiao, Xiang Wang, Chenchen Yang, Zhe Xu, Pengfang Qian, Jingjing Gong, Xipeng Qiu, Xuanjing Huang, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 VLM训练与架构 ：VLM(title_cn,summary_cn)；vision-language model(abstract)

AI总结 提出具身轨迹耦合（ETC）数据作为中间桥梁，通过三阶段训练策略（分布桥接、目标桥接、保留适应）将视觉语言模型（VLM）逐步转化为可泛化的视觉语言动作模型（VLA），解决从VLM到VLA的双重鸿沟。

VLM in a flash: I/O-Efficient Sparsification of Vision-Language Model via Neuron Chunking

VLM即刻：通过神经元分块实现高效的I/O压缩

Kichang Yang, Seonjun Kim, Minjae Kim, Nairan Zhang, Chi Zhang, Youngki Lee

机构 * Seoul National University（首尔国立大学） ； Meta ； Amazon（亚马逊公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(title)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出Neuron Chunking方法，通过神经元分块实现高效的I/O压缩，提升边缘部署VLMs的性能。

A Hierarchical Test Platform for Vision Language Model (VLM)-Integrated Real-World Autonomous Driving

Yupeng Zhou, Can Cui, Juntong Peng, Zichong Yang, Juanwu Lu, Jitesh H Panchal, Bin Yao, Ziran Wang

机构 * Purdue University（普渡大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision language model(title)；vision-language model(abstract)