视觉大模型 / VLM

Enhancing Medical Large Vision-Language Models via Alignment Distillation

通过对齐蒸馏增强医学大视觉-语言模型

Aofei Chang, Ting Wang, Fenglong Ma

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MEDALIGN方法，通过蒸馏CLIP模型的知识提升医学大视觉-语言模型的视觉对齐和生成质量。

Comments Accepted to AAAI'2026 (Main track)

GTMA: Dynamic Representation Optimization for OOD Vision-Language Models

GTMA：面向视觉-语言模型的动态表示优化

Jensen Zhang, Ningyuan Liu, Keze Wang

机构 * Sun Yat-sen University（中山大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 GTMA通过动态表示优化提升视觉-语言模型在分布外任务中的性能，有效解决模态不对称问题，提升零样本和少样本准确率15-20%。

Comments Under submission

Seeing is Believing (and Predicting): Context-Aware Multi-Human Behavior Prediction with Vision Language Models

看见即信仰（并预测）：基于视觉语言模型的上下文感知多人类行为预测

Utsav Panchal, Yuchen Liu, Luigi Palmieri, Ilche Georgievski, Marco Aiello

机构 * Institute of Architecture of Application Systems, University of Stuttgart, Germany（应用系统建筑研究所，斯图加特大学，德国） ； Bosch Research, Germany（博世研究，德国） 纠错

专题命中 VLM训练与架构 ：vision language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 CAMP-VLM通过结合视觉语言模型与上下文特征，提升了多人类行为预测的准确性，其在预测精度上比基线模型高66.9%。

Comments Accepted at IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2026

Reassessing the Role of Supervised Fine-Tuning: An Empirical Study in VLM Reasoning

重新评估监督微调的作用：VLM推理中的实证研究

Yongcan Yu, Lingxiao He, Shuo Lu, Lijun Sheng, Yinuo Xu, Yanbo Wang, Kuangpu Guo, Jianjie Cheng, Meng Wang, Qianlong Xie, Xingxing Wang, Dapeng Hu, Jian Liang

机构 * NLPR & MAIS, Institute of Automation, Chinese Academy of Sciences（人工智能研究院 & 模式识别与人工智能研究所，中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学） ； Meituan（美团） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本研究通过实证分析发现，监督微调在VLM推理中具有重要作用，挑战了强化学习优于监督微调的主流观点。

Language Integration in Fine-Tuning Multimodal Large Language Models for Image-Based Regression

基于图像回归的多模态大语言模型微调中的语言整合

Roy H. Jennings, Genady Paikin, Roy Shaul, Evgeny Soloveichik

机构 * Samsung Israel R&D Center（三星以色列研发中心） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出RvTC方法，通过灵活的区间法替代传统词汇受限分类，提升多模态大语言模型在图像回归任务中的性能。

Comments WACV 2026

Semore: VLM-guided Enhanced Semantic Motion Representations for Visual Reinforcement Learning

Semore：基于VLM的增强语义运动表示用于视觉强化学习

Wentao Wang, Chunyang Liu, Kehua Sheng, Bo Zhang, Yan Wang

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 Semore通过结合VLM和CLIP实现高效的视觉强化学习，提升语义和运动表示的融合能力。

LLaVA-UHD v3: Progressive Visual Compression for Efficient Native-Resolution Encoding in MLLMs

LLaVA-UHD v3：渐进式视觉压缩用于多模态大语言模型中的高效原分辨率编码

Shichu Sun, Yichen Zhang, Haolin Song, Zonghao Guo, Chi Chen, Yidan Zhang, Yuan Yao, Zhiyuan Liu, Maosong Sun

机构 * Tsinghua University（清华大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航天信息研究所） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉学科学院） 纠错

专题命中 VLM训练与架构 ：LLaVA(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 LLaVA-UHD v3通过渐进式视觉压缩方法，实现高效原分辨率编码，减少TTFT并提升多模态大语言模型性能。

KEPT: Knowledge-Enhanced Prediction of Trajectories from Consecutive Driving Frames with Vision-Language Models

KEPT: 基于视觉-语言模型的连续驾驶帧轨迹预测增强方法

Yujin Wang, Tianyi Wang, Quanfeng Liu, Wenxian Fan, Junfeng Jiao, Christian Claudel, Yunbing Yan, Bingzhao Gao, Jianqiang Wang, Hong Chen

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 KEPT 通过知识增强的视觉-语言模型，利用时间频率-空间融合编码器和检索增强生成流水线，提升自动驾驶中轨迹预测的准确性和可靠性。

FlowCut: Rethinking Redundancy via Information Flow for Efficient Vision-Language Models

FlowCut: 通过信息流重新思考冗余性以提高视觉-语言模型的效率

Jintao Tong, Wenwei Jin, Pengda Qin, Anqi Li, Yixiong Zou, Yuhong Li, Yuhua Li, Ruixuan Li

机构 * School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院） ； Xiaohongshu Inc.（小红书公司） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

AI总结 FlowCut通过信息流视角改进视觉-语言模型的冗余识别，实现更高效的剪枝效果。

Comments Accepted by NeurIPS 2025

Trust in Vision-Language Models: Insights from a Participatory User Workshop

Agnese Chiatti, Lara Piccolo, Sara Bernardini, Matteo Matteucci, Viola Schiaffonati

机构 * University of Oxford, UK（牛津大学） ； CODE University of Applied Sciences, Germany（应用科学学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Journal ref Proceedings of the The European Workshop on Trustworthy AI (Trust-AI) at ECAI 2025

TransPrune: Token Transition Pruning for Efficient Large Vision-Language Model

Ao Li, Yuxiang Duan, Jinghui Zhang, Congbo Ma, Yutong Xie, Gustavo Carneiro, Mohammad Yaqub, Hu Wang

机构 * Shandong University（山东大学） ； MBZUAI ； New York University Abu Dhabi（纽约大学阿布扎赫分校） ； University of Surrey（塞雷尔大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

Zooming into Comics: Region-Aware RL Improves Fine-Grained Comic Understanding in Vision-Language Models

Yule Chen, Yufan Ren, Sabine Süsstrunk

机构 * School of Computer and Communication Sciences, EPFL（瑞士联邦理工学院计算机与通信科学学院） ； Department of Computer Science and Engineering, Chalmers University of Technology（楚科奇技术大学计算机科学与工程系） ； IVRL, EPFL（EPFL智能机器人实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Test-Time Warmup for Multimodal Large Language Models

Nikita Rajaneesh, Thomas Zollo, Richard Zemel

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.AI、cs.LG

LiteVLM: A Low-Latency Vision-Language Model Inference Pipeline for Resource-Constrained Environments

Jin Huang, Yuchao Jin, Le An, Josh Park

机构 * NVIDIA（英伟达） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.AI、cs.LG

SteerVLM: Robust Model Control through Lightweight Activation Steering for Vision Language Models

Anushka Sivakumar, Andrew Zhang, Zaber Hakim, Chris Thomas

机构 * Department of Computer Science（计算机科学系） ； Virginia Tech（弗吉尼亚理工学院） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.LG

Dynamic VLM-Guided Negative Prompting for Diffusion Models

Hoyeon Chang, Seungjin Kim, Yoonseok Choi

机构 * KAIST（韩国科学技术院） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

Comments 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop: The First Workshop on Generative and Protective AI for Content Creation

Atlas Urban Index: A VLM-Based Approach for Spatially and Temporally Calibrated Urban Development Monitoring

Mithul Chander, Sai Pragnya Ranga, Prathamesh Mayekar

机构 * Propheus 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

Comments An abridged version of this paper will be presented at and appear in the Proceedings of ACM IKDD CODS 2025

STATUS Bench: A Rigorous Benchmark for Evaluating Object State Understanding in Vision-Language Models

Mahiro Ukai, Shuhei Kurita, Nakamasa Inoue

机构 * Institute of Science Tokyo（东京科学研究所） ； National Institute of Informatics（日本信息处理学会） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Diagnosing Bottlenecks in Data Visualization Understanding by Vision-Language Models

Alexa R. Tartaglini, Satchel Grant, Daniel Wurgaft, Christopher Potts, Judith E. Fan

机构 * Department of Computer Science（计算机科学系） ； Department of Psychology（心理学系） ； Department of Linguistics（语言学系） ； Stanford University（斯坦福大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

SharpZO: Hybrid Sharpness-Aware Vision Language Model Prompt Tuning via Forward-Only Passes

Yifan Yang, Zhen Zhang, Rupak Vignesh Swaminathan, Jing Liu, Nathan Susanj, Zheng Zhang

专题命中 VLM训练与架构 ：vision language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.LG

Improving Visual Recommendation on E-commerce Platforms Using Vision-Language Models

Yuki Yada, Sho Akiyama, Ryo Watanabe, Yuta Ueno, Yusuke Shido, Andre Rusli

机构 * Mercari, Inc.（Mercari公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.LG

Comments Accepted to ACM RecSys 2025 (Spotlight)

Towards Self-Refinement of Vision-Language Models with Triangular Consistency

Yunlong Deng, Guangyi Chen, Tianpei Gu, Lingjing Kong, Yan Li, Zeyu Tang, Kun Zhang

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； ByteDance US（字节跳动美国公司） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

Looking to Learn: Token-wise Dynamic Gating for Low-Resource Vision-Language Modelling

Bianca-Mihaela Ganescu, Suchir Salhan, Andrew Caines, Paula Buttery

机构 * ALTA Institute（ALTA研究院） ； Department of Computer Science & Technology, University of Cambridge（计算机科学与技术系，剑桥大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；grounding(abstract)；分类 cs.AI、cs.LG

Comments Accepted to the EMNLP 2025 BabyLM Workshop

Approximate Domain Unlearning for Vision-Language Models

Kodai Kawamura, Yuta Goto, Rintaro Yanagi, Hirokatsu Kataoka, Go Irie

机构 * Tokyo University of Science（东京科学大学） ； National University of Singapore（新加坡国立大学） ； National Institute of Advanced Industrial Science and Technology (AIST)（国家先进工业科学与技术研究院） ； University of Oxford（牛津大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.AI、cs.LG

Comments NeurIPS 2025 (Spotlight)

Multimodal Carotid Risk Stratification with Large Vision-Language Models: Benchmarking, Fine-Tuning, and Clinical Insights

Daphne Tsolissou, Theofanis Ganitidis, Konstantinos Mitsis, Stergios CHristodoulidis, Maria Vakalopoulou, Konstantina Nikita

机构 * National Technical University of Athens（希腊国家技术大学） ； CentraleSupélec, Université Paris-Saclay（巴黎-萨克雷大学中央理工学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

Work Zones challenge VLM Trajectory Planning: Toward Mitigation and Robust Autonomous Driving

Yifan Liao, Zhen Sun, Xiaoyun Qiu, Zixiao Zhao, Wenbing Tang, Xinlei He, Xinhu Zheng, Tianwei Zhang, Xinyi Huang, Xingshuo Han

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； Northwest A&F University（西北农林科技大学） ； Nanyang Technological University（南洋理工大学） ； Jinan University（济南大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；visual language model(abstract)；分类 cs.CV、cs.AI

Comments 13 pages,5 figures

Data Selection for Fine-tuning Vision Language Models via Cross Modal Alignment Trajectories

Nilay Naharas, Dang Nguyen, Nesihan Bulut, Mohammadhossein Bateni, Vahab Mirrokni, Baharan Mirzasoleiman

机构 * Department of Computer Science, University of California Los Angeles（加州大学洛杉矶分校计算机科学系） ； Google Research（谷歌研究） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；LLaVA(abstract)；分类 cs.CV、cs.LG

Comments 30 pages, 10 figures, 5 tables, link: https://bigml-cs-ucla.github.io/XMAS-project-page/

MDF-MLLM: Deep Fusion Through Cross-Modal Feature Alignment for Contextually Aware Fundoscopic Image Classification

Jason Jordan, Mohammadreza Akbari Lor, Peter Koulen, Mei-Ling Shyu, Shu-Ching Chen

专题命中 VLM训练与架构 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments Word count: 5157, Table count: 2, Figure count: 5

Re-Align: Aligning Vision Language Models via Retrieval-Augmented Direct Preference Optimization

Shuo Xing, Peiran Li, Yuping Wang, Ruizheng Bai, Yueqi Wang, Chan-Wei Hu, Chengxuan Qian, Huaxiu Yao, Zhengzhong Tu

机构 * Texas A&M University（德克萨斯大学） ； University of Michigan（密歇根大学） ； UIUC（伊利诺伊大学香槟分校） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 VLM训练与架构 ：vision language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.LG

Comments Published at EMNLP 2025

DualEdit: Dual Editing for Knowledge Updating in Vision-Language Models

Zhiyi Shi, Binjie Wang, Chongjie Si, Yichen Wu, Junsik Kim, Hanspeter Pfister

机构 * Harvard University（哈佛大学） ； City University of Hong Kong（香港城市大学） ； Amazon（亚马逊） ； Fudan University（复旦大学） ； MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（人工智能关键实验室，上海交通大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Comments COLM 2025