视觉大模型 / VLM

Zooming into Comics: Region-Aware RL Improves Fine-Grained Comic Understanding in Vision-Language Models

Yule Chen, Yufan Ren, Sabine Süsstrunk

机构 * School of Computer and Communication Sciences, EPFL（瑞士联邦理工学院计算机与通信科学学院） ； Department of Computer Science and Engineering, Chalmers University of Technology（楚科奇技术大学计算机科学与工程系） ； IVRL, EPFL（EPFL智能机器人实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

NOVO: Bridging LLaVA and SAM with Visual-only Prompts for Reasoning Segmentation

Kyung-Yoon Yoon, Yeong-Jun Cho

机构 * Department of Artificial Intelligence Convergence（人工智能融合系） 纠错

专题命中 VLM训练与架构 ：LLaVA(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.CV

HydraInfer: Hybrid Disaggregated Scheduling for Multimodal Large Language Model Serving

Xianzhe Dong, Tongxuan Liu, Yuting Zeng, Liangyu Liu, Yang Liu, Siyu Wu, Yu Wu, Hailong Yang, Ke Zhang, Jing Li

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract)

Gentle Manipulation Policy Learning via Demonstrations from VLM Planned Atomic Skills

Jiayu Zhou, Qiwei Wu, Jian Li, Zhe Chen, Xiaogang Xiong, Renjing Xu

专题命中 VLM训练与架构 ：VLM(title,abstract)；visual language model(abstract)

Comments Accepted for the 40th Annual AAAI Conference on Artificial Intelligence (2026)

JailbreakZoo: Survey, Landscapes, and Horizons in Jailbreaking Large Language and Vision-Language Models

Haibo Jin, Leyang Hu, Xinnuo Li, Peiyan Zhang, Chonghan Chen, Jun Zhuang, Haohan Wang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Brown University（布朗大学） ； University of Michigan Ann Arbor（密歇根大学安娜堡分校） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Boise State University（博伊西州立大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

Comments 45 pages

FedVLM: Scalable Personalized Vision-Language Models through Federated Learning

Arkajyoti Mitra, Afia Anjum, Paul Agbaje, Mert Pesé, Habeeb Olufowobi

机构 * University of Texas at Arlington（德克萨斯理工大学） ； Clemson University（克莱姆森大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

Comments Accepted to ECAI 2025 Main Track

Controllable Hybrid Captioner for Improved Long-form Video Understanding

Kuleen Sasse, Efsun Sarioglu Kayi, Arun Reddy

机构 * Johns Hopkins University Applied Physics Laboratory（约翰霍普金斯大学应用物理实验室） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

Enhancing Multimodal Recommendations with Vision-Language Models and Information-Aware Fusion

Hai-Dang Kieu, Min Xu, Thanh Trung Huynh, Dung D. Le

专题命中 VLM训练与架构 ：vision-language model(title)；VLM(abstract)

VLM-driven Skill Selection for Robotic Assembly Tasks

Jeong-Jung Kim, Doo-Yeol Koh, Chang-Hyun Kim

机构 * Department of AI Machinery, Korea Institute of Machinery & Materials（人工智能机械系，韩国机械材料研究院） 纠错

专题命中 VLM训练与架构 ：VLM(title)；vision-language model(abstract)

LangBridge: Interpreting Image as a Combination of Language Embeddings

Jiaqi Liao, Yuwei Niu, Fanqing Meng, Hao Li, Changyao Tian, Yinuo Du, Yuwen Xiong, Dianqi Li, Xizhou Zhu, Li Yuan, Jifeng Dai, Yu Cheng

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） ； Tsinghua University（清华大学） ； SenseTime Research（商汤科技研究院） ； Shanghai Jiao Tong University（上海交通大学） ； Peking University（北京大学） ； PengCheng Laboratory（鹏城实验室） ； Chongqing University（重庆大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；LLaVA(abstract)；grounding(abstract)；分类 cs.CV

Comments The code and weights are open-sourced. Project page: https://curryx-001.github.io/LangBridge.github.io/

How Do VLAs Effectively Inherit from VLMs?

Chuheng Zhang, Rushuai Yang, Xiaoyu Chen, Kaixin Wang, Li Zhao, Yi Chen, Jiang Bian

机构 * Microsoft Research（微软研究院） ； The Hong Kong University of Science（香港科学大学） ； Tsinghua University（清华大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI

Understanding Cross Task Generalization in Handwriting-Based Alzheimer's Screening via Vision Language Adaptation

Changqing Gong, Huafeng Qin, Mounim A. El-Yacoubi

机构 * Telecom SudParis, Institut Polytechnique de Paris（电信 SudParis，巴黎理工学院） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.CV、cs.AI

HiMo-CLIP: Modeling Semantic Hierarchy and Monotonicity in Vision-Language Alignment

Ruijia Wu, Ping Chen, Fei Shen, Shaoan Zhao, Qiang Hui, Huanlin Gao, Ting Lu, Zhaoxiang Liu, Fang Zhao, Kai Wang, Shiguo Lian

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

Comments Accepted by AAAI 2026 as an Oral Presentation (13 pages, 7 figures, 7 tables)

Journal ref AAAI2026

Bridging the gap to real-world language-grounded visual concept learning

Whie Jung, Semin Kim, Junee Kim, Seunghoon Hong

机构 * School of Computing, KAIST（计算机学院，韩国科学技术院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

Journal ref Advances in Neural Information Processing Systems (NeurIPS), 2025

MoRA: Missing Modality Low-Rank Adaptation for Visual Recognition

Shu Zhao, Nilesh Ahuja, Tan Yu, Tianyi Shen, Vijaykrishnan Narayanan

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； Intel（英特尔） ； NVIDIA（英伟达） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.CV

X2Edit: Revisiting Arbitrary-Instruction Image Editing through Self-Constructed Data and Task-Aware Representation Learning

Jian Ma, Xujie Zhu, Zihao Pan, Qirong Peng, Xu Guo, Chen Chen, Haonan Lu

机构 * OPPO AI Center（OPPO人工智能中心） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

Comments Accepted to AAAI 2026

Revealing emergent human-like conceptual representations from language prediction

Ningyu Xu, Qi Zhang, Chao Du, Qiang Luo, Xipeng Qiu, Xuanjing Huang, Menghan Zhang

机构 * College of Computer Science and Artificial Intelligence（计算机科学与人工智能学院） ； Fudan University（复旦大学） ； Institute of Modern Languages and Linguistics（现代语言与语言学研究所） ； Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室） ； Research Institute of Intelligent Complex Systems（智能复杂系统研究所） ； Institute of Trustworthy Embodied Artificial Intelligence（可信具身人工智能研究所） ； State Key Laboratory of Genetics and Development of Complex Phenotypes（复杂表型遗传与发育国家重点实验室） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

Comments 66 pages. Accepted manuscript. Final version published in Proceedings of the National Academy of Sciences (PNAS): https://www.pnas.org/doi/10.1073/pnas.2512514122

Journal ref Proceedings of the National Academy of Sciences, U.S.A., 122 (44) e2512514122 (2025)