视觉大模型 / VLM

Praxis-VLM: Vision-Grounded Decision Making via Text-Driven Reinforcement Learning

Zhe Hu, Jing Li, Zhongzhu Pu, Hou Pong Chan, Yu Yin

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Tsinghua University（清华大学） ； InspireOmni AI ； Alibaba Group（阿里巴巴集团） ； Case Western Reserve University（凯斯西储大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision language model(abstract)；分类 cs.CV

Comments Accepted at NeurIPS 2025

No Tokens Wasted: Leveraging Long Context in Biomedical Vision-Language Models

Min Woo Sun, Alejandro Lozano, Javier Gamazo Tejero, Vishwesh Nath, Xiao Xiao Sun, James Burgess, Yuhui Zhang, Kun Yuan, Robert Tibshirani, Sean Huver, Serena Yeung-Levy

机构 * Stanford University（斯坦福大学） ； NVIDIA USA（NVIDIA公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

The Security Threat of Compressed Projectors in Large Vision-Language Models

Yudong Zhang, Ruobing Xie, Xingwu Sun, Jiansheng Chen, Zhanhui Kang, Di Wang, Yu Wang

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； Large Language Model Department, Tencent（腾讯大语言模型部门） ； School of Computer and Communication Engineering, University of Science and Technology Beijing（北京科技大学计算机与通信工程学院） ； Faculty of Science and Technology, University of Macau（澳门大学科技学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；visual language model(abstract)；分类 cs.AI

Comments Accepted by EMNLP 2025 findings

Towards Cross-modal Backward-compatible Representation Learning for Vision-Language Models

Young Kyun Jang, Ser-nam Lim

机构 * Google DeepMind（谷歌DeepMind） ； University of Central Florida（中央佛罗里达大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；分类 cs.CV、cs.AI

Probabilistic Language-Image Pre-Training

Sanghyuk Chun, Wonjae Kim, Song Park, Sangdoo Yun

机构 * NAVER AI Lab（NAVER AI实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.LG

Comments Code: https://github.com/naver-ai/prolip HuggingFace Hub: https://huggingface.co/collections/SanghyukChun/prolip-6712595dfc87fd8597350291 33 pages, 4.5 MB; LongProLIP paper: arXiv:2503.08048; Multiplicity paper for more background: arxiv.org:2505.19614; v4: fix typos

The Telephone Game: Evaluating Semantic Drift in Unified Models

Sabbir Mollah, Rohit Gupta, Sirnam Swetha, Qingyang Liu, Ahnaf Munir, Mubarak Shah

机构 * Center For Research in Computer Vision, University of Central Florida, USA（计算机视觉研究中心，中央佛罗里达大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；visual language model(abstract)；分类 cs.CV

Pragmatic Embodied Spoken Instruction Following in Human-Robot Collaboration with Theory of Mind

Lance Ying, Xinyi Li, Shivam Aarya, Yizirui Fang, Yifan Yin, Jason Xinyu Liu, Stefanie Tellex, Joshua B. Tenenbaum, Tianmin Shu

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Harvard University（哈佛大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Brown University（布朗大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI

Comments 8 pages, 7 figures

AutoPrune: Each Complexity Deserves a Pruning Policy

Hanshi Wang, Yuhao Xu, Zekun Xu, Jin Gao, Yufan Liu, Weiming Hu, Ke Wang, Zhipeng Zhang

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), CASIA（多模态人工智能系统国家重点实验室（MAIS），中国科学院自动化所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； AutoLab, School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院AutoLab） ； Anyverse Intelligence ； Beijing Key Laboratory of Super Intelligent Security of Multi-Modal Information（北京多模态信息超智能安全重点实验室） ； School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；LLaVA(abstract)；分类 cs.CV

Comments 13 pages, 2 figures

Journal ref NeurIPS 2025

Law of Vision Representation in MLLMs

Shijia Yang, Bohan Zhai, Quanzeng You, Jianbo Yuan, Hongxia Yang, Chenfeng Xu

机构 * Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

Comments The code is available at https://github.com/bronyayang/Law_of_Vision_Representation_in_MLLMs

Multimodal Arabic Captioning with Interpretable Visual Concept Integration

Passant Elchafei, Amany Fashwan

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

A Tale of Two Experts: Cooperative Learning for Source-Free Unsupervised Domain Adaptation

Jiaping Yu, Muli Yang, Jiapeng Ji, Jiexi Yan, Cheng Deng

机构 * School of Electronic Engineering（电子工程学院） ； Xidian University（西安电子科技大学） ； School of Computer Science（计算机科学学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

Resolving Task Objective Conflicts in Unified Model via Task-Aware Mixture-of-Experts

Jiaxing Zhang, Hao Tang

机构 * Sichuan University（四川大学） ； Peking University（北京大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV