视觉大模型 / VLM

LLaDA-MedV: Exploring Large Language Diffusion Models for Biomedical Image Understanding

LLaDA-MedV：探索大规模语言扩散模型用于生物医学图像理解

Xuanzhao Dong, Wenhui Zhu, Xiwen Chen, Zhipeng Wang, Peijie Qiu, Shao Tang, Xin Li, Yalin Wang

机构 * Arizona State University（亚利桑那州立大学） ； Clemson University（克莱姆森大学） ； LinkedIn Corporation（领英公司） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； Morgan Stanley（摩根大通） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.CV

AI总结 LLaDA-MedV通过视觉指令微调，首次在生物医学图像理解中应用大规模语言扩散模型，实现了在生物医学视觉对话任务中的性能提升，并在多个VQA基准测试中取得新高准确率。

JavisGPT: A Unified Multi-modal LLM for Sounding-Video Comprehension and Generation

JavisGPT：一种用于声音-视频理解和生成的统一多模态大语言模型

Kai Liu, Jungang Li, Yuchong Sun, Shengqiong Wu, Jianzhang Gao, Daoan Zhang, Wei Zhang, Sheng Jin, Sicheng Yu, Geng Zhan, Jiayi Ji, Fan Zhou, Liang Zheng, Shuicheng Yan, Hao Fei, Tat-Seng Chua

机构 * ZJU（浙江大学） ； NUS（国立新加坡大学） ； HKUST(GZ)（香港科技大学（广州）） ； RUC（中国人民大学） ； HZCU（杭州电子科技大学） ； NTU（国立台湾大学） ； SMU（新加坡国立大学） ； USYD（澳大利亚悉尼大学） ； ANU（澳大利亚国立大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 JavisGPT是一种统一多模态大语言模型，通过三阶段训练流程在声音-视频理解和生成任务中表现出色，尤其在复杂和时间同步场景中表现更优。

Comments Accepted by NeurIPS as a Spotlight paper. Code: https://github.com/JavisVerse/JavisGPT

Too Late to Recall: Explaining the Two-Hop Problem in Multimodal Knowledge Retrieval

太迟回忆：多模态知识检索中双跳问题的解释

Constantin Venhoff, Ashkan Khakzar, Sonia Joseph, Philip Torr, Neel Nanda

机构 * University of Oxford（牛津大学） ； McGill University（麦吉尔大学） ； Meta ； MATS 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.LG

AI总结 本文研究了多模态知识检索中双跳问题的影响，发现VLMs在处理视觉输入时过晚解决实体表示导致事实回忆性能下降，并提出通过修补和提示方法恢复性能。

Multi-speaker Attention Alignment for Multimodal Social Interaction

多说话者注意力对齐用于多模态社交互动

Liangyang Ouyang, Yifei Huang, Mingfang Zhang, Caixin Kang, Ryosuke Furuta, Yoichi Sato

机构 * The University of Tokyo（东京大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出了一种多模态多说话者注意力对齐方法，通过动态头选择和自适应注意力偏差提升多模态社交互动理解能力，实现SOTA效果。

GridPrune: From "Where to Look" to "What to Select" in Visual Token Pruning for MLLMs

Yuxiang Duan, Ao Li, Yingqin Li, Luyu Li, Pengwei Wang

机构 * Shandong University（山东大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

VideoChat-R1: Enhancing Spatio-Temporal Perception via Reinforcement Fine-Tuning

Xinhao Li, Ziang Yan, Desen Meng, Lu Dong, Xiangyu Zeng, Yinan He, Yali Wang, Yu Qiao, Yi Wang, Limin Wang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Nanjing University（南京大学） ； Zhejiang University（浙江大学） ； University of Science and Technology of China（中国科学技术大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

LangBridge: Interpreting Image as a Combination of Language Embeddings

Jiaqi Liao, Yuwei Niu, Fanqing Meng, Hao Li, Changyao Tian, Yinuo Du, Yuwen Xiong, Dianqi Li, Xizhou Zhu, Li Yuan, Jifeng Dai, Yu Cheng

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） ； Tsinghua University（清华大学） ； SenseTime Research（商汤科技研究院） ； Shanghai Jiao Tong University（上海交通大学） ； Peking University（北京大学） ； PengCheng Laboratory（鹏城实验室） ； Chongqing University（重庆大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；LLaVA(abstract)；grounding(abstract)；分类 cs.CV

Comments The code and weights are open-sourced. Project page: https://curryx-001.github.io/LangBridge.github.io/

Beyond Single Models: Mitigating Multimodal Hallucinations via Adaptive Token Ensemble Decoding

Jinlin Li, Yuran Wang, Yifei Yuan, Xiao Zhou, Yingying Zhang, Xixian Yong, Yefeng Zheng, Xian Wu

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学 Gallup 学院） ； Department of Electrical and Computer Engineering, McGill University（麦吉尔大学电气与计算机工程系） ； School of Statistics, Renmin University of China（中国人民大学统计学院） ； Tencent Jarvis Lab（腾讯 Jarvis 实验室） ； Medical Artificial Intelligence Lab, Westlake University（西湖大学医学人工智能实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.CV

Query-Kontext: An Unified Multimodal Model for Image Generation and Editing

Yuxin Song, Wenkai Dong, Shizun Wang, Qi Zhang, Song Xue, Tao Yuan, Hu Yang, Haocheng Feng, Hang Zhou, Xinyan Xiao, Jingdong Wang

机构 * Baidu VIS（百度视觉） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)；分类 cs.CV

Comments 23 pages, 10 figures

Expert Merging: Model Merging with Unsupervised Expert Alignment and Importance-Guided Layer Chunking

Dengming Zhang, Xiaowen Ma, Zhenliang Ni, Zhenkai Wu, Han Shu, Xin Jiang, Xinghao Chen

机构 * Zhejiang University（浙江大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 VLM训练与架构 ：InternVL(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.LG

VLMs-in-the-Wild: Bridging the Gap Between Academic Benchmarks and Enterprise Reality

Srihari Bandraupalli, Anupam Purwar

机构 * Sprinklr 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；InternVL(abstract)；分类 cs.CV

TD-Interpreter: Enhancing the Understanding of Timing Diagrams with Visual-Language Learning

Jie He, Vincent Theo Willem Kenbeek, Zhantao Yang, Meixun Qu, Ezio Bartocci, Dejan Ničković, Radu Grosu

机构 * Technische Universität Wien（维也纳技术大学） ； Shanghai Jiao Tong University（上海交通大学） ； AIT Austrian Institute of Technology（奥地利技术研究院） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.LG

MCoT-RE: Multi-Faceted Chain-of-Thought and Re-Ranking for Training-Free Zero-Shot Composed Image Retrieval

Jeong-Woo Park, Seong-Whan Lee

机构 * Department of Artificial Intelligence, Korea University（人工智能系，韩国大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

Comments 6 pages, 4 figures, 2025 IEEE International Conference on Systems, Man, and Cybernetics

InternVL3: Exploring Advanced Training and Test-Time Recipes for Open-Source Multimodal Models

Jinguo Zhu, Weiyun Wang, Zhe Chen, Zhaoyang Liu, Shenglong Ye, Lixin Gu, Hao Tian, Yuchen Duan, Weijie Su, Jie Shao, Zhangwei Gao, Erfei Cui, Xuehui Wang, Yue Cao, Yangzhou Liu, Xingguang Wei, Hongjie Zhang, Haomin Wang, Weiye Xu, Hao Li, Jiahao Wang, Nianchen Deng, Songze Li, Yinan He, Tan Jiang, Jiapeng Luo, Yi Wang, Conghui He, Botian Shi, Xingcheng Zhang, Wenqi Shao, Junjun He, Yingtong Xiong, Wenwen Qu, Peng Sun, Penglong Jiao, Han Lv, Lijun Wu, Kaipeng Zhang, Huipeng Deng, Jiaye Ge, Kai Chen, Limin Wang, Min Dou, Lewei Lu, Xizhou Zhu, Tong Lu, Dahua Lin, Yu Qiao, Jifeng Dai, Wenhai Wang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； SenseTime Research（商汤科技研究院） ； Tsinghua University（清华大学） ； Nanjing University（南京大学） ； Fudan University（复旦大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 VLM训练与架构 ：InternVL(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

Comments Technical Report

VideoScan: Enabling Efficient Streaming Video Understanding via Frame-level Semantic Carriers

Ruanjun Li, Yuedong Tan, Yuanming Shi, Jiawei Shao

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.CV

Comments 11 pages, 4 figures

SimLingo: Vision-Only Closed-Loop Autonomous Driving with Language-Action Alignment

Katrin Renz, Long Chen, Elahe Arani, Oleg Sinavski

专题命中 VLM训练与架构 ：vision language model(abstract)；VLM(abstract)；visual question answering(abstract)；分类 cs.CV

Comments CVPR 2025. 1st Place @ CARLA Challenge 2024. Challenge tech report (preliminary version of SimLingo): arXiv:2406.10165

MM-RLHF: The Next Step Forward in Multimodal LLM Alignment

Yi-Fan Zhang, Tao Yu, Haochen Tian, Chaoyou Fu, Peiyan Li, Jianshu Zeng, Wulin Xie, Yang Shi, Huanyu Zhang, Junkang Wu, Xue Wang, Yibo Hu, Bin Wen, Fan Yang, Zhang Zhang, Tingting Gao, Di Zhang, Liang Wang, Rong Jin, Tieniu Tan

专题命中 VLM训练与架构 ：LLaVA(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

Comments Project Page: https://mm-rlhf.github.io/

PolySmart @ TRECVid 2024 Video Captioning (VTT)

Jiaxin Wu, Wengyu Zhang, Xiao-Yong Wei, Qing Li

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.CV

Cobra: Extending Mamba to Multi-Modal Large Language Model for Efficient Inference

Han Zhao, Min Zhang, Wei Zhao, Pengxiang Ding, Siteng Huang, Donglin Wang

专题命中 VLM训练与架构 ：LLaVA(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

Comments Accepted to the Thirty-Ninth AAAI Conference on Artificial Intelligence (AAAI-25)

Fit and Prune: Fast and Training-free Visual Token Pruning for Multi-modal Large Language Models

Weihao Ye, Qiong Wu, Wenhao Lin, Yiyi Zhou

专题命中 VLM训练与架构 ：LLaVA(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

Unified Generative and Discriminative Training for Multi-modal Large Language Models

Wei Chow, Juncheng Li, Qifan Yu, Kaihang Pan, Hao Fei, Zhiqi Ge, Shuai Yang, Siliang Tang, Hanwang Zhang, Qianru Sun

专题命中 VLM训练与架构 ：vision-language model(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

Mini-Monkey: Alleviating the Semantic Sawtooth Effect for Lightweight MLLMs via Complementary Image Pyramid

Mingxin Huang, Yuliang Liu, Dingkang Liang, Lianwen Jin, Xiang Bai

专题命中 VLM训练与架构 ：LLaVA(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

CLIP-SCGI: Synthesized Caption-Guided Inversion for Person Re-Identification

Qianru Han, Xinwei He, Zhi Liu, Sannyuya Liu, Ying Zhang, Jinhai Xiang

专题命中 VLM训练与架构 ：vision-language model(abstract)；vision language model(abstract)；LLaVA(abstract)；分类 cs.CV

ColorSwap: A Color and Word Order Dataset for Multimodal Evaluation

Jirayu Burapacheep, Ishan Gaur, Agam Bhatia, Tristan Thrush

专题命中 VLM训练与架构 ：VLM(abstract)；visual language model(abstract)；LLaVA(abstract)；分类 cs.CV

Comments ACL Findings 2024

Are Bigger Encoders Always Better in Vision Large Models?

Bozhou Li, Hao Liang, Zimo Meng, Wentao Zhang

专题命中 VLM训练与架构 ：vision language model(abstract)；VLM(abstract)；multimodal large language model(abstract)；分类 cs.CV

NODE-Adapter: Neural Ordinary Differential Equations for Better Vision-Language Reasoning

Yi Zhang, Chun-Wun Cheng, Ke Yu, Zhihai He, Carola-Bibiane Schönlieb, Angelica I. Aviles-Rivero

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；visual reasoning(abstract)；分类 cs.CV

Prism: A Framework for Decoupling and Assessing the Capabilities of VLMs

Yuxuan Qiao, Haodong Duan, Xinyu Fang, Junming Yang, Lin Chen, Songyang Zhang, Jiaqi Wang, Dahua Lin, Kai Chen

专题命中 VLM训练与架构 ：vision language model(abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.CV

MyVLM: Personalizing VLMs for User-Specific Queries

Yuval Alaluf, Elad Richardson, Sergey Tulyakov, Kfir Aberman, Daniel Cohen-Or

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.CV

Comments Project page: https://snap-research.github.io/MyVLM/

RLHF-V: Towards Trustworthy MLLMs via Behavior Alignment from Fine-grained Correctional Human Feedback

Tianyu Yu, Yuan Yao, Haoye Zhang, Taiwen He, Yifeng Han, Ganqu Cui, Jinyi Hu, Zhiyuan Liu, Hai-Tao Zheng, Maosong Sun, Tat-Seng Chua

专题命中 VLM训练与架构 ：LLaVA(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

Comments Accepted by CVPR 2024

VL-BEiT: Generative Vision-Language Pretraining

Hangbo Bao, Wenhui Wang, Li Dong, Furu Wei

专题命中 VLM训练与架构 ：vision-language model(abstract)；visual reasoning(abstract)；visual question answering(abstract)；分类 cs.CV