视觉大模型 / VLM

Revealing emergent human-like conceptual representations from language prediction

Ningyu Xu, Qi Zhang, Chao Du, Qiang Luo, Xipeng Qiu, Xuanjing Huang, Menghan Zhang

机构 * College of Computer Science and Artificial Intelligence（计算机科学与人工智能学院） ； Fudan University（复旦大学） ； Institute of Modern Languages and Linguistics（现代语言与语言学研究所） ； Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室） ； Research Institute of Intelligent Complex Systems（智能复杂系统研究所） ； Institute of Trustworthy Embodied Artificial Intelligence（可信具身人工智能研究所） ； State Key Laboratory of Genetics and Development of Complex Phenotypes（复杂表型遗传与发育国家重点实验室） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

Comments 66 pages. Accepted manuscript. Final version published in Proceedings of the National Academy of Sciences (PNAS): https://www.pnas.org/doi/10.1073/pnas.2512514122

Journal ref Proceedings of the National Academy of Sciences, U.S.A., 122 (44) e2512514122 (2025)

Turning Adversaries into Allies: Reversing Typographic Attacks for Multimodal E-Commerce Product Retrieval

Janet Jenq, Hongda Shen

机构 * PitchBook USA（PitchBook美国公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.LG

Role-SynthCLIP: A Role Play Driven Diverse Synthetic Data Approach

Yuanxiang Huangfu, Chaochao Wang, Weilei Wang

机构 * PatSnap Co., LTD.（PatSnap公司） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

PixCLIP: Achieving Fine-grained Visual Language Understanding via Any-granularity Pixel-Text Alignment Learning

Yicheng Xiao, Yu Chen, Haoxuan Ma, Jiale Hong, Caorui Li, Lingxiang Wu, Haiyun Guo, Jinqiao Wang

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

DashCLIP: Leveraging multimodal models for generating semantic embeddings for DoorDash

Omkar Gurjar, Kin Sum Liu, Praveen Kolli, Utsaw Kumar, Mandar Rahurkar

机构 * DoorDash, Inc.（DoorDash公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.LG

Text to Sketch Generation with Multi-Styles

Tengjie Li, Shikui Tu, Lei Xu

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳）） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

Comments Accepted by NeurIPS 2025

SCALE-VLP: Soft-Weighted Contrastive Volumetric Vision-Language Pre-training with Spatial-Knowledge Semantics

Ailar Mahdizadeh, Puria Azadi Moghadam, Xiangteng He, Shahriar Mirabbasi, Panos Nasiopoulos, Leonid Sigal

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute for AI（人工智能向量研究所） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

From Flat to Hierarchical: Extracting Sparse Representations with Matching Pursuit

Valérie Costa, Thomas Fel, Ekdeep Singh Lubana, Bahareh Tolooshams, Demba Ba

机构 * EPFL（瑞士联邦理工学院） ； Kempner Institute, Harvard University（哈佛大学凯普纳研究所） ； CBS-NTT Program in Physics of Intelligence, Harvard University（哈佛大学物理智能CBSTNTT项目） ； Physics of Artificial Intelligence Group, NTT Research, Inc., Sunnyvale, CA, USA（NTT研究公司人工智能物理研究组） ； University of Alberta（阿尔伯塔大学） ； Alberta Machine Intelligence Institute (Amii)（阿尔伯塔人工智能研究所） ； SEAS, Harvard University（哈佛大学工程与应用科学学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.LG

Comments 39th Conference on Neural Information Processing Systems (NeurIPS 2025)

Automated Reward Design for Gran Turismo

Michel Ma, Takuma Seno, Kaushik Subramanian, Peter R. Wurman, Peter Stone, Craig Sherstan

机构 * Mila, University of Montreal（蒙特利尔大学Mila） ； Turing Inc.（图灵公司） ； Sony AI（索尼人工智能） ； Sony AI, UT Austin（索尼人工智能、得克萨斯大学奥斯汀分校） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.AI

Enhancing Diffusion-based Restoration Models via Difficulty-Adaptive Reinforcement Learning with IQA Reward

Xiaogang Xu, Ruihang Chu, Jian Wang, Kun Zhou, Wenjie Shu, Harry Yang, Ser-Nam Lim, Hao Chen, Liang Lin

机构 * The Chinese University of Hong Kong（香港中文大学） ； Tsinghua University（清华大学） ； Snap Research ； Shenzhen University（深圳大学） ； HKUST（香港科技大学） ； University of Central Florida（佛罗里达大学） ； UC Davis（加州大学戴维斯分校） ； Sun Yat-Sen University（孙中山大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract)；分类 cs.CV

Analyzing Sustainability Messaging in Large-Scale Corporate Social Media

Ujjwal Sharma, Stevan Rudinac, Ana Mićković, Willemijn van Dolen, Marcel Worring

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI

Aligning Effective Tokens with Video Anomaly in Large Language Models

Yingxian Chen, Jiahui Liu, Ruidi Fan, Yanwei Li, Chirui Chang, Shizhen Zhao, Wilton W. T. Fok, Xiaojuan Qi, Yik-Chung Wu

机构 * The University of Hong Kong（香港大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract)；分类 cs.CV

Omni-Mol: Multitask Molecular Model for Any-to-any Modalities

Chengxin Hu, Hao Li, Yihe Yuan, Zezheng Song, Chenyang Zhao, Haixin Wang

机构 * National University of Singapore（新加坡国立大学） ； University of Maryland, College Park（马里兰大学 College Park 分校） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.LG

Comments 44 pages, 9 figures, 13 tables, paper accepted by NeurIPS 2025

Noise Diffusion for Enhancing Semantic Faithfulness in Text-to-Image Synthesis

Boming Miao, Chunxiao Li, Xiaoxiao Wang, Andi Zhang, Rui Sun, Zizhe Wang, Yao Zhu

机构 * Beijing Normal University（北京师范大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； University of Manchester（曼彻斯特大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Tsinghua University（清华大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

Comments Updated author formatting; no substantive changes

SceneDecorator: Towards Scene-Oriented Story Generation with Scene Planning and Scene Consistency

Quanjian Song, Donghao Zhou, Jingyu Lin, Fei Shen, Jiaze Wang, Xiaowei Hu, Cunjian Chen, Pheng-Ann Heng

机构 * Monash University（莫纳什大学） ； The Chinese University of Hong Kong（香港中文大学） ； National University of Singapore（新加坡国立大学） ； South China University of Technology（华南理工大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

Comments Accepted by NeurIPS 2025; Project Page: https://lulupig12138.github.io/SceneDecorator

DeepOmni: Towards Seamless and Smart Speech Interaction with Adaptive Modality-Specific MoE

Hang Shao, Heting Gao, Yunhang Shen, Jiawei Chen, Zuwei Long, Dong Yang, Ke Li, Xing Sun

机构 * Tencent（腾讯） ； Fudan University（复旦大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.AI

Comments Under Review

Think or Not Think: A Study of Explicit Thinking in Rule-Based Visual Reinforcement Fine-Tuning

Ming Li, Jike Zhong, Shitian Zhao, Yuxiang Lai, Haoquan Zhang, Wang Bill Zhu, Kaipeng Zhang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； University of Southern California（南加州大学） ； Emory University（埃默里大学） ； Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract)；分类 cs.CV

Comments Neurips 2025 Spotlight

T2ICount: Enhancing Cross-modal Understanding for Zero-Shot Counting

Yifei Qian, Zhongliang Guo, Bowen Deng, Chun Tong Lei, Shuai Zhao, Chun Pong Lau, Xiaopeng Hong, Michael P. Pound

机构 * University of Nottingham（诺丁汉大学） ； University of St Andrews（圣安德鲁大学） ； City University of Hong Kong（香港城市大学） ； Nanyang Technology University（南洋理工大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

Comments Accepted by CVPR2025

VITA-E: Natural Embodied Interaction with Concurrent Seeing, Hearing, Speaking, and Acting

Xiaoyu Liu, Chaoyou Fu, Chi Yan, Chu Wu, Haihan Gao, Yi-Fan Zhang, Shaoqi Dong, Cheng Qian, Bin Luo, Xiuyong Yang, Guanwu Li, Yusheng Cai, Yunhang Shen, Deqiang Jiang, Haoyu Cao, Xing Sun, Caifeng Shan, Ran He

机构 * Nanjing University（南京大学） ； Tencent Youtu Lab（腾讯云图实验室） ； CASIA（中国科学院自动化研究所） ； Fourier Intelligence Inc.（傅里叶智能公司） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.LG

Comments Homepage: https://lxysl.github.io/VITA-E/

A Vision-Language Foundation Model for Leaf Disease Identification

Khang Nguyen Quoc, Lan Le Thi Thu, Luyl-Da Quach

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

Interpretable Multimodal Zero-Shot ECG Diagnosis via Structured Clinical Knowledge Alignment

Jialu Tang, Hung Manh Pham, Ignace De Lathauwer, Henk S. Schipper, Yuan Lu, Dong Ma, Aaqib Saeed

机构 * Eindhoven University of Technology（埃因霍温理工大学） ； Singapore Management University（新加坡管理大学） ； Maxima Medical Center（马克斯医疗中心） ； Erasmus Medical Center（埃因霍温医学院） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.LG

Influence Guided Context Selection for Effective Retrieval-Augmented Generation

Jiale Deng, Yanyan Shen, Ziyuan Pei, Youmin Chen, Linpeng Huang

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

SketchMind: A Multi-Agent Cognitive Framework for Assessing Student-Drawn Scientific Sketches

Ehsan Latif, Zirak Khan, Xiaoming Zhai

机构 * AI4STEM Education Center University of Georgia（AI4STEM教育中心乔治亚大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI

Comments Submitted to NeurIPS2025

Nexus: An Omni-Perceptive And -Interactive Model for Language, Audio, And Vision

Che Liu, Yingji Zhang, Dong Zhang, Weijie Zhang, Chenggong Gong, Yu Lu, Shilin Zhou, Ziliang Gan, Ziao Wang, Haipang Wu, Ji Liu, André Freitas, Qifan Wang, Zenglin Xu, Rongjuncheng Zhang, Yong Dai

机构 * Imperial College London（伦敦帝国学院） ； University of Manchester（曼彻斯特大学） ； HiThink Research（HiThink研究院） ； Soochow University（苏州大学） ； Hong Kong Baptist University（香港 Baptist大学） ； Idiap Research Institute（Idiap研究 institute） ； Meta AI ； Fudan University（复旦大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

Comments Project: https://github.com/HiThink-Research/NEXUS-O

ELIP: Enhanced Visual-Language Foundation Models for Image Retrieval

Guanqi Zhan, Yuanpei Liu, Kai Han, Weidi Xie, Andrew Zisserman

机构 * VGG, University of Oxford（牛津大学视觉几何组） ； The University of Hong Kong（香港大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

Comments Accepted by CBMI 2025 (IEEE International Conference on Content-Based Multimedia Indexing)

Scope: Selective Cross-modal Orchestration of Visual Perception Experts

Tianyu Zhang, Suyuchen Wang, Chao Wang, Juan Rodriguez, Ahmed Masry, Xiangru Jian, Yoshua Bengio, Perouz Taslakian

机构 * ServiceNow ； Université de Montréal（蒙特利尔大学） ； École de Technologie Supérieure（高级技术学院） ； University of Waterloo（滑铁卢大学） ； McGill University（麦吉尔大学） ； York University（约克大学） ； CIFAR AI Chair（CIFAR人工智能主席） ； Mila ； Law Zero 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

Comments 14 pages, 2 figures

Elevating Visual Perception in Multimodal LLMs with Visual Embedding Distillation

Jitesh Jain, Zhengyuan Yang, Humphrey Shi, Jianfeng Gao, Jianwei Yang

机构 * Microsoft Research, Redmond（微软研究院（红mond）） ； Meta Superintelligence Labs（Meta超智能实验室） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract)；分类 cs.CV

Comments Project Page: https://praeclarumjj3.github.io/visper_lm/

SCENEFORGE: Enhancing 3D-text alignment with Structured Scene Compositions

Cristian Sbrolli, Matteo Matteucci

机构 * Department of Electronics, Information and Bioengineering（电子、信息与生物工程系） 纠错

专题命中 VLM训练与架构 ：visual question answering(abstract)；分类 cs.CV

Comments to appear in NeurIPS 2025

Unifying Vision-Language Latents for Zero-label Image Caption Enhancement

Sanghyun Byun, Jung Ick Guack, Mohanad Odema, Baisub Lee, Jacob Song, Woo Seong Chung

机构 * LG Electronics USA（LG电子美国公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

Comments Accepted to PMLR and NeurIPS 2025 UniReps

VideoRFT: Incentivizing Video Reasoning Capability in MLLMs via Reinforced Fine-Tuning

Qi Wang, Yanrui Yu, Ye Yuan, Rui Mao, Tianfei Zhou

机构 * Beijing Institute of Technology（北京理工大学） ； Shenzhen University（深圳大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract)；分类 cs.CV

Comments Accepted by NeurIPS 2025. Code: https://github.com/QiWang98/VideoRFT