视觉大模型 / VLM

JARVIS: A Just-in-Time Augmented Reality VLM-Powered Instruction System for Cross-Reality Task Guidance

JARVIS：一种基于视觉语言模型的即时增强现实指令系统，用于跨现实任务指导

Yusi Sun, Ying Jiang, Jiayin Lu, Yin yang, Yong-Hong Kuo, Chenfanfu Jiang

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)

AI总结 JARVIS通过视觉语言模型生成上下文相关的分步指导，实现实时状态验证和自适应视觉反馈，提升跨现实任务的可用性、工作负荷、成功率和可视化效果。

Comments 14 pages, 11 figures, 2 tables

Learning Structured Robot Policies from Vision-Language Models via Synthetic Neuro-Symbolic Supervision

通过合成神经符号监督学习结构化机器人策略

Alessandro Adami, Tommaso Tubaldo, Marco Todescato, Ruggero Carli, Pietro Falco

机构 * University of Padova, Dept. of Information Engineering（帕多瓦大学信息工程系） ； Fraunhofer Italia Research（弗劳恩霍夫意大利研究所） ； Polytechnic of Bari Dept. of Electrical and Information Engineering（巴里理工学院电气与信息工程系） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)

AI总结 本文提出通过合成神经符号监督方法，利用视觉语言模型生成结构化机器人策略，结合多模态感知与符号控制，实现高维学习与符号控制的结合。

WeatherSyn: An Instruction Tuning MLLM For Weather Forecasting Report Generation

WeatherSyn: 一种用于天气预报报告生成的指令微调MLLM

Zinan Zheng, Yang Liu, Nuo Chen, Juepeng Zheng, Hong Cheng, Jia Li

机构 * Hong Kong University of Science（香港科学大学） ； HY Foundation Model Team, Tencent（腾讯HY基础模型团队） ； The Chinese University of Hong Kong（香港中文大学） ； Sun Yat-Sen University（中山大学） ； National Supercomputing Center in Shenzhen（深圳国家超算中心） 纠错

专题命中 VLM训练与架构 ：MLLM(title,title_cn)；multimodal large language model(abstract)

AI总结 本文提出WeatherForecastingReport任务，构建首个指令微调数据集，开发首个专为生成天气预报报告设计的模型，验证其在多地区和多天气方面的优越性能。

Comments ICML 2026

Cross-Modal Backdoors in Multimodal Large Language Models

多模态模型中的跨模态后门

Runhe Wang, Li Bai, Haibo Hu, Songze Li

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)

AI总结 研究提出一种利用轻量级连接器漏洞的跨模态后门攻击，通过污染连接器实现跨模态后门激活，展示攻击的有效性和可迁移性，揭示多模态对齐中的基本漏洞。

Believing without Seeing: Quality Scores for Contextualizing Vision-Language Model Explanations

相信而不看：为视觉语言模型解释提供质量评分

Keyu He, Tejas Srinivasan, Brihi Joshi, Xiang Ren, Jesse Thomason, Swabha Swayamdipta

机构 * University of Southern California（南加州大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)

AI总结 本文提出通过两种质量评分函数评估视觉语言模型解释的视觉忠实度和对比性，以减少对模型预测的过度依赖，实验显示质量评分能显著提升用户判断准确性。

GaLa: Hypergraph-Guided Visual Language Models for Procedural Planning

GaLa：基于超图的视觉语言模型用于程序规划

Kun Wang, Yiming Li, Mingcheng Qu, Aqiang Zhang, Guang Yang, Tonghua Su

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳）） ； Chongqing Research Institute of HIT（重庆哈尔滨工业大学研究院） 纠错

专题命中 VLM训练与架构 ：visual language model(title)；VLM(abstract,abstract_cn)；vision language model(abstract)

AI总结 GaLa通过超图表示学习，有效捕捉物体间的隐含语义关系和功能区域的层次结构，提升多模态程序规划的性能。

Comments 14pages, 7figures

Journal ref ACL 2026(Findings)

Small Vision-Language Models are Smart Compressors for Long Video Understanding

小视觉-语言模型是长视频理解的智能压缩器

Junjie Fei, Jun Chen, Zechun Liu, Yunyang Xiong, Chong Zhou, Wei Wen, Junlin Han, Mingchen Zhuge, Saksham Suri, Qi Qian, Shuming Liu, Lemeng Wu, Raghuraman Krishnamoorthi, Vikas Chandra, Mohamed Elhoseiny, Chenchen Zhu

机构 * Meta AI ； King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出Tempo框架，利用小视觉-语言模型压缩长视频，通过自适应令牌分配实现高效压缩，实验显示其在极端长视频任务中表现优异。

Comments Project page and demo are available at https://FeiElysia.github.io/tempo-page/

DSCA: Dynamic Subspace Concept Alignment for Lifelong VLM Editing

DSCA: 动态子空间概念对齐用于终身视觉语言模型编辑

Gyanendra Das, Sai Satyam Jena

机构 * Zynix AI, FL, USA（Zynix AI（美国佛罗里达州）） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 DSCA通过动态子空间对齐技术，在视觉语言模型中实现精准非干扰编辑，提升终身学习的稳定性与知识保留能力。

Comments Accepted at CVPR 2026

Sim-CLIP: Unsupervised Siamese Adversarial Fine-Tuning for Robust and Semantically-Rich Vision-Language Models

Sim-CLIP: 无监督的孪生对抗微调用于鲁棒且语义丰富的视觉-语言模型

Md Zarif Hossain, Ahmed Imteaj

机构 * Florida Atlantic University（佛罗里达大西洋大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 Sim-CLIP通过无监督对抗微调提升CLIP视觉编码器的鲁棒性，同时保持语义表示。采用孪生架构和余弦相似度目标，避免大批次对比学习和额外动量编码器，实现低计算开销的鲁棒训练。

Comments Accepted at IJCNN 2026

VisionZip: Longer is Better but Not Necessary in Vision Language Models

VisionZip: 更长并非必要，但在视觉语言模型中更优

Senqiao Yang, Yukang Chen, Zhuotao Tian, Chengyao Wang, Jingyao Li, Bei Yu, Jiaya Jia

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出VisionZip方法，通过选择信息性视觉token提升效率并保持性能，实验显示在多种设置下性能提升至少5%，同时显著加快推理速度。

Comments Code: https://github.com/dvlab-research/VisionZip

From Pixels to Predicates: Learning Symbolic World Models via Pretrained Vision-Language Models

从像素到谓词：通过预训练视觉-语言模型学习符号世界模型

Ashay Athalye, Nishanth Kumar, Tom Silver, Yichao Liang, Jiuguang Wang, Tomás Lozano-Pérez, Leslie Pack Kaelbling

机构 * MIT（麻省理工学院） ； Princeton University（普林斯顿大学） ； University of Cambridge（剑桥大学） ； RAI Institute（RAI研究院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 通过预训练视觉-语言模型学习符号世界模型，以实现复杂机器人领域中长周期决策制定的零样本泛化。

Comments A version of this paper appears in the official proceedings of RA-L, Volume 11, Issue 4

MOON: Generative MLLM-based Multimodal Representation Learning for E-commerce Product Understanding

MOON: 基于生成式多模态大语言模型的电商产品理解多模态表示学习

Daoze Zhang, Chenghan Fu, Zhanheng Nie, Jianyu Liu, Wanxian Guan, Yuan Gao, Jun Song, Pengjie Wang, Jian Xu, Bo Zheng

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 VLM训练与架构 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 MOON通过生成式多模态大语言模型改进电商产品理解的多模态表示学习，引入引导的MoE模块、核心语义区域检测和负采样策略，提升零样本性能和泛化能力。

Comments Accepted by WSDM 2026 (oral). 11 pages, 9 figures

Dual-Signal Adaptive KV-Cache Optimization for Long-Form Video Understanding in Vision-Language Models

双信号自适应KV缓存优化用于视觉-语言模型中长形式视频理解

Vishnu Sai, Dheeraj Sai, Srinath B, Girish Varma, Priyesh Shukla

机构 * International Institute of Information Technology（国际信息研究所） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 Sali-Cache通过双信号自适应缓存优化，提升视觉-语言模型处理长形式视频的内存效率与准确性。

Steering to Say No: Configurable Refusal via Activation Steering in Vision Language Models

转向说不：通过激活转向实现可配置拒绝在视觉语言模型中

Jiaxi Yang, Shicheng Liu, Yuchen Yang, Dongwon Lee

机构 * The Pennsylvania State University, USA（宾夕法尼亚州立大学） 纠错

专题命中 VLM训练与架构 ：vision language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出CR-VLM，通过激活转向实现视觉语言模型中的可配置拒绝，解决现有拒绝策略无法适应多样化需求的问题，提升模型的安全性和适应性。

SLAM-LLM: A Modular, Open-Source Multimodal Large Language Model Framework and Best Practice for Speech, Language, Audio and Music Processing

SLAM-LLM: 一种模块化、开源的多模态大语言模型框架及语音、语言、音频和音乐处理的最佳实践

Ziyang Ma, Guanrou Yang, Wenxi Chen, Zhifu Gao, Yexing Du, Xiquan Li, Zhisheng Zheng, Haina Zhu, Jianheng Zhuo, Zheshu Song, Ruiyang Xu, Tiranrui Wang, Yifan Yang, Yanqiao Zhu, Zhikang Niu, Liumeng Xue, Yinghao Ma, Ruibin Yuan, Shiliang Zhang, Kai Yu, Eng Siong Chng, Xie Chen

机构 * X-LANCE Lab, School of Computer Science, MoE Key Lab of Artificial Intelligence Shanghai Jiao Tong University（X-LANCE实验室，计算机科学学院，人工智能教育部重点实验室，上海交通大学） ； Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团） ； Peng Cheng Laboratory（鹏城实验室） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Tianjin University（天津大学） ； Hong Kong University of Science and Technology（香港科学大学） ； Queen Mary University of London（伦敦玛丽女王大学） ； Nanyang Technological University（南洋理工大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；LLaVA(abstract)；MLLM(abstract)

AI总结 SLAM-LLM是一种开源多模态大语言模型框架，专注于语音、语言、音频和音乐处理，提供模块化配置和高性能检查点以加速研究开发。

Comments Published in IEEE Journal of Selected Topics in Signal Processing (JSTSP)

Focus: A Streaming Concentration Architecture for Efficient Vision-Language Models

聚焦：一种高效的视觉-语言模型流式集中架构

Chiyue Wei, Cong Guo, Junyao Zhang, Haoxuan Shan, Yifan Xu, Ziyue Zhang, Yudong Liu, Qinsi Wang, Changchun Zhou, Hai "Helen" Li, Yiran Chen

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；visual question answering(abstract)

AI总结 Focus提出了一种高效的视觉-语言模型流式集中架构，通过分层压缩和细粒度冗余消除，实现2.4倍速度提升和3.3倍能效提升。

Comments HPCA 2026

Adapting Vision-Language Models for Evaluating World Models

为世界模型评估适应视觉-语言模型

Mariya Hendriksen, Tabish Rashid, David Bignell, Raluca Georgescu, Abdelhak Lemkhenter, Katja Hofmann, Sam Devlin, Sarah Parisot

机构 * University of Oxford（牛津大学） ； Microsoft Research（微软研究院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出UNIVERSE，一种基于视觉-语言模型的视频世界模型评估器，通过适应不同任务格式和数据约束，实现了细粒度、时间敏感的评估，与任务特定检查点性能相当，并在多种环境中验证了其与人类判断的一致性。

Comments NeurIPS LAW 2025 (Oral)

UniFusion: Vision-Language Model as Unified Encoder in Image Generation

Kevin Li, Manuel Brack, Sudeep Katakol, Hareesh Ravi, Ajinkya Kale

机构 * Adobe Applied Research（Adobe应用研究） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Project page at https://thekevinli.github.io/unifusion/

Simple yet Effective Semi-supervised Knowledge Distillation from Vision-Language Models via Dual-Head Optimization

Seongjae Kang, Dong Bok Lee, Hyungjoon Jang, Sung Ju Hwang

机构 * VUNO Inc.（VUNO公司） ； KAIST（韩国科学技术院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 38 pages, 17 figures, preprint

VLM Agents Generate Their Own Memories: Distilling Experience into Embodied Programs of Thought

Gabriel Sarch, Lawrence Jang, Michael J. Tarr, William W. Cohen, Kenneth Marino, Katerina Fragkiadaki

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Project website: https://ical-learning.github.io/

Generalized User-Oriented Image Semantic Coding Empowered by Large Vision-Language Model

Sin-Yu Huang, Vincent W. S. Wong

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；LLaVA(abstract)

Comments Accepted by IEEE Global Communications Conference (GLOBECOM), Taipei, Taiwan, Dec. 2025

Fine-Tuning Vision-Language Models for Neutrino Event Analysis in High-Energy Physics Experiments

Dikshant Sagar, Kaiwen Yu, Alejandro Yankelevich, Jianming Bian, Pierre Baldi

机构 * Department of Computer Science University of California, Irvine（计算机科学系加州大学伊文斯顿分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Fine-Tuning Vision-Language Models for Markdown Conversion of Financial Tables in Malaysian Audited Financial Reports

Jin Khye Tan, En Jun Choong, Ethan Jeremiah Chitty, Yan Pheng Choo, John Hsin Yang Wong, Chern Eu Cheah

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 28 pages, 14 figures, 5 tables. Evaluation code (LLM-as-a-judge and Markdown TEDS) is available at https://github.com/jinkhye/MyFinMarkdown. The development dataset and evaluation benchmark are available on Hugging Face at https://huggingface.co/datasets/jinkhye/MyFinMarkdown-sample and https://huggingface.co/datasets/jinkhye/MyFinMarkdown-bench respectively

Adapting Vision-Language Models Without Labels: A Comprehensive Survey

Hao Dong, Lijun Sheng, Jian Liang, Ran He, Eleni Chatzi, Olga Fink

机构 * ETH Zürich（苏黎世联邦理工学院） ； University of Science and Technology of China（中国科学技术大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； EPFL（苏黎世联邦理工学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Discussions, comments, and questions are welcome in \url{https://github.com/tim-learn/Awesome-LabelFree-VLMs}

Visual Language Models as Zero-Shot Deepfake Detectors

Viacheslav Pirogov

专题命中 VLM训练与架构 ：visual language model(title)；vision language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted to the ICML 2025 Workshop on Reliable and Responsible Foundation Models

Invisible Injections: Exploiting Vision-Language Models Through Steganographic Prompt Embedding

Chetan Pathade

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；LLaVA(abstract)

Comments 14 Pages

VisionThink: Smart and Efficient Vision Language Model via Reinforcement Learning

Senqiao Yang, Junyi Li, Xin Lai, Bei Yu, Hengshuang Zhao, Jiaya Jia

机构 * CUHK（香港中文大学） ； HKU（香港大学） ； HKUST（香港科技大学） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Code and models are available at https://github.com/dvlab-research/VisionThink

Symmetrical Visual Contrastive Optimization: Aligning Vision-Language Models with Minimal Contrastive Images

Shengguang Wu, Fan-Yun Sun, Kaiyue Wen, Nick Haber

机构 * Stanford University（斯坦福大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted to ACL 2025 Main. Project Website: https://s-vco.github.io/

PerSRV: Personalized Sticker Retrieval with Vision-Language Model

Heng Er Metilda Chee, Jiayin Wang, Zhiqiang Guo, Weizhi Ma, Min Zhang

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；LLaVA(abstract)

Comments Accepted at WWW '25

Spatial-LLaVA: Enhancing Large Language Models with Spatial Referring Expressions for Visual Understanding

Xuefei Sun, Doncey Albin, Cecilia Mauceri, Dusty Woods, Christoffer Heckman

机构 * Autonomous Robotics and Perception Group in the Computer Science Department at the University of Colorado Boulder（科罗拉多大学波德分校计算机科学系自主机器人与感知小组） 纠错

专题命中 VLM训练与架构 ：LLaVA(title,abstract)；multimodal large language model(abstract)；MLLM(abstract)