视觉大模型 / VLM

MM-LIMA: Less Is More for Alignment in Multi-Modal Datasets

MM-LIMA：多模态数据集对齐中的‘少即是多’

Lai Wei, Xiaozhe Li, Zihao Jiang, Weiran Huang, Lichao Sun

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与工程学院） ； Shanghai Innovation Institute（上海创新研究院） ； Lehigh University（里海大学） ； Tongji University（同济大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出MM-LIMA，仅用200个示例（约6%的指令数据）训练，通过数据选择器过滤低质量数据，使模型在多项评估中超越MiniGPT-4，证明高质量少量指令数据的有效性。

Comments Published at Artificial Intelligence for Engineering

Mosaic: Cross-Modal Clustering for Efficient Video Understanding

Mosaic：用于高效视频理解的跨模态聚类

Tuowei Wang, He Zhou, Chengru Song, Qiushi Li, Ju Ren

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 Mosaic是首个针对流式长视频理解的跨模态聚类驱动VLM推理系统，通过优化KVCache管理实现1.38倍速度提升。

BiCLIP: Domain Canonicalization via Structured Geometric Transformation

BiCLIP：通过结构几何变换实现领域规范化

Pranav Mantini, Shishir K. Shah

机构 * University of Houston（休斯顿大学） ； The University of Oklahoma（俄克拉荷马大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 BiCLIP通过结构几何变换提升跨模态对齐，利用少量锚点样本实现领域规范化，实验表明其在11个基准测试中均取得最优性能。

Comments Accepted at Domain Generalization: Evolution, Breakthroughs, and Future Horizons Workshop at CVPR 2026

InfoTok: Information-Theoretic Regularization for Capacity-Constrained Shared Visual Tokenization in Unified MLLMs

InfoTok: 基于信息理论的容量受限共享视觉标记化在统一多模态大语言模型中的应用

Lv Tang, Tianyi Zheng, Bo Li, Xingyu Li

机构 * University of Alberta（阿尔伯塔大学） ； vivo Mobile Communication Co., Ltd（维沃移动通信有限公司） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出InfoTok，一种基于信息瓶颈原理的信息正则化标记化机制，通过互信息约束平衡压缩与任务相关性，提升统一多模态大语言模型的图像理解和生成性能。

LVRPO: Language-Visual Alignment with GRPO for Multimodal Understanding and Generation

LVRPO：基于GRPO的语言-视觉对齐用于多模态理解和生成

Shentong Mo, Sukmin Yun

机构 * Department of Machine Learning, CMU, USA（卡内基梅隆大学机器学习系，美国） ； Department of Machine Learning, MBZUAI, UAE（穆罕默德·本·扎耶德人工智能大学机器学习系，阿联酋） ； Department of Artificial Intelligence, Hanyang University ERICA, South Korea（汉阳大学ERICA校区人工智能系，韩国） 纠错

专题命中 VLM训练与架构 ：visual reasoning(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出LVRPO框架，通过GRPO显式对齐语言和视觉表示，提升多模态理解和生成性能，无需辅助编码器或人工目标。

E0: Enhancing Generalization and Fine-Grained Control in VLA Models via Tweedie Discrete Diffusion

E0: 通过 Tweedie 离散扩散增强 VLA 模型的泛化能力与细粒度控制

Zhihao Zhan, Jiaying Zhou, Likui Zhang, Qinhan Lv, Hao Liu, Jusheng Zhang, Weizheng Li, Ziliang Chen, Tianshui Chen, Ruifeng Zhai, Keze Wang, Liang Lin, Guangrun Wang

机构 * Sun Yat-sen University（中山大学） ； Guangdong Key Laboratory of Big Data Analysis（广东大数据分析与处理重点实验室） ； X-Era AI Lab（X-Era人工智能实验室） ； Guangdong University of Technology（广东工业大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出 E0 框架，通过离散扩散方法提升 VLA 模型在多任务和多视角下的泛化能力，并实现精细可控的动作生成。

AdaptPNP: Integrating Prehensile and Non-Prehensile Skills for Adaptive Robotic Manipulation

AdaptPNP: 集成抓取与非抓取技能以实现适应性机器人操控

Jinxuan Zhu, Chenrui Tie, Xinyi Cao, Yuran Wang, Jingxiang Guo, Zixuan Chen, Haonan Chen, Junting Chen, Yangyu Xiao, Ruihai Wu, Lin Shao

机构 * School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； RoboScience（机器人科学） ； East China Normal University（华东师范大学） ； Peking University（北京大学） ； Nanjing University（南京大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 本文提出AdaptPNP框架，通过视觉-语言模型整合抓取与非抓取技能，实现复杂机器人操控任务的规划与执行。

Journal ref ICRA 2026

Unified Spatio-Temporal Token Scoring for Efficient Video VLMs

统一的空间时间令牌评分用于高效的视频视觉-语言模型

Jianrui Zhang, Yue Yang, Rohun Tripathi, Winson Han, Ranjay Krishna, Christopher Clark, Yong Jae Lee, Sangho Lee

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Allen Institute for AI（人工智能研究所） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出STTS，一种高效的统一空间时间令牌评分方法，通过辅助损失和LLM下游梯度学习，在不依赖文本条件或令牌合并的情况下，对视频中50%的视觉令牌进行修剪，提升训练和推理效率62%，性能下降仅0.7%。

Concept-Guided Fine-Tuning: Steering ViTs away from Spurious Correlations to Improve Robustness

基于概念引导的微调：引导ViT远离虚假相关性以提高鲁棒性

Yehonatan Elisha, Oren Barkan, Noam Koenigstein

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出一种引导模型推理至概念层面语义的微调框架，通过优化内部相关性映射对齐空间 grounded 的概念掩码，提升模型在分布偏移下的鲁棒性。

Comments CVPR 2026 ; Project page: https://yonisgit.github.io/concept-ft/

Towards Efficient Medical Reasoning with Minimal Fine-Tuning Data

面向最少微调数据的高效医疗推理

Xinlin Zhuang, Feilong Tang, Haolin Yang, Xiwei Liu, Ming Hu, Huifa Li, Haochen Xue, Junjun He, Zongyuan Ge, Yichen Li, Ying Qian, Imran Razzak

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 本文提出DIQ数据选择策略，通过平衡难度与梯度影响，提升医疗推理效率，实验证明仅用1%数据即可达到全数据表现，10%数据优于基线方法。

Comments Accepted by CVPR 2026

GUIDES: Guidance Using Instructor-Distilled Embeddings for Pre-trained Robot Policy Enhancement

GUIDES: 利用教师蒸馏嵌入进行预训练机器人策略增强

Minquan Gao, Xinyi Li, Qing Yan, Xiaojian Sun, Xiaopan Zhang, Chien-Ming Huang, Jiachen Li

机构 * University of California, Riverside（加州大学河滨分校） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 GUIDES通过教师蒸馏嵌入提升预训练机器人策略，实现语义增强与高效升级

Comments IEEE International Conference on Robotics and Automation (ICRA 2026)

RubiCap: Rubric-Guided Reinforcement Learning for Dense Image Captioning

RubiCap：基于评分标准的强化学习用于密集图像描述

Tzu-Heng Huang, Sirajul Salekin, Javier Movellan, Frederic Sala, Manjot Bilkhu

机构 * Apple（苹果公司） ； University of Wisconsin—Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 RubiCap通过基于评分标准的强化学习方法，在密集图像描述任务中实现了更高的胜率和词效，优于监督蒸馏和传统RL方法。

CDE: Concept-Driven Exploration for Reinforcement Learning

CDE：基于概念的强化学习探索

Le Mao, Andrew H. Liu, Renos Zabounidis, Yanan Niu, Zachary Kingston, Joseph Campbell

机构 * Department of Electrical and Computer Engineering, Purdue University（电子工程系，普渡大学） ； Department of Computer Science, Purdue University（计算机科学系，普渡大学） ； Robotics Institute, Carnegie Mellon University（机器人研究所，卡内基梅隆大学） ； Department of Management of Technology, EPFL（技术管理系，瑞士联邦理工学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 CDE通过利用预训练视觉-语言模型生成任务相关的视觉概念，提升强化学习中视觉任务的探索效率和鲁棒性。

Comments Preprint

ActivePose: Active 6D Object Pose Estimation and Tracking for Robotic Manipulation

ActivePose: 用于机器人操作的主动6D物体姿态估计与跟踪

Sheng Liu, Zhe Li, Weiheng Wang, Han Sun, Heng Zhang, Hongpeng Chen, Yusen Qin, Arash Ajoudani, Yizhao Wang

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； Istituto Italiano di Tecnologia（意大利理工学院） ； The Hong Kong Polytechnic University（香港理工大学） ； D-Robotics（D-机器人） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 ActivePose通过结合视觉-语言模型与机器人想象力，实现主动6D物体姿态估计与跟踪，提升机器人操作的可靠性。

Comments 6D Pose, Diffusion Policy, Robot Learning

Critic in the Loop: A Tri-System VLA Framework for Robust Long-Horizon Manipulation

循环批评者：一种三系统VLA框架用于鲁棒的长周期操控

Pengfei Yi, Yingjie Ma, Wenjiang Xu, Yanan Hao, Shuai Gan, Wanting Li, Shanlin Zhong

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； the School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 循环批评者提出了一种三系统VLA框架，通过动态调度VLM和VLA实现鲁棒的长周期操控，提升系统在分布外场景的自主性和鲁棒性。

Topological Alignment of Shared Vision-Language Embedding Space

共享视觉-语言嵌入空间的拓扑对齐

Junwon You, Dasol Kang, Jae-Hun Jung

机构 * Department of Mathematics, POSTECH（POSTECH数学系） ； BootCamp, Google（Google BootCamp） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 ToMCLIP通过拓扑对齐方法提升多语言视觉-语言模型的结构一致性和零样本性能

Comments 27 pages, 5 figures, 24 tables

Scalable Multilingual Multimodal Machine Translation with Speech-Text Fusion

可扩展的多语言多模态机器翻译与语音-文本融合

Yexing Du, Youcheng Pan, Zekun Wang, Zheng Chu, Yichong Huang, Kaiyuan Liu, Bo Yang, Yang Xiang, Ming Liu, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)

AI总结 本文提出一种语音引导的机器翻译框架，通过融合语音和文本提升多语言翻译性能，并在多个基准上取得新突破。

Comments Accepted in ICLR 2026

SFCo-Nav: Efficient Zero-Shot Visual Language Navigation via Collaboration of Slow LLM and Fast Attributed Graph Alignment

SFCo-Nav: 通过慢LLM与快速属性图对齐的协作实现高效的零样本视觉语言导航

Chaoran Xiong, Litao Wei, Xinhao Hu, Kehui Ma, Ziyi Xia, Zixin Jiang, Zhen Sun, Ling Pei

机构 * Shanghai Key Laboratory of Navigation and Location Based Services, Shanghai Jiao Tong University（上海导航与位置基于服务重点实验室，上海交通大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 SFCo-Nav通过慢LLM与快速属性图对齐的协作，实现了高效的零样本视觉语言导航，显著提升效率并降低计算成本。

Comments Accepted by 2026 IEEE International Conference on Robotics and Automation (ICRA)

DragFlow: Unleashing DiT Priors with Region Based Supervision for Drag Editing

DragFlow: 通过基于区域的监督释放DiT先验以实现拖拽编辑

Zihan Zhou, Shilin Lu, Shuli Leng, Shaocong Zhang, Zhuming Lian, Xinlei Yu, Adams Wai-Kin Kong

机构 * Nanyang Technological University（南洋理工大学） ； National University of Singapore（国立新加坡大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 DragFlow通过基于区域的监督利用FLUX先验，改进基于拖拽的图像编辑效果，实现对点式和区域式基线的超越。

Comments Accepted by ICLR 2026

Communication-Inspired Tokenization for Structured Image Representations

受通信启发的结构化图像表示分词

Aram Davtyan, Yusuf Sahin, Yasaman Haghighi, Sebastian Stapf, Pablo Acuaviva, Alexandre Alahi, Paolo Favaro

机构 * Computer Vision Group, University of Bern, Switzerland（伯恩大学计算机视觉组） ； VITA Lab, EPFL, Switzerland（苏黎世联邦理工学院VITA实验室） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 COMiT通过受通信启发的分词框架，学习结构化离散视觉分词序列，提升图像重建和语义理解能力。

Comments Project website: https://araachie.github.io/comit/

When Digital Twins Meet Large Language Models: Realistic, Interactive, and Editable Simulation for Autonomous Driving

当数字孪生遇见大语言模型：用于自动驾驶的逼真、交互和可编辑的模拟

Tanmay Vilas Samak, Chinmay Vilas Samak, Bing Li, Venkat Krovi

机构 * Department of Automotive Engineering, Clemson University International Center for Automotive Research (CU-ICAR)（汽车工程系，克莱姆森大学国际汽车研究中心（CU-ICAR）） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；VLM(abstract)

AI总结 本文提出结合数字孪生与大语言模型的框架，实现自动驾驶场景的逼真、交互和可编辑模拟，提升自动驾驶研究的效率和真实性。

Comments Accepted in IEEE Robotics & Automation Magazine (RAM)

A Contrastive Learning Framework Empowered by Attention-based Feature Adaptation for Street-View Image Classification

一种由基于注意力的特征适应增强的对比学习框架用于街景图像分类

Qi You, Yitai Cheng, Zichao Zeng, James Haworth

机构 * SpaceTimeLab（时空实验室） ； University College London（伦敦大学学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 CLIP-MHAdapter通过引入基于注意力的特征适应机制，提升街景图像属性分类的准确性和效率

DeCo: Task Decomposition and Skill Composition for Zero-Shot Generalization in Long-Horizon 3D Manipulation

DeCo：用于长周期3D操作零样本泛化任务分解与技能组合

Zixuan Chen, Junhui Yin, Yangtao Chen, Jing Huo, Pinzhuo Tian, Jieqi Shi, Yiwen Hou, Yinchuan Li, Yang Gao

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； Huawei Noah’s Ark Lab (AI Lab), China（华为诺亚实验室（AI实验室）） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 DeCo通过任务分解与技能组合提升长周期3D操作任务的零样本泛化能力，显著提高多个模型在新任务上的成功率。

Comments RAL 2026

FlashVID: Efficient Video Large Language Models via Training-free Tree-based Spatiotemporal Token Merging

FlashVID: 通过无训练树状时空标记合并实现高效的视频大语言模型

Ziyang Fan, Keyu Chen, Ruilong Xing, Yulin Li, Li Jiang, Zhuotao Tian

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 FlashVID通过无训练的树状时空标记合并技术，在保留99.1%性能的情况下将视频帧输入提升10倍，实现高效视频大语言模型加速。

Comments Accepted by ICLR 2026 (Oral)

Toward Vision-Language Assistants for Radio Astronomical Source Analysis

迈向射电天文源分析的视觉-语言助手

S. Riggi

专题命中 VLM训练与架构 ：vision-language model(abstract)；LLaVA(abstract)

AI总结 本文提出radio-llava，一种针对射电天文的视觉-语言助手，通过指令微调提升多任务性能，但发现专用视觉模型仍更优，且微调导致通用任务性能下降。

Comments 5 pages, 3 figures, Proceedings IAU Symposium No. 397, 2025

Lan-grasp: Using Large Language Models for Semantic Object Grasping and Placement

Lan-grasp：利用大语言模型进行语义物体抓取与放置

Reihaneh Mirjalili, Michael Krawez, Yannik Blei, Simone Silenzi, Florian Walter, Wolfram Burgard

机构 * Department of Computer Science and Artificial Intelligence, University of Technology Nuremberg（计算机科学与人工智能系，图恩技术大学） ； Department of Engineering ``Enzo Ferrari'' (DIEF), University of Modena and Reggio Emilia（恩佐·费尔拉蒂工程系（DIEF），摩德纳和雷吉奥艾米利亚大学） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 Lan-grasp利用大语言模型实现更精确的语义抓取与放置，通过结合多种模型提升抓取效果和安全性。

Making Videos Accessible for Blind and Low Vision Users Using a Multimodal Agent Video Player

通过多模态代理视频播放器使视频对视障和低视力用户更加可访问

Adriana Olmos, Anoop K. Sinha, Renelito Delos Santos, Ruben Rodriguez Rodriguez, James A. Landay, Sam S. Sepah, Philip Nelson, Shaun K. Kane

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)

AI总结 本文提出一种多模态代理视频播放器，通过多层提示编排为视障和低视力用户带来交互式、可访问的视频体验，增强用户自主性和信任感。

ADx3: A Collaborative Workflow for High-Quality Accessible Audio Description

ADx3：高质量可及音频描述的协作流程

Lana Do, Shasta Ihorn, Charity Pitcher-Cooper, Juvenal Francisco Barajas, Gio Jung, Xuan Duy Anh Nguyen, Sanjay Mirani, Ilmi Yoon

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 ADx3通过整合GenAD、RefineAD和AdaptAD模块，实现高质量可及音频描述的协作流程，提升描述质量和用户交互体验。

A Structured Framework for Evaluating and Enhancing Interpretive Capabilities of Multimodal LLMs in Culturally Situated Tasks

一种评估和增强多模态大语言模型在文化情境任务中解释能力的结构框架

Haorui Yu, Ramon Ruiz-Dolz, Qiufeng Yi

机构 * DJCAD, University of Dundee, United Kingdom（邓迪大学DJCAD部门） ； ARG-tech, SSEN, University of Dundee, United Kingdom（邓迪大学） ； School of Computer Science, University of Birmingham, United Kingdom（伯明翰大学计算机科学学院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；visual language model(abstract)

AI总结 本研究提出了一种结构框架，用于评估和增强多模态大语言模型在文化情境任务中生成中国绘画批评的能力，通过量化评价特征和人设引导提示，揭示了VLMs在艺术批评领域的表现与局限。

Comments EMNLP 2025 submission, 10 pages, 6 figures, 5 tables

Journal ref Findings of the Association for Computational Linguistics: EMNLP 2025, pages 1945-1971, Suzhou, China

MIDI-LLaMA: An Instruction-Following Multimodal LLM for Symbolic Music Understanding

MIDI-LLaMA：一种用于符号音乐理解的指令遵循多模态大语言模型

Meng Yang, Jon McCormack, Maria Teresa Llano, Wanchao Su, Chao Lei

机构 * SensiLab, Monash University, Australia（Monash大学） ； University of Sussex, Brighton, United Kingdom（Sussex大学） ； School of Computing and Information Systems, The University of Melbourne, Australia（墨尔本大学计算机与信息系统学院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)

AI总结 MIDI-LLaMA通过结合MusicBERT和Llama-3-8B，实现了对符号音乐的指令遵循理解，显著提升了音乐描述和语义对齐能力。

Comments Accepted for publication at International Conference on Acoustics, Speech, and Signal Processing (ICASSP) 2026