视觉大模型 / VLM

M$^3$IT: A Large-Scale Dataset towards Multi-Modal Multilingual Instruction Tuning

Lei Li, Yuwei Yin, Shicheng Li, Liang Chen, Peiyi Wang, Shuhuai Ren, Mukai Li, Yazheng Yang, Jingjing Xu, Xu Sun, Lingpeng Kong, Qi Liu

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

Comments Fix dataset url: https://huggingface.co/datasets/MMInstruction/M3IT Project: https://m3-it.github.io/

Prompt Algebra for Task Composition

Pramuditha Perera, Matthew Trager, Luca Zancato, Alessandro Achille, Stefano Soatto

专题命中 VLM训练与架构 ：VLM(abstract)；visual language model(abstract)；分类 cs.CV

CLIP$^2$: Contrastive Language-Image-Point Pretraining from Real-World Point Cloud Data

Yihan Zeng, Chenhan Jiang, Jiageng Mao, Jianhua Han, Chaoqiang Ye, Qingqiu Huang, Dit-Yan Yeung, Zhen Yang, Xiaodan Liang, Hang Xu

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

Comments To appear at CVPR 2023

Teaching CLIP to Count to Ten

Roni Paiss, Ariel Ephrat, Omer Tov, Shiran Zada, Inbar Mosseri, Michal Irani, Tali Dekel

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

Distilled Dual-Encoder Model for Vision-Language Understanding

Zekun Wang, Wenhui Wang, Haichao Zhu, Ming Liu, Bing Qin, Furu Wei

专题命中 VLM训练与架构 ：visual reasoning(abstract)；visual question answering(abstract)；分类 cs.CV

Comments EMNLP 2022

Image as a Foreign Language: BEiT Pretraining for All Vision and Vision-Language Tasks

Wenhui Wang, Hangbo Bao, Li Dong, Johan Bjorck, Zhiliang Peng, Qiang Liu, Kriti Aggarwal, Owais Khan Mohammed, Saksham Singhal, Subhojit Som, Furu Wei

专题命中 VLM训练与架构 ：visual reasoning(abstract)；visual question answering(abstract)；分类 cs.CV

Comments 18 pages

Single-Stream Multi-Level Alignment for Vision-Language Pretraining

Zaid Khan, Vijay Kumar BG, Xiang Yu, Samuel Schulter, Manmohan Chandraker, Yun Fu

专题命中 VLM训练与架构 ：visual question answering(abstract)；grounding(abstract)；分类 cs.CV

Comments ECCV 2022

Improved Baselines with Visual Instruction Tuning

Haotian Liu, Chunyuan Li, Yuheng Li, Yong Jae Lee

专题命中 VLM训练与架构 ：LLaVA(abstract,comments)；分类 cs.CV、cs.AI、cs.LG

Comments Camera ready, CVPR 2024 (highlight). LLaVA project page: https://llava-vl.github.io

Visual Instruction Tuning

Haotian Liu, Chunyuan Li, Qingyang Wu, Yong Jae Lee

专题命中 VLM训练与架构 ：LLaVA(abstract,comments)；分类 cs.CV、cs.AI、cs.LG

Comments NeurIPS 2023 Oral; project page: https://llava-vl.github.io/

Aligning Biomedical Texts and Knowledge Graphs: A Systematic Comparison of Lightweight Alignment Strategies

生物医学文本与知识图谱的对齐：轻量对齐策略的系统比较

Artem Bisliouk, Elizaveta Nosova, Heiko Paulheim, Andreea Iana, Rita T. Sousa

机构 * University of Mannheim（曼海姆大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract,abstract_cn)

AI总结 本研究提出统一框架系统比较生物医学文本与KG的轻量对齐策略，构建CTD-Align语料库，发现三元组组合和训练方向影响最大，线性投影效果最优，为二者桥接提供实用基础。

Comments Accepted at the Third Workshop on Knowledge Graphs and Neurosymbolic AI (KG-NeSy 2026) co-located with ISWC 2026

AI Infrastructure in Space: How Far Can We Go?

太空中的AI基础设施：我们能走多远？

Qing Li, Qiyang Zhang, Daliang Xu, Tianze Huang, Dingge Zhang, Yihao Zhao, Xiaolong Huang, Jinfeng Wen, Xiameng Hu, Tao Qi, Mengwei Xu, Shangguang Wang, Xuanzhe Liu

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)

AI总结 本文针对卫星作为AI计算平台的系统问题，提出太空AI基础设施愿景，结合在轨案例研究验证其可行性，为跨天地的可持续AI服务提供研究方向。

Comments 20 pages, 4 figures

EATR-Stereo: Embodiment-Aware Token Routing of Paired Stereo Evidence for Humanoid Vision-Language-Action Control

EATR-Stereo：面向人形机器人视觉-语言-动作控制的具身感知配对立体证据路由

Songwei Wu, Rui Zhao, Fan Yang, Zhongqiang Nie, Zhiduo Jiang, Wandong Sun, Yuwei Li, Jian Hu, Yang Liu, Hong Liu

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract,abstract_cn)

AI总结 EATR-Stereo是具身感知的令牌路由框架，在冻结预训练VLA模型的前提下，通过选择性路由配对立体证据，提升了人形机器人长时程视觉-语言-动作控制的任务成功率。

Comments 8 pages, 5 figures

Cross-Modal Ultrasound-MRI Learning for Fetal Brain Ventricular Volumetry and Abnormality Screening

用于胎儿脑室体积测量与异常筛查的跨模态超声-MRI学习

Yuhao Huang, Yuanji Zhang, Yuhuan Lu, Dong Ni, P. Ellen Grant, Davood Karimi

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本研究提出跨模态学习框架VIFBA，基于超声视频实现胎儿脑室体积预测、VM严重程度分类及非VM异常筛查，性能优于基线与现有模型，为产前脑筛查提供实用方案。

Comments 17 pages, 11 figures, 6 tables

Remember Smarter: Visual History Compressor and Hyperbolic Experience Space for Robotic Memory

更智能地记忆：用于机器人记忆的视觉历史压缩器与双曲经验空间

Dai Zhou, Jiexi Yan, Tong Li, Yuxuan Wang, Cheng Deng

机构 * Xidian University（西安电子科技大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)

AI总结 该研究提出即插即用模块 RS，通过双分支结构压缩视觉历史并组织经验，适配 pi0 后显著提升机器人任务成功率，在真实机器人实验中表现优异。

Comments 19 pages, 7 pages

Rich-Media Re-Ranker: A User Satisfaction-Driven LLM Re-ranking Framework for Rich-Media Search

多介质重排序：一种基于用户满意度的LLM重排序框架用于多介质搜索

Zihao Guo, Ligang Zhou, Zeyang Tang, Feicheng Li, Ying Nie, Zhiming Peng, Qingyun Sun, Jianxin Li

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)

AI总结 本文提出Rich-Media Re-Ranker框架，通过多维细粒度建模提升用户搜索满意度，整合丰富侧信息和视觉信号，通过多任务强化学习增强系统适应性，实验证明其优于现有方法。

Comments Accepted by the Full Research Track of CIKM-2026

jina-embeddings-v5-omni: Geometry-preserving Embeddings via Locked Aligned Towers

jina-embeddings-v5-omni: 通过锁定对齐塔实现几何保持嵌入

Florian Hönicke, Michael Günther, Andreas Koukounas, Mohammad Kalim Akram, Saba Sturua, Han Xiao

机构 * Jina by Elastic（Jina 由 Elastic 公司） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)

AI总结 本文提出GELATO方法，通过冻结对齐塔实现多模态嵌入，生成统一语义空间，训练效率高且保持文本嵌入一致性。

Comments 11 pages, 9 figures, 5 tables

LLM Agents Can See Code Repositories

LLM智能体能够查看代码仓库

Dongjian Ma, Silin Chen, Yufei Yang, Yuling Shi, Yanfu Yan, Xiaodong Gu

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract_cn)

AI总结 研究多模态大语言模型在仓库级问题解决中利用视觉表示的效果，发现纯视觉方案降低精度，而结合视觉结构图可减少26%输入token并保持或提升精度。

Comments Accepted by ASE 2026. Our code and data are available at https://github.com/cslsolow/SeeRepo

MODUS: Decoder-Only Any-to-Any Modeling of Diverse Modalities

MODUS：仅解码器的多模态任意到任意建模

Mingqiao Ye, Zhaochong An, Zhitong Gao, Xian Liu, François Fleuret, Chuan Li, Amir Zadeh, Serge Belongie, Afshin Dehghan, Jesse Allardice, David Mizrahi, Oğuzhan Fatih Kar, Roman Bachmann, Amir Zamir

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 研究任意到任意多模态建模，提出仅解码器的对称多模态建模方法Modus，无需特定模态组件，支持多种应用，在各基准测试中用单模型展现强大性能且与基线竞争，材料开源。

Comments Accepted at ICML 2026. Project page: https://modus-multimodal.epfl.ch

ReVision : A Post-Hoc, Vision-Based Technique for Replacing Unacceptable Concepts in Image Generation Pipeline

ReVision：一种基于视觉的后处理技术，用于在图像生成管道中替换不可接受的概念

Gurjot Singh, Prabhjot Singh, Aashima Sharma, Maninder Singh, Ryan Ko

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)

AI总结 ReVision是一种无需训练的后处理框架，通过视觉模型检测并替换图像生成中不安全的概念，提升安全性与生成质量。

Measuring Monosemanticity in Sparse Autoencoders via Latent Activation Coherence

通过潜在激活一致性测量稀疏自编码器中的单语义性

Katarzyna Filus, Sebastian Pokuciński

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 该研究针对可解释人工智能中评估稀疏自编码器单语义性的挑战，提出无标签的Tversky单语义性分数（TMS），通过激活集一致性衡量。在多种模型和设置下评估，结果显示TMS受编码器各向异性影响小，能揭示训练动态，还能体现概念删除有效性。

Comments This is a preprint version. A shorter version of this paper has been accepted for presentation and publication in the post-workshop proceedings of the 8th International Workshop on eXplainable Knowledge Discovery in Data Mining (XKDD 2026), co-located with ECML PKDD 2026. The appendix is included only in this preprint and is not part of the peer-reviewed proceedings paper

PrimitiveVLA: Learning Reusable Motion Primitives for Efficient and Generalizable Robotic Manipulation

PrimitiveVLA：学习可复用的运动基元以实现高效且可泛化的机器人操作

Yutai Li, Shaohui Peng, Jiaming Guo, Di Huang, Zihao Zhang, Yuxuan Guo, Yunkai Gao, Siming Lan, Ling Li, Xing Hu, Yunji Chen

机构 * State Key Lab of Processors, Institute of Computing Technology, CAS（处理器国家重点实验室，计算技术研究所，中国科学院） ； Jiangsu Key Laboratory of AI for Industries, Institute of AI for Industries, CAS（江苏人工智能工业重点实验室，人工智能工业研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Cambricon Technologies（寒武科技） ； Intelligent Software Research Center, Institute of Software, CAS（软件研究所智能软件研究中心，中国科学院） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)

AI总结 提出PrimitiveVLA框架，通过将视觉-语言-动作模型从直接指令到控制映射转向以基元为中心的拆解与组装范式，利用多模态规范表示和自动化流水线，提升数据效率并实现零样本泛化。

Move-Then-Operate: Behavioral Phasing for Human-Like Robotic Manipulation

移动-然后-操作：用于类人机器人操作的行为相位

Haoming Xu, Lei Lei, Jie Gu, Chu Tang, Jingmin Chen, Ruiqi Wang

机构 * Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences, Hangzhou, China.（杭州高等研究院，中国科学院大学，中国杭州） ； University of Science and Technology of China, Hefei, China.（中国科学技术大学，中国合肥） ； School of Aritificial intelligence, Institute of Artificial Intelligence, University of Science and Technology Beijing, Beijing, China（人工智能学院，人工智能研究院，北京科技大学，中国北京） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)

AI总结 本文提出Move-Then-Operate框架，将机器人操作分为粗略移动和接触关键交互两个阶段，通过双专家策略提升操作精度与效率。

Comments 15 pages, 10 figures

PhysV2A: Reachability-Gated and Semantic-Mask-Constrained Feasibility Completion for Video-to-Robot Manipulation

PhysV2A：用于视频到机器人操作的可达性门控和语义掩码约束的可行性完成

Haohui Huang, Junda Duan, Tao Teng, Chenguang Yang

机构 * School of Automation, Guangdong University of Technology（广东工业大学自动化学院） ； University of Liverpool（利物浦大学） ； Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算学系） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)

AI总结 研究如何将视频衍生的6D对象运动转换为机器人可执行轨迹，提出PhysV2A框架，通过可达性门控选择和语义掩码约束细化可操作性，经真实机器人实验验证，该框架能提升任务成功率、减少运动可行性失败并产生更好轨迹。

When Structured Sparse Autoencoders Learn Consistent Concepts Across Modalities

当结构化稀疏自编码器跨模态学习一致概念时

Weiduo Liao, Yunqiao Yang, Ying Wei

机构 * Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 研究视觉语言模型中普通稀疏自编码器难以学习模态一致概念的问题，提出结构化稀疏自编码器$S^2AE$，通过图像块分组及结构化稀疏正则化强化概念一致性，经实验验证该方法在语义对齐等方面有提升，能促进跨模态表示更连贯解缠。

DexTele: A Dual-Arm Dexterous Teleoperation System Based on Motion Retargeting and Adaptive Force Control

DexTele：一种基于运动重定向和自适应力控制的双臂灵巧遥操作系统

Yuanchuan Lai, Qing Gao, Ziyan Liang, Xianfeng Cheng, Junjie Hu, Zhaojie Ju

机构 * School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen（人工智能学院，香港中文大学（深圳）） ； School of Computing, University of Portsmouth（计算学院，朴茨茅斯大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 研究针对双臂灵巧遥操作中运动重定向和抓取的挑战，提出DexTele系统，通过视觉运动重定向模块和自适应抓取模块，结合运动图编码器、视觉语言模型等技术，实现多平台精确运动重定向与柔顺抓取。

Selective Test-Time Debiasing for CLIP via Reward Gating

通过奖励门控实现CLIP的选择性测试时去偏

Jaeho Han, Jisoo Yang, Hyeondong Woo, Mingyu Jeon, Sunjae Yoon, Junyeong Kim

机构 * Department of Artificial Intelligence, Chung-Ang University（中央大学人工智能系） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；VLM(abstract_cn)

AI总结 提出基于强化学习的测试时自适应框架RG-TTA，根据输入对偏见的敏感性选择性应用去偏，在减少偏见的同时保持零样本性能。

Comments 15 pages, 7 figures, 11 tables

CoDex: Learning Compositional Dexterous Functional Manipulation without Demonstrations

CoDex: 无需演示学习组合式灵巧功能性操作

Bowen Jiang, William Painter Reger, Roberto Martin-Martin

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)

AI总结 提出零演示框架CoDex，结合视觉语言模型与强化学习，自主发现并执行涉及物体内部机制操控的灵巧操作策略，在多种工具任务中验证了其有效性。

Comments IEEE International Conference on Robotics and Automation (ICRA) 2026. Project page: https://robin-lab.cs.utexas.edu/CoDex/

LOPA: Enhancing Spoken Language Assessment via Latent Ordinal Prototype Alignment

LOPA：通过潜在序数原型对齐增强口语评估

Hong-Yun Lin, Fu-An Chao, Bi-Cheng Yan, Berlin Chen

机构 * National Taiwan Normal University（国立台湾师范大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract_cn)

AI总结 提出LOPA正则化器，在潜在空间施加序数几何先验，结合SALR自适应提取Whisper编码器多层表示，以0.361 RMSE媲美十亿参数系统，无需LLM微调。

Dynamic Parsing and Updating Natural Language Specification using VLMs for Robust Vision-Language Tracking

利用视觉语言模型动态解析和更新自然语言规范以实现鲁棒的视觉语言跟踪

Xiao Wang, Liye Jin, Dan Xu, Yuehang Li, Lan Chen, Yaowei Wang, Yonghong Tian, Jin Tang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳分校） ； Peng Cheng Laboratory, Shenzhen（鹏城实验室深圳分部） ； Shenzhen Graduate School, Peking University（北京大学深圳研究生院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出语言依赖解析机制提取跟踪核心成分，并利用Qwen-VL进行成分感知的文本更新，在多个基准上取得一致优越性能。

Graph-of-Differences: Anatomy-Structured Difference Alignment for Medical Image Re-Identification

差异图：面向医学图像再识别的解剖结构差异对齐

Nichula Wasalathilaka, Abhijit Das, Imran Razzak, Dwarikanath Mahapatra

机构 * Khalifa University（哈利法大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； University of Peradeniya（佩拉德尼亚大学） ； MedOS 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出差异图（GoD）方法，通过解剖图结构对齐进行身份比较，提升医学图像再识别的准确性和可解释性，在眼底和胸部X光数据集上Rank-1分别提升7.1和3.1个百分点。

Journal ref MICCAI 2026