VLA / 视觉-语言-动作模型

SwiftVLA: Unlocking Spatiotemporal Dynamics for Lightweight VLA Models at Minimal Overhead

SwiftVLA: 解锁轻量VLA模型的时空动态以最小的开销

Chaojun Ni, Cheng Chen, Xiaofeng Wang, Zheng Zhu, Wenzhao Zheng, Boyuan Wang, Tianrun Chen, Guosheng Zhao, Haoyun Li, Zhehao Dong, Qiang Zhang, Yun Ye, Yang Wang, Guan Huang, Wenjun Mei

机构 * GigaAI ； Peking University（北京大学） ； Moxin (Huzhou) Technology Co., Ltd.（摩西（湖州）科技有限公司） ； Tsinghua University（清华大学） ； X-Humanoid Project（X-人形项目） 纠错

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.CV

AI总结 SwiftVLA通过4D视觉几何Transformer和Fusion Tokens提升轻量VLA模型的时空推理能力，实现高效且性能优异的视觉-语言-动作处理。

Percept-WAM: Perception-Enhanced World-Awareness-Action Model for Robust End-to-End Autonomous Driving

Percept-WAM：感知增强的环境感知-行动模型用于鲁棒的端到端自动驾驶

Jianhua Han, Meng Tian, Jiangtong Zhu, Fan He, Huixin Zhang, Sitong Guo, Dechang Zhu, Hao Tang, Pei Xu, Yuze Guo, Minzhe Niu, Haojie Zhu, Qichao Dong, Xuechao Yan, Siyuan Dong, Lu Hou, Qingqiu Huang, Xiaosong Jia, Hang Xu

机构 * Yinwang Intelligent Technology Co. Ltd.（亿网通智能科技有限公司） ； Fudan University（复旦大学） 纠错

专题命中 VLA模型 ：action model(title,abstract)；VLA(abstract)；分类 cs.RO、cs.CV

AI总结 Percept-WAM通过整合2D/3D场景理解能力，提升自动驾驶的感知与行动决策，实现端到端鲁棒性能。

KV-Efficient VLA: A Method to Speed up Vision Language Models with RNN-Gated Chunked KV Cache

KV-Efficient VLA: 一种加速视觉语言模型的方法通过RNN门控分块KV缓存

Wanshun Xu, Long Zhuang, Lianlei Shan

机构 * University of Toronto（多伦多大学） ； Tsinghua University（清华大学） 纠错

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.CV、cs.AI

AI总结 KV-Efficient VLA通过RNN门控分块KV缓存机制，有效降低视觉语言模型的计算和内存开销，提升推理效率。

$π^{*}_{0.6}$: a VLA That Learns From Experience

Physical Intelligence, Ali Amin, Raichelle Aniceto, Ashwin Balakrishna, Kevin Black, Ken Conley, Grace Connors, James Darpinian, Karan Dhabalia, Jared DiCarlo, Danny Driess, Michael Equi, Adnan Esmail, Yunhao Fang, Chelsea Finn, Catherine Glossop, Thomas Godden, Ivan Goryachev, Lachy Groom, Hunter Hancock, Karol Hausman, Gashon Hussein, Brian Ichter, Szymon Jakubczak, Rowan Jen, Tim Jones, Ben Katz, Liyiming Ke, Chandra Kuchi, Marinda Lamb, Devin LeBlanc, Sergey Levine, Adrian Li-Bell, Yao Lu, Vishnu Mano, Mohith Mothukuri, Suraj Nair, Karl Pertsch, Allen Z. Ren, Charvi Sharma, Lucy Xiaoyang Shi, Laura Smith, Jost Tobias Springenberg, Kyle Stachowicz, Will Stoeckle, Alex Swerdlow, James Tanner, Marcel Torne, Quan Vuong, Anna Walling, Haohuan Wang, Blake Williams, Sukwon Yoo, Lili Yu, Ury Zhilinsky, Zhiyuan Zhou

机构 * Physical Intelligence 纠错

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.LG

GraSP-VLA: Graph-based Symbolic Action Representation for Long-Horizon Planning with VLA Policies

Maëlic Neau, Zoe Falomir, Paulo E. Santos, Anne-Gwenn Bosser, Cédric Buche

机构 * Computing Science Department, Umeå University（乌梅亚大学计算机科学系） ； PrioriAnalytica（PrioriAnalytica公司） ； Bretagne INP - ENIB（布列塔尼INP-ENIB） ； IMT Atlantique（IMT阿蒂安提大学） ； CNRS IRL 2010 CROSSING（国家科学研究中心IRL 2010 CROSSING） 纠错

专题命中 VLA模型 ：VLA(title,abstract)；action model(abstract)；分类 cs.RO、cs.CV

Exploring the Limits of Vision-Language-Action Manipulations in Cross-task Generalization

Jiaming Zhou, Ke Ye, Jiayi Liu, Teli Ma, Zifan Wang, Ronghe Qiu, Kun-Yu Lin, Zhilin Zhao, Junwei Liang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； The University of Hong Kong（香港大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；VLA(abstract)；分类 cs.RO、cs.CV

Comments Project Page: https://jiaming-zhou.github.io/AGNOSTOS

Expertise need not monopolize: Action-Specialized Mixture of Experts for Vision-Language-Action Learning

Weijie Shen, Yitian Liu, Yuhao Wu, Zhixuan Liang, Sijia Gu, Dehui Wang, Tian Nian, Lei Xu, Yusen Qin, Jiangmiao Pang, Xinping Guan, Xiaokang Yang, Yao Mu

机构 * MoE key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（人工智能混合专家实验室，人工智能研究所，上海交通大学） ； School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（自动化与智能感知学院，上海交通大学） ； School of Computer Science, Shanghai Jiao Tong University（计算机科学学院，上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； The University of Hong Kong（香港大学） ； Tongji University（同济大学） ； D-Robotics ； Key Laboratory of System Control and Information Processing, Ministry of Education of China（系统控制与信息处理重点实验室，中华人民共和国教育部） ； Shanghai Key Laboratory of Integrated Administration Technologies for Information Security（上海信息安全管理集成技术重点实验室） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；VLA(abstract)；分类 cs.RO、cs.AI

Don't Run with Scissors: Pruning Breaks VLA Models but They Can Be Recovered

Jason Jabbour, Dong-Ki Kim, Max Smith, Jay Patrikar, Radhika Ghosal, Youhui Wang, Ali Agha, Vijay Janapa Reddi, Shayegan Omidshafiei

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.LG

SP-VLA: A Joint Model Scheduling and Token Pruning Approach for VLA Model Acceleration

Ye Li, Yuan Meng, Zewen Sun, Kangye Ji, Chen Tang, Jiajun Fan, Xinzhu Ma, Shutao Xia, Zhi Wang, Wenwu Zhu

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.CV、cs.AI

MimicDreamer: Aligning Human and Robot Demonstrations for Scalable VLA Training

Haoyun Li, Ivan Zhang, Runqi Ouyang, Xiaofeng Wang, Zheng Zhu, Zhiqin Yang, Zhentao Zhang, Boyuan Wang, Chaojun Ni, Wenkang Qin, Xinze Chen, Yun Ye, Guan Huang, Zhenbo Song, Xingang Wang

机构 * GigaAI ； CASIA ； NJUST（南京工业大学） ； Tsinghua University（清华大学） 纠错

专题命中 VLA模型 ：VLA(title,abstract)；vision language action(abstract)；分类 cs.RO、cs.AI

DriveAction: A Benchmark for Exploring Human-like Driving Decisions in VLA Models

Yuhan Hao, Zhengning Li, Lei Sun, Weilong Wang, Naixin Yi, Sheng Song, Caihong Qin, Mofan Zhou, Yifei Zhan, Xianpeng Lang

机构 * Li Auto Inc. 纠错

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.CV、cs.AI

Comments Benchmark: https://huggingface.co/datasets/LiAuto-DriveAction/drive-action

A Vision-Language-Action-Critic Model for Robotic Real-World Reinforcement Learning

Shaopeng Zhai, Qi Zhang, Tianyi Zhang, Fuxian Huang, Haoran Zhang, Ming Zhou, Shengzhe Zhang, Litao Liu, Sixu Lin, Jiangmiao Pang

机构 * Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；VLA(abstract)；分类 cs.RO、cs.AI

Comments 26 pages,10 figures

ForceVLA: Enhancing VLA Models with a Force-aware MoE for Contact-rich Manipulation

Jiawen Yu, Hairuo Liu, Qiaojun Yu, Jieji Ren, Ce Hao, Haitong Ding, Guangyu Huang, Guofan Huang, Yan Song, Panpan Cai, Cewu Lu, Wenqiang Zhang

机构 * Fudan University（复旦大学） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Lab（上海人工智能实验室） ； National University of Singapore（新加坡国立大学） ； Shanghai University（上海大学） ； Xi’an Jiaotong University（西安交通大学） ； Noematrix Intelligence（Noematrix智能科技） 纠错

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.CV

Comments NeurIPS 2025

Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy

Zhi Hou, Tianyi Zhang, Yuwen Xiong, Haonan Duan, Hengjun Pu, Ronglei Tong, Chengyang Zhao, Xizhou Zhu, Yu Qiao, Jifeng Dai, Yuntao Chen

机构 * Shanghai AI Lab（上海人工智能实验室） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； MMLab, The Chinese University of Hong Kong（香港中文大学MMLab） ； Peking University（北京大学） ； SenseTime Research（商汤科技研究院） ； Tsinghua University（清华大学） ； HKISI, CAS（中国科学院香港中文大学研究所） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；action model(abstract)；分类 cs.RO、cs.CV

Comments Preprint; https://robodita.github.io; To appear in ICCV2025

Align-Then-stEer: Adapting the Vision-Language Action Models through Unified Latent Guidance

Yang Zhang, Chenwei Wang, Ouyang Lu, Yuan Zhao, Yunfei Ge, Zhenglong Sun, Xiu Li, Chi Zhang, Chenjia Bai, Xuelong Li

机构 * Institute of Artificial Intelligence, China Telecom（中国电信人工智能研究院） ； Tsinghua University（清华大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 VLA模型 ：action model(title)；vision-language-action(abstract)；VLA(abstract)；分类 cs.RO、cs.AI

Comments The first three authors contributed equally

Balancing Signal and Variance: Adaptive Offline RL Post-Training for VLA Flow Models

Hongyin Zhang, Shiyuan Zhang, Junxi Jin, Qixin Zeng, Yifan Qiao, Hongchao Lu, Donglin Wang

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.LG

Grounding Actions in Camera Space: Observation-Centric Vision-Language-Action Policy

Tianyi Zhang, Haonan Duan, Haoran Hao, Yu Qiao, Jifeng Dai, Zhi Hou

机构 * College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； Shanghai AI Lab（上海人工智能实验室） ； SenseTime Research（商汤科技研究院） ； Nanjing University（南京大学） ； Tsinghua University（清华大学） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；VLA(abstract)；分类 cs.RO、cs.CV

FedVLA: Federated Vision-Language-Action Learning with Dual Gating Mixture-of-Experts for Robotic Manipulation

Cui Miao, Tao Chang, Meihan Wu, Hongbin Xu, Chun Li, Ming Li, Xiaodong Wang

专题命中 VLA模型 ：vision-language-action(title,abstract)；VLA(abstract)；分类 cs.RO、cs.AI

Comments Accepted by ICCV 2025

UP-VLA: A Unified Understanding and Prediction Model for Embodied Agent

Jianke Zhang, Yanjiang Guo, Yucheng Hu, Xiaoyu Chen, Xiang Zhu, Jianyu Chen

机构 * Institute for Interdisciplinary Information Sciences, Tsinghua University,Beijing, China（信息科学交叉研究所，清华大学，北京，中国） ； Shanghai Qi Zhi Institute, Shanghai, China（上海启智研究院，上海，中国） 纠错

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.CV、cs.AI

Comments Accepted to ICML2025

Benchmarking Vision, Language, & Action Models in Procedurally Generated, Open Ended Action Environments

Pranav Guruprasad, Yangyue Wang, Sudipta Chowdhury, Harshvardhan Sikka, Paul Pu Liang

机构 * Manifold Research ； MIT（麻省理工学院） 纠错

专题命中 VLA模型 ：action model(title)；vision-language-action(abstract)；VLA(abstract)；分类 cs.CV、cs.LG

Comments 16 pages, 26 figures

Agentic Surgical AI: Surgeon Style Fingerprinting and Privacy Risk Quantification via Discrete Diffusion in a Vision-Language-Action Framework

Huixin Zhan, Jason H. Moore

机构 * Cedars-Sinai Medical Center（西达萨凡纳医学中心） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；VLA(abstract)；分类 cs.CV、cs.AI

VLA-RL: Towards Masterful and General Robotic Manipulation with Scalable Reinforcement Learning

Guanxing Lu, Wenkai Guo, Chubin Zhang, Yuheng Zhou, Haonan Jiang, Zifeng Gao, Yansong Tang, Ziwei Wang

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院） 纠错

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.AI

SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model

Delin Qu, Haoming Song, Qizhi Chen, Yuanqi Yao, Xinyi Ye, Yan Ding, Zhigang Wang, JiaYuan Gu, Bin Zhao, Dong Wang, Xuelong Li

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） ； ShanghaiTech University（上海科技大学） ； Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 VLA模型 ：action model(title,abstract)；robot foundation model(abstract)；分类 cs.RO、cs.AI

Journal ref Robotics: Science and Systems, 2025

OpenHelix: A Short Survey, Empirical Analysis, and Open-Source Dual-System VLA Model for Robotic Manipulation

Can Cui, Pengxiang Ding, Wenxuan Song, Shuanghao Bai, Xinyang Tong, Zirui Ge, Runze Suo, Wanqi Zhou, Yang Liu, Bofang Jia, Han Zhao, Siteng Huang, Donglin Wang

机构 * Westlake University（西湖大学） ； Zhejiang University（浙江大学） ； Xi’an Jiaotong University（西安交通大学） ； HKUST(GZ) Project Lead（香港科技大学（广州）项目负责人） 纠错

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.CV

ConRFT: A Reinforced Fine-tuning Method for VLA Models via Consistency Policy

Yuhui Chen, Shuai Tian, Shugao Liu, Yingting Zhou, Haoran Li, Dongbin Zhao

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.AI

OmniJARVIS: Unified Vision-Language-Action Tokenization Enables Open-World Instruction Following Agents

Zihao Wang, Shaofei Cai, Zhancun Mu, Haowei Lin, Ceyao Zhang, Xuejie Liu, Qing Li, Anji Liu, Xiaojian Ma, Yitao Liang

专题命中 VLA模型 ：vision-language-action(title,abstract)；VLA(abstract)；分类 cs.AI、cs.LG

Comments accepted on NeurIPS 2024

A Dual Process VLA: Efficient Robotic Manipulation Leveraging VLM

ByungOk Han, Jaehong Kim, Jinhyeok Jang

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.CV

Comments 10 page

Mobility VLA: Multimodal Instruction Navigation with Long-Context VLMs and Topological Graphs

Hao-Tien Lewis Chiang, Zhuo Xu, Zipeng Fu, Mithun George Jacob, Tingnan Zhang, Tsang-Wei Edward Lee, Wenhao Yu, Connor Schenck, David Rendleman, Dhruv Shah, Fei Xia, Jasmine Hsu, Jonathan Hoech, Pete Florence, Sean Kirmani, Sumeet Singh, Vikas Sindhwani, Carolina Parada, Chelsea Finn, Peng Xu, Sergey Levine, Jie Tan

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.AI

Towards Human-Like Manipulation through RL-Augmented Teleoperation and Mixture-of-Dexterous-Experts VLA

通过强化学习增强的遥控操作与混合的灵巧专家VLA实现人机操作

Tutian Tang, Xingyu Ji, Wanli Xing, Ce Hao, Wenqiang Xu, Lin Shao, Cewu Lu, Qiaojun Yu, Jiangmiao Pang, Kaifeng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Sharpa ； Shanghai AI Lab（上海人工智能实验室） ； Zhongguancun Academy（中关村学院） ； National University of Singapore（新加坡国立大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.RO

AI总结 本文提出IMCopilot和MoDE-VLA框架，通过强化学习和多模态融合提升机器人灵巧操作能力，实现接触丰富的手内任务性能提升。

Comments Project Homepage: https://sites.google.com/view/mode-vla

VITA-VLA: Efficiently Teaching Vision-Language Models to Act via Action Expert Distillation

Shaoqi Dong, Chaoyou Fu, Haihan Gao, Yi-Fan Zhang, Chi Yan, Chu Wu, Xiaoyu Liu, Yunhang Shen, Jing Huo, Deqiang Jiang, Haoyu Cao, Yang Gao, Xing Sun, Ran He, Caifeng Shan

机构 * Nanjing University（南京大学） ； Tencent Youtu Lab（腾讯优图实验室） ； CASIA（中国科学院自动化研究所） 纠错

专题命中 VLA模型 ：VLA(title,abstract)；action model(abstract)；分类 cs.CV

Comments Homepage: https://ltbai.github.io/VITA-VLA/