VLA / 视觉-语言-动作模型

CF-VLA: Efficient Coarse-to-Fine Action Generation for Vision-Language-Action Policies

CF-VLA：面向视觉-语言-动作策略的高效粗到细动作生成

Fan Du, Feng Yan, Jianxiong Wu, Xinrun Xu, Weiye Zhang, Weinong Wang, Yu Guo, Bin Qian, Zhihai He, Fei Wang, Heng Yang

机构 * Southern University of Science and Technology（南方科技大学） ； Xi’an Jiaotong University（西安交通大学） ； United Nova Technology（联合Nova技术） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 VLA模型 ：VLA(title,title_cn)；vision-language-action(title,abstract)；action model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CF-VLA，通过粗到细两阶段方法优化视觉-语言-动作策略的动作生成，提升效率与性能，在低NFE条件下实现更优的效率-性能平衡。

$τ_0$-VLA: a Hierarchical Robot Foundation Model with World-Model-Guided Test-Time Computation

$τ_0$-VLA：一种具有世界模型引导测试时计算能力的分层机器人基础模型

Xiaowei Cai, Yunuo Cai, Bingao Chen, Jingxiao Chen, Zhi Chen, Siyuan Feng, Tengyu Hou, Jingshun Huang, Han Jiang, Runkun Ju, Dong Li, Mingxiang Li, Shaowei Li, Xinchen Li, Yifan Li, Yi Liu, Zhongyuan Liu, Jianlan Luo, Junwen Miao, Ruiqi Ni, Buqing Nie, Mingjie Pan, Xinlin Ren, Jianheng Song, Jiaxu Wang, Peiqi Wang, Sen Wang, Xiaoyan Wang, Dafeng Wei, Dongming Wu, Pengwei Xie, Pu Yang, Hangjian Ye, Xiangyu Yue, Jinyu Zhang, Qinglin Zhang, Xueyong Zhao, Pengfei Zhou, Yue Zhou

机构 * Shanghai Innovation Institute（上海创新研究院） ； Agibot Finch（智元 Finch（智元鹦鹉）） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 VLA模型 ：VLA(title,title_cn)；robot foundation model(title,abstract)；vision-language-action(abstract)；分类 cs.RO

AI总结 $τ_0$-VLA是一种分层机器人基础模型，通过世界模型引导的测试时计算分配额外资源优化子任务生成，经40115小时异构真实数据训练后，可提升长时程机器人操作的闭环成功率。

Comments 18 pages, 5 figures. Project page: https://tau0-vla.github.io/

SpecPrune-VLA: Accelerating Vision-Language-Action Models via Action-Aware Self-Speculative Pruning

SpecPrune-VLA: 通过动作感知的自推测剪枝加速视觉-语言-动作模型

Hanzhen Wang, Jiaming Xu, Yushun Xiang, Jiayi Pan, Yongkang Zhou, Yong-Lu Li, Guohao Dai

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 VLA模型 ：VLA(title,title_cn)；vision-language-action(title,abstract)；action model(title)；分类 cs.RO、cs.CV、cs.AI

AI总结 针对视觉-语言-动作模型推理加速，提出结合全局上下文与局部信息的无训练两层剪枝方法，实现高达1.57倍加速且成功率几乎无下降。

Comments Accepted to ICML 2026

How Should Vision-Language-Action Models Use Proprioceptive State?

视觉-语言-动作（VLA）模型应如何使用本体感受状态？

Yiren Zhao, Ziyang Chen, Ziyang Rao, Pengteng Li, He Zhang, Weiyu Guo, Yandong Guo, Rushi Dai

专题命中 VLA模型 ：VLA(title_cn,summary_cn)；vision-language-action(title,abstract)；action model(title)；分类 cs.RO

AI总结 本研究针对视觉-语言-动作（VLA）模型的本体感受状态接入方式开展受控实验，探究状态接入位置、历史长度等问题，得出系统性答案并提炼为可验证的VLA模型设计原则。

HoloQ-VLA: Uniform W4A4 Quantization of Vision-Language-Action Models

Ω-QVLA: 通过复合旋转和逐步缩放实现视觉-语言-动作模型的鲁棒量化

Xinyu Wang, Mingze Li, Sicheng Lyu, Dongxiu Liu, Kaicheng Yang, Ziyu Zhao, Yufei Cui, Xiao-Wen Chang, Peng Lu

机构 * McGill University（麦吉尔大学） ； Université de Montréal（蒙特利尔大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Shanghai Jiao Tong University（上海交通大学） ； Mila – Quebec AI Institute（魁北克AI研究所） 纠错

专题命中 VLA模型 ：VLA(title,summary_cn)；vision-language-action(title,abstract)；action model(title)；分类 cs.CV、cs.LG

AI总结 提出Ω-QVLA，首个无需训练的后训练量化框架，通过复合SVD-Hadamard旋转和逐步DiT激活缩放量化，将VLA模型的语言骨干和扩散动作头统一压缩至W4A4精度，在LIBERO上达到或超越FP16性能，内存减少71.3%。

Vision Language Action (VLA) Models for Unmanned Aerial Robotics and Bimanual Manipulation: A Review

用于无人机机器人和双手操作的视觉语言动作（VLA）模型综述

Inkyu Sa, Chanoh Park, Hea-Min Lee, Donghee Noh, Ho Seok Ahn

机构 * Chef Robotics ； RovifyLab ； IT Application Research Center, Jeonbuk Regional Branch ； Department of Electrical, Computer and Software Engineering（电气与计算机软件工程系） 纠错

专题命中 VLA模型 ：VLA(title,title_cn)；vision language action(title,abstract)；分类 cs.RO、cs.AI、cs.LG

AI总结 综述2017 - 2026年183篇文献，围绕视觉语言动作模型在无人机机器人和双手操作方面的应用，涵盖多维度，表明双手VLA相关策略可转移至无人机系统，还确定了两领域的14个研究方向。

Comments 56 pages, 11 figures, 16 tables

Discrete Diffusion VLA: Bringing Discrete Diffusion to Action Decoding in Vision-Language-Action Policies

离散扩散VLA：将离散扩散引入视觉-语言-动作策略中的动作解码

Zhixuan Liang, Yizhuo Li, Tianshuo Yang, Chengyue Wu, Sitong Mao, Liuao Pei, Tian Nian, Shunbo Zhou, Xiaokang Yang, Jiangmiao Pang, Yao Mu, Ping Luo

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 VLA模型 ：VLA(title,title_cn)；vision-language-action(title,abstract)；分类 cs.RO、cs.CV、cs.LG

AI总结 提出离散扩散VLA，通过将动作块离散化并在统一Transformer骨干内使用离散扩散模式进行渐进细化，实现自适应解码顺序和错误纠正，在多个基准上取得高性能并保留预训练的视觉-语言先验。

Comments Accepted by ICML 2026. 17 pages

Pre-VLA: Preemptive Runtime Verification for Reliable Vision-Language-Action and World-Model Rollouts

Pre-VLA: 预防性运行时验证用于可靠视觉-语言-动作和世界模型展开

Zhen Sun, Yongjian Guo, Haoran Sun, Luqiao Wang, Wei Lu, Jiachi Ji, Shengzhe Ji, Junwu Xiong, Zhijun Meng

机构 * Beihang University（北京航空航天大学） ； Tsinghua University（清华大学） ； Peking University（北京大学） ； JDT AI Infra ； Zhejiang University（浙江大学） 纠错

专题命中 VLA模型 ：VLA(title,title_cn)；vision-language-action(title,abstract)；分类 cs.RO、cs.CV、cs.AI

AI总结 本文提出Pre-VLA，一种统一的运行时验证架构，用于在物理执行或世界模型想象之前评估动作的有效性，以提高视觉-语言-动作和世界模型展开的可靠性。

In-Context VLA: Endowing Vision-Language-Action Models with Language via In-Context Post-Training and Agentic Tool Use

上下文视觉-语言-动作模型：通过上下文后训练与智能体工具使用为视觉-语言-动作模型赋予语言能力

Jiarui Yang, Wen Huang, Jiale Zhang, Maowei Hu, Hang Guo

专题命中 VLA模型 ：VLA(title,summary_cn)；vision-language-action(title,abstract)；action model(title)；分类 cs.RO

AI总结 该研究针对现有VLA模型用CoT会降低控制性能的问题，提出通过上下文后训练和智能体工具使用赋予VLA语言能力的方法，在多模拟和真实机器人任务上实现SOTA性能与效率。

PaCo-VLA: Passivity-Shielded Compliance Prior for Contact-Rich Vision-Language-Action Manipulation

PaCo-VLA: 用于富接触视觉-语言-动作操控的被动屏蔽柔顺先验

Haofan Cao, Zhaoyang Li, Zhichao You, Liang Guo, Tianrui Li

机构 * Southwest Jiaotong University（西南交通大学） ； University of Leeds（莱斯特大学） 纠错

专题命中 VLA模型 ：VLA(title,title_cn)；vision-language-action(title,abstract)；分类 cs.RO、cs.AI

AI总结 提出PaCo-VLA框架，通过被动屏蔽将VLA模型输出转化为任务级柔顺建议，并利用能量罐和边界检查防止无效预测绕过底层接触物理，实现安全精确的富接触操控。

Comments Under review, code will be available soon

VisualThink-VLA: Visual Intermediate Reasoning for Effective and Low-Latency Vision-Language-Action Policies

VisualThink-VLA：用于高效低延迟视觉-语言-动作策略的视觉中间推理

Mingjian Gao, Wenqiao Zhang, Yuqian Yuan, Yang Dai, Binhe Yu, Zheqi Lv, Haoyu Zheng, Jiaqi Zhu, Zhiqi Ge, Zixuan Wan, Siliang Tang, Yueting Zhuang

机构 * Zhejiang University（浙江大学） ； Cornell University（康奈尔大学） ； National University of Singapore（新加坡国立大学） ； Xi'an University of Electronic Science and Technology（西安电子科技大学） 纠错

专题命中 VLA模型 ：VLA(title,title_cn)；vision-language-action(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出VisualThink-VLA框架，通过视觉中间推理和选择性路由机制，在保持高精度的同时将推理延迟从数秒降至亚秒级。

See What Matters: Differentiable Grid Sample Pruning for Generalizable Vision-Language-Action Model

See What Matters: Differentiable Grid Sample Pruning for Generalizable Vision-Language-Action Model

Yixu Feng, Zinan Zhao, Yanxiang Ma, Chenghao Xia, Chengbin Du, Yunke Wang, Chang Xu

机构 * The University of Sydney（悉尼大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 VLA模型 ：vision-language-action(title,title_cn)；action model(title,title_cn)；VLA(abstract,abstract_cn)；分类 cs.RO、cs.CV

AI总结 本文提出了一种基于可微网格采样的视觉-语言-动作模型压缩方法，通过连续的token重采样保留关键空间信息，实现高达90%的计算量减少而不影响性能。

Journal ref Proceedings of the Forty-third International Conference on Machine Learning, 2026

XCoT-VLA: Executable Chain-of-Thought for Vision-Language-Action Driving

XCoT-VLA：面向视觉-语言-动作自动驾驶的可执行思维链

Foundation Model Team, XPeng Inc

机构 * XPeng Inc（小鹏汽车） 纠错

专题命中 VLA模型 ：VLA(title,title_cn)；vision-language-action(title,abstract)；分类 cs.AI

AI总结 该研究提出XCoT-VLA，用可执行CoT令牌替代自然语言CoT，结合Reason FFN与Control FFN实现轨迹生成，在自动驾驶任务中降低了误差并满足实时规划要求。

GWM-VLA: Geometry-Aware Latent World Modeling for Vision-Language-Action Learning

GWM-VLA：面向视觉-语言-动作学习的几何感知隐式世界建模

Yanping Zhao, Hang Yu, Yiwei Wang, Chen Ye, Siyu Tian, Di Zhang, Qingjun Wang, Qian Chen, Junqiao Zhao, Chen Ye, Guang Chen

专题命中 VLA模型 ：VLA(title,title_cn)；vision-language-action(title,abstract)；分类 cs.RO

AI总结 针对VLA模型在视觉/环境变化下性能下降问题，提出GWM-VLA框架，通过几何感知多视角编码等技术提升模型鲁棒性，经仿真和真实环境实验验证有效。

Can Vision-Language-Action Models Learn from Real-World Data Continually without Forgetting?

VLA 模型能否从现实世界数据中持续学习而不遗忘？

Jiarun Zhu, Yijun Hong, Xiaoquan Sun, Zetian Xu, Qijun He, Haijier Chen, Zhiyong Wang, Mingqi Yuan, Wenjun Zeng, Jiayu Chen

机构 * HKU（香港大学） ； INFIFORCE ； EIT, Ningbo（宁波工程学院） ； HUST（华中科技大学） ； SUSTech（南方科技大学） ； HITSZ（香港理工大学） 纠错

专题命中 VLA模型 ：VLA(title_cn,summary_cn)；vision-language-action(title,abstract)；action model(title)；分类 cs.RO

AI总结 本研究通过构建包含四个顺序操作任务的真实世界持续学习数据集，实证发现视觉-语言-动作（VLA）模型在持续学习异构真实世界演示时存在严重灾难性遗忘，并系统评估了经验回放方法的关键实施因素。

PhysReflect-VLA: Physical Feasibility and Self-Reflective Regulation for Reliable Vision-Language-Action Policies

PhysReflect-VLA：面向可靠视觉-语言-动作策略的物理可行性与自反思调节

Jiayu Yang, Tao Yang, Weijun Li, Xiang Chang, Fei Chao, Changjing Shang, Qiang Shen

机构 * Xiamen University（厦门大学） ； Aberystwyth University（阿伯里斯特威斯大学） 纠错

专题命中 VLA模型 ：VLA(title,title_cn)；vision-language-action(title,abstract)；分类 cs.RO

AI总结 提出PhysReflect-VLA框架，通过物理可行性评估和结构化自反思增强VLA策略，在闭环控制中实现稳定多阶段操作，平均成功率提升5.4%。

WOLF-VLA: Whole-Body Humanoid Optimal Locomotion Framework for Vision-Language-Action Learning

WOLF-VLA：面向视觉-语言-动作学习的全身人形最优运动框架

Melya Boukheddimi, Omar Adjali, Daniel Sontag, Frank Kirchner

机构 * Robotics Innovation Center, DFKI GmbH（德国人工智能研究中心机器人创新中心） ； University of Oldenburg（奥尔登堡大学） ； AG Robotik University of Bremen（不来梅大学机器人工作组） 纠错

专题命中 VLA模型 ：VLA(title,title_cn)；vision-language-action(title,abstract)；分类 cs.RO

AI总结 提出WOLF-VLA框架，结合全身最优控制运动合成与大规模多模态数据集，训练VLA模型从自然语言指令生成人形运动策略，在多种任务中展现强鲁棒性和竞争力。

Hy-Embodied-0.5-VLA: From Vision-Language-Action Models to a Real-World Robot Learning Stack

Hy-Embodied-0.5-VLA：从视觉-语言-动作模型到真实世界机器人学习栈

He Zhang, Lingzhu Xiang, Haitao Lin, Zeyu Huang, Minghui Wang, Dingyan Zhong, Yubo Dong, Yihao Wu, Yongming Rao, Dongsheng Zhang, Wanjia He, Ling Chen, Kai Huang, Jiahao Chen, Sichang Su, Xumin Yu, Ziyi Wang, Chengwei Zhu, Xiao Teng, Yuchun Guo, Yufeng Zhang, Yuandong Liu, Rui Wang, Zisheng Lu, Han Hu, Zhengyou Zhang

机构 * University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学） 纠错

专题命中 VLA模型 ：VLA(title,title_cn)；vision-language-action(title)；action model(title)；分类 cs.RO、cs.AI

AI总结 提出端到端机器人学习栈HyVLA-0.5，涵盖数据收集、模型设计、预训练与微调、RL后训练及真实部署，各组件协同工作。

CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models

Qingqing Zhao, Yao Lu, Moo Jin Kim, Zipeng Fu, Zhuoyang Zhang, Yecheng Wu, Zhaoshuo Li, Qianli Ma, Song Han, Chelsea Finn, Ankur Handa, Ming-Yu Liu, Donglai Xiang, Gordon Wetzstein, Tsung-Yi Lin

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(title,abstract)；action model(title,abstract)；分类 cs.RO、cs.CV、cs.AI

Comments Project website: https://cot-vla.github.io/

Journal ref CVPR 2025

PHASER: Phase-Aware and Semantic Experience Replay for Vision-Language-Action Models

PHASER: 面向视觉-语言-动作模型的相位感知与语义经验回放

Ziyang Chen, Shaoguang Wang, Weiyu Guo, Qianyi Cai, He Zhang, Pengteng Li, Yiren Zhao, Yandong Guo

机构 * Thrust of AI, HKUST(Guangzhou)（人工智能 thrust，香港科技大学（广州）） ； AI 2 Robotics, Shenzhen, China（人工智能与机器人，深圳，中国） 纠错

专题命中 VLA模型 ：VLA(summary_cn,abstract)；vision-language-action(title,abstract)；action model(title)；language-conditioned robot(abstract)

AI总结 提出PHASER框架，通过相位感知容量分配和多模态干扰路由策略，结合自动相位提取管线Auto-PC，解决VLA模型在持续学习中的灾难性遗忘问题，在LIBERO基准上平均成功率提升高达31%。

Comments 20 pages, 8 figures, 12 tables

ALAM: Algebraically Consistent Latent Action Model for Vision-Language-Action Models

ALAM：基于代数一致的潜在动作模型用于视觉-语言-动作模型

Zuojin Tang, Haoyun Liu, Xinyuan Chang, Changjie Wu, Dongjie Huo, Yandan Yang, Bin Liu, Zhejia Cai, Feng Xiong, Mu Xu, jiachen Luo, De Ma, Zhiheng Ma, Gang Pan

机构 * Zhejiang University（浙江大学） ； Amap, Alibaba Group（阿里集团阿地图） ； Nanjing University（南京大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） ； Beijing University of Chemical Technology（北京化工大学） ； Embodied Intelligence General Platform Laboratory, Chery Auto（奇瑞汽车 embodied intelligence 通用平台实验室） ； Tsinghua University（清华大学） ； Queen Mary University of London（伦敦大学玛丽女王学院） 纠错

专题命中 VLA模型 ：VLA(summary_cn,abstract)；vision-language-action(title,abstract)；action model(title,abstract)；分类 cs.RO、cs.CV、cs.AI

AI总结 ALAM通过代数一致的潜在动作模型从无标注视频中提取结构化先验，结合流匹配目标提升VLA学习性能，显著提高任务成功率。

Overcoming Dynamics-Blindness: Training-Free Pace-and-Path Correction for VLA Models

克服动态盲区：为VLA模型提供无训练的节奏与路径修正

Yanyan Zhang, Chaoda Song, Vikash Singh, Xinpeng Li, Kai Ye, Zhe Hu, Zhongzhu Pu, Yu Yin, Vipin Chaudhary

机构 * Case Western Reserve University（凯斯西储大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Tsinghua University（清华大学） ； InspireOmni AI 纠错

专题命中 VLA模型 ：VLA(title,title_cn)；vision-language-action(abstract,abstract_cn)；分类 cs.RO、cs.CV、cs.AI

AI总结 本文提出一种无训练的节奏与路径修正方法，解决VLA模型在非稳态场景下的性能问题，通过统一解法提升动态环境中的成功率。

EcoVLA: Energy-Efficient Device-Edge Co-Inference for Vision-Language-Action Models under Real-Time Constraints

EcoVLA：面向实时约束的视觉-语言-动作模型的节能设备-边缘协同推理

Ao Zhou, Bo Dai, Le Yu, Xingyu Liu, Zeyu Hao, Lingkun Long, Chunming Hu, Jianlei Yang

机构 * Beihang University（北京航空航天大学） ； Beijing University of Technology（北京工业大学） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；VLA(summary_cn,abstract)；action model(title)；分类 cs.RO、cs.AI

AI总结 EcoVLA是面向VLA模型的自适应设备-边缘协同推理框架，可在实时约束下最大化能效，提升能效达236%，同时保持服务水平目标满足。

Comments Accepted by APPT 2026

CoTinyVLA: Chain-of-Thought Distillation for a Sub-Billion-Parameter Vision-Language-Action Model

CoTinyVLA：用于十亿参数以下视觉-语言-动作模型的思维链蒸馏

Minhyeok Lee, Chiyoung Kim, Chanhoe Gu, Seongrok Kim, Sanghyuk Roy Choi, Donghwan Hwang, Donghun Ryu, Seokhyun Kim

机构 * Chung-Ang University（韩国中央大学） 纠错

专题命中 VLA模型 ：VLA(summary_cn,abstract)；vision-language-action(title,abstract)；action model(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究针对VLA模型内存需求大问题，提出CoTinyVLA模型。通过双视图时间输入、分层思维链蒸馏、释义增强三个组件，在LIBERO-Plus基准测试中取得优异成绩，证明结构化监督可让小参数主干超越其他模型。

Comments 22 pages, 2 figures, 20 tables. Code at https://github.com/BrainJellyPie/CoTinyVLA

HiMoE-VLA: Hierarchical Mixture-of-Experts for Generalist Vision-Language-Action Policies

HiMoE-VLA：用于通用视觉-语言-动作策略的分层专家混合模型

Zhiying Du, Bei Liu, Yaobo Liang, Yichao Shen, Haidong Cao, Xiangyu Zheng, Zhiyuan Feng, Zuxuan Wu, Jiaolong Yang, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Microsoft Research Asia（微软亚洲研究院） ； Xi’an Jiaotong University（西安交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 VLA模型 ：VLA(title,title_cn)；vision-language-action(title)；分类 cs.RO、cs.AI

AI总结 研究通用视觉-语言-动作策略训练中异构性引发的负迁移问题，提出HiMoE-VLA框架，通过分层专家混合动作模块及两个辅助目标来解决，在多项任务上取得较好结果，还能将负迁移转化为正迁移。

FurnitureVLA: Learning Long-Horizon Bimanual Furniture Assembly with Vision-Language-Action Model

FurnitureVLA: 使用视觉-语言-动作模型学习长时域双臂家具组装

Chenyang Ma, Yue Yang, Radu Corcodel, Siddarth Jain, Andrew Wu, Chiori Hori, Diego Romeres

机构 * Mitsubishi Electric Research Laboratories（三菱电机研究实验室） ； University of Oxford（牛津大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 VLA模型 ：VLA(summary_cn,abstract)；vision-language-action(title,abstract)；action model(title,abstract)；分类 cs.RO、cs.AI

AI总结 提出FurnitureVLA，首个使用视觉-语言-动作模型进行真实尺寸双臂家具组装的系统，通过进度增强VLA和设计因素研究，将平均模拟成功率从48%提升至80%。

Comments Project Page: https://dannymcy.github.io/furniturevla/

Trust Your Instincts: Confidence-Driven Test-Time RL for Vision-Language-Action Models

相信你的直觉：面向视觉-语言-动作模型的置信度驱动的测试时强化学习

Siyao Chen, Jiakang Yuan, Jiaxin Wang, Tao Chen

专题命中 VLA模型 ：VLA(summary_cn,abstract)；vision-language-action(title,abstract)；action model(title,abstract)；分类 cs.RO、cs.AI

AI总结 提出T^2VLA框架，利用VLA模型内在的置信度作为奖励信号，通过测试时强化学习实现无需外部反馈的策略自提升，在LIBERO和RoboTwin基准上接近有真值奖励的oracle性能。

CLAP: Contrastive Latent Action Pretraining for Learning Vision-Language-Action Models from Human Videos

CLAP: 从人类视频中学习视觉-语言-动作模型的对比潜在动作预训练

Chubin Zhang, Jianan Wang, Zifeng Gao, Yue Su, Tianru Dai, Cai Zhou, Jiwen Lu, Yansong Tang

机构 * Tsinghua University（清华大学） ； Astribot ； University of Hong Kong（香港大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 VLA模型 ：VLA(summary_cn,abstract)；vision-language-action(title,abstract)；action model(title,abstract)；分类 cs.RO、cs.CV

AI总结 提出CLAP框架，通过对比学习将人类视频与机器人动作词汇对齐，利用伪标签训练VLA模型，实现从人类视频到机器人执行的有效技能迁移。

Comments The code is available at: https://github.com/LinShan-Bin/OpenCLAP

3DVLA: Enhancing Vision-Language-Action Models via 3D Spatial and Instance Understanding

3DVLA：通过3D空间和实例理解增强视觉-语言-动作模型

Zhongyu Xia, Yousen Tang, Bingqing Wei, Yongtao Wang

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所） 纠错

专题命中 VLA模型 ：VLA(summary_cn,abstract)；vision-language-action(title,abstract)；action model(title,abstract)；分类 cs.RO、cs.CV

AI总结 提出3DVLA框架，通过多视角一致性3D特征编码、实例估计模块和掩码自监督3D编码，解决VLA模型缺乏3D场景理解的问题，在LIBERO-Plus和RoboTwin 2.0上显著提升操作性能。

Understanding the Impact of Geometric Foundation Models on Vision-Language-Action Models

理解几何基础模型对视觉-语言-动作模型的影响

Yurou Yang, Muyuan Lin, Roberto Martin-Martin, Martin Labrie, Shreekant Gayaka, Cheng-Hao Kuo, Luca Carlone

机构 * Amazon Personal Robotics Group（亚马逊个人机器人小组） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 VLA模型 ：VLA(summary_cn,abstract)；vision-language-action(title,abstract)；action model(title,abstract)；分类 cs.RO、cs.CV

AI总结 本文通过线性探测分析量化了视觉-语言-动作模型（VLA）与几何基础模型（GFM）之间的“几何差距”，比较了三种注入几何信息的架构，并研究了非架构因素对几何VLA性能的影响。