Actionable Models: Unsupervised Offline Reinforcement Learning of Robotic Skills
Google（谷歌）；Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）；Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
我们考虑的问题，学习有用的机器人技能，从以前收集的离线数据，而不访问手动指定的奖励或额外的在线探索，一个设置，这是越来越重要的缩放机器人学习通过重用过去的机器人数据。特别是，我们提出了通过学习达到给定数据集中的任何目标状态来学习对环境的功能理解的目标。我们采用目标条件Q学习与后见之明重新标记，并开发了几种技术，使培训在一个特别具有挑战性的离线设置。我们发现，我们的方法可以在高维相机图像上操作，并在真实机器人上学习各种技能，这些技能可以推广到以前看不见的场景和物体。我们还表明，我们的方法可以通过目标链学习在多个事件中实现长期目标，并通过预训练或辅助目标学习丰富的表示，可以帮助下游任务。我们的实验视频可以在www.example.com上找到
2021-06-10 cs.LG cs.RO
Time-Unified Diffusion Policy with Action Discrimination for Robotic Manipulation
National Key Laboratory of Human-Machine Hybrid Augmented Intelligence（人机混合增强智能国家重点实验室）；National Engineering Research Center for Visual Information and Applications（视觉信息与应用国家工程研究中心）；Institute of Artificial Intelligence and Robotics, Xi'an Jiaotong University（西安交通大学人工智能与机器人研究院）；School of Computing and Artificial Intelligence, Southwestern University of Finance and Economics（西南财经大学计算机与人工智能学院）
针对机器人操作中扩散策略去噪慢、训练难、精度不足的问题，提出融合动作判别机制的时间统一扩散策略，通过统一去噪时间步与逐动作训练提升效率与精度，在RLBench基准上取得最优性能，可适配真实场景任务。
2025-06-11 cs.LG cs.RO
Connectivity-Aware Exploration of Robotic Grasp Spaces
本文研究机器人抓取空间中成功动作的连通性结构，提出连通性感知采样策略，通过优先探索结构桥梁与边界，显著提升抓取空间重建效率，并验证结构经验可迁移至新物体。
2026-09-22 cs.LG cs.RO
Toward Accurate Long-Horizon Robotic Manipulation: Language-to-Action with Foundation Models via Scene Graphs
Department of Electrical and Computer Engineering, King Abdullah University of Science and Technology (KAUST)（电气与计算机工程系，国王 Abdullah 科学与技术大学）
本文提出一种基于预训练基础模型且无需领域特定训练的机器人操作框架，通过动态维护场景图提供空间感知，结合多模态感知与通用推理模型实现稳健任务排序，在桌面实验中验证了其构建操作系统的潜力。
2025-10-31 cs.AI cs.LG cs.RO
Unsupervised Learning of Effective Actions in Robotics
University of Innsbruck（因斯布鲁克大学）；Digital Science Center, University of Innsbruck（因斯布鲁克大学数字科学中心）
针对机器人动作表示缺乏效果驱动学习且深度学习成本高的问题，提出无监督算法离散连续运动并生成动作原型，在模拟爬楼梯任务中提升收敛速度与最大奖励。
2024-04-03 cs.AI cs.LG cs.RO
Action Planning for Packing Long Linear Elastic Objects into Compact Boxes with Bimanual Robotic Manipulation
The Hong Kong Polytechnic University（香港理工大学）
在本文中，我们提出了一个新的行动规划方法，自动包装长线性弹性物体到共同大小的箱子与双手机器人系统。为此，我们开发了一种混合几何模型来处理大规模的遮挡，结合在线基于视觉的方法和离线参考模板。然后，一个参考点生成器被引入到自动规划的参考位姿为预先设计的动作基元。最后，一个行动计划集成这些组件，使执行高层次的行为和包装操作任务的完成。为了验证所提出的方法，我们进行了详细的实验研究与多种类型和长度的对象和包装盒。
2022-07-19 cs.RO
GT-VLA: Target-Conditioned Trace Guidance for Generalizable Robotic Manipulation
GT-VLA提出目标条件化轨迹引导框架，结合通用VLM常识与VLA控制，通过轨迹条件化动作生成提升机器人操作在未见任务和长时程场景中的泛化能力。
2026-09-29 cs.LG cs.RO
Bridging Scale Discrepancies in Robotic Control via Language-Based Action Representations
本文提出基于语言的动作表示方法，通过规范动作以缓解机器人控制中的尺度差异问题，提升操作任务的泛化能力和迁移性能。
2025-12-09 cs.AI cs.RO
Bridging Language, Vision and Action: Multimodal VAEs in Robotic Manipulation Tasks
Czech Institute of Informatics, Robotics and Cybernetics（捷克信息学、机器人学与自动控制研究所）；Czech Technical University in Prague（布拉格捷克技术大学）
本文研究机器人操作中的无监督视觉-语言-动作映射，提出轻量级多模态 VAEs 方法，并引入模型无关训练方案将模拟器性能提升达 55%，系统评估了任务变量挑战及 VAEs 的应用潜力与局限。
2025-05-28 cs.LG cs.RO
SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices
ML Collective
SmolWAM是从Cosmos Policy衍生的轻量潜在世界-动作模型，适配边缘设备，在LIBERO任务中实现95.5%的成功率，速度、运算量和内存占用均显著优于原模型。
2026-11-10 cs.LG cs.RO
Learning Probabilistic Multi-Modal Actor Models for Vision-Based Robotic Grasping
Stanford University（斯坦福大学）
许多以前的作品方法基于视觉的机器人抓取训练的价值网络，评估把握建议。这些方法需要在运行时进行优化，以从价值网络中推断出最佳操作。因此，推理时间随着动作空间维数的增加而呈指数增长。我们提出了一种替代方法，通过直接训练神经密度模型来近似输入图像中成功抓取姿势的条件分布。我们构造了一个神经网络，结合高斯混合和归一化流，它能够表示多模态，复杂的概率分布。我们在仿真和真实机器人上证明，与使用交叉熵方法（CEM）进行推理的价值网络相比，所提出的演员模型在4维动作空间的自上而下的抓取上实现了类似的性能。与最先进的CEM方法相比，我们的演员模型将推理时间减少了3倍。我们相信，演员模型将发挥重要作用时，这些方法扩展到更高维的动作空间。
2019-04-15 cs.LG cs.RO
Fourier Transporter: Bi-Equivariant Robotic Manipulation in 3D
Northeastern University（东北大学）
提出傅里叶搬运器（FourTran），利用抓取-放置任务的双重SE(d)xSE(d)对称性，通过纤维空间傅里叶变换实现高效行为克隆，在RLbench基准上达到最先进性能。
2024-03-15 cs.LG cs.RO
Solving Robotics Tasks with Prior Demonstration via Exploration-Efficient Deep Reinforcement Learning
Unicontrol；Maersk McKinney Møller Institute, University of Southern Denmark（马士基麦金尼·莫勒研究所，南丹麦大学）
本文提出DRLR框架，通过改进动作选择模块和使用SAC策略，有效缓解引导误差和防止过拟合，成功应用于真实机器人任务。
2026-01-08 cs.LG cs.RO
NEARL: Non-Explicit Action Reinforcement Learning for Robotic Control
University of Science and Technology of China（中国科学技术大学）；Cyberspace Institute of Advanced Technology, Guangzhou University（广州大学网络空间先进技术研究院）
传统上，强化学习方法基于当前状态预测下一个动作。然而，在许多情况下，直接将动作应用于控制系统或机器人是危险的，并且可能导致意外的行为，因为动作是相当低级别的。在本文中，我们提出了一个新的分层强化学习框架没有明确的行动。我们的Meta策略试图操纵下一个最优状态，实际行动是由逆动力学模型产生的。为了稳定训练过程，我们将对抗学习和信息瓶颈集成到我们的框架中。在我们的框架下，广泛可用的状态只有示范可以有效地利用模仿学习。此外，先验知识和约束可以应用于Meta策略。我们在模拟任务中测试了我们的算法，并将其与模仿学习相结合。实验结果表明了算法的可靠性和鲁棒性。
2020-11-02 cs.AI cs.LG cs.RO
Learning Actions from Human Demonstration Video for Robotic Manipulation
Shandong University（山东大学）；Shanghai Jiao Tong University（上海交通大学）
从人的演示中学习动作是设计智能机器人系统的一个新兴趋势，这可以被称为视频命令。这种方法的性能高度依赖于视频描述的质量。然而，一般的视频描述方法更多地关注于对全帧的理解，缺乏对机器人操作中感兴趣的特定对象的考虑。我们提出了一种新的深度模型，从人类演示视频中学习机器人操作的动作。它由两个深度网络组成，抓取检测网络（GNet）和视频描述网络（CNet）。GNet执行两个功能：提供抓取解决方案和提取机器人操作中感兴趣对象的局部特征。CNet通过融合全帧和局部对象的特征来输出字幕结果。UR5机器人手臂上的实验结果表明，我们的方法可以产生更准确的命令，从视频演示比国家的最先进的工作，从而导致更强大的抓取性能。
2019-09-10 cs.CV cs.RO
VQ-ACE: Efficient Policy Search for Dexterous Robotic Manipulation via Action Chunking Embedding
ETH Zurich（苏黎世联邦理工学院）
VQ-ACE通过压缩人类手部运动到量化潜在空间，结合MPC和RL，在灵巧操作任务中实现高效策略搜索，提升成功率并加速学习。
2024-11-05 cs.RO
Bayesian Grasp: Robotic visual stable grasp based on prior tactile knowledge
机器人抓取检测是非结构化环境中智能操作的基本能力。以往的研究主要是通过视觉和触觉的融合来实现稳定的抓取，而整个抓取过程严重依赖于再抓取，需要花费大量的时间来调节和评估。我们提出了一种新的方法来提高机器人抓：通过学习触觉知识，机器人可以实现稳定的把握从图像。首先，我们构建了一个先验的触觉知识学习框架与新的把握质量度量，这是通过测量其抵抗外部扰动。其次，我们提出了一个多阶段的贝叶斯抓取架构，通过一个单一的RGB图像的基础上先验触觉知识生成稳定的把握配置。结果表明，该框架可以对抓握结果进行分类，对已知物体的平均准确率为86%，对新物体的平均准确率为79%。先验触觉知识比传统的基于视觉的策略提高了55%的成功率。
2019-09-16 cs.RO
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系，并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是，行动规划是基于离散的高级动作和状态空间，而强化学习通常是由连续的奖励函数驱动。然而，强化学习的最新进展，特别是通用价值函数逼近器和事后经验重放，都集中在基于稀疏奖励的目标无关方法上。在本文中，我们建立在这些新方法的基础上，通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁，促进行动规划与强化学习的集成。因此，我们证明了集成的神经符号的方法是能够解决对象操作问题，涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下，利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
EDAR: Learning Environment-Dependent Action Representations for Robotic Manipulation
College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院）；Shanghai Key Lab of Intelligent Information Processing, College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院智能信息处理上海市重点实验室）；TeleAI, China Telecom（中国电信天翼人工智能公司）
研究针对机器人操作中动作表示难的问题，提出EDAR方法，将动作令牌与可执行控制结构和预期视觉后果关联，通过实验证明该方法能改善下游策略学习，突出环境相关动作表示的重要性。
2026-10-19 cs.RO
Trajectory-Level Continuous Action Representation for Robotic Manipulation
Fudan University（复旦大学）；TeleAI, China Telecom（中国电信TeleAI）
该研究提出CAT轨迹级连续动作表示框架，通过频率感知位置编码等技术解决现有视觉运动系统的动作表示冗余问题，在LIBERO等数据集上显著提升机器人操作任务成功率。
2026-08-27 cs.RO
Accelerating Robotic Reinforcement Learning via Parameterized Action Primitives
Carnegie Mellon University（卡内基梅隆大学）
尽管强化学习（RL）在构建通用机器人系统方面具有潜力，但由于在纯粹连续的动作空间中探索的困难，训练RL代理来解决机器人任务仍然具有挑战性。解决这个问题是一个活跃的研究领域，主要集中在通过更好的优化或更有效的探索来改进RL方法。另一个需要考虑改进的重要组件是RL算法与机器人的接口。在这项工作中，我们手动指定一个库的机器人动作原语（RAPS），参数化的参数，学习的RL策略。这些参数化原语具有表达性，易于实现，能够进行有效的探索，并且可以在机器人，任务和环境之间传输。我们进行了彻底的实证研究，在三个不同的领域与图像输入和稀疏的终端奖励具有挑战性的任务。我们发现，我们对动作界面的简单改变大大提高了学习效率和任务性能，无论底层RL算法如何，都显著优于从离线专家数据中学习技能的先前方法。https://mihdalal.github.io/raps/上的代码和视频
2021-10-28 cs.AI cs.CV cs.LG
STARRY: Spatial-Temporal Action-Centric World Modeling for Robotic Manipulation
Beijing Institute of Technology（北京理工大学）；Zhongguancun Academy（中关村学院）；Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院）；University of Science and Technology of China（中国科学技术大学）；Harbin Institute of Technology（哈尔滨工业大学）；East China Normal University（华东师范大学）；DeepCybo
STARRY通过统一扩散过程联合去噪未来时空潜在表示和动作，提升机器人操作中时空协调的精度与成功率。
2026-05-01 cs.RO
H-GAR: A Hierarchical Interaction Framework via Goal-Driven Observation-Action Refinement for Robotic Manipulation
H-GAR通过目标驱动的观察-动作细化分层框架提升机器人操控的准确性和一致性。
2025-12-05 cs.RO
Language-Grounded Decoupled Action Representation for Robotic Manipulation
School of Computer Science and Technology, Tongji University, China（同济大学计算机科学与技术学院）
本文提出LaDA框架，通过自然语言连接感知与控制，引入可解释的动作原始语义，提升动作生成的鲁棒性和泛化能力。
2026-03-13 cs.RO
Learning Multi-step Robotic Manipulation Policies from Visual Observation of Scene and Q-value Predictions of Previous Action
Rochester Institute of Technology（罗切斯特理工学院）；OSARO Inc（OSARO公司）；Siemens Corporation, Corporate Technology（西门子公司企业技术部）
在这项工作中，我们专注于涉及长期规划的多步操作任务，并考虑进度逆转。这些任务交织在一起，高级推理包括可以达到的预期状态，以实现整体任务和低级推理，决定什么行动将产生这些状态。我们提出了一个高效的先前动作条件机器人操作网络（PAC-RoManNet）样本，以学习动作-价值函数并根据场景的视觉观察和先前动作的动作-价值预测来预测操作动作候选者。我们定义了一个基于任务进度的高斯（TPG）奖励函数，该函数基于导致成功的运动基元和朝向整体任务目标的进度的动作来计算奖励。为了平衡勘探/开采的比例，我们引入了一个损失调整勘探（LAE）的政策，根据玻尔兹曼分布的损失估计，从行动候选人确定行动。我们通过训练PAC-RoManNet来学习模拟和现实世界中的几个具有挑战性的多步机器人操作任务，从而证明了我们方法的有效性。实验结果表明，我们的方法优于现有的方法，并达到了最先进的性能，在成功率和行动效率。消融研究表明，TPG和LAE对于多块堆叠等任务特别有益。在Ravens-10基准任务上的其他实验表明，所提出的PAC-RoManNet具有良好的通用性。
2022-02-23 cs.RO
Flowing With Purpose: Latent Action Guided Flow Matching Policies For Robotic Manipulation
École Centrale de Lyon（里昂中央理工学院）；LIRIS, UMR5205（LIRIS实验室，UMR5205）
提出潜在动作引导流匹配（LAFM）框架，通过自适应先验分布库替代固定高斯分布，利用潜在动作模型选择结构对齐的初始化，解决流匹配策略中向量场纠缠问题，在真实机器人部署中成功率提升23.4%。
2026-06-23 cs.RO
Trace-Focused Diffusion Policy for Multi-Modal Action Disambiguation in Long-Horizon Robotic Manipulation
MARS Lab, Nanyang Technological University（MARS实验室，南洋理工大学）
TF-DP通过轨迹聚焦解决长时程机器人操作中的多模态动作模糊问题，提升时间一致性和鲁棒性，实验结果优于普通扩散策略。
2026-02-07 cs.RO
Chain-of-Action: Trajectory Autoregressive Modeling for Robotic Manipulation
The University of Adelaide（阿德莱德大学）
CoA通过逆向推理生成完整轨迹，结合连续动作表示、动态停止等设计，实现视觉-运动策略在机器人操作中的高效与灵活表现。
2026-01-06 cs.CV cs.LG cs.RO
Demystifying Action Space Design for Robotic Manipulation Policies
Institute for AI Industry Research (AIR), Tsinghua University（人工智能产业研究院（AIR），清华大学）；Shanghai AI Lab（上海人工智能实验室）；Peking University（北京大学）
本文通过大规模实验研究，揭示动作空间设计对机器人策略学习的显著影响，分析了时间与空间轴上的动作设计对策略可学习性和控制稳定性的影响。
2026-04-23 cs.CV cs.RO
$τ_0$-WM: A Unified Video-Action World Model for Robotic Manipulation
Shanghai Innovation Institute（上海创新研究院）；AGIBOT Finch
提出$\tau_0$-WM，一个统一视频-动作世界模型，通过共享视频扩散骨干集成策略学习、视频预测和动作评估，在长时域和精细操作任务上优于基线。
2026-08-25 cs.RO
D-SPEAR: Dual-Stream Prioritized Experience Adaptive Replay for Stable Reinforcement Learning in Robotic Manipulation
School of Computer Science University of Galway Galway, Ireland
本文提出D-SPEAR双流优先经验自适应回放框架，通过分离actor和critic采样并维护共享回放缓冲区，利用优先回放提升价值学习效率，低误差过渡稳定策略优化，在机器人操作任务中优于SAC、TD3等基线方法。
2026-04-01 cs.AI cs.LG cs.RO
Amodal 3D Reconstruction for Robotic Manipulation via Stability and Connectivity
University of Washington（华盛顿大学）
基于学习的3D对象重建使得能够对3D对象模型进行单次或Few-Shot估计。对于机器人来说，这有可能使基于模型的方法快速适应新的对象和场景。现有的3D重建技术优化视觉重建保真度，通常通过倒角距离或体素IOU测量。我们发现，当应用到现实的，杂乱的机器人环境中，这些系统产生重建与低物理现实主义，导致在基于模型的控制时，在较差的任务性能。我们提出了ARM，一个非模态3D重建系统，它引入了（1）对象形状的稳定性先验，（2）连通性先验，（3）多通道输入表示，允许对对象组之间的关系进行推理。通过使用这些先验的物体的物理属性，我们的系统不仅通过标准的视觉指标提高了重建质量，而且还提高了基于模型的控制在具有挑战性的，混乱的环境中的各种机器人操作任务的性能。代码可在github.com/wagnew3/ARM上获得。
2020-09-28 cs.CV cs.LG cs.RO
Foresight: Failure Detection for Long-Horizon Robotic Manipulation with Action-Conditioned World Model Latents
University of Michigan（密歇根大学）；Princeton University（普林斯顿大学）；University of Virginia（弗吉尼亚大学）
提出Foresight框架，利用动作条件世界模型的潜在表征监测操作轨迹，仅用最终任务级标签训练，结合函数共形预测自适应校准阈值，在仿真和真实机器人长时程任务中实现高效故障检测。
2026-06-23 cs.RO
Shake-VLA: Vision-Language-Action Model-Based System for Bimanual Robotic Manipulations and Liquid Mixing
Skoltech（斯科尔科沃科技学院）
本研究提出基于VLA模型的Shake-VLA双臂鸡尾酒调制系统，集成多模块实现配料检测、指令解析与精准操作，实验验证各组件及整体调制均具高成功率。
2025-01-12 cs.RO
Learning Robotic Manipulation Tasks via Task Progress based Gaussian Reward and Loss Adjusted Exploration
OSARO Inc（OSARO公司）；Rochester Institute of Technology（罗切斯特理工学院）；Siemens Corporation（西门子公司）
非结构化环境中的多步操作任务对于机器人学习来说是极具挑战性的。这些任务交织在一起，高级推理包括可以达到的预期状态，以实现整体任务和低级推理，决定什么行动将产生这些状态。我们提出了一种无模型的深度强化学习方法来学习多步操作任务。我们引入了一个机器人操作网络（RoManNet），这是一个基于视觉的模型架构，学习的动作价值函数和预测操作的候选人。我们定义了一个基于任务进度的高斯（TPG）奖励函数，该函数基于导致成功的运动基元和朝向整体任务目标的进度的动作来计算奖励。为了平衡勘探/开采的比例，我们引入了一个损失调整勘探（LAE）的政策，根据玻尔兹曼分布的损失估计，从行动候选人确定行动。我们通过训练RoManNet来学习模拟和现实世界中的几个具有挑战性的多步机器人操作任务来证明我们方法的有效性。实验结果表明，我们的方法优于现有的方法，并达到了最先进的性能，在成功率和行动效率。消融研究表明，TPG和LAE对于多块堆叠等任务特别有益。代码可在：www.example.com
2021-11-19 cs.RO
Predict in Chunks, Revise in Spans: History-conditioned Action Regeneration for Robotic Manipulation
Soochow University（苏州大学）；Tongji University（同济大学）
本文提出CMAP策略，通过历史条件局部再生优化动作块，在9个模拟和4个真实世界操纵任务上优于多个基准，可降低预测误差。
2026-10-14 cs.RO
HiMem-WAM: Hierarchical Memory-Gated World Action Models for Robotic Manipulation
The University of Hong Kong（香港大学）；INFIFORCE；Huazhong University of Science and Technology（华中科技大学）；Tsinghua University（清华大学）；Wuhan University（武汉大学）；Southern University of Science and Technology（南方科技大学）
提出分层记忆门控世界动作模型HiMem-WAM，通过分层潜在动作框架和边界触发记忆更新，提升长时域机器人操作的任务相关记忆与泛化鲁棒性。
2026-06-09 cs.RO
Observe Then Act: Asynchronous Active Vision-Action Model for Robotic Manipulation
针对现实中机器人操作受遮挡和有限视野阻碍的问题，提出任务驱动的异步主动视觉-动作模型，串行连接相机NBV策略与 gripper NBP策略并以少样本强化学习训练，在RLBench的8个任务上持续优于基线，有效处理视觉约束。
2025-02-12 cs.CV cs.RO
MLA: A Multisensory Language-Action Model for Multimodal Understanding and Forecasting in Robotic Manipulation
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机科学学院，北京大学）；Beijing Innovation Center of Humanoid Robotics (X-Humanoid)（北京类人机器人创新中心（X-Humanoid））；The Chinese University of Hong Kong (CUHK)（香港中文大学（CUHK））
本文提出MLA模型，通过多感官融合与未来目标预测，提升机器人在复杂接触任务中的操控能力，实验显示其在2D和3D任务中性能优于现有方法。
2026-03-18 cs.RO
RoboEXP: Action-Conditioned Scene Graph via Interactive Exploration for Robotic Manipulation
Peking University（北京大学）；National University of Singapore（新加坡国立大学）；Columbia University（哥伦比亚大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊公司）
本研究提出交互式场景探索任务与RoboEXP系统，融合LMM和显式记忆，让机器人自主探索并构建动作条件场景图，可高效支撑多种真实世界物体操作任务。
2024-10-08 cs.AI cs.CV cs.LG
GAF: Gaussian Action Field as a 4D Representation for Dynamic World Modeling in Robotic Manipulation
Tsinghua University（清华大学）；Beijing Normal University（北京师范大学）；Shadow AI
提出GAF，通过扩展3D高斯溅射引入可学习运动属性，实现动态场景的4D建模，并利用动作-视觉对齐去噪框架提升机器人操作成功率。
2026-05-22 cs.CV cs.RO
SkeleWAM: Skeleton World-Action Modeling for Efficient Robotic Manipulation
Peking University（北京大学）
SkeleWAM提出以稀疏3D骨架表示操作场景，结合未来骨架预测，实现高效且参数精简的机器人世界动作建模，在LIBERO-Plus上以57.1M参数达到85.9%成功率。
2026-10-02 cs.RO
Learning Action Manifold with Multi-view Latent Priors for Robotic Manipulation
Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China（机器智能与先进计算国家重点实验室，教育部，中国）；AMap, Alibaba Group（阿里的AMap）；Xi’an Jiaotong University（西安交通大学）；Shenzhen University of Advanced Technology（深圳先进技术大学）
本文提出利用多视图扩散模型合成潜在新视角，并引入几何引导门控变换器以提升机器人视觉-语言-动作模型的空间感知与操作性能，通过动作流形学习提高动作学习效率，实验证明优于现有方法。
2026-05-12 cs.RO
ChronoDreamer: Action-Conditioned World Model as an Online Simulator for Robotic Planning
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
ChronoDreamer通过时空变换器和视觉-语言模型，实现基于动作的动态世界模型，用于机器人规划中的安全动作预测与碰撞检测。
2025-12-21 cs.AI cs.RO
Instruct2Act: Mapping Multi-modality Instructions to Robotic Actions with Large Language Model
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；University of Chinese Academy of Sciences（中国科学院大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出Instruct2Act框架，利用大语言模型生成Python程序，整合SAM和CLIP等基础模型实现感知、规划与动作循环，将多模态指令转换为机器人操作策略，在桌面任务中零样本表现优于现有学习方法。
2023-05-24 cs.AI cs.RO
Perceiver-Actor: A Multi-Task Transformer for Robotic Manipulation
University of Washington（华盛顿大学）；NVIDIA（英伟达）
Transformers凭借其在大型数据集上的扩展能力，彻底改变了视觉和自然语言处理。但在机器人操作中，数据既有限又昂贵。在正确的问题表述下，Transformers还能使操纵受益吗？我们调查这个问题与PerAct，语言条件的行为克隆代理多任务6自由度操作。PerAct使用Perceiver Transformer对语言目标和RGB-D体素观察进行编码，并通过"检测下一个最佳体素动作“输出离散化动作。与在2D图像上操作的框架不同，体素化的3D观察和动作空间为有效学习6-DoF动作提供了强大的结构先验。有了这个公式，我们训练一个单一的多任务Transformer，用于18个RLBench任务（有249个变体）和7个现实世界的任务（有18个变体），每个任务只需几个演示。我们的研究结果表明，PerAct在广泛的桌面任务中显著优于非结构化图像到动作代理和3D ConvNet基线。
2022-11-11 cs.AI cs.CL cs.CV
Actor-Critic for Continuous Action Chunks: A Reinforcement Learning Framework for Long-Horizon Robotic Manipulation with Sparse Reward
AC3是一种用于连续动作分块的强化学习框架，通过定向稳定机制和自监督模块，在稀疏奖励环境下实现高效稳定的动作序列学习。
2026-02-27 cs.AI cs.RO
OASIS: Observation-Action Space Alignment via SE(3) Trajectory Prediction for Robotic Manipulation
National Key Laboratory of Human-Machine Hybrid Augmented Intelligence（人机混合增强智能国家重点实验室）；Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所）
提出OASIS视觉运动策略，通过SE(3)末端执行器轨迹预测对齐中间表示与动作空间，在仿真和真实实验中优于VLA和WAM基线。
2026-11-10 cs.AI cs.RO
MAPLE: Encoding Dexterous Robotic Manipulation Priors Learned From Egocentric Videos
ETH Zürich（苏黎世联邦理工学院）；Mimic Robotics（Mimic机器人公司）；Microsoft Research（微软研究院）
MAPLE通过从第一人称视频中学习的先验知识，提升灵巧机器人操作任务的策略学习，有效应对复杂精细的操作需求。
2025-12-08 cs.CV cs.RO
LACY: A Vision-Language Model-based Language-Action Cycle for Self-Improving Robotic Manipulation
Department of Electrical and Computer Engineering, Univ. of Minnesota（电气与计算机工程系，明尼苏达大学）
提出LACY框架，通过联合学习语言到动作、动作到语言和语言一致性验证三个任务，实现机器人操作的自我改进，平均任务成功率提升56.46%。
2026-05-21 cs.AI cs.RO
OC-VLA++: Monocular Geometry-Guided Cross-View Consistency for Viewpoint-Robust Robotic Manipulation
该研究针对相机覆盖有限时机器人操作的视点泛化问题，提出OC-VLA++模型，通过几何引导的配对视图监督和跨视图动作等变目标提升未见视点泛化能力，性能优于原模型。
2026-08-04 cs.RO
PRAG: Procedural Action Generator
CIIRC, Czech Technical University in Prague（捷克技术大学布拉格分校计算机科学与信息检索中心）
提出PRAG，一种程序化构建多步富接触操作任务的新方法，通过符号和物理验证生成可解决任务，支持与现有训练框架对接并生成大规模任务数据集。
2025-07-12 cs.RO
CLAMP: Contrastive Learning for 3D Multi-View Action-Conditioned Robotic Manipulation Pretraining
Google DeepMind（谷歌DeepMind）；University of Southern California（南加州大学）
CLAMP通过3D点云和机器人动作进行预训练，利用对比学习提升机器人操控精度与效率，优于现有基线方法。
2026-04-29 cs.AI cs.CV cs.LG
ST-$π$: Structured SpatioTemporal VLA for Robotic Manipulation
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）；School of Computing, Macquarie University（麦考瑞大学计算机学院）
本文提出ST-$π$模型，通过结构化时空视觉语言模型和动作专家，解决机器人操作中精细时空推理问题，同时引入结构化时空标注数据集进行训练。
2026-04-20 cs.CV cs.RO
