Safe Execution of RL Policies Via Acceleration-Based CBF-QP Constraint Enforcement for Real-World Robotic Deployments
CNRS–AIST Joint Robotics Laboratory (JRL)(法国国家科学研究中心与日本产业技术综合研究所联合机器人实验室);AIST(日本产业技术综合研究所);The University of Tokyo(东京大学)
研究针对强化学习缺乏安全保障限制硬件部署的问题,提出基于加速度的CBF-QP安全过滤器Acc-CBF-QP,能在运行时约束策略于安全集,减少约束违反,保留标称任务性能,在机器人实验中效果显著,且流程开源。
2026-07-17 cs.RO
UMI-on-Air: Embodiment-Aware Guidance for Embodiment-Agnostic Visuomotor Policies
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
本文提出UMI-on-Air框架,通过手握夹具收集的多样化无约束人类示范训练通用视觉-运动策略,结合高阶UMI策略与低阶具身特定控制器,在推理时实现具身感知的轨迹自适应,提升在复杂环境中的执行效率与鲁棒性。
2026-03-13 cs.RO
Zero-Shot Uncertainty-Aware Deployment of Simulation Trained Policies on Real-World Robots
QUT Centre for Robotics(昆士兰科技大学机器人中心)
虽然深度强化学习(RL)代理在实现机器人灵巧行为方面表现出令人难以置信的潜力,但由于训练和执行环境之间的不匹配,它们在现实世界中部署时往往会出错。相比之下,经典机器人社区已经开发了一系列控制器,这些控制器可以在现实世界中的大多数状态下安全地运行。然而,这些控制器缺乏灵活性所需的复杂任务的限制,在分析建模和近似。在本文中,我们提出了贝叶斯控制器融合(BCF),这是一种新型的不确定性感知部署策略,结合了深度RL策略和传统手工控制器的优势。在这个框架中,我们可以执行zero-shot仿真到现实迁移,其中我们基于不确定性的公式允许机器人通过利用手工制作的控制器在分布状态外可靠地动作,同时获得学习系统的灵活性。我们在两个现实世界的连续控制任务上显示了有希望的结果,其中BCF优于独立的策略和控制器,超过了两者都可以独立实现的目标。在https://bit.ly/bcf_deploy上提供了演示我们系统的补充视频。
2021-12-10 cs.AI cs.RO
A Sim-to-Real Integration Pipeline for Training and Deployment of Chunk-Based VLA Manipulation Policies
Institute of Intelligent Systems and Robotics (ISIR), CNRS, Sorbonne University(智能系统与机器人研究所(ISIR),法国国家科学研究中心,索邦大学)
提出一种开源仿真到现实集成流程,通过仿真轨迹开环重放收集真实数据并闭环评估,解决VLA操作策略训练数据采集成本高的问题,同时提供仿真到现实差距的直接测量。
2026-09-21 cs.RO
EVA-Client: A Unified Data Collection, Inference, and Deployment Framework for Embodied Policies on Real Robots
CoLab, Beihang University(协同实验室,北京航空航天大学)
介绍EVA-Client框架,它位于策略服务器和物理硬件之间,统一策略迭代循环的真实机器人阶段。贡献包括组件解耦架构、可检查执行及每次评估兼具数据收集功能,还整合多种实时推理策略。
2026-07-07 cs.CV cs.RO
Towards Safe Robot Foundation Models
Technical University of Darmstadt(达姆施塔特工业大学);German Research Center for Artificial Intelligence(德国人工智能研究中心);University of Oxford(牛津大学);Robotics Institute Germany(德国机器人研究所);Centre for Cognitive Science(认知科学中心)
本文提出将安全强化学习算法ATACOM扩展为通用策略的安全层,以约束动作空间并确保安全状态转移,使机器人基础模型无需专门微调即可在安全关键场景中部署,并在空气曲棍球环境中验证了其防碰撞有效性。
2025-03-10 cs.RO
Training Fast Robot Policies with Slow Foundation Models
本文提出VGRS方法,通过利用慢速基础模型训练快速机器人策略,结合LLM生成奖励与视觉分析诊断,提升机器人在复杂任务中的表现和部署效率。
2026-07-22 cs.CL cs.LG cs.RO
Adaptive and Explainable Deployment of Navigation Skills via Hierarchical Deep Reinforcement Learning
Korea Advanced Institute of Science and Technology(韩国科学技术院);Ulsan National Institute of Science and Technology(蔚山国立科学技术院)
本文提出一种分层深度强化学习框架,同时学习多种导航技能和高层部署策略,实现自适应选择最优导航行为,并提升自主导航的可解释性。
2023-10-30 cs.RO
FlowCorrect: Efficient Interactive Correction of Generative Flow Policies for Robotic Manipulation
Institute for Material Handling and Logistics (IFL), Karlsruhe Institute of Technology(物料处理与物流研究所,卡尔斯鲁厄技术大学)
FlowCorrect通过交互式模仿学习在部署时高效修正生成流策略,提升机器人操作的成功率与效率。
2026-08-31 cs.LG cs.RO
SAFECAST: Robust Failure Detection for VLA Policies with Contrast-Set Training and Calibration
University of Southern California(南加州大学)
SAFECAST 借助对比集扰动优化隐状态探测器训练与校准,在真实和模拟实验中显著提升 VLA 策略故障检测 ROC-AUC,且视觉与语言对比集扰动结合时效果最优。
2026-08-06 cs.CV cs.RO
Orchestrating Level-$K$ Policies Against Unknown Opponents in Partially-Observable Dynamic Games
University of California, Berkeley(加州大学伯克利分校);Johns Hopkins University(约翰斯·霍普金斯大学)
本文研究部分可观测动态博弈中未知对手的K级策略编排问题,提出基于强化学习的编排器RLBO,实验表明其优于分类式编排器,且训练效率高,支持将策略层级作为编排资源。
2026-10-06 cs.MA cs.RO
Legged Robots that Keep on Learning: Fine-Tuning Locomotion Policies in the Real World
Berkeley AI Research, UC Berkeley(加州大学伯克利分校伯克利人工智能研究院);Google Research(谷歌研究院);Georgia Institute of Technology(佐治亚理工学院)
足式机器人在物理上能够穿越各种具有挑战性的环境,但是设计足够鲁棒以处理这种多样性的控制器一直是机器人技术中的长期挑战。强化学习为控制器设计过程的自动化提供了一种有吸引力的方法,并且当在适当的环境范围内训练时,能够产生非常鲁棒的控制器。然而,很难预测机器人在部署期间将遇到的所有可能条件并在训练时列举它们。如果我们不训练足够强大的控制器来处理任何可能发生的事情,而是让机器人在任何环境中不断学习,那会怎么样?这种现实世界的强化学习带来了许多挑战,包括效率、安全性和自主性。为了解决这些挑战,我们提出了一个实用的机器人强化学习系统,在现实世界中微调运动策略。我们证明,适量的真实世界的训练可以大大提高部署过程中的性能,这使得一个真正的A1四足机器人能够在一系列环境中自主微调多种运动技能,包括室外草坪和各种室内地形。
2021-10-11 cs.RO
Detecting Unsafe Behavior in Neural Network Imitation Policies for Caregiving Robotics
本文研究护理机器人模仿学习中的不安全行为检测,针对扩散策略提出集成预测器与改进归一化流算法以解决“Policy Stopping”问题,在辅助机器人基准上优于 VAE 和 Tran-AD。
2024-07-29 cs.RO
Evidence-Guided Counterfactual Learning for Long-Tailed Robotic Policies
Hohai University(河海大学)
针对视觉-语言-动作机器人策略的长尾任务性能下降问题,提出证据引导反事实学习框架,无需额外数据或标注即可提升长尾机器人策略性能,尤其改善尾任务表现且不损失头任务性能。
2026-10-12 cs.RO
Generating Stable and Collision-Free Policies through Lyapunov Function Learning
McGill University(麦吉尔大学)
对快速可靠的机器人部署的需求正在上升。模仿学习(IL)已经变得流行,用于从一组演示中产生运动规划策略。然而,IL中的许多方法不能保证产生稳定的策略。生成的策略可能不会收敛到机器人目标,从而降低可靠性,并且可能与其环境冲突,从而降低系统的安全性。动态系统稳定估计(SEDS)通过在学习过程中约束李雅普诺夫稳定性准则来产生稳定的策略,但李雅普诺夫候选函数必须手动选择。在这项工作中,我们提出了一种新的方法学习李雅普诺夫函数和政策,使用一个单一的神经网络模型。该方法可以配备用于凸对象对的避障模块,以保证没有碰撞。我们证明了我们的方法能够在几个模拟环境中找到策略,并转移到现实世界的场景中。
2022-11-16 cs.RO
Grounding Generative Policies in Physics: Optimization-Guided Diffusion for Robot Control
ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
提出推理时优化框架,通过将扩散引导建模为约束优化问题,在采样中施加物理可行性约束,无需重训练即可提升机器人任务成功率。
2026-06-24 cs.RO
Robot Utility Models: General Policies for Zero-Shot Deployment in New Environments
New York University(纽约大学);Hello Robot Inc.(Hello Robot公司);Meta Inc.(Meta公司)
提出 Robot Utility Models 框架,通过高效移动操作数据采集、多模态模仿学习与 mLLM 重试验证,实现机器人策略在新环境和新硬件配置中的零样本部署。
2024-09-09 cs.LG cs.RO
Co-Evolving Robot Orchestrators and Policies through Deployment
Stanford University(斯坦福大学);NVIDIA Research(英伟达研究院)
提出Robo-COP,通过部署中协同进化编排器与策略,解决VLA策略泛化瓶颈,提升模拟与真实任务的保留成功率。
2026-10-08 cs.RO cs.SY eess.SY
From Demonstrations to Safe Deployment: Path-Consistent Safety Filtering for Diffusion Policies
Department of Computer Engineering, Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University of Munich(计算机工程系,慕尼黑机器人与机器智能研究所(MIRMI),慕尼黑技术大学);Department of Aeronautics and Astronautics, Stanford University(航空与航天系,斯坦福大学)
本文提出路径一致安全过滤方法,用于提升扩散策略在动态环境中的安全性和任务成功率。
2026-03-10 cs.RO cs.SY eess.SY
Learning While Deploying: Fleet-Scale Reinforcement Learning for Generalist Robot Policies
Shanghai Innovation Institute(上海创新研究院);AGIBOT Finch;Columbia University(哥伦比亚大学)
提出LWD框架,通过机群规模的离线到在线强化学习,结合分布式隐式价值学习与伴随匹配Q学习,持续后训练通用视觉-语言-动作策略,在16台双臂机器人上实现95%平均成功率。
2026-09-17 cs.RO
To Err is Robotic: Rapid Value-Based Trial-and-Error during Deployment
Stanford University(斯坦福大学)
针对机器人在新场景下首次尝试易失败、无方向重试易出不可逆错误的问题,提出Bellman-Guided Retrials算法,通过价值函数监控进度、调整策略,在仿真和真实场景分别将基础策略成功率提升20%、50%以上。
2024-06-22 cs.RO
Steering Generative Robot Policies with Lexicographic Preferences
Massachusetts Institute of Technology(麻省理工学院)
提出在推理时通过动态屏障引导和级联过滤,使冻结的生成式机器人策略遵守词典序部署偏好,在导航和操作任务中提升符合性且不损害成功率。
2026-09-15 cs.AI cs.RO
Back on Track: Deployment-time Policy Improvement via World Model Planning
Stanford University(斯坦福大学);University of Southern California(南加州大学)
针对部署时视觉运动策略无法自主恢复故障的问题,提出离线训练的监控干预框架,通过世界模型规划改进策略,在 LIBERO-Goal 等任务上提升了成功率且支持实时控制。
2026-10-15 cs.RO
Deployable Human Preference Alignment in Robotics: Learning Representative Rewards from Diverse Human Preferences
研究如何使机器人策略与人类偏好对齐,提出基于偏好的奖励聚类(PREC)框架,通过聚合用户轨迹学习共享轨迹编码器,将用户聚类并为每个聚类学习奖励模型,实验表明该方法能更准确聚类用户,在多指标上优于现有方法。
2026-07-15 cs.RO
UMI-Bench 1.0: An Open and Reproducible Real-World Benchmark for Tabletop Robotic Manipulation with UMI Data
University of Science and Technology of China(中国科学技术大学)
提出UMI-Bench 1.0,首个专为UMI风格操作策略设计的真实机器人基准,通过统一协议实现数据收集、场景重置、策略执行、结果记录和任务因素分析,提供可复现的评估平台。
2026-06-09 cs.RO
Safe Real-Time Policy Steering via Noise-Space Trajectory Optimization for One-Step Generative Policies
Purdue University(普渡大学)
针对生成式机器人策略部署时的实时约束问题,提出INSPO方法,通过在输入噪声空间进行轨迹优化实现推理时引导,提升任务成功率与约束满足度,且运行时更低。
2026-09-21 cs.RO
Long Range Neural Navigation Policies for the Real World
Google AI(谷歌人工智能)
基于学习神经网络的策略在机器人导航中显示出了良好的效果。然而,这些方法中的大多数都没有用于真正的机器人,因为它们需要大量的模拟训练。这些模拟缺乏真实世界的视觉效果和动力学,这使得部署在真实机器人上不可行。我们提出了一种新的基于神经网络的策略,NavNet,它允许在一个真正的机器人上轻松部署。它由两个子策略组成--一个高层策略,可以理解真实图像并执行以高层命令表示的长期规划;一个低层策略,可以将长期规划以安全和鲁棒的方式转换为特定平台上的低层命令。对于每一个新的部署,高级策略都是在一个容易获得的环境扫描上训练的,该环境对它的视觉效果和布局进行建模。我们详细介绍了这样一个环境的设计,以及如何使用它来训练最终的导航策略。此外,我们展示了一个学习的低层次的政策。我们将该模型部署在一个大型办公楼中,并对其进行了广泛的测试,在长时间的导航运行中实现了$0.80$的成功率,并在相同的设置下优于基于SRAM的模型。
2019-08-28 cs.CV cs.RO
FLOWER: Democratizing Generalist Robot Policies with Efficient Vision-Language-Action Flow Policies
Intuitive Robots Lab(直观机器人实验室);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Microsoft Research(微软研究院)
针对现有VLA策略计算成本高的问题,提出中间模态融合与动作专属Global-AdaLN条件机制,构建9.5亿参数的FLOWER模型,以更低训练成本在多基准任务上取得媲美大模型的性能并刷新CALVIN ABC基准纪录。
2025-09-05 cs.RO
Closing the Reality Gap: Zero-Shot Sim-to-Real Deployment for Dexterous Force-Based Grasping and Manipulation
University College London(伦敦大学学院)
提出一种模拟到现实的强化学习方法,利用密集触觉反馈和关节扭矩传感调控物理交互,通过快速触觉模拟、电流到扭矩校准及执行器动力学建模,实现零样本部署,展示了人类手部技能。
2026-07-07 cs.RO
Passivity-Centric Safe Reinforcement Learning for Contact-Rich Robotic Tasks
Human-Robot Interfaces and Interaction Lab, Istituto Italiano di Tecnologia, Genoa, Italy(人机交互实验室,意大利理工学院,热那亚,意大利);Ph.D. program of national interest in Robotics and Intelligent Machines (DRIM) and Università di Genova(机器人与智能机器国家级博士项目(DRIM)和热那亚大学)
本研究针对接触丰富型机器人任务,结合基于能量的无源控制与安全强化学习,提出感知无源性训练与部署阶段的无源性滤波方法,提升了控制稳定性与能量效率。
2026-09-03 cs.RO
GenSwarm: Scalable Multi-Robot Code-Policy Generation and Deployment via Language Models
Department of Artificial Intelligence, Westlake University(人工智能系,西湖大学);School of Automation Science and Electrical Engineering, Beihang University(自动化科学与电气工程学院,北航);Institute of Engineering and Technology, University of Groningen(工程与技术学院,格罗宁根大学);Department of Computer Science, Technical University of Darmstadt(计算机科学系,德累斯顿技术大学);School of Electrical and Electronic Engineering, The University of Sheffield(电子与电气工程学院,谢菲尔德大学)
本文提出端到端系统GenSwarm,利用大型语言模型根据自然语言指令自动生成和部署多机器人控制策略,实现零样本学习与白盒可解释性,支持模拟与真实环境的高效扩展部署。
2025-10-31 cs.AI cs.MA cs.RO
Learning Diffusion Policies for Robotic Manipulation of Timber Joinery under Fabrication Uncertainty
Princeton University(普林斯顿大学);University of Michigan(密歇根大学)
本文研究了在建筑施工中使用扩散策略学习提升机器人装配的鲁棒性和精度,通过紧密契合的木构接合作为案例,证明扩散策略能通过接触感知控制补偿对齐误差。
2026-08-25 cs.RO
Efficient Test-Time Adaptation For Robot Policies
Qualcomm AI Research(高通人工智能研究部门)
针对机器人策略部署时运行条件变化导致失效的问题,提出TEMPO测试时自适应方法,在MuJoCo仿真和物理Unitree机器人上实现了最高80%的性能提升。
2026-10-15 cs.LG cs.RO
Think When It Matters: Conditional VLM Reasoning for Social Navigation with RL Policies
Institut des Systèmes Intelligents et de Robotique (ISIR)(智能系统与机器人研究所)
研究社交机器人导航中强化学习策略缺乏语义推理能力的问题,提出HUMA混合架构,动态平衡RL策略与VLM的优势。在基准测试中任务成功率提高,减少碰撞,消融研究验证组件,实际部署证明方法可行。
2026-07-14 cs.AI cs.CV cs.RO
ActSafeGuard: Differentiable and Training-Aligned Constraint Enforcement for Flow-Matching Policies
Shanghai Jiao Tong University(上海交通大学);Shanghai Institute of Innovation(上海创新研究院)
ActSafeGuard提出一种可微分且训练对齐的安全防护层,通过解析射线缩放算子将硬约束融入流匹配策略学习,实现100%逐步安全率并保持或提升任务成功率。
2026-09-15 cs.AI cs.RO
ROBOGATE: Adaptive Failure Discovery for Safe Robot Policy Deployment via Two-Stage Boundary-Focused Sampling
AgentAI Co., Ltd.(AgentAI公司)
本文提出ROBOGATE框架,结合物理仿真与两阶段自适应采样策略,有效发现操作参数空间中的故障边界,通过大量实验验证了其在不同机器人上的有效性,并展示了在跨仿真器场景下的部署验证挑战。
2026-04-20 cs.RO
Factorizing Diffusion Policies for Observation Modality Prioritization
本文提出分解扩散策略 FDP,通过分解观测条件实现模态优先级排序,在低数据场景和分布偏移下显著提升机器人策略的成功率与鲁棒性。
2025-09-20 cs.RO
PACE: Phase-Aware Chunk Execution for Robot Policies with Action Chunking
Peking University(北京大学);JD Explore Academy(京东探索研究院)
提出PACE方法,通过在线预测动作分块中的低速过渡点作为重规划边界,自适应选择执行步长,无需重新训练即可提升机器人策略成功率。
2026-11-04 cs.RO
Training-Free Imitation Learning with Closed-Form Diffusion Policies
Australian Center for Robotics, ARIAM Hub, and School of Aerospace, Mechanical and Mechatronic Engineering University of Sydney(澳大利亚机器人中心、ARIAM中心和悉尼大学航空航天、机械与机电工程学院)
提出一种基于演示数据集闭式得分的无训练扩散策略(CFDP),实现毫秒级实时模仿学习,性能媲美需数小时训练的神经基线,并支持推理时策略编辑与演示增强。
2026-05-31 cs.LG cs.RO
Safe Continual Domain Adaptation after Sim2Real Transfer of Reinforcement Learning Policies in Robotics
Technical University of Munich(慕尼黑工业大学);University of California, Berkeley(加州大学伯克利分校);Technische Universität Berlin(柏林工业大学);L3S Research Center, Leibniz Universität Hannover(莱布尼茨汉诺威大学L3S研究中心)
该研究结合安全强化学习与持续学习,使机器人策略在 sim2real 部署后能安全适应当前真实域分布和动力学,并避免灾难性遗忘。
2025-03-13 cs.AI cs.RO
Direct Random Search for Fine Tuning of Deep Reinforcement Learning Policies
University of California, Santa Barbara(加州大学圣巴巴拉分校)
研究人员已经证明,深度强化学习(DRL)是一种强大的工具,可以找到在复杂机器人系统上表现良好的策略。然而,这些政策往往是不可预测的,可以诱导高度可变的行为时,只有略有不同的初始条件进行评估。训练考虑因素约束DRL算法设计,因为大多数算法在训练期间必须使用随机策略。然而,在部署过程中使用的最终策略可以并且经常是确定性的,在每一步都使用最大可能性操作(MLA)。在这项工作中,我们表明,直接随机搜索是非常有效的微调DRL政策,直接优化他们使用确定性推出。我们通过大量的强化学习环境来说明这一点,使用从不同算法获得的各种各样的策略。我们的研究结果表明,这种方法在我们测试的环境中产生更一致和更高性能的代理。此外,我们还演示了如何使用这种方法来扩展我们以前的工作,缩小深度神经网络(DNN)策略下运行的闭环系统的可达状态空间的维数。
2022-03-04 cs.LG cs.RO
Steertuning Policies from a Few Human Videos
New York University(纽约大学)
本研究提出Steertuning系统,通过预训练4亿参数扩散策略并仅用5个人类演示微调2分钟,使机器人在12个新环境的12个任务中实现71%的任务成功率,整个部署过程耗时不足5分钟。
2026-10-14 cs.AI cs.RO
SATA: Safe and Adaptive Torque-Based Locomotion Policies Inspired by Animal Learning
MARMot Lab, National University of Singapore(新加坡国立大学MARMot实验室);Computational Robotics Lab, ETH Zurich(苏黎世联邦理工学院计算机器人实验室);BioRob Lab, EPFL(洛桑联邦理工学院BioRob实验室)
SATA框架受动物运动学习启发,通过改进早期探索解决力矩型策略训练难题,实现零样本仿真到真实迁移,并在复杂地形和外部扰动下展现出显著的安全性与柔顺性。
2025-05-08 cs.LG cs.RO
RoboDojo: A Unified Sim-and-Real Benchmark for Comprehensive Evaluation of Generalist Robot Manipulation Policies
UC Berkeley(加州大学伯克利分校);THU(清华大学);PKU(北京大学);Stanford(斯坦福大学);MIT(麻省理工学院);UNC(北卡罗来纳大学);Princeton(普林斯顿大学);CMU(卡内基梅隆大学);NUS(新加坡国立大学);NTU(南洋理工大学);CUHK(香港中文大学);SJTU(上海交通大学);HKUST (GZ)(香港科技大学(广州));ZJU(浙江大学);Yale(耶鲁大学)
现有基准测试在系统评估通用机器人操作策略能力方面有限,本文引入RoboDojo统一基准测试,含模拟与现实任务,支持多维度评估及可扩展评估,还建立了公共排行榜与系统分析。
2026-07-09 cs.AI cs.CV cs.GR
Sim-to-Real of Humanoid Locomotion Policies via Joint Torque Space Perturbation Injection
本文提出一种新的仿真到现实方法,通过在正向仿真中注入状态依赖的扰动,提高人形机器人运动策略的鲁棒性。
2026-03-25 cs.AI cs.RO
Real-Time Execution with Autoregressive Policies
Korea Institute of Science and Technology(韩国科学技术研究院);Seoul National University(首尔大学);Google Research(谷歌研究院)
通过异步推理和约束解码实现自回归策略的实时执行,在保证低延迟的同时提升任务完成速度,实验表明其性能优于流匹配策略。
2026-11-09 cs.AI cs.RO
VersaCamVLA: Camera-Configurable VLA Policies for Robotic Manipulation
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
针对VLA模型部署时相机配置变化导致性能下降的问题,提出相机可配置框架VersaCamVLA,通过解耦相机集表示与动作学习实现稳健操作策略,在多基准及真实机器人上性能优于现有方法。
2026-10-09 cs.CV cs.RO
Learning Off-Policy with Online Planning
Robotics Institute(机器人研究所);Carnegie Mellon University(卡内基梅隆大学);The University of Texas at Austin(得克萨斯大学奥斯汀分校)
低数据和风险敏感域中的强化学习(RL)需要高性能和灵活的部署策略,这些策略可以在部署过程中轻松纳入约束。一类这样的策略是半参数H步前瞻策略,其在具有终端价值函数的固定时间范围的动态模型上使用轨迹优化来选择动作。在这项工作中,我们研究了一种新的实例化的H-步骤前瞻与学习模型和终端价值函数学习的无模型的离线策略算法,名为学习离线策略与在线规划(LOOP)。我们对这种方法进行了理论分析,提出了模型误差和价值函数误差之间的权衡,并实证证明了这种权衡在深度强化学习中是有益的。此外,我们确定在这个框架中的“演员发散”的问题,并提出演员正则化控制(ARC),修改后的轨迹优化过程。我们评估了我们的方法对一组机器人任务离线和在线RL,并展示了改进的性能。我们还展示了LOOP的灵活性,在部署过程中将安全约束与一组导航环境。我们证明,循环是一个理想的框架,机器人应用程序的基础上,其强大的性能在各种重要的RL设置。项目视频和详细信息可以在https://hari-sikchi.github.io/loop上找到。
2021-10-05 cs.AI cs.LG cs.RO
Closing the Reality Gap: Zero-Shot Sim-to-Real Deployment for Dexterous Force-Based Grasping and Manipulation
ByteDance Seed(字节跳动种子)
本文提出了一种基于仿真到现实强化学习的框架,通过触觉和扭矩传感结合建模,实现灵巧手在真实硬件上的可控抓取与操作。
2026-01-09 cs.AI cs.RO
PAVE: Predictive Alignment and Value-Guided Evolution for World-Action Policies
East China Normal University(华东师范大学);EBKernel Shanghai Artificial Intelligence Laboratory(上海人工智能实验室EBKernel)
本研究提出PAVE策略,通过多时间步转换对齐与分布价值评论者优化,在三个模拟基准中实现最优性能,同时保留在线直接动作生成路径。
2026-09-21 cs.AI cs.RO
Trading Safety Versus Performance: Rapid Deployment of Robotic Swarms with Robust Performance Constraints
Stanford University(斯坦福大学);Army Research Lab(陆军研究实验室)
在本文中,我们考虑一个随机部署问题,机器人群的任务是定位至少一个机器人在一组预先分配的目标,同时满足时间的最后期限的目标。旅行时间和故障率是随机的,但相关的,因为故障率随速度增加。为了在满足最后期限的同时最大限度地提高成功的机会,控制策略必须平衡安全性和性能。我们的方法是在约束马尔可夫决策过程的理论内投射问题,从而我们寻求计算最大化成功部署概率的策略,同时确保任务的预期持续时间受给定截止日期的限制。考虑到问题参数的不确定性,我们考虑了一个强大的配方,我们提出了有效的解决方案的算法,这是独立的利益。数值实验证实了我们的理论结果,并进行了讨论。
2015-11-22 cs.RO math.OC
MSG: Multi-Stream Generative Policies for Sample-Efficient Robotic Manipulation
University of Freiburg(弗莱堡大学)
本文提出MSG多流生成策略,通过结合多个对象中心策略提升泛化能力和样本效率,实现在五次演示下学习高质量生成策略,性能提升89%。
2026-03-31 cs.AI cs.LG cs.RO
RAPT: Model-Predictive Out-of-Distribution Detection and Failure Diagnosis for Sim-to-Real Humanoid Deployment
School of Electrical Engineering and Computer Science, University of Queensland(电气工程与计算机科学学院,昆士兰大学);CSIRO Robotics, Data61(CSIRO机器人,Data61)
RAPT通过模型预测异常检测和故障诊断技术,提升人形机器人在仿真到现实转移中的鲁棒性和可解释性。
2026-07-22 cs.LG cs.RO
Recovering Low-Bit Failures in Vision-Language-Action Policies via Quantization-Conditioned Reinforcement Learning
Hanyang University(汉阳大学);LG Electronics(LG电子)
针对VLA策略量化后任务完成度下降问题,提出QCRL方法,在多种量化设置下大幅缩小与全精度策略的性能差距,同时实现内存节省与推理加速。
2026-10-14 cs.CV cs.RO