Learning Control Policies for Fall prevention and safety in bipedal locomotion
Stanford University(斯坦福大学);Georgia Institute of Technology(佐治亚理工学院)
从意外的外部干扰中恢复的能力是双足运动的基本运动技能。有效的应对措施不仅包括恢复平衡和保持稳定的能力,还包括在身体无法恢复平衡时以安全的方式摔倒的能力。对于与双足运动相关联的机器人,例如人形机器人和帮助人类行走的辅助机器人设备,设计能够提供这种稳定性和安全性的控制器可以防止对机器人的损坏或防止与伤害相关的医疗费用。这是一项具有挑战性的任务,因为它涉及到为具有接触的高维、非线性和欠驱动系统生成高度动态运动。尽管在使用基于模型的方法和优化方法方面取得了先前的进步,但诸如需要广泛的领域知识、相对较大的计算时间和对动态变化的有限鲁棒性等挑战仍然使其成为一个开放的问题。在这篇论文中,为了解决这些问题,我们开发了基于学习的算法,能够合成两种不同类型的机器人的推恢复控制策略:人形机器人和辅助机器人设备,协助双足运动。我们的工作可以分为两个密切相关的方向:1)学习安全跌倒和跌倒预防策略的人形机器人和2)学习跌倒预防策略的人类使用机器人辅助设备。为了实现这一目标,我们引入了一组深度强化学习(DRL)算法来学习控制策略,从而在使用这些机器人时提高安全性。
2022-01-04 cs.AI cs.RO
Micro Neural Policies for Safe Real-Time Robotic Control
Sapienza University of Rome(罗马大学);Technical University of Munich(慕尼黑工业大学)
本文提出微型神经策略,通过进化策略与统计模型检验集成,实现安全实时控制,并在微控制器上高效部署。
2026-10-07 cs.AI cs.RO
Beyond Sight: Finetuning Generalist Robot Policies with Heterogeneous Sensors via Language Grounding
Berkeley AI Research (BAIR)(伯克利人工智能研究院(BAIR));UC Berkeley(加州大学伯克利分校)
针对通用机器人策略仅依赖视觉和本体感觉的局限,提出FuSe方法,以自然语言为跨模态接地,结合多模态对比损失与语言生成损失,微调异构传感器下的策略,零样本完成多模态推理任务,真实实验成功率较基线提升超20%。
2025-01-14 cs.AI cs.RO
Efficient Evaluation of Multi-Task Robot Policies With Active Experiment Selection
University of Southern California(南加州大学)
针对多任务机器人策略评估成本高、结果不可靠的问题,提出将其建模为主动测试问题,利用自然语言先验建模任务关系,通过成本感知的期望信息增益启发式选择信息性试验,降低评估成本。
2025-02-14 cs.AI cs.LG cs.RO
TraceVLA: Visual Trace Prompting Enhances Spatial-Temporal Awareness for Generalist Robotic Policies
University of Maryland, College Park(马里兰大学 College Park 分校);Microsoft Research(微软研究院);Capital One
本文提出视觉轨迹提示方法,通过在15万条操作轨迹数据集上微调OpenVLA得到TraceVLA模型,显著提升机器人策略的时空感知能力,在仿真和真实机器人任务中均优于基线并具备良好泛化性。
2025-06-05 cs.AI cs.RO
InfiNoVA: Infinite Novel View Augmentation for Viewpoint Invariant Robot Policies
Montanuniversität Leoben(莱奥本矿业大学)
InfiNoVA通过将多相机演示重建为三维高斯表示并渲染密集新视角,增强机器人策略的视点不变性,在未见视角下成功率提升5.4倍。
2026-09-24 cs.AI cs.RO
ActProbe: Action-Space Probe for Early Failure Detection of Generative Robot Policies
Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR));University of Electronic Science and Technology of China(电子科技大学);Nanjing University(南京大学)
提出ActProbe,一种轻量级纯动作空间故障检测器,利用时间一致性误差和动作块幅度两个信号,通过LSTM-MLP架构预测故障,在多种生成式策略上提升F1-时效性帕累托前沿平均超体积增益+12.7%,并加速强化学习微调。
2026-06-07 cs.AI cs.RO
RoboTTT: Context Scaling for Robot Policies
NVIDIA(英伟达公司);Stanford University(斯坦福大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
研究提出RoboTTT,将测试时训练集成到机器人基础模型,通过序列动作强制和截断反向传播扩展视觉运动上下文到8K时间步长,解锁新能力,提升多任务性能,证明上下文长度是机器人基础模型新扩展轴。
2026-07-17 cs.AI cs.LG cs.RO
End-to-end grasping policies for human-in-the-loop robots via deep reinforcement learning
Northeastern University(东北大学)
最先进的人在环机器人抓取是巨大的肌电图(EMG)推理鲁棒性问题。作为一种变通方法,研究人员一直在研究将EMG与其他信号整合在一起,通常是以一种特别的方式。在本文中,我们提出了一种方法,用于端到端的培训政策,人在回路机器人掌握真正的到达轨迹。为此目的,我们使用强化学习(RL)和模仿学习(IL)在DEXTRON(DEXTerity enviRONment),一个随机模拟环境与真实的人类轨迹,使用蒙特卡罗(MC)模拟方法增强和选择。我们还提供了一个成功模型,一旦在专家策略数据和RL策略推出过渡上进行了训练,就可以透明地了解深度策略如何工作以及何时可能失败。
2021-04-26 cs.AI cs.RO
LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies
Tsinghua University(清华大学);Jilin University(吉林大学);Nankai University(南开大学);Peking University(北京大学);Harbin Institute of Technology(哈尔滨工业大学);Zhongguancun Academy(中关村学院);Striding.AI;Infinigence AI
提出LaWAM模型,通过潜在视觉子目标预测场景变化,实现动力学感知的机器人控制,在多个基准上达到最优或竞争性成功率,且推理延迟低。
2026-10-30 cs.AI cs.CV cs.RO
MSG: Multi-Stream Generative Policies for Sample-Efficient Robotic Manipulation
University of Freiburg(弗莱堡大学)
本文提出MSG多流生成策略,通过结合多个对象中心策略提升泛化能力和样本效率,实现在五次演示下学习高质量生成策略,性能提升89%。
2026-03-31 cs.AI cs.LG cs.RO
Detecting Unsafe Behavior in Neural Network Imitation Policies for Caregiving Robotics
本文研究护理机器人模仿学习中的不安全行为检测,针对扩散策略提出集成预测器与改进归一化流算法以解决“Policy Stopping”问题,在辅助机器人基准上优于 VAE 和 Tran-AD。
2024-07-29 cs.RO
Reducing Risk for Assistive Reinforcement Learning Policies with Diffusion Models
针对辅助机器人的安全性需求,本研究提出一种无需额外环境交互即可提升高风险策略安全性的方法,结合强化学习与模仿学习,经模拟实验验证可增强传统RL方法在辅助机器人任务中的表现。
2024-05-13 cs.AI cs.RO
EDITH: Teaching Robot to Follow Nonverbal Human Intent from Egocentric Vision and Gaze
KAIST(韩国科学技术院);Seoul National University(首尔国立大学)
提出EDITH框架,通过智能眼镜捕捉人类第一人称视角、注视和语言信号,设计分层策略将非语言信号与语言指令结合,实现更自然的人机交互,减少用户表达意图的负担。
2026-10-20 cs.AI cs.RO
DASIP: Dynamic Test-Time Compute Scaling for Robot Control with Stochastic Interpolant Policies
New York University(纽约大学);University of Maryland(马里兰大学);Harvard University(哈佛大学);Capital Fund Management(资本基金管理公司)
提出难度感知随机插值策略(DA-SIP),通过难度分类器动态调整推理步数、求解器和ODE/SDE积分,在保持任务成功率的同时将计算时间减少2.6-4.4倍。
2026-06-23 cs.AI cs.RO
Enhancing Robot Navigation Policies with Task-Specific Uncertainty Managements
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Florida International University(佛罗里达国际大学)
针对复杂环境下机器人导航需应对不同任务的差异化不确定性需求问题,提出集成任务特定不确定性图的GUIDE框架,结合强化学习实现平衡任务完成与不确定性管理的导航策略,真实测试性能显著优于无任务特定不确定性感知的方法。
2025-05-20 cs.AI cs.LG cs.RO
Simple Agentic Memory for Generalist Robot Policies
Carnegie Mellon University(卡内基梅隆大学);Tulane University(杜兰大学);New York University(纽约大学);Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学)
提出SimpleARM,一种免训练记忆层,通过监控、感知工具和结构化检索为冻结通用策略提供任务相关状态,在RoboMME基准上以67.17%成功率超越基线44.51%。
2026-09-30 cs.AI cs.RO
SafeAPT: Safe Simulation-to-Real Robot Learning using Diverse Policies Learned in Simulation
Aalto University(阿尔托大学)
仿真到真实学习的框架,即在仿真中学习策略并将这些策略转移到现实世界中,是机器人数据高效学习最有前途的方法之一。然而,由于仿真和真实世界之间不可避免的现实差距,在仿真中学习的策略可能并不总是在真实机器人上生成安全行为。因此,在现实世界中的策略的适应期间,机器人可能会损坏自身或对其周围环境造成伤害。在这项工作中,我们引入了一种新的学习算法称为SafeAPT,利用不同的剧目的政策演变的模拟和转移最有前途的安全政策,真正的机器人通过情节互动。为了实现这一点,SafeAPT迭代地学习概率奖励模型以及使用现实世界的观察与模拟经验相结合作为先验的安全模型。然后,它使用奖励模型对指令集执行贝叶斯优化,同时使用安全模型保持指定的安全约束。SafeAPT允许机器人安全地适应各种目标,并在模拟中使用相同的策略。我们比较了SafeAPT与几个基线,无论是在模拟和真实的机器人实验,并表明SafeAPT发现高性能的政策在几分钟内在现实世界中,同时最大限度地减少安全违规的互动过程中。
2022-01-27 cs.AI cs.LG cs.NE
Language-Conditioned Offline RL for Multi-Robot Navigation
University of Cambridge(剑桥大学)
本文提出一种基于预训练LLM嵌入和离线强化学习的多机器人导航策略,仅需20分钟数据即可在真实机器人上实现低延迟控制和零样本泛化。
2024-07-29 cs.AI cs.LG cs.RO
Learning Real-World Robot Policies by Dreaming
School of Informatics, Computing, and Engineering(信息学、计算与工程学院);Indiana University Bloomington(印第安纳大学伯明顿分校)
学习直接基于图像控制机器人是机器人技术的主要挑战。然而,许多现有的强化学习方法需要迭代地获得数百万个机器人样本来学习策略,这可能花费大量时间。在本文中,我们专注于学习一个现实的世界模型捕捉动态的场景变化的机器人动作的条件。我们的做梦模型可以模拟相当于来自实际环境的一系列图像的样本,技术上是通过学习一个动作条件化的未来表征/场景回归。这允许代理学习动作策略(即,通过与梦想模型而不是现实世界进行交互。我们通过实验证实,我们的梦想模型能够让机器人学习转移到现实世界的政策。
2019-08-01 cs.CV cs.RO stat.ML
Deployment-Time Reliability of Learned Robot Policies
STANFORD UNIVERSITY(斯坦福大学)
本文研究了如何通过部署时机制提升学习机器人策略的可靠性,提出运行时监控、数据驱动的可解释性框架及长周期任务执行方法,以应对部署中的分布偏移、误差叠加和复杂依赖性问题。
2026-03-12 cs.AI cs.LG cs.RO
SPACE: Enabling Learning from Cross-Robot Data Toward Generalist Policies
KAIST(韩国科学技术院);Config;Yonsei University(延世大学)
提出SPACE框架,通过笛卡尔状态增量作为通用动作表示,结合动作适配器处理机器人动力学差异,实现跨本体和硬件的策略学习,显著优于直接预测控制命令的方法。
2026-06-24 cs.RO
PEEK: Guiding and Minimal Image Representations for Zero-Shot Generalization of Robot Manipulation Policies
University of Washington(华盛顿大学);NVIDIA(NVIDIA公司);University of Southern California(南加州大学);Allen Institute for AI(人工智能研究所)
针对机器人操作策略泛化失败问题,提出PEEK方法,将高层推理卸载至VLMs并微调其生成末端执行器路径与任务掩码的中间表示,提升零样本泛化性能,如仿真训练3D策略真实世界性能提升41.4倍。
2025-09-22 cs.AI cs.LG cs.RO
ExAug: Robot-Conditioned Navigation Policies via Geometric Experience Augmentation
UC Berkeley(加州大学伯克利分校);Toyota Motor North America(丰田汽车北美公司)
机器学习技术依赖于大型且多样化的数据集进行泛化。计算机视觉、自然语言处理和其他应用程序通常可以重用公共数据集来训练许多不同的模型。然而,由于物理配置的差异,利用公共数据集在新的机器人平台或新的任务上训练机器人控制策略是具有挑战性的。在这项工作中,我们提出了一个新的框架,ExAug,以增强不同环境中多个数据集的不同机器人平台的经验。ExAug利用了一个简单的原则:通过以点云的形式提取3D信息,我们可以创建更复杂和结构化的增强,利用生成合成图像和几何感知惩罚,这将适用于不同机器人的相同情况,具有不同的大小,转弯半径和摄像头放置。在两个新的机器人平台上,三个不同的摄像头在室内和室外环境中的障碍物的训练政策进行评估。
2022-10-14 cs.AI cs.CV cs.LG
DeepCPG Policies for Robot Locomotion
University of Cincinnati(辛辛那提大学)
中枢模式发生器(CPG)形成了在有腿动物中观察到的运动节律行为的神经基础。组织成网络的CPG动力学允许复杂运动行为的出现。在这项工作中,我们采取这种启发多足式机器人的步行行为的发展。我们提出了新的DeepCPG策略,将CPG作为一个层嵌入到更大的神经网络中,并促进深度强化学习(DRL)设置中运动行为的端到端学习。我们证明了这种方法对基于物理引擎的昆虫机器人的有效性。我们表明,与传统方法相比,即使在高维传感器空间(视觉)的情况下,DeepCPG策略也允许有效运动策略的样本高效端到端学习。我们使用模块化机器人配置和多代理DRL扩展DeepCPG策略。我们的研究结果表明,逐步复杂化与嵌入式先验的这些政策在一个模块化的方式可以实现非平凡的传感器和电机集成的机器人平台上。这些结果也表明了从基于生物学原理的简单智能系统中引导更复杂的智能系统的有效性。最后,我们给出了一个概念验证的昆虫类机器人系统的实验结果,DeepCPG最初使用模拟引擎学习策略,然后将这些策略转移到现实世界的机器人中,而无需进行任何额外的微调。
2023-02-25 cs.AI cs.LG cs.NE
Shortcut Learning in Generalist Robot Policies: The Role of Dataset Diversity and Fragmentation
UESTC
本文揭示了通用机器人策略泛化能力受限的根源是捷径学习,指出数据集多样性不足与碎片化是主因,并证明数据增强策略能有效缓解该问题并提升策略泛化能力。
2025-08-08 cs.AI cs.CV cs.RO
P3-PO: Prescriptive Point Priors for Visuo-Spatial Generalization of Robot Policies
University of Maryland(马里兰大学);New York University(纽约大学)
针对机器人策略从视觉输入学习泛化性差的问题,提出P3-PO框架,通过人工标注语义点+视觉模型传播构建状态表示用于策略学习,在真实任务中显著提升分布外泛化性能。
2024-12-09 cs.AI cs.CV cs.LG
Learning of Coordination Policies for Robotic Swarms
University of Toronto(多伦多大学)
受生物群的启发,机器人群被设想用来解决单个代理难以解决的现实问题。生物群体可以基于局部交互和简单规则实现集体智能;然而,为大规模机器人群体设计有效的分布式策略以实现全球目标可能具有挑战性。虽然通常可以为较少数量的代理设计最佳集中式策略,但随着代理数量的增加,这些方法可能会失败。受机器学习日益成功的推动,我们开发了一种深度学习方法,该方法从集中式策略中学习分布式协调策略。与传统的分布式控制方法相比,这种基于学习的方法可以适应更困难的任务,而传统的分布式控制方法通常是基于人类设计的策略来完成相对简单的任务。我们证明了我们所提出的方法在两个不同的任务,众所周知的交会问题和更困难的粒子分配问题的功效。对于后者,不存在已知的分布式策略。从广泛的模拟,它表明,学习的协调政策的性能是可比的集中式政策,超过国家的最先进的分布式政策。因此,我们提出的方法提供了一个有前途的替代现实世界的协调问题,否则将是计算昂贵的解决或无形的探索。
2017-09-19 cs.AI cs.LG cs.MA
Distilling Motion Planner Augmented Policies into Visual Control Policies for Robot Manipulation
University of Southern California(南加州大学)
在现实的,有障碍的环境中学习复杂的操作任务是一个具有挑战性的问题,由于困难的探索存在的障碍和高维视觉观察。先前的工作通过整合运动规划和强化学习来解决探索问题。然而,运动规划器增强策略需要访问状态信息,这在现实世界的设置中通常是不可用的。为此,我们建议通过以下方式将基于状态的运动规划器增强策略提取为视觉控制策略:(1)视觉行为克隆,以去除运动规划器依赖性及其抖动运动,以及(2)基于视觉的强化学习,并在行为克隆代理的平滑轨迹的指导下。我们评估我们的方法在三个操作任务在障碍环境中,并比较它与各种强化学习和模仿学习基线。结果表明,我们的框架是高度采样效率和优于国家的最先进的算法。此外,再加上域随机化,我们的政策是能够zero-shot转移到看不见的环境设置与干扰。代码和视频可在https://clvrai.com/mopa-pd上获得
2021-11-11 cs.AI cs.LG cs.RO
What Matters When Cotraining Robot Manipulation Policies on Everyday Human Videos?
Massachusetts Institute of Technology(麻省理工学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Harvard University(哈佛大学)
研究利用日常互联网视频协同训练机器人操作策略时,手部姿态质量和运动差距对迁移的影响,提出一种协同训练方法,在低机器人数据场景下六个操作任务中绝对成功率提升29.7%。
2026-06-04 cs.AI cs.CV cs.LG
Video Generators are Robot Policies
Columbia University(哥伦比亚大学);Toyota Research Institute(丰田研究院)
针对现有视觉运动策略泛化性差、受演示数据规模限制的问题,提出融合视频与动作生成的可端到端训练的Video Policy框架,以视频生成为代理学习策略,大幅提升样本效率与泛化能力,性能优于传统行为克隆。
2025-08-01 cs.RO
Robust Visual Sim-to-Real Transfer for Robotic Manipulation
Inria(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学)
本文针对机器人操作中的视觉sim-to-real迁移问题,提出利用离线代理任务优化domain randomization参数,在仿真中训练视觉运动策略并直接迁移至真实机器人,在多样化任务上平均成功率达93%,优于使用有限真实数据训练的策略。
2023-07-28 cs.AI cs.CV cs.LG
CAPEX: Efficiently Distilling Foundation Model Behavior into Deployable Robot Policies through Experience-Adaptive Reasoning
CAPEX利用基础模型作为自主演示者,通过经验自适应调整推理频率,高效生成机器人演示数据,使成功演示增加4.3倍、成本降低80%,训练的策略接近人类演示效果。
2026-09-29 cs.AI cs.LG cs.RO
Bayesian Disturbance Injection: Robust Imitation Learning of Flexible Policies for Robot Manipulation
NAIST(奈良先端科学技术大学院大学)
人类在执行任务时表现出各种有趣的行为特征,例如在看似等效的最佳行动之间进行选择,在偏离最佳轨迹时执行恢复行动,或根据感知到的风险调整行动。然而,模仿学习试图通过观察人类的演示来教机器人执行这些相同的任务,但往往无法捕捉到这种行为。具体地,常用的学习算法体现了学习假设之间的固有矛盾(例如,单个最佳动作)和实际人类行为(例如,多个最佳动作),从而限制了机器人的通用性、适用性和演示可行性。为了解决这个问题,本文提出了设计模仿学习算法,重点是利用人类的行为特征,从而体现捕捉和利用实际的演示者的行为特征的原则。本文提出了第一个模仿学习框架,贝叶斯扰动注入(BDI),典型的人类行为特征,将模型的灵活性,鲁棒性和风险敏感性。贝叶斯推理用于学习灵活的非参数多行动策略,同时通过注入风险敏感的干扰来诱导人类恢复行动并确保演示可行性来增强策略。我们的方法是通过风险敏感的模拟和真实的机器人实验(例如,表扫描任务,轴达到任务和轴插入任务),使用UR 5e 6-DOF机械臂,以证明行为的改进表征。结果表明,通过提高灵活性,鲁棒性以及演示的可行性,任务性能显着改善。
2022-11-07 cs.RO
DexWild: Dexterous Human Interactions for In-the-Wild Robot Policies
Carnegie Mellon University(卡内基梅隆大学)
本文提出DexWild框架,通过结合人类和机器人示范数据,提升机器人在多样化环境中的泛化能力,实验表明其在未见环境中的成功率显著高于传统方法。
2026-05-17 cs.AI cs.CV cs.LG
EgoSpeedUp: Transferring Human Manipulation Tempo to Robot Policies
National Institute of Advanced Industrial Science and Technology (AIST)(日本国立产业技术综合研究所(AIST))
EgoSpeedUp通过人类演示的节奏监督,对齐并迁移分阶段操作节奏至机器人模仿学习,在真实任务中提升成功率25个百分点并减少36.5%执行时间。
2026-09-28 cs.CV cs.RO
Composable Deep Reinforcement Learning for Robotic Manipulation
Berkeley Artificial Intelligence Research, UC Berkeley(加州大学伯克利分校伯克利人工智能研究中心);Open AI(OpenAI)
无模型深度强化学习已被证明在从视频游戏到模拟机器人操作和运动的领域中表现出良好的性能。然而,当与环境的交互时间有限时,无模型方法的性能很差,就像大多数真实世界的机器人任务一样。在本文中,我们研究了如何使用软Q学习训练的最大熵策略可以应用于现实世界的机器人操作。软Q学习的两个重要特征促进了这种方法在现实世界中的应用。首先,软Q学习可以通过学习由基于表达能量的模型表示的策略来学习多模态探索策略。其次,我们证明了使用软Q学习学习的策略可以组合以创建新的策略,并且所得到的策略的最优性可以根据组合策略之间的分歧而定。这种组合性为现实世界的操作提供了一个特别有价值的工具,通过组合现有技能来构建新策略可以在从头开始训练的效率上获得很大的提高。我们的实验评估表明,软Q学习比以前的无模型深度强化学习方法具有更高的样本效率,并且可以对模拟和现实任务进行组合。
2018-03-19 cs.AI cs.LG cs.RO
mindmap: Spatial Memory in Deep Feature Maps for 3D Action Policies
NVIDIA(英伟达);Zurich Switzerland(苏黎世瑞士);Santa Clara California(圣克拉拉加州)
本文提出mindmap,一种基于语义3D重建的3D扩散策略,通过空间记忆机制解决机器人操作中物体进出视野的任务,仿真实验证明其优于无记忆机制的最先进方法。
2025-10-07 cs.RO
Goal-Aware Generative Adversarial Imitation Learning from Imperfect Demonstration for Robotic Cloth Manipulation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
生成对抗模仿学习(GAIL)可以学习策略,而无需从演示中明确定义奖励函数。GAIL有潜力学习以高维观测为输入的策略,例如,图像.通过将GAIL应用于真正的机器人,也许可以获得机器人的日常活动,如洗涤,折叠衣服,烹饪和清洁。然而,人类的示范数据往往是不完美的,由于错误,这降低了性能的政策。我们通过关注以下特征来解决这个问题:1)许多机器人任务都是达到目标的任务,2)在演示数据中标记这些目标状态相对容易。考虑到这些,本文提出了目标感知生成对抗性模仿学习(GA-GAIL),它通过引入第二个参数来区分目标状态,与指示演示数据的第一个参数并行地训练策略。这扩展了一个标准的GAIL框架,通过一个促进实现目标状态的目标状态学习器,即使是从不完美的演示中,也能更稳健地学习理想的策略。此外,GA-GAIL采用熵最大化深度P-网络(EDPN)作为生成器,该生成器在策略更新中同时考虑平滑性和因果熵,以实现来自两个鉴别器的稳定策略学习。我们所提出的方法被成功地应用到两个真正的机器人布料操作任务:把手帕和折叠衣服。我们证实,它学习布料操纵政策没有特定任务的奖励功能设计。真实实验的视频可在https://youtu.be/h_nII2ooUrE上获得。
2022-09-21 cs.RO
BiRoDiff: Diffusion policies for bipedal robot locomotion on unseen terrains
Indian Institute of Science (IISc)(印度科学学院)
本文提出 BiRoDiff 轻量级扩散策略框架,用离线数据训练单一实时双足行走控制器,在 Stoch BiRo 仿真中实现多速度行为、未知地形泛化和高频控制生成。
2024-07-07 cs.AI cs.RO cs.SY
Residual Modeling Closes the Regression and Generative Policy Gap in Robot Learning
University of Pennsylvania(宾夕法尼亚大学);Tsinghua University(清华大学);UC San Diego(加利福尼亚大学圣迭戈分校)
该研究针对机器人学习中回归策略与生成策略的性能差距,提出异方差学生t动作回归策略HT-Policies,其训练推理更快,在仿真与真实机器人任务中性能可与生成策略基线媲美。
2026-10-14 cs.RO
Agile Maneuvers in Legged Robots: a Predictive Control Approach
Heriot-Watt University(赫瑞-瓦特大学);University of Edinburgh(爱丁堡大学);University of Oxford(牛津大学);Dalian University of Technology(大连理工大学)
规划和执行敏捷的运动机动一直是腿式机器人技术的一个长期挑战。它需要实时地得到运动计划和局部反馈策略来处理动力学动量的非完整性。为了实现这一目标,我们提出了一个混合预测控制器,认为机器人的驱动限制和全身动态。它将反馈策略与触觉信息相结合,以局部预测未来的动作。由于可行性驱动的方法,它在几毫秒内收敛。我们的预测控制器使ANYmal机器人能够在现实场景中产生敏捷的机动。一个关键因素是跟踪局部反馈策略,因为与全身控制相比,它们实现了期望的角动量。据我们所知,我们的预测控制器是第一个处理驱动限制,生成敏捷的运动动作,并执行低水平扭矩控制的最佳反馈策略,而无需使用单独的全身控制器。
2022-07-18 cs.AI cs.RO cs.SY
Perception Stitching: Zero-Shot Perception Encoder Transfer for Visuomotor Robot Policies
Duke University(杜克大学);Air Force Research Laboratory(空军研究实验室)
本文提出感知拼接方法,通过对齐潜在视觉特征实现视觉编码器模块化,并将其直接拼接到已有策略网络,从而在仿真和真实机器人操作任务中实现面对大幅视觉变化的零样本适应。
2025-01-01 cs.RO
Revisiting Open-Loop Execution in Robotics: Toward Reactive, Higher-Performing Policies
Massachusetts Institute of Technology(麻省理工学院);Mundane Systems Inc.(芒德系统公司);University of California, Berkeley(加州大学伯克利分校)
本研究探讨机器人开环执行机制,发现长开环执行主要助短上下文策略模仿非马尔可夫示范,专家非马尔可夫性影响远超复合误差,长上下文下闭环策略更优,推动反应式策略范式发展。
2026-08-20 cs.RO
EmbodiSteer: Steering Embodiment-Agnostic Visuomotor Policies with Joint-Space Guidance for Zero-Shot Cross-Embodiment Deployment
Department of Automation, Tsinghua University(清华大学自动化系);Beijing Key Laboratory of Embodied Intelligence Systems(北京具身智能系统重点实验室);Institute for Embodied Intelligence and Robotics, Tsinghua University(清华大学具身智能与机器人研究所)
提出EmbodiSteer框架,通过前向运动学和雅可比更新将推理时的扩散采样提升到目标机器人关节空间,并加入全身碰撞感知引导,实现零样本、具身感知的部署,在模拟和物理机器人上显著降低碰撞率并提高任务成功率。
2026-10-14 cs.RO
End-to-end QP-based policies: A unified perspective on robust control and robot learning
本文提出端到端QP策略框架,统一鲁棒控制与机器人学习,支持自动调优与黑盒构建,并在仿真和硬件上验证其广泛适用性。
2026-09-29 cs.RO
3PoinTr: From Human Videos to Robot Policies with 3D Point-Track Plans
Carnegie Mellon University(卡内基梅隆大学)
提出3PoinTr方法,通过预测密集3D点轨迹从无约束人类视频中预训练样本高效的机器人操作策略,在真实和模拟任务中显著优于基线方法。
2026-09-22 cs.RO
Instruction-driven history-aware policies for robotic manipulations
Inria(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学);IIIT Hyderabad(海得拉巴国际信息技术学院)
在人类环境中,机器人被期望完成各种简单的自然语言指令的操作任务。然而,机器人操作极具挑战性,因为它需要细粒度的运动控制、长期记忆以及对以前看不见的任务和环境的概括。为了应对这些挑战,我们提出了一个统一的变压器为基础的方法,考虑到多个输入。特别是,我们的Transformer架构集成了(i)自然语言指令和(ii)多视图场景观察,同时(iii)跟踪观察和动作的完整历史。这样的方法使得能够学习历史和指令之间的依赖性,并且使用多个视图来提高操纵精度。我们评估我们的方法具有挑战性的RLBench基准和现实世界的机器人。值得注意的是,我们的方法可扩展到74个不同的RLBench任务,并优于最先进的。我们还解决了预防条件的任务,并表现出出色的泛化到以前看不见的变化。
2022-12-17 cs.AI cs.CL cs.CV
Robot Utility Models: General Policies for Zero-Shot Deployment in New Environments
New York University(纽约大学);Hello Robot Inc.(Hello Robot公司);Meta Inc.(Meta公司)
提出 Robot Utility Models 框架,通过高效移动操作数据采集、多模态模仿学习与 mLLM 重试验证,实现机器人策略在新环境和新硬件配置中的零样本部署。
2024-09-09 cs.LG cs.RO
Using Temperature Sampling to Effectively Train Robot Learning Policies on Imbalanced Datasets
Department of Robotics, University of Michigan(机器人学系,密歇根大学)
针对机器人数据集动作不平衡问题,提出一种简单的温度采样策略,仅需少量代码即可提升低资源任务性能,且不损害高资源任务,并在真实机器人上验证。
2025-10-22 cs.LG cs.RO
Octo: An Open-Source Generalist Robot Policy
UC Berkeley(加州大学伯克利分校);Stanford(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学);Google Deepmind(谷歌DeepMind)
Octo是一个基于Transformer的开源通用机器人策略,在80万条轨迹上预训练,支持语言和图像指令,可快速微调至新平台,并在9个平台上验证了其有效性。
2024-05-26 cs.LG cs.RO
Inference-Time Enhancement of Generative Robot Policies via Predictive World Modeling
GPC通过预测世界建模在推理时间提升机器人策略,结合生成先验与前瞻性预测,实现测试时间适应,优于行为克隆并与其他基线方法相媲美。
2026-03-11 cs.CV cs.LG cs.RO
Imitation Learning of Robot Policies by Combining Language, Vision and Demonstration
Intel AI Lab(英特尔人工智能实验室)
在这项工作中,我们提出了一种新的端到端的模仿学习方法,结合自然语言,视觉和运动信息,产生一个抽象的任务表示,这反过来又是用来合成特定的运动控制器在运行时。这种多模式的方法能够推广到各种各样的环境条件,并允许最终用户通过口头沟通来指导机器人策略。我们经验验证我们的方法与广泛的一组模拟,并表明它实现了高的任务成功率在各种条件下,同时保持服从概率可解释性。
2019-11-26 cs.CL cs.CV cs.LG
VGFM: Expressive Robot Policies via Dense Value Guidance in Flow Matching
Cornell University(康奈尔大学)
VGFM提出一种离线强化学习框架,利用条件流匹配模型在动作空间中实现密集值引导,避免时间反向传播,在OGBench任务上展现高效且可扩展的策略学习性能。
2026-09-15 cs.LG cs.RO