Learning to Play Soccer by Reinforcement and Applying Sim-to-Real to Compete in the Real World
Universidade Federal de Pernambuco（伯南布哥联邦大学）；Universite de Montréal（蒙特利尔大学）
这项工作提出了一个应用程序的强化学习（RL）的IEEE非常小尺寸足球（VSSS），在拉丁美洲机器人比赛（LARC）的传统联赛的真正的足球机器人的完全控制。在VSSS联赛中，两支由三个小机器人组成的球队互相比赛。我们提出了一个模拟的环境中，连续或离散的控制策略可以训练，和一个模拟到真实的方法，允许使用所获得的政策，以控制机器人在现实世界中。结果表明，学习的政策显示了广泛的剧目的行为是很难指定的手。这种称为VSSS-RL的方法能够在1对1的比赛中击败2018年LARC排名第三的球队前锋的人类设计策略。
2020-03-24 cs.AI cs.LG cs.RO
Failure-Aware RL: Reliable Offline-to-Online Reinforcement Learning with Self-Recovery for Real-World Manipulation
Shanghai Qi Zhi Institute（上海启智研究院）；Shanghai Jiao Tong University（上海交通大学）；IIIS, Tsinghua University（清华大学人工智能研究院）；Nanyang Technological University（南洋理工大学）；A*STAR Institute for Infocomm Research（新加坡科技动力研究院）；University of Maryland（马里兰大学）
本研究提出FARL框架，通过整合安全批评者和恢复策略，有效减少现实世界强化学习中的失败并提升性能。
2026-01-12 cs.AI cs.LG cs.RO
From Simulation to Real World Maneuver Execution using Deep Reinforcement Learning
VisLab - University of Parma（帕尔马大学 VisLab）；VisLab srl, an Ambarella Inc. company（VisLab 有限公司，安霸公司旗下企业）
深度强化学习已被证明能够解决不同领域的许多控制任务，但这些系统在部署到现实场景中时，其行为并不总是像预期的那样。这主要是由于模拟和真实世界数据之间缺乏领域自适应，以及训练和测试数据集之间缺乏区别。在这项工作中，我们调查这些问题在自动驾驶领域，特别是为回旋插入的机动规划模块。特别是，我们提出了一个基于多个环境的系统，其中代理同时进行训练，评估模型在不同场景中的行为。最后，我们分析了旨在减少模拟和真实世界数据之间差距的技术，表明这增加了系统在不可见和真实世界场景中的泛化能力。
2021-04-28 cs.AI cs.LG cs.RO
PAC Reinforcement Learning without Real-World Feedback
University of Michigan（密歇根大学）；Microsoft AI & Research（微软人工智能与研究院）
这项工作研究了强化学习在模拟到真实的设置，其中代理首先在一些模拟器上进行训练，然后部署在现实世界中，目的是降低真实世界的样本复杂性要求。使用一个动态模型称为丰富的观察马尔可夫决策过程（ROMDP），我们制定了一个理论框架，模拟到真实的情况下，在现实世界中的反馈是不可用的。我们建立了真实世界的样本复杂度保证，其小于目前已知的直接（即，不访问模拟器）学习具有反馈的ROMDP。
2019-10-25 cs.LG stat.ML
Human-Robot Collaboration via Deep Reinforcement Learning of Real-World Interactions
Imperial College London（帝国理工学院）
我们提出了一个机器人设置真实世界的测试和评估的人-机器人和人-人的协作学习。利用Soft Actor-Critic算法的样本效率，我们实现了一个机器人平台，该平台能够与人类合作伙伴一起学习非平凡的协作任务，而无需在模拟中进行预训练，并且仅使用30分钟的真实世界交互。这使我们能够通过真实世界的交互来研究人与机器人和人与人的协作学习。我们提出了初步的结果，表明最先进的深度学习方法可以使人机协作学习更接近人类相互交互。
2019-12-02 cs.AI cs.LG cs.RO
A Survey on Reproducibility by Evaluating Deep Reinforcement Learning Algorithms on Real-World Robots
Danish Technological Institute (DTI)（丹麦技术研究所（DTI））；University of Southern Denmark (SDU)（南丹麦大学（SDU））
随着强化学习（RL）在解决复杂任务方面取得更大成功，需要更加小心，以确保RL研究是可重复的，并且本文中的算法可以以最小的偏差轻松公平地进行比较。然而，由于算法的内在方差、环境的随机性和许多（可能未报告的）超参数，RL结果非常难以重现。在这项工作中，我们调查的许多问题，导致不可复制的研究，以及如何管理这些。我们进一步展示了如何利用严格和标准化的评估方法来简化不同算法的文档，评估和公平比较过程，其中我们强调了选择正确的测量指标和对结果进行适当统计的重要性，以便公正地报告结果。
2019-09-11 cs.AI cs.LG cs.RO
Composable Deep Reinforcement Learning for Robotic Manipulation
Berkeley Artificial Intelligence Research, UC Berkeley（加州大学伯克利分校伯克利人工智能研究中心）；Open AI（OpenAI）
无模型深度强化学习已被证明在从视频游戏到模拟机器人操作和运动的领域中表现出良好的性能。然而，当与环境的交互时间有限时，无模型方法的性能很差，就像大多数真实世界的机器人任务一样。在本文中，我们研究了如何使用软Q学习训练的最大熵策略可以应用于现实世界的机器人操作。软Q学习的两个重要特征促进了这种方法在现实世界中的应用。首先，软Q学习可以通过学习由基于表达能量的模型表示的策略来学习多模态探索策略。其次，我们证明了使用软Q学习学习的策略可以组合以创建新的策略，并且所得到的策略的最优性可以根据组合策略之间的分歧而定。这种组合性为现实世界的操作提供了一个特别有价值的工具，通过组合现有技能来构建新策略可以在从头开始训练的效率上获得很大的提高。我们的实验评估表明，软Q学习比以前的无模型深度强化学习方法具有更高的样本效率，并且可以对模拟和现实任务进行组合。
2018-03-19 cs.AI cs.LG cs.RO
OptLayer - Practical Constrained Optimization for Deep Reinforcement Learning in the Real World
IBM Research AI（IBM研究院人工智能部门）
虽然深度强化学习技术最近在许多决策问题上取得了相当大的成就，但它们在机器人技术中的使用在很大程度上仅限于模拟世界或受限运动，因为现实世界中不受约束的试错交互可能对机器人或其环境产生不良后果。为了克服这些限制，我们提出了一种新的强化学习架构OptLayer，它将神经网络预测的可能不安全的动作作为输入，并输出满足所选约束的最接近的动作。虽然学习控制策略通常需要仔细制定奖励和惩罚，同时探索可能的操作范围，但OptLayer确保在训练期间只执行安全的操作，并惩罚不安全的预测。我们证明了我们的方法对机器人达到任务的有效性，无论是模拟还是在现实世界中。
2018-02-23 cs.AI cs.RO
Offline Learning of Counterfactual Predictions for Real-World Robotic Reinforcement Learning
University of Alberta（阿尔伯塔大学）
我们认为现实世界的强化学习（RL）的机器人操作任务，涉及视觉技能和接触丰富的技能。我们的目标是训练一个政策，映射多模态的感官观察（视觉和力）的机械手的关节速度下的实际考虑。我们建议使用离线样本来学习一组通用的价值函数（GVF），这些函数从视觉输入中做出反事实的预测。我们表明，结合离线学习的反事实预测与在线策略学习中的力反馈，可以有效的强化学习只给终端（成功/失败）奖励。我们认为，学习的反事实预测形成了一个紧凑的和信息丰富的表示，使样本效率，并提供辅助奖励信号，引导在线探索接触丰富的国家。在模拟和现实世界的设置进行了各种实验进行评估。真实世界的机器人训练记录可以通过https://sites.google.com/view/realrl找到。
2022-02-25 cs.AI cs.RO
Learning to Adapt in Dynamic, Real-World Environments Through Meta-Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
虽然强化学习方法可以在模拟中取得令人印象深刻的结果，但现实世界存在两个主要挑战：生成样本的成本非常昂贵，并且意外的扰动或看不见的情况会导致熟练但专业的策略在测试时失败。鉴于这是不切实际的训练单独的政策，以适应所有的情况下，代理可能会看到在现实世界中，这项工作建议学习如何快速，有效地适应在线新的任务。为了实现样本高效学习，我们考虑在基于模型的强化学习的背景下学习在线自适应。我们的方法使用元学习来训练动力学模型先验，这样，当与最近的数据相结合时，该先验可以快速适应本地环境。我们的实验表明，在线适应连续控制任务的模拟和现实世界的代理。我们首先展示了模拟代理在线适应他们的行为，以适应新的地形，残废的身体部位和高度动态的环境。我们还说明了将在线适应到自主智能体，在现实世界中运行的重要性，通过应用我们的方法，一个真正的动态腿millirobot。我们展示了智能体的学习能力，可以快速在线适应缺失的腿，适应新的地形和坡度，考虑姿态估计中的误校准或错误，并补偿牵引有效载荷。
2019-02-27 cs.LG cs.RO stat.ML
Emergent Real-World Robotic Skills via Unsupervised Off-Policy Reinforcement Learning
Google Research（谷歌研究院）
强化学习为学习机器人技能提供了一个通用框架，同时最大限度地减少了工程工作量。然而，大多数强化学习算法假设提供了一个精心设计的奖励函数，并为该单个奖励函数学习单个行为。这样的奖励函数在实践中可能难以设计。我们是否可以开发高效的强化学习方法，在没有任何奖励功能的情况下获得各种技能，然后将这些技能重新用于下游任务？在本文中，我们证明了最近提出的无监督技能发现算法可以扩展为一种有效的离线方法，使其适合在现实世界中执行无监督强化学习。首先，我们证明了我们提出的算法在学习效率上有了实质性的提高，使得无奖励的真实世界训练变得可行。其次，我们超越了仿真环境，并在真实的物理硬件上评估算法。在四足动物身上，我们观察到不同步态和不同方向的运动技能出现，没有任何奖励或示范。我们还证明了学习的技能可以组成使用模型预测控制为目标导向的导航，没有任何额外的培训。
2020-04-27 cs.LG cs.RO
DreamingV2: Reinforcement Learning with Discrete World Models without Reconstruction
Panasonic Corporation（松下公司）；Ritsumeikan University（立命馆大学）
本文提出了一种新的强化学习方法与世界模型，DreamingV2，DreamerV2和Dreaming的合作扩展。DreamerV2是一种基于模型的像素强化学习，它使用离散的世界模型来表示具有分类变量的潜在状态。做梦也是像素的强化学习的一种形式，它试图通过涉及无重构的对比学习目标来避免一般世界模型训练中的自动编码过程。所提出的DreamingV2是一种新颖的方法，采用DreamingV2的离散表示和Dreaming的无重构目标。与DreamerV2和其他最近的基于模型的方法相比，DreamingV2在五个模拟的具有挑战性的3D机器人手臂任务上取得了最好的成绩。我们相信DreamingV2将是机器人学习的一个可靠的解决方案，因为它的离散表示适合描述不连续的环境，并且无重构的方式很好地管理复杂的视觉观察。
2022-03-01 cs.AI cs.LG cs.SY
Human-in-the-Loop Methods for Data-Driven and Reinforcement Learning Systems
Texas A&M University（德克萨斯A&M大学）
最近的成功结合了强化学习算法和深度神经网络，尽管强化学习尚未广泛应用于机器人和现实世界的场景。这可以归因于这样一个事实，即当前最先进的端到端强化学习方法仍然需要数千或数百万个数据样本来收敛到令人满意的策略，并且在训练期间容易发生灾难性故障。相反，在现实世界的场景中，在仅仅几个数据样本之后，人类能够提供任务的演示，进行干预以防止灾难性的操作，或者简单地评估策略是否正确执行。本研究探讨了如何将这些人类交互方式集成到强化学习循环中，提高样本效率，并在机器人和现实世界场景中实现实时强化学习。这种新颖的理论基础被称为学习循环，它是对不同的人类交互方式（即任务演示、干预和评估）如何循环并结合到强化学习算法中的参考。在这项工作中提出的结果表明，基于人类互动学习的奖励信号加速了强化学习算法的学习速度，并且与传统的监督学习算法相比，从人类演示和干预的组合中学习更快，样本效率更高。最后，学习周期开发了一个有效的过渡之间的政策学习使用人类的示范和干预强化学习。本研究开发的理论基础开辟了新的研究路径，人类代理团队的情况下，自主智能体能够从人类队友学习，并适应任务性能指标的实时和现实世界的情况。
2020-08-30 cs.AI cs.HC cs.LG
Fully Autonomous Real-World Reinforcement Learning with Applications to Mobile Manipulation
Berkeley AI Research（伯克利人工智能研究所）
我们研究机器人如何自主学习需要导航和抓取相结合的技能。虽然强化学习原则上提供了自动化的机器人技能学习，但实际上，现实世界中的强化学习具有挑战性，并且通常需要大量的仪器和监督。我们的目标是设计一个机器人强化学习系统，用于在没有人为干预的情况下，以自主的方式一起学习导航和操作，从而在现实的假设下实现持续学习。我们提出的系统ReLMM可以在真实世界的平台上持续学习，无需任何环境仪器，无需人为干预，也无需访问特权信息，例如地图，对象位置或环境的全局视图。我们的方法采用了一个模块化的政策与组件的操纵和导航，操纵政策的不确定性驱动器的导航控制器的探索，和操纵模块提供奖励的导航。我们评估我们的方法上的房间清理任务，机器人必须导航到并拿起散落在地板上的物品。在抓取课程训练阶段之后，ReLMM可以在大约40小时的自主现实训练中完全自动地学习导航和抓取。
2021-12-07 cs.LG cs.RO
The Effectiveness of World Models for Continual Reinforcement Learning
University of Oxford（牛津大学）；Warsaw University of Technology（华沙理工大学）；Jagiellonian University（雅盖隆大学）；Polish Academy of Sciences（波兰科学院）；Institute of Theoretical and Applied Informatics, PAS（波兰科学院理论与应用信息研究所）
本文研究世界模型用于持续强化学习，系统比较选择性经验重放并提出任务无关的 Continual-Dreamer，在 Minigrid 和 Minihack 上取得优于现有方法的样本效率。
2023-07-12 cs.AI cs.LG
Sample-Efficient Learning to Solve a Real-World Labyrinth Game Using Data-Augmented Model-Based Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
针对物理环境快速学习难题，提出采用基于模型的强化学习、结合图像观测提取与对称性数据增强的机器人系统，仅用5小时真实数据就创纪录地学会求解真实迷宫游戏，提升了学习样本效率。
2023-12-15 cs.AI cs.RO
Meta-Reinforcement Learning with Discrete World Models for Adaptive Load Balancing
Kennesaw State University（肯尼索州立大学）
本文提出将元强化学习与DreamerV3结合用于操作系统负载均衡，实现动态工作负载下的快速自适应，并在标准与自适应试验中优于A2C，同时具备抗灾难性遗忘能力。
2025-03-11 cs.AI cs.LG cs.OS
Offline Reinforcement Learning with Causal Structured World Models
Nanjing University（南京大学）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Peng Cheng Laboratory（鹏城实验室）
基于模型的方法最近显示出离线强化学习（RL）的前景，旨在从历史数据中学习良好的策略，而无需与环境交互。以前的基于模型的离线RL方法将完全连接的网络学习为世界模型，将状态和动作映射到下一步状态。然而，一个世界模型应该坚持潜在的因果效应，这样它将支持学习一个有效的政策，在看不见的状态下推广。在本文中，我们首先提供的理论结果，因果世界模型可以优于平原世界模型离线RL通过将因果结构的泛化误差界。然后，我们提出了一个实用的算法，oFfline基于模型的强化学习与因果结构（FOCUS），说明学习和利用因果结构在离线RL的可行性。两个基准测试的实验结果表明，FOCUS重建的基础因果结构准确，鲁棒性。因此，它的性能优于普通的基于模型的离线RL算法和其他因果模型为基础的RL算法。
2022-06-03 cs.LG stat.ML
ContainerGym: A Real-World Reinforcement Learning Benchmark for Resource Allocation
Ruhr-University Bochum（波鸿鲁尔大学）
ContainerGym 是一个源自真实工业资源分配任务的强化学习基准，可配置不同难度并支持评估多种算法，实验揭示了 PPO、TRPO 和 DQN 的局限性。
2023-07-06 cs.LG
Object-Centric World Models for Causality-Aware Reinforcement Learning
本文提出STICA框架，通过对象中心Transformer构建世界模型，并结合因果意识策略和价值网络，提升样本效率和最终性能。
2026-03-30 cs.AI cs.LG
Reinforcement Learning from Delayed Observations via World Models
University of California, Irvine（加州大学欧文分校）
本文提出利用世界模型将延迟POMDP归约为延迟MDP，以处理部分可观测环境中的观测延迟，实验显示性能提升高达250%，并首次实现视觉延迟连续控制。
2024-06-26 cs.AI cs.LG
Continual World: A Robotic Benchmark For Continual Reinforcement Learning
Jagiellonian University（雅盖隆大学）；DeepMind；Polish Academy of Sciences（波兰科学院）；University of Oxford（牛津大学）
持续学习（CL）--基于先前获得的知识持续学习的能力--是长寿自主强化学习（RL）代理的自然要求。在构建这样的代理时，需要平衡对立的需求，例如容量和计算的限制，不灾难性忘记的能力，以及在新任务上表现出积极的迁移。理解正确的权衡在概念上和计算上都具有挑战性，我们认为这导致了社区过度关注灾难性遗忘。针对这些问题，我们主张优先考虑向前转移，并提出了连续世界，这是一个基准，由建立在元世界之上的现实和有意义的多样化机器人任务组成。在对现有CL方法进行深入的实证评估之后，我们指出了它们的局限性，并强调了RL设置中独特的算法挑战。我们的基准测试旨在为社区提供有意义且计算成本低廉的挑战，从而帮助更好地了解现有和未来解决方案的性能。有关基准测试的信息，包括开源代码，可以在https://sites.google.com/view/continualworld上获得。
2021-10-28 cs.AI cs.LG cs.RO
Evaluating the progress of Deep Reinforcement Learning in the real world: aligning domain-agnostic and domain-specific research
Massachusetts Institute of Technology（麻省理工学院）
深度强化学习（Deep Reinforcement Learning，DRL）被认为是一种潜在的改进现实世界自治系统的框架，它吸引了多个不同领域的关注。然而，在现实世界中的成功部署是大多数DRL模型仍然需要通过的测试。在这项工作中，我们专注于这个问题，审查和评估的研究工作，从域不可知论和特定领域的社区。一方面，我们提供了一个全面的总结DRL的挑战，并总结了不同的建议，以减轻他们，这有助于确定领域不可知论研究的五个差距。另一方面，从特定领域的角度来看，我们讨论了不同的成功案例，并讨论了为什么其他模型可能无法部署。最后，我们采取的方式来推进会计这两个角度。
2021-07-07 cs.AI cs.LG
Market-Based Reinforcement Learning in Partially Observable Worlds
与传统的强化学习（RL）不同，基于市场的强化学习原则上适用于部分可观察马尔可夫决策过程（POMDPs）描述的世界，其中智能体需要学习相关先前事件的短期记忆，以便执行最佳行动。然而，大多数以前的工作都集中在反应式设置（MDP），而不是POMDP。在这里，我们重新实现了最近的基于市场的RL方法，并首次在玩具POMDP设置中对其进行评估。
2001-05-15 cs.AI cs.LG cs.MA
RLVR-World: Training World Models with Reinforcement Learning
School of Software, BNRist, Tsinghua University（软件学院，北研所，清华大学）；Zhili College, Tsinghua University（知礼学院，清华大学）
本文提出RLVR-World框架，利用带可验证奖励的强化学习直接优化世界模型的转移预测指标，在语言和视频世界模型上跨文本游戏、网页导航和机器人操作等领域取得显著性能提升。
2025-10-25 cs.AI cs.LG
The Ingredients of Real-World Robotic Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；University of Oxford（牛津大学）；University of Washington（华盛顿大学）
强化学习在现实世界机器人中的成功在许多情况下仅限于仪器实验室场景，通常需要艰苦的人力和监督才能实现持续学习。在这项工作中，我们讨论了机器人学习系统所需的元素，该系统可以通过在现实世界中收集的数据不断自主改进。我们提出了这样一个系统的一个特定的实例，使用灵巧的操作作为我们的案例研究。随后，我们调查了一些挑战，当学习没有仪器。在这样的环境中，学习必须是可行的，没有手动设计的重置，只使用板上的感知，没有手工设计的奖励功能。我们提出了简单的和可扩展的解决方案，这些挑战，然后证明了我们提出的系统对一组灵巧的机器人操作任务的有效性，提供了与这种学习模式相关的挑战的深入分析。我们证明了我们的完整系统可以在没有任何人为干预的情况下学习，通过真实世界的三指手获得各种基于视觉的技能。结果和视频可以在https://sites.google.com/view/realworld-rl/上找到
2020-04-27 cs.LG cs.RO stat.ML
Generalization through Simulation: Integrating Simulated and Real Data into Deep Reinforcement Learning for Vision-Based Autonomous Flight
Berkeley AI Research (BAIR), University of California, Berkeley（伯克利人工智能研究中心（BAIR），加州大学伯克利分校）
深度强化学习为基于视觉的机器人控制提供了一种很有前途的方法。然而，这些模型的推广在很大程度上取决于可用于训练的数据的数量和种类。对于某些类型的机器人系统，例如脆弱的小型四旋翼机，这些数据可能难以获得。模拟渲染和物理可以提供更大的数据集，但这些数据本身质量较低：许多使现实世界的自主飞行问题具有挑战性的现象，如复杂的物理和气流，建模很差或根本没有，并且模拟和现实世界之间的系统差异通常是不可能消除的。在这项工作中，我们研究了如何将模拟和现实世界的数据结合到混合深度强化学习算法中。我们的方法使用真实世界的数据来了解系统的动态，并使用模拟数据来学习一个可推广的感知系统，该系统可以使机器人仅使用单目摄像机来避免碰撞。我们在一个真实世界的纳米飞行器碰撞避免任务上展示了我们的方法，表明只有一个小时的真实数据，四旋翼可以在各种照明条件和几何形状的新环境中避免碰撞。代码、建造飞行器的说明和实验视频可以在github.com/gkahn13/GtS上找到。
2019-02-11 cs.LG cs.RO stat.ML
Benchmarking Reinforcement Learning Methods for Dexterous Robotic Manipulation with a Three-Fingered Gripper
The University of Auckland（奥克兰大学）；New Dexterity（新 Dexterity 研究机构）
本研究探讨了在真实环境中直接训练强化学习算法以执行灵巧操作，对三种RL算法在复杂手内操作任务上进行了基准测试，验证了真实世界训练的实用性并分享了实验经验。
2024-08-27 cs.AI cs.LG cs.RO
RealAnt: An Open-Source Low-Cost Quadruped for Education and Research in Real-World Reinforcement Learning
Aalto University（阿尔托大学）；Ote Robotics Ltd（奥特机器人有限公司）
目前可用于研究的机器人平台要么非常昂贵，要么无法处理强化学习中探索性控制的滥用。我们开发了RealAnt，这是强化学习中使用的流行“Ant”基准的最小低成本物理版本。RealAnt的材料成本仅为$\sim$ 350欧元（约合410美元），组装时间不到一小时。我们用强化学习实验验证了该平台，并在一组基准任务上提供了基线结果。我们证明了RealAnt机器人可以从不到10分钟的经验中从头开始学习走路。我们还在MuJoCo和PyBullet模拟器中提供了机器人的模拟器版本（具有相同的尺寸，状态-动作空间和延迟噪声观测）。我们开源硬件设计，支持软件和基线结果用于教育用途和可重复研究。
2022-06-04 cs.AI cs.RO
Sim-to-Real Optimization of Complex Real World Mobile Network with Imperfect Information via Deep Reinforcement Learning from Self-play
Futurewei Technologies Inc.（Futurewei技术公司）；Huawei R&D USA（华为美国研发中心）；Huawei Technologies Co. Ltd（华为技术有限公司）
每天有数百万人使用的移动网络是世界上最复杂的系统之一。优化移动网络以满足爆炸式增长的客户需求并降低资本/运营支出带来了巨大的挑战。尽管最近取得了进展，但由于现实世界中的数据稀缺性，部分可观察性，风险和复杂的规则/动态，以及模拟和现实世界之间的巨大现实差距，深度强化学习（DRL）在复杂现实世界问题中的应用仍然没有得到解决。为了弥合现实差距，我们引入了一个Sim-to-Real框架，通过图卷积神经网络（CNN）将学习从模拟直接转移到现实世界-通过将部分可观察的移动网络抽象为图，然后将域变量不规则图提取为局部欧氏空间中的域不变张量作为CNN的输入，域随机化和多任务学习。我们使用一种新的自我发挥机制，鼓励DRL代理之间的竞争，通过模拟退火多个任务的最佳记录，就像运动员在十项全能比赛中争夺世界纪录。我们还提出了一个分散的多智能体，竞争和合作的DRL方法来协调多个细胞的行动，以最大限度地提高全球回报和最小化对邻居细胞的负面影响。在商业移动网络上使用6个现场试验，我们首次证明了DRL代理可以成功地将学习从模拟迁移学习到具有不完美信息，复杂规则/动态，巨大状态/动作空间和多代理交互的复杂现实世界问题，而无需在现实世界中进行任何训练。
2018-12-06 cs.AI cs.LG stat.ML
Uncertainty-Aware Robotic World Model Makes Offline Model-Based Reinforcement Learning Work on Real Robots
ETH Zurich（苏黎世联邦理工学院）
本文提出了一种具有不确定性的机器人世界模型，结合MOPO-PPO框架，使基于模型的离线强化学习在真实机器人上有效，通过提高策略的鲁棒性并超越现有基线。
2026-01-08 cs.AI cs.LG cs.RO
Neural Motion Simulator: Pushing the Limit of World Models in Reinforcement Learning
UC Davis（加州大学戴维斯分校）；Open Path AI Foundation（Open Path AI基金会）
本文提出神经运动模拟器MoSim，通过高精度长时程物理状态预测，将无模型强化学习转化为基于模型的方法，实现高效技能习得和零样本强化学习。
2025-04-09 cs.LG cs.RO
Real-World Human-Robot Collaborative Reinforcement Learning
Imperial College London（帝国理工学院）
在现实世界中，人类和智能机器人（嵌入式AI）的直观协作是机器人技术许多理想应用的基本目标。虽然有很多关于显性沟通的研究，但我们专注于人类和机器人如何在运动适应水平上进行隐性互动。我们提出了一个现实世界的设置的人-机器人协作迷宫游戏，设计为非平凡的，只有通过合作，通过限制的行动，两个正交轴的旋转，并分配每个轴到一个球员，才能解决。这导致人类和智能体都无法自己解决游戏。我们使用深度强化学习来控制机器人智能体，并在30分钟的真实游戏中实现结果，而无需任何类型的预训练。然后，我们使用这个设置进行系统的实验时，人类/代理的行为和适应共同学习的合作游戏的政策。我们提出的结果如何共同策略学习随着时间的推移发生在人类和机器人代理之间，导致每个参与者的代理作为一个代表，他们将如何玩游戏。这使我们能够通过比较代理人的策略与他们自己的代理人的策略，将一个人在与不同代理人一起玩时的成功联系起来。
2020-07-31 cs.AI cs.LG cs.RO
Structured World Belief for Reinforcement Learning in POMDP
Rutgers University（罗格斯大学）；Electronics and Telecommunications Research Institute（电子与电信研究所）；Rutgers Center for Cognitive Science（罗格斯认知科学中心）
以对象为中心的世界模型提供了场景的结构化表示，并且可以成为强化学习和规划的重要支柱。然而，现有的方法遭受部分可观察的环境中，由于缺乏信念状态。在本文中，我们提出了结构化的世界信念，一个模型的学习和推理的对象为中心的信念状态。通过序贯蒙特卡罗（SMC）推断，我们的信念状态提供了多个以对象为中心的场景假设。为了协同SMC粒子与对象表示的好处，我们还提出了一个新的以对象为中心的动力学模型，认为对象持久性的归纳偏差。这使得即使在对象状态长时间不可见时也能够跟踪对象状态。为了进一步促进在这种制度下的对象跟踪，我们允许我们的模型灵活地参加在以前的模型中受到限制的图像中的任何空间位置。在实验中，我们表明，以对象为中心的信念提供了一个更准确和强大的性能过滤和生成。此外，我们还展示了结构化世界信念在提高强化学习、规划和监督推理性能方面的功效。
2021-07-19 cs.AI cs.LG
Real-World Dexterous Object Manipulation based Deep Reinforcement Learning
Westlake University（西湖大学）
深度强化学习已经在基于智能体状态的实时决策中显示出了优势。在这个阶段，我们解决了使用真实机器人操纵立方体到给定轨迹的任务。该方法将任务分解为不同的过程，提出了一种分层结构，高层的深度强化学习模型选择合适的接触位置，底层的控制模块根据相应的轨迹进行位置控制。该框架克服了深度强化学习样本效率低和传统机器人控制方法适应性差的缺点。我们的算法在模拟中进行训练，并在没有微调的情况下迁移到现实中。实验结果表明，我们的方法的有效性仿真和现实。我们的代码和视频可以在https://github.com/42jaylonw/RRC2021ThreeWolves和https://youtu.be/Jr176xsn9wg上找到。
2021-11-22 cs.LG cs.RO
Robust Constrained Reinforcement Learning for Continuous Control with Model Misspecification
DeepMind（深度思考（DeepMind））
许多现实世界的物理控制系统需要满足部署时的约束。此外，现实世界中的系统经常受到诸如非平稳性、磨损、未校准的传感器等影响，这些影响有效地扰乱了系统动态，并且可能导致在一个域中成功训练的策略在部署到同一域的扰动版本时表现不佳。这可能会影响政策最大化未来回报的能力以及它满足约束的程度。我们称之为约束模型误指定。我们提出了一种算法，减轻这种形式的错误规范，并展示其性能在多个模拟Mujoco任务从现实世界的强化学习（RWRL）套件。
2021-03-03 cs.AI cs.LG stat.ML
High Acceleration Reinforcement Learning for Real-World Juggling with Binary Rewards
Technical University of Darmstadt（达姆施塔特工业大学）
能够在物理世界中学习的机器人对于使机器人摆脱僵硬和预先编程的运动非常重要。对于动态高加速度任务，如杂耍，在现实世界中的学习是特别具有挑战性的，因为人们必须推动机器人及其驱动的限制，而不损害系统，放大样本效率和安全性的必要性，机器人学习算法。在以前的工作，主要集中在学习算法，我们提出了一个学习系统，直接将这些要求的政策表示，初始化和优化的设计。我们证明，该系统使高速巴雷特WAM机械手学习杂耍两个球从56分钟的经验与二进制奖励信号。最后的政策杂耍连续长达33分钟或约4500重复渔获物。记录学习过程和评估的视频可以在https://sites.google.com/view/jugglingbot上找到
2020-10-31 cs.LG cs.RO stat.ML
Multi-Agent Reinforcement Learning: A Report on Challenges and Approaches
强化学习（Reinforcement Learning，RL）是一种学习范式，它关注于学习如何控制一个系统，以便在长期内最大化一个目标。这种学习方法最近受到了极大的关注，成功表现在\textit{Go}等游戏的人类水平表现上。虽然RL正在成为现实生活系统中的一个实用组件，但大多数成功都是在单智能体领域。本报告将特别关注在混合合作和竞争环境中交互的多智能体系统所特有的挑战。该报告的结论是，在训练多智能体系统称为\textit{Decentralized Actor, Centralized Critic}的范例中取得了进展，该范例基于称为\textit{Decentralized Partially Observable MDP}的MDP的扩展，最近又引起了人们的兴趣。
2018-07-25 cs.AI cs.LG stat.ML
Discrete Control in Real-World Driving Environments using Deep Reinforcement Learning
Bosch（博世）；Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；Indian Institute of Technology Jodhpur（印度理工学院焦特布尔分校）
训练自动驾驶汽车通常具有挑战性，因为它们需要在多个现实环境中使用大量的标记数据，这是计算和内存密集型的。研究人员经常求助于驾驶模拟器来训练智能体，并将知识转移到现实世界中。由于模拟器缺乏真实的行为，这些方法是相当低效的。为了解决这个问题，我们引入了一个框架（感知，规划和控制），在现实世界的驾驶环境中，通过建立一个可靠的马尔可夫决策过程（MDP）转移到游戏环境中的现实世界的环境。我们提出了现有的强化学习（RL）算法的变化，在多智能体设置学习和执行的离散控制在现实世界的环境中。实验表明，多代理设置优于单代理设置在所有的场景。我们还提出了可靠的初始化，数据增强，和训练技术，使代理学习和概括导航在现实世界的环境中，最少的输入视频数据，并以最少的训练。此外，为了显示我们所提出的算法的有效性，我们部署我们的方法在虚拟驾驶环境TORCS。
2022-11-30 cs.AI cs.RO
Dynamic Sparsity: Challenging Common Sparsity Assumptions for Learning World Models in Robotic Reinforcement Learning Benchmarks
该研究通过分析MuJoCo Playground基准中机器人强化学习环境的真实动力学，发现全局稀疏性罕见，任务存在局部、状态依赖的稀疏性且具独特结构，挑战了动力学学习中常见的稀疏性先验假设。
2025-11-14 cs.AI cs.LG cs.RO
Meta-Reinforcement Learning for Robotic Industrial Insertion Tasks
Siemens（西门子）；UC Berkeley（加州大学伯克利分校）
机器人插入任务的特点是接触和摩擦力学，使他们具有挑战性的传统反馈控制方法，由于未建模的物理效应。强化学习（RL）是一种很有前途的学习控制策略，在这样的设置。然而，强化学习在探索过程中可能是不安全的，并且可能需要大量的真实世界的训练数据，这是昂贵的collect. In本文中，我们研究如何使用Meta强化学习来解决大部分的问题，通过解决一个家庭的模拟工业插入任务，然后在现实世界中快速适应政策的仿真。我们通过训练代理成功地执行具有挑战性的现实世界的插入任务，使用不到20个试验的现实世界的经验来展示我们的方法。视频和其他材料可在https://pearl-insertion.github.io/上获取
2020-05-23 cs.LG cs.RO
An empirical investigation of the challenges of real-world reinforcement learning
Google Research（谷歌研究院）；DeepMind（深度思维）
强化学习（RL）已经在一系列人工领域证明了其价值，并开始在现实世界中取得一些成功。然而，由于一系列在实践中很少得到满足的假设，RL的许多研究进展很难在现实世界的系统中发挥作用。在这项工作中，我们确定并正式提出了一系列独立的挑战，这些挑战体现了RL在现实世界系统中普遍部署时必须解决的困难。对于每一个挑战，我们正式定义它的马尔可夫决策过程的上下文中，分析国家的最先进的学习算法的挑战的影响，并提出了一些现有的尝试解决it.We相信，解决我们提出的挑战的方法将很容易部署在大量的现实世界中的问题。我们提出的挑战是在一套连续控制环境中实现的，称为realdatedrl套件，我们提出了一个作为开源基准。
2021-03-04 cs.AI cs.LG
Video-Enhanced Offline Reinforcement Learning: A Model-Based Approach
针对离线强化学习因缺乏环境交互存在的行为次优、价值估计不准问题，提出基于模型的VeoRL方法，利用无标注在线视频构建世界模型并迁移常识知识，在多类视觉控制任务上实现显著性能提升。
2025-05-17 cs.AI cs.LG cs.RO
DR2L: Surfacing Corner Cases to Robustify Autonomous Driving via Domain Randomization Reinforcement Learning
Tsinghua University（清华大学）
如何尽可能有效和彻底地探索角落案例一直是深度强化学习（DeepRL）自动驾驶背景下的首要问题之一。与利用真实世界数据相比，使用模拟数据进行训练的成本和危险性更低，但模拟器中参数分布的不一致性和不正确的系统建模总是导致不可避免的Sim2real差距，这可能是模拟器难以生成的新颖，异常和风险情况下表现不佳的原因。域随机化（DR）是一种方法，可以用很少或没有真实世界的数据来弥合这一差距。因此，在这项研究中，提出了一种对抗模型，以增强在模拟中训练的基于DeepRL的自动驾驶车辆，以逐渐出现更难的事件，以便模型可以很容易地转移到现实世界中。
2021-07-25 cs.AI cs.LG cs.RO
WOMBET: World Model-Based Experience Transfer for Robust and Sample-efficient Reinforcement Learning
Hybrid Robotics, UC Berkeley（混合机器人技术，伯克利大学）
提出WOMBET框架，通过源任务中学习世界模型并生成不确定性惩罚的离线数据，再结合自适应采样进行在线微调，实现鲁棒且样本高效的强化学习迁移。
2026-06-12 cs.AI cs.LG cs.RO
Reinforcement learning with world model
CreateAmind（CreateAmind（可译为“创想思维”，但因机构名通常保留英文或按含义直译，此处直接保留英文））
目前，无模型强化学习算法在许多决策和控制任务上取得了显著的性能，但高样本复杂度和低样本效率仍然阻碍了无模型强化学习算法的广泛应用。在本文中，我们认为，如果我们打算设计一个智能代理，学习速度快，传输良好，代理必须能够反映智能的关键要素，如直觉，记忆，预测和电流。我们提出了一个智能体框架，该框架将离线强化学习与世界模型学习相结合，从而在我们的算法设计中体现智能的重要特征。我们采用最先进的无模型强化学习算法Soft Actor-Critic作为智能体的直觉，并通过RNN进行世界模型学习，以赋予智能体记忆力，好奇心和预测能力。我们表明，这些想法可以相互协作，我们的代理（RMC）可以提供新的最先进的结果，同时保持样本效率和训练稳定性。此外，我们的代理框架可以很容易地从MDP扩展到POMDP问题，而不会造成性能损失。
2020-10-26 cs.AI
Real World Offline Reinforcement Learning with Realistic Data Source
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；Meta AI
离线强化学习（ORL）由于其能够从任意预生成的经验中学习，因此在机器人学习方面具有很大的前景。然而，目前的ORL基准测试几乎完全是模拟的，并利用人为的数据集，如在线RL代理的重放缓冲区或次优轨迹，因此与现实世界的机器人技术的相关性有限。在这项工作（Real-ORL）中，我们认为从密切相关的任务的安全操作中收集的数据对于现实世界的机器人学习来说是更实用的数据源。在这些设置下，我们进行了广泛的（6500+轨迹收集超过800+机器人小时和270+人力小时）的实证研究，评估泛化和转移能力的代表ORL方法在四个现实世界的桌面操作任务。我们的研究发现，ORL和模仿学习更喜欢不同的动作空间，ORL算法可以利用离线异构数据源进行泛化，并优于模仿学习。我们发布我们的数据集和实现URL：https://sites.google.com/view/real-orl
2022-10-12 cs.LG cs.RO
World Models for Anomaly Detection during Model-Based Reinforcement Learning Inference
Autonomous Systems Lab (ASL)（自主系统实验室（ASL））
本文提出利用世界模型在基于模型的强化学习推理期间监控预测与实际行为的差异，以检测异常并触发安全措施，无需任务特定知识，在模拟和真实四旋翼实验中验证了其有效性。
2025-03-04 cs.AI cs.RO
SafeDreamer: Safe Reinforcement Learning with World Models
Institute of Artificial Intelligence, Peking University（北京大学人工智能研究院）；School of Cyber Science and Technology, Beihang University（北京航空航天大学网络空间科学与技术学院）
SafeDreamer将拉格朗日方法融入Dreamer世界模型规划，在Safety-Gymnasium多种任务上实现近乎零成本的安全强化学习性能。
2024-08-07 cs.AI cs.CV cs.LG
How to Sense the World: Leveraging Hierarchy in Multimodal Perception for Robust Reinforcement Learning Agents
INESC-ID（里斯本高等理工学院信息技术与系统研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等理工学院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
这项工作解决了感知世界的问题：如何学习强化学习代理环境的多模态表示，允许在不完整的感知条件下执行任务。为了解决这个问题，我们主张在设计的表示模型的层次结构，并与一个新的多模态表示模型，MUSE。所提出的模型学习分层表示：低层次的模态特定的表示，从原始观测数据编码，和一个高层次的多模态表示，编码联合模态信息，以允许强大的状态估计。我们采用MUSE作为深度强化学习代理的感官表征模型，在Atari游戏中提供多模态观察。我们对不同设计的强化学习代理进行了比较研究，表明MUSE允许代理在不完整的感知经验下以最小的性能损失执行任务。最后，我们评估了MUSE在文献标准的多模态场景中的性能，这些场景具有更高的数量和更复杂的模态，表明它在单模态和跨模态生成中优于最先进的多模态变分自编码器。
2022-01-31 cs.AI cs.LG
Reinforcement Learning with Partially Known World Dynamics
Stanford University（斯坦福大学）
如果建模者能够将领域知识传授给算法，强化学习将在现实世界的问题上取得更好的成功。大多数问题都有隐藏的状态和未知的动态。部分可观测马尔可夫决策过程（POMDPs）允许两者的建模。不幸的是，他们没有提供一个自然的框架，在其中指定的域动态知识。设计者必须要么承认对动态一无所知，要么完全指定动态（从而将其转化为规划问题）。我们提出了一个新的框架称为部分已知马尔可夫决策过程（PKMDP），它允许设计者指定已知的动态，而仍然留下部分的环境的动态未知。该模型不仅表示环境的动态，但也代理的动态知识。我们针对该模型提出了一种基于重要性采样的强化学习算法。该算法结合规划的基础上已知的动态和学习的未知动态。我们的研究结果清楚地表明了添加领域知识的能力以及由此产生的学习益处。
2012-12-12 cs.LG stat.ML
Challenges of Applying Deep Reinforcement Learning in Dynamic Dispatching
Hitachi Industrial AI Lab（日立工业人工智能实验室）
动态调度的目标是在正确的时间将正确的资源巧妙地分配到正确的位置。动态调度是矿业生产优化的核心问题之一。从理论上讲，深度强化学习（RL）应该是解决这个问题的天然选择。然而，该行业依赖于直觉，甚至人类的直觉，这往往是短视和次优的解决方案。在本文中，我们回顾了使用深度RL解决采矿业动态调度问题的主要挑战。
2020-11-09 cs.AI cs.LG
Towards Real-World Efficiency: Domain Randomization in Reinforcement Learning for Pre-Capture of Free-Floating Moving Targets by Autonomous Robots
York University（约克大学）
本研究针对微重力下机器人预抓取自由漂浮运动目标的难题，提出基于软演员-评论家的离策略强化学习控制方法，设计专用奖励函数，经仿真与真实实验验证有效，相关代码与演示已开源。
2024-06-10 cs.AI cs.RO
Novelty Detection in Reinforcement Learning with World Models
Georgia Institute of Technology（佐治亚理工学院）
本文提出基于世界模型的强化学习新颖性检测方法，利用幻觉状态与真实观测状态的错位作为异常评分，在突变环境中优于传统机器学习与现有RL检测算法。
2025-05-28 cs.AI cs.LG cs.SY
