ContainerGym: A Real-World Reinforcement Learning Benchmark for Resource Allocation
Ruhr-University Bochum（波鸿鲁尔大学）
ContainerGym 是一个源自真实工业资源分配任务的强化学习基准，可配置不同难度并支持评估多种算法，实验揭示了 PPO、TRPO 和 DQN 的局限性。
2023-07-06 cs.LG
Generative Adversarial Imagination for Sample Efficient Deep Reinforcement Learning
University of Birmingham（伯明翰大学）
强化学习在过去的五年里取得了巨大的进步。深度学习取代传统方法的成功引入，使强化学习能够扩展到非常复杂的领域，在围棋或许多视频游戏等环境中实现超人的性能。尽管在多个领域取得了巨大的成功，但这些新方法存在自身的问题，使它们往往不适用于现实世界的问题。数据效率的极度缺乏，加上巨大的差异和难以执行安全约束，是该领域三个最突出的问题之一。通常，从环境中采样的数百万个数据点对于这些算法收敛到可接受的策略是必要的。本文提出了一种新的生成对抗想象强化学习算法。它利用了最近引入的高效生成对抗模型，以及支持强化学习设置的马尔可夫特性，在内部想象模块中对真实环境的动态进行建模。然后，来自想象的卷展用于在标准强化学习过程中人工模拟真实环境，以避免在真实环境中进行通常昂贵且危险的试验和错误。实验结果表明，该算法比现有的Rainbow DQN算法更经济地利用了来自真实环境的经验，从而向样本高效的深度强化学习迈出了重要一步。
2019-06-10 cs.AI cs.LG stat.ML
Bridging Imagination and Reality for Model-Based Deep Reinforcement Learning
IIIS（清华大学交叉信息研究院）；Tsinghua University（清华大学）
样本效率一直是深度强化学习的主要挑战之一。最近，已经提出了基于基于模型的强化学习，以通过利用学习的世界模型对假想轨迹执行规划来解决这一挑战。然而，世界模型学习可能会受到过度拟合训练轨迹的影响，因此基于模型的值估计和策略搜索将被吸入劣质的局部策略中。在本文中，我们提出了一种新的基于模型的强化学习算法，称为桥接现实和梦想（BIRD）。它最大化的互信息之间的虚拟和真实的轨迹，使从虚拟轨迹学习的政策改进可以很容易地推广到真实的轨迹。我们证明了我们的方法提高了基于模型的规划的样本效率，并在具有挑战性的视觉控制基准上实现了最先进的性能。
2020-10-23 cs.LG
Exploring applications of deep reinforcement learning for real-world autonomous driving systems
ENSTA ParisTech（巴黎高等科技学院）；AKKA Technologies（阿卡科技公司）；Valeo Egypt（法雷奥埃及公司）；Valeo Vision Systems（法雷奥视觉系统公司）；Galway-Mayo Institute of Technology（戈尔韦-梅奥理工学院）
近年来，深度强化学习（DRL）变得越来越强大，取得了显著的成就，如Deepmind的AlphaGo。它已成功部署在商用车辆，如Mobileye的路径规划系统。然而，绝大多数关于DRL的工作都集中在受控合成汽车模拟器环境中的玩具示例上，例如TORCS和CARLA。总的来说，DRL在现实世界应用中的可用性方面仍处于起步阶段。我们在本文中的目标是鼓励在各种自动驾驶（AD）应用中实际部署DRL。我们首先概述了自动驾驶系统中的任务，强化学习算法和DRL在AD系统中的应用。然后，我们讨论了必须解决的挑战，以进一步推动现实世界的部署。
2019-01-16 cs.LG cs.RO stat.ML
Towards Closing the Sim-to-Real Gap in Collaborative Multi-Robot Deep Reinforcement Learning
Turku Intelligent Embedded and Robotic Systems Lab, University of Turku（图尔库大学图尔库智能嵌入式与机器人系统实验室）
目前深度强化学习的研究方向包括弥合模拟-现实差距，提高分布式多智能体强化学习中经验的样本效率，以及开发分布式学习中对抗对抗性智能体的鲁棒方法等。在这项工作中，我们特别感兴趣的是分析如何多智能体强化学习可以弥合差距，在分布式多机器人系统的不同机器人的操作不一定是同质的现实。这些变化可能是由于感测失配、机械接头校准方面的固有误差或精度的简单差异而发生的。虽然我们的结果是基于模拟的，但我们引入了分布式强化学习中的传感，校准和准确性失配的影响与近端策略优化（PPO）。我们讨论了如何不同类型的扰动，以及如何代理的数量经历这些扰动影响协作学习的努力。模拟使用Bullet物理引擎中的Kuka手臂模型进行。这是，据我们所知，第一次工作，探讨PPO在多机器人系统的限制时，考虑到不同的机器人可能会暴露在不同的环境中，他们的传感器或执行器引起的错误。随着这项工作的结论，我们为未来的工作设计和开发方法，以实现强大的强化学习的存在下，现实世界的扰动，可能会有所不同，在一个多机器人系统的起点。
2020-08-18 cs.DC cs.LG stat.ML
Real-World Dexterous Object Manipulation based Deep Reinforcement Learning
Westlake University（西湖大学）
深度强化学习已经在基于智能体状态的实时决策中显示出了优势。在这个阶段，我们解决了使用真实机器人操纵立方体到给定轨迹的任务。该方法将任务分解为不同的过程，提出了一种分层结构，高层的深度强化学习模型选择合适的接触位置，底层的控制模块根据相应的轨迹进行位置控制。该框架克服了深度强化学习样本效率低和传统机器人控制方法适应性差的缺点。我们的算法在模拟中进行训练，并在没有微调的情况下迁移到现实中。实验结果表明，我们的方法的有效性仿真和现实。我们的代码和视频可以在https://github.com/42jaylonw/RRC2021ThreeWolves和https://youtu.be/Jr176xsn9wg上找到。
2021-11-22 cs.LG cs.RO
Challenges of Real-World Reinforcement Learning
Google Brain（谷歌大脑）；DeepMind（深度思维）
强化学习（RL）已经在一系列人工领域证明了其价值，并开始在现实世界中取得一些成功。然而，由于一系列在实践中很少得到满足的假设，RL中的许多研究进展通常很难在现实世界的系统中利用。我们提出了一组九个独特的挑战，必须解决生产化RL现实世界的问题。对于这些挑战中的每一个，我们指定的挑战的确切含义，从文献中提出一些方法，并指定一些指标来评估这一挑战。解决所有九个挑战的方法将适用于大量现实世界的问题。我们还提出了一个示例域，已被修改，以提出这些挑战作为实际RL研究的测试平台。
2019-04-29 cs.AI cs.LG cs.RO
Real-time Policy Distillation in Deep Reinforcement Learning
University of South Carolina（南卡罗来纳大学）；San Francisco State University（旧金山州立大学）
深度强化学习中的策略蒸馏提供了一种有效的方法，可以将控制策略从较大的网络转移到较小的未经训练的网络，而不会显着降低性能。然而，策略蒸馏在深度强化学习中探索不足，现有方法计算效率低，导致蒸馏时间长。此外，蒸馏过程的有效性仍然受限于模型容量。我们提出了一种新的蒸馏机制，称为实时的策略蒸馏，其中训练教师模型和蒸馏策略的学生模型同时发生。相应地，教师的最新策略实时的转移到学生模型。这将蒸馏时间减少到原来时间的一半甚至更少，并且还使非常小的学生模型能够学习专家级别的技能。我们评估了该算法在Atari 2600域。结果表明，我们的方法可以在大多数游戏中实现完全蒸馏，即使压缩率高达1.7%。
2019-12-29 cs.AI cs.LG stat.ML
Setting up a Reinforcement Learning Task with a Real-World Robot
Kindred Inc.（Kindred公司）
强化学习是一种很有前途的方法，可以为复杂多样的机器人任务开发难以工程化的自适应解决方案。然而，与现实世界的机器人学习往往是不可靠的和困难的，这导致他们在强化学习研究中的低采用率。由于缺乏使用机器人设置学习任务的指导方针，这种困难变得更加严重。在这项工作中，我们使用UR5机器人手臂开发了一个学习任务，以揭示任务设置的一些关键要素，并研究它们对机器人挑战的贡献。我们发现，学习性能可能对设置高度敏感，因此设置细节中的疏忽和遗漏可能会使有效的学习，可重复性和公平比较变得困难。我们的研究提出了一些缓解措施，以帮助未来的实验者避免困难和陷阱。我们表明，高度可靠和可重复的实验可以在我们的设置，表明强化学习研究广泛基于现实世界的机器人的可能性。
2018-03-19 cs.AI cs.LG cs.RO
NAVREN-RL: Learning to fly in real environment via end-to-end deep reinforcement learning using monocular images
Georgia Institute of Technology（佐治亚理工学院）
我们提出了NAVREN-RL，一种通过端到端强化学习RL在室内真实环境中导航无人机的方法。考虑到微型无人机的成本和重量约束，设计了一个合适的奖励函数，使传感器的数量最少。少量专家数据的收集和基于知识的数据聚合被集成到RL过程中，以帮助收敛。在Parrot AR无人机上进行了不同室内场景的实验，并将结果与其他基线技术进行了比较。我们展示了无人机如何成功地避开障碍物并在不同的领域导航。
2018-07-22 cs.CV cs.LG cs.RO
OffWorld Gym: open-access physical robotics environment for real-world reinforcement learning benchmark and research
OffWorld
应用机器学习的成功案例可以追溯到作为社区挑战提出的数据集和环境。社区设定为基准的挑战通常是社区最终解决的挑战。强化学习研究的最终挑战是训练真实的智能体在真实环境中运行，但到目前为止还没有一个通用的真实世界强化学习基准。在这项工作中，我们提出了一个原型的真实世界的环境从OffWorld健身房-一个真实世界的环境集合，强化学习在机器人与免费的公共远程访问。与现有生态系统的紧密集成允许社区在没有任何机器人经验的情况下开始使用OffWorld Gym，并消除了管理物理机器人系统的负担，将其抽象为熟悉的API。我们介绍了一个导航任务，机器人必须达到一个视觉信标在不平坦的地形上只使用相机输入，并提供基线结果在真实的环境和模拟副本。要开始培训，请访问https://gym.offworld.ai
2020-12-15 cs.AI cs.LG cs.RO
Continual Reinforcement Learning deployed in Real-life using Policy Distillation and Sim2Real Transfer
ENSTA ParisTech（ENSTA巴黎高科）；INRIA（法国国家信息与自动化研究所）；Softbank Robotics Europe（软银机器人欧洲公司）；Thales（泰雷兹集团）
我们专注于教机器人解决顺序提出的任务的问题，即，in a持续学习scenario场景.机器人应该能够解决它遇到的所有任务，而不会忘记过去的任务。我们提供了初步的工作应用强化学习，这样的设置，在2D导航任务的3轮全向机器人。我们的方法利用状态表示学习和策略蒸馏。使用学习的特征作为输入而不是原始观察来训练策略，从而允许更好的样本效率。策略蒸馏用于将多个策略组合成单个策略，以解决所有遇到的任务。
2019-06-11 cs.LG cs.RO stat.ML
Generalization through Simulation: Integrating Simulated and Real Data into Deep Reinforcement Learning for Vision-Based Autonomous Flight
Berkeley AI Research (BAIR), University of California, Berkeley（伯克利人工智能研究中心（BAIR），加州大学伯克利分校）
深度强化学习为基于视觉的机器人控制提供了一种很有前途的方法。然而，这些模型的推广在很大程度上取决于可用于训练的数据的数量和种类。对于某些类型的机器人系统，例如脆弱的小型四旋翼机，这些数据可能难以获得。模拟渲染和物理可以提供更大的数据集，但这些数据本身质量较低：许多使现实世界的自主飞行问题具有挑战性的现象，如复杂的物理和气流，建模很差或根本没有，并且模拟和现实世界之间的系统差异通常是不可能消除的。在这项工作中，我们研究了如何将模拟和现实世界的数据结合到混合深度强化学习算法中。我们的方法使用真实世界的数据来了解系统的动态，并使用模拟数据来学习一个可推广的感知系统，该系统可以使机器人仅使用单目摄像机来避免碰撞。我们在一个真实世界的纳米飞行器碰撞避免任务上展示了我们的方法，表明只有一个小时的真实数据，四旋翼可以在各种照明条件和几何形状的新环境中避免碰撞。代码、建造飞行器的说明和实验视频可以在github.com/gkahn13/GtS上找到。
2019-02-11 cs.LG cs.RO stat.ML
Learning to Adapt in Dynamic, Real-World Environments Through Meta-Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
虽然强化学习方法可以在模拟中取得令人印象深刻的结果，但现实世界存在两个主要挑战：生成样本的成本非常昂贵，并且意外的扰动或看不见的情况会导致熟练但专业的策略在测试时失败。鉴于这是不切实际的训练单独的政策，以适应所有的情况下，代理可能会看到在现实世界中，这项工作建议学习如何快速，有效地适应在线新的任务。为了实现样本高效学习，我们考虑在基于模型的强化学习的背景下学习在线自适应。我们的方法使用元学习来训练动力学模型先验，这样，当与最近的数据相结合时，该先验可以快速适应本地环境。我们的实验表明，在线适应连续控制任务的模拟和现实世界的代理。我们首先展示了模拟代理在线适应他们的行为，以适应新的地形，残废的身体部位和高度动态的环境。我们还说明了将在线适应到自主智能体，在现实世界中运行的重要性，通过应用我们的方法，一个真正的动态腿millirobot。我们展示了智能体的学习能力，可以快速在线适应缺失的腿，适应新的地形和坡度，考虑姿态估计中的误校准或错误，并补偿牵引有效载荷。
2019-02-27 cs.LG cs.RO stat.ML
Emergent Real-World Robotic Skills via Unsupervised Off-Policy Reinforcement Learning
Google Research（谷歌研究院）
强化学习为学习机器人技能提供了一个通用框架，同时最大限度地减少了工程工作量。然而，大多数强化学习算法假设提供了一个精心设计的奖励函数，并为该单个奖励函数学习单个行为。这样的奖励函数在实践中可能难以设计。我们是否可以开发高效的强化学习方法，在没有任何奖励功能的情况下获得各种技能，然后将这些技能重新用于下游任务？在本文中，我们证明了最近提出的无监督技能发现算法可以扩展为一种有效的离线方法，使其适合在现实世界中执行无监督强化学习。首先，我们证明了我们提出的算法在学习效率上有了实质性的提高，使得无奖励的真实世界训练变得可行。其次，我们超越了仿真环境，并在真实的物理硬件上评估算法。在四足动物身上，我们观察到不同步态和不同方向的运动技能出现，没有任何奖励或示范。我们还证明了学习的技能可以组成使用模型预测控制为目标导向的导航，没有任何额外的培训。
2020-04-27 cs.LG cs.RO
Learning to Play Soccer by Reinforcement and Applying Sim-to-Real to Compete in the Real World
Universidade Federal de Pernambuco（伯南布哥联邦大学）；Universite de Montréal（蒙特利尔大学）
这项工作提出了一个应用程序的强化学习（RL）的IEEE非常小尺寸足球（VSSS），在拉丁美洲机器人比赛（LARC）的传统联赛的真正的足球机器人的完全控制。在VSSS联赛中，两支由三个小机器人组成的球队互相比赛。我们提出了一个模拟的环境中，连续或离散的控制策略可以训练，和一个模拟到真实的方法，允许使用所获得的政策，以控制机器人在现实世界中。结果表明，学习的政策显示了广泛的剧目的行为是很难指定的手。这种称为VSSS-RL的方法能够在1对1的比赛中击败2018年LARC排名第三的球队前锋的人类设计策略。
2020-03-24 cs.AI cs.LG cs.RO
Human-in-the-Loop Methods for Data-Driven and Reinforcement Learning Systems
Texas A&M University（德克萨斯A&M大学）
最近的成功结合了强化学习算法和深度神经网络，尽管强化学习尚未广泛应用于机器人和现实世界的场景。这可以归因于这样一个事实，即当前最先进的端到端强化学习方法仍然需要数千或数百万个数据样本来收敛到令人满意的策略，并且在训练期间容易发生灾难性故障。相反，在现实世界的场景中，在仅仅几个数据样本之后，人类能够提供任务的演示，进行干预以防止灾难性的操作，或者简单地评估策略是否正确执行。本研究探讨了如何将这些人类交互方式集成到强化学习循环中，提高样本效率，并在机器人和现实世界场景中实现实时强化学习。这种新颖的理论基础被称为学习循环，它是对不同的人类交互方式（即任务演示、干预和评估）如何循环并结合到强化学习算法中的参考。在这项工作中提出的结果表明，基于人类互动学习的奖励信号加速了强化学习算法的学习速度，并且与传统的监督学习算法相比，从人类演示和干预的组合中学习更快，样本效率更高。最后，学习周期开发了一个有效的过渡之间的政策学习使用人类的示范和干预强化学习。本研究开发的理论基础开辟了新的研究路径，人类代理团队的情况下，自主智能体能够从人类队友学习，并适应任务性能指标的实时和现实世界的情况。
2020-08-30 cs.AI cs.HC cs.LG
On Effective Scheduling of Model-based Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
基于模型的强化学习因其优越的样本效率而受到广泛关注。尽管到目前为止取得了令人印象深刻的成功，但仍然不清楚如何适当地调度重要的超参数以实现足够的性能，例如Dyna风格的基于模型的算法中用于策略优化的实际数据比率。本文首先从理论上分析了真实数据在政策训练中的作用，认为逐渐增加真实数据的比例会产生更好的效果。受分析的启发，我们提出了一个名为AutoMBPO的框架，用于自动调度基于模型的策略优化（MBPO）算法中的实际数据比率以及其他超参数，MBPO算法是基于模型的方法的代表性运行案例。在几个连续控制任务中，AutoMBPO调度的超参数训练的MBPO实例可以显著超过原始的MBPO实例，AutoMBPO发现的实际数据比率调度与我们的理论分析一致。
2022-07-05 cs.AI cs.LG stat.ML
Real-Time Bidding with Multi-Agent Reinforcement Learning in Display Advertising
Alibaba Group（阿里巴巴集团）；University College London（伦敦大学学院）；Shanghai JiaoTong University（上海交通大学）
实时广告允许广告商为访问用户的每个印象出价。为了优化特定的目标，如最大化的收入和投资回报率（ROI）的广告投放，广告客户不仅需要估计广告和用户的兴趣之间的相关性，但最重要的是需要一个战略响应相对于其他广告客户在市场上出价。在本文中，我们制定投标优化与多智能体强化学习。为了处理大量的广告客户，我们提出了一种聚类方法，并为每个聚类分配一个策略投标代理。提出并实现了一种实用的分布式协调多代理竞价系统（DCMAB），以平衡广告主之间的竞争与合作。对行业规模的真实世界数据的实证研究证明了我们的方法的有效性。我们的研究结果表明，基于集群的投标将在很大程度上优于单代理和土匪的方法，和协调投标实现更好的整体目标比纯粹的自利投标代理。
2018-09-11 cs.AI cs.LG stat.ML
Benchmarking Reinforcement Learning Algorithms on Real-World Robots
通过最近在仿真方面的许多成功，无模型强化学习已经成为解决连续控制机器人任务的一种有前途的方法。由于学习算法和模拟基准任务的开源实现，研究社区现在能够快速地再现、分析和构建这些结果。为了将这些成功推广到现实世界的应用中，关键是要保留无法转移到现实世界的模拟的独特优势，并直接使用物理机器人进行实验。然而，由于缺乏基准任务和支持源代码，使用物理机器人的强化学习研究面临着巨大的阻力。在这项工作中，我们介绍了几个强化学习任务与多个商用机器人，目前不同程度的学习难度，设置和可重复性。在这些任务中，我们测试了四种强化学习算法的现成实现的学习性能，并分析了它们对超参数的敏感性，以确定它们是否适合应用于各种现实任务。我们的研究结果表明，通过仔细设置任务界面和计算，其中一些实现可以很容易地适用于物理机器人。我们发现，国家的最先进的学习算法是高度敏感的超参数和它们的相对顺序不跨任务转移，表明重新调整他们为每个任务的最佳性能的必要性。另一方面，即使使用不同的机器人，一项任务的最佳超参数配置通常也可能会导致对已完成任务的有效学习，从而提供合理的默认值。我们公开了基准任务，以提高现实世界强化学习的可重复性。
2018-09-20 cs.AI cs.LG cs.RO
Arbitrage of Energy Storage in Electricity Markets with Deep Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Virginia Tech（弗吉尼亚理工学院暨州立大学）；South China University of Technology（华南理工大学）
在这封信中，我们解决的问题，控制储能系统（ESS）的套利在实时电力市场价格不确定性。我们首先将这个问题公式化为马尔可夫决策过程，然后开发基于深度强化学习的算法来学习随机控制策略，该策略将一组由递归神经网络处理的可用信息映射到ESS的充电/放电动作。最后，我们使用PJM的实时电价验证了我们的算法的有效性。
2019-05-04 cs.LG math.OC stat.ML
Simulation-based reinforcement learning for real-world autonomous driving
University of Warsaw（华沙大学）；Institute of Mathematics of the Polish Academy of Sciences（波兰科学院数学研究所）；Jagiellonian University（雅盖隆大学）；Volkswagen AG（大众汽车公司）
本文提出在仿真中用强化学习和以合成数据为主的单目RGB与语义分割输入训练驾驶策略，并通过实车实验验证sim-to-real迁移及分析感知、控制和训练设计的影响。
2024-04-03 cs.AI cs.LG cs.RO
The Archimedean trap: Why traditional reinforcement learning will probably not yield AGI
The U.S. Securities and Exchange Commission（美国证券交易委员会）
在将实数的阿基米德性质推广到非数值结构之后，我们证明了实数不能用来精确地测量非阿基米德结构。我们认为，由于具有人工通用智能（AGI）的智能体应该没有问题参与固有地涉及非阿基米德奖励的任务，并且由于传统的强化学习奖励是实数，因此传统的强化学习可能不会导致AGI。我们指出了两种可能的方法，传统的强化学习可以改变，以消除这个障碍。
2020-10-20 cs.AI cs.LG
Robust Constrained Reinforcement Learning for Continuous Control with Model Misspecification
DeepMind（深度思考（DeepMind））
许多现实世界的物理控制系统需要满足部署时的约束。此外，现实世界中的系统经常受到诸如非平稳性、磨损、未校准的传感器等影响，这些影响有效地扰乱了系统动态，并且可能导致在一个域中成功训练的策略在部署到同一域的扰动版本时表现不佳。这可能会影响政策最大化未来回报的能力以及它满足约束的程度。我们称之为约束模型误指定。我们提出了一种算法，减轻这种形式的错误规范，并展示其性能在多个模拟Mujoco任务从现实世界的强化学习（RWRL）套件。
2021-03-03 cs.AI cs.LG stat.ML
Impact of Markov Decision Process Design on Sim-to-Real Reinforcement Learning
Institute of Production and Informatics（生产与信息研究所）；Department of Mathematics（数学系）
本文研究了马尔可夫决策过程设计对强化学习仿真到现实迁移的影响，通过颜色混合任务验证了基于物理的动力学模型在现实应用中的有效性。
2026-03-12 cs.LG
Real-Time Scheduling via Reinforcement Learning
Washington University in St. Louis（圣路易斯华盛顿大学）
信息物理系统，如移动机器人，必须适应动态的操作条件。这些系统的有效操作需要及时执行感测和致动任务。此外，执行任务特定的任务，如成像的房间必须与需要执行更一般的任务，如避障平衡。通过将任务间共享资源的相对利用率保持在用户指定的目标水平附近，已经解决了这个问题。产生最优调度策略需要任务行为的完整先验知识，这在实践中是不可能的。相反，合适的调度策略必须通过与系统的交互在线学习。我们考虑了强化学习在这一领域的样本复杂性，并证明了虽然问题状态空间是可数无限的，但我们可以利用问题的结构来保证有效的学习。
2012-03-15 cs.AI cs.LG stat.ML
How to pick the domain randomization parameters for sim-to-real transfer of reinforcement learning policies?
University of California San Diego（加利福尼亚大学圣地亚哥分校）
最近，强化学习（RL）算法在从最小处理输入学习复杂行为方面取得了显着的成功。然而，这种成功大多局限于模拟。虽然在实际系统中直接应用RL算法取得了很大的成功，但RL算法在更复杂系统中的性能仍然受到RL算法相对数据效率低下的影响。域随机化是一个很有前途的研究方向，已经证明了使用RL算法控制真实机器人的令人印象深刻的结果。在高级别上，域随机化的工作原理是训练模拟中环境条件分布的策略。如果环境足够多样化，那么在这种分布上训练的策略将可以推广到现实世界。在域随机化中，人类指定的设计选择是模拟环境分布的形式和参数。目前还不清楚如何最好地选择这种分布的形式和参数，以前的工作使用手动调整的分布。这个扩展的抽象表明，分布的选择在现实世界中的训练策略的性能中起着重要作用，并且可以优化该分布的参数以最大化训练策略在现实世界中的性能
2019-03-28 cs.AI cs.LG stat.ML
Fully Autonomous Real-World Reinforcement Learning with Applications to Mobile Manipulation
Berkeley AI Research（伯克利人工智能研究所）
我们研究机器人如何自主学习需要导航和抓取相结合的技能。虽然强化学习原则上提供了自动化的机器人技能学习，但实际上，现实世界中的强化学习具有挑战性，并且通常需要大量的仪器和监督。我们的目标是设计一个机器人强化学习系统，用于在没有人为干预的情况下，以自主的方式一起学习导航和操作，从而在现实的假设下实现持续学习。我们提出的系统ReLMM可以在真实世界的平台上持续学习，无需任何环境仪器，无需人为干预，也无需访问特权信息，例如地图，对象位置或环境的全局视图。我们的方法采用了一个模块化的政策与组件的操纵和导航，操纵政策的不确定性驱动器的导航控制器的探索，和操纵模块提供奖励的导航。我们评估我们的方法上的房间清理任务，机器人必须导航到并拿起散落在地板上的物品。在抓取课程训练阶段之后，ReLMM可以在大约40小时的自主现实训练中完全自动地学习导航和抓取。
2021-12-07 cs.LG cs.RO
Reinforcement Learning as an Improvement Heuristic for Real-World Production Scheduling
Fraunhofer IOSB-INA（弗劳恩霍夫IOSB-INA研究所）；Bielefeld University of Applied Sciences and Arts（比勒费尔德应用科学与艺术大学）
本研究针对现实世界多目标生产调度问题，提出将带Transformer编码的强化学习作为改进启发式，通过采样交换作业对迭代优化次优解，经真实工业数据测试性能优于其他启发式方法。
2024-09-18 cs.LG
Offline Reinforcement Learning from Human Feedback in Real-World Sequence-to-Sequence Tasks
Google Research（谷歌研究院）；Heidelberg University（海德堡大学）；NEC Laboratories Europe（NEC欧洲实验室）
可以从部署在现实世界中的NLP系统中收集大量的交互日志。如何利用这些丰富的信息？在离线强化学习（RL）设置中使用这样的交互日志是一种有前途的方法。然而，由于NLP任务的性质和生产系统的限制，出现了一系列的挑战。我们对这些挑战进行了简要概述，并讨论了可能的解决方案。
2021-06-09 cs.CL cs.LG
Interpretable Deep Reinforcement Learning for Green Security Games with Real-Time Information
University of Maryland（马里兰大学）
实时的【形】信息绿色安全博弈（GSG-I）将智能体运动的实时的【形】信息添加到典型的GSG公式中。先前的GSG-I工作使用深度强化学习（DRL）来学习这种环境中代理的最佳策略，而无需存储GSG-I的大量状态表示。然而，DRL方法的决策过程在很大程度上是不透明的，这导致人们对它们的预测缺乏信任。为了解决这个问题，我们提出了一个可解释的DRL方法GSG-I生成可视化来解释DRL算法所采取的决定。我们还表明，这种方法表现更好，与现有方法相比，使用更简单的训练方案效果更好。
2022-11-09 cs.AI cs.LG
Reinforcement learning for bandwidth estimation and congestion control in real-time communications
Microsoft（微软）
用于实时的【形】通信的带宽估计和拥塞控制（即，音频和视频会议）仍然是一个困难的问题，尽管进行了多年的研究。为最终用户实现高质量的体验（QoE）需要不断更新，因为网络架构和技术不断变化。在本文中，我们首次将强化学习应用于实时的【形】通信（RTC）问题，在这里我们寻求优化用户感知质量。我们提出了初步的概念验证的结果，在这里我们学习一个代理来控制RTC系统中的发送速率，使用网络模拟和真实的互联网视频通话进行评估。我们讨论了我们观察到的挑战，特别是在设计反映QoE的现实奖励函数，以及弥合训练环境和现实网络之间的差距。
2019-12-04 cs.LG cs.NI
When is Realizability Sufficient for Off-Policy Reinforcement Learning?
University of California, Berkeley（加州大学伯克利分校）
本文研究仅满足可实现性时的离策略强化学习，提出由度量熵、集中系数和 Bellman 完备性违反程度共同决定的有限样本保证。
2023-06-06 cs.LG
Insulin4RL: Real-Time Insulin Management in the Intensive Care Unit for Offline Reinforcement Learning
Institute of Health Informatics（健康信息学研究所）；University College London（伦敦大学学院）
针对电子健康记录离散化导致模型泛化性差的问题，提出基于真实临床轨迹的离线强化学习数据集Insulin4RL，包含375,000+决策和12,209名患者，用于评估模型在真实采样假设下的性能。
2026-06-19 cs.LG
Real World Offline Reinforcement Learning with Realistic Data Source
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；Meta AI
离线强化学习（ORL）由于其能够从任意预生成的经验中学习，因此在机器人学习方面具有很大的前景。然而，目前的ORL基准测试几乎完全是模拟的，并利用人为的数据集，如在线RL代理的重放缓冲区或次优轨迹，因此与现实世界的机器人技术的相关性有限。在这项工作（Real-ORL）中，我们认为从密切相关的任务的安全操作中收集的数据对于现实世界的机器人学习来说是更实用的数据源。在这些设置下，我们进行了广泛的（6500+轨迹收集超过800+机器人小时和270+人力小时）的实证研究，评估泛化和转移能力的代表ORL方法在四个现实世界的桌面操作任务。我们的研究发现，ORL和模仿学习更喜欢不同的动作空间，ORL算法可以利用离线异构数据源进行泛化，并优于模仿学习。我们发布我们的数据集和实现URL：https://sites.google.com/view/real-orl
2022-10-12 cs.LG cs.RO
Benchmarking Offline Reinforcement Learning on Real-Robot Hardware
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Harvard University（哈佛大学）；KTH Stockholm（斯德哥尔摩皇家理工学院）
针对真实机器人离线强化学习，提出包含灵巧操作数据和真机执行选项的基准，评估开源算法并提供可复现实验设置。
2023-07-28 cs.LG cs.RO
Evaluating the progress of Deep Reinforcement Learning in the real world: aligning domain-agnostic and domain-specific research
Massachusetts Institute of Technology（麻省理工学院）
深度强化学习（Deep Reinforcement Learning，DRL）被认为是一种潜在的改进现实世界自治系统的框架，它吸引了多个不同领域的关注。然而，在现实世界中的成功部署是大多数DRL模型仍然需要通过的测试。在这项工作中，我们专注于这个问题，审查和评估的研究工作，从域不可知论和特定领域的社区。一方面，我们提供了一个全面的总结DRL的挑战，并总结了不同的建议，以减轻他们，这有助于确定领域不可知论研究的五个差距。另一方面，从特定领域的角度来看，我们讨论了不同的成功案例，并讨论了为什么其他模型可能无法部署。最后，我们采取的方式来推进会计这两个角度。
2021-07-07 cs.AI cs.LG
Meta-Reinforcement Learning for Robotic Industrial Insertion Tasks
Siemens（西门子）；UC Berkeley（加州大学伯克利分校）
机器人插入任务的特点是接触和摩擦力学，使他们具有挑战性的传统反馈控制方法，由于未建模的物理效应。强化学习（RL）是一种很有前途的学习控制策略，在这样的设置。然而，强化学习在探索过程中可能是不安全的，并且可能需要大量的真实世界的训练数据，这是昂贵的collect. In本文中，我们研究如何使用Meta强化学习来解决大部分的问题，通过解决一个家庭的模拟工业插入任务，然后在现实世界中快速适应政策的仿真。我们通过训练代理成功地执行具有挑战性的现实世界的插入任务，使用不到20个试验的现实世界的经验来展示我们的方法。视频和其他材料可在https://pearl-insertion.github.io/上获取
2020-05-23 cs.LG cs.RO
The Challenges of Using Reinforcement Learning for Controlling Industrial Energy Systems
Institute for Production Management, Technology and Machine Tools (PTW), Technical University of Darmstadt（技术大学达姆施塔特生产管理、技术与机床研究所）；DFKI GmbH, SAIROL（DFKI GmbH，SAIROL）；Department of Computer Science, Technical University of Darmstadt（技术大学达姆施塔特计算机科学系）；Hessian.ai, Technical University of Darmstadt（黑森人工智能公司，技术大学达姆施塔特）
本文以热力供暖网络为例，研究强化学习在真实工业能源系统部署中的挑战，包括部分可观测性、动作空间设计、奖励设计及仿真到现实的差距，并基于实际部署发现强化学习虽能实现运行稳定性但存在性能差距。
2026-08-10 cs.LG
Real-Time Recurrent Reinforcement Learning
Vienna University of Technology（维也纳工业大学）；DatenVorsprung GmbH（DatenVorsprung有限公司）
针对部分可观测马尔可夫决策过程（POMDPs）任务，提出结合元强化学习架构、生物学合理RL算法和在线自动微分算法的实时循环强化学习（RTRRL）框架，可解决多种部分可观测RL任务。
2025-03-13 cs.LG cs.NE cs.SY
Time Series Anomaly Detection via Reinforcement Learning-Based Model Selection
McGill University（麦吉尔大学）
时间序列异常检测对于真实世界系统的可靠和高效运行至关重要。基于对异常特征的各种假设，已经开发了许多异常检测方法。然而，由于真实世界数据的复杂性，时间序列内的不同异常通常具有不同的配置文件，支持不同的异常假设。这使得很难找到一个单一的异常检测器，可以始终优于其他模型。在这项工作中，利用不同的基础模型的好处，我们提出了一个基于强化学习的模型选择框架。具体来说，我们首先学习一个不同的异常检测模型池，然后利用强化学习从这些基本模型中动态选择候选模型。对真实数据的实验表明，所提出的策略确实可以在整体性能方面胜过所有基线模型。
2022-07-27 cs.LG
Context-Aware Safe Reinforcement Learning for Non-Stationary Environments
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
在为现实任务部署强化学习代理时，安全性是一个关键问题。最近，安全的强化学习算法已经被开发出来，以优化代理的性能，同时避免违反安全约束。然而，很少有研究涉及到环境中的非平稳扰动，这可能会导致灾难性的后果。在本文中，我们提出了上下文感知安全的强化学习（CASRL）方法，一个元学习框架，以实现安全适应非平稳环境。我们使用一个概率潜变量模型来实现快速推断的后验环境的过渡分布的上下文数据。安全约束，然后评估与不确定性感知轨迹采样。安全违规的高成本导致数据集中不安全记录的稀缺性。我们通过在模型训练过程中启用优先级采样和在约束规划过程中使用领域知识制定先验安全约束来解决这个问题。该算法在现实的安全关键环境中进行评估，非平稳干扰。结果表明，该算法在安全性和鲁棒性方面显着优于现有的基线。
2021-01-02 cs.LG
Iterative Multi-Agent Reinforcement Learning: A Novel Approach Toward Real-World Multi-Echelon Inventory Optimization
针对多级库存优化的复杂性与DRL的维度灾难问题，提出迭代多智能体强化学习方法，在13种供应链场景中验证其在库存策略优化上的性能优于基准，为现实供应链管理提供新方案。
2025-03-23 cs.LG
Revealing the Challenges of Sim-to-Real Transfer in Model-Based Reinforcement Learning via Latent Space Modeling
School of Automation and Intelligent Sensing（自动化与智能感知学院）
该研究针对强化学习sim-to-real迁移难题，提出基于潜在空间的分析方法，可直观观测基于模型方法的迁移挑战，并在MuJoCo环境中验证了其测量与缓解迁移差距的能力，同时指出了现存挑战。
2025-06-15 cs.AI cs.LG
CALF: Communication-Aware Learning Framework for Distributed Reinforcement Learning
University of Cambridge（剑桥大学）
本文提出CALF框架，通过在仿真中训练考虑通信延迟等网络条件的策略，减少实际部署中的性能差距，验证了通信约束建模对实现鲁棒现实执行的重要性。
2026-03-13 cs.AI cs.LG
Failure-Aware RL: Reliable Offline-to-Online Reinforcement Learning with Self-Recovery for Real-World Manipulation
Shanghai Qi Zhi Institute（上海启智研究院）；Shanghai Jiao Tong University（上海交通大学）；IIIS, Tsinghua University（清华大学人工智能研究院）；Nanyang Technological University（南洋理工大学）；A*STAR Institute for Infocomm Research（新加坡科技动力研究院）；University of Maryland（马里兰大学）
本研究提出FARL框架，通过整合安全批评者和恢复策略，有效减少现实世界强化学习中的失败并提升性能。
2026-01-12 cs.AI cs.LG cs.RO
A Framework for Studying Reinforcement Learning and Sim-to-Real in Robot Soccer
Centro de Informática - Universidade Federal de Pernambuco（伯南布哥联邦大学信息中心）；Mila, Universite de Montréal（蒙特利尔大学 Mila）
本文介绍了一个开放的框架，称为VSSS-RL，研究强化学习（RL）和模拟到真实的机器人足球，专注于IEEE非常小尺寸足球（VSSS）联赛。我们提出了一个模拟的环境中，连续或离散的控制策略可以训练控制足球代理的完整行为和一个模拟到真实的方法的基础上领域自适应，以适应所获得的政策，真正的机器人。我们的研究结果表明，经过训练的政策学习了广泛的行为，这些行为很难用手工制定的控制政策来实现。借助VSSS-RL，我们在2019年拉丁美洲机器人竞赛（LARC）中击败了人类设计的策略，在21支队伍中获得第四名，成为第一个在该竞赛中成功应用强化学习（RL）的团队。环境和硬件规格都是开源的，以允许我们的结果和进一步研究的再现性。
2020-08-18 cs.AI cs.LG cs.RO
An empirical investigation of the challenges of real-world reinforcement learning
Google Research（谷歌研究院）；DeepMind（深度思维）
强化学习（RL）已经在一系列人工领域证明了其价值，并开始在现实世界中取得一些成功。然而，由于一系列在实践中很少得到满足的假设，RL的许多研究进展很难在现实世界的系统中发挥作用。在这项工作中，我们确定并正式提出了一系列独立的挑战，这些挑战体现了RL在现实世界系统中普遍部署时必须解决的困难。对于每一个挑战，我们正式定义它的马尔可夫决策过程的上下文中，分析国家的最先进的学习算法的挑战的影响，并提出了一些现有的尝试解决it.We相信，解决我们提出的挑战的方法将很容易部署在大量的现实世界中的问题。我们提出的挑战是在一套连续控制环境中实现的，称为realdatedrl套件，我们提出了一个作为开源基准。
2021-03-04 cs.AI cs.LG
From Simulation to Real World Maneuver Execution using Deep Reinforcement Learning
VisLab - University of Parma（帕尔马大学 VisLab）；VisLab srl, an Ambarella Inc. company（VisLab 有限公司，安霸公司旗下企业）
深度强化学习已被证明能够解决不同领域的许多控制任务，但这些系统在部署到现实场景中时，其行为并不总是像预期的那样。这主要是由于模拟和真实世界数据之间缺乏领域自适应，以及训练和测试数据集之间缺乏区别。在这项工作中，我们调查这些问题在自动驾驶领域，特别是为回旋插入的机动规划模块。特别是，我们提出了一个基于多个环境的系统，其中代理同时进行训练，评估模型在不同场景中的行为。最后，我们分析了旨在减少模拟和真实世界数据之间差距的技术，表明这增加了系统在不可见和真实世界场景中的泛化能力。
2021-04-28 cs.AI cs.LG cs.RO
Generative Support Realignment for Cross-Domain Offline Reinforcement Learning
Ulsan National Institute of Science and Technology, UNIST（乌山国立科学技术研究院，UNIST）
本文提出TCE框架，通过目标对齐生成扩展状态覆盖，有效缓解领域差异，提升跨领域离线强化学习性能。
2026-09-30 cs.AI cs.LG
Modelling Generalized Forces with Reinforcement Learning for Sim-to-Real Transfer
DeepMind（深度思维）
在现实世界中学习机器人控制策略会在数据效率、安全性和控制系统初始条件方面带来挑战。另一方面，模拟是一种有用的替代方法，因为它们提供了丰富的数据源，而没有现实世界的限制。不幸的是，模拟往往无法准确地模拟复杂的现实世界的现象。传统的系统辨识技术在表现力上受到分析模型参数的限制，并且通常不足以捕捉这样的现象。在本文中，我们提出了一个通用的框架，通过优化状态相关的广义力来改善分析模型。状态相关的广义力足够表达运动方程中的约束，同时保持清晰的物理意义和直觉。我们使用强化学习来有效地优化从状态到广义力的映射。我们表明，仅使用几分钟的真实世界的数据，提高了模拟到真实的控制策略转移。我们证明了我们的方法的可行性，通过验证它的nonoblisile操纵任务的索耶机器人。
2019-10-21 cs.LG cs.RO
Sim-to-Real Transfer in Deep Reinforcement Learning for Robotics: a Survey
University of Turku（图尔库大学）
深度强化学习最近在机器人领域的多个领域取得了巨大成功。由于收集真实世界数据的局限性，即，样本的低效率和收集它的成本，模拟环境被用于训练不同的代理。这不仅有助于提供潜在的无限数据源，而且还消除了真实机器人的安全问题。尽管如此，一旦模型被转移到真实的机器人中，模拟世界和真实世界之间的差距会降低策略的性能。因此，目前正在进行多种研究努力，以缩小这种模拟与实际之间的差距，实现更有效的政策转移。近年来，出现了适用于不同领域的多种方法，但据我们所知，缺乏对不同方法进行总结和分析的全面审查。在这篇调查论文中，我们涵盖了深度强化学习中的仿真到现实迁移背后的基本背景，并概述了目前使用的主要方法：域随机化，领域自适应，模仿学习，元学习和知识蒸馏。我们对一些最相关的近期作品进行了分类，并概述了主要的应用场景。最后，我们讨论了不同方法的主要机遇和挑战，并指出了最有前途的方向。
2021-07-08 cs.LG cs.RO
NeoRL-2: Near Real-World Benchmarks for Offline Reinforcement Learning with Extended Realistic Scenarios
Polixir Technologies（博意科技）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
针对离线强化学习中的现实挑战，构建NeoRL-2基准，包含7个数据集和模拟器，揭示现有方法难以超越行为策略，推动更有效算法发展。
2025-03-25 cs.AI cs.LG
Energy Storage Arbitrage in Real-Time Markets via Reinforcement Learning
Department of Electrical Engineering, University of Washington（华盛顿大学电气工程系）
本文通过强化学习设计了一个时间套利策略，用于能源存储，解决了实时价格套利中价格高度不确定带来的策略设计难题，通过设计奖励函数提升性能。
2020-10-26 cs.LG cs.SY eess.SY
