Sim-Env: Decoupling OpenAI Gym Environments from Simulation Models
Open University of the Netherlands（荷兰开放大学）；APG Algemene Pensioen Groep N.V.（APG通用养老集团有限公司）；Radboud University（拉德堡德大学）
本文提出 Sim-Env 工作流与 Python 库，将 OpenAI Gym 强化学习环境与底层基于智能体的领域仿真模型解耦，支持灵活替换视角和奖励模型。
2021-02-22 cs.LG cs.MA
Developing an OpenAI Gym-compatible framework and simulation environment for testing Deep Reinforcement Learning agents solving the Ambulance Location Problem
University of Exeter（埃克塞特大学）；University of Exeter Medical School（埃克塞特大学医学院）
背景和动机：深度强化学习（Deep RL）是一个快速发展的领域。历史上，大多数应用程序都是用于游戏（如国际象棋，Atari游戏和围棋）。深度RL现在已经达到了可以为现实世界的问题提供价值的阶段，包括优化医疗保健系统。其中一个问题是在呼叫之间定位救护车，以最大限度地减少从紧急呼叫到救护车到达现场的时间。这就是所谓的救护车定位问题。目的：开发OpenAI Gym-compatible框架和模拟环境，用于测试Deep RL代理。方法：使用OpenAI Gym和SimPy开发自定义救护车调度仿真环境。深度RL代理是使用PyTorch构建的。该环境是现实世界的简化，但允许控制事件位置的集群数量、可能的调度位置的数量、医院的数量，并创建每天在不同位置发生的事件。结果：在此自定义环境中测试了一系列基于Deep Q网络的Deep RL代理。与随机分配到调度点相比，所有这些都缩短了响应紧急呼叫的时间。Bagging Noisy Duelling Deep Q网络提供了最一致的性能。如果训练时间过长，所有方法都有失去性能的倾向，因此代理都以其最佳性能保存（并在独立的模拟运行中进行测试）。结论：使用模拟环境开发的深度RL代理有可能提供一种新的方法来优化救护车定位问题。创建开放的模拟环境应该可以在这一领域取得更快的进展。
2021-01-13 cs.LG
HDDLGym: A Tool for Studying Multi-Agent Hierarchical Problems Defined in HDDL with OpenAI Gym
MIT（麻省理工学院）；University of Edinburgh（爱丁堡大学）
HDDLGym 是一个基于 Python 的工具，能从 HDDL 自动生成 OpenAI Gym 环境，支持多智能体协作规划，填补了强化学习与分层规划无缝集成的工具空白。
2025-05-28 cs.AI cs.LG cs.MA
COOL-MC: A Comprehensive Tool for Reinforcement Learning and Model Checking
Radboud University（拉德堡德大学）；University of Antwerp（安特卫普大学）；Flanders Make（法兰德斯制造研究院）
本文介绍了COOL-MC，一个工具，集成了最先进的强化学习（RL）和模型检验。具体来说，该工具基于OpenAI gym和概率模型检查器Storm。COOL-MC提供以下功能：（1）一个模拟器，用于在OpenAI gym中训练RL策略，用于定义为Storm输入的马尔可夫决策过程（MDP），（2）一个新的Storm模型构建器，使用回调函数来验证（神经网络）RL策略，（3）将OpenAI gym或Storm中指定的模型和策略关联起来的形式化抽象，以及（4）获得所谓的许可策略的性能上的界限的算法。我们描述了COOL-MC的组件和架构，并在多个基准测试环境中展示了其功能。
2022-09-15 cs.LG cs.LO
Improving Reinforcement Learning with Human Assistance: An Argument for Human Subject Studies with HIPPO Gym
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；École de technologie supérieure (ETS)（高等技术学院（ETS））
强化学习（RL）是一种流行的机器学习范例，用于游戏，机器人控制和其他顺序决策任务。然而，RL代理通常具有很长的学习时间和很高的数据要求，因为它们开始时是随机的。为了在复杂任务中更好地学习，本文认为外部教师通常可以显着帮助RL Agent学习。OpenAI Gym是RL研究的通用框架，包括大量的标准环境和代理，使RL研究变得更加容易。本文介绍了我们新的开源RL框架，Openai Gym的人类输入解析平台（HIPPO Gym），以及创建它的设计决策。这个平台的目标是促进人类RL研究，再次降低门槛，以便更多的研究人员可以快速研究人类教师可以帮助RL代理的不同方式，包括从演示中学习示教学习，从反馈中学习或课程学习。
2021-02-02 cs.AI cs.HC cs.LG
Deep Reinforcement Learning Radio Control and Signal Detection with KeRLym, a Gym RL Agent
Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）
本文介绍了正在进行的研究，调查的可行性和适应性的强化学习使用深度神经网络为基础的功能近似的无线电控制和信号检测在无线领域的任务。我们展示了一个成功的无线电控制的初始方法，它允许天真的学习搜索，而不需要专家的功能，技巧，或搜索策略。我们还介绍了Kerlym，这是一个开放的基于Keras的强化学习代理集合，用于OpenAI的Gym。
2016-05-30 cs.LG
VisualEnv: visual Gym environments with Blender
University of Arizona（亚利桑那大学）
本文介绍了一种新的强化学习可视化环境创建工具VisualEnv。它是开源建模和渲染软件Blender与用于生成模拟环境模型的Python模块OpenAI Gym集成的产物。VisualEnv允许用户创建具有真实感渲染功能的自定义环境，并与Python完全集成。该框架的描述和测试一系列的例子问题，展示其功能的训练强化学习代理。
2021-12-01 cs.AI cs.LG
Optimizing with Low Budgets: a Comparison on the Black-box Optimization Benchmarking Suite and OpenAI Gym
Leiden University（莱顿大学）；Meta AI Research（Meta AI 研究院）；Technical University of Munich（慕尼黑工业大学）；LIP6, CNRS, Sorbonne Université（索邦大学国家科学研究中心LIP6实验室）；Universitat Pompeu Fabra（庞培法布拉大学）；Université d’Antananarivo（塔那那利佛大学）
本文更新并扩展了Hutter等人的研究，在BBOB套件和OpenAI Gym上比较了ML中的BBO工具与经典启发式方法，发现BO优化器在低预算下表现好但成本高，大预算下被其他算法超越，且部分BBO算法在ML任务上表现优异。
2024-01-02 cs.LG
panda-gym: Open-source goal-conditioned environments for robotic learning
École Centrale de Lyon（里昂中央理工学院）；LIRIS, CNRS UMR 5205（里昂信息与图像处理实验室，法国国家科学研究中心 UMR 5205）
本文介绍了panda-gym，这是一组用于Franka Panda机器人的强化学习（RL）环境，与OpenAI Gym集成。包括五个任务：到达，推动，滑动，拾取和放置和堆叠。它们都遵循多目标RL框架，允许使用面向目标的RL算法。为了促进开放研究，我们选择使用开源物理引擎PyBullet。为该软件包选择的实现允许非常容易地定义新任务或新机器人。本文还提出了一个基线的结果与国家的最先进的无模型关闭政策的算法。panda-gym是开源的，可在https://github.com/qgallouedec/panda-gym上免费获得。
2021-12-19 cs.LG
PettingZoo: Gym for Multi-Agent Reinforcement Learning
本文介绍了PettingZoo库和伴随的Agent环境循环（AEC）游戏模型。PettingZoo是一个包含多种多代理环境的库，具有通用，优雅的Python API。PettingZoo的开发目标是加速多智能体强化学习（“MARL”）的研究，通过使工作更具可互换性，可访问性和可复制性，类似于OpenAI的Gym库为单智能体强化学习所做的工作。PettingZoo的API虽然继承了Gym的许多功能，但在MARL API中是独一无二的，因为它基于新颖的AEC游戏模型。我们认为，部分通过流行的MARL环境中的主要问题的案例研究，流行的游戏模型是穷人的概念模型的游戏中常用的MARL，因此可以促进混乱的错误，很难检测到，AEC游戏模型解决这些问题。
2021-10-26 cs.LG cs.MA stat.ML
Integrating Deep Reinforcement Learning Networks with Health System Simulations
University of Exeter Medical School（埃克塞特大学医学院）；NIHR South West Peninsula Applied Research Collaboration（英国国家健康研究所西南半岛应用研究合作组织）；University of Exeter Institute of Data Science and Artificial Intelligence（埃克塞特大学数据科学与人工智能研究所）
背景和动机：结合深度强化学习（Deep RL）和健康系统模拟，对于提高深度RL性能和安全性的研究以及操作实践都具有巨大的潜力。虽然存在用于深度强化学习和健康系统模拟的单独工具包，但尚未建立集成两者的框架。目的：提供一个框架，用于将Deep RL Networks与Health System Simulations集成，并确保此框架与使用OpenAI Gym开发和测试的Deep RL代理兼容。方法：我们基于OpenAI Gym框架开发了我们的框架，并在一个简单的医院床位容量模型上演示了它的使用。我们使用PyTorch构建了Deep RL代理，使用SimPy构建了医院模拟器。结果：我们演示了使用双深度Q网络或Duelling双深度Q网络作为深度RL代理的示例模型。结论：SimPy可用于创建与OpenAI Gym环境上开发和测试的代理兼容的健康系统模拟。GitHub代码库：https://github.com/MichaelAllen1966/learninghospital
2020-07-21 cs.AI cs.LG
Ecole: A Gym-like Library for Machine Learning in Combinatorial Optimization Solvers
Mila（米拉）；Polytechnique Montréal（蒙特利尔理工学院）；Technische Universiteit Delft（代尔夫特理工大学）
我们提出了Ecole，一个新的库，以简化组合优化的机器学习研究。Ecole揭示了在通用组合优化求解器中出现的几个关键决策任务，作为马尔可夫决策过程的控制问题。它的界面模仿了流行的OpenAI Gym库，可扩展且使用直观。我们的目标是使这个图书馆成为一个标准化的平台，降低进入门槛，加速该领域的创新。文档和代码可以在https://www.ecole.ai上找到。
2020-11-24 cs.LG math.OC
CaiRL: A High-Performance Reinforcement Learning Environment Toolkit
University of Agder（阿格德大学）
本文解决了迫切需要一个平台，有效地提供了一个框架运行强化学习（RL）的实验。我们提出了CaiRL环境工具包作为一个有效的，兼容的，更可持续的替代训练学习代理，并提出了方法来开发更有效的环境模拟。人们越来越关注发展可持续的人工智能。然而，很少有人努力提高运行环境模拟的效率。最受欢迎的强化学习开发工具包OpenAI Gym是使用Python构建的，Python是一种功能强大但速度较慢的程序设计语言。我们提出了一个用C++编写的工具包，具有相同的灵活性，但工作速度要快几个数量级，以弥补Python的低效率。这将大大减少气候排放。CaiRL还提供了第一个强化学习工具包，该工具包具有内置的JVM和Flash支持，用于运行传统的Flash游戏，以进行强化学习研究。我们在经典的控制基准测试中展示了CaiRL的有效性，并将其执行速度与OpenAI Gym进行了比较。此外，我们还说明了CaiRL可以作为OpenAI Gym的直接替代品，因为减少了环境计算时间，可以利用更快的训练速度。
2022-10-03 cs.AI cs.LG
Gym-preCICE: Reinforcement Learning Environments for Active Flow Control
Heriot-Watt University（赫瑞-瓦特大学）
本研究提出兼容Gymnasium API的Python适配器Gym-preCICE，借助preCICE耦合库实现控制器与AFC仿真环境的信息交互，支撑AFC场景下强化学习环境的搭建与算法应用。
2023-05-03 cs.LG
RFRL Gym: A Reinforcement Learning Testbed for Cognitive Radio Applications
Virginia Tech National Security Institute（弗吉尼亚理工大学国家安全研究所）；Morehouse College（莫尔豪斯学院）
本文提出RFRL Gym，一个基于OpenAI gym的认知无线电强化学习仿真测试平台，支持动态频谱接入和干扰场景建模与频谱感知实验，以促进无线通信领域RL算法研究。
2023-12-20 cs.AI cs.LG cs.NI
gym-gazebo2, a toolkit for reinforcement learning using ROS 2 and Gazebo
Acutronic Robotics（Acutronic Robotics（机器人公司））
本文提出了一个升级的，面向现实世界应用的版本gym-gazebo，机器人操作系统（ROS）和基于Gazebo的强化学习（RL）工具包，它符合OpenAI Gym。讨论了新的基于ROS 2的软件体系结构，并总结了使用近端策略优化（PPO）获得的结果。最终，这项工作的输出提出了一个机器人基准测试系统，允许使用相同的虚拟条件比较不同的技术和算法。我们已经评估了模块化关节机械臂（MARA）不同复杂程度的环境，达到毫米级的精度。融合结果显示了gym-gazebo 2工具包的可行性和实用性，以及其在使用模块化机器人的工业用例中的潜力和适用性。
2019-03-18 cs.AI cs.LG cs.RO
gym-saturation: Gymnasium environments for saturation provers (System description)
Université Côte d’Azur（蔚蓝海岸大学）；CNRS（法国国家科学研究中心）
本文介绍gym-saturation新版本，将饱和式证明器与强化学习环境结合，支持Vampire和iProver，并通过解耦状态表示及多臂老虎机转换降低实验门槛。
2023-09-16 cs.LG
qgym: A Gym for Training and Benchmarking RL-Based Quantum Compilation
The Netherlands Organisation for Applied Scientific Research (TNO)（荷兰应用科学研究组织（TNO））；Bernoulli Institute（伯努利研究所）；Faculty of Science and Engineering（科学与工程学院）；University of Groningen（格罗宁根大学）；Quantum & Computer Engineering（量子与计算机工程系）；QuTech（QuTech（量子技术研究所））；Delft University of Technology（代尔夫特理工大学）
本文提出基于 OpenAI gym 的软件框架 qgym，通过提供面向量子编译的定制化环境，连接人工智能与量子编译研究，用于训练和基准测试强化学习智能体与算法。
2023-08-01 cs.LG quant-ph
The PlayStation Reinforcement Learning Environment (PSXLE)
University of Cambridge（剑桥大学）
我们提出了一个新的基准测试环境，用于评估强化学习（RL）算法：PlayStation学习环境（PSXLE），一个经过修改的PlayStation模拟器，可以暴露一个简单的控制API，从而实现丰富的游戏状态表示。我们认为，PlayStation作为一个合适的进展代理评估，并提出了这样的评估框架。我们为PlayStation游戏构建了一个支持OpenAI Gym接口的动作驱动抽象，并通过运行OpenAI Baselines演示了它的使用。
2019-12-12 cs.AI cs.LG
Arena: a toolkit for Multi-Agent Reinforcement Learning
Tencent AI Lab（腾讯人工智能实验室）；Tsinghua University（清华大学）
介绍了一个用于多智能体强化学习（MARL）研究的工具包Arena。在MARL中，它通常需要为每个代理定制观察，奖励和动作，改变合作-竞争代理交互，以及与第三方代理一起玩等。我们提供了一种新颖的模块化设计，称为Interface，用于以两种方式操纵此类例程：1）不同的接口可以连接和组合，这将OpenAI Gym Wrappers概念扩展到MARL场景。2)在MARL训练或测试期间，接口可以嵌入到包装的OpenAI Gym兼容环境或原始环境兼容代理中。我们为几个流行的MARL平台提供现成的接口，包括星际争霸II，Pommerman，ViZDoom，Soccer等。这些接口有效地支持自玩RL和合作竞争混合MARL。此外，Arena可以方便地扩展到您自己喜欢的MARL平台。
2019-07-20 cs.AI cs.LG cs.MA
skrl: Modular and Flexible Library for Reinforcement Learning
Mondragon Unibertsitatea（蒙德拉贡大学）；Aalborg University（奥尔堡大学）
skrl是一个用Python编写的用于强化学习的开源模块化库，其设计重点是算法实现的可读性，简单性和透明度。除了支持使用OpenAI Gym和DeepMind传统界面的环境外，它还提供加载、配置和操作NVIDIA Isaac Gym和NVIDIA Omniverse Isaac Gym环境的工具。此外，它还可以同时训练具有可定制范围（所有可用环境中的环境子集）的多个代理，这些代理可以在同一次运行中共享资源，也可以不共享资源。该库的文档可以在https://skrl.readthedocs.io上找到，其源代码可以在GitHub https://github.com/Toni-SM/skrl上找到。
2022-07-09 cs.AI cs.LG
safe-control-gym: a Unified Benchmark Suite for Safe Learning-based Control and Reinforcement Learning in Robotics
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）
近年来，强化学习和基于学习的控制-以及对它们的安全性的研究，这对于在现实世界的机器人中部署至关重要-都获得了巨大的吸引力。然而，为了充分衡量新结果的进展和适用性，我们需要工具来公平地比较控制和强化学习社区提出的方法。在这里，我们提出了一个新的开源基准套件，称为安全控制健身房，支持基于模型和基于数据的控制技术。我们提供了三个动态系统的实现-车杆，1D和2D四旋翼-和两个控制任务-稳定和轨迹跟踪。我们建议扩展OpenAI的Gym API -强化学习研究中的事实标准-（i）指定（和查询）符号动力学的能力和（ii）约束，以及（iii）（可重复）在控制输入，状态测量和惯性属性中注入模拟干扰。为了证明我们的建议，并试图使研究社区更紧密地联系在一起，我们展示了如何使用安全控制健身房定量比较控制性能，数据效率和安全性的多种方法从传统的控制，基于学习的控制，和强化学习的领域。
2022-07-26 cs.LG cs.RO cs.SY
Gym-Ignition: Reproducible Robotic Simulations for Reinforcement Learning
Istituto Italiano di Tecnologia（意大利理工学院）；University of Manchester（曼彻斯特大学）
本文介绍了体操点火，一个新的框架，创造可再生的机器人环境的强化学习研究。它与新一代的Gazebo接口，这是Ignition Robotics套件的一部分，与替代品相比，它为强化学习应用提供了三个主要改进：1）模块化架构使模拟器能够作为C++库使用，简化了与外部软件的互连; 2）多个物理和渲染引擎作为插件支持，简化了执行过程中的选择; 3）新的分布式仿真能力允许在多个工人和机器上分担负载的同时仿真复杂的场景。Gym-Ignition的核心是一个包含Ignition Gazebo模拟器的组件，并为其配置和执行提供了一个简单的接口。我们提供了一个Python包，允许开发人员在Ignition Gazebo中创建模拟的机器人环境。环境公开了通用的OpenAI Gym接口，使其与包含强化学习算法的第三方框架开箱即用。模拟可以在无头和GUI模式下执行，物理引擎可以在加速模式下运行，实例可以并行化。此外，Gym-Ignition软件架构提供了Robot和Task的抽象，使环境与特定的运行时无关。这种抽象允许它们在实际的机器人平台上实时执行，即使是由不同的中间件驱动。
2019-12-02 cs.DC cs.LG cs.RO
Blue River Controls: A toolkit for Reinforcement Learning Control Systems on Hardware
University Of Calgary（卡尔加里大学）；Blue River Technology（蓝河科技）
我们为Quanser的硬件在环软件开发工具包（HIL SDK）提供了一个简单的硬件包装器，以便轻松开发新的Quanser硬件。要连接到硬件，我们使用Cython编写的模块。内部QuanserWrapper类处理与硬件交互的大多数困难方面，包括定时（使用硬件定时器），并确保发送到硬件的数据是安全和正确的，其中安全对应于指定硬件的安全工作电压和电流。最近强化学习（RL）的大部分成功都是通过OpenAI Gym和Deepmind Control Suite等训练和测试工具实现的。不幸的是，用于快速测试和将高频RL算法从仿真转移到真实硬件环境的工具仍然很少。我们介绍了Blue River Controls，这是一个允许在真实硬件上训练和测试强化学习算法的工具。它具有基于OpenAI Gym的简单界面，可直接在仿真和硬件上工作。我们使用Quanser的Qube Servo 2-USB平台，一种欠驱动旋转摆作为初始测试设备。我们还提供工具来简化其他硬件上的RL算法训练。包括来自经典控制器和预先训练的RL代理的几个基线，以比较任务之间的性能。Blue River Controls可在此https URL获得：https://github.com/BlueRiverTech/quanser-openai-driver
2020-01-07 cs.LG cs.SY eess.SY
Deep Q-Network Based Multi-agent Reinforcement Learning with Binary Action Agents
University of Kashmir（克什米尔大学）
用于强化学习（RL）的基于深度Q网络（DQN）的多智能体系统（MAS）使用各种方案，其中智能体必须学习和通信。然而，学习是特定于每个代理和通信可以令人满意地设计的代理。随着更复杂的深度QNetworks脱颖而出，多智能体系统的整体复杂性增加，导致训练困难，需要更高的资源和更多的训练时间，微调困难等问题。为了解决这些问题，我们提出了一个简单但有效的基于DQN的MAS用于RL，它使用共享状态和奖励，但特定于代理的动作，用于更新DQN的经验重放池，其中每个代理是DQN。与传统的基于DQN的方法相比，该方法的优点是整体简单，收敛速度更快，性能更好。应该注意的是，该方法可以扩展到任何DQN。因此，我们分别在三个独立的任务上使用简单的DQN和DDQN（双Q学习），即Cartpole-v1（OpenAI Gym环境），LunarLander-v2（OpenAI Gym环境）和Maze Traffic（自定义环境）。所提出的方法在这些任务上分别以适当的幅度优于基线。
2020-08-06 cs.AI cs.LG cs.MA
MR-iNet Gym: Framework for Edge Deployment of Deep Reinforcement Learning on Embedded Software Defined Radio
Marconi-Rosenblatt AI/ML Innovation Lab（马可尼-罗森布拉特人工智能/机器学习创新实验室）；ANDRO Computational Solutions LLC（ANDRO计算解决方案有限责任公司）
动态资源分配在下一代智能无线通信系统中起着至关重要的作用。机器学习已被用作在这一领域取得进展的强大工具。在大多数情况下，由于这些解决方案的硬件部署具有挑战性，因此进展仅限于模拟。在本文中，我们首次在GPU嵌入式软件定义无线电（SDR）上设计和部署基于深度强化学习（DRL）的功率控制代理。为此，我们提出了一个端到端的框架（MR-iNet Gym），其中仿真套件和嵌入式SDR开发工作紧密结合，以克服现实世界的实施障碍。为了证明其可行性，我们考虑了基于码分多址（DS-CDMA）的LPI/D收发器的分布式功率控制问题。我们首先构建一个DS-CDMA ns 3模块，它与OpenAI Gym环境进行交互。接下来，我们在这个ns 3-gym仿真环境中训练功率控制DRL代理，该仿真环境复制了我们的硬件测试平台。接下来，对于边缘（嵌入式设备）部署，经过训练的模型针对实时操作进行了优化，而不会损失性能。基于硬件的评估验证了DRL代理的效率比传统的分布式约束功率控制（DCPC）算法。更重要的是，作为主要目标，这是第一项确定部署DRL的可行性的工作，为下一代GPU嵌入式无线电提供优化的分布式资源分配。
2022-04-09 cs.LG cs.NI
Learning to Fly -- a Gym Environment with PyBullet Physics for Reinforcement Learning of Multi-agent Quadcopter Control
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；University of Cambridge（剑桥大学）
机器人模拟器对于学术研究和教育以及安全关键应用的开发至关重要。强化学习环境--简单的模拟加上奖励函数形式的问题规范--对于标准化学习算法的开发（和基准测试）也很重要。然而，全尺寸模拟器通常缺乏可移植性和并行性。反之亦然，许多强化学习环境在玩具般的问题中权衡现实主义和高样本吞吐量。虽然公共数据集极大地受益于深度学习和计算机视觉，但我们仍然缺乏软件工具来同时开发-并公平地比较-控制理论和强化学习方法。在本文中，我们基于Bullet物理引擎为多个四轴飞行器提出了一个开源的OpenAI Gym-like环境。它的多智能体和基于视觉的强化学习界面，以及对逼真碰撞和空气动力学效果的支持，使其成为同类产品中的第一个。我们通过几个例子展示了它的使用，无论是控制（轨迹跟踪与PID控制，多机器人飞行与下洗，等）。或强化学习（单智能体和多智能体稳定任务），希望能激发未来结合控制理论和机器学习的研究。
2021-07-25 cs.LG cs.RO
Deep Reinforcement Learning with Mixed Convolutional Network
Boston University（波士顿大学）
最近的研究表明，将单个前置摄像头的原始像素直接映射到转向命令的功能非常强大。本文提出了一种卷积神经网络（CNN），用于在OpenAI Gym中使用模仿学习播放CarRacing-v0。数据集是通过在Gym中手动玩游戏生成的，并使用数据增强方法将数据集扩展到以前的4倍。此外，我们读取每个图像的真实速度，四个ABS传感器，方向盘位置和陀螺仪，并通过结合传感器输入和图像输入设计了一个混合模型。经过训练，该模型可以自动检测道路特征的边界，并像人一样驱动机器人。通过使用CarRacing-v0中的平均奖励与AlexNet和VGG 16进行比较，我们的模型赢得了最大的整体系统性能。
2020-10-06 cs.CV cs.LG cs.RO
Controlgym: Large-Scale Control Environments for Benchmarking Reinforcement Learning Algorithms
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mitsubishi Electric Research Laboratories（三菱电机研发实验室）
本文提出controlgym库，包含36个工业控制设置和10个基于无限维偏微分方程的控制问题，集成于Gym框架以支持标准强化学习算法，旨在评估算法在高维及无限维系统中的可扩展性、收敛性及鲁棒性。
2024-04-23 cs.AI cs.CE cs.LG
Machine Learning aided Crop Yield Optimization
Johns Hopkins University/Applied Physics Lab（约翰斯·霍普金斯大学应用物理实验室）
我们提供了一个带有OpenAI Gym接口的作物模拟环境，并应用现代深度强化学习（DRL）算法来优化产量。我们的经验表明，DRL算法可能有助于发现新的政策和方法，以帮助优化作物产量，同时最大限度地减少限制因素，如水和肥料的使用。我们建议，这种混合植物建模和数据驱动的方法，用于发现优化作物产量的新策略，可能有助于解决由于人口膨胀和气候变化而即将到来的全球粮食需求。
2021-11-01 cs.LG
A Multi-Agent Reinforcement Learning Testbed for Cognitive Radio Applications
Virginia Tech National Security Institute（弗吉尼亚理工大学国家安全研究所）；Morehouse College（莫尔豪斯学院）
针对现有RFRL Gym仅支持单智能体训练的局限，本文通过集成Ray RLlib为其添加MARL功能，使其能模拟多智能体协作/竞争的射频场景，成为更强大的无线通信RL算法测试平台。
2024-12-02 cs.AI cs.LG cs.MA
Reinforcement Learning with Quantum Variational Circuits
Rensselaer Polytechnic Institute（伦斯勒理工学院）
近年来，量子计算技术的发展取得了很大进展，与深度强化学习技术的进步平行。这项工作探讨了量子计算促进强化学习问题的潜力。由于量子计算能够利用叠加和纠缠的量子现象，因此相对于传统算法，它在时间和空间复杂度方面提供了重要的潜在改进。具体来说，我们研究了量子变分电路的使用，这是量子机器学习的一种形式。我们给出了量子变分电路中经典数据的编码技术，进一步探讨了DQN和Double DQN的纯量子和混合量子算法。我们的研究结果表明，混合和纯量子变分电路都有能力解决具有较小参数空间的强化学习任务。这些比较是在两个OpenAI Gym环境中进行的：CartPole和Blackjack，这项工作的成功表明了量子机器学习和深度强化学习之间的强大未来关系。
2020-08-28 cs.LG quant-ph stat.ML
GEM: A Gym for Agentic LLMs
Sea AI Lab（海智实验室）；NUS（国立大学新加坡）；Oxford（牛津大学）；SMU（南卫理安大学）；Stanford（斯坦福大学）；Northeastern（东北大学）；OpenRLHF（开放强化学习基金会）；ROLL；RL2；absolute AI（绝对人工智能）
GEM是一个为代理LLM设计的开源训练环境，提供标准化接口、多样化环境和基准测试功能，用于促进基于经验的学习和强化学习算法的评估。
2026-03-01 cs.AI cs.CL cs.LG
Unentangled quantum reinforcement learning agents in the OpenAI Gym
经典的强化学习（RL）在不同的领域都取得了很好的效果，但其样本效率低下仍然是一个关键问题。在本文中，我们提供了具体的数值证据，证明量子RL的样本效率（收敛速度）可能优于经典RL，并且为了实现可比的学习性能，量子RL可以使用比经典RL少得多（至少一个数量级）的可训练参数。具体来说，我们在OpenAI Gym中采用了流行的RL基准测试环境，并表明在相同的优化过程下，我们的量子RL代理在CartPole和Acrobot任务中的收敛速度比经典的全连接神经网络（FCN）更快。我们还成功地在OpenAI Gym中训练了第一个能够完成LunarLander任务的量子RL代理。我们的量子RL代理只需要一个基于单量子比特的变分量子线路，而不需要纠缠门，然后是一个经典的神经网络（NN）对测量输出进行后处理。最后，我们可以在真正的IBM量子机器上完成上述任务。据我们所知，早期的量子RL代理都不能做到这一点。
2022-03-27 cond-mat.stat-mech quant-ph
Policy Optimization with Second-Order Advantage Information
The Chinese University of Hong Kong（香港中文大学）
高维连续控制任务的策略优化由于策略梯度估计量的大方差而显得困难。我们提出了行动子空间依赖梯度（ASDG）估计，它结合了Rao-Blackwell定理（RB）和控制变量（CV）到一个统一的框架，以减少方差。为了调用RB，我们提出的算法（POSA）学习的基础上的二阶优势信息的行动空间之间的分解结构。POSA通过使用宽而深的体系结构来明确有效地捕获二次信息。实证研究表明，我们提出的方法在高维合成设置和OpenAI Gym的MuJoCo连续控制任务上表现出性能改进。
2019-05-29 cs.AI cs.LG stat.ML
Balancing a CartPole System with Reinforcement Learning -- A Tutorial
Edge Hill University（边山大学）
在本文中，我们提供了实现各种强化学习（RL）算法来控制Cart-Pole系统的细节。特别是，我们描述了各种RL概念，如Q学习，深度Q网络（DQN），双DQN，决斗网络，（优先级）经验重放，并显示它们对学习性能的影响。在此过程中，读者将被介绍用于实现上述概念的OpenAI/Gym和Keras实用程序。据观察，具有PER的DQN在所有其他架构中提供最佳性能，能够在150集内解决问题。
2020-06-12 cs.LG cs.RO
Sample-based Distributional Policy Gradient
Georgia Tech（佐治亚理工学院）
分布式强化学习（DRL）是一个新的强化学习框架，其成功已得到各种实证研究的支持。它依赖于用回报分布代替预期回报的关键思想，这抓住了长期回报的内在随机性。现有的文献大多集中在DRL问题的离散行动空间和价值为基础的方法。在这项工作中，在机器人连续动作空间控制设置的应用程序的动机，我们提出了基于样本的分布式策略梯度（SDPG）算法。它通过广泛用于生成式建模和推理的重新参数化技术，使用样本对收益分布进行建模。我们比较SDPG与DRL中最先进的策略梯度方法，分布式确定性策略梯度（D4PG），它已经证明了最先进的性能。我们将SDPG和D4PG应用于多个OpenAI Gym环境，并观察到我们的算法显示出更好的样本效率以及大多数任务的更高奖励。
2020-01-08 cs.LG stat.ML
Unified Distributed Environment
Amazon Web Services（亚马逊云科技）
我们提出了统一分布式环境（UDE），一个环境虚拟化工具包的强化学习研究。UDE旨在集成在任何仿真平台上构建的环境，例如Gazebo，Unity，Unreal和OpenAI Gym。通过环境虚拟化，UDE可以卸载环境以便在远程机器上执行，同时仍然保持统一的接口。默认情况下，UDE接口设计为支持多代理。通过环境虚拟化及其接口设计，可以在多代理环境的多台机器中训练代理策略。此外，UDE还支持与现有主要RL工具包的集成，以便研究人员利用这些优势。本文讨论了UDE的组成部分及其设计决策。
2022-05-14 cs.AI cs.LG
Quantum Reinforcement Learning via Policy Iteration
Université de Paris（巴黎大学）；CNRS（法国国家科学研究中心）；IRIF（法国信息与自动化研究所）；QC Ware（QC Ware公司）
本文提出了一个通过策略迭代执行量子强化学习的通用框架，通过构建量子态编码价值函数实现量子策略评估与改进，并在OpenAI Gym环境中验证了其理论与实验性能。
2022-03-03 cs.LG quant-ph
Towards Physically Safe Reinforcement Learning under Supervision
Dartmouth College（达特茅斯学院）；Adobe Research（Adobe研究院）
本文讨论的问题是如何以前可用的控制策略$π_s$可以作为一个监督员，更快速，更安全地训练一个新的学习控制策略$π_L$的机器人。在试验期间使用监督器和学习策略的加权平均值，最初在监督器上具有较重的权重，以便在学习策略仍然无效时允许安全和有用的物理试验。在该过程中，调整权重以支持学习的策略。随着权值的调整，学习后的网络必须进行补偿，以便在不同的权值下给出安全合理的输出。引入了一个先锋网络，该网络预先学习一个策略，该策略在计划的下一步新权重下与当前学习的策略执行相似;然后，该先锋网络在下一组试验中替换当前学习的网络。在OpenAI Gym上的实验证明了该方法的有效性。
2019-01-19 cs.LG stat.ML
HyperController: A Hyperparameter Controller for Fast and Stable Training of Reinforcement Learning Neural Networks
Department of Electrical and Systems Engineering, Washington University in St. Louis（电气与系统工程系，华盛顿大学圣路易斯分校）
提出HyperController算法，将超参数优化建模为线性高斯动态系统并利用Kalman滤波器学习目标函数，实现了强化学习神经网络快速稳定的训练与部署。
2025-04-27 cs.LG cs.SY eess.SY
Neurogenetic Programming Framework for Explainable Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；Philips Research Eindhoven（飞利浦埃因霍温研究院）
自动编程，即在没有人类开发人员的情况下生成符合规范的计算机程序的任务，通常通过基于程序突变和重组的遗传编程方法或通过神经语言模型来解决。我们提出了一种新的方法，结合了这两种方法使用的概念，一个虚拟的神经遗传程序员：使用进化方法作为替代梯度下降的神经网络训练}，或团队。我们展示了它为各种OpenAI Gym任务提供高性能和可解释的解决方案的能力，并将专家知识注入到其他数据驱动的解决方案搜索中。
2021-02-08 cs.AI cs.LG cs.NE
Discrete Action On-Policy Learning with Action-Value Critic
UT-Austin（德克萨斯大学奥斯汀分校）；Columbia University（哥伦比亚大学）
离散动作空间中的强化学习（RL）在现实世界的应用中无处不在，但其复杂性随着动作空间维度呈指数增长，这使得有效应用现有的基于策略梯度的深度RL算法具有挑战性。为了有效地在多维离散动作空间中操作，我们构造了一个评价器来估计动作值函数，将其应用于相关动作，并将这些评价器估计的动作值组合起来以控制梯度估计的方差。我们遵循严格的统计分析来设计如何生成和组合这些相关的动作，以及如何通过关闭某些维度的贡献来稀疏梯度。这些努力的结果是一个新的离散行动的政策RL算法，经验优于相关的政策算法依赖于方差控制技术。我们在OpenAI Gym基准任务上展示了这些属性，并说明了离散化动作空间如何有利于探索阶段，从而由于离散策略的灵活性而促进收敛到更好的局部最优解。
2020-02-21 cs.LG stat.ML
Reinforcement Learning for Improving Agent Design
Google Brain（谷歌大脑）
在许多强化学习任务中，目标是学习一种策略来操纵代理，其设计是固定的，以最大化某些累积奖励的概念。代理的物理结构的设计很少针对手头的任务进行优化。在这项工作中，我们探讨了学习的代理的设计，更适合其任务的版本的可能性，与政策。我们对流行的OpenAI Gym框架进行了修改，在该框架中，我们对环境的各个部分进行了参数化，并允许代理共同学习修改这些环境参数及其策略。我们证明了一个代理可以学习一个更好的结构，它的身体，不仅更适合的任务，但也有利于策略学习。政策和结构的联合学习甚至可以揭示对辅助设计应用有用的设计原则。在https://designrl.github.io/上的结果视频
2019-12-02 cs.LG stat.ML
Joint action loss for proximal policy optimization
JumpW AI Group（JumpW人工智能集团）；Queen Mary University of London（伦敦玛丽女王大学）
PPO（近端策略优化）是一种最先进的策略梯度算法，已成功应用于Dota 2和王者荣耀等复杂计算机游戏。在这些环境中，智能体进行由多个子动作组成的复合动作。PPO使用裁剪来限制策略更新。尽管裁剪简单有效，但它在样本使用中的效率并不高。对于复合动作，大多数PPO实现考虑子动作的联合概率（密度），这意味着如果样本（状态复合动作对）的比率超过范围，则样本产生的梯度为零。相反，对于每个子动作，我们单独计算损失，这在更新期间不太容易裁剪，从而更好地利用样本。此外，我们提出了一个多行动的混合损失，结合联合和单独的概率。我们在Gym- $μ$ RTS和MuJoCo中进行实验。与OpenAI的PPO基准测试结果相比，我们的混合模型在不同的MuJoCo环境中将性能提高了50%以上。在Gym- $μ$ RTS中，我们发现子动作损失优于标准PPO方法，特别是当剪辑范围很大时。我们的研究结果表明，这种方法可以更好地平衡使用效率和样本的质量。
2023-01-26 cs.AI cs.LG
Deep Reinforcement Learning for Playing 2.5D Fighting Games
National Taiwan University（台湾大学）
深度强化学习已经在游戏中取得了成功。然而，2.5D格斗游戏将是一项具有挑战性的任务，因为视觉外观的模糊性，如人物的高度或深度。此外，此类游戏中的动作通常涉及特定的连续动作顺序，这也使得网络设计非常困难。基于异步优势演员-评论家（A3 C）网络，我们创建了一个OpenAI健身房般的游戏环境与游戏的小战士2（LF 2），并提出了一种新的A3 C+网络学习RL代理。引入的模型包括一个循环信息网络，它利用游戏相关的信息功能与循环层观察战斗的组合技能。在实验中，我们在不同的设置中考虑LF 2，这成功地证明了我们提出的模型用于学习2.5D格斗游戏。
2018-05-05 cs.AI cs.LG stat.ML
Proximal Policy Gradient: PPO with Policy Gradient
Ohio State University（俄亥俄州立大学）；Adobe Research（奥多比研究院）
本文提出了一种新的策略优化算法PPG（Proximal策略梯度），该算法与VPG（vanilla策略梯度）和PPO（近端策略优化）的性能相近。PPG目标是VPG目标的部分变化，并且PPG目标的梯度与VPG目标的梯度完全相同。为了增加策略更新的迭代次数，我们引入了策略平面，并设计了一种新的裁剪策略。我们在OpenAI Gym和Bullet机器人环境中对10个随机种子进行实验。PPG的性能与PPO相当，并且熵衰减比PPG慢。因此，我们表明，类似的性能PPO可以通过使用从原来的策略梯度定理的梯度公式。
2020-10-20 cs.AI cs.LG
Zap Q-Learning With Nonlinear Function Approximation
University of Florida（佛罗里达大学）；Inria（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）
Zap Q学习是最近一类强化学习算法，主要是为了加速收敛。稳定性理论一直缺席两个限制性类别之外：表格设置，和最佳停止。本文介绍了一个新的框架，分析一类更一般的递归算法称为随机逼近。基于这个一般理论，它表明，Zap Q-学习是一致的非退化假设下，即使当函数逼近架构是非线性的。Zap Q学习与神经网络函数逼近作为一种特殊情况出现，并在OpenAI Gym的示例上进行了测试。基于一系列神经网络规模的多个实验，发现新算法收敛速度快，对函数逼近结构的选择具有鲁棒性。
2020-07-15 cs.LG cs.SY eess.SY
Controlling an Inverted Pendulum with Policy Gradient Methods-A Tutorial
Edge Hill University（边山大学）
本文提供了两个重要的策略梯度方法来解决倒立摆问题的实施细节。它们即是深度确定性策略梯度（DDPG）和近端策略优化（PPO）算法。该问题通过使用行动者-批评者模型来解决，其中行动者网络用于学习策略函数，批评者网络通过学习估计Q函数来评估行动者网络。除了简要解释这两个算法背后的数学，还提供了python实现的细节，这有助于揭开算法潜在复杂性的神秘面纱。在这个过程中，读者将被介绍到用于实现上述概念的OpenAI/Gym，Tensorflow 2.x和Keras实用程序。
2021-05-17 cs.AI cs.LG cs.RO
Amortized Variational Deep Q Network
Xi’an Jiaotong University（西安交通大学）
有效探索是深度强化学习中最重要的问题之一。为了解决这个问题，最近的方法认为价值函数参数作为随机变量，并诉诸变分推理近似的后验参数。在本文中，我们提出了一个摊销变分推理框架来近似Deep Q网络中动作价值函数的后验分布。我们建立了新模型的损失和摊销变分推理损失之间的等价性。我们实现了探索和开发的平衡，假设后验分别为柯西和高斯，在一个两阶段的训练过程。我们表明，摊销的框架可以导致显着较少的学习参数比现有的最先进的方法。在OpenAI Gym中的经典控制任务和链马尔可夫决策过程任务上的实验结果表明，该方法的性能明显优于最先进的方法，并且需要更少的训练时间。
2020-11-03 cs.AI cs.LG stat.ML
Noisy Spiking Actor Network for Exploration
本文提出NoisySAN，通过引入时间相关噪声和噪声减少方法，提升深度强化学习中探索效率，在连续控制任务中表现优异。
2025-12-11 cs.LG cs.NE
Qualitative Measurements of Policy Discrepancy for Return-Based Deep Q-Network
深度Q网络（DQN）和基于返回的强化学习是近年来提出的两种很有前途的算法。DQN为复杂的序贯决策问题带来了进步，而基于返回的算法在利用样本轨迹方面具有优势。在本文中，我们提出了一个通用的框架，结合DQN和大多数基于返回的强化学习算法，命名为R-DQN。通过引入基于返回值的强化学习，可以有效地提高传统DQN的性能。为了进一步改进R-DQN，我们设计了一个策略，该策略具有两个度量，可以定性地度量政策差异。此外，我们给出了这两个测量的建议的R-DQN框架的界限。我们表明，我们的策略的算法可以准确地表达的迹系数，并实现更好的近似返回。在OpenAI Gym库中的几个代表性任务上进行的实验验证了所提出的测量方法的有效性。结果还表明，我们的策略的算法优于国家的最先进的方法。
2019-11-28 cs.AI cs.LG stat.ML
BF++: a language for general-purpose program synthesis
Eindhoven University of Technology（埃因霍温理工大学）；Philips Research Eindhoven（飞利浦埃因霍温研究院）
大多数基于强化学习（RL）的最先进的决策系统是数据驱动的黑盒神经模型，其中通常难以将专家知识并入模型中或让专家审查和验证学习的决策机制。在涉及人类健康和安全的许多应用中，知识插入和模型审查是重要的要求。弥合数据和知识驱动系统之间的差距的一种方法是程序合成：用神经网络或通过遗传编程生成的符号程序替换输出决策的神经网络。我们提出了一种新的程序设计语言BF++，专门用于部分可观察马尔可夫决策过程（POMDP）设置中的代理自动编程，并应用神经程序合成来解决标准OpenAI Gym基准测试。
2022-07-08 cs.AI cs.LG cs.NE
Sequential Learning of Movement Prediction in Dynamic Environments using LSTM Autoencoder
Indian Institute of Science（印度科学学院）
在学习代理的动作与场景的动态交互的同时预测对象的运动仍然是机器人技术中的一个关键挑战。我们提出了一个多层的长短期记忆（LSTM）autoendocer网络，预测未来帧的机器人导航在动态环境中移动的障碍。自动编码器网络由状态和动作条件解码器网络组成，该解码器网络以代理所采取的动作为条件来重建未来的视频帧。输入图像帧首先通过预训练的编码器网络转换为低维特征向量，然后通过LSTM自动编码器网络重建以生成未来的帧。基于OpenAi-Gym机器人框架的虚拟环境用于收集训练数据并测试所提出的网络。初步的实验结果表明，这些预测的帧可以使用适当的强化学习框架在未来的动态障碍物导航。
2018-10-12 cs.CV cs.LG cs.RO
