Deep Reinforcement Learning Radio Control and Signal Detection with KeRLym, a Gym RL Agent
Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）
本文介绍了正在进行的研究，调查的可行性和适应性的强化学习使用深度神经网络为基础的功能近似的无线电控制和信号检测在无线领域的任务。我们展示了一个成功的无线电控制的初始方法，它允许天真的学习搜索，而不需要专家的功能，技巧，或搜索策略。我们还介绍了Kerlym，这是一个开放的基于Keras的强化学习代理集合，用于OpenAI的Gym。
2016-05-30 cs.LG
Optimizing with Low Budgets: a Comparison on the Black-box Optimization Benchmarking Suite and OpenAI Gym
Leiden University（莱顿大学）；Meta AI Research（Meta AI 研究院）；Technical University of Munich（慕尼黑工业大学）；LIP6, CNRS, Sorbonne Université（索邦大学国家科学研究中心LIP6实验室）；Universitat Pompeu Fabra（庞培法布拉大学）；Université d’Antananarivo（塔那那利佛大学）
本文更新并扩展了Hutter等人的研究，在BBOB套件和OpenAI Gym上比较了ML中的BBO工具与经典启发式方法，发现BO优化器在低预算下表现好但成本高，大预算下被其他算法超越，且部分BBO算法在ML任务上表现优异。
2024-01-02 cs.LG
panda-gym: Open-source goal-conditioned environments for robotic learning
École Centrale de Lyon（里昂中央理工学院）；LIRIS, CNRS UMR 5205（里昂信息与图像处理实验室，法国国家科学研究中心 UMR 5205）
本文介绍了panda-gym，这是一组用于Franka Panda机器人的强化学习（RL）环境，与OpenAI Gym集成。包括五个任务：到达，推动，滑动，拾取和放置和堆叠。它们都遵循多目标RL框架，允许使用面向目标的RL算法。为了促进开放研究，我们选择使用开源物理引擎PyBullet。为该软件包选择的实现允许非常容易地定义新任务或新机器人。本文还提出了一个基线的结果与国家的最先进的无模型关闭政策的算法。panda-gym是开源的，可在https://github.com/qgallouedec/panda-gym上免费获得。
2021-12-19 cs.LG
HDDLGym: A Tool for Studying Multi-Agent Hierarchical Problems Defined in HDDL with OpenAI Gym
MIT（麻省理工学院）；University of Edinburgh（爱丁堡大学）
HDDLGym 是一个基于 Python 的工具，能从 HDDL 自动生成 OpenAI Gym 环境，支持多智能体协作规划，填补了强化学习与分层规划无缝集成的工具空白。
2025-05-28 cs.AI cs.LG cs.MA
Concept and the implementation of a tool to convert industry 4.0 environments modeled as FSM to an OpenAI Gym wrapper
UTFPR - Federal University of Technology Paraná（巴拉那联邦技术大学（UTFPR））
工业4.0系统在其任务中对优化有很高的要求，无论是最大限度地降低成本，最大限度地提高产量，还是同步其执行器以完成或加快产品的制造。这些挑战使得工业环境成为应用所有现代强化学习（RL）概念的合适场景。然而，主要的困难是缺乏这种工业环境。通过这种方式，这项工作提出了一个工具的概念和实现，该工具允许我们将任何建模为FSM的动态系统转换为开源的Gym包装器。在此之后，可以使用任何RL方法来优化任何所需的任务。在该工具的第一个测试中，我们展示了在两个简单环境中运行的传统Q学习和深度Q学习方法。
2020-06-29 cs.AI cs.FL cs.LG
Sepsis World Model: A MIMIC-based OpenAI Gym "World Model" Simulator for Sepsis Treatment
Stanford University（斯坦福大学）
脓毒症是一种由身体对感染的反应引起的危及生命的疾病。为了治疗败血症患者，医生必须根据紧急情况下的大量变量控制各种抗生素、液体和血管加压药的不同剂量。在这个项目中，我们采用了“世界模型“的方法来创建一个模拟器，其目的是预测给定当前状态和治疗措施的患者的下一个状态。在这样做的过程中，我们希望我们的模拟器从EHR数据的潜在和较少噪声的表示中学习。使用MIMIC数据集的脓毒症患者历史记录，我们的方法创建了一个OpenAI Gym模拟器，该模拟器利用变分自动编码器和混合密度网络与RNN（MDN-RNN）相结合，对医院中任何脓毒症患者的轨迹进行建模。为了减少噪声的影响，我们在模拟过程中从生成的后续步骤分布中进行采样，并可以通过控制“温度”变量来选择将不确定性引入模拟器。值得注意的是，我们无法获得最佳策略的基本事实，因为我们只能通过现实世界的实验或专家反馈来评估学习到的策略。相反，我们的目标是通过评估我们的环境与真实EHR数据之间的相似性来研究我们的模拟器模型的性能，并评估其使用深度Q-Learning学习脓毒症治疗的现实政策的可行性。
2019-12-15 cs.LG stat.ML
COOL-MC: A Comprehensive Tool for Reinforcement Learning and Model Checking
Radboud University（拉德堡德大学）；University of Antwerp（安特卫普大学）；Flanders Make（法兰德斯制造研究院）
本文介绍了COOL-MC，一个工具，集成了最先进的强化学习（RL）和模型检验。具体来说，该工具基于OpenAI gym和概率模型检查器Storm。COOL-MC提供以下功能：（1）一个模拟器，用于在OpenAI gym中训练RL策略，用于定义为Storm输入的马尔可夫决策过程（MDP），（2）一个新的Storm模型构建器，使用回调函数来验证（神经网络）RL策略，（3）将OpenAI gym或Storm中指定的模型和策略关联起来的形式化抽象，以及（4）获得所谓的许可策略的性能上的界限的算法。我们描述了COOL-MC的组件和架构，并在多个基准测试环境中展示了其功能。
2022-09-15 cs.LG cs.LO
Gym-preCICE: Reinforcement Learning Environments for Active Flow Control
Heriot-Watt University（赫瑞-瓦特大学）
本研究提出兼容Gymnasium API的Python适配器Gym-preCICE，借助preCICE耦合库实现控制器与AFC仿真环境的信息交互，支撑AFC场景下强化学习环境的搭建与算法应用。
2023-05-03 cs.LG
gym-saturation: Gymnasium environments for saturation provers (System description)
Université Côte d’Azur（蔚蓝海岸大学）；CNRS（法国国家科学研究中心）
本文介绍gym-saturation新版本，将饱和式证明器与强化学习环境结合，支持Vampire和iProver，并通过解耦状态表示及多臂老虎机转换降低实验门槛。
2023-09-16 cs.LG
VisualEnv: visual Gym environments with Blender
University of Arizona（亚利桑那大学）
本文介绍了一种新的强化学习可视化环境创建工具VisualEnv。它是开源建模和渲染软件Blender与用于生成模拟环境模型的Python模块OpenAI Gym集成的产物。VisualEnv允许用户创建具有真实感渲染功能的自定义环境，并与Python完全集成。该框架的描述和测试一系列的例子问题，展示其功能的训练强化学习代理。
2021-12-01 cs.AI cs.LG
Improving Reinforcement Learning with Human Assistance: An Argument for Human Subject Studies with HIPPO Gym
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；École de technologie supérieure (ETS)（高等技术学院（ETS））
强化学习（RL）是一种流行的机器学习范例，用于游戏，机器人控制和其他顺序决策任务。然而，RL代理通常具有很长的学习时间和很高的数据要求，因为它们开始时是随机的。为了在复杂任务中更好地学习，本文认为外部教师通常可以显着帮助RL Agent学习。OpenAI Gym是RL研究的通用框架，包括大量的标准环境和代理，使RL研究变得更加容易。本文介绍了我们新的开源RL框架，Openai Gym的人类输入解析平台（HIPPO Gym），以及创建它的设计决策。这个平台的目标是促进人类RL研究，再次降低门槛，以便更多的研究人员可以快速研究人类教师可以帮助RL代理的不同方式，包括从演示中学习示教学习，从反馈中学习或课程学习。
2021-02-02 cs.AI cs.HC cs.LG
Integrating Deep Reinforcement Learning Networks with Health System Simulations
University of Exeter Medical School（埃克塞特大学医学院）；NIHR South West Peninsula Applied Research Collaboration（英国国家健康研究所西南半岛应用研究合作组织）；University of Exeter Institute of Data Science and Artificial Intelligence（埃克塞特大学数据科学与人工智能研究所）
背景和动机：结合深度强化学习（Deep RL）和健康系统模拟，对于提高深度RL性能和安全性的研究以及操作实践都具有巨大的潜力。虽然存在用于深度强化学习和健康系统模拟的单独工具包，但尚未建立集成两者的框架。目的：提供一个框架，用于将Deep RL Networks与Health System Simulations集成，并确保此框架与使用OpenAI Gym开发和测试的Deep RL代理兼容。方法：我们基于OpenAI Gym框架开发了我们的框架，并在一个简单的医院床位容量模型上演示了它的使用。我们使用PyTorch构建了Deep RL代理，使用SimPy构建了医院模拟器。结果：我们演示了使用双深度Q网络或Duelling双深度Q网络作为深度RL代理的示例模型。结论：SimPy可用于创建与OpenAI Gym环境上开发和测试的代理兼容的健康系统模拟。GitHub代码库：https://github.com/MichaelAllen1966/learninghospital
2020-07-21 cs.AI cs.LG
Ecole: A Gym-like Library for Machine Learning in Combinatorial Optimization Solvers
Mila（米拉）；Polytechnique Montréal（蒙特利尔理工学院）；Technische Universiteit Delft（代尔夫特理工大学）
我们提出了Ecole，一个新的库，以简化组合优化的机器学习研究。Ecole揭示了在通用组合优化求解器中出现的几个关键决策任务，作为马尔可夫决策过程的控制问题。它的界面模仿了流行的OpenAI Gym库，可扩展且使用直观。我们的目标是使这个图书馆成为一个标准化的平台，降低进入门槛，加速该领域的创新。文档和代码可以在https://www.ecole.ai上找到。
2020-11-24 cs.LG math.OC
CaiRL: A High-Performance Reinforcement Learning Environment Toolkit
University of Agder（阿格德大学）
本文解决了迫切需要一个平台，有效地提供了一个框架运行强化学习（RL）的实验。我们提出了CaiRL环境工具包作为一个有效的，兼容的，更可持续的替代训练学习代理，并提出了方法来开发更有效的环境模拟。人们越来越关注发展可持续的人工智能。然而，很少有人努力提高运行环境模拟的效率。最受欢迎的强化学习开发工具包OpenAI Gym是使用Python构建的，Python是一种功能强大但速度较慢的程序设计语言。我们提出了一个用C++编写的工具包，具有相同的灵活性，但工作速度要快几个数量级，以弥补Python的低效率。这将大大减少气候排放。CaiRL还提供了第一个强化学习工具包，该工具包具有内置的JVM和Flash支持，用于运行传统的Flash游戏，以进行强化学习研究。我们在经典的控制基准测试中展示了CaiRL的有效性，并将其执行速度与OpenAI Gym进行了比较。此外，我们还说明了CaiRL可以作为OpenAI Gym的直接替代品，因为减少了环境计算时间，可以利用更快的训练速度。
2022-10-03 cs.AI cs.LG
gym-gazebo2, a toolkit for reinforcement learning using ROS 2 and Gazebo
Acutronic Robotics（Acutronic Robotics（机器人公司））
本文提出了一个升级的，面向现实世界应用的版本gym-gazebo，机器人操作系统（ROS）和基于Gazebo的强化学习（RL）工具包，它符合OpenAI Gym。讨论了新的基于ROS 2的软件体系结构，并总结了使用近端策略优化（PPO）获得的结果。最终，这项工作的输出提出了一个机器人基准测试系统，允许使用相同的虚拟条件比较不同的技术和算法。我们已经评估了模块化关节机械臂（MARA）不同复杂程度的环境，达到毫米级的精度。融合结果显示了gym-gazebo 2工具包的可行性和实用性，以及其在使用模块化机器人的工业用例中的潜力和适用性。
2019-03-18 cs.AI cs.LG cs.RO
RFRL Gym: A Reinforcement Learning Testbed for Cognitive Radio Applications
Virginia Tech National Security Institute（弗吉尼亚理工大学国家安全研究所）；Morehouse College（莫尔豪斯学院）
本文提出RFRL Gym，一个基于OpenAI gym的认知无线电强化学习仿真测试平台，支持动态频谱接入和干扰场景建模与频谱感知实验，以促进无线通信领域RL算法研究。
2023-12-20 cs.AI cs.LG cs.NI
Deep Learning of Koopman Representation for Control
Clemson University（克莱姆森大学）
我们开发了一个数据驱动的，无模型的方法的动态系统的最优控制。所提出的方法依赖于基于深度神经网络（DNN）的Koopman算子的学习以用于控制目的。具体地说，DNN用于非线性控制系统动态的线性提升中使用的基函数的数据驱动识别。控制器合成是纯粹的数据驱动，不依赖于先验领域知识。用于基于强化学习的控制设计的OpenAI Gym环境用于控制设置中Koopman算子的数据生成和学习。在OpenAI Gym环境下将该方法应用于两个经典的动力系统，以证明其能力。
2020-10-15 cs.LG cs.SY eess.SY
PettingZoo: Gym for Multi-Agent Reinforcement Learning
本文介绍了PettingZoo库和伴随的Agent环境循环（AEC）游戏模型。PettingZoo是一个包含多种多代理环境的库，具有通用，优雅的Python API。PettingZoo的开发目标是加速多智能体强化学习（“MARL”）的研究，通过使工作更具可互换性，可访问性和可复制性，类似于OpenAI的Gym库为单智能体强化学习所做的工作。PettingZoo的API虽然继承了Gym的许多功能，但在MARL API中是独一无二的，因为它基于新颖的AEC游戏模型。我们认为，部分通过流行的MARL环境中的主要问题的案例研究，流行的游戏模型是穷人的概念模型的游戏中常用的MARL，因此可以促进混乱的错误，很难检测到，AEC游戏模型解决这些问题。
2021-10-26 cs.LG cs.MA stat.ML
The PlayStation Reinforcement Learning Environment (PSXLE)
University of Cambridge（剑桥大学）
我们提出了一个新的基准测试环境，用于评估强化学习（RL）算法：PlayStation学习环境（PSXLE），一个经过修改的PlayStation模拟器，可以暴露一个简单的控制API，从而实现丰富的游戏状态表示。我们认为，PlayStation作为一个合适的进展代理评估，并提出了这样的评估框架。我们为PlayStation游戏构建了一个支持OpenAI Gym接口的动作驱动抽象，并通过运行OpenAI Baselines演示了它的使用。
2019-12-12 cs.AI cs.LG
A Reinforcement Learning Environment for Multi-Service UAV-enabled Wireless Systems
Sapienza Univ. of Rome（罗马大学）
我们为自主无人机设计了一个多用途环境，在各种应用环境中提供不同的通信服务（例如，无线移动连接服务、边缘计算、数据收集）。我们基于OpenAI Gym框架开发环境，以模拟真实操作环境的不同特征，并采用强化学习生成策略，以最大化某些期望的性能。将生成的策略的质量与简单的基线进行比较，以评估系统并得出在不同用例中采用该技术的指导方针。本文的主要贡献是一个灵活且可扩展的OpenAI Gym环境，它允许在多服务应用中为自主多无人机系统生成，评估和比较策略。这种环境允许在各种应用环境中对不同方法进行比较评估和基准测试。
2021-05-11 cs.LG cs.MA
skrl: Modular and Flexible Library for Reinforcement Learning
Mondragon Unibertsitatea（蒙德拉贡大学）；Aalborg University（奥尔堡大学）
skrl是一个用Python编写的用于强化学习的开源模块化库，其设计重点是算法实现的可读性，简单性和透明度。除了支持使用OpenAI Gym和DeepMind传统界面的环境外，它还提供加载、配置和操作NVIDIA Isaac Gym和NVIDIA Omniverse Isaac Gym环境的工具。此外，它还可以同时训练具有可定制范围（所有可用环境中的环境子集）的多个代理，这些代理可以在同一次运行中共享资源，也可以不共享资源。该库的文档可以在https://skrl.readthedocs.io上找到，其源代码可以在GitHub https://github.com/Toni-SM/skrl上找到。
2022-07-09 cs.AI cs.LG
CropGym: a Reinforcement Learning Environment for Crop Management
Wageningen University and Research（瓦赫宁根大学及研究中心）
氮肥对环境有不利影响，可以通过优化肥料管理策略来减少。我们实现了一个OpenAI Gym环境，其中强化学习代理可以使用基于过程的作物生长模型来学习施肥管理政策，并确定减少环境影响的政策。在我们的环境中，一个代理训练的近端策略优化算法是更成功地减少环境影响比其他基线代理，我们目前。
2021-04-23 cs.LG
Arena: a toolkit for Multi-Agent Reinforcement Learning
Tencent AI Lab（腾讯人工智能实验室）；Tsinghua University（清华大学）
介绍了一个用于多智能体强化学习（MARL）研究的工具包Arena。在MARL中，它通常需要为每个代理定制观察，奖励和动作，改变合作-竞争代理交互，以及与第三方代理一起玩等。我们提供了一种新颖的模块化设计，称为Interface，用于以两种方式操纵此类例程：1）不同的接口可以连接和组合，这将OpenAI Gym Wrappers概念扩展到MARL场景。2)在MARL训练或测试期间，接口可以嵌入到包装的OpenAI Gym兼容环境或原始环境兼容代理中。我们为几个流行的MARL平台提供现成的接口，包括星际争霸II，Pommerman，ViZDoom，Soccer等。这些接口有效地支持自玩RL和合作竞争混合MARL。此外，Arena可以方便地扩展到您自己喜欢的MARL平台。
2019-07-20 cs.AI cs.LG cs.MA
qgym: A Gym for Training and Benchmarking RL-Based Quantum Compilation
The Netherlands Organisation for Applied Scientific Research (TNO)（荷兰应用科学研究组织（TNO））；Bernoulli Institute（伯努利研究所）；Faculty of Science and Engineering（科学与工程学院）；University of Groningen（格罗宁根大学）；Quantum & Computer Engineering（量子与计算机工程系）；QuTech（QuTech（量子技术研究所））；Delft University of Technology（代尔夫特理工大学）
本文提出基于 OpenAI gym 的软件框架 qgym，通过提供面向量子编译的定制化环境，连接人工智能与量子编译研究，用于训练和基准测试强化学习智能体与算法。
2023-08-01 cs.LG quant-ph
MR-iNet Gym: Framework for Edge Deployment of Deep Reinforcement Learning on Embedded Software Defined Radio
Marconi-Rosenblatt AI/ML Innovation Lab（马可尼-罗森布拉特人工智能/机器学习创新实验室）；ANDRO Computational Solutions LLC（ANDRO计算解决方案有限责任公司）
动态资源分配在下一代智能无线通信系统中起着至关重要的作用。机器学习已被用作在这一领域取得进展的强大工具。在大多数情况下，由于这些解决方案的硬件部署具有挑战性，因此进展仅限于模拟。在本文中，我们首次在GPU嵌入式软件定义无线电（SDR）上设计和部署基于深度强化学习（DRL）的功率控制代理。为此，我们提出了一个端到端的框架（MR-iNet Gym），其中仿真套件和嵌入式SDR开发工作紧密结合，以克服现实世界的实施障碍。为了证明其可行性，我们考虑了基于码分多址（DS-CDMA）的LPI/D收发器的分布式功率控制问题。我们首先构建一个DS-CDMA ns 3模块，它与OpenAI Gym环境进行交互。接下来，我们在这个ns 3-gym仿真环境中训练功率控制DRL代理，该仿真环境复制了我们的硬件测试平台。接下来，对于边缘（嵌入式设备）部署，经过训练的模型针对实时操作进行了优化，而不会损失性能。基于硬件的评估验证了DRL代理的效率比传统的分布式约束功率控制（DCPC）算法。更重要的是，作为主要目标，这是第一项确定部署DRL的可行性的工作，为下一代GPU嵌入式无线电提供优化的分布式资源分配。
2022-04-09 cs.LG cs.NI
safe-control-gym: a Unified Benchmark Suite for Safe Learning-based Control and Reinforcement Learning in Robotics
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）
近年来，强化学习和基于学习的控制-以及对它们的安全性的研究，这对于在现实世界的机器人中部署至关重要-都获得了巨大的吸引力。然而，为了充分衡量新结果的进展和适用性，我们需要工具来公平地比较控制和强化学习社区提出的方法。在这里，我们提出了一个新的开源基准套件，称为安全控制健身房，支持基于模型和基于数据的控制技术。我们提供了三个动态系统的实现-车杆，1D和2D四旋翼-和两个控制任务-稳定和轨迹跟踪。我们建议扩展OpenAI的Gym API -强化学习研究中的事实标准-（i）指定（和查询）符号动力学的能力和（ii）约束，以及（iii）（可重复）在控制输入，状态测量和惯性属性中注入模拟干扰。为了证明我们的建议，并试图使研究社区更紧密地联系在一起，我们展示了如何使用安全控制健身房定量比较控制性能，数据效率和安全性的多种方法从传统的控制，基于学习的控制，和强化学习的领域。
2022-07-26 cs.LG cs.RO cs.SY
Learning to Fly -- a Gym Environment with PyBullet Physics for Reinforcement Learning of Multi-agent Quadcopter Control
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；University of Cambridge（剑桥大学）
机器人模拟器对于学术研究和教育以及安全关键应用的开发至关重要。强化学习环境--简单的模拟加上奖励函数形式的问题规范--对于标准化学习算法的开发（和基准测试）也很重要。然而，全尺寸模拟器通常缺乏可移植性和并行性。反之亦然，许多强化学习环境在玩具般的问题中权衡现实主义和高样本吞吐量。虽然公共数据集极大地受益于深度学习和计算机视觉，但我们仍然缺乏软件工具来同时开发-并公平地比较-控制理论和强化学习方法。在本文中，我们基于Bullet物理引擎为多个四轴飞行器提出了一个开源的OpenAI Gym-like环境。它的多智能体和基于视觉的强化学习界面，以及对逼真碰撞和空气动力学效果的支持，使其成为同类产品中的第一个。我们通过几个例子展示了它的使用，无论是控制（轨迹跟踪与PID控制，多机器人飞行与下洗，等）。或强化学习（单智能体和多智能体稳定任务），希望能激发未来结合控制理论和机器学习的研究。
2021-07-25 cs.LG cs.RO
Blue River Controls: A toolkit for Reinforcement Learning Control Systems on Hardware
University Of Calgary（卡尔加里大学）；Blue River Technology（蓝河科技）
我们为Quanser的硬件在环软件开发工具包（HIL SDK）提供了一个简单的硬件包装器，以便轻松开发新的Quanser硬件。要连接到硬件，我们使用Cython编写的模块。内部QuanserWrapper类处理与硬件交互的大多数困难方面，包括定时（使用硬件定时器），并确保发送到硬件的数据是安全和正确的，其中安全对应于指定硬件的安全工作电压和电流。最近强化学习（RL）的大部分成功都是通过OpenAI Gym和Deepmind Control Suite等训练和测试工具实现的。不幸的是，用于快速测试和将高频RL算法从仿真转移到真实硬件环境的工具仍然很少。我们介绍了Blue River Controls，这是一个允许在真实硬件上训练和测试强化学习算法的工具。它具有基于OpenAI Gym的简单界面，可直接在仿真和硬件上工作。我们使用Quanser的Qube Servo 2-USB平台，一种欠驱动旋转摆作为初始测试设备。我们还提供工具来简化其他硬件上的RL算法训练。包括来自经典控制器和预先训练的RL代理的几个基线，以比较任务之间的性能。Blue River Controls可在此https URL获得：https://github.com/BlueRiverTech/quanser-openai-driver
2020-01-07 cs.LG cs.SY eess.SY
FuzzerGym: A Competitive Framework for Fuzzing and Learning
Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰瑞尔公司）
Fuzzing是一种常用的技术，旨在通过自动制作程序输入来测试软件。目前，最成功的模糊算法强调简单，低开销的策略，在执行过程中有效地监视程序状态的能力。通过编译时插装，这些方法可以访问程序状态的许多方面，包括覆盖率、数据流以及异构故障检测和分类。然而，现有的方法在生成测试输入时利用盲随机变异策略。我们提出了一种不同的方法，使用这种状态信息来优化变异算子，使用强化学习（RL）。通过将OpenAI Gym与libFuzzer集成，我们能够同时利用强化学习和模糊化的进步，在多个不同的基准测试中实现更深入的覆盖。我们的技术将LLVM算法提供的丰富、高效的程序监控器与深度神经网络连接起来，直接从输入数据中学习突变选择策略。我们开发的跨语言异步架构使我们能够将任何OpenAI Gym兼容的深度强化学习算法应用于任何模糊问题，并且速度最小。
2018-07-19 cs.AI cs.LG cs.SE
Gym-Ignition: Reproducible Robotic Simulations for Reinforcement Learning
Istituto Italiano di Tecnologia（意大利理工学院）；University of Manchester（曼彻斯特大学）
本文介绍了体操点火，一个新的框架，创造可再生的机器人环境的强化学习研究。它与新一代的Gazebo接口，这是Ignition Robotics套件的一部分，与替代品相比，它为强化学习应用提供了三个主要改进：1）模块化架构使模拟器能够作为C++库使用，简化了与外部软件的互连; 2）多个物理和渲染引擎作为插件支持，简化了执行过程中的选择; 3）新的分布式仿真能力允许在多个工人和机器上分担负载的同时仿真复杂的场景。Gym-Ignition的核心是一个包含Ignition Gazebo模拟器的组件，并为其配置和执行提供了一个简单的接口。我们提供了一个Python包，允许开发人员在Ignition Gazebo中创建模拟的机器人环境。环境公开了通用的OpenAI Gym接口，使其与包含强化学习算法的第三方框架开箱即用。模拟可以在无头和GUI模式下执行，物理引擎可以在加速模式下运行，实例可以并行化。此外，Gym-Ignition软件架构提供了Robot和Task的抽象，使环境与特定的运行时无关。这种抽象允许它们在实际的机器人平台上实时执行，即使是由不同的中间件驱动。
2019-12-02 cs.DC cs.LG cs.RO
Q-learning with online random forests
Simon Fraser University（西蒙弗雷泽大学）
$Q$-学习是最基本的无模型强化学习算法。部署$Q$-学习需要状态-动作值函数（也称为$Q$-函数）的近似。在这项工作中，我们提供在线随机森林作为$Q$函数逼近器，并提出了一种新的方法，其中随机森林的增长作为学习的进行（通过扩大森林）。我们在两个OpenAI健身房（"二十一点"和"倒计时"）中展示了我们的方法在最先进的深度$Q$网络上的性能改进，但在"月球着陆器"健身房中没有。我们怀疑随机森林对过拟合的弹性建议我们的方法用于不需要问题域的强表示的常见任务。我们表明，扩大森林（其中树木的数量随着数据的增加而增加）可以提高性能，这表明扩大森林对于强化学习设置之外的在线随机森林的其他应用是可行的。
2022-04-07 cs.LG stat.ML
Deep Reinforcement Learning with Mixed Convolutional Network
Boston University（波士顿大学）
最近的研究表明，将单个前置摄像头的原始像素直接映射到转向命令的功能非常强大。本文提出了一种卷积神经网络（CNN），用于在OpenAI Gym中使用模仿学习播放CarRacing-v0。数据集是通过在Gym中手动玩游戏生成的，并使用数据增强方法将数据集扩展到以前的4倍。此外，我们读取每个图像的真实速度，四个ABS传感器，方向盘位置和陀螺仪，并通过结合传感器输入和图像输入设计了一个混合模型。经过训练，该模型可以自动检测道路特征的边界，并像人一样驱动机器人。通过使用CarRacing-v0中的平均奖励与AlexNet和VGG 16进行比较，我们的模型赢得了最大的整体系统性能。
2020-10-06 cs.CV cs.LG cs.RO
Solving Continuous Control with Episodic Memory
ITMO University（ITMO大学）
情景记忆让强化学习算法记住并利用过去有希望的经验来提高代理性能。以往的工作记忆机制的好处，使用episodic为基础的数据结构的离散行动问题的样本效率。情景记忆在大动作空间的连续控制中的应用并不简单。我们的研究旨在回答这样一个问题：情景记忆是否可以用来提高智能体在连续控制中的表现？我们提出的算法结合了情景记忆和Actor-Critic架构，通过修改评论家的目标。我们通过引入基于情节的重放缓冲区优先级来进一步提高性能。我们在OpenAI gym域上评估了我们的算法，并与最先进的无模型离线算法相比，显示出更高的样本效率。
2021-06-16 cs.LG
Deep Q-Network Based Multi-agent Reinforcement Learning with Binary Action Agents
University of Kashmir（克什米尔大学）
用于强化学习（RL）的基于深度Q网络（DQN）的多智能体系统（MAS）使用各种方案，其中智能体必须学习和通信。然而，学习是特定于每个代理和通信可以令人满意地设计的代理。随着更复杂的深度QNetworks脱颖而出，多智能体系统的整体复杂性增加，导致训练困难，需要更高的资源和更多的训练时间，微调困难等问题。为了解决这些问题，我们提出了一个简单但有效的基于DQN的MAS用于RL，它使用共享状态和奖励，但特定于代理的动作，用于更新DQN的经验重放池，其中每个代理是DQN。与传统的基于DQN的方法相比，该方法的优点是整体简单，收敛速度更快，性能更好。应该注意的是，该方法可以扩展到任何DQN。因此，我们分别在三个独立的任务上使用简单的DQN和DDQN（双Q学习），即Cartpole-v1（OpenAI Gym环境），LunarLander-v2（OpenAI Gym环境）和Maze Traffic（自定义环境）。所提出的方法在这些任务上分别以适当的幅度优于基线。
2020-08-06 cs.AI cs.LG cs.MA
Solving The Lunar Lander Problem under Uncertainty using Reinforcement Learning
Stanford University（斯坦福大学）
强化学习（RL）是机器学习的一个领域，它涉及使智能体能够在不确定的环境中导航，以最大化累积长期奖励的概念。在本文中，我们在OpenAI Gym的LunarLander-v2环境中实现并分析了两种不同的RL技术，Sarsa和Deep QLearning。然后，我们引入额外的不确定性，原来的问题，以测试所提到的技术的鲁棒性。使用我们最好的模型，我们能够在原始问题上使用Sarsa代理实现170+的平均奖励，使用Deep Q-Learning代理实现200+的平均奖励。我们还表明，这些技术能够克服额外的不确定性，并实现积极的平均奖励100+与两个代理。然后，我们对这两种技术进行了比较分析，以得出哪种代理表现更好。
2020-11-24 cs.LG
GAN Q-learning
McGill University（麦吉尔大学）
分布式强化学习（分布式RL）在非线性函数逼近的复杂马尔可夫决策过程（MDP）中取得了经验上的成功。然而，有许多不同的方法可以利用分布式方法来进行强化学习。在本文中，我们提出了GAN Q学习，这是一种基于生成对抗网络（GANs）的新型分布式RL方法，并分析了其在简单表格环境以及OpenAI Gym中的性能。我们的经验表明，我们的算法利用了深度学习模型的灵活性和黑盒方法，同时为传统方法提供了一种可行的替代方案。
2018-07-20 cs.LG stat.ML
System III: Learning with Domain Knowledge for Safety Constraints
Edinburgh Centre for Robotics（爱丁堡机器人中心）；University of Oxford（牛津大学）
本文提出 System III 框架，将安全领域知识表示为一阶逻辑约束并用 p-范数评估，从而在 Gym 与 Safety-Gym 任务中实现更安全探索和更高样本效率。
2023-04-23 cs.LG
A Dual Memory Structure for Efficient Use of Replay Memory in Deep Reinforcement Learning
KAIST（韩国科学技术院）
在本文中，我们提出了一个双重记忆结构的强化学习算法与重放记忆。双存储器由存储各种数据的主存储器和管理数据并有效训练强化学习代理的高速缓存存储器组成。实验结果表明，在OpenAI Gym的三个选定环境中，双记忆结构比传统的单记忆结构获得了更高的训练和测试成绩。这意味着双记忆结构比单记忆结构能够实现更好和更有效的训练。
2019-07-15 cs.LG stat.ML
Controlgym: Large-Scale Control Environments for Benchmarking Reinforcement Learning Algorithms
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mitsubishi Electric Research Laboratories（三菱电机研发实验室）
本文提出controlgym库，包含36个工业控制设置和10个基于无限维偏微分方程的控制问题，集成于Gym框架以支持标准强化学习算法，旨在评估算法在高维及无限维系统中的可扩展性、收敛性及鲁棒性。
2024-04-23 cs.AI cs.CE cs.LG
GEM: A Gym for Agentic LLMs
Sea AI Lab（海智实验室）；NUS（国立大学新加坡）；Oxford（牛津大学）；SMU（南卫理安大学）；Stanford（斯坦福大学）；Northeastern（东北大学）；OpenRLHF（开放强化学习基金会）；ROLL；RL2；absolute AI（绝对人工智能）
GEM是一个为代理LLM设计的开源训练环境，提供标准化接口、多样化环境和基准测试功能，用于促进基于经验的学习和强化学习算法的评估。
2026-03-01 cs.AI cs.CL cs.LG
A Multi-Agent Reinforcement Learning Testbed for Cognitive Radio Applications
Virginia Tech National Security Institute（弗吉尼亚理工大学国家安全研究所）；Morehouse College（莫尔豪斯学院）
针对现有RFRL Gym仅支持单智能体训练的局限，本文通过集成Ray RLlib为其添加MARL功能，使其能模拟多智能体协作/竞争的射频场景，成为更强大的无线通信RL算法测试平台。
2024-12-02 cs.AI cs.LG cs.MA
Balancing a CartPole System with Reinforcement Learning -- A Tutorial
Edge Hill University（边山大学）
在本文中，我们提供了实现各种强化学习（RL）算法来控制Cart-Pole系统的细节。特别是，我们描述了各种RL概念，如Q学习，深度Q网络（DQN），双DQN，决斗网络，（优先级）经验重放，并显示它们对学习性能的影响。在此过程中，读者将被介绍用于实现上述概念的OpenAI/Gym和Keras实用程序。据观察，具有PER的DQN在所有其他架构中提供最佳性能，能够在150集内解决问题。
2020-06-12 cs.LG cs.RO
Direct Mutation and Crossover in Genetic Algorithms Applied to Reinforcement Learning Tasks
University of Birmingham（伯明翰大学）；Technology Innovation Institute（技术创新研究院）
神经进化最近被证明在强化学习（RL）设置中具有相当的竞争力，并且能够减轻基于梯度的方法的一些缺点。本文将集中于应用神经进化，使用一个简单的遗传算法（GA），以找到一个神经网络，产生最佳行为代理的权重。此外，我们提出了两个新的修改，提高了数据效率和收敛速度相比，初始实现。这些修改在OpenAI gym提供的FrozenLake环境中进行了评估，并证明明显优于基线方法。
2022-01-19 cs.LG cs.NE
RAIL: A modular framework for Reinforcement-learning-based Adversarial Imitation Learning
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；US Army Research Laboratory（美国陆军研究实验室）；Sony AI（索尼人工智能）
虽然对抗性模仿学习（AIL）算法最近在各种模仿学习基准测试中取得了最先进的结果，但目前还不清楚各种设计决策对性能的影响。为此，我们在这里提出了一个有组织的，模块化的框架，称为强化学习为基础的对抗性模仿学习（RAIL），包括和概括现有的AIL方法的一个流行的子类。使用RAIL所支持的观点，我们创建了两个新的IfO（Imitation from Observation）算法，我们称之为SAIfO：基于SAC的对抗性模仿来自观察和SILEM（Skilling Feature Compensation for模仿学习with Embodiment Mismatch）。我们将在单独的技术报告中更深入地介绍SILEM。在本文中，我们专注于SAIfO，在OpenAI Gym的一系列运动任务上对其进行评估，并表明它优于执行IfO的同期RAIL算法。
2021-05-08 cs.LG
Unified Distributed Environment
Amazon Web Services（亚马逊云科技）
我们提出了统一分布式环境（UDE），一个环境虚拟化工具包的强化学习研究。UDE旨在集成在任何仿真平台上构建的环境，例如Gazebo，Unity，Unreal和OpenAI Gym。通过环境虚拟化，UDE可以卸载环境以便在远程机器上执行，同时仍然保持统一的接口。默认情况下，UDE接口设计为支持多代理。通过环境虚拟化及其接口设计，可以在多代理环境的多台机器中训练代理策略。此外，UDE还支持与现有主要RL工具包的集成，以便研究人员利用这些优势。本文讨论了UDE的组成部分及其设计决策。
2022-05-14 cs.AI cs.LG
Untangling Braids with Multi-agent Q-Learning
Department of Mathematical Sciences University of Essex（埃塞克斯大学数学科学系）；Department of Computer Science University of Liverpool（利物浦大学计算机科学系）
我们使用强化学习来解决解开辫子的问题。我们用2股和3股的辫子做实验。两个竞争的球员学习纠结和解开辫子。我们将编织解开问题与OpenAI Gym环境连接起来，这是一种广泛使用的将代理连接到强化学习问题的方法。结果提供了证据，我们对系统训练得越多，解开辫子的球员就越能解开辫子。同时，我们的缠结播放器产生了缠结的辫子的好例子。
2021-09-29 cs.AI cs.LG math.GT
Collaborative Deep Reinforcement Learning
Michigan State University（密歇根州立大学）；Rutgers University（罗格斯大学）
除了自主学习，人类的学习过程也得到了极大的改善，通过总结已经学到的东西，与同伴交流，然后融合来自不同来源的知识来帮助当前的学习目标。这种协作学习过程确保了知识的共享，不断完善，并从不同的角度进行总结，以构建更深刻的理解。知识转移的思想已经在机器学习和数据采掘方面取得了许多进展，但仍然存在重大挑战，特别是在强化学习、异构模型结构和不同学习任务方面。受人类协作学习的启发，在本文中，我们提出了一个协作深度强化学习（CDRL）框架，在异构学习代理之间进行自适应知识转移。具体而言，建议CDRL进行一种新的深度知识蒸馏方法，以解决不同的学习任务之间的异构性与深度对齐网络。此外，我们提出了一个有效的协作异步优势演员-评论家（cA 3C）算法，将深度知识蒸馏纳入代理的在线培训，并证明了CDRL框架的有效性使用OpenAI健身房广泛的经验评估。
2017-02-19 cs.LG
A Forensic Analysis of Synthetic Data in RL: Diagnosing and Solving Algorithmic Failures in Model-Based Policy Optimization
Department of Electrical and Computer Engineering（电气与计算机工程系）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Department of Aerospace Engineering and Engineering Mechanics（航空航天工程与工程力学系）
本文研究了基于模型的策略优化中合成数据导致性能下降的原因，提出FTFL方法修复算法故障，提升DMC任务性能并保持Gym表现。
2026-05-07 cs.LG
MARTI-4: new model of human brain, considering neocortex and basal ganglia -- learns to play Atari game by reinforcement learning on a single CPU
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
我们提出了深度控制-皮质-纹状体脑回路的新ML架构，它使用整个皮质柱作为结构元素，而不是单个神经元。在此基础上，我们提出了一种新的人脑模型MARTI，它考虑了新皮层和基底神经节。该模型是为了实现权宜行为而设计的，能够在未知的环境中学习和实现目标。我们引入了一种新的惊喜感机制，通过内部奖励显著改善了强化学习过程。我们使用OpenAI Gym环境在几个小时内在单个CPU上演示了MARTI学习。
2022-08-18 cs.AI cs.LG
Reinforcement Learning using Guided Observability
TU Darmstadt（达姆施塔特工业大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Aalto University（阿尔托大学）
由于最近的突破，强化学习（RL）在具有挑战性的顺序决策问题中表现出令人印象深刻的性能。然而，一个悬而未决的问题是如何使强化学习处理部分可观测性，这是在许多现实世界中的问题。与当代RL方法相反，主要集中在改进的记忆表示或关于部分可观测性类型的强假设上，我们提出了一种简单但有效的方法，可以与各种RL方法一起应用。我们的主要观点是，在训练过程中从完全可观测性平滑过渡到部分可观测性会产生高性能的策略。该方法被称为部分可观察引导强化学习（PO-GRL），允许在策略优化期间利用全部状态信息，而不会损害最终策略的最优性。在离散部分可观测马尔可夫决策过程（POMDP）基准问题和连续部分可观测MuJoCo和OpenAI gym任务中的综合评估表明，PO-GRL提高了性能。最后，我们证明了PO-GRL在一个真正的巴雷特WAM机器人的部分可观测性下的球在杯子中的任务。
2021-04-22 cs.LG
A Generalised Inverse Reinforcement Learning Framework
ANEO；Criteo AI Lab（科韬人工智能实验室）；CREST, ENSAE（法国国立统计与经济管理学院经济与统计研究中心）
逆强化学习（IRL）的总体目标是根据观测到的最优策略轨迹来估计某个MDP的未知代价函数。经典的方法包括调整这个成本函数，使相关的最佳轨迹（最小化累积折扣成本，即经典的RL损失）是“类似”的观察。以前的贡献集中在惩罚退化的解决方案和提高算法的可扩展性。非常正交的，他们，我们的问题的相关性的特征最优的累积贴现成本，因为它会导致一个隐含的偏见，对政策的混合时间较长。最先进的基于值的RL算法通过求解Bellman最优算子的不动点来规避这个问题，Bellman最优算子是一个更强的标准，对于逆问题没有很好的定义。为了减轻IRL中的这种偏差，我们引入了一种替代的训练损失，它对未来的状态赋予更多的权重，从而产生了（最大熵）IRL问题的重新表述。我们设计的算法在多个OpenAI健身房环境中表现出比现有算法更好的性能（和类似的易处理性）。
2021-05-25 cs.LG
HyperController: A Hyperparameter Controller for Fast and Stable Training of Reinforcement Learning Neural Networks
Department of Electrical and Systems Engineering, Washington University in St. Louis（电气与系统工程系，华盛顿大学圣路易斯分校）
提出HyperController算法，将超参数优化建模为线性高斯动态系统并利用Kalman滤波器学习目标函数，实现了强化学习神经网络快速稳定的训练与部署。
2025-04-27 cs.LG cs.SY eess.SY
PowerGym: A Reinforcement Learning Environment for Volt-Var Control in Power Distribution Systems
Princeton University（普林斯顿大学）；Iowa State University（爱荷华州立大学）；Siemens Technology（西门子科技）
我们介绍PowerGym，一个开源的强化学习环境，用于配电系统中的电压无功控制。遵循OpenAI Gym API，PowerGym的目标是在物理网络约束下最大限度地减少功率损耗和电压违规。PowerGym提供四种基于IEEE基准系统的分布式系统（13总线、34总线、123总线和8500节点），以及针对各种控制困难的设计变体。为了促进推广，PowerGym为使用其分发系统的用户提供了详细的定制指南。作为演示，我们研究了PowerGym中最先进的强化学习算法，并通过研究控制器行为来验证环境。存储库位于\url{https://github.com/siemens/powergym}。
2022-03-14 cs.AI cs.LG
Neurogenetic Programming Framework for Explainable Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；Philips Research Eindhoven（飞利浦埃因霍温研究院）
自动编程，即在没有人类开发人员的情况下生成符合规范的计算机程序的任务，通常通过基于程序突变和重组的遗传编程方法或通过神经语言模型来解决。我们提出了一种新的方法，结合了这两种方法使用的概念，一个虚拟的神经遗传程序员：使用进化方法作为替代梯度下降的神经网络训练}，或团队。我们展示了它为各种OpenAI Gym任务提供高性能和可解释的解决方案的能力，并将专家知识注入到其他数据驱动的解决方案搜索中。
2021-02-08 cs.AI cs.LG cs.NE
