Dragonfly: a modular deep reinforcement learning library
MINES Paristech(巴黎矿业学院);PSL - Research University(巴黎文理研究大学)
本文介绍模块化深度强化学习库Dragonfly,通过JSON序列化支持模块替换与参数扫描,并面向CPU密集型数值模拟环境,在常用基准上表现出具有竞争力的性能。
2025-07-28 cs.LG
Tianshou: a Highly Modularized Deep Reinforcement Learning Library
Tsinghua University(清华大学);Wandercraft;Ant Group(蚂蚁集团)
在本文中,我们介绍了Tianshou,这是一个高度模块化的Python库,用于深度强化学习(DRL),使用PyTorch作为后端。天寿打算通过提供灵活可靠的DRL算法基础设施来促进研究。它通过统一的界面支持20多种经典算法的在线和离线训练。为了方便相关研究和证明天寿的可靠性,我们发布了天寿的MuJoCo环境基准测试,涵盖了八种具有最先进性能的经典算法。我们在https://github.com/thu-ml/tianshou/上开源了天寿。
2022-08-10 cs.LG
Pearl: Parallel Evolutionary and Reinforcement Learning Library
Imperial College London(帝国理工学院)
强化学习越来越多地在问题可以表示为马尔可夫决策过程的领域中取得成功。事实证明,演化计算算法在该领域也取得了成功,表现出与通常更复杂的强化学习相似的性能。虽然存在许多开源的强化学习和演化计算库,但没有公开可用的库将这两种方法结合起来以增强比较,合作或可视化。为此,我们创建了Pearl(https://github.com/LondonNode/Pearl),这是一个开源Python库,旨在让研究人员快速方便地执行优化的强化学习、演化计算以及两者的组合。Pearl中的主要功能包括:模块化和可扩展组件、定制模块设置、Tensorboard集成、自定义回调和全面的可视化。
2022-01-24 cs.LG cs.NE
d3rlpy: An Offline Deep Reinforcement Learning Library
Keio University(庆应义塾大学);Sony AI(索尼AI)
在本文中,我们介绍了d3rlpy,一个开源的离线深度强化学习(RL)库。d3rlpy支持一组离线深度RL算法,以及通过完整文档的即插即用API的离线策略在线算法。为了解决可重复性问题,我们使用D4RL和Atari 2600数据集进行了大规模基准测试,以确保实现质量,并提供实验脚本和完整的结果表。d3rlpy源代码可以在GitHub上找到:\url{https://github.com/takuseno/d3rlpy}。
2022-12-03 cs.AI cs.LG
skrl: Modular and Flexible Library for Reinforcement Learning
Mondragon Unibertsitatea(蒙德拉贡大学);Aalborg University(奥尔堡大学)
skrl是一个用Python编写的用于强化学习的开源模块化库,其设计重点是算法实现的可读性,简单性和透明度。除了支持使用OpenAI Gym和DeepMind传统界面的环境外,它还提供加载、配置和操作NVIDIA Isaac Gym和NVIDIA Omniverse Isaac Gym环境的工具。此外,它还可以同时训练具有可定制范围(所有可用环境中的环境子集)的多个代理,这些代理可以在同一次运行中共享资源,也可以不共享资源。该库的文档可以在https://skrl.readthedocs.io上找到,其源代码可以在GitHub https://github.com/Toni-SM/skrl上找到。
2022-07-09 cs.AI cs.LG
Avalanche RL: a Continual Reinforcement Learning Library
University of Pisa(比萨大学)
持续强化学习(CRL)是一种具有挑战性的设置,在这种设置中,智能体学习与随时间不断变化的环境(经验流)进行交互。在本文中,我们描述了Avalanche RL,一个用于连续强化学习的库,它可以轻松地在连续的任务流上训练代理。Avalanche RL基于PyTorch,支持任何OpenAI Gym环境。它的设计基于Avalanche,这是一个比较流行的持续学习库,它允许我们重用大量的持续学习策略,并改善强化学习和持续学习研究人员之间的互动。此外,我们提出了连续的模拟实验室,一个新的基准和高层次的库,使使用的真实感模拟器模拟SIM的CRL研究。总体而言,Avalanche RL试图在一个通用框架下统一持续的强化学习应用,我们希望这将促进该领域的发展。
2022-03-24 cs.AI cs.CV cs.LG
RLtools: A Fast, Portable Deep Reinforcement Learning Library for Continuous Control
New York University(纽约大学);Technology Innovation Institute(技术创新研究院)
RLtools是一个无依赖、仅头文件的纯C++深度强化学习库,通过算法与仿真环境紧密集成实现比流行框架快76倍的训练速度,并首次在微控制器上直接训练深度RL算法,催生了TinyRL领域。
2024-11-19 cs.AI cs.LG cs.RO
Parametrized Deep Q-Networks Learning: Reinforcement Learning with Discrete-Continuous Hybrid Action Space
Tencent AI Lab(腾讯人工智能实验室);Princeton University(普林斯顿大学);Northwestern University(西北大学)
大多数现有的深度强化学习(DRL)框架只考虑离散动作空间或连续动作空间。受计算机游戏中应用的启发,我们考虑了离散-连续混合动作空间的场景。为了处理混合动作空间,以前的工作要么近似的混合空间离散化,或放松到一个连续的集合。在本文中,我们提出了一个参数化的深度Q网络(P-DQN)框架的混合行动空间没有近似或松弛。该算法结合了DQN(处理离散动作空间)和DDPG(处理连续动作空间)的思想,将它们无缝融合。仿真算例、RoboCup足球比赛进球和王者荣耀单人模式下的实验结果验证了该方法的有效性。
2018-10-10 cs.AI cs.LG stat.ML
Tonic: A Deep Reinforcement Learning Library for Fast Prototyping and Benchmarking
Imperial College London(伦敦帝国理工学院)
深度强化学习在过去几年中一直是机器学习发展最快的领域之一,许多库已经开源以支持研究。然而,大多数代码库具有陡峭的学习曲线或有限的灵活性,无法满足基础研究中快速原型的需求。本文介绍了Tonic,这是一个Python库,允许研究人员快速实现新想法并通过提供以下功能来衡量其重要性:1)通用可配置模块2)几个基线代理:使用这些模块构建的A2C、TRPO、PPO、MPO、DDPG、D4PG、TD3和SAC 3)支持TensorFlow 2和PyTorch 4)支持OpenAI Gym的连续控制环境,DeepMind Control Suite和PyBullet 5)脚本以可重复的方式进行实验,绘制结果,并与经过训练的代理一起玩6)提供的代理在70个连续控制任务上的基准。评估是在公平的条件下进行的,具有相同的种子,训练和测试循环,同时共享一般的改进,如非终端超时和观察归一化。最后,为了演示Tonic如何简化实验,实现并评估了一种名为TD4的新型代理。
2021-05-19 cs.LG
ChainerRL: A Deep Reinforcement Learning Library
Preferred Networks;The University of Tokyo(东京大学)
在本文中,我们介绍了ChainerRL,这是一个使用Python和Chainer深度学习框架构建的开源深度强化学习(DRL)库。ChainerRL实现了一套全面的DRL算法和技术,这些算法和技术来自该领域最先进的研究。为了促进可重复的研究,并出于教学目的,ChainerRL提供了与原始论文的实验设置密切相关的脚本,并为几种算法复制了已发布的基准测试结果。最后,ChainerRL提供了一个可视化工具,可以对经过训练的代理进行定性检查。ChainerRL源代码可以在GitHub上找到:https://github.com/chainer/chainerrl。
2021-04-12 cs.AI cs.LG stat.ML
OR-Gym: A Reinforcement Learning Library for Operations Research Problems
Carnegie Mellon University(卡内基梅隆大学)
强化学习(RL)已被广泛应用于游戏中,并在许多领域超过了最佳的人类水平的性能,但在工业或商业环境中的用例很少。我们介绍OR-Gym,这是一个用于开发强化学习算法以解决运筹学问题的开源库。在本文中,我们将强化学习应用到背包,多维装箱,多级供应链,多阶段资产配置模型问题,以及基准的RL解决方案对MILP和启发式模型。这些问题用于物流、金融、工程,并且在许多业务操作设置中很常见。我们开发环境的基础上,在文献中的原型模型,并实现各种优化和启发式模型,以基准的RL结果。通过将一系列经典的优化问题重新定义为RL任务,我们试图为运筹学社区提供一种新的工具,同时也为RL社区中的许多问题和挑战打开了大门。
2020-10-17 cs.AI cs.LG
EasyRL4Rec: An Easy-to-use Library for Reinforcement Learning Based Recommender Systems
Tsinghua University(清华大学);University of Science and Technology of China(中国科学技术大学);Zhejiang University(浙江大学);AIR, Tsinghua University(清华大学AIR)
EasyRL4Rec是一个专为基于强化学习的推荐系统设计的易用代码库,提供多样化环境、统一评估标准和定制化状态与动作设计,以解决框架缺失、评估不一致和复现困难等问题。
2024-05-24 cs.IR cs.LG
MARLeME: A Multi-Agent Reinforcement Learning Model Extraction Library
University of Cambridge(剑桥大学)
多智能体强化学习(MARL)包含了一类功能强大的方法,已被应用于广泛的领域。进一步增强这些方法的有效方法是开发可以扩展其可解释性和可解释性的库和工具。在这项工作中,我们介绍MARLeME:一个MARL模型提取库,旨在提高MARL系统的可解释性,通过近似它们与符号模型。符号模型提供了高度的可解释性、定义良好的属性和可验证的行为。因此,它们可以用于检查和更好地理解底层MARL系统和相应的MARL代理,以及替换所有/一些特别安全和安全关键的代理。
2020-04-16 cs.AI cs.LG stat.ML
XuanCe: A Comprehensive and Unified Deep Reinforcement Learning Library
Anhui University(安徽大学);Peng Cheng Laboratory(鹏城实验室);Southeast University(东南大学);Tongji University(同济大学);Tianjin University(天津大学)
XuanCe是一个兼容PyTorch、TensorFlow和MindSpore的全面统一深度强化学习库,提供超40种算法,支持多硬件与操作系统,在MuJoCo、Atari等基准上表现优异。
2023-12-25 cs.AI cs.DL cs.LG
Designing a skilled soccer team for RoboCup: exploring skill-set-primitives through reinforcement learning
LIACC/LASI/FEUP, Artificial Intelligence and Computer Science Laboratory, Faculty of Engineering, University of Porto(LIACC/LASI/FEUP,人工智能与计算机科学实验室,工程学院,波尔图大学);IEETA/LASI/DETI, Institute of Electronics and Informatics Engineering of Aveiro, Department of Electronics Telecommunications and Informatics, University of Aveiro(IEETA/LASI/DETI,埃维亚电子与信息工程研究所,电子电信与信息系,埃维亚大学)
本文介绍FC Portugal在RoboCup 3D仿真联赛中基于技能集原语和对称扩展PPO算法训练足球技能的方法,赢得2022和2023年冠军,并开源代码库。
2025-05-25 cs.RO
CORL: Research-oriented Deep Offline Reinforcement Learning Library
Tinkoff
CORL 是一个面向研究的深度离线强化学习开源库,通过单文件实现、实验跟踪和 D4RL 基准测试,为离线及离线到在线算法提供可靠、透明且易于分析的实现与评估工具。
2023-10-26 cs.AI cs.LG
SuperSuit: Simple Microwrappers for Reinforcement Learning Environments
University of Maryland, College Park(马里兰大学帕克分校)
在强化学习中,包装器普遍用于转换模型和环境之间传递的信息。尽管它们无处不在,但没有一个库能够合理地实现所有流行的预处理方法。这会导致不必要的bug、代码效率低下和浪费开发人员的时间。因此,我们引入了SuperSuit,一个包含所有流行包装器的Python库,以及可以轻松将lambda函数应用于观察/动作/奖励的包装器。它与标准的Gym环境规范以及多代理环境的PettingZoo规范兼容。这个库可以在https://github.com/PettingZoo-Team/SuperSuit上找到,并且可以通过pip安装。
2020-08-17 cs.AI cs.LG
Real-time Active Vision for a Humanoid Soccer Robot Using Deep Reinforcement Learning
Qazvin Azad University(加兹温伊斯兰阿扎德大学);University of Leeds(利兹大学)
在本文中,我们提出了一种主动视觉方法,使用深度强化学习方法的人形足球机器人。所提出的方法自适应优化的机器人的观点,以获得最有用的地标自我定位,同时保持球进入其观点。主动视觉对于具有有限视野的类人决策机器人至关重要。为了处理主动视觉问题,先前已经提出了几种基于概率熵的方法,这些方法高度依赖于自定位模型的准确性。然而,在这项研究中,我们将这个问题描述为一个情景强化学习问题,并采用深度Q学习方法来解决它。所提出的网络只需要相机的原始图像将机器人的头部移向最佳视点。该模型显示出非常有竞争力的80%的成功率,在实现最佳的观点。我们实现了所提出的方法在Webots模拟器中模拟的人形机器人。我们的评估和实验结果表明,所提出的方法优于基于熵的方法在RoboCup的上下文中,在高自我定位错误的情况下。
2020-11-27 cs.AI cs.CV cs.LG
SafeRL-Lite: A Lightweight, Explainable, and Constrained Reinforcement Learning Library
Vision Mentors Ltd.(愿景导师有限公司);School of Computer Science & AI, SR University(计算机科学与人工智能学院,SR大学);Department of Computer Science, MANIT(计算机科学系,MANIT);University of West London(西伦敦大学)
SafeRL-Lite是一个轻量级、可解释的强化学习库,通过约束执行和SHAP值解释,在CartPole上验证了安全与可解释性。
2025-06-17 cs.AI cs.LG
Neuro-Nav: A Library for Neurally-Plausible Reinforcement Learning
Araya Inc.(Araya公司);Princeton University(普林斯顿大学);Massachusetts Institute of Technology(麻省理工学院);University of Oregon(俄勒冈大学);Microsoft Research(微软研究院)
在这项工作中,我们提出了Neuro-Nav,一个开源的神经似然强化学习(RL)库。RL是研究生物有机体中决策、学习和导航的最常见的建模框架之一。在使用RL时,认知科学家经常手工制作环境和代理,以满足他们特定研究的需求。另一方面,人工智能研究人员往往很难找到神经和生物学上合理的表示和行为的基准(例如,在决策或导航中)。为了简化这两个领域的透明性和可重复性的过程,Neuro-Nav提供了一套标准化的环境和RL算法,这些算法来自啮齿动物和人类的典型行为和神经研究。我们证明了该工具包复制了认知科学和RL文献中许多研究的相关发现。我们还描述了可以使用新算法(包括深度RL)和环境扩展库的方法,以满足该领域未来的研究需求。
2022-06-06 cs.AI cs.LG cs.NE
RLLBC-Lib: An Educational Code Library for Reinforcement Learning and Learning-Based Control
Institute for Data Science in Mechanical Engineering (DSME)(机械工程数据科学研究所);RWTH Aachen University(亚琛工业大学)
RLLBC-Lib 是一个教育代码库,通过表格型与深度 RL 实现降低学习门槛,并支持自动评分作业。
2026-09-17 cs.AI cs.LG
VeRLPy: Python Library for Verification of Digital Designs with Reinforcement Learning
Indian Institute of Technology Madras(印度马德拉斯理工学院)
数字硬件通过在一系列随机生成的输入信号上将其行为与参考模型进行比较来验证。输入的随机生成希望实现对设计的不同部分的充分覆盖。然而,这种覆盖面往往难以实现,造成大量核查工作和拖延。另一种方法是使用强化学习(RL)来生成输入,通过学习对这些输入进行优先级排序,可以更有效地探索被测设计。在这项工作中,我们提出了VeRLPy一个开源库,允许RL驱动的验证与有限的额外工程开销。这促成了EDA社区内的两个广泛运动:(a)转向开源工具链,以及(b)通过Python支持减少开发障碍。我们还演示了使用VeRLPy的几个设计,并建立其值在随机生成的输入信号。
2021-08-09 cs.AR cs.LG cs.SE
Deep Multi-Agent Reinforcement Learning with Discrete-Continuous Hybrid Action Spaces
Tianjin University(天津大学);Fuxi AI Lab in Netease(网易伏羲人工智能实验室)
深度强化学习(Deep Reinforcement Learning,DRL)已被应用于解决具有离散动作空间或连续动作空间的各种协作多智能体问题。然而,据我们所知,没有以前的工作已经成功地应用DRL多智能体问题的离散连续混合(或参数化)的行动空间,这是非常常见的实践。我们的工作填补了这一空白,提出了两个新的算法:深度多智能体参数化Q网络(深度MAPQN)和深度多智能体层次混合Q网络(深度MAHHQN)。我们遵循集中式训练但分散式执行的范式:不同代理之间的不同级别的通信用于促进训练过程,而每个代理在执行过程中根据本地观察独立执行其策略。我们对几个具有挑战性的任务(模拟RoboCup足球和游戏Ghost Story)的实证结果表明,Deep MAPQN和Deep MAHHQN都是有效的,并且显著优于现有的独立深度参数化Q学习方法。
2019-03-12 cs.AI cs.LG cs.MA
RSL-RL: A Learning Library for Robotics Research
ETH Zürich(苏黎世联邦理工学院);NVIDIA(英伟达);Flexion Robotics(Flexion机器人)
RSL-RL 是一个专为机器人社区定制的开源强化学习库,提供紧凑易改的代码库、主流算法及辅助技术,针对 GPU 训练优化,并在仿真与真实实验中验证了其轻量、可扩展的实用性。
2025-09-13 cs.LG cs.RO
MARLlib: A Scalable and Efficient Multi-agent Reinforcement Learning Library
ReLER, AAII, University of Technology Sydney(悉尼科技大学);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);NetEase Fuxi AI Lab(网易伏羲人工智能实验室);MBZUAI(穆罕默德·本·扎耶德人工智能大学);School of Intelligent Systems Engineering, Sun Yat-sen University(中山大学智能工程学院);Shandong Artificial Intelligence Institute, Qilu University of Technology(齐鲁工业大学山东省人工智能研究院)
针对多智能体强化学习领域缺乏兼容高效开发库的问题,研究人员提出MARLlib库,通过标准化环境封装、智能体级算法实现和灵活策略映射三大机制解耦任务与算法,实现自动适配训练策略,且代码已开源。
2023-11-06 cs.AI cs.LG cs.MA
RoAd-RL: A Unified Library and Benchmark for Robust Adversarial Reinforcement Learning
Hightech-Agenda Bayern(巴伐利亚高科技议程)
提出RoAd-RL开源基准框架,统一策略、攻击、防御和鲁棒性指标,评估192种配置下DQN/PPO/SAC的鲁棒性,发现常用防御可能比攻击更有害。
2026-06-29 cs.AI cs.LG
PyCFRL: A Python library for counterfactually fair offline reinforcement learning via sequential data preprocessing
Department of Statistics, University of Michigan, USA(统计学系,密歇根大学);Department of Biostatistics, University of Michigan, USA(生物统计学系,密歇根大学);Department of Statistics, London School of Economics, UK(统计学系,伦敦经济学院);Department of Health Behavior and Health Equity, School of Public Health, University of Michigan, USA(健康行为与健康公平系,公共卫生学院,密歇根大学)
PyCFRL是一个Python库,通过新颖的数据预处理算法实现离线强化学习中的反事实公平,并提供策略评估工具,已在PyPI和GitHub上公开。
2025-10-08 cs.LG stat.ML
ElegantRL-Podracer: Scalable and Elastic Library for Cloud-Native Deep Reinforcement Learning
Columbia University(哥伦比亚大学);University of California, Berkeley(加州大学伯克利分校);Shenzhen Inst. of Advanced Tech.(深圳先进技术研究院);Northwestern University(西北大学);Bell labs(贝尔实验室);Amazon(亚马逊);IDEA Research(IDEA研究院)
深度强化学习(DRL)彻底改变了游戏和机器人控制等应用中的学习和驱动。数据汇集的成本,即,从主体-环境交互产生过渡,仍然是在复杂的现实世界问题中更广泛采用DRL的主要挑战。遵循云原生范例在GPU云平台上训练DRL代理是一种很有前途的解决方案。在本文中,我们提出了一个可扩展的弹性库ElegantRL-podracer,用于云原生深度强化学习,它有效地支持数百万GPU核心在多个级别上进行大规模并行训练。在高层次上,ElegantRL-podracer采用基于锦标赛的集成方案,在数百甚至数千个GPU上编排训练过程,调度排行榜和数百个pod的训练池之间的交互。在低级别上,每个pod通过在单个GPU中充分利用近7,000个GPU CUDA核心来并行模拟代理-环境交互。我们的ElegantRL-podracer库遵循容器化、微服务和MLOps的开发原则,具有高可扩展性、弹性和可访问性。使用NVIDIA DGX SuperPOD云,我们对运动和股票交易中的各种任务进行了广泛的实验,并表明ElegantRL-podracer的性能大大优于RLlib。我们的代码可以在GitHub上找到。
2022-04-04 cs.AI cs.DC cs.LG
FinRL: A Deep Reinforcement Learning Library for Automated Stock Trading in Quantitative Finance
Columbia University(哥伦比亚大学);AI4Finance LLC.(AI4Finance有限责任公司);Ion Media Networks(Ion媒体网络公司);Imperial College(帝国理工学院);New York University (Shanghai)(上海纽约大学)
由于深度强化学习(DRL)已被公认为量化金融中的有效方法,因此获得实践经验对初学者很有吸引力。然而,要训练一个实用的日间行车灯交易代理,决定在哪里交易,以什么价格,什么数量,涉及到容易出错和艰苦的开发和调试。在本文中,我们介绍了一个DRL库FinRL,方便初学者暴露自己的量化金融,并制定自己的股票交易策略。除了易于复制的教程外,FinRL库还允许用户简化自己的开发,并轻松与现有方案进行比较。在FinRL中,虚拟环境配置有股票市场数据集,交易代理使用神经网络进行训练,并通过交易表现进行广泛的回测分析。此外,它还包括重要的交易约束,如交易成本,市场流动性和投资者的风险厌恶程度。FinRL的特点是完整性,实践教程和可重复性,有利于初学者:(i)在多个级别的时间粒度,FinRL模拟各种股票市场的交易环境,包括纳斯达克100,道琼斯工业平均指数,标准普尔500,恒生指数,上证50指数和沪深300指数;(ii)FinRL以模块化结构的分层架构组织,提供微调的最先进的DRL算法(DQN,DDPG,PPO,SAC,A2 C,TD 3等),FinRL提供了常用的奖励函数和标准的评估基线,以减轻调试工作量并提高可重复性;(iii)具有高度可扩展性,FinRL保留了一套完整的用户导入接口。此外,我们还结合了三个应用程序演示,即单一股票交易,多个股票交易和投资组合分配。FinRL库将在Github上提供,…
2022-03-02 cs.LG q-fin.TR
Reinforcement Learning-Guided Retrieval with Soft Fusion for Robust Multimodal Imitation Learning under Missing Modalities
Bournemouth University(伯恩茅斯大学)
提出RL4IL方法,利用强化学习策略从训练库中检索最相关专家演示,并通过软交叉注意力融合生成动作,有效处理传感器缺失问题,在LIBERO基准上超越现有方法。
2026-06-16 cs.LG cs.RO
POPGym: Benchmarking Partially Observable Reinforcement Learning
强化学习(RL)的现实应用通常是部分可观察的,因此需要记忆。尽管如此,部分可观察性仍然在很大程度上被当代RL基准和库所忽视。我们介绍了部分可观察过程Gym(POPGym),这是一个由两部分组成的库,包含(1)15个部分可观察环境的不同集合,每个环境都有多个困难,以及(2)13个内存模型基线的实现-在单个RL库中最多。现有的部分可观察基准往往专注于3D视觉导航,这是计算昂贵,只有一种类型的POMDP。相比之下,POPGym环境是多样化的,产生更小的观察结果,使用更少的内存,并且通常在消费级GPU上训练两小时内收敛。我们在流行的RLlib框架之上实现了高级内存API和内存基线,为各种训练算法、探索策略和分布式训练范式提供了即插即用的兼容性。使用POPGym,我们执行了迄今为止最大的RL内存模型比较。POPGym可在https://github.com/proroklab/popgym上获得。
2023-03-03 cs.AI cs.LG cs.RO
WAX-ML: A Python library for machine learning and feedback loops on streaming data
Capital Fund Management(资本基金管理公司)
蜡是你放在冲浪板上防止滑倒的东西。这是一个必不可少的工具去冲浪.我们介绍了WAX-ML,一个面向研究的Python库,提供了设计强大的机器学习算法和流数据反馈循环的工具。它努力用专用于时间序列的工具来补充JAX。WAX-ML使基于JAX的程序易于使用,最终用户可以使用pandas和xarray进行数据操作。它提供了一种简单的机制来实现反馈循环,允许使用函数实现在线学习和强化学习算法,并使最终用户可以轻松地使用Gym库中的面向对象的强化学习框架进行集成。它在GitHub上以Apache开源许可证发布,网址为https://github.com/eserie/wax-ml。
2021-06-11 cs.CL cs.LG
Beacon, a lightweight deep reinforcement learning benchmark library for flow control
MINES Paristech(巴黎高等矿业学院);CEMEF;PSL - Research University(巴黎文理研究大学)
针对深度强化学习流动控制领域缺乏通用基准、结果难复现的问题,研究人员提出开源轻量级基准库Beacon,包含7个不同特性的1D/2D流动控制问题并提供参考方案,助力领域标准化发展。
2024-04-18 cs.LG cs.SY eess.SY
WeightBridge: An Efficient Weight Transfer Library for Reinforcement Learning
FAIR at Meta(Meta人工智能研究院);Harvard University(哈佛大学)
WeightBridge是一个高效灵活的权重传输库,通过自动提取布局对应关系并规划无冗余、负载均衡的传输,在多种RL配置下将GPU停顿时间平均减少高达42倍,并易于集成。
2026-09-23 cs.DC cs.LG cs.NI
PettingZoo: Gym for Multi-Agent Reinforcement Learning
本文介绍了PettingZoo库和伴随的Agent环境循环(AEC)游戏模型。PettingZoo是一个包含多种多代理环境的库,具有通用,优雅的Python API。PettingZoo的开发目标是加速多智能体强化学习(“MARL”)的研究,通过使工作更具可互换性,可访问性和可复制性,类似于OpenAI的Gym库为单智能体强化学习所做的工作。PettingZoo的API虽然继承了Gym的许多功能,但在MARL API中是独一无二的,因为它基于新颖的AEC游戏模型。我们认为,部分通过流行的MARL环境中的主要问题的案例研究,流行的游戏模型是穷人的概念模型的游戏中常用的MARL,因此可以促进混乱的错误,很难检测到,AEC游戏模型解决这些问题。
2021-10-26 cs.LG cs.MA stat.ML
Learning to Code: Coded Caching via Deep Reinforcement Learning
Intel Corporation(英特尔公司);University of Southern California(南加州大学)
我们考虑一个系统,包括一个文件库和一个网络与一个服务器和多个用户配备了高速缓存存储器。该系统分为两个阶段:预取阶段,用户从库中加载部分内容到缓存中;交付阶段,用户从库中请求文件,服务器需要将请求文件的未缓存部分发送给用户。针对用户缓存被任意加载的情况,提出了一种基于深度强化学习的算法,以最小化在交付阶段将请求内容交付给用户的延迟。仿真结果表明,我们提出的深度强化学习代理学习一个编码的交付策略发送请求给用户,这略优于国家的最先进的性能方面的交付延迟,同时大大降低了计算复杂性。
2019-12-09 cs.IT cs.LG math.IT
LibSignal: An Open Library for Traffic Signal Control
New Jersey Institute of Technology(新泽西理工学院);Xi’an Jiaotong University(西安交通大学)
本文提出开源库LibSignal,统一接口与评估指标,首次在相同数据集上跨SUMO和CityFlow公平比较多种最先进强化学习交通信号控制算法。
2023-11-29 cs.LG
Reinforcement Learning Optimization for Large-Scale Learning: An Efficient and User-Friendly Scaling Library
本文提出高效可扩展的 RL 训练库 ROLL,通过单控制器、并行策略、rollout 调度及自动设备映射等模块,兼顾大规模训练、灵活开发与快速实验。
2025-06-06 cs.DC cs.LG
Mava: a research library for distributed multi-agent reinforcement learning in JAX
InstaDeep(InstaDeep公司)
本研究推出基于JAX的纯代码多智能体强化学习研究库Mava,兼具易用性与可扩展性,速度较主流框架提升10-100倍,可大幅缩短实验周期,助力MARL领域的可靠研究。
2023-12-15 cs.LG cs.MA
MushroomRL: Simplifying Reinforcement Learning Research
TU Darmstadt(达姆施塔特工业大学);Politecnico di Milano(米兰理工大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
MushroomRL是一个开源Python库,旨在简化强化学习(RL)实验的实现和运行过程。与其他可用的库相比,MushroomRL的创建旨在提供一个全面而灵活的框架,以最大限度地减少实现和测试新RL方法的工作量。事实上,MushroomRL的架构是以内置的方式构建的,RL问题的每个组件都已经提供,大多数时候用户只能专注于实现自己的算法和实验。其结果是一个图书馆,RL研究人员可以显着受益于他们的作品的实证分析的关键阶段。MushroomRL稳定代码、教程和文档可以在https://github.com/MushroomRL/mushroom-rl上找到。
2020-01-09 cs.LG stat.ML
PufferLib: Making Reinforcement Learning Libraries and Environments Play Nice
针对强化学习中环境、模型与库不兼容的问题,PufferLib提供单行环境包装器与快速向量化功能,支持多类库适配从经典基准到复杂模拟器的数十种环境,且开源并配套完整资源。
2024-06-11 cs.AI cs.LG cs.MA
NVCell: Standard Cell Layout in Advanced Technology Nodes with Reinforcement Learning
NVIDIA(英伟达)
由于复杂的设计规则,在先进技术节点中的高质量标准单元布局自动化在当今的行业中仍然具有挑战性。在本文中,我们介绍了一个自动的标准单元布局生成器称为NVCell,可以生成相同的或更小的面积超过90%的单行单元在一个先进的技术节点上的工业标准单元库的布局。NVCell利用强化学习(RL)来修复布线过程中的设计规则违规并生成有效的布局。
2021-07-09 cs.LG
SoccerDiffusion: Toward Learning End-to-End Humanoid Robot Soccer from Gameplay Recordings
University of Hamburg(汉堡大学)
SoccerDiffusion提出基于Transformer扩散模型从RoboCup真实比赛录像中学习人形机器人足球端到端控制,并通过蒸馏实现单步实时推理,可复现行走、踢球和摔倒恢复等行为。
2025-07-03 cs.AI cs.LG cs.RO
SCOPE-RL: A Python Library for Offline Reinforcement Learning and Off-Policy Evaluation
Cornell University(康奈尔大学);Tokyo Institute of Technology(东京工业大学);negocia, Inc.(negocia公司);HAKUHODO Technologies Inc.(博报堂科技公司)
本研究推出开源Python库SCOPE-RL,整合离线强化学习与离策略评估功能,通过完整奖励分布估计、风险-收益权衡评估等特性提升OPE可靠性,搭配易用接口与文档助力相关研究与应用。
2024-03-11 cs.AI cs.LG
BricksRL: A Platform for Democratizing Robotics and Reinforcement Learning Research and Education with LEGO
Universitat Pompeu Fabra(庞培法布拉大学);PyTorch Team, Meta(Meta PyTorch团队);ICREA, Universitat Pompeu Fabra(ICREA、庞培法布拉大学)
本文提出BricksRL平台,通过将乐高机器人与TorchRL库对接,实现现实世界中自定义乐高机器人的创建、设计与训练,支持GPU强化学习训练,提供灵活经济的扩展方案,助力机器人学与强化学习研究教育民主化。
2024-12-02 cs.LG cs.RO
Is Per-Agent Policy Composition Safe? Rethinking Successor-Feature Transfer in Cooperative Multi-Agent Reinforcement Learning
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对多智能体强化学习中独立策略组合不安全的问题,提出MA-USFA分层方法,兼顾策略组合的安全性与灵活性,无需任务适配即可部署。
2026-08-13 cs.AI cs.LG cs.MA
BayesSimIG: Scalable Parameter Inference for Adaptive Domain Randomization with IsaacGym
Stanford University(斯坦福大学);NVIDIA(英伟达);University of Sydney(悉尼大学)
BayesSim是一种基于模拟参数的无似然推断的强化学习中域随机化的统计技术。本文概述了BayesSimIG:一个库,它提供了与最近发布的NVIDIA IsaacGym集成的BayesSim实现。这种组合允许通过端到端GPU加速进行大规模参数推断。推理和仿真都获得了GPU加速,支持运行超过10K的并行仿真环境,用于复杂的机器人任务,这些任务可能需要估计100多个仿真参数。BayesSimIG提供了与TensorBoard的集成,可以轻松地可视化高维后验的切片。该库以内置的模块化方式构建,以新颖的方式收集和处理来自并行IsaacGym环境的轨迹,从而支持研究实验。
2021-07-09 cs.LG cs.RO
Equivariant Ensembles and Regularization for Reinforcement Learning in Map-based Path Planning
TUM School of Engineering and Design, Technical University of Munich(慕尼黑工业大学工程与设计学院);University of California, Berkeley(加利福尼亚大学伯克利分校)
本文提出等变集成方法,无需专用网络组件即可构造等变策略和不变值函数,并引入正则化项,在基于地图的路径规划中提升了强化学习的样本效率和性能。
2024-08-25 cs.LG cs.RO
Learning to Get Up Across Morphologies: Zero-Shot Recovery with a Unified Humanoid Policy
University of Toronto(多伦多大学)
本文提出一种统一的人形政策,能够跨七种不同形态的机器人实现零样本跌倒恢复,通过CrossQ训练在未见形态上达到86%的转移率,消除了对特定形态训练的需求。
2025-12-13 cs.LG cs.RO
Approximation of Convex Envelope Using Reinforcement Learning
Indian Institute of Technology Bombay(印度理工学院孟买分校)
本文基于Oberman的随机控制表述,提出一种使用受控最优停止Q-learning变体的强化学习方案来逼近非凸函数的凸包络,并在标准测试问题上取得极具前景的结果。
2023-11-24 cs.LG cs.SY eess.SY
Explaining Reinforcement Learning Decisions in Self-adaptive Systems
针对强化学习策略透明度不足的问题,本文提出EARL库用于生成反事实解释,并在CitiBikes模拟中验证了其在实际自适应系统中的适用性。
2026-08-18 cs.AI cs.LG
Introduction to Quantum Reinforcement Learning: Theory and PennyLane-based Implementation
Korea University(高丽大学);Hallym University(翰林大学)
量子计算的出现使研究人员能够将量子电路应用于许多现有的研究。利用量子电路和量子微分编程技术,人们进行了许多研究,如\textit{Quantum Machine Learning}(QML)。特别是量子强化学习是检验量子机器学习可能性的一个很好的领域,大量的研究正在进行中。本研究将介绍使用变分量子电路的量子强化学习的概念,并通过实施和实验确认其可能性。我们将首先介绍量子强化学习的背景知识和工作原理,然后使用PennyLane库指导实现方法。我们还将讨论量子强化学习的力量和可能性,从通过这项工作获得的实验结果。
2021-08-16 cs.LG
Safety-Gymnasium: A Unified Safe Reinforcement Learning Benchmark
Institute for AI, Peking University(北京大学人工智能研究院);Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院)
针对AI系统部署的安全隐患及SafeRL落地需求,本文提出统一基准Safety-Gymnasium,覆盖多场景安全任务与多输入形式,并配套含16种前沿算法的SafePO库,以推动SafeRL的评估对比与实际应用发展。
2024-10-06 cs.AI cs.LG
CytonRL: an Efficient Reinforcement Learning Open-source Toolkit Implemented in C++
National Institute of Information and Communications Technology(日本信息通信研究机构)
本文介绍了一个名为CytonRL的开源执法学习工具包(https://github.com/arthurxlw/cytonRL)。该工具包使用C++和NVIDIA的GPU加速库从头开始实现了四种最新的高级深度Q-学习算法。代码简单而优雅,这要归功于一个名为CytonLib的开源通用神经网络库。基准测试表明,该工具包在流行的Atari游戏Breakout上实现了具有竞争力的性能。
2018-04-14 cs.AI cs.LG stat.ML