Unsupervised Reinforcement Learning in Multiple Environments
Politecnico di Milano(米兰理工大学)
最近的几项工作致力于在单一环境中进行无监督强化学习,其中首先使用无监督交互对策略进行预训练,然后针对同一环境中定义的多个下游监督任务进行微调。沿着这条线,我们解决了一类多环境中的无监督强化学习问题,其中策略是通过整个类的交互进行预训练的,然后在该类的任何环境中针对多个任务进行微调。值得注意的是,这个问题本质上是多目标的,因为我们可以以多种方式在环境之间权衡预训练目标。在这项工作中,我们培养了一种探索策略,这种策略对类内最不利的情况很敏感。因此,我们投探索问题的最大化的平均值的一个临界百分位数的状态访问熵引起的探索策略在类的环境。然后,我们提出了一个策略梯度算法,$α$ MEPOL,通过介导的类的相互作用来优化引入的目标。最后,我们实证证明了该算法在学习中探索具有挑战性的连续环境类的能力,我们表明,强化学习大大受益于预先训练的探索策略w.r.t.从零开始学习
2021-12-16 cs.LG
Safe Continual Reinforcement Learning under Nonstationarity via Adaptive Safety Constraints
McMaster Centre for Software Certification(麦斯特软件认证中心);Department of Computing and Software(计算与软件系);McMaster University(麦斯特大学)
本文提出了一种结合三种自适应安全机制的框架,用于在非平稳环境下实现安全的持续强化学习,通过自适应约束机制减少分布偏移下的安全违规,同时保持任务性能。
2026-05-13 cs.LG
Deep Reinforcement Learning Boosted by External Knowledge
National Institute of Informatics(国立信息学研究所)
深度强化学习的最新改进已经允许解决许多2D领域的问题,例如Atari游戏。然而,在复杂的3D环境中,需要大量的学习片段,这可能太耗时甚至不可能,特别是在现实世界的场景中。我们提出了一个新的架构,结合外部知识和深度强化学习只使用视觉输入。我们的系统的一个关键概念是通过添加环境特征信息和结合两个决策源来增强图像输入。我们评估我们的方法在3D部分可观察的环境中从微软马尔默平台的性能。实验评估显示出更高的性能和更快的学习相比,一个单一的强化学习模型。
2017-12-12 cs.LG
Reinforcement Learning for Machine Learning Model Deployment: Evaluating Multi-Armed Bandits in ML Ops Environments
Aimpoint Digital Labs(安点数字实验室)
本研究探索用多臂老虎机算法动态管理ML模型部署,在真实数据集上验证其性能优于或持平传统方法,提升自动化并降低部署后故障风险。
2025-03-28 cs.LG
Gym-preCICE: Reinforcement Learning Environments for Active Flow Control
Heriot-Watt University(赫瑞-瓦特大学)
本研究提出兼容Gymnasium API的Python适配器Gym-preCICE,借助preCICE耦合库实现控制器与AFC仿真环境的信息交互,支撑AFC场景下强化学习环境的搭建与算法应用。
2023-05-03 cs.LG
Environments for Lifelong Reinforcement Learning
Mila(米拉研究所);McGill University(麦吉尔大学);Université de Montréal(蒙特利尔大学)
为了实现通用人工智能,强化学习(RL)代理不仅要学习优化特定任务的回报,还要不断构建更复杂的技能,并构建他们对世界的知识,而不会忘记已经学到的东西。在本文中,我们讨论了所需的特征的环境,可以支持终身强化学习代理的培训和评估,审查现有的环境,从这个角度来看,并提出建议,在未来设计合适的环境。
2018-12-06 cs.AI cs.LG
Storehouse: a Reinforcement Learning Environment for Optimizing Warehouse Management
Vicomtech(维康科技);Politecnico di Milano(米兰理工大学)
由于新的数据智能技术,仓库管理系统一直在发展和改进。然而,当前的许多优化都已应用于特定情况或非常需要手动交互。这就是强化学习技术发挥作用的地方,为当前的优化策略提供自动化和适应性。在本文中,我们提出了Storehouse,一个可定制的环境,概括了强化学习的仓库模拟的定义。我们还验证了这种环境对国家的最先进的强化学习算法,并比较这些结果与人类和随机的政策。
2022-07-21 cs.AI cs.LG
APES: a Python toolbox for simulating reinforcement learning environments
University of Tartu(塔尔图大学)
在神经网络的帮助下,强化学习代理已经能够解决越来越复杂的任务。在任何强化学习问题中,代理交互的模拟环境都是必不可少的组成部分。环境模拟了智能体世界的动态,因此在状态观察和外部奖励方面为他们的行为提供反馈。为了简化这种环境的设计和模拟,这项工作引入了$\texttt{APES}$,这是一个高度可定制的Python开源包,用于为强化学习问题创建2D网格世界环境。$\texttt{APES}$为智能体配备了模拟任何视野的算法,它允许根据用户定义的规则创建和定位物品和奖励,并支持多个智能体的交互。
2018-08-31 cs.LG stat.ML
The PlayStation Reinforcement Learning Environment (PSXLE)
University of Cambridge(剑桥大学)
我们提出了一个新的基准测试环境,用于评估强化学习(RL)算法:PlayStation学习环境(PSXLE),一个经过修改的PlayStation模拟器,可以暴露一个简单的控制API,从而实现丰富的游戏状态表示。我们认为,PlayStation作为一个合适的进展代理评估,并提出了这样的评估框架。我们为PlayStation游戏构建了一个支持OpenAI Gym接口的动作驱动抽象,并通过运行OpenAI Baselines演示了它的使用。
2019-12-12 cs.AI cs.LG
Safe Continual Reinforcement Learning Methods for Nonstationary Environments. Towards a Survey of the State of the Art
McMaster Centre for Software Certification(麦克斯特软件认证中心);Department of Computing and Software(计算与软件系);McMaster University(麦克斯特大学)
本文综述了非平稳环境下安全持续强化学习的最新方法,探讨了理论挑战和未来发展方向。
2026-01-08 cs.AI cs.LG
Google Research Football: A Novel Reinforcement Learning Environment
Google Research(谷歌研究院);Jagiellonian University(雅盖隆大学)
强化学习领域的最新进展已经通过虚拟学习环境(如视频游戏)加速,其中新的算法和想法可以以安全和可再现的方式快速测试。我们介绍了Google Research Football Environment,这是一个新的强化学习环境,在这个环境中,智能体被训练在一个先进的、基于物理的3D模拟器中踢足球。由此产生的环境具有挑战性,易于使用和自定义,并且可以在宽松的开源许可证下使用。此外,它还支持多人和多智能体实验。我们提出了三个不同难度的足球基准和报告基线结果的三个常用的强化算法(IMPALA,PPO和Ape-X DQN)的完整游戏场景。我们还提供了一套更简单的方案与足球学院,并展示了几个有前途的研究方向。
2020-04-14 cs.LG stat.ML
Toybox: A Suite of Environments for Experimental Evaluation of Deep Reinforcement Learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Smith College(史密斯学院)
深度强化学习(RL)的评估具有内在的挑战性。特别是,学习的策略在很大程度上是不透明的,并且关于深度RL代理行为的假设很难在黑箱环境中进行测试。相当大的努力已经进入解决不透明性,但几乎没有努力一直致力于生产高品质的环境,实验评估代理的行为。我们介绍了TOYBOX,这是一个新的高性能,开源 * Atari环境子集,重新设计用于深度RL的实验评估。我们表明,TOYBOX使广泛的实验和分析,是不可能在其他环境中。*https:kdl-umass.github.io/Toybox/
2019-05-07 cs.LG stat.ML
Environment Design for Inverse Reinforcement Learning
The Alan Turing Institute(图灵研究所);Université de Neuchâtel(纳沙泰尔大学)
针对逆强化学习样本效率低、难适应环境动力学微小变化的问题,提出自适应环境设计框架,通过学习者主动选择环境与专家交互,在精确和近似推理下均提升了样本效率与鲁棒性。
2024-05-14 cs.AI cs.LG
SuperSuit: Simple Microwrappers for Reinforcement Learning Environments
University of Maryland, College Park(马里兰大学帕克分校)
在强化学习中,包装器普遍用于转换模型和环境之间传递的信息。尽管它们无处不在,但没有一个库能够合理地实现所有流行的预处理方法。这会导致不必要的bug、代码效率低下和浪费开发人员的时间。因此,我们引入了SuperSuit,一个包含所有流行包装器的Python库,以及可以轻松将lambda函数应用于观察/动作/奖励的包装器。它与标准的Gym环境规范以及多代理环境的PettingZoo规范兼容。这个库可以在https://github.com/PettingZoo-Team/SuperSuit上找到,并且可以通过pip安装。
2020-08-17 cs.AI cs.LG
A Reinforcement Learning Environment for Mathematical Reasoning via Program Synthesis
Cash App Labs(Cash App实验室);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们将DeepMind数学数据集转换为强化学习环境,将其解释为程序合成问题。在环境中采取的每个动作都将运算符或输入添加到离散计算图中。计算正确答案的图产生正奖励,从而能够优化策略以构建以问题语句为条件的计算图。基线模型使用Double DQN在各种问题类型的子集上进行训练,展示了学习正确构建图形的能力,尽管存在组合爆炸和噪声奖励的挑战。
2021-07-16 cs.AI cs.LG
Federated Reinforcement Learning with Environment Heterogeneity
Peking University(北京大学);Xiaohongshu Inc.(小红书公司)
我们研究了一个联邦强化学习(FedRL)问题,其中$n$代理协作学习单个策略,而不共享他们在代理-环境交互过程中收集的轨迹。我们强调了环境异构性的约束,这意味着这些$n$代理所对应的$n$环境具有不同的状态转换。为了获得在所有环境中优化整体性能的价值函数或策略函数,我们提出了两个联邦RL算法,\texttt{QAvg}和\texttt{PAvg}。我们从理论上证明,这些算法收敛到次优的解决方案,而这种次优性取决于如何异构这些$n$环境。此外,我们提出了一个启发式,实现个性化的$n$环境嵌入到$n$向量。个性化启发式不仅改进了训练,而且还允许更好地推广到新环境。
2022-04-06 cs.LG stat.ML
PowerGym: A Reinforcement Learning Environment for Volt-Var Control in Power Distribution Systems
Princeton University(普林斯顿大学);Iowa State University(爱荷华州立大学);Siemens Technology(西门子科技)
我们介绍PowerGym,一个开源的强化学习环境,用于配电系统中的电压无功控制。遵循OpenAI Gym API,PowerGym的目标是在物理网络约束下最大限度地减少功率损耗和电压违规。PowerGym提供四种基于IEEE基准系统的分布式系统(13总线、34总线、123总线和8500节点),以及针对各种控制困难的设计变体。为了促进推广,PowerGym为使用其分发系统的用户提供了详细的定制指南。作为演示,我们研究了PowerGym中最先进的强化学习算法,并通过研究控制器行为来验证环境。存储库位于\url{https://github.com/siemens/powergym}。
2022-03-14 cs.AI cs.LG
Reinforcement Learning for Learning of Dynamical Systems in Uncertain Environment: a Tutorial
Tarbiat Modares University(塔比亚特·莫达雷斯大学);Hamedan University of Technology(哈马丹工业大学)
本文综述了不确定环境下动态系统学习的无模型强化学习。为此,将回顾马尔可夫决策过程(MDP)。此外,本文还对无模型学习算法中的时间差分学习、Q学习和近似Q学习等学习算法进行了研究,并对各种学习算法的优缺点进行了讨论。每一节中讨论的概念都是用细节和例子来解释的。
2019-05-19 cs.AI cs.LG
Towards Robust Deep Reinforcement Learning against Environmental State Perturbation
Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学)
本文形式化 DRL 的环境状态扰动问题,提出无目标校准攻击与 BAT 防御框架,并通过实验证明其可显著提升智能体在多种场景下的鲁棒性。
2025-06-10 cs.AI cs.LG
An ocular biomechanics environment for reinforcement learning
Deakin University(迪肯大学);Institute for Intelligent Systems Research and Innovation (IISRI)(智能系统研究与创新研究所(IISRI))
强化学习已通过基于生理学的生物力学模型应用于人类运动,以增加对这些运动的神经控制的见解;它在假肢和机器人的设计中也很有用。在本文中,我们将强化学习的使用扩展到控制眼睛生物力学系统来执行扫视,这是最快的眼球运动系统之一。我们描述了一个眼睛的环境和代理使用深度确定性策略梯度方法进行扫视训练。代理能够匹配期望的眼睛位置,平均偏斜角为3:5+/-1:25度。提出的框架是使用深度强化学习的能力来增强我们对眼部生物力学的理解的第一步。
2020-08-12 cs.AI cs.LG
CaiRL: A High-Performance Reinforcement Learning Environment Toolkit
University of Agder(阿格德大学)
本文解决了迫切需要一个平台,有效地提供了一个框架运行强化学习(RL)的实验。我们提出了CaiRL环境工具包作为一个有效的,兼容的,更可持续的替代训练学习代理,并提出了方法来开发更有效的环境模拟。人们越来越关注发展可持续的人工智能。然而,很少有人努力提高运行环境模拟的效率。最受欢迎的强化学习开发工具包OpenAI Gym是使用Python构建的,Python是一种功能强大但速度较慢的程序设计语言。我们提出了一个用C++编写的工具包,具有相同的灵活性,但工作速度要快几个数量级,以弥补Python的低效率。这将大大减少气候排放。CaiRL还提供了第一个强化学习工具包,该工具包具有内置的JVM和Flash支持,用于运行传统的Flash游戏,以进行强化学习研究。我们在经典的控制基准测试中展示了CaiRL的有效性,并将其执行速度与OpenAI Gym进行了比较。此外,我们还说明了CaiRL可以作为OpenAI Gym的直接替代品,因为减少了环境计算时间,可以利用更快的训练速度。
2022-10-03 cs.AI cs.LG
Dex: Incremental Learning for Complex Environments in Deep Reinforcement Learning
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
本文介绍了Dex,一个强化学习环境工具包,专门用于训练和评估持续学习方法以及一般的强化学习问题。我们还提出了一种新的增量学习的持续学习方法,其中使用从第一次解决类似的更容易的环境中学习到的最佳权重初始化来解决具有挑战性的环境。我们表明,增量学习可以产生比标准方法优越得多的结果,通过在十个Dex环境中提供一个强大的基线方法。最后,我们开发了一种显着性方法来定性分析强化学习,它显示了增量学习对网络注意力的影响。
2017-06-19 cs.AI cs.LG stat.ML
From Thermal Preference Prediction to Adaptive Thermal Intervention: A Reinforcement Learning Approach Using Physiological and Environmental Sensing
Nottingham Trent University(诺丁汉特伦特大学);York University(约克大学)
针对传统HVAC系统无法捕捉个体生理变异性的问题,提出整合多模态感知与强化学习的两阶段个性化热舒适方法,助力开发更响应的建筑控制策略。
2026-08-24 cs.AI cs.LG
Power and accountability in reinforcement learning applications to environmental policy
University of California Berkeley(加州大学伯克利分校);Tufts University(塔夫茨大学)
机器学习(ML)方法已经渗透到环境决策中,从处理地球系统的高维数据到监测环境法规的遵守情况。ML技术可用于解决紧迫的环境问题(例如,气候变化,生物多样性丧失),强化学习(RL)可能既有最大的希望,也有最紧迫的危险。本文探讨了RL驱动的政策如何折射现有的权力关系在环境领域,同时也创造了独特的挑战,以确保公平和负责任的环境决策过程。我们利用RL应用到气候变化减缓和渔业管理的例子,探讨RL技术如何改变资源使用者,管理机构和私营企业之间的权力分配。
2022-05-22 cs.CY cs.LG
The Dreaming Variational Autoencoder for Reinforcement Learning Environments
University of Agder(阿格德尔大学)
强化学习在仅使用单个神经网络进行价值优化来概括原始感觉数据方面显示出巨大的潜力。在当前最先进的强化学习算法中存在几个挑战,这些挑战阻止它们收敛到全局最优值。这些问题的解决方案可能在于强化学习算法的短期和长期规划、探索和存储管理。游戏通常用于对强化学习算法进行基准测试,因为它们提供了一个灵活、可重复且易于控制的环境。无论如何,很少有游戏具有状态空间,其中探索,记忆和规划的结果很容易被感知。本文提出了梦想的变分自编码器(DVAE),一个神经网络为基础的生成式建模架构,探索在环境中的稀疏反馈。我们进一步提出了深度迷宫,一种新颖而灵活的迷宫引擎,挑战DVAE在部分和完全可观察的状态空间,长期任务,以及确定性和随机性问题。我们展示了初步的发现,并鼓励在生成探索驱动的强化学习方面开展进一步的工作。
2018-10-02 cs.AI cs.LG
Demonstration-efficient Inverse Reinforcement Learning in Procedurally Generated Environments
Università degli Studi di Firenze(佛罗伦萨大学);University of Cambridge(剑桥大学)
深度强化学习在可以手动设计奖励函数的领域中取得了非常好的效果。与此同时,社区内越来越有兴趣使用基于程序内容生成(PCG)的游戏作为基准环境,因为这种类型的环境非常适合研究域转移下代理的过拟合和泛化。相反,反向强化学习(IRL)可以从专家演示中推断出奖励函数,即使在高维问题上也有很好的结果,但是没有将这些技术应用于过程生成环境的例子。这主要是由于找到一个好的奖励模型所需的演示数量。我们提出了一种基于对抗逆强化学习的技术,可以显着减少PCG游戏中对专家演示的需求。通过使用一组有限的初始种子水平的环境,加上一些修改来稳定训练,我们证明了我们的方法DE-AIRL是演示有效的,并且仍然能够外推推广到全过程域的奖励函数。我们证明了我们的技术在两个程序环境,MiniGrid和DeepCrawl,各种任务的有效性。
2020-12-04 cs.AI cs.LG
Improving Robustness of Deep Reinforcement Learning Agents: Environment Attack based on the Critic Network
IRT SystemX(IRT SystemX 研究所);ISIR(智能系统与机器人研究所);Sorbonne University(索邦大学)
为了提高深度强化学习代理的策略鲁棒性,最近的一系列工作集中在产生环境干扰上。文献中产生有意义的环境扰动的现有方法是对抗性强化学习方法。这些方法将问题设置为主角代理和对手代理之间的双人游戏,主角代理学习在环境中执行任务,对手代理学习通过修改所考虑的环境来干扰主角。主角和对手都是用深度强化学习算法训练的。或者,我们在本文中建议建立基于梯度的对抗攻击,通常用于分类任务,例如,我们应用于主角的评论家网络,以识别环境的有效干扰。而不是学习攻击者的策略,这通常表现为非常复杂和不稳定,我们利用主角的批评网络的知识,在学习过程的每一步动态地复杂化任务。我们表明,我们的方法,而更快,更轻,导致显着更好的改善政策的鲁棒性比现有的方法的文献。
2022-10-03 cs.AI cs.LG
Continual Reinforcement Learning via Autoencoder-Driven Task and New Environment Recognition
École Polytechnique Fédérale de Lausanne(瑞士联邦理工学院)
针对无外部变化信号的持续强化学习问题,提出融合策略优化与熟悉度自动编码器的端到端系统,以识别新任务和环境并选择性复用旧知识。
2025-05-13 cs.AI cs.LG
Achieving Stable Training of Reinforcement Learning Agents in Bimodal Environments through Batch Learning
Arca Blanca Ltd.(阿尔卡布兰卡有限公司);Artefact Research Centre(阿特法克特研究中心)
本文针对双峰随机环境下的强化学习挑战,提出一种基于批量更新的表格Q学习方法,并在定价模拟中验证其比传统方法更有效且更具鲁棒性。
2023-07-03 cs.AI cs.LG
Reinforcement Learning for Pollution Detection in a Randomized, Sparse and Nonstationary Environment with an Autonomous Underwater Vehicle
University of Oslo(奥斯陆大学);Norwegian Defence Research Establishment(挪威国防研究机构)
强化学习(RL)算法旨在通过学习最大化奖励的行为来优化问题解决,这是一项在随机和非平稳环境中特别具有挑战性的任务。即使是先进的强化学习算法在这些条件下解决问题的能力也往往有限。在使用自主水下航行器(AUV)搜索水下污染云等应用中,RL算法必须在奖励稀疏的环境中导航,其中行动经常导致零奖励。本文旨在通过重新审视和修改经典的强化学习方法来应对这些挑战,以便在稀疏、随机和非平稳环境中有效地运行。我们系统地研究了大量的修改,包括分层算法的变化,多目标学习,并集成的位置存储器作为外部输出过滤器,以防止状态重访。我们的研究结果表明,修改后的蒙特卡洛方法显着优于传统的Q学习和两个穷举搜索模式,说明其在适应RL复杂环境的潜力。这些发现表明,强化学习方法可以有效地适应随机,非平稳和奖励稀疏的环境中使用。
2025-10-30 cs.AI cs.LG
Extending Environments To Measure Self-Reflection In Reinforcement Learning
The U.S. Securities and Exchange Commission(美国证券交易委员会);InQTel(InQTel公司)
该研究提出可模拟智能体假设行为的扩展强化学习环境,以智能体在这类环境的加权平均性能衡量其自我反思能力,还给出环境示例及能提升部分标准RL智能体在特定扩展环境中性能的简单变换方法。
2022-07-19 cs.AI cs.LG
Deep Reinforcement Learning for High Level Character Control
Instituto Nacional de Matemática Pura e Aplicada(国家纯数学与应用数学研究所)
在本文中,我们提出了使用传统的动画,启发式行为和强化学习在创造智能字符的计算媒体。传统的动画和启发式方法对行为进行艺术控制,而强化学习则增加了泛化。所呈现的用例是一个在3D环境中具有高级控制器的狗角色,该环境是围绕要学习的期望行为(例如获取物品)构建的。由于环境的发展是学习的关键,进一步分析了如何建立这些学习环境,环境和代理模型的选择,训练过程和学习行为的泛化的影响进行。这种分析建立了对上述因素的洞察力,并可作为一般环境发展的指导。
2020-05-20 cs.LG stat.ML
Probabilistic inverse reinforcement learning in unknown environments
EPAC(阿波美-卡拉维高等应用科学与技术学院);EPFL(洛桑联邦理工学院)
我们考虑的问题,学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好,以构建改进的政策,代理试图解决相同的任务。为了做到这一点,我们扩展了以前的概率方法,在已知的MDP的情况下,未知的动态或对手的逆强化学习。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理,我们使用最大后验估计,而不是完整的贝叶斯推断。在平坦先验下,这导致凸优化问题。我们发现,由此产生的算法是非常有竞争力的各种其他方法的逆强化学习,有知识的动态。
2013-07-14 cs.LG stat.ML
Adversary agent reinforcement learning for pursuit-evasion
College of Engineering, Peking University(北京大学工学院);State Key Laboratory of Turbulence and Complex Systems(湍流与复杂系统国家重点实验室);The Hong Kong University of Science and Technology(香港科技大学)
提出了一种基于对手智能体的强化学习环境,用于战争迷雾环境下的追逃博弈,具有重要的科学意义和实际应用价值.最流行的学习环境之一,星际争霸,在这里采用和相关的小游戏进行分析,以确定目前的限制,训练对手的代理。的主要贡献包括分析的潜在性能的代理,将控制和微分博弈理论到特定的强化学习环境,并通过扩展当前的星际争霸迷你游戏的对手代理挑战(SAAC)环境的发展。随后的研究展示了使用这种学习环境和有效性的对手代理规避单位。总的来说,拟议的SAAC环境应该有利于追捕逃避研究与快速出现的强化学习技术。最后但同样重要的是,可以在GitHub上找到相应的教程代码。
2021-08-25 cs.AI cs.LG
A Reinforcement Learning Environment for Multi-Service UAV-enabled Wireless Systems
Sapienza Univ. of Rome(罗马大学)
我们为自主无人机设计了一个多用途环境,在各种应用环境中提供不同的通信服务(例如,无线移动连接服务、边缘计算、数据收集)。我们基于OpenAI Gym框架开发环境,以模拟真实操作环境的不同特征,并采用强化学习生成策略,以最大化某些期望的性能。将生成的策略的质量与简单的基线进行比较,以评估系统并得出在不同用例中采用该技术的指导方针。本文的主要贡献是一个灵活且可扩展的OpenAI Gym环境,它允许在多服务应用中为自主多无人机系统生成,评估和比较策略。这种环境允许在各种应用环境中对不同方法进行比较评估和基准测试。
2021-05-11 cs.LG cs.MA
Learning to Fly -- a Gym Environment with PyBullet Physics for Reinforcement Learning of Multi-agent Quadcopter Control
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);University of Cambridge(剑桥大学)
机器人模拟器对于学术研究和教育以及安全关键应用的开发至关重要。强化学习环境--简单的模拟加上奖励函数形式的问题规范--对于标准化学习算法的开发(和基准测试)也很重要。然而,全尺寸模拟器通常缺乏可移植性和并行性。反之亦然,许多强化学习环境在玩具般的问题中权衡现实主义和高样本吞吐量。虽然公共数据集极大地受益于深度学习和计算机视觉,但我们仍然缺乏软件工具来同时开发-并公平地比较-控制理论和强化学习方法。在本文中,我们基于Bullet物理引擎为多个四轴飞行器提出了一个开源的OpenAI Gym-like环境。它的多智能体和基于视觉的强化学习界面,以及对逼真碰撞和空气动力学效果的支持,使其成为同类产品中的第一个。我们通过几个例子展示了它的使用,无论是控制(轨迹跟踪与PID控制,多机器人飞行与下洗,等)。或强化学习(单智能体和多智能体稳定任务),希望能激发未来结合控制理论和机器学习的研究。
2021-07-25 cs.LG cs.RO
Cliff Diving: Exploring Reward Surfaces in Reinforcement Learning Environments
University of Maryland, College Park(马里兰大学帕克分校);Swarm Labs(斯沃姆实验室)
可视化优化景观带来了许多数值优化的基本见解,并对优化技术进行了新的改进。然而,强化学习优化的目标(“奖励表面”)的可视化只针对少数狭窄的上下文生成。这项工作首次展示了Gym中27个最广泛使用的强化学习环境的奖励表面和相关可视化。我们还探索了策略梯度方向的奖励表面,并首次表明许多流行的强化学习环境经常出现“悬崖”(预期回报突然大幅下降)。我们证明,A2C经常“潜水”这些悬崖到参数空间的低回报区域,而PPO避免他们,确认PPO的改进性能比以前的方法流行的直觉。我们还引入了一个高度可扩展的库,使研究人员能够在未来轻松生成这些可视化。我们的研究结果提供了新的直觉来解释现代强化学习方法的成功和失败,我们的可视化以新的方式具体描述了强化学习代理的几种失败模式。
2022-09-21 cs.AI cs.LG
Efficient Navigation of Colloidal Robots in an Unknown Environment via Deep Reinforcement Learning
Tsinghua University(清华大学);Johns Hopkins University(约翰斯·霍普金斯大学)
为主动胶体机器人配备智能,使它们能够在未知的复杂环境中有效导航,这可能会极大地影响它们在精密手术和靶向药物输送等新兴应用中的使用。在这里,我们开发了一种无模型的深度强化学习,可以训练胶体机器人在具有随机障碍物的未知环境中学习有效的导航策略。我们表明,受过训练的机器人代理学习,使导航决策避障和旅行时间最小化,仅基于本地的感官输入,而无需事先了解全球环境。这种具有生物启发机制的代理可以在包含不同形状,大小和配置的障碍物的大规模,复杂的环境中获得竞争性的导航能力。这项研究说明了人工智能在工程主动胶体系统的未来应用和构建复杂的主动系统与视觉和学习能力的潜力。
2019-07-31 cond-mat.soft cs.LG
DeepSim: A Reinforcement Learning Environment Build Toolkit for ROS and Gazebo
Amazon Web Services(亚马逊云科技)
我们提出了DeepSim,一个用于ROS和Gazebo的强化学习环境构建工具包。它允许机器学习或强化学习研究人员访问机器人领域,并在ROS和Gazebo仿真环境中创建复杂且具有挑战性的自定义任务。该工具包提供了高级功能的构建块,如冲突检测,行为控制,域随机化,产卵器等。DeepSim旨在通过提供Python接口来减少机器人和机器学习社区之间的边界。在本文中,我们讨论了DeepSim Toolkit的组件和设计决策。
2022-05-17 cs.AI cs.LG cs.RO
Hierarchical Reinforcement Learning in Complex 3D Environments
DeepMind(深度思维)
分层强化学习(HRL)代理有潜力展示吸引人的能力,如规划和探索与抽象,转移和技能重用。最近的成功与HRL在不同领域提供的证据表明,实际的,有效的HRL代理是可能的,即使现有的代理尚未完全实现HRL的潜力。尽管取得了这些成功,但视觉上复杂的部分可观察的3D环境仍然是HRL代理的挑战。我们使用分层混合离线-在线(H2 O2)来解决这个问题,这是一种分层深度强化学习代理,可以使用自己的经验从头开始发现和学习使用选项。我们发现,在DeepMind Hard Eight任务中,H2 O2与强大的非层次Muesli基线具有竞争力,我们为复杂环境中学习层次代理的问题提供了新的见解。我们的H2 O2的实证研究揭示了以前未被注意的实际挑战,并带来了新的视角,目前的理解层次代理在复杂的领域。
2023-02-28 cs.AI cs.LG
Probabilistic inverse reinforcement learning in unknown environments
EPFL(洛桑联邦理工学院)
我们考虑的问题,学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好,以构建改进的政策,代理试图解决相同的任务。要做到这一点,我们扩展以前的概率方法逆强化学习在已知的MDP未知的动态或对手的情况下。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理,我们使用最大后验估计,而不是完全贝叶斯推理。在平坦先验下,这导致凸优化问题。我们发现,由此产生的算法是非常有竞争力的各种其他方法的逆强化学习的动态知识。
2014-08-09 cs.LG stat.ML
Asymptotic Learnability of Reinforcement Problems with Arbitrary Dependence
我们解决了强化学习的问题,其中观察可能表现出任意形式的随机依赖于过去的观察和行动。智能体的任务是在真实生成环境未知但属于已知可数环境族的情况下获得最佳可能的渐近奖励。我们找到了一些充分条件下存在的代理,达到最好的渐近回报的任何环境中的类环境。我们分析了这些条件的紧密程度,以及它们与强化学习和相关领域中已知的不同概率假设(如马尔可夫决策过程和混合条件)的关系。
2006-03-28 cs.AI cs.LG
Lifelong Incremental Reinforcement Learning with Online Bayesian Inference
Nanjing University(南京大学);University of New South Wales(新南威尔士大学)
一个长寿的强化学习(RL)代理的核心能力是随着环境的变化逐渐适应其行为,并逐渐建立在以前的经验,以促进未来的学习在现实世界的场景。在本文中,我们提出了终身增量强化学习(LLIRL),一个新的增量算法,有效的终身适应动态环境。我们开发和维护一个包含参数化环境模型的无限混合的库,这相当于在潜在空间中聚类环境参数。混合物上的先验分布被公式化为中国餐馆过程(CRP),该过程在没有任何外部信息的情况下增量地实例化新的环境模型以提前发出环境变化的信号。在终身学习过程中,我们采用期望最大化(EM)算法与在线贝叶斯推理,以完全增量的方式更新混合物。在EM中,E步骤涉及估计环境到集群分配的后验期望,而M步骤更新环境参数以供将来学习。该方法允许所有环境模型根据需要进行调整,其中新模型针对环境变化进行实例化,并且当再次遇到先前看到的环境时检索旧模型。实验表明,LLIRL优于相关的现有方法,并使有效的增量适应各种动态环境的终身学习。
2021-02-12 cs.AI cs.LG
Reactive Reinforcement Learning in Asynchronous Environments
University of Alberta(阿尔伯塔大学)
强化学习(RL)代理和异步环境之间的关系往往被忽视。代理与其环境之间的交互的常用模型,例如马尔可夫决策过程(MDP)或半马尔可夫决策过程(SMDP),没有捕获这样的事实,即在异步环境中,环境的状态可能在代理执行的计算期间改变。在异步环境中,最小化反应时间-代理对观察做出反应所需的时间-也最小化了环境状态在观察之后可能发生变化的时间。在许多环境中,代理的反应时间直接影响任务的性能,允许环境过渡到一个不希望的终端状态或状态,执行所选择的动作是不合适的。我们提出了一类反应式强化学习算法,通过在观察到新的状态信息后立即采取行动来解决异步环境中的这个问题。我们比较了反应SARSA学习算法与传统的SARSA学习算法上的两个异步机器人任务(紧急停止和影响预防),并表明反应RL算法减少了反应时间的代理约算法的学习更新的持续时间。这类新的反应式算法可以促进更安全的控制和更快的决策,而无需对标准学习保证进行任何更改。
2018-02-16 cs.AI cs.LG
Multi-Agent Reinforcement Learning-Based UAV Pathfinding for Obstacle Avoidance in Stochastic Environment
School of Automation Science and Electrical Engineering, Beihang University(北京航空航天大学自动化科学与电气工程学院)
提出一种融合模型预测控制与距离加权平均场的多智能体强化学习方法,实现随机环境中无人机集中式训练、分散式避障路径规划,并通过仿真与真实机器人验证其效率和泛化性。
2026-10-19 cs.LG cs.RO
An Optical Control Environment for Benchmarking Reinforcement Learning Algorithms
Carnegie Mellon University(卡内基梅隆大学)
针对强化学习算法在光学控制场景的基准测试需求,本文构建了具备非凸、非线性和时变噪声特性的光学仿真环境,测试显示离策略强化学习方法优于传统控制算法,并开源了相关代码。
2023-10-01 cs.LG cs.RO cs.SY
Reinforcement Unlearning
University of Technology Sydney(新南威尔士大学);City University of Macau(澳门城市大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61部门);Torrens University Australia(澳大利亚托伦斯大学)
本文提出强化遗忘这一新领域,旨在撤销整个环境而非单个数据样本对智能体的影响,并提出了基于递减强化学习和环境投毒攻击的两种遗忘方法,同时引入环境推断攻击来评估遗忘效果。
2024-09-09 cs.CR cs.LG
L2Explorer: A Lifelong Reinforcement Learning Assessment Environment
Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室)
尽管强化学习在机器人、游戏和其他复杂领域取得了突破性的进展,但将强化学习应用于关键应用领域中经常出现的不断发展的开放世界问题仍然存在重大挑战。强化学习解决方案在接受训练的数据分布之外的新任务时往往泛化能力较差,这促使人们对持续学习算法产生了兴趣。在对持续学习算法进行研究的同时,还需要有挑战性的环境、精心设计的实验和评估研究进展的指标。我们通过引入一个框架来解决后一种需求,该框架使用终身学习资源管理器(L2Explorer)进行持续的学习开发和评估,这是一种新的,基于Unity的第一人称3D探索环境,可以不断重新配置以生成一系列任务和任务变体,这些任务和任务变体结构化为复杂和不断发展的评估课程。与具有随机组件的程序生成的世界相反,我们开发了一种系统的方法来定义课程,以应对受控的变化,并附带评估传输,性能恢复和数据效率的指标。总之,L2Explorer环境和评估方法提供了一个框架,用于开发开放世界环境中的未来评估方法,并严格评估终身学习的方法。
2022-03-14 cs.AI cs.LG
Reinforcement Learning under Partial Observability Guided by Learned Environment Models
Silicon Austria Labs(奥地利硅实验室);Graz University of Technology(格拉茨技术大学)
在实际应用中,我们很少能假设系统环境的完全可观测性,尽管这些知识对于确定反应控制系统与其环境的精确相互作用是重要的。因此,我们提出了一种在部分可观察环境中进行强化学习(RL)的方法。虽然假设环境的行为就像一个部分可观察的马尔可夫决策过程与已知的离散行动,我们假设没有关于其结构或转移概率的知识。我们的方法将Q学习与IoAlergia相结合,IoAlergia是一种学习马尔可夫决策过程(MDP)的方法。通过学习MDP模型的环境,从情节的RL代理,我们使RL在部分可观察的领域没有明确的,额外的内存来跟踪以前的相互作用,处理来自部分可观察性的模糊性。相反,我们通过在学习的环境模型上模拟新的经验来跟踪探索的状态,以抽象环境状态的形式为RL提供额外的观察。在我们的评估中,我们报告了我们的方法的有效性及其与六种最先进的具有递归神经网络和固定记忆的深度RL技术相比的良好性能。
2022-06-23 cs.AI cs.LG
Attention-based Deep Reinforcement Learning for Multi-view Environments
Wayne State University(韦恩州立大学)
在强化学习算法中,通常只考虑环境的单个视图来做出所需的决策;然而,利用环境的多个视图可以帮助促进复杂策略的学习。由于视图可能经常遭受部分可观察性,因此它们提供的观察可以具有不同的重要性级别。在本文中,我们提出了一种新的基于注意力的深度强化学习方法在多视图环境中,其中每个视图可以提供各种代表性的信息的环境。具体来说,我们的方法学习一个政策,动态地参加的意见,环境的基础上,他们在决策过程中的重要性。我们评估我们的方法的性能TORCS赛车模拟器和其他三个复杂的3D环境中的障碍。
2019-05-10 cs.AI cs.LG stat.ML
DIAMBRA Arena: a New Reinforcement Learning Platform for Research and Experimentation
DIAMBRA
强化学习的最新进展已经导致能够在非常复杂的环境中获得高于人类水平的性能的有效方法。然而,一旦解决,这些环境变得不那么有价值,需要不同或更复杂的情况下的新挑战来支持研究进展。这项工作展示了DIAMBRA Arena,这是一个用于强化学习研究和实验的新平台,它具有一系列高质量的环境,暴露了完全符合OpenAI Gym标准的Python API。它们是具有离散动作和观察的情景任务,由原始像素和额外的数值组成,所有这些都支持单人和双人模式,允许进行标准的强化学习、竞争性多智能体、人类智能体竞争、自我游戏、人在环训练和模仿学习。通过成功训练具有近端策略优化的多个深度强化学习代理,以获得类似人类的行为,证明了软件功能。结果证实了DIAMBRA Arena作为强化学习研究工具的实用性,提供了旨在研究该领域一些最具挑战性的主题的环境。
2022-10-19 cs.AI cs.LG
Optimal Decision-Making in Mixed-Agent Partially Observable Stochastic Environments via Reinforcement Learning
在多智能体相互作用的随机环境中,有限信息或无信息的最优决策是人工智能领域中一个具有挑战性的课题。强化学习(RL)是一种通过预测刺激(如遵循策略的奖励)来获得最佳策略的流行方法。强化学习在单智能体环境中得到了大量的探索,但在多智能体问题中还是一个新生的概念。为此,我提出了几个原则性的无模型和部分基于基于模型的强化学习方法的多智能体设置。在规范的强化学习领域,我介绍了可扩展的扩展蒙特卡洛探索开始部分可观察马尔可夫决策过程(POMDP),被称为MCES-P,在那里我扩展的理论和算法的多智能体设置。我首先检查MCES-P与可能近似正确(PAC)的范围内的多智能体设置,显示MCESP+PAC持有在其他代理的存在。然后,我提出了一个更具样本效率的方法,对抗设置,MCESIP+PAC。对于协作设置,我将MCES-P扩展到Multiagent POMDP,称为MCESMP+PAC。然后,我将探索使用强化学习作为在现实和潜在模型环境中搜索最优值的方法。首先,我探讨了一个参数化的Q学习方法在建模人类学习的原因在一个不确定的,多智能体的环境。接下来,我提出了一个MCES-P的实现,以及图像分割,以创建一个自适应的团队为基础的强化学习技术,积极识别表型表达的水和病原体胁迫在农田中的存在。
2019-01-04 cs.AI cs.LG
Flatland: a Lightweight First-Person 2-D Environment for Reinforcement Learning
Softbank Robotics Europe(软银机器人欧洲公司);ENSTA ParisTech(巴黎高等先进技术学院);INRIA(法国国家信息与自动化研究所);Plymouth University(普利茅斯大学)
Flatland是一个简单、轻量级的环境,用于快速原型设计和测试强化学习代理。与类似的3D平台(例如DeepMind Lab或VizDoom)相比,它的复杂性较低,但可以模拟真实世界的物理特性,例如连续性,多模态部分可观察状态,第一人称视图和相干物理。我们建议将其作为与终身学习有关的问题的中介基准。Flatland是高度可定制的,并提供了广泛的任务难度,以广泛评估人工代理的属性。我们用三个强化学习基线代理进行了实验,结果表明它们可以快速解决Flatland中的导航任务。一个代理人在平地行动的视频可在这里:https://youtu.be/I5y6Y2ZypdA。
2018-09-10 cs.LG stat.ML
Reinforcement Learning via Conservative Agent for Environments with Random Delays
Department of Convergence IT Engineering, Pohang University of Science and Technology(融合信息技术工程系,POSTECH);Department of Electrical Engineering, Pohang University of Science and Technology(电气工程系,POSTECH)
本研究提出保守代理,通过将随机延迟环境转换为等效恒定延迟环境,提升连续控制任务中的渐近性能和样本效率。
2026-01-04 cs.AI cs.LG