Importance of Environment Design in Reinforcement Learning: A Study of a Robotic Environment
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
对特定环境的深入理解在强化学习(RL)中至关重要。为了解决这一问题,本文研究了移动协作机器人助手的决策过程建模的马尔可夫决策过程(MDP)框架。利用非线性贝尔曼最优性方程计算了MDP的最优状态-动作组合。这个方程组可以通过Wolfram Mathematica的计算能力相对容易地求解,其中获得的最佳动作值指向最佳策略。与其他RL算法不同,该方法不近似最优行为,它给出了精确的,显式的解决方案,这为我们的研究提供了坚实的基础。有了这个,我们提供了新的见解来理解RL中的动作选择机制,通过提出各种小的修改,导致不同的最优策略的非常相同的模式。
2021-06-28 cs.AI cs.LG cs.RO
Deep Reinforcement Learning with Successor Features for Navigation across Similar Environments
University of Freiburg(弗莱堡大学)
在本文中,我们考虑的问题,机器人导航在简单的迷宫般的环境中,机器人必须依靠其板载传感器来执行导航任务。特别是,我们感兴趣的解决方案,这个问题,不需要本地化,映射或规划。此外,我们要求我们的解决方案能够快速适应新的情况(例如,改变导航目标和环境)。为了满足这些标准,我们将这个问题定义为一系列相关的强化学习任务。我们提出了一种基于后继特征的深度强化学习算法,该算法可以学习将知识从先前掌握的导航任务转移到新的问题实例。我们的算法大大减少了第一个任务实例解决后所需的学习时间,这使得它很容易适应不断变化的环境。我们验证我们的方法在模拟和真实的机器人实验与Robotino和比较它的一组基线方法,包括经典的基于规划的导航。
2017-07-23 cs.AI cs.LG cs.RO
Planning the path with Reinforcement Learning: Optimal Robot Motion Planning in RoboCup Small Size League Environments
Centro de Informática, Universidade Federal de Pernambuco(佩德罗·本杰明大学计算机中心)
本研究利用强化学习结合启发式控制方法,在RoboCup小型组联赛环境中实现高效路径规划,较基线算法在无障碍场景下节省60%时间,并具备动态避障能力。
2024-04-23 cs.AI cs.LG cs.RO
Map-based Multi-Policy Reinforcement Learning: Enhancing Adaptability of Robots by Deep Reinforcement Learning
Preferred Networks, Inc.(Preferred Networks 公司)
为了让机器人执行关键任务,它们必须能够快速适应环境的变化以及受伤和/或其他身体变化。深度强化学习已被证明在训练机器人控制策略以在复杂环境中操作方面是成功的。然而,现有方法通常仅采用单个策略。这可能会限制适应性,因为大规模的环境修改可能需要与学习环境完全不同的行为。为了解决这个问题,我们提出了基于地图的多策略强化学习(MMPRL),其目的是搜索和存储编码不同行为特征的多个策略,同时在环境变化之前最大化期望奖励。由于这些政策,这是存储到一个多维的离散地图,根据其行为特征,适应可以在合理的时间内进行,而无需重新训练的机器人。可以使用贝叶斯优化从地图中调用适当的预训练策略。我们的实验表明,MMPRL使机器人能够快速适应大的变化,而不需要任何关于可能发生的伤害类型的先验知识。学习行为的一个亮点可以在这里找到:https://youtu.be/QwInbilXNOE。
2017-10-18 cs.AI cs.LG cs.RO
Deep Interactive Reinforcement Learning for Path Following of Autonomous Underwater Vehicle
Ocean University of China(中国海洋大学)
自主式水下机器人(AUV)在海洋探测中发挥着越来越重要的作用。现有的AUV通常不是完全自主的,并且通常限于预先规划或预先编程任务。强化学习和深度强化学习被引入到AUV的设计和研究中,以提高其自主性。然而,这些方法仍然很难直接应用于实际的AUV系统,因为稀疏的奖励和低的学习效率。结合深度强化学习和交互式强化学习的优点,提出了一种深度交互式强化学习方法用于水下机器人路径跟踪。此外,由于AUV在海洋中运行时,人类训练者无法提供人类奖励,而AUV需要适应不断变化的环境,因此我们进一步提出了一种同时从人类奖励和环境奖励中学习的深度强化学习方法。通过在Gazebo平台上的仿真,分别对AUV的直线跟踪和正弦曲线跟踪两种路径跟踪任务进行了验证。我们的实验结果表明,使用我们提出的深度交互式RL方法,AUV可以比仅从环境奖励的DQN学习器更快地收敛。此外,AUV从人类和环境奖励的深度RL学习也可以实现与深度交互式RL方法相似甚至更好的性能,并且可以通过进一步从环境奖励学习来适应实际环境。
2020-01-10 cs.AI cs.LG cs.RO
Environments for Lifelong Reinforcement Learning
Mila(米拉研究所);McGill University(麦吉尔大学);Université de Montréal(蒙特利尔大学)
为了实现通用人工智能,强化学习(RL)代理不仅要学习优化特定任务的回报,还要不断构建更复杂的技能,并构建他们对世界的知识,而不会忘记已经学到的东西。在本文中,我们讨论了所需的特征的环境,可以支持终身强化学习代理的培训和评估,审查现有的环境,从这个角度来看,并提出建议,在未来设计合适的环境。
2018-12-06 cs.AI cs.LG
Storehouse: a Reinforcement Learning Environment for Optimizing Warehouse Management
Vicomtech(维康科技);Politecnico di Milano(米兰理工大学)
由于新的数据智能技术,仓库管理系统一直在发展和改进。然而,当前的许多优化都已应用于特定情况或非常需要手动交互。这就是强化学习技术发挥作用的地方,为当前的优化策略提供自动化和适应性。在本文中,我们提出了Storehouse,一个可定制的环境,概括了强化学习的仓库模拟的定义。我们还验证了这种环境对国家的最先进的强化学习算法,并比较这些结果与人类和随机的政策。
2022-07-21 cs.AI cs.LG
The PlayStation Reinforcement Learning Environment (PSXLE)
University of Cambridge(剑桥大学)
我们提出了一个新的基准测试环境,用于评估强化学习(RL)算法:PlayStation学习环境(PSXLE),一个经过修改的PlayStation模拟器,可以暴露一个简单的控制API,从而实现丰富的游戏状态表示。我们认为,PlayStation作为一个合适的进展代理评估,并提出了这样的评估框架。我们为PlayStation游戏构建了一个支持OpenAI Gym接口的动作驱动抽象,并通过运行OpenAI Baselines演示了它的使用。
2019-12-12 cs.AI cs.LG
Safe Continual Reinforcement Learning Methods for Nonstationary Environments. Towards a Survey of the State of the Art
McMaster Centre for Software Certification(麦克斯特软件认证中心);Department of Computing and Software(计算与软件系);McMaster University(麦克斯特大学)
本文综述了非平稳环境下安全持续强化学习的最新方法,探讨了理论挑战和未来发展方向。
2026-01-08 cs.AI cs.LG
OffWorld Gym: open-access physical robotics environment for real-world reinforcement learning benchmark and research
OffWorld
应用机器学习的成功案例可以追溯到作为社区挑战提出的数据集和环境。社区设定为基准的挑战通常是社区最终解决的挑战。强化学习研究的最终挑战是训练真实的智能体在真实环境中运行,但到目前为止还没有一个通用的真实世界强化学习基准。在这项工作中,我们提出了一个原型的真实世界的环境从OffWorld健身房-一个真实世界的环境集合,强化学习在机器人与免费的公共远程访问。与现有生态系统的紧密集成允许社区在没有任何机器人经验的情况下开始使用OffWorld Gym,并消除了管理物理机器人系统的负担,将其抽象为熟悉的API。我们介绍了一个导航任务,机器人必须达到一个视觉信标在不平坦的地形上只使用相机输入,并提供基线结果在真实的环境和模拟副本。要开始培训,请访问https://gym.offworld.ai
2020-12-15 cs.AI cs.LG cs.RO
Environment Design for Inverse Reinforcement Learning
The Alan Turing Institute(图灵研究所);Université de Neuchâtel(纳沙泰尔大学)
针对逆强化学习样本效率低、难适应环境动力学微小变化的问题,提出自适应环境设计框架,通过学习者主动选择环境与专家交互,在精确和近似推理下均提升了样本效率与鲁棒性。
2024-05-14 cs.AI cs.LG
SuperSuit: Simple Microwrappers for Reinforcement Learning Environments
University of Maryland, College Park(马里兰大学帕克分校)
在强化学习中,包装器普遍用于转换模型和环境之间传递的信息。尽管它们无处不在,但没有一个库能够合理地实现所有流行的预处理方法。这会导致不必要的bug、代码效率低下和浪费开发人员的时间。因此,我们引入了SuperSuit,一个包含所有流行包装器的Python库,以及可以轻松将lambda函数应用于观察/动作/奖励的包装器。它与标准的Gym环境规范以及多代理环境的PettingZoo规范兼容。这个库可以在https://github.com/PettingZoo-Team/SuperSuit上找到,并且可以通过pip安装。
2020-08-17 cs.AI cs.LG
A Reinforcement Learning Environment for Mathematical Reasoning via Program Synthesis
Cash App Labs(Cash App实验室);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们将DeepMind数学数据集转换为强化学习环境,将其解释为程序合成问题。在环境中采取的每个动作都将运算符或输入添加到离散计算图中。计算正确答案的图产生正奖励,从而能够优化策略以构建以问题语句为条件的计算图。基线模型使用Double DQN在各种问题类型的子集上进行训练,展示了学习正确构建图形的能力,尽管存在组合爆炸和噪声奖励的挑战。
2021-07-16 cs.AI cs.LG
Playing optical tweezers with deep reinforcement learning: in virtual, physical and augmented environments
University of Southampton(南安普顿大学);Optoelectronics Research Centre(光电研究中心)
在模拟环境中进行强化学习,以学习多个电机轴上的连续速度控制。然后将其应用于现实世界的光镊实验,其目的是将激光捕获的微球移动到目标位置,同时避免与其他自由移动的微球碰撞。在虚拟环境中训练神经网络的概念在将机器学习应用于实验优化和控制方面具有巨大的潜力,因为神经网络可以发现解决问题的最佳方法,而不会有损坏设备的风险,并且速度不受物理环境中移动的限制。由于神经网络对待虚拟和物理环境等效,我们表明,网络也可以应用于增强环境,其中虚拟环境与物理环境相结合。这种技术可能有潜力解锁与混合和增强现实相关的功能,例如强制执行机器运动的安全限制或作为从附加传感器输入观察结果的方法。
2020-11-10 cs.AI cs.LG cs.RO
Reinforcement Learning-Enabled Decision-Making Strategies for a Vehicle-Cyber-Physical-System in Connected Environment
University of Waterloo(滑铁卢大学);Chongqing University(重庆大学)
互联自动车作为一种典型的车辆信息物理系统(V-CPS),近年来受到越来越多的关注。本文重点讨论了互联环境下自主车辆的决策策略。首先,制定了公路DM问题,其中车辆可以通过无线网络交换信息。然后,两个经典的强化学习(RL)算法,Q-学习和Dyna,被用来推导DM策略在一个预定义的驾驶场景。最后,分析了所提出的DM策略在安全性和效率方面的控制性能。此外,RL算法的内在差异体现在DM策略和讨论。
2020-07-16 cs.AI cs.LG cs.RO
PowerGym: A Reinforcement Learning Environment for Volt-Var Control in Power Distribution Systems
Princeton University(普林斯顿大学);Iowa State University(爱荷华州立大学);Siemens Technology(西门子科技)
我们介绍PowerGym,一个开源的强化学习环境,用于配电系统中的电压无功控制。遵循OpenAI Gym API,PowerGym的目标是在物理网络约束下最大限度地减少功率损耗和电压违规。PowerGym提供四种基于IEEE基准系统的分布式系统(13总线、34总线、123总线和8500节点),以及针对各种控制困难的设计变体。为了促进推广,PowerGym为使用其分发系统的用户提供了详细的定制指南。作为演示,我们研究了PowerGym中最先进的强化学习算法,并通过研究控制器行为来验证环境。存储库位于\url{https://github.com/siemens/powergym}。
2022-03-14 cs.AI cs.LG
Reinforcement Learning for Learning of Dynamical Systems in Uncertain Environment: a Tutorial
Tarbiat Modares University(塔比亚特·莫达雷斯大学);Hamedan University of Technology(哈马丹工业大学)
本文综述了不确定环境下动态系统学习的无模型强化学习。为此,将回顾马尔可夫决策过程(MDP)。此外,本文还对无模型学习算法中的时间差分学习、Q学习和近似Q学习等学习算法进行了研究,并对各种学习算法的优缺点进行了讨论。每一节中讨论的概念都是用细节和例子来解释的。
2019-05-19 cs.AI cs.LG
Towards Robust Deep Reinforcement Learning against Environmental State Perturbation
Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学)
本文形式化 DRL 的环境状态扰动问题,提出无目标校准攻击与 BAT 防御框架,并通过实验证明其可显著提升智能体在多种场景下的鲁棒性。
2025-06-10 cs.AI cs.LG
An ocular biomechanics environment for reinforcement learning
Deakin University(迪肯大学);Institute for Intelligent Systems Research and Innovation (IISRI)(智能系统研究与创新研究所(IISRI))
强化学习已通过基于生理学的生物力学模型应用于人类运动,以增加对这些运动的神经控制的见解;它在假肢和机器人的设计中也很有用。在本文中,我们将强化学习的使用扩展到控制眼睛生物力学系统来执行扫视,这是最快的眼球运动系统之一。我们描述了一个眼睛的环境和代理使用深度确定性策略梯度方法进行扫视训练。代理能够匹配期望的眼睛位置,平均偏斜角为3:5+/-1:25度。提出的框架是使用深度强化学习的能力来增强我们对眼部生物力学的理解的第一步。
2020-08-12 cs.AI cs.LG
CaiRL: A High-Performance Reinforcement Learning Environment Toolkit
University of Agder(阿格德大学)
本文解决了迫切需要一个平台,有效地提供了一个框架运行强化学习(RL)的实验。我们提出了CaiRL环境工具包作为一个有效的,兼容的,更可持续的替代训练学习代理,并提出了方法来开发更有效的环境模拟。人们越来越关注发展可持续的人工智能。然而,很少有人努力提高运行环境模拟的效率。最受欢迎的强化学习开发工具包OpenAI Gym是使用Python构建的,Python是一种功能强大但速度较慢的程序设计语言。我们提出了一个用C++编写的工具包,具有相同的灵活性,但工作速度要快几个数量级,以弥补Python的低效率。这将大大减少气候排放。CaiRL还提供了第一个强化学习工具包,该工具包具有内置的JVM和Flash支持,用于运行传统的Flash游戏,以进行强化学习研究。我们在经典的控制基准测试中展示了CaiRL的有效性,并将其执行速度与OpenAI Gym进行了比较。此外,我们还说明了CaiRL可以作为OpenAI Gym的直接替代品,因为减少了环境计算时间,可以利用更快的训练速度。
2022-10-03 cs.AI cs.LG
From Thermal Preference Prediction to Adaptive Thermal Intervention: A Reinforcement Learning Approach Using Physiological and Environmental Sensing
Nottingham Trent University(诺丁汉特伦特大学);York University(约克大学)
针对传统HVAC系统无法捕捉个体生理变异性的问题,提出整合多模态感知与强化学习的两阶段个性化热舒适方法,助力开发更响应的建筑控制策略。
2026-08-24 cs.AI cs.LG
The Dreaming Variational Autoencoder for Reinforcement Learning Environments
University of Agder(阿格德尔大学)
强化学习在仅使用单个神经网络进行价值优化来概括原始感觉数据方面显示出巨大的潜力。在当前最先进的强化学习算法中存在几个挑战,这些挑战阻止它们收敛到全局最优值。这些问题的解决方案可能在于强化学习算法的短期和长期规划、探索和存储管理。游戏通常用于对强化学习算法进行基准测试,因为它们提供了一个灵活、可重复且易于控制的环境。无论如何,很少有游戏具有状态空间,其中探索,记忆和规划的结果很容易被感知。本文提出了梦想的变分自编码器(DVAE),一个神经网络为基础的生成式建模架构,探索在环境中的稀疏反馈。我们进一步提出了深度迷宫,一种新颖而灵活的迷宫引擎,挑战DVAE在部分和完全可观察的状态空间,长期任务,以及确定性和随机性问题。我们展示了初步的发现,并鼓励在生成探索驱动的强化学习方面开展进一步的工作。
2018-10-02 cs.AI cs.LG
MAPPER: Multi-Agent Path Planning with Evolutionary Reinforcement Learning in Mixed Dynamic Environments
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学)
动态环境下的多智能体导航在大规模机器人部署到实际应用中具有重要的工业价值。提出了一种基于进化强化学习(MAPPER)的分散式部分可观测多智能体路径规划方法,用于在混合动态环境中学习有效的局部规划策略.基于强化学习的方法通常会在具有目标条件的稀疏奖励的长时间任务上性能下降,因此我们在全局规划器的指导下将长距离导航任务分解为许多更容易的子任务,这提高了智能体在大环境中的性能。此外,大多数现有的多智能体规划方法假设周围环境的完美信息或附近的动态代理的同质性,这在实践中可能不成立。我们的方法模型动态障碍物的行为与基于图像的表示和训练的政策在混合动态环境中没有同质性假设。为了确保多智能体训练的稳定性和性能,我们提出了一种进化的训练方法,可以很容易地扩展到大型和复杂的环境。实验表明,与传统的基于反应的规划器LRA* 和最先进的基于学习的方法相比,MAPPER在面对大量非合作动态障碍物时能够获得更高的成功率和更稳定的性能。
2020-07-30 cs.AI cs.LG cs.MA
Demonstration-efficient Inverse Reinforcement Learning in Procedurally Generated Environments
Università degli Studi di Firenze(佛罗伦萨大学);University of Cambridge(剑桥大学)
深度强化学习在可以手动设计奖励函数的领域中取得了非常好的效果。与此同时,社区内越来越有兴趣使用基于程序内容生成(PCG)的游戏作为基准环境,因为这种类型的环境非常适合研究域转移下代理的过拟合和泛化。相反,反向强化学习(IRL)可以从专家演示中推断出奖励函数,即使在高维问题上也有很好的结果,但是没有将这些技术应用于过程生成环境的例子。这主要是由于找到一个好的奖励模型所需的演示数量。我们提出了一种基于对抗逆强化学习的技术,可以显着减少PCG游戏中对专家演示的需求。通过使用一组有限的初始种子水平的环境,加上一些修改来稳定训练,我们证明了我们的方法DE-AIRL是演示有效的,并且仍然能够外推推广到全过程域的奖励函数。我们证明了我们的技术在两个程序环境,MiniGrid和DeepCrawl,各种任务的有效性。
2020-12-04 cs.AI cs.LG
Improving Robustness of Deep Reinforcement Learning Agents: Environment Attack based on the Critic Network
IRT SystemX(IRT SystemX 研究所);ISIR(智能系统与机器人研究所);Sorbonne University(索邦大学)
为了提高深度强化学习代理的策略鲁棒性,最近的一系列工作集中在产生环境干扰上。文献中产生有意义的环境扰动的现有方法是对抗性强化学习方法。这些方法将问题设置为主角代理和对手代理之间的双人游戏,主角代理学习在环境中执行任务,对手代理学习通过修改所考虑的环境来干扰主角。主角和对手都是用深度强化学习算法训练的。或者,我们在本文中建议建立基于梯度的对抗攻击,通常用于分类任务,例如,我们应用于主角的评论家网络,以识别环境的有效干扰。而不是学习攻击者的策略,这通常表现为非常复杂和不稳定,我们利用主角的批评网络的知识,在学习过程的每一步动态地复杂化任务。我们表明,我们的方法,而更快,更轻,导致显着更好的改善政策的鲁棒性比现有的方法的文献。
2022-10-03 cs.AI cs.LG
Continual Reinforcement Learning via Autoencoder-Driven Task and New Environment Recognition
École Polytechnique Fédérale de Lausanne(瑞士联邦理工学院)
针对无外部变化信号的持续强化学习问题,提出融合策略优化与熟悉度自动编码器的端到端系统,以识别新任务和环境并选择性复用旧知识。
2025-05-13 cs.AI cs.LG
Achieving Stable Training of Reinforcement Learning Agents in Bimodal Environments through Batch Learning
Arca Blanca Ltd.(阿尔卡布兰卡有限公司);Artefact Research Centre(阿特法克特研究中心)
本文针对双峰随机环境下的强化学习挑战,提出一种基于批量更新的表格Q学习方法,并在定价模拟中验证其比传统方法更有效且更具鲁棒性。
2023-07-03 cs.AI cs.LG
Reinforcement Learning for Pollution Detection in a Randomized, Sparse and Nonstationary Environment with an Autonomous Underwater Vehicle
University of Oslo(奥斯陆大学);Norwegian Defence Research Establishment(挪威国防研究机构)
强化学习(RL)算法旨在通过学习最大化奖励的行为来优化问题解决,这是一项在随机和非平稳环境中特别具有挑战性的任务。即使是先进的强化学习算法在这些条件下解决问题的能力也往往有限。在使用自主水下航行器(AUV)搜索水下污染云等应用中,RL算法必须在奖励稀疏的环境中导航,其中行动经常导致零奖励。本文旨在通过重新审视和修改经典的强化学习方法来应对这些挑战,以便在稀疏、随机和非平稳环境中有效地运行。我们系统地研究了大量的修改,包括分层算法的变化,多目标学习,并集成的位置存储器作为外部输出过滤器,以防止状态重访。我们的研究结果表明,修改后的蒙特卡洛方法显着优于传统的Q学习和两个穷举搜索模式,说明其在适应RL复杂环境的潜力。这些发现表明,强化学习方法可以有效地适应随机,非平稳和奖励稀疏的环境中使用。
2025-10-30 cs.AI cs.LG
Extending Environments To Measure Self-Reflection In Reinforcement Learning
The U.S. Securities and Exchange Commission(美国证券交易委员会);InQTel(InQTel公司)
该研究提出可模拟智能体假设行为的扩展强化学习环境,以智能体在这类环境的加权平均性能衡量其自我反思能力,还给出环境示例及能提升部分标准RL智能体在特定扩展环境中性能的简单变换方法。
2022-07-19 cs.AI cs.LG
Adversary agent reinforcement learning for pursuit-evasion
College of Engineering, Peking University(北京大学工学院);State Key Laboratory of Turbulence and Complex Systems(湍流与复杂系统国家重点实验室);The Hong Kong University of Science and Technology(香港科技大学)
提出了一种基于对手智能体的强化学习环境,用于战争迷雾环境下的追逃博弈,具有重要的科学意义和实际应用价值.最流行的学习环境之一,星际争霸,在这里采用和相关的小游戏进行分析,以确定目前的限制,训练对手的代理。的主要贡献包括分析的潜在性能的代理,将控制和微分博弈理论到特定的强化学习环境,并通过扩展当前的星际争霸迷你游戏的对手代理挑战(SAAC)环境的发展。随后的研究展示了使用这种学习环境和有效性的对手代理规避单位。总的来说,拟议的SAAC环境应该有利于追捕逃避研究与快速出现的强化学习技术。最后但同样重要的是,可以在GitHub上找到相应的教程代码。
2021-08-25 cs.AI cs.LG
An Independent Study of Reinforcement Learning and Autonomous Driving
University of Michigan(密歇根大学)
强化学习已经成为近十年来最热门的研究课题之一。它已经在机器人操作、自动驾驶、路径规划、计算机游戏等各个领域得到了应用。我们在这个项目的过程中完成了三项任务。首先,我们研究了表格环境下的Q-学习算法,并将其成功地应用于OpenAi Gym环境Taxi。其次,我们理解并实现了Cart-Pole环境下的深度Q网络算法。第三,我们还研究了强化学习在自动驾驶中的应用,以及与安全检查约束(安全控制器)的结合。我们使用高速公路健身房环境训练了一个粗糙的自动驾驶智能体,并探讨了奖励函数等各种环境配置对智能体训练性能的影响。
2021-08-20 cs.AI cs.RO
Learning to Fly -- a Gym Environment with PyBullet Physics for Reinforcement Learning of Multi-agent Quadcopter Control
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);University of Cambridge(剑桥大学)
机器人模拟器对于学术研究和教育以及安全关键应用的开发至关重要。强化学习环境--简单的模拟加上奖励函数形式的问题规范--对于标准化学习算法的开发(和基准测试)也很重要。然而,全尺寸模拟器通常缺乏可移植性和并行性。反之亦然,许多强化学习环境在玩具般的问题中权衡现实主义和高样本吞吐量。虽然公共数据集极大地受益于深度学习和计算机视觉,但我们仍然缺乏软件工具来同时开发-并公平地比较-控制理论和强化学习方法。在本文中,我们基于Bullet物理引擎为多个四轴飞行器提出了一个开源的OpenAI Gym-like环境。它的多智能体和基于视觉的强化学习界面,以及对逼真碰撞和空气动力学效果的支持,使其成为同类产品中的第一个。我们通过几个例子展示了它的使用,无论是控制(轨迹跟踪与PID控制,多机器人飞行与下洗,等)。或强化学习(单智能体和多智能体稳定任务),希望能激发未来结合控制理论和机器学习的研究。
2021-07-25 cs.LG cs.RO
Cliff Diving: Exploring Reward Surfaces in Reinforcement Learning Environments
University of Maryland, College Park(马里兰大学帕克分校);Swarm Labs(斯沃姆实验室)
可视化优化景观带来了许多数值优化的基本见解,并对优化技术进行了新的改进。然而,强化学习优化的目标(“奖励表面”)的可视化只针对少数狭窄的上下文生成。这项工作首次展示了Gym中27个最广泛使用的强化学习环境的奖励表面和相关可视化。我们还探索了策略梯度方向的奖励表面,并首次表明许多流行的强化学习环境经常出现“悬崖”(预期回报突然大幅下降)。我们证明,A2C经常“潜水”这些悬崖到参数空间的低回报区域,而PPO避免他们,确认PPO的改进性能比以前的方法流行的直觉。我们还引入了一个高度可扩展的库,使研究人员能够在未来轻松生成这些可视化。我们的研究结果提供了新的直觉来解释现代强化学习方法的成功和失败,我们的可视化以新的方式具体描述了强化学习代理的几种失败模式。
2022-09-21 cs.AI cs.LG
Hierarchical Reinforcement Learning in Complex 3D Environments
DeepMind(深度思维)
分层强化学习(HRL)代理有潜力展示吸引人的能力,如规划和探索与抽象,转移和技能重用。最近的成功与HRL在不同领域提供的证据表明,实际的,有效的HRL代理是可能的,即使现有的代理尚未完全实现HRL的潜力。尽管取得了这些成功,但视觉上复杂的部分可观察的3D环境仍然是HRL代理的挑战。我们使用分层混合离线-在线(H2 O2)来解决这个问题,这是一种分层深度强化学习代理,可以使用自己的经验从头开始发现和学习使用选项。我们发现,在DeepMind Hard Eight任务中,H2 O2与强大的非层次Muesli基线具有竞争力,我们为复杂环境中学习层次代理的问题提供了新的见解。我们的H2 O2的实证研究揭示了以前未被注意的实际挑战,并带来了新的视角,目前的理解层次代理在复杂的领域。
2023-02-28 cs.AI cs.LG
Dex: Incremental Learning for Complex Environments in Deep Reinforcement Learning
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
本文介绍了Dex,一个强化学习环境工具包,专门用于训练和评估持续学习方法以及一般的强化学习问题。我们还提出了一种新的增量学习的持续学习方法,其中使用从第一次解决类似的更容易的环境中学习到的最佳权重初始化来解决具有挑战性的环境。我们表明,增量学习可以产生比标准方法优越得多的结果,通过在十个Dex环境中提供一个强大的基线方法。最后,我们开发了一种显着性方法来定性分析强化学习,它显示了增量学习对网络注意力的影响。
2017-06-19 cs.AI cs.LG stat.ML
Asymptotic Learnability of Reinforcement Problems with Arbitrary Dependence
我们解决了强化学习的问题,其中观察可能表现出任意形式的随机依赖于过去的观察和行动。智能体的任务是在真实生成环境未知但属于已知可数环境族的情况下获得最佳可能的渐近奖励。我们找到了一些充分条件下存在的代理,达到最好的渐近回报的任何环境中的类环境。我们分析了这些条件的紧密程度,以及它们与强化学习和相关领域中已知的不同概率假设(如马尔可夫决策过程和混合条件)的关系。
2006-03-28 cs.AI cs.LG
Lifelong Incremental Reinforcement Learning with Online Bayesian Inference
Nanjing University(南京大学);University of New South Wales(新南威尔士大学)
一个长寿的强化学习(RL)代理的核心能力是随着环境的变化逐渐适应其行为,并逐渐建立在以前的经验,以促进未来的学习在现实世界的场景。在本文中,我们提出了终身增量强化学习(LLIRL),一个新的增量算法,有效的终身适应动态环境。我们开发和维护一个包含参数化环境模型的无限混合的库,这相当于在潜在空间中聚类环境参数。混合物上的先验分布被公式化为中国餐馆过程(CRP),该过程在没有任何外部信息的情况下增量地实例化新的环境模型以提前发出环境变化的信号。在终身学习过程中,我们采用期望最大化(EM)算法与在线贝叶斯推理,以完全增量的方式更新混合物。在EM中,E步骤涉及估计环境到集群分配的后验期望,而M步骤更新环境参数以供将来学习。该方法允许所有环境模型根据需要进行调整,其中新模型针对环境变化进行实例化,并且当再次遇到先前看到的环境时检索旧模型。实验表明,LLIRL优于相关的现有方法,并使有效的增量适应各种动态环境的终身学习。
2021-02-12 cs.AI cs.LG
Reactive Reinforcement Learning in Asynchronous Environments
University of Alberta(阿尔伯塔大学)
强化学习(RL)代理和异步环境之间的关系往往被忽视。代理与其环境之间的交互的常用模型,例如马尔可夫决策过程(MDP)或半马尔可夫决策过程(SMDP),没有捕获这样的事实,即在异步环境中,环境的状态可能在代理执行的计算期间改变。在异步环境中,最小化反应时间-代理对观察做出反应所需的时间-也最小化了环境状态在观察之后可能发生变化的时间。在许多环境中,代理的反应时间直接影响任务的性能,允许环境过渡到一个不希望的终端状态或状态,执行所选择的动作是不合适的。我们提出了一类反应式强化学习算法,通过在观察到新的状态信息后立即采取行动来解决异步环境中的这个问题。我们比较了反应SARSA学习算法与传统的SARSA学习算法上的两个异步机器人任务(紧急停止和影响预防),并表明反应RL算法减少了反应时间的代理约算法的学习更新的持续时间。这类新的反应式算法可以促进更安全的控制和更快的决策,而无需对标准学习保证进行任何更改。
2018-02-16 cs.AI cs.LG
Multi-Agent Reinforcement Learning-Based UAV Pathfinding for Obstacle Avoidance in Stochastic Environment
School of Automation Science and Electrical Engineering, Beihang University(北京航空航天大学自动化科学与电气工程学院)
提出一种融合模型预测控制与距离加权平均场的多智能体强化学习方法,实现随机环境中无人机集中式训练、分散式避障路径规划,并通过仿真与真实机器人验证其效率和泛化性。
2026-10-19 cs.LG cs.RO
L2Explorer: A Lifelong Reinforcement Learning Assessment Environment
Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室)
尽管强化学习在机器人、游戏和其他复杂领域取得了突破性的进展,但将强化学习应用于关键应用领域中经常出现的不断发展的开放世界问题仍然存在重大挑战。强化学习解决方案在接受训练的数据分布之外的新任务时往往泛化能力较差,这促使人们对持续学习算法产生了兴趣。在对持续学习算法进行研究的同时,还需要有挑战性的环境、精心设计的实验和评估研究进展的指标。我们通过引入一个框架来解决后一种需求,该框架使用终身学习资源管理器(L2Explorer)进行持续的学习开发和评估,这是一种新的,基于Unity的第一人称3D探索环境,可以不断重新配置以生成一系列任务和任务变体,这些任务和任务变体结构化为复杂和不断发展的评估课程。与具有随机组件的程序生成的世界相反,我们开发了一种系统的方法来定义课程,以应对受控的变化,并附带评估传输,性能恢复和数据效率的指标。总之,L2Explorer环境和评估方法提供了一个框架,用于开发开放世界环境中的未来评估方法,并严格评估终身学习的方法。
2022-03-14 cs.AI cs.LG
TIAGo RL: Simulated Reinforcement Learning Environments with Tactile Data for Mobile Robots
PAL Robotics S.L.(PAL Robotics公司);Bielefeld University(比勒费尔德大学)
本文提出TIAGo机器人的开源强化学习环境,生成逼真触觉数据以支持DRL策略迁移,并初步验证了学习力控制策略优于经典PI控制器。
2023-11-13 cs.AI cs.RO
Adaptive Risk-Tendency: Nano Drone Navigation in Cluttered Environments with Distributional Reinforcement Learning
Delft University of Technology(代尔夫特理工大学)
实现评估风险和做出风险意识决策的能力对于将强化学习应用于无人机等安全关键型机器人至关重要。在本文中,我们研究了一个具体的情况下,纳米四轴飞行器机器人学习导航先验未知的混乱的环境下部分可观测性。我们提出了一个分布式的强化学习框架,以产生自适应的风险倾向的政策。具体而言,我们建议使用学习收益率分布的下尾条件方差作为内在不确定性估计,并使用指数加权平均预测(EWAF),以适应风险趋势,根据估计的不确定性。在模拟和真实世界的实证结果中,我们表明:(1)最有效的风险倾向在不同的状态下是不同的,(2)与风险中性政策或风险厌恶政策基线相比,具有自适应风险倾向的代理人取得了更好的绩效。
2022-09-23 cs.AI cs.RO
Reinforcement Learning under Partial Observability Guided by Learned Environment Models
Silicon Austria Labs(奥地利硅实验室);Graz University of Technology(格拉茨技术大学)
在实际应用中,我们很少能假设系统环境的完全可观测性,尽管这些知识对于确定反应控制系统与其环境的精确相互作用是重要的。因此,我们提出了一种在部分可观察环境中进行强化学习(RL)的方法。虽然假设环境的行为就像一个部分可观察的马尔可夫决策过程与已知的离散行动,我们假设没有关于其结构或转移概率的知识。我们的方法将Q学习与IoAlergia相结合,IoAlergia是一种学习马尔可夫决策过程(MDP)的方法。通过学习MDP模型的环境,从情节的RL代理,我们使RL在部分可观察的领域没有明确的,额外的内存来跟踪以前的相互作用,处理来自部分可观察性的模糊性。相反,我们通过在学习的环境模型上模拟新的经验来跟踪探索的状态,以抽象环境状态的形式为RL提供额外的观察。在我们的评估中,我们报告了我们的方法的有效性及其与六种最先进的具有递归神经网络和固定记忆的深度RL技术相比的良好性能。
2022-06-23 cs.AI cs.LG
DIAMBRA Arena: a New Reinforcement Learning Platform for Research and Experimentation
DIAMBRA
强化学习的最新进展已经导致能够在非常复杂的环境中获得高于人类水平的性能的有效方法。然而,一旦解决,这些环境变得不那么有价值,需要不同或更复杂的情况下的新挑战来支持研究进展。这项工作展示了DIAMBRA Arena,这是一个用于强化学习研究和实验的新平台,它具有一系列高质量的环境,暴露了完全符合OpenAI Gym标准的Python API。它们是具有离散动作和观察的情景任务,由原始像素和额外的数值组成,所有这些都支持单人和双人模式,允许进行标准的强化学习、竞争性多智能体、人类智能体竞争、自我游戏、人在环训练和模仿学习。通过成功训练具有近端策略优化的多个深度强化学习代理,以获得类似人类的行为,证明了软件功能。结果证实了DIAMBRA Arena作为强化学习研究工具的实用性,提供了旨在研究该领域一些最具挑战性的主题的环境。
2022-10-19 cs.AI cs.LG
Optimal Decision-Making in Mixed-Agent Partially Observable Stochastic Environments via Reinforcement Learning
在多智能体相互作用的随机环境中,有限信息或无信息的最优决策是人工智能领域中一个具有挑战性的课题。强化学习(RL)是一种通过预测刺激(如遵循策略的奖励)来获得最佳策略的流行方法。强化学习在单智能体环境中得到了大量的探索,但在多智能体问题中还是一个新生的概念。为此,我提出了几个原则性的无模型和部分基于基于模型的强化学习方法的多智能体设置。在规范的强化学习领域,我介绍了可扩展的扩展蒙特卡洛探索开始部分可观察马尔可夫决策过程(POMDP),被称为MCES-P,在那里我扩展的理论和算法的多智能体设置。我首先检查MCES-P与可能近似正确(PAC)的范围内的多智能体设置,显示MCESP+PAC持有在其他代理的存在。然后,我提出了一个更具样本效率的方法,对抗设置,MCESIP+PAC。对于协作设置,我将MCES-P扩展到Multiagent POMDP,称为MCESMP+PAC。然后,我将探索使用强化学习作为在现实和潜在模型环境中搜索最优值的方法。首先,我探讨了一个参数化的Q学习方法在建模人类学习的原因在一个不确定的,多智能体的环境。接下来,我提出了一个MCES-P的实现,以及图像分割,以创建一个自适应的团队为基础的强化学习技术,积极识别表型表达的水和病原体胁迫在农田中的存在。
2019-01-04 cs.AI cs.LG
Reinforcement Learning via Conservative Agent for Environments with Random Delays
Department of Convergence IT Engineering, Pohang University of Science and Technology(融合信息技术工程系,POSTECH);Department of Electrical Engineering, Pohang University of Science and Technology(电气工程系,POSTECH)
本研究提出保守代理,通过将随机延迟环境转换为等效恒定延迟环境,提升连续控制任务中的渐近性能和样本效率。
2026-01-04 cs.AI cs.LG
A Benchmark Environment for Offline Reinforcement Learning in Racing Games
University of Florence(佛罗伦萨大学);SEED - Electronic Arts (EA)(SEED - 美国艺电公司)
该研究提出了基于Unity 3D开发的赛车游戏ORL基准环境OfflineMania,提供多规模多能力策略数据集,并为各类RL方法建立基准,推动ORL在游戏等场景的研究。
2024-07-12 cs.AI cs.LG
ARCLE: The Abstraction and Reasoning Corpus Learning Environment for Reinforcement Learning
Gwangju Institute of Science and Technology(光州科学技术院);Korea University(高丽大学)
本文提出ARCLE强化学习环境以应对抽象与推理语料库(ARC)的归纳推理挑战,通过近端策略优化、非分解策略和辅助损失有效缓解了动作空间和目标达成问题,并提出了MAML、GFlowNets和世界模型等未来研究方向。
2024-07-30 cs.AI cs.LG
Graph Neural Networks and Reinforcement Learning for Behavior Generation in Semantic Environments
fortiss GmbH(fortiss有限责任公司);Technische Universität München(慕尼黑工业大学)
行为生成中使用的大多数强化学习方法利用向量信息作为输入。然而,这需要网络具有预定义的输入大小-在语义环境中,这意味着假设车辆的最大数量。此外,这种矢量表示对于车辆的顺序和数量不是不变的。为了减轻上述缺点,我们提出将图神经网络与演员-评论家强化学习相结合。由于图神经网络将相同的网络应用于每个车辆并聚合传入的边缘信息,因此它们对车辆的数量和顺序是不变的。这使得它们成为语义环境(由对象列表组成的环境)中网络的理想候选者。图神经网络还具有其它一些优点,使其更适合于语义环境。关系信息是显式给出的,不必进行推断。此外,图神经网络通过网络传播信息,可以收集更高程度的信息。我们证明了我们的方法使用高速公路换道的情况下,比较性能的图神经网络传统的。我们表明,图神经网络能够处理的情况下,不同数量和顺序的车辆在训练和应用。
2020-06-22 cs.LG cs.RO
Provably Safe Deep Reinforcement Learning for Robotic Manipulation in Human Environments
Technical University of Munich(慕尼黑工业大学)
深度强化学习(RL)在机械手的运动规划中已经显示出有希望的结果。然而,没有方法保证高度动态的障碍物,如人类,在基于RL的机械手控制的安全。这种缺乏正式的安全保证阻止了RL在现实世界的人类环境中的机械手的应用。因此,我们提出了一种屏蔽机制,确保ISO验证的人类安全,同时在机械手上训练和部署RL算法。我们利用人类和机械手的快速可达性分析,以保证机械手在人类进入其范围之前完全停止。我们提出的方法通过防止情节结束冲突来保证安全性并显着提高RL性能。我们证明了我们提出的方法在模拟使用人体运动捕捉数据的性能。
2022-05-12 cs.AI cs.RO
Efficient Adaptation of Reinforcement Learning Agents to Sudden Environmental Change
Georgia Institute of Technology(佐治亚理工学院)
针对深度强化学习在部署环境突变时难以高效适应且易遗忘先验知识的问题,本论文提出在线适应需具备优先探索采样和结构化知识选择性保留两项能力。
2025-05-15 cs.AI cs.LG
Robot in a China Shop: Using Reinforcement Learning for Location-Specific Navigation Behaviour
机器人需要能够在多种不同的环境中工作。即使在执行类似的任务时,也应该部署不同的行为以最好地适应当前环境。在本文中,我们提出了一种新的方法来导航,它被视为一个多任务学习问题。这使机器人能够学习在不同环境下的视觉导航任务中表现不同,同时还可以学习跨环境的共享专业知识。我们在模拟环境和真实数据中评估了我们的方法。我们的方法使我们的系统收敛,训练时间减少了26%,同时也提高了准确性。
2021-06-02 cs.LG cs.RO
Transformer-Based Reinforcement Learning for Autonomous Orbital Collision Avoidance in Partially Observable Environments
Université Paris-Saclay, CentraleSupélec Engineering School, Department of Industrial Engineering(巴黎萨克雷大学,中央超导工程学院,工业工程系)
本文提出一种基于Transformer的强化学习框架,用于解决部分可观测环境下自主轨道避碰问题,通过结合可配置相遇模拟器、距离依赖观测模型和序列状态估计器,利用Transformer架构有效处理噪声和间歇性观测。
2026-02-05 cs.AI cs.LG
An Open-Source Multi-Goal Reinforcement Learning Environment for Robotic Manipulation with Pybullet
Cardiff University(卡迪夫大学)
这项工作重新实现了OpenAI Gym多目标机器人操作环境,最初基于商业Mujoco引擎,到开源Pybullet引擎。通过比较后见之明经验重放辅助深度确定性策略梯度代理在两种环境中的性能,我们证明了我们成功地重新实现了原始环境。此外,我们为用户提供新的API,通过可定制的摄像头和内置的手持摄像头访问联合控制模式、图像观察和目标。我们进一步设计了一组多步骤,多目标,长视野和稀疏奖励的机器人操作任务,旨在启发新的目标条件强化学习算法,这样的挑战。我们使用一个简单的,基于人类先验的课程学习方法来基准多步操作任务。还提供了关于这类任务的未来研究机会的讨论。
2021-05-12 cs.LG cs.RO