PowerGym: A Reinforcement Learning Environment for Volt-Var Control in Power Distribution Systems
Princeton University（普林斯顿大学）；Iowa State University（爱荷华州立大学）；Siemens Technology（西门子科技）
我们介绍PowerGym，一个开源的强化学习环境，用于配电系统中的电压无功控制。遵循OpenAI Gym API，PowerGym的目标是在物理网络约束下最大限度地减少功率损耗和电压违规。PowerGym提供四种基于IEEE基准系统的分布式系统（13总线、34总线、123总线和8500节点），以及针对各种控制困难的设计变体。为了促进推广，PowerGym为使用其分发系统的用户提供了详细的定制指南。作为演示，我们研究了PowerGym中最先进的强化学习算法，并通过研究控制器行为来验证环境。存储库位于\url{https://github.com/siemens/powergym}。
2022-03-14 cs.AI cs.LG
Reinforcement Learning for Learning of Dynamical Systems in Uncertain Environment: a Tutorial
Tarbiat Modares University（塔比亚特·莫达雷斯大学）；Hamedan University of Technology（哈马丹工业大学）
本文综述了不确定环境下动态系统学习的无模型强化学习。为此，将回顾马尔可夫决策过程（MDP）。此外，本文还对无模型学习算法中的时间差分学习、Q学习和近似Q学习等学习算法进行了研究，并对各种学习算法的优缺点进行了讨论。每一节中讨论的概念都是用细节和例子来解释的。
2019-05-19 cs.AI cs.LG
Towards Robust Deep Reinforcement Learning against Environmental State Perturbation
Department of Computer Science and Technology, Tsinghua University（计算机科学与技术系，清华大学）
本文形式化 DRL 的环境状态扰动问题，提出无目标校准攻击与 BAT 防御框架，并通过实验证明其可显著提升智能体在多种场景下的鲁棒性。
2025-06-10 cs.AI cs.LG
An ocular biomechanics environment for reinforcement learning
Deakin University（迪肯大学）；Institute for Intelligent Systems Research and Innovation (IISRI)（智能系统研究与创新研究所（IISRI））
强化学习已通过基于生理学的生物力学模型应用于人类运动，以增加对这些运动的神经控制的见解;它在假肢和机器人的设计中也很有用。在本文中，我们将强化学习的使用扩展到控制眼睛生物力学系统来执行扫视，这是最快的眼球运动系统之一。我们描述了一个眼睛的环境和代理使用深度确定性策略梯度方法进行扫视训练。代理能够匹配期望的眼睛位置，平均偏斜角为3：5+/-1：25度。提出的框架是使用深度强化学习的能力来增强我们对眼部生物力学的理解的第一步。
2020-08-12 cs.AI cs.LG
CaiRL: A High-Performance Reinforcement Learning Environment Toolkit
University of Agder（阿格德大学）
本文解决了迫切需要一个平台，有效地提供了一个框架运行强化学习（RL）的实验。我们提出了CaiRL环境工具包作为一个有效的，兼容的，更可持续的替代训练学习代理，并提出了方法来开发更有效的环境模拟。人们越来越关注发展可持续的人工智能。然而，很少有人努力提高运行环境模拟的效率。最受欢迎的强化学习开发工具包OpenAI Gym是使用Python构建的，Python是一种功能强大但速度较慢的程序设计语言。我们提出了一个用C++编写的工具包，具有相同的灵活性，但工作速度要快几个数量级，以弥补Python的低效率。这将大大减少气候排放。CaiRL还提供了第一个强化学习工具包，该工具包具有内置的JVM和Flash支持，用于运行传统的Flash游戏，以进行强化学习研究。我们在经典的控制基准测试中展示了CaiRL的有效性，并将其执行速度与OpenAI Gym进行了比较。此外，我们还说明了CaiRL可以作为OpenAI Gym的直接替代品，因为减少了环境计算时间，可以利用更快的训练速度。
2022-10-03 cs.AI cs.LG
From Thermal Preference Prediction to Adaptive Thermal Intervention: A Reinforcement Learning Approach Using Physiological and Environmental Sensing
Nottingham Trent University（诺丁汉特伦特大学）；York University（约克大学）
针对传统HVAC系统无法捕捉个体生理变异性的问题，提出整合多模态感知与强化学习的两阶段个性化热舒适方法，助力开发更响应的建筑控制策略。
2026-08-24 cs.AI cs.LG
The Dreaming Variational Autoencoder for Reinforcement Learning Environments
University of Agder（阿格德尔大学）
强化学习在仅使用单个神经网络进行价值优化来概括原始感觉数据方面显示出巨大的潜力。在当前最先进的强化学习算法中存在几个挑战，这些挑战阻止它们收敛到全局最优值。这些问题的解决方案可能在于强化学习算法的短期和长期规划、探索和存储管理。游戏通常用于对强化学习算法进行基准测试，因为它们提供了一个灵活、可重复且易于控制的环境。无论如何，很少有游戏具有状态空间，其中探索，记忆和规划的结果很容易被感知。本文提出了梦想的变分自编码器（DVAE），一个神经网络为基础的生成式建模架构，探索在环境中的稀疏反馈。我们进一步提出了深度迷宫，一种新颖而灵活的迷宫引擎，挑战DVAE在部分和完全可观察的状态空间，长期任务，以及确定性和随机性问题。我们展示了初步的发现，并鼓励在生成探索驱动的强化学习方面开展进一步的工作。
2018-10-02 cs.AI cs.LG
Demonstration-efficient Inverse Reinforcement Learning in Procedurally Generated Environments
Università degli Studi di Firenze（佛罗伦萨大学）；University of Cambridge（剑桥大学）
深度强化学习在可以手动设计奖励函数的领域中取得了非常好的效果。与此同时，社区内越来越有兴趣使用基于程序内容生成（PCG）的游戏作为基准环境，因为这种类型的环境非常适合研究域转移下代理的过拟合和泛化。相反，反向强化学习（IRL）可以从专家演示中推断出奖励函数，即使在高维问题上也有很好的结果，但是没有将这些技术应用于过程生成环境的例子。这主要是由于找到一个好的奖励模型所需的演示数量。我们提出了一种基于对抗逆强化学习的技术，可以显着减少PCG游戏中对专家演示的需求。通过使用一组有限的初始种子水平的环境，加上一些修改来稳定训练，我们证明了我们的方法DE-AIRL是演示有效的，并且仍然能够外推推广到全过程域的奖励函数。我们证明了我们的技术在两个程序环境，MiniGrid和DeepCrawl，各种任务的有效性。
2020-12-04 cs.AI cs.LG
Improving Robustness of Deep Reinforcement Learning Agents: Environment Attack based on the Critic Network
IRT SystemX（IRT SystemX 研究所）；ISIR（智能系统与机器人研究所）；Sorbonne University（索邦大学）
为了提高深度强化学习代理的策略鲁棒性，最近的一系列工作集中在产生环境干扰上。文献中产生有意义的环境扰动的现有方法是对抗性强化学习方法。这些方法将问题设置为主角代理和对手代理之间的双人游戏，主角代理学习在环境中执行任务，对手代理学习通过修改所考虑的环境来干扰主角。主角和对手都是用深度强化学习算法训练的。或者，我们在本文中建议建立基于梯度的对抗攻击，通常用于分类任务，例如，我们应用于主角的评论家网络，以识别环境的有效干扰。而不是学习攻击者的策略，这通常表现为非常复杂和不稳定，我们利用主角的批评网络的知识，在学习过程的每一步动态地复杂化任务。我们表明，我们的方法，而更快，更轻，导致显着更好的改善政策的鲁棒性比现有的方法的文献。
2022-10-03 cs.AI cs.LG
Continual Reinforcement Learning via Autoencoder-Driven Task and New Environment Recognition
École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院）
针对无外部变化信号的持续强化学习问题，提出融合策略优化与熟悉度自动编码器的端到端系统，以识别新任务和环境并选择性复用旧知识。
2025-05-13 cs.AI cs.LG
Dex: Incremental Learning for Complex Environments in Deep Reinforcement Learning
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
本文介绍了Dex，一个强化学习环境工具包，专门用于训练和评估持续学习方法以及一般的强化学习问题。我们还提出了一种新的增量学习的持续学习方法，其中使用从第一次解决类似的更容易的环境中学习到的最佳权重初始化来解决具有挑战性的环境。我们表明，增量学习可以产生比标准方法优越得多的结果，通过在十个Dex环境中提供一个强大的基线方法。最后，我们开发了一种显着性方法来定性分析强化学习，它显示了增量学习对网络注意力的影响。
2017-06-19 cs.AI cs.LG stat.ML
Achieving Stable Training of Reinforcement Learning Agents in Bimodal Environments through Batch Learning
Arca Blanca Ltd.（阿尔卡布兰卡有限公司）；Artefact Research Centre（阿特法克特研究中心）
本文针对双峰随机环境下的强化学习挑战，提出一种基于批量更新的表格Q学习方法，并在定价模拟中验证其比传统方法更有效且更具鲁棒性。
2023-07-03 cs.AI cs.LG
Reinforcement Learning for Pollution Detection in a Randomized, Sparse and Nonstationary Environment with an Autonomous Underwater Vehicle
University of Oslo（奥斯陆大学）；Norwegian Defence Research Establishment（挪威国防研究机构）
强化学习（RL）算法旨在通过学习最大化奖励的行为来优化问题解决，这是一项在随机和非平稳环境中特别具有挑战性的任务。即使是先进的强化学习算法在这些条件下解决问题的能力也往往有限。在使用自主水下航行器（AUV）搜索水下污染云等应用中，RL算法必须在奖励稀疏的环境中导航，其中行动经常导致零奖励。本文旨在通过重新审视和修改经典的强化学习方法来应对这些挑战，以便在稀疏、随机和非平稳环境中有效地运行。我们系统地研究了大量的修改，包括分层算法的变化，多目标学习，并集成的位置存储器作为外部输出过滤器，以防止状态重访。我们的研究结果表明，修改后的蒙特卡洛方法显着优于传统的Q学习和两个穷举搜索模式，说明其在适应RL复杂环境的潜力。这些发现表明，强化学习方法可以有效地适应随机，非平稳和奖励稀疏的环境中使用。
2025-10-30 cs.AI cs.LG
Extending Environments To Measure Self-Reflection In Reinforcement Learning
The U.S. Securities and Exchange Commission（美国证券交易委员会）；InQTel（InQTel公司）
该研究提出可模拟智能体假设行为的扩展强化学习环境，以智能体在这类环境的加权平均性能衡量其自我反思能力，还给出环境示例及能提升部分标准RL智能体在特定扩展环境中性能的简单变换方法。
2022-07-19 cs.AI cs.LG
Adversary agent reinforcement learning for pursuit-evasion
College of Engineering, Peking University（北京大学工学院）；State Key Laboratory of Turbulence and Complex Systems（湍流与复杂系统国家重点实验室）；The Hong Kong University of Science and Technology（香港科技大学）
提出了一种基于对手智能体的强化学习环境，用于战争迷雾环境下的追逃博弈，具有重要的科学意义和实际应用价值.最流行的学习环境之一，星际争霸，在这里采用和相关的小游戏进行分析，以确定目前的限制，训练对手的代理。的主要贡献包括分析的潜在性能的代理，将控制和微分博弈理论到特定的强化学习环境，并通过扩展当前的星际争霸迷你游戏的对手代理挑战（SAAC）环境的发展。随后的研究展示了使用这种学习环境和有效性的对手代理规避单位。总的来说，拟议的SAAC环境应该有利于追捕逃避研究与快速出现的强化学习技术。最后但同样重要的是，可以在GitHub上找到相应的教程代码。
2021-08-25 cs.AI cs.LG
Cliff Diving: Exploring Reward Surfaces in Reinforcement Learning Environments
University of Maryland, College Park（马里兰大学帕克分校）；Swarm Labs（斯沃姆实验室）
可视化优化景观带来了许多数值优化的基本见解，并对优化技术进行了新的改进。然而，强化学习优化的目标（“奖励表面”）的可视化只针对少数狭窄的上下文生成。这项工作首次展示了Gym中27个最广泛使用的强化学习环境的奖励表面和相关可视化。我们还探索了策略梯度方向的奖励表面，并首次表明许多流行的强化学习环境经常出现“悬崖”（预期回报突然大幅下降）。我们证明，A2C经常“潜水”这些悬崖到参数空间的低回报区域，而PPO避免他们，确认PPO的改进性能比以前的方法流行的直觉。我们还引入了一个高度可扩展的库，使研究人员能够在未来轻松生成这些可视化。我们的研究结果提供了新的直觉来解释现代强化学习方法的成功和失败，我们的可视化以新的方式具体描述了强化学习代理的几种失败模式。
2022-09-21 cs.AI cs.LG
Investigating Reinforcement Learning Agents for Continuous State Space Environments
Georgia Institute of Technology（佐治亚理工学院）
给定一个具有连续状态空间和离散动作的环境，我们研究使用双深度Q学习强化代理来使用LunarLander-v2 OpenAI健身房环境找到最优策略。
2019-03-11 cs.AI
Hierarchical Reinforcement Learning in Complex 3D Environments
DeepMind（深度思维）
分层强化学习（HRL）代理有潜力展示吸引人的能力，如规划和探索与抽象，转移和技能重用。最近的成功与HRL在不同领域提供的证据表明，实际的，有效的HRL代理是可能的，即使现有的代理尚未完全实现HRL的潜力。尽管取得了这些成功，但视觉上复杂的部分可观察的3D环境仍然是HRL代理的挑战。我们使用分层混合离线-在线（H2 O2）来解决这个问题，这是一种分层深度强化学习代理，可以使用自己的经验从头开始发现和学习使用选项。我们发现，在DeepMind Hard Eight任务中，H2 O2与强大的非层次Muesli基线具有竞争力，我们为复杂环境中学习层次代理的问题提供了新的见解。我们的H2 O2的实证研究揭示了以前未被注意的实际挑战，并带来了新的视角，目前的理解层次代理在复杂的领域。
2023-02-28 cs.AI cs.LG
Asymptotic Learnability of Reinforcement Problems with Arbitrary Dependence
我们解决了强化学习的问题，其中观察可能表现出任意形式的随机依赖于过去的观察和行动。智能体的任务是在真实生成环境未知但属于已知可数环境族的情况下获得最佳可能的渐近奖励。我们找到了一些充分条件下存在的代理，达到最好的渐近回报的任何环境中的类环境。我们分析了这些条件的紧密程度，以及它们与强化学习和相关领域中已知的不同概率假设（如马尔可夫决策过程和混合条件）的关系。
2006-03-28 cs.AI cs.LG
Lifelong Incremental Reinforcement Learning with Online Bayesian Inference
Nanjing University（南京大学）；University of New South Wales（新南威尔士大学）
一个长寿的强化学习（RL）代理的核心能力是随着环境的变化逐渐适应其行为，并逐渐建立在以前的经验，以促进未来的学习在现实世界的场景。在本文中，我们提出了终身增量强化学习（LLIRL），一个新的增量算法，有效的终身适应动态环境。我们开发和维护一个包含参数化环境模型的无限混合的库，这相当于在潜在空间中聚类环境参数。混合物上的先验分布被公式化为中国餐馆过程（CRP），该过程在没有任何外部信息的情况下增量地实例化新的环境模型以提前发出环境变化的信号。在终身学习过程中，我们采用期望最大化（EM）算法与在线贝叶斯推理，以完全增量的方式更新混合物。在EM中，E步骤涉及估计环境到集群分配的后验期望，而M步骤更新环境参数以供将来学习。该方法允许所有环境模型根据需要进行调整，其中新模型针对环境变化进行实例化，并且当再次遇到先前看到的环境时检索旧模型。实验表明，LLIRL优于相关的现有方法，并使有效的增量适应各种动态环境的终身学习。
2021-02-12 cs.AI cs.LG
Reactive Reinforcement Learning in Asynchronous Environments
University of Alberta（阿尔伯塔大学）
强化学习（RL）代理和异步环境之间的关系往往被忽视。代理与其环境之间的交互的常用模型，例如马尔可夫决策过程（MDP）或半马尔可夫决策过程（SMDP），没有捕获这样的事实，即在异步环境中，环境的状态可能在代理执行的计算期间改变。在异步环境中，最小化反应时间-代理对观察做出反应所需的时间-也最小化了环境状态在观察之后可能发生变化的时间。在许多环境中，代理的反应时间直接影响任务的性能，允许环境过渡到一个不希望的终端状态或状态，执行所选择的动作是不合适的。我们提出了一类反应式强化学习算法，通过在观察到新的状态信息后立即采取行动来解决异步环境中的这个问题。我们比较了反应SARSA学习算法与传统的SARSA学习算法上的两个异步机器人任务（紧急停止和影响预防），并表明反应RL算法减少了反应时间的代理约算法的学习更新的持续时间。这类新的反应式算法可以促进更安全的控制和更快的决策，而无需对标准学习保证进行任何更改。
2018-02-16 cs.AI cs.LG
L2Explorer: A Lifelong Reinforcement Learning Assessment Environment
Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
尽管强化学习在机器人、游戏和其他复杂领域取得了突破性的进展，但将强化学习应用于关键应用领域中经常出现的不断发展的开放世界问题仍然存在重大挑战。强化学习解决方案在接受训练的数据分布之外的新任务时往往泛化能力较差，这促使人们对持续学习算法产生了兴趣。在对持续学习算法进行研究的同时，还需要有挑战性的环境、精心设计的实验和评估研究进展的指标。我们通过引入一个框架来解决后一种需求，该框架使用终身学习资源管理器（L2Explorer）进行持续的学习开发和评估，这是一种新的，基于Unity的第一人称3D探索环境，可以不断重新配置以生成一系列任务和任务变体，这些任务和任务变体结构化为复杂和不断发展的评估课程。与具有随机组件的程序生成的世界相反，我们开发了一种系统的方法来定义课程，以应对受控的变化，并附带评估传输，性能恢复和数据效率的指标。总之，L2Explorer环境和评估方法提供了一个框架，用于开发开放世界环境中的未来评估方法，并严格评估终身学习的方法。
2022-03-14 cs.AI cs.LG
Reinforcement Learning under Partial Observability Guided by Learned Environment Models
Silicon Austria Labs（奥地利硅实验室）；Graz University of Technology（格拉茨技术大学）
在实际应用中，我们很少能假设系统环境的完全可观测性，尽管这些知识对于确定反应控制系统与其环境的精确相互作用是重要的。因此，我们提出了一种在部分可观察环境中进行强化学习（RL）的方法。虽然假设环境的行为就像一个部分可观察的马尔可夫决策过程与已知的离散行动，我们假设没有关于其结构或转移概率的知识。我们的方法将Q学习与IoAlergia相结合，IoAlergia是一种学习马尔可夫决策过程（MDP）的方法。通过学习MDP模型的环境，从情节的RL代理，我们使RL在部分可观察的领域没有明确的，额外的内存来跟踪以前的相互作用，处理来自部分可观察性的模糊性。相反，我们通过在学习的环境模型上模拟新的经验来跟踪探索的状态，以抽象环境状态的形式为RL提供额外的观察。在我们的评估中，我们报告了我们的方法的有效性及其与六种最先进的具有递归神经网络和固定记忆的深度RL技术相比的良好性能。
2022-06-23 cs.AI cs.LG
DIAMBRA Arena: a New Reinforcement Learning Platform for Research and Experimentation
DIAMBRA
强化学习的最新进展已经导致能够在非常复杂的环境中获得高于人类水平的性能的有效方法。然而，一旦解决，这些环境变得不那么有价值，需要不同或更复杂的情况下的新挑战来支持研究进展。这项工作展示了DIAMBRA Arena，这是一个用于强化学习研究和实验的新平台，它具有一系列高质量的环境，暴露了完全符合OpenAI Gym标准的Python API。它们是具有离散动作和观察的情景任务，由原始像素和额外的数值组成，所有这些都支持单人和双人模式，允许进行标准的强化学习、竞争性多智能体、人类智能体竞争、自我游戏、人在环训练和模仿学习。通过成功训练具有近端策略优化的多个深度强化学习代理，以获得类似人类的行为，证明了软件功能。结果证实了DIAMBRA Arena作为强化学习研究工具的实用性，提供了旨在研究该领域一些最具挑战性的主题的环境。
2022-10-19 cs.AI cs.LG
Optimal Decision-Making in Mixed-Agent Partially Observable Stochastic Environments via Reinforcement Learning
在多智能体相互作用的随机环境中，有限信息或无信息的最优决策是人工智能领域中一个具有挑战性的课题。强化学习（RL）是一种通过预测刺激（如遵循策略的奖励）来获得最佳策略的流行方法。强化学习在单智能体环境中得到了大量的探索，但在多智能体问题中还是一个新生的概念。为此，我提出了几个原则性的无模型和部分基于基于模型的强化学习方法的多智能体设置。在规范的强化学习领域，我介绍了可扩展的扩展蒙特卡洛探索开始部分可观察马尔可夫决策过程（POMDP），被称为MCES-P，在那里我扩展的理论和算法的多智能体设置。我首先检查MCES-P与可能近似正确（PAC）的范围内的多智能体设置，显示MCESP+PAC持有在其他代理的存在。然后，我提出了一个更具样本效率的方法，对抗设置，MCESIP+PAC。对于协作设置，我将MCES-P扩展到Multiagent POMDP，称为MCESMP+PAC。然后，我将探索使用强化学习作为在现实和潜在模型环境中搜索最优值的方法。首先，我探讨了一个参数化的Q学习方法在建模人类学习的原因在一个不确定的，多智能体的环境。接下来，我提出了一个MCES-P的实现，以及图像分割，以创建一个自适应的团队为基础的强化学习技术，积极识别表型表达的水和病原体胁迫在农田中的存在。
2019-01-04 cs.AI cs.LG
Reinforcement Learning via Conservative Agent for Environments with Random Delays
Department of Convergence IT Engineering, Pohang University of Science and Technology（融合信息技术工程系，POSTECH）；Department of Electrical Engineering, Pohang University of Science and Technology（电气工程系，POSTECH）
本研究提出保守代理，通过将随机延迟环境转换为等效恒定延迟环境，提升连续控制任务中的渐近性能和样本效率。
2026-01-04 cs.AI cs.LG
A Benchmark Environment for Offline Reinforcement Learning in Racing Games
University of Florence（佛罗伦萨大学）；SEED - Electronic Arts (EA)（SEED - 美国艺电公司）
该研究提出了基于Unity 3D开发的赛车游戏ORL基准环境OfflineMania，提供多规模多能力策略数据集，并为各类RL方法建立基准，推动ORL在游戏等场景的研究。
2024-07-12 cs.AI cs.LG
ARCLE: The Abstraction and Reasoning Corpus Learning Environment for Reinforcement Learning
Gwangju Institute of Science and Technology（光州科学技术院）；Korea University（高丽大学）
本文提出ARCLE强化学习环境以应对抽象与推理语料库（ARC）的归纳推理挑战，通过近端策略优化、非分解策略和辅助损失有效缓解了动作空间和目标达成问题，并提出了MAML、GFlowNets和世界模型等未来研究方向。
2024-07-30 cs.AI cs.LG
DeepSim: A Reinforcement Learning Environment Build Toolkit for ROS and Gazebo
Amazon Web Services（亚马逊云科技）
我们提出了DeepSim，一个用于ROS和Gazebo的强化学习环境构建工具包。它允许机器学习或强化学习研究人员访问机器人领域，并在ROS和Gazebo仿真环境中创建复杂且具有挑战性的自定义任务。该工具包提供了高级功能的构建块，如冲突检测，行为控制，域随机化，产卵器等。DeepSim旨在通过提供Python接口来减少机器人和机器学习社区之间的边界。在本文中，我们讨论了DeepSim Toolkit的组件和设计决策。
2022-05-17 cs.AI cs.LG cs.RO
Efficient Adaptation of Reinforcement Learning Agents to Sudden Environmental Change
Georgia Institute of Technology（佐治亚理工学院）
针对深度强化学习在部署环境突变时难以高效适应且易遗忘先验知识的问题，本论文提出在线适应需具备优先探索采样和结构化知识选择性保留两项能力。
2025-05-15 cs.AI cs.LG
Transformer-Based Reinforcement Learning for Autonomous Orbital Collision Avoidance in Partially Observable Environments
Université Paris-Saclay, CentraleSupélec Engineering School, Department of Industrial Engineering（巴黎萨克雷大学，中央超导工程学院，工业工程系）
本文提出一种基于Transformer的强化学习框架，用于解决部分可观测环境下自主轨道避碰问题，通过结合可配置相遇模拟器、距离依赖观测模型和序列状态估计器，利用Transformer架构有效处理噪声和间歇性观测。
2026-02-05 cs.AI cs.LG
A Simulation Environment and Reinforcement Learning Method for Waste Reduction
University of Amsterdam（阿姆斯特丹大学）
本文针对易腐商品库存补货中的不确定性，提出基于真实数据的强化学习环境 RetaiL 和分布强化学习算法 GTDQN，以在部分可观测条件下最大化销售并减少浪费。
2023-05-26 cs.AI cs.LG
Reinforcement Learning Generalization with Surprise Minimization
University of Toronto（多伦多大学）
泛化对于深度强化学习算法来说仍然是一个具有挑战性的问题，这些算法通常在同一组确定性游戏环境中进行训练和测试。当测试环境是不可见的和扰动的，但任务的性质保持不变，泛化差距可能会出现。在这项工作中，我们提出并评估了一个惊喜最小化代理的泛化基准，以显示从简单的密度模型中学习到的额外奖励可以在提供恒定熵源和随机性的程序生成的游戏环境中表现出鲁棒性。
2020-07-02 cs.AI cs.LG
CAREL: Instruction-guided reinforcement learning with cross-modal auxiliary objectives
Sharif University of Technology（谢里夫理工大学）
本文提出CAREL框架，通过跨模态辅助损失和指令跟踪方法，提升语言引导目标达成强化学习的样本效率与泛化能力。
2025-09-07 cs.AI cs.LG
A Validation Tool for Designing Reinforcement Learning Environments
Northeastern University（东北大学）；Facebook（脸书）
强化学习（RL）在学术界和科技行业中越来越受到关注，推出了各种有影响力的应用程序和产品。虽然在许多方面正在积极进行研究（例如，离线RL、性能等），许多强化学习的实践者面临着一个很大程度上被忽视的挑战：确定设计的马尔可夫决策过程（MDP）是否有效和有意义。本研究提出一种基于经验的特征分析方法来验证MDP是否是良好的制定。我们认为，适合应用RL的MDP应该包含一组状态特征，这些特征既对动作敏感，又能预测奖励。我们在构建的环境中测试了我们的方法，表明我们的方法可以识别某些无效的环境配方。据我们所知，进行有效性分析的RL问题制定是一个新的方向。我们设想我们的工具将作为一个激励性的例子，帮助从业者更容易地将RL应用于现实世界的问题。
2021-12-10 cs.AI cs.LG
Attention-based Deep Reinforcement Learning for Multi-view Environments
Wayne State University（韦恩州立大学）
在强化学习算法中，通常只考虑环境的单个视图来做出所需的决策;然而，利用环境的多个视图可以帮助促进复杂策略的学习。由于视图可能经常遭受部分可观察性，因此它们提供的观察可以具有不同的重要性级别。在本文中，我们提出了一种新的基于注意力的深度强化学习方法在多视图环境中，其中每个视图可以提供各种代表性的信息的环境。具体来说，我们的方法学习一个政策，动态地参加的意见，环境的基础上，他们在决策过程中的重要性。我们评估我们的方法的性能TORCS赛车模拟器和其他三个复杂的3D环境中的障碍。
2019-05-10 cs.AI cs.LG stat.ML
A Behavior-Aware Approach for Deep Reinforcement Learning in Non-stationary Environments without Known Change Points
Australian Artificial Intelligence Institute (AAII), University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究院）
针对非平稳环境下深度强化学习性能下降的问题，提出行为感知检测与适应（BADA）框架，利用Wasserstein距离检测环境变化并通过行为正则化适应新环境，实验证明其优于现有算法。
2024-05-23 cs.AI cs.LG
Foresight of Graph Reinforcement Learning Latent Permutations Learnt by Gumbel Sinkhorn Network
Beihang University（北京航空航天大学）；Nanyang Technological University（南洋理工大学）
多智能体环境中的协作问题越来越受到人们的重视，为此提出了一些结合图神经网络的强化学习算法来理解智能体之间的相互作用。然而，高度复杂和动态的多智能体环境要求更巧妙的图神经网络，它不仅能全面地表示图的拓扑结构，而且能全面地表示由于智能体的出现、消失和移动而引起的结构的演化过程。为了解决这些问题，本文提出了Gumbel Sinkhorn图注意力强化学习，图注意力网络高度代表了多智能体环境下的底层图拓扑结构，并借助Gumbel Sinkhorn网络通过学习潜在排列，更好地适应图的动态拓扑结构.从经验上讲，模拟结果显示我们提出的图强化学习方法如何通过学习潜在的排列在PettingZoo多智能体环境中优于现有的方法。
2021-10-23 cs.AI cs.LG
CropGym: a Reinforcement Learning Environment for Crop Management
Wageningen University and Research（瓦赫宁根大学及研究中心）
氮肥对环境有不利影响，可以通过优化肥料管理策略来减少。我们实现了一个OpenAI Gym环境，其中强化学习代理可以使用基于过程的作物生长模型来学习施肥管理政策，并确定减少环境影响的政策。在我们的环境中，一个代理训练的近端策略优化算法是更成功地减少环境影响比其他基线代理，我们目前。
2021-04-23 cs.LG
Meta-Reinforcement Learning Using Model Parameters
Ariel University（阿里埃勒大学）
在Meta强化学习中，代理在多个不同的环境中进行训练，并尝试学习可以有效适应新环境的元策略。本文提出了RAMP，一个强化学习代理使用模型参数，利用的思想，一个神经网络训练预测环境动态封装的环境信息。RAMP的构建分为两个阶段：在第一阶段，学习多环境参数化动力学模型。在第二阶段，动态模型的模型参数被用作无模型强化学习代理的多环境策略的上下文。
2022-10-27 cs.LG
Evaluating the Robustness of Deep Reinforcement Learning for Autonomous Policies in a Multi-agent Urban Driving Environment
Simula Research Laboratory（西姆拉研究实验室）
深度强化学习被积极用于在模拟驾驶环境中训练自动驾驶汽车策略。由于各种强化学习算法的大量可用性以及缺乏对不同驾驶场景的系统比较，我们不确定哪些算法在单智能体和多智能体驾驶环境中更有效地训练自动驾驶汽车软件。在基于视觉的自动驾驶中比较深度强化学习的基准框架将为训练更好的自动驾驶汽车策略提供可能性。为了应对这些挑战，我们提供了一个开放且可重用的基准测试框架，用于在单智能体和多智能体环境中对自动驾驶的深度强化学习算法进行系统评估和比较分析。使用该框架，我们进行了离散和连续动作空间深度强化学习算法的比较研究。我们还提出了一个综合的多目标奖励函数，用于评估基于深度强化学习的自动驾驶代理。我们在一个只有视觉的高保真城市驾驶模拟环境中进行实验。结果表明，只有一些深度强化学习算法在各种仅多智能体环境设置中训练时，在单智能体和多智能体场景中表现得更好。例如，基于A3C和TD3的自动驾驶汽车在单智能体和多智能体场景中的更稳健的动作和最小的驾驶错误方面表现相对更好。我们的结论是，不同的深度强化学习算法在不同的场景下表现出不同的驱动和测试性能，这强调了对其进行系统比较分析的必要性。本文提出的基准框架有利于这种比较。
2023-03-23 cs.AI cs.LG cs.MA
Let's Play Again: Variability of Deep Reinforcement Learning Agents in Atari Environments
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Smith College（史密斯学院）
强化学习中的再现是具有挑战性的：来自许多来源的不受控制的随机性，例如学习算法，学习策略和环境本身，导致研究人员使用单个环境的多个随机种子的综合性能指标来报告学习代理的性能。不幸的是，在强化学习代理中仍然存在有害的可变性来源，使得报告常见的汇总统计数据成为不合理的性能指标。我们的实验展示了流行的OpenAI基线存储库中使用的常见代理的可变性。我们将训练后的代理性能报告为分布，而不是点估计。
2019-04-12 cs.AI cs.LG stat.ML
A Robust Policy Bootstrapping Algorithm for Multi-objective Reinforcement Learning in Non-stationary Environments
University of New South Wales（新南威尔士大学）
针对多目标强化学习难以适应非平稳环境的问题，本文提出在线探索偏好空间并鲁棒演化凸策略覆盖集的自举算法，在非平稳环境中显著优于现有方法。
2023-08-18 cs.AI cs.LG cs.RO
Dealing with Sparse Rewards in Reinforcement Learning
University of Sheffield（谢菲尔德大学）
成功地在复杂的环境中导航以获得期望的结果是一项艰巨的任务，直到最近才被认为只有人类才能做到。随着时间的推移，这种认知已经被打破，特别是随着深度强化学习的引入，它大大增加了可以自动化的任务的难度。然而，对于传统的强化学习代理，这需要一个能够提供频繁的外部奖励的环境，这对于许多现实世界的环境是未知的或不可访问的。该项目旨在探索和对比现有的强化学习解决方案，这些解决方案绕过了提供稀疏奖励的环境的困难。不同的强化解决方案将在不同的难度和不同的奖励频率的几个视频游戏环境中实施，以适当地调查这些解决方案的适用性。该项目引入了一种新的强化学习解决方案，结合了两种现有的最先进的稀疏奖励解决方案，好奇心驱动的探索和无监督的辅助任务。
2019-11-11 cs.AI cs.LG stat.ML
Deep Reinforcement Learning with Surrogate Agent-Environment Interface
Wayne State University（韦恩州立大学）
本文提出了一种强化学习中的代理-环境接口（SAEI）。我们还指出，基于概率代理Agent-环境接口的学习提供了任务Agent-环境接口的最优策略。引入代理概率行为，提出了基于SAEI的概率代理行为确定性策略梯度（PSADPG）算法。该算法实现了对离散动作的连续控制。实验表明，PSADPG在初始训练阶段具有随机最优策略的性质，在某些任务上达到了DQN的性能。
2017-11-10 cs.LG
An Actor-Critic-Attention Mechanism for Deep Reinforcement Learning in Multi-view Environments
Wayne State University（韦恩州立大学）；AIWAYS AUTO（爱驰汽车）
在强化学习算法中，利用环境的多个视图可以改善复杂策略的学习。在多视图环境中，由于视图可能经常遭受部分可观测性的事实，它们的重要性水平通常是不同的。在本文中，我们提出了一种深度强化学习方法和多视图环境下的注意力机制。每个视图可以提供关于环境的各种代表性信息。通过我们的注意力机制，我们的方法产生一个单一的特征表示的环境给出了它的多个视图。它学习一种策略，根据每个视图在决策过程中的重要性动态地关注每个视图。通过实验，我们表明，我们的方法优于其国家的最先进的基线TORCS赛车模拟器和其他三个复杂的三维环境中的障碍。我们还提供了实验结果来评估我们的方法在噪声条件和部分观测设置的性能。
2019-07-19 cs.AI cs.LG stat.ML
PufferLib: Making Reinforcement Learning Libraries and Environments Play Nice
针对强化学习中环境、模型与库不兼容的问题，PufferLib提供单行环境包装器与快速向量化功能，支持多类库适配从经典基准到复杂模拟器的数十种环境，且开源并配套完整资源。
2024-06-11 cs.AI cs.LG cs.MA
Safe Reinforcement Learning with Scene Decomposition for Navigating Complex Urban Environments
Stanford University（斯坦福大学）；Honda Research Institute（本田研究院）
在城市环境中导航对自动驾驶汽车来说是一项复杂的任务。他们必须在考虑众多交通参与者的同时安全有效地达到目标。我们提出了一个模块化的决策算法，自主导航交叉口，解决现有的基于规则和强化学习（RL）的方法的挑战。我们首先提出了一个安全的RL算法依赖于模型检查器，以确保安全保证。为了使决策策略对感知错误和遮挡具有鲁棒性，我们引入了一种使用基于学习的方法的信念更新技术。最后，我们使用场景分解的方法来扩展我们的算法，多个交通参与者的环境。我们的经验表明，我们的算法优于基于规则的方法和强化学习技术在一个复杂的交叉口的情况。
2019-04-25 cs.AI cs.LG cs.RO
Comparing Popular Simulation Environments in the Scope of Robotics and Reinforcement Learning
German Aerospace Center (DLR)（德国航空航天中心）；ZAL Center of Applied Aeronautical Research（ZAL应用航空研究中心）
这封信通过一系列基准测试比较了四种不同的、流行的机器人和强化学习（RL）仿真环境的性能。基准场景是根据当前的工业应用精心设计的。考虑到需要尽可能快地运行模拟以减少RL代理的真实训练时间，比较不仅包括不同的模拟环境，还包括不同的硬件配置，从入门级笔记本电脑到双CPU高性能服务器。我们表明，选择的模拟环境受益最多的单核性能。然而，使用多核系统，可以并行运行多个模拟以提高性能。
2021-03-08 cs.AI cs.LG cs.RO
Dynamic Noises of Multi-Agent Environments Can Improve Generalization: Agent-based Models meets Reinforcement Learning
University of Manitoba（曼尼托巴大学）
我们研究了基于代理模型（ABM）的强化学习（RL）环境的好处。虽然ABM是已知的，以提供微观基础模拟的成本计算复杂性，我们经验表明，在这项工作中，他们的非确定性动态可以提高RL代理的泛化。为此，我们研究控制流行病SIR环境的基础上，无论是微分方程或ABMs。数值模拟表明，在基于ABM的动态SIR模型的固有噪声不仅提高了平均奖励，但也允许RL代理推广更广泛的流行病参数。
2022-03-26 cs.AI cs.LG cs.MA
Generative Adversarial Imagination for Sample Efficient Deep Reinforcement Learning
University of Birmingham（伯明翰大学）
强化学习在过去的五年里取得了巨大的进步。深度学习取代传统方法的成功引入，使强化学习能够扩展到非常复杂的领域，在围棋或许多视频游戏等环境中实现超人的性能。尽管在多个领域取得了巨大的成功，但这些新方法存在自身的问题，使它们往往不适用于现实世界的问题。数据效率的极度缺乏，加上巨大的差异和难以执行安全约束，是该领域三个最突出的问题之一。通常，从环境中采样的数百万个数据点对于这些算法收敛到可接受的策略是必要的。本文提出了一种新的生成对抗想象强化学习算法。它利用了最近引入的高效生成对抗模型，以及支持强化学习设置的马尔可夫特性，在内部想象模块中对真实环境的动态进行建模。然后，来自想象的卷展用于在标准强化学习过程中人工模拟真实环境，以避免在真实环境中进行通常昂贵且危险的试验和错误。实验结果表明，该算法比现有的Rainbow DQN算法更经济地利用了来自真实环境的经验，从而向样本高效的深度强化学习迈出了重要一步。
2019-06-10 cs.AI cs.LG stat.ML
Importance of Environment Design in Reinforcement Learning: A Study of a Robotic Environment
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
对特定环境的深入理解在强化学习（RL）中至关重要。为了解决这一问题，本文研究了移动协作机器人助手的决策过程建模的马尔可夫决策过程（MDP）框架。利用非线性贝尔曼最优性方程计算了MDP的最优状态-动作组合。这个方程组可以通过Wolfram Mathematica的计算能力相对容易地求解，其中获得的最佳动作值指向最佳策略。与其他RL算法不同，该方法不近似最优行为，它给出了精确的，显式的解决方案，这为我们的研究提供了坚实的基础。有了这个，我们提供了新的见解来理解RL中的动作选择机制，通过提出各种小的修改，导致不同的最优策略的非常相同的模式。
2021-06-28 cs.AI cs.LG cs.RO
An Empirical Comparison of Neural Architectures for Reinforcement Learning in Partially Observable Environments
Vrije Universiteit Brussel（布鲁塞尔自由大学）
本文探讨了拟合神经Q迭代强化学习在几个部分可观察的环境中的性能，使用三个递归神经网络架构：长短期记忆，门控递归单元和MUT 1，一个递归神经架构从一个池的几千个候选架构演变。一个变种的拟合Q迭代，优势值的基础上，而不是Q值，也探讨了。结果表明，GRU在大多数问题上的表现明显优于LSTM和MUT 1，在学习一个非常好的策略之前，需要更少的训练集和更少的CPU时间。优势学习也往往产生更好的结果。
2015-12-17 cs.AI cs.LG cs.NE
Deep Reinforcement Learning with Successor Features for Navigation across Similar Environments
University of Freiburg（弗莱堡大学）
在本文中，我们考虑的问题，机器人导航在简单的迷宫般的环境中，机器人必须依靠其板载传感器来执行导航任务。特别是，我们感兴趣的解决方案，这个问题，不需要本地化，映射或规划。此外，我们要求我们的解决方案能够快速适应新的情况（例如，改变导航目标和环境）。为了满足这些标准，我们将这个问题定义为一系列相关的强化学习任务。我们提出了一种基于后继特征的深度强化学习算法，该算法可以学习将知识从先前掌握的导航任务转移到新的问题实例。我们的算法大大减少了第一个任务实例解决后所需的学习时间，这使得它很容易适应不断变化的环境。我们验证我们的方法在模拟和真实的机器人实验与Robotino和比较它的一组基线方法，包括经典的基于规划的导航。
2017-07-23 cs.AI cs.LG cs.RO
