Unifying Cardiovascular Modelling with Deep Reinforcement Learning for Uncertainty Aware Control of Sepsis Treatment
University of Pittsburgh(匹兹堡大学);University of Pittsburgh School of Medicine(匹兹堡大学医学院);Carnegie Mellon University(卡内基梅隆大学);McGowan Institute for Regenerative Medicine(麦高恩再生医学研究所)
脓毒症是对感染或严重组织损伤的潜在威胁生命的炎症反应。它具有高度可变的临床过程,需要持续监测患者的状态,以指导静脉输液和血管加压药的管理以及其他干预措施。尽管经过几十年的研究,专家们仍然对最佳治疗方法存在争议。在这里,我们首次将分布式深度强化学习与机械生理模型相结合,以找到个性化的脓毒症治疗策略。我们的方法通过利用已知的心血管生理学来处理部分可观测性,引入了一种新的生理学驱动的递归自动编码器,并量化了其自身结果的不确定性。此外,我们引入了一个框架,不确定性意识的决策支持与人类在循环中。我们表明,我们的方法学习生理上可解释的,强大的政策,与临床知识是一致的。此外,我们的方法一致地识别导致死亡的高风险状态,这可能从更频繁的血管加压药给药中受益,为未来的研究提供有价值的指导
2021-06-12 cs.AI cs.LG q-bio.QM
Investigating Reinforcement Learning Agents for Continuous State Space Environments
Georgia Institute of Technology(佐治亚理工学院)
给定一个具有连续状态空间和离散动作的环境,我们研究使用双深度Q学习强化代理来使用LunarLander-v2 OpenAI健身房环境找到最优策略。
2019-03-11 cs.AI
Modelling Customer Trajectories with Reinforcement Learning for Practical Retail Insights
McGill University(麦吉尔大学);Mila - Quebec AI Institute(魁北克人工智能研究所)
本文提出了一种基于智能体的建模框架,将客户轨迹预测转化为最大熵强化学习问题,以更准确地反映具有有限理性的客户行为,从而提供更精确的冲动购买率和货架交通密度估计。
2026-05-18 cs.AI cs.LG
Multitask Reinforcement Learning for Assisting Choice Model Specification
Delft University of Technology(代尔夫特理工大学);University of Leeds(利兹大学)
本文提出多任务强化学习框架Delphos,通过跨数据集共享建模经验,实现离散选择模型的自动设定,减少试错并保持建模者控制。
2026-09-17 cs.AI econ.GN q-fin.EC
Why Online Reinforcement Learning is Causal
Simon Fraser University(西蒙菲莎大学);University of Waterloo(滑铁卢大学)
本文论证在线强化学习中条件概率具有因果性,明确因果建模最能发挥作用的场景是离线强化学习,并形式化了核心论点,介绍了离线RL中利用因果模型的相关方法。
2024-07-10 cs.AI cs.LG
Modelling crypto markets by multi-agent reinforcement learning
INSERM(法国国家健康与医学研究院);École Normale Supérieure(巴黎高等师范学院);Higher School of Economics(高等经济学院)
本研究提出基于多智能体强化学习的加密货币市场模拟模型,通过赋予智能体RL技术并利用Binance上153种加密货币数据进行校准,准确模拟了市场微观结构及牛熊市中的关键行为。
2024-02-16 cs.AI cs.GT cs.MA
Reinforcement Learning based Path Exploration for Sequential Explainable Recommendation
University of Technology Sydney(悉尼科技大学);Tongji University(同济大学);Wuhan University of Technology(武汉理工大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
由于知识图谱提供了丰富的信息,基于路径的可解释推荐系统的最新进展引起了越来越多的关注。大多数现有的可解释的推荐只利用静态的知识图谱,而忽略了动态的用户项演化,导致不太令人信服和不准确的解释。虽然有一些工作,认识到建模用户的时间顺序行为可以提高性能和可解释性的推荐系统,他们中的大多数要么只专注于建模用户的顺序交互路径内或独立和单独的推荐机制。本文提出了一种新的基于强化学习的时间元路径引导可解释推荐(TMER-RL),它利用带有注意力机制的连续项之间的强化项-项路径建模,在动态知识图谱上对动态用户-项演化进行顺序建模,以实现可解释推荐。与现有的作品,使用大量的递归神经网络模型的时间信息相比,我们提出了简单而有效的神经网络来捕捉用户的历史项目的功能和基于路径的上下文来表征下一个购买的项目。在两个真实世界数据集上对TMER进行的广泛评估显示,与最近的强基线相比,TMER具有最先进的性能。
2021-11-24 cs.AI cs.IR
Virtual-Taobao: Virtualizing Real-world Online Retail Environment for Reinforcement Learning
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机科学与技术系(注:此处按原文提取,实际该实验室属于南京大学));Alibaba Group(阿里巴巴集团)
在物理世界任务中应用强化学习极具挑战性。在物理环境中,如当前强化学习方法所要求的,对大量试验进行采样通常是不可行的。本文报告了我们的项目使用强化学习更好的商品搜索在淘宝,最大的在线零售平台之一,同时具有高采样成本的物理环境。我们提出了一种方法,而不是直接在淘宝上训练强化学习:首先,我们建立虚拟淘宝,通过建议的GAN-SD(GAN for Simulating Distributions)和MAIL(multi-agent adversarial模仿学习)从历史客户行为数据中学习的模拟器,然后,我们训练虚拟淘宝策略,没有物理成本,其中ANC(Action Norm Constraint)策略被提出来减少过拟合。在实验中,虚拟淘宝是从数以亿计的客户记录中训练出来的,并将其属性与真实环境进行了比较。结果表明,虚拟淘宝忠实地恢复了现实环境的重要属性。我们还表明,在虚拟淘宝训练的政策可以有显着优越的在线性能比传统的监督方法。我们希望我们的工作可以为强化学习在复杂物理环境中的应用提供一些启示。
2018-05-25 cs.AI
Environments for Lifelong Reinforcement Learning
Mila(米拉研究所);McGill University(麦吉尔大学);Université de Montréal(蒙特利尔大学)
为了实现通用人工智能,强化学习(RL)代理不仅要学习优化特定任务的回报,还要不断构建更复杂的技能,并构建他们对世界的知识,而不会忘记已经学到的东西。在本文中,我们讨论了所需的特征的环境,可以支持终身强化学习代理的培训和评估,审查现有的环境,从这个角度来看,并提出建议,在未来设计合适的环境。
2018-12-06 cs.AI cs.LG
Natural-gas storage modelling by deep reinforcement learning
Università Roma Tre(罗马三大学);Banca d’Italia(意大利银行)
本文提出GasRL模拟器,结合天然气市场校准与深度强化学习训练的存储策略,发现SAC算法在实现盈利、市场出清和价格稳定等目标上表现优异,且能真实复现价格动态,并验证了欧盟最低存储阈值对提升市场韧性的积极作用。
2025-11-04 cs.AI cs.CE cs.LG
Storehouse: a Reinforcement Learning Environment for Optimizing Warehouse Management
Vicomtech(维康科技);Politecnico di Milano(米兰理工大学)
由于新的数据智能技术,仓库管理系统一直在发展和改进。然而,当前的许多优化都已应用于特定情况或非常需要手动交互。这就是强化学习技术发挥作用的地方,为当前的优化策略提供自动化和适应性。在本文中,我们提出了Storehouse,一个可定制的环境,概括了强化学习的仓库模拟的定义。我们还验证了这种环境对国家的最先进的强化学习算法,并比较这些结果与人类和随机的政策。
2022-07-21 cs.AI cs.LG
ToyBox: Better Atari Environments for Testing Reinforcement Learning Agents
Smith College(史密斯学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
一个被广泛接受的原则是,没有测试的软件有bug。测试强化学习代理是特别困难的,因为代理和环境的随机性,最先进的模型的复杂性,以及其预测的顺序性。最近,Arcade学习环境(ALE)已成为深度学习研究中使用最广泛的基准套件之一,最先进的强化学习(RL)代理已被证明在许多ALE任务上通常等于或超过人类表现。由于ALE是基于原始Atari游戏的仿真,因此环境不提供内部游戏状态的语义有意义的表示。这意味着ALE作为支持测试或模型内省的环境的实用性有限。我们提出了ToyBox,这些游戏的重新实现的集合,解决了这个关键问题,并使强大的测试RL代理。
2019-01-25 cs.AI
Towards a Deep Reinforcement Learning Approach for Tower Line Wars
University of Agder(阿格德大学)
近年来,强化学习取得了许多突破,最值得注意的可能是深度强化学习成功地玩并赢得了相对先进的计算机游戏。毫无疑问,当第一个AI掌握击败专业实时战略游戏玩家所需的复杂游戏时,深度强化学习将发挥重要作用。要做到这一点,需要有一个针对和促进人工智能研究的游戏环境,特别是深度强化学习。一些游戏环境已经存在,然而,这些要么过于简单,如雅达利2600或复杂,如暴雪娱乐的星际争霸II。我们提出了一个介于Atari 2600和星际争霸II之间的游戏环境,特别针对深度强化学习算法的研究。游戏环境是暴雪娱乐公司《魔兽争霸III》中塔线战争的一个变体。此外,作为环境可以包含深度增强算法的概念证明,我们提出并应用了深度Q增强架构。该架构简化了状态空间,使其适用于Q学习,并反过来提高了性能相比,目前最先进的方法。我们的实验表明,所提出的架构可以很好地学习游戏环境,并且比标准的Deep Q学习高出33%,这反过来证明了游戏环境的有用性。
2017-12-17 cs.AI
Dex: Incremental Learning for Complex Environments in Deep Reinforcement Learning
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
本文介绍了Dex,一个强化学习环境工具包,专门用于训练和评估持续学习方法以及一般的强化学习问题。我们还提出了一种新的增量学习的持续学习方法,其中使用从第一次解决类似的更容易的环境中学习到的最佳权重初始化来解决具有挑战性的环境。我们表明,增量学习可以产生比标准方法优越得多的结果,通过在十个Dex环境中提供一个强大的基线方法。最后,我们开发了一种显着性方法来定性分析强化学习,它显示了增量学习对网络注意力的影响。
2017-06-19 cs.AI cs.LG stat.ML
Simulated Autonomous Driving in a Realistic Driving Environment using Deep Reinforcement Learning and a Deterministic Finite State Machine
Goethe University(歌德大学);Norwegian University of Science and Technology(挪威科技大学)
在自动驾驶领域,控制车辆的系统可以被视为在复杂环境中行动的智能体,因此自然适合强化学习的现代框架。然而,学习驾驶可能是一项具有挑战性的任务,目前的结果往往局限于简化的驾驶环境。为了推进该领域,我们提出了一种方法,根据其当前的驾驶情况自适应地限制代理的动作空间,并表明它可以用于在基于深度Q网络算法的现实环境中快速学习驾驶。
2018-11-23 cs.AI
The Chef's Hat Simulation Environment for Reinforcement-Learning-Based Agents
Istituto Italiano di Tecnologia(意大利理工学院);University of Technology Eindhoven(埃因霍温理工大学)
在人机交互(HRI)环境中实现社会交互是一项非常具有挑战性的任务。目前的研究大多集中在绿野仙踪的方法,忽视了智能机器人的最新发展。另一方面,真实世界的场景通常不提供学习算法所需的必要控制和再现性。在本文中,我们提出了一个虚拟的仿真环境,实现了厨师的帽子卡游戏,旨在用于HRI的情况下,提供一个可控的和可重复的情况下强化学习算法。
2020-03-12 cs.AI
Towards Model-based Reinforcement Learning for Industry-near Environments
University of Agder(阿格德大学)
深度强化学习在过去的几年里已经显示出在复杂的模拟环境中学习接近最优控制的巨大潜力,几乎没有可见的信息。Rainbow(Q-Learning)和PPO(Policy Optimization)在各种任务中表现出色,包括Atari 2600、MuJoCo和Roboschool测试套件。虽然这些算法从根本上是不同的,但两者都具有高方差、低样本效率和超参数敏感性,这在实践中使这些算法在行业中的关键操作中行不通。另一方面,基于模型的强化学习侧重于学习环境中状态之间的转换动态。如果这些环境动态是充分学习,基于模型的方法可能是最有效的方法,学习代理在环境中最佳地采取行动。基于模型的强化特性非常适合采样速度缓慢的现实环境和关键任务操作。在仓储行业,越来越多的人希望最大限度地缩短时间并最大限度地提高产量。目前,自主智能体的行为次优使用手工制作的政策的状态空间的重要部分。在本文中,我们提出了Dreaming变分自编码器v2(DVAE-2),这是一种基于基于模型的强化学习算法,可以提高样本效率,从而使低样本效率的算法在现实环境中更好地发挥作用。我们介绍了深仓库,一个模拟环境的行业近测试的自主智能体在基于网格的仓库。最后,我们说明了DVAE-2提高了样本效率的深度仓库相比,无模型的方法。
2019-07-27 cs.AI
The PlayStation Reinforcement Learning Environment (PSXLE)
University of Cambridge(剑桥大学)
我们提出了一个新的基准测试环境,用于评估强化学习(RL)算法:PlayStation学习环境(PSXLE),一个经过修改的PlayStation模拟器,可以暴露一个简单的控制API,从而实现丰富的游戏状态表示。我们认为,PlayStation作为一个合适的进展代理评估,并提出了这样的评估框架。我们为PlayStation游戏构建了一个支持OpenAI Gym接口的动作驱动抽象,并通过运行OpenAI Baselines演示了它的使用。
2019-12-12 cs.AI cs.LG
Learning to Design Games: Strategic Environments in Reinforcement Learning
Peking University(北京大学);University College London(伦敦大学学院);Shanghai Jiao Tong University(上海交通大学)
在典型的强化学习(RL)中,环境被假定为给定的,学习的目标是通过与环境的交互来识别代理采取行动的最优策略。在本文中,我们扩展了这种设置,考虑环境不是给定的,但可控的,可学习的,通过其与代理的互动在同一时间。这种扩展是由现实世界中的环境设计场景,包括游戏设计,购物空间设计和交通信号设计的动机。从理论上讲,我们找到了一个对偶马尔可夫决策过程(MDP)w.r.t.环境对w.r.t.代理,并导出优化参数化环境的策略梯度解决方案。此外,不连续的环境中提出了一个通用的生成框架。我们的迷宫游戏设计任务的实验表明,所提出的算法在生成不同的和具有挑战性的迷宫对各种代理设置的有效性。
2019-10-23 cs.AI
Safe Continual Reinforcement Learning Methods for Nonstationary Environments. Towards a Survey of the State of the Art
McMaster Centre for Software Certification(麦克斯特软件认证中心);Department of Computing and Software(计算与软件系);McMaster University(麦克斯特大学)
本文综述了非平稳环境下安全持续强化学习的最新方法,探讨了理论挑战和未来发展方向。
2026-01-08 cs.AI cs.LG
Kalman filter control in the reinforcement learning framework
在大脑建模中使用卡尔曼滤波器模型的兴趣越来越大。反过来,使卡尔曼滤波器适合强化学习是相当重要的。在通常的最优控制公式中,它是通过求解向后递归来离线计算的。在本技术说明中,我们表明,线性二次高斯卡尔曼滤波器模型的轻微修改允许最优控制的在线估计,并使桥梁强化学习。此外,用于值估计的学习规则假定由值估计的误差加权的Hebbian形式。
2003-01-09 cs.AI cs.LG
Improving generalization to new environments and removing catastrophic forgetting in Reinforcement Learning by using an eco-system of agents
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Amsterdam UMC(阿姆斯特丹大学医学中心)
使强化学习(RL)智能体适应看不见的环境是一项艰巨的任务,因为训练环境中存在典型的过拟合。RL代理通常能够解决非常接近训练环境的环境,但当环境变得非常不同时,它们的性能会迅速下降。当智能体在新的环境中接受再训练时,第二个问题出现了:存在灾难性遗忘的风险,即在以前见过的环境中的表现受到严重阻碍。本文提出了一种新的方法,利用生态系统的代理,以解决这两个问题。据此,个体代理的(有限的)适应能力被收获,以建立一个高度适应性的生态系统。
2022-07-01 cs.AI cs.MA
gym-DSSAT: a crop model turned into a Reinforcement Learning environment
INRIA(法国国家信息与自动化研究所)
用强化学习(RL)解决现实世界的顺序决策问题通常从使用模拟真实条件的模拟环境开始。我们提出了一种新的开源RL环境,用于现实的作物管理任务。gym-DSSAT是一个与农业技术转让决策支持系统(DSSAT)的gym接口,DSSAT是一个高保真作物模拟器。DSSAT已经发展了30多年,并得到农学家的广泛认可。gym-DSSAT具有基于真实世界玉米实验的预定义模拟。环境是一样容易使用任何健身房环境。我们使用基本的RL算法提供性能基线。我们还简要概述了如何将用Fortran编写的单片DSSAT模拟器转换为Python RL环境。我们的方法是通用的,可以应用到类似的模拟器。我们报告非常初步的实验结果表明,RL可以帮助研究人员提高施肥和灌溉实践的可持续性。
2022-09-27 cs.AI
Instruction Following with Goal-Conditioned Reinforcement Learning in Virtual Environments
AIRI(人工智能研究所);MIPT(莫斯科物理技术学院);FRC CSC RAS(俄罗斯科学院联邦研究中心计算机科学与控制)
本研究针对虚拟环境中智能体执行复杂语言指令的难题,提出结合大语言模型语言理解与强化学习动作执行的分层框架,在IGLU和Crafter两类环境中验证了方法的有效性。
2024-07-12 cs.AI
DeepSim: A Reinforcement Learning Environment Build Toolkit for ROS and Gazebo
Amazon Web Services(亚马逊云科技)
我们提出了DeepSim,一个用于ROS和Gazebo的强化学习环境构建工具包。它允许机器学习或强化学习研究人员访问机器人领域,并在ROS和Gazebo仿真环境中创建复杂且具有挑战性的自定义任务。该工具包提供了高级功能的构建块,如冲突检测,行为控制,域随机化,产卵器等。DeepSim旨在通过提供Python接口来减少机器人和机器学习社区之间的边界。在本文中,我们讨论了DeepSim Toolkit的组件和设计决策。
2022-05-17 cs.AI cs.LG cs.RO
Environment Design for Inverse Reinforcement Learning
The Alan Turing Institute(图灵研究所);Université de Neuchâtel(纳沙泰尔大学)
针对逆强化学习样本效率低、难适应环境动力学微小变化的问题,提出自适应环境设计框架,通过学习者主动选择环境与专家交互,在精确和近似推理下均提升了样本效率与鲁棒性。
2024-05-14 cs.AI cs.LG
SuperSuit: Simple Microwrappers for Reinforcement Learning Environments
University of Maryland, College Park(马里兰大学帕克分校)
在强化学习中,包装器普遍用于转换模型和环境之间传递的信息。尽管它们无处不在,但没有一个库能够合理地实现所有流行的预处理方法。这会导致不必要的bug、代码效率低下和浪费开发人员的时间。因此,我们引入了SuperSuit,一个包含所有流行包装器的Python库,以及可以轻松将lambda函数应用于观察/动作/奖励的包装器。它与标准的Gym环境规范以及多代理环境的PettingZoo规范兼容。这个库可以在https://github.com/PettingZoo-Team/SuperSuit上找到,并且可以通过pip安装。
2020-08-17 cs.AI cs.LG
A Reinforcement Learning Environment for Mathematical Reasoning via Program Synthesis
Cash App Labs(Cash App实验室);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们将DeepMind数学数据集转换为强化学习环境,将其解释为程序合成问题。在环境中采取的每个动作都将运算符或输入添加到离散计算图中。计算正确答案的图产生正奖励,从而能够优化策略以构建以问题语句为条件的计算图。基线模型使用Double DQN在各种问题类型的子集上进行训练,展示了学习正确构建图形的能力,尽管存在组合爆炸和噪声奖励的挑战。
2021-07-16 cs.AI cs.LG
XRoute Environment: A Novel Reinforcement Learning Environment for Routing
Sun Yat-sen University(中山大学)
针对强化学习布线方法难以扩展到商业 EDA 规模的问题,本文提出 XRoute Environment,支持端到端网络选择与布线、分布式实验及多种基准,并给出 PPO、DQN 与 TritonRoute 的网络排序基线。
2023-06-05 cs.AI
Attention-based Deep Reinforcement Learning for Multi-view Environments
Wayne State University(韦恩州立大学)
在强化学习算法中,通常只考虑环境的单个视图来做出所需的决策;然而,利用环境的多个视图可以帮助促进复杂策略的学习。由于视图可能经常遭受部分可观察性,因此它们提供的观察可以具有不同的重要性级别。在本文中,我们提出了一种新的基于注意力的深度强化学习方法在多视图环境中,其中每个视图可以提供各种代表性的信息的环境。具体来说,我们的方法学习一个政策,动态地参加的意见,环境的基础上,他们在决策过程中的重要性。我们评估我们的方法的性能TORCS赛车模拟器和其他三个复杂的3D环境中的障碍。
2019-05-10 cs.AI cs.LG stat.ML
PowerGym: A Reinforcement Learning Environment for Volt-Var Control in Power Distribution Systems
Princeton University(普林斯顿大学);Iowa State University(爱荷华州立大学);Siemens Technology(西门子科技)
我们介绍PowerGym,一个开源的强化学习环境,用于配电系统中的电压无功控制。遵循OpenAI Gym API,PowerGym的目标是在物理网络约束下最大限度地减少功率损耗和电压违规。PowerGym提供四种基于IEEE基准系统的分布式系统(13总线、34总线、123总线和8500节点),以及针对各种控制困难的设计变体。为了促进推广,PowerGym为使用其分发系统的用户提供了详细的定制指南。作为演示,我们研究了PowerGym中最先进的强化学习算法,并通过研究控制器行为来验证环境。存储库位于\url{https://github.com/siemens/powergym}。
2022-03-14 cs.AI cs.LG
Reinforcement Learning for Learning of Dynamical Systems in Uncertain Environment: a Tutorial
Tarbiat Modares University(塔比亚特·莫达雷斯大学);Hamedan University of Technology(哈马丹工业大学)
本文综述了不确定环境下动态系统学习的无模型强化学习。为此,将回顾马尔可夫决策过程(MDP)。此外,本文还对无模型学习算法中的时间差分学习、Q学习和近似Q学习等学习算法进行了研究,并对各种学习算法的优缺点进行了讨论。每一节中讨论的概念都是用细节和例子来解释的。
2019-05-19 cs.AI cs.LG
Towards Robust Deep Reinforcement Learning against Environmental State Perturbation
Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学)
本文形式化 DRL 的环境状态扰动问题,提出无目标校准攻击与 BAT 防御框架,并通过实验证明其可显著提升智能体在多种场景下的鲁棒性。
2025-06-10 cs.AI cs.LG
Reinforcement Learning in Conflicting Environments for Autonomous Vehicles
Technische Universität München(慕尼黑工业大学)
在这项工作中,我们研究应用强化学习两个著名的决策困境,即纽科姆的问题和囚徒困境。这些问题是自主智能体在与人类交互时所面临的困境的典范。此外,我们认为,一个纽科姆式的配方是更充分的人机交互的情况下,经验表明,未经修改的强化学习算法最终与众所周知的最大期望效用的解决方案。
2016-10-22 cs.AI cs.HC cs.RO
Modelling, Positioning, and Deep Reinforcement Learning Path Tracking Control of Scaled Robotic Vehicles: Design and Experimental Validation
University of Surrey(萨里大学);Polytechnic of Bari(巴里理工大学);Polytechnic of Turin(都灵理工大学)
本文提出了一种用于缩放比例机器人车辆的联邦扩展卡尔曼滤波器(FEKF)和基于专家演示器训练的深度强化学习(DRL)路径跟踪控制器,并通过实验验证了其在定位精度和路径跟踪性能上优于传统基于模型的控制策略。
2024-01-10 cs.AI cs.RO cs.SY
An ocular biomechanics environment for reinforcement learning
Deakin University(迪肯大学);Institute for Intelligent Systems Research and Innovation (IISRI)(智能系统研究与创新研究所(IISRI))
强化学习已通过基于生理学的生物力学模型应用于人类运动,以增加对这些运动的神经控制的见解;它在假肢和机器人的设计中也很有用。在本文中,我们将强化学习的使用扩展到控制眼睛生物力学系统来执行扫视,这是最快的眼球运动系统之一。我们描述了一个眼睛的环境和代理使用深度确定性策略梯度方法进行扫视训练。代理能够匹配期望的眼睛位置,平均偏斜角为3:5+/-1:25度。提出的框架是使用深度强化学习的能力来增强我们对眼部生物力学的理解的第一步。
2020-08-12 cs.AI cs.LG
CaiRL: A High-Performance Reinforcement Learning Environment Toolkit
University of Agder(阿格德大学)
本文解决了迫切需要一个平台,有效地提供了一个框架运行强化学习(RL)的实验。我们提出了CaiRL环境工具包作为一个有效的,兼容的,更可持续的替代训练学习代理,并提出了方法来开发更有效的环境模拟。人们越来越关注发展可持续的人工智能。然而,很少有人努力提高运行环境模拟的效率。最受欢迎的强化学习开发工具包OpenAI Gym是使用Python构建的,Python是一种功能强大但速度较慢的程序设计语言。我们提出了一个用C++编写的工具包,具有相同的灵活性,但工作速度要快几个数量级,以弥补Python的低效率。这将大大减少气候排放。CaiRL还提供了第一个强化学习工具包,该工具包具有内置的JVM和Flash支持,用于运行传统的Flash游戏,以进行强化学习研究。我们在经典的控制基准测试中展示了CaiRL的有效性,并将其执行速度与OpenAI Gym进行了比较。此外,我们还说明了CaiRL可以作为OpenAI Gym的直接替代品,因为减少了环境计算时间,可以利用更快的训练速度。
2022-10-03 cs.AI cs.LG
From Thermal Preference Prediction to Adaptive Thermal Intervention: A Reinforcement Learning Approach Using Physiological and Environmental Sensing
Nottingham Trent University(诺丁汉特伦特大学);York University(约克大学)
针对传统HVAC系统无法捕捉个体生理变异性的问题,提出整合多模态感知与强化学习的两阶段个性化热舒适方法,助力开发更响应的建筑控制策略。
2026-08-24 cs.AI cs.LG
The Dreaming Variational Autoencoder for Reinforcement Learning Environments
University of Agder(阿格德尔大学)
强化学习在仅使用单个神经网络进行价值优化来概括原始感觉数据方面显示出巨大的潜力。在当前最先进的强化学习算法中存在几个挑战,这些挑战阻止它们收敛到全局最优值。这些问题的解决方案可能在于强化学习算法的短期和长期规划、探索和存储管理。游戏通常用于对强化学习算法进行基准测试,因为它们提供了一个灵活、可重复且易于控制的环境。无论如何,很少有游戏具有状态空间,其中探索,记忆和规划的结果很容易被感知。本文提出了梦想的变分自编码器(DVAE),一个神经网络为基础的生成式建模架构,探索在环境中的稀疏反馈。我们进一步提出了深度迷宫,一种新颖而灵活的迷宫引擎,挑战DVAE在部分和完全可观察的状态空间,长期任务,以及确定性和随机性问题。我们展示了初步的发现,并鼓励在生成探索驱动的强化学习方面开展进一步的工作。
2018-10-02 cs.AI cs.LG
Evaluating the Robustness of Deep Reinforcement Learning for Autonomous Policies in a Multi-agent Urban Driving Environment
Simula Research Laboratory(西姆拉研究实验室)
深度强化学习被积极用于在模拟驾驶环境中训练自动驾驶汽车策略。由于各种强化学习算法的大量可用性以及缺乏对不同驾驶场景的系统比较,我们不确定哪些算法在单智能体和多智能体驾驶环境中更有效地训练自动驾驶汽车软件。在基于视觉的自动驾驶中比较深度强化学习的基准框架将为训练更好的自动驾驶汽车策略提供可能性。为了应对这些挑战,我们提供了一个开放且可重用的基准测试框架,用于在单智能体和多智能体环境中对自动驾驶的深度强化学习算法进行系统评估和比较分析。使用该框架,我们进行了离散和连续动作空间深度强化学习算法的比较研究。我们还提出了一个综合的多目标奖励函数,用于评估基于深度强化学习的自动驾驶代理。我们在一个只有视觉的高保真城市驾驶模拟环境中进行实验。结果表明,只有一些深度强化学习算法在各种仅多智能体环境设置中训练时,在单智能体和多智能体场景中表现得更好。例如,基于A3C和TD3的自动驾驶汽车在单智能体和多智能体场景中的更稳健的动作和最小的驾驶错误方面表现相对更好。我们的结论是,不同的深度强化学习算法在不同的场景下表现出不同的驱动和测试性能,这强调了对其进行系统比较分析的必要性。本文提出的基准框架有利于这种比较。
2023-03-23 cs.AI cs.LG cs.MA
Let's Play Again: Variability of Deep Reinforcement Learning Agents in Atari Environments
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Smith College(史密斯学院)
强化学习中的再现是具有挑战性的:来自许多来源的不受控制的随机性,例如学习算法,学习策略和环境本身,导致研究人员使用单个环境的多个随机种子的综合性能指标来报告学习代理的性能。不幸的是,在强化学习代理中仍然存在有害的可变性来源,使得报告常见的汇总统计数据成为不合理的性能指标。我们的实验展示了流行的OpenAI基线存储库中使用的常见代理的可变性。我们将训练后的代理性能报告为分布,而不是点估计。
2019-04-12 cs.AI cs.LG stat.ML
Demonstration-efficient Inverse Reinforcement Learning in Procedurally Generated Environments
Università degli Studi di Firenze(佛罗伦萨大学);University of Cambridge(剑桥大学)
深度强化学习在可以手动设计奖励函数的领域中取得了非常好的效果。与此同时,社区内越来越有兴趣使用基于程序内容生成(PCG)的游戏作为基准环境,因为这种类型的环境非常适合研究域转移下代理的过拟合和泛化。相反,反向强化学习(IRL)可以从专家演示中推断出奖励函数,即使在高维问题上也有很好的结果,但是没有将这些技术应用于过程生成环境的例子。这主要是由于找到一个好的奖励模型所需的演示数量。我们提出了一种基于对抗逆强化学习的技术,可以显着减少PCG游戏中对专家演示的需求。通过使用一组有限的初始种子水平的环境,加上一些修改来稳定训练,我们证明了我们的方法DE-AIRL是演示有效的,并且仍然能够外推推广到全过程域的奖励函数。我们证明了我们的技术在两个程序环境,MiniGrid和DeepCrawl,各种任务的有效性。
2020-12-04 cs.AI cs.LG
Active hypothesis testing in unknown environments using recurrent neural networks and model free reinforcement learning
National and Kapodistrian University of Athens(雅典国立卡波季斯特里安大学)
本文结合深度强化学习与监督学习,提出一种无需环境动态或先验假设的主动序贯假设检验方法,可处理连续动作与观测,并在有限及无限时域中达到或超过 Chernoff 检验。
2023-06-06 cs.AI cs.IT math.IT
Improving Robustness of Deep Reinforcement Learning Agents: Environment Attack based on the Critic Network
IRT SystemX(IRT SystemX 研究所);ISIR(智能系统与机器人研究所);Sorbonne University(索邦大学)
为了提高深度强化学习代理的策略鲁棒性,最近的一系列工作集中在产生环境干扰上。文献中产生有意义的环境扰动的现有方法是对抗性强化学习方法。这些方法将问题设置为主角代理和对手代理之间的双人游戏,主角代理学习在环境中执行任务,对手代理学习通过修改所考虑的环境来干扰主角。主角和对手都是用深度强化学习算法训练的。或者,我们在本文中建议建立基于梯度的对抗攻击,通常用于分类任务,例如,我们应用于主角的评论家网络,以识别环境的有效干扰。而不是学习攻击者的策略,这通常表现为非常复杂和不稳定,我们利用主角的批评网络的知识,在学习过程的每一步动态地复杂化任务。我们表明,我们的方法,而更快,更轻,导致显着更好的改善政策的鲁棒性比现有的方法的文献。
2022-10-03 cs.AI cs.LG
A Robust Policy Bootstrapping Algorithm for Multi-objective Reinforcement Learning in Non-stationary Environments
University of New South Wales(新南威尔士大学)
针对多目标强化学习难以适应非平稳环境的问题,本文提出在线探索偏好空间并鲁棒演化凸策略覆盖集的自举算法,在非平稳环境中显著优于现有方法。
2023-08-18 cs.AI cs.LG cs.RO
Continual Reinforcement Learning via Autoencoder-Driven Task and New Environment Recognition
École Polytechnique Fédérale de Lausanne(瑞士联邦理工学院)
针对无外部变化信号的持续强化学习问题,提出融合策略优化与熟悉度自动编码器的端到端系统,以识别新任务和环境并选择性复用旧知识。
2025-05-13 cs.AI cs.LG
Achieving Stable Training of Reinforcement Learning Agents in Bimodal Environments through Batch Learning
Arca Blanca Ltd.(阿尔卡布兰卡有限公司);Artefact Research Centre(阿特法克特研究中心)
本文针对双峰随机环境下的强化学习挑战,提出一种基于批量更新的表格Q学习方法,并在定价模拟中验证其比传统方法更有效且更具鲁棒性。
2023-07-03 cs.AI cs.LG
Dealing with Sparse Rewards in Reinforcement Learning
University of Sheffield(谢菲尔德大学)
成功地在复杂的环境中导航以获得期望的结果是一项艰巨的任务,直到最近才被认为只有人类才能做到。随着时间的推移,这种认知已经被打破,特别是随着深度强化学习的引入,它大大增加了可以自动化的任务的难度。然而,对于传统的强化学习代理,这需要一个能够提供频繁的外部奖励的环境,这对于许多现实世界的环境是未知的或不可访问的。该项目旨在探索和对比现有的强化学习解决方案,这些解决方案绕过了提供稀疏奖励的环境的困难。不同的强化解决方案将在不同的难度和不同的奖励频率的几个视频游戏环境中实施,以适当地调查这些解决方案的适用性。该项目引入了一种新的强化学习解决方案,结合了两种现有的最先进的稀疏奖励解决方案,好奇心驱动的探索和无监督的辅助任务。
2019-11-11 cs.AI cs.LG stat.ML
Reinforcement Learning for Pollution Detection in a Randomized, Sparse and Nonstationary Environment with an Autonomous Underwater Vehicle
University of Oslo(奥斯陆大学);Norwegian Defence Research Establishment(挪威国防研究机构)
强化学习(RL)算法旨在通过学习最大化奖励的行为来优化问题解决,这是一项在随机和非平稳环境中特别具有挑战性的任务。即使是先进的强化学习算法在这些条件下解决问题的能力也往往有限。在使用自主水下航行器(AUV)搜索水下污染云等应用中,RL算法必须在奖励稀疏的环境中导航,其中行动经常导致零奖励。本文旨在通过重新审视和修改经典的强化学习方法来应对这些挑战,以便在稀疏、随机和非平稳环境中有效地运行。我们系统地研究了大量的修改,包括分层算法的变化,多目标学习,并集成的位置存储器作为外部输出过滤器,以防止状态重访。我们的研究结果表明,修改后的蒙特卡洛方法显着优于传统的Q学习和两个穷举搜索模式,说明其在适应RL复杂环境的潜力。这些发现表明,强化学习方法可以有效地适应随机,非平稳和奖励稀疏的环境中使用。
2025-10-30 cs.AI cs.LG
Extending Environments To Measure Self-Reflection In Reinforcement Learning
The U.S. Securities and Exchange Commission(美国证券交易委员会);InQTel(InQTel公司)
该研究提出可模拟智能体假设行为的扩展强化学习环境,以智能体在这类环境的加权平均性能衡量其自我反思能力,还给出环境示例及能提升部分标准RL智能体在特定扩展环境中性能的简单变换方法。
2022-07-19 cs.AI cs.LG
Adversary agent reinforcement learning for pursuit-evasion
College of Engineering, Peking University(北京大学工学院);State Key Laboratory of Turbulence and Complex Systems(湍流与复杂系统国家重点实验室);The Hong Kong University of Science and Technology(香港科技大学)
提出了一种基于对手智能体的强化学习环境,用于战争迷雾环境下的追逃博弈,具有重要的科学意义和实际应用价值.最流行的学习环境之一,星际争霸,在这里采用和相关的小游戏进行分析,以确定目前的限制,训练对手的代理。的主要贡献包括分析的潜在性能的代理,将控制和微分博弈理论到特定的强化学习环境,并通过扩展当前的星际争霸迷你游戏的对手代理挑战(SAAC)环境的发展。随后的研究展示了使用这种学习环境和有效性的对手代理规避单位。总的来说,拟议的SAAC环境应该有利于追捕逃避研究与快速出现的强化学习技术。最后但同样重要的是,可以在GitHub上找到相应的教程代码。
2021-08-25 cs.AI cs.LG
An Independent Study of Reinforcement Learning and Autonomous Driving
University of Michigan(密歇根大学)
强化学习已经成为近十年来最热门的研究课题之一。它已经在机器人操作、自动驾驶、路径规划、计算机游戏等各个领域得到了应用。我们在这个项目的过程中完成了三项任务。首先,我们研究了表格环境下的Q-学习算法,并将其成功地应用于OpenAi Gym环境Taxi。其次,我们理解并实现了Cart-Pole环境下的深度Q网络算法。第三,我们还研究了强化学习在自动驾驶中的应用,以及与安全检查约束(安全控制器)的结合。我们使用高速公路健身房环境训练了一个粗糙的自动驾驶智能体,并探讨了奖励函数等各种环境配置对智能体训练性能的影响。
2021-08-20 cs.AI cs.RO
Cliff Diving: Exploring Reward Surfaces in Reinforcement Learning Environments
University of Maryland, College Park(马里兰大学帕克分校);Swarm Labs(斯沃姆实验室)
可视化优化景观带来了许多数值优化的基本见解,并对优化技术进行了新的改进。然而,强化学习优化的目标(“奖励表面”)的可视化只针对少数狭窄的上下文生成。这项工作首次展示了Gym中27个最广泛使用的强化学习环境的奖励表面和相关可视化。我们还探索了策略梯度方向的奖励表面,并首次表明许多流行的强化学习环境经常出现“悬崖”(预期回报突然大幅下降)。我们证明,A2C经常“潜水”这些悬崖到参数空间的低回报区域,而PPO避免他们,确认PPO的改进性能比以前的方法流行的直觉。我们还引入了一个高度可扩展的库,使研究人员能够在未来轻松生成这些可视化。我们的研究结果提供了新的直觉来解释现代强化学习方法的成功和失败,我们的可视化以新的方式具体描述了强化学习代理的几种失败模式。
2022-09-21 cs.AI cs.LG
An Actor-Critic-Attention Mechanism for Deep Reinforcement Learning in Multi-view Environments
Wayne State University(韦恩州立大学);AIWAYS AUTO(爱驰汽车)
在强化学习算法中,利用环境的多个视图可以改善复杂策略的学习。在多视图环境中,由于视图可能经常遭受部分可观测性的事实,它们的重要性水平通常是不同的。在本文中,我们提出了一种深度强化学习方法和多视图环境下的注意力机制。每个视图可以提供关于环境的各种代表性信息。通过我们的注意力机制,我们的方法产生一个单一的特征表示的环境给出了它的多个视图。它学习一种策略,根据每个视图在决策过程中的重要性动态地关注每个视图。通过实验,我们表明,我们的方法优于其国家的最先进的基线TORCS赛车模拟器和其他三个复杂的三维环境中的障碍。我们还提供了实验结果来评估我们的方法在噪声条件和部分观测设置的性能。
2019-07-19 cs.AI cs.LG stat.ML