How to Use Reinforcement Learning to Facilitate Future Electricity Market Design? Part 2: Method and Applications
本文提出基于强化学习模拟的联合电力市场设计方法,通过马尔可夫博弈模型和MAPPO算法评估市场设计选项,以优化市场运行性能。
2023-05-12 cs.AI cs.GT cs.LG
Temporal Logic Guided Safe Reinforcement Learning Using Control Barrier Functions
使用强化学习来学习控制策略是一个挑战,当任务是复杂的,具有潜在的长期视野。确保充分但安全的勘探对于控制物理系统也至关重要。在本文中,我们使用时序逻辑,以促进规范和学习的复杂任务。我们结合时序逻辑与控制李雅普诺夫函数,以提高勘探。我们整合了控制屏障功能,以保护探索和部署过程。我们开发了一个灵活的和可学习的系统,允许用户指定任务的目标和限制,在不同的形式和不同的水平。该框架还能够利用已知的系统动态和处理未知的环境动态集成无模型学习与基于模型的规划。
2019-03-23 cs.LG stat.ML
Abstraction for Deep Reinforcement Learning
DeepMind(深度思维);Imperial College London(伦敦帝国理工学院);Santa Fe Institute(圣塔菲研究所)
我们在深度强化学习的背景下解决抽象问题。类比推理和联想记忆的各种成熟方法可能会对这个问题产生影响,但由于需要端到端的可微性,它们存在困难。我们回顾了人工智能和机器学习的发展,这些发展可以促进它们的采用。
2022-04-29 cs.AI cs.LG
How to Use Reinforcement Learning to Facilitate Future Electricity Market Design? Part 1: A Paradigmatic Theory
本文提出一种基于强化学习仿真的联合电力市场设计范式理论,通过马尔可夫博弈建模竞价过程,并利用多种RL算法仿真验证,以协调现货、辅助服务和金融市场,提升系统运行安全、经济与环境效益。
2023-05-12 cs.AI cs.LG cs.SY
Recurrent World Models Facilitate Policy Evolution
Google Brain(谷歌大脑);NNAISENSE;The Swiss AI Lab, IDSIA (USI & SUPSI)(瑞士人工智能实验室IDSIA(提契诺大学与瑞士南方应用科学大学))
生成递归神经网络以无监督的方式快速训练,以通过压缩的时空表示对流行的强化学习环境进行建模。世界模型的提取的特征被馈送到通过进化训练的紧凑和简单的策略中,在各种环境中实现最先进的结果。我们还完全在由其内部世界模型生成的环境中训练我们的代理,并将此策略转移回实际环境中。论文互动版,网址:https://worldmodels.github.io
2018-09-04 cs.LG stat.ML
Balancing policy constraint and ensemble size in uncertainty-based offline reinforcement learning
Warwick Medical School, University of Warwick(华威大学华威医学院);WMG, University of Warwick(华威大学华威制造集团);Department of Statistics, University of Warwick(华威大学统计系);Alan Turing Institute(艾伦·图灵研究所)
离线强化学习代理从固定的数据集中寻求最优策略。由于环境相互作用被禁止,智能体面临着重大挑战,即防止价值估计中的错误加剧并随后导致学习过程崩溃。使用集成的不确定性估计通过惩罚高方差值估计来补偿这一点,允许代理基于数据驱动的动作来学习鲁棒的策略。然而,需要大的合奏,以促进足够的惩罚结果在显着的计算开销。在这项工作中,我们研究的作用,政策约束作为一种机制,用于调节不确定性,以及相应的平衡水平的约束和合奏大小。通过将行为克隆纳入政策更新,我们的经验表明,足够的惩罚可以实现一个小得多的合奏大小,大大减少计算需求,同时保留最先进的性能基准任务。此外,我们展示了这样的方法可以促进稳定的在线微调,允许持续的政策改善,同时避免严重的性能下降。
2023-03-26 cs.LG
Benchmarking Model-Based Reinforcement Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);UC Berkeley(加州大学伯克利分校)
基于模型的强化学习(MBRL)被广泛认为具有比无模型RL更有效的样本效率。然而,基于模型的强化学习的研究还不是很标准化。作者在自行设计的环境中进行实验是相当常见的,并且有几个独立的研究路线,有时是封闭源代码或不可复制的。因此,这是一个悬而未决的问题,这些各种现有的MBRL算法如何执行相对于彼此。为了方便MBRL的研究,在本文中,我们收集了广泛的MBRL算法,并提出了超过18个专门为MBRL设计的基准测试环境。我们基准这些算法与统一的问题设置,包括嘈杂的环境。除了编目性能之外,我们还探索和统一了MBRL算法之间的基本算法差异。我们描述了未来MBRL研究的三个关键研究挑战:动力学瓶颈,规划视野困境和提前终止困境。最后,为了最大限度地促进未来对MBRL的研究,我们在http://www.cs.toronto.edu/~tingwuwang/mbrl.html上开源了我们的基准。
2019-07-03 cs.AI cs.LG cs.RO
Exploration for Multi-task Reinforcement Learning with Deep Generative Models
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
多任务强化学习中的探索对于训练智能体推断底层MDP至关重要。许多现有的探索框架,如$E^3$,$R_{max}$,汤普森采样假设一个单一的固定MDP,并不适合系统辨识在多任务设置。我们提出了一种新的方法,以促进探索多任务强化学习使用深度生成模型。我们用低维能量模型来补充我们的方法,以学习底层的MDP分布,并为代理提供弹性和自适应的探索信号。我们在一组新的环境中评估我们的方法,并对我们的结果进行直观的解释。
2016-11-29 cs.AI cs.LG stat.ML
Baconian: A Unified Open-source Framework for Model-Based Reinforcement Learning
School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电子与电气工程学院)
基于模型的强化学习(MBRL)是强化学习(RL)算法中的一种,它通过对系统动态特性进行建模和逼近,提高了采样效率。它已被广泛应用于机器人技术,自动驾驶等研究,尽管它的普及,仍然缺乏一些复杂的和可重用的开源框架,以促进MBRL的研究和实验。为了填补这一空白,我们开发了一个灵活的和模块化的框架,Baconian,它允许研究人员通过自定义或构建我们提供的模块和算法来轻松实现MBRL测试平台。我们的框架可以使用户从零开始重新实现流行的MBRL算法,从而大大节省了用户的MBRL实验的努力。
2021-03-16 cs.AI cs.LG stat.ML
Towards Task-Prioritized Policy Composition
Örebro University(厄勒布鲁大学);McMaster University(麦克马斯特大学)
以优先化的、有序的方式组合学习的策略是期望的,因为它允许模块化设计并通过知识转移促进数据重用。在控制理论中,优先组合是通过零空间控制来实现的,其中低优先级控制动作被投影到高优先级控制动作的零空间中。这种方法目前不适用于强化学习。本文提出了一种新的基于任务优先的强化学习组合框架,其中包含了一个新的概念:强化学习策略的无差异空间。我们的框架有可能促进知识转移和模块化设计,同时大大提高数据效率和数据重用的强化学习代理。此外,我们的方法可以确保高优先级的约束满足,这使得它有希望在机器人等安全关键领域的学习。与零空间控制不同,我们的方法允许学习全局最优策略的复合任务的在线学习在初始复合政策建设后的高级别政策的冷漠空间。
2022-09-20 cs.AI cs.LG
Hierarchical reinforcement learning for efficient exploration and transfer
Universitat Pompeu Fabra(庞培法布拉大学)
稀疏奖励域对于强化学习算法是具有挑战性的,因为在第一次遇到奖励之前需要进行大量的探索。分层强化学习可以通过减少获得奖励之前所需的决策数量来促进探索。在本文中,我们提出了一种新的分层强化学习框架的基础上压缩的不变的状态空间,这是常见的一系列任务。该算法引入了子任务,其中包括由压缩引起的状态分区之间的移动。结果表明,该算法可以成功地解决复杂的稀疏回报域,并转移知识,以解决新的,以前看不见的任务更快。
2020-11-12 cs.AI cs.LG
Transfer Learning in Deep Reinforcement Learning: A Survey
Michigan State University(密歇根州立大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
本文系统综述了深度强化学习中迁移学习方法的最新进展,提出分类框架并分析其目标、方法、兼容主干网络与应用,同时探讨了与其他相关主题的联系及未来挑战。
2023-07-04 cs.AI cs.LG stat.ML
Deep Reinforcement Learning for Clinical Decision Support: A Brief Survey
National University of Singapore(新加坡国立大学);National University Hospital(国立大学医院)
由于人工智能特别是深度学习的最新进展,已经实现了许多数据驱动的决策支持系统,以促进医生提供个性化护理。本文重点研究了深度强化学习(DRL)模型。DRL模型在计算机视觉和游戏(如围棋和Atari游戏)中表现出了人类水平甚至更高的性能。然而,深度强化学习技术在临床决策优化中的采用仍然很少见。我们提出了第一个调查,总结了强化学习算法与深度神经网络(DNN)的临床决策支持。我们还讨论了一些案例研究,其中不同的DRL算法被应用于解决各种临床挑战。我们进一步比较和对比各种DRL算法的优点和局限性,并提出了一个初步的指导,如何选择合适的DRL算法的特定的临床应用。
2019-07-22 cs.AI cs.LG stat.ML
Data-Driven Evaluation of Training Action Space for Reinforcement Learning
Nutanix, Inc(路坦力公司)
强化学习(RL)的训练动作空间选择由于复杂的状态-动作关系而容易发生冲突。为了应对这一挑战,本文提出了一种Shapley启发的方法来训练动作空间分类和排名。为了减少指数时间Shapley计算,该方法包括蒙特卡罗模拟,以避免不必要的探索。使用云基础设施资源调优案例研究的方法的有效性。该方法将搜索空间减少了80%,并将训练动作集分为不可缺少的和不可缺少的两类。此外,它还对不同的训练动作进行排名,以促进高性能但具有成本效益的RL模型设计。所提出的数据驱动方法可扩展到不同的领域,用例和强化学习算法。
2022-04-08 cs.LG
Reinforcement Learning with Quantum Variational Circuits
Rensselaer Polytechnic Institute(伦斯勒理工学院)
近年来,量子计算技术的发展取得了很大进展,与深度强化学习技术的进步平行。这项工作探讨了量子计算促进强化学习问题的潜力。由于量子计算能够利用叠加和纠缠的量子现象,因此相对于传统算法,它在时间和空间复杂度方面提供了重要的潜在改进。具体来说,我们研究了量子变分电路的使用,这是量子机器学习的一种形式。我们给出了量子变分电路中经典数据的编码技术,进一步探讨了DQN和Double DQN的纯量子和混合量子算法。我们的研究结果表明,混合和纯量子变分电路都有能力解决具有较小参数空间的强化学习任务。这些比较是在两个OpenAI Gym环境中进行的:CartPole和Blackjack,这项工作的成功表明了量子机器学习和深度强化学习之间的强大未来关系。
2020-08-28 cs.LG quant-ph stat.ML
Asynchronous Coagent Networks
College of Information and Computer Sciences, University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院)
Coagent策略梯度算法(CPGAs)是一种用于训练Coagent网络的强化学习算法。在这项工作中,我们证明了CPGA收敛到局部最优的政策。此外,我们扩展了先前的理论,包括异步和经常性的coagent网络。这些扩展促进了分层强化学习算法(如option-critic)的直接设计和分析,并消除了为这些算法定制学习规则的复杂推导的需要。
2020-08-10 cs.LG stat.ML
Tianshou: a Highly Modularized Deep Reinforcement Learning Library
Tsinghua University(清华大学);Wandercraft;Ant Group(蚂蚁集团)
在本文中,我们介绍了Tianshou,这是一个高度模块化的Python库,用于深度强化学习(DRL),使用PyTorch作为后端。天寿打算通过提供灵活可靠的DRL算法基础设施来促进研究。它通过统一的界面支持20多种经典算法的在线和离线训练。为了方便相关研究和证明天寿的可靠性,我们发布了天寿的MuJoCo环境基准测试,涵盖了八种具有最先进性能的经典算法。我们在https://github.com/thu-ml/tianshou/上开源了天寿。
2022-08-10 cs.LG
Compression and Localization in Reinforcement Learning for ATARI Games
Carnegie Mellon University(卡内基梅隆大学)
深度神经网络在强化学习领域已经变得司空见惯,但在所需参数的数量方面通常是昂贵的。虽然压缩深度神经网络最近被认为对克服这一缺点非常重要,但在强化学习代理的背景下,几乎没有做过什么工作来解决这个问题。这项工作的目的是在RL代理的模型压缩的第一步。特别是,我们压缩网络以大幅减少其中的参数数量(大小小于其原始大小的3%),通过在最终卷积层之后应用全局最大池来进一步促进,并建议在压缩的上下文中使用Actor-Mimic。最后,我们证明了这个全局最大池允许弱监督对象定位,提高了识别代理焦点的能力。
2019-04-20 cs.AI cs.LG stat.ML
Retrospective Analysis of the 2019 MineRL Competition on Sample Efficient Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);OpenAI;AIcrowd;Preferred Networks;DeepMind;Microsoft Research(微软研究院)
为了促进样本高效强化学习方向的研究,我们在第三十三届神经信息处理系统会议(NeurIPS 2019)上举办了MineRL竞赛。该竞赛的主要目标是促进使用人类演示和强化学习的算法的开发,以减少解决复杂,分层和稀疏环境所需的样本数量。我们描述了比赛,概述了主要挑战,比赛设计,以及我们为参与者提供的资源。我们提供了顶级解决方案的概述,每个解决方案都使用深度强化学习和/或模仿学习。我们还讨论了我们的组织决策对竞争和未来改进方向的影响。
2020-06-18 cs.AI cs.LG stat.ML
Multi-Objective Model-based Reinforcement Learning for Infectious Disease Control
North Carolina State University(北卡罗来纳州立大学)
新型冠状病毒(COVID-19)等严重传染病对公众健康构成巨大威胁。学校停课、居家令等严厉的管控措施,虽然效果显著,但也带来巨大的经济损失。面对一种新出现的传染病,决策者面临的一个关键问题是,鉴于巨大的不确定性,如何做出权衡并及时实施适当的干预措施。在这项工作中,我们提出了一个多目标基于模型的强化学习框架,以促进数据驱动的决策,并最大限度地减少整体长期成本。具体而言,在每个决策点,贝叶斯流行病学模型是第一次学习的环境模型,然后提出的基于模型的多目标规划算法,以找到一组帕累托最优的政策。这一框架与每项政策的预测范围相结合,为决策者提供了一个实时决策支持工具。COVID-19在中国的传播证明了该应用。
2022-02-26 cs.LG stat.ML
Understanding the World to Solve Social Dilemmas Using Multi-Agent Reinforcement Learning
Universidad de los Andes(洛斯安第斯大学)
本文研究了多智能体强化学习环境中学习世界模型的自利理性智能体,发现配备世界模型的智能体群体在可能出现社会困境的场景中表现更优,且世界模型能促进复杂协调行为的涌现,使智能体能够理解环境和社会动力学。
2023-05-19 cs.LG cs.MA
Branch Prediction as a Reinforcement Learning Problem: Why, How and Case Studies
Huawei Technologies Zurich Research Center(华为技术苏黎世研究中心);University of Edinburgh(爱丁堡大学)
近年来,分支预测器(BP)的有效性停滞不前,分支预测器设计缺乏新的想法,需要在这一领域进行新的思考。本文认为,从强化学习(RL)的角度来看BP有助于系统推理和探索BP设计。我们描述了如何应用RL制定分支预测,现有的预测可以简洁地表示在这个配方,并研究两个基于RL的传统BP的变体。
2021-06-25 cs.AI cs.LG
Inducing Functions through Reinforcement Learning without Task Specification
KAIST(韩国科学技术院)
我们报告了一个生物启发的框架,用于通过强化学习来训练神经网络,以诱导网络内的高级功能。基于这样的解释,即动物已经获得了它们的认知功能,例如物体识别-而没有经过专门的训练-作为最大限度地提高它们对环境的适应性的结果,我们将我们的代理放在一个环境中,在这个环境中,开发某些功能可能有助于决策。实验结果表明,高级功能,如图像分类和隐变量估计,可以自然地和同时诱导,而无需任何预训练或指定它们。
2021-11-23 cs.AI cs.LG cs.NE
Reinforcement Learning for Improving Agent Design
Google Brain(谷歌大脑)
在许多强化学习任务中,目标是学习一种策略来操纵代理,其设计是固定的,以最大化某些累积奖励的概念。代理的物理结构的设计很少针对手头的任务进行优化。在这项工作中,我们探讨了学习的代理的设计,更适合其任务的版本的可能性,与政策。我们对流行的OpenAI Gym框架进行了修改,在该框架中,我们对环境的各个部分进行了参数化,并允许代理共同学习修改这些环境参数及其策略。我们证明了一个代理可以学习一个更好的结构,它的身体,不仅更适合的任务,但也有利于策略学习。政策和结构的联合学习甚至可以揭示对辅助设计应用有用的设计原则。在https://designrl.github.io/上的结果视频
2019-12-02 cs.LG stat.ML
Learning Routines for Effective Off-Policy Reinforcement Learning
King’s College London(伦敦国王学院)
强化学习的性能取决于设计一个适当的动作空间,其中每个动作的效果是可测量的,但粒度足以允许灵活的行为。到目前为止,这个过程涉及到用户在可用操作及其执行频率方面的重要选择。我们提出了一个新的强化学习框架,有效地解除了这些限制。在我们的框架内,代理学习有效的行为在一个常规空间:一个新的,更高层次的动作空间,其中每个例程代表一组“等效”序列的粒度动作与任意长度。我们的常规空间是端到端学习的,以促进实现底层的非策略强化学习目标。我们将我们的框架应用于两个最先进的非策略算法,并表明所产生的代理获得相关的性能改进,同时需要更少的交互与环境每集,提高计算效率。
2021-06-05 cs.LG
Model-free Reinforcement Learning for Robust Locomotion using Demonstrations from Trajectory Optimization
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);New York University(纽约大学)
我们提出了一种通用的两阶段强化学习方法来创建鲁棒的策略,这些策略可以部署在真实机器人上,而无需使用由轨迹优化生成的单个演示进行任何额外的训练。在第一阶段中,示范被用作促进初步探索的起点。在第二阶段,直接优化相关的任务奖励,并计算对环境不确定性具有鲁棒性的策略。我们详细展示和研究我们的方法在高动态跳跃和绑定任务的四足机器人的性能和鲁棒性。
2022-01-24 cs.AI cs.LG cs.RO
Reinforcement Learning for Ridesharing: An Extended Survey
Lyft Rideshare Labs(来福车拼车实验室);University of North Carolina(北卡罗来纳大学);University of Michigan(密歇根大学)
在本文中,我们提出了一个全面的,深入的调查文献的强化学习方法的决策优化问题,在一个典型的共乘系统。涵盖了关于共乘匹配,车辆重新定位,共乘,路由和动态定价主题的论文。大多数文献都是在过去几年中出现的,几个核心挑战将继续得到解决:模型复杂性,代理协调和多个杠杆的联合优化。因此,我们还引入了流行的数据集和开放的仿真环境,以促进进一步的研究和开发。随后,我们讨论了一些强化学习研究在这个重要领域的挑战和机遇。
2022-10-24 cs.AI cs.LG
Stratospheric Aerosol Injection as a Deep Reinforcement Learning Problem
University of Oxford(牛津大学)
随着全球温室气体排放量继续上升,人们越来越多地考虑使用平流层气溶胶喷射(SAI),这是一种太阳地球工程,以人为地减轻气候变化的影响。然而,初步的模拟研究表明,幼稚的SAI可能会产生灾难性的区域后果,这可能会引发严重的地缘战略冲突。目前的地球工程研究对待SAI控制低维近似。我们建议将SAI视为一个高维控制问题,根据深度强化学习(DRL)范式中的上下文敏感奖励函数训练策略。为了便于模拟训练,我们建议使用深度学习技术模拟HadCM 3,这是一种广泛使用的大气环流模型。我们相信这是DRL在气候科学中的首次应用。
2019-05-17 cs.LG physics.ao-ph stat.ML
Toward Interpretable Deep Reinforcement Learning with Linear Model U-Trees
Simon Fraser University(西蒙弗雷泽大学)
深度强化学习(Deep Reinforcement Learning,DRL)在许多应用中取得了令人瞩目的成功。许多DRL模型的关键组成部分是表示Q函数的神经网络,以估计状态-动作对之后的预期累积奖励。Q函数神经网络包含了大量关于强化学习问题的隐含知识,但往往未被检验和解释。据我们所知,这项工作开发了第一个模仿学习框架的Q功能的DRL。我们引入线性模型U树(LMUT)来近似神经网络预测。一个LMUT学习使用一种新的在线算法,非常适合于一个积极的发挥设置,其中模仿学习者观察神经网络和环境之间的持续互动。经验评估表明,LMUT模仿Q函数大大优于五个基线方法。LMUT的透明树结构有助于通过分析特征影响、提取规则和突出显示图像输入中的超像素来理解网络的学习知识。
2018-07-16 cs.LG stat.ML
Switching Isotropic and Directional Exploration with Parameter Space Noise in Deep Reinforcement Learning
The University of Tokyo(东京大学)
提出了一种基于参数空间噪声的深度强化学习探索方法。最近的研究已经实验表明,参数空间噪声比常用的动作空间噪声导致更好的探索。以往的方法设计了一种更新噪声分布的对角协方差阵的方法,并且没有考虑噪声向量的方向及其相关性。此外,需要快速更新噪声分布,以促进政策学习。我们提出了一种方法,变形的噪声分布,根据累积的回报和噪声,导致的回报。此外,该方法在参数空间中切换各向同性探索和定向探索,获得的回报。我们在OpenAI Gym连续环境和具有稀疏奖励的修改环境中验证了我们的探索策略。所提出的方法实现的结果是有竞争力的基线任务与以前的方法。此外,我们的方法表现出更好的性能在稀疏奖励环境中的探索与切换策略。
2018-09-27 cs.LG stat.ML
Deep Reinforcement Learning for Localizability-Enhanced Navigation in Dynamic Human Environments
University of Science and Technology of China(中国科学技术大学)
可靠的定位对于自主机器人高效、安全地导航至关重要。一些导航方法可以规划具有高定位性(描述获得可靠定位的能力)的路径。通过遵循这些路径,机器人可以访问传感器流,这有助于通过定位算法获得更准确的位置估计结果。然而,这些方法中的大多数需要先验知识,并且难以适应看不见的场景或动态变化。为了克服这些限制,我们提出了一种新的方法,通过深度强化学习在动态人类环境中的定位增强导航。我们提出的规划自动提取几何特征,从二维激光数据,有助于定位。规划器学习为几何特征分配不同的重要性,并鼓励机器人导航通过有助于激光定位的区域。为了促进规划器的学习,我们提出了两种技术:(1)考虑动态变化和定位结果的置信度的增强状态表示,其提供更多信息并允许机器人做出更好的决策,(2)能够对影响定位精度的行为提供稀疏和密集反馈的奖励度量。我们的方法在以前看不见的环境中进行测试时,丢失率和到达率显着改善。
2023-03-22 cs.LG cs.RO
Reasoning with Latent Diffusion in Offline Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Mila(米拉人工智能研究所);Université de Montréal(蒙特利尔大学)
提出一种利用潜在扩散建模压缩潜在技能的离线RL方法,通过批量约束避免外推误差并处理多模态数据,在D4RL基准上取得最先进性能。
2023-09-12 cs.LG
Combining Planning and Reinforcement Learning for Solving Relational Multiagent Domains
The University of Texas at Dallas(德克萨斯大学达拉斯分校);IBM Research(IBM研究院);Oregon State University(俄勒冈州立大学)
针对多智能体强化学习在关系型领域中的样本效率低和泛化困难问题,提出将关系型规划器作为集中控制器与强化学习结合,实现高效任务迁移与泛化。
2025-02-26 cs.AI cs.LG cs.MA
Distributional Robustness and Regularization in Reinforcement Learning
Technion(以色列理工学院)
分布鲁棒优化(DRO)已经证明了分类和回归中鲁棒性和正则化之间的等价性,从而提供了正则化在统计学习中推广良好的分析原因。虽然DRO的扩展到顺序决策克服了$\textit{external uncertainty}$通过强大的马尔可夫决策过程(MDP)设置,由此产生的公式是很难解决的,特别是在大的域。另一方面,由于随机性,强化学习中现有的正则化方法仅解决$\textit{internal uncertainty}$。我们的研究旨在通过建立鲁棒MDP和正则化之间的对偶关系来促进鲁棒强化学习。我们引入Wasserstein分布鲁棒MDPs,并证明他们持有样本的性能保证。然后,我们引入了经验值函数的一个新的正则化子,并证明了它是Wasserstein分布鲁棒值函数的下界。我们将结果推广到大状态空间的线性值函数近似。我们的方法提供了一种替代配方的鲁棒性,保证有限样本的性能。此外,它建议使用正则化作为在强化学习方法中处理$\textit{external uncertainty}$的实用工具。
2020-07-14 cs.LG math.OC stat.ML
Chemotaxis of sea urchin sperm cells through deep reinforcement learning
Zhejiang University(浙江大学);Ningbo Institute of Technology, Beihang University(北京航空航天大学宁波研究院)
通过模仿生物微泳者,微机器人可以被设计成在微尺度上完成货物的靶向递送和生物医学操作。然而,使微型机器人在复杂环境中进行机动仍然是一个巨大的挑战。机器学习算法提供了一个工具,以提高机动性和灵活性的合成微型游泳,因此可以帮助我们设计真正智能的微型机器人。在这项工作中,我们研究了海胆精子细胞模型如何在化学引诱剂浓度场中自学习趋化运动。我们采用人工神经网络作为决策代理,并通过深度强化学习(DRL)算法帮助精子细胞发现有效的机动策略。我们的研究结果表明,趋化行为,非常相似的现实的,可以实现的DRL只利用有限的环境信息。在大多数情况下,DRL算法发现了比人类设计的更有效的策略。此外,如果人工神经网络也考虑了额外的流量信息,DRL甚至可以利用外部干扰来促进趋化运动。我们的研究结果提供了见解的海胆精子细胞的趋化过程,也准备指导的智能机动的微型机器人。
2022-08-02 cs.AI cs.LG cs.NE
A Multi-Agent Deep Reinforcement Learning Approach for a Distributed Energy Marketplace in Smart Grids
University of Kansas(堪萨斯大学)
本文提出了一种基于强化学习(RL)的能源市场的生产消费者占主导地位的微电网。所提出的市场模型促进了实时和需求依赖的动态定价环境,降低了电网成本,提高了生产消费者的经济效益。此外,这种市场模式使电网运营商能够利用生产消费者的存储容量作为电网支持应用的可调度资产。基于Deep QNetwork(DQN)框架的仿真结果表明,产消者和电网运营商的24小时累计利润都有显着提高,电网备用功率利用率也大幅降低。
2020-09-23 cs.LG cs.MA cs.SY
Behaviour Suite for Reinforcement Learning
DeepMind
本文介绍了强化学习行为套件,简称bsuite。bsuite是一组精心设计的实验,旨在研究具有两个目标的强化学习(RL)代理的核心能力。第一,收集清晰、信息丰富和可扩展的问题,这些问题抓住了通用和高效学习算法设计中的关键问题。第二,研究代理人的行为,通过他们的表现在这些共同的基准。为了补充这项工作,我们开源了github.com/deepmind/bsuite,它可以自动评估和分析bsuite上的任何代理。该库促进了对RL核心问题的可重复且可访问的研究,并最终设计出卓越的学习算法。我们的代码是Python,易于在现有项目中使用。我们包括OpenAI Baselines,Dopamine以及新的参考实现的示例。展望未来,我们希望能整合更多来自研究社区的优秀实验,并承诺由一个由杰出研究人员组成的委员会对bsuite进行定期审查。
2020-02-14 cs.AI cs.LG stat.ML
ROBEL: Robotics Benchmarks for Learning with Low-Cost Robots
UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
ROBEL是一个开源的高性价比机器人平台,专为现实世界中的强化学习而设计。ROBEL介绍了两个机器人,每个机器人都旨在加速不同任务领域的强化学习研究:D'Claw是一个三指手机器人,有助于学习灵巧的操作任务,D'Kitty是一个四足式机器人,有助于学习敏捷的腿运动任务。这些低成本的模块化机器人易于维护,并且足够强大,可以从头开始支持硬件上的强化学习,迄今为止已注册超过14000小时的培训。为了利用这个平台,我们提出了一套可扩展的连续控制基准任务为每个机器人。这些任务具有密集和稀疏的任务目标,并另外引入分数度量作为硬件安全性。我们使用各种基于学习的方法提供初始任务集的基准分数。此外,我们表明,这些结果可以在位于不同机构的机器人副本中复制。代码、文档、设计文件、详细的装配说明、最终政策、基线细节、任务视频以及复制结果所需的所有补充材料均可在www.roboticsbenchmarship.org上获得。
2019-12-16 cs.LG cs.RO stat.ML
Demand Acceptance using Reinforcement Learning for Dynamic Vehicle Routing Problem with Emission Quota
本文提出了一种结合动态需求接受和路径规划的新型车辆路径问题,通过两层优化框架实现前瞻性需求拒绝和新路径生成,结合强化学习与组合优化技术进行研究。
2026-02-27 cs.AI cs.LG
Trajectory-Based Off-Policy Deep Reinforcement Learning
Bosch Center for Artificial Intelligence(博世人工智能中心);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Stuttgart(斯图加特大学)
策略梯度方法是一种功能强大的强化学习算法,已被证明可以解决许多复杂的任务。然而,这些方法也是数据效率低下的,受到高方差梯度估计的困扰,并且经常陷入局部最优。这项工作解决了这些弱点,结合最近的改进,在重复使用的政策数据和探索参数空间与确定性的行为政策。所得到的目标是服从标准的神经网络优化策略,如随机梯度下降或随机梯度哈密顿蒙特卡罗。通过重要性采样将先前的推出合并,极大地提高了数据效率,而随机优化方案有助于摆脱局部最优。我们评估了一系列的连续控制基准任务所提出的方法。结果表明,该算法能够成功地和可靠地学习解决方案,使用更少的系统交互比标准的策略梯度方法。
2019-05-14 cs.AI cs.LG stat.ML
Multi-trainer Interactive Reinforcement Learning System
University of Southampton(南安普顿大学)
交互式强化学习可以通过人工反馈有效地促进Agent训练。然而,这种方法通常需要人类教师知道代理应该采取的正确行动。换句话说,如果人类老师并不总是可靠的,那么它就不能始终如一地指导智能体完成训练。在本文中,我们提出了一个更有效的交互式强化学习系统,通过引入多个训练器,即多训练器交互式强化学习(MTIRL),它可以聚合从多个非完美的训练器的二进制反馈到一个更可靠的奖励稀疏环境中的代理训练。特别是,我们的教练反馈聚合实验表明,我们的聚合方法具有最好的准确性相比,多数投票,加权投票,贝叶斯方法。最后,我们进行了一个网格世界的实验表明,MTIRL与审查模型训练的政策是更接近最优的政策比没有审查模型。
2022-10-14 cs.LG
Regularized Inverse Reinforcement Learning
Mila, Quebec AI Institute(魁北克人工智能研究所Mila);School of Computer Science, McGill University(麦吉尔大学计算机科学学院);Facebook AI Research(Facebook人工智能研究院)
逆强化学习(IRL)旨在通过获取解释专家决策的奖励函数来促进学习者模仿专家行为的能力。正则化IRL将强凸正则化器应用于学习者的策略,以避免专家的行为被任意恒定的奖励合理化,也称为退化解决方案。我们提出了易于处理的解决方案,和实用的方法来获得它们,正则化IRL。目前的方法局限于最大熵IRL框架,限制他们的香农熵正则化,以及提出的解决方案,是难以解决的实际问题。我们提出的理论支持我们提出的IRL方法的适用性离散和连续控制,经验验证我们的各种任务上的表现。
2020-12-03 cs.LG
Transfer in Deep Reinforcement Learning using Knowledge Graphs
School of Interactive Computing(交互计算学院);Georgia Institute of Technology(佐治亚理工学院)
文本冒险游戏,玩家必须通过文本描述来理解世界,并通过文本描述来宣布行动,为语言中的基础行动提供了一块垫脚石。先前的工作已经证明,使用知识图谱作为状态表示和问答来预训练深度Q网络有助于更快的控制策略转移。在本文中,我们探讨了使用知识图谱作为一种表示领域知识转移训练文本冒险玩强化学习代理。我们的方法在多个计算机生成和人类创作的游戏中进行了测试,这些游戏在领域和复杂性方面各不相同,并证明我们的迁移学习方法可以让我们更快地学习更高质量的控制策略。
2019-08-19 cs.AI cs.CL cs.LG
NetworkGym: Reinforcement Learning Environments for Multi-Access Traffic Management in Network Simulation
UC Santa Barbara(加利福尼亚大学圣巴巴拉分校);Princeton University(普林斯顿大学);Intel Labs(英特尔实验室);UC, Santa Barbara(加利福尼亚大学圣巴巴拉分校);UC, San Diego(加利福尼亚大学圣迭戈分校)
针对多接入流量分割问题,本文提出高保真网络模拟器NetworkGym,用于训练和评估离线强化学习算法,并发现现有算法常不及手工策略,进而提出改进的悲观TD3(PTD3)算法,表现优于多种先进方法。
2024-10-30 cs.AI cs.LG cs.NI
Fast and Data Efficient Reinforcement Learning from Pixels via Non-Parametric Value Approximation
University of New South Wales(新南威尔士大学);University of Amsterdam(阿姆斯特丹大学)
我们提出了非参数近似的轨迹间返回(NAIT),一个强化学习算法的离散动作,基于像素的环境,是高度的样本和计算效率。NAIT是一种惰性学习方法,其更新相当于情节完成时的情节蒙特卡洛,但它允许在情节正在进行时稳定地纳入奖励。我们使用一个固定的域不可知表示,简单的基于距离的探索和基于邻近图的查找,以促进非常快的执行。我们在ATARI 100k的26和57游戏变体上对NAIT进行了经验评估,尽管它很简单,但它在在线设置中实现了具有竞争力的性能,在墙时间内加速超过100倍。
2022-03-07 cs.AI cs.LG
EVO-RL: Evolutionary-Driven Reinforcement Learning
RWTH Aachen University(亚琛工业大学);University Hospital RWTH Aachen(亚琛工业大学附属医院);Trier University of Applied Sciences(特里尔应用科学大学);University of Trento(特伦托大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
在这项工作中,我们提出了一种新的演化计算驱动的强化学习方法。我们的算法被称为进化驱动的强化学习(evo-RL),它将强化学习算法嵌入到进化周期中,在进化周期中,我们可以清楚地区分纯粹的可进化(本能)行为与纯粹的可学习行为。此外,我们认为这种区别是由进化过程决定的,从而使evo-RL能够适应不同的环境。此外,evo-RL有助于在无奖励状态的环境中学习,这使得它更适合于不完整信息的现实世界问题。为了表明evo-RL导致最先进的性能,我们提出了不同的最先进的强化学习算法在evo-RL中运行时的性能,并将其与独立执行这些相同算法的情况进行比较。结果表明,嵌入在我们的evo-RL方法中的强化学习算法在OpenAI Gym控制问题上的性能明显优于相同RL算法的独立版本,其中无奖励状态受到相同计算预算的约束。
2020-07-10 cs.AI cs.LG cs.NE
Relational Abstractions for Generalized Reinforcement Learning on Symbolic Problems
School of Computing and Augmented Intelligence(计算与增强智能学院);Arizona State University(亚利桑那州立大学)
符号状态空间问题中的强化学习具有挑战性,因为需要长时间的推理。本文提出了一种新的方法,利用关系抽象结合深度学习来学习此类问题的可推广的Q函数。学习的Q函数可以有效地转移到具有不同对象名称和对象数量的相关问题,从而具有完全不同的状态空间。我们表明,学习广义Q函数可以用于zero-shot转移到相关的问题,没有明确的,手工编码的课程。对一系列问题的实证评估表明,我们的方法有利于有效的zero-shot转移的学习知识,包含许多对象的更大的问题实例。
2022-04-27 cs.AI cs.LG
Reinforcement Learning Paycheck Optimization for Multivariate Financial Goals
Princeton University(普林斯顿大学)
针对多元财务目标下薪资分配缺少定量方法的问题,研究将其建模为效用最大化问题,统一多目标、纳入用户偏好并适配随机利率,还提出端到端强化学习方案且在多场景下实现。
2024-03-09 cs.LG math.OC
Optimal Execution Using Reinforcement Learning
The Hong Kong University of Science and Technology(香港科技大学)
本研究探讨加密货币的最优订单执行问题,首次通过对齐多交易所数据提取跨交易所信号,并验证了该信号能为基于强化学习的智能体决策提供额外信息,从而促进最优执行过程。
2023-06-19 cs.LG q-fin.TR
The Difficulty of Passive Learning in Deep Reinforcement Learning
DeepMind;Google Research, Brain Team(谷歌研究院大脑团队)
在没有主动环境交互的情况下,从观测数据中学习行动是强化学习(RL)中的一个众所周知的挑战。最近的方法涉及对学习策略或保守更新的约束,防止数据集的状态-动作分布的强烈偏离。虽然这些方法使用非线性函数近似进行评估,理论上的理由大多限于表格或线性的情况下。鉴于深度强化学习令人印象深刻的结果,我们认为需要更清楚地了解这种情况下的挑战。在Held & Hein 1963年的经典实验中,我们提出了“串联学习”的实验范式,这有助于我们对离线强化学习中的困难进行实证分析。我们将函数逼近与固定数据分布结合起来确定为最强的因素,从而扩展但也挑战了过去工作中提出的假设。我们的研究结果为离线深度强化学习提供了相关见解,同时也为在线学习控制案例中观察到的现象提供了新的见解。
2021-10-26 cs.AI cs.LG
Deep Reinforcement Learning for Controlled Traversing of the Attractor Landscape of Boolean Models in the Context of Cellular Reprogramming
University of Warsaw(华沙大学);IDEAS NCBR
针对湿实验发现细胞重编程策略耗时且成本高的问题,提出一种基于深度强化学习的计算框架,在异步更新模式下构建BNs和PBNs控制问题,引入伪吸引子概念,并在多个模型上验证了其有效性。
2025-03-03 cs.AI cs.LG q-bio.MN
Feudal Multi-Agent Hierarchies for Cooperative Reinforcement Learning
Gatsby Computational Neuroscience Unit, University College London(伦敦大学学院盖茨比计算神经科学单位);Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所)
我们研究如何强化学习代理可以学习合作。从人类社会,其中许多人的成功协调往往是由层次组织促进的灵感,我们介绍封建多智能体层次结构(FMH)。在这个框架中,一个“经理”的代理,这是最大限度地提高环境确定的奖励功能的任务,学习沟通子目标多个,错误操作,“工人”代理。工人,这是奖励实现管理的子目标,同时采取行动在世界上。我们概述了FMH的结构,并展示了其分散学习和控制的潜力。我们发现,给定一组足够的子目标,从中选择,FMH执行,特别是规模,大大优于合作的方法,使用共享的奖励功能。
2019-01-24 cs.AI cs.LG cs.MA
IVR-R1: Refining Trajectories through Iterative Visual-Grounded Reasoning in Reinforcement Learning
Hangzhou International Innovation Institute, Beihang University(北京航空航天大学杭州国际创新研究院);School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院);Kuaishou Technology(快手科技);Shenzhen Institute of Advanced Integration Technology, Shenzhen(深圳先进集成技术研究院)
提出IVR-R1框架,利用奖励驱动的筛选机制和迭代再推理循环,在强化学习中动态校正多模态推理轨迹,以解决视觉幻觉和逻辑错误问题。
2026-05-18 cs.AI cs.CV cs.LG
Backprop-Free Reinforcement Learning with Active Neural Generative Coding
Rochester Institute of Technology(罗切斯特理工学院);Pennsylvania State University(宾夕法尼亚州立大学)
在人类中,感知觉有助于从感官输入中快速识别和提取信息。这种意识在很大程度上取决于人类主体如何与环境互动。在这项工作中,我们提出了主动神经生成编码,这是一种用于在动态环境中学习动作驱动生成模型而不会反向传播错误(backprop)的计算框架。具体来说,我们开发了一个智能代理,即使在稀疏的奖励,从规划推理的认知理论中汲取灵感。我们在几个简单的控制问题上证明了我们的框架与深度Q学习的竞争力。我们的代理的强大性能提供了有希望的证据,证明神经推理和学习的无反向传播方法可以驱动目标导向行为。
2021-12-19 cs.LG