RL-IoT: Reinforcement Learning to Interact with IoT Devices
Politecnico di Torino(都灵理工大学);University of Turin(都灵大学)
我们的生活正在被物联网(IoT)设备所填充。这些设备通常依赖于封闭的或记录不完整的协议,具有未知的格式和语义。学习如何以自主的方式与这些设备交互是互操作性和自动验证其功能的关键。在本文中,我们提出了RL-IoT,这是一个探索如何自动与可能未知的物联网设备进行交互的系统。我们利用强化学习(RL)来恢复协议消息的语义,并控制设备以达到给定的目标,同时最大限度地减少交互次数。我们假设只知道可能的物联网协议消息的数据库,然而其语义是未知的。RL-IoT与目标IoT设备交换消息,学习那些对实现给定目标有用的命令。我们的研究结果表明,RL-IoT能够解决简单和复杂的任务。通过适当调整参数,RL-IoT学习如何使用目标设备(我们案例研究中的Yeelight智能灯泡)执行操作,完成不平凡的模式,只需400次交互。RL-IoT为与缺乏文档记录的物联网协议进行自动交互铺平了道路,从而实现了可互操作的系统。
2021-09-10 cs.AI cs.LG cs.NI
Object-sensitive Deep Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
近年来,深度强化学习变得越来越流行,在玩Atari游戏和机器人导航等不同的视觉输入任务上显示出优越性。虽然对象是重要的图像元素,但很少有工作考虑使用对象特征来增强深度强化学习。在本文中,我们提出了一种新的方法,可以将对象识别处理纳入深度强化学习模型。这种方法可以适应任何现有的深度强化学习框架。国家的最先进的结果显示在Atari游戏的实验。我们还提出了一种名为“对象显着性图”的新方法,以直观地解释深度强化学习代理所做的动作。
2018-09-17 cs.CV cs.LG stat.ML
A Survey Analyzing Generalization in Deep Reinforcement Learning
University College London(伦敦大学学院)
该综述形式化分析了深度强化学习的泛化性问题,阐释过拟合根源,分类讲解各类提升泛化性的方法,覆盖多类子领域,可为领域发展提供指南并助力构建鲁棒高泛化性的深度神经策略。
2024-10-30 cs.AI cs.LG stat.ML
A Review of Uncertainty for Deep Reinforcement Learning
Rensselaer Polytechnic Institute(伦斯勒理工学院)
不确定性在博弈中无处不在,无论是在参与博弈的主体中,还是在博弈本身中。因此,处理不确定性是成功的深度强化学习代理的重要组成部分。虽然在理解和处理监督学习的不确定性方面已经有了很大的努力和进展,但不确定性感知的深度强化学习的文献还不太发达。虽然关于监督学习的神经网络中的不确定性的许多相同问题仍然存在于强化学习中,但由于可交互环境的性质,存在额外的不确定性来源。在这项工作中,我们提供了一个概述,激励和现有的技术在不确定性意识的深度强化学习。这些工作显示了各种强化学习任务的经验优势。这项工作有助于集中不同的结果,并促进这一领域的未来研究。
2022-08-18 cs.LG
Modern Deep Reinforcement Learning Algorithms
Moscow State University(莫斯科国立大学)
强化学习的最新进展是将经典理论成果与深度学习范式相结合,导致许多人工智能任务的突破,并催生了深度强化学习(DRL)作为一个研究领域。在这项工作中,最新的DRL算法进行了审查,重点放在他们的理论依据,实际的局限性和观察到的经验性质。
2019-07-06 cs.AI cs.LG stat.ML
Multi-task learning with deep model based reinforcement learning
ETH Zürich(苏黎世联邦理工学院)
近年来,使用深度学习的无模型方法在许多不同的强化学习环境中取得了巨大成功。大多数成功的方法都集中在解决单个任务上,而多任务强化学习仍然是一个悬而未决的问题。在本文中,我们提出了一种基于模型的深度强化学习方法,用于同时解决不同的任务。我们表明,我们的方法不仅不会降低,而且实际上受益于学习多个任务。对于我们的模型,我们还提出了一种新的递归神经网络,其灵感来自于残差网络,该网络将内存从计算中分离出来,从而可以对不需要大量内存的复杂环境进行建模。
2017-05-23 cs.LG
Deep Reinforcement Learning Boosted by External Knowledge
National Institute of Informatics(国立信息学研究所)
深度强化学习的最新改进已经允许解决许多2D领域的问题,例如Atari游戏。然而,在复杂的3D环境中,需要大量的学习片段,这可能太耗时甚至不可能,特别是在现实世界的场景中。我们提出了一个新的架构,结合外部知识和深度强化学习只使用视觉输入。我们的系统的一个关键概念是通过添加环境特征信息和结合两个决策源来增强图像输入。我们评估我们的方法在3D部分可观察的环境中从微软马尔默平台的性能。实验评估显示出更高的性能和更快的学习相比,一个单一的强化学习模型。
2017-12-12 cs.LG
A Nesterov's Accelerated quasi-Newton method for Global Routing using Deep Reinforcement Learning
Shizuoka University(静冈大学);Shonan Institute of Technology(湘南工业大学);Hiroshima City University(广岛市立大学)
深度Q学习方法是最常用的深度强化学习算法之一,其使用深度神经网络来近似动作-价值函数的估计。深度Q网络(DQN)的训练通常限于基于一阶梯度的方法。本文试图通过引入二阶Nesterov加速拟牛顿方法来加速深度Q网络的训练。我们评估了所提出的方法的性能,深度强化学习使用双DQN全局路由。实验结果表明,与一阶Adam和RMSprop方法训练的DQN相比,该方法可以获得更好的路由解决方案。
2020-10-15 cs.LG
Leveraging Topological Maps in Deep Reinforcement Learning for Multi-Object Navigation
Ruhr University Bochum(波鸿鲁尔大学)
本研究利用拓扑图将基本动作提升为面向对象的宏动作,使简单DQN智能体在稀疏奖励的广阔空间中成功实现多目标导航。
2023-10-16 cs.LG
Optimal Demand Response Using Device Based Reinforcement Learning
Stanford University(斯坦福大学)
本文提出一种新型EMS框架,将需求响应问题建模为强化学习问题,通过设备集群分解解决调度问题,无需显式建模用户不满,提升计算效率。
2014-06-28 cs.AI cs.LG cs.SY
Device Placement Optimization with Reinforcement Learning
Google Brain(谷歌大脑);Google Brain Residency Program(谷歌大脑驻留计划);Google(谷歌)
在过去的几年里,神经网络的训练和推理的规模和计算需求都在增长。目前,解决这些需求的一种常见方法是使用混合了CPU和GPU等硬件设备的异构分布式环境。重要的是,将部分神经模型放置在设备上的决定通常是由人类专家基于简单的推理和直觉做出的。在本文中,我们提出了一种学习优化TensorFlow计算图的设备放置的方法。我们方法的关键是使用序列到序列模型来预测TensorFlow图中的哪些操作子集应该在哪些可用设备上运行。然后将预测放置的执行时间用作奖励信号以优化序列到序列模型的参数。我们的主要结果是,在Inception-V3上用于ImageNet分类,在RNN LSTM上用于语言建模和神经机器翻译,我们的模型发现了非平凡的设备放置,其性能优于手工制作的算法和传统的算法方法。
2017-06-25 cs.AI cs.LG
Factor Representation and Decision Making in Stock Markets Using Deep Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院)
深度强化学习是无监督学习的一个分支,其中智能体学习根据环境状态采取行动,以最大化其总奖励。深度强化学习提供了一个很好的机会,通过利用深度神经网络的强大表示,在高维和数据驱动的环境中对投资组合选择的复杂性进行建模。在本文中,我们使用直接深度强化学习构建了一个投资组合管理系统,通过学习一个好的因子表示(作为输入),在S\&P500标的股票中周期性地做出最优投资组合选择。结果表明,有效的市场学习和最优投资组合配置可以显着优于平均市场。
2021-08-03 cs.LG q-fin.ST
Deep Reinforcement Learning Radio Control and Signal Detection with KeRLym, a Gym RL Agent
Virginia Polytechnic Institute and State University(弗吉尼亚理工学院暨州立大学)
本文介绍了正在进行的研究,调查的可行性和适应性的强化学习使用深度神经网络为基础的功能近似的无线电控制和信号检测在无线领域的任务。我们展示了一个成功的无线电控制的初始方法,它允许天真的学习搜索,而不需要专家的功能,技巧,或搜索策略。我们还介绍了Kerlym,这是一个开放的基于Keras的强化学习代理集合,用于OpenAI的Gym。
2016-05-30 cs.LG
Multi-Agent Reinforcement Learning Based Coded Computation for Mobile Ad Hoc Computing
University of California, San Diego(加州大学圣迭戈分校);San Diego State University(圣迭戈州立大学);University of Puerto Rico at Mayagüez(波多黎各大学马亚圭斯分校);University of Texas at Arlington(德克萨斯大学阿灵顿分校);University of North Texas(北德克萨斯大学)
移动自组织计算(MAHC)允许移动设备直接共享它们的计算资源,是解决移动设备对计算资源日益增长的需求的一种很有前途的解决方案。然而,将计算任务从移动终端卸载到其他移动设备是一项具有挑战性的任务,这是由于节点移动性、不稳定和未知的通信环境以及这些设备的异构性质导致的频繁拓扑变化和链路故障。为了解决这些问题,本文提出了一种基于多智能体强化学习(MARL)的编码计算方案,该方案具有适应网络变化、高效、鲁棒性强、考虑节点异构性、分散负载分配等特点.全面的仿真研究表明,所提出的方法可以优于国家的最先进的分布式计算计划。
2021-04-15 cs.LG cs.SY eess.SY
Poisoning Deep Reinforcement Learning Agents with In-Distribution Triggers
Johns Hopkins University(约翰斯·霍普金斯大学);Applied Physics Lab(应用物理实验室)
在本文中,我们提出了一种新的数据投毒攻击,并将其应用于深度强化学习代理。我们的攻击集中在我们所谓的分布内触发器上,这些触发器是模型将在其上训练和部署的数据分布的本地触发器。我们概述了一个简单的过程,用于在多任务学习范式下将这些和其他触发器嵌入深度强化学习代理中,并在三个常见的强化学习环境中进行演示。我们相信这项工作对深度学习模型的安全性具有重要意义。
2021-06-14 cs.CR cs.LG
Distributed Deep Reinforcement Learning: A Survey and A Multi-Player Multi-Agent Learning Toolbox
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Tsinghua University(清华大学)
本文综述分布式深度强化学习方法与关键组件,并开发发布一个多玩家多智能体分布式深度强化学习工具箱,在Wargame环境中验证其可用性,同时展望挑战与未来趋势。
2022-12-01 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for Dynamic Urban Transportation Problems
George Mason University(乔治梅森大学)
我们探索了深度学习和深度强化学习在交通优化问题中的应用。许多交通系统分析任务都被表述为优化问题-例如智能交通系统和长期城市规划中的最优控制问题。通常,用于表示交通系统动态的交通模型涉及具有复杂输入-输出交互的大型数据集,并且难以在优化的上下文中使用。使用深度学习元模型可以产生这些关系的低维表示,并允许以有效的方式实现优化和强化学习算法。特别是,我们开发了用于校准交通模拟器和强化学习的深度学习模型,以解决网络上旅行者的最佳调度问题。
2018-06-14 cs.LG stat.ML
PGN: A perturbation generation network against deep reinforcement learning
Northwestern Polytechnical University(西北工业大学)
提出PGN生成模型,通过生成对抗样本攻击深度强化学习智能体,实现定向与非定向攻击,并引入动作一致性比率衡量隐蔽性,实验证明其攻击有效、隐蔽且速度快。
2023-12-20 cs.AI cs.LG
Visual Rationalizations in Deep Reinforcement Learning for Atari Games
University of Amsterdam(阿姆斯特丹大学);UvA-Bosch Delta Lab(阿姆斯特丹大学-博世德尔塔实验室);Informatics Institute(信息学研究所)
由于深度学习在高维问题中表现良好的能力,深度强化学习代理在Atari 2600游戏等具有挑战性的任务中表现良好。然而,清楚地解释为什么代理人采取某种行动可能与决策本身一样重要。与其他深度学习模型一样,深度强化学习模型在决策过程中往往是不透明的。在这项工作中,我们建议通过可视化代理基于其决策的证据来使深度强化学习更加透明。在这项工作中,我们强调的重要性,生产的理由,观察到的行动,这可以适用于一个黑盒决策代理。
2019-02-01 cs.LG stat.ML
A Deep Reinforcement Learning Approach for Composing Moving IoT Services
Deakin University(迪肯大学);University of Sydney(悉尼大学)
我们开发了一个新的框架,用于高效和有效地发现在一段时间内靠近用户的众包服务。我们介绍了一个移动的众包服务模型,这是建模为一个移动区域。我们提出了一种基于深度强化学习的组合方法来选择和组合考虑质量参数的移动物联网服务。此外,我们开发了一个并行集群为基础的服务发现算法作为地面真理来衡量所提出的方法的准确性。在两个真实数据集上的实验验证了基于深度强化学习方法的有效性和效率。
2021-11-06 cs.LG
Deep Episodic Value Iteration for Model-based Meta-Reinforcement Learning
Stanford University(斯坦福大学)
我们提出了一个新的深度Meta强化学习器,我们称之为深度情节值迭代(DEVI)。DEVI使用深度神经网络来学习基于非参数模型的强化学习算法的相似性度量。我们的模型通过反向传播进行端到端训练。尽管使用无模型Q学习目标进行训练,我们表明,DEVI的基于模型的内部结构提供了“一次性”转移到奖励和过渡结构的变化,即使是非常高维的状态空间的任务。
2017-05-09 cs.AI cs.LG stat.ML
A View on Deep Reinforcement Learning in System Optimization
Intel Labs(英特尔研究院);University of California, Berkeley(加州大学伯克利分校)
许多现实世界的系统问题需要对配置和管理系统所采取的行动的长期后果进行推理。这些具有延迟和通常顺序聚集的奖励的问题通常是固有的强化学习问题,并且提供了利用深度强化学习最近的实质性进展的机会。然而,在某些情况下,尚不清楚为什么深度强化学习很适合解决这个问题。有时,它的性能并不比最先进的解决方案更好。在其他情况下,随机搜索或贪心算法可能优于深度强化学习。在本文中,我们回顾、讨论和评估了在系统优化中使用深度强化学习的最新趋势。我们提出了一组基本指标,以指导未来的工作,在系统优化中使用深度强化学习的有效性评估。我们的评估包括挑战、问题类型、它们在深度强化学习环境中的形成、嵌入、使用的模型、效率和鲁棒性。最后,我们讨论了进一步推动强化学习在系统优化中的集成所面临的挑战和潜在的方向。
2019-09-04 cs.AI cs.LG cs.SY
Application of deep reinforcement learning for Indian stock trading automation
IITB-Monash Research Academy(IITB-莫纳什研究院);IIT Bombay(印度理工学院孟买分校);Monash University(莫纳什大学)
在股票交易中,特征提取和交易策略设计是利用机器学习技术实现长期利益的两个重要任务。已经提出了几种方法来设计交易策略通过获取交易信号,以最大化的回报。本文将深度强化学习理论应用于印度市场的股票交易策略和投资决策。在10个印度股票数据集上系统地使用三个经典的深度强化学习模型Deep Q-Network,Double Deep Q-Network和Dueling Double Deep Q-Network进行实验。对模型的性能进行了评价和比较。
2021-05-18 cs.LG q-fin.TR
Tutorial and Survey on Probabilistic Graphical Model and Variational Inference in Deep Reinforcement Learning
Ludwig Maximillian University of Munich(慕尼黑大学)
为了提供一个全面而简洁的教程综述,本文对概率图模型的变分推理和强化学习进行了回顾,并给出了详细的推导。从多个方面对深度强化学习的最新研究进展进行了综述和比较。我们为深度强化学习中的概率图模型和变分推理方法的分类提供了详细的推导,作为原始贡献的补充材料。
2019-12-08 cs.AI cs.LG stat.ML
Explainable AI: Deep Reinforcement Learning Agents for Residential Demand Side Cost Savings in Smart Grids
IIT Bombay(印度理工学院孟买分校)
受深度强化学习(RL)最新进展的启发,我们开发了一个RL代理来管理家庭中存储设备的操作,旨在最大限度地节省需求方的成本。所提出的技术是数据驱动的,RL代理从头开始学习如何有效地使用给定可变费率结构的储能设备。在大多数研究中,RL agent被认为是一个黑盒子,agent是如何学习的往往被忽略。我们解释了RL代理的学习过程,以及它根据存储设备的容量所遵循的策略。
2019-10-30 cs.AI cs.GT cs.LG
Learning to Play in a Day: Faster Deep Reinforcement Learning by Optimality Tightening
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Zhejiang University(浙江大学)
我们提出了一种新的强化学习训练算法,它将深度Q学习的强度与约束优化方法相结合,以收紧最优性并鼓励更快的奖励传播。我们的新技术通过大幅减少训练时间,使深度强化学习更加实用。我们评估了我们的方法在具有挑战性的街机学习环境的49场比赛中的表现,并报告了训练时间和准确性的显着改善。
2016-11-05 cs.LG stat.ML
An Introduction to Deep Reinforcement Learning
McGill University(麦吉尔大学);Google Brain(谷歌大脑);Facebook(脸书)
深度强化学习是强化学习(RL)和深度学习的结合。这一研究领域已经能够解决以前机器无法完成的各种复杂决策任务。因此,深度RL在医疗保健、机器人、智能电网、金融等领域开辟了许多新的应用。本手稿介绍了深度强化学习模型、算法和技术。特别关注的是与泛化相关的方面,以及如何将深度RL用于实际应用。我们假设读者熟悉基本的机器学习概念。
2018-12-03 cs.AI cs.LG stat.ML
Deep Reinforcement Learning: An Overview
National University of Ireland, Galway(爱尔兰国立大学戈尔韦分校)
近年来,一种称为深度学习的特定机器学习方法获得了巨大的吸引力,因为它在模式识别、语音识别、计算机视觉和自然语言处理等广泛应用中获得了惊人的结果。最近的研究还表明,深度学习技术可以与强化学习方法相结合,以学习高维原始数据输入问题的有用表示。本章回顾了深度强化学习的最新进展,重点介绍了最常用的深度架构,如自动编码器、卷积神经网络和递归神经网络,这些架构已经成功地与强化学习框架结合在一起。
2018-06-23 cs.AI cs.LG stat.ML
A Brief Survey of Deep Reinforcement Learning
深度强化学习有望彻底改变人工智能领域,并代表着构建对视觉世界有更高理解的自主系统的一步。目前,深度学习使强化学习能够扩展到以前难以解决的问题,例如直接从像素学习玩视频游戏。深度强化学习算法也被应用于机器人技术,允许机器人的控制策略直接从现实世界中的摄像机输入中学习。在本调查中,我们首先介绍强化学习的一般领域,然后介绍基于价值观和基于政策的方法的主流。我们的调查将涵盖深度强化学习中的核心算法,包括深度$Q$网络,信任区域策略优化和异步优势演员-评论家。同时,我们强调了深度神经网络的独特优势,重点是通过强化学习进行视觉理解。最后,我们描述了该领域内的几个当前研究领域。
2017-09-28 cs.AI cs.CV cs.LG
GRLinQ: An Intelligent Spectrum Sharing Mechanism for Device-to-Device Communications with Graph Reinforcement Learning
University of Liverpool(利物浦大学);National Tsing Hua University(国立清华大学);Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室)
针对D2D通信频谱共享的非凸优化难题,提出基于图强化学习的混合模型/数据驱动机制GRLinQ,融合信息论实现可解释的链路调度与功率控制,性能优于现有方法且降低CSI需求与计算复杂度。
2024-08-18 cs.IT cs.LG cs.NI
Tracking the Race Between Deep Reinforcement Learning and Imitation Learning -- Extended Version
Saarland University(萨尔兰大学)
近年来,基于学习的方法来解决大型序列决策问题已成为流行。由此产生的代理执行不同,他们的特点取决于那些底层的学习方法。在这里,我们考虑一个基准规划问题,从强化学习域,赛道,调查来自不同的深度(强化)学习方法的代理的属性。我们比较了深度监督学习的性能,特别是模仿学习,以及赛道模型的强化学习。我们发现,模仿学习产生的代理人遵循更危险的路径。相比之下,深度强化学习的决策更具预见性,即,避免出现更有可能做出致命决定的状态。我们的评估表明,对于这个顺序决策问题,深度强化学习在许多方面表现最好,即使对于模仿学习考虑最优决策。
2020-08-03 cs.AI cs.LG
Comparing Deep Reinforcement Learning and Evolutionary Methods in Continuous Control
University of Alberta(阿尔伯塔大学)
强化学习和进化策略是解决复杂控制问题的两种主要方法。两者都是强有力的竞争者,都有自己的奉献者社区。近年来,这两个小组都非常积极地在各自的领域中开发新的进展,并设计出尖端技术来解决复杂的连续控制任务。在这里,在深度强化学习的背景下,我们制定了并行版本的近端策略优化方法和深度确定性策略梯度方法。此外,我们对两个阵营中最先进的技术进行了彻底的比较,包括连续控制;进化方法和深度强化学习方法。结果表明,没有持续的赢家。
2018-03-07 cs.AI cs.LG
Federated Deep Reinforcement Learning
Sun Yat-Sen University(中山大学);WeBank(微众银行)
在深度强化学习中,当状态的特征空间较小且训练数据有限时,构建高质量的策略是具有挑战性的。尽管之前的迁移学习方法在深度强化学习中取得了成功,但由于许多隐私感知应用中数据和/或模型的隐私性,通常不允许将数据或模型从代理直接迁移到另一代理。在本文中,我们提出了一种新的深度强化学习框架,联邦建立模型的高质量的代理考虑他们的隐私,即联邦深度强化学习(FedRL)。为了保护数据和模型的隐私,我们在更新局部模型时利用高斯差分来共享彼此的信息。在实验中,我们评估我们的FedRL框架在两个不同的领域,网格世界和Text 2Action域,通过比较各种基线。
2020-02-09 cs.AI cs.LG
Membership Inference Attacks Against Temporally Correlated Data in Deep Reinforcement Learning
McGill University(麦吉尔大学);Mila(米拉研究所);University of Waterloo(滑铁卢大学);DarwinAI(达尔文人工智能公司);DeepMind(深度思维)
虽然在深度强化学习领域已经取得了重大的研究进展,但在文献中还没有专门用于研究深度强化学习算法对成员推断攻击的脆弱性的具体对抗攻击策略。在这样的攻击系统中,攻击者将收集的输入数据集作为目标,深度强化学习算法已经在该输入数据集上进行了训练。为了解决这一差距,我们提出了一个对抗攻击框架,旨在测试最先进的深度强化学习算法对成员推断攻击的脆弱性。特别地,我们设计了一系列实验来研究自然存在于强化学习训练数据中的时间相关性对信息泄漏概率的影响。此外,我们比较了\emph{collective}和\emph{individual}成员攻击对深度强化学习算法的性能。实验结果表明,在三个不同的连续控制Mujoco任务中,所提出的对抗攻击框架在推断数据时具有惊人的有效性,其准确度超过了个体模式下的$84\%$和集体模式下的$97\%$,这在这方面引起了严重的隐私问题。最后,我们证明了强化学习算法的学习状态显著影响隐私泄露的水平。
2022-11-16 cs.CR cs.LG
Abstraction for Deep Reinforcement Learning
DeepMind(深度思维);Imperial College London(伦敦帝国理工学院);Santa Fe Institute(圣塔菲研究所)
我们在深度强化学习的背景下解决抽象问题。类比推理和联想记忆的各种成熟方法可能会对这个问题产生影响,但由于需要端到端的可微性,它们存在困难。我们回顾了人工智能和机器学习的发展,这些发展可以促进它们的采用。
2022-04-29 cs.AI cs.LG
Exploiting the potential of deep reinforcement learning for classification tasks in high-dimensional and unstructured data
Universidad Autónoma de Occidente(西方自治大学)
本文提出了一个框架,有效地学习特征选择政策,使用较少的功能,以达到高的分类精度对大型非结构化数据。它使用深度卷积自动编码器(DCAE)来学习紧凑的特征空间,并结合最近提出的强化学习(RL)算法,如双DQN和Retrace。
2019-12-20 cs.LG stat.ML
A New Approach for Resource Scheduling with Deep Reinforcement Learning
University of Electronic Science and Technology of China(电子科技大学)
随着深度学习的快速发展,近年来深度强化学习(Deep Reinforcement Learning,DRL)开始出现在资源调度领域。本文在前人研究的基础上,介绍了在线资源调度算法DeepRM 2和离线资源调度算法DeepRM_Off。与DRL算法DeepRM和启发式算法相比,该算法在平均减速时间、作业完成时间和奖励方面具有更快的收敛速度和更好的调度效率。
2018-06-21 cs.AI cs.LG
Deep Reinforcement Learning: An Overview
我们概述了深度强化学习(RL)最近取得的令人兴奋的成就。我们讨论了六个核心要素,六个重要机制和十二个应用程序。我们从机器学习、深度学习和强化学习的背景开始。接下来,我们讨论核心RL元素,包括价值函数,特别是深度Q网络(DQN),策略,奖励,模型,规划和探索。在此之后,我们讨论了强化学习的重要机制,包括注意和记忆,无监督学习,迁移学习,多智能体强化学习,分层强化学习和学习学习。然后我们讨论了RL的各种应用,包括游戏,特别是AlphaGo,机器人,自然语言处理,包括对话系统,机器翻译和文本生成,计算机视觉,神经架构设计,商业管理,金融,医疗保健,工业4.0,智能电网,智能交通系统和计算机系统。我们提到了一些尚未回顾的主题,并列出了一系列RL资源。在简要总结之后,我们以讨论结束。请参阅深度强化学习,arXiv:1810.06339,以获取重要更新。
2018-11-26 cs.LG
StarCraft II Build Order Optimization using Deep Reinforcement Learning and Monte-Carlo Tree Search
Missouri University of Science and Technology(密苏里科技大学)
《星际争霸2》的实时战略游戏已经被谷歌的DeepMind视为强化学习的挑战。本研究探讨了使用基于蒙特卡罗树搜索算法的智能体来优化星际争霸II中的构建顺序,并讨论了如何通过将其与深度强化学习神经网络相结合来进一步提高其性能。使用蒙特卡罗树搜索完成的实验结果仅使用非常有限的时间和计算资源就达到了与新手玩家相似的分数,这为通过将其与深度强化学习的使用相结合来实现与人类专家相当的分数铺平了道路。
2020-06-12 cs.AI cs.LG
DeepSim: A Reinforcement Learning Environment Build Toolkit for ROS and Gazebo
Amazon Web Services(亚马逊云科技)
我们提出了DeepSim,一个用于ROS和Gazebo的强化学习环境构建工具包。它允许机器学习或强化学习研究人员访问机器人领域,并在ROS和Gazebo仿真环境中创建复杂且具有挑战性的自定义任务。该工具包提供了高级功能的构建块,如冲突检测,行为控制,域随机化,产卵器等。DeepSim旨在通过提供Python接口来减少机器人和机器学习社区之间的边界。在本文中,我们讨论了DeepSim Toolkit的组件和设计决策。
2022-05-17 cs.AI cs.LG cs.RO
Dragonfly: a modular deep reinforcement learning library
MINES Paristech(巴黎矿业学院);PSL - Research University(巴黎文理研究大学)
本文介绍模块化深度强化学习库Dragonfly,通过JSON序列化支持模块替换与参数扫描,并面向CPU密集型数值模拟环境,在常用基准上表现出具有竞争力的性能。
2025-07-28 cs.LG
Deep Reinforcement Learning with a Natural Language Action Space
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
本文介绍了一种新的强化学习架构,该架构具有深度神经网络,旨在处理以自然语言为特征的状态和动作空间,如基于文本的游戏中所发现的。该架构被称为深度强化相关网络(DRRN),它用独立的嵌入向量表示动作和状态空间,并结合交互函数来近似强化学习中的Q函数。我们在两个流行的文本游戏上评估了DRRN,显示出优于其他深度Q学习架构的性能。对释义动作描述的实验表明,该模型是在提取意义,而不是简单地记忆文本字符串。
2016-06-08 cs.AI cs.CL cs.LG
SimpleDS: A Simple Deep Reinforcement Learning Dialogue System
Heriot-Watt University(赫瑞-瓦特大学)
本文介绍了“SimpleDS”,这是一个简单且公开可用的对话系统,经过深度强化学习训练。与之前的强化学习对话系统相比,该系统通过直接从最后一个系统的原始文本和(嘈杂的)用户响应执行动作选择来避免手动特征工程。我们的初步结果,在餐厅领域,表明它确实是可能的,以诱导合理的对话行为的方法,其目的是高水平的自动化对话控制智能交互代理。
2016-01-18 cs.AI cs.LG
Applications of Deep Reinforcement Learning in Communications and Networking: A Survey
Nanyang Technological University(南洋理工大学);University of Technology Sydney(悉尼科技大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);York University(约克大学);University of Electronic Science and Technology of China(电子科技大学);Sungkyunkwan University(成均馆大学)
本文对深度强化学习在通信和网络中的应用进行了全面的文献综述。现代网络,例如,物联网(IoT)和无人机(UAV)网络变得更加分散和自主。在这样的网络中,网络实体需要在本地做出决策,以在网络环境的不确定性下最大化网络性能。强化学习已被有效地用于使网络实体能够获得最优策略,包括例如,决策或动作,当状态和动作空间很小时,给定它们的状态。然而,在复杂的大规模网络中,状态和动作空间通常很大,强化学习可能无法在合理的时间内找到最优策略。因此,已经开发了深度强化学习(强化学习与深度学习的组合)来克服这些缺点。在本调查中,我们首先给出了从基本概念到高级模型的深度强化学习教程。然后,我们回顾了为解决通信和网络中的新问题而提出的深度强化学习方法。这些问题包括动态网络接入、数据率控制、无线缓存、数据卸载、网络安全和连接保护,这些都对5G及以后的下一代网络很重要。此外,我们还介绍了深度强化学习在流量路由、资源共享和数据汇集方面的应用。最后,我们强调了应用深度强化学习的重要挑战,开放问题和未来的研究方向。
2018-10-18 cs.LG cs.NI
Interpretable UAV Collision Avoidance using Deep Reinforcement Learning
Iowa State University(爱荷华州立大学)
任何成功的自主飞行系统的重要组成部分是任务完成和避免碰撞。大多数深度学习算法在它们被训练的环境和条件下成功地执行这些方面。然而,当他们受到新的环境时,他们失败了。本文提出了一种自主多旋翼飞行算法,使用深度强化学习增强自注意力模型,可以有效地原因时,受到不同的输入。除了它们的推理能力,它们也是可解释的,使其能够在现实世界的条件下使用。我们已经在不同的天气条件和环境下测试了我们的算法,发现与传统的深度强化学习算法相比,它是鲁棒的。
2021-06-04 cs.LG cs.RO
Pre-training in Deep Reinforcement Learning for Automatic Speech Recognition
University of Southern Queensland(南昆士兰大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织数据61研究所);Imperial College London(伦敦帝国理工学院);University of Augsburg(奥格斯堡大学)
深度强化学习(Deep RL)是深度学习与强化学习原理的结合,以创建可以通过与环境交互来学习的有效方法。这使得许多以前难以解决的复杂任务取得了突破。然而,深度RL需要大量的训练时间,这使得它很难用于各种现实生活中的应用,如人机交互(HCI)。因此,在本文中,我们研究了深度RL中的预训练,以减少训练时间并提高语音识别的性能,这是HCI的一个流行应用。我们在公开的语音命令识别数据集上,在更短的时间内实现了显着提高的性能。
2019-10-26 cs.LG cs.SD
Deep Reinforcement Learning Policies Learn Shared Adversarial Features Across MDPs
使用深度神经网络作为函数逼近器已经导致强化学习算法和应用取得了惊人的进展。然而,我们对决策边界几何形状和神经策略的损失景观的了解仍然非常有限。在本文中,我们提出了一个框架,以调查的决策边界和损失景观相似性的国家和跨MDPs。我们在Arcade Learning Environment的各种游戏中进行了实验,发现神经策略的高灵敏度方向在MDP之间是相关的。我们认为,这些高灵敏度的方向支持的假设,即非鲁棒的功能共享跨训练环境的强化学习代理。我们相信,我们的研究结果揭示了深度强化学习训练中使用的环境的基本特性,并代表了构建强大可靠的深度强化学习代理的切实步骤。
2021-12-16 cs.AI cs.LG stat.ML
D2RL: Deep Dense Architectures in Reinforcement Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of California Berkeley(加州大学伯克利分校)
虽然深度学习架构的改进在改善计算机视觉和自然语言处理中的监督和无监督学习状态方面发挥了至关重要的作用,但用于强化学习的神经网络架构选择仍然相对不足。我们从计算机视觉和生成建模的成功架构选择中汲取灵感,并在各种模拟机器人学习基准环境中研究使用更深的网络和密集连接进行强化学习。我们的研究结果表明,目前的方法从密集的连接和更深的网络中受益匪浅,在一系列操纵和运动任务中,无论是本体感受还是基于图像的观察。我们希望我们的结果可以作为一个强有力的基线,并进一步激励未来对强化学习神经网络架构的研究。该项目的网站与代码是在这个链接https://sites.google.com/view/d2rl/home。
2020-11-27 cs.LG
Power Allocation for Delay Optimization in Device-to-Device Networks: A Graph Reinforcement Learning Approach
National Mobile Communications Research Laboratory, Southeast University(东南大学国家移动通信研究中心);College of Electronics and Information Engineering, Shenzhen University(深圳大学电子与信息工程学院);Department of Electrical and Computer Engineering, University of California, Santa Cruz(加州大学圣克鲁兹分校电子与计算机工程系)
针对无线通信速率最大化与用户公平性的矛盾,本文提出基于GNN嵌入PPO的集中式图强化学习D2D功率分配方法,纳入多维度状态信息,可在保障公平性下降低平均时延,性能优于基线且具可扩展性与泛化性。
2025-05-19 cs.LG cs.SY eess.SY
Benchmarking Robustness of Deep Reinforcement Learning approaches to Online Portfolio Management
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);CentraleSupélec(中央理工-高等电力学院);LUSIS(LUSIS公司)
本文提出了一套训练与评估流程,系统评测经典深度强化学习算法在在线投资组合管理中的鲁棒性,发现多数算法泛化能力差且在回测中快速退化。
2023-06-19 cs.LG q-fin.PM
MAGNet: Multi-agent Graph Network for Deep Multi-agent Reinforcement Learning
JetBrains Research(JetBrains研究院);National Research University Higher School of Economics(国立研究型大学高等经济学院);L3S Research Center(L3S研究中心);Leibniz University Hannover(汉诺威莱布尼茨大学)
近年来,深度强化学习在复杂的单智能体任务中取得了巨大的成功,最近这种方法也被应用于多智能体领域。在本文中,我们提出了一种新的方法,称为磁网,多智能体强化学习,利用相关图表示的环境中获得的自我注意机制,和消息生成技术。我们将我们的MAGnet方法应用于合成的捕食者-猎物多智能体环境和Pommerman游戏,结果表明它显着优于最先进的MARL解决方案,包括多智能体深度Q网络(MADQN),多智能体深度确定性策略梯度(MADDPG)和QMIX
2020-12-17 cs.LG
Online Robustness Training for Deep Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院)
在深度强化学习(RL)中,对抗攻击可以欺骗代理进入不想要的状态并中断训练。我们提出了一个名为Robust Student-DQN(RS-DQN)的系统,该系统允许与Q网络一起进行在线鲁棒性训练,同时保持竞争性能。我们表明,RS-DQN可以与(i)最先进的对抗训练和(ii)可证明的鲁棒训练相结合,以获得在训练和评估期间对强攻击具有弹性的代理。
2019-11-22 cs.LG stat.ML
Newsvendor Model with Deep Reinforcement Learning
我提出了一个深度强化学习(RL)的数学问题的解决方案,称为报童模型,它旨在优化利润给定的概率需求分布。为了反映更现实和复杂的情况,需求分布可以针对一周中的不同日子而改变,从而改变最佳行为。我使用了一个双延迟的深度确定性策略梯度代理(作为完全原始的代码编写),同时使用了一个演员和评论家网络来解决这个问题。智能体能够学习与问题的分析解一致的最佳行为,并且可以识别一周中不同日子的单独概率分布并相应地采取行动。
2021-12-27 cs.LG
Deep Reinforcement Learning for Doom using Unsupervised Auxiliary Tasks
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
深度强化学习的最新发展使得能够创建用于解决给定视觉输入的各种游戏的代理。这些方法已经被证明是成功的2D游戏,如雅达利游戏,或简单的任务,如在迷宫中导航。这仍然是一个悬而未决的问题,如何解决更复杂的环境中,奖励是稀疏的,状态空间是巨大的。在本文中,我们提出了一种分而治之的深度强化学习解决方案,并在第一人称射击游戏Doom中测试了我们的代理。我们的工作是基于以前在深度强化学习和Doom代理中的工作。我们还介绍了我们的代理是如何能够在未知的环境中表现得更好相比,最先进的强化学习算法。
2018-07-05 cs.AI cs.LG stat.ML