Object-sensitive Deep Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
近年来，深度强化学习变得越来越流行，在玩Atari游戏和机器人导航等不同的视觉输入任务上显示出优越性。虽然对象是重要的图像元素，但很少有工作考虑使用对象特征来增强深度强化学习。在本文中，我们提出了一种新的方法，可以将对象识别处理纳入深度强化学习模型。这种方法可以适应任何现有的深度强化学习框架。国家的最先进的结果显示在Atari游戏的实验。我们还提出了一种名为“对象显着性图”的新方法，以直观地解释深度强化学习代理所做的动作。
2018-09-17 cs.CV cs.LG stat.ML
Toybox: A Suite of Environments for Experimental Evaluation of Deep Reinforcement Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Smith College（史密斯学院）
深度强化学习（RL）的评估具有内在的挑战性。特别是，学习的策略在很大程度上是不透明的，并且关于深度RL代理行为的假设很难在黑箱环境中进行测试。相当大的努力已经进入解决不透明性，但几乎没有努力一直致力于生产高品质的环境，实验评估代理的行为。我们介绍了TOYBOX，这是一个新的高性能，开源 * Atari环境子集，重新设计用于深度RL的实验评估。我们表明，TOYBOX使广泛的实验和分析，是不可能在其他环境中。*https：kdl-umass.github.io/Toybox/
2019-05-07 cs.LG stat.ML
A Survey Analyzing Generalization in Deep Reinforcement Learning
University College London（伦敦大学学院）
该综述形式化分析了深度强化学习的泛化性问题，阐释过拟合根源，分类讲解各类提升泛化性的方法，覆盖多类子领域，可为领域发展提供指南并助力构建鲁棒高泛化性的深度神经策略。
2024-10-30 cs.AI cs.LG stat.ML
Metaoptimization on a Distributed System for Deep Reinforcement Learning
NVIDIA（英伟达）
通过强化学习训练智能代理是一个众所周知的不稳定过程。GPU和分布式系统上的大规模并行化已经被用来生成大量的训练经验，从而减少不稳定性，但训练的成功仍然受到超参数选择的强烈影响。为了克服这个问题，我们介绍了HyperTrick，一种新的元优化算法，并展示了它在深度强化学习的情况下调整超参数的有效应用，同时学习在分布式系统上玩不同的Atari游戏。我们的分析提供了最优超参数的识别和学习策略之间相互作用的证据，这是深度强化学习的元优化的典型情况。与最先进的元优化算法相比，HyperTrick的特点是实现更简单，它允许学习类似的策略，同时更有效地利用分布式系统中的计算资源。
2019-02-07 cs.LG stat.ML
Modern Deep Reinforcement Learning Algorithms
Moscow State University（莫斯科国立大学）
强化学习的最新进展是将经典理论成果与深度学习范式相结合，导致许多人工智能任务的突破，并催生了深度强化学习（DRL）作为一个研究领域。在这项工作中，最新的DRL算法进行了审查，重点放在他们的理论依据，实际的局限性和观察到的经验性质。
2019-07-06 cs.AI cs.LG stat.ML
Transferring Deep Reinforcement Learning with Adversarial Objective and Augmentation
National Taiwan University（台湾大学）
在过去的几年里，深度强化学习已被证明可以解决视频游戏或棋盘游戏等复杂状态的问题。智能代理的下一步将能够在任务之间进行概括，并利用先前的经验更快地学习新技能。然而，目前大多数强化学习算法即使在面对非常相似的目标任务时也经常遭受灾难性遗忘。我们的方法使智能体能够从单个源任务中概括知识，并在面对新任务时使用半监督学习方法来提高学习进度。我们在Atari游戏上评估了这种方法，这是一种流行的强化学习基准，并表明它优于基于预训练和微调的常见基线。
2018-09-04 cs.LG stat.ML
Some approaches used to overcome overestimation in Deep Reinforcement Learning algorithms
讨论了在深度强化学习（RL）算法框架下，不同作者研究的与统计噪声相关的一些现象。以下算法进行了检查：深度Q网络（DQN），双DQN，深度确定性策略梯度（DDPG），双延迟DDPG（TD 3），和爬山算法。首先，我们考虑高估，这是由噪声引起的有害属性。然后，我们处理用于勘探的噪声，这是有用的噪声。我们将讨论在TD 3中为与关节体（如HopperBulletEnv和Walker 2DBulletEnv）相关的典型PyBullet环境设置噪声参数。在附录中，关于爬山算法，考虑与噪声相关的另一个示例-自适应噪声的示例。
2022-11-10 cs.LG stat.ML
A Dual Memory Structure for Efficient Use of Replay Memory in Deep Reinforcement Learning
KAIST（韩国科学技术院）
在本文中，我们提出了一个双重记忆结构的强化学习算法与重放记忆。双存储器由存储各种数据的主存储器和管理数据并有效训练强化学习代理的高速缓存存储器组成。实验结果表明，在OpenAI Gym的三个选定环境中，双记忆结构比传统的单记忆结构获得了更高的训练和测试成绩。这意味着双记忆结构比单记忆结构能够实现更好和更有效的训练。
2019-07-15 cs.LG stat.ML
Deep Episodic Value Iteration for Model-based Meta-Reinforcement Learning
Stanford University（斯坦福大学）
我们提出了一个新的深度Meta强化学习器，我们称之为深度情节值迭代（DEVI）。DEVI使用深度神经网络来学习基于非参数模型的强化学习算法的相似性度量。我们的模型通过反向传播进行端到端训练。尽管使用无模型Q学习目标进行训练，我们表明，DEVI的基于模型的内部结构提供了“一次性”转移到奖励和过渡结构的变化，即使是非常高维的状态空间的任务。
2017-05-09 cs.AI cs.LG stat.ML
Tutorial and Survey on Probabilistic Graphical Model and Variational Inference in Deep Reinforcement Learning
Ludwig Maximillian University of Munich（慕尼黑大学）
为了提供一个全面而简洁的教程综述，本文对概率图模型的变分推理和强化学习进行了回顾，并给出了详细的推导。从多个方面对深度强化学习的最新研究进展进行了综述和比较。我们为深度强化学习中的概率图模型和变分推理方法的分类提供了详细的推导，作为原始贡献的补充材料。
2019-12-08 cs.AI cs.LG stat.ML
An Introduction to Deep Reinforcement Learning
McGill University（麦吉尔大学）；Google Brain（谷歌大脑）；Facebook（脸书）
深度强化学习是强化学习（RL）和深度学习的结合。这一研究领域已经能够解决以前机器无法完成的各种复杂决策任务。因此，深度RL在医疗保健、机器人、智能电网、金融等领域开辟了许多新的应用。本手稿介绍了深度强化学习模型、算法和技术。特别关注的是与泛化相关的方面，以及如何将深度RL用于实际应用。我们假设读者熟悉基本的机器学习概念。
2018-12-03 cs.AI cs.LG stat.ML
Deep Reinforcement Learning: An Overview
National University of Ireland, Galway（爱尔兰国立大学戈尔韦分校）
近年来，一种称为深度学习的特定机器学习方法获得了巨大的吸引力，因为它在模式识别、语音识别、计算机视觉和自然语言处理等广泛应用中获得了惊人的结果。最近的研究还表明，深度学习技术可以与强化学习方法相结合，以学习高维原始数据输入问题的有用表示。本章回顾了深度强化学习的最新进展，重点介绍了最常用的深度架构，如自动编码器、卷积神经网络和递归神经网络，这些架构已经成功地与强化学习框架结合在一起。
2018-06-23 cs.AI cs.LG stat.ML
Deep Reinforcement Learning Policies Learn Shared Adversarial Features Across MDPs
使用深度神经网络作为函数逼近器已经导致强化学习算法和应用取得了惊人的进展。然而，我们对决策边界几何形状和神经策略的损失景观的了解仍然非常有限。在本文中，我们提出了一个框架，以调查的决策边界和损失景观相似性的国家和跨MDPs。我们在Arcade Learning Environment的各种游戏中进行了实验，发现神经策略的高灵敏度方向在MDP之间是相关的。我们认为，这些高灵敏度的方向支持的假设，即非鲁棒的功能共享跨训练环境的强化学习代理。我们相信，我们的研究结果揭示了深度强化学习训练中使用的环境的基本特性，并代表了构建强大可靠的深度强化学习代理的切实步骤。
2021-12-16 cs.AI cs.LG stat.ML
Deep Reinforcement Learning for Doom using Unsupervised Auxiliary Tasks
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
深度强化学习的最新发展使得能够创建用于解决给定视觉输入的各种游戏的代理。这些方法已经被证明是成功的2D游戏，如雅达利游戏，或简单的任务，如在迷宫中导航。这仍然是一个悬而未决的问题，如何解决更复杂的环境中，奖励是稀疏的，状态空间是巨大的。在本文中，我们提出了一种分而治之的深度强化学习解决方案，并在第一人称射击游戏Doom中测试了我们的代理。我们的工作是基于以前在深度强化学习和Doom代理中的工作。我们还介绍了我们的代理是如何能够在未知的环境中表现得更好相比，最先进的强化学习算法。
2018-07-05 cs.AI cs.LG stat.ML
Practical Deep Reinforcement Learning Approach for Stock Trading
Columbia University（哥伦比亚大学）；Nokia-Bell Labs（诺基亚贝尔实验室）
股票交易策略在投资公司中起着至关重要的作用。然而，在复杂多变的股票市场中，如何获得最优策略是一个挑战。我们探索深度强化学习的潜力，以优化股票交易策略，从而最大限度地提高投资回报。选取了30只股票作为我们的交易股票，并以它们的每日价格作为训练和交易的市场环境。我们训练一个深度强化学习代理，并获得一个自适应的交易策略。最后，将该策略与道琼斯工业平均指数和传统的最小方差投资组合分配策略进行了比较。所提出的深度强化学习方法在夏普比率和累积收益方面都优于两个基线。
2022-07-30 cs.LG q-fin.TR stat.ML
Using Deep Reinforcement Learning for the Continuous Control of Robotic Arms
TU Chemnitz（开姆尼茨工业大学）
深度强化学习使算法能够学习复杂的行为，处理连续的动作空间，并在高维状态空间的环境中找到好的策略。由于深度强化学习是一个活跃的研究领域，并且有许多并发的发明，我们决定专注于一个相对简单的机器人任务，以评估一组可能有助于解决最近强化学习问题的想法。我们测试了两种常用的强化学习方法的新组合，它是否能够比基线更有效地学习。我们还比较了不同的想法，以预处理信息之前，它被馈送到强化学习算法。该策略的目标是减少训练时间并最终帮助算法收敛。最后的评估证明了所描述的概念的一般适用性，通过使用模拟环境进行测试。这些概念可能会在未来的实验中重复使用。
2018-10-15 cs.LG cs.RO stat.ML
Superstition in the Network: Deep Reinforcement Learning Plays Deceptive Games
New York University（纽约大学）；University of Strathclyde（思克莱德大学）；University of Hertfordshire（赫特福德大学）；Maastricht University（马斯特里赫特大学）
深度强化学习已经学会了玩很多游戏，但在其他游戏上失败了。为了更好地描述深度强化学习器失败的模式和原因，我们在四个欺骗性游戏上测试了广泛使用的异步演员-评论家（A2 C）算法，这些游戏是专门为向玩游戏的代理人提供挑战而设计的。这些游戏是在通用视频游戏AI框架中实现的，这使我们能够比较基于强化学习的代理与基于树搜索的规划代理的行为。我们发现，其中几个游戏可靠地欺骗了深度强化学习器，并且由此产生的行为突出了学习算法的缺点。代理失败的特定方式不同于基于规划的代理失败的方式，进一步阐明了这些算法的特征。我们提出了一个初始的欺骗类型学，这可以帮助我们更好地理解（深度）强化学习的陷阱和失败模式。
2019-08-12 cs.AI cs.LG stat.ML
Transfer Learning in Deep Reinforcement Learning: A Survey
Michigan State University（密歇根州立大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本文系统综述了深度强化学习中迁移学习方法的最新进展，提出分类框架并分析其目标、方法、兼容主干网络与应用，同时探讨了与其他相关主题的联系及未来挑战。
2023-07-04 cs.AI cs.LG stat.ML
RLgraph: Modular Computation Graphs for Deep Reinforcement Learning
University of Cambridge（剑桥大学）；rlcore；Helmut Schmidt University（赫尔穆特·施密特大学）
强化学习（RL）任务的实现、执行和测试具有挑战性，这是由于算法的不稳定性、超参数敏感性和异构分布式通信模式。我们主张分离的逻辑组件组成，后端图形定义，和分布式执行。为此，我们引入RLgraph，一个用于在静态图和运行定义范式中设计和执行强化学习任务的库。由此产生的实现是健壮的，可增量测试的，并在不同的深度学习框架和分布式后端之间产生高性能。
2019-02-28 cs.AI cs.LG stat.ML
A Brief Survey of Deep Reinforcement Learning
深度强化学习有望彻底改变人工智能领域，并代表着构建对视觉世界有更高理解的自主系统的一步。目前，深度学习使强化学习能够扩展到以前难以解决的问题，例如直接从像素学习玩视频游戏。深度强化学习算法也被应用于机器人技术，允许机器人的控制策略直接从现实世界中的摄像机输入中学习。在本调查中，我们首先介绍强化学习的一般领域，然后介绍基于价值观和基于政策的方法的主流。我们的调查将涵盖深度强化学习中的核心算法，包括深度$Q$网络，信任区域策略优化和异步优势演员-评论家。同时，我们强调了深度神经网络的独特优势，重点是通过强化学习进行视觉理解。最后，我们描述了该领域内的几个当前研究领域。
2017-09-28 cs.AI cs.CV cs.LG
Offline Deep Reinforcement Learning for Dynamic Pricing of Consumer Credit
Institute of Finance and Technology, UCL（伦敦大学学院金融与技术研究所）；NatWest Group（国民西敏寺银行集团）
我们介绍了一种使用离线深度强化学习的最新进展来为消费信贷定价的方法。这种方法依赖于静态数据集，不需要对需求的函数形式进行假设。使用真实和合成数据的消费信贷应用，我们证明了我们的方法使用保守的Q-学习算法是能够学习一个有效的个性化定价政策，没有任何在线互动或价格实验。
2022-03-06 cs.LG q-fin.RM stat.ML
Deep Reinforcement Learning for Clinical Decision Support: A Brief Survey
National University of Singapore（新加坡国立大学）；National University Hospital（国立大学医院）
由于人工智能特别是深度学习的最新进展，已经实现了许多数据驱动的决策支持系统，以促进医生提供个性化护理。本文重点研究了深度强化学习（DRL）模型。DRL模型在计算机视觉和游戏（如围棋和Atari游戏）中表现出了人类水平甚至更高的性能。然而，深度强化学习技术在临床决策优化中的采用仍然很少见。我们提出了第一个调查，总结了强化学习算法与深度神经网络（DNN）的临床决策支持。我们还讨论了一些案例研究，其中不同的DRL算法被应用于解决各种临床挑战。我们进一步比较和对比各种DRL算法的优点和局限性，并提出了一个初步的指导，如何选择合适的DRL算法的特定的临床应用。
2019-07-22 cs.AI cs.LG stat.ML
Imagination-Augmented Agents for Deep Reinforcement Learning
DeepMind
我们引入了想象增强代理（I2As），这是一种结合了无模型和基于模型方面的深度强化学习的新架构。与大多数现有的基于基于模型的强化学习和规划方法（规定如何使用模型来达成策略）相比，I2A学习解释来自学习环境模型的预测，通过将预测用作深度策略网络中的附加上下文，以任意方式构建隐式计划。与几个基线相比，I2A显示出更高的数据效率、性能和对模型错误指定的鲁棒性。
2018-02-14 cs.AI cs.LG stat.ML
Off-Policy Deep Reinforcement Learning without Exploration
McGill University（麦吉尔大学）；Mila Québec AI Institute（米拉魁北克人工智能研究所）
强化学习的许多实际应用限制代理从已经收集的固定批次数据中学习，而不提供进一步的数据汇集的可能性。在本文中，我们证明了由于外推引入的错误，标准的非策略深度强化学习算法（如DQN和DDPG）无法使用与当前策略下的分布不相关的数据进行学习，这使得它们对于这种固定的批量设置无效。我们引入了一类新的关政策算法，批量约束强化学习，它限制了动作空间，以迫使代理的行为接近对政策的一个子集的给定数据。我们提出了第一个连续控制深度强化学习算法，该算法可以从任意固定的批量数据中有效地学习，并在几个任务中实证证明了其行为的质量。
2019-08-10 cs.AI cs.LG stat.ML
Deep Residual Reinforcement Learning
University of Oxford（牛津大学）
我们在无模型和基于模型的强化学习设置中重新审视残差算法。我们提出了双向目标网络技术来稳定残差算法，产生DDPG的残差版本，在DeepMind Control Suite基准测试中显著优于vanilla DDPG。此外，我们发现残差算法是一种有效的方法，分布失配问题的基于模型的规划。与现有的TD（$k$）方法相比，我们的残差为基础的方法，使更弱的假设模型，并产生更大的性能提升。
2020-01-23 cs.AI cs.LG stat.ML
A New Concept of Deep Reinforcement Learning based Augmented General Sequence Tagging System
Samsung Research America（三星美国研究院）
本文提出了一种新的基于深度强化学习的增强通用序列标注系统。新系统包含两个部分：基于深度神经网络（DNN）的序列标记模型和基于深度强化学习（DRL）的增强标记器。增强标记器通过对具有少数标记的数据进行建模来帮助提高系统性能。使用ATIS和CoNLL-2003基准数据集对新系统进行SLU和NLU序列标记任务的评估，以展示新系统在一般标记任务上的出色性能。通过F1评分，新系统在ATIS数据集和CoNLL-2003数据集上的性能分别比当前最先进的模型高1.9%和1.4%。
2018-12-26 cs.CL cs.LG stat.ML
Uncertainty-Based Out-of-Distribution Detection in Deep Reinforcement Learning
LMU Munich（慕尼黑大学）；MaibornWolff（迈博恩沃尔夫公司）
我们考虑在深度强化学习中检测分布外（OOD）样本的问题。在基于值的强化学习设置中，我们建议直接在代理的值估计神经网络上使用不确定性估计技术来检测OOD样本。我们工作的重点在于分析近似贝叶斯推理方法和相关的集成技术，产生不确定性估计的适用性。虽然先前的工作已经表明，基于丢弃的变分推理技术和基于引导的方法可以用于建模认知不确定性，但在深度强化学习中检测OOD样本的适用性仍然是一个悬而未决的问题。我们的研究结果表明，不确定性估计可以用来区分在分布外的样本。在强化学习代理的整个训练过程中，与基于丢弃的方法相比，基于引导的方法倾向于产生更可靠的认知不确定性估计。
2019-01-08 cs.AI cs.LG stat.ML
ANS: Adaptive Network Scaling for Deep Rectifier Reinforcement Learning Models
National Taiwan University（国立台湾大学）；RIKEN-AIP（理化学研究所人工智能研究中心）
这项工作提供了一个深入的研究如何奖励缩放可以影响深度强化学习代理的性能。特别是，我们想回答这样一个问题：奖励缩放如何影响RL中的非饱和ReLU网络？这个问题很重要，因为ReLU是深度学习模型中最有效的激活函数之一。我们还提出了一个自适应网络缩放框架，在学习过程中找到合适的奖励规模，以获得更好的性能。我们进行了实证研究，以证明解决方案。
2018-10-31 cs.AI cs.LG stat.ML
A Review of Uncertainty for Deep Reinforcement Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）
不确定性在博弈中无处不在，无论是在参与博弈的主体中，还是在博弈本身中。因此，处理不确定性是成功的深度强化学习代理的重要组成部分。虽然在理解和处理监督学习的不确定性方面已经有了很大的努力和进展，但不确定性感知的深度强化学习的文献还不太发达。虽然关于监督学习的神经网络中的不确定性的许多相同问题仍然存在于强化学习中，但由于可交互环境的性质，存在额外的不确定性来源。在这项工作中，我们提供了一个概述，激励和现有的技术在不确定性意识的深度强化学习。这些工作显示了各种强化学习任务的经验优势。这项工作有助于集中不同的结果，并促进这一领域的未来研究。
2022-08-18 cs.LG
Estimation Error Correction in Deep Reinforcement Learning for Deterministic Actor-Critic Methods
Bilkent University（比尔肯特大学）
在基于值的深度强化学习方法中，价值函数的近似会导致高估偏差并导致次优策略。我们发现，在旨在克服高估偏差的深度演员-评论家方法中，如果代理接收到的强化信号具有较高的方差，则会出现显著的低估偏差。为了最大限度地减少低估，我们引入了一个无参数的新型深度Q学习变体。我们的Q值更新规则结合了Clipped Double Q-learning和Maxmin Q-learning背后的概念，通过最大值和最小值运算符的嵌套组合来计算critic目标，以限制近似值估计。我们评估了我们对几个OpenAI Gym连续控制任务套件的修改，在每个测试环境中提高了最先进的水平。
2021-09-23 cs.AI cs.LG stat.ML
Dex: Incremental Learning for Complex Environments in Deep Reinforcement Learning
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
本文介绍了Dex，一个强化学习环境工具包，专门用于训练和评估持续学习方法以及一般的强化学习问题。我们还提出了一种新的增量学习的持续学习方法，其中使用从第一次解决类似的更容易的环境中学习到的最佳权重初始化来解决具有挑战性的环境。我们表明，增量学习可以产生比标准方法优越得多的结果，通过在十个Dex环境中提供一个强大的基线方法。最后，我们开发了一种显着性方法来定性分析强化学习，它显示了增量学习对网络注意力的影响。
2017-06-19 cs.AI cs.LG stat.ML
Investigating Simple Object Representations in Model-Free Deep Reinforcement Learning
Center for Data Science（数据科学中心）；New York University（纽约大学）
我们探索了用简单的对象表示来增强最先进的无模型深度强化算法的好处。在Lake et al.（2017）提出的Frostbite挑战之后，我们将对象表征确定为当前强化学习代理缺乏的关键认知能力。我们发现，提供彩虹模型（Hessel等人，2018年）与简单的，功能工程的对象表示大大提高了其性能的冻伤游戏从雅达利2600。然后，我们分析了不同类型的对象的表示的相对贡献，确定这些表示是最有影响力的环境状态，并检查这些表示如何帮助推广到新的情况。
2020-05-28 cs.AI cs.LG stat.ML
Multi-task learning with deep model based reinforcement learning
ETH Zürich（苏黎世联邦理工学院）
近年来，使用深度学习的无模型方法在许多不同的强化学习环境中取得了巨大成功。大多数成功的方法都集中在解决单个任务上，而多任务强化学习仍然是一个悬而未决的问题。在本文中，我们提出了一种基于模型的深度强化学习方法，用于同时解决不同的任务。我们表明，我们的方法不仅不会降低，而且实际上受益于学习多个任务。对于我们的模型，我们还提出了一种新的递归神经网络，其灵感来自于残差网络，该网络将内存从计算中分离出来，从而可以对不需要大量内存的复杂环境进行建模。
2017-05-23 cs.LG
Inverse Reinforcement Learning via Deep Gaussian Process
UC Berkeley（加州大学伯克利分校）；University of Sheffield（谢菲尔德大学）
提出了一种基于深度高斯过程（deep GP）模型的逆强化学习（IRL）新方法，该方法能够用较少的演示来学习复杂的奖励结构。我们的模型堆叠多个潜在GP层来学习状态特征空间的抽象表示，这通过最大熵学习框架与演示相关联。将IRL引擎扩展到非线性潜在结构中使得现有的深度GP推理方法难以处理。为了解决这个问题，我们开发了一个非标准的变分逼近框架，扩展了以前的推理方案。这允许特征空间的近似贝叶斯处理，并防止过拟合。在我们的模型中同时进行表示和逆强化学习优于最先进的方法，正如我们在标准基准（“对象世界”，“高速公路驾驶”）和新基准（“二进制世界”）上的实验所证明的那样。
2017-05-04 cs.LG cs.RO stat.ML
Multi-Agent Deep Reinforcement Learning with Human Strategies
Institute for Intelligent Systems Research and Innovation (IISRI)（智能系统研究与创新研究院（IISRI））；Deakin University（迪肯大学）
深度学习使传统的强化学习方法能够处理高维问题。然而，深度强化学习方法的缺点之一是学习代理的有限探索能力。在本文中，我们介绍了一种整合人类策略以提高多个深度强化学习代理的探索能力的方法。我们还报告了我们自己的多智能体环境称为多坦克防御模拟所提出的方法的发展。结果表明，多个代理人的合作学习与人类的策略显着的性能改善。这意味着人类的智慧与机器合作来解决复杂问题的迫切需要。此外，本次仿真的成功表明，我们的多智能体环境可以作为一个测试平台，开发和验证其他多智能体控制算法。
2019-05-30 cs.AI cs.LG stat.ML
Bach2Bach: Generating Music Using A Deep Reinforcement Learning Approach
Columbia University（哥伦比亚大学）
一个音乐模型需要有能力回忆过去的细节，并对音乐结构有清晰、连贯的理解。论文中详细介绍了一种深度强化学习架构，它可以预测和生成符合音乐规则的复调音乐。所呈现的概率模型是一个双轴LSTM，它用一个让人想起卷积核的伪核进行训练。为了鼓励探索并对生成的音乐施加更大的全局一致性，采用了深度强化学习方法DQN。从定量和定性的角度分析，这一方法在复调音乐创作中有着良好的表现。
2018-12-03 cs.LG cs.SD eess.AS
A Multi-Objective Deep Reinforcement Learning Framework
School of Information Technology, Deakin University（迪肯大学信息技术学院）；Institute for Intelligent Systems Research and Innovation, Deakin University（迪肯大学智能系统研究与创新学院）；School of Science, Engineering and Information Technology, Federation University（联邦大学科学、工程与信息技术学院）
提出了一种基于深度Q网络的可扩展多目标深度强化学习（MODRL）框架。我们开发了一个高性能的MODRL框架，支持单策略和多策略策略，以及线性和非线性的方法来选择动作。两个基准问题（两目标深海宝藏环境和三目标山地车问题）的实验结果表明，该框架能够有效地找到Pareto最优解。所提出的框架是通用的和高度模块化的，它允许在不同的复杂问题域中集成不同的深度强化学习算法。因此，这克服了当前文献中涉及标准多目标强化学习方法的许多缺点。所提出的框架作为一个试验平台，加速MODRL的发展，解决日益复杂的多目标问题。
2020-06-19 cs.AI cs.LG stat.ML
Information-Directed Exploration for Deep Reinforcement Learning
Imperial College London（伦敦帝国理工学院）；ETH Zurich（苏黎世联邦理工学院）
有效的探索仍然是强化学习的主要挑战。原因之一是收益率的变异性通常取决于当前的状态和行为，因此是异方差的。经典的探索策略，如置信上限算法和汤普森采样未能适当考虑异方差，即使在强盗设置。最近的研究结果，解决这个问题的土匪的动机，我们建议使用信息定向采样（IDS）的探索强化学习。作为我们的主要贡献，我们建立在分布式强化学习的最新进展，并提出了一种新的，易于处理的深度Q学习近似IDS。由此产生的探索策略明确占参数的不确定性和异方差观测噪声。我们评估我们的方法对雅达利游戏，并证明了替代方法的显着改善。
2019-03-25 cs.AI cs.LG stat.ML
Deep Reinforcement Learning Boosted by External Knowledge
National Institute of Informatics（国立信息学研究所）
深度强化学习的最新改进已经允许解决许多2D领域的问题，例如Atari游戏。然而，在复杂的3D环境中，需要大量的学习片段，这可能太耗时甚至不可能，特别是在现实世界的场景中。我们提出了一个新的架构，结合外部知识和深度强化学习只使用视觉输入。我们的系统的一个关键概念是通过添加环境特征信息和结合两个决策源来增强图像输入。我们评估我们的方法在3D部分可观察的环境中从微软马尔默平台的性能。实验评估显示出更高的性能和更快的学习相比，一个单一的强化学习模型。
2017-12-12 cs.LG
A Nesterov's Accelerated quasi-Newton method for Global Routing using Deep Reinforcement Learning
Shizuoka University（静冈大学）；Shonan Institute of Technology（湘南工业大学）；Hiroshima City University（广岛市立大学）
深度Q学习方法是最常用的深度强化学习算法之一，其使用深度神经网络来近似动作-价值函数的估计。深度Q网络（DQN）的训练通常限于基于一阶梯度的方法。本文试图通过引入二阶Nesterov加速拟牛顿方法来加速深度Q网络的训练。我们评估了所提出的方法的性能，深度强化学习使用双DQN全局路由。实验结果表明，与一阶Adam和RMSprop方法训练的DQN相比，该方法可以获得更好的路由解决方案。
2020-10-15 cs.LG
Leveraging Topological Maps in Deep Reinforcement Learning for Multi-Object Navigation
Ruhr University Bochum（波鸿鲁尔大学）
本研究利用拓扑图将基本动作提升为面向对象的宏动作，使简单DQN智能体在稀疏奖励的广阔空间中成功实现多目标导航。
2023-10-16 cs.LG
Adversarial Robust Deep Reinforcement Learning Requires Redefining Robustness
通过利用深度神经网络，已经有效地实现了经由与给定环境的交互从原始高维数据中学习。然而，观察到的由沿着高灵敏度方向的不可察觉的最坏情况的策略依赖转换（即对抗性扰动）引起的策略性能的下降引起了对深度强化学习策略的鲁棒性的关注。在我们的论文中，我们证明了这些高敏感度的方向不仅存在于特定的最坏情况方向上，而且在深层神经策略领域中更丰富，并且可以通过更自然的方式在黑盒环境中找到。此外，我们发现，与通过最先进的对抗训练技术学习的策略相比，香草训练技术有趣地导致学习更强大的策略。我们相信我们的工作展示了深度强化学习策略流形的有趣特性，我们的结果可以帮助构建强大且可推广的深度强化学习策略。
2023-01-17 cs.AI cs.CR cs.LG
Deep Reinforcement Learning Radio Control and Signal Detection with KeRLym, a Gym RL Agent
Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）
本文介绍了正在进行的研究，调查的可行性和适应性的强化学习使用深度神经网络为基础的功能近似的无线电控制和信号检测在无线领域的任务。我们展示了一个成功的无线电控制的初始方法，它允许天真的学习搜索，而不需要专家的功能，技巧，或搜索策略。我们还介绍了Kerlym，这是一个开放的基于Keras的强化学习代理集合，用于OpenAI的Gym。
2016-05-30 cs.LG
A Deep Reinforcement Learning Approach for Composing Moving IoT Services
Deakin University（迪肯大学）；University of Sydney（悉尼大学）
我们开发了一个新的框架，用于高效和有效地发现在一段时间内靠近用户的众包服务。我们介绍了一个移动的众包服务模型，这是建模为一个移动区域。我们提出了一种基于深度强化学习的组合方法来选择和组合考虑质量参数的移动物联网服务。此外，我们开发了一个并行集群为基础的服务发现算法作为地面真理来衡量所提出的方法的准确性。在两个真实数据集上的实验验证了基于深度强化学习方法的有效性和效率。
2021-11-06 cs.LG
Dealing with Non-Stationarity in Multi-Agent Deep Reinforcement Learning
The University of Edinburgh（爱丁堡大学）
深度强化学习的最新发展涉及创建可以在各种复杂领域中表现良好的决策代理。一种受到越来越多关注的特定方法是多智能体强化学习，其中多个智能体同时学习以协调它们的动作。在这样的多代理环境中，由于代理的决策政策不断变化，会出现额外的学习问题。本文综述了近年来解决多智能体深度强化学习中非平稳性问题的研究成果。调查的方法范围从训练过程中的修改，如集中式训练，学习对手的政策，元学习，通信和分散式学习的表示。调查最后列出了一系列悬而未决的问题和未来可能的研究方向。
2019-06-11 cs.AI cs.LG cs.MA
Scalable Centralized Deep Multi-Agent Reinforcement Learning via Policy Gradients
GRASP Laboratory（GRASP实验室）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们将探索使用深度强化学习来解决多智能体问题。大多数现有的深度多智能体强化学习方法只考虑少量的智能体。当代理数量增加时，输入和控制空间的维数也会增加，这些方法的扩展性不好。为了解决这个问题，我们建议铸造的多智能体强化学习问题作为一个分布式优化问题。我们的算法假设，对于多代理设置，在一个给定的人口中的各个代理的政策生活在参数空间中彼此接近，可以近似为一个单一的政策。有了这个简单的假设，我们证明了我们的算法是非常有效的强化学习在多智能体设置。我们证明了其有效性对现有的可比方法的合作和竞争的任务。
2018-05-22 cs.AI cs.LG cs.MA
Visual Sensor Network Reconfiguration with Deep Reinforcement Learning
Ohio State University（俄亥俄州立大学）；Air Force Research Laboratory（空军研究实验室）
提出了一种基于深度强化学习（RL）的动态视觉传感器网络重构方法。我们的RL代理使用修改后的异步优势演员批评框架和最近提出的关系网络模块在其网络架构的基础上。为了解决当前无模型强化学习方法中样本效率低下的问题，我们在一个抽象的模拟环境中训练我们的系统，该环境代表来自动态场景的输入。我们的系统验证使用输入从现实世界的情况和预先存在的目标检测和跟踪算法。
2018-08-13 cs.AI cs.CV cs.LG
Deep Reinforcement Learning: An Overview
我们概述了深度强化学习（RL）最近取得的令人兴奋的成就。我们讨论了六个核心要素，六个重要机制和十二个应用程序。我们从机器学习、深度学习和强化学习的背景开始。接下来，我们讨论核心RL元素，包括价值函数，特别是深度Q网络（DQN），策略，奖励，模型，规划和探索。在此之后，我们讨论了强化学习的重要机制，包括注意和记忆，无监督学习，迁移学习，多智能体强化学习，分层强化学习和学习学习。然后我们讨论了RL的各种应用，包括游戏，特别是AlphaGo，机器人，自然语言处理，包括对话系统，机器翻译和文本生成，计算机视觉，神经架构设计，商业管理，金融，医疗保健，工业4.0，智能电网，智能交通系统和计算机系统。我们提到了一些尚未回顾的主题，并列出了一系列RL资源。在简要总结之后，我们以讨论结束。请参阅深度强化学习，arXiv：1810.06339，以获取重要更新。
2018-11-26 cs.LG
Dragonfly: a modular deep reinforcement learning library
MINES Paristech（巴黎矿业学院）；PSL - Research University（巴黎文理研究大学）
本文介绍模块化深度强化学习库Dragonfly，通过JSON序列化支持模块替换与参数扫描，并面向CPU密集型数值模拟环境，在常用基准上表现出具有竞争力的性能。
2025-07-28 cs.LG
Factor Representation and Decision Making in Stock Markets Using Deep Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
深度强化学习是无监督学习的一个分支，其中智能体学习根据环境状态采取行动，以最大化其总奖励。深度强化学习提供了一个很好的机会，通过利用深度神经网络的强大表示，在高维和数据驱动的环境中对投资组合选择的复杂性进行建模。在本文中，我们使用直接深度强化学习构建了一个投资组合管理系统，通过学习一个好的因子表示（作为输入），在S\&P500标的股票中周期性地做出最优投资组合选择。结果表明，有效的市场学习和最优投资组合配置可以显着优于平均市场。
2021-08-03 cs.LG q-fin.ST
Poisoning Deep Reinforcement Learning Agents with In-Distribution Triggers
Johns Hopkins University（约翰斯·霍普金斯大学）；Applied Physics Lab（应用物理实验室）
在本文中，我们提出了一种新的数据投毒攻击，并将其应用于深度强化学习代理。我们的攻击集中在我们所谓的分布内触发器上，这些触发器是模型将在其上训练和部署的数据分布的本地触发器。我们概述了一个简单的过程，用于在多任务学习范式下将这些和其他触发器嵌入深度强化学习代理中，并在三个常见的强化学习环境中进行演示。我们相信这项工作对深度学习模型的安全性具有重要意义。
2021-06-14 cs.CR cs.LG
PGN: A perturbation generation network against deep reinforcement learning
Northwestern Polytechnical University（西北工业大学）
提出PGN生成模型，通过生成对抗样本攻击深度强化学习智能体，实现定向与非定向攻击，并引入动作一致性比率衡量隐蔽性，实验证明其攻击有效、隐蔽且速度快。
2023-12-20 cs.AI cs.LG
D2RL: Deep Dense Architectures in Reinforcement Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of California Berkeley（加州大学伯克利分校）
虽然深度学习架构的改进在改善计算机视觉和自然语言处理中的监督和无监督学习状态方面发挥了至关重要的作用，但用于强化学习的神经网络架构选择仍然相对不足。我们从计算机视觉和生成建模的成功架构选择中汲取灵感，并在各种模拟机器人学习基准环境中研究使用更深的网络和密集连接进行强化学习。我们的研究结果表明，目前的方法从密集的连接和更深的网络中受益匪浅，在一系列操纵和运动任务中，无论是本体感受还是基于图像的观察。我们希望我们的结果可以作为一个强有力的基线，并进一步激励未来对强化学习神经网络架构的研究。该项目的网站与代码是在这个链接https://sites.google.com/view/d2rl/home。
2020-11-27 cs.LG
Application of deep reinforcement learning for Indian stock trading automation
IITB-Monash Research Academy（IITB-莫纳什研究院）；IIT Bombay（印度理工学院孟买分校）；Monash University（莫纳什大学）
在股票交易中，特征提取和交易策略设计是利用机器学习技术实现长期利益的两个重要任务。已经提出了几种方法来设计交易策略通过获取交易信号，以最大化的回报。本文将深度强化学习理论应用于印度市场的股票交易策略和投资决策。在10个印度股票数据集上系统地使用三个经典的深度强化学习模型Deep Q-Network，Double Deep Q-Network和Dueling Double Deep Q-Network进行实验。对模型的性能进行了评价和比较。
2021-05-18 cs.LG q-fin.TR
