Online Robustness Training for Deep Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
在深度强化学习（RL）中，对抗攻击可以欺骗代理进入不想要的状态并中断训练。我们提出了一个名为Robust Student-DQN（RS-DQN）的系统，该系统允许与Q网络一起进行在线鲁棒性训练，同时保持竞争性能。我们表明，RS-DQN可以与（i）最先进的对抗训练和（ii）可证明的鲁棒训练相结合，以获得在训练和评估期间对强攻击具有弹性的代理。
2019-11-22 cs.LG stat.ML
Reinforcement Learning and Video Games
University of Sheffield（谢菲尔德大学）
根据DeepMind在Go和Atari游戏上的实验，强化学习已经超过了人类在使用深度学习方法进行游戏AI方面的表现。深度学习解决了阻碍强化发展多年的高维输入问题。这项研究使用这两种技术来创建几个代理与不同的算法，成功地学习发挥霸王龙亚军。采用深度Q网络算法和三种改进方法对智能体进行训练。他们中的一些人的结果远远不能令人满意，但其他人比人类专家更好。批量归一化是解决深度神经网络内部协变量偏移问题的一种方法。这对强化学习的积极影响也在本研究中得到了证明。
2019-09-10 cs.LG stat.ML
Toybox: A Suite of Environments for Experimental Evaluation of Deep Reinforcement Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Smith College（史密斯学院）
深度强化学习（RL）的评估具有内在的挑战性。特别是，学习的策略在很大程度上是不透明的，并且关于深度RL代理行为的假设很难在黑箱环境中进行测试。相当大的努力已经进入解决不透明性，但几乎没有努力一直致力于生产高品质的环境，实验评估代理的行为。我们介绍了TOYBOX，这是一个新的高性能，开源 * Atari环境子集，重新设计用于深度RL的实验评估。我们表明，TOYBOX使广泛的实验和分析，是不可能在其他环境中。*https：kdl-umass.github.io/Toybox/
2019-05-07 cs.LG stat.ML
Object-sensitive Deep Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
近年来，深度强化学习变得越来越流行，在玩Atari游戏和机器人导航等不同的视觉输入任务上显示出优越性。虽然对象是重要的图像元素，但很少有工作考虑使用对象特征来增强深度强化学习。在本文中，我们提出了一种新的方法，可以将对象识别处理纳入深度强化学习模型。这种方法可以适应任何现有的深度强化学习框架。国家的最先进的结果显示在Atari游戏的实验。我们还提出了一种名为“对象显着性图”的新方法，以直观地解释深度强化学习代理所做的动作。
2018-09-17 cs.CV cs.LG stat.ML
Metaoptimization on a Distributed System for Deep Reinforcement Learning
NVIDIA（英伟达）
通过强化学习训练智能代理是一个众所周知的不稳定过程。GPU和分布式系统上的大规模并行化已经被用来生成大量的训练经验，从而减少不稳定性，但训练的成功仍然受到超参数选择的强烈影响。为了克服这个问题，我们介绍了HyperTrick，一种新的元优化算法，并展示了它在深度强化学习的情况下调整超参数的有效应用，同时学习在分布式系统上玩不同的Atari游戏。我们的分析提供了最优超参数的识别和学习策略之间相互作用的证据，这是深度强化学习的元优化的典型情况。与最先进的元优化算法相比，HyperTrick的特点是实现更简单，它允许学习类似的策略，同时更有效地利用分布式系统中的计算资源。
2019-02-07 cs.LG stat.ML
A Survey Analyzing Generalization in Deep Reinforcement Learning
University College London（伦敦大学学院）
该综述形式化分析了深度强化学习的泛化性问题，阐释过拟合根源，分类讲解各类提升泛化性的方法，覆盖多类子领域，可为领域发展提供指南并助力构建鲁棒高泛化性的深度神经策略。
2024-10-30 cs.AI cs.LG stat.ML
Modern Deep Reinforcement Learning Algorithms
Moscow State University（莫斯科国立大学）
强化学习的最新进展是将经典理论成果与深度学习范式相结合，导致许多人工智能任务的突破，并催生了深度强化学习（DRL）作为一个研究领域。在这项工作中，最新的DRL算法进行了审查，重点放在他们的理论依据，实际的局限性和观察到的经验性质。
2019-07-06 cs.AI cs.LG stat.ML
Macro Action Reinforcement Learning with Sequence Disentanglement using Variational Autoencoder
Dwango Artificial Intelligence Laboratory（Dwango人工智能实验室）；NTT Secure Platform Laboratories（NTT安全平台实验室）
将强化学习应用于现实世界问题的一个问题是动作空间上的维数灾难。宏动作，一系列的原始动作，已被研究，以减少关于时间轴的动作空间的维数。然而，以前的研究依赖于人类定义宏动作或假设宏动作是相同原始动作的重复。我们提出了因子化宏动作强化学习（FaMARL），它自主学习一系列动作的分解因子表示，以生成可直接应用于一般强化学习算法的宏动作。FaMARL在需要大量搜索的环境中表现出比其他强化学习算法更高的分数。
2019-06-04 cs.AI cs.LG cs.RO
Incremental Text to Speech for Neural Sequence-to-Sequence Models using Reinforcement Learning
Papercup Technologies Ltd.（Papercup科技有限公司）
文本转语音的现代方法要求在合成任何音频之前处理整个输入字符序列。这种延迟限制了这种模型对同声传译等时间敏感任务的适用性。将读取字符的动作与合成音频的动作交错减少了这种延迟。然而，这种交错动作序列的顺序在句子中是不同的，这就提出了如何选择动作的问题。我们提出了一个基于强化学习的框架来训练代理做出这个决定。我们比较我们的性能对确定性，基于规则的系统。我们的研究结果表明，我们的代理成功地平衡了音频生成的延迟和合成音频的质量之间的权衡。更广泛地说，我们表明，神经序列到序列模型可以适应以增量方式运行。
2020-08-07 cs.LG cs.SD eess.AS
Deep Episodic Value Iteration for Model-based Meta-Reinforcement Learning
Stanford University（斯坦福大学）
我们提出了一个新的深度Meta强化学习器，我们称之为深度情节值迭代（DEVI）。DEVI使用深度神经网络来学习基于非参数模型的强化学习算法的相似性度量。我们的模型通过反向传播进行端到端训练。尽管使用无模型Q学习目标进行训练，我们表明，DEVI的基于模型的内部结构提供了“一次性”转移到奖励和过渡结构的变化，即使是非常高维的状态空间的任务。
2017-05-09 cs.AI cs.LG stat.ML
Tutorial and Survey on Probabilistic Graphical Model and Variational Inference in Deep Reinforcement Learning
Ludwig Maximillian University of Munich（慕尼黑大学）
为了提供一个全面而简洁的教程综述，本文对概率图模型的变分推理和强化学习进行了回顾，并给出了详细的推导。从多个方面对深度强化学习的最新研究进展进行了综述和比较。我们为深度强化学习中的概率图模型和变分推理方法的分类提供了详细的推导，作为原始贡献的补充材料。
2019-12-08 cs.AI cs.LG stat.ML
An Introduction to Deep Reinforcement Learning
McGill University（麦吉尔大学）；Google Brain（谷歌大脑）；Facebook（脸书）
深度强化学习是强化学习（RL）和深度学习的结合。这一研究领域已经能够解决以前机器无法完成的各种复杂决策任务。因此，深度RL在医疗保健、机器人、智能电网、金融等领域开辟了许多新的应用。本手稿介绍了深度强化学习模型、算法和技术。特别关注的是与泛化相关的方面，以及如何将深度RL用于实际应用。我们假设读者熟悉基本的机器学习概念。
2018-12-03 cs.AI cs.LG stat.ML
Deep Reinforcement Learning: An Overview
National University of Ireland, Galway（爱尔兰国立大学戈尔韦分校）
近年来，一种称为深度学习的特定机器学习方法获得了巨大的吸引力，因为它在模式识别、语音识别、计算机视觉和自然语言处理等广泛应用中获得了惊人的结果。最近的研究还表明，深度学习技术可以与强化学习方法相结合，以学习高维原始数据输入问题的有用表示。本章回顾了深度强化学习的最新进展，重点介绍了最常用的深度架构，如自动编码器、卷积神经网络和递归神经网络，这些架构已经成功地与强化学习框架结合在一起。
2018-06-23 cs.AI cs.LG stat.ML
Reinforcement Learning with Policy Mixture Model for Temporal Point Processes Clustering
Shanghai Jiao Tong University（上海交通大学）；Georgia Institute of Technology（佐治亚理工学院）
时间点过程是一种描述时间上事件序列的表达工具。在本文中，我们采取了强化学习的观点，即假设所观察到的序列是从潜在的政策的混合物中产生的。其目的是在学习每个策略模型的同时，将具有不同时间模式的序列聚类到底层策略中。该模型的灵活性在于：（1）模型的所有组成部分都是网络，包括用于建模时间点过程强度函数的策略网络; ii）为了处理变长的事件序列，我们通过将观察到的序列分解成状态来求助于逆强化学习（RNN隐藏嵌入历史）和动作（到下一个事件的时间间隔）为了学习奖励函数，从而与在整个序列上使用诸如对数似然或Wasserstein距离的奖励的现有方法相比，实现更好的性能或增加的效率。我们采用期望最大化框架，E步估计每个序列的聚类标签，M步旨在学习相应的策略。大量的实验表明，我们的方法对国家的最先进的功效。
2019-06-28 cs.AI cs.LG stat.ML
Deep Reinforcement Learning Policies Learn Shared Adversarial Features Across MDPs
使用深度神经网络作为函数逼近器已经导致强化学习算法和应用取得了惊人的进展。然而，我们对决策边界几何形状和神经策略的损失景观的了解仍然非常有限。在本文中，我们提出了一个框架，以调查的决策边界和损失景观相似性的国家和跨MDPs。我们在Arcade Learning Environment的各种游戏中进行了实验，发现神经策略的高灵敏度方向在MDP之间是相关的。我们认为，这些高灵敏度的方向支持的假设，即非鲁棒的功能共享跨训练环境的强化学习代理。我们相信，我们的研究结果揭示了深度强化学习训练中使用的环境的基本特性，并代表了构建强大可靠的深度强化学习代理的切实步骤。
2021-12-16 cs.AI cs.LG stat.ML
Offline Reinforcement Learning from Human Feedback in Real-World Sequence-to-Sequence Tasks
Google Research（谷歌研究院）；Heidelberg University（海德堡大学）；NEC Laboratories Europe（NEC欧洲实验室）
可以从部署在现实世界中的NLP系统中收集大量的交互日志。如何利用这些丰富的信息？在离线强化学习（RL）设置中使用这样的交互日志是一种有前途的方法。然而，由于NLP任务的性质和生产系统的限制，出现了一系列的挑战。我们对这些挑战进行了简要概述，并讨论了可能的解决方案。
2021-06-09 cs.CL cs.LG
Deep Reinforcement Learning for Doom using Unsupervised Auxiliary Tasks
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
深度强化学习的最新发展使得能够创建用于解决给定视觉输入的各种游戏的代理。这些方法已经被证明是成功的2D游戏，如雅达利游戏，或简单的任务，如在迷宫中导航。这仍然是一个悬而未决的问题，如何解决更复杂的环境中，奖励是稀疏的，状态空间是巨大的。在本文中，我们提出了一种分而治之的深度强化学习解决方案，并在第一人称射击游戏Doom中测试了我们的代理。我们的工作是基于以前在深度强化学习和Doom代理中的工作。我们还介绍了我们的代理是如何能够在未知的环境中表现得更好相比，最先进的强化学习算法。
2018-07-05 cs.AI cs.LG stat.ML
Practical Deep Reinforcement Learning Approach for Stock Trading
Columbia University（哥伦比亚大学）；Nokia-Bell Labs（诺基亚贝尔实验室）
股票交易策略在投资公司中起着至关重要的作用。然而，在复杂多变的股票市场中，如何获得最优策略是一个挑战。我们探索深度强化学习的潜力，以优化股票交易策略，从而最大限度地提高投资回报。选取了30只股票作为我们的交易股票，并以它们的每日价格作为训练和交易的市场环境。我们训练一个深度强化学习代理，并获得一个自适应的交易策略。最后，将该策略与道琼斯工业平均指数和传统的最小方差投资组合分配策略进行了比较。所提出的深度强化学习方法在夏普比率和累积收益方面都优于两个基线。
2022-07-30 cs.LG q-fin.TR stat.ML
Using Deep Reinforcement Learning for the Continuous Control of Robotic Arms
TU Chemnitz（开姆尼茨工业大学）
深度强化学习使算法能够学习复杂的行为，处理连续的动作空间，并在高维状态空间的环境中找到好的策略。由于深度强化学习是一个活跃的研究领域，并且有许多并发的发明，我们决定专注于一个相对简单的机器人任务，以评估一组可能有助于解决最近强化学习问题的想法。我们测试了两种常用的强化学习方法的新组合，它是否能够比基线更有效地学习。我们还比较了不同的想法，以预处理信息之前，它被馈送到强化学习算法。该策略的目标是减少训练时间并最终帮助算法收敛。最后的评估证明了所描述的概念的一般适用性，通过使用模拟环境进行测试。这些概念可能会在未来的实验中重复使用。
2018-10-15 cs.LG cs.RO stat.ML
Superstition in the Network: Deep Reinforcement Learning Plays Deceptive Games
New York University（纽约大学）；University of Strathclyde（思克莱德大学）；University of Hertfordshire（赫特福德大学）；Maastricht University（马斯特里赫特大学）
深度强化学习已经学会了玩很多游戏，但在其他游戏上失败了。为了更好地描述深度强化学习器失败的模式和原因，我们在四个欺骗性游戏上测试了广泛使用的异步演员-评论家（A2 C）算法，这些游戏是专门为向玩游戏的代理人提供挑战而设计的。这些游戏是在通用视频游戏AI框架中实现的，这使我们能够比较基于强化学习的代理与基于树搜索的规划代理的行为。我们发现，其中几个游戏可靠地欺骗了深度强化学习器，并且由此产生的行为突出了学习算法的缺点。代理失败的特定方式不同于基于规划的代理失败的方式，进一步阐明了这些算法的特征。我们提出了一个初始的欺骗类型学，这可以帮助我们更好地理解（深度）强化学习的陷阱和失败模式。
2019-08-12 cs.AI cs.LG stat.ML
Transfer Learning in Deep Reinforcement Learning: A Survey
Michigan State University（密歇根州立大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本文系统综述了深度强化学习中迁移学习方法的最新进展，提出分类框架并分析其目标、方法、兼容主干网络与应用，同时探讨了与其他相关主题的联系及未来挑战。
2023-07-04 cs.AI cs.LG stat.ML
RLgraph: Modular Computation Graphs for Deep Reinforcement Learning
University of Cambridge（剑桥大学）；rlcore；Helmut Schmidt University（赫尔穆特·施密特大学）
强化学习（RL）任务的实现、执行和测试具有挑战性，这是由于算法的不稳定性、超参数敏感性和异构分布式通信模式。我们主张分离的逻辑组件组成，后端图形定义，和分布式执行。为此，我们引入RLgraph，一个用于在静态图和运行定义范式中设计和执行强化学习任务的库。由此产生的实现是健壮的，可增量测试的，并在不同的深度学习框架和分布式后端之间产生高性能。
2019-02-28 cs.AI cs.LG stat.ML
Offline Deep Reinforcement Learning for Dynamic Pricing of Consumer Credit
Institute of Finance and Technology, UCL（伦敦大学学院金融与技术研究所）；NatWest Group（国民西敏寺银行集团）
我们介绍了一种使用离线深度强化学习的最新进展来为消费信贷定价的方法。这种方法依赖于静态数据集，不需要对需求的函数形式进行假设。使用真实和合成数据的消费信贷应用，我们证明了我们的方法使用保守的Q-学习算法是能够学习一个有效的个性化定价政策，没有任何在线互动或价格实验。
2022-03-06 cs.LG q-fin.RM stat.ML
A Brief Survey of Deep Reinforcement Learning
深度强化学习有望彻底改变人工智能领域，并代表着构建对视觉世界有更高理解的自主系统的一步。目前，深度学习使强化学习能够扩展到以前难以解决的问题，例如直接从像素学习玩视频游戏。深度强化学习算法也被应用于机器人技术，允许机器人的控制策略直接从现实世界中的摄像机输入中学习。在本调查中，我们首先介绍强化学习的一般领域，然后介绍基于价值观和基于政策的方法的主流。我们的调查将涵盖深度强化学习中的核心算法，包括深度$Q$网络，信任区域策略优化和异步优势演员-评论家。同时，我们强调了深度神经网络的独特优势，重点是通过强化学习进行视觉理解。最后，我们描述了该领域内的几个当前研究领域。
2017-09-28 cs.AI cs.CV cs.LG
AlphaSeq: Sequence Discovery with Deep Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）
序列在许多应用和系统中起着重要的作用。发现具有所需性质的序列长期以来一直是一个有趣的智力追求。本文提出了一种新的范式AlphaSeq，使用深度强化学习（DRL）技术通过算法发现期望的序列。AlphaSeq将序列发现问题视为情节符号填充游戏，其中玩家在游戏的情节中顺序地在序列集合的空位中填充符号。每一集都以一个完全填充的序列集结束，根据序列集的可取性给出奖励。AlphaSeq将游戏建模为马尔可夫决策过程（MDP），并采用AlphaGo的DRL框架来解决MDP。随着AlphaSeq从新手开始，通过许多游戏情节学习成为专家玩家，发现的序列逐渐改进。与传统的通过数学工具构建序列相比，AlphaSeq特别适用于数学分析难以解决的复杂目标问题。我们在两个应用中展示了AlphaSeq的搜索能力：1）AlphaSeq成功地重新发现了一组理想的互补码，可以在多载波CDMA系统中零强制所有潜在的干扰。2)AlphaSeq发现了新的序列，其信号干扰比是脉冲压缩雷达系统中失配滤波器估计器的三倍-以著名的勒让德序列为基准。
2019-08-08 cs.LG
Deep Reinforcement Learning for Clinical Decision Support: A Brief Survey
National University of Singapore（新加坡国立大学）；National University Hospital（国立大学医院）
由于人工智能特别是深度学习的最新进展，已经实现了许多数据驱动的决策支持系统，以促进医生提供个性化护理。本文重点研究了深度强化学习（DRL）模型。DRL模型在计算机视觉和游戏（如围棋和Atari游戏）中表现出了人类水平甚至更高的性能。然而，深度强化学习技术在临床决策优化中的采用仍然很少见。我们提出了第一个调查，总结了强化学习算法与深度神经网络（DNN）的临床决策支持。我们还讨论了一些案例研究，其中不同的DRL算法被应用于解决各种临床挑战。我们进一步比较和对比各种DRL算法的优点和局限性，并提出了一个初步的指导，如何选择合适的DRL算法的特定的临床应用。
2019-07-22 cs.AI cs.LG stat.ML
Imagination-Augmented Agents for Deep Reinforcement Learning
DeepMind
我们引入了想象增强代理（I2As），这是一种结合了无模型和基于模型方面的深度强化学习的新架构。与大多数现有的基于基于模型的强化学习和规划方法（规定如何使用模型来达成策略）相比，I2A学习解释来自学习环境模型的预测，通过将预测用作深度策略网络中的附加上下文，以任意方式构建隐式计划。与几个基线相比，I2A显示出更高的数据效率、性能和对模型错误指定的鲁棒性。
2018-02-14 cs.AI cs.LG stat.ML
Off-Policy Deep Reinforcement Learning without Exploration
McGill University（麦吉尔大学）；Mila Québec AI Institute（米拉魁北克人工智能研究所）
强化学习的许多实际应用限制代理从已经收集的固定批次数据中学习，而不提供进一步的数据汇集的可能性。在本文中，我们证明了由于外推引入的错误，标准的非策略深度强化学习算法（如DQN和DDPG）无法使用与当前策略下的分布不相关的数据进行学习，这使得它们对于这种固定的批量设置无效。我们引入了一类新的关政策算法，批量约束强化学习，它限制了动作空间，以迫使代理的行为接近对政策的一个子集的给定数据。我们提出了第一个连续控制深度强化学习算法，该算法可以从任意固定的批量数据中有效地学习，并在几个任务中实证证明了其行为的质量。
2019-08-10 cs.AI cs.LG stat.ML
Deep Residual Reinforcement Learning
University of Oxford（牛津大学）
我们在无模型和基于模型的强化学习设置中重新审视残差算法。我们提出了双向目标网络技术来稳定残差算法，产生DDPG的残差版本，在DeepMind Control Suite基准测试中显著优于vanilla DDPG。此外，我们发现残差算法是一种有效的方法，分布失配问题的基于模型的规划。与现有的TD（$k$）方法相比，我们的残差为基础的方法，使更弱的假设模型，并产生更大的性能提升。
2020-01-23 cs.AI cs.LG stat.ML
Uncertainty-Based Out-of-Distribution Detection in Deep Reinforcement Learning
LMU Munich（慕尼黑大学）；MaibornWolff（迈博恩沃尔夫公司）
我们考虑在深度强化学习中检测分布外（OOD）样本的问题。在基于值的强化学习设置中，我们建议直接在代理的值估计神经网络上使用不确定性估计技术来检测OOD样本。我们工作的重点在于分析近似贝叶斯推理方法和相关的集成技术，产生不确定性估计的适用性。虽然先前的工作已经表明，基于丢弃的变分推理技术和基于引导的方法可以用于建模认知不确定性，但在深度强化学习中检测OOD样本的适用性仍然是一个悬而未决的问题。我们的研究结果表明，不确定性估计可以用来区分在分布外的样本。在强化学习代理的整个训练过程中，与基于丢弃的方法相比，基于引导的方法倾向于产生更可靠的认知不确定性估计。
2019-01-08 cs.AI cs.LG stat.ML
ANS: Adaptive Network Scaling for Deep Rectifier Reinforcement Learning Models
National Taiwan University（国立台湾大学）；RIKEN-AIP（理化学研究所人工智能研究中心）
这项工作提供了一个深入的研究如何奖励缩放可以影响深度强化学习代理的性能。特别是，我们想回答这样一个问题：奖励缩放如何影响RL中的非饱和ReLU网络？这个问题很重要，因为ReLU是深度学习模型中最有效的激活函数之一。我们还提出了一个自适应网络缩放框架，在学习过程中找到合适的奖励规模，以获得更好的性能。我们进行了实证研究，以证明解决方案。
2018-10-31 cs.AI cs.LG stat.ML
A Review of Uncertainty for Deep Reinforcement Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）
不确定性在博弈中无处不在，无论是在参与博弈的主体中，还是在博弈本身中。因此，处理不确定性是成功的深度强化学习代理的重要组成部分。虽然在理解和处理监督学习的不确定性方面已经有了很大的努力和进展，但不确定性感知的深度强化学习的文献还不太发达。虽然关于监督学习的神经网络中的不确定性的许多相同问题仍然存在于强化学习中，但由于可交互环境的性质，存在额外的不确定性来源。在这项工作中，我们提供了一个概述，激励和现有的技术在不确定性意识的深度强化学习。这些工作显示了各种强化学习任务的经验优势。这项工作有助于集中不同的结果，并促进这一领域的未来研究。
2022-08-18 cs.LG
Estimation Error Correction in Deep Reinforcement Learning for Deterministic Actor-Critic Methods
Bilkent University（比尔肯特大学）
在基于值的深度强化学习方法中，价值函数的近似会导致高估偏差并导致次优策略。我们发现，在旨在克服高估偏差的深度演员-评论家方法中，如果代理接收到的强化信号具有较高的方差，则会出现显著的低估偏差。为了最大限度地减少低估，我们引入了一个无参数的新型深度Q学习变体。我们的Q值更新规则结合了Clipped Double Q-learning和Maxmin Q-learning背后的概念，通过最大值和最小值运算符的嵌套组合来计算critic目标，以限制近似值估计。我们评估了我们对几个OpenAI Gym连续控制任务套件的修改，在每个测试环境中提高了最先进的水平。
2021-09-23 cs.AI cs.LG stat.ML
Reinforcement Learning for on-line Sequence Transformation
Warsaw University of Technology（华沙理工大学）；Institute of Computer Science（计算机科学研究所）
在声音和自然语言的处理中以及在其它领域中的许多问题可以简化为同时读取输入序列和写入通常不同长度的输出序列。存在基于完全已知的输入产生输出序列的成熟方法。然而，不存在使这种在线转换成为可能的有效方法。在本文中，我们介绍了一种通过强化学习来决定是读取令牌还是写入另一个令牌的架构。该体系结构能够在线变换潜在无限序列。在一项实验研究中，我们将其与神经机器翻译的最新方法进行了比较。虽然它产生的翻译比Transformer稍差，但它在注意力方面优于自动编码器，即使我们的架构在线翻译文本，从而解决了比这两种参考方法更困难的问题。
2022-02-16 cs.CL cs.LG
Multi-task learning with deep model based reinforcement learning
ETH Zürich（苏黎世联邦理工学院）
近年来，使用深度学习的无模型方法在许多不同的强化学习环境中取得了巨大成功。大多数成功的方法都集中在解决单个任务上，而多任务强化学习仍然是一个悬而未决的问题。在本文中，我们提出了一种基于模型的深度强化学习方法，用于同时解决不同的任务。我们表明，我们的方法不仅不会降低，而且实际上受益于学习多个任务。对于我们的模型，我们还提出了一种新的递归神经网络，其灵感来自于残差网络，该网络将内存从计算中分离出来，从而可以对不需要大量内存的复杂环境进行建模。
2017-05-23 cs.LG
Bach2Bach: Generating Music Using A Deep Reinforcement Learning Approach
Columbia University（哥伦比亚大学）
一个音乐模型需要有能力回忆过去的细节，并对音乐结构有清晰、连贯的理解。论文中详细介绍了一种深度强化学习架构，它可以预测和生成符合音乐规则的复调音乐。所呈现的概率模型是一个双轴LSTM，它用一个让人想起卷积核的伪核进行训练。为了鼓励探索并对生成的音乐施加更大的全局一致性，采用了深度强化学习方法DQN。从定量和定性的角度分析，这一方法在复调音乐创作中有着良好的表现。
2018-12-03 cs.LG cs.SD eess.AS
Reinforcement Learning with Simple Sequence Priors
Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）；University of Tübingen（图宾根大学）
本文提出用可压缩动作序列作为简单性先验的强化学习算法，通过信息论目标约束策略学习，在连续控制任务中实现更快学习和更高回报，并提升对噪声的鲁棒性与开环控制能力。
2023-05-26 cs.LG
Deep Reinforcement Learning Boosted by External Knowledge
National Institute of Informatics（国立信息学研究所）
深度强化学习的最新改进已经允许解决许多2D领域的问题，例如Atari游戏。然而，在复杂的3D环境中，需要大量的学习片段，这可能太耗时甚至不可能，特别是在现实世界的场景中。我们提出了一个新的架构，结合外部知识和深度强化学习只使用视觉输入。我们的系统的一个关键概念是通过添加环境特征信息和结合两个决策源来增强图像输入。我们评估我们的方法在3D部分可观察的环境中从微软马尔默平台的性能。实验评估显示出更高的性能和更快的学习相比，一个单一的强化学习模型。
2017-12-12 cs.LG
A Nesterov's Accelerated quasi-Newton method for Global Routing using Deep Reinforcement Learning
Shizuoka University（静冈大学）；Shonan Institute of Technology（湘南工业大学）；Hiroshima City University（广岛市立大学）
深度Q学习方法是最常用的深度强化学习算法之一，其使用深度神经网络来近似动作-价值函数的估计。深度Q网络（DQN）的训练通常限于基于一阶梯度的方法。本文试图通过引入二阶Nesterov加速拟牛顿方法来加速深度Q网络的训练。我们评估了所提出的方法的性能，深度强化学习使用双DQN全局路由。实验结果表明，与一阶Adam和RMSprop方法训练的DQN相比，该方法可以获得更好的路由解决方案。
2020-10-15 cs.LG
Leveraging Topological Maps in Deep Reinforcement Learning for Multi-Object Navigation
Ruhr University Bochum（波鸿鲁尔大学）
本研究利用拓扑图将基本动作提升为面向对象的宏动作，使简单DQN智能体在稀疏奖励的广阔空间中成功实现多目标导航。
2023-10-16 cs.LG
Adversarial Robust Deep Reinforcement Learning Requires Redefining Robustness
通过利用深度神经网络，已经有效地实现了经由与给定环境的交互从原始高维数据中学习。然而，观察到的由沿着高灵敏度方向的不可察觉的最坏情况的策略依赖转换（即对抗性扰动）引起的策略性能的下降引起了对深度强化学习策略的鲁棒性的关注。在我们的论文中，我们证明了这些高敏感度的方向不仅存在于特定的最坏情况方向上，而且在深层神经策略领域中更丰富，并且可以通过更自然的方式在黑盒环境中找到。此外，我们发现，与通过最先进的对抗训练技术学习的策略相比，香草训练技术有趣地导致学习更强大的策略。我们相信我们的工作展示了深度强化学习策略流形的有趣特性，我们的结果可以帮助构建强大且可推广的深度强化学习策略。
2023-01-17 cs.AI cs.CR cs.LG
Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning
The George Washington University（乔治华盛顿大学）；Purdue University（普渡大学）
提出DPE算法，将序列建模与双策略估计结合，在统一框架中实现方差缩减，并在D4RL基准的多个任务上超越SOTA基线。
2023-08-28 cs.AI cs.DC cs.LG
Coarse-to-fine Q-Network with Action Sequence for Data-Efficient Reinforcement Learning
UC Berkeley（伯克利大学）
针对强化学习数据效率问题，提出CQN-AS算法，通过在评论家网络中显式学习动作序列的Q值，在稀疏奖励任务中性能优于基线算法，提升数据利用效率。
2025-11-16 cs.AI cs.LG cs.RO
Deep Reinforcement Learning Radio Control and Signal Detection with KeRLym, a Gym RL Agent
Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）
本文介绍了正在进行的研究，调查的可行性和适应性的强化学习使用深度神经网络为基础的功能近似的无线电控制和信号检测在无线领域的任务。我们展示了一个成功的无线电控制的初始方法，它允许天真的学习搜索，而不需要专家的功能，技巧，或搜索策略。我们还介绍了Kerlym，这是一个开放的基于Keras的强化学习代理集合，用于OpenAI的Gym。
2016-05-30 cs.LG
A Deep Reinforcement Learning Approach for Composing Moving IoT Services
Deakin University（迪肯大学）；University of Sydney（悉尼大学）
我们开发了一个新的框架，用于高效和有效地发现在一段时间内靠近用户的众包服务。我们介绍了一个移动的众包服务模型，这是建模为一个移动区域。我们提出了一种基于深度强化学习的组合方法来选择和组合考虑质量参数的移动物联网服务。此外，我们开发了一个并行集群为基础的服务发现算法作为地面真理来衡量所提出的方法的准确性。在两个真实数据集上的实验验证了基于深度强化学习方法的有效性和效率。
2021-11-06 cs.LG
Designing Biological Sequences via Meta-Reinforcement Learning and Bayesian Optimization
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
加速生物序列设计的能力可以对医学领域的进步产生重大影响。该问题可以被构造为全局优化问题，其中目标是昂贵的黑盒函数，使得我们可以查询受限于低轮数限制的大批量。贝叶斯优化是解决这个问题的一种原则性方法。然而，生物序列的天文数字般大的状态空间使得暴力迭代所有可能的序列是不可行的。在本文中，我们提出MetaRLBO，其中我们通过Meta-强化学习训练自回归生成模型，以通过贝叶斯优化提出有希望的序列进行选择。我们提出这个问题，找到一个最佳的政策，在分布的MDP引起的采样子集的数据采集在前几轮。我们的计算机模拟实验表明，这种集成的元学习提供了对奖励错误指定的鲁棒性，并实现了与现有强基线相比具有竞争力的结果。
2022-09-13 cs.AI cs.LG
Dealing with Non-Stationarity in Multi-Agent Deep Reinforcement Learning
The University of Edinburgh（爱丁堡大学）
深度强化学习的最新发展涉及创建可以在各种复杂领域中表现良好的决策代理。一种受到越来越多关注的特定方法是多智能体强化学习，其中多个智能体同时学习以协调它们的动作。在这样的多代理环境中，由于代理的决策政策不断变化，会出现额外的学习问题。本文综述了近年来解决多智能体深度强化学习中非平稳性问题的研究成果。调查的方法范围从训练过程中的修改，如集中式训练，学习对手的政策，元学习，通信和分散式学习的表示。调查最后列出了一系列悬而未决的问题和未来可能的研究方向。
2019-06-11 cs.AI cs.LG cs.MA
Scalable Centralized Deep Multi-Agent Reinforcement Learning via Policy Gradients
GRASP Laboratory（GRASP实验室）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们将探索使用深度强化学习来解决多智能体问题。大多数现有的深度多智能体强化学习方法只考虑少量的智能体。当代理数量增加时，输入和控制空间的维数也会增加，这些方法的扩展性不好。为了解决这个问题，我们建议铸造的多智能体强化学习问题作为一个分布式优化问题。我们的算法假设，对于多代理设置，在一个给定的人口中的各个代理的政策生活在参数空间中彼此接近，可以近似为一个单一的政策。有了这个简单的假设，我们证明了我们的算法是非常有效的强化学习在多智能体设置。我们证明了其有效性对现有的可比方法的合作和竞争的任务。
2018-05-22 cs.AI cs.LG cs.MA
Visual Sensor Network Reconfiguration with Deep Reinforcement Learning
Ohio State University（俄亥俄州立大学）；Air Force Research Laboratory（空军研究实验室）
提出了一种基于深度强化学习（RL）的动态视觉传感器网络重构方法。我们的RL代理使用修改后的异步优势演员批评框架和最近提出的关系网络模块在其网络架构的基础上。为了解决当前无模型强化学习方法中样本效率低下的问题，我们在一个抽象的模拟环境中训练我们的系统，该环境代表来自动态场景的输入。我们的系统验证使用输入从现实世界的情况和预先存在的目标检测和跟踪算法。
2018-08-13 cs.AI cs.CV cs.LG
A Reinforcement Learning Based Universal Sequence Design for Polar Codes
Apple, San Diego, USA（苹果公司，圣地亚哥，美国）；Apple, Sunnyvale, USA（苹果公司， Sunnyvale，美国）
本文提出一种基于强化学习的极码通用序列设计方法，通过约束学习和多配置优化，在2048码长下实现优于基线的性能提升。
2026-01-27 cs.LG
Deep Reinforcement Learning: An Overview
我们概述了深度强化学习（RL）最近取得的令人兴奋的成就。我们讨论了六个核心要素，六个重要机制和十二个应用程序。我们从机器学习、深度学习和强化学习的背景开始。接下来，我们讨论核心RL元素，包括价值函数，特别是深度Q网络（DQN），策略，奖励，模型，规划和探索。在此之后，我们讨论了强化学习的重要机制，包括注意和记忆，无监督学习，迁移学习，多智能体强化学习，分层强化学习和学习学习。然后我们讨论了RL的各种应用，包括游戏，特别是AlphaGo，机器人，自然语言处理，包括对话系统，机器翻译和文本生成，计算机视觉，神经架构设计，商业管理，金融，医疗保健，工业4.0，智能电网，智能交通系统和计算机系统。我们提到了一些尚未回顾的主题，并列出了一系列RL资源。在简要总结之后，我们以讨论结束。请参阅深度强化学习，arXiv：1810.06339，以获取重要更新。
2018-11-26 cs.LG
Dragonfly: a modular deep reinforcement learning library
MINES Paristech（巴黎矿业学院）；PSL - Research University（巴黎文理研究大学）
本文介绍模块化深度强化学习库Dragonfly，通过JSON序列化支持模块替换与参数扫描，并面向CPU密集型数值模拟环境，在常用基准上表现出具有竞争力的性能。
2025-07-28 cs.LG
Factor Representation and Decision Making in Stock Markets Using Deep Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
深度强化学习是无监督学习的一个分支，其中智能体学习根据环境状态采取行动，以最大化其总奖励。深度强化学习提供了一个很好的机会，通过利用深度神经网络的强大表示，在高维和数据驱动的环境中对投资组合选择的复杂性进行建模。在本文中，我们使用直接深度强化学习构建了一个投资组合管理系统，通过学习一个好的因子表示（作为输入），在S\&P500标的股票中周期性地做出最优投资组合选择。结果表明，有效的市场学习和最优投资组合配置可以显着优于平均市场。
2021-08-03 cs.LG q-fin.ST
Poisoning Deep Reinforcement Learning Agents with In-Distribution Triggers
Johns Hopkins University（约翰斯·霍普金斯大学）；Applied Physics Lab（应用物理实验室）
在本文中，我们提出了一种新的数据投毒攻击，并将其应用于深度强化学习代理。我们的攻击集中在我们所谓的分布内触发器上，这些触发器是模型将在其上训练和部署的数据分布的本地触发器。我们概述了一个简单的过程，用于在多任务学习范式下将这些和其他触发器嵌入深度强化学习代理中，并在三个常见的强化学习环境中进行演示。我们相信这项工作对深度学习模型的安全性具有重要意义。
2021-06-14 cs.CR cs.LG
