Reinforcement Learning and Video Games
University of Sheffield（谢菲尔德大学）
根据DeepMind在Go和Atari游戏上的实验，强化学习已经超过了人类在使用深度学习方法进行游戏AI方面的表现。深度学习解决了阻碍强化发展多年的高维输入问题。这项研究使用这两种技术来创建几个代理与不同的算法，成功地学习发挥霸王龙亚军。采用深度Q网络算法和三种改进方法对智能体进行训练。他们中的一些人的结果远远不能令人满意，但其他人比人类专家更好。批量归一化是解决深度神经网络内部协变量偏移问题的一种方法。这对强化学习的积极影响也在本研究中得到了证明。
2019-09-10 cs.LG stat.ML
Variance Reduction for Reinforcement Learning in Input-Driven Environments
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
我们考虑输入驱动环境中的强化学习，其中外源的随机输入过程影响系统的动态。输入过程出现在许多应用中，包括排队系统，具有干扰的机器人控制和对象跟踪。由于状态动态和回报取决于输入过程，因此状态本身为预期的未来回报提供的信息有限。因此，具有标准状态依赖基线的策略梯度方法在训练期间遭受高方差。我们推导出一个无偏置的，依赖于输入的基线，以减少这种变化，并分析显示其优势依赖于状态的基线。然后，我们提出了一种元学习方法来克服学习依赖于长序列输入的基线的复杂性。我们的实验结果表明，从排队系统，计算机网络，和MuJoCo机器人运动的环境中，输入相关的基线一致提高训练的稳定性，并导致更好的最终政策。
2019-02-27 cs.LG stat.ML
Action-Driven Processes for Continuous-Time Control
本文提出行动驱动过程，统一随机过程与强化学习视角，应用于脉冲神经网络，并证明最小化KL散度等价于最大熵强化学习。
2026-10-07 cs.LG stat.ML
Object-sensitive Deep Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
近年来，深度强化学习变得越来越流行，在玩Atari游戏和机器人导航等不同的视觉输入任务上显示出优越性。虽然对象是重要的图像元素，但很少有工作考虑使用对象特征来增强深度强化学习。在本文中，我们提出了一种新的方法，可以将对象识别处理纳入深度强化学习模型。这种方法可以适应任何现有的深度强化学习框架。国家的最先进的结果显示在Atari游戏的实验。我们还提出了一种名为“对象显着性图”的新方法，以直观地解释深度强化学习代理所做的动作。
2018-09-17 cs.CV cs.LG stat.ML
Toybox: A Suite of Environments for Experimental Evaluation of Deep Reinforcement Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Smith College（史密斯学院）
深度强化学习（RL）的评估具有内在的挑战性。特别是，学习的策略在很大程度上是不透明的，并且关于深度RL代理行为的假设很难在黑箱环境中进行测试。相当大的努力已经进入解决不透明性，但几乎没有努力一直致力于生产高品质的环境，实验评估代理的行为。我们介绍了TOYBOX，这是一个新的高性能，开源 * Atari环境子集，重新设计用于深度RL的实验评估。我们表明，TOYBOX使广泛的实验和分析，是不可能在其他环境中。*https：kdl-umass.github.io/Toybox/
2019-05-07 cs.LG stat.ML
A Survey Analyzing Generalization in Deep Reinforcement Learning
University College London（伦敦大学学院）
该综述形式化分析了深度强化学习的泛化性问题，阐释过拟合根源，分类讲解各类提升泛化性的方法，覆盖多类子领域，可为领域发展提供指南并助力构建鲁棒高泛化性的深度神经策略。
2024-10-30 cs.AI cs.LG stat.ML
Modern Deep Reinforcement Learning Algorithms
Moscow State University（莫斯科国立大学）
强化学习的最新进展是将经典理论成果与深度学习范式相结合，导致许多人工智能任务的突破，并催生了深度强化学习（DRL）作为一个研究领域。在这项工作中，最新的DRL算法进行了审查，重点放在他们的理论依据，实际的局限性和观察到的经验性质。
2019-07-06 cs.AI cs.LG stat.ML
Deep Episodic Value Iteration for Model-based Meta-Reinforcement Learning
Stanford University（斯坦福大学）
我们提出了一个新的深度Meta强化学习器，我们称之为深度情节值迭代（DEVI）。DEVI使用深度神经网络来学习基于非参数模型的强化学习算法的相似性度量。我们的模型通过反向传播进行端到端训练。尽管使用无模型Q学习目标进行训练，我们表明，DEVI的基于模型的内部结构提供了“一次性”转移到奖励和过渡结构的变化，即使是非常高维的状态空间的任务。
2017-05-09 cs.AI cs.LG stat.ML
Tutorial and Survey on Probabilistic Graphical Model and Variational Inference in Deep Reinforcement Learning
Ludwig Maximillian University of Munich（慕尼黑大学）
为了提供一个全面而简洁的教程综述，本文对概率图模型的变分推理和强化学习进行了回顾，并给出了详细的推导。从多个方面对深度强化学习的最新研究进展进行了综述和比较。我们为深度强化学习中的概率图模型和变分推理方法的分类提供了详细的推导，作为原始贡献的补充材料。
2019-12-08 cs.AI cs.LG stat.ML
An Introduction to Deep Reinforcement Learning
McGill University（麦吉尔大学）；Google Brain（谷歌大脑）；Facebook（脸书）
深度强化学习是强化学习（RL）和深度学习的结合。这一研究领域已经能够解决以前机器无法完成的各种复杂决策任务。因此，深度RL在医疗保健、机器人、智能电网、金融等领域开辟了许多新的应用。本手稿介绍了深度强化学习模型、算法和技术。特别关注的是与泛化相关的方面，以及如何将深度RL用于实际应用。我们假设读者熟悉基本的机器学习概念。
2018-12-03 cs.AI cs.LG stat.ML
Deep Reinforcement Learning: An Overview
National University of Ireland, Galway（爱尔兰国立大学戈尔韦分校）
近年来，一种称为深度学习的特定机器学习方法获得了巨大的吸引力，因为它在模式识别、语音识别、计算机视觉和自然语言处理等广泛应用中获得了惊人的结果。最近的研究还表明，深度学习技术可以与强化学习方法相结合，以学习高维原始数据输入问题的有用表示。本章回顾了深度强化学习的最新进展，重点介绍了最常用的深度架构，如自动编码器、卷积神经网络和递归神经网络，这些架构已经成功地与强化学习框架结合在一起。
2018-06-23 cs.AI cs.LG stat.ML
On physical implementability of reinforcement-learning-driven reasoning
Kyoto University（京都大学）
本文针对给定奖励下带奖励外势能的物理神经网络模型，研究强化学习驱动推理的硬件实现，发现该实现中动力学思维链的存在与系统李雅普诺夫稳定性矛盾，给出了相关否定结果。
2026-10-14 cond-mat.dis-nn cs.LG
Deep Reinforcement Learning Policies Learn Shared Adversarial Features Across MDPs
使用深度神经网络作为函数逼近器已经导致强化学习算法和应用取得了惊人的进展。然而，我们对决策边界几何形状和神经策略的损失景观的了解仍然非常有限。在本文中，我们提出了一个框架，以调查的决策边界和损失景观相似性的国家和跨MDPs。我们在Arcade Learning Environment的各种游戏中进行了实验，发现神经策略的高灵敏度方向在MDP之间是相关的。我们认为，这些高灵敏度的方向支持的假设，即非鲁棒的功能共享跨训练环境的强化学习代理。我们相信，我们的研究结果揭示了深度强化学习训练中使用的环境的基本特性，并代表了构建强大可靠的深度强化学习代理的切实步骤。
2021-12-16 cs.AI cs.LG stat.ML
Data-Driven Evaluation of Training Action Space for Reinforcement Learning
Nutanix, Inc（路坦力公司）
强化学习（RL）的训练动作空间选择由于复杂的状态-动作关系而容易发生冲突。为了应对这一挑战，本文提出了一种Shapley启发的方法来训练动作空间分类和排名。为了减少指数时间Shapley计算，该方法包括蒙特卡罗模拟，以避免不必要的探索。使用云基础设施资源调优案例研究的方法的有效性。该方法将搜索空间减少了80%，并将训练动作集分为不可缺少的和不可缺少的两类。此外，它还对不同的训练动作进行排名，以促进高性能但具有成本效益的RL模型设计。所提出的数据驱动方法可扩展到不同的领域，用例和强化学习算法。
2022-04-08 cs.LG
Deep Reinforcement Learning for Doom using Unsupervised Auxiliary Tasks
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
深度强化学习的最新发展使得能够创建用于解决给定视觉输入的各种游戏的代理。这些方法已经被证明是成功的2D游戏，如雅达利游戏，或简单的任务，如在迷宫中导航。这仍然是一个悬而未决的问题，如何解决更复杂的环境中，奖励是稀疏的，状态空间是巨大的。在本文中，我们提出了一种分而治之的深度强化学习解决方案，并在第一人称射击游戏Doom中测试了我们的代理。我们的工作是基于以前在深度强化学习和Doom代理中的工作。我们还介绍了我们的代理是如何能够在未知的环境中表现得更好相比，最先进的强化学习算法。
2018-07-05 cs.AI cs.LG stat.ML
Practical Deep Reinforcement Learning Approach for Stock Trading
Columbia University（哥伦比亚大学）；Nokia-Bell Labs（诺基亚贝尔实验室）
股票交易策略在投资公司中起着至关重要的作用。然而，在复杂多变的股票市场中，如何获得最优策略是一个挑战。我们探索深度强化学习的潜力，以优化股票交易策略，从而最大限度地提高投资回报。选取了30只股票作为我们的交易股票，并以它们的每日价格作为训练和交易的市场环境。我们训练一个深度强化学习代理，并获得一个自适应的交易策略。最后，将该策略与道琼斯工业平均指数和传统的最小方差投资组合分配策略进行了比较。所提出的深度强化学习方法在夏普比率和累积收益方面都优于两个基线。
2022-07-30 cs.LG q-fin.TR stat.ML
Using Deep Reinforcement Learning for the Continuous Control of Robotic Arms
TU Chemnitz（开姆尼茨工业大学）
深度强化学习使算法能够学习复杂的行为，处理连续的动作空间，并在高维状态空间的环境中找到好的策略。由于深度强化学习是一个活跃的研究领域，并且有许多并发的发明，我们决定专注于一个相对简单的机器人任务，以评估一组可能有助于解决最近强化学习问题的想法。我们测试了两种常用的强化学习方法的新组合，它是否能够比基线更有效地学习。我们还比较了不同的想法，以预处理信息之前，它被馈送到强化学习算法。该策略的目标是减少训练时间并最终帮助算法收敛。最后的评估证明了所描述的概念的一般适用性，通过使用模拟环境进行测试。这些概念可能会在未来的实验中重复使用。
2018-10-15 cs.LG cs.RO stat.ML
Using State Predictions for Value Regularization in Curiosity Driven Deep Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）
稀疏奖励设置中的学习仍然是强化学习中的一个挑战，这通常通过使用内在奖励来解决。一个有前途的策略是受到人类好奇心的启发，要求智能体学会预测未来。在本文中，好奇心驱动的代理扩展到直接使用这些预测进行训练。为了实现这一点，代理预测下一个状态在任何时间点的价值函数。随后，测量该预测与当前价值函数的一致性，然后将其用作算法的损失函数中的正则化项。在网格世界环境和3D导航任务上进行了实验，两者都具有稀疏的奖励。在第一种情况下，扩展代理能够比基线更快地学习。
2018-09-30 cs.AI cs.LG stat.ML
Superstition in the Network: Deep Reinforcement Learning Plays Deceptive Games
New York University（纽约大学）；University of Strathclyde（思克莱德大学）；University of Hertfordshire（赫特福德大学）；Maastricht University（马斯特里赫特大学）
深度强化学习已经学会了玩很多游戏，但在其他游戏上失败了。为了更好地描述深度强化学习器失败的模式和原因，我们在四个欺骗性游戏上测试了广泛使用的异步演员-评论家（A2 C）算法，这些游戏是专门为向玩游戏的代理人提供挑战而设计的。这些游戏是在通用视频游戏AI框架中实现的，这使我们能够比较基于强化学习的代理与基于树搜索的规划代理的行为。我们发现，其中几个游戏可靠地欺骗了深度强化学习器，并且由此产生的行为突出了学习算法的缺点。代理失败的特定方式不同于基于规划的代理失败的方式，进一步阐明了这些算法的特征。我们提出了一个初始的欺骗类型学，这可以帮助我们更好地理解（深度）强化学习的陷阱和失败模式。
2019-08-12 cs.AI cs.LG stat.ML
Transfer Learning in Deep Reinforcement Learning: A Survey
Michigan State University（密歇根州立大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本文系统综述了深度强化学习中迁移学习方法的最新进展，提出分类框架并分析其目标、方法、兼容主干网络与应用，同时探讨了与其他相关主题的联系及未来挑战。
2023-07-04 cs.AI cs.LG stat.ML
Curiosity-Driven Recommendation Strategy for Adaptive Learning via Deep Reinforcement Learning
Hong Kong University of Science and Technology（香港科技大学）
自适应学习系统中推荐策略的设计重点是利用现有信息为学习者提供个性化的学习指导。好奇心作为人类行为的重要动机，本质上是人类探索知识、寻求信息的动力。从心理学的角度出发，我们的目标是引入好奇心的元素，引导学习者自发地学习。本文在强化学习框架下提出了一种好奇心驱动的推荐策略，实现了一种既高效又愉快的个性化学习模式。从一个精心设计的预测模型的内在回报，我们应用演员批评的方法，直接通过神经网络近似的政策。数值分析与一个大的连续的知识状态空间和具体的学习场景被用来进一步证明所提出的方法的力量。
2019-10-12 cs.CY cs.LG stat.ML
RLgraph: Modular Computation Graphs for Deep Reinforcement Learning
University of Cambridge（剑桥大学）；rlcore；Helmut Schmidt University（赫尔穆特·施密特大学）
强化学习（RL）任务的实现、执行和测试具有挑战性，这是由于算法的不稳定性、超参数敏感性和异构分布式通信模式。我们主张分离的逻辑组件组成，后端图形定义，和分布式执行。为此，我们引入RLgraph，一个用于在静态图和运行定义范式中设计和执行强化学习任务的库。由此产生的实现是健壮的，可增量测试的，并在不同的深度学习框架和分布式后端之间产生高性能。
2019-02-28 cs.AI cs.LG stat.ML
Offline Deep Reinforcement Learning for Dynamic Pricing of Consumer Credit
Institute of Finance and Technology, UCL（伦敦大学学院金融与技术研究所）；NatWest Group（国民西敏寺银行集团）
我们介绍了一种使用离线深度强化学习的最新进展来为消费信贷定价的方法。这种方法依赖于静态数据集，不需要对需求的函数形式进行假设。使用真实和合成数据的消费信贷应用，我们证明了我们的方法使用保守的Q-学习算法是能够学习一个有效的个性化定价政策，没有任何在线互动或价格实验。
2022-03-06 cs.LG q-fin.RM stat.ML
A Brief Survey of Deep Reinforcement Learning
深度强化学习有望彻底改变人工智能领域，并代表着构建对视觉世界有更高理解的自主系统的一步。目前，深度学习使强化学习能够扩展到以前难以解决的问题，例如直接从像素学习玩视频游戏。深度强化学习算法也被应用于机器人技术，允许机器人的控制策略直接从现实世界中的摄像机输入中学习。在本调查中，我们首先介绍强化学习的一般领域，然后介绍基于价值观和基于政策的方法的主流。我们的调查将涵盖深度强化学习中的核心算法，包括深度$Q$网络，信任区域策略优化和异步优势演员-评论家。同时，我们强调了深度神经网络的独特优势，重点是通过强化学习进行视觉理解。最后，我们描述了该领域内的几个当前研究领域。
2017-09-28 cs.AI cs.CV cs.LG
EVO-RL: Evolutionary-Driven Reinforcement Learning
RWTH Aachen University（亚琛工业大学）；University Hospital RWTH Aachen（亚琛工业大学附属医院）；Trier University of Applied Sciences（特里尔应用科学大学）；University of Trento（特伦托大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
在这项工作中，我们提出了一种新的演化计算驱动的强化学习方法。我们的算法被称为进化驱动的强化学习（evo-RL），它将强化学习算法嵌入到进化周期中，在进化周期中，我们可以清楚地区分纯粹的可进化（本能）行为与纯粹的可学习行为。此外，我们认为这种区别是由进化过程决定的，从而使evo-RL能够适应不同的环境。此外，evo-RL有助于在无奖励状态的环境中学习，这使得它更适合于不完整信息的现实世界问题。为了表明evo-RL导致最先进的性能，我们提出了不同的最先进的强化学习算法在evo-RL中运行时的性能，并将其与独立执行这些相同算法的情况进行比较。结果表明，嵌入在我们的evo-RL方法中的强化学习算法在OpenAI Gym控制问题上的性能明显优于相同RL算法的独立版本，其中无奖励状态受到相同计算预算的约束。
2020-07-10 cs.AI cs.LG cs.NE
Deep Reinforcement Learning for Clinical Decision Support: A Brief Survey
National University of Singapore（新加坡国立大学）；National University Hospital（国立大学医院）
由于人工智能特别是深度学习的最新进展，已经实现了许多数据驱动的决策支持系统，以促进医生提供个性化护理。本文重点研究了深度强化学习（DRL）模型。DRL模型在计算机视觉和游戏（如围棋和Atari游戏）中表现出了人类水平甚至更高的性能。然而，深度强化学习技术在临床决策优化中的采用仍然很少见。我们提出了第一个调查，总结了强化学习算法与深度神经网络（DNN）的临床决策支持。我们还讨论了一些案例研究，其中不同的DRL算法被应用于解决各种临床挑战。我们进一步比较和对比各种DRL算法的优点和局限性，并提出了一个初步的指导，如何选择合适的DRL算法的特定的临床应用。
2019-07-22 cs.AI cs.LG stat.ML
Imagination-Augmented Agents for Deep Reinforcement Learning
DeepMind
我们引入了想象增强代理（I2As），这是一种结合了无模型和基于模型方面的深度强化学习的新架构。与大多数现有的基于基于模型的强化学习和规划方法（规定如何使用模型来达成策略）相比，I2A学习解释来自学习环境模型的预测，通过将预测用作深度策略网络中的附加上下文，以任意方式构建隐式计划。与几个基线相比，I2A显示出更高的数据效率、性能和对模型错误指定的鲁棒性。
2018-02-14 cs.AI cs.LG stat.ML
Off-Policy Deep Reinforcement Learning without Exploration
McGill University（麦吉尔大学）；Mila Québec AI Institute（米拉魁北克人工智能研究所）
强化学习的许多实际应用限制代理从已经收集的固定批次数据中学习，而不提供进一步的数据汇集的可能性。在本文中，我们证明了由于外推引入的错误，标准的非策略深度强化学习算法（如DQN和DDPG）无法使用与当前策略下的分布不相关的数据进行学习，这使得它们对于这种固定的批量设置无效。我们引入了一类新的关政策算法，批量约束强化学习，它限制了动作空间，以迫使代理的行为接近对政策的一个子集的给定数据。我们提出了第一个连续控制深度强化学习算法，该算法可以从任意固定的批量数据中有效地学习，并在几个任务中实证证明了其行为的质量。
2019-08-10 cs.AI cs.LG stat.ML
Deep Residual Reinforcement Learning
University of Oxford（牛津大学）
我们在无模型和基于模型的强化学习设置中重新审视残差算法。我们提出了双向目标网络技术来稳定残差算法，产生DDPG的残差版本，在DeepMind Control Suite基准测试中显著优于vanilla DDPG。此外，我们发现残差算法是一种有效的方法，分布失配问题的基于模型的规划。与现有的TD（$k$）方法相比，我们的残差为基础的方法，使更弱的假设模型，并产生更大的性能提升。
2020-01-23 cs.AI cs.LG stat.ML
A New Concept of Deep Reinforcement Learning based Augmented General Sequence Tagging System
Samsung Research America（三星美国研究院）
本文提出了一种新的基于深度强化学习的增强通用序列标注系统。新系统包含两个部分：基于深度神经网络（DNN）的序列标记模型和基于深度强化学习（DRL）的增强标记器。增强标记器通过对具有少数标记的数据进行建模来帮助提高系统性能。使用ATIS和CoNLL-2003基准数据集对新系统进行SLU和NLU序列标记任务的评估，以展示新系统在一般标记任务上的出色性能。通过F1评分，新系统在ATIS数据集和CoNLL-2003数据集上的性能分别比当前最先进的模型高1.9%和1.4%。
2018-12-26 cs.CL cs.LG stat.ML
Uncertainty-Based Out-of-Distribution Detection in Deep Reinforcement Learning
LMU Munich（慕尼黑大学）；MaibornWolff（迈博恩沃尔夫公司）
我们考虑在深度强化学习中检测分布外（OOD）样本的问题。在基于值的强化学习设置中，我们建议直接在代理的值估计神经网络上使用不确定性估计技术来检测OOD样本。我们工作的重点在于分析近似贝叶斯推理方法和相关的集成技术，产生不确定性估计的适用性。虽然先前的工作已经表明，基于丢弃的变分推理技术和基于引导的方法可以用于建模认知不确定性，但在深度强化学习中检测OOD样本的适用性仍然是一个悬而未决的问题。我们的研究结果表明，不确定性估计可以用来区分在分布外的样本。在强化学习代理的整个训练过程中，与基于丢弃的方法相比，基于引导的方法倾向于产生更可靠的认知不确定性估计。
2019-01-08 cs.AI cs.LG stat.ML
ANS: Adaptive Network Scaling for Deep Rectifier Reinforcement Learning Models
National Taiwan University（国立台湾大学）；RIKEN-AIP（理化学研究所人工智能研究中心）
这项工作提供了一个深入的研究如何奖励缩放可以影响深度强化学习代理的性能。特别是，我们想回答这样一个问题：奖励缩放如何影响RL中的非饱和ReLU网络？这个问题很重要，因为ReLU是深度学习模型中最有效的激活函数之一。我们还提出了一个自适应网络缩放框架，在学习过程中找到合适的奖励规模，以获得更好的性能。我们进行了实证研究，以证明解决方案。
2018-10-31 cs.AI cs.LG stat.ML
A Reinforcement Learning-driven Translation Model for Search-Oriented Conversational Systems
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
面向搜索的会话系统依赖于以自然语言（NL）表达的信息需求。我们在这里集中在NL表达式构建基于关键字的查询的理解。我们提出了一个基于语义学习驱动的翻译模型框架，该框架能够1）以有监督的方式学习从NL表达式到查询的翻译，2）通过将翻译模型框架为单词选择方法并在学习过程中注入相关反馈来克服缺乏大规模数据集的问题。在两个TREC数据集上进行了实验，并概述了我们的方法的有效性。
2018-08-29 cs.CL cs.LG stat.ML
Attention-based Curiosity-driven Exploration in Deep Reinforcement Learning
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
强化学习能够通过与环境的交互来训练智能体。然而，在大多数现实世界的情况下，外部反馈是稀疏或不充分的，因此需要内在的奖励配方成功训练代理。这项工作调查和扩展好奇心驱动的探索范式。首先，采用概率方法来利用注意力机制的优势，该机制已成功应用于深度学习的其他领域。结合它们，我们提出了新的方法，如AttA 2C，演员批评框架的扩展。其次，扩展了另一种基于好奇心的方法- ICM。该模型利用注意力来强调ICM中动态模型的特征，此外，我们还修改了损失函数，从而产生了一个新的好奇心公式，我们称之为理性好奇心。相应的实现可以在https://github.com/rpatrik96/AttA2C/上找到。
2019-10-23 cs.AI cs.LG stat.ML
A Review of Uncertainty for Deep Reinforcement Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）
不确定性在博弈中无处不在，无论是在参与博弈的主体中，还是在博弈本身中。因此，处理不确定性是成功的深度强化学习代理的重要组成部分。虽然在理解和处理监督学习的不确定性方面已经有了很大的努力和进展，但不确定性感知的深度强化学习的文献还不太发达。虽然关于监督学习的神经网络中的不确定性的许多相同问题仍然存在于强化学习中，但由于可交互环境的性质，存在额外的不确定性来源。在这项工作中，我们提供了一个概述，激励和现有的技术在不确定性意识的深度强化学习。这些工作显示了各种强化学习任务的经验优势。这项工作有助于集中不同的结果，并促进这一领域的未来研究。
2022-08-18 cs.LG
Estimation Error Correction in Deep Reinforcement Learning for Deterministic Actor-Critic Methods
Bilkent University（比尔肯特大学）
在基于值的深度强化学习方法中，价值函数的近似会导致高估偏差并导致次优策略。我们发现，在旨在克服高估偏差的深度演员-评论家方法中，如果代理接收到的强化信号具有较高的方差，则会出现显著的低估偏差。为了最大限度地减少低估，我们引入了一个无参数的新型深度Q学习变体。我们的Q值更新规则结合了Clipped Double Q-learning和Maxmin Q-learning背后的概念，通过最大值和最小值运算符的嵌套组合来计算critic目标，以限制近似值估计。我们评估了我们对几个OpenAI Gym连续控制任务套件的修改，在每个测试环境中提高了最先进的水平。
2021-09-23 cs.AI cs.LG stat.ML
Causality-driven Hierarchical Structure Discovery for Reinforcement Learning
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Cambricon Technologies（寒武纪科技）；Southern University of Science and Technology（南方科技大学）；Institute of Software, CAS（中国科学院软件研究所）；University of Science and Technology of China（中国科学技术大学）
分层强化学习（HRL）在高质量分层结构（例如，子目标或选项）。然而，如何自动发现高质量的层次结构仍然是一个巨大的挑战。以往的HRL方法采用随机性驱动的探索范式，探索效率低，难以发现复杂环境中的层次结构。为了解决这个问题，我们提出了CDHRL，一个空缺驱动的层次化强化学习框架，利用空缺驱动的发现，而不是随机驱动的探索，有效地建立高质量的层次结构在复杂的环境。关键的见解是，环境变量之间的因果关系自然适合于建模可达子目标及其依赖关系，并可以完美地指导构建高质量的层次结构。在2D-Minecraft和Eden两个复杂环境中的实验结果表明，CDHRL显著提高了空间驱动范式的探索效率。
2022-10-13 cs.LG
Multi-task learning with deep model based reinforcement learning
ETH Zürich（苏黎世联邦理工学院）
近年来，使用深度学习的无模型方法在许多不同的强化学习环境中取得了巨大成功。大多数成功的方法都集中在解决单个任务上，而多任务强化学习仍然是一个悬而未决的问题。在本文中，我们提出了一种基于模型的深度强化学习方法，用于同时解决不同的任务。我们表明，我们的方法不仅不会降低，而且实际上受益于学习多个任务。对于我们的模型，我们还提出了一种新的递归神经网络，其灵感来自于残差网络，该网络将内存从计算中分离出来，从而可以对不需要大量内存的复杂环境进行建模。
2017-05-23 cs.LG
Bach2Bach: Generating Music Using A Deep Reinforcement Learning Approach
Columbia University（哥伦比亚大学）
一个音乐模型需要有能力回忆过去的细节，并对音乐结构有清晰、连贯的理解。论文中详细介绍了一种深度强化学习架构，它可以预测和生成符合音乐规则的复调音乐。所呈现的概率模型是一个双轴LSTM，它用一个让人想起卷积核的伪核进行训练。为了鼓励探索并对生成的音乐施加更大的全局一致性，采用了深度强化学习方法DQN。从定量和定性的角度分析，这一方法在复调音乐创作中有着良好的表现。
2018-12-03 cs.LG cs.SD eess.AS
Deep Reinforcement Learning Boosted by External Knowledge
National Institute of Informatics（国立信息学研究所）
深度强化学习的最新改进已经允许解决许多2D领域的问题，例如Atari游戏。然而，在复杂的3D环境中，需要大量的学习片段，这可能太耗时甚至不可能，特别是在现实世界的场景中。我们提出了一个新的架构，结合外部知识和深度强化学习只使用视觉输入。我们的系统的一个关键概念是通过添加环境特征信息和结合两个决策源来增强图像输入。我们评估我们的方法在3D部分可观察的环境中从微软马尔默平台的性能。实验评估显示出更高的性能和更快的学习相比，一个单一的强化学习模型。
2017-12-12 cs.LG
A Nesterov's Accelerated quasi-Newton method for Global Routing using Deep Reinforcement Learning
Shizuoka University（静冈大学）；Shonan Institute of Technology（湘南工业大学）；Hiroshima City University（广岛市立大学）
深度Q学习方法是最常用的深度强化学习算法之一，其使用深度神经网络来近似动作-价值函数的估计。深度Q网络（DQN）的训练通常限于基于一阶梯度的方法。本文试图通过引入二阶Nesterov加速拟牛顿方法来加速深度Q网络的训练。我们评估了所提出的方法的性能，深度强化学习使用双DQN全局路由。实验结果表明，与一阶Adam和RMSprop方法训练的DQN相比，该方法可以获得更好的路由解决方案。
2020-10-15 cs.LG
Leveraging Topological Maps in Deep Reinforcement Learning for Multi-Object Navigation
Ruhr University Bochum（波鸿鲁尔大学）
本研究利用拓扑图将基本动作提升为面向对象的宏动作，使简单DQN智能体在稀疏奖励的广阔空间中成功实现多目标导航。
2023-10-16 cs.LG
Integrating Large Language Models and Reinforcement Learning for Sentiment-Driven Quantitative Trading
Wo Long（未知）；Wenxin Zeng（未知）；Xiaoyu Zhang（未知）；Ziyao Zhou（未知）
本研究开发了一个情感驱动的量化交易系统，利用 FinGPT 进行情感分析，并采用 TD3 强化学习算法集成情感与技术信号，实验表明该方法能有效融合异构信号并提升交易策略表现。
2025-10-12 cs.LG q-fin.CP
Adversarial Robust Deep Reinforcement Learning Requires Redefining Robustness
通过利用深度神经网络，已经有效地实现了经由与给定环境的交互从原始高维数据中学习。然而，观察到的由沿着高灵敏度方向的不可察觉的最坏情况的策略依赖转换（即对抗性扰动）引起的策略性能的下降引起了对深度强化学习策略的鲁棒性的关注。在我们的论文中，我们证明了这些高敏感度的方向不仅存在于特定的最坏情况方向上，而且在深层神经策略领域中更丰富，并且可以通过更自然的方式在黑盒环境中找到。此外，我们发现，与通过最先进的对抗训练技术学习的策略相比，香草训练技术有趣地导致学习更强大的策略。我们相信我们的工作展示了深度强化学习策略流形的有趣特性，我们的结果可以帮助构建强大且可推广的深度强化学习策略。
2023-01-17 cs.AI cs.CR cs.LG
Deep Reinforcement Learning Radio Control and Signal Detection with KeRLym, a Gym RL Agent
Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）
本文介绍了正在进行的研究，调查的可行性和适应性的强化学习使用深度神经网络为基础的功能近似的无线电控制和信号检测在无线领域的任务。我们展示了一个成功的无线电控制的初始方法，它允许天真的学习搜索，而不需要专家的功能，技巧，或搜索策略。我们还介绍了Kerlym，这是一个开放的基于Keras的强化学习代理集合，用于OpenAI的Gym。
2016-05-30 cs.LG
Enabling High Data Throughput Reinforcement Learning on GPUs: A Domain Agnostic Framework for Data-Driven Scientific Research
Salesforce Research（Salesforce研究院）
本文提出领域无关框架WarpSci，通过消除CPU与GPU间的数据传输并在单个或多个GPU上并发执行数千个仿真，解决高维海量数据环境下强化学习的关键系统瓶颈，从而支持数据驱动的科学研究。
2024-08-01 cs.AI cs.LG
A Deep Reinforcement Learning Approach for Composing Moving IoT Services
Deakin University（迪肯大学）；University of Sydney（悉尼大学）
我们开发了一个新的框架，用于高效和有效地发现在一段时间内靠近用户的众包服务。我们介绍了一个移动的众包服务模型，这是建模为一个移动区域。我们提出了一种基于深度强化学习的组合方法来选择和组合考虑质量参数的移动物联网服务。此外，我们开发了一个并行集群为基础的服务发现算法作为地面真理来衡量所提出的方法的准确性。在两个真实数据集上的实验验证了基于深度强化学习方法的有效性和效率。
2021-11-06 cs.LG
Dealing with Non-Stationarity in Multi-Agent Deep Reinforcement Learning
The University of Edinburgh（爱丁堡大学）
深度强化学习的最新发展涉及创建可以在各种复杂领域中表现良好的决策代理。一种受到越来越多关注的特定方法是多智能体强化学习，其中多个智能体同时学习以协调它们的动作。在这样的多代理环境中，由于代理的决策政策不断变化，会出现额外的学习问题。本文综述了近年来解决多智能体深度强化学习中非平稳性问题的研究成果。调查的方法范围从训练过程中的修改，如集中式训练，学习对手的政策，元学习，通信和分散式学习的表示。调查最后列出了一系列悬而未决的问题和未来可能的研究方向。
2019-06-11 cs.AI cs.LG cs.MA
Scalable Centralized Deep Multi-Agent Reinforcement Learning via Policy Gradients
GRASP Laboratory（GRASP实验室）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们将探索使用深度强化学习来解决多智能体问题。大多数现有的深度多智能体强化学习方法只考虑少量的智能体。当代理数量增加时，输入和控制空间的维数也会增加，这些方法的扩展性不好。为了解决这个问题，我们建议铸造的多智能体强化学习问题作为一个分布式优化问题。我们的算法假设，对于多代理设置，在一个给定的人口中的各个代理的政策生活在参数空间中彼此接近，可以近似为一个单一的政策。有了这个简单的假设，我们证明了我们的算法是非常有效的强化学习在多智能体设置。我们证明了其有效性对现有的可比方法的合作和竞争的任务。
2018-05-22 cs.AI cs.LG cs.MA
Visual Sensor Network Reconfiguration with Deep Reinforcement Learning
Ohio State University（俄亥俄州立大学）；Air Force Research Laboratory（空军研究实验室）
提出了一种基于深度强化学习（RL）的动态视觉传感器网络重构方法。我们的RL代理使用修改后的异步优势演员批评框架和最近提出的关系网络模块在其网络架构的基础上。为了解决当前无模型强化学习方法中样本效率低下的问题，我们在一个抽象的模拟环境中训练我们的系统，该环境代表来自动态场景的输入。我们的系统验证使用输入从现实世界的情况和预先存在的目标检测和跟踪算法。
2018-08-13 cs.AI cs.CV cs.LG
Deep Reinforcement Learning: An Overview
我们概述了深度强化学习（RL）最近取得的令人兴奋的成就。我们讨论了六个核心要素，六个重要机制和十二个应用程序。我们从机器学习、深度学习和强化学习的背景开始。接下来，我们讨论核心RL元素，包括价值函数，特别是深度Q网络（DQN），策略，奖励，模型，规划和探索。在此之后，我们讨论了强化学习的重要机制，包括注意和记忆，无监督学习，迁移学习，多智能体强化学习，分层强化学习和学习学习。然后我们讨论了RL的各种应用，包括游戏，特别是AlphaGo，机器人，自然语言处理，包括对话系统，机器翻译和文本生成，计算机视觉，神经架构设计，商业管理，金融，医疗保健，工业4.0，智能电网，智能交通系统和计算机系统。我们提到了一些尚未回顾的主题，并列出了一系列RL资源。在简要总结之后，我们以讨论结束。请参阅深度强化学习，arXiv：1810.06339，以获取重要更新。
2018-11-26 cs.LG
Dragonfly: a modular deep reinforcement learning library
MINES Paristech（巴黎矿业学院）；PSL - Research University（巴黎文理研究大学）
本文介绍模块化深度强化学习库Dragonfly，通过JSON序列化支持模块替换与参数扫描，并面向CPU密集型数值模拟环境，在常用基准上表现出具有竞争力的性能。
2025-07-28 cs.LG
Online Reinforcement Learning Control by Direct Heuristic Dynamic Programming: from Time-Driven to Event-Driven
Beijing Institute of Technology（北京理工大学）；Arizona State University（亚利桑那州立大学）
在本文中，时间驱动学习是指随着新数据的到来不断更新预测模型中参数的机器学习方法。在现有的近似动态规划（ADP）和强化学习（RL）算法中，直接启发式动态规划（dHDP）已被证明是解决复杂学习控制问题的有效工具。它随着系统状态的不断演化不断更新控制策略和临界点。因此，期望防止时间驱动的dHDP由于诸如噪声的不重要的系统事件而更新。为了实现这一目标，我们提出了一个新的事件驱动的dHDP。通过构造一个李雅普诺夫函数候选，我们证明了系统状态和权值在批评和控制策略网络中的一致最终有界性。因此，我们显示了近似控制和成本去功能接近贝尔曼最优在有限的范围内。我们还说明了事件驱动的dHDP算法的工作原理相比，原来的时间驱动的dHDP。
2020-06-16 cs.LG cs.SY eess.SY
Factor Representation and Decision Making in Stock Markets Using Deep Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
深度强化学习是无监督学习的一个分支，其中智能体学习根据环境状态采取行动，以最大化其总奖励。深度强化学习提供了一个很好的机会，通过利用深度神经网络的强大表示，在高维和数据驱动的环境中对投资组合选择的复杂性进行建模。在本文中，我们使用直接深度强化学习构建了一个投资组合管理系统，通过学习一个好的因子表示（作为输入），在S\&P500标的股票中周期性地做出最优投资组合选择。结果表明，有效的市场学习和最优投资组合配置可以显着优于平均市场。
2021-08-03 cs.LG q-fin.ST
