Federated Deep Reinforcement Learning
Sun Yat-Sen University（中山大学）；WeBank（微众银行）
在深度强化学习中，当状态的特征空间较小且训练数据有限时，构建高质量的策略是具有挑战性的。尽管之前的迁移学习方法在深度强化学习中取得了成功，但由于许多隐私感知应用中数据和/或模型的隐私性，通常不允许将数据或模型从代理直接迁移到另一代理。在本文中，我们提出了一种新的深度强化学习框架，联邦建立模型的高质量的代理考虑他们的隐私，即联邦深度强化学习（FedRL）。为了保护数据和模型的隐私，我们在更新局部模型时利用高斯差分来共享彼此的信息。在实验中，我们评估我们的FedRL框架在两个不同的领域，网格世界和Text 2Action域，通过比较各种基线。
2020-02-09 cs.AI cs.LG
Abstraction for Deep Reinforcement Learning
DeepMind（深度思维）；Imperial College London（伦敦帝国理工学院）；Santa Fe Institute（圣塔菲研究所）
我们在深度强化学习的背景下解决抽象问题。类比推理和联想记忆的各种成熟方法可能会对这个问题产生影响，但由于需要端到端的可微性，它们存在困难。我们回顾了人工智能和机器学习的发展，这些发展可以促进它们的采用。
2022-04-29 cs.AI cs.LG
A New Approach for Resource Scheduling with Deep Reinforcement Learning
University of Electronic Science and Technology of China（电子科技大学）
随着深度学习的快速发展，近年来深度强化学习（Deep Reinforcement Learning，DRL）开始出现在资源调度领域。本文在前人研究的基础上，介绍了在线资源调度算法DeepRM 2和离线资源调度算法DeepRM_Off。与DRL算法DeepRM和启发式算法相比，该算法在平均减速时间、作业完成时间和奖励方面具有更快的收敛速度和更好的调度效率。
2018-06-21 cs.AI cs.LG
StarCraft II Build Order Optimization using Deep Reinforcement Learning and Monte-Carlo Tree Search
Missouri University of Science and Technology（密苏里科技大学）
《星际争霸2》的实时战略游戏已经被谷歌的DeepMind视为强化学习的挑战。本研究探讨了使用基于蒙特卡罗树搜索算法的智能体来优化星际争霸II中的构建顺序，并讨论了如何通过将其与深度强化学习神经网络相结合来进一步提高其性能。使用蒙特卡罗树搜索完成的实验结果仅使用非常有限的时间和计算资源就达到了与新手玩家相似的分数，这为通过将其与深度强化学习的使用相结合来实现与人类专家相当的分数铺平了道路。
2020-06-12 cs.AI cs.LG
SimpleDS: A Simple Deep Reinforcement Learning Dialogue System
Heriot-Watt University（赫瑞-瓦特大学）
本文介绍了“SimpleDS”，这是一个简单且公开可用的对话系统，经过深度强化学习训练。与之前的强化学习对话系统相比，该系统通过直接从最后一个系统的原始文本和（嘈杂的）用户响应执行动作选择来避免手动特征工程。我们的初步结果，在餐厅领域，表明它确实是可能的，以诱导合理的对话行为的方法，其目的是高水平的自动化对话控制智能交互代理。
2016-01-18 cs.AI cs.LG
An Invitation to Deep Reinforcement Learning
University of Tübingen, Tübingen AI Center（图宾根大学，图宾根人工智能中心）
本文以监督学习为基础，通过将强化学习视为其泛化形式，面向具备基础知识的读者系统介绍深度强化学习，使其能够理解PPO等前沿算法。
2025-05-09 cs.AI cs.LG
Principled Analysis of Deep Reinforcement Learning Evaluation and Design Paradigms
本文聚焦强化学习研究进展关键要素，分析典型评估与设计范式，介绍缩放定律理论基础，通过大规模实验表明相关研究结论有误，为深度强化学习的缩放、能力和复杂性提供核心分析。
2026-07-10 cs.AI cs.LG
PPO Dash: Improving Generalization in Deep Reinforcement Learning
Vidya Gamer, LLC（维迪亚游戏有限责任公司）
深度强化学习容易出现过拟合，Atari 2600 benchmark等传统基准测试会加剧这一问题。障碍塔挑战通过使用随机环境和单独的种子进行训练，验证和测试来解决这个问题。本文研究了PPO算法的各种改进和最佳实践，使用障碍塔挑战来实证研究它们对泛化的影响。我们的实验表明，该组合提供了最先进的性能障碍塔的挑战。
2019-07-25 cs.AI cs.LG
Fast deep reinforcement learning using online adjustments from the past
DeepMind（深度思维）
我们提出了短暂值调整（EVA）：一种允许深度强化学习代理快速适应重放缓冲区中的经验的方法。EVA移动由神经网络预测的值，其中价值函数的估计是通过对来自当前状态附近的重放缓冲器的经验元组进行规划而找到的。EVA结合了许多最近的想法，将情景记忆结构结合到强化学习代理中：基于槽的存储，基于内容的检索和基于记忆的规划。我们表明，EVA是一个演示任务和雅达利游戏的性能。
2018-10-18 cs.AI cs.LG
Dopamine: A Research Framework for Deep Reinforcement Learning
Google Brain（谷歌大脑）
深度强化学习（deep RL）研究近年来有了显著增长。现在有许多软件产品为基准测试提供了稳定、全面的实现。与此同时，最近的深度RL研究在目标上变得更加多样化。在本文中，我们介绍了多巴胺，这是一种新的深度RL研究框架，旨在支持一些多样性。Dopamine是开源的，基于TensorFlow，并提供一些最先进的深度RL代理的紧凑和可靠的实现。我们通过对深度RL研究中不同研究目标的分类来补充这一产品。虽然绝不是详尽无遗的，但我们的分析突出了该领域研究的异质性，以及像我们这样的框架的价值。
2018-12-14 cs.AI cs.LG
Challenges of Applying Deep Reinforcement Learning in Dynamic Dispatching
Hitachi Industrial AI Lab（日立工业人工智能实验室）
动态调度的目标是在正确的时间将正确的资源巧妙地分配到正确的位置。动态调度是矿业生产优化的核心问题之一。从理论上讲，深度强化学习（RL）应该是解决这个问题的天然选择。然而，该行业依赖于直觉，甚至人类的直觉，这往往是短视和次优的解决方案。在本文中，我们回顾了使用深度RL解决采矿业动态调度问题的主要挑战。
2020-11-09 cs.AI cs.LG
Regret Minimization for Partially Observable Deep Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
估计状态和状态-动作价值函数的深度强化学习算法已被证明在各种具有挑战性的领域中是有效的，包括从原始图像像素学习控制策略。然而，估计状态和状态-动作价值函数的算法通常假设完全观测的状态，并且必须通过使用有限长度的观测历史或递归网络来补偿部分观测。在这项工作中，我们提出了一个新的深度强化学习算法的基础上反事实遗憾最小化迭代更新近似的一个类似的函数，并部分观察状态是鲁棒的。我们证明了这种新算法在几个部分观察到的强化学习任务上的表现可以大大优于强基线方法：在Doom和Minecraft中学习第一人称3D导航，以及在Doom和Pong中存在部分观察到的对象时采取行动。
2018-10-25 cs.AI cs.LG
d3rlpy: An Offline Deep Reinforcement Learning Library
Keio University（庆应义塾大学）；Sony AI（索尼AI）
在本文中，我们介绍了d3rlpy，一个开源的离线深度强化学习（RL）库。d3rlpy支持一组离线深度RL算法，以及通过完整文档的即插即用API的离线策略在线算法。为了解决可重复性问题，我们使用D4RL和Atari 2600数据集进行了大规模基准测试，以确保实现质量，并提供实验脚本和完整的结果表。d3rlpy源代码可以在GitHub上找到：\url{https://github.com/takuseno/d3rlpy}。
2022-12-03 cs.AI cs.LG
Posterior Sampling for Deep Reinforcement Learning
Queen Mary University of London（伦敦玛丽女王大学）
本文提出首个可扩展的深度强化学习后验采样算法PSDRL，结合潜在状态空间模型的不确定性量化与基于值函数近似的持续规划，在Atari基准上实现了高样本与计算效率。
2023-05-17 cs.AI cs.LG
Can Meta-Interpretive Learning outperform Deep Reinforcement Learning of Evaluable Game strategies?
Imperial College London（帝国理工学院）
深度强化学习系统在许多复杂的双人游戏（围棋、国际象棋、象棋）中表现优于世界级的人类玩家。然而，由于易处理性的考虑，极小极大遗憾的学习系统不能在这样的游戏中进行评估。在本文中，我们考虑简单的游戏（Noughts-and-Crosses和Hexapawn），其中极大极小遗憾可以有效地评估。我们使用这些游戏来比较标准和深度强化学习的两种变体的累积最小最大遗憾，以及一种名为MIGO的新元解释学习系统的两种变体。在我们的实验中，正常和深度强化学习的所有测试变体都比Noughts-and-Crosses和Hexapawn上的MIGO变体表现更差（更高的累积极大极小遗憾）。此外，MIGO的学习规则相对容易理解，并被证明在Noughts-and-Crosses和Hexapawn之间的两个方向上都实现了显著的迁移学习。
2019-02-26 cs.AI cs.LG
In value-based deep reinforcement learning, a pruned network is a good network
Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Google DeepMind（谷歌DeepMind）
针对深度强化学习智能体参数利用低效问题，提出采用渐进幅度剪枝的稀疏训练方法，使基于价值的智能体以少量参数实现显著性能提升。
2024-06-25 cs.AI cs.LG
A Survey on Explainable Deep Reinforcement Learning
Northwestern University（西北大学）
本综述针对深度强化学习（DRL）的黑箱不可解释性问题，系统梳理了可解释深度强化学习（XRL）的多维度解释技术、评估框架及应用场景，并探讨了其与大语言模型的集成及未来方向。
2025-02-08 cs.AI cs.LG
Exploring More When It Needs in Deep Reinforcement Learning
Beijing Institute of Technology（北京理工大学）
提出了一种深度强化学习中的策略探索机制，即在Agent需要时进行更多的探索，称为“噪声加噪声”（Add Noise to Noise，AN 2N）。其核心思想是：当深度强化学习智能体处于历史表现不佳的状态时，它需要进行更多的探索。因此，我们使用累积奖励来评估智能体在过去的哪些状态下表现不佳，并使用余弦距离来衡量当前状态是否需要进一步探索。该方法表明，Agent策略的探索机制有利于有效探索。我们将提出的探索机制AN 2N与深度确定性策略梯度（DDPG）、软执行者-评论者（SAC）算法相结合，并将其应用于连续控制任务领域，如halfCheetah、Hopper和Swimmer，在性能和收敛速度上都取得了相当大的改善。
2021-09-28 cs.AI cs.LG
A Survey Analyzing Generalization in Deep Reinforcement Learning
University College London（伦敦大学学院）
该综述形式化分析了深度强化学习的泛化性问题，阐释过拟合根源，分类讲解各类提升泛化性的方法，覆盖多类子领域，可为领域发展提供指南并助力构建鲁棒高泛化性的深度神经策略。
2024-10-30 cs.AI cs.LG stat.ML
Modern Deep Reinforcement Learning Algorithms
Moscow State University（莫斯科国立大学）
强化学习的最新进展是将经典理论成果与深度学习范式相结合，导致许多人工智能任务的突破，并催生了深度强化学习（DRL）作为一个研究领域。在这项工作中，最新的DRL算法进行了审查，重点放在他们的理论依据，实际的局限性和观察到的经验性质。
2019-07-06 cs.AI cs.LG stat.ML
Distributed Deep Reinforcement Learning: A Survey and A Multi-Player Multi-Agent Learning Toolbox
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）
本文综述分布式深度强化学习方法与关键组件，并开发发布一个多玩家多智能体分布式深度强化学习工具箱，在Wargame环境中验证其可用性，同时展望挑战与未来趋势。
2022-12-01 cs.AI cs.LG cs.MA
Deep Episodic Value Iteration for Model-based Meta-Reinforcement Learning
Stanford University（斯坦福大学）
我们提出了一个新的深度Meta强化学习器，我们称之为深度情节值迭代（DEVI）。DEVI使用深度神经网络来学习基于非参数模型的强化学习算法的相似性度量。我们的模型通过反向传播进行端到端训练。尽管使用无模型Q学习目标进行训练，我们表明，DEVI的基于模型的内部结构提供了“一次性”转移到奖励和过渡结构的变化，即使是非常高维的状态空间的任务。
2017-05-09 cs.AI cs.LG stat.ML
Tutorial and Survey on Probabilistic Graphical Model and Variational Inference in Deep Reinforcement Learning
Ludwig Maximillian University of Munich（慕尼黑大学）
为了提供一个全面而简洁的教程综述，本文对概率图模型的变分推理和强化学习进行了回顾，并给出了详细的推导。从多个方面对深度强化学习的最新研究进展进行了综述和比较。我们为深度强化学习中的概率图模型和变分推理方法的分类提供了详细的推导，作为原始贡献的补充材料。
2019-12-08 cs.AI cs.LG stat.ML
An Introduction to Deep Reinforcement Learning
McGill University（麦吉尔大学）；Google Brain（谷歌大脑）；Facebook（脸书）
深度强化学习是强化学习（RL）和深度学习的结合。这一研究领域已经能够解决以前机器无法完成的各种复杂决策任务。因此，深度RL在医疗保健、机器人、智能电网、金融等领域开辟了许多新的应用。本手稿介绍了深度强化学习模型、算法和技术。特别关注的是与泛化相关的方面，以及如何将深度RL用于实际应用。我们假设读者熟悉基本的机器学习概念。
2018-12-03 cs.AI cs.LG stat.ML
Deep Reinforcement Learning: An Overview
National University of Ireland, Galway（爱尔兰国立大学戈尔韦分校）
近年来，一种称为深度学习的特定机器学习方法获得了巨大的吸引力，因为它在模式识别、语音识别、计算机视觉和自然语言处理等广泛应用中获得了惊人的结果。最近的研究还表明，深度学习技术可以与强化学习方法相结合，以学习高维原始数据输入问题的有用表示。本章回顾了深度强化学习的最新进展，重点介绍了最常用的深度架构，如自动编码器、卷积神经网络和递归神经网络，这些架构已经成功地与强化学习框架结合在一起。
2018-06-23 cs.AI cs.LG stat.ML
DeepSim: A Reinforcement Learning Environment Build Toolkit for ROS and Gazebo
Amazon Web Services（亚马逊云科技）
我们提出了DeepSim，一个用于ROS和Gazebo的强化学习环境构建工具包。它允许机器学习或强化学习研究人员访问机器人领域，并在ROS和Gazebo仿真环境中创建复杂且具有挑战性的自定义任务。该工具包提供了高级功能的构建块，如冲突检测，行为控制，域随机化，产卵器等。DeepSim旨在通过提供Python接口来减少机器人和机器学习社区之间的边界。在本文中，我们讨论了DeepSim Toolkit的组件和设计决策。
2022-05-17 cs.AI cs.LG cs.RO
Deep Reinforcement Learning with a Natural Language Action Space
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
本文介绍了一种新的强化学习架构，该架构具有深度神经网络，旨在处理以自然语言为特征的状态和动作空间，如基于文本的游戏中所发现的。该架构被称为深度强化相关网络（DRRN），它用独立的嵌入向量表示动作和状态空间，并结合交互函数来近似强化学习中的Q函数。我们在两个流行的文本游戏上评估了DRRN，显示出优于其他深度Q学习架构的性能。对释义动作描述的实验表明，该模型是在提取意义，而不是简单地记忆文本字符串。
2016-06-08 cs.AI cs.CL cs.LG
Deep Reinforcement Learning Policies Learn Shared Adversarial Features Across MDPs
使用深度神经网络作为函数逼近器已经导致强化学习算法和应用取得了惊人的进展。然而，我们对决策边界几何形状和神经策略的损失景观的了解仍然非常有限。在本文中，我们提出了一个框架，以调查的决策边界和损失景观相似性的国家和跨MDPs。我们在Arcade Learning Environment的各种游戏中进行了实验，发现神经策略的高灵敏度方向在MDP之间是相关的。我们认为，这些高灵敏度的方向支持的假设，即非鲁棒的功能共享跨训练环境的强化学习代理。我们相信，我们的研究结果揭示了深度强化学习训练中使用的环境的基本特性，并代表了构建强大可靠的深度强化学习代理的切实步骤。
2021-12-16 cs.AI cs.LG stat.ML
Deep Reinforcement Learning for Conversational AI
DA-IICT（达尔彭加信息与通信技术学院）
深度强化学习正在彻底改变人工智能领域。目前，它是构建智能自治系统的一个很好的起点，可以更好地了解视觉世界。使用深度学习可以扩展深度强化学习，并完成令人惊叹的任务，例如在玩视频游戏时使用像素。本文讨论了深度强化学习的关键概念，包括奖励函数、强化学习与监督学习的区别以及强化的实现模型。在对话式人工智能领域实施强化学习的关键挑战，以及详细讨论。还讨论了基于深度强化学习（以及深度学习）的各种会话模型。总之，本文讨论了深度强化学习的关键方面，这些方面对于设计高效的对话式AI至关重要。
2017-09-15 cs.AI
Deep Reinforcement Learning for Doom using Unsupervised Auxiliary Tasks
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
深度强化学习的最新发展使得能够创建用于解决给定视觉输入的各种游戏的代理。这些方法已经被证明是成功的2D游戏，如雅达利游戏，或简单的任务，如在迷宫中导航。这仍然是一个悬而未决的问题，如何解决更复杂的环境中，奖励是稀疏的，状态空间是巨大的。在本文中，我们提出了一种分而治之的深度强化学习解决方案，并在第一人称射击游戏Doom中测试了我们的代理。我们的工作是基于以前在深度强化学习和Doom代理中的工作。我们还介绍了我们的代理是如何能够在未知的环境中表现得更好相比，最先进的强化学习算法。
2018-07-05 cs.AI cs.LG stat.ML
Deep Reinforcement Learning With Macro-Actions
University of Massachusetts（马萨诸塞大学）
深度强化学习已被证明是一个强大的框架，用于从复杂的高维感官输入到复杂任务（如Atari域）中的动作学习策略。在本文中，我们探索了时间抽象形式的输出表示建模，以提高深度强化学习方法的收敛性和可靠性。我们专注于宏观行动，并评估这些不同的雅达利2600游戏，在那里我们表明，他们在学习速度产生显着的改善。此外，我们还证明了它们甚至可以获得比DQN更好的分数。我们对收敛性和最终结果进行了分析和解释，揭示了深度RL方法在稀疏奖励信号方面存在的问题。
2016-06-15 cs.AI cs.LG cs.NE
Evaluating the Robustness of Deep Reinforcement Learning for Autonomous Policies in a Multi-agent Urban Driving Environment
Simula Research Laboratory（西姆拉研究实验室）
深度强化学习被积极用于在模拟驾驶环境中训练自动驾驶汽车策略。由于各种强化学习算法的大量可用性以及缺乏对不同驾驶场景的系统比较，我们不确定哪些算法在单智能体和多智能体驾驶环境中更有效地训练自动驾驶汽车软件。在基于视觉的自动驾驶中比较深度强化学习的基准框架将为训练更好的自动驾驶汽车策略提供可能性。为了应对这些挑战，我们提供了一个开放且可重用的基准测试框架，用于在单智能体和多智能体环境中对自动驾驶的深度强化学习算法进行系统评估和比较分析。使用该框架，我们进行了离散和连续动作空间深度强化学习算法的比较研究。我们还提出了一个综合的多目标奖励函数，用于评估基于深度强化学习的自动驾驶代理。我们在一个只有视觉的高保真城市驾驶模拟环境中进行实验。结果表明，只有一些深度强化学习算法在各种仅多智能体环境设置中训练时，在单智能体和多智能体场景中表现得更好。例如，基于A3C和TD3的自动驾驶汽车在单智能体和多智能体场景中的更稳健的动作和最小的驾驶错误方面表现相对更好。我们的结论是，不同的深度强化学习算法在不同的场景下表现出不同的驱动和测试性能，这强调了对其进行系统比较分析的必要性。本文提出的基准框架有利于这种比较。
2023-03-23 cs.AI cs.LG cs.MA
Superstition in the Network: Deep Reinforcement Learning Plays Deceptive Games
New York University（纽约大学）；University of Strathclyde（思克莱德大学）；University of Hertfordshire（赫特福德大学）；Maastricht University（马斯特里赫特大学）
深度强化学习已经学会了玩很多游戏，但在其他游戏上失败了。为了更好地描述深度强化学习器失败的模式和原因，我们在四个欺骗性游戏上测试了广泛使用的异步演员-评论家（A2 C）算法，这些游戏是专门为向玩游戏的代理人提供挑战而设计的。这些游戏是在通用视频游戏AI框架中实现的，这使我们能够比较基于强化学习的代理与基于树搜索的规划代理的行为。我们发现，其中几个游戏可靠地欺骗了深度强化学习器，并且由此产生的行为突出了学习算法的缺点。代理失败的特定方式不同于基于规划的代理失败的方式，进一步阐明了这些算法的特征。我们提出了一个初始的欺骗类型学，这可以帮助我们更好地理解（深度）强化学习的陷阱和失败模式。
2019-08-12 cs.AI cs.LG stat.ML
Transfer Learning in Deep Reinforcement Learning: A Survey
Michigan State University（密歇根州立大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本文系统综述了深度强化学习中迁移学习方法的最新进展，提出分类框架并分析其目标、方法、兼容主干网络与应用，同时探讨了与其他相关主题的联系及未来挑战。
2023-07-04 cs.AI cs.LG stat.ML
RLgraph: Modular Computation Graphs for Deep Reinforcement Learning
University of Cambridge（剑桥大学）；rlcore；Helmut Schmidt University（赫尔穆特·施密特大学）
强化学习（RL）任务的实现、执行和测试具有挑战性，这是由于算法的不稳定性、超参数敏感性和异构分布式通信模式。我们主张分离的逻辑组件组成，后端图形定义，和分布式执行。为此，我们引入RLgraph，一个用于在静态图和运行定义范式中设计和执行强化学习任务的库。由此产生的实现是健壮的，可增量测试的，并在不同的深度学习框架和分布式后端之间产生高性能。
2019-02-28 cs.AI cs.LG stat.ML
Deep Reinforcement Learning for Clinical Decision Support: A Brief Survey
National University of Singapore（新加坡国立大学）；National University Hospital（国立大学医院）
由于人工智能特别是深度学习的最新进展，已经实现了许多数据驱动的决策支持系统，以促进医生提供个性化护理。本文重点研究了深度强化学习（DRL）模型。DRL模型在计算机视觉和游戏（如围棋和Atari游戏）中表现出了人类水平甚至更高的性能。然而，深度强化学习技术在临床决策优化中的采用仍然很少见。我们提出了第一个调查，总结了强化学习算法与深度神经网络（DNN）的临床决策支持。我们还讨论了一些案例研究，其中不同的DRL算法被应用于解决各种临床挑战。我们进一步比较和对比各种DRL算法的优点和局限性，并提出了一个初步的指导，如何选择合适的DRL算法的特定的临床应用。
2019-07-22 cs.AI cs.LG stat.ML
Deep Reinforcement Learning for Robotic Manipulation with Asynchronous Off-Policy Updates
University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）；UC Berkeley（加州大学伯克利分校）
强化学习有望使自主机器人在最少的人为干预下学习大量的行为技能。然而，强化学习的机器人应用通常会损害学习过程的自主性，以实现对真实物理系统实用的训练时间。这通常涉及引入手工设计的策略表示和人工提供的演示。深度强化学习通过训练通用神经网络策略来克服这一限制，但直接深度强化学习算法的应用迄今为止仅限于模拟设置和相对简单的任务，因为它们明显具有较高的样本复杂度。在本文中，我们证明了一种基于深度Q函数的非策略训练的深度强化学习算法可以扩展到复杂的3D操作任务，并且可以有效地学习深度神经网络策略，以便在真实的物理机器人上进行训练。我们证明，训练时间可以进一步减少并行算法在多个机器人池他们的政策更新异步。我们的实验评估表明，我们的方法可以学习各种3D操作技能的模拟和复杂的开门技能的真实机器人没有任何事先的演示或手动设计的表示。
2016-11-23 cs.AI cs.LG cs.RO
Imagination-Augmented Agents for Deep Reinforcement Learning
DeepMind
我们引入了想象增强代理（I2As），这是一种结合了无模型和基于模型方面的深度强化学习的新架构。与大多数现有的基于基于模型的强化学习和规划方法（规定如何使用模型来达成策略）相比，I2A学习解释来自学习环境模型的预测，通过将预测用作深度策略网络中的附加上下文，以任意方式构建隐式计划。与几个基线相比，I2A显示出更高的数据效率、性能和对模型错误指定的鲁棒性。
2018-02-14 cs.AI cs.LG stat.ML
Off-Policy Deep Reinforcement Learning without Exploration
McGill University（麦吉尔大学）；Mila Québec AI Institute（米拉魁北克人工智能研究所）
强化学习的许多实际应用限制代理从已经收集的固定批次数据中学习，而不提供进一步的数据汇集的可能性。在本文中，我们证明了由于外推引入的错误，标准的非策略深度强化学习算法（如DQN和DDPG）无法使用与当前策略下的分布不相关的数据进行学习，这使得它们对于这种固定的批量设置无效。我们引入了一类新的关政策算法，批量约束强化学习，它限制了动作空间，以迫使代理的行为接近对政策的一个子集的给定数据。我们提出了第一个连续控制深度强化学习算法，该算法可以从任意固定的批量数据中有效地学习，并在几个任务中实证证明了其行为的质量。
2019-08-10 cs.AI cs.LG stat.ML
Deep Reinforcement Learning for Multi-Domain Dialogue Systems
University of Lincoln（林肯大学）；Samsung Electronics Co. Ltd.（三星电子有限公司）
标准的深度强化学习方法，如用于多任务（域）的深度Q网络（DQN），面临可扩展性问题。本文提出了一种多域对话策略学习方法--NDQN，并将其应用于餐饮酒店领域的信息搜索口语对话系统。实验结果比较DQN（基线）与NDQN（建议）使用模拟报告，我们提出的方法具有更好的可扩展性，是有希望的多域对话系统的行为优化。
2016-11-26 cs.AI cs.CL cs.LG
DeepRNG: Towards Deep Reinforcement Learning-Assisted Generative Testing of Software
Vector Institute for Artificial Intelligence（向量人工智能研究所）；University of Guelph（圭尔夫大学）
尽管机器学习（ML）已经成功地自动化了各种软件工程需求，但软件测试仍然是一个极具挑战性的话题。在本文中，我们的目标是通过直接增强随机数生成器（RNG）与深度强化学习（RL）代理使用一个有效的，自动提取的状态表示的测试下的软件，以提高软件的生成测试。使用Cosmos SDK作为测试平台，我们证明了所提出的DeepRNG框架对具有超过350，000行代码的高度复杂软件库的测试提供了统计上的显着改进。DeepRNG框架的源代码在网上公开。
2022-01-29 cs.AI cs.LG cs.SE
The Gambler's Problem and Beyond
The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）
我们分析了赌徒问题，这是一个简单的强化学习问题，赌徒有机会加倍或输掉赌注，直到达到目标。这是Sutton和Barto（2018）在强化学习教科书中介绍的一个早期例子，他们提到了一个有趣的最优值函数模式，其中包含高频分量和重复的非光滑点。然而，没有进一步调查。我们提供了离散和连续情况下的最优值函数的精确公式。虽然看起来很简单，但价值函数是病态的：分形、自相似、取零或无穷大的导数，而且不能写成初等函数。事实上，它是广义康托函数之一，它拥有迄今为止未知的复杂性。我们的分析可以为在实际应用和实现中改进值函数近似、基于梯度的算法和Q学习提供见解。
2020-07-12 cs.AI cs.LG stat.ML
Verified Probabilistic Policies for Deep Reinforcement Learning
University of Birmingham（伯明翰大学）
深度强化学习是一种越来越流行的技术，用于合成策略以控制代理与其环境的交互。人们对正式验证这些策略是否正确并安全执行的兴趣也越来越大。在这一领域取得的进展是建立在现有工作的基础上，对深层神经网络和连续状态动力系统进行验证。在本文中，我们解决了验证深度强化学习的概率策略的问题，例如，用于解决对抗性环境，打破对称性和管理权衡。我们提出了一个抽象的方法，基于区间马尔可夫决策过程，产生概率保证政策的执行，目前的技术来建立和解决这些模型，使用抽象的解释，混合整数线性规划，基于熵的细化和概率模型检验。我们实现我们的方法，并说明其有效性的选择强化学习基准。
2022-06-01 cs.AI cs.LG cs.LO
Deep Residual Reinforcement Learning
University of Oxford（牛津大学）
我们在无模型和基于模型的强化学习设置中重新审视残差算法。我们提出了双向目标网络技术来稳定残差算法，产生DDPG的残差版本，在DeepMind Control Suite基准测试中显著优于vanilla DDPG。此外，我们发现残差算法是一种有效的方法，分布失配问题的基于模型的规划。与现有的TD（$k$）方法相比，我们的残差为基础的方法，使更弱的假设模型，并产生更大的性能提升。
2020-01-23 cs.AI cs.LG stat.ML
EduGym: An Environment and Notebook Suite for Reinforcement Learning Education
Leiden University（莱顿大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
针对强化学习教学中公式与代码脱节、现有代码库过于复杂的问题，本文提出教育性环境与交互式notebook套件EduGym，通过将特定学习挑战与公式、代码结合，获得86%使用者认可。
2024-02-22 cs.AI cs.CY cs.LG
Uncertainty-Based Out-of-Distribution Detection in Deep Reinforcement Learning
LMU Munich（慕尼黑大学）；MaibornWolff（迈博恩沃尔夫公司）
我们考虑在深度强化学习中检测分布外（OOD）样本的问题。在基于值的强化学习设置中，我们建议直接在代理的值估计神经网络上使用不确定性估计技术来检测OOD样本。我们工作的重点在于分析近似贝叶斯推理方法和相关的集成技术，产生不确定性估计的适用性。虽然先前的工作已经表明，基于丢弃的变分推理技术和基于引导的方法可以用于建模认知不确定性，但在深度强化学习中检测OOD样本的适用性仍然是一个悬而未决的问题。我们的研究结果表明，不确定性估计可以用来区分在分布外的样本。在强化学习代理的整个训练过程中，与基于丢弃的方法相比，基于引导的方法倾向于产生更可靠的认知不确定性估计。
2019-01-08 cs.AI cs.LG stat.ML
Robust Deep Reinforcement Learning with Adversarial Attacks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了针对强化学习（RL）的对抗攻击，并在这些攻击的帮助下提高了深度强化学习算法（DRL）对参数不确定性的鲁棒性。我们发现，即使是一个天真的设计攻击成功地降低DRL算法的性能。我们进一步改进的攻击使用梯度信息的工程损失函数，导致性能进一步下降。然后在训练期间利用这些攻击来提高RL在鲁棒控制框架内的鲁棒性。我们表明，DRL算法（如深度双Q学习和深度确定性策略梯度）的这种对抗性训练导致RL基准测试（如Cart-pole，Mountain Car，Hopper和Half Cheetah环境）对参数变化的鲁棒性显着增加。
2017-12-11 cs.AI cs.LG cs.RO
ANS: Adaptive Network Scaling for Deep Rectifier Reinforcement Learning Models
National Taiwan University（国立台湾大学）；RIKEN-AIP（理化学研究所人工智能研究中心）
这项工作提供了一个深入的研究如何奖励缩放可以影响深度强化学习代理的性能。特别是，我们想回答这样一个问题：奖励缩放如何影响RL中的非饱和ReLU网络？这个问题很重要，因为ReLU是深度学习模型中最有效的激活函数之一。我们还提出了一个自适应网络缩放框架，在学习过程中找到合适的奖励规模，以获得更好的性能。我们进行了实证研究，以证明解决方案。
2018-10-31 cs.AI cs.LG stat.ML
Deep Interactive Reinforcement Learning for Path Following of Autonomous Underwater Vehicle
Ocean University of China（中国海洋大学）
自主式水下机器人（AUV）在海洋探测中发挥着越来越重要的作用。现有的AUV通常不是完全自主的，并且通常限于预先规划或预先编程任务。强化学习和深度强化学习被引入到AUV的设计和研究中，以提高其自主性。然而，这些方法仍然很难直接应用于实际的AUV系统，因为稀疏的奖励和低的学习效率。结合深度强化学习和交互式强化学习的优点，提出了一种深度交互式强化学习方法用于水下机器人路径跟踪。此外，由于AUV在海洋中运行时，人类训练者无法提供人类奖励，而AUV需要适应不断变化的环境，因此我们进一步提出了一种同时从人类奖励和环境奖励中学习的深度强化学习方法。通过在Gazebo平台上的仿真，分别对AUV的直线跟踪和正弦曲线跟踪两种路径跟踪任务进行了验证。我们的实验结果表明，使用我们提出的深度交互式RL方法，AUV可以比仅从环境奖励的DQN学习器更快地收敛。此外，AUV从人类和环境奖励的深度RL学习也可以实现与深度交互式RL方法相似甚至更好的性能，并且可以通过进一步从环境奖励学习来适应实际环境。
2020-01-10 cs.AI cs.LG cs.RO
Pseudo-Rehearsal: Achieving Deep Reinforcement Learning without Catastrophic Forgetting
University of Otago（奥塔哥大学）
神经网络可以在各种各样的应用中取得优异的结果。然而，当他们试图顺序学习时，他们往往会学习新的任务，而灾难性地忘记以前的任务。我们提出了一个模型，克服了灾难性遗忘顺序强化学习的图像分类域和强化学习域的持续学习相结合的想法。该模型具有双重记忆系统，该系统将持续学习与强化学习分开，以及伪排练系统，该系统通过深度生成网络“回忆”代表先前任务的项目。我们的模型顺序学习雅达利2600游戏，而没有表现出灾难性遗忘，并继续在所有三个游戏上表现出高于人类的水平。实现这一结果无需：随着任务数量的增加，需要额外的存储要求，存储原始数据或重新访问过去的任务。相比之下，以前最先进的解决方案更容易忘记这些复杂的深度强化学习任务。
2020-12-16 cs.AI cs.CV cs.LG
Estimation Error Correction in Deep Reinforcement Learning for Deterministic Actor-Critic Methods
Bilkent University（比尔肯特大学）
在基于值的深度强化学习方法中，价值函数的近似会导致高估偏差并导致次优策略。我们发现，在旨在克服高估偏差的深度演员-评论家方法中，如果代理接收到的强化信号具有较高的方差，则会出现显著的低估偏差。为了最大限度地减少低估，我们引入了一个无参数的新型深度Q学习变体。我们的Q值更新规则结合了Clipped Double Q-learning和Maxmin Q-learning背后的概念，通过最大值和最小值运算符的嵌套组合来计算critic目标，以限制近似值估计。我们评估了我们对几个OpenAI Gym连续控制任务套件的修改，在每个测试环境中提高了最先进的水平。
2021-09-23 cs.AI cs.LG stat.ML
Deep Reinforcement Learning for Autonomous Driving: A Survey
Navya（纳维亚）；Valeo（法雷奥）；ENSTA Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎高等先进技术学院）；AKKA Technologies（AKKA科技公司）；National University of Ireland, Galway（爱尔兰国立高威大学）
随着深度表示学习的发展，强化学习（RL）领域已经成为一个强大的学习框架，现在能够在高维环境中学习复杂的策略。本文总结了深度强化学习（DRL）算法，并提供了一个分类的自动驾驶任务，其中（D）RL方法已被采用，同时解决关键的计算挑战，在现实世界中部署的自动驾驶代理。它还描绘了相邻的领域，如行为克隆，模仿学习，逆强化学习，相关的，但不是经典的RL算法。模拟器在训练代理中的作用，验证，测试和鲁棒化RL中现有解决方案的方法进行了讨论。
2021-01-23 cs.AI cs.LG cs.RO
Dex: Incremental Learning for Complex Environments in Deep Reinforcement Learning
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
本文介绍了Dex，一个强化学习环境工具包，专门用于训练和评估持续学习方法以及一般的强化学习问题。我们还提出了一种新的增量学习的持续学习方法，其中使用从第一次解决类似的更容易的环境中学习到的最佳权重初始化来解决具有挑战性的环境。我们表明，增量学习可以产生比标准方法优越得多的结果，通过在十个Dex环境中提供一个强大的基线方法。最后，我们开发了一种显着性方法来定性分析强化学习，它显示了增量学习对网络注意力的影响。
2017-06-19 cs.AI cs.LG stat.ML
Investigating Simple Object Representations in Model-Free Deep Reinforcement Learning
Center for Data Science（数据科学中心）；New York University（纽约大学）
我们探索了用简单的对象表示来增强最先进的无模型深度强化算法的好处。在Lake et al.（2017）提出的Frostbite挑战之后，我们将对象表征确定为当前强化学习代理缺乏的关键认知能力。我们发现，提供彩虹模型（Hessel等人，2018年）与简单的，功能工程的对象表示大大提高了其性能的冻伤游戏从雅达利2600。然后，我们分析了不同类型的对象的表示的相对贡献，确定这些表示是最有影响力的环境状态，并检查这些表示如何帮助推广到新的情况。
2020-05-28 cs.AI cs.LG stat.ML
