Tutorial and Survey on Probabilistic Graphical Model and Variational Inference in Deep Reinforcement Learning
Ludwig Maximillian University of Munich（慕尼黑大学）
为了提供一个全面而简洁的教程综述，本文对概率图模型的变分推理和强化学习进行了回顾，并给出了详细的推导。从多个方面对深度强化学习的最新研究进展进行了综述和比较。我们为深度强化学习中的概率图模型和变分推理方法的分类提供了详细的推导，作为原始贡献的补充材料。
2019-12-08 cs.AI cs.LG stat.ML
Deep Reinforcement Learning Versus Evolution Strategies: A Comparative Survey
Delft University of Technology（代尔夫特理工大学）；VU Amsterdam（阿姆斯特丹自由大学）
深度强化学习（DRL）和演化策略（ES）在许多顺序决策问题中已经超越了人类控制，但仍然存在许多开放的挑战。为了深入了解DRL与ES的优势和劣势，分析了它们各自的能力和局限性。在介绍了它们的基本概念和算法之后，在可扩展性、探索性、适应动态环境和多智能体学习等关键方面进行了比较。然后，混合算法的好处，结合DRL和ES的概念突出。最后，有一个关于他们如何在现实世界中的应用程序进行比较的指示，他们支持的应用程序集的文献调查提供。
2021-09-28 cs.AI cs.LG
Reinforcement Learning for IoT Security: A Comprehensive Survey
Howard University（霍华德大学）
对于不同的物联网（IoT）应用，连接的智能设备数量呈指数级增长。安全性一直是物联网系统中的一个长期挑战，物联网系统具有许多攻击向量，安全缺陷和漏洞。确保物联网中数十亿B连接设备的安全是实现物联网应用全部潜力的必要任务。最近，研究人员为物联网提出了许多安全解决方案。机器学习已被提出作为物联网安全的新兴解决方案之一，强化学习在保护物联网系统方面越来越受欢迎。与其他机器学习技术不同，强化学习可以通过具有关于要学习的参数的最小信息来学习环境。它通过与环境交互来动态地调整参数来解决优化问题。在本文中，我们全面调查了针对不同物联网系统的不同类型的网络攻击，然后我们提出了强化学习和基于深度强化学习的安全解决方案，以打击不同物联网系统中的不同类型的攻击。此外，我们提出了用于保护CPS系统的强化学习（即，具有反馈和控制的物联网），如智能电网和智能交通系统。还以表格的形式总结了最近在物联网中使用强化学习B的重要攻击和对策。通过本文，读者可以更深入地了解使用强化学习的物联网安全攻击和对策，以及该领域的研究趋势。
2021-02-14 cs.AI cs.LG
A Survey on Transformers in Reinforcement Learning
Tsinghua University（清华大学）；Peking University（北京大学）；BAAI（北京智源人工智能研究院）；Tencent Inc.（腾讯公司）；Washington University in St.Louis（圣路易斯华盛顿大学）
本文系统综述了Transformer在强化学习中的应用动机、进展与分类，梳理各子领域现状并展望未来研究方向。
2023-09-20 cs.AI cs.LG
Diffusion Models for Reinforcement Learning: A Survey
Shanghai Jiao Tong University（上海交通大学）；Shanghai Marine Electronic Equipment Research Institute（上海船舶电子设备研究所）
本文综述了扩散模型在强化学习中的应用，系统梳理了RL面临的挑战、现有方法的分类及成功案例，并展望未来研究方向。
2024-02-23 cs.AI cs.LG
Pretraining in Deep Reinforcement Learning: A Survey
Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）
在过去的几年里，将强化学习（RL）与深度学习结合起来的进展非常迅速。从游戏到机器人技术的各种突破激发了人们对设计复杂RL算法和系统的兴趣。然而，RL中的主流工作流程是学习tabula rasa，这可能会导致计算效率低下。这排除了RL算法的持续部署，并可能排除没有大规模计算资源的研究人员。在机器学习的许多其他领域，预训练范式已被证明可以有效地获取可转移的知识，这些知识可用于各种下游任务。最近，我们看到了对深度RL预训练的兴趣激增，并取得了可喜的成果。然而，许多研究都是基于不同的实验设置。由于强化学习的性质，这一领域的预训练面临着独特的挑战，因此需要新的设计原则。在这项调查中，我们试图系统地回顾深度强化学习的预训练方面的现有工作，提供这些方法的分类，讨论每个子领域，并关注开放问题和未来方向。
2022-11-08 cs.AI cs.LG
A Survey of In-Context Reinforcement Learning
University of Virginia（弗吉尼亚大学）；University of Oxford（牛津大学）
本文针对强化学习智能体需通过反向传播更新参数优化策略的问题，综述了无需更新参数、仅以额外上下文为条件解决新任务的上下文强化学习相关研究。
2025-02-11 cs.LG
A Survey of Reinforcement Learning for Large Language Models under Data Scarcity: Challenges and Solutions
Peking University（北京大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；National University of Singapore（新加坡国立大学）；Nankai University（南开大学）；Tongji University（同济大学）；Nanjing University（南京大学）；University of Wollongong（沃林根大学）；Shanghai Jiao Tong University（上海交通大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文综述了在数据稀缺条件下大型语言模型强化学习的挑战与解决方案，提出三级框架，梳理现有方法并分析其优劣，为高效强化学习提供理论基础。
2026-04-19 cs.AI cs.LG
Boosting Reinforcement Learning and Planning with Demonstrations: A Survey
University of California, San Diego（加州大学圣地亚哥分校）
虽然强化学习最近取得了巨大的成功，但这种试错学习在复杂环境中可能不切实际或效率低下。另一方面，演示的使用使智能体能够从专家知识中受益，而不必通过探索来发现最佳行动。在本调查中，我们讨论了在顺序决策中使用演示的优点，在基于学习的决策范式中应用演示的各种方法（例如，强化学习和学习模型中的规划），以及如何在各种场景中收集演示。此外，我们在最近提出的ManiSkill机器人学习基准中创建了一个用于生成和利用演示的实用管道。
2023-03-27 cs.AI cs.LG cs.RO
A Comprehensive Survey of Reinforcement Learning: From Algorithms to Practical Challenges
Wilfrid Laurier University（劳里埃大学）
本文全面综述强化学习算法，从基础表格方法到深度强化学习技术，按可扩展性和样本效率等标准分类评估，并提供算法选择与实现的实用见解。
2025-02-01 cs.AI cs.LG
High-Accuracy Model-Based Reinforcement Learning, a Survey
Leiden Institute of Advanced Computer Science（莱顿高级计算机科学研究所）；Leiden University（莱顿大学）
深度强化学习在过去几年中取得了显著的成功。来自游戏和机器人的高度复杂的顺序决策问题已经用深度无模型方法解决了。不幸的是，无模型方法的样本复杂度通常很高。为了减少环境样本的数量，基于模型的强化学习创建环境动态的显式模型。在高维问题中，实现高的模型精度是一个挑战。近年来，已经引入了各种基于模型的方法来提高模型精度，使用诸如不确定性建模、模型预测控制、潜在模型以及端到端学习和规划等方法。其中一些方法成功地在低样本复杂度下实现了高精度，大多数方法都是在机器人技术或游戏环境中实现的。在本文中，我们调查这些方法，我们详细解释它们是如何工作的，它们的优点和缺点是什么。最后，我们为未来的工作，使方法更强大，更广泛地适用于其他应用程序的研究议程。
2021-07-17 cs.AI cs.LG
Transfer Learning in Deep Reinforcement Learning: A Survey
Michigan State University（密歇根州立大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本文系统综述了深度强化学习中迁移学习方法的最新进展，提出分类框架并分析其目标、方法、兼容主干网络与应用，同时探讨了与其他相关主题的联系及未来挑战。
2023-07-04 cs.AI cs.LG stat.ML
A Survey of Flow Matching in Reinforcement Learning
University of Kentucky（肯塔基大学）
本综述梳理了强化学习中流匹配方法的分类、前沿方向，对比了相关基线，为生成式强化学习与对齐研究提供了基础性路线图。
2026-10-14 cs.AI cs.LG
A Survey on Neural Architecture Search Based on Reinforcement Learning
Tianjin University of Science and Technology（天津科技大学）
本文综述了基于强化学习的神经架构搜索方法，梳理其整体发展、改进与变体，重点讨论面向复杂结构和资源受限环境的自动网络结构搜索。
2024-09-30 cs.AI cs.LG
A Survey on Interpretable Reinforcement Learning
University of Michigan-Shanghai Jiao Tong University Joint Institute（上海交通大学密西根学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Tianjin University（天津大学）
尽管深度强化学习已经成为解决序列决策问题的一种很有前途的机器学习方法，但对于自动驾驶或医疗应用等高风险领域来说，它仍然不够成熟。在这样的上下文中，学习的策略例如需要是可解释的，使得它可以在任何部署之前被检查（例如，出于安全性和可验证性的原因）。本综述概述了在强化学习（RL）中实现更高可解释性的各种方法。为此，我们区分可解释性（作为模型的属性）和可解释性（作为事后操作，代理的干预），并在RL的背景下讨论它们，强调前一个概念。特别是，我们认为，可解释的强化学习可能包括不同的方面：可解释的输入，可解释的（过渡/奖励）模型，和可解释的决策。基于此方案，我们总结和分析了最近的工作，可解释强化学习的重点是在过去的10年发表的论文。我们还简要讨论了一些相关的研究领域，并指出一些潜在的有前途的研究方向。
2022-02-24 cs.AI cs.LG
A survey on intrinsic motivation in reinforcement learning
Univ Lyon（里昂大学）；Université Lyon 1（里昂第一大学）；CNRS（法国国家科学研究中心）；LIRIS（里昂信息与图像系统实验室）
强化学习（RL）研究领域非常活跃，有许多新的贡献;特别是考虑到深度RL（DRL）的新兴领域。然而，仍然需要解决一些科学和技术挑战，其中我们可以提到抽象行动的能力或探索环境的困难，这些都可以通过内在动机（IM）来解决。在这篇文章中，我们提供了一个调查的作用，内在动机的DRL。我们对每个类别的不同类型的内在动机和细节进行了分类，其优点和局限性与上述挑战有关。此外，我们对目前正在研究或在DRL的研究领域根本没有解决的大量当前研究问题进行了深入调查。我们选择从学习如何完成任务的角度来审视这些研究成果。因此，我们建议，解决当前的挑战可能会导致一个更大的发展架构，可以解决大多数任务。我们描述了这个开发架构的基础上，由RL算法和IM模块压缩信息的几个积木。
2019-11-19 cs.AI cs.LG
Reinforcement Learning: A Survey
本文从计算机科学的角度对强化学习进行了综述。它是为了让熟悉机器学习的研究人员可以访问而编写的。这两个领域的历史基础和广泛的选择目前的工作进行了总结。强化学习是智能体通过与动态环境的试错交互来学习行为所面临的问题。这里描述的工作与心理学的工作有相似之处，但在细节和“强化”一词的使用上有很大的不同。本文讨论了强化学习的核心问题，包括权衡探索和利用，通过马尔可夫决策理论建立该领域的基础，从延迟强化中学习，构建经验模型来加速学习，利用泛化和层次结构，以及处理隐藏状态。它的结论与调查的一些实施系统和评估的实际效用，目前的方法强化学习。
1996-05-01 cs.AI
A Survey of Text Games for Reinforcement Learning informed by Natural Language
University of Manchester（曼彻斯特大学）
强化学习在许多复杂的虚拟环境中取得了成功。然而，以自然语言为核心组件解决问题仍然存在许多挑战。交互式小说游戏（或文本游戏）就是这样一种问题类型，它提供了一组部分可观察的环境，其中需要自然语言作为强化学习解决方案的一部分。因此，这项调查的目的是协助开发新的文本游戏问题设置和自然语言告知的强化学习解决方案。具体而言，本次调查总结：1）引入文本游戏强化学习问题的挑战，2）生成工具，用于评估文本游戏和随后产生的环境，3）目前应用的代理架构进行比较，为未来的研究人员提供基准方法和机会的系统性审查。
2021-09-20 cs.AI
A survey of benchmarking frameworks for reinforcement learning
University of South Africa（南非大学）
强化学习最近在机器学习社区中越来越突出。随着新技术的不断发展，解决强化学习问题的方法也越来越多。当使用强化学习解决问题时，有各种困难的挑战需要克服。为了确保该领域的进展，基准测试对于测试新算法和与其他方法进行比较非常重要。因此，公平比较结果的可重复性对于确保准确判断改进至关重要。本文概述了强化学习基准测试的不同贡献，并讨论了它们如何帮助研究人员解决强化学习面临的挑战。讨论的贡献是最常用的和最近的文献。本文讨论的贡献方面的实施，任务和提供的算法实现与基准。该调查旨在引起人们对广泛的强化学习基准测试任务的关注，并鼓励以标准化的方式进行研究。此外，这项调查还为不熟悉可用于开发和测试新的强化学习算法的不同任务的研究人员提供了概述。
2020-11-27 cs.LG
Plasticity Loss in Deep Reinforcement Learning: A Survey
Faculty of Computer Science, University of Vienna（维也纳大学计算机科学系）；Doctoral School Computer Science, University of Vienna（维也纳大学计算机科学博士学院）；Independent Researcher（独立研究员）；Microsoft AI（微软人工智能）；Department of Machine Learning and Systems Biology, Max Planck Institute of Biochemistry（生物化学研究所机器学习与系统生物学部门）
本文综述了深度强化学习中可塑性丧失的问题，提出统一定义，分析其驱动因素与病理，整理超过50种缓解策略，并指出当前评估实践的不足。
2026-04-18 cs.AI cs.LG
A Brief Survey of Deep Reinforcement Learning
深度强化学习有望彻底改变人工智能领域，并代表着构建对视觉世界有更高理解的自主系统的一步。目前，深度学习使强化学习能够扩展到以前难以解决的问题，例如直接从像素学习玩视频游戏。深度强化学习算法也被应用于机器人技术，允许机器人的控制策略直接从现实世界中的摄像机输入中学习。在本调查中，我们首先介绍强化学习的一般领域，然后介绍基于价值观和基于政策的方法的主流。我们的调查将涵盖深度强化学习中的核心算法，包括深度$Q$网络，信任区域策略优化和异步优势演员-评论家。同时，我们强调了深度神经网络的独特优势，重点是通过强化学习进行视觉理解。最后，我们描述了该领域内的几个当前研究领域。
2017-09-28 cs.AI cs.CV cs.LG
A Survey of Explainable Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
可解释强化学习（XRL）是近年来引起广泛关注的可解释机器学习的一个新兴子领域。XRL的目标是阐明学习代理在顺序决策设置中的决策过程。在这项调查中，我们提出了一种新的分类法，用于组织XRL文献，优先考虑RL设置。我们根据这种分类法概述技术。我们指出文献中的差距，我们用它来激励和概述未来工作的路线图。
2022-02-17 cs.LG
Deep Reinforcement Learning for Clinical Decision Support: A Brief Survey
National University of Singapore（新加坡国立大学）；National University Hospital（国立大学医院）
由于人工智能特别是深度学习的最新进展，已经实现了许多数据驱动的决策支持系统，以促进医生提供个性化护理。本文重点研究了深度强化学习（DRL）模型。DRL模型在计算机视觉和游戏（如围棋和Atari游戏）中表现出了人类水平甚至更高的性能。然而，深度强化学习技术在临床决策优化中的采用仍然很少见。我们提出了第一个调查，总结了强化学习算法与深度神经网络（DNN）的临床决策支持。我们还讨论了一些案例研究，其中不同的DRL算法被应用于解决各种临床挑战。我们进一步比较和对比各种DRL算法的优点和局限性，并提出了一个初步的指导，如何选择合适的DRL算法的特定的临床应用。
2019-07-22 cs.AI cs.LG stat.ML
A Survey on Offline Model-Based Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
该综述梳理了离线强化学习与基于模型的强化学习的概念及进展，聚焦二者交叉的离线基于模型强化学习领域，总结现有方法解决分布偏移问题的思路，提出领域挑战与未来研究方向。
2023-05-05 cs.AI cs.LG cs.SY
New Challenges in Reinforcement Learning: A Survey of Security and Privacy
University of Technology Sydney（悉尼科技大学）；City University of Macau（澳门城市大学）
强化学习（Reinforcement Learning，RL）是人工智能的重要分支之一。由于其在动态环境中的自适应和决策能力，强化学习已广泛应用于医疗保健、数据市场、自动驾驶和机器人等多个领域。然而，其中一些应用程序和系统已被证明容易受到安全或隐私攻击，导致服务不可靠或不稳定。大量的研究集中在强化学习中的这些安全和隐私问题上。然而，很少有调查对现有问题和最先进的解决办法进行系统审查和比较，以跟上新出现的威胁的步伐。因此，我们在此提出了这样一个全面的审查，解释和总结的挑战与安全和隐私的强化学习从一个新的角度，即马尔可夫决策过程（MDP）。在本调查中，我们首先介绍与该领域相关的关键概念。接下来，我们将分别讨论与MDP流程的状态、操作、环境和奖励函数相关的安全和隐私问题。我们进一步强调了与强化学习相关的安全和隐私方法的特殊性。最后，我们讨论了该领域未来可能的研究方向。
2022-12-31 cs.AI cs.CR cs.LG
Robust Deep Reinforcement Learning Through Adversarial Attacks and Training : A Survey
Institut de Recherche Technologique SystemX（技术研究 institute SystemX）
本文综述了深度强化学习中的对抗攻击与训练方法，系统分类并比较其目标与机制，以提升模型对环境变化和扰动的鲁棒性。
2026-06-09 cs.AI cs.LG
PGN: A perturbation generation network against deep reinforcement learning
Northwestern Polytechnical University（西北工业大学）
提出PGN生成模型，通过生成对抗样本攻击深度强化学习智能体，实现定向与非定向攻击，并引入动作一致性比率衡量隐蔽性，实验证明其攻击有效、隐蔽且速度快。
2023-12-20 cs.AI cs.LG
A Survey of Constraint Formulations in Safe Reinforcement Learning
LY Corporation（LY公司）；Osaka University（大阪大学）；Tsinghua University（清华大学）
本文综述安全强化学习中的代表性约束表述、对应算法及其数学关联，并指出当前研究现状与未来方向。
2024-05-08 cs.AI cs.LG
A Survey on Data-Centric AI: Tabular Learning from Reinforcement Learning and Generative AI Perspective
Arizona State University（亚利桑那州立大学）；The University of Kansas（堪萨斯大学）；Stevens Institute of Technology（史蒂文斯理工学院）
本文综述以数据为中心的表格学习，系统梳理利用强化学习和生成式 AI 进行特征选择与特征生成的方法、应用、优势、局限及未来方向。
2025-02-16 cs.AI cs.LG
Tracking the Race Between Deep Reinforcement Learning and Imitation Learning -- Extended Version
Saarland University（萨尔兰大学）
近年来，基于学习的方法来解决大型序列决策问题已成为流行。由此产生的代理执行不同，他们的特点取决于那些底层的学习方法。在这里，我们考虑一个基准规划问题，从强化学习域，赛道，调查来自不同的深度（强化）学习方法的代理的属性。我们比较了深度监督学习的性能，特别是模仿学习，以及赛道模型的强化学习。我们发现，模仿学习产生的代理人遵循更危险的路径。相比之下，深度强化学习的决策更具预见性，即，避免出现更有可能做出致命决定的状态。我们的评估表明，对于这个顺序决策问题，深度强化学习在许多方面表现最好，即使对于模仿学习考虑最优决策。
2020-08-03 cs.AI cs.LG
Model-based Reinforcement Learning: A Survey
Leiden University（莱顿大学）；TU Delft（代尔夫特理工大学）
序列决策通常形式化为马尔可夫决策过程（MDP）优化，是人工智能中的一个重要挑战。解决这个问题的两个关键方法是强化学习（RL）和规划。本文介绍了这两个领域的整合，更好地称为基于模型的强化学习的调查。基于模型的RL有两个主要步骤。首先，我们系统地介绍了动态模型学习的方法，包括处理随机性、不确定性、部分可观测性和时间抽象等挑战。其次，我们提出了一个系统的分类规划学习集成，包括这样的方面：从哪里开始规划，什么预算分配到规划和真正的数据汇集，如何规划，以及如何整合规划的学习和行动循环。在这两个部分之后，我们还讨论了隐式的基于模型的强化学习作为模型学习和规划的端到端替代方案，并介绍了基于模型的强化学习的潜在好处。在此过程中，调查还与几个相关的RL领域建立了联系，如分层RL和迁移学习。总而言之，调查提出了一个广泛的概念概述的MDP优化的规划和学习相结合。
2022-03-31 cs.AI cs.LG stat.ML
Comparing Deep Reinforcement Learning and Evolutionary Methods in Continuous Control
University of Alberta（阿尔伯塔大学）
强化学习和进化策略是解决复杂控制问题的两种主要方法。两者都是强有力的竞争者，都有自己的奉献者社区。近年来，这两个小组都非常积极地在各自的领域中开发新的进展，并设计出尖端技术来解决复杂的连续控制任务。在这里，在深度强化学习的背景下，我们制定了并行版本的近端策略优化方法和深度确定性策略梯度方法。此外，我们对两个阵营中最先进的技术进行了彻底的比较，包括连续控制;进化方法和深度强化学习方法。结果表明，没有持续的赢家。
2018-03-07 cs.AI cs.LG
Multi-Agent Reinforcement Learning for Resources Allocation Optimization: A Survey
University of South Australia（南澳大学）
本文综述了用于资源分配优化（RAO）的最新多智能体强化学习（MARL）算法，涵盖核心概念、分类与结构化分类法，并指出当前挑战与未来方向，以助力工业4.0发展。
2025-04-29 cs.AI cs.LG cs.MA
A Survey of Zero-shot Generalisation in Deep Reinforcement Learning
University College London（伦敦大学学院）；University of California, Berkeley（加州大学伯克利分校）；Meta AI Research（Meta人工智能研究院）
深度强化学习（RL）中的zero-shot泛化（generalisation，简称ZIG）研究旨在产生RL算法，其策略在部署时能够很好地泛化到新的不可见情况，避免过度拟合其训练环境。如果我们要在现实世界的场景中部署强化学习算法，解决这个问题至关重要，因为环境将是多样化的，动态的和不可预测的。本调查是对这一新兴领域的概述。我们依赖于一个统一的形式主义和术语来讨论不同的BLOG问题，建立在以前的作品。我们继续分类现有的基准，以及目前的方法来解决这些问题。最后，我们提供了一个关键的讨论领域的现状，包括对未来工作的建议。在其他结论中，我们认为，采取纯粹的程序内容生成方法的基准设计是不利于进步的RLG，我们建议快速在线适应和解决RL特定的问题，作为未来工作的一些领域的方法RLG，我们建议建立基准在欠探索的问题设置，如离线RL RLG和奖励函数的变化。
2023-01-19 cs.AI cs.LG
A Survey Analyzing Generalization in Deep Reinforcement Learning
University College London（伦敦大学学院）
该综述形式化分析了深度强化学习的泛化性问题，阐释过拟合根源，分类讲解各类提升泛化性的方法，覆盖多类子领域，可为领域发展提供指南并助力构建鲁棒高泛化性的深度神经策略。
2024-10-30 cs.AI cs.LG stat.ML
Federated Deep Reinforcement Learning
Sun Yat-Sen University（中山大学）；WeBank（微众银行）
在深度强化学习中，当状态的特征空间较小且训练数据有限时，构建高质量的策略是具有挑战性的。尽管之前的迁移学习方法在深度强化学习中取得了成功，但由于许多隐私感知应用中数据和/或模型的隐私性，通常不允许将数据或模型从代理直接迁移到另一代理。在本文中，我们提出了一种新的深度强化学习框架，联邦建立模型的高质量的代理考虑他们的隐私，即联邦深度强化学习（FedRL）。为了保护数据和模型的隐私，我们在更新局部模型时利用高斯差分来共享彼此的信息。在实验中，我们评估我们的FedRL框架在两个不同的领域，网格世界和Text 2Action域，通过比较各种基线。
2020-02-09 cs.AI cs.LG
Reinforcement Learning for Generative AI: A Survey
Macquarie University（麦考瑞大学）；University of California San Diego（加利福尼亚大学圣地亚哥分校）；CSIRO’s Data61（联邦科学与工业研究组织数据61）；University of New South Wales（新南威尔士大学）
本文综述了强化学习在生成式人工智能中的应用，提出严格分类法，覆盖多种模型与应用，并探讨大语言模型及未来方向。
2025-02-24 cs.AI cs.LG
Deep Reinforcement Learning for Autonomous Driving: A Survey
Navya（纳维亚）；Valeo（法雷奥）；ENSTA Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎高等先进技术学院）；AKKA Technologies（AKKA科技公司）；National University of Ireland, Galway（爱尔兰国立高威大学）
随着深度表示学习的发展，强化学习（RL）领域已经成为一个强大的学习框架，现在能够在高维环境中学习复杂的策略。本文总结了深度强化学习（DRL）算法，并提供了一个分类的自动驾驶任务，其中（D）RL方法已被采用，同时解决关键的计算挑战，在现实世界中部署的自动驾驶代理。它还描绘了相邻的领域，如行为克隆，模仿学习，逆强化学习，相关的，但不是经典的RL算法。模拟器在训练代理中的作用，验证，测试和鲁棒化RL中现有解决方案的方法进行了讨论。
2021-01-23 cs.AI cs.LG cs.RO
Abstraction for Deep Reinforcement Learning
DeepMind（深度思维）；Imperial College London（伦敦帝国理工学院）；Santa Fe Institute（圣塔菲研究所）
我们在深度强化学习的背景下解决抽象问题。类比推理和联想记忆的各种成熟方法可能会对这个问题产生影响，但由于需要端到端的可微性，它们存在困难。我们回顾了人工智能和机器学习的发展，这些发展可以促进它们的采用。
2022-04-29 cs.AI cs.LG
A New Approach for Resource Scheduling with Deep Reinforcement Learning
University of Electronic Science and Technology of China（电子科技大学）
随着深度学习的快速发展，近年来深度强化学习（Deep Reinforcement Learning，DRL）开始出现在资源调度领域。本文在前人研究的基础上，介绍了在线资源调度算法DeepRM 2和离线资源调度算法DeepRM_Off。与DRL算法DeepRM和启发式算法相比，该算法在平均减速时间、作业完成时间和奖励方面具有更快的收敛速度和更好的调度效率。
2018-06-21 cs.AI cs.LG
A Survey on Large-Population Systems and Scalable Multi-Agent Reinforcement Learning
Technische Universität Darmstadt（达姆施塔特工业大学）
大种群系统的分析和控制对不同的研究和工程领域都有很大的兴趣，从流行病学到机器人群到经济和金融。在多智能体系统中实现顺序决策的一种越来越流行和有效的方法是通过多智能体强化学习，因为它允许对高度复杂的系统进行自动和无模型的分析。然而，可扩展性的关键问题使控制和强化学习算法的设计复杂化，特别是在具有大量代理的系统中。虽然强化学习在许多只有少数智能体的场景中取得了巨大的经验成功，但许多智能体的问题很快变得棘手，需要特别考虑。在这项调查中，我们将阐明当前的方法来可追溯地理解和分析大人口系统，无论是通过多智能体强化学习，并通过相邻的研究领域，如平均场游戏，集体智慧，或复杂网络理论。这些经典独立的学科领域提供了各种方法来理解或建模大人口系统，这可能是非常有用的制定易于处理的MARL算法在未来。最后，我们调查潜在的大规模控制的应用领域，并确定在实际系统中的学习算法富有成效的未来应用。我们希望我们的调查可以提供洞察力和未来的方向，初级和高级研究人员在理论和应用科学一样。
2022-09-08 cs.AI cs.LG cs.MA
StarCraft II Build Order Optimization using Deep Reinforcement Learning and Monte-Carlo Tree Search
Missouri University of Science and Technology（密苏里科技大学）
《星际争霸2》的实时战略游戏已经被谷歌的DeepMind视为强化学习的挑战。本研究探讨了使用基于蒙特卡罗树搜索算法的智能体来优化星际争霸II中的构建顺序，并讨论了如何通过将其与深度强化学习神经网络相结合来进一步提高其性能。使用蒙特卡罗树搜索完成的实验结果仅使用非常有限的时间和计算资源就达到了与新手玩家相似的分数，这为通过将其与深度强化学习的使用相结合来实现与人类专家相当的分数铺平了道路。
2020-06-12 cs.AI cs.LG
SimpleDS: A Simple Deep Reinforcement Learning Dialogue System
Heriot-Watt University（赫瑞-瓦特大学）
本文介绍了“SimpleDS”，这是一个简单且公开可用的对话系统，经过深度强化学习训练。与之前的强化学习对话系统相比，该系统通过直接从最后一个系统的原始文本和（嘈杂的）用户响应执行动作选择来避免手动特征工程。我们的初步结果，在餐厅领域，表明它确实是可能的，以诱导合理的对话行为的方法，其目的是高水平的自动化对话控制智能交互代理。
2016-01-18 cs.AI cs.LG
A Survey on Applications of Reinforcement Learning in Spatial Resource Allocation
East China Normal University（华东师范大学）；University of Dar es Salaam（达累斯萨拉姆大学）；Shanghai University of Sport（上海体育大学）
本文针对传统空间资源分配算法计算压力大、难兼顾效率与实时性的问题，全面综述强化学习在该领域的理论方法、应用研究及基本原理，指出未来待解决的关键问题。
2024-03-07 cs.AI cs.LG
A Survey of Explainable Reinforcement Learning: Targets, Methods and Needs
IMT Mines Albi（IMT矿校阿尔比）
本文提出基于“解释什么”和“如何解释”的分类法，系统综述了250余篇可解释强化学习论文，并指出相关领域及未来研究需求。
2026-10-19 cs.AI cs.LG
A Survey of Safe Reinforcement Learning and Constrained MDPs: A Technical Survey on Single-Agent and Multi-Agent Safety
International Institute of Information Technology, Hyderabad, India（国际信息科技研究所，印度海得拉巴）；Meta SuperIntelligence, USA（Meta超智能，美国）
本文综述了安全强化学习和约束马尔可夫决策过程，涵盖单智能体和多智能体安全方法，总结了理论基础和最新算法，并提出五个开放性问题以推动该领域发展。
2026-04-29 cs.LG
Acceleration for Deep Reinforcement Learning using Parallel and Distributed Computing: A Survey
National University of Defense Technology（国防科技大学）
本文系统综述了利用并行与分布式计算加速深度强化学习训练的方法，涵盖系统架构、仿真与计算并行、同步机制及进化强化学习，并比较了16个开源库，展望了未来研究方向。
2024-11-08 cs.AI cs.DC cs.LG
Reinforcement learning with human advice: a survey
Laboratoire de Neurosciences Cognitives Computationnelles (LNC2)（计算认知神经科学实验室（LNC2））；INSERM U960（法国国家健康与医学研究院 U960）；Institute for Intelligent Systems and Robotics（智能系统与机器人研究所）；Sorbonne Université（索邦大学）；CNRS UMR 7222（法国国家科学研究中心 UMR 7222）
在本文中，我们概述了现有的方法，将人类的建议整合到强化学习过程中。我们首先提出了一个分类的不同形式的建议，可以提供给学习代理。然后，我们描述的方法，可用于解释的意见时，其含义是没有事先确定。最后，我们回顾了不同的方法整合到学习过程中的建议。
2020-11-24 cs.AI
Survey on reinforcement learning for language processing
本文综述了强化学习在自然语言处理任务中的应用，重点探讨对话系统中的方法、优势与局限，并提出未来研究方向。
2022-03-15 cs.AI cs.CL cs.LG
A Survey of State Representation Learning for Deep Reinforcement Learning
Mila - Québec AI Institute, Université de Montréal（魁北克人工智能研究所，蒙特利尔大学）；Google DeepMind（谷歌DeepMind）
本综述系统分类了深度强化学习中无模型在线设置下的状态表示学习方法，分为六大类，并探讨了评估表示质量的技术与未来方向，旨在为新研究者提供指南。
2025-06-20 cs.AI cs.LG stat.ML
AURA: A Reinforcement Learning Framework for AI-Driven Adaptive Conversational Surveys
University of Missouri, Department of Electrical Engineering and Computer Science（密苏里大学电子工程与计算机科学系）
AURA框架利用强化学习和四维LSDE回答质量指标，通过epsilon-greedy策略在会话内动态选择追问类型，将静态问卷转化为自适应、自我改进的对话式调查系统，并在评估中显著优于非自适应基线。
2026-11-09 cs.AI cs.HC cs.LG
A Short Survey on Probabilistic Reinforcement Learning
University of New Hampshire（新罕布什尔大学）；Department of Computer Science（计算机科学系）
一个强化学习智能体试图通过在未知环境中的交互来最大化其累积收益。重要的是，智能体要探索次优行动，以及选择具有最高已知奖励的行动。然而，在敏感领域，通过探索收集更多数据并不总是可能的，但重要的是要找到一个具有一定性能保证的策略。在本文中，我们提出了一个简短的调查，在文献中的方法平衡探索-开发权衡和计算强大的解决方案，从固定的样本在强化学习。
2019-01-21 cs.LG stat.ML
Survey of Recent Multi-Agent Reinforcement Learning Algorithms Utilizing Centralized Training
US DEVCOM Army Research Laboratory（美国DEVCOM陆军研究实验室）；Oak Ridge Associated Universities（橡树岭联合大学）
该综述聚焦采用集中学习分散执行范式的多智能体强化学习，梳理集中式训练的变体与相关算法，探究信息共享机制的不同实现对协作任务中群体协调行为的影响。
2021-07-29 cs.AI cs.LG cs.MA
Fully Decentralized Cooperative Multi-Agent Reinforcement Learning: A Survey
Peking University（北京大学）
本文系统综述了完全去中心化协作多智能体强化学习方法，涵盖共享奖励与个体奖励之和两种优化目标，并探讨了开放问题与未来方向。
2024-01-10 cs.AI cs.LG cs.MA
