A Review of Reward Functions for Reinforcement Learning in the context of Autonomous Driving
FZI Research Center for Information Technology（弗劳恩霍夫研究所信息技术研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄大学）
本文综述了强化学习在自动驾驶中奖励函数的设计，分析了不同方法的优缺点，并提出了未来研究方向，如奖励验证框架和情境感知奖励。
2026-03-04 cs.AI cs.LG cs.RO
A Comprehensive Survey of Reinforcement Learning: From Algorithms to Practical Challenges
Wilfrid Laurier University（劳里埃大学）
本文全面综述强化学习算法，从基础表格方法到深度强化学习技术，按可扩展性和样本效率等标准分类评估，并提供算法选择与实现的实用见解。
2025-02-01 cs.AI cs.LG
A Conceptual Framework for Externally-influenced Agents: An Assisted Reinforcement Learning Review
Federation University（联邦大学）；Deakin University（迪肯大学）；Universidad Central de Chile（智利中央大学）；University of Alberta（阿尔伯塔大学）；Action Research Associates（行动研究协会）
强化学习代理的长期目标是能够在复杂的现实世界场景中执行任务。使用外部信息是将代理扩展到更复杂问题的一种方式。然而，在使用外部信息的不同方法之间普遍缺乏协作或互操作性。在这项工作中，在审查外部影响的方法，我们提出了一个概念框架和分类辅助强化学习，旨在通过分类和比较在学习过程中使用外部信息的各种方法，促进合作。建议的分类详细的外部信息源和学习者代理之间的关系，突出的信息分解，结构，保留的过程，以及它如何可以用来影响代理学习。除了回顾最先进的方法外，我们还确定了当前使用外部信息来提高智能体性能及其决策过程的强化学习流。这些包括启发式强化学习、交互式强化学习、从演示示教学习、迁移学习和从多个源学习等。这些强化学习流的共同目标是搭建学习者代理。最后，我们讨论了在辅助强化学习系统领域的未来工作的进一步可能性。
2021-09-20 cs.AI cs.LG cs.MA
Gimitest: A Comprehensive Tool for Testing Reinforcement Learning Policies
Simula Research Laboratory（西莫拉研究实验室）
针对强化学习策略可靠性测试难的问题，提出综合框架并实现开源工具Gimitest，它支持多种gym框架，可修改集成组件，能在不同环境下测试单智能体和多智能体RL策略，展示了其有效性。
2026-07-09 cs.AI cs.LG cs.SE
SLM Lab: A Comprehensive Benchmark and Modular Software Framework for Reproducible Deep Reinforcement Learning
California Institute of Technology（加州理工学院）
我们介绍SLM实验室，一个可重复的强化学习（RL）研究的软件框架。SLM Lab实现了许多流行的RL算法，提供同步和异步并行实验执行，超参数搜索和结果分析。SLM Lab中的RL算法以模块化的方式实现，因此算法性能的差异可以自信地归因于算法之间的差异，而不是实现之间的差异。在这项工作中，我们提出了SLM实验室背后的设计选择，并使用它来产生一个全面的单代码库RL算法基准。此外，由于SLM实验室的模块化设计，我们引入并评估了Soft Actor-Critic算法的离散动作变体（Haarnoja等人，2018）和RL代理的混合同步/异步训练方法。
2019-12-28 cs.AI cs.LG stat.ML
Deep Reinforcement Learning in Computer Vision: A Comprehensive Survey
深度强化学习增强了强化学习框架，并利用了深度神经网络的强大表示。最近的工作已经证明了深度强化学习在各个领域的显着成功，包括金融，医学，医疗保健，视频游戏，机器人和计算机视觉。在这项工作中，我们提供了一个详细的审查和国家的最先进的研究进展，深度强化学习在计算机视觉。我们从理解深度学习、强化学习和深度强化学习的理论开始。然后，我们提出了一个分类的深度强化学习方法，并讨论其优点和局限性。特别是，我们根据深度强化学习在计算机视觉中的应用将其分为七个主要类别，即（i）地标定位（ii）目标检测;（iii）目标跟踪;（iv）2D图像和3D图像体积数据的配准（v）图像分割;（vi）视频分析;以及（vii）其他应用。这些类别中的每一个都将通过强化学习技术、网络设计和性能进行进一步分析。此外，我们还对现有的公开数据集进行了全面的分析，并检查了源代码的可用性。最后，我们提出了一些开放的问题，并讨论了计算机视觉中深度强化学习的未来研究方向
2021-08-25 cs.AI cs.CV
Self-Review Reinforcement Learning (SRRL) with Cross-Episode Memory and Policy Distillation
研究针对强化学习中环境反馈稀疏或延迟问题，提出自我审查强化学习框架，通过策略梯度优化自我审查，经选择性蒸馏内化改进到基础策略，用跨情节记忆保留成功审查，在GSM8K基准上评估，该框架优于基线且学习效率更高。
2026-07-08 cs.AI cs.LG
Advancements and Challenges in Continual Reinforcement Learning: A Comprehensive Review
Electrical and Computer Science Engineering Department, Faculty of Engineering, Monash University, Clayton, Victoria, Australia（莫纳什大学工程学院电气与计算机科学工程系）
本综述探讨了持续强化学习如何使智能体按顺序持续学习并保留可重用知识，分析了关键概念、挑战与新颖方法，并重点介绍了机器人领域的最新进展及评估环境，最后指出了局限性与未来方向。
2025-06-27 cs.LG
Derivative-Free Reinforcement Learning: A Review
Nanjing University（南京大学）
强化学习是关于学习在未知环境中做出最佳顺序决策的代理模型。在一个未知的环境中，智能体需要探索环境，同时利用收集到的信息，这通常会形成一个复杂的问题来解决。与此同时，无导数优化能够解决复杂的问题。它通常使用采样和更新框架来迭代地改进解决方案，其中还需要很好地平衡探索和利用。因此，无导数优化处理与强化学习类似的核心问题，并且已经在学习分类器系统和神经进化/进化强化学习的名称下被引入到强化学习方法中。虽然这种方法已经发展了几十年，最近，衍生物免费强化学习展览吸引了越来越多的关注。然而，最近关于这一主题的调查仍然缺乏。本文综述了无导数强化学习的研究现状，并从参数更新、模型选择、探索、并行/分布式等方面对无导数强化学习方法进行了分类。此外，我们还讨论了目前的一些局限性和未来可能的发展方向，希望本文能引起更多的关注，这一主题，并作为一个催化剂，开发新的和有效的方法。
2021-02-10 cs.AI cs.LG
Deep Reinforcement Learning and Transportation Research: A Comprehensive Review
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
深度强化学习（DRL）是一种新兴的方法，正在改变许多复杂的交通决策问题的解决方式。研究人员越来越多地转向这种强大的基于学习的方法来解决交通领域的挑战性问题。虽然在文献中已经报道了许多有前途的应用，但仍然缺乏对许多DRL算法及其使用和适应的全面综合。本文的目的是填补这一空白，进行全面的，综合性的审查，日间行车灯在交通运输中的应用。首先，我们提供了一个概述的DRL的数学背景，流行的和有前途的DRL算法，和一些非常有效的DRL扩展。在此概述的基础上，约150 DRL的研究，出现在交通文献中，分为七个不同的类别，进行了系统的调查。在此次审查的基础上，我们继续研究日间行车灯技术在交通领域应用的适用性、优点、缺点以及常见和特定应用问题。最后，我们建议未来的研究方向和目前可用的资源，实际实施DRL。
2020-10-13 cs.AI cs.LG
Causal Multi-Agent Reinforcement Learning: Review and Open Problems
InstaDeep Ltd.（InstaDeep有限公司）；University of Cape Town（开普敦大学）
本文旨在向读者介绍多智能体强化学习（MARL）领域及其与因果关系研究方法的交叉。我们强调了MARL的主要挑战，并讨论了因果方法如何帮助解决这些问题。我们提倡对MARL采取“因果关系第一”的观点。具体来说，我们认为，因果关系可以提供更好的安全性，可解释性和鲁棒性，同时也为紧急行为提供强有力的理论保证。我们讨论了共同挑战的潜在解决方案，并利用这一背景来激励未来的研究方向。
2021-12-01 cs.AI cs.LG stat.ML
Distributed Reinforcement Learning for Robot Teams: A Review
National University of Singapore（新加坡国立大学）
审核目的：传感、驱动和计算方面的最新进展为由数百/数千个机器人组成的多机器人系统打开了大门，该系统在自动化制造、救灾、收获、最后一英里交付、港口/机场操作或搜索和救援方面具有广阔的应用前景。该社区利用无模型多智能体强化学习（MARL）为多机器人系统（MRS）设计高效、可扩展的控制器。这篇综述的目的是提供一个国家的最先进的分布式MARL多机器人合作的分析。最近的研究结果：分散MRS面临的基本挑战，如非平稳性和部分可观测性。建立在“集中培训，分散执行”的范式，最近的MARL方法包括独立学习，集中批评，价值分解和沟通学习的方法。合作行为通过人工智能基准和基本的现实世界机器人功能（如多机器人运动/路径规划）进行演示。摘要：本调查报告了围绕用于多机器人协作的去中心化无模型MARL和现有方法类别的挑战。我们提出了基准和机器人应用程序，并讨论了当前的研究开放途径。
2022-04-07 cs.AI cs.LG cs.MA
Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Problems
UC Berkeley（加州大学伯克利分校）；Google Research, Brain Team（谷歌研究大脑团队）
在这篇教程文章中，我们的目标是为读者提供开始研究离线强化学习算法所需的概念工具：强化学习算法利用以前收集的数据，而无需额外的在线数据汇集。离线强化学习算法在将大型数据集转化为强大的决策引擎方面具有巨大的潜力。有效的离线强化学习方法将能够从可用数据中提取具有最大可能效用的策略，从而实现从医疗保健和教育到机器人等广泛决策领域的自动化。然而，当前算法的局限性使得这很困难。我们的目标是让读者了解这些挑战，特别是在现代深度强化学习方法的背景下，并描述在最近的工作中探索的一些潜在解决方案，以减轻这些挑战，以及最近的应用，以及对该领域开放问题的观点的讨论。
2020-11-01 cs.AI cs.LG stat.ML
A Review of Cooperative Multi-Agent Deep Reinforcement Learning
SAS Institute Inc.（SAS研究所公司）
近年来，深度强化学习在多智能体系统中取得了重大进展。在这篇综述文章中，我们重点介绍了多智能体强化学习（MARL）算法的最新方法。特别是，我们专注于建模和解决合作多智能体强化学习问题的五种常见方法：（I）独立学习者，（II）完全可观察的批评者，（III）价值函数因子分解，（IV）共识，（IV）学会沟通。首先，我们详细介绍了这些方法中的每一种，可能的挑战，以及如何在相关论文中缓解这些挑战。如果适用的话，我们进一步在每个类别中的不同论文之间建立联系。接下来，我们将介绍MARL中一些新兴的研究领域以及最近的相关论文。由于MARL最近在现实世界中的应用取得了成功，我们指定了一个部分来提供这些应用程序和相应的文章的审查。此外，MARL研究的可用环境列表中提供了这项调查。最后，对未来的研究方向提出了建议。
2021-04-30 cs.AI cs.LG cs.MA
Explainability in Deep Reinforcement Learning, a Review into Current Methods and Applications
City University of London（伦敦城市大学）；Defence, Science and Technology Laboratory (Dstl)（国防科学技术实验室（Dstl））
深度强化学习（DRL）方案的使用自2015年首次引入以来急剧增加。虽然在许多不同的应用程序中的使用正在被发现，但它们仍然存在缺乏可解释性的问题。这使得研究人员和公众对日间行车灯解决方案的使用缺乏理解和信任。为了解决这个问题，可解释人工智能（XAI）领域应运而生。这需要各种不同的方法来打开DRL黑盒，从使用可解释的符号决策树（DT）到Shapley值等数值方法。本综述着眼于正在使用哪些方法以及用于哪些应用。这样做是为了确定哪些模型最适合每个应用程序，或者是否有一种方法未得到充分利用。
2023-03-07 cs.AI cs.LG
Towards Continual Reinforcement Learning: A Review and Perspectives
Mila（米拉研究所）；McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）；IBM Research（IBM研究院）；DeepMind（深度思维）
在这篇文章中，我们的目的是提供一个文献综述的不同配方和方法，以连续强化学习（RL），也被称为终身或非稳态RL。我们首先讨论我们的观点，为什么RL是一个自然适合研究持续学习。然后，我们提供了一个分类的不同的连续RL配方的数学特征的两个关键属性的非平稳性，即范围和驱动程序的非平稳性。这提供了对各种配方的统一看法。接下来，我们回顾并提出了一个持续强化学习方法的分类。我们继续讨论持续RL代理的评估，提供了文献中使用的基准和理解代理性能的重要指标的概述。最后，我们强调开放的问题和挑战，在弥合持续RL的当前状态和神经科学的研究结果之间的差距。虽然仍处于早期阶段，但持续强化学习的研究有望开发出更好的增量强化学习器，这些学习器可以在非平稳性发挥重要作用的日益现实的应用中发挥作用。这些应用包括医疗保健、教育、物流和机器人等领域的应用。
2022-11-11 cs.AI cs.LG
A Review of Uncertainty for Deep Reinforcement Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）
不确定性在博弈中无处不在，无论是在参与博弈的主体中，还是在博弈本身中。因此，处理不确定性是成功的深度强化学习代理的重要组成部分。虽然在理解和处理监督学习的不确定性方面已经有了很大的努力和进展，但不确定性感知的深度强化学习的文献还不太发达。虽然关于监督学习的神经网络中的不确定性的许多相同问题仍然存在于强化学习中，但由于可交互环境的性质，存在额外的不确定性来源。在这项工作中，我们提供了一个概述，激励和现有的技术在不确定性意识的深度强化学习。这些工作显示了各种强化学习任务的经验优势。这项工作有助于集中不同的结果，并促进这一领域的未来研究。
2022-08-18 cs.LG
A Review of Reinforcement Learning for Autonomous Building Energy Management
School of Electrical and Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）
本文综述了强化学习在自主建筑能源管理系统中的应用，总结了相关文献，并探讨了未来研究方向和挑战。
2019-03-15 cs.LG cs.SY eess.SY
A Review of Meta-Reinforcement Learning for Deep Neural Networks Architecture Search
Université de Strasbourg（斯特拉斯堡大学）；Segula Technologies（塞古拉科技公司）；ENIT（突尼斯国家工程学院）
深度神经网络是高效且灵活的模型，其对于诸如图像、语音识别和自然语言理解之类的各种任务表现良好。特别是，卷积神经网络（CNN）在计算机视觉，更具体地说在分类任务中引起了研究人员的浓厚兴趣。CNN架构和相关的超参数通常与所处理的任务的性质相关，因为网络提取允许最佳收敛的复杂且相关的特征。设计这样的架构需要大量的人类专业知识，大量的计算时间，并不总是导致最佳的网络。模型配置问题在机器学习中得到了广泛的研究，但没有标准的自动化方法。本次调查的重点是审查和讨论自动化CNN架构搜索的当前进展。
2018-12-17 cs.AI cs.LG
Taxonomy and Trends in Reinforcement Learning for Robotics and Control Systems: A Structured Review
本文综述了强化学习原理、深度强化学习算法及其在机器人和控制系统中的应用，探讨了核心算法策略及现代DRL技术，旨在连接理论进展与实际应用。
2026-03-15 cs.LG cs.RO
Intrinsic Motivation in Model-based Reinforcement Learning: A Brief Review
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Federal Research Center “Computer Science and Control” of Russian Academy of Sciences（俄罗斯科学院计算机科学与控制联邦研究中心）；AIRI
强化学习的研究领域包含了广泛的解决智能体控制问题的方法。尽管已经取得了进展，但创建高度自主智能体的任务仍然是一个重大挑战。这个问题的一个潜在解决方案是内在动机，这是一个来自发展心理学的概念。本综述认为现有的方法确定内在动机的基础上获得的代理世界模型。我们提出了一个系统的方法，目前在这一领域的研究，其中包括三类方法，区分的方式，他们利用世界模型在代理的组件：互补的内在奖励，探索政策，和内在动机的目标。建议的统一框架描述了使用世界模型和内在动机，以提高学习的代理的体系结构。在这一领域的研究开发新技术的潜力也进行了审查。
2023-01-24 cs.AI cs.LG
A Review of Deep Reinforcement Learning in Serverless Computing: Function Scheduling and Resource Auto-Scaling
Martel Innovate（马特尔创新公司）；Telefonica（西班牙电信公司）
本文综述了深度强化学习（DRL）在无服务器计算中函数调度与资源自动扩缩容的应用，表明DRL能有效提升效率，并指出了仿真环境、冷启动等挑战及多智能体强化学习等未来方向。
2023-10-05 cs.AI cs.DC cs.LG
XuanCe: A Comprehensive and Unified Deep Reinforcement Learning Library
Anhui University（安徽大学）；Peng Cheng Laboratory（鹏城实验室）；Southeast University（东南大学）；Tongji University（同济大学）；Tianjin University（天津大学）
XuanCe是一个兼容PyTorch、TensorFlow和MindSpore的全面统一深度强化学习库，提供超40种算法，支持多硬件与操作系统，在MuJoCo、Atari等基准上表现优异。
2023-12-25 cs.AI cs.DL cs.LG
Reinforcement Learning in Strategy-Based and Atari Games: A Review of Google DeepMinds Innovations
Computer Science Engineering Undergraduate Student（计算机科学工程本科生）；Egypt Japan University of Science and Technology（埃及-日本科学技术大学）；Department of Computer Science and Engineering, School of Electronics, Communications and Computer Engineering（计算机科学与工程系，电子、通信与计算机工程学院）
本文综述了谷歌DeepMind在Atari和策略类游戏中应用强化学习的创新，分析了AlphaGo、AlphaGo Zero和MuZero等模型的核心方法及贡献。
2026-02-11 cs.AI cs.GT
Deep reinforcement learning for process design: Review and perspective
Delft University of Technology（代尔夫特理工大学）
本文综述深度强化学习在化工过程设计中的应用，从信息表示、智能体架构、环境与奖励三要素分析现状，并讨论挑战与未来方向。
2026-06-08 cs.LG cs.SY eess.SY
Bridging Evolutionary Algorithms and Reinforcement Learning: A Comprehensive Survey on Hybrid Algorithms
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）；Montreal Institute of Learning Algorithms (MILA)（蒙特利尔学习算法研究所）；Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）
本文全面综述了进化强化学习（ERL）领域，将进化算法（EA）与强化学习（RL）融合，系统总结了三种主要研究方向：EA辅助RL优化、RL辅助EA优化以及EA与RL协同优化，并分析了各分支解决的问题及未来挑战。
2026-05-24 cs.AI cs.LG cs.NE
Deep Reinforcement Learning for Cybersecurity Threat Detection and Protection: A Review
Microsoft R&D（微软研发中心）；BITS Pilani（博拉理工学院皮拉尼校区）
网络安全威胁形势最近变得过于复杂。威胁行为者以非常协调的方式利用网络和端点安全中的弱点来实施复杂的攻击，这些攻击可能会使整个网络和网络中的许多关键主机瘫痪。越来越先进的深度和基于机器学习的解决方案已被用于威胁检测和保护。这些技术的应用在科学文献中得到了很好的综述。深度强化学习在为早期需要高级人类认知的领域开发基于人工智能的解决方案方面表现出了巨大的潜力。深度强化学习下的不同技术和算法在从游戏到工业过程的应用中显示出巨大的前景，据称可以增强具有通用AI功能的系统。这些算法最近也被用于网络安全，特别是在威胁检测和端点保护方面，这些算法显示出最先进的结果。与监督机器和深度学习不同，深度强化学习的使用方式更加多样化，并在威胁防御领域为许多创新应用提供支持。然而，没有对这些独特的应用和成就进行任何全面审查。因此，在本文中，我们打算填补这一空白，并全面回顾深度强化学习在网络安全威胁检测和保护中的不同应用。
2022-06-06 cs.AI cs.CR
Autonomous Unmanned Aerial Vehicle Navigation using Reinforcement Learning: A Systematic Review
Western University（韦仕敦大学）
在不同的应用中，例如包裹递送、交通监控、搜索和救援行动以及军事战斗中，对使用无人驾驶飞行器（UAV）（被称为无人机）的需求越来越大。在所有这些应用中，无人机都用于自主导航环境-无需人工干预，执行特定任务并避开障碍物。无人机自主导航通常使用强化学习（RL）来实现，其中代理作为某个领域的专家来导航环境，同时避开障碍物。了解导航环境和算法的局限性在选择合适的RL算法有效地解决导航问题中起着至关重要的作用。因此，本研究首先确定了主要的无人机导航任务，并讨论了导航框架和仿真软件。然后，根据无人机导航问题的环境、算法特点、能力和应用，对强化学习算法进行了分类和讨论，为实践者和研究者选择适合无人机导航应用的强化学习算法提供参考。此外，已确定的差距和机会将推动无人机导航研究。
2022-08-25 cs.AI cs.RO
Unsupervised Representation Learning in Deep Reinforcement Learning: A Review
University of Twente（特温特大学）
本综述探讨了深度强化学习中从高维数据学习低维状态变量的无监督表示学习问题，系统阐述了相关深度学习方法、原理、基准评估及未来挑战，旨在提升数据效率、鲁棒性和可解释性。
2024-05-01 cs.LG
Applications of Reinforcement Learning in Deregulated Power Market: A Comprehensive Review
随着可再生能源发电的日益普及，以及电力工业的市场化和放松管制，推动了电力市场运营模式的转变。这些新范式下的最优报价策略和调度方法是市场参与者和电力系统运营商优先关注的问题，具有不确定性特征，计算效率以及远视决策的要求。为了解决这些问题，强化学习（Reinforcement Learning，RL）作为一种新兴的机器学习技术，具有传统优化工具无法比拟的优势，在学术界和工业界发挥着越来越重要的作用。本文在精选150多篇文献的基础上，对RL在电力市场运营中的应用进行了全面的综述，包括竞价策略和调度策略优化。对于每个应用程序，除了一般化方法的范式总结，深入讨论的适用性和障碍，同时部署RL技术也提供。最后，介绍和讨论了一些在投标和调度问题中具有很大应用潜力的强化学习技术。
2023-05-12 cs.GT cs.LG cs.SY
A Survey of Deep Reinforcement Learning in Recommender Systems: A Systematic Review and Future Directions
University of New South Wales（新南威尔士大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of Technology Sydney（悉尼科技大学）
鉴于深度强化学习（DRL）在推荐系统研究中的出现以及近年来取得的一些丰硕成果，本文旨在对深度强化学习在推荐系统中的最新发展趋势进行及时而全面的综述。我们首先介绍了在推荐系统中应用DRL的动机。然后，我们提供了一个分类目前基于DRL推荐系统和现有的方法的总结。我们讨论新出现的主题和开放的问题，并提供我们对推进该领域的观点。本调查作为学术界和工业界读者对这一主题的介绍材料，并确定了进一步研究的重要机会。
2021-09-09 cs.AI cs.IR
Systematic Review on Reinforcement Learning in the Field of Fintech
King Abdulaziz University（阿卜杜勒阿齐兹国王大学）
该综述系统探讨了强化学习在金融科技中的应用，通过PRISMA方法分析2018年以来的研究，发现基于强化学习的策略在预测准确性、盈利性等方面显著优于现有算法，并指出其在投资组合优化、风险管理等决策中的巨大潜力。
2023-04-29 cs.AI cs.LG q-fin.CP
A Review of Safe Reinforcement Learning: Methods, Theory and Applications
Technical University of Munich（慕尼黑工业大学）；Peking University（北京大学）；Tongji University（同济大学）；University College London（伦敦大学学院）
本文从方法、理论和应用角度综述安全强化学习，提出五个关键问题（2H3W），分析算法与理论进展，并发布开源基准库以推动研究。
2024-05-24 cs.AI cs.LG
Reinforcement Learning for Learning of Dynamical Systems in Uncertain Environment: a Tutorial
Tarbiat Modares University（塔比亚特·莫达雷斯大学）；Hamedan University of Technology（哈马丹工业大学）
本文综述了不确定环境下动态系统学习的无模型强化学习。为此，将回顾马尔可夫决策过程（MDP）。此外，本文还对无模型学习算法中的时间差分学习、Q学习和近似Q学习等学习算法进行了研究，并对各种学习算法的优缺点进行了讨论。每一节中讨论的概念都是用细节和例子来解释的。
2019-05-19 cs.AI cs.LG
Deep Reinforcement Learning for Multi-Agent Systems: A Review of Challenges, Solutions and Applications
Institute for Intelligent Systems Research and Innovation（智能系统研究与创新学院）；Deakin University（迪肯大学）
强化学习（RL）算法已经存在了几十年，并用于解决各种顺序决策问题。然而，这些算法在处理高维环境时面临着巨大的挑战。最近深度学习的发展使RL方法能够为复杂和有能力的代理驱动最佳策略，这些代理可以在这些具有挑战性的环境中有效地执行。本文讨论了深度强化学习的一个重要方面，即需要多个代理进行通信和合作以解决复杂任务的情况。综述了与多智能体深度强化学习（MADRL）相关的问题的不同方法，包括非平稳性、部分可观测性、连续状态和动作空间、多智能体训练方案、多智能体迁移学习。本文将对这些方法的优缺点进行分析和讨论，并探讨它们的应用。据设想，这一审查提供了有关各种MADRL方法的见解，并可能导致未来开发更强大和非常有用的多智能体学习方法来解决现实世界中的问题。
2019-02-06 cs.AI cs.LG cs.MA
The Real Deal: A Review of Challenges and Opportunities in Moving Reinforcement Learning-Based Traffic Signal Control Systems Towards Reality
Carnegie Mellon University（卡内基梅隆大学）
交通信号控制（TSC）是一个高风险的领域，随着全球交通量的增长，其重要性日益增加。越来越多的工程将强化学习（RL）应用于TSC; RL可以利用丰富的流量数据来提高信令效率。然而，基于RL的信号控制器从未被部署。在这项工作中，我们提供了第一个审查的挑战，必须解决之前，RL可以部署TSC。我们专注于四个挑战，涉及（1）检测的不确定性，（2）通信的可靠性，（3）合规性和可解释性，以及（4）异构道路使用者。我们表明，基于RL的TSC的文献已经取得了一些进展，以应对每一个挑战。然而，更多的工作应该采取系统思考的方法，考虑其他管道组件对RL的影响。
2022-10-03 cs.AI cs.LG cs.SY
Reinforcement Learning and Bandits for Speech and Language Processing: Tutorial, Review and Outlook
Columbia University（哥伦比亚大学）
本文综述了 reinforcement learning 和 bandits 在语音和自然语言处理中的最新进展，探讨了如何利用其奖励驱动适应性等优势构建自适应、交互式且可扩展的模型来解决相关问题。
2023-10-19 cs.AI cs.CL cs.LG
A Review of Nine Physics Engines for Reinforcement Learning Research
Institute of Cognitive Science, Osnabrück University（奥斯纳布吕克大学认知科学研究所）
本文综述了Brax、MuJoCo等九个常用于强化学习的物理仿真引擎，基于流行度、功能、可用性等维度进行评估，发现MuJoCo性能领先而Unity易用但保真度不足，为研究者选择仿真工具提供了决策参考。
2024-08-23 cs.AI cs.LG cs.MA
COOL-MC: A Comprehensive Tool for Reinforcement Learning and Model Checking
Radboud University（拉德堡德大学）；University of Antwerp（安特卫普大学）；Flanders Make（法兰德斯制造研究院）
本文介绍了COOL-MC，一个工具，集成了最先进的强化学习（RL）和模型检验。具体来说，该工具基于OpenAI gym和概率模型检查器Storm。COOL-MC提供以下功能：（1）一个模拟器，用于在OpenAI gym中训练RL策略，用于定义为Storm输入的马尔可夫决策过程（MDP），（2）一个新的Storm模型构建器，使用回调函数来验证（神经网络）RL策略，（3）将OpenAI gym或Storm中指定的模型和策略关联起来的形式化抽象，以及（4）获得所谓的许可策略的性能上的界限的算法。我们描述了COOL-MC的组件和架构，并在多个基准测试环境中展示了其功能。
2022-09-15 cs.LG cs.LO
Learning to Communicate in Multi-Agent Reinforcement Learning : A Review
Ecole polytechnique（巴黎综合理工学院）
我们考虑的问题，多个代理学习沟通，通过强化学习部分可观察的环境中，重点是在我们的工作的第二部分的信息不对称。我们提供了一个审查最近开发的算法，以改善代理的政策，允许代理之间的信息共享和通信策略的学习，重点是基于深度递归Q网络的模型。我们还描述了最近的努力来解释这些代理所产生的语言，并研究其属性，试图产生人类语言一样的句子。我们讨论了用于评估生成的通信策略的指标，并提出了一种新的基于熵的评估指标。最后，我们解决的问题的通信成本，并介绍了一个实验装置的想法，以暴露这种成本在合作竞争的游戏。
2019-11-13 cs.LG cs.MA stat.ML
Graph Reinforcement Learning for Power Grids: A Comprehensive Survey
Fraunhofer Institute for Energy Economics and Energy System Technology (IEE)（弗劳恩霍夫能源经济与能源系统技术研究所（IEE））；University of Kassel（卡塞尔大学）；University of Greifswald（格赖夫斯瓦尔德大学）
本文综述了图强化学习在电力网络中的应用，探讨了其在表示学习和决策制定中的改进，并指出现阶段仍处于概念验证阶段，需进一步解决实际应用中的挑战。
2026-01-07 cs.LG
A Review of Off-Policy Evaluation in Reinforcement Learning
Cornell University（康奈尔大学）；Cornell Tech（康奈尔理工学院）；London School of Economics and Political Science（伦敦政治经济学院）
强化学习（RL）是机器学习中最具活力的研究前沿之一，最近已被应用于解决许多具有挑战性的问题。在本文中，我们主要关注的政策外评估（OPE），在RL的最基本的主题之一。近年来，在统计学和计算机科学文献中开发了许多OPE方法。我们提供了一个讨论的OPE，一些现有的国家的最先进的OPE方法，其统计特性和其他一些相关的研究方向，目前正在积极探索的效率界。
2022-12-13 cs.LG math.ST stat.ME
Advances in Preference-based Reinforcement Learning: A Review
University of Waterloo（滑铁卢大学）
本文综述了基于偏好的强化学习（PbRL）的研究进展，统一框架，涵盖提升可扩展性与效率的新方法、理论保证、基准测试、实际应用及未来研究方向。
2024-08-21 cs.AI
Intelligent Offloading in Vehicular Edge Computing: A Comprehensive Review of Deep Reinforcement Learning Approaches and Architectures
Department of Electrical and Computer Engineering, University of Windsor（滑铁卢大学电气与计算机工程系）
本文综述了基于深度强化学习的车辆边缘计算卸载方法，分类比较了学习范式、系统架构和优化目标，并分析了马尔可夫决策过程的应用及未来研究方向。
2026-05-25 cs.AI cs.DC cs.LG
Deep reinforcement learning in medical imaging: A literature review
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Arkansas（阿肯色大学）；University of Houston（休斯顿大学）；INRIA, Sophia Antipolis-Mediterranean Centre（法国国家信息与自动化研究所索菲亚·安蒂波利斯地中海中心）
深度强化学习（DRL）增强了强化学习框架，它学习一系列动作，最大化预期奖励，具有深度神经网络的代表性。近年来的研究表明，DRL在医学和医疗保健领域具有巨大的潜力。本文就DRL在医学影像学中的应用作一综述。我们从DRL的全面教程开始，包括最新的无模型和基于模型的算法。然后，我们涵盖了现有的DRL应用的医学成像，这是大致分为三个主要类别：（一）参数医学图像分析任务，包括地标检测，对象/病变检测，配准，并查看平面定位;（ii）解决优化任务，包括超参数调整，选择增强策略，和神经结构搜索;以及（iii）包括手术姿势分割、个性化移动健康干预和计算模型个性化的各种应用。本文最后讨论了未来的前景。
2021-03-05 cs.CV cs.LG eess.IV
Challenges and Opportunities in Deep Reinforcement Learning with Graph Neural Networks: A Comprehensive review of Algorithms and Applications
PNNL（太平洋西北国家实验室）；Kansas State University（堪萨斯州立大学）；ETH Zurich（苏黎世联邦理工学院）
深度强化学习（Deep Reinforcement Learning，DRL）已经为各种人工智能领域提供了支持，包括模式识别、机器人、推理系统和游戏。类似地，图神经网络（GNN）也在图结构数据的监督学习中展示了其优越的性能。近年来，GNN与DRL在图结构环境中的融合吸引了很多关注。本文提供了一个全面的审查，这些混合工程。这些工作可以分为两类：（1）算法增强，其中DRL和GNN相互补充以获得更好的效用;（2）特定于应用的增强，其中DRL和GNN相互支持。这种融合有效地解决了工程和生命科学中的各种复杂问题。在综述的基础上，我们进一步分析了融合这两个领域的适用性和好处，特别是在提高泛化能力和降低计算复杂性方面。最后，在整合DRL和GNN的关键挑战，以及潜在的未来研究方向，这将是更广泛的机器学习社区的兴趣。
2022-11-08 cs.LG
Comprehensive Overview of Reward Engineering and Shaping in Advancing Reinforcement Learning Applications
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Innopolis University（Innopolis 大学）
本文系统综述了强化学习中奖励工程与奖励塑造的方法、技术、局限及最新进展，并探讨了其在机器人、自动驾驶等复杂任务中的未来应用方向。
2024-12-27 cs.LG cs.SY eess.SY
Deep Reinforcement Learning in Quantitative Algorithmic Trading: A Review
The University of Edinburgh（爱丁堡大学）
电子股票交易已成为当今金融市场的主要内容，大多数交易现在都是完全自动化的。深度强化学习（DRL）代理被证明是许多复杂游戏（如国际象棋和围棋）中需要考虑的力量。我们可以把股票市场的历史价格序列和走势看作是一个复杂的不完全信息环境，在这个环境中，我们试图使回报利润最大化，风险最小化。本文回顾了深度强化学习在金融AI子领域取得的进展，更准确地说，是自动低频量化股票交易。许多被审查的研究都只是在不现实的环境中进行实验的概念验证，没有实时交易应用程序。就大多数工程而言，尽管与既定基线战略相比，所有工程的业绩在统计上都有显著改善，但没有获得可观的盈利水平。此外，实时在线交易平台缺乏实验测试，并且基于不同类型的日间行车线或人类交易员构建的代理之间缺乏有意义的比较。我们的结论是，DRL在股票交易中表现出巨大的适用性潜力，在强有力的假设下，专业交易员相媲美，但研究仍处于非常早期的发展阶段。
2021-05-31 cs.LG q-fin.TR
A Succinct Summary of Reinforcement Learning
Gatsby Unit, UCL（伦敦大学学院盖茨比研究组）
本文档是对单智能体强化学习（RL）中许多关键结果的简要总结。目标受众是那些已经熟悉RL并希望回顾，参考和/或提醒自己该领域重要思想的人。
2023-01-03 cs.AI cs.LG
REM-CTX: Automated Peer Review via Reinforcement Learning with Auxiliary Context
University of Colorado Boulder（科罗拉多大学博尔德分校）
REM-CTX通过强化学习与辅助上下文提升同行评审质量，实验显示其在多个领域中优于基线模型，且在质量和上下文关联性指标上表现突出。
2026-03-31 cs.AI cs.CL
A Review of Reinforcement Learning in Financial Applications
North Carolina State University（北卡罗来纳州立大学）；Amazon（亚马逊公司）
本文系统综述了强化学习在金融领域的应用，通过元分析揭示影响其性能的关键因素，并指出可解释性、MDP建模与鲁棒性等挑战及未来研究方向。
2024-11-01 cs.AI cs.LG q-fin.CP
Learning Team-Based Navigation: A Review of Deep Reinforcement Learning Techniques for Multi-Agent Pathfinding
University of Victoria（维多利亚大学）；The University of British Columbia（不列颠哥伦比亚大学）
本文综述了深度强化学习在多智能体路径规划中的应用，提出统一评估指标，并展望基于模型的DRL作为未来方向，以解决MAPF中的现有挑战。
2024-02-08 cs.AI cs.LG cs.MA
Reinforcement Learning in Medical Image Analysis: Concepts, Applications, Challenges, and Future Directions
Emory University（埃默里大学）；Winship Cancer Institute（温希普癌症研究所）；School of Medicine, Emory University（埃默里大学医学院）
动机：医学图像分析涉及协助医生对病变或解剖结构进行定性和定量分析的任务，显著提高诊断和预后的准确性和可靠性。传统上，这些任务由医生或医学物理学家完成，并导致两个主要问题：（i）效率低;（ii）受个人经验的影响。在过去的十年中，许多机器学习方法已被应用于加速和自动化图像分析过程。与监督和无监督学习模型的大量部署相比，在医学图像分析中使用强化学习的尝试很少。这篇综述文章可以作为相关研究的垫脚石。重要性：从我们的观察来看，尽管强化学习近年来逐渐获得了发展势头，但许多医学分析领域的研究人员发现很难理解并在临床上部署。原因之一是缺乏针对缺乏专业计算机科学背景的读者的组织良好的评论文章。本文不是提供医学图像分析中所有强化学习模型的全面列表，而是帮助读者学习如何将医学图像分析研究作为强化学习问题来制定和解决。方法和结果：我们选择了来自Google Scholar和PubMed的已发表文章。考虑到相关文章的稀缺性，我们还包括一些优秀的最新预印本。这些论文被仔细审查，并根据图像分析任务的类型进行分类。我们首先回顾了强化学习的基本概念和流行模型。然后，我们探讨了强化学习模型在地标检测中的应用。最后，我们通过讨论所回顾的强化学习方法的局限性和可能的改进来结束本文。
2022-06-28 cs.CV cs.LG
Towards Comprehensive Testing on the Robustness of Cooperative Multi-agent Reinforcement Learning
Beihang University（北京航空航天大学）；Yangzhou Collaborative Innovation Research Institute CO., LTD（扬州协同创新研究院有限公司）；No. 38 Research Institute of CETC（中国电子科技集团公司第三十八研究所）
虽然深度神经网络（DNN）增强了合作多智能体强化学习（c-MARL）的性能，但代理策略很容易受到对抗性示例的干扰。考虑到c-MARL的安全关键应用，如交通管理，电源管理和无人机控制，这是至关重要的，测试c-MARL算法的鲁棒性之前，它在现实中部署。针对MARL的现有对抗攻击可以用于测试，但是限于一个鲁棒性方面（例如，奖励、状态、动作），而c-MARL模型可以从任何方面进行攻击。为了克服这一挑战，我们提出了MARLSafe，第一个鲁棒性测试框架的c-MARL算法。首先，MARLSafe以马尔可夫决策过程（MDP）为理论基础，从状态鲁棒性、动作鲁棒性和回报鲁棒性三个方面综合考虑了c-MARL算法的鲁棒性。任何c-MARL算法必须同时满足这些鲁棒性方面才能被认为是安全的。其次，针对c-MARL攻击的稀缺性，从多个方面提出了c-MARL攻击作为鲁棒性测试算法。在\textit{SMAC}环境下的实验表明，目前许多c-MARL算法在各个方面的鲁棒性都不高，因此迫切需要测试和提高c-MARL算法的鲁棒性。
2022-04-17 cs.AI cs.LG cs.MA
