Learning Control Barrier Functions and their application in Reinforcement Learning: A Survey
Polytechnique Montréal(蒙特利尔理工学院)
本文综述了安全强化学习中控制障碍函数的应用,并探讨了自动学习控制障碍函数的数据驱动方法,以提升强化学习在真实机器人应用中的安全性与有效性。
2024-04-22 cs.AI cs.LG cs.RO
A survey of benchmarking frameworks for reinforcement learning
University of South Africa(南非大学)
强化学习最近在机器学习社区中越来越突出。随着新技术的不断发展,解决强化学习问题的方法也越来越多。当使用强化学习解决问题时,有各种困难的挑战需要克服。为了确保该领域的进展,基准测试对于测试新算法和与其他方法进行比较非常重要。因此,公平比较结果的可重复性对于确保准确判断改进至关重要。本文概述了强化学习基准测试的不同贡献,并讨论了它们如何帮助研究人员解决强化学习面临的挑战。讨论的贡献是最常用的和最近的文献。本文讨论的贡献方面的实施,任务和提供的算法实现与基准。该调查旨在引起人们对广泛的强化学习基准测试任务的关注,并鼓励以标准化的方式进行研究。此外,这项调查还为不熟悉可用于开发和测试新的强化学习算法的不同任务的研究人员提供了概述。
2020-11-27 cs.LG
A Survey of Explainable Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
可解释强化学习(XRL)是近年来引起广泛关注的可解释机器学习的一个新兴子领域。XRL的目标是阐明学习代理在顺序决策设置中的决策过程。在这项调查中,我们提出了一种新的分类法,用于组织XRL文献,优先考虑RL设置。我们根据这种分类法概述技术。我们指出文献中的差距,我们用它来激励和概述未来工作的路线图。
2022-02-17 cs.LG
Safe Continual Reinforcement Learning Methods for Nonstationary Environments. Towards a Survey of the State of the Art
McMaster Centre for Software Certification(麦克斯特软件认证中心);Department of Computing and Software(计算与软件系);McMaster University(麦克斯特大学)
本文综述了非平稳环境下安全持续强化学习的最新方法,探讨了理论挑战和未来发展方向。
2026-01-08 cs.AI cs.LG
Deep Reinforcement Learning for Intelligent Transportation Systems: A Survey
最新的技术改进提高了运输质量。新的数据驱动方法为所有基于控制的系统带来了新的研究方向,例如,在交通、机器人、物联网和电力系统中。将数据驱动的应用程序与交通系统相结合在最近的交通应用中起着关键作用。在本文中,最新的深度强化学习(RL)为基础的交通控制应用进行了调查。具体而言,交通信号控制(TSC)的应用程序的基础上(深)RL,这已被广泛研究的文献中,详细讨论。不同的问题配方,RL参数,和仿真环境的TSC进行了全面讨论。在文献中,也有一些使用深度RL模型研究的自动驾驶应用。我们的调查广泛总结了现有的作品在这一领域进行分类,它们与应用类型,控制模型和研究算法。最后,我们讨论了基于深度RL的交通应用的挑战和开放性问题。
2020-05-02 cs.LG cs.MA cs.SY
Hamilton-Jacobi Reachability in Reinforcement Learning: A Survey
University of California San Diego(加利福尼亚大学圣迭戈分校)
本文综述了强化学习中Hamilton-Jacobi可达性估计的最新进展,探讨了如何通过同步计算可达性值函数与学习控制策略来克服高维系统的计算复杂度限制,从而提升策略的安全性与性能。
2024-08-21 cs.LG cs.RO cs.SY
A Survey of Deep Network Solutions for Learning Control in Robotics: From Reinforcement to Imitation
University of Freiburg(弗赖堡大学)
本文综述了深度学习在机器人学习控制中的应用,探讨了深度强化学习和模仿学习两大主流方法,分析了其在导航、 manipulation 任务中的应用及现实差距挑战。
2018-04-09 cs.AI cs.LG cs.RO
Tutorial and Survey on Probabilistic Graphical Model and Variational Inference in Deep Reinforcement Learning
Ludwig Maximillian University of Munich(慕尼黑大学)
为了提供一个全面而简洁的教程综述,本文对概率图模型的变分推理和强化学习进行了回顾,并给出了详细的推导。从多个方面对深度强化学习的最新研究进展进行了综述和比较。我们为深度强化学习中的概率图模型和变分推理方法的分类提供了详细的推导,作为原始贡献的补充材料。
2019-12-08 cs.AI cs.LG stat.ML
Reinforcement Learning for Sustainable Energy: A Survey
Leiden University(莱顿大学)
本文综述了强化学习在可持续能源领域的应用,系统梳理了能源生产到消费各环节的决策挑战及其强化学习建模方法,并探讨了多智能体、离线和安全强化学习等核心主题,为该交叉领域提供了广泛概述和未来方向。
2024-07-26 cs.AI cs.CY cs.LG
Leveraging Reinforcement Learning Techniques for Effective Policy Adoption and Validation
University of California, San Diego(加州大学圣地亚哥分校);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
不同形式的奖励和惩罚无处不在,并出现在各种各样的决策场景中。通过观察足够数量的重复试验的结果,人们将逐渐了解特定政策或战略的价值和有用性。然而,在特定的环境中,不同的试验结果会受到偶然性的影响和变化。在学习一个给定的政策的有用性,显着的成本涉及系统地进行顺序试验,因此,在大多数学习事件,人们希望保持成本范围内采用学习停止规则。在本文中,我们研究了部署不同的停止策略在给定的学习环境中,从高度严格的关键任务操作高度宽容的非关键任务操作,并重点放在前者与航空安全的特殊应用。在政策评估中,确定了两个连续的学习阶段,我们使用概率模型来描述结果的变化,并获得了关键性能指标的封闭式表达式。决策规则映射的试验观察政策选择也制定。最后进行了仿真实验,验证了理论分析的正确性.
2019-06-21 cs.AI cs.LG
Smart Commander: A Hierarchical Reinforcement Learning Framework for Fleet-Level PHM Decision Optimization
School of Aerospace Engineering, Tsinghua University(清华大学航天航空学院);College of Information and Control Engineering, Xi'an University of Architecture and Technology(西安建筑科技大学信息与控制工程学院);Hangzhou International Innovation Institute, Beihang University(北京航空航天大学杭州国际创新研究院);First Aircraft Institute of Aviation Industry Corporation of China(中国航空工业集团公司第一飞机设计研究院);Science and Technology on Complex Aviation System Simulation Laboratory(复杂航空系统仿真重点实验室)
本文提出Smart Commander框架,通过分层强化学习解决军事航空PHM中高维问题、稀疏反馈和随机任务配置带来的挑战,实现维护和后勤决策优化,展现出更高的效率和鲁棒性。
2026-04-08 cs.LG
A Short Survey on Probabilistic Reinforcement Learning
University of New Hampshire(新罕布什尔大学);Department of Computer Science(计算机科学系)
一个强化学习智能体试图通过在未知环境中的交互来最大化其累积收益。重要的是,智能体要探索次优行动,以及选择具有最高已知奖励的行动。然而,在敏感领域,通过探索收集更多数据并不总是可能的,但重要的是要找到一个具有一定性能保证的策略。在本文中,我们提出了一个简短的调查,在文献中的方法平衡探索-开发权衡和计算强大的解决方案,从固定的样本在强化学习。
2019-01-21 cs.LG stat.ML
A Survey of Safe Reinforcement Learning and Constrained MDPs: A Technical Survey on Single-Agent and Multi-Agent Safety
International Institute of Information Technology, Hyderabad, India(国际信息科技研究所,印度海得拉巴);Meta SuperIntelligence, USA(Meta超智能,美国)
本文综述了安全强化学习和约束马尔可夫决策过程,涵盖单智能体和多智能体安全方法,总结了理论基础和最新算法,并提出五个开放性问题以推动该领域发展。
2026-04-29 cs.LG
Autonomous Air Traffic Controller: A Deep Multi-Agent Reinforcement Learning Approach
Iowa State University(爱荷华州立大学)
空中交通管制是一个高度动态和随机环境下的实时安全决策过程。在今天的航空实践中,人类空中交通管制员监视和指挥许多飞行器通过其指定的空域扇区。随着传统(商用客机)和低空(无人机和eVTOL飞机)空域空中交通复杂性的快速增长,需要自主空中交通管制系统来适应高密度空中交通并确保飞机之间的安全间隔。我们提出了一个深度的多智能体强化学习框架,该框架能够识别和解决具有多个交叉点和合并点的高密度,随机和动态航路扇区中飞机之间的冲突。该框架利用了一个演员-评论家模型,A2 C,它结合了损失函数从近端策略优化(PPO),以帮助稳定的学习过程。此外,我们使用一个集中式学习,分散执行计划,其中一个神经网络的学习和共享的环境中的所有代理。我们表明,我们的框架是可扩展的和有效的大量入境飞机,以实现极高的交通吞吐量与安全保证。我们通过在蓝天环境中进行广泛的模拟来评估我们的模型。结果表明,我们的框架是能够解决99.97%和100%的所有冲突都在交叉口和合并点,分别在极端高密度的空中交通场景。
2019-05-02 cs.AI cs.LG cs.MA
Optimizing Power Grid Topologies with Reinforcement Learning: A Survey of Methods and Challenges
Vrije Universiteit(阿姆斯特丹自由大学)
本文综述强化学习在电网拓扑优化中的应用,梳理L2RPN推动的方法分类、设计选择与研究空白,并通过比较数值实验评估其有效性。
2025-05-15 cs.AI cs.LG cs.SY
A Brief Survey of Deep Reinforcement Learning
深度强化学习有望彻底改变人工智能领域,并代表着构建对视觉世界有更高理解的自主系统的一步。目前,深度学习使强化学习能够扩展到以前难以解决的问题,例如直接从像素学习玩视频游戏。深度强化学习算法也被应用于机器人技术,允许机器人的控制策略直接从现实世界中的摄像机输入中学习。在本调查中,我们首先介绍强化学习的一般领域,然后介绍基于价值观和基于政策的方法的主流。我们的调查将涵盖深度强化学习中的核心算法,包括深度$Q$网络,信任区域策略优化和异步优势演员-评论家。同时,我们强调了深度神经网络的独特优势,重点是通过强化学习进行视觉理解。最后,我们描述了该领域内的几个当前研究领域。
2017-09-28 cs.AI cs.CV cs.LG
A Survey on Quantum Reinforcement Learning
Fraunhofer IIS, Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所)
该综述梳理量子强化学习领域研究,既覆盖基于现有NISQ设备、以变分量子线路为函数逼近器的经典强化学习方案,也调研未来容错硬件下具备可证量子优势的算法,提供全局概览与重点文献评述。
2024-03-08 cs.LG quant-ph
Reinforcement Learning for Ridesharing: An Extended Survey
Lyft Rideshare Labs(来福车拼车实验室);University of North Carolina(北卡罗来纳大学);University of Michigan(密歇根大学)
在本文中,我们提出了一个全面的,深入的调查文献的强化学习方法的决策优化问题,在一个典型的共乘系统。涵盖了关于共乘匹配,车辆重新定位,共乘,路由和动态定价主题的论文。大多数文献都是在过去几年中出现的,几个核心挑战将继续得到解决:模型复杂性,代理协调和多个杠杆的联合优化。因此,我们还引入了流行的数据集和开放的仿真环境,以促进进一步的研究和开发。随后,我们讨论了一些强化学习研究在这个重要领域的挑战和机遇。
2022-10-24 cs.AI cs.LG
Boosting Reinforcement Learning and Planning with Demonstrations: A Survey
University of California, San Diego(加州大学圣地亚哥分校)
虽然强化学习最近取得了巨大的成功,但这种试错学习在复杂环境中可能不切实际或效率低下。另一方面,演示的使用使智能体能够从专家知识中受益,而不必通过探索来发现最佳行动。在本调查中,我们讨论了在顺序决策中使用演示的优点,在基于学习的决策范式中应用演示的各种方法(例如,强化学习和学习模型中的规划),以及如何在各种场景中收集演示。此外,我们在最近提出的ManiSkill机器人学习基准中创建了一个用于生成和利用演示的实用管道。
2023-03-27 cs.AI cs.LG cs.RO
Transfer Learning in Deep Reinforcement Learning: A Survey
Michigan State University(密歇根州立大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
本文系统综述了深度强化学习中迁移学习方法的最新进展,提出分类框架并分析其目标、方法、兼容主干网络与应用,同时探讨了与其他相关主题的联系及未来挑战。
2023-07-04 cs.AI cs.LG stat.ML
Tradeoffs When Considering Deep Reinforcement Learning for Contingency Management in Advanced Air Mobility
NASA Langley Research Center(NASA兰利研究中心)
本文研究先进空中交通中应急管理问题,将深度强化学习与经典方法进行对比,从性能、验证难度和开发过程等方面分析其权衡。
2024-06-28 cs.AI cs.LG
Survey of Deep Reinforcement Learning for Motion Planning of Autonomous Vehicles
Department of Control for Transportation and Vehicle Systems, Budapest University of Technology and Economics(布达佩斯技术与经济大学交通与车辆系统控制系);Budapest University of Technology and Economics(布达佩斯技术与经济大学);Hungary(匈牙利(注:根据要求,国家名不属于机构,此处仅为验证,实际机构为前两项))
近年来,自动驾驶汽车领域的学术研究在传感器技术、V2X通信、安全、决策、控制甚至法律和标准化规则等多个主题方面都达到了很高的水平。除了经典的控制设计方法外,人工智能和机器学习方法几乎存在于所有这些领域。研究的另一部分集中在运动规划的不同层次,如战略决策,轨迹规划和控制。机器学习本身已经开发了广泛的技术,本文描述了其中一个领域,深度强化学习(DRL)。本文提供了深入了解分层运动规划问题,并介绍了DRL的基础知识。设计这样一个系统的主要元素是环境的建模、建模抽象、状态和感知模型的描述、适当的奖励以及底层神经网络的实现。本文介绍了车辆模型,模拟的可能性和计算要求。不同层次的战略决策和观察模型,例如,提出了连续和离散状态表示、基于网格和基于相机的解决方案。本文调查了根据自动驾驶的不同任务和级别系统化的最新解决方案,例如车辆跟随,车道保持,轨迹跟随,合并或在密集交通中驾驶。最后,开放的问题和未来的挑战进行了讨论。
2020-01-30 cs.LG cs.SY eess.SY
A Survey on Explainable Deep Reinforcement Learning
Northwestern University(西北大学)
本综述针对深度强化学习(DRL)的黑箱不可解释性问题,系统梳理了可解释深度强化学习(XRL)的多维度解释技术、评估框架及应用场景,并探讨了其与大语言模型的集成及未来方向。
2025-02-08 cs.AI cs.LG
A Survey on Deep Reinforcement Learning-based Approaches for Adaptation and Generalization
Yonsei University(延世大学)
深度强化学习(Deep Reinforcement Learning,DRL)旨在创建智能代理,这些智能代理可以学习在现实环境中有效地解决复杂问题。通常,两个学习目标:适应和泛化用于基线DRL算法的性能在不同的任务和领域。本文综述了基于DRL的自适应和泛化方法的最新进展。我们首先在任务和领域的背景下制定这些目标。然后,我们回顾了这些方法下的最新工作,并讨论了未来的研究方向,通过DRL算法的适应性和泛化能力可以提高,并可能使它们适用于广泛的现实世界的问题。
2022-02-17 cs.AI cs.LG
Causal Reinforcement Learning: A Survey
Australian Artificial Intelligence Institute, University of Technology Sydney(悉尼科技大学澳大利亚人工智能研究所)
本文综述了因果强化学习领域,探讨如何将因果关系纳入学习过程以解决传统强化学习在泛化、可解释性和试错效率上的核心挑战,并系统分类现有方法及未来方向。
2023-11-21 cs.AI cs.LG
Exploration in Deep Reinforcement Learning: A Survey
Ulsan National Institute of Science and Technology(蔚山国立科学技术院);OpenAI LP(OpenAI有限合伙公司)
本文回顾了深度强化学习中的探索技术。探索技术是解决稀疏奖励问题时最重要的。在稀疏奖励问题中,奖励是罕见的,这意味着智能体不会通过随机行动经常找到奖励。在这种情况下,强化学习学习奖励和动作关联是具有挑战性的。因此,需要设计更复杂的勘探方法。本文对现有的探索方法进行了全面的综述,并根据其主要贡献将其分为奖励新状态、奖励不同行为、基于目标的方法、概率方法、基于模仿的方法、安全探索和基于随机的方法。最后,讨论了目前尚待解决的问题,为今后的研究提供了有价值的方向。最后,从复杂度、计算量和总体性能等方面对不同类别的方法进行了比较。
2022-05-02 cs.LG
An information-theoretic perspective on intrinsic motivation in reinforcement learning: a survey
Univ Lyon(里昂大学);UCBL(里昂第一大学);CNRS(法国国家科学研究中心);INSA Lyon(里昂国立应用科学学院)
强化学习(RL)研究领域非常活跃,有许多新的贡献;特别是考虑到深度RL(DRL)的新兴领域。然而,一些科学和技术挑战仍然需要解决,其中我们可以提到抽象行动的能力或在稀疏奖励环境中探索环境的困难,这可以通过内在动机(IM)来解决。我们建议通过一个新的分类调查这些研究工作的基础上信息论:我们计算重新审视的惊喜,新颖性和技能学习的概念。这使我们能够确定方法的优点和缺点,并展示当前的研究前景。我们的分析表明,新奇和惊喜可以帮助建立一个层次的可转移的技能,进一步抽象的环境,使探索过程更加强大。
2022-09-19 cs.LG
Deep Reinforcement Learning for Clinical Decision Support: A Brief Survey
National University of Singapore(新加坡国立大学);National University Hospital(国立大学医院)
由于人工智能特别是深度学习的最新进展,已经实现了许多数据驱动的决策支持系统,以促进医生提供个性化护理。本文重点研究了深度强化学习(DRL)模型。DRL模型在计算机视觉和游戏(如围棋和Atari游戏)中表现出了人类水平甚至更高的性能。然而,深度强化学习技术在临床决策优化中的采用仍然很少见。我们提出了第一个调查,总结了强化学习算法与深度神经网络(DNN)的临床决策支持。我们还讨论了一些案例研究,其中不同的DRL算法被应用于解决各种临床挑战。我们进一步比较和对比各种DRL算法的优点和局限性,并提出了一个初步的指导,如何选择合适的DRL算法的特定的临床应用。
2019-07-22 cs.AI cs.LG stat.ML
Deep Reinforcement Learning Versus Evolution Strategies: A Comparative Survey
Delft University of Technology(代尔夫特理工大学);VU Amsterdam(阿姆斯特丹自由大学)
深度强化学习(DRL)和演化策略(ES)在许多顺序决策问题中已经超越了人类控制,但仍然存在许多开放的挑战。为了深入了解DRL与ES的优势和劣势,分析了它们各自的能力和局限性。在介绍了它们的基本概念和算法之后,在可扩展性、探索性、适应动态环境和多智能体学习等关键方面进行了比较。然后,混合算法的好处,结合DRL和ES的概念突出。最后,有一个关于他们如何在现实世界中的应用程序进行比较的指示,他们支持的应用程序集的文献调查提供。
2021-09-28 cs.AI cs.LG
Combining Evolution and Deep Reinforcement Learning for Policy Search: a Survey
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institut des Systèmes Intelligents et de Robotique(智能系统与机器人研究所)
深度神经进化和深度强化学习在过去几年中受到了很多关注。有些作品比较了它们,突出了它们的优点和缺点,但一个新兴的趋势是将它们结合起来,以便从两个世界的最佳状态中受益。在本文中,我们提供了一个调查,这一新兴的趋势,组织成相关的作品组的文学和铸造成一个通用的框架,在每个组中的所有现有的组合。我们系统地涵盖了所有容易获得的论文,无论其出版状态,侧重于组合机制,而不是实验结果。总的来说,我们涵盖了比2017年更新的45种算法。我们希望这一努力将有利于该领域的发展,促进对方法之间关系的理解,导致更深入的分析,概述缺失的有用比较,并提出新的机制组合。
2022-06-11 cs.LG
A Survey of Inverse Reinforcement Learning: Challenges, Methods and Progress
University of Georgia(佐治亚大学)
逆强化学习(IRL)是在给定代理的策略或观察到的行为的情况下推断代理的奖励函数的问题。类似于RL,IRL被认为既是一个问题,也是一类方法。通过分类调查IRL的当前文献,本文可作为机器学习及其他领域的研究人员和实践者的参考,以了解IRL的挑战并选择最适合手头问题的方法。该调查正式介绍了IRL问题及其核心挑战,如难以进行准确的推理及其可推广性,对先验知识的敏感性,以及解决方案复杂性与问题大小不成比例的增长。本文阐述了当前的方法如何缓解这些挑战。我们进一步讨论了传统的IRL方法的扩展处理:不准确和不完整的感知,不完整的模型,多个奖励函数和非线性奖励函数。本次调查的结论与研究领域的一些广泛的进展和目前开放的研究问题的讨论。
2020-11-18 cs.LG stat.ML
New Challenges in Reinforcement Learning: A Survey of Security and Privacy
University of Technology Sydney(悉尼科技大学);City University of Macau(澳门城市大学)
强化学习(Reinforcement Learning,RL)是人工智能的重要分支之一。由于其在动态环境中的自适应和决策能力,强化学习已广泛应用于医疗保健、数据市场、自动驾驶和机器人等多个领域。然而,其中一些应用程序和系统已被证明容易受到安全或隐私攻击,导致服务不可靠或不稳定。大量的研究集中在强化学习中的这些安全和隐私问题上。然而,很少有调查对现有问题和最先进的解决办法进行系统审查和比较,以跟上新出现的威胁的步伐。因此,我们在此提出了这样一个全面的审查,解释和总结的挑战与安全和隐私的强化学习从一个新的角度,即马尔可夫决策过程(MDP)。在本调查中,我们首先介绍与该领域相关的关键概念。接下来,我们将分别讨论与MDP流程的状态、操作、环境和奖励函数相关的安全和隐私问题。我们进一步强调了与强化学习相关的安全和隐私方法的特殊性。最后,我们讨论了该领域未来可能的研究方向。
2022-12-31 cs.AI cs.CR cs.LG
Reinforcement learning on graphs: A survey
Northeastern University(东北大学)
图挖掘任务来自许多不同的应用领域,从社交网络、交通到电子商务等,近年来,该领域受到理论界和算法设计界的极大关注,并且已经有一些开创性的工作采用研究丰富的强化学习(RL)技术来解决图数据采掘任务。然而,这些图挖掘方法和强化学习模型分散在不同的研究领域,这使得很难比较它们。在本调查中,我们提供了RL和图挖掘方法的全面概述,并将这些方法作为统一的公式推广到图强化学习(GRL)。我们进一步讨论了GRL方法在各个领域的应用,并总结了GRL方法的方法描述,开源代码和基准数据集。并提出了未来需要解决的重要方向和挑战。据我们所知,这是对GRL进行全面研究的最新成果,为学者提供了一个全球视野和学习资源。此外,我们创建了一个在线开源的学者谁想要进入这个快速发展的领域和专家谁愿意比较GRL方法。
2023-01-15 cs.LG
Reinforcement Learning for IoT Security: A Comprehensive Survey
Howard University(霍华德大学)
对于不同的物联网(IoT)应用,连接的智能设备数量呈指数级增长。安全性一直是物联网系统中的一个长期挑战,物联网系统具有许多攻击向量,安全缺陷和漏洞。确保物联网中数十亿B连接设备的安全是实现物联网应用全部潜力的必要任务。最近,研究人员为物联网提出了许多安全解决方案。机器学习已被提出作为物联网安全的新兴解决方案之一,强化学习在保护物联网系统方面越来越受欢迎。与其他机器学习技术不同,强化学习可以通过具有关于要学习的参数的最小信息来学习环境。它通过与环境交互来动态地调整参数来解决优化问题。在本文中,我们全面调查了针对不同物联网系统的不同类型的网络攻击,然后我们提出了强化学习和基于深度强化学习的安全解决方案,以打击不同物联网系统中的不同类型的攻击。此外,我们提出了用于保护CPS系统的强化学习(即,具有反馈和控制的物联网),如智能电网和智能交通系统。还以表格的形式总结了最近在物联网中使用强化学习B的重要攻击和对策。通过本文,读者可以更深入地了解使用强化学习的物联网安全攻击和对策,以及该领域的研究趋势。
2021-02-14 cs.AI cs.LG
Model-based Reinforcement Learning: A Survey
Leiden University(莱顿大学);TU Delft(代尔夫特理工大学)
序列决策通常形式化为马尔可夫决策过程(MDP)优化,是人工智能中的一个重要挑战。解决这个问题的两个关键方法是强化学习(RL)和规划。本文介绍了这两个领域的整合,更好地称为基于模型的强化学习的调查。基于模型的RL有两个主要步骤。首先,我们系统地介绍了动态模型学习的方法,包括处理随机性、不确定性、部分可观测性和时间抽象等挑战。其次,我们提出了一个系统的分类规划学习集成,包括这样的方面:从哪里开始规划,什么预算分配到规划和真正的数据汇集,如何规划,以及如何整合规划的学习和行动循环。在这两个部分之后,我们还讨论了隐式的基于模型的强化学习作为模型学习和规划的端到端替代方案,并介绍了基于模型的强化学习的潜在好处。在此过程中,调查还与几个相关的RL领域建立了联系,如分层RL和迁移学习。总而言之,调查提出了一个广泛的概念概述的MDP优化的规划和学习相结合。
2022-03-31 cs.AI cs.LG stat.ML
Multi-Agent Reinforcement Learning for Resources Allocation Optimization: A Survey
University of South Australia(南澳大学)
本文综述了用于资源分配优化(RAO)的最新多智能体强化学习(MARL)算法,涵盖核心概念、分类与结构化分类法,并指出当前挑战与未来方向,以助力工业4.0发展。
2025-04-29 cs.AI cs.LG cs.MA
A Survey Analyzing Generalization in Deep Reinforcement Learning
University College London(伦敦大学学院)
该综述形式化分析了深度强化学习的泛化性问题,阐释过拟合根源,分类讲解各类提升泛化性的方法,覆盖多类子领域,可为领域发展提供指南并助力构建鲁棒高泛化性的深度神经策略。
2024-10-30 cs.AI cs.LG stat.ML
Deep Reinforcement Learning for Autonomous Driving: A Survey
Navya(纳维亚);Valeo(法雷奥);ENSTA Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎高等先进技术学院);AKKA Technologies(AKKA科技公司);National University of Ireland, Galway(爱尔兰国立高威大学)
随着深度表示学习的发展,强化学习(RL)领域已经成为一个强大的学习框架,现在能够在高维环境中学习复杂的策略。本文总结了深度强化学习(DRL)算法,并提供了一个分类的自动驾驶任务,其中(D)RL方法已被采用,同时解决关键的计算挑战,在现实世界中部署的自动驾驶代理。它还描绘了相邻的领域,如行为克隆,模仿学习,逆强化学习,相关的,但不是经典的RL算法。模拟器在训练代理中的作用,验证,测试和鲁棒化RL中现有解决方案的方法进行了讨论。
2021-01-23 cs.AI cs.LG cs.RO
A Survey on Large-Population Systems and Scalable Multi-Agent Reinforcement Learning
Technische Universität Darmstadt(达姆施塔特工业大学)
大种群系统的分析和控制对不同的研究和工程领域都有很大的兴趣,从流行病学到机器人群到经济和金融。在多智能体系统中实现顺序决策的一种越来越流行和有效的方法是通过多智能体强化学习,因为它允许对高度复杂的系统进行自动和无模型的分析。然而,可扩展性的关键问题使控制和强化学习算法的设计复杂化,特别是在具有大量代理的系统中。虽然强化学习在许多只有少数智能体的场景中取得了巨大的经验成功,但许多智能体的问题很快变得棘手,需要特别考虑。在这项调查中,我们将阐明当前的方法来可追溯地理解和分析大人口系统,无论是通过多智能体强化学习,并通过相邻的研究领域,如平均场游戏,集体智慧,或复杂网络理论。这些经典独立的学科领域提供了各种方法来理解或建模大人口系统,这可能是非常有用的制定易于处理的MARL算法在未来。最后,我们调查潜在的大规模控制的应用领域,并确定在实际系统中的学习算法富有成效的未来应用。我们希望我们的调查可以提供洞察力和未来的方向,初级和高级研究人员在理论和应用科学一样。
2022-09-08 cs.AI cs.LG cs.MA
A Survey of Reinforcement Learning for Optimization in Automation
本文综述了强化学习在制造、能源系统和机器人等自动化优化领域的应用现状、方法优势与局限,并指出了样本效率、安全鲁棒性等核心挑战及未来研究方向。
2025-02-13 cs.AI cs.LG cs.NE
Graph Reinforcement Learning for Power Grids: A Comprehensive Survey
Fraunhofer Institute for Energy Economics and Energy System Technology (IEE)(弗劳恩霍夫能源经济与能源系统技术研究所(IEE));University of Kassel(卡塞尔大学);University of Greifswald(格赖夫斯瓦尔德大学)
本文综述了图强化学习在电力网络中的应用,探讨了其在表示学习和决策制定中的改进,并指出现阶段仍处于概念验证阶段,需进一步解决实际应用中的挑战。
2026-01-07 cs.LG
Feature-Based Aggregation and Deep Reinforcement Learning: A Survey and Some New Implementations
在本文中,我们讨论了有限状态贴现马尔可夫决策问题的近似解的策略迭代方法,重点是基于特征的聚合方法及其与深度强化学习方案的联系。我们引入的原始问题的状态的功能,我们制定了一个较小的“聚合”马尔可夫决策问题,其状态相关的功能。我们讨论这种类型的聚合的属性和可能的实现,包括一种新的方法来近似的政策迭代。在该方法中,策略改进操作将基于特征的聚合与使用深度神经网络或其他计算的特征构造相结合。我们认为,与基于神经网络的强化学习提供的特征的线性函数相比,通过聚合提供的特征的非线性函数可以更准确地近似策略的成本函数,从而可能导致更有效的策略改进。
2018-08-21 cs.LG stat.ML
A Survey on Transformers in Reinforcement Learning
Tsinghua University(清华大学);Peking University(北京大学);BAAI(北京智源人工智能研究院);Tencent Inc.(腾讯公司);Washington University in St.Louis(圣路易斯华盛顿大学)
本文系统综述了Transformer在强化学习中的应用动机、进展与分类,梳理各子领域现状并展望未来研究方向。
2023-09-20 cs.AI cs.LG
Applications of Deep Reinforcement Learning in Communications and Networking: A Survey
Nanyang Technological University(南洋理工大学);University of Technology Sydney(悉尼科技大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);York University(约克大学);University of Electronic Science and Technology of China(电子科技大学);Sungkyunkwan University(成均馆大学)
本文对深度强化学习在通信和网络中的应用进行了全面的文献综述。现代网络,例如,物联网(IoT)和无人机(UAV)网络变得更加分散和自主。在这样的网络中,网络实体需要在本地做出决策,以在网络环境的不确定性下最大化网络性能。强化学习已被有效地用于使网络实体能够获得最优策略,包括例如,决策或动作,当状态和动作空间很小时,给定它们的状态。然而,在复杂的大规模网络中,状态和动作空间通常很大,强化学习可能无法在合理的时间内找到最优策略。因此,已经开发了深度强化学习(强化学习与深度学习的组合)来克服这些缺点。在本调查中,我们首先给出了从基本概念到高级模型的深度强化学习教程。然后,我们回顾了为解决通信和网络中的新问题而提出的深度强化学习方法。这些问题包括动态网络接入、数据率控制、无线缓存、数据卸载、网络安全和连接保护,这些都对5G及以后的下一代网络很重要。此外,我们还介绍了深度强化学习在流量路由、资源共享和数据汇集方面的应用。最后,我们强调了应用深度强化学习的重要挑战,开放问题和未来的研究方向。
2018-10-18 cs.LG cs.NI
Security of Deep Reinforcement Learning for Autonomous Driving: A Survey
本文系统综述了86项强化学习安全研究,按威胁模型及单/多智能体设置分类攻击与防御,并评估其在自动驾驶中的适用性,以指导鲁棒系统设计。
2026-10-27 cs.LG cs.RO
Reinforcement Learning for Combinatorial Optimization: A Survey
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Zyfra(兹夫特拉);Criteo AI Lab(Criteo人工智能实验室)
解决组合优化问题的许多传统算法涉及使用顺序构造解决方案的手工构造算法。这样的算法是由领域专家设计的,并且由于问题的困难性质,通常可能是次优的。强化学习(RL)通过以监督或自我监督的方式训练代理,提出了一种很好的替代方案来自动搜索这些算法。在本调查中,我们探讨了将RL框架应用于硬组合问题的最新进展。我们的调查为运筹学和机器学习社区提供了必要的背景,并展示了推动该领域向前发展的工作。我们并列最近提出的RL方法,布局的时间轴的改进,为每个问题,以及我们与传统的算法进行比较,表明RL模型可以成为一个有前途的方向解决组合问题。
2020-12-24 cs.LG math.CO math.OC
A Survey on Model-based Reinforcement Learning
Nanjing University(南京大学);Shanghai Jiao Tong University(上海交通大学)
强化学习(RL)通过与环境交互的试错过程来解决顺序决策问题。虽然RL在玩允许大量试错的复杂视频游戏方面取得了巨大的成功,但在现实世界中,犯错误总是不受欢迎的。为了提高样本效率,减少错误,基于模型的强化学习(MBRL)被认为是一个很有前途的方向,它建立的环境模型可以在没有实际成本的情况下进行试错。在这篇综述中,我们对MBRL进行了回顾,重点关注了深度RL的最新进展。对于非表格环境,在学习的环境模型和真实环境之间总是存在泛化误差。因此,分析环境模型中的策略训练与真实环境中的策略训练之间的差异,进而指导算法设计以更好地进行模型学习、模型使用和策略训练,具有重要的意义。此外,我们还讨论了基于模型的技术在其他形式的强化学习中的最新进展,包括离线强化学习,目标条件强化学习,多智能体强化学习和元强化学习。此外,我们讨论了MBRL在现实世界中的任务的适用性和优势。最后,我们通过讨论MBRL未来发展的前景来结束本次调查。我们认为MBRL在现实世界的应用中有着巨大的潜力和优势,而这些都被忽视了,我们希望这次调查能够吸引更多的MBRL研究。
2022-06-19 cs.LG
Acceleration for Deep Reinforcement Learning using Parallel and Distributed Computing: A Survey
National University of Defense Technology(国防科技大学)
本文系统综述了利用并行与分布式计算加速深度强化学习训练的方法,涵盖系统架构、仿真与计算并行、同步机制及进化强化学习,并比较了16个开源库,展望了未来研究方向。
2024-11-08 cs.AI cs.DC cs.LG
Diffusion Models for Reinforcement Learning: A Survey
Shanghai Jiao Tong University(上海交通大学);Shanghai Marine Electronic Equipment Research Institute(上海船舶电子设备研究所)
本文综述了扩散模型在强化学习中的应用,系统梳理了RL面临的挑战、现有方法的分类及成功案例,并展望未来研究方向。
2024-02-23 cs.AI cs.LG
Pretraining in Deep Reinforcement Learning: A Survey
Shanghai Jiao Tong University(上海交通大学);Tencent(腾讯)
在过去的几年里,将强化学习(RL)与深度学习结合起来的进展非常迅速。从游戏到机器人技术的各种突破激发了人们对设计复杂RL算法和系统的兴趣。然而,RL中的主流工作流程是学习tabula rasa,这可能会导致计算效率低下。这排除了RL算法的持续部署,并可能排除没有大规模计算资源的研究人员。在机器学习的许多其他领域,预训练范式已被证明可以有效地获取可转移的知识,这些知识可用于各种下游任务。最近,我们看到了对深度RL预训练的兴趣激增,并取得了可喜的成果。然而,许多研究都是基于不同的实验设置。由于强化学习的性质,这一领域的预训练面临着独特的挑战,因此需要新的设计原则。在这项调查中,我们试图系统地回顾深度强化学习的预训练方面的现有工作,提供这些方法的分类,讨论每个子领域,并关注开放问题和未来方向。
2022-11-08 cs.AI cs.LG
A Survey of Reinforcement Learning For Economics
Georgetown University(乔治城大学)
本文综述了强化学习在经济学中的应用,探讨了其在高维状态和连续动作问题中的扩展,分析了算法的局限性及经济结构下的灵活性。
2026-07-27 cs.LG econ.GN q-fin.EC
A Survey of Deep Reinforcement Learning Algorithms for Motion Planning and Control of Autonomous Vehicles
TuSimple Inc.(图森未来公司);Georgia Institute of Technology(佐治亚理工学院);University of California, Berkeley(加州大学伯克利分校);California PATH(加州先进交通与高速公路合作伙伴项目)
在本调查中,我们系统地总结了将强化学习(RL)应用于自动驾驶汽车的运动规划和控制的研究的现有文献。许多现有的贡献可以归因于管道方法,它由许多手工制作的模块组成,每个模块都有一个功能,以便于人类解释。然而,由于缺乏系统级优化,这种方法不能自动保证最大性能。因此,本文还提出了一个日益增长的工作趋势,即采用端到端的方法,这种方法通常提供更好的性能和更小的系统规模。然而,他们的表现也受到缺乏专家数据和泛化问题的影响。最后,总结了将深度强化学习算法应用于自动驾驶的剩余挑战,并提出了未来的研究方向,以应对这些挑战。
2021-06-01 cs.LG cs.RO
A Survey on Reinforcement Learning Methods in Character Animation
Institut Polytechnique de Paris(巴黎理工学院);Stanford University(斯坦福大学);University of British Columbia(不列颠哥伦比亚大学)
强化学习是机器学习的一个领域,专注于如何训练代理做出顺序决策,并在任意环境中实现特定目标。在学习过程中,他们根据对环境的观察反复采取行动,并获得适当的奖励,以确定目标。然后,这种经验被用来逐步改进控制代理行为的策略,通常由神经网络表示。然后,这种训练的模块可以重复使用类似的问题,这使得这种方法有希望的自主,但在模拟器,视频游戏或虚拟现实环境中的反应性字符的动画。本文概述了现代深度强化学习方法,并讨论了它们在角色动画中的可能应用,从单个基于物理的角色的骨骼控制到单个代理和虚拟人群的导航控制器。它还描述了训练DRL系统的实际方面,比较了可用于构建此类代理的不同框架。
2022-03-07 cs.GR cs.LG
A Survey of Reinforcement Learning for Large Language Models under Data Scarcity: Challenges and Solutions
Peking University(北京大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);National University of Singapore(新加坡国立大学);Nankai University(南开大学);Tongji University(同济大学);Nanjing University(南京大学);University of Wollongong(沃林根大学);Shanghai Jiao Tong University(上海交通大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文综述了在数据稀缺条件下大型语言模型强化学习的挑战与解决方案,提出三级框架,梳理现有方法并分析其优劣,为高效强化学习提供理论基础。
2026-04-19 cs.AI cs.LG