Reinforcement learning with human advice: a survey
Laboratoire de Neurosciences Cognitives Computationnelles (LNC2)(计算认知神经科学实验室(LNC2));INSERM U960(法国国家健康与医学研究院 U960);Institute for Intelligent Systems and Robotics(智能系统与机器人研究所);Sorbonne Université(索邦大学);CNRS UMR 7222(法国国家科学研究中心 UMR 7222)
在本文中,我们概述了现有的方法,将人类的建议整合到强化学习过程中。我们首先提出了一个分类的不同形式的建议,可以提供给学习代理。然后,我们描述的方法,可用于解释的意见时,其含义是没有事先确定。最后,我们回顾了不同的方法整合到学习过程中的建议。
2020-11-24 cs.AI
A Survey of Reinforcement Learning Techniques: Strategies, Recent Development, and Future Directions
强化学习是设计强调实时响应的人工智能系统的核心组成部分之一。强化学习影响系统在具有或不具有关于环境模型的先前知识的任意环境内采取动作。在本文中,我们对强化学习进行了全面的研究,重点关注各个方面,包括挑战,不同最先进技术的最新发展以及未来的发展方向。本文的基本目标是提供一个框架,用于介绍强化学习的可用方法,该方法信息量足够大,并且易于为该领域的新研究人员和学者考虑最新的关注点。首先,我们以一种易于理解和可比的方式说明了强化学习的核心技术。最后,我们分析和描述了强化学习方法的最新发展。我的分析指出,大多数模型都专注于调整策略值,而不是在特定的推理状态下调整其他东西。
2020-01-27 cs.AI
A relaxed technical assumption for posterior sampling-based reinforcement learning for control of unknown linear systems
Qualcomm AI Research(高通人工智能研究院);University of Southern California(南加州大学);McGill University(麦吉尔大学);Preferred Networks America(Preferred Networks美国分公司)
我们重新讨论了Thompson采样算法来控制一个未知的线性二次(LQ)系统最近提出的欧阳等(arXiv:1709.04047)。在对闭环系统诱导范数的技术假设下,得到了算法的后悔界。在本技术说明中,我们证明了通过对算法进行微小的修改(特别是,确保一个事件不会很快结束),这个关于诱导范数的技术假设可以被闭环系统的谱半径方面的更温和的假设所取代。改进后的算法具有与$\tilde{\mathcal{O}}(\sqrt{T})$相同的贝叶斯遗憾,其中$T$是时间范围,并且$\tilde{\mathcal{O}}(\cdot)$表示法隐藏了~ $T$中的对数项。
2022-09-20 cs.AI cs.SY eess.SY
The Challenge of Non-Technical Loss Detection using Artificial Intelligence: A Survey
Interdisciplinary Centre for Security, Reliability and Trust, University of Luxembourg(卢森堡大学安全、可靠性与信任跨学科中心);University of Quebec in Montreal(魁北克大学蒙特利尔分校);CHOICE Technologies Holding Sàrl
非技术性损失(NTL)的检测(包括电力盗窃、故障表或计费错误)越来越受到电气工程和计算机科学研究人员的关注。NTL对经济造成重大损害,因为在一些国家,NTL可能占总配电量的40%。主要的研究方向是采用人工智能来预测客户是否会导致NTL。本文首先概述了NTLs的定义及其对经济的影响,包括电力供应商收入和利润的损失以及电网稳定性和可靠性的降低。然后,它调查了最先进的研究工作,在最新的和全面的审查算法,功能和数据集使用。最后,它确定了NTL检测的关键科学和工程挑战,并提出了未来如何解决这些挑战的建议。
2017-07-25 cs.AI
Universal Reinforcement Learning Algorithms: Survey and Experiments
Australian National University(澳大利亚国立大学);Future of Humanity Institute, University of Oxford(牛津大学人类未来研究所)
许多最先进的强化学习(RL)算法通常假设环境是遍历马尔可夫决策过程(MDP)。相比之下,通用强化学习(URL)领域关注的是尽可能少地对环境做出假设的算法。通用贝叶斯代理AIXI和一系列相关的URL算法已经在此设置中开发。虽然许多理论上的最优性结果已被证明为这些代理人,一直没有实证调查他们的行为。我们提出了一个简短的和可访问的调查,这些URL算法在一个统一的符号和框架下,随着一些实验的结果,定性地说明了所产生的政策的一些属性,以及它们的相对性能部分可观察的网格环境。我们还提出了一个开源的参考实现的算法,我们希望这将有助于进一步理解和实验,这些想法。
2017-05-30 cs.AI
A Survey on the Verification of Reinforcement Learning Policies
TU Wien(维也纳工业大学);Massachusetts Institute of Technology(麻省理工学院)
综述强化学习策略验证,引入分类法沿验证范式、时间范围和保证强度三个轴阐明现有方法关系,统一理论基础,明确假设局限,确定新兴方向,为RL验证提供统一视角。
2026-07-21 cs.AI
A Survey of Exploration Methods in Reinforcement Learning
McGill University(麦吉尔大学);University of Amsterdam(阿姆斯特丹大学)
探索是强化学习算法的重要组成部分,其中代理需要学习如何预测和控制未知且通常是随机的环境。强化学习智能体非常依赖于探索来获得学习过程中的信息数据,因为缺乏足够的信息可能会阻碍有效的学习。在这篇文章中,我们提供了(顺序)强化学习中的现代探索方法的调查,以及探索方法的分类。
2021-09-02 cs.AI cs.LG
Safe Continual Reinforcement Learning Methods for Nonstationary Environments. Towards a Survey of the State of the Art
McMaster Centre for Software Certification(麦克斯特软件认证中心);Department of Computing and Software(计算与软件系);McMaster University(麦克斯特大学)
本文综述了非平稳环境下安全持续强化学习的最新方法,探讨了理论挑战和未来发展方向。
2026-01-08 cs.AI cs.LG
Unifying Causal Reinforcement Learning: Survey, Taxonomy, Algorithms and Applications
Department of Computer Science and Software Engineering, University of Western Australia(计算机科学与软件工程系,西澳大利亚大学)
本文综述了因果强化学习的分类、算法和应用,探讨了其在解决经典强化学习局限性方面的潜力及未来研究方向。
2025-12-19 cs.AI
A Survey on Self-play Methods in Reinforcement Learning
Tsinghua University(清华大学);Peking University(北京大学);Tencent(腾讯)
本文综述强化学习中的自博弈方法,提出统一分类框架,梳理其在非合作 MARL 场景中的算法、应用及未来挑战。
2025-10-18 cs.AI
A Short Survey On Memory Based Reinforcement Learning
National Institute of Technology, Warangal(瓦朗加尔国立理工学院)
强化学习(Reinforcement learning,RL)是机器学习的一个分支,用于解决各种顺序决策问题。由于深度学习的最新进展,新提出的Deep-RL算法已经能够在复杂的高维环境中表现得非常好。然而,即使在许多领域取得成功之后,这些方法的主要挑战之一是有效决策所需的与环境的高度相互作用。从大脑中寻求灵感,这个问题可以通过将基于实例的学习通过将决策偏向于高回报经验的记忆来解决。本文回顾了各种最近的强化学习方法,将外部记忆解决决策和他们的调查。我们提供了不同方法的概述-以及它们的优点和缺点,应用程序和用于基于内存的模型的标准实验设置。这篇评论希望成为一个有用的资源,提供关键的洞察力,在该领域的最新进展,并提供帮助,在未来的进一步发展。
2019-04-14 cs.AI
A Survey of Deep Reinforcement Learning in Recommender Systems: A Systematic Review and Future Directions
University of New South Wales(新南威尔士大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);University of Technology Sydney(悉尼科技大学)
鉴于深度强化学习(DRL)在推荐系统研究中的出现以及近年来取得的一些丰硕成果,本文旨在对深度强化学习在推荐系统中的最新发展趋势进行及时而全面的综述。我们首先介绍了在推荐系统中应用DRL的动机。然后,我们提供了一个分类目前基于DRL推荐系统和现有的方法的总结。我们讨论新出现的主题和开放的问题,并提供我们对推进该领域的观点。本调查作为学术界和工业界读者对这一主题的介绍材料,并确定了进一步研究的重要机会。
2021-09-09 cs.AI cs.IR
Tutorial and Survey on Probabilistic Graphical Model and Variational Inference in Deep Reinforcement Learning
Ludwig Maximillian University of Munich(慕尼黑大学)
为了提供一个全面而简洁的教程综述,本文对概率图模型的变分推理和强化学习进行了回顾,并给出了详细的推导。从多个方面对深度强化学习的最新研究进展进行了综述和比较。我们为深度强化学习中的概率图模型和变分推理方法的分类提供了详细的推导,作为原始贡献的补充材料。
2019-12-08 cs.AI cs.LG stat.ML
Reinforcement Learning for Ridesharing: An Extended Survey
Lyft Rideshare Labs(来福车拼车实验室);University of North Carolina(北卡罗来纳大学);University of Michigan(密歇根大学)
在本文中,我们提出了一个全面的,深入的调查文献的强化学习方法的决策优化问题,在一个典型的共乘系统。涵盖了关于共乘匹配,车辆重新定位,共乘,路由和动态定价主题的论文。大多数文献都是在过去几年中出现的,几个核心挑战将继续得到解决:模型复杂性,代理协调和多个杠杆的联合优化。因此,我们还引入了流行的数据集和开放的仿真环境,以促进进一步的研究和开发。随后,我们讨论了一些强化学习研究在这个重要领域的挑战和机遇。
2022-10-24 cs.AI cs.LG
A Survey on Explainable Deep Reinforcement Learning
Northwestern University(西北大学)
本综述针对深度强化学习(DRL)的黑箱不可解释性问题,系统梳理了可解释深度强化学习(XRL)的多维度解释技术、评估框架及应用场景,并探讨了其与大语言模型的集成及未来方向。
2025-02-08 cs.AI cs.LG
A Survey on Deep Reinforcement Learning-based Approaches for Adaptation and Generalization
Yonsei University(延世大学)
深度强化学习(Deep Reinforcement Learning,DRL)旨在创建智能代理,这些智能代理可以学习在现实环境中有效地解决复杂问题。通常,两个学习目标:适应和泛化用于基线DRL算法的性能在不同的任务和领域。本文综述了基于DRL的自适应和泛化方法的最新进展。我们首先在任务和领域的背景下制定这些目标。然后,我们回顾了这些方法下的最新工作,并讨论了未来的研究方向,通过DRL算法的适应性和泛化能力可以提高,并可能使它们适用于广泛的现实世界的问题。
2022-02-17 cs.AI cs.LG
Variance Reduction Methods for Sublinear Reinforcement Learning
分析中有一个技术问题不容易解决。因此,我们撤回这一意见。抱歉给您带来不便。
2020-06-27 cs.AI cs.LG stat.ML
Causal Reinforcement Learning: A Survey
Australian Artificial Intelligence Institute, University of Technology Sydney(悉尼科技大学澳大利亚人工智能研究所)
本文综述了因果强化学习领域,探讨如何将因果关系纳入学习过程以解决传统强化学习在泛化、可解释性和试错效率上的核心挑战,并系统分类现有方法及未来方向。
2023-11-21 cs.AI cs.LG
Deep Reinforcement Learning in Computer Vision: A Comprehensive Survey
深度强化学习增强了强化学习框架,并利用了深度神经网络的强大表示。最近的工作已经证明了深度强化学习在各个领域的显着成功,包括金融,医学,医疗保健,视频游戏,机器人和计算机视觉。在这项工作中,我们提供了一个详细的审查和国家的最先进的研究进展,深度强化学习在计算机视觉。我们从理解深度学习、强化学习和深度强化学习的理论开始。然后,我们提出了一个分类的深度强化学习方法,并讨论其优点和局限性。特别是,我们根据深度强化学习在计算机视觉中的应用将其分为七个主要类别,即(i)地标定位(ii)目标检测;(iii)目标跟踪;(iv)2D图像和3D图像体积数据的配准(v)图像分割;(vi)视频分析;以及(vii)其他应用。这些类别中的每一个都将通过强化学习技术、网络设计和性能进行进一步分析。此外,我们还对现有的公开数据集进行了全面的分析,并检查了源代码的可用性。最后,我们提出了一些开放的问题,并讨论了计算机视觉中深度强化学习的未来研究方向
2021-08-25 cs.AI cs.CV
Deep Reinforcement Learning Versus Evolution Strategies: A Comparative Survey
Delft University of Technology(代尔夫特理工大学);VU Amsterdam(阿姆斯特丹自由大学)
深度强化学习(DRL)和演化策略(ES)在许多顺序决策问题中已经超越了人类控制,但仍然存在许多开放的挑战。为了深入了解DRL与ES的优势和劣势,分析了它们各自的能力和局限性。在介绍了它们的基本概念和算法之后,在可扩展性、探索性、适应动态环境和多智能体学习等关键方面进行了比较。然后,混合算法的好处,结合DRL和ES的概念突出。最后,有一个关于他们如何在现实世界中的应用程序进行比较的指示,他们支持的应用程序集的文献调查提供。
2021-09-28 cs.AI cs.LG
Boosting Reinforcement Learning and Planning with Demonstrations: A Survey
University of California, San Diego(加州大学圣地亚哥分校)
虽然强化学习最近取得了巨大的成功,但这种试错学习在复杂环境中可能不切实际或效率低下。另一方面,演示的使用使智能体能够从专家知识中受益,而不必通过探索来发现最佳行动。在本调查中,我们讨论了在顺序决策中使用演示的优点,在基于学习的决策范式中应用演示的各种方法(例如,强化学习和学习模型中的规划),以及如何在各种场景中收集演示。此外,我们在最近提出的ManiSkill机器人学习基准中创建了一个用于生成和利用演示的实用管道。
2023-03-27 cs.AI cs.LG cs.RO
Transfer Learning in Deep Reinforcement Learning: A Survey
Michigan State University(密歇根州立大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
本文系统综述了深度强化学习中迁移学习方法的最新进展,提出分类框架并分析其目标、方法、兼容主干网络与应用,同时探讨了与其他相关主题的联系及未来挑战。
2023-07-04 cs.AI cs.LG stat.ML
A Brief Survey of Deep Reinforcement Learning
深度强化学习有望彻底改变人工智能领域,并代表着构建对视觉世界有更高理解的自主系统的一步。目前,深度学习使强化学习能够扩展到以前难以解决的问题,例如直接从像素学习玩视频游戏。深度强化学习算法也被应用于机器人技术,允许机器人的控制策略直接从现实世界中的摄像机输入中学习。在本调查中,我们首先介绍强化学习的一般领域,然后介绍基于价值观和基于政策的方法的主流。我们的调查将涵盖深度强化学习中的核心算法,包括深度$Q$网络,信任区域策略优化和异步优势演员-评论家。同时,我们强调了深度神经网络的独特优势,重点是通过强化学习进行视觉理解。最后,我们描述了该领域内的几个当前研究领域。
2017-09-28 cs.AI cs.CV cs.LG
Reinforcement Learning for IoT Security: A Comprehensive Survey
Howard University(霍华德大学)
对于不同的物联网(IoT)应用,连接的智能设备数量呈指数级增长。安全性一直是物联网系统中的一个长期挑战,物联网系统具有许多攻击向量,安全缺陷和漏洞。确保物联网中数十亿B连接设备的安全是实现物联网应用全部潜力的必要任务。最近,研究人员为物联网提出了许多安全解决方案。机器学习已被提出作为物联网安全的新兴解决方案之一,强化学习在保护物联网系统方面越来越受欢迎。与其他机器学习技术不同,强化学习可以通过具有关于要学习的参数的最小信息来学习环境。它通过与环境交互来动态地调整参数来解决优化问题。在本文中,我们全面调查了针对不同物联网系统的不同类型的网络攻击,然后我们提出了强化学习和基于深度强化学习的安全解决方案,以打击不同物联网系统中的不同类型的攻击。此外,我们提出了用于保护CPS系统的强化学习(即,具有反馈和控制的物联网),如智能电网和智能交通系统。还以表格的形式总结了最近在物联网中使用强化学习B的重要攻击和对策。通过本文,读者可以更深入地了解使用强化学习的物联网安全攻击和对策,以及该领域的研究趋势。
2021-02-14 cs.AI cs.LG
A Survey on Offline Model-Based Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
该综述梳理了离线强化学习与基于模型的强化学习的概念及进展,聚焦二者交叉的离线基于模型强化学习领域,总结现有方法解决分布偏移问题的思路,提出领域挑战与未来研究方向。
2023-05-05 cs.AI cs.LG cs.SY
A Survey on Transformers in Reinforcement Learning
Tsinghua University(清华大学);Peking University(北京大学);BAAI(北京智源人工智能研究院);Tencent Inc.(腾讯公司);Washington University in St.Louis(圣路易斯华盛顿大学)
本文系统综述了Transformer在强化学习中的应用动机、进展与分类,梳理各子领域现状并展望未来研究方向。
2023-09-20 cs.AI cs.LG
Deep Reinforcement Learning for Clinical Decision Support: A Brief Survey
National University of Singapore(新加坡国立大学);National University Hospital(国立大学医院)
由于人工智能特别是深度学习的最新进展,已经实现了许多数据驱动的决策支持系统,以促进医生提供个性化护理。本文重点研究了深度强化学习(DRL)模型。DRL模型在计算机视觉和游戏(如围棋和Atari游戏)中表现出了人类水平甚至更高的性能。然而,深度强化学习技术在临床决策优化中的采用仍然很少见。我们提出了第一个调查,总结了强化学习算法与深度神经网络(DNN)的临床决策支持。我们还讨论了一些案例研究,其中不同的DRL算法被应用于解决各种临床挑战。我们进一步比较和对比各种DRL算法的优点和局限性,并提出了一个初步的指导,如何选择合适的DRL算法的特定的临床应用。
2019-07-22 cs.AI cs.LG stat.ML
Diffusion Models for Reinforcement Learning: A Survey
Shanghai Jiao Tong University(上海交通大学);Shanghai Marine Electronic Equipment Research Institute(上海船舶电子设备研究所)
本文综述了扩散模型在强化学习中的应用,系统梳理了RL面临的挑战、现有方法的分类及成功案例,并展望未来研究方向。
2024-02-23 cs.AI cs.LG
New Challenges in Reinforcement Learning: A Survey of Security and Privacy
University of Technology Sydney(悉尼科技大学);City University of Macau(澳门城市大学)
强化学习(Reinforcement Learning,RL)是人工智能的重要分支之一。由于其在动态环境中的自适应和决策能力,强化学习已广泛应用于医疗保健、数据市场、自动驾驶和机器人等多个领域。然而,其中一些应用程序和系统已被证明容易受到安全或隐私攻击,导致服务不可靠或不稳定。大量的研究集中在强化学习中的这些安全和隐私问题上。然而,很少有调查对现有问题和最先进的解决办法进行系统审查和比较,以跟上新出现的威胁的步伐。因此,我们在此提出了这样一个全面的审查,解释和总结的挑战与安全和隐私的强化学习从一个新的角度,即马尔可夫决策过程(MDP)。在本调查中,我们首先介绍与该领域相关的关键概念。接下来,我们将分别讨论与MDP流程的状态、操作、环境和奖励函数相关的安全和隐私问题。我们进一步强调了与强化学习相关的安全和隐私方法的特殊性。最后,我们讨论了该领域未来可能的研究方向。
2022-12-31 cs.AI cs.CR cs.LG
Pretraining in Deep Reinforcement Learning: A Survey
Shanghai Jiao Tong University(上海交通大学);Tencent(腾讯)
在过去的几年里,将强化学习(RL)与深度学习结合起来的进展非常迅速。从游戏到机器人技术的各种突破激发了人们对设计复杂RL算法和系统的兴趣。然而,RL中的主流工作流程是学习tabula rasa,这可能会导致计算效率低下。这排除了RL算法的持续部署,并可能排除没有大规模计算资源的研究人员。在机器学习的许多其他领域,预训练范式已被证明可以有效地获取可转移的知识,这些知识可用于各种下游任务。最近,我们看到了对深度RL预训练的兴趣激增,并取得了可喜的成果。然而,许多研究都是基于不同的实验设置。由于强化学习的性质,这一领域的预训练面临着独特的挑战,因此需要新的设计原则。在这项调查中,我们试图系统地回顾深度强化学习的预训练方面的现有工作,提供这些方法的分类,讨论每个子领域,并关注开放问题和未来方向。
2022-11-08 cs.AI cs.LG
A Comprehensive Survey of Reinforcement Learning: From Algorithms to Practical Challenges
Wilfrid Laurier University(劳里埃大学)
本文全面综述强化学习算法,从基础表格方法到深度强化学习技术,按可扩展性和样本效率等标准分类评估,并提供算法选择与实现的实用见解。
2025-02-01 cs.AI cs.LG
High-Accuracy Model-Based Reinforcement Learning, a Survey
Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所);Leiden University(莱顿大学)
深度强化学习在过去几年中取得了显著的成功。来自游戏和机器人的高度复杂的顺序决策问题已经用深度无模型方法解决了。不幸的是,无模型方法的样本复杂度通常很高。为了减少环境样本的数量,基于模型的强化学习创建环境动态的显式模型。在高维问题中,实现高的模型精度是一个挑战。近年来,已经引入了各种基于模型的方法来提高模型精度,使用诸如不确定性建模、模型预测控制、潜在模型以及端到端学习和规划等方法。其中一些方法成功地在低样本复杂度下实现了高精度,大多数方法都是在机器人技术或游戏环境中实现的。在本文中,我们调查这些方法,我们详细解释它们是如何工作的,它们的优点和缺点是什么。最后,我们为未来的工作,使方法更强大,更广泛地适用于其他应用程序的研究议程。
2021-07-17 cs.AI cs.LG
Model-based Reinforcement Learning: A Survey
Leiden University(莱顿大学);TU Delft(代尔夫特理工大学)
序列决策通常形式化为马尔可夫决策过程(MDP)优化,是人工智能中的一个重要挑战。解决这个问题的两个关键方法是强化学习(RL)和规划。本文介绍了这两个领域的整合,更好地称为基于模型的强化学习的调查。基于模型的RL有两个主要步骤。首先,我们系统地介绍了动态模型学习的方法,包括处理随机性、不确定性、部分可观测性和时间抽象等挑战。其次,我们提出了一个系统的分类规划学习集成,包括这样的方面:从哪里开始规划,什么预算分配到规划和真正的数据汇集,如何规划,以及如何整合规划的学习和行动循环。在这两个部分之后,我们还讨论了隐式的基于模型的强化学习作为模型学习和规划的端到端替代方案,并介绍了基于模型的强化学习的潜在好处。在此过程中,调查还与几个相关的RL领域建立了联系,如分层RL和迁移学习。总而言之,调查提出了一个广泛的概念概述的MDP优化的规划和学习相结合。
2022-03-31 cs.AI cs.LG stat.ML
Multi-Agent Reinforcement Learning for Resources Allocation Optimization: A Survey
University of South Australia(南澳大学)
本文综述了用于资源分配优化(RAO)的最新多智能体强化学习(MARL)算法,涵盖核心概念、分类与结构化分类法,并指出当前挑战与未来方向,以助力工业4.0发展。
2025-04-29 cs.AI cs.LG cs.MA
A Survey Analyzing Generalization in Deep Reinforcement Learning
University College London(伦敦大学学院)
该综述形式化分析了深度强化学习的泛化性问题,阐释过拟合根源,分类讲解各类提升泛化性的方法,覆盖多类子领域,可为领域发展提供指南并助力构建鲁棒高泛化性的深度神经策略。
2024-10-30 cs.AI cs.LG stat.ML
A Survey of Flow Matching in Reinforcement Learning
University of Kentucky(肯塔基大学)
本综述梳理了强化学习中流匹配方法的分类、前沿方向,对比了相关基线,为生成式强化学习与对齐研究提供了基础性路线图。
2026-11-17 cs.AI cs.LG
Deep Reinforcement Learning for Autonomous Driving: A Survey
Navya(纳维亚);Valeo(法雷奥);ENSTA Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎高等先进技术学院);AKKA Technologies(AKKA科技公司);National University of Ireland, Galway(爱尔兰国立高威大学)
随着深度表示学习的发展,强化学习(RL)领域已经成为一个强大的学习框架,现在能够在高维环境中学习复杂的策略。本文总结了深度强化学习(DRL)算法,并提供了一个分类的自动驾驶任务,其中(D)RL方法已被采用,同时解决关键的计算挑战,在现实世界中部署的自动驾驶代理。它还描绘了相邻的领域,如行为克隆,模仿学习,逆强化学习,相关的,但不是经典的RL算法。模拟器在训练代理中的作用,验证,测试和鲁棒化RL中现有解决方案的方法进行了讨论。
2021-01-23 cs.AI cs.LG cs.RO
A Survey on Large-Population Systems and Scalable Multi-Agent Reinforcement Learning
Technische Universität Darmstadt(达姆施塔特工业大学)
大种群系统的分析和控制对不同的研究和工程领域都有很大的兴趣,从流行病学到机器人群到经济和金融。在多智能体系统中实现顺序决策的一种越来越流行和有效的方法是通过多智能体强化学习,因为它允许对高度复杂的系统进行自动和无模型的分析。然而,可扩展性的关键问题使控制和强化学习算法的设计复杂化,特别是在具有大量代理的系统中。虽然强化学习在许多只有少数智能体的场景中取得了巨大的经验成功,但许多智能体的问题很快变得棘手,需要特别考虑。在这项调查中,我们将阐明当前的方法来可追溯地理解和分析大人口系统,无论是通过多智能体强化学习,并通过相邻的研究领域,如平均场游戏,集体智慧,或复杂网络理论。这些经典独立的学科领域提供了各种方法来理解或建模大人口系统,这可能是非常有用的制定易于处理的MARL算法在未来。最后,我们调查潜在的大规模控制的应用领域,并确定在实际系统中的学习算法富有成效的未来应用。我们希望我们的调查可以提供洞察力和未来的方向,初级和高级研究人员在理论和应用科学一样。
2022-09-08 cs.AI cs.LG cs.MA
A Survey on Neural Architecture Search Based on Reinforcement Learning
Tianjin University of Science and Technology(天津科技大学)
本文综述了基于强化学习的神经架构搜索方法,梳理其整体发展、改进与变体,重点讨论面向复杂结构和资源受限环境的自动网络结构搜索。
2024-09-30 cs.AI cs.LG
A Survey on Interpretable Reinforcement Learning
University of Michigan-Shanghai Jiao Tong University Joint Institute(上海交通大学密西根学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Tianjin University(天津大学)
尽管深度强化学习已经成为解决序列决策问题的一种很有前途的机器学习方法,但对于自动驾驶或医疗应用等高风险领域来说,它仍然不够成熟。在这样的上下文中,学习的策略例如需要是可解释的,使得它可以在任何部署之前被检查(例如,出于安全性和可验证性的原因)。本综述概述了在强化学习(RL)中实现更高可解释性的各种方法。为此,我们区分可解释性(作为模型的属性)和可解释性(作为事后操作,代理的干预),并在RL的背景下讨论它们,强调前一个概念。特别是,我们认为,可解释的强化学习可能包括不同的方面:可解释的输入,可解释的(过渡/奖励)模型,和可解释的决策。基于此方案,我们总结和分析了最近的工作,可解释强化学习的重点是在过去的10年发表的论文。我们还简要讨论了一些相关的研究领域,并指出一些潜在的有前途的研究方向。
2022-02-24 cs.AI cs.LG
Survey on AI Ethics: A Socio-technical Perspective
Polytechnique Montréal(蒙特利尔理工学院);ÉTS Montréal(蒙特利尔高等技术学院);University of Calgary(卡尔加里大学);Mila(米拉研究所);Canada CIFAR AI Chair(加拿大CIFAR人工智能教席)
本文从社会-技术双重视角全面综述了AI部署中的伦理问题,涵盖公平性、隐私、责任、安全、透明度及环境影响等核心原则,为AI系统生命周期中的伦理考量提供综合指南。
2025-11-04 cs.AI cs.CY
A survey on intrinsic motivation in reinforcement learning
Univ Lyon(里昂大学);Université Lyon 1(里昂第一大学);CNRS(法国国家科学研究中心);LIRIS(里昂信息与图像系统实验室)
强化学习(RL)研究领域非常活跃,有许多新的贡献;特别是考虑到深度RL(DRL)的新兴领域。然而,仍然需要解决一些科学和技术挑战,其中我们可以提到抽象行动的能力或探索环境的困难,这些都可以通过内在动机(IM)来解决。在这篇文章中,我们提供了一个调查的作用,内在动机的DRL。我们对每个类别的不同类型的内在动机和细节进行了分类,其优点和局限性与上述挑战有关。此外,我们对目前正在研究或在DRL的研究领域根本没有解决的大量当前研究问题进行了深入调查。我们选择从学习如何完成任务的角度来审视这些研究成果。因此,我们建议,解决当前的挑战可能会导致一个更大的发展架构,可以解决大多数任务。我们描述了这个开发架构的基础上,由RL算法和IM模块压缩信息的几个积木。
2019-11-19 cs.AI cs.LG
Acceleration for Deep Reinforcement Learning using Parallel and Distributed Computing: A Survey
National University of Defense Technology(国防科技大学)
本文系统综述了利用并行与分布式计算加速深度强化学习训练的方法,涵盖系统架构、仿真与计算并行、同步机制及进化强化学习,并比较了16个开源库,展望了未来研究方向。
2024-11-08 cs.AI cs.DC cs.LG
Plasticity Loss in Deep Reinforcement Learning: A Survey
Faculty of Computer Science, University of Vienna(维也纳大学计算机科学系);Doctoral School Computer Science, University of Vienna(维也纳大学计算机科学博士学院);Independent Researcher(独立研究员);Microsoft AI(微软人工智能);Department of Machine Learning and Systems Biology, Max Planck Institute of Biochemistry(生物化学研究所机器学习与系统生物学部门)
本文综述了深度强化学习中可塑性丧失的问题,提出统一定义,分析其驱动因素与病理,整理超过50种缓解策略,并指出当前评估实践的不足。
2026-04-18 cs.AI cs.LG
A Survey on Rubric-Guided Reinforcement Learning for Language Models
WeChat, Tencent(腾讯微信)
该综述针对传统RLHF的缺陷,提出贝叶斯框架并沿先验-后验轴分类准则引导强化学习,分析语言学相关对齐问题,明确未来研究方向。
2026-09-01 cs.AI cs.CL
Deep Model-Based Reinforcement Learning for High-Dimensional Problems, a Survey
Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所)
深度强化学习在过去几年中取得了显著的成功。高度复杂的顺序决策问题已经在游戏和机器人等任务中得到解决。不幸的是,大多数深度强化学习方法的样本复杂度都很高,这阻碍了它们在一些重要应用中的使用。基于模型的强化学习创建环境动态的显式模型以减少对环境样本的需求。当前的深度学习方法使用高容量网络来解决高维问题。不幸的是,高容量模型通常需要许多样本,从而否定了基于模型的方法中较低样本复杂性的潜在好处。因此,基于深度模型的方法面临的挑战是在保持低样本复杂度的同时实现高预测能力。近年来,许多基于模型的方法被引入来解决这一挑战。在本文中,我们调查了当代基于模型的景观。首先,我们讨论定义和与其他领域的关系。我们提出了一个分类法的基础上,三种方法:使用明确的规划给定的过渡,使用明确的规划学习的过渡,规划和过渡的端到端的学习。我们使用这些方法来组织一个全面的概述最近的重要发展,如潜在的模型。我们描述的方法和基准,我们建议的每一种方法的未来工作的方向。其中有前途的研究方向是课程学习,不确定性建模,并使用潜在的模型迁移学习。
2020-12-01 cs.AI cs.LG
Meta-Thinking in LLMs via Multi-Agent Reinforcement Learning: A Survey
University of Oklahoma(俄克拉荷马大学);Stanford University(斯坦福大学);School of Electrical and Computer Engineering, Oklahoma State University(电气与计算机工程学院,俄克拉荷马州立大学);University of Glasgow(格拉斯哥大学)
本综述从多智能体强化学习视角系统梳理大语言模型元思维(自我反思、评估与控制)的发展,分析现有局限与新兴方法,提出多智能体架构可增强LLM鲁棒性,并给出构建内省、自适应、可信赖LLM的路线图。
2025-04-20 cs.AI cs.CL
Relevant Knowledge First - Reinforcement Learning and Forgetting in Knowledge Based Configuration
为了解决技术领域中的复杂配置任务,已经开发了各种基于知识的方法。然而,它们的应用往往是不成功的,由于其效率低。其中一个原因是(部分)问题必须一次又一次地解决,而不是从先前的过程中“学习”。然而,学习过程也带来了保守主义的问题,因为在技术领域,创新是竞争的决定性因素。另一方面,一定程度的保守主义往往是可取的,因为不受控制的创新通常也是有害的。本文提出了启发式的RKF(相关知识优先)的基础上,在配置过程中的知识库中的对象的相关性的基础上进行决策。底层的关联函数有两个组成部分,一个基于强化学习,另一个基于遗忘(褪色)。一个物体的相关性随着它的成功使用而增加,当它不被使用时,随着年龄的增长而减少。RKF的开发是为了加快配置过程,并提高解决方案的质量,相对于用户给出的奖励值。
2001-09-19 cs.AI cs.LG
A Comprehensive Survey of Data Mining-based Fraud Detection Research
Monash University(莫纳什大学);Baycorp Advantage
这篇调查论文对过去10年中几乎所有已发表的自动欺诈检测技术和评论文章进行了分类、比较和总结。它定义了专业欺诈者,正式确定了已知欺诈的主要类型和子类型,并介绍了在受影响行业内收集的数据证据的性质。在挖掘数据以实现更高的成本节约的业务背景下,本研究提出了方法和技术以及它们的问题。与欺诈检测的所有相关评论相比,这项调查涵盖了更多的技术文章,并且是唯一一个,据我们所知,它提出了相关领域的替代数据和解决方案。
2010-09-30 cs.AI cs.CE
Survey on reinforcement learning for language processing
本文综述了强化学习在自然语言处理任务中的应用,重点探讨对话系统中的方法、优势与局限,并提出未来研究方向。
2022-03-15 cs.AI cs.CL cs.LG
A Survey of State Representation Learning for Deep Reinforcement Learning
Mila - Québec AI Institute, Université de Montréal(魁北克人工智能研究所,蒙特利尔大学);Google DeepMind(谷歌DeepMind)
本综述系统分类了深度强化学习中无模型在线设置下的状态表示学习方法,分为六大类,并探讨了评估表示质量的技术与未来方向,旨在为新研究者提供指南。
2025-06-20 cs.AI cs.LG stat.ML
A Survey on Anomaly Detection for Technical Systems using LSTM Networks
University of Stuttgart(斯图加特大学)
异常表示与预期系统操作的偏差,并可能导致效率降低以及部分或全部系统故障。由于复杂的系统动力学,异常的原因往往是未知的,有效的异常检测是必要的。传统的检测方法依赖于统计和时不变的方法,无法解决异常的复杂性和动态性。随着人工智能的进步以及在各个领域中异常检测和预防的重要性的增加,人工神经网络方法使得能够在考虑时间和上下文特征的同时检测更复杂的异常类型。在这篇文章中,对使用深度神经网络,特别是长短期记忆网络的最新异常检测进行了调查。基于应用场景,数据和异常类型以及进一步的度量标准对所研究的方法进行评估。为了突出即将到来的异常检测技术的潜力,调查中还包括基于图和迁移学习方法,这些方法可以分析异构数据,弥补其不足并改善动态过程的处理。
2021-05-28 cs.AI cs.LG stat.ML
AURA: A Reinforcement Learning Framework for AI-Driven Adaptive Conversational Surveys
University of Missouri, Department of Electrical Engineering and Computer Science(密苏里大学电子工程与计算机科学系)
AURA框架利用强化学习和四维LSDE回答质量指标,通过epsilon-greedy策略在会话内动态选择追问类型,将静态问卷转化为自适应、自我改进的对话式调查系统,并在评估中显著优于非自适应基线。
2026-11-09 cs.AI cs.HC cs.LG
Robust Deep Reinforcement Learning Through Adversarial Attacks and Training : A Survey
Institut de Recherche Technologique SystemX(技术研究 institute SystemX)
本文综述了深度强化学习中的对抗攻击与训练方法,系统分类并比较其目标与机制,以提升模型对环境变化和扰动的鲁棒性。
2026-06-09 cs.AI cs.LG