A Survey on Deep Reinforcement Learning-based Approaches for Adaptation and Generalization
Yonsei University(延世大学)
深度强化学习(Deep Reinforcement Learning,DRL)旨在创建智能代理,这些智能代理可以学习在现实环境中有效地解决复杂问题。通常,两个学习目标:适应和泛化用于基线DRL算法的性能在不同的任务和领域。本文综述了基于DRL的自适应和泛化方法的最新进展。我们首先在任务和领域的背景下制定这些目标。然后,我们回顾了这些方法下的最新工作,并讨论了未来的研究方向,通过DRL算法的适应性和泛化能力可以提高,并可能使它们适用于广泛的现实世界的问题。
2022-02-17 cs.AI cs.LG
Causal Reinforcement Learning: A Survey
Australian Artificial Intelligence Institute, University of Technology Sydney(悉尼科技大学澳大利亚人工智能研究所)
本文综述了因果强化学习领域,探讨如何将因果关系纳入学习过程以解决传统强化学习在泛化、可解释性和试错效率上的核心挑战,并系统分类现有方法及未来方向。
2023-11-21 cs.AI cs.LG
A Survey of In-Context Reinforcement Learning
University of Virginia(弗吉尼亚大学);University of Oxford(牛津大学)
本文针对强化学习智能体需通过反向传播更新参数优化策略的问题,综述了无需更新参数、仅以额外上下文为条件解决新任务的上下文强化学习相关研究。
2025-02-11 cs.LG
Boosting Reinforcement Learning and Planning with Demonstrations: A Survey
University of California, San Diego(加州大学圣地亚哥分校)
虽然强化学习最近取得了巨大的成功,但这种试错学习在复杂环境中可能不切实际或效率低下。另一方面,演示的使用使智能体能够从专家知识中受益,而不必通过探索来发现最佳行动。在本调查中,我们讨论了在顺序决策中使用演示的优点,在基于学习的决策范式中应用演示的各种方法(例如,强化学习和学习模型中的规划),以及如何在各种场景中收集演示。此外,我们在最近提出的ManiSkill机器人学习基准中创建了一个用于生成和利用演示的实用管道。
2023-03-27 cs.AI cs.LG cs.RO
Deep Reinforcement Learning Versus Evolution Strategies: A Comparative Survey
Delft University of Technology(代尔夫特理工大学);VU Amsterdam(阿姆斯特丹自由大学)
深度强化学习(DRL)和演化策略(ES)在许多顺序决策问题中已经超越了人类控制,但仍然存在许多开放的挑战。为了深入了解DRL与ES的优势和劣势,分析了它们各自的能力和局限性。在介绍了它们的基本概念和算法之后,在可扩展性、探索性、适应动态环境和多智能体学习等关键方面进行了比较。然后,混合算法的好处,结合DRL和ES的概念突出。最后,有一个关于他们如何在现实世界中的应用程序进行比较的指示,他们支持的应用程序集的文献调查提供。
2021-09-28 cs.AI cs.LG
Transfer Learning in Deep Reinforcement Learning: A Survey
Michigan State University(密歇根州立大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
本文系统综述了深度强化学习中迁移学习方法的最新进展,提出分类框架并分析其目标、方法、兼容主干网络与应用,同时探讨了与其他相关主题的联系及未来挑战。
2023-07-04 cs.AI cs.LG stat.ML
A Brief Survey of Deep Reinforcement Learning
深度强化学习有望彻底改变人工智能领域,并代表着构建对视觉世界有更高理解的自主系统的一步。目前,深度学习使强化学习能够扩展到以前难以解决的问题,例如直接从像素学习玩视频游戏。深度强化学习算法也被应用于机器人技术,允许机器人的控制策略直接从现实世界中的摄像机输入中学习。在本调查中,我们首先介绍强化学习的一般领域,然后介绍基于价值观和基于政策的方法的主流。我们的调查将涵盖深度强化学习中的核心算法,包括深度$Q$网络,信任区域策略优化和异步优势演员-评论家。同时,我们强调了深度神经网络的独特优势,重点是通过强化学习进行视觉理解。最后,我们描述了该领域内的几个当前研究领域。
2017-09-28 cs.AI cs.CV cs.LG
Reinforcement Learning for IoT Security: A Comprehensive Survey
Howard University(霍华德大学)
对于不同的物联网(IoT)应用,连接的智能设备数量呈指数级增长。安全性一直是物联网系统中的一个长期挑战,物联网系统具有许多攻击向量,安全缺陷和漏洞。确保物联网中数十亿B连接设备的安全是实现物联网应用全部潜力的必要任务。最近,研究人员为物联网提出了许多安全解决方案。机器学习已被提出作为物联网安全的新兴解决方案之一,强化学习在保护物联网系统方面越来越受欢迎。与其他机器学习技术不同,强化学习可以通过具有关于要学习的参数的最小信息来学习环境。它通过与环境交互来动态地调整参数来解决优化问题。在本文中,我们全面调查了针对不同物联网系统的不同类型的网络攻击,然后我们提出了强化学习和基于深度强化学习的安全解决方案,以打击不同物联网系统中的不同类型的攻击。此外,我们提出了用于保护CPS系统的强化学习(即,具有反馈和控制的物联网),如智能电网和智能交通系统。还以表格的形式总结了最近在物联网中使用强化学习B的重要攻击和对策。通过本文,读者可以更深入地了解使用强化学习的物联网安全攻击和对策,以及该领域的研究趋势。
2021-02-14 cs.AI cs.LG
A Survey on Offline Model-Based Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
该综述梳理了离线强化学习与基于模型的强化学习的概念及进展,聚焦二者交叉的离线基于模型强化学习领域,总结现有方法解决分布偏移问题的思路,提出领域挑战与未来研究方向。
2023-05-05 cs.AI cs.LG cs.SY
Reinforcement Learning: A Survey
本文从计算机科学的角度对强化学习进行了综述。它是为了让熟悉机器学习的研究人员可以访问而编写的。这两个领域的历史基础和广泛的选择目前的工作进行了总结。强化学习是智能体通过与动态环境的试错交互来学习行为所面临的问题。这里描述的工作与心理学的工作有相似之处,但在细节和“强化”一词的使用上有很大的不同。本文讨论了强化学习的核心问题,包括权衡探索和利用,通过马尔可夫决策理论建立该领域的基础,从延迟强化中学习,构建经验模型来加速学习,利用泛化和层次结构,以及处理隐藏状态。它的结论与调查的一些实施系统和评估的实际效用,目前的方法强化学习。
1996-05-01 cs.AI
A Survey of Text Games for Reinforcement Learning informed by Natural Language
University of Manchester(曼彻斯特大学)
强化学习在许多复杂的虚拟环境中取得了成功。然而,以自然语言为核心组件解决问题仍然存在许多挑战。交互式小说游戏(或文本游戏)就是这样一种问题类型,它提供了一组部分可观察的环境,其中需要自然语言作为强化学习解决方案的一部分。因此,这项调查的目的是协助开发新的文本游戏问题设置和自然语言告知的强化学习解决方案。具体而言,本次调查总结:1)引入文本游戏强化学习问题的挑战,2)生成工具,用于评估文本游戏和随后产生的环境,3)目前应用的代理架构进行比较,为未来的研究人员提供基准方法和机会的系统性审查。
2021-09-20 cs.AI
A survey of benchmarking frameworks for reinforcement learning
University of South Africa(南非大学)
强化学习最近在机器学习社区中越来越突出。随着新技术的不断发展,解决强化学习问题的方法也越来越多。当使用强化学习解决问题时,有各种困难的挑战需要克服。为了确保该领域的进展,基准测试对于测试新算法和与其他方法进行比较非常重要。因此,公平比较结果的可重复性对于确保准确判断改进至关重要。本文概述了强化学习基准测试的不同贡献,并讨论了它们如何帮助研究人员解决强化学习面临的挑战。讨论的贡献是最常用的和最近的文献。本文讨论的贡献方面的实施,任务和提供的算法实现与基准。该调查旨在引起人们对广泛的强化学习基准测试任务的关注,并鼓励以标准化的方式进行研究。此外,这项调查还为不熟悉可用于开发和测试新的强化学习算法的不同任务的研究人员提供了概述。
2020-11-27 cs.LG
A Survey of Explainable Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
可解释强化学习(XRL)是近年来引起广泛关注的可解释机器学习的一个新兴子领域。XRL的目标是阐明学习代理在顺序决策设置中的决策过程。在这项调查中,我们提出了一种新的分类法,用于组织XRL文献,优先考虑RL设置。我们根据这种分类法概述技术。我们指出文献中的差距,我们用它来激励和概述未来工作的路线图。
2022-02-17 cs.LG
Deep Reinforcement Learning for Clinical Decision Support: A Brief Survey
National University of Singapore(新加坡国立大学);National University Hospital(国立大学医院)
由于人工智能特别是深度学习的最新进展,已经实现了许多数据驱动的决策支持系统,以促进医生提供个性化护理。本文重点研究了深度强化学习(DRL)模型。DRL模型在计算机视觉和游戏(如围棋和Atari游戏)中表现出了人类水平甚至更高的性能。然而,深度强化学习技术在临床决策优化中的采用仍然很少见。我们提出了第一个调查,总结了强化学习算法与深度神经网络(DNN)的临床决策支持。我们还讨论了一些案例研究,其中不同的DRL算法被应用于解决各种临床挑战。我们进一步比较和对比各种DRL算法的优点和局限性,并提出了一个初步的指导,如何选择合适的DRL算法的特定的临床应用。
2019-07-22 cs.AI cs.LG stat.ML
A Survey on Transformers in Reinforcement Learning
Tsinghua University(清华大学);Peking University(北京大学);BAAI(北京智源人工智能研究院);Tencent Inc.(腾讯公司);Washington University in St.Louis(圣路易斯华盛顿大学)
本文系统综述了Transformer在强化学习中的应用动机、进展与分类,梳理各子领域现状并展望未来研究方向。
2023-09-20 cs.AI cs.LG
New Challenges in Reinforcement Learning: A Survey of Security and Privacy
University of Technology Sydney(悉尼科技大学);City University of Macau(澳门城市大学)
强化学习(Reinforcement Learning,RL)是人工智能的重要分支之一。由于其在动态环境中的自适应和决策能力,强化学习已广泛应用于医疗保健、数据市场、自动驾驶和机器人等多个领域。然而,其中一些应用程序和系统已被证明容易受到安全或隐私攻击,导致服务不可靠或不稳定。大量的研究集中在强化学习中的这些安全和隐私问题上。然而,很少有调查对现有问题和最先进的解决办法进行系统审查和比较,以跟上新出现的威胁的步伐。因此,我们在此提出了这样一个全面的审查,解释和总结的挑战与安全和隐私的强化学习从一个新的角度,即马尔可夫决策过程(MDP)。在本调查中,我们首先介绍与该领域相关的关键概念。接下来,我们将分别讨论与MDP流程的状态、操作、环境和奖励函数相关的安全和隐私问题。我们进一步强调了与强化学习相关的安全和隐私方法的特殊性。最后,我们讨论了该领域未来可能的研究方向。
2022-12-31 cs.AI cs.CR cs.LG
Diffusion Models for Reinforcement Learning: A Survey
Shanghai Jiao Tong University(上海交通大学);Shanghai Marine Electronic Equipment Research Institute(上海船舶电子设备研究所)
本文综述了扩散模型在强化学习中的应用,系统梳理了RL面临的挑战、现有方法的分类及成功案例,并展望未来研究方向。
2024-02-23 cs.AI cs.LG
Pretraining in Deep Reinforcement Learning: A Survey
Shanghai Jiao Tong University(上海交通大学);Tencent(腾讯)
在过去的几年里,将强化学习(RL)与深度学习结合起来的进展非常迅速。从游戏到机器人技术的各种突破激发了人们对设计复杂RL算法和系统的兴趣。然而,RL中的主流工作流程是学习tabula rasa,这可能会导致计算效率低下。这排除了RL算法的持续部署,并可能排除没有大规模计算资源的研究人员。在机器学习的许多其他领域,预训练范式已被证明可以有效地获取可转移的知识,这些知识可用于各种下游任务。最近,我们看到了对深度RL预训练的兴趣激增,并取得了可喜的成果。然而,许多研究都是基于不同的实验设置。由于强化学习的性质,这一领域的预训练面临着独特的挑战,因此需要新的设计原则。在这项调查中,我们试图系统地回顾深度强化学习的预训练方面的现有工作,提供这些方法的分类,讨论每个子领域,并关注开放问题和未来方向。
2022-11-08 cs.AI cs.LG
A Survey of Reinforcement Learning for Large Language Models under Data Scarcity: Challenges and Solutions
Peking University(北京大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);National University of Singapore(新加坡国立大学);Nankai University(南开大学);Tongji University(同济大学);Nanjing University(南京大学);University of Wollongong(沃林根大学);Shanghai Jiao Tong University(上海交通大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文综述了在数据稀缺条件下大型语言模型强化学习的挑战与解决方案,提出三级框架,梳理现有方法并分析其优劣,为高效强化学习提供理论基础。
2026-04-19 cs.AI cs.LG
A Comprehensive Survey of Reinforcement Learning: From Algorithms to Practical Challenges
Wilfrid Laurier University(劳里埃大学)
本文全面综述强化学习算法,从基础表格方法到深度强化学习技术,按可扩展性和样本效率等标准分类评估,并提供算法选择与实现的实用见解。
2025-02-01 cs.AI cs.LG
Model-based Reinforcement Learning: A Survey
Leiden University(莱顿大学);TU Delft(代尔夫特理工大学)
序列决策通常形式化为马尔可夫决策过程(MDP)优化,是人工智能中的一个重要挑战。解决这个问题的两个关键方法是强化学习(RL)和规划。本文介绍了这两个领域的整合,更好地称为基于模型的强化学习的调查。基于模型的RL有两个主要步骤。首先,我们系统地介绍了动态模型学习的方法,包括处理随机性、不确定性、部分可观测性和时间抽象等挑战。其次,我们提出了一个系统的分类规划学习集成,包括这样的方面:从哪里开始规划,什么预算分配到规划和真正的数据汇集,如何规划,以及如何整合规划的学习和行动循环。在这两个部分之后,我们还讨论了隐式的基于模型的强化学习作为模型学习和规划的端到端替代方案,并介绍了基于模型的强化学习的潜在好处。在此过程中,调查还与几个相关的RL领域建立了联系,如分层RL和迁移学习。总而言之,调查提出了一个广泛的概念概述的MDP优化的规划和学习相结合。
2022-03-31 cs.AI cs.LG stat.ML
Multi-Agent Reinforcement Learning for Resources Allocation Optimization: A Survey
University of South Australia(南澳大学)
本文综述了用于资源分配优化(RAO)的最新多智能体强化学习(MARL)算法,涵盖核心概念、分类与结构化分类法,并指出当前挑战与未来方向,以助力工业4.0发展。
2025-04-29 cs.AI cs.LG cs.MA
High-Accuracy Model-Based Reinforcement Learning, a Survey
Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所);Leiden University(莱顿大学)
深度强化学习在过去几年中取得了显著的成功。来自游戏和机器人的高度复杂的顺序决策问题已经用深度无模型方法解决了。不幸的是,无模型方法的样本复杂度通常很高。为了减少环境样本的数量,基于模型的强化学习创建环境动态的显式模型。在高维问题中,实现高的模型精度是一个挑战。近年来,已经引入了各种基于模型的方法来提高模型精度,使用诸如不确定性建模、模型预测控制、潜在模型以及端到端学习和规划等方法。其中一些方法成功地在低样本复杂度下实现了高精度,大多数方法都是在机器人技术或游戏环境中实现的。在本文中,我们调查这些方法,我们详细解释它们是如何工作的,它们的优点和缺点是什么。最后,我们为未来的工作,使方法更强大,更广泛地适用于其他应用程序的研究议程。
2021-07-17 cs.AI cs.LG
A Survey Analyzing Generalization in Deep Reinforcement Learning
University College London(伦敦大学学院)
该综述形式化分析了深度强化学习的泛化性问题,阐释过拟合根源,分类讲解各类提升泛化性的方法,覆盖多类子领域,可为领域发展提供指南并助力构建鲁棒高泛化性的深度神经策略。
2024-10-30 cs.AI cs.LG stat.ML
Deep Reinforcement Learning for Autonomous Driving: A Survey
Navya(纳维亚);Valeo(法雷奥);ENSTA Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎高等先进技术学院);AKKA Technologies(AKKA科技公司);National University of Ireland, Galway(爱尔兰国立高威大学)
随着深度表示学习的发展,强化学习(RL)领域已经成为一个强大的学习框架,现在能够在高维环境中学习复杂的策略。本文总结了深度强化学习(DRL)算法,并提供了一个分类的自动驾驶任务,其中(D)RL方法已被采用,同时解决关键的计算挑战,在现实世界中部署的自动驾驶代理。它还描绘了相邻的领域,如行为克隆,模仿学习,逆强化学习,相关的,但不是经典的RL算法。模拟器在训练代理中的作用,验证,测试和鲁棒化RL中现有解决方案的方法进行了讨论。
2021-01-23 cs.AI cs.LG cs.RO
A Survey of Flow Matching in Reinforcement Learning
University of Kentucky(肯塔基大学)
本综述梳理了强化学习中流匹配方法的分类、前沿方向,对比了相关基线,为生成式强化学习与对齐研究提供了基础性路线图。
2026-11-17 cs.AI cs.LG
A Survey on Large-Population Systems and Scalable Multi-Agent Reinforcement Learning
Technische Universität Darmstadt(达姆施塔特工业大学)
大种群系统的分析和控制对不同的研究和工程领域都有很大的兴趣,从流行病学到机器人群到经济和金融。在多智能体系统中实现顺序决策的一种越来越流行和有效的方法是通过多智能体强化学习,因为它允许对高度复杂的系统进行自动和无模型的分析。然而,可扩展性的关键问题使控制和强化学习算法的设计复杂化,特别是在具有大量代理的系统中。虽然强化学习在许多只有少数智能体的场景中取得了巨大的经验成功,但许多智能体的问题很快变得棘手,需要特别考虑。在这项调查中,我们将阐明当前的方法来可追溯地理解和分析大人口系统,无论是通过多智能体强化学习,并通过相邻的研究领域,如平均场游戏,集体智慧,或复杂网络理论。这些经典独立的学科领域提供了各种方法来理解或建模大人口系统,这可能是非常有用的制定易于处理的MARL算法在未来。最后,我们调查潜在的大规模控制的应用领域,并确定在实际系统中的学习算法富有成效的未来应用。我们希望我们的调查可以提供洞察力和未来的方向,初级和高级研究人员在理论和应用科学一样。
2022-09-08 cs.AI cs.LG cs.MA
A Survey on Neural Architecture Search Based on Reinforcement Learning
Tianjin University of Science and Technology(天津科技大学)
本文综述了基于强化学习的神经架构搜索方法,梳理其整体发展、改进与变体,重点讨论面向复杂结构和资源受限环境的自动网络结构搜索。
2024-09-30 cs.AI cs.LG
A Short Survey on Probabilistic Reinforcement Learning
University of New Hampshire(新罕布什尔大学);Department of Computer Science(计算机科学系)
一个强化学习智能体试图通过在未知环境中的交互来最大化其累积收益。重要的是,智能体要探索次优行动,以及选择具有最高已知奖励的行动。然而,在敏感领域,通过探索收集更多数据并不总是可能的,但重要的是要找到一个具有一定性能保证的策略。在本文中,我们提出了一个简短的调查,在文献中的方法平衡探索-开发权衡和计算强大的解决方案,从固定的样本在强化学习。
2019-01-21 cs.LG stat.ML
A Survey on Interpretable Reinforcement Learning
University of Michigan-Shanghai Jiao Tong University Joint Institute(上海交通大学密西根学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Tianjin University(天津大学)
尽管深度强化学习已经成为解决序列决策问题的一种很有前途的机器学习方法,但对于自动驾驶或医疗应用等高风险领域来说,它仍然不够成熟。在这样的上下文中,学习的策略例如需要是可解释的,使得它可以在任何部署之前被检查(例如,出于安全性和可验证性的原因)。本综述概述了在强化学习(RL)中实现更高可解释性的各种方法。为此,我们区分可解释性(作为模型的属性)和可解释性(作为事后操作,代理的干预),并在RL的背景下讨论它们,强调前一个概念。特别是,我们认为,可解释的强化学习可能包括不同的方面:可解释的输入,可解释的(过渡/奖励)模型,和可解释的决策。基于此方案,我们总结和分析了最近的工作,可解释强化学习的重点是在过去的10年发表的论文。我们还简要讨论了一些相关的研究领域,并指出一些潜在的有前途的研究方向。
2022-02-24 cs.AI cs.LG
A survey on intrinsic motivation in reinforcement learning
Univ Lyon(里昂大学);Université Lyon 1(里昂第一大学);CNRS(法国国家科学研究中心);LIRIS(里昂信息与图像系统实验室)
强化学习(RL)研究领域非常活跃,有许多新的贡献;特别是考虑到深度RL(DRL)的新兴领域。然而,仍然需要解决一些科学和技术挑战,其中我们可以提到抽象行动的能力或探索环境的困难,这些都可以通过内在动机(IM)来解决。在这篇文章中,我们提供了一个调查的作用,内在动机的DRL。我们对每个类别的不同类型的内在动机和细节进行了分类,其优点和局限性与上述挑战有关。此外,我们对目前正在研究或在DRL的研究领域根本没有解决的大量当前研究问题进行了深入调查。我们选择从学习如何完成任务的角度来审视这些研究成果。因此,我们建议,解决当前的挑战可能会导致一个更大的发展架构,可以解决大多数任务。我们描述了这个开发架构的基础上,由RL算法和IM模块压缩信息的几个积木。
2019-11-19 cs.AI cs.LG
A Survey of Safe Reinforcement Learning and Constrained MDPs: A Technical Survey on Single-Agent and Multi-Agent Safety
International Institute of Information Technology, Hyderabad, India(国际信息科技研究所,印度海得拉巴);Meta SuperIntelligence, USA(Meta超智能,美国)
本文综述了安全强化学习和约束马尔可夫决策过程,涵盖单智能体和多智能体安全方法,总结了理论基础和最新算法,并提出五个开放性问题以推动该领域发展。
2026-04-29 cs.LG
Acceleration for Deep Reinforcement Learning using Parallel and Distributed Computing: A Survey
National University of Defense Technology(国防科技大学)
本文系统综述了利用并行与分布式计算加速深度强化学习训练的方法,涵盖系统架构、仿真与计算并行、同步机制及进化强化学习,并比较了16个开源库,展望了未来研究方向。
2024-11-08 cs.AI cs.DC cs.LG
A Survey of Deep Reinforcement Learning in Recommender Systems: A Systematic Review and Future Directions
University of New South Wales(新南威尔士大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);University of Technology Sydney(悉尼科技大学)
鉴于深度强化学习(DRL)在推荐系统研究中的出现以及近年来取得的一些丰硕成果,本文旨在对深度强化学习在推荐系统中的最新发展趋势进行及时而全面的综述。我们首先介绍了在推荐系统中应用DRL的动机。然后,我们提供了一个分类目前基于DRL推荐系统和现有的方法的总结。我们讨论新出现的主题和开放的问题,并提供我们对推进该领域的观点。本调查作为学术界和工业界读者对这一主题的介绍材料,并确定了进一步研究的重要机会。
2021-09-09 cs.AI cs.IR
Reinforcement learning with human advice: a survey
Laboratoire de Neurosciences Cognitives Computationnelles (LNC2)(计算认知神经科学实验室(LNC2));INSERM U960(法国国家健康与医学研究院 U960);Institute for Intelligent Systems and Robotics(智能系统与机器人研究所);Sorbonne Université(索邦大学);CNRS UMR 7222(法国国家科学研究中心 UMR 7222)
在本文中,我们概述了现有的方法,将人类的建议整合到强化学习过程中。我们首先提出了一个分类的不同形式的建议,可以提供给学习代理。然后,我们描述的方法,可用于解释的意见时,其含义是没有事先确定。最后,我们回顾了不同的方法整合到学习过程中的建议。
2020-11-24 cs.AI
Causal Question Answering with Reinforcement Learning
Paderborn University(帕德博恩大学)
本文提出使用因果图结合强化学习进行因果问答,引入基于Actor-Critic的智能体并通过监督学习引导以应对大动作空间和稀疏奖励,实验表明该方法能有效修剪搜索空间(每问题访问少于30节点)并提供可解释、可验证的因果路径。
2024-03-25 cs.AI cs.LG
Plasticity Loss in Deep Reinforcement Learning: A Survey
Faculty of Computer Science, University of Vienna(维也纳大学计算机科学系);Doctoral School Computer Science, University of Vienna(维也纳大学计算机科学博士学院);Independent Researcher(独立研究员);Microsoft AI(微软人工智能);Department of Machine Learning and Systems Biology, Max Planck Institute of Biochemistry(生物化学研究所机器学习与系统生物学部门)
本文综述了深度强化学习中可塑性丧失的问题,提出统一定义,分析其驱动因素与病理,整理超过50种缓解策略,并指出当前评估实践的不足。
2026-04-18 cs.AI cs.LG
Deep Model-Based Reinforcement Learning for High-Dimensional Problems, a Survey
Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所)
深度强化学习在过去几年中取得了显著的成功。高度复杂的顺序决策问题已经在游戏和机器人等任务中得到解决。不幸的是,大多数深度强化学习方法的样本复杂度都很高,这阻碍了它们在一些重要应用中的使用。基于模型的强化学习创建环境动态的显式模型以减少对环境样本的需求。当前的深度学习方法使用高容量网络来解决高维问题。不幸的是,高容量模型通常需要许多样本,从而否定了基于模型的方法中较低样本复杂性的潜在好处。因此,基于深度模型的方法面临的挑战是在保持低样本复杂度的同时实现高预测能力。近年来,许多基于模型的方法被引入来解决这一挑战。在本文中,我们调查了当代基于模型的景观。首先,我们讨论定义和与其他领域的关系。我们提出了一个分类法的基础上,三种方法:使用明确的规划给定的过渡,使用明确的规划学习的过渡,规划和过渡的端到端的学习。我们使用这些方法来组织一个全面的概述最近的重要发展,如潜在的模型。我们描述的方法和基准,我们建议的每一种方法的未来工作的方向。其中有前途的研究方向是课程学习,不确定性建模,并使用潜在的模型迁移学习。
2020-12-01 cs.AI cs.LG
Survey on reinforcement learning for language processing
本文综述了强化学习在自然语言处理任务中的应用,重点探讨对话系统中的方法、优势与局限,并提出未来研究方向。
2022-03-15 cs.AI cs.CL cs.LG
A Survey of State Representation Learning for Deep Reinforcement Learning
Mila - Québec AI Institute, Université de Montréal(魁北克人工智能研究所,蒙特利尔大学);Google DeepMind(谷歌DeepMind)
本综述系统分类了深度强化学习中无模型在线设置下的状态表示学习方法,分为六大类,并探讨了评估表示质量的技术与未来方向,旨在为新研究者提供指南。
2025-06-20 cs.AI cs.LG stat.ML
Survey of Recent Multi-Agent Reinforcement Learning Algorithms Utilizing Centralized Training
US DEVCOM Army Research Laboratory(美国DEVCOM陆军研究实验室);Oak Ridge Associated Universities(橡树岭联合大学)
该综述聚焦采用集中学习分散执行范式的多智能体强化学习,梳理集中式训练的变体与相关算法,探究信息共享机制的不同实现对协作任务中群体协调行为的影响。
2021-07-29 cs.AI cs.LG cs.MA
A Survey on Quantum Reinforcement Learning
Fraunhofer IIS, Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所)
该综述梳理量子强化学习领域研究,既覆盖基于现有NISQ设备、以变分量子线路为函数逼近器的经典强化学习方案,也调研未来容错硬件下具备可证量子优势的算法,提供全局概览与重点文献评述。
2024-03-08 cs.LG quant-ph
Robust Deep Reinforcement Learning Through Adversarial Attacks and Training : A Survey
Institut de Recherche Technologique SystemX(技术研究 institute SystemX)
本文综述了深度强化学习中的对抗攻击与训练方法,系统分类并比较其目标与机制,以提升模型对环境变化和扰动的鲁棒性。
2026-06-09 cs.AI cs.LG
Fully Decentralized Cooperative Multi-Agent Reinforcement Learning: A Survey
Peking University(北京大学)
本文系统综述了完全去中心化协作多智能体强化学习方法,涵盖共享奖励与个体奖励之和两种优化目标,并探讨了开放问题与未来方向。
2024-01-10 cs.AI cs.LG cs.MA
A Survey of Constraint Formulations in Safe Reinforcement Learning
LY Corporation(LY公司);Osaka University(大阪大学);Tsinghua University(清华大学)
本文综述安全强化学习中的代表性约束表述、对应算法及其数学关联,并指出当前研究现状与未来方向。
2024-05-08 cs.AI cs.LG
A Survey on Data-Centric AI: Tabular Learning from Reinforcement Learning and Generative AI Perspective
Arizona State University(亚利桑那州立大学);The University of Kansas(堪萨斯大学);Stevens Institute of Technology(史蒂文斯理工学院)
本文综述以数据为中心的表格学习,系统梳理利用强化学习和生成式 AI 进行特征选择与特征生成的方法、应用、优势、局限及未来方向。
2025-02-16 cs.AI cs.LG
A Survey of Multi Agent Reinforcement Learning: Federated Learning and Cooperative and Noncooperative Decentralized Regimes
(July 2025)((2025年7月))
本文综述多智能体强化学习在联邦、分散合作与非合作三种机制下的研究,比较其结构异同,涵盖理论保证与数值性能的亮点与局限。
2025-07-08 cs.AI cs.LG cs.MA
A Survey of Zero-shot Generalisation in Deep Reinforcement Learning
University College London(伦敦大学学院);University of California, Berkeley(加州大学伯克利分校);Meta AI Research(Meta人工智能研究院)
深度强化学习(RL)中的zero-shot泛化(generalisation,简称ZIG)研究旨在产生RL算法,其策略在部署时能够很好地泛化到新的不可见情况,避免过度拟合其训练环境。如果我们要在现实世界的场景中部署强化学习算法,解决这个问题至关重要,因为环境将是多样化的,动态的和不可预测的。本调查是对这一新兴领域的概述。我们依赖于一个统一的形式主义和术语来讨论不同的BLOG问题,建立在以前的作品。我们继续分类现有的基准,以及目前的方法来解决这些问题。最后,我们提供了一个关键的讨论领域的现状,包括对未来工作的建议。在其他结论中,我们认为,采取纯粹的程序内容生成方法的基准设计是不利于进步的RLG,我们建议快速在线适应和解决RL特定的问题,作为未来工作的一些领域的方法RLG,我们建议建立基准在欠探索的问题设置,如离线RL RLG和奖励函数的变化。
2023-01-19 cs.AI cs.LG
Curriculum Learning for Reinforcement Learning Domains: A Framework and Survey
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Oxford(牛津大学);University of Leeds(利兹大学);Tufts University(塔夫茨大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所);University of Alberta(阿尔伯塔大学);Sony AI(索尼人工智能)
强化学习(RL)是一种流行的范式,用于解决智能体只有有限的环境反馈的顺序决策任务。尽管在过去的三十年中取得了许多进步,但许多领域的学习仍然需要与环境进行大量的交互,这在现实场景中可能非常昂贵。为了解决这个问题,迁移学习已经被应用于强化学习,使得在开始学习下一个更难的任务时可以利用在一个任务中获得的经验。最近,一些研究探索了如何将任务或数据样本本身排序到课程中,以学习一个可能很难从头开始学习的问题。在这篇文章中,我们提出了一个强化学习的课程学习(CL)框架,并使用它来调查和分类现有的CL方法的假设,能力和目标。最后,我们使用我们的框架,发现开放的问题,并建议未来的RL课程学习研究的方向。
2020-09-17 cs.AI cs.LG stat.ML
A Survey of Reinforcement Learning Techniques: Strategies, Recent Development, and Future Directions
强化学习是设计强调实时响应的人工智能系统的核心组成部分之一。强化学习影响系统在具有或不具有关于环境模型的先前知识的任意环境内采取动作。在本文中,我们对强化学习进行了全面的研究,重点关注各个方面,包括挑战,不同最先进技术的最新发展以及未来的发展方向。本文的基本目标是提供一个框架,用于介绍强化学习的可用方法,该方法信息量足够大,并且易于为该领域的新研究人员和学者考虑最新的关注点。首先,我们以一种易于理解和可比的方式说明了强化学习的核心技术。最后,我们分析和描述了强化学习方法的最新发展。我的分析指出,大多数模型都专注于调整策略值,而不是在特定的推理状态下调整其他东西。
2020-01-27 cs.AI
Reinforcement Learning for Generative AI: A Survey
Macquarie University(麦考瑞大学);University of California San Diego(加利福尼亚大学圣地亚哥分校);CSIRO’s Data61(联邦科学与工业研究组织数据61);University of New South Wales(新南威尔士大学)
本文综述了强化学习在生成式人工智能中的应用,提出严格分类法,覆盖多种模型与应用,并探讨大语言模型及未来方向。
2025-02-24 cs.AI cs.LG
Bayesian Reinforcement Learning: A Survey
Adobe Research(Adobe研究院);INRIA(法国国家信息与自动化研究所);Technion(以色列理工学院);McGill University(麦吉尔大学);Berkeley(加州大学伯克利分校)
用于机器学习的贝叶斯方法已经得到了广泛的研究,产生了将先验信息纳入推理算法的原则性方法。在这次调查中,我们提供了一个深入的审查贝叶斯方法的作用的强化学习(RL)的范例。将贝叶斯推理纳入RL的主要动机是:1)它提供了一种优雅的方法来选择动作(探索/利用)作为学习中不确定性的函数; 2)它提供了一种将先验知识纳入算法的机制。我们首先讨论了简单单步Bandit模型中的贝叶斯推理模型和方法。然后,我们回顾了广泛的最近的文献贝叶斯方法基于模型的RL,先验信息可以表示的马尔可夫模型的参数。我们还提出了无模型RL的贝叶斯方法,其中先验表示的价值函数或政策类。本文的目的是提供一个全面的调查贝叶斯RL算法及其理论和经验性质。
2016-09-14 cs.AI cs.LG stat.ML
A Survey of Multi-Agent Deep Reinforcement Learning with Graph Neural Network-Based Communication
Université Lyon 1, INSA Lyon, CNRS, LIRIS, UMR 5205(里昂1大学,里昂国立应用科学学院,国家科学研究中心,LIRIS,UMR 5205)
本文综述了基于图神经网络的多智能体强化学习通信方法,提出通用通信过程以明确方法核心思想。
2026-04-28 cs.AI cs.LG cs.MA
A Survey on Deep Reinforcement Learning for Data Processing and Analytics
National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学);Beijing Institute of Techonology(北京理工大学)
数据处理和分析是基础和普遍的。算法在数据处理和分析中起着至关重要的作用,其中许多算法设计已经结合了来自人类知识和经验的逻辑学和一般规则,以提高其有效性。近年来,强化学习,特别是深度强化学习(DRL),在许多领域得到了越来越多的探索和利用,因为它可以在与之交互的复杂环境中学习到比静态设计的算法更好的策略。受这一趋势的推动,我们对最近的工作进行了全面的回顾,重点是利用DRL来改进数据处理和分析。首先,我们介绍了DRL的关键概念,理论和方法。接下来,我们将讨论数据库系统上的DRL部署,从各个方面促进数据处理和分析,包括数据组织、调度、调优和索引。然后,我们调查了DRL在数据处理和分析中的应用,从数据准备,自然语言处理到医疗保健,金融科技等,最后,我们讨论了在数据处理和分析中使用DRL的重要挑战和未来的研究方向。
2022-02-04 cs.AI cs.DB cs.LG