Single and Multi-Agent Deep Reinforcement Learning for AI-Enabled Wireless Networks: A Tutorial
University of Manitoba(曼尼托巴大学)
深度强化学习(Deep Reinforcement Learning,DRL)最近取得了重大进展,在解决各个领域(特别是无线通信领域)的顺序决策问题方面取得了多项成功。未来的第六代(6G)网络预计将提供可扩展的、低延迟的、超可靠的服务,这些服务由数据驱动的人工智能(AI)的应用授权。未来6G网络的关键使能技术,如智能元表面、空中网络和边缘人工智能,涉及多个智能体,这激发了多智能体学习技术的重要性。此外,合作对于建立自我组织、自我维持和分散的网络至关重要。在这种情况下,本教程重点介绍DRL的作用,重点是支持AI的6G网络的深度多智能体强化学习(MARL)。本文的第一部分将对单智能体RL和MARL的数学框架进行清晰的概述。这项工作的主要思想是激励RL的应用超越近年来广泛采用的无模型视角。因此,我们提供了一个选择性的描述RL算法,如基于模型的RL(MBRL)和合作MARL,我们强调他们在6G无线网络中的潜在应用。最后,我们概述了MARL在移动边缘计算(MEC)、无人机(UAV)网络和无小区大规模MIMO等领域的最新进展,并确定了未来有前途的研究方向。我们希望本教程能够激发更多的研究工作,以构建基于MARL的可扩展和分散的系统。
2020-11-06 cs.LG cs.NI
Reinforcement Learning and Control as Probabilistic Inference: Tutorial and Review
UC Berkeley(加州大学伯克利分校)
强化学习或最优控制的框架提供了智能决策的数学形式化,其功能强大且适用广泛。虽然强化学习问题的一般形式能够对不确定性进行有效推理,但强化学习与概率模型中的推理之间的联系并不明显。然而,当涉及到算法设计时,这种联系具有相当大的价值:原则上将问题形式化为概率推理,使我们能够使用各种近似推理工具,以灵活而强大的方式扩展模型,并推理组合性和部分可观测性。在这篇文章中,我们将讨论如何推广的强化学习或最优控制问题,这有时被称为最大熵强化学习,是等价于确定性动力学的情况下的精确概率推理,和变分推理的情况下的随机动力学。我们将提出一个详细的推导这个框架,概述以前的工作,借鉴了这一点和相关的想法,提出新的强化学习和控制算法,并描述未来的研究前景。
2018-05-20 cs.AI cs.LG cs.RO
Reinforcement Learning and Bandits for Speech and Language Processing: Tutorial, Review and Outlook
Columbia University(哥伦比亚大学)
本文综述了 reinforcement learning 和 bandits 在语音和自然语言处理中的最新进展,探讨了如何利用其奖励驱动适应性等优势构建自适应、交互式且可扩展的模型来解决相关问题。
2023-10-19 cs.AI cs.CL cs.LG
A Tutorial: An Intuitive Explanation of Offline Reinforcement Learning Theory
Department of Computer Science University of Alberta(计算机科学系阿尔伯塔大学)
本综述探讨了离线强化学习理论的关键直觉及其对算法设计的启示,分析了证明所需的函数表示与数据覆盖条件、不可解反例及充分条件,以揭示算法局限并指导新方案探索。
2025-08-11 cs.LG stat.ML
A Tutorial on Thompson Sampling
Columbia University(哥伦比亚大学);Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind);Adobe Research(奥多比研究院)
汤普森抽样是一种在线决策问题的算法,其中采取的行动必须在利用已知的最大化即时性能和投资积累新的信息,可能会提高未来的性能之间取得平衡的方式顺序。该算法以计算效率高的方式解决了广泛的问题,因此得到了广泛的应用。本教程涵盖了算法及其应用,通过一系列示例说明了概念,包括伯努利强盗问题,最短路径问题,产品推荐,分类,神经网络主动学习和马尔可夫决策过程中的强化学习。这些问题中的大多数涉及复杂的信息结构,其中采取行动所揭示的信息告知了对其他行动的信念。我们还将讨论何时以及为什么汤普森采样是有效的或无效的,以及与替代算法的关系。
2020-07-14 cs.LG
Understanding Reinforcement Learning-Based Fine-Tuning of Diffusion Models: A Tutorial and Review
Genentech(基因泰克);Princeton University(普林斯顿大学);University of California, Berkeley(加州大学伯克利分校)
本教程综述了基于强化学习的扩散模型微调方法,以优化下游奖励函数,涵盖多种RL算法及其优势、局限和与相关主题的联系。
2024-07-18 cs.AI cs.LG q-bio.QM
A tutorial on recursive models for analyzing and predicting path choice behavior
Université de Montréal(蒙特利尔大学);CIRRELT - Interuniversity Research Centre on Entreprise Networks, Logistics and Transportation(CIRRELT——企业网络、物流与运输校际研究中心)
本教程的核心问题在于对网络用户的路径选择行为进行建模。这个问题在运输科学中得到了广泛的研究,在那里它被称为路线选择问题。在这篇文献中,个人的路径选择通常使用离散选择模型预测。这篇文章是一个特定类别的离散选择模型的教程,称为递归,它有三个主要贡献:首先,为了帮助未来的研究路线选择,我们提供了一个全面的背景问题,将其与不同的领域,包括逆优化和逆强化学习。其次,我们正式介绍了问题和递归建模的思想,以及现有的模型,它们的属性和应用的概述。第三,我们从不同的角度广泛地分析说明性的例子,使新手读者可以获得直观的问题和递归模型相比,基于路径的优势。
2020-03-19 cs.LG stat.ML
Robot Learning: A Tutorial
本教程综述现代机器人学习,从强化学习与行为克隆基础,到语言条件通才模型,提供lerobot实现示例,旨在赋能研究与实践。
2025-10-14 cs.LG cs.RO
A Primer on Maximum Causal Entropy Inverse Reinforcement Learning
逆强化学习(IRL)算法推断出一个奖励函数,该函数解释了专家在环境中提供的演示。最大因果熵(MCE)IRL是目前最流行的IRL公式,有许多扩展。在本教程中,我们将介绍MCE IRL的压缩推导以及MCE IRL算法当代实现的关键结果。我们希望这将作为一个介绍性的资源,为那些新的领域,并作为一个简明的参考,为那些已经熟悉这些主题。
2022-03-22 cs.AI cs.LG
Foundations of Reinforcement Learning and Control:Connections and New Perspectives
University of Technology Nuremberg(纽伦堡工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Alberta(阿尔伯塔大学);ETH Zürich(苏黎世联邦理工学院);University of California San Diego(加州大学圣迭戈分校)
本教程围绕强化学习与控制理论的联系与差异,介绍自适应控制、演员-评论家强化算法及二者结合的新方法,助力跨领域专家理解对方工具方法。
2026-08-04 cs.LG
Offline Reinforcement Learning Hands-On
InstaDeep;Sorbonne Université(索邦大学)
离线强化学习(RL)旨在将大型数据集转化为强大的决策引擎,而无需与环境进行任何在线交互。这一伟大的承诺激发了大量的研究,希望复制RL在模拟环境中所取得的成功。这项工作的野心,以反映这些努力,从从业者的观点。我们首先讨论数据集属性,我们假设这些属性可以确定最成功的离线方法的类型。然后,我们通过一组实验验证了这些说法,并设计了从离散和连续动作空间环境中生成的数据集。我们通过实验验证了数据中的多样性和高回报的例子对离线RL的成功至关重要,并表明与同时代人相比,行为克隆仍然是一个强有力的竞争者。总的来说,这项工作是一个教程,可以帮助人们建立对当今离线RL方法及其适用性的直觉。
2020-11-29 cs.LG
Robust Meta-Reinforcement Learning with Curriculum-Based Task Sampling
Hitachi, Ltd.(日立有限公司)
Meta-强化学习(meta-RL)获取在宽任务分布中对任务表现出良好性能的元策略。然而,传统的元RL通过随机采样任务来学习元策略,据报道,它对某些任务表现出元过拟合,特别是对于代理可以轻松获得高分的简单任务。为了减少元过拟合的影响,我们考虑了基于任务抽样的元RL。我们的方法是鲁棒Meta强化学习与引导任务采样(RMRL-GTS),这是一个有效的方法,限制基于分数和时代的任务采样。我们表明,为了实现强大的元RL,它不仅是必要的,以集中的样本得分低的任务,但也要限制和扩大任务区域的任务进行采样。
2022-03-31 cs.LG
Meta-Reinforcement Learning Using Model Parameters
Ariel University(阿里埃勒大学)
在Meta强化学习中,代理在多个不同的环境中进行训练,并尝试学习可以有效适应新环境的元策略。本文提出了RAMP,一个强化学习代理使用模型参数,利用的思想,一个神经网络训练预测环境动态封装的环境信息。RAMP的构建分为两个阶段:在第一阶段,学习多环境参数化动力学模型。在第二阶段,动态模型的模型参数被用作无模型强化学习代理的多环境策略的上下文。
2022-10-27 cs.LG
SE(3)-Equivariant Robot Learning and Control: A Tutorial Survey
Yonsei University(延世大学)
本教程综述系统梳理SE(3)-等变神经网络在机器人学习与控制中的应用,通过显式利用旋转平移对称性提升样本效率与泛化,并展望了未来挑战。
2025-04-23 cs.LG cs.RO cs.SY
Sparsifying Parametric Models with L0 Regularization
University of Twente(特文特大学);Imperial College London(伦敦帝国学院)
该研究介绍如何结合 L0 正则化与字典学习,为深度强化学习获得用于控制参数化偏微分方程的稀疏多项式策略,并提供代码与教程。
2024-09-05 cs.LG
Meta-Reinforcement Learning with Universal Policy Adaptation: Provable Near-Optimality under All-task Optimum Comparator
School of Electrical Engineering and Computer Science(电气工程与计算机科学学院);The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出一种用于元强化学习的双层优化框架BO-MRL,通过一次数据收集实现多步策略优化以学习元先验,并提供了期望最优性差距上界的理论分析与实证验证。
2024-10-13 cs.LG
How Many Random Seeds? Statistical Power Analysis in Deep Reinforcement Learning Experiments
INRIA(法国国家信息与自动化研究所);Sorbonne Université(索邦大学)
一致地检查实验结果的统计显著性是解决深度强化学习中所谓的“再现性危机”的强制性方法步骤之一。在本教程中,我们将解释随机种子的数量与统计错误的概率之间的关系。对于t检验和自举置信区间检验,我们回顾了理论指导方针,以确定随机种子的数量,应该使用两种算法的性能提供统计上显着的比较。最后,我们讨论了偏离通常由统计检验所作的假设的影响。我们表明,它们可能导致统计错误的不准确评估,并提供指导方针,以应对这些负面影响。我们使我们的代码可用于执行测试。
2018-07-05 cs.LG stat.ML
Using Meta Reinforcement Learning to Bridge the Gap between Simulation and Experiment in Energy Demand Response
University of California, Berkeley(加州大学伯克利分校)
我们的团队建议在办公楼中进行全面的能源需求响应实验。虽然这是一项令人兴奋的努力,将为社区提供价值,但为强化学习代理收集训练数据的成本很高,而且会受到限制。在这项工作中,我们应用元学习架构来热启动模拟任务的实验,以提高样本效率。我们目前的结果表明,类似的一步,在复杂性仍然对应于更好的学习。
2021-05-17 cs.LG
Meta-Reinforcement Learning via Evolution for Multi-Objective Combinatorial Supply Chain Optimisation
The University of Manchester(曼彻斯特大学);Peak AI, Ltd(Peak AI有限公司)
提出一种结合分解与进化搜索的群体元强化学习框架,通过维护权重向量群体并迭代优化,生成多样且分布均匀的帕累托前沿近似,在多目标供应链优化中超体积提升高达32%。
2026-06-23 cs.LG
Model-based Meta Reinforcement Learning using Graph Structured Surrogate Models
University of Amsterdam(阿姆斯特丹大学)
强化学习是解决序列决策问题的一种很有前途的范式,但数据效率低和跨任务泛化能力弱是现实应用中的瓶颈。基于模型的Meta强化学习通过学习动态和利用来自先前经验的知识来解决这些问题。在本文中,我们仔细研究了这个框架,并提出了一个新的基于爱普生采样的方法,该方法包括一个新的模型来识别任务动态以及摊销策略优化步骤。我们表明,我们的模型,称为图结构的代理模型(GSSM),优于国家的最先进的方法在预测环境动态。此外,我们的方法是能够获得高回报,同时允许在部署过程中快速执行,避免测试时间策略梯度优化。
2021-02-16 cs.LG
Constrained Meta Agnostic Reinforcement Learning
KIT Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(FZI信息技术研究中心)
针对元强化学习策略在现实应用中难平衡快速适配与环境约束的问题,提出融合元学习与约束优化的C-MAML方法,训练时纳入任务特定约束以生成更安全的初始参数,在不同复杂度轮式机器人模拟运动任务中验证了有效性与鲁棒性。
2024-06-20 cs.LG
MAMBA: an Effective World Model Approach for Meta-Reinforcement Learning
Technion(以色列理工学院)
提出基于世界模型的元强化学习方法MAMBA,在常见基准上以更高样本效率(高达15倍)获得更高回报,并拓展到高维领域。
2024-03-14 cs.LG
Biased Gradient Estimate with Drastic Variance Reduction for Meta Reinforcement Learning
DeepMind
尽管Meta强化学习(meta-RL)在经验上取得了成功,但理论和实践之间仍然存在一些难以理解的差异。重要的是,有偏梯度估计几乎总是在实践中实现,而元RL的先验理论仅在无偏梯度估计下建立收敛。在这项工作中,我们调查这样的差异。特别是,(1)我们表明,无偏梯度估计的方差$Θ(N)$线性依赖于样本大小$N$的内部循环更新;(2)我们提出了线性得分函数(LSF)梯度估计,其中有偏见$\mathcal{O}(1/\sqrt{N})$和方差$\mathcal{O}(1/N)$ ;(3)我们表明,大多数经验的工作,实际上实现了LSF梯度估计的变体。这意味着实际的算法“意外”引入偏差,以实现更好的性能;(4)我们建立理论保证的LSF梯度估计在元RL关于其收敛到固定点,表现出更好的依赖于$N$比以前的工作时,$N$是大的。
2021-12-14 cs.LG
DynaMITE-RL: A Dynamic Model for Improved Temporal Meta-Reinforcement Learning
University of Southern California(南加州大学);Google Research(谷歌研究院);Google Deepmind(谷歌DeepMind)
针对潜在状态演化速率可变环境的近似推理问题,提出元强化学习方法DynaMITE-RL,通过会话建模及三项关键修改,在多领域显著提升样本效率与推理回报,优于现有基线。
2024-12-04 cs.LG
MushroomRL: Simplifying Reinforcement Learning Research
TU Darmstadt(达姆施塔特工业大学);Politecnico di Milano(米兰理工大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
MushroomRL是一个开源Python库,旨在简化强化学习(RL)实验的实现和运行过程。与其他可用的库相比,MushroomRL的创建旨在提供一个全面而灵活的框架,以最大限度地减少实现和测试新RL方法的工作量。事实上,MushroomRL的架构是以内置的方式构建的,RL问题的每个组件都已经提供,大多数时候用户只能专注于实现自己的算法和实验。其结果是一个图书馆,RL研究人员可以显着受益于他们的作品的实证分析的关键阶段。MushroomRL稳定代码、教程和文档可以在https://github.com/MushroomRL/mushroom-rl上找到。
2020-01-09 cs.LG stat.ML
Information-theoretic Task Selection for Meta-Reinforcement Learning
School of Computing(计算学院);University of Leeds(利兹大学)
在Meta-强化学习(meta-RL)中,智能体在一组任务上进行训练,以便在新的、看不见的但相关的任务中更快地准备和学习。训练任务通常是手工制作的,以代表测试任务的预期分布,因此全部用于训练。我们表明,给定一组训练任务,如果训练任务选择得当,学习可以更快,更有效(导致测试任务中更好的性能)。我们提出了一个任务选择算法,信息理论任务选择(ITTS),基于信息论,优化用于元强化学习训练的任务集,而不管它们是如何产生的。该算法确定哪些训练任务既与测试任务充分相关,又彼此足够不同。我们再现了文献中不同的元RL实验,并表明ITTS提高了所有实验的最终性能。
2021-07-01 cs.LG
Meta-Adversarial Inverse Reinforcement Learning for Decision-making Tasks
University of California, Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
示教学习在过去几年取得了很大进展。然而,它通常是数据饥饿和特定任务。换句话说,它需要大量的数据来训练一个关于特定任务的像样的模型,并且该模型通常无法推广到具有不同分布的新任务。在实践中,来自新任务的演示将被持续观察,数据可能是未标记的或仅部分标记的。因此,需要训练的模型适应具有有限数据样本的新任务。在这项工作中,我们建立了一个适应性模仿学习模型的基础上集成元学习和对抗逆强化学习(元-AIRL)。我们利用对抗学习和逆强化学习机制,从可用的训练任务中同时学习策略和奖励函数,然后使用元学习框架使其适应新任务。仿真结果表明,使用Meta-AIRL训练的自适应策略可以有效地从有限数量的演示中学习,并快速达到与未知任务专家相当的性能。
2021-03-25 cs.LG
Constrained Meta Reinforcement Learning with Provable Test-Time Safety
Sycamore Lab, EPFL, Lausanne, Switzerland(苏黎世联邦理工学院萨克森实验室,瑞士拉瓦尔)
提出一种约束元强化学习算法,在测试任务上以可证明的安全性和样本复杂度保证学习近似最优策略,并证明样本复杂度下界。
2026-05-26 cs.LG
Adversary agent reinforcement learning for pursuit-evasion
College of Engineering, Peking University(北京大学工学院);State Key Laboratory of Turbulence and Complex Systems(湍流与复杂系统国家重点实验室);The Hong Kong University of Science and Technology(香港科技大学)
提出了一种基于对手智能体的强化学习环境,用于战争迷雾环境下的追逃博弈,具有重要的科学意义和实际应用价值.最流行的学习环境之一,星际争霸,在这里采用和相关的小游戏进行分析,以确定目前的限制,训练对手的代理。的主要贡献包括分析的潜在性能的代理,将控制和微分博弈理论到特定的强化学习环境,并通过扩展当前的星际争霸迷你游戏的对手代理挑战(SAAC)环境的发展。随后的研究展示了使用这种学习环境和有效性的对手代理规避单位。总的来说,拟议的SAAC环境应该有利于追捕逃避研究与快速出现的强化学习技术。最后但同样重要的是,可以在GitHub上找到相应的教程代码。
2021-08-25 cs.AI cs.LG
Hearts Gym: Learning Reinforcement Learning as a Team Event
Forschungszentrum Jülich(于利希研究中心);RWTH Aachen University(亚琛工业大学)
在COVID-19大流行期间,本文的作者为数据科学领域的研究生院组织了一门强化学习(RL)课程。我们描述的策略和材料,尽管无处不在的变焦疲劳,创造一个令人兴奋的学习体验,并定性评估课程。关键的组织特征是专注于团队中的竞争性实践环境,并通过最少的讲座提供RL的基本背景。课程的实践部分围绕着Hearts Gym,这是我们作为RL入门教程开发的纸牌游戏Hearts的RL环境。参与者的任务是训练代理,以探索奖励塑造和其他RL超参数。为了进行最后的评估,参与者的代理人相互竞争。
2022-09-07 cs.AI cs.CY cs.LG
FinRL: A Deep Reinforcement Learning Library for Automated Stock Trading in Quantitative Finance
Columbia University(哥伦比亚大学);AI4Finance LLC.(AI4Finance有限责任公司);Ion Media Networks(Ion媒体网络公司);Imperial College(帝国理工学院);New York University (Shanghai)(上海纽约大学)
由于深度强化学习(DRL)已被公认为量化金融中的有效方法,因此获得实践经验对初学者很有吸引力。然而,要训练一个实用的日间行车灯交易代理,决定在哪里交易,以什么价格,什么数量,涉及到容易出错和艰苦的开发和调试。在本文中,我们介绍了一个DRL库FinRL,方便初学者暴露自己的量化金融,并制定自己的股票交易策略。除了易于复制的教程外,FinRL库还允许用户简化自己的开发,并轻松与现有方案进行比较。在FinRL中,虚拟环境配置有股票市场数据集,交易代理使用神经网络进行训练,并通过交易表现进行广泛的回测分析。此外,它还包括重要的交易约束,如交易成本,市场流动性和投资者的风险厌恶程度。FinRL的特点是完整性,实践教程和可重复性,有利于初学者:(i)在多个级别的时间粒度,FinRL模拟各种股票市场的交易环境,包括纳斯达克100,道琼斯工业平均指数,标准普尔500,恒生指数,上证50指数和沪深300指数;(ii)FinRL以模块化结构的分层架构组织,提供微调的最先进的DRL算法(DQN,DDPG,PPO,SAC,A2 C,TD 3等),FinRL提供了常用的奖励函数和标准的评估基线,以减轻调试工作量并提高可重复性;(iii)具有高度可扩展性,FinRL保留了一套完整的用户导入接口。此外,我们还结合了三个应用程序演示,即单一股票交易,多个股票交易和投资组合分配。FinRL库将在Github上提供,…
2022-03-02 cs.LG q-fin.TR
Federated Reinforcement Learning: Techniques, Applications, and Open Challenges
本文综述联邦强化学习(FRL),介绍其基于联邦学习提升强化学习性能并保护隐私的方法,按智能体分布分为横向与纵向两类,总结其在边缘计算、通信、控制优化和攻击检测等领域的应用,并探讨关键开放研究方向。
2021-10-24 cs.AI cs.LG
A Tutorial on Ultra-Reliable and Low-Latency Communications in 6G: Integrating Domain Knowledge into Deep Learning
University of Sydney(悉尼大学);Beihang University(北京航空航天大学);Princeton University(普林斯顿大学)
作为第五代和第六代(6 G)移动通信网络的关键通信场景之一,超可靠和低延迟通信(URLLC)将成为各种新兴关键任务应用开发的核心。现有技术的移动通信系统不满足URLLC的端到端延迟和总体可靠性要求。特别是,缺乏一个考虑延迟,可靠性,可用性,可扩展性和不确定性下的决策的整体框架。在深度神经网络的最新突破的推动下,深度学习算法被认为是在未来6 G网络中为URLLC开发使能技术的有前途的方法。本教程说明了如何将通信和网络的领域知识(模型,分析工具和优化框架)集成到URLLC的不同类型的深度学习算法中。我们首先提供URLLC的一些背景,并回顾有前途的6 G网络架构和深度学习框架。为了更好地说明如何利用领域知识改进学习算法,我们重新审视了URLLC的基于模型的分析工具和跨层优化框架。在此之后,我们研究了在URLLC中应用监督/无监督深度学习和深度强化学习的潜力,并总结了相关的开放问题。最后,我们提供模拟和实验结果,以验证不同的学习算法的有效性,并讨论未来的发展方向。
2021-01-20 cs.IT cs.LG eess.SP
An Information-Theoretic Analysis of OOD Generalization in Meta-Reinforcement Learning
Simon Fraser University(西蒙弗雷泽大学)
本文从信息论角度研究元强化学习中的分布外泛化,推导了两种分布偏移场景下的泛化界限,并分析了基于梯度的元强化学习算法的泛化性能。
2026-04-06 cs.LG stat.ML
Artificial Generals Intelligence: Mastering Generals.io with Reinforcement Learning
本文提出了基于 Generals.io 的实时策略游戏环境,兼容 Gymnasium 和 PettingZoo,并通过监督预训练与自我博弈训练出登顶人类排行榜的基线智能体,为多智能体强化学习研究提供了平台。
2025-07-10 cs.AI cs.LG
Reinforcement Learning in Practice: Opportunities and Challenges
本文是关于强化学习实践领域的温和讨论,关于机遇和挑战,涉及广泛的主题,有观点,没有技术细节。本文基于历史和最近的研究论文,调查,教程,会谈,博客,书籍,(小组)讨论和研讨会/会议。不同的读者群体,如研究人员,工程师,学生,经理,投资者,官员和想了解更多关于该领域的人,可能会发现这篇文章很有趣。在这篇文章中,我们首先简要介绍了强化学习(RL),以及它与深度学习、机器学习和AI的关系。然后,我们讨论了强化学习的机会,特别是产品和服务,游戏,强盗,推荐系统,机器人,交通,金融和经济,医疗保健,教育,组合优化,计算机系统,科学和工程。然后我们讨论了挑战,特别是1)基础,2)表示,3)奖励,4)探索,5)模型,模拟,规划和基准,6)离线/离线学习,7)学习学习a.k.a.元学习,8)可解释性和可解释性,9)约束,10)软件开发和部署,11)业务视角,以及12)更多挑战。最后,我们讨论,试图回答:“为什么RL还没有被广泛采用在实践中呢?和“RL什么时候有用?".
2022-04-22 cs.AI cs.LG
Deep reinforcement learning in medical imaging: A literature review
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Arkansas(阿肯色大学);University of Houston(休斯顿大学);INRIA, Sophia Antipolis-Mediterranean Centre(法国国家信息与自动化研究所索菲亚·安蒂波利斯地中海中心)
深度强化学习(DRL)增强了强化学习框架,它学习一系列动作,最大化预期奖励,具有深度神经网络的代表性。近年来的研究表明,DRL在医学和医疗保健领域具有巨大的潜力。本文就DRL在医学影像学中的应用作一综述。我们从DRL的全面教程开始,包括最新的无模型和基于模型的算法。然后,我们涵盖了现有的DRL应用的医学成像,这是大致分为三个主要类别:(一)参数医学图像分析任务,包括地标检测,对象/病变检测,配准,并查看平面定位;(ii)解决优化任务,包括超参数调整,选择增强策略,和神经结构搜索;以及(iii)包括手术姿势分割、个性化移动健康干预和计算模型个性化的各种应用。本文最后讨论了未来的前景。
2021-03-05 cs.CV cs.LG eess.IV
Adaptive Adversarial Training for Meta Reinforcement Learning
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);Nanyang Technological University(南洋理工大学)
Meta强化学习(MRL)使智能体能够从有限数量的过去轨迹中学习并外推到新任务。在本文中,我们试图提高MRL的鲁棒性。我们建立在模型不可知的元学习(MAML),并提出了一种新的方法来生成对抗样本的MRL使用生成对抗网络(GAN)。这使我们能够通过在Meta训练过程中利用这些攻击来增强MRL对administrator攻击的鲁棒性。
2021-04-27 cs.AI cs.LG
Meta-Learning and Meta-Reinforcement Learning -- Tracing the Path towards DeepMind's Adaptive Agent
本文针对标准机器学习难以快速适配新任务的问题,通过形式化元学习与元强化学习框架,梳理相关里程碑算法,为理解DeepMind自适应智能体等通用方法整合核心概念。
2026-04-01 cs.AI cs.LG
From self-tuning regulators to reinforcement learning and back again
University of Pennsylvania(宾夕法尼亚大学);KTH Royal Institute of Technology(瑞典皇家理工学院);Lund University(隆德大学);Google Brain(谷歌大脑)
机器和强化学习(RL)越来越多地被应用于规划和控制与物理世界交互的自治系统的行为。例子包括自动驾驶汽车、分布式传感器网络和敏捷机器人。然而,当机器学习被应用于这些新的设置时,算法最好具有控制理论的标志性的相同类型的可靠性,鲁棒性和安全界限,否则故障可能是灾难性的。因此,随着学习算法越来越积极地部署在安全关键环境中,控制理论家必须加入对话。本教程的目的是提供一个起点,控制理论家希望学习相关问题的工作,通过涵盖最近的进展桥接学习和控制理论,并将这些结果在适当的历史背景下的系统辨识和适应控制。
2019-09-22 cs.LG math.OC stat.ML
Unsupervised Meta-Learning for Reinforcement Learning
UC Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
元学习算法使用过去的经验来学习快速解决新任务。在强化学习的背景下,元学习算法通过利用来自先前任务的经验来获得强化学习过程以更有效地解决新问题。元学习算法的性能取决于可用于元训练的任务:以同样的方式,监督学习最好地推广到与训练点相同分布的测试点,元学习方法最好地推广到与元训练任务相同分布的任务。实际上,Meta强化学习将设计负担从算法设计转移到任务设计上。如果我们也能自动化任务设计的过程,我们就能设计出真正自动化的元学习算法。在这项工作中,我们在这个方向上迈出了一步,提出了一个家庭的无监督元学习算法的强化学习。我们激励和描述了无监督Meta强化学习的一般配方,并提出了这种方法的实例。我们的概念和理论贡献包括制定无监督的Meta强化学习问题,并描述如何基于互信息的任务建议可以用来训练最佳元学习者。我们的实验结果表明,无监督Meta强化学习有效地获得加速强化学习过程,而不需要手动任务设计,这些过程超过从头开始学习的性能。
2020-04-30 cs.AI cs.LG stat.ML
Deep Reinforcement Learning for Autonomous Internet of Things: Model, Applications and Challenges
物联网(IoT)将互联网连接扩展到全球数十亿个IoT设备中,其中IoT设备收集和共享信息以反映物理世界的状态。另一方面,自主控制系统(ACS)在没有外部干预的情况下在延长的时间段内对物理系统执行控制功能。物联网和ACS的融合产生了一个新的概念-自主物联网(AIoT)。传感器收集有关系统状态的信息,基于此,物联网设备中的智能代理以及边缘/雾/云服务器为执行器做出控制决策。为了实现自主性,一种有前途的方法是智能代理利用人工智能领域的技术,特别是强化学习(RL)和深度强化学习(DRL)进行决策。在本文中,我们首先提供了一个教程的DRL,然后提出了一个通用模型的RL/DRL在AIoT中的应用。接下来,对AIoT的DRL的最新研究进行了全面的调查,其中现有的工作在所提出的通用DRL模型的保护伞下进行了分类和总结。最后,确定了未来研究的挑战和开放问题。
2020-04-13 cs.LG stat.ML
Metaoptimization on a Distributed System for Deep Reinforcement Learning
NVIDIA(英伟达)
通过强化学习训练智能代理是一个众所周知的不稳定过程。GPU和分布式系统上的大规模并行化已经被用来生成大量的训练经验,从而减少不稳定性,但训练的成功仍然受到超参数选择的强烈影响。为了克服这个问题,我们介绍了HyperTrick,一种新的元优化算法,并展示了它在深度强化学习的情况下调整超参数的有效应用,同时学习在分布式系统上玩不同的Atari游戏。我们的分析提供了最优超参数的识别和学习策略之间相互作用的证据,这是深度强化学习的元优化的典型情况。与最先进的元优化算法相比,HyperTrick的特点是实现更简单,它允许学习类似的策略,同时更有效地利用分布式系统中的计算资源。
2019-02-07 cs.LG stat.ML
Hierarchical Transformers are Efficient Meta-Reinforcement Learners
University of Freiburg(弗赖堡大学);University of Technology Nuremberg(纽伦堡工业大学)
本文提出分层Transformer元强化学习方法(HTrMRL),利用过去经验提升新任务适应性与泛化能力,在Meta-World基准上超越现有最先进方法。
2024-02-09 cs.AI cs.LG
Quasi-Monte Carlo Initialization for Meta-Reinforcement Learning
Regis University(里吉斯大学)
研究元强化学习中拟蒙特卡罗权重初始化的有效性,通过多种采样方法聚合最优先验,与现代正交默认值对比,发现其在连续控制环境训练收敛上有改进,不同任务中正交方向无偏搜索更优。
2026-07-27 cs.LG math.OC
A Practical Introduction to Deep Reinforcement Learning
Southern University of Science and Technology(南方科技大学);Zhejiang University-University of Illinois Urbana-Champaign Institute(浙江大学-伊利诺伊大学厄巴纳-香槟分校联合学院)
本文面向初学者,以GPI框架统合DRL算法,并重点通过直观解释与工程实践介绍PPO,帮助读者快速掌握并实现高级深度强化学习方法。
2025-05-13 cs.AI cs.LG
MetaCURE: Meta Reinforcement Learning with Empowerment-Driven Exploration
Tsinghua University(清华大学);NetEase(网易公司)
Meta强化学习(meta-RL)从先前的任务中提取知识,并实现对新任务的快速适应。尽管最近取得了进展,但元强化学习的有效探索仍然是稀疏奖励任务中的一个关键挑战,因为它需要在元训练和适应中快速找到信息丰富的任务相关经验。为了应对这一挑战,我们明确建模的探索策略学习问题的元RL,这是从剥削策略学习分离,并引入了一种新的授权驱动的探索目标,其目的是最大限度地提高任务识别的信息增益。我们得到了相应的内在奖励,并开发了一个新的离线策略元RL框架,该框架通过共享任务推理的知识来有效地学习单独的上下文感知探索和利用策略。实验评估表明,我们的元RL方法在各种稀疏奖励MuJoCo运动任务和更复杂的稀疏奖励元世界任务上的性能显着优于最先进的基线。
2021-11-12 cs.AI cs.LG
Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling
Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
强化学习算法可以自主地获取复杂任务的策略。然而,学习一组不同的技能所需的样本数量可能非常大。虽然Meta强化学习方法使智能体能够利用先前的经验快速适应新任务,但它们的性能关键取决于新任务与先前经历的任务的接近程度。目前的方法要么不能很好地外推,要么可以以需要非常大量的数据进行策略元训练为代价。在这项工作中,我们提出了模型识别和经验重新标记(MIER),一个Meta强化学习算法,既有效,外推以及当面临的分布任务在测试时。我们的方法是基于一个简单的见解:我们认识到,动态模型可以有效地适应和一致的政策外的数据,更容易比政策和价值函数。然后,这些动态模型可以用于通过为新任务生成合成经验来继续训练分发外任务的策略和价值函数,而根本不使用Meta强化学习。
2020-06-15 cs.LG stat.ML
Applications of Deep Reinforcement Learning in Communications and Networking: A Survey
Nanyang Technological University(南洋理工大学);University of Technology Sydney(悉尼科技大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);York University(约克大学);University of Electronic Science and Technology of China(电子科技大学);Sungkyunkwan University(成均馆大学)
本文对深度强化学习在通信和网络中的应用进行了全面的文献综述。现代网络,例如,物联网(IoT)和无人机(UAV)网络变得更加分散和自主。在这样的网络中,网络实体需要在本地做出决策,以在网络环境的不确定性下最大化网络性能。强化学习已被有效地用于使网络实体能够获得最优策略,包括例如,决策或动作,当状态和动作空间很小时,给定它们的状态。然而,在复杂的大规模网络中,状态和动作空间通常很大,强化学习可能无法在合理的时间内找到最优策略。因此,已经开发了深度强化学习(强化学习与深度学习的组合)来克服这些缺点。在本调查中,我们首先给出了从基本概念到高级模型的深度强化学习教程。然后,我们回顾了为解决通信和网络中的新问题而提出的深度强化学习方法。这些问题包括动态网络接入、数据率控制、无线缓存、数据卸载、网络安全和连接保护,这些都对5G及以后的下一代网络很重要。此外,我们还介绍了深度强化学习在流量路由、资源共享和数据汇集方面的应用。最后,我们强调了应用深度强化学习的重要挑战,开放问题和未来的研究方向。
2018-10-18 cs.LG cs.NI
On the Convergence Theory of Meta Reinforcement Learning with Personalized Policies
Tianjin University(天津大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
现代Meta强化学习(Meta-RL)方法主要是基于模型无关元学习开发的,其在任务之间执行策略梯度步骤以最大化策略性能。然而,Meta-RL中的梯度冲突问题仍然知之甚少,这可能会导致性能下降时,遇到不同的任务。为了解决这一问题,提出了一种新的个性化元强化学习(pMeta-RL)算法,该算法聚合特定于任务的个性化策略来更新用于所有任务的元策略,同时在元策略约束下保持个性化策略以最大化每个任务的平均回报。我们还提供了理论分析下的表格设置,这表明我们的pMeta-RL算法的收敛性。此外,我们将所提出的pMeta-RL算法扩展到基于软演员-评论家的深度网络版本,使其适用于连续控制任务。实验结果表明,该算法在Gym和MuJoCo上的性能优于其他Meta-RL算法。
2022-09-21 cs.AI cs.LG
Meta-TTRL: A Metacognitive Framework for Self-Improving Test-Time Reinforcement Learning in Unified Multimodal Models
Tsinghua University(清华大学)
Meta-TTRL通过元认知信号实现测试时间参数优化,提升统一多模态模型的自改进能力,在文本到图像生成任务中取得显著成果。
2026-03-16 cs.AI cs.LG
Bayesian Meta-reinforcement Learning for Traffic Signal Control
Didichuxing AI Lab(滴滴出行AI实验室)
近年来,基于Meta强化学习的交通信号控制方法得到了越来越多的关注,与传统的控制方法相比,该方法具有更好的性能。然而,以往的方法缺乏鲁棒性的适应性和训练过程中的复杂情况下的稳定性,这在很大程度上限制了它在现实世界中的交通信号控制的应用。在本文中,我们提出了一种新的基于值的贝叶斯Meta强化学习框架BM-DQN鲁棒地加快学习过程中,在新的情况下,利用良好的训练先验知识从现有的情况下学习。这个框架是基于我们提出的快速适应变化,顺应EM贝叶斯元学习和快速更新的优势DQN,它允许快速适应新的情况下,持续学习能力和鲁棒性的不确定性。限制二维导航和交通信号控制的实验表明,我们提出的框架适应更快,更强大的新的场景比以前的方法,特别是更好的持续学习能力在异构场景。
2021-10-22 cs.LG stat.ML
Provable Hierarchy-Based Meta-Reinforcement Learning
Princeton University(普林斯顿大学)
分层强化学习(HRL)作为一种复杂模块化行为的易处理学习方法受到了广泛的关注。然而,现有的工作要么假设访问专家构造的层次结构,或使用层次学习算法,没有可证明的保证。为了解决这一差距,我们分析了元RL设置中的HRL,其中学习者在元训练期间学习潜在的层次结构,用于下游任务。我们考虑一个表格设置,自然的层次结构嵌入在过渡动态。类似于有监督的元学习理论,我们提供了“多样性条件”,连同一个易于处理的基于乐观主义的算法,保证样本有效的恢复这个自然的层次结构。此外,我们提供了后悔界限上的学习者使用恢复的层次结构来解决元测试任务。我们的界限纳入了HRL文献中的常见概念,如时间和状态/动作抽象,这表明我们的设置和分析在实践中捕捉到了HRL的重要特征。
2021-10-18 cs.LG stat.ML
ModelLight: Model-Based Meta-Reinforcement Learning for Traffic Signal Control
McGill University(麦吉尔大学);York University(约克大学)
交通信号控制对于交通基础设施的有效利用至关重要。车辆流量的迅速增加和交通模式的变化使得交通信号控制越来越具有挑战性。基于强化学习(RL)的算法在交通信号控制中表现出了其潜力。然而,大多数现有的解决方案需要大量的训练数据,这对于许多现实世界的场景是不可接受的。提出了一种新的基于模型的交通信号控制Meta强化学习框架(ModelLight)。在ModelLight中,道路交叉口模型的集合和基于优化的元学习方法用于提高基于RL的交通灯控制方法的数据效率。在真实世界数据集上的实验表明,ModelLight可以超越最先进的交通灯控制算法,同时大大减少与真实世界环境的交互次数。
2021-12-06 cs.LG eess.SP