Stochastic Dynamic Power Dispatch with High Generalization and Few-Shot Adaption via Contextual Meta Graph Reinforcement Learning
South China University of Technology（华南理工大学）；Fuzhou University（福州大学）
针对多元不确定性下实时多阶段随机电力调度策略泛化差、难适应新场景的问题，提出上下文 Meta-GRL，通过元学习与图表示实现少样本快速适配。
2024-01-19 cs.LG cs.SY eess.SY
UAV aided Metaverse over Wireless Communications: A Reinforcement Learning Approach
Nanyang Technological University（南洋理工大学）；University of North Texas（北德克萨斯大学）
Metaverse有望在5G高数据速率通信技术的支持下，创造一个与现实紧密相连的虚拟世界，为用户提供身临其境的体验。物理世界中的大量数据需要同步到虚拟世界，为用户提供沉浸式体验，并且将更多用户纳入Metaverse对覆盖率提出更高要求。然而，5G信号遭受严重衰减，这使得维持相同覆盖范围的成本更高。无人机（UAV）是未来实现Metaverse作为低成本和高移动性通信设备平台的一种有前途的候选技术。本文提出了一种基于最近策略优化（PPO）的双智能体协同强化学习方法，用于无人机的信道分配和轨迹控制，实现从物理世界到虚拟世界的数据收集和同步，经济地扩大Metaverse服务的覆盖范围。仿真结果表明，我们提出的方法是能够实现更好的性能相比，基准方法。
2023-01-04 cs.LG cs.SY eess.SY
Reinforcement Learning for Dynamic Resource Optimization in 5G Radio Access Network Slicing
Virginia Tech（弗吉尼亚理工大学）；Intelligent Automation, Inc.（智能自动化公司）
本文提出了一种用于5G无线电接入网络切片的动态资源分配的强化学习解决方案。可用的通信资源（频率-时间块和发射功率）和计算资源（处理器使用）被分配给随机到达的网络切片请求。每个请求都有优先级（权重）、吞吐量、计算资源和延迟（最后期限）要求，如果可行，则在其请求的持续时间内分配可用的通信和计算资源。由于资源分配的每个决策使得一些资源暂时不可用于将来，因此仅可以优化当前资源分配的短视解决方案对于网络切片变得无效。因此，提出了一种Q-学习解决方案，以最大限度地提高网络效用，即在通信和计算约束的情况下，在一个时间范围内授予网络切片请求的总权重。结果表明，相对于短视、随机和先到先得的解决方案，强化学习在5G网络效用方面提供了重大改进。虽然强化学习随着服务用户数量的增加而保持可扩展的性能，但当5G需要与可能动态占用一些频率-时间块的现任用户共享频谱时，它也可以有效地用于向网络切片分配资源。
2020-09-14 cs.LG cs.NI
Unsupervised Meta-Learning for Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
元学习算法使用过去的经验来学习快速解决新任务。在强化学习的背景下，元学习算法通过利用来自先前任务的经验来获得强化学习过程以更有效地解决新问题。元学习算法的性能取决于可用于元训练的任务：以同样的方式，监督学习最好地推广到与训练点相同分布的测试点，元学习方法最好地推广到与元训练任务相同分布的任务。实际上，Meta强化学习将设计负担从算法设计转移到任务设计上。如果我们也能自动化任务设计的过程，我们就能设计出真正自动化的元学习算法。在这项工作中，我们在这个方向上迈出了一步，提出了一个家庭的无监督元学习算法的强化学习。我们激励和描述了无监督Meta强化学习的一般配方，并提出了这种方法的实例。我们的概念和理论贡献包括制定无监督的Meta强化学习问题，并描述如何基于互信息的任务建议可以用来训练最佳元学习者。我们的实验结果表明，无监督Meta强化学习有效地获得加速强化学习过程，而不需要手动任务设计，这些过程超过从头开始学习的性能。
2020-04-30 cs.AI cs.LG stat.ML
An Information-Theoretic Analysis of OOD Generalization in Meta-Reinforcement Learning
Simon Fraser University（西蒙弗雷泽大学）
本文从信息论角度研究元强化学习中的分布外泛化，推导了两种分布偏移场景下的泛化界限，并分析了基于梯度的元强化学习算法的泛化性能。
2026-04-06 cs.LG stat.ML
Robust Meta-Reinforcement Learning with Curriculum-Based Task Sampling
Hitachi, Ltd.（日立有限公司）
Meta-强化学习（meta-RL）获取在宽任务分布中对任务表现出良好性能的元策略。然而，传统的元RL通过随机采样任务来学习元策略，据报道，它对某些任务表现出元过拟合，特别是对于代理可以轻松获得高分的简单任务。为了减少元过拟合的影响，我们考虑了基于任务抽样的元RL。我们的方法是鲁棒Meta强化学习与引导任务采样（RMRL-GTS），这是一个有效的方法，限制基于分数和时代的任务采样。我们表明，为了实现强大的元RL，它不仅是必要的，以集中的样本得分低的任务，但也要限制和扩大任务区域的任务进行采样。
2022-03-31 cs.LG
Complementary Meta-Reinforcement Learning for Fault-Adaptive Control
Vanderbilt University（范德堡大学）
故障是所有系统所特有的。自适应容错控制在故障发生时保持降级的性能，而不是不安全的条件或灾难性事件。在具有突发故障和严格时间约束的系统中，控制必须快速适应系统变化以维持系统运行。我们提出了一种Meta强化学习方法，可以快速调整其控制策略以适应不断变化的条件。该方法建立在模型不可知的元学习（MAML）。控制器保持在系统故障下学习的先前策略的补充。这个“库”在新故障发生后在系统上进行评估，以初始化新策略。这与MAML相反，MAML中的控制器重新导出中间策略，从类似系统的分布中采样，以初始化新策略。我们的方法提高了强化学习过程的样本效率。我们评估我们的方法在飞机燃油输送系统的突发故障。
2020-09-26 cs.LG cs.SY eess.SY
Meta-Reinforcement Learning Using Model Parameters
Ariel University（阿里埃勒大学）
在Meta强化学习中，代理在多个不同的环境中进行训练，并尝试学习可以有效适应新环境的元策略。本文提出了RAMP，一个强化学习代理使用模型参数，利用的思想，一个神经网络训练预测环境动态封装的环境信息。RAMP的构建分为两个阶段：在第一阶段，学习多环境参数化动力学模型。在第二阶段，动态模型的模型参数被用作无模型强化学习代理的多环境策略的上下文。
2022-10-27 cs.LG
Dynamic Multichannel Access via Multi-agent Reinforcement Learning: Throughput and Fairness Guarantees
Hanyang University（汉阳大学）
我们考虑一个多信道随机接入系统，其中每个用户在每个时隙访问一个单一的信道与接入点（AP）进行通信。用户随机到达系统，并在一定的时隙内被激活，然后从系统中消失。在这样的动态网络环境下，我们提出了一个分布式多通道接入协议的基础上，多代理强化学习（RL），以提高吞吐量和活跃用户之间的公平性。与以前的方法调整信道接入概率在每个时隙，建议RL算法确定性地选择一组信道接入策略，为几个连续的时隙。为了有效地降低所提出的RL算法的复杂性，我们采用了分支决斗Q网络架构，并提出了一种有效的训练方法，用于在时变用户集上产生适当的Q值。我们进行了广泛的模拟现实的交通环境，并证明了所提出的在线学习提高了吞吐量和公平性相比，传统的RL方法和集中式调度策略。
2021-05-10 cs.LG eess.SP
Towards Multi-agent Reinforcement Learning for Wireless Network Protocol Synthesis
Michigan State University（密歇根州立大学）
提出了一种基于多智能体强化学习的无线网络介质访问框架。接入问题被公式化为马尔可夫决策过程（MDP），并使用强化学习解决，每个网络节点充当分布式学习代理。解决方案组件是逐步开发的，从一个节点接入的情况下，节点代理逐步学习控制MAC层的数据包负载，以控制自冲突。然后，通过使用更精细的奖励结构，将该策略扩展到多节点完全连接的场景。它也证明了更一般的部分连接拓扑的初步可行性。结果表明，通过学习调整MAC层传输概率，该协议不仅能够在最佳负载下达到理论最大吞吐量，而且与经典方法不同，它还可以在较高的负载条件下保持最大吞吐量。此外，该机制在保留该特性的同时对异构加载是不可知的。它还表明，跨节点的协议的访问优先级可以参数调整。最后，它也表明，强化学习的在线学习功能是能够使协议适应时变负载条件。
2021-02-02 cs.AI cs.LG cs.SY
Scalable Deep Reinforcement Learning for Routing and Spectrum Access in Physical Layer
University of Toronto（多伦多大学）
提出了一种新的可扩展强化学习方法，用于无线自组织网络中同时路由和频谱接入。在以前大多数关于网络优化的强化学习的工作中，假设网络拓扑是固定的，并且为每个传输节点训练不同的代理-这限制了可扩展性和可推广性。此外，路由和频谱接入通常被视为单独的任务。此外，优化目标通常是沿着路线的累积度量，例如，跳数或延迟。在本文中，我们考虑了无线网络中的物理层信号与干扰加噪声比（SINR），并进一步表明，瓶颈目标，如沿路由的最小SINR，也可以使用强化学习进行有效优化。具体来说，我们提出了一个可扩展的方法，其中一个单一的代理与每个流，使路由和频谱访问决策，因为它沿着边界节点移动。该代理是根据环境的物理层特性进行训练，使用一种新的奖励计划的基础上的未来瓶颈SINR的蒙特卡罗估计。它通过基于相邻节点的地理位置信息智能地做出联合路由和频谱分配决策来学习避免干扰。
2021-09-15 cs.AI cs.LG cs.MA
Adversarial Reinforcement Learning in Dynamic Channel Access and Power Control
Syracuse University（雪城大学）
深度强化学习（DRL）近来已被用于在无线通信中执行高效的资源分配。在本文中，这样的DRL代理对抗攻击的脆弱性进行了研究。特别是，我们考虑多个DRL代理，在无线干扰信道中执行动态信道接入和功率控制。对于这些受害DRL代理，我们设计了一个干扰器，这也是一个DRL代理。我们提出了一种对抗性干扰攻击方案，利用监听阶段，显着降低用户的和速率。随后，我们开发了一个集成的政策防御策略，对这样的干扰攻击者重新加载模型（保存在重新训练），具有最小的过渡相关性。
2021-05-12 cs.IT cs.LG math.IT
Actor-Critic Deep Reinforcement Learning for Dynamic Multichannel Access
Syracuse University（雪城大学）
我们认为动态多信道接入问题，这可以制定为一个部分可观测马尔可夫决策过程（POMDP）。我们首先提出了一个无模型的演员-评论家深度强化学习为基础的框架，探索感测政策。为了评估所提出的感知策略和框架对不确定性的容忍度的性能，我们测试了不同信道切换模式的情况下的框架，并考虑不同的切换概率。然后，我们考虑了一个时变的环境，以确定所提出的框架的自适应能力。此外，我们在平均奖励和时间效率方面与[1]中提出的基于Deep-Q网络（DQN）的框架进行了比较。
2018-10-08 cs.IT cs.LG math.IT
Distributed Edge Caching via Reinforcement Learning in Fog Radio Access Networks
Southeast University（东南大学）；Xidian University（西安电子科技大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Oulu（奥卢大学）；University of Manchester（曼彻斯特大学）；Harbin Institute of Technology（哈尔滨工业大学）
研究了雾天无线接入网中的分布式边缘缓存问题。考虑时空内容流行度和用户偏好的未知性，提出了一种基于隐马尔可夫过程的用户请求模型，以刻画F-RAN中时空业务需求的波动性.然后，提出了基于强化学习（RL）框架的Q学习方法，以分布式方式寻求最优缓存策略，使雾接入点（F-AP）能够在不增加额外通信开销的情况下学习和跟踪潜在的动态过程。此外，我们提出了一个更有效的Q-学习方法与价值函数近似（Q-VFA-learning），以降低复杂性和加速收敛。仿真结果表明，该方法的性能优于传统方法。
2019-02-27 cs.LG cs.NI stat.ML
A Deep Actor-Critic Reinforcement Learning Framework for Dynamic Multichannel Access
Syracuse University（雪城大学）
为了有效利用有限的频谱资源，我们在这项工作中提出了一个基于深度演员批评者强化学习的动态多通道访问框架。我们考虑一个单用户的情况下，多个用户试图同时访问通道的情况。我们采用该框架作为一个单一的代理在单用户的情况下，并将其扩展到一个分散的多代理框架中的多用户的情况下。在这两种情况下，我们都开发了演员-评论家深度强化学习的算法，并通过实验和数值结果评估了所提出的学习策略。在单用户模型中，为了评估所提出的信道访问策略的性能和框架对不确定性的容忍度，我们探索了不同的信道切换模式和不同的切换概率。在多用户的情况下，我们分析了每个用户接入信道的概率与有利的信道条件和碰撞的概率。我们还解决了一个随时间变化的环境，以确定所提出的框架的适应能力。此外，我们提供了所提出的演员-评论家深度强化学习框架，基于Deep-Q网络（DQN）的方法，随机访问和信道动态已知时的最佳策略之间的比较（在平均奖励和时间效率方面）。
2019-08-20 cs.IT cs.LG math.IT
Coordinated Random Access for Industrial IoT With Correlated Traffic By Reinforcement-Learning
University of Padova（帕多瓦大学）
我们提出了一种用于工业物联网（IIoT）场景的协调随机接入方案，其中机器类型设备（MTD）生成零星的相关流量。这发生在，例如，当外部事件同时触发多个MTD的数据生成时。时间被划分为帧，每个帧被划分为时隙，并且每个MTD随机选择一个时隙用于（重传）传输，其中概率密度函数（PDF）特定于MTD和当前重传的数量。PDF被局部优化以最小化分组冲突的概率。优化问题被建模为一个重复的马尔可夫博弈与不完全信息，和线性奖励不作为算法用于在每个MTD，可证明收敛到一个确定性的（次优）时隙分配。我们比较我们的解决方案与时隙ALOHA和最小最大成对相关随机接入方案，表明我们的方法实现了较高的网络吞吐量与中等的流量强度。
2021-09-17 cs.LG cs.MA cs.NI
Meta-Reinforcement Learning for Building Energy Management System
McGill University（麦吉尔大学）；Hydro-Québec Research Institute（水电公司研究机构）
本文提出MetaEMS，一种基于元强化学习的建筑能耗管理系统，通过知识迁移提升学习效率，实现快速适应和高效控制。
2025-12-16 cs.AI cs.LG cs.SY
Adaptive Adversarial Training for Meta Reinforcement Learning
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）；Nanyang Technological University（南洋理工大学）
Meta强化学习（MRL）使智能体能够从有限数量的过去轨迹中学习并外推到新任务。在本文中，我们试图提高MRL的鲁棒性。我们建立在模型不可知的元学习（MAML），并提出了一种新的方法来生成对抗样本的MRL使用生成对抗网络（GAN）。这使我们能够通过在Meta训练过程中利用这些攻击来增强MRL对administrator攻击的鲁棒性。
2021-04-27 cs.AI cs.LG
Sparsity-Aware Intelligent Massive Random Access Control in Open RAN: A Reinforcement Learning Based Approach
Xiamen University（厦门大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
新兴的开放无线接入网（O-RAN）中设备的大规模随机接入给接入控制和管理带来了巨大的挑战。稀疏主动用户检测（SAUD）利用访问请求的突发性，是实现高效访问管理的有效手段，但在不协调的大规模访问请求情况下，稀疏性可能会恶化。为了动态地保持接入请求的稀疏性，提出了一种利用接入类别限制技术的闭环接入控制的重复学习（RL）辅助方案，其中RL策略通过RL代理之间的连续交互来确定，即，下一代节点库（gNB）和环境。所提出的方案可以通过O-RAN中的近实时RAN智能控制器（near-RT RIC）来实现，支持异构垂直应用（例如mMTC和uRLLC服务）之间的快速切换。此外，提出了一种数据驱动的深度强化学习辅助SAUD方案，以解决具有连续和高维状态和动作空间的高度复杂环境，其中重放缓冲区用于自动大规模数据汇集。一个行动者-评论家框架制定纳入近RT RIC的策略学习模块。仿真结果表明，对于不同的异构服务和海量接入请求，所提方案在接入效率和用户检测准确率方面均优于基准方案.
2023-03-05 cs.AI cs.IT cs.LG
Improving Generalization in Meta Reinforcement Learning using Learned Objectives
The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）；USI（瑞士意大利语区大学）；SUPSI（瑞士南方应用科技大学）
生物进化已经将许多学习者的经验提炼成人类的通用学习算法。我们的新型Meta强化学习算法MetaGenRL就是受到这个过程的启发。MetaGenRL提取了许多复杂智能体的经验，以元学习一个低复杂度的神经目标函数，决定未来的个体将如何学习。与最近的元RL算法不同，MetaGenRL可以推广到与元训练完全不同的新环境。在某些情况下，它甚至优于人类工程RL算法。MetaGenRL在元训练期间使用非策略二阶梯度，这大大提高了其样本效率。
2020-02-14 cs.AI cs.LG cs.NE
Meta-Learning and Meta-Reinforcement Learning -- Tracing the Path towards DeepMind's Adaptive Agent
本文针对标准机器学习难以快速适配新任务的问题，通过形式化元学习与元强化学习框架，梳理相关里程碑算法，为理解DeepMind自适应智能体等通用方法整合核心概念。
2026-04-01 cs.AI cs.LG
Continual Meta-Reinforcement Learning for UAV-Aided Vehicular Wireless Networks
University of Bologna（博洛尼亚大学）；King’s College London（伦敦国王学院）
无人空中基站（UABS）可以部署在车载无线网络中，以支持诸如通过车联网（V2X）服务的扩展感测等应用。在这样的系统中的一个关键问题是设计算法，可以有效地优化轨迹的UABS，以最大限度地提高覆盖率。在现有的解决方案中，通常通过传统的强化学习（RL），对于任何新的业务配置从头开始执行这种优化。在本文中，我们建议使用连续元RL作为一种手段，将信息从以前经历的交通配置转移到新的条件下，目标是减少优化UABS的政策所需的时间。采用连续Meta策略搜索（CoMPS）策略，我们证明了显着的效率提高相比，传统的RL，以及天真的迁移学习方法。
2022-10-05 cs.LG cs.NI
Deep Episodic Value Iteration for Model-based Meta-Reinforcement Learning
Stanford University（斯坦福大学）
我们提出了一个新的深度Meta强化学习器，我们称之为深度情节值迭代（DEVI）。DEVI使用深度神经网络来学习基于非参数模型的强化学习算法的相似性度量。我们的模型通过反向传播进行端到端训练。尽管使用无模型Q学习目标进行训练，我们表明，DEVI的基于模型的内部结构提供了“一次性”转移到奖励和过渡结构的变化，即使是非常高维的状态空间的任务。
2017-05-09 cs.AI cs.LG stat.ML
Combining Contention-Based Spectrum Access and Adaptive Modulation using Deep Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
将未授权频谱用于蜂窝系统以缓解频谱稀缺性已经导致了对频谱接入的智能自适应方法的发展，该方法改进了传统的载波侦听和通话前监听方法。我们研究了分散的基于竞争的介质接入的基站（BS）的一个单一的无线接入技术（RAT）的非授权共享频谱上工作。我们设计了一个分布式的深度强化学习为基础的竞争和自适应调制算法，建模的两个状态马尔可夫决策过程，试图最大限度地提高网络范围的下行链路吞吐量的目标。从经验上讲，我们发现（比例公平）奖励累积的政策梯度的方法是显着高于甚至基因辅助自适应能量检测阈值。我们的方法进一步验证了提高和峰值吞吐量。我们的方法，以大型网络的可扩展性证明了通过改进的累积奖励获得大量的BS的室内和室外布局。
2023-03-10 cs.LG eess.SP
Meta-Reinforcement Learning with Universal Policy Adaptation: Provable Near-Optimality under All-task Optimum Comparator
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出一种用于元强化学习的双层优化框架BO-MRL，通过一次数据收集实现多步策略优化以学习元先验，并提供了期望最优性差距上界的理论分析与实证验证。
2024-10-13 cs.LG
Deep Reinforcement Learning Based Multi-Access Edge Computing Schedule for Internet of Vehicle
Muroran Institute of Technology（室兰工业大学）
随着智能交通系统的广泛应用，无人驾驶汽车（UAV）可以辅助地面基站作为多址边缘计算（MEC）为车联网（IoV）提供更好的无线网络通信，我们提出了一种无人驾驶汽车辅助的方法来帮助提供更好的无线网络服务，同时保持车道上车联网汽车的最大体验质量（QoE）。在本文中，我们提出了一种多智能体图卷积深度强化学习（M-AGCDRL）算法，该算法将每个智能体的局部观察与低分辨率全局地图作为输入来学习每个智能体的策略。在图注意力网络中，智能体可以与其他智能体共享信息，从而形成有效的联合策略。仿真结果表明，M-AGCDRL方法能够实现更好的物联网QoE，并取得良好的性能。
2022-02-15 cs.AI cs.LG
HMRL: Hyper-Meta Learning for Sparse Reward Reinforcement Learning Problem
East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）；Georgia Institute of Technology（佐治亚理工学院）
尽管现有的Meta强化学习方法取得了成功，但它们仍然难以有效地学习稀疏奖励的强化学习问题的Meta策略。在这方面，我们开发了一种新的元强化学习框架称为超Meta RL（HMRL），稀疏奖励RL问题。该方法由三个模块组成：跨环境Meta状态嵌入模块，构建了一个通用的Meta状态空间，以适应不同环境;基于Meta状态的环境特定Meta奖励塑造模块，通过跨环境知识互补有效地扩展了原稀疏奖励轨迹，从而使Meta策略具有更好的泛化性和有效性。稀疏奖励环境下的实验表明，HMRL的可移植性和策略学习效率的优越性。
2021-06-05 cs.AI cs.LG stat.ML
Molecular Design in Synthetically Accessible Chemical Space via Deep Reinforcement Learning
InVivo AI；Mila（米拉）；Université de Montréal（蒙特利尔大学）
生成性药物设计的基本目标是提出满足预定义活性、选择性和药代动力学标准的优化分子。尽管最近的进展，我们认为，现有的生成方法是有限的，在优化过程中，他们的能力有利地改变分子特性的分布。相反，我们提出了一种用于分子设计的新型强化学习框架，其中代理学习通过合成可访问的药物样分子空间直接优化。通过将马尔可夫决策过程中的过渡定义为化学反应，这成为可能，并允许我们利用合成路线作为归纳偏差。我们验证了我们的方法，证明它优于现有的最先进的方法在药理学相关的目标的优化，而多目标优化任务的结果表明，现实的药物设计问题的可扩展性增加。
2020-10-16 cs.LG physics.chem-ph stat.ML
A Brief Look at Generalization in Visual Meta-Reinforcement Learning
Mila - McGill University（米拉 - 麦吉尔大学）；Google DeepMind（谷歌DeepMind）
由于认识到在高维任务上训练的深度强化学习算法可以强烈过拟合其训练环境，因此已经有几项研究调查了这些算法的泛化性能。然而，还没有类似的研究评估专门为泛化设计的算法的泛化性能，即Meta强化学习算法。在本文中，我们评估这些算法的泛化性能，利用高维，程序生成的环境。我们发现，这些算法可以显示强大的过拟合时，他们具有挑战性的任务进行评估。我们还观察到，在当前的许多Meta强化学习算法中，具有稀疏奖励的高维任务的可扩展性仍然是一个重大问题。有了这些结果，我们强调了开发既可以推广又可以扩展的Meta强化学习算法的必要性。
2020-07-03 cs.AI cs.LG stat.ML
Constrained Deep Reinforcement Learning for Energy Sustainable Multi-UAV based Random Access IoT Networks with NOMA
Illinois Institute of Technology（伊利诺伊理工学院）；Argonne National Laboratory（阿贡国家实验室）
在本文中，我们应用非正交多址（NOMA）技术来改善无线物联网网络的大规模信道接入，其中太阳能无人机（UAV）将数据从物联网设备中继到远程服务器。具体地，IoT设备使用自适应$p$ -持久时隙Aloha协议来竞争接入共享无线信道;并且太阳能无人机采用连续干扰消除（SIC）来解码来自IoT设备的多个接收数据以提高接入效率。为了实现能量可持续的容量优化网络，我们研究了动态多无人机高度控制和物联网设备的多小区无线信道接入管理的联合问题，作为具有多个能量约束的随机控制问题。为了学习最优控制策略，我们首先将此问题表示为约束马尔可夫决策过程（CMDP），并提出一种基于拉格朗日原对偶策略优化的在线无模型约束深度强化学习（CDRL）算法来求解CMDP。大量的仿真结果表明，我们提出的算法学习无人机之间的合作策略，其中无人机的高度和物联网设备的信道接入概率是动态和联合控制，以获得最大的长期网络容量，同时保持能量的可持续性的无人机。所提出的算法优于基于深度RL的解决方案与奖励塑造占能源成本，并实现了时间平均系统容量，这是$82.4\%$高于一个可行的基于DRL的解决方案，只有$6.47\%$低于能量约束的系统。
2020-02-05 cs.LG cs.NI eess.SP
On First-Order Meta-Reinforcement Learning with Moreau Envelopes
Rice University（莱斯大学）
本研究在策略梯度框架下提出MEMRL算法，利用Moreau包络正则化高效更新策略参数，实现元策略对新任务的快速适应，并证明了其在非凸优化下的次线性收敛速率及多任务导航中的有效性。
2023-05-20 cs.AI cs.LG cs.RO
Metaoptimization on a Distributed System for Deep Reinforcement Learning
NVIDIA（英伟达）
通过强化学习训练智能代理是一个众所周知的不稳定过程。GPU和分布式系统上的大规模并行化已经被用来生成大量的训练经验，从而减少不稳定性，但训练的成功仍然受到超参数选择的强烈影响。为了克服这个问题，我们介绍了HyperTrick，一种新的元优化算法，并展示了它在深度强化学习的情况下调整超参数的有效应用，同时学习在分布式系统上玩不同的Atari游戏。我们的分析提供了最优超参数的识别和学习策略之间相互作用的证据，这是深度强化学习的元优化的典型情况。与最先进的元优化算法相比，HyperTrick的特点是实现更简单，它允许学习类似的策略，同时更有效地利用分布式系统中的计算资源。
2019-02-07 cs.LG stat.ML
Hierarchical Transformers are Efficient Meta-Reinforcement Learners
University of Freiburg（弗赖堡大学）；University of Technology Nuremberg（纽伦堡工业大学）
本文提出分层Transformer元强化学习方法（HTrMRL），利用过去经验提升新任务适应性与泛化能力，在Meta-World基准上超越现有最先进方法。
2024-02-09 cs.AI cs.LG
Quasi-Monte Carlo Initialization for Meta-Reinforcement Learning
Regis University（里吉斯大学）
研究元强化学习中拟蒙特卡罗权重初始化的有效性，通过多种采样方法聚合最优先验，与现代正交默认值对比，发现其在连续控制环境训练收敛上有改进，不同任务中正交方向无偏搜索更优。
2026-07-27 cs.LG math.OC
Using Meta Reinforcement Learning to Bridge the Gap between Simulation and Experiment in Energy Demand Response
University of California, Berkeley（加州大学伯克利分校）
我们的团队建议在办公楼中进行全面的能源需求响应实验。虽然这是一项令人兴奋的努力，将为社区提供价值，但为强化学习代理收集训练数据的成本很高，而且会受到限制。在这项工作中，我们应用元学习架构来热启动模拟任务的实验，以提高样本效率。我们目前的结果表明，类似的一步，在复杂性仍然对应于更好的学习。
2021-05-17 cs.LG
Heterogeneous Multi-Agent Reinforcement Learning for Distributed Channel Access in WLANs
National Mobile Communications Research Laboratory, Southeast University（东南大学国家移动通信研究中心）；Purple Mountain Laboratories（紫金山实验室）；College of Electronics and Information Engineering, Shenzhen University（深圳大学电子与信息工程学院）；Wireless Technology Lab, 2012 Laboratories, Huawei Technologies Company Ltd.（华为技术有限公司无线技术实验室）；ITP Lab, the Department of Electrical and Electronic Engineering, Imperial College London（伦敦帝国理工学院电子与电气工程系ITP实验室）
针对无线局域网分布式信道接入问题，提出异构多智能体强化学习框架QPMIX，采用集中训练分布执行范式，理论证明线性值函数逼近下的收敛性，仿真验证其在多类流量场景下性能优于传统CSMA/CA且兼容性好。
2025-06-12 cs.AI cs.LG cs.NI
MetaCURE: Meta Reinforcement Learning with Empowerment-Driven Exploration
Tsinghua University（清华大学）；NetEase（网易公司）
Meta强化学习（meta-RL）从先前的任务中提取知识，并实现对新任务的快速适应。尽管最近取得了进展，但元强化学习的有效探索仍然是稀疏奖励任务中的一个关键挑战，因为它需要在元训练和适应中快速找到信息丰富的任务相关经验。为了应对这一挑战，我们明确建模的探索策略学习问题的元RL，这是从剥削策略学习分离，并引入了一种新的授权驱动的探索目标，其目的是最大限度地提高任务识别的信息增益。我们得到了相应的内在奖励，并开发了一个新的离线策略元RL框架，该框架通过共享任务推理的知识来有效地学习单独的上下文感知探索和利用策略。实验评估表明，我们的元RL方法在各种稀疏奖励MuJoCo运动任务和更复杂的稀疏奖励元世界任务上的性能显着优于最先进的基线。
2021-11-12 cs.AI cs.LG
Meta-Reinforcement Learning via Evolution for Multi-Objective Combinatorial Supply Chain Optimisation
The University of Manchester（曼彻斯特大学）；Peak AI, Ltd（Peak AI有限公司）
提出一种结合分解与进化搜索的群体元强化学习框架，通过维护权重向量群体并迭代优化，生成多样且分布均匀的帕累托前沿近似，在多目标供应链优化中超体积提升高达32%。
2026-06-23 cs.LG
Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）
强化学习算法可以自主地获取复杂任务的策略。然而，学习一组不同的技能所需的样本数量可能非常大。虽然Meta强化学习方法使智能体能够利用先前的经验快速适应新任务，但它们的性能关键取决于新任务与先前经历的任务的接近程度。目前的方法要么不能很好地外推，要么可以以需要非常大量的数据进行策略元训练为代价。在这项工作中，我们提出了模型识别和经验重新标记（MIER），一个Meta强化学习算法，既有效，外推以及当面临的分布任务在测试时。我们的方法是基于一个简单的见解：我们认识到，动态模型可以有效地适应和一致的政策外的数据，更容易比政策和价值函数。然后，这些动态模型可以用于通过为新任务生成合成经验来继续训练分发外任务的策略和价值函数，而根本不使用Meta强化学习。
2020-06-15 cs.LG stat.ML
Neuro-symbolic Meta Reinforcement Learning for Trading
APPCAIR, BITS Pilani K.K. Birla Goa Campus（BITS Pilani K.K. Birla Goa校区APPCAIR）；TCS Research（塔塔咨询服务研究部）；IIT Delhi（印度理工学院德里分校）
我们在金融市场中的短期（如日）交易模型作为一个连续的决策问题的不确定性下，与不断的概念漂移增加的复杂性。因此，我们通过RL2算法采用Meta强化学习。人们还知道，人类交易者经常依赖于价格序列中频繁出现的符号模式。我们采用逻辑程序归纳来发现频繁出现的符号模式，以及最近，并探讨使用这些功能是否提高了我们的Meta强化学习算法的性能。我们报告了在真实数据上的实验，表明元RL比香草RL更好，并且也受益于学习的符号特征。
2023-01-15 cs.AI cs.LG cs.LO
Model-based Meta Reinforcement Learning using Graph Structured Surrogate Models
University of Amsterdam（阿姆斯特丹大学）
强化学习是解决序列决策问题的一种很有前途的范式，但数据效率低和跨任务泛化能力弱是现实应用中的瓶颈。基于模型的Meta强化学习通过学习动态和利用来自先前经验的知识来解决这些问题。在本文中，我们仔细研究了这个框架，并提出了一个新的基于爱普生采样的方法，该方法包括一个新的模型来识别任务动态以及摊销策略优化步骤。我们表明，我们的模型，称为图结构的代理模型（GSSM），优于国家的最先进的方法在预测环境动态。此外，我们的方法是能够获得高回报，同时允许在部署过程中快速执行，避免测试时间策略梯度优化。
2021-02-16 cs.LG
Constrained Meta Agnostic Reinforcement Learning
KIT Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；FZI Research Center for Information Technology（FZI信息技术研究中心）
针对元强化学习策略在现实应用中难平衡快速适配与环境约束的问题，提出融合元学习与约束优化的C-MAML方法，训练时纳入任务特定约束以生成更安全的初始参数，在不同复杂度轮式机器人模拟运动任务中验证了有效性与鲁棒性。
2024-06-20 cs.LG
MAMBA: an Effective World Model Approach for Meta-Reinforcement Learning
Technion（以色列理工学院）
提出基于世界模型的元强化学习方法MAMBA，在常见基准上以更高样本效率（高达15倍）获得更高回报，并拓展到高维领域。
2024-03-14 cs.LG
MGHRL: Meta Goal-generation for Hierarchical Reinforcement Learning
Tianjin University（天津大学）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）
大多数Meta强化学习（meta-RL）方法通过直接优化原始动作空间上的策略参数来学习适应新任务。这样的算法在具有相对微小差异的任务中工作得很好。然而，当任务分布变得更宽时，直接学习这样的元策略将是非常低效的。在本文中，我们提出了一个新的元强化学习算法称为Meta Goal-generation for Hierarchical RL（MGHRL）。MGHRL不是直接在原始动作空间上为新任务生成策略，而是根据过去的经验在子目标上生成高级Meta策略，并将如何实现子目标的其余部分作为独立的RL子任务。我们在几个具有挑战性的模拟机器人环境中的经验结果表明，我们的方法可以从过去的经验中进行更有效和更广泛的元学习。
2020-03-04 cs.AI cs.LG stat.ML
Curriculum in Gradient-Based Meta-Reinforcement Learning
Université de Montréal（蒙特利尔大学）；Mila（米拉）；Polytechnique Montréal（蒙特利尔综合理工学院）；CIFAR AI Chair（加拿大高级研究院人工智能主席）
诸如模型不可知元学习（MAML）之类的基于约束的元学习器在监督和强化学习设置中表现出强大的Few-Shot性能。然而，特别是在Meta强化学习（元RL）的情况下，我们可以证明，基于梯度的元学习器是敏感的任务分布。在错误的课程中，代理遭受元过拟合，浅适应和适应不稳定的影响。在这项工作中，我们首先强调了基于梯度的元RL的有趣的失败案例，并表明任务分布可以广泛地影响算法输出，稳定性和性能。为了解决这个问题，我们利用最近关于域随机化的文献中的见解，并提出了Meta主动域随机化（元ADR），它学习基于梯度的元RL的任务课程，类似于ADR对sim 2 real传输的任务。我们表明，这种方法诱导更稳定的政策，对各种模拟运动和导航任务。我们评估了分布内和分布外泛化分布外泛化，发现即使在非结构化任务空间中，学习到的任务分布也大大提高了MAML的适应性能。最后，我们激发了元RL中更好的基准测试的需求，该基准测试将\textit{generalization}优先于单任务自适应性能。
2020-02-19 cs.AI cs.LG stat.ML
On the Convergence Theory of Meta Reinforcement Learning with Personalized Policies
Tianjin University（天津大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
现代Meta强化学习（Meta-RL）方法主要是基于模型无关元学习开发的，其在任务之间执行策略梯度步骤以最大化策略性能。然而，Meta-RL中的梯度冲突问题仍然知之甚少，这可能会导致性能下降时，遇到不同的任务。为了解决这一问题，提出了一种新的个性化元强化学习（pMeta-RL）算法，该算法聚合特定于任务的个性化策略来更新用于所有任务的元策略，同时在元策略约束下保持个性化策略以最大化每个任务的平均回报。我们还提供了理论分析下的表格设置，这表明我们的pMeta-RL算法的收敛性。此外，我们将所提出的pMeta-RL算法扩展到基于软演员-评论家的深度网络版本，使其适用于连续控制任务。实验结果表明，该算法在Gym和MuJoCo上的性能优于其他Meta-RL算法。
2022-09-21 cs.AI cs.LG
Biased Gradient Estimate with Drastic Variance Reduction for Meta Reinforcement Learning
DeepMind
尽管Meta强化学习（meta-RL）在经验上取得了成功，但理论和实践之间仍然存在一些难以理解的差异。重要的是，有偏梯度估计几乎总是在实践中实现，而元RL的先验理论仅在无偏梯度估计下建立收敛。在这项工作中，我们调查这样的差异。特别是，（1）我们表明，无偏梯度估计的方差$Θ(N)$线性依赖于样本大小$N$的内部循环更新;（2）我们提出了线性得分函数（LSF）梯度估计，其中有偏见$\mathcal{O}(1/\sqrt{N})$和方差$\mathcal{O}(1/N)$ ;（3）我们表明，大多数经验的工作，实际上实现了LSF梯度估计的变体。这意味着实际的算法“意外”引入偏差，以实现更好的性能;（4）我们建立理论保证的LSF梯度估计在元RL关于其收敛到固定点，表现出更好的依赖于$N$比以前的工作时，$N$是大的。
2021-12-14 cs.LG
OffWorld Gym: open-access physical robotics environment for real-world reinforcement learning benchmark and research
OffWorld
应用机器学习的成功案例可以追溯到作为社区挑战提出的数据集和环境。社区设定为基准的挑战通常是社区最终解决的挑战。强化学习研究的最终挑战是训练真实的智能体在真实环境中运行，但到目前为止还没有一个通用的真实世界强化学习基准。在这项工作中，我们提出了一个原型的真实世界的环境从OffWorld健身房-一个真实世界的环境集合，强化学习在机器人与免费的公共远程访问。与现有生态系统的紧密集成允许社区在没有任何机器人经验的情况下开始使用OffWorld Gym，并消除了管理物理机器人系统的负担，将其抽象为熟悉的API。我们介绍了一个导航任务，机器人必须达到一个视觉信标在不平坦的地形上只使用相机输入，并提供基线结果在真实的环境和模拟副本。要开始培训，请访问https://gym.offworld.ai
2020-12-15 cs.AI cs.LG cs.RO
DynaMITE-RL: A Dynamic Model for Improved Temporal Meta-Reinforcement Learning
University of Southern California（南加州大学）；Google Research（谷歌研究院）；Google Deepmind（谷歌DeepMind）
针对潜在状态演化速率可变环境的近似推理问题，提出元强化学习方法DynaMITE-RL，通过会话建模及三项关键修改，在多领域显著提升样本效率与推理回报，优于现有基线。
2024-12-04 cs.LG
Efficient Off-Policy Meta-Reinforcement Learning via Probabilistic Context Variables
UC Berkeley（加州大学伯克利分校）
深度强化学习算法需要大量的经验来学习单个任务。虽然在原则上Meta强化学习（元RL）算法使代理从少量的经验学习新的技能，几个主要的挑战妨碍其实用性。目前的方法严重依赖于政策上的经验，限制了他们的样本效率。在适应新任务时也缺乏对任务不确定性的推理机制，限制了它们在稀疏奖励问题中的有效性。在本文中，我们通过开发一种脱离策略的元RL算法来解决这些挑战，该算法可以解开任务推理和控制。在我们的方法中，我们执行潜在的任务变量的在线概率过滤，以推断如何解决一个新的任务，从少量的经验。这种概率解释使得后验采样能够进行结构化和有效的探索。我们演示了如何将这些任务变量与非策略RL算法相结合，以实现元训练和自适应效率。我们的方法在样本效率方面优于现有算法20- 100倍，并且在几个元RL基准测试中的渐近性能也优于现有算法。
2019-03-19 cs.AI cs.LG stat.ML
Meta-TTRL: A Metacognitive Framework for Self-Improving Test-Time Reinforcement Learning in Unified Multimodal Models
Tsinghua University（清华大学）
Meta-TTRL通过元认知信号实现测试时间参数优化，提升统一多模态模型的自改进能力，在文本到图像生成任务中取得显著成果。
2026-03-16 cs.AI cs.LG
Bayesian Meta-reinforcement Learning for Traffic Signal Control
Didichuxing AI Lab（滴滴出行AI实验室）
近年来，基于Meta强化学习的交通信号控制方法得到了越来越多的关注，与传统的控制方法相比，该方法具有更好的性能。然而，以往的方法缺乏鲁棒性的适应性和训练过程中的复杂情况下的稳定性，这在很大程度上限制了它在现实世界中的交通信号控制的应用。在本文中，我们提出了一种新的基于值的贝叶斯Meta强化学习框架BM-DQN鲁棒地加快学习过程中，在新的情况下，利用良好的训练先验知识从现有的情况下学习。这个框架是基于我们提出的快速适应变化，顺应EM贝叶斯元学习和快速更新的优势DQN，它允许快速适应新的情况下，持续学习能力和鲁棒性的不确定性。限制二维导航和交通信号控制的实验表明，我们提出的框架适应更快，更强大的新的场景比以前的方法，特别是更好的持续学习能力在异构场景。
2021-10-22 cs.LG stat.ML
Meta-Reinforcement Learning with Discrete World Models for Adaptive Load Balancing
Kennesaw State University（肯尼索州立大学）
本文提出将元强化学习与DreamerV3结合用于操作系统负载均衡，实现动态工作负载下的快速自适应，并在标准与自适应试验中优于A2C，同时具备抗灾难性遗忘能力。
2025-03-11 cs.AI cs.LG cs.OS
Provable Hierarchy-Based Meta-Reinforcement Learning
Princeton University（普林斯顿大学）
分层强化学习（HRL）作为一种复杂模块化行为的易处理学习方法受到了广泛的关注。然而，现有的工作要么假设访问专家构造的层次结构，或使用层次学习算法，没有可证明的保证。为了解决这一差距，我们分析了元RL设置中的HRL，其中学习者在元训练期间学习潜在的层次结构，用于下游任务。我们考虑一个表格设置，自然的层次结构嵌入在过渡动态。类似于有监督的元学习理论，我们提供了“多样性条件”，连同一个易于处理的基于乐观主义的算法，保证样本有效的恢复这个自然的层次结构。此外，我们提供了后悔界限上的学习者使用恢复的层次结构来解决元测试任务。我们的界限纳入了HRL文献中的常见概念，如时间和状态/动作抽象，这表明我们的设置和分析在实践中捕捉到了HRL的重要特征。
2021-10-18 cs.LG stat.ML
