Some Considerations on Learning to Explore via Meta-Reinforcement Learning
UC Berkeley(加州大学伯克利分校);University of Chicago(芝加哥大学);OpenAI(开放人工智能研究中心);University of Toronto(多伦多大学)
我们考虑Meta强化学习中的探索问题。提出了两种新的Meta强化学习算法:E-MAML和E- $\text{RL}^2$。结果提出了一个新的环境,我们称之为“疯狂的世界”和一组迷宫环境。我们发现E-MAML和E- $\text{RL}^2$在探索很重要的任务上提供了更好的性能。
2019-01-11 cs.AI
Learning from Symmetry: Meta-Reinforcement Learning with Symmetrical Behaviors and Language Instructions
Technical University of Munich(慕尼黑工业大学);Sun Yat-sen University(中山大学);Pazhou Lab(琶洲实验室)
本文提出一种结合对称行为与语言指令的双MDP元强化学习方法,通过利用行为与指令的对称性增强任务信息,在多个操作任务中显著提升了元强化学习的泛化能力和学习效率。
2023-07-04 cs.AI
Meta-Learning for Multi-objective Reinforcement Learning
KTH Royal Institute of Technology(瑞典皇家理工学院);Aalto University(阿尔托大学)
多目标强化学习(MORL)是标准强化学习(RL)方法的推广,用于解决由多个可能相互冲突的目标组成的顺序决策问题。通常,在这样的公式中,不存在同时优化所有目标的单个最优策略,而是必须找到多个策略,每个策略优化目标的偏好。换句话说,MORL是一个元学习问题,任务分布由偏好分布给出。我们证明,这样的配方结果在一个更好的近似的Pareto最优解的最优性和计算效率。我们评估了我们的方法,获得帕累托最优的政策,使用一些连续的控制问题,高自由度。
2019-10-07 cs.AI
A Genetic Fuzzy System for Interpretable and Parsimonious Reinforcement Learning Policies
The University of Queensland(昆士兰大学);Queensland University of Technology(昆士兰科技大学)
针对传统学习分类器系统规则库庞大难解释的问题,提出基于多目标与协同协同进化的 Pittsburgh 遗传模糊系统 Fuzzy MoCoCo,在 Mountain Car 环境中演化出可解释、高性能且简约的强化学习策略。
2023-05-17 cs.AI cs.LG cs.NE
Composing Meta-Policies for Autonomous Driving Using Hierarchical Deep Reinforcement Learning
UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
不是为每个新任务学习新的控制策略,而是当任务共享某些结构时,可以从先前学习的策略组成“元策略”。本文报告了在连续状态、离散动作自动驾驶模拟器上使用深度强化学习的实验结果。我们探讨了深度神经网络如何表示在一组先前学习的策略之间切换的元策略,特别是在新场景的动态由先前学习的动态混合组成的设置中,以及状态观测可能被感知噪声破坏的设置中。我们还报告了不同的动态混合,分心政策,感知噪声的幅度/分布,和障碍物的实验结果。在一个充分观察的实验中,Meta策略学习算法实现了2.6倍的回报,实现了下一个最佳的策略组合技术,探索少了80%。在部分观察的实验中,Meta策略学习算法在50次迭代后收敛,而RL的直接应用即使在200次迭代后也无法收敛。
2017-11-04 cs.AI
Off-Policy Meta-Reinforcement Learning Based on Feature Embedding Spaces
National Institute of Advanced Industrial Science and Technology(产业技术综合研究所);NEC Central Research Laboratories(NEC中央研究所);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);The University of Tokyo(东京大学)
Meta-强化学习(RL)通过使用在过去的任务中获得的经验来解决深度RL中的样本效率低下的问题。然而,大多数元RL方法需要部分或全部的策略数据,即,它们不能重用过去策略收集的数据,这阻碍了样本效率的提高。为了缓解这个问题,我们提出了一种新的非策略元RL方法,嵌入式学习和不确定性评估(ELUE)。一个ELUE代理的特点是学习的任务之间共享的特征嵌入空间。它学习嵌入空间上的信念模型和信念条件策略和Q函数。然后,对于一个新的任务,它通过预训练的策略收集数据,并根据信念模型更新其信念。由于信念更新,性能可以用少量的数据来提高。此外,当有足够的数据时,它更新神经网络的参数以调整预训练的关系。我们证明了ELUE优于国家的最先进的Meta RL方法,通过实验元RL基准。
2021-01-06 cs.AI
Non-Gaussian Random Generators in Bacteria Foraging Algorithm for Multiobjective Optimization
The University of Adelaide(阿德莱德大学);University Technology Petronas(国油科技大学)
随机生成器或随机引擎是元启发式算法结构中的关键组成部分。本文研究了非高斯随机引擎在解决实际优化问题时对元算法性能的影响。在这项工作中,细菌觅食算法(BFA)串联四个随机发生器(随机引擎)。随机引擎使用威布尔分布、伽马分布、高斯分布和混沌机制来操作。两种非高斯分布是威布尔分布和伽马分布。在这项工作中,开发的方法实施对现实世界的多目标树脂砂铸型问题。使用两个指标对获得的帕累托边界进行基准测试:超容量指标(HVI)和拟议的平均探索率(AER)指标。从不同的角度详细讨论了非高斯随机发生器在元分析中的作用。
2016-05-24 cs.AI
Adaptive Adversarial Training for Meta Reinforcement Learning
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);Nanyang Technological University(南洋理工大学)
Meta强化学习(MRL)使智能体能够从有限数量的过去轨迹中学习并外推到新任务。在本文中,我们试图提高MRL的鲁棒性。我们建立在模型不可知的元学习(MAML),并提出了一种新的方法来生成对抗样本的MRL使用生成对抗网络(GAN)。这使我们能够通过在Meta训练过程中利用这些攻击来增强MRL对administrator攻击的鲁棒性。
2021-04-27 cs.AI cs.LG
Meta-Learning and Meta-Reinforcement Learning -- Tracing the Path towards DeepMind's Adaptive Agent
本文针对标准机器学习难以快速适配新任务的问题,通过形式化元学习与元强化学习框架,梳理相关里程碑算法,为理解DeepMind自适应智能体等通用方法整合核心概念。
2026-04-01 cs.AI cs.LG
Hierarchical Transformers are Efficient Meta-Reinforcement Learners
University of Freiburg(弗赖堡大学);University of Technology Nuremberg(纽伦堡工业大学)
本文提出分层Transformer元强化学习方法(HTrMRL),利用过去经验提升新任务适应性与泛化能力,在Meta-World基准上超越现有最先进方法。
2024-02-09 cs.AI cs.LG
Unsupervised Meta-Learning for Reinforcement Learning
UC Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
元学习算法使用过去的经验来学习快速解决新任务。在强化学习的背景下,元学习算法通过利用来自先前任务的经验来获得强化学习过程以更有效地解决新问题。元学习算法的性能取决于可用于元训练的任务:以同样的方式,监督学习最好地推广到与训练点相同分布的测试点,元学习方法最好地推广到与元训练任务相同分布的任务。实际上,Meta强化学习将设计负担从算法设计转移到任务设计上。如果我们也能自动化任务设计的过程,我们就能设计出真正自动化的元学习算法。在这项工作中,我们在这个方向上迈出了一步,提出了一个家庭的无监督元学习算法的强化学习。我们激励和描述了无监督Meta强化学习的一般配方,并提出了这种方法的实例。我们的概念和理论贡献包括制定无监督的Meta强化学习问题,并描述如何基于互信息的任务建议可以用来训练最佳元学习者。我们的实验结果表明,无监督Meta强化学习有效地获得加速强化学习过程,而不需要手动任务设计,这些过程超过从头开始学习的性能。
2020-04-30 cs.AI cs.LG stat.ML
Meta-RTL: Reinforcement-Based Meta-Transfer Learning for Low-Resource Commonsense Reasoning
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出Meta-RTL框架,通过强化学习动态估计源任务权重以提升低资源常识推理性能,在多个基准上显著优于现有方法。
2025-04-11 cs.AI cs.CL
MetaCURE: Meta Reinforcement Learning with Empowerment-Driven Exploration
Tsinghua University(清华大学);NetEase(网易公司)
Meta强化学习(meta-RL)从先前的任务中提取知识,并实现对新任务的快速适应。尽管最近取得了进展,但元强化学习的有效探索仍然是稀疏奖励任务中的一个关键挑战,因为它需要在元训练和适应中快速找到信息丰富的任务相关经验。为了应对这一挑战,我们明确建模的探索策略学习问题的元RL,这是从剥削策略学习分离,并引入了一种新的授权驱动的探索目标,其目的是最大限度地提高任务识别的信息增益。我们得到了相应的内在奖励,并开发了一个新的离线策略元RL框架,该框架通过共享任务推理的知识来有效地学习单独的上下文感知探索和利用策略。实验评估表明,我们的元RL方法在各种稀疏奖励MuJoCo运动任务和更复杂的稀疏奖励元世界任务上的性能显着优于最先进的基线。
2021-11-12 cs.AI cs.LG
On the Convergence Theory of Meta Reinforcement Learning with Personalized Policies
Tianjin University(天津大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
现代Meta强化学习(Meta-RL)方法主要是基于模型无关元学习开发的,其在任务之间执行策略梯度步骤以最大化策略性能。然而,Meta-RL中的梯度冲突问题仍然知之甚少,这可能会导致性能下降时,遇到不同的任务。为了解决这一问题,提出了一种新的个性化元强化学习(pMeta-RL)算法,该算法聚合特定于任务的个性化策略来更新用于所有任务的元策略,同时在元策略约束下保持个性化策略以最大化每个任务的平均回报。我们还提供了理论分析下的表格设置,这表明我们的pMeta-RL算法的收敛性。此外,我们将所提出的pMeta-RL算法扩展到基于软演员-评论家的深度网络版本,使其适用于连续控制任务。实验结果表明,该算法在Gym和MuJoCo上的性能优于其他Meta-RL算法。
2022-09-21 cs.AI cs.LG
Meta-TTRL: A Metacognitive Framework for Self-Improving Test-Time Reinforcement Learning in Unified Multimodal Models
Tsinghua University(清华大学)
Meta-TTRL通过元认知信号实现测试时间参数优化,提升统一多模态模型的自改进能力,在文本到图像生成任务中取得显著成果。
2026-03-16 cs.AI cs.LG
Meta-Cognitive Reinforcement Learning with Self-Doubt and Recovery
China Mobile Research Institute(中国移动研究院);China Mobile GBA (Greater Bay Area) Innovation Institute(中国移动粤港澳大湾区创新研究院)
本文提出一种元认知强化学习框架,使智能体能根据内部可靠性信号评估、调节和恢复学习行为,通过引入由价值预测误差稳定性驱动的元信任变量,提升鲁棒性与学习稳定性。
2026-03-23 cs.AI cs.LG
Meta Reinforcement Learning with Successor Feature Based Context
University of Science and Technology of China(中国科学技术大学)
大多数强化学习(RL)方法只关注从零开始学习单个任务,而不能使用先验知识更有效地学习其他任务。最近提出了基于上下文的Meta RL技术作为解决这个问题的可能解决方案。然而,它们通常比传统的RL效率低,并且在训练过程中可能需要多次试错。为了解决这个问题,我们提出了一种新的元RL方法,与现有的元RL算法相比,该方法具有竞争力的性能,同时需要显着减少环境交互。通过将上下文变量与后继特征框架中分解奖励的思想相结合,我们的方法不仅可以同时为多个任务学习高质量的策略,而且可以通过少量的训练快速适应新任务。与最先进的元强化学习基线相比,我们在几个连续控制任务上实证显示了我们的方法的有效性和数据效率。
2022-07-29 cs.AI cs.LG
Meta-Reinforcement Learning for Heuristic Planning
University of Leeds(利兹大学)
在Meta-强化学习(meta-RL)中,智能体在一组任务上进行训练,以便在新的、看不见的但相关的任务中更快地准备和学习。训练任务通常是手工制作的,以代表测试任务的预期分布,因此全部用于训练。我们表明,给定一组训练任务,如果训练任务选择得当,学习可以更快,更有效(导致测试任务中更好的性能)。我们提出了一个任务选择算法,信息理论任务选择(ITTS),基于信息论,优化用于元强化学习训练的任务集,而不管它们是如何产生的。该算法确定哪些训练任务既与测试任务充分相关,又彼此足够不同。我们再现了文献中不同的元RL实验,并表明ITTS提高了所有实验的最终性能。
2021-07-06 cs.AI cs.LG
Can Meta-Interpretive Learning outperform Deep Reinforcement Learning of Evaluable Game strategies?
Imperial College London(帝国理工学院)
深度强化学习系统在许多复杂的双人游戏(围棋、国际象棋、象棋)中表现优于世界级的人类玩家。然而,由于易处理性的考虑,极小极大遗憾的学习系统不能在这样的游戏中进行评估。在本文中,我们考虑简单的游戏(Noughts-and-Crosses和Hexapawn),其中极大极小遗憾可以有效地评估。我们使用这些游戏来比较标准和深度强化学习的两种变体的累积最小最大遗憾,以及一种名为MIGO的新元解释学习系统的两种变体。在我们的实验中,正常和深度强化学习的所有测试变体都比Noughts-and-Crosses和Hexapawn上的MIGO变体表现更差(更高的累积极大极小遗憾)。此外,MIGO的学习规则相对容易理解,并被证明在Noughts-and-Crosses和Hexapawn之间的两个方向上都实现了显著的迁移学习。
2019-02-26 cs.AI cs.LG
Characterizing Policy Divergence for Personalized Meta-Reinforcement Learning
Harvard University(哈佛大学)
尽管昂贵的探索和有限的轨迹数据带来了充足的动力,但使用Few-Shot强化学习(RL)快速适应新环境仍然是一项具有挑战性的任务,特别是在个性化设置方面。在这里,我们考虑的问题,建议最佳政策的一组多个实体,每个潜在的不同的特点,使个别实体可能parameterized独特的环境与独特的过渡动态。受元学习现有文献的启发,我们扩展了以前的工作,专注于某些环境在个性化设置中比其他环境更相似的概念,并提出了一种无模型的元学习算法,该算法在基于梯度的适应过程中通过相关性优先考虑过去的经验。我们的算法涉及通过逆强化学习中的方法来表征过去的策略分歧,并且我们说明了这些指标如何能够通过它们所部署的环境来有效地区分过去的策略参数,从而在测试期间实现更有效的快速适应。为了更有效地研究个性化,我们引入了一个导航测试平台,专门将环境多样性纳入训练集,并证明我们的方法在个性化设置中优于Few-Shot强化学习。
2020-10-09 cs.AI cs.LG
Procedural generation of meta-reinforcement learning tasks
ML Collective(机器学习联盟)
针对元强化学习环境数量有限的问题,本文提出一种可随机生成任意数量新型任务的参数化空间,能涵盖经典任务并扩展到二维拓扑域。
2023-12-09 cs.AI cs.LG
Deep Episodic Value Iteration for Model-based Meta-Reinforcement Learning
Stanford University(斯坦福大学)
我们提出了一个新的深度Meta强化学习器,我们称之为深度情节值迭代(DEVI)。DEVI使用深度神经网络来学习基于非参数模型的强化学习算法的相似性度量。我们的模型通过反向传播进行端到端训练。尽管使用无模型Q学习目标进行训练,我们表明,DEVI的基于模型的内部结构提供了“一次性”转移到奖励和过渡结构的变化,即使是非常高维的状态空间的任务。
2017-05-09 cs.AI cs.LG stat.ML
Unsupervised Curricula for Visual Meta-Reinforcement Learning
UC Berkeley(加州大学伯克利分校);University of Toronto(多伦多大学);Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
原则上,Meta强化学习算法利用许多任务的经验来学习快速强化学习(RL)策略,这些策略可以转移到类似的任务中。然而,目前的元RL方法依赖于手动定义的训练任务分布,手工制作这些任务分布可能具有挑战性且耗时。“有用的”预训练任务可以在无监督的情况下发现吗?我们开发了一个无监督的算法,诱导自适应元训练任务分布,即自动课程,通过在视觉环境中建模无监督的交互。任务分布由元学习者轨迹分布的参数密度模型支撑。我们制定无监督元RL作为潜在的任务变量和元学习者的数据分布之间的信息最大化,并描述了一个实际的实例,它交替最近的经验整合到任务分布和元学习的更新任务。重复该过程导致迭代重组,使得课程随着元学习者的数据分布偏移而适应。特别是,我们展示了视觉表示的判别聚类如何支持具有像素观测的域中的自动级别任务获取和探索,避免了替代品的陷阱。在基于视觉的导航和操作领域的实验中,我们证明了该算法允许无监督元学习转移到由手工制作的奖励函数指定的下游任务,并作为测试任务分布的更有效的监督元学习的预训练。
2019-12-09 cs.AI cs.LG
How Should We Meta-Learn Reinforcement Learning Algorithms?
本文实证比较了多种元学习强化学习算法的方法,评估性能、可解释性、样本成本与训练时间,并提出设计指南以提升未来算法的效率。
2025-09-10 cs.AI cs.LG
Learning Action Translator for Meta Reinforcement Learning on Sparse-Reward Tasks
University of Michigan(密歇根大学);LG AI Research(LG人工智能研究院)
Meta强化学习(meta-RL)旨在学习一种策略,同时解决一组训练任务并快速适应新任务。它需要从训练任务中提取大量数据来推断任务之间共享的共同结构。在没有重奖励工程的情况下,长时间任务中的稀疏奖励加剧了元RL中的样本效率问题。元强化学习的另一个挑战是任务之间的难度水平的差异,这可能会导致一个简单的任务支配共享策略的学习,从而妨碍策略适应新任务。这项工作引入了一个新的目标函数来学习训练任务中的动作翻译器。我们从理论上证明了带有动作翻译器的转移策略的值可以接近源策略的值,并且我们的目标函数(近似)上界值差。我们建议将动作翻译器与基于上下文的元RL算法相结合,以在元训练期间更好地收集数据汇集和更有效地探索。我们的方法经验性地提高了样本效率和元RL算法在稀疏奖励任务上的性能。
2022-07-20 cs.AI cs.LG
HMRL: Hyper-Meta Learning for Sparse Reward Reinforcement Learning Problem
East China Normal University(华东师范大学);Shanghai Jiao Tong University(上海交通大学);Georgia Institute of Technology(佐治亚理工学院)
尽管现有的Meta强化学习方法取得了成功,但它们仍然难以有效地学习稀疏奖励的强化学习问题的Meta策略。在这方面,我们开发了一种新的元强化学习框架称为超Meta RL(HMRL),稀疏奖励RL问题。该方法由三个模块组成:跨环境Meta状态嵌入模块,构建了一个通用的Meta状态空间,以适应不同环境;基于Meta状态的环境特定Meta奖励塑造模块,通过跨环境知识互补有效地扩展了原稀疏奖励轨迹,从而使Meta策略具有更好的泛化性和有效性。稀疏奖励环境下的实验表明,HMRL的可移植性和策略学习效率的优越性。
2021-06-05 cs.AI cs.LG stat.ML
A model-based approach to meta-Reinforcement Learning: Transformers and tree search
UCLouvain(鲁汶大学)
元学习是一种研究方法,旨在开发利用过去经验有效解决新学习问题的能力。Meta-强化学习(meta-RL)方法展示了学习行为的能力,这些行为有效地获取和利用了几个meta-RL问题中的信息。在此背景下,Wang等人提出了Alchemy基准[2021]。Alchemy具有丰富的结构化潜在空间,这对于最先进的无模型RL方法来说是具有挑战性的。这些方法未能学会正确探索然后利用。我们开发了一个基于模型的算法。我们训练一个模型,它的主要模块是一个Transformer Encoder,以适应符号化的Alchemy环境动力学。然后,我们定义了一个在线计划与学习模型使用树搜索方法。该算法显着优于以前应用的无模型RL方法的符号炼金术问题。我们的研究结果揭示了基于模型的方法与在线计划的相关性,以成功地在元RL中进行探索和开发。此外,我们还展示了Transformer架构学习复杂动态的效率,这些动态来自元RL问题中存在的潜在空间。
2022-08-24 cs.AI cs.LG
A Brief Look at Generalization in Visual Meta-Reinforcement Learning
Mila - McGill University(米拉 - 麦吉尔大学);Google DeepMind(谷歌DeepMind)
由于认识到在高维任务上训练的深度强化学习算法可以强烈过拟合其训练环境,因此已经有几项研究调查了这些算法的泛化性能。然而,还没有类似的研究评估专门为泛化设计的算法的泛化性能,即Meta强化学习算法。在本文中,我们评估这些算法的泛化性能,利用高维,程序生成的环境。我们发现,这些算法可以显示强大的过拟合时,他们具有挑战性的任务进行评估。我们还观察到,在当前的许多Meta强化学习算法中,具有稀疏奖励的高维任务的可扩展性仍然是一个重大问题。有了这些结果,我们强调了开发既可以推广又可以扩展的Meta强化学习算法的必要性。
2020-07-03 cs.AI cs.LG stat.ML
MetaTrader: An Reinforcement Learning Approach Integrating Diverse Policies for Portfolio Optimization
Tsinghua University(清华大学);Harbin Institute of Technology(哈尔滨工业大学)
投资组合管理是金融学中的一个基本问题。它涉及定期重新分配资产,以在适当的风险敞口水平内最大化预期收益率。深度强化学习(RL)被认为是解决这一问题的一种很有前途的方法,因为它具有很强的顺序决策能力。然而,由于金融市场的非平稳性,将强化学习技术应用于投资组合优化仍然是一个具有挑战性的问题。从各种专家策略中提取交易知识可以帮助代理人适应不断变化的市场。在本文中,我们提出了MetaTrader,这是一种新的基于RL的两阶段投资组合管理方法,它可以学习整合不同的交易策略以适应各种市场条件。在第一阶段,MetaTrader将模仿学习目标纳入强化学习框架。通过模仿不同的专家演示,MetaTrader获得了一套非常多样化的交易策略。在第二阶段,MetaTrader学习元策略以识别市场条件并决定要遵循的最合适的学习策略。我们在三个真实世界的索引数据集上评估了所提出的方法,并将其与最先进的基线进行了比较。实证结果表明,MetaTrader在平衡利润和风险方面明显优于这些基线。此外,彻底的消融研究验证了所提出的方法中的组件的有效性。
2022-09-01 cs.AI q-fin.CP
Directed-MAML: Meta Reinforcement Learning Algorithm with Task-directed Approximation
Department of Mechanical Engineering, Virginia Polytechnic Institute and State University(弗吉尼亚理工大学机械工程系)
针对MAML应用于元强化学习时计算内存开销高、收敛难的问题,提出带任务导向近似的Directed-MAML算法,在多场景下效率与收敛速度优于基线,且该近似可集成至其他元学习算法提升性能。
2025-09-30 cs.AI cs.LG
General Dynamic Goal Recognition using Goal-Conditioned and Meta Reinforcement Learning
Department of Computer Science, Bar Ilan University(巴伊兰大学计算机科学系);Department of Computer Science, Tufts University(塔夫茨大学计算机科学系)
本文提出两种方法,通过目标条件化和元强化学习实现动态环境下的目标识别,提升系统在变化和噪声中的适应能力与识别精度。
2026-01-04 cs.AI cs.RO
Debiasing Meta-Gradient Reinforcement Learning by Learning the Outer Value Function
InstaDeep
元梯度强化学习(RL)允许代理在训练期间以在线方式自我调整其超参数。在本文中,我们确定当前元梯度RL方法的元梯度中的偏差。这种偏差来自于使用批评者,该批评者是使用元学习的折扣因子训练的,用于外部目标中的优势估计,这需要不同的折扣因子。由于元学习折扣因子通常低于外部目标中使用的折扣因子,因此产生的偏差可能导致元梯度偏向短视策略。我们提出了一个简单的解决方案,这个问题:我们消除这种偏见,使用替代,\emph{outer}价值函数的估计外损失。为了获得这个外部价值函数我们在评论家网络中添加第二个头,并使用外部损失折扣因子与经典评论家一起对其进行训练。在一个说明性的玩具问题上,我们证明了偏置会导致当前元梯度RL方法的灾难性失败,并表明我们提出的解决方案修复了它。然后,我们将我们的方法应用于更复杂的环境,并证明修复元梯度偏置可以显着提高性能。
2022-11-19 cs.AI cs.LG
Transformers are Meta-Reinforcement Learners
Microsoft(微软);Center of Excellence in Artificial Intelligence (Deep Learning Brazil)(人工智能卓越中心(巴西深度学习中心))
近年来,Transformer架构及其变体在许多机器学习任务中取得了显著的成功。这种成功本质上与处理长序列的能力和来自注意力机制的上下文相关权重的存在有关。我们认为,这些功能适合的核心作用的Meta-强化学习算法。事实上,元RL代理需要从一系列轨迹中推断任务。此外,它需要一个快速的适应策略,以适应新的任务-这可以通过使用自我注意机制来实现。在这项工作中,我们提出了TrMRL(Transformers for Meta- Reinforcement Learning),一个元强化学习代理,它使用Transformer架构模仿内存恢复机制。它通过Transformer层将最近的工作记忆联系起来,递归地构建情景记忆。我们表明,自我注意力计算出一个共识表示,使每层的贝叶斯风险最小化,并提供有意义的特征来计算最佳行动。我们进行了实验,在高维连续控制环境中的运动和灵巧的操作。结果表明,在这些环境中,与基线相比,TrMRL具有相当或更好的渐近性能、样本效率和分布外泛化。
2022-06-14 cs.AI cs.LG
Theoretical Analysis of Meta Reinforcement Learning: Generalization Bounds and Convergence Guarantees
New York University(纽约大学);Northeastern University(东北大学)
本文提出理论框架分析元强化学习的泛化界限与收敛保证,揭示算法设计与任务复杂度关系,并证明收敛条件,评估其长期性能与实时效率。
2024-05-22 cs.AI cs.LG
Improving Generalization in Meta Reinforcement Learning using Learned Objectives
The Swiss AI Lab IDSIA(瑞士人工智能实验室IDSIA);USI(瑞士意大利语区大学);SUPSI(瑞士南方应用科技大学)
生物进化已经将许多学习者的经验提炼成人类的通用学习算法。我们的新型Meta强化学习算法MetaGenRL就是受到这个过程的启发。MetaGenRL提取了许多复杂智能体的经验,以元学习一个低复杂度的神经目标函数,决定未来的个体将如何学习。与最近的元RL算法不同,MetaGenRL可以推广到与元训练完全不同的新环境。在某些情况下,它甚至优于人类工程RL算法。MetaGenRL在元训练期间使用非策略二阶梯度,这大大提高了其样本效率。
2020-02-14 cs.AI cs.LG cs.NE
Designing Biological Sequences via Meta-Reinforcement Learning and Bayesian Optimization
Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
加速生物序列设计的能力可以对医学领域的进步产生重大影响。该问题可以被构造为全局优化问题,其中目标是昂贵的黑盒函数,使得我们可以查询受限于低轮数限制的大批量。贝叶斯优化是解决这个问题的一种原则性方法。然而,生物序列的天文数字般大的状态空间使得暴力迭代所有可能的序列是不可行的。在本文中,我们提出MetaRLBO,其中我们通过Meta-强化学习训练自回归生成模型,以通过贝叶斯优化提出有希望的序列进行选择。我们提出这个问题,找到一个最佳的政策,在分布的MDP引起的采样子集的数据采集在前几轮。我们的计算机模拟实验表明,这种集成的元学习提供了对奖励错误指定的鲁棒性,并实现了与现有强基线相比具有竞争力的结果。
2022-09-13 cs.AI cs.LG
Virtual Reality in Metaverse over Wireless Networks with User-centered Deep Reinforcement Learning
Nanyang Technological University(南洋理工大学)
Metaverse及其承诺正在迅速成为现实,因为成熟的技术正在赋予不同的方面。Metaverse的亮点之一是它提供了高度沉浸式和交互式社交的可能性。虚拟现实(VR)技术是Metaverse中虚拟宇宙的支柱,因为它们能够实现超现实和沉浸式体验,尤其是在社交环境中。由于要渲染的虚拟世界3D场景具有高分辨率和帧速率,因此这些场景将被卸载到边缘服务器进行计算。此外,虚拟实境是以用户为中心的设计,人类用户始终是核心。在这项工作中,我们介绍了一个多用户VR计算卸载无线通信的情况下。此外,我们设计了一种新的以用户为中心的深度强化学习方法来找到一个接近最优的解决方案。大量的实验表明,我们的方法可以导致显着的结果在各种要求和约束。
2023-03-08 cs.AI cs.NI
Neuro-symbolic Meta Reinforcement Learning for Trading
APPCAIR, BITS Pilani K.K. Birla Goa Campus(BITS Pilani K.K. Birla Goa校区APPCAIR);TCS Research(塔塔咨询服务研究部);IIT Delhi(印度理工学院德里分校)
我们在金融市场中的短期(如日)交易模型作为一个连续的决策问题的不确定性下,与不断的概念漂移增加的复杂性。因此,我们通过RL2算法采用Meta强化学习。人们还知道,人类交易者经常依赖于价格序列中频繁出现的符号模式。我们采用逻辑程序归纳来发现频繁出现的符号模式,以及最近,并探讨使用这些功能是否提高了我们的Meta强化学习算法的性能。我们报告了在真实数据上的实验,表明元RL比香草RL更好,并且也受益于学习的符号特征。
2023-01-15 cs.AI cs.LG cs.LO
Safe Reinforcement Learning through Meta-learned Instincts
IT University of Copenhagen(哥本哈根信息技术大学)
强化学习的一个重要目标是创建能够快速适应新目标的代理,同时避免可能对自身或环境造成损害的情况。代理学习的一种方式是通过探索机制,这是发现新策略所必需的。然而,在深度强化学习中,探索通常通过在动作空间中注入噪声来完成。虽然在许多领域表现良好,但这种设置具有固有的风险,即代理执行的嘈杂操作会导致环境中的不安全状态。在这里,我们介绍了一种称为元学习本能网络(MLIN)的新方法,它允许代理在其生命周期中安全地学习,同时避免潜在的危险状态。该方法的核心是一个通过强化学习训练的可塑性网络和一个进化的“本能”网络,该网络在智能体的生命周期中不会改变,但可以调节可塑性网络的噪声输出。我们测试我们的想法在一个简单的2D导航任务与禁去区,其中代理必须学会在部署过程中接近新的目标。MLIN的性能优于标准的元训练网络,并允许代理学习导航到新目标,而不会与任何禁区发生冲突。这些结果表明,用本能网络增强的元学习是一种很有前途的安全人工智能新方法,它可以在各种不同的领域实现这一领域的进展。
2020-05-06 cs.AI cs.LG
Distributionally Adaptive Meta Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
针对元强化学习在测试时任务分布偏移下失效的问题,提出训练一组具备不同鲁棒性水平的元策略并自适应选择,以实现快速适应、降低遗憾值。
2023-07-10 cs.AI cs.LG
A Hybrid Framework of Reinforcement Learning and Convex Optimization for UAV-Based Autonomous Metaverse Data Collection
Nanyang Technological University(南洋理工大学)
针对无人机辅助元宇宙数据采集中资源分配与轨迹控制的时间序列优化难题,本文提出强化学习与凸优化协同的混合框架,在给定功率资源下有效缩短任务完成时间。
2023-05-29 cs.AI cs.LG
Efficient Meta Reinforcement Learning for Preference-based Fast Adaptation
University of California, Los Angeles(加州大学洛杉矶分校);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院);Helixon Ltd.(Helixon有限公司);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
从几次试验中学习新的特定任务技能是人工智能面临的根本挑战。Meta强化学习(meta-RL)通过学习可转移的策略来解决这个问题,这些策略支持对看不见的任务的Few-Shot适应。尽管元强化学习最近取得了进展,但大多数现有方法都需要访问新任务的环境奖励函数来推断任务目标,这在许多实际应用中并不现实。为了弥合这一差距,我们研究了在人在回路强化学习的背景下的Few-Shot适应问题。我们开发了一种元RL算法,可以通过基于偏好的反馈实现快速策略自适应。智能体可以通过查询人类行为轨迹之间的偏好来适应新的任务,而不是使用每步的数字奖励。通过扩展技术从信息论,我们的方法可以设计查询序列,以最大限度地提高信息增益从人类的互动,同时容忍的固有错误的非专家的人类预言。在实验中,我们广泛地评估我们的方法,适应与噪声的甲骨文(ANOLE),在各种元RL基准任务,并展示了大幅改善基线算法的反馈效率和容错性。
2022-11-20 cs.AI cs.LG
What is Going on Inside Recurrent Meta Reinforcement Learning Agents?
Mila - McGill University(Mila - 麦吉尔大学);DeepMind
循环Meta强化学习(meta-RL)代理是为了“学习学习算法“的目的而采用循环神经网络(RNN)的代理。在预先指定的任务分布上进行训练后,代理的RNN的学习权重可以通过其活动动态实现有效的学习算法,这允许代理快速解决从相同分布中采样的新任务。然而,由于这些代理人的黑箱性质,他们的工作方式尚未完全理解。在这项研究中,我们揭示了这些代理的内部工作机制,通过重新制定的元RL问题使用部分可观察马尔可夫决策过程(POMDP)框架。我们假设,学习的活动动力学是作为这样的代理的信念状态。几个说明性的实验表明,这一假设是正确的,经常性的元RL代理可以被视为代理,学习在部分可观察的环境中,由多个相关的任务,以最佳方式行事。这种观点有助于理解他们的失败案例和一些有趣的基于模型的结果在文献中报道。
2021-04-29 cs.AI cs.LG
Meta-Reinforcement Learning in Broad and Non-Parametric Environments
Technical University of Munich(慕尼黑工业大学);Sun Yat-sen University(中山大学)
最近最先进的人工智能体缺乏快速适应新任务的能力,因为它们专门针对特定目标进行训练,需要大量的互动来学习新技能。Meta-强化学习(meta-RL)通过利用从训练任务中学习到的知识在以前看不见的任务中表现良好来解决这一挑战。然而,目前的元强化学习方法局限于狭窄的参数任务分布,忽略了现实世界中发生的任务之间的质的差异。在本文中,我们介绍了TIGR,一个基于任务推理的元RL算法,使用高斯混合模型(GMM)和门控递归单元,设计用于非参数环境中的任务。我们采用了一个生成模型,涉及GMM捕捉多模态的任务。我们解耦的策略训练任务推理学习和有效的训练推理机制的基础上,无监督重建目标。我们提供了一个基于半猎豹环境的定性不同任务的基准测试,并证明了TIGR与最先进的元RL方法相比,在样本效率(快3-10倍),渐近性能和非参数环境中的适用性与zero-shot适应方面的卓越性能。
2022-03-21 cs.AI cs.LG
One Step at a Time: Pros and Cons of Multi-Step Meta-Gradient Reinforcement Learning
InstaDeep
在线调整学习过程的自调整算法鼓励更有效和更强大的学习。在所有可用的方法中,元梯度已成为一种有前途的方法。他们利用学习规则相对于一些超参数的可微性,以在线方式调整它们。虽然元梯度可以在多个学习步骤中累积以避免近视更新,但这在实践中很少使用。在这项工作中,我们证明了虽然多步元梯度确实提供了预期中更好的学习信号,但这是以方差显著增加为代价的,从而阻碍了性能。根据这种分析,我们引入了一种新的方法,混合多个内部步骤,享有更准确和鲁棒的元梯度信号,本质上权衡偏置和方差的元梯度估计。当应用于Snake游戏时,混合元梯度算法可以将方差削减3倍,同时实现类似或更高的性能。
2021-10-30 cs.AI cs.LG
MGHRL: Meta Goal-generation for Hierarchical Reinforcement Learning
Tianjin University(天津大学);Noah’s Ark Lab, Huawei(华为诺亚方舟实验室)
大多数Meta强化学习(meta-RL)方法通过直接优化原始动作空间上的策略参数来学习适应新任务。这样的算法在具有相对微小差异的任务中工作得很好。然而,当任务分布变得更宽时,直接学习这样的元策略将是非常低效的。在本文中,我们提出了一个新的元强化学习算法称为Meta Goal-generation for Hierarchical RL(MGHRL)。MGHRL不是直接在原始动作空间上为新任务生成策略,而是根据过去的经验在子目标上生成高级Meta策略,并将如何实现子目标的其余部分作为独立的RL子任务。我们在几个具有挑战性的模拟机器人环境中的经验结果表明,我们的方法可以从过去的经验中进行更有效和更广泛的元学习。
2020-03-04 cs.AI cs.LG stat.ML
TIMRL: A Novel Meta-Reinforcement Learning Framework for Non-Stationary and Multi-Task Environments
School of Marine Science and Technology, Northwestern Polytechnical University(西北工业大学海洋科学与技术学院);School of Astronautics, Northwestern Polytechnical University(西北工业大学航天学院)
针对现有元强化学习用高斯分布提取任务表征、适配非平稳多任务环境效果差的问题,提出结合高斯混合模型与transformer的TIMRL框架,经MuJoCo基准验证,提升了样本效率与任务分类准确率。
2025-01-13 cs.AI cs.LG
Curriculum in Gradient-Based Meta-Reinforcement Learning
Université de Montréal(蒙特利尔大学);Mila(米拉);Polytechnique Montréal(蒙特利尔综合理工学院);CIFAR AI Chair(加拿大高级研究院人工智能主席)
诸如模型不可知元学习(MAML)之类的基于约束的元学习器在监督和强化学习设置中表现出强大的Few-Shot性能。然而,特别是在Meta强化学习(元RL)的情况下,我们可以证明,基于梯度的元学习器是敏感的任务分布。在错误的课程中,代理遭受元过拟合,浅适应和适应不稳定的影响。在这项工作中,我们首先强调了基于梯度的元RL的有趣的失败案例,并表明任务分布可以广泛地影响算法输出,稳定性和性能。为了解决这个问题,我们利用最近关于域随机化的文献中的见解,并提出了Meta主动域随机化(元ADR),它学习基于梯度的元RL的任务课程,类似于ADR对sim 2 real传输的任务。我们表明,这种方法诱导更稳定的政策,对各种模拟运动和导航任务。我们评估了分布内和分布外泛化分布外泛化,发现即使在非结构化任务空间中,学习到的任务分布也大大提高了MAML的适应性能。最后,我们激发了元RL中更好的基准测试的需求,该基准测试将\textit{generalization}优先于单任务自适应性能。
2020-02-19 cs.AI cs.LG stat.ML
Averaged Hausdorff Approximations of Pareto Fronts based on Multiobjective Estimation of Distribution Algorithms
PUC Rio de Janeiro(里约热内卢天主教大学);University of Münster(明斯特大学);TU Dortmund University(多特蒙德工业大学)
在多目标优化的后验方法中,Pareto前沿近似为目标空间中的有限解集。近似的质量可以通过不同的指标来衡量,这些指标考虑了近似与帕累托前沿的接近程度及其沿帕累托前沿的分布。特别是,平均豪斯多夫指标倾向于几乎均匀的分布。多目标分布估计算法(MEDAs)的一个明显缺点是,与随机元分析一样,最终群体通常不是均匀分布在帕累托前沿。因此,我们提出了一个后处理策略,其中包括应用平均Hausdorff指标的完整存档生成的解决方案优化后,以选择一个均匀分布的子集的非支配解决方案从存档。在本文中,我们提出了一种策略,提取上述子集。该建议的有效性进行了对比,在一系列的实验,涉及不同的MEDAs和过滤技术。
2015-03-26 cs.AI
Efficient Off-Policy Meta-Reinforcement Learning via Probabilistic Context Variables
UC Berkeley(加州大学伯克利分校)
深度强化学习算法需要大量的经验来学习单个任务。虽然在原则上Meta强化学习(元RL)算法使代理从少量的经验学习新的技能,几个主要的挑战妨碍其实用性。目前的方法严重依赖于政策上的经验,限制了他们的样本效率。在适应新任务时也缺乏对任务不确定性的推理机制,限制了它们在稀疏奖励问题中的有效性。在本文中,我们通过开发一种脱离策略的元RL算法来解决这些挑战,该算法可以解开任务推理和控制。在我们的方法中,我们执行潜在的任务变量的在线概率过滤,以推断如何解决一个新的任务,从少量的经验。这种概率解释使得后验采样能够进行结构化和有效的探索。我们演示了如何将这些任务变量与非策略RL算法相结合,以实现元训练和自适应效率。我们的方法在样本效率方面优于现有算法20- 100倍,并且在几个元RL基准测试中的渐近性能也优于现有算法。
2019-03-19 cs.AI cs.LG stat.ML
Meta-Reinforcement Learning with Discrete World Models for Adaptive Load Balancing
Kennesaw State University(肯尼索州立大学)
本文提出将元强化学习与DreamerV3结合用于操作系统负载均衡,实现动态工作负载下的快速自适应,并在标准与自适应试验中优于A2C,同时具备抗灾难性遗忘能力。
2025-03-11 cs.AI cs.LG cs.OS
Dream to Adapt: Meta Reinforcement Learning by Latent Context Imagination and MDP Imagination
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Shanghai Jiao Tong University(上海交通大学);Ford Motor Company(福特汽车公司)
本文提出MetaDreamer,一种基于上下文的元强化学习算法,通过潜在上下文插值想象和MDP想象减少数据需求,在数据效率和泛化上优于现有方法。
2023-11-11 cs.AI cs.LG cs.RO
Meta-Reinforcement Learning via Exploratory Task Clustering
University of Virginia(弗吉尼亚大学)
Meta-强化学习(meta-RL)旨在通过利用先前任务的知识来快速解决新任务。然而,以往的研究往往假设一个单一的模式均匀的任务分布,忽略了可能的结构异质性任务之间。利用这种结构可以更好地促进相关任务之间的知识共享,从而提高样本效率。在本文中,我们通过聚类来探索任务之间的结构化异构性,以改善元RL。我们开发了一个专门的探索性政策,发现任务结构,通过分而治之。所识别的聚类的知识有助于缩小任务特定信息的搜索空间,从而导致更样本有效的策略自适应。在各种MuJoCo任务上的实验表明,该方法可以在奖励和状态动态中有效地解开集群结构,证明了对一组最先进的基线的强大优势。
2023-02-15 cs.AI cs.LG cs.RO
Causal Reasoning from Meta-reinforcement Learning
DeepMind(深度思维);Harvard University(哈佛大学);UCL(伦敦大学学院)
发现和利用环境中的因果结构是智能代理的一个关键挑战。在这里,我们探讨因果推理是否可以通过Meta强化学习出现。我们用无模型强化学习训练一个递归网络,以解决一系列问题,每个问题都包含因果结构。我们发现,经过训练的代理可以在新的情况下进行因果推理,以获得奖励。代理人可以选择信息干预,从观察数据中得出因果推论,并做出反事实的预测。虽然建立正式的因果推理算法也存在,在本文中,我们表明,这种推理可以从无模型强化学习,并建议在复杂的设置因果推理可能会受益于更多的端到端的学习为基础的方法在这里。这项工作还提供了新的策略,结构化探索强化学习,通过提供代理的能力,执行-和解释-实验。
2019-01-23 cs.AI cs.LG stat.ML