Learning While Acting: A Skill-Enhanced Test-Time Co-Evolution Framework for Online Lifelong Learning Agents
School of Computer Science and Technology, East China Normal University(东华大学计算机科学与技术学院);Shanghai AI Laboratory(上海人工智能实验室);Software Engineering Institute, East China Normal University(东华大学软件工程学院)
提出LifeSkill框架,通过验证器引导的技能学习和在线技能内化,使LLM智能体在测试时持续内化反馈,提升终身学习性能。
2026-06-23 cs.AI cs.LG
Efficient Off-Policy Meta-Reinforcement Learning via Probabilistic Context Variables
UC Berkeley(加州大学伯克利分校)
深度强化学习算法需要大量的经验来学习单个任务。虽然在原则上Meta强化学习(元RL)算法使代理从少量的经验学习新的技能,几个主要的挑战妨碍其实用性。目前的方法严重依赖于政策上的经验,限制了他们的样本效率。在适应新任务时也缺乏对任务不确定性的推理机制,限制了它们在稀疏奖励问题中的有效性。在本文中,我们通过开发一种脱离策略的元RL算法来解决这些挑战,该算法可以解开任务推理和控制。在我们的方法中,我们执行潜在的任务变量的在线概率过滤,以推断如何解决一个新的任务,从少量的经验。这种概率解释使得后验采样能够进行结构化和有效的探索。我们演示了如何将这些任务变量与非策略RL算法相结合,以实现元训练和自适应效率。我们的方法在样本效率方面优于现有算法20- 100倍,并且在几个元RL基准测试中的渐近性能也优于现有算法。
2019-03-19 cs.AI cs.LG stat.ML
Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling
Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
强化学习算法可以自主地获取复杂任务的策略。然而,学习一组不同的技能所需的样本数量可能非常大。虽然Meta强化学习方法使智能体能够利用先前的经验快速适应新任务,但它们的性能关键取决于新任务与先前经历的任务的接近程度。目前的方法要么不能很好地外推,要么可以以需要非常大量的数据进行策略元训练为代价。在这项工作中,我们提出了模型识别和经验重新标记(MIER),一个Meta强化学习算法,既有效,外推以及当面临的分布任务在测试时。我们的方法是基于一个简单的见解:我们认识到,动态模型可以有效地适应和一致的政策外的数据,更容易比政策和价值函数。然后,这些动态模型可以用于通过为新任务生成合成经验来继续训练分发外任务的策略和价值函数,而根本不使用Meta强化学习。
2020-06-15 cs.LG stat.ML
Unsupervised Curricula for Visual Meta-Reinforcement Learning
UC Berkeley(加州大学伯克利分校);University of Toronto(多伦多大学);Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
原则上,Meta强化学习算法利用许多任务的经验来学习快速强化学习(RL)策略,这些策略可以转移到类似的任务中。然而,目前的元RL方法依赖于手动定义的训练任务分布,手工制作这些任务分布可能具有挑战性且耗时。“有用的”预训练任务可以在无监督的情况下发现吗?我们开发了一个无监督的算法,诱导自适应元训练任务分布,即自动课程,通过在视觉环境中建模无监督的交互。任务分布由元学习者轨迹分布的参数密度模型支撑。我们制定无监督元RL作为潜在的任务变量和元学习者的数据分布之间的信息最大化,并描述了一个实际的实例,它交替最近的经验整合到任务分布和元学习的更新任务。重复该过程导致迭代重组,使得课程随着元学习者的数据分布偏移而适应。特别是,我们展示了视觉表示的判别聚类如何支持具有像素观测的域中的自动级别任务获取和探索,避免了替代品的陷阱。在基于视觉的导航和操作领域的实验中,我们证明了该算法允许无监督元学习转移到由手工制作的奖励函数指定的下游任务,并作为测试任务分布的更有效的监督元学习的预训练。
2019-12-09 cs.AI cs.LG
Decoupling Meta-Reinforcement Learning with Gaussian Task Contexts and Skills
University of Electronic Science and Technology of China(电子科技大学);Sichuan Artificial Intelligence Research Institute(四川人工智能研究院)
针对离线元强化学习先验经验泛化不足的问题,本文提出DCMRL,通过对比任务上下文学习与GQ-VAE分别聚类并解耦上下文和技能潜空间,提升未知任务适应性能。
2023-12-11 cs.LG
Improving Generalization in Meta Reinforcement Learning using Learned Objectives
The Swiss AI Lab IDSIA(瑞士人工智能实验室IDSIA);USI(瑞士意大利语区大学);SUPSI(瑞士南方应用科技大学)
生物进化已经将许多学习者的经验提炼成人类的通用学习算法。我们的新型Meta强化学习算法MetaGenRL就是受到这个过程的启发。MetaGenRL提取了许多复杂智能体的经验,以元学习一个低复杂度的神经目标函数,决定未来的个体将如何学习。与最近的元RL算法不同,MetaGenRL可以推广到与元训练完全不同的新环境。在某些情况下,它甚至优于人类工程RL算法。MetaGenRL在元训练期间使用非策略二阶梯度,这大大提高了其样本效率。
2020-02-14 cs.AI cs.LG cs.NE
MGHRL: Meta Goal-generation for Hierarchical Reinforcement Learning
Tianjin University(天津大学);Noah’s Ark Lab, Huawei(华为诺亚方舟实验室)
大多数Meta强化学习(meta-RL)方法通过直接优化原始动作空间上的策略参数来学习适应新任务。这样的算法在具有相对微小差异的任务中工作得很好。然而,当任务分布变得更宽时,直接学习这样的元策略将是非常低效的。在本文中,我们提出了一个新的元强化学习算法称为Meta Goal-generation for Hierarchical RL(MGHRL)。MGHRL不是直接在原始动作空间上为新任务生成策略,而是根据过去的经验在子目标上生成高级Meta策略,并将如何实现子目标的其余部分作为独立的RL子任务。我们在几个具有挑战性的模拟机器人环境中的经验结果表明,我们的方法可以从过去的经验中进行更有效和更广泛的元学习。
2020-03-04 cs.AI cs.LG stat.ML
Skill-based Meta-Reinforcement Learning
Korea Advanced Institute of Science and Technology(韩国科学技术院);University of Southern California(南加利福尼亚大学);AITRICS;Naver AI Lab(Naver人工智能实验室)
虽然深度强化学习方法在机器人学习中显示出令人印象深刻的结果,但它们的样本效率低下使得使用真实机器人系统学习复杂的长时间行为是不可行的。为了缓解这个问题,Meta强化学习方法旨在通过学习如何学习来实现对新任务的快速学习。然而,该应用程序仅限于具有密集奖励的短期任务。为了能够学习长期行为,最近的工作已经探索了以离线数据集的形式利用先前的经验,而没有奖励或任务注释。虽然这些方法提高了样本效率,但仍需要与环境进行数百万次交互才能解决复杂的任务。在这项工作中,我们设计了一种方法,使元学习的长期视野,稀疏奖励的任务,使我们能够解决看不见的目标任务与数量级更少的环境相互作用。我们的核心思想是在元学习期间利用从离线数据集提取的先前经验。具体来说,我们建议(1)从离线数据集中提取可重用的技能和技能先验,(2)元训练一个高级策略,学习有效地将学习到的技能组合成长期行为,以及(3)快速调整元训练策略以解决看不见的目标任务。在导航和操作中的连续控制任务上的实验结果表明,该方法可以通过结合元学习的优势和离线数据集的使用来有效地解决长时间的新目标任务,而RL,元RL和多任务RL中的先前方法需要更多的环境交互来解决任务。
2022-04-25 cs.AI cs.LG
Estimating Disentangled Belief about Hidden State and Hidden Task for Meta-RL
Graduate School of Engineering, The University of Tokyo(东京大学工学系研究科)
设计Meta强化学习(meta-RL)算法,使自主智能体能够从少量的经验中适应新的任务,这是相当大的兴趣。在元强化学习中,当前任务的规范(如奖励函数)对Agent是隐藏的。此外,由于传感器噪声或现实环境中的限制,状态隐藏在每个任务中。因此,元RL代理面临的挑战是根据少量的经验指定隐藏的任务和状态。为了解决这个问题,我们建议估计解开的信念任务和状态,利用归纳偏见的任务和状态可以被视为每个任务的全局和局部特征。具体来说,我们训练一个分层的状态空间模型(HSSM)参数化的深度神经网络作为环境模型,其全局和局部的潜变量分别对应于任务和状态。因为HSSM不允许后验分布的分析计算,即,在得到信念后,我们可以用信念来扩充无模型策略的观测值,从而有效地训练策略。此外,由于任务和状态信息是可分解和可解释的,与不考虑层次性质的现有方法相比,下游策略训练更容易。在GridWorld环境下的实验验证表明,HSSM能够有效分离隐藏的任务和状态信息。然后,我们在MuJoCo环境中将HSSM与元RL代理与先前的元RL方法进行比较,并确认我们的代理需要更少的训练数据,并达到更高的最终性能。
2021-05-14 cs.AI cs.LG
Training Language Agents to Learn from Experience
University of Cambridge(剑桥大学)
本文提出了一种名为In-context Training(ICT)的任务框架,用于评估语言代理在跨任务中的自我改进能力,并通过基于强化学习的训练管道直接从经验中学习反思,从而在多个基准任务中优于基线模型,展示了从经验中学习的能力本身可以被学习。
2026-05-19 cs.AI cs.CL cs.LG
Unsupervised Meta-Learning for Reinforcement Learning
UC Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
元学习算法使用过去的经验来学习快速解决新任务。在强化学习的背景下,元学习算法通过利用来自先前任务的经验来获得强化学习过程以更有效地解决新问题。元学习算法的性能取决于可用于元训练的任务:以同样的方式,监督学习最好地推广到与训练点相同分布的测试点,元学习方法最好地推广到与元训练任务相同分布的任务。实际上,Meta强化学习将设计负担从算法设计转移到任务设计上。如果我们也能自动化任务设计的过程,我们就能设计出真正自动化的元学习算法。在这项工作中,我们在这个方向上迈出了一步,提出了一个家庭的无监督元学习算法的强化学习。我们激励和描述了无监督Meta强化学习的一般配方,并提出了这种方法的实例。我们的概念和理论贡献包括制定无监督的Meta强化学习问题,并描述如何基于互信息的任务建议可以用来训练最佳元学习者。我们的实验结果表明,无监督Meta强化学习有效地获得加速强化学习过程,而不需要手动任务设计,这些过程超过从头开始学习的性能。
2020-04-30 cs.AI cs.LG stat.ML
Beyond Meta-Reasoning: Metacognitive Consolidation for Self-Improving LLM Reasoning
Southeast University(东南大学);King’s College London(伦敦国王学院);The Alan Turing Institute(艾伦·图灵研究所);Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东科学院))
本文提出元认知巩固框架,通过整合历史推理经验提升未来元推理能力,实验显示性能随经验积累而提升。
2026-04-19 cs.AI
EVAF: A Test-Retest Protocol for Selective Parametric Consolidation
提出EVAF机制和测试-重测协议,通过门控LoRA整合高价值、高意外经验,在GPT-2和TinyLlama上实现比基线更强的抗干扰行为持久性,同时保持低参数漂移和低跨角色污染。
2026-06-29 cs.AI cs.LG
Meta-Reinforcement Learning of Structured Exploration Strategies
UC Berkeley(加州大学伯克利分校);Embodied Intelligence(具身智能公司)
探索是强化学习(RL)的一个基本挑战。目前许多深度强化学习的探索方法都使用与任务无关的目标,例如基于状态访问的信息增益或奖金。然而,RL的许多实际应用涉及学习多个任务,并且可以使用先前的任务来告知如何在新任务中执行探索。在这项工作中,我们将探讨如何事先任务可以告知代理如何有效地探索在新的情况下。我们引入了一种新的基于梯度的快速自适应算法-结构化噪声模型不可知探索(MAESN)-从先前的经验中学习探索策略。先前的经验被用来初始化一个政策,并获得一个潜在的探索空间,可以注入结构化的随机性到一个政策,产生的探索策略,是由先验知识,比随机动作空间噪声更有效。我们表明,MAESN是更有效的学习探索策略相比,以前的元RL方法,RL没有学习的探索策略,任务不可知的探索方法。我们评估我们的方法在各种模拟任务:运动与轮式机器人,运动与四足步行机,和对象操作。
2018-02-20 cs.AI cs.LG cs.NE
Unleashing GPT on the Metaverse: Savior or Destroyer?
Aarhus University(奥胡斯大学)
本文评估GPT在元宇宙教育、娱乐、个性化与支持中的应用机遇及隐私、偏见和伦理风险,探讨如何发挥其技术优势打造更沉浸的虚拟环境。
2024-06-15 cs.AI cs.HC
Guided Meta-Policy Search
University of California, Berkeley(加州大学伯克利分校)
强化学习(RL)算法在复杂任务上已经展示了有希望的结果,但由于它们从头开始学习,因此通常需要不切实际的样本数量。Meta-RL旨在通过利用以前任务的经验来解决这一挑战,以便更快地解决新任务。然而,在实践中,这些算法在元训练过程中通常也需要大量的策略经验,这使得它们在许多问题中不切实际。为此,我们建议以联邦的方式学习强化学习过程,其中各个非策略学习者可以解决各个元训练任务,然后将这些解决方案合并到单个元学习者中。由于中央元学习者通过模仿单个任务的解决方案来学习,因此它可以适应标准的元RL问题设置或混合设置,其中一些或所有任务都提供了示例演示。前者的结果是一种方法,可以在元训练期间利用为先前任务学习的策略,而无需大量的策略数据,而后者在演示很容易提供的情况下特别有用。在许多连续控制元RL问题,我们证明了元RL样本效率的显着改善相比,以前的工作,以及扩展到域的视觉观察的能力。
2020-10-27 cs.AI cs.LG cs.RO
Hindsight Foresight Relabeling for Meta-Reinforcement Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tsinghua University(清华大学);HeliXon Limited(HeliXon有限公司)
Meta-强化学习(meta-RL)算法允许代理从少量经验中学习新行为,从而缓解RL中的样本效率低下问题。然而,虽然元RL代理可以在测试时快速适应新任务,但元训练过程仍然是样本效率低下的。先前的工作已经发现,在多任务RL设置中,重新标记过去的转换,从而在任务之间共享经验,可以提高样本效率和渐近性能。我们将这一想法应用到元RL设置中,并设计了一种新的重新标记方法,称为后见之明重新标记(HFR)。我们使用“后见之明”和“远见”的组合构建了一个重新标记分布,后见之明用于使用来自训练任务分布的奖励函数重新标记轨迹,而远见则采用重新标记的轨迹并计算每个任务的每个轨迹的效用。HFR易于实现,并且与现有的元RL算法兼容。我们发现,HFR在各种元RL任务上与其他重新标记方法相比提高了性能。
2022-04-25 cs.LG stat.ML
SEEK: Skill-Routed Evaluation with Evolvable Knowledge for Industrial Search
Peking University(北京大学);Kuaishou Technology(快手科技)
针对工业搜索评估标准多维且动态演化的问题,提出SEEK框架,通过技能库外部化标准、动态路由和两阶段训练实现页面级评估与归因,在快手4亿日活场景显著提升评估质量。
2026-09-25 cs.AI cs.IR
Adaptive Social Metaverse Streaming based on Federated Multi-Agent Deep Reinforcement Learning
针对社交元宇宙中隐私保护与高质量低延迟流媒体传输的冲突,提出基于联邦多智能体近端策略优化的ASMS系统,动态调整比特率,在保护隐私的同时将用户体验提升至少14%。
2025-06-19 cs.AI cs.LG cs.MM
Unveiling the Learning Mind of Language Models: A Cognitive Framework and Empirical Study
Thrust of Artificial Intelligence, The Hong Kong University of Science and Technology (Guangzhou), China(香港科学与技术大学人工智能研究所);Department of Computer Science and Engineering, The Hong Kong University of Science and Technology Hong Kong SAR, China(香港科学与技术大学计算机科学与工程系);Microsoft Research Asia(微软亚洲研究院);University of Cambridge(剑桥大学);Microsoft(微软)
本文提出一种认知框架,将学习能力分解为三个维度,并通过实证研究揭示LLMs在不同学习场景下的表现与局限性。
2025-12-26 cs.AI cs.CL
STRATA: Self-Maintaining Structured Experience Graphs for Self-Evolving Language Agents
New Jersey Institute of Technology(新泽理工学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本研究提出STRATA结构化记忆系统,解决LLM智能体单层级记忆的负迁移与退化问题,在四个基准测试中取得最优性能,同时降低延迟、环境步骤及记忆行数。
2026-10-14 cs.AI
UAV aided Metaverse over Wireless Communications: A Reinforcement Learning Approach
Nanyang Technological University(南洋理工大学);University of North Texas(北德克萨斯大学)
Metaverse有望在5G高数据速率通信技术的支持下,创造一个与现实紧密相连的虚拟世界,为用户提供身临其境的体验。物理世界中的大量数据需要同步到虚拟世界,为用户提供沉浸式体验,并且将更多用户纳入Metaverse对覆盖率提出更高要求。然而,5G信号遭受严重衰减,这使得维持相同覆盖范围的成本更高。无人机(UAV)是未来实现Metaverse作为低成本和高移动性通信设备平台的一种有前途的候选技术。本文提出了一种基于最近策略优化(PPO)的双智能体协同强化学习方法,用于无人机的信道分配和轨迹控制,实现从物理世界到虚拟世界的数据收集和同步,经济地扩大Metaverse服务的覆盖范围。仿真结果表明,我们提出的方法是能够实现更好的性能相比,基准方法。
2023-01-04 cs.LG cs.SY eess.SY
MSM-Mem: A Universal Medical Structured Multimodal Memory Framework for Medical AI Agents
University of Georgia(佐治亚大学);New Jersey Institute of Technology(新泽西理工学院)
针对现有医疗AI智能体无法内化临床经验的问题,提出MSM-Mem框架,整合多类型临床经验并逐步更新,经MoE-LLaVA评估可提升性能,助力医疗AI智能体随实践进化推理能力。
2026-11-10 cs.CV cs.LG
What Should I Know? Using Meta-gradient Descent for Predictive Feature Discovery in a Single Stream of Experience
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所)
在计算强化学习中,越来越多的工作试图通过对未来感觉的预测来构建智能体对世界的感知;对环境观测的预测被用作额外的输入特征,以实现更好的目标导向决策。这一领域的一个公开挑战是从智能体可能做出的无限多的预测中确定哪些预测可能最好地支持决策。这种挑战在持续学习问题中尤其明显,在这些问题中,单个智能体可以获得单一的经验流。作为主要贡献,我们引入了一个Meta梯度下降过程,通过该过程,智能体学习1)要做出什么预测,2)对其所选预测的估计,以及3)如何使用这些估计来生成最大化未来奖励的策略-所有这些都是在一个单一的持续持续学习过程中进行的。在这篇手稿中,我们认为预测表示为一般价值函数:暂时延长的估计积累的未来信号。我们证明,通过与环境的交互,代理可以独立地选择解决部分可观测性的预测,从而导致类似于专业指定的GVF的性能。通过学习,而不是手动指定这些预测,我们使智能体能够以自我监督的方式识别有用的预测,向真正的自治系统迈出了一步。
2022-06-13 cs.AI cs.LG
CoMPS: Continual Meta Policy Search
Berkeley AI Research(伯克利人工智能研究院);Stanford(斯坦福大学);Mila(米拉人工智能研究院)
我们开发了一种新的持续元学习方法来解决顺序多任务学习中的挑战。在这种情况下,智能体的目标是快速地在任何任务序列上获得高奖励。先前的Meta强化学习算法已经在加速新任务的获取方面展示了有希望的结果。但是,他们需要在培训期间访问所有任务。除了简单地将过去的经验转移到新任务中,我们的目标是设计持续的强化学习算法,学习学习,利用他们在以前任务中的经验更快地学习新任务。我们引入了一种新的方法,连续元策略搜索(CoMPS),通过以增量方式对序列中的每个任务进行元训练来消除这种限制,而无需重新访问先前的任务。CoMPS不断重复两个子程序:使用RL学习新任务,并使用RL的经验执行完全离线的元学习,为后续的任务学习做准备。我们发现,CoMPS优于先前的持续学习和关闭政策的元强化方法上的几个序列的具有挑战性的连续控制任务。
2021-12-08 cs.AI cs.LG cs.RO
Skill-MAS: Evolving Meta-Skill for Automatic Multi-Agent Systems
Ant Group(蚂蚁集团);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
提出Skill-MAS,通过将高层编排能力解耦为可演化的元技能,在无需参数更新的情况下实现经验保留,利用多轨迹采样和选择性反思优化元技能,在多个基准和LLM上取得显著性能提升且成本可控。
2026-09-30 cs.AI cs.LG cs.MA
Meta-Learning with Sparse Experience Replay for Lifelong Language Learning
University of Amsterdam(阿姆斯特丹大学);Facebook AI(脸书人工智能研究院);King’s College London(伦敦国王学院)
终身学习需要模型能够从连续的数据流中不断学习,而不会因数据分布的变化而遭受灾难性遗忘。深度学习模型在非顺序学习范式中蓬勃发展;然而,当用于学习一系列任务时,它们无法保留过去的知识并进行增量学习。我们提出了一种新的方法,终身学习的语言任务的基础上元学习稀疏经验重放,直接优化,以防止遗忘。我们表明,在现实的设置下,执行一个单一的任务流,没有任何任务标识符,我们的方法获得了国家的最先进的结果,终身文本分类和关系抽取。我们分析了我们的方法的有效性,并进一步证明了其低的计算复杂度和空间复杂度。
2021-07-25 cs.CL cs.LG
Improving Robot Dual-System Motor Learning with Intrinsically Motivated Meta-Control and Latent-Space Experience Imagination
University of Hamburg(汉堡大学);Knowledge Technology(知识技术学院)
结合基于模型和无模型的学习系统已被证明可以提高学习的样本效率,以执行复杂的机器人任务。然而,双系统方法未能考虑学习模型的可靠性,当它被应用于进行多步预测,导致预测误差和性能下降的复合。在本文中,我们提出了一种新的双系统电机学习方法,其中元控制器基于学习模型的局部可靠性估计在线仲裁基于模型和无模型的决策。可靠性估计用于计算内在反馈信号,鼓励产生改进模型的数据的行动。我们的方法还集成了仲裁与想象力的学习潜在空间模型产生想象的经验,根据其本地的可靠性,作为额外的训练数据。我们评估我们的方法对基线和国家的最先进的方法在模拟和现实世界中学习基于视觉的机器人抓取。结果表明,我们的方法优于比较的方法,并学习接近最优的抓取策略在密集和稀疏奖励环境。
2020-11-01 cs.AI cs.LG cs.RO
A Meta-Summary of Challenges in Building Products with ML Components -- Collecting Experiences from 4758+ Practitioners
Carnegie Mellon University(卡内基梅隆大学);Carnegie Mellon Software Engineering Institute(卡内基梅隆大学软件工程研究所);University of Toronto(多伦多大学)
本文通过元总结方法收集50篇相关文献,整理4758名从业者提及的500多项挑战,汇总了构建含ML组件产品时的软件工程挑战,为研究与教育提供参考。
2023-03-31 cs.LG cs.SE
Watch, Try, Learn: Meta-Learning from Demonstrations and Reward
Google Brain(谷歌大脑);UC Berkeley(加州大学伯克利分校);Stanford(斯坦福大学);Google AI Resident(谷歌AI驻场研究员)
模仿学习允许代理从演示中学习复杂的行为。然而,学习复杂的基于视觉的任务可能需要不切实际的演示次数。Meta-模仿学习是一种很有前途的方法,通过利用学习类似任务的经验,使代理从一个或几个演示中学习新任务。在存在任务模糊性或未观察到的动态时,单独的演示可能无法提供足够的信息;代理还必须尝试任务以成功地推断出策略。在这项工作中,我们提出了一种方法,可以学习学习从两个示范和试错经验与稀疏奖励反馈。与元模仿相比,这种方法使智能体能够有效地、高效地自主改进自身,超越演示数据。与元强化学习相比,我们可以扩展到更广泛的任务分布,因为演示减少了探索的负担。我们的实验表明,我们的方法显着优于以前的方法在一组具有挑战性的,基于视觉的控制任务。
2020-01-30 cs.AI cs.LG stat.ML
Meta-Referential Games to Learn Compositional Learning Behaviours
University of York(约克大学)
针对人工智能体难以解决绑定问题、缺乏组合学习行为的问题,受指称博弈启发提出元指称博弈框架,构建符号行为基准S2B以研究智能体的组合泛化学习能力,基线结果显示其具研究挑战性。
2023-12-19 cs.CL cs.LG
Probabilistic Active Meta-Learning
University College London(伦敦大学学院);Imperial College London(帝国理工学院)
数据高效的学习算法在数据汇集昂贵的许多实际应用中是必不可少的,例如,在机器人技术中的应用为了解决这个问题,元学习算法使用关于任务的先前经验来有效地学习新的相关任务。通常,假设给定或随机选择一组训练任务。然而,这种设置没有考虑到在现实生活中从头开始训练模型时自然产生的顺序性质:我们如何以数据高效的方式收集一组训练任务?在这项工作中,我们引入了任务选择的基础上先前的经验到一个元学习算法的概念化的学习者和积极的元学习设置使用概率潜在变量模型。我们提供的经验证据表明,与模拟机器人实验的强基线相比,我们的方法提高了数据效率。
2020-10-22 cs.LG stat.ML
Boundedly Rational Meta-Learning in Sequential Consumer Choice
University of Washington(华盛顿大学)
研究消费者在不确定环境下重复选择时的跨情境知识转移,提出有界理性元动态规划政策BRMDP(D),发现消费者通过粗略的先验不确定性表示实现跨情境学习。
2026-08-25 cs.LG econ.GN q-fin.EC
EMO: Episodic Memory Optimization for Few-Shot Meta-Learning
University of Amsterdam(阿姆斯特丹大学);United Imaging Healthcare, Co., Ltd.(联影医疗科技股份有限公司);Inception Institute of Artificial Intelligence(起源人工智能研究院)
针对少样本元学习中训练样本有限导致梯度下降优化困难的问题,提出情景记忆优化方法EMO,通过外部记忆保留历史任务梯度引导参数更新,理论证明其收敛性,实验表明其提升了现有方法的性能并加速收敛。
2023-06-26 cs.LG
Multi-Modal Fusion by Meta-Initialization
University of Oxford(牛津大学);University College London(伦敦大学学院)
当经验不足时,模型可能没有足够的信息来适应新任务。在这种情况下,辅助信息-例如任务的文本描述-可以实现改进的任务推理和适应。在这项工作中,我们提出了一个扩展模型不可知元学习算法(MAML),它允许模型使用辅助信息以及任务经验来适应。我们的方法,融合元数据(FuMI),条件的辅助信息使用超网络的模型初始化,而不是学习一个单一的,任务不可知的初始化。此外,由于现有多模态少镜头学习基准的缺点,我们构建了iNat-Anim-一个大规模的图像分类数据集,具有简洁和视觉相关的文本类描述。在iNat-Anim上,FuMI在Few-Shot范围内显著优于单峰基线,如MAML。该项目的代码和iNat-Anim的数据集探索工具可在www.example.com上公开获得。
2022-10-10 cs.CV cs.LG