Fast On-Device Adaptation for Spiking Neural Networks via Online-Within-Online Meta-Learning
King’s College London(伦敦国王学院)
脉冲神经网络(SNN)最近因其低功耗特性而成为移动医疗管理和自然语言处理等应用的设备上边缘智能的机器学习模型。在这种高度个性化的用例中,重要的是模型能够仅用最少量的训练数据来适应个体的独特特征。元学习已经被提出作为一种训练模型的方法,这些模型面向快速适应新任务。SNN的少数现有元学习解决方案离线运行,需要某种形式的反向传播,这与当前的神经形态边缘设备不兼容。在本文中,我们提出了一个名为OWOML-SNN的SNN的在线内在线元学习规则,该规则可以在任务流上进行终身学习,并依赖于本地,无反向传播,嵌套更新。
2021-02-21 cs.LG cs.NE eess.SP
Algorithm Design for Online Meta-Learning with Task Boundary Detection
The Ohio State University(俄亥俄州立大学);University of Houston(休斯顿大学);University of California, Davis(加州大学戴维斯分校)
针对非平稳且任务边界未知的在线元学习问题,提出基于任务切换与分布漂移检测、仅用当前数据更新的算法,并证明次线性任务平均遗憾及显著实验优势。
2024-08-05 cs.LG stat.ML
Meta-Tracker: Fast and Robust Online Adaptation for Visual Object Trackers
Department of Computer Science, University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校计算机科学系)
本文改进了使用在线自适应的最先进的视觉对象跟踪器。我们的核心贡献是一种基于离线元学习的方法,用于调整在线自适应跟踪中使用的初始深度网络。Meta学习由深度网络的目标驱动,可以快速适应未来帧中的特定目标。理想情况下,生成的模型将重点放在对未来帧有用的特征上,并避免过度拟合背景杂波、目标的小部分或噪声。通过在元学习过程中强制执行少量的更新迭代,最终的网络训练速度明显更快。我们证明了这种方法的高性能跟踪方法的顶部:跟踪检测为基础的MDNet和相关性为基础的CREST。在标准基准测试OTB 2015和VOT 2016上的实验结果表明,我们的两种跟踪器的元学习版本提高了速度、准确性和鲁棒性。
2018-03-19 cs.CV cs.LG
Fully Online Meta-Learning Without Task Boundaries
UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
虽然深度网络可以学习复杂的功能,如分类器,检测器和跟踪器,但许多应用程序需要模型不断适应不断变化的输入分布,不断变化的任务和不断变化的环境条件。事实上,这种不断积累知识并利用过去的经验在连续设置中快速学习新任务的能力是智能系统的关键属性之一。对于复杂和高维问题,简单地用标准学习算法(例如梯度下降)不断更新模型可能导致缓慢的自适应。元学习可以提供一个强大的工具来加速适应,但传统上是在批量设置中研究。在本文中,我们研究了如何将元学习应用于解决这种性质的在线问题,同时适应不断变化的任务和输入分布,并对模型进行元训练,以便在未来更快地适应。将元学习扩展到在线环境中存在其自身的挑战,尽管一些先前的方法已经研究了相关问题,但它们通常需要任务的离散概念,具有已知的地面实况任务边界。这些方法通常按顺序适应每个任务,在任务之间重置模型,而不是在任务之间连续适应。在许多现实世界的设置中,这样的离散边界是不可用的,甚至可能不存在。为了解决这些设置,我们提出了一种完全在线的元学习(FOML)算法,它不需要任何关于任务边界的基础知识,并且保持完全在线,而不会重置回预先训练的权重。我们的实验表明,FOML能够比Rainbow-MNIST,CIFAR 100和CELEBA数据集上最先进的在线学习方法更快地学习新任务。
2022-02-18 cs.CV cs.LG
Dynamic Regret Analysis for Online Meta-Learning
Amirkabir University of Technology(阿米卡比尔理工大学)
在线元学习框架已经成为持续终身学习的有力工具。智能体的目标是在面对一个接一个的任务时,利用先前的经验快速学习新的任务。该公式包括两个层次:外部层次学习元学习者和内部层次学习特定任务模型,只有少量的数据来自当前任务。虽然现有的方法提供了静态的遗憾分析的在线元学习框架,我们建立的动态遗憾,处理不断变化的环境,从全球的角度来看,性能。我们还构建了一个通用版本的自适应梯度方法,涵盖了ADAM和ADAGRAD,以在外层学习元学习者。我们进行了我们的分析,在随机设置,并在期望证明了一个对数的局部动态遗憾,这取决于明确的迭代次数T和参数的学习。此外,我们还指出了所提出的算法的收敛速度与适当的参数选择的高概率界,这是以前没有讨论过的。
2021-09-29 cs.LG stat.ML
Accelerating Distributed Online Meta-Learning via Multi-Agent Collaboration under Limited Communication
Arizona State University(亚利桑那州立大学)
在线元学习正在成为物联网生态系统中实现边缘智能的一种使能技术。然而,为了学习一个好的元模型,以实现任务内的快速适应,单个智能体必须单独学习许多任务,这就是所谓的“冷启动”问题。观察到在多智能体网络中,不同智能体之间的学习任务通常具有一些模型相似性,我们提出了以下基本问题:“是否有可能通过有限的通信来加速智能体之间的在线元学习,如果是的话,可以实现多大的好处?为了回答这个问题,我们提出了一个多智能体在线元学习框架,并将其转换为一个等价的两级嵌套在线凸优化(OCO)问题。通过表征代理任务平均遗憾的上界,我们表明,多代理在线元学习的性能在很大程度上取决于有多少代理可以受益于分布式网络级的OCO元模型更新通过有限的通信,但这是不是很好地理解。为了解决这一挑战,我们设计了一个分布式的在线梯度下降算法与梯度跟踪,每个代理跟踪全局梯度使用只有一个通信步骤与它的邻居每次迭代,它的结果是在一个平均遗憾$O(\sqrt{T/N})$每个代理,表明$\sqrt{1/N}$的一个因素的加速比最佳的单代理遗憾$O(\sqrt{T})$后,$T$迭代,其中$N$是代理的数量。在此基础上,我们接下来开发了一个多智能体在线元学习算法,并表明它可以通过有限的通信以更快的$O(1/\sqrt{NT})$速度实现最佳任务平均遗憾,相比单智能体在线元学习。大量的实验证实了理论结果。
2020-12-19 cs.DC cs.LG cs.MA
Meta-Learning Online Control for Linear Dynamical Systems
University of California Irvine(加州大学欧文分校);Texas A&M University(德州农工大学)
在本文中,我们考虑的问题,找到一个元学习在线控制算法,可以学习跨任务时,面对一系列的$N$(类似)控制任务。每个任务都涉及控制$T$时间步长的有限范围内的线性动力系统。在每个时间步的成本函数和系统噪声是对抗性的,并且在采取控制动作之前对控制器是未知的。元学习是一种广泛的方法,其目标是利用来自其他任务的信息和任务之间的相似性为任何新的看不见的任务规定在线策略。我们提出了一个元学习在线控制算法的控制设置和表征其性能的\textit{meta-regret},跨任务的平均累积遗憾。我们表明,当任务的数量足够大,我们提出的方法实现了元遗憾,是较小的一个因素$D/D^{*}$相比,独立学习的在线控制算法,它不执行跨任务的学习,其中$D$是一个问题常数和$D^{*}$是一个标量,随着任务之间的相似性增加而减少。因此,当任务序列相似时,所提出的元学习在线控制的遗憾度显著低于没有元学习的朴素方法。我们还提出了实验结果来证明我们的元学习算法所取得的优异性能。
2022-08-18 cs.LG cs.SY eess.SY
Online Meta-Learning
University of California, Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学)
智能系统的一个核心能力是能够不断地建立在以前的经验,以加快和加强对新任务的学习。两种不同的研究范式研究了这个问题。元学习将此问题视为学习模型参数的先验,该模型参数适合于对新任务的快速适应,但通常假设任务集作为一批一起可用。相比之下,在线(基于后悔)学习考虑了一个连续的设置,其中问题一个接一个地被揭示,但传统上训练只有一个单一的模型,没有任何特定于任务的适应。这项工作介绍了一个在线元学习设置,它合并了上述两种范式的想法,以更好地捕捉持续终身学习的精神和实践。我们提出了跟随Meta领导者算法,它扩展了MAML算法到这种设置。从理论上讲,这项工作提供了一个$\mathcal{O}(\log T)$遗憾的保证,只有一个额外的高阶平滑假设相比,标准的在线设置。我们对三个不同的大规模任务的实验评估表明,该算法显着优于传统的在线学习方法的基础上的替代品。
2019-07-03 cs.AI cs.LG stat.ML
Meta-Learning Guarantees for Online Receding Horizon Learning Control
在本文中,我们提供了可证明的遗憾保证在线元学习滚动时域控制算法在迭代控制设置。我们考虑的设置,在每一次迭代中的系统被控制是一个线性确定性系统,是不同的和未知的,在迭代中的控制器的成本是一个一般的附加代价函数和仿射控制输入约束。通过分析次线性后悔可实现的条件,证明了元学习在线滚动时域控制器实现了控制器代价的动态后悔平均值,即$\tilde{O}((1+1/\sqrt{N})T^{3/4})$与迭代次数$N$。因此,我们表明,迭代中学习的最大遗憾会随着更多迭代的经验而改善,并保证改进率。
2022-11-01 cs.LG cs.SY eess.SY
Lessons learned from the NeurIPS 2021 MetaDL challenge: Backbone fine-tuning without episodic meta-learning dominates for few-shot learning image classification
Samsung(三星)
尽管深度神经网络能够在各种任务上实现优于人类的性能,但它们因需要大量数据和计算资源而臭名昭著,这将它们的成功限制在这些资源可用的领域。元学习方法可以通过从相关任务中转移知识来解决这个问题,从而减少学习新任务所需的数据量和计算资源。我们组织MetaDL竞赛系列,为世界各地的研究小组提供机会,为实际问题创建和实验评估新的Meta(深度)学习解决方案。在这篇由竞赛组织者和排名靠前的参与者合作撰写的论文中,我们描述了竞赛的设计、数据集、最佳实验结果以及NeurIPS 2021挑战赛中排名靠前的方法,该挑战赛吸引了15个活跃的团队进入最后阶段(通过超越基线),在反馈阶段提交了100多个代码。顶级参与者的解决方案是开源的。经验教训包括,学习良好的表示是有效的迁移学习的关键。
2022-07-11 cs.AI cs.CV cs.LG
Deep Online Learning via Meta-Learning: Continual Adaptation for Model-Based RL
UC Berkeley(加州大学伯克利分校)
人类和动物可以学习复杂的预测模型,使他们能够准确可靠地推理现实世界的现象,并且他们可以在面对意外变化时非常迅速地适应这些模型。深度神经网络模型允许我们表示非常复杂的功能,但缺乏快速在线适应的能力。本文的目标是开发一种使用深度神经网络模型从传入数据流中进行持续在线学习的方法。我们制定了一个在线学习程序,使用随机梯度下降更新模型参数,并与中国餐厅的过程之前,开发和维护的混合模型来处理非平稳任务分布的期望最大化算法。这允许所有模型根据需要进行调整,新模型针对任务更改进行实例化,旧模型在再次遇到以前看到的任务时被调用。此外,我们观察到元学习可以用于元训练模型,使得SGD的这种直接在线自适应是有效的,否则对于大型函数逼近器来说就不是这种情况。在这项工作中,我们将我们的元学习在线学习(MOLe)方法应用于基于模型的强化学习,其中调整预测模型对于控制至关重要;我们证明MOLe优于其他先验方法,并在非平稳任务分布(如变化的地形,电机故障和意外干扰)中实现有效的连续适应。
2019-01-28 cs.AI cs.LG cs.RO
Online Bayesian Meta-Learning for Cognitive Tracking Radar
Virginia Tech(弗吉尼亚理工大学);US Army Research Laboratory(美国陆军研究实验室)
认知雷达的一个关键组成部分是泛化能力,或在一系列感知环境中实现一致的性能,因为物理场景的各个方面可能会随时间而变化。这对基于学习的波形选择方法提出了挑战,因为在一个场景中有效的传输策略在另一个场景中可能是非常次优的。我们解决这个问题的战略偏见的学习算法,通过利用高层次的结构跟踪实例,称为元学习。在这项工作中,我们开发了一种在线元学习方法,用于波形敏捷跟踪。该方法使用从先前目标跟踪中获得的信息来加速和增强新跟踪实例中的学习。这导致在样本有效的学习,通过利用固有的相似性,在跟踪场景中,由于共同的物理元素,如目标类型或杂波统计的一类有限状态目标通道。我们制定的贝叶斯学习的框架内的在线波形选择问题,并提供先验依赖的性能界限的元学习问题,使用概率近似正确(PAC)贝叶斯理论。我们提出了一个计算上可行的元后验采样算法,并研究了在不同场景的仿真研究中的性能。最后,我们研究了与波形敏捷跟踪的在线元学习相关的潜在性能优势和实际挑战。
2023-02-07 cs.IT cs.LG cs.SY
The impacts of various parameters on learning process and machine learning based performance prediction in online coding competitions
各种参数影响学生在在线编码比赛中的表现。学生的行为,方法,情绪和问题的难度水平显着影响他们的表现在网上编码比赛。我们组织了两次编码比赛,以了解上述参数的影响。我们在每次编码比赛结束时都做了在线调查,它包含了与在线编码比赛期间学生的行为,方法和情绪有关的问题。学生根据提交的时间和状态进行评估。我们已经进行了详细的分析,以解决学生的方法,行为和情绪对学习过程中的在线编码比赛的影响。根据提交的时间和状态,提出了两个难度级别。在这项研究工作中,难度水平对基于机器学习的性能预测的影响。根据时间,编码解决方案提交有两个类别“少于15分钟”和“超过15分钟”。根据提交状态,有三个等级:“完全解决”、“部分解决”和“根本未提交”。为两个编码竞赛找到了在15分钟内提交解决方案的适当方法。针对上述分类问题训练和评估机器学习分类器。情绪,情绪和难度水平对学习过程的影响也进行了评估,通过比较两个编码比赛的机器学习模型的结果。
2022-09-26 cs.CY cs.HC cs.LG
Efficient Competitions and Online Learning with Strategic Forecasters
在预测和机器学习领域,赢者通吃的竞争受到了扭曲的激励。Witkowski等人在2018年发现了这个问题,并提出了ELF,这是一种选择获胜者的真实机制。我们发现,从一个池的$n$预测,ELF需要$Θ(n\log n)$事件或测试数据点,以选择一个接近最佳的预测与高概率。然后,我们表明,标准的在线学习算法选择一个$ε$ -最佳预测只使用$O(\log(n) / ε^2)$事件,通过一个强大的近似真实性保证。即使在非策略环境中,这个界限也是最佳的。然后,我们应用这些机制,为非短视的战略专家获得第一个不后悔的保证。
2021-06-10 cs.GT cs.LG
Exploring the social influence of Kaggle virtual community on the M5 competition
The University of Manchester(曼彻斯特大学);Beihang University(北京航空航天大学)
M5与以往预测竞赛最显著的不同之一是,它是在数据科学家和机器学习从业者的在线平台Kaggle上举行的。Kaggle为对M5竞赛感兴趣的网络用户提供了一个聚会场所或虚拟社区。用户可以通过在线笔记本和论坛分享代码、模型、功能、损失函数等。本文旨在研究虚拟社区对M5竞赛中用户行为的社会影响。本文首先通过主题建模和趋势分析对M5虚拟社区的内容进行研究。此外,我们进行社会媒体分析,以确定潜在的关系网络的虚拟社区。我们研究的角色和一些关键参与者的特点,促进信息在M5虚拟社区内的扩散。总体而言,本研究提供了深入的见解,虚拟社区对参与者的影响机制,并对未来的在线竞争具有潜在的意义。
2021-10-01 cs.LG cs.SI
Keeping Teams in the Game: Predicting Dropouts in Online Problem-Based Learning Competition
Indian Institute of Technology Bombay(印度理工学院孟买分校)
本研究利用在线PBL机器人竞赛中的讨论论坛活动和OSLQ问卷数据,通过机器学习算法预测团队退出行为,并验证了OSLQ的可靠性。
2023-12-27 cs.CY cs.HC cs.LG
Generalized Translation and Scale Invariant Online Algorithm for Adversarial Multi-Armed Bandits
我们研究了对抗性多臂强盗问题,并创建了一个完全在线的算法框架,该框架在任意平移和手臂损失的尺度下都是不变的。我们研究了我们的算法对一个通用的竞争类,这使得它适用于各种各样的问题场景的预期性能。我们的算法从一个普遍的预测的角度来看,所使用的性能指标是对任意臂选择序列的预期遗憾,这是我们的损失和竞争损失序列之间的差异。竞争类可以被设计为包括固定臂选择、切换强盗、上下文强盗或任何其他感兴趣的竞争。竞赛类中的顺序通常由手头的具体应用决定,并应相应地进行设计。我们的算法既不使用也不需要任何关于损失序列的初步信息,并且完全在线。它的性能界限是二阶界的平方损失的总和,其中任何仿射变换的损失没有影响的归一化遗憾。
2021-09-19 cs.LG stat.ML
Crowdsourcing the Frontier: Advancing Hybrid Physics-ML Climate Simulation via a $50,000 Kaggle Competition
通过5万美元Kaggle竞赛,研究利用众包方法改进混合物理-人工智能气候模拟的在线性能,展示多种架构在低分辨率真实地理设置下的稳定性。
2026-03-08 cs.LG physics.ao-ph
WOGAN at the SBST 2022 CPS Tool Competition
Åbo Akademi University(奥博学术大学)
WOGAN是一种基于Wasserstein生成对抗网络的在线测试生成算法。在这篇文章中,我们介绍了WOGAN的工作原理,并总结了它在SBST 2022 CPS工具竞赛中关于自动驾驶汽车AI的表现。
2022-05-23 cs.LG cs.RO cs.SE
San Francisco Crime Classification
The American University in Cairo(开罗美国大学)
旧金山犯罪分类是由Kaggle Inc.管理的在线竞赛。比赛的目的是根据一组特定的地理和时间特征预测未来的犯罪。在这篇论文中,截至2016年5月19日,我的准确率排名前18%。我将探索这些数据,并详细解释我用来实现这一结果的工具。
2016-07-13 cs.LG
Large Scale Purchase Prediction with Historical User Actions on B2C Online Retail Platform
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
本文描述了Bazinga团队为2014天猫推荐奖提供的解决方案。通过中国最大的B2C在线零售平台之一天猫提供的真实用户行为数据,该竞赛要求预测未来用户在天猫网站上的购买行为。预测结果基于F1 Score进行判断,F1 Score同时考虑了查准率和查全率,以进行公平的评估。天猫提供的数据集包含来自超过1000万不同用户的超过5亿条行动记录。如此庞大的数据量带来了巨大的挑战,并驱使竞争对手以MapReduce的方式编写每一个程序,并在分布式集群上运行。我们将购买预测问题建模为标准的机器学习问题,并主要采用回归和分类方法作为单一模型。然后,在两个阶段的方法中聚合各个模型,使用线性回归进行混合,最后是混合模型的线性集合。在本文写作过程中,比赛已接近尾声,但仍在进行中。最终,我们的团队获得了F1Score 6.11,排名第7(在总共7,276支球队中)。
2015-03-04 cs.LG
Influence branching for learning to solve mixed-integer programs online
ISAE-SUPAERO;ENSTA, Institut Polytechnique de Paris(ENSTA,巴黎理工学院);EDF R&D(EDF研发)
本研究针对在线求解混合整数规划问题,提出基于图的影响分支变量选择策略,结合Thompson采样在线优化,性能媲美现有最优在线方法且泛化性更强。
2025-10-05 cs.LG
Discovering Quality-Diversity Algorithms via Meta-Black-Box Optimization
Imperial College London(帝国理工学院);Sakana AI
本文提出利用元学习自动发现质量-多样性算法,通过注意力机制参数化竞争规则,所得算法在性能、泛化能力和多样性维持上均表现优异。
2025-02-04 cs.LG cs.NE
Battlesnake Challenge: A Multi-agent Reinforcement Learning Playground with Human-in-the-loop
Amazon Web Services(亚马逊云科技)
我们提出了Battlesnake Challenge,这是一个基于人机在环学习(HILL)的多智能体强化学习框架。它是基于Battlesnake开发的,Battlesnake是传统蛇游戏的多人游戏扩展,其中2条或更多蛇争夺最终生存。Battlesnake Challenge包括一个用于模型训练的离线模块和一个用于现场比赛的在线模块。我们开发了一个模拟的游戏环境,用于离线多智能体模型训练,并确定了一组可以灌输以改善学习的基线知识。我们的框架是代理不可知论和不可知论,研究人员可以设计自己的算法,训练他们的模型,并在网上的Battlesnake比赛中展示。我们验证了我们的初步实验的框架和基线算法。我们的研究结果表明,提出的HILL方法的代理始终优于代理没有HILL。此外,奖励操纵策略在网络竞赛中表现最好。我们在https://github.com/awslabs/sagemaker-battlesnake-ai上开源了我们的框架。
2020-07-20 cs.AI cs.LG stat.ML
A Generalized Online Algorithm for Translation and Scale Invariant Prediction with Expert Advice
在这项工作中,我们的目标是创建一个完全在线的算法框架,用于预测专家的建议,这是无预警和无尺度的专家损失。我们的目标是创建一个通用的算法,适用于各种各样的应用程序。为了这个目的,我们研究了我们的算法对一个通用的竞争类在顺序预测专家咨询问题的预期遗憾,其中预期遗憾的措施之间的差异,我们的预测算法的损失和损失的“最好的”专家选择策略的竞争。我们设计我们的算法使用的普遍预测的角度来竞争对一个指定的类的专家选择策略,这不一定是一个固定的专家选择。类的专家选择策略,我们要竞争,纯粹是由手头的具体应用程序,是左通用,这使得我们的广义算法适用于许多不同的问题。我们表明,我们的算法和它的性能界限,这是二阶,表示在平方损失的总和方面的损失序列是不需要的初步知识。我们的后悔界限在任意缩放和转换损失时是稳定的。
2020-09-09 cs.LG stat.ML
Online Combinatorial Linear Optimization via a Frank-Wolfe-based Metarounding Algorithm
Kyushu University(九州大学);RIKEN AIP(理化学研究所先进智能项目)
本文提出了一种基于Frank-Wolfe的全新metarounding算法,在存在基于松弛的近似算法假设下,将组合线性优化近似算法转化为在线优化算法,并在理论和实践上均显著提升了效率。
2023-11-19 cs.DS cs.LG
Data Dependent Regret Guarantees Against General Comparators for Full or Bandit Feedback
我们研究了对抗性在线学习问题,并创建了一个完全在线的算法框架,在完全专家反馈和强盗反馈设置中具有数据依赖的后悔保证。我们研究了我们的算法对一般比较器的预期性能,这使得它适用于各种各样的问题场景。我们的算法从通用预测的角度工作,所使用的性能指标是对任意比较器序列的预期遗憾,这是我们的损失和竞争损失序列之间的差异。竞争类可以被设计为包括固定臂选择、切换强盗、上下文强盗、周期强盗或任何其他感兴趣的竞争。竞赛类中的顺序通常由手头的具体应用决定,并应相应地进行设计。我们的算法既不使用也不需要任何关于损失序列的初步信息,并且完全在线。它的性能界限是数据依赖的,其中任何仿射变换的损失没有影响的归一化后悔。
2023-03-12 cs.IT cs.LG eess.SP
Meta-LinEXP3: Online-within-Online Learning for Adversarial Linear Contextual Bandits
College of Science, National University of Defense Technology(国防科技大学理学院)
针对对抗性线性上下文赌博机,提出在线内在线元学习算法 Meta-LinEXP3,利用任务先验指导内部学习器,实现次线性遗憾并验证于高光谱采样。
2026-09-16 cs.LG math.OC
Kaggle Chronicles: 15 Years of Competitions, Community and Data Science Innovation
本研究通过分析Kaggle15年的竞赛、技术及社区数据,揭示其成长历程、技术趋势及数据科学家的创新贡献。
2025-11-20 cs.AI cs.GL cs.LG
Online Meta-Critic Learning for Off-Policy Actor-Critic Methods
The University of Edinburgh(爱丁堡大学);National University of Defense Technology(国防科技大学);Samsung AI Centre, Cambridge(三星人工智能中心(剑桥))
Off-Policy Actor-Critic(Off-PAC)方法已被证明在各种连续控制任务中是成功的。通常,批评家的动作-价值函数使用时间差来更新,并且批评家反过来为演员提供损失,演员训练它采取具有更高预期回报的动作。在本文中,我们介绍了一种新颖而灵活的元批评家,观察学习过程和元学习的演员,加速和提高演员批评家学习的额外损失。与普通评论家相比,元评论家网络被明确地训练以加速学习过程;与现有的元学习算法相比,元评论家可以快速在线学习单个任务,而不是缓慢地学习一系列任务。至关重要的是,我们的元批评框架是为基于政策的学习者设计的,目前提供了最先进的强化学习样本效率。我们证明,在线元批评学习导致的改进,在各种连续控制环境中,结合当代的非PAC方法DDPG,TD 3和国家的最先进的SAC。
2020-11-02 cs.LG stat.ML
Offline Meta-Reinforcement Learning with Online Self-Supervision
UC Berkeley(加州大学伯克利分校);University of California, Berkeley(加州大学伯克利分校)
Meta-强化学习(RL)方法可以元训练策略,这些策略适应新任务,数据数量级比标准RL少,但元训练本身成本高且耗时。如果我们可以在离线数据上进行元训练,那么我们可以重用相同的静态数据集,为不同的任务标记一次奖励,以在元测试时元训练适应各种新任务的策略。虽然这种能力将使元RL成为现实世界使用的实用工具,但离线元RL提出了在线元RL或标准离线RL设置之外的额外挑战。元RL学习一种收集数据以进行调整的探索策略,并元训练一种快速适应新任务数据的策略。由于该策略是在固定的离线数据集上进行元训练的,因此当适应通过学习的探索策略收集的数据时,它可能会表现出不可预测的行为,这与离线数据系统地不同,从而引起分布变化。我们提出了一种混合离线元RL算法,该算法使用带有奖励的离线数据来元训练自适应策略,然后收集额外的无监督在线数据,而没有任何奖励标签来桥接这种分布偏移。通过在线收集不需要奖励标签,收集这些数据可以便宜得多。我们将我们的方法与模拟机器人运动和操纵任务的离线元RL的先前工作进行了比较,发现使用额外的无监督在线数据汇集可以显著提高元训练策略的自适应能力,在一系列需要推广到新任务的具有挑战性的领域上,匹配完全在线的元RL的性能。
2022-07-07 cs.AI cs.LG cs.RO
Online Meta-Learning in Adversarial Multi-Armed Bandits
Technion - Israel Institute of Technology(以色列理工学院)
我们研究了对抗性多武装匪徒的元学习。我们认为在线内在线设置,其中一个球员(学习者)遇到一系列的多武装土匪插曲。玩家的表现是根据对手造成的损失,在每一集中对最好的手臂进行后悔。问题的难度取决于对手选择的每集最佳手臂的经验分布。我们提出了一个算法,可以利用这种经验分布的非均匀性,并获得问题相关的遗憾界。该解决方案包括单独播放每一集的内部学习器,以及在剧集之间更新内部算法的超参数的外部学习器。在最佳手臂分布远不均匀的情况下,它改进了可以通过在每个情节上单独执行的任何在线算法而无需元学习来实现的最佳界限。
2022-07-12 cs.LG stat.ML
Metatrace Actor-Critic: Online Step-size Tuning by Meta-gradient Descent for Reinforcement Learning Control
Borealis AI
强化学习(RL)在“深度”和“浅层”环境中都取得了许多成功。在这两种情况下,通常需要进行显著的超参数调优以实现良好的性能。此外,当使用非线性函数逼近时,状态表示中的非平稳性会导致学习不稳定。有各种各样的技术可以解决这个问题-最明显的是大的经验重放缓冲区或使用多个并行演员。这些技术的代价是远离传统上制定的在线RL问题(即,单个代理在线学习而不维护训练样本的大数据库)。元学习可以通过在线调整超参数并允许算法更鲁棒地调整问题中的非平稳性来潜在地帮助解决这两个问题。本文应用Meta梯度下降推导出一套步长调整算法,专门用于在线RL控制的资格痕迹。我们的新技术Metatrace使用了类似于$TD(λ)$等方法的资格跟踪。我们探索调整单个标量步长和每个学习参数的单独步长。我们首先评估Metatrace在经典的山地车问题中的线性函数逼近控制,然后在嘈杂的,非平稳的版本。最后,我们将Metatrace应用于Arcade学习环境中的5个游戏中的非线性函数逼近控制,在那里我们探索了它如何影响学习速度和对初始步长选择的鲁棒性。实验结果表明,Metatrace的元步长参数易于设置,Metatrace可以加快学习速度,并且Metatrace可以允许RL算法处理学习任务中的非平稳性。
2019-05-24 cs.AI cs.LG stat.ML
Alignment through Meta-Weighted Online Sampling: Bridging the Gap between Data Generation and Preference Optimization
School of Computer Science and Engineering, Southeast University, Nanjing, China(东南大学计算机科学与工程学院);Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China(新一代人工智能技术及其交叉应用国家重点实验室)
MetaAPO通过动态结合数据生成与模型训练,有效解决偏好优化中的分布不匹配问题,提升对齐效果并降低标注成本。
2026-02-27 cs.AI cs.CL cs.LG