Gradient Agreement as an Optimization Objective for Meta-Learning
University of Southern California(南加州大学);Clarifai(Clarifai公司)
本文提出了一种新的优化方法,以最大限度地提高概括的任务在元学习。元学习的目标是学习一个模型,使智能体在面对以前看不见的任务时能够快速适应。任务是从一个特定的分布中采样的,该分布被假设为对于可见和不可见的任务都是相似的。我们专注于一个家庭的元学习方法学习初始参数的基础模型,可以微调快速的一个新的任务,通过几个梯度步骤(MAML)。我们的方法是基于将模型的参数推向任务更一致的方向。如果任务的梯度与参数更新向量一致,则它们的内积将是一个大的正值。因此,给定一批要优化的任务,如果任务的梯度与该批中所有任务的梯度平均值之间的内积为正(负)值,则将正(负)权重与任务的损失函数相关联。因此,通过在任务的损失函数上引入一组权重来控制任务对参数更新的贡献程度。我们的方法可以很容易地集成到当前的元学习算法的神经网络。我们的实验表明,与MAML和Reptile相比,它产生的模型具有更好的泛化能力。
2018-10-18 cs.AI cs.LG stat.ML
In-context Learning Distillation: Transferring Few-shot Learning Ability of Pre-trained Language Models
Columbia University(哥伦比亚大学)
鉴于大型预训练语言模型的上下文学习的成功,我们引入上下文学习蒸馏,将上下文少样本学习能力从大型模型转移到较小的模型。我们建议将上下文学习目标与语言建模目标相结合,以将阅读上下文示例的能力和任务知识提取到较小的模型中。我们在两种不同的少样本学习范式下执行上下文学习蒸馏:Meta上下文调整(Meta-ICT)和多任务上下文调整(Multitask-ICT)。多任务ICT在多任务少样本学习上表现更好,但也需要比Meta-ICT更多的计算。我们的方法在两个基准上显示了元ICT和多任务ICT的一致改进:LAMA和CrossFit。我们的大量实验和分析表明,在多任务ICT范式下,上下文学习目标和语言建模目标是互补的。上下文学习目标与语言建模目标相结合时,可获得最佳性能。
2022-12-20 cs.CL cs.LG
On the Global Optimality of Model-Agnostic Meta-Learning
Northwestern University(西北大学);Princeton University(普林斯顿大学)
模型无关元学习(MAML)将元学习描述为一个双层优化问题,内层基于共享先验知识求解每个子任务,外层通过优化所有子任务的聚合性能来搜索最优共享先验知识。尽管MAML在经验上取得了成功,但由于元目标(外层目标)的非凸性,MAML在理论上仍然不太被理解,特别是在其全局最优性方面。为了弥合理论与实践之间的差距,我们描述了强化学习和监督学习的MAML获得的稳定点的最优性差距,其中内部层和外部层问题通过一阶优化方法解决。特别是,我们的特征连接的最优性差距,这样的固定点与(i)的功能几何的内部层次的目标和(ii)的表示能力的函数逼近器,包括线性模型和神经网络。据我们所知,我们的分析建立了全局最优的MAML与非凸元目标的第一次。
2020-06-23 cs.LG stat.ML
Meta-Learning Objectives for Preference Optimization
Department of Statistics University of Oxford(统计系牛津大学);Department of Engineering University of Oxford(工程系牛津大学)
本文提出了一种基于镜像下降的新型偏好优化算法MPO,通过进化策略发现针对特定偏好数据集属性的算法,并在MuJoCo和大语言模型对齐任务中取得显著效果。
2026-01-08 cs.AI cs.LG stat.ML
F$^3$OCUS -- Federated Finetuning of Vision-Language Foundation Models with Optimal Client Layer Updating Strategy via Multi-objective Meta-Heuristics
University of Oxford(牛津大学);Oxford-Suzhou Centre for Advanced Research(牛津-苏州高等研究院);Imperial College London(伦敦帝国学院);University of Birmingham(伯明翰大学)
针对联邦微调视觉-语言模型中的层选择问题,提出F$^3$OCUS策略,利用神经正切核主特征值作为层重要性分数,并结合多目标元启发式优化层多样性,在医学VQA数据集上验证了有效性。
2025-03-30 cs.AI cs.CV cs.LG
Meta Learning not to Learn: Robustly Informing Meta-Learning under Nuisance-Varying Families
Biomedical Data Science Center(生物医学数据科学中心);Lausanne University Hospital(洛桑大学医院)
针对神经网络依赖伪特征导致泛化困难的问题,提出RIME方法,通过同时整合正负归纳偏置,在干扰变量变化族的知情元学习场景下实现了分布鲁棒的最先进性能。
2025-03-06 cs.LG
Meta-Learning Loss Functions for Deep Neural Networks
Victoria University of Wellington(惠灵顿维多利亚大学)
本文研究如何通过元学习自动设计损失函数,以替代常被忽视的手工设计组件,从而提升深度神经网络在少样本新任务上的学习性能。
2025-05-07 cs.AI cs.LG cs.NE
ProtAugment: Unsupervised diverse short-texts paraphrasing for intent detection meta-learning
Université Jean Monnet(让·莫内大学);Meetic
最近的研究认为,Few-Shot意图检测是一个元学习问题:该模型正在学习从一组连续的小任务中学习。在这项工作中,我们提出了ProtAugment,一个Meta学习算法短文本分类(意图检测任务)。ProtAugment是Prototypical Networks的一个新扩展,它限制了在每个事件中由少数镜头分类目标引入的偏差的过拟合。它依赖于不同的释义:首先对条件语言模型进行微调以进行释义,然后在每个元学习片段的解码阶段引入多样性。多样的释义是无监督的,因为它被应用于未标记的数据,然后作为一致性损失被推向原型网络训练目标。ProtAugment是用于意图检测元学习的最先进的方法,不需要额外的标记工作,也不需要在给定的应用领域上微调条件语言模型。
2021-05-27 cs.AI cs.CL cs.LG
Biased Stochastic First-Order Methods for Conditional Stochastic Optimization and Applications in Meta Learning
ETH Zurich(苏黎世联邦理工学院)
针对条件随机优化中无偏梯度估计困难的问题,提出了有偏随机梯度下降(BSGD)算法及其加速变体BSpiderBoost,并分析了它们在不同凸性条件下的样本复杂度。
2024-06-02 cs.LG math.OC stat.ML
Meta-Learning for Natural Language Understanding under Continual Learning Framework
New York University(纽约大学)
神经网络在处理各种自然语言理解(NLU)任务方面的成就已得到公认。已经开发了方法来训练鲁棒模型以处理多个任务以获得文本的一般表示。在本文中,我们实现了模型不可知的元学习(MAML)和在线感知元学习(OML)的元目标下的连续框架的自然语言理解任务。我们验证我们的方法在选定的SuperGLUE和GLUE基准。
2020-11-03 cs.AI cs.CL cs.LG
Selective classification using a robust meta-learning approach
Google Research India(谷歌研究院印度分院)
提出一种基于双层优化的实例条件重加权辅助网络方法,通过最小化 dropout 方差作为元目标来捕获预测不确定性,在选择性分类和多个真实数据集上显著超越 SOTA。
2024-01-02 cs.LG
MONGOOSE: Path-wise Smooth Bayesian Optimisation via Meta-learning
University of Bristol(布里斯托尔大学);University of Cambridge(剑桥大学)
MONGOOSE 针对评估点间移动成本较大的贝叶斯优化问题,利用元学习参数化策略生成平滑优化轨迹,以克服标准短视方法的跳跃路径缺陷并提升性能。
2024-07-03 cs.LG
Meta-Learning across Meta-Tasks for Few-Shot Learning
现有的基于元学习的少样本学习(FSL)方法通常采用情景训练策略,由此每个情景包含元任务。在各个事件中,这些任务被随机抽样,它们之间的关系被忽略。在本文中,我们认为,元任务之间的关系应该被利用,这些任务的抽样战略,以协助元学习。具体来说,我们认为定义在两种类型的元任务对的关系,并提出不同的策略来利用它们。(1)两个具有不相交类集的元任务:这对任务很有趣,因为它让人想起源可见类和目标不可见类之间的关系,其特征是由类差异引起的域间隙。提出了一种新的学习目标Meta领域自适应(MDA),使元学习模型对领域间隙更鲁棒。(2)具有相同类集的两个元任务:这对任务很有用,因为它可以用来学习对采样不佳的少数镜头具有鲁棒性的模型。为此,一个新的Meta知识蒸馏(MKD)目标制定。实验中有一些错误。因此,我们决定撤回这份文件。
2020-09-26 cs.LG stat.ML
Collision Avoidance Robotics Via Meta-Learning (CARML)
University of California, San Diego(加利福尼亚大学圣地亚哥分校)
提出了一种基于模型不可知元学习的多目标强化学习方法。我们使用的环境包括一辆配备了LIDAR传感器的2D车辆。环境的目标是到达一些预定的目标位置,但也有效地避免任何障碍物,它可能会发现沿其路径。我们还比较了这种方法与基线TD3解决方案,试图解决同样的问题。
2020-07-16 cs.AI cs.LG cs.RO
Prompt-Space Meta-Learning Does Not Transfer Across Users: A Frozen-LLM Negative Result
Trinity College Dublin(都柏林圣三一大学);University College Dublin(都柏林大学学院);Dublin City University(都柏林城市大学)
本文针对冻结LLM的提示空间元学习,通过Muse方法在两个个性化基准上证实其无法跨用户迁移,归因于元目标崩溃,提出可分离混淆因素的对照协议。
2026-09-03 cs.LG
Meta-learning representations for clustering with infinite Gaussian mixture models
NTT Communication Science Laboratories(NTT通信科学实验室)
为了获得更好的聚类性能,适当的表示至关重要。虽然已经提出了许多基于神经网络的度量学习方法,但它们并不直接训练神经网络来提高聚类性能。我们提出了一种元学习方法,训练神经网络获得表示,使聚类性能提高时,表示聚类的变分贝叶斯(VB)推理与无限高斯混合模型。所提出的方法可以聚类看不见的未标记的数据使用知识元学习与标记的数据是从未标记的数据不同。对于目标函数,我们提出了一个连续的近似调整兰德指数(ARI),我们可以评估软聚类分配的聚类性能。由于近似的ARI和VB推理过程是可微的,我们可以通过VB推理过程反向传播目标函数来训练神经网络。通过使用文本和图像数据集的实验,我们证明了我们提出的方法具有更高的调整后的Rand指数比现有的方法。
2021-03-01 cs.LG stat.ML
Meta-Learning with Differentiable Convex Optimization
UC San Diego(加州大学圣地亚哥分校);Amazon Web Services(亚马逊云科技);UMass Amherst(马萨诸塞大学阿默斯特分校);UCLA(加州大学洛杉矶分校)
许多用于少样本学习的元学习方法依赖于简单的基本学习器,例如最近邻分类器。然而,即使在Few-Shot机制中,有区别地训练的线性预测器也可以提供更好的泛化。我们建议使用这些预测器作为基础学习器来学习少样本学习的表示,并表明它们在一系列Few-Shot识别基准中提供了更好的特征大小和性能之间的权衡。我们的目标是学习特征嵌入,以及推广下的线性分类规则的新类别。为了有效地解决这个问题,我们利用线性分类器的两个属性:凸问题的最优性条件的隐式微分和优化问题的对偶公式。这使我们能够在计算开销适度增加的情况下使用具有改进泛化的高维嵌入。我们的方法名为MetaOptNet,在miniImageNet,tieredImageNet,CIFAR-FS和FC 100少样本学习基准测试中实现了最先进的性能。我们的代码可在https://github.com/kjunelee/MetaOptNet上获得。
2019-04-23 cs.CV cs.LG
Enhanced Meta Label Correction for Coping with Label Corruption
Technion – Israel Institute of Technology(以色列理工学院)
针对真实噪声标签问题,提出增强元标签校正方法EMLC,通过改进元梯度推导和新型教师架构,在标准基准上达到最先进性能,并在Clothing1M上提升1.52%且训练时间减半。
2023-10-17 cs.CV cs.LG
Model-Agnostic Zeroth-Order Policy Optimization for Meta-Learning of Ergodic Linear Quadratic Regulators
Tandon School of Engineering, New York University(纽约大学坦登工程学院)
本文提出一种模型无关的零阶元学习算法,用于遍历线性二次调节器,通过省略Hessian估计实现异构相似系统的有效优化,并给出收敛性证明与数值验证。
2024-05-27 cs.LG cs.SY eess.SY
Finding online neural update rules by learning to remember
DeepMind(深度思维)
我们从头开始研究神经激活(身体)和权重(突触)的在线局部更新规则的学习。我们用小向量表示每个权重和激活的状态,并使用(Meta)神经网络参数化它们的更新。不同的神经元类型由不同的嵌入向量表示,这允许对所有神经元使用相同的两个函数。我们不是像在类似系统中通常做的那样,直接使用进化或长期反向传播来训练目标,而是激励和研究一个不同的目标:记住过去的经验片段。我们解释了这个目标与标准的反向传播训练和其他形式的学习的关系。我们使用短期反向传播为这个目标进行训练,并分析作为不同网络类型和问题难度的函数的性能。我们发现,这种分析提供了有趣的见解是什么构成了一个学习规则。我们还讨论了如何这样的系统可以形成一个自然的基板,解决主题,如情景记忆,元学习和辅助目标。
2020-03-06 cs.LG cs.NE stat.ML
Self-Supervised Meta-Learning for Few-Shot Natural Language Classification Tasks
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Code for Science and Society(科学与社会代码);Microsoft Research(微软研究院)
Transformer模型的自我监督预训练彻底改变了NLP应用。这种带有语言建模目标的预训练为参数提供了一个有用的初始点,这些参数通过微调可以很好地推广到新任务。然而,微调仍然是数据效率低下的-当有标签的例子很少时,准确性可能很低。可以通过直接优化预训练来提高数据效率,以便将来用很少的例子进行微调;这可以被视为元学习问题。然而,标准的元学习技术需要许多训练任务才能推广;不幸的是,找到一组不同的监督任务通常很困难。本文提出了一种自监督的方法来生成一个大的,丰富的,元学习任务分布从未标记的文本。这是通过使用完形填空风格的目标来实现的,但是通过从少数词汇术语中收集要消隐的标记来创建单独的多类分类任务。这产生了与词汇表术语子集的数量一样多的独特元训练任务。我们使用最近的元学习框架在这种任务分布上元训练了一个Transformer模型。在17个NLP任务中,我们证明了这种元训练比语言模型预训练和微调带来了更好的Few-Shot泛化。此外,我们还展示了如何将自监督任务与元学习的监督任务相结合,从而比以前的监督元学习提供了大量的准确性增益。
2020-11-15 cs.CL cs.LG
When Does MAML Objective Have Benign Landscape?
University of California at Berkeley(加州大学伯克利分校)
本文研究了模型不可知元学习(MAML)算法背后的优化问题的复杂性。该研究的目标是确定MAML的全局收敛性具有共同的结构的顺序决策任务。我们很想知道,如果有的话,底层任务的良性景观何时会导致相应MAML目标的良性景观。为了说明,我们分析景观的MAML目标LQR任务,以确定什么类型的相似性,其结构使算法收敛到全局最优解。
2020-12-10 cs.LG math.OC stat.ML
A Bridge Between Hyperparameter Optimization and Learning-to-learn
Istituto Italiano di Tecnologia(意大利技术研究院)
考虑一类包含内外目标的嵌套优化问题。我们观察到,通过明确考虑内部目标的优化动态,可以导出一个统一基于梯度的超参数优化和元学习(或学习学习)的一般框架。根据具体的设置,外部目标的变量要么采用监督学习问题中的超参数的含义,要么采用元学习器的参数。我们表明,最近提出的一些方法在后者的设置可以在我们的框架中实例化,并与相同的基于梯度的算法处理。最后,我们讨论了可能的设计模式,学习学习,并提出了令人鼓舞的初步实验Few-Shot学习。
2019-08-21 cs.LG stat.ML
Convergence of First-Order Algorithms for Meta-Learning with Moreau Envelopes
Samsung AI Center(三星人工智能中心);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
在这项工作中,我们考虑了最小化给定函数的Moreau包络之和的问题,该问题以前曾出现在元学习和个性化联邦学习的背景下。与现有的理论,需要运行子求解器,直到达到一定的精度相比,我们只假设在每次迭代中采取有限数量的梯度步骤。作为一个特例,我们的理论允许我们展示一阶模型不可知元学习(FO-MAML)收敛到Moreau目标解的附近。我们还研究了一个更一般的家庭的一阶算法,可以被看作是一个推广的FO-MAML。我们的主要理论成果是对不精确的SGD框架进行了理论改进。特别是,我们的扰动-扰动分析允许更严格的保证,提高对问题的条件的依赖。与元学习的相关工作相比,我们不需要对Hessian光滑性进行任何假设,并且可以利用基于Moreau包络的重构的光滑性和凸性。此外,为了填补FO-MAML与隐式MAML(iMAML)比较中的空白,我们证明了iMAML的目标既不光滑也不凸,这意味着它没有基于现有理论的收敛保证。
2023-01-17 cs.LG math.OC
Efficient Meta Neural Heuristic for Multi-Objective Combinatorial Optimization
Sun Yat-sen University(中山大学);Singapore Management University(新加坡管理大学)
本文提出高效元神经启发式算法EMNH,通过架构共享多任务模型并行训练元模型并采用缩放对称采样稳定训练,再以分层方法微调求解子问题,在MOTSP、MOCVRP和MOKP上实现了优于现有神经启发式的解质量与学习效率。
2023-10-22 cs.AI cs.LG
Scalable Multi-Objective and Meta Reinforcement Learning via Gradient Estimation
本文提出PolicyGradEx算法,通过梯度估计实现多目标强化学习的高效优化,实验表明其在机器人控制和Meta-World基准测试中优于现有方法,效率提升达26倍。
2026-02-23 cs.AI cs.LG
Improving Generalization in Meta Reinforcement Learning using Learned Objectives
The Swiss AI Lab IDSIA(瑞士人工智能实验室IDSIA);USI(瑞士意大利语区大学);SUPSI(瑞士南方应用科技大学)
生物进化已经将许多学习者的经验提炼成人类的通用学习算法。我们的新型Meta强化学习算法MetaGenRL就是受到这个过程的启发。MetaGenRL提取了许多复杂智能体的经验,以元学习一个低复杂度的神经目标函数,决定未来的个体将如何学习。与最近的元RL算法不同,MetaGenRL可以推广到与元训练完全不同的新环境。在某些情况下,它甚至优于人类工程RL算法。MetaGenRL在元训练期间使用非策略二阶梯度,这大大提高了其样本效率。
2020-02-14 cs.AI cs.LG cs.NE
SMOG: Scalable Meta-Learning for Multi-Objective Bayesian Optimization
Department of Information Systems University of Münster(信息系统系穆斯特大学);Robert Bosch GmbH(博世集团)
SMOG通过多输出高斯过程学习目标间相关性,构建联合先验以提升多目标贝叶斯优化效率,实现线性扩展元任务数量的并行训练。
2026-05-11 cs.LG
Meta-Gradient Reinforcement Learning with an Objective Discovered Online
DeepMind
深度强化学习包括通过深度神经网络参数化内部表示(诸如价值函数或策略)的广泛算法家族。每个算法都相对于定义其语义的目标(例如Q学习或策略梯度)来优化其参数。在这项工作中,我们提出了一种基于Meta梯度下降的算法,该算法发现了自己的目标,通过深度神经网络灵活地参数化,仅从与环境的交互经验。随着时间的推移,这允许代理学习如何越来越有效地学习。此外,由于目标是在线发现的,它可以随着时间的推移而适应变化。我们证明了该算法发现如何解决RL中的几个重要问题,如自举,非平稳性和离策略学习。在Atari学习环境中,元梯度算法随着时间的推移而适应,以更高的效率学习,最终超过了强演员-评论家基线的中值得分。
2020-07-16 cs.AI cs.LG stat.ML
Uncertain Multi-Objective Recommendation via Orthogonal Meta-Learning Enhanced Bayesian Optimization
Chongqing University(重庆大学);Singapore University of Technology and Design(新加坡科技设计大学);Nanyang Technological University(南洋理工大学);Chengdu University of Information Technology(成都信息工程大学);Agency for Science, Technology and Research(科学、技术与研究局)
本文提出面向个体偏好的不确定多目标推荐框架,利用贝叶斯优化建模目标权衡,并以正交元学习提升优化效率、缓解目标冲突。
2025-02-18 cs.AI cs.LG
MIRACL: A Diverse Meta-Reinforcement Learning for Multi-Objective Multi-Echelon Combinatorial Supply Chain Optimisation
The University of Manchester(曼彻斯特大学);Peak AI, Ltd(Peak AI 公司)
MIRACL通过元多目标强化学习框架,实现了在多目标多层级组合供应链优化中的高效适应与泛化,实验表明其在超体积和预期效用方面表现优异。
2026-03-05 cs.LG
A Meta-Learning Approach for Multi-Objective Reinforcement Learning in Sustainable Home Environments
University of Galway(高威大学)
针对住宅电器调度中多目标强化学习面临的数据有限和情境变化问题,提出元学习扩展方法,结合自编码器检测情境变化,在伦敦真实数据上显著超越基线,节省电费3.28%,提升舒适度2.74%,并大幅减少训练数据与步骤。
2024-07-16 cs.AI cs.LG
Meta-Reinforcement Learning via Evolution for Multi-Objective Combinatorial Supply Chain Optimisation
The University of Manchester(曼彻斯特大学);Peak AI, Ltd(Peak AI有限公司)
提出一种结合分解与进化搜索的群体元强化学习框架,通过维护权重向量群体并迭代优化,生成多样且分布均匀的帕累托前沿近似,在多目标供应链优化中超体积提升高达32%。
2026-06-23 cs.LG
Multi-objective Pointer Network for Combinatorial Optimization
Anhui University(安徽大学);National University of Defense Technology(国防科技大学)
多目标组合优化问题是一类复杂优化问题,广泛存在于各种实际应用中。虽然元算法已经成功地应用于解决MOCOP问题,但计算时间往往要长得多。最近,已经提出了许多深度强化学习(DRL)方法来生成组合优化问题的近似最优解。然而,现有的研究DRL很少集中在MOCOPs。该研究提出了一种单模型深度强化学习框架,称为多目标指针网络(MOPN),其中PN的输入结构得到有效改进,使得单个PN能够解决MOCOPs。此外,分别提出了基于代表模型和迁移学习的两种训练策略,以进一步提高MOPN在不同应用场景下的性能。此外,与经典的元分析相比,MOPN只消耗更少的时间在向前传播,以获得帕累托前沿。同时,MOPN对问题规模不敏感,这意味着经过训练的MOPN能够解决具有不同规模的MOCOP。为了验证MOPN的性能,进行了广泛的实验上的三个多目标旅行商问题,与一个国家的最先进的模型DRL-MOA和三个经典的多目标元算法进行比较。实验结果表明,该模型的训练时间仅为DRL MOA训练时间的20 ~ 40%,性能优于所有比较方法.
2022-04-25 cs.AI cs.LG
Decoupling Exploration and Exploitation for Meta-Reinforcement Learning without Sacrifices
Stanford University(斯坦福大学)
Meta强化学习(meta-RL)的目标是构建能够通过利用相关任务的先前经验快速学习新任务的代理。学习一项新任务通常需要探索以收集与任务相关的信息,并利用这些信息来解决任务。原则上,最佳探索和利用可以通过简单地最大化任务性能来学习端到端。然而,由于鸡和蛋的问题,这种元RL方法与局部最优值作斗争:学习探索需要良好的利用来衡量探索的效用,但学习利用需要通过探索收集的信息。优化探索和利用的单独目标可以避免这个问题,但是先前的元RL探索目标会产生次优策略,收集与任务无关的信息。我们通过构建一个自动识别任务相关信息的开发目标和一个只恢复这些信息的探索目标来缓解这两个问题。这避免了端到端训练中的局部最优,而不会牺牲最优探索。从经验上讲,DREAM在复杂的元RL问题上的表现远远优于现有的方法,例如稀疏奖励3D视觉导航。视频的梦想:https://ezliu.github.io/dream/
2021-11-12 cs.AI cs.LG stat.ML
Non-orthogonal Age-Optimal Information Dissemination in Vehicular Networks: A Meta Multi-Objective Reinforcement Learning Approach
York University(约克大学);Memorial University of Newfoundland(纽芬兰纪念大学);University of the Fraser Valley(弗雷泽河谷大学)
本文研究车载网络中最小化信息年龄与功耗的非正交信息传输问题,提出两阶段元多目标强化学习方法,利用混合DQN-DDPG模型估计高质量帕累托前沿,显著减少训练时间。
2024-02-15 cs.LG
Multi-objective hyperparameter optimization with performance uncertainty
Flanders Make(法兰德斯制造);Hasselt University(哈塞尔特大学);Tilburg University(蒂尔堡大学)
任何机器学习(ML)算法的性能都受到其超参数选择的影响。由于训练和评估ML算法通常是昂贵的,因此超参数优化(HPO)方法需要在计算上高效才能在实践中有用。现有的多目标HPO方法大多使用进化策略和基于元模型的优化。然而,很少有方法被开发出来,以占在性能测量的不确定性。本文提出了多目标超参数优化的ML算法的评价上的不确定性的结果。我们将树结构Parzen估计器(TPE)的采样策略与训练具有异质噪声的高斯过程回归(GPR)后获得的元模型相结合。三个分析测试函数和三个ML问题的实验结果表明,多目标TPE和GPR的改进,实现相对于超体积指标。
2022-09-09 cs.AI cs.LG
Meta Objective Guided Disambiguation for Partial Label Learning
本文提出元目标引导消歧(MoGD)框架,通过小验证集上的元损失重加权候选标签,以加权交叉熵训练分类器,解决偏标签学习中缺乏先验和早期预测不可靠的问题,理论证明收敛性并在基准和真实数据集上取得先进性能。
2023-12-22 cs.LG
PAMELI: A Meta-Algorithm for Computationally Expensive Multi-Objective Optimization Problems
我们提出了一个算法的多目标优化计算昂贵的问题。该算法是基于解决一组代理问题定义的模型的真正的,所以只有解决方案估计是近似帕累托最优的评估使用真正的昂贵的功能。除了搜索解决方案,我们的算法还执行元搜索的最佳代理模型和导航策略的优化景观,因此适应的搜索策略的解决方案的问题,因为它获得了新的信息。我们的方法的竞争力证明了一个国家的最先进的代理辅助进化算法的一组基准问题的实验比较。
2021-04-18 cs.LG cs.NE
A survey on multi-objective hyperparameter optimization algorithms for Machine Learning
Hasselt University(哈塞尔特大学);Ghent University(根特大学)
超参数优化(HPO)是保证机器学习(ML)算法最佳性能的必要步骤。已经开发了几种方法来执行HPO,其中大多数都集中在优化一个性能指标(通常是基于误差的措施),这样的单目标HPO问题的文献是巨大的。然而,最近出现了专注于同时优化多个冲突目标的算法。本文对2014年至2020年期间发表的关于多目标HPO算法的文献进行了系统调查,区分了基于元模型的算法,基于元模型的算法以及使用两者混合的方法。我们还讨论了用于比较多目标HPO程序的质量指标,并提出了未来的研究方向。
2022-11-15 cs.AI cs.LG math.OC
Deep learning based Meta-modeling for Multi-objective Technology Optimization of Electrical Machines
Robert Bosch GmbH(罗伯特·博世有限公司)
针对旋转电机优化耗时且不同技术需分别优化的问题,提出基于VAE的元建模方法,通过统一潜空间用深度神经网络和解码器分别预测KPI、生成新设计,实现两种电机并行多目标优化,且性能优于经典深度学习直接预测方法。
2023-07-24 cs.LG
Guarantees for Tuning the Step Size using a Learning-to-Learn Approach
Duke University(杜克大学)
为优化算法选择正确的参数往往是其在实践中成功的关键。使用学习到学习的方法解决这个问题-基于优化器生成的轨迹在元目标上使用元梯度下降-最近被证明是有效的。然而,元优化问题是困难的。特别是,元梯度经常会爆炸/消失,如果元目标没有仔细选择,学习的优化器可能不会有良好的泛化性能。在本文中,我们给元优化保证学习的学习方法上一个简单的问题,调整步长的二次损失。我们的研究结果表明,天真的目标遭受亚梯度爆炸/消失问题。虽然有一种方法可以设计元目标,使得元梯度保持多项式有界,但直接使用反向传播计算元梯度会导致数值问题。我们还描述了何时需要在单独的验证集上计算元目标,以确保学习优化器的泛化性能。最后,我们验证了我们的研究结果的经验,并表明,类似的现象出现,即使是更复杂的学习优化参数化的神经网络。
2021-06-11 cs.LG stat.ML
Meta-Model Framework for Surrogate-Based Parameter Estimation in Dynamical Systems
University of Ljubljana(卢布尔雅那大学)
复杂动力系统建模的核心任务是参数估计。这项任务涉及大量的计算昂贵的目标函数的评估。基于代理的优化引入了一个计算效率高的预测模型,该模型近似于目标函数的值。标准方法涉及从对应于目标函数的过去评估的训练样本中学习代理。当前基于代理的优化方法使用静态的、预定义的替换策略,该策略决定何时使用代理以及何时使用真实目标。我们引入了一个元模型框架,其中的替代策略是动态适应给定的优化问题的解决方案空间。Meta模型封装了目标函数、代理模型和替代策略的模型,以及用于学习它们的组件。该框架可以与任意优化算法无缝耦合,无需任何修改:它替换目标函数并自主决定如何评估给定的候选解决方案。我们测试的实用程序的框架上的三个任务估计参数的真实世界模型的动力系统。结果表明,Meta模型显着提高了优化效率,减少了目标函数的评估总数平均高达77%。
2019-12-18 cs.LG math.DS math.OC
Enhancing Online Reinforcement Learning with Meta-Learned Objective from Offline Data
University of Electronic Science and Technology of China(电子科技大学);Sichuan Artificial Intelligence Research Institute(四川省人工智能研究院);Duke Kunshan University(昆山杜克大学)
针对稀疏奖励下在线强化学习难学最优策略的问题,提出可适配多种离策略RL的GILD模块,从离线数据元学习目标以注入内在动机,在MuJoCo稀疏奖励任务上性能超越现有最优方法。
2025-01-13 cs.LG
Debiasing Meta-Gradient Reinforcement Learning by Learning the Outer Value Function
InstaDeep
元梯度强化学习(RL)允许代理在训练期间以在线方式自我调整其超参数。在本文中,我们确定当前元梯度RL方法的元梯度中的偏差。这种偏差来自于使用批评者,该批评者是使用元学习的折扣因子训练的,用于外部目标中的优势估计,这需要不同的折扣因子。由于元学习折扣因子通常低于外部目标中使用的折扣因子,因此产生的偏差可能导致元梯度偏向短视策略。我们提出了一个简单的解决方案,这个问题:我们消除这种偏见,使用替代,\emph{outer}价值函数的估计外损失。为了获得这个外部价值函数我们在评论家网络中添加第二个头,并使用外部损失折扣因子与经典评论家一起对其进行训练。在一个说明性的玩具问题上,我们证明了偏置会导致当前元梯度RL方法的灾难性失败,并表明我们提出的解决方案修复了它。然后,我们将我们的方法应用于更复杂的环境,并证明修复元梯度偏置可以显着提高性能。
2022-11-19 cs.AI cs.LG
Discovering Temporally-Aware Reinforcement Learning Algorithms
University of Oxford(牛津大学);The Swiss AI Lab IDSIA(瑞士IDSIA人工智能实验室);Technical University Berlin(柏林工业大学)
本文提出一种增强现有目标发现方法的时间感知机制,使强化学习算法能动态调整目标函数,以提升跨训练范围的表达能力与泛化性能。
2024-02-08 cs.AI cs.LG
A Hybrid Meta-Learning and Multi-Armed Bandit Approach for Context-Specific Multi-Objective Recommendation Optimization
Expedia Group(亿客行集团)
针对在线推荐系统多目标平衡难题,提出结合元学习与多臂老虎机的Juggler-MAB混合方法,通过两阶段权重调整适配动态变化,在Expedia数据集上多项指标优于原模型。
2024-09-13 cs.LG
Meta-Reinforcement Learning in Broad and Non-Parametric Environments
Technical University of Munich(慕尼黑工业大学);Sun Yat-sen University(中山大学)
最近最先进的人工智能体缺乏快速适应新任务的能力,因为它们专门针对特定目标进行训练,需要大量的互动来学习新技能。Meta-强化学习(meta-RL)通过利用从训练任务中学习到的知识在以前看不见的任务中表现良好来解决这一挑战。然而,目前的元强化学习方法局限于狭窄的参数任务分布,忽略了现实世界中发生的任务之间的质的差异。在本文中,我们介绍了TIGR,一个基于任务推理的元RL算法,使用高斯混合模型(GMM)和门控递归单元,设计用于非参数环境中的任务。我们采用了一个生成模型,涉及GMM捕捉多模态的任务。我们解耦的策略训练任务推理学习和有效的训练推理机制的基础上,无监督重建目标。我们提供了一个基于半猎豹环境的定性不同任务的基准测试,并证明了TIGR与最先进的元RL方法相比,在样本效率(快3-10倍),渐近性能和非参数环境中的适用性与zero-shot适应方面的卓越性能。
2022-03-21 cs.AI cs.LG
Variational Autoencoder based Metamodeling for Multi-Objective Topology Optimization of Electrical Machines
Technical University Darmstadt(达姆施塔特工业大学);Robert Bosch GmbH(罗伯特·博世有限公司)
传统的电机静磁有限元分析方法计算量大、耗时长。由于每个机器拓扑结构都有一组不同的参数,设计优化通常是独立进行的。提出了一种利用变分自编码器将高维集成设计参数映射到低维潜空间中,同时预测不同参数电机拓扑关键性能指标(KPI)的新方法。在训练之后,经由潜在空间,解码器和多层神经网络将分别用作用于对新设计进行采样和预测相关联的KPI的元模型。这可以实现基于参数的并发多拓扑优化。
2022-04-07 cs.CE cs.LG
Scalable, Transferable Meta-network for Data Selection Requires a Different Loss (and Why the Obvious Choice is Problematic)
College of Computing and Data Science(计算与数据科学学院);Nanyang Technological University(南洋理工大学)
针对数据选择中元学习方法的细粒度评估与可迁移性权衡问题,提出基于逐点值匹配目标的可扩展框架TESS,在LLM安全性和指令调优上实现跨数据集与跨模型规模的有效迁移。
2026-10-02 cs.AI cs.CL cs.LG
MetaBox-v2: A Unified Benchmark Platform for Meta-Black-Box Optimization
South China University of Technology(华南理工大学);Hong Kong Polytechnic University(香港理工大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出 MetaBox-v2 统一基准平台,支持多类 MetaBBO 方法、并行加速、广泛任务套件与可扩展接口,并通过系统基线评估验证其实用价值。
2025-10-21 cs.AI cs.LG cs.NE
Debiased Graph Poisoning Attack via Contrastive Surrogate Objective
KAIST(韩国科学技术院)
针对现有基于元梯度的图攻击偏向训练节点导致次优的问题,提出基于对比代理目标的攻击方法Metacon,通过新代理损失缓解偏差,在基准数据集上显著提升了攻击性能。
2024-07-27 cs.CR cs.LG
A Meta-Transfer Objective for Learning to Disentangle Causal Mechanisms
Université de Montréal(蒙特利尔大学);Ruprecht-Karls-Universität Heidelberg(海德堡大学);École Polytechnique Montréal(蒙特利尔综合理工学院)
我们建议元学习因果结构的基础上如何快速学习者适应新的分布所产生的稀疏分布的变化,例如,由于干预,代理的行动和其他来源的非平稳性。我们表明,在这种假设下,正确的因果结构的选择导致更快地适应修改后的分布,因为变化集中在一个或几个机制时,学到的知识是适当的模块化。这导致稀疏的预期梯度和较低的有效数量的自由度需要重新学习,同时适应变化。它激励使用修改后的分布的适应速度作为元学习目标。我们演示了如何使用它来确定两个观测变量之间的因果关系。分布的变化不需要对应于标准干预措施(钳制变量),学习者对这些干预措施没有直接的知识。我们表明,因果结构可以通过连续变量参数化,并学习端到端。然后,我们探索如何将这些想法用于学习编码器,该编码器将低级观察变量映射到未观察到的因果变量,从而更快地适应分布外,学习表示空间,其中可以满足独立机制的假设以及由于动作和非平稳性而导致的这些机制中的小而稀疏的变化。
2019-02-04 cs.LG stat.ML
Structuring Relations Among Learning Paradigms via Protocol--Objective--Resource Reductions
提出协议-目标-资源框架,通过归约统一监督、迁移、持续和元学习范式,证明复杂度支配性并建立包含关系。
2026-09-29 cs.LG