Speeding Up Multi-Objective Hyperparameter Optimization by Task Similarity-Based Meta-Learning for the Tree-Structured Parzen Estimator
Department of Computer Science, University of Freiburg, Germany(弗赖堡大学计算机科学系);Artificial Intelligence Research Center, AIST, Tokyo, Japan(日本科学技术厅人工智能研究中心)
提出利用任务间顶级域重叠定义的任务相似性扩展TPE采集函数到元学习设置,加速多目标超参数优化,理论分析并解决相似性局限,实验证明在表格HPO基准上达到最优性能并赢得AutoML 2022竞赛。
2023-05-31 cs.AI cs.LG
Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning
UC San Diego(加州大学圣迭戈分校);UC Berkeley(加州大学伯克利分校);Penn State University(宾夕法尼亚州立大学)
近年来,元学习一直是少样本学习最常见的框架。它从Few-Shot分类任务的集合中学习模型,这被认为具有使训练目标与测试目标一致的关键优势。然而,最近的一些工作报告说,通过训练整体分类,即对整个标签集进行分类,它可以获得与许多Meta学习算法相当甚至更好的嵌入。这两种方法之间的差异尚未被充分探索,元学习在少样本学习中的有效性仍然不清楚。在本文中,我们探索了一个简单的过程:在整个分类预训练模型上对其评估指标进行元学习。我们观察到这种简单的方法在标准基准测试中达到了与最先进方法相比具有竞争力的性能。我们的进一步分析有助于理解少样本学习中元学习目标和整体分类目标之间的权衡。
2021-08-19 cs.CV cs.LG
Biased Stochastic First-Order Methods for Conditional Stochastic Optimization and Applications in Meta Learning
ETH Zurich(苏黎世联邦理工学院)
针对条件随机优化中无偏梯度估计困难的问题,提出了有偏随机梯度下降(BSGD)算法及其加速变体BSpiderBoost,并分析了它们在不同凸性条件下的样本复杂度。
2024-06-02 cs.LG math.OC stat.ML
In-context Learning Distillation: Transferring Few-shot Learning Ability of Pre-trained Language Models
Columbia University(哥伦比亚大学)
鉴于大型预训练语言模型的上下文学习的成功,我们引入上下文学习蒸馏,将上下文少样本学习能力从大型模型转移到较小的模型。我们建议将上下文学习目标与语言建模目标相结合,以将阅读上下文示例的能力和任务知识提取到较小的模型中。我们在两种不同的少样本学习范式下执行上下文学习蒸馏:Meta上下文调整(Meta-ICT)和多任务上下文调整(Multitask-ICT)。多任务ICT在多任务少样本学习上表现更好,但也需要比Meta-ICT更多的计算。我们的方法在两个基准上显示了元ICT和多任务ICT的一致改进:LAMA和CrossFit。我们的大量实验和分析表明,在多任务ICT范式下,上下文学习目标和语言建模目标是互补的。上下文学习目标与语言建模目标相结合时,可获得最佳性能。
2022-12-20 cs.CL cs.LG
Meta-Learning across Meta-Tasks for Few-Shot Learning
现有的基于元学习的少样本学习(FSL)方法通常采用情景训练策略,由此每个情景包含元任务。在各个事件中,这些任务被随机抽样,它们之间的关系被忽略。在本文中,我们认为,元任务之间的关系应该被利用,这些任务的抽样战略,以协助元学习。具体来说,我们认为定义在两种类型的元任务对的关系,并提出不同的策略来利用它们。(1)两个具有不相交类集的元任务:这对任务很有趣,因为它让人想起源可见类和目标不可见类之间的关系,其特征是由类差异引起的域间隙。提出了一种新的学习目标Meta领域自适应(MDA),使元学习模型对领域间隙更鲁棒。(2)具有相同类集的两个元任务:这对任务很有用,因为它可以用来学习对采样不佳的少数镜头具有鲁棒性的模型。为此,一个新的Meta知识蒸馏(MKD)目标制定。实验中有一些错误。因此,我们决定撤回这份文件。
2020-09-26 cs.LG stat.ML
Unsupervised Learning for Combinatorial Optimization Needs Meta-Learning
Georgia Institute of Technology(佐治亚理工学院);Purdue University(普渡大学)
组合优化无监督学习的一般框架是训练一个神经网络,其输出通过直接优化组合优化目标给出问题解。尽管与传统的求解器相比有一些优势,但当前的框架优化了历史问题实例分布的平均性能,这与CO的实际目标不一致,即为未来遇到的每个实例寻找一个好的解决方案。有了这个观察,我们提出了一个新的目标,无监督学习的CO学习的目标是寻找良好的初始化为未来的问题实例,而不是直接的解决方案。我们提出了一个基于元学习的训练管道,这个新的目标。我们的方法取得了良好的经验性能。我们观察到,即使是我们的模型在微调之前给出的初始解决方案,在各种评估设置下,包括跨多个数据集的评估,以及问题规模发生重大变化的情况下,也可以显着优于基线。我们推测的原因是,基于元学习的训练让模型与训练实例的每个局部最优值松散地联系在一起,同时更适应实例之间优化景观的变化。
2023-01-22 cs.AI cs.LG
Meta-learning representations for clustering with infinite Gaussian mixture models
NTT Communication Science Laboratories(NTT通信科学实验室)
为了获得更好的聚类性能,适当的表示至关重要。虽然已经提出了许多基于神经网络的度量学习方法,但它们并不直接训练神经网络来提高聚类性能。我们提出了一种元学习方法,训练神经网络获得表示,使聚类性能提高时,表示聚类的变分贝叶斯(VB)推理与无限高斯混合模型。所提出的方法可以聚类看不见的未标记的数据使用知识元学习与标记的数据是从未标记的数据不同。对于目标函数,我们提出了一个连续的近似调整兰德指数(ARI),我们可以评估软聚类分配的聚类性能。由于近似的ARI和VB推理过程是可微的,我们可以通过VB推理过程反向传播目标函数来训练神经网络。通过使用文本和图像数据集的实验,我们证明了我们提出的方法具有更高的调整后的Rand指数比现有的方法。
2021-03-01 cs.LG stat.ML
F$^3$OCUS -- Federated Finetuning of Vision-Language Foundation Models with Optimal Client Layer Updating Strategy via Multi-objective Meta-Heuristics
University of Oxford(牛津大学);Oxford-Suzhou Centre for Advanced Research(牛津-苏州高等研究院);Imperial College London(伦敦帝国学院);University of Birmingham(伯明翰大学)
针对联邦微调视觉-语言模型中的层选择问题,提出F$^3$OCUS策略,利用神经正切核主特征值作为层重要性分数,并结合多目标元启发式优化层多样性,在医学VQA数据集上验证了有效性。
2025-03-30 cs.AI cs.CV cs.LG
Meta Learning not to Learn: Robustly Informing Meta-Learning under Nuisance-Varying Families
Biomedical Data Science Center(生物医学数据科学中心);Lausanne University Hospital(洛桑大学医院)
针对神经网络依赖伪特征导致泛化困难的问题,提出RIME方法,通过同时整合正负归纳偏置,在干扰变量变化族的知情元学习场景下实现了分布鲁棒的最先进性能。
2025-03-06 cs.LG
Meta-Learning Loss Functions for Deep Neural Networks
Victoria University of Wellington(惠灵顿维多利亚大学)
本文研究如何通过元学习自动设计损失函数,以替代常被忽视的手工设计组件,从而提升深度神经网络在少样本新任务上的学习性能。
2025-05-07 cs.AI cs.LG cs.NE
ProtAugment: Unsupervised diverse short-texts paraphrasing for intent detection meta-learning
Université Jean Monnet(让·莫内大学);Meetic
最近的研究认为,Few-Shot意图检测是一个元学习问题:该模型正在学习从一组连续的小任务中学习。在这项工作中,我们提出了ProtAugment,一个Meta学习算法短文本分类(意图检测任务)。ProtAugment是Prototypical Networks的一个新扩展,它限制了在每个事件中由少数镜头分类目标引入的偏差的过拟合。它依赖于不同的释义:首先对条件语言模型进行微调以进行释义,然后在每个元学习片段的解码阶段引入多样性。多样的释义是无监督的,因为它被应用于未标记的数据,然后作为一致性损失被推向原型网络训练目标。ProtAugment是用于意图检测元学习的最先进的方法,不需要额外的标记工作,也不需要在给定的应用领域上微调条件语言模型。
2021-05-27 cs.AI cs.CL cs.LG
Meta-Learning for Natural Language Understanding under Continual Learning Framework
New York University(纽约大学)
神经网络在处理各种自然语言理解(NLU)任务方面的成就已得到公认。已经开发了方法来训练鲁棒模型以处理多个任务以获得文本的一般表示。在本文中,我们实现了模型不可知的元学习(MAML)和在线感知元学习(OML)的元目标下的连续框架的自然语言理解任务。我们验证我们的方法在选定的SuperGLUE和GLUE基准。
2020-11-03 cs.AI cs.CL cs.LG
Finding online neural update rules by learning to remember
DeepMind(深度思维)
我们从头开始研究神经激活(身体)和权重(突触)的在线局部更新规则的学习。我们用小向量表示每个权重和激活的状态,并使用(Meta)神经网络参数化它们的更新。不同的神经元类型由不同的嵌入向量表示,这允许对所有神经元使用相同的两个函数。我们不是像在类似系统中通常做的那样,直接使用进化或长期反向传播来训练目标,而是激励和研究一个不同的目标:记住过去的经验片段。我们解释了这个目标与标准的反向传播训练和其他形式的学习的关系。我们使用短期反向传播为这个目标进行训练,并分析作为不同网络类型和问题难度的函数的性能。我们发现,这种分析提供了有趣的见解是什么构成了一个学习规则。我们还讨论了如何这样的系统可以形成一个自然的基板,解决主题,如情景记忆,元学习和辅助目标。
2020-03-06 cs.LG cs.NE stat.ML
Selective classification using a robust meta-learning approach
Google Research India(谷歌研究院印度分院)
提出一种基于双层优化的实例条件重加权辅助网络方法,通过最小化 dropout 方差作为元目标来捕获预测不确定性,在选择性分类和多个真实数据集上显著超越 SOTA。
2024-01-02 cs.LG
MONGOOSE: Path-wise Smooth Bayesian Optimisation via Meta-learning
University of Bristol(布里斯托尔大学);University of Cambridge(剑桥大学)
MONGOOSE 针对评估点间移动成本较大的贝叶斯优化问题,利用元学习参数化策略生成平滑优化轨迹,以克服标准短视方法的跳跃路径缺陷并提升性能。
2024-07-03 cs.LG
Meta-Learning with Differentiable Convex Optimization
UC San Diego(加州大学圣地亚哥分校);Amazon Web Services(亚马逊云科技);UMass Amherst(马萨诸塞大学阿默斯特分校);UCLA(加州大学洛杉矶分校)
许多用于少样本学习的元学习方法依赖于简单的基本学习器,例如最近邻分类器。然而,即使在Few-Shot机制中,有区别地训练的线性预测器也可以提供更好的泛化。我们建议使用这些预测器作为基础学习器来学习少样本学习的表示,并表明它们在一系列Few-Shot识别基准中提供了更好的特征大小和性能之间的权衡。我们的目标是学习特征嵌入,以及推广下的线性分类规则的新类别。为了有效地解决这个问题,我们利用线性分类器的两个属性:凸问题的最优性条件的隐式微分和优化问题的对偶公式。这使我们能够在计算开销适度增加的情况下使用具有改进泛化的高维嵌入。我们的方法名为MetaOptNet,在miniImageNet,tieredImageNet,CIFAR-FS和FC 100少样本学习基准测试中实现了最先进的性能。我们的代码可在https://github.com/kjunelee/MetaOptNet上获得。
2019-04-23 cs.CV cs.LG
Enhanced Meta Label Correction for Coping with Label Corruption
Technion – Israel Institute of Technology(以色列理工学院)
针对真实噪声标签问题,提出增强元标签校正方法EMLC,通过改进元梯度推导和新型教师架构,在标准基准上达到最先进性能,并在Clothing1M上提升1.52%且训练时间减半。
2023-10-17 cs.CV cs.LG
Model-Agnostic Zeroth-Order Policy Optimization for Meta-Learning of Ergodic Linear Quadratic Regulators
Tandon School of Engineering, New York University(纽约大学坦登工程学院)
本文提出一种模型无关的零阶元学习算法,用于遍历线性二次调节器,通过省略Hessian估计实现异构相似系统的有效优化,并给出收敛性证明与数值验证。
2024-05-27 cs.LG cs.SY eess.SY
Improving Generalization in Meta Reinforcement Learning using Learned Objectives
The Swiss AI Lab IDSIA(瑞士人工智能实验室IDSIA);USI(瑞士意大利语区大学);SUPSI(瑞士南方应用科技大学)
生物进化已经将许多学习者的经验提炼成人类的通用学习算法。我们的新型Meta强化学习算法MetaGenRL就是受到这个过程的启发。MetaGenRL提取了许多复杂智能体的经验,以元学习一个低复杂度的神经目标函数,决定未来的个体将如何学习。与最近的元RL算法不同,MetaGenRL可以推广到与元训练完全不同的新环境。在某些情况下,它甚至优于人类工程RL算法。MetaGenRL在元训练期间使用非策略二阶梯度,这大大提高了其样本效率。
2020-02-14 cs.AI cs.LG cs.NE
Meta-Gradient Reinforcement Learning with an Objective Discovered Online
DeepMind
深度强化学习包括通过深度神经网络参数化内部表示(诸如价值函数或策略)的广泛算法家族。每个算法都相对于定义其语义的目标(例如Q学习或策略梯度)来优化其参数。在这项工作中,我们提出了一种基于Meta梯度下降的算法,该算法发现了自己的目标,通过深度神经网络灵活地参数化,仅从与环境的交互经验。随着时间的推移,这允许代理学习如何越来越有效地学习。此外,由于目标是在线发现的,它可以随着时间的推移而适应变化。我们证明了该算法发现如何解决RL中的几个重要问题,如自举,非平稳性和离策略学习。在Atari学习环境中,元梯度算法随着时间的推移而适应,以更高的效率学习,最终超过了强演员-评论家基线的中值得分。
2020-07-16 cs.AI cs.LG stat.ML
Decoupling Exploration and Exploitation for Meta-Reinforcement Learning without Sacrifices
Stanford University(斯坦福大学)
Meta强化学习(meta-RL)的目标是构建能够通过利用相关任务的先前经验快速学习新任务的代理。学习一项新任务通常需要探索以收集与任务相关的信息,并利用这些信息来解决任务。原则上,最佳探索和利用可以通过简单地最大化任务性能来学习端到端。然而,由于鸡和蛋的问题,这种元RL方法与局部最优值作斗争:学习探索需要良好的利用来衡量探索的效用,但学习利用需要通过探索收集的信息。优化探索和利用的单独目标可以避免这个问题,但是先前的元RL探索目标会产生次优策略,收集与任务无关的信息。我们通过构建一个自动识别任务相关信息的开发目标和一个只恢复这些信息的探索目标来缓解这两个问题。这避免了端到端训练中的局部最优,而不会牺牲最优探索。从经验上讲,DREAM在复杂的元RL问题上的表现远远优于现有的方法,例如稀疏奖励3D视觉导航。视频的梦想:https://ezliu.github.io/dream/
2021-11-12 cs.AI cs.LG stat.ML
Efficient Meta Neural Heuristic for Multi-Objective Combinatorial Optimization
Sun Yat-sen University(中山大学);Singapore Management University(新加坡管理大学)
本文提出高效元神经启发式算法EMNH,通过架构共享多任务模型并行训练元模型并采用缩放对称采样稳定训练,再以分层方法微调求解子问题,在MOTSP、MOCVRP和MOKP上实现了优于现有神经启发式的解质量与学习效率。
2023-10-22 cs.AI cs.LG
Scalable Multi-Objective and Meta Reinforcement Learning via Gradient Estimation
本文提出PolicyGradEx算法,通过梯度估计实现多目标强化学习的高效优化,实验表明其在机器人控制和Meta-World基准测试中优于现有方法,效率提升达26倍。
2026-02-23 cs.AI cs.LG
Guarantees for Tuning the Step Size using a Learning-to-Learn Approach
Duke University(杜克大学)
为优化算法选择正确的参数往往是其在实践中成功的关键。使用学习到学习的方法解决这个问题-基于优化器生成的轨迹在元目标上使用元梯度下降-最近被证明是有效的。然而,元优化问题是困难的。特别是,元梯度经常会爆炸/消失,如果元目标没有仔细选择,学习的优化器可能不会有良好的泛化性能。在本文中,我们给元优化保证学习的学习方法上一个简单的问题,调整步长的二次损失。我们的研究结果表明,天真的目标遭受亚梯度爆炸/消失问题。虽然有一种方法可以设计元目标,使得元梯度保持多项式有界,但直接使用反向传播计算元梯度会导致数值问题。我们还描述了何时需要在单独的验证集上计算元目标,以确保学习优化器的泛化性能。最后,我们验证了我们的研究结果的经验,并表明,类似的现象出现,即使是更复杂的学习优化参数化的神经网络。
2021-06-11 cs.LG stat.ML
SMOG: Scalable Meta-Learning for Multi-Objective Bayesian Optimization
Department of Information Systems University of Münster(信息系统系穆斯特大学);Robert Bosch GmbH(博世集团)
SMOG通过多输出高斯过程学习目标间相关性,构建联合先验以提升多目标贝叶斯优化效率,实现线性扩展元任务数量的并行训练。
2026-05-11 cs.LG
MIRACL: A Diverse Meta-Reinforcement Learning for Multi-Objective Multi-Echelon Combinatorial Supply Chain Optimisation
The University of Manchester(曼彻斯特大学);Peak AI, Ltd(Peak AI 公司)
MIRACL通过元多目标强化学习框架,实现了在多目标多层级组合供应链优化中的高效适应与泛化,实验表明其在超体积和预期效用方面表现优异。
2026-03-05 cs.LG
Uncertain Multi-Objective Recommendation via Orthogonal Meta-Learning Enhanced Bayesian Optimization
Chongqing University(重庆大学);Singapore University of Technology and Design(新加坡科技设计大学);Nanyang Technological University(南洋理工大学);Chengdu University of Information Technology(成都信息工程大学);Agency for Science, Technology and Research(科学、技术与研究局)
本文提出面向个体偏好的不确定多目标推荐框架,利用贝叶斯优化建模目标权衡,并以正交元学习提升优化效率、缓解目标冲突。
2025-02-18 cs.AI cs.LG
Meta-Model Framework for Surrogate-Based Parameter Estimation in Dynamical Systems
University of Ljubljana(卢布尔雅那大学)
复杂动力系统建模的核心任务是参数估计。这项任务涉及大量的计算昂贵的目标函数的评估。基于代理的优化引入了一个计算效率高的预测模型,该模型近似于目标函数的值。标准方法涉及从对应于目标函数的过去评估的训练样本中学习代理。当前基于代理的优化方法使用静态的、预定义的替换策略,该策略决定何时使用代理以及何时使用真实目标。我们引入了一个元模型框架,其中的替代策略是动态适应给定的优化问题的解决方案空间。Meta模型封装了目标函数、代理模型和替代策略的模型,以及用于学习它们的组件。该框架可以与任意优化算法无缝耦合,无需任何修改:它替换目标函数并自主决定如何评估给定的候选解决方案。我们测试的实用程序的框架上的三个任务估计参数的真实世界模型的动力系统。结果表明,Meta模型显着提高了优化效率,减少了目标函数的评估总数平均高达77%。
2019-12-18 cs.LG math.DS math.OC
Meta-Reinforcement Learning via Evolution for Multi-Objective Combinatorial Supply Chain Optimisation
The University of Manchester(曼彻斯特大学);Peak AI, Ltd(Peak AI有限公司)
提出一种结合分解与进化搜索的群体元强化学习框架,通过维护权重向量群体并迭代优化,生成多样且分布均匀的帕累托前沿近似,在多目标供应链优化中超体积提升高达32%。
2026-06-23 cs.LG
Learn2Agree: Fitting with Multiple Annotators without Objective Ground Truth
Tsinghua University(清华大学);Shenzhen Institute of Artificial Intelligence Robotics for Society(深圳人工智能与机器人研究院);South China Normal University(华南师范大学);University of Cambridge(剑桥大学);University College London(伦敦大学学院)
领域专家的注释对于某些医学应用是重要的,其中客观真值定义不明确,例如,一些慢性疾病的康复,以及一些肌肉骨骼异常的预先筛查,而无需进一步的医疗检查。然而,注释的不当使用可能会阻碍开发可靠的模型。一方面,强制使用从多个注释生成的单个真值对于建模来说信息量较少。另一方面,在没有适当正则化的情况下为模型提供所有注释是有噪声的,因为存在分歧。对于这些问题,我们提出了一个新的学习协议(Learn2Agree)框架,以解决从多个注释器学习的挑战,没有客观的真值。该框架有两个流,一个流适合多个注释器,另一个流学习注释器之间的协议信息。特别是,一致性学习流为分类器流产生正则化信息,调整其决策以更好地符合注释器之间的一致性。所提出的方法可以很容易地添加到现有的骨干,在两个医疗数据集上的实验显示出更好的一致性水平与注释。
2023-03-09 cs.HC cs.LG
Non-orthogonal Age-Optimal Information Dissemination in Vehicular Networks: A Meta Multi-Objective Reinforcement Learning Approach
York University(约克大学);Memorial University of Newfoundland(纽芬兰纪念大学);University of the Fraser Valley(弗雷泽河谷大学)
本文研究车载网络中最小化信息年龄与功耗的非正交信息传输问题,提出两阶段元多目标强化学习方法,利用混合DQN-DDPG模型估计高质量帕累托前沿,显著减少训练时间。
2024-02-15 cs.LG
A Meta-Learning Approach for Multi-Objective Reinforcement Learning in Sustainable Home Environments
University of Galway(高威大学)
针对住宅电器调度中多目标强化学习面临的数据有限和情境变化问题,提出元学习扩展方法,结合自编码器检测情境变化,在伦敦真实数据上显著超越基线,节省电费3.28%,提升舒适度2.74%,并大幅减少训练数据与步骤。
2024-07-16 cs.AI cs.LG
PAMELI: A Meta-Algorithm for Computationally Expensive Multi-Objective Optimization Problems
我们提出了一个算法的多目标优化计算昂贵的问题。该算法是基于解决一组代理问题定义的模型的真正的,所以只有解决方案估计是近似帕累托最优的评估使用真正的昂贵的功能。除了搜索解决方案,我们的算法还执行元搜索的最佳代理模型和导航策略的优化景观,因此适应的搜索策略的解决方案的问题,因为它获得了新的信息。我们的方法的竞争力证明了一个国家的最先进的代理辅助进化算法的一组基准问题的实验比较。
2021-04-18 cs.LG cs.NE
A Meta-Transfer Objective for Learning to Disentangle Causal Mechanisms
Université de Montréal(蒙特利尔大学);Ruprecht-Karls-Universität Heidelberg(海德堡大学);École Polytechnique Montréal(蒙特利尔综合理工学院)
我们建议元学习因果结构的基础上如何快速学习者适应新的分布所产生的稀疏分布的变化,例如,由于干预,代理的行动和其他来源的非平稳性。我们表明,在这种假设下,正确的因果结构的选择导致更快地适应修改后的分布,因为变化集中在一个或几个机制时,学到的知识是适当的模块化。这导致稀疏的预期梯度和较低的有效数量的自由度需要重新学习,同时适应变化。它激励使用修改后的分布的适应速度作为元学习目标。我们演示了如何使用它来确定两个观测变量之间的因果关系。分布的变化不需要对应于标准干预措施(钳制变量),学习者对这些干预措施没有直接的知识。我们表明,因果结构可以通过连续变量参数化,并学习端到端。然后,我们探索如何将这些想法用于学习编码器,该编码器将低级观察变量映射到未观察到的因果变量,从而更快地适应分布外,学习表示空间,其中可以满足独立机制的假设以及由于动作和非平稳性而导致的这些机制中的小而稀疏的变化。
2019-02-04 cs.LG stat.ML
Meta Objective Guided Disambiguation for Partial Label Learning
本文提出元目标引导消歧(MoGD)框架,通过小验证集上的元损失重加权候选标签,以加权交叉熵训练分类器,解决偏标签学习中缺乏先验和早期预测不可靠的问题,理论证明收敛性并在基准和真实数据集上取得先进性能。
2023-12-22 cs.LG
A survey on multi-objective hyperparameter optimization algorithms for Machine Learning
Hasselt University(哈塞尔特大学);Ghent University(根特大学)
超参数优化(HPO)是保证机器学习(ML)算法最佳性能的必要步骤。已经开发了几种方法来执行HPO,其中大多数都集中在优化一个性能指标(通常是基于误差的措施),这样的单目标HPO问题的文献是巨大的。然而,最近出现了专注于同时优化多个冲突目标的算法。本文对2014年至2020年期间发表的关于多目标HPO算法的文献进行了系统调查,区分了基于元模型的算法,基于元模型的算法以及使用两者混合的方法。我们还讨论了用于比较多目标HPO程序的质量指标,并提出了未来的研究方向。
2022-11-15 cs.AI cs.LG math.OC
Deep learning based Meta-modeling for Multi-objective Technology Optimization of Electrical Machines
Robert Bosch GmbH(罗伯特·博世有限公司)
针对旋转电机优化耗时且不同技术需分别优化的问题,提出基于VAE的元建模方法,通过统一潜空间用深度神经网络和解码器分别预测KPI、生成新设计,实现两种电机并行多目标优化,且性能优于经典深度学习直接预测方法。
2023-07-24 cs.LG
The Case for Meta-Cognitive Machine Learning: On Model Entropy and Concept Formation in Deep Learning
Artificial Intelligence Lab, Vrije Universiteit Brussel(布鲁塞尔自由大学人工智能实验室)
机器学习通常用行为主义术语来定义,其中外部验证是学习的主要机制。在本文中,我主张一个更全面的解释,找到更可能的,有效的和抽象的表示是中央学习性能。换句话说,机器学习应该扩展策略,以推理自己的学习过程,从而导致所谓的元认知机器学习。因此,机器学习的实际定义应该用这些本质上多目标的术语重新表述,不仅要考虑任务性能,还要考虑内部学习目标。为此,我们建议定义一个“模型熵函数”来量化内部学习过程的效率。这是想象,该模型熵的最小化导致概念形成。除了哲学方面,一些初步的插图包括支持索赔。
2017-11-04 cs.AI cs.LG stat.ML
Multi-objective Pointer Network for Combinatorial Optimization
Anhui University(安徽大学);National University of Defense Technology(国防科技大学)
多目标组合优化问题是一类复杂优化问题,广泛存在于各种实际应用中。虽然元算法已经成功地应用于解决MOCOP问题,但计算时间往往要长得多。最近,已经提出了许多深度强化学习(DRL)方法来生成组合优化问题的近似最优解。然而,现有的研究DRL很少集中在MOCOPs。该研究提出了一种单模型深度强化学习框架,称为多目标指针网络(MOPN),其中PN的输入结构得到有效改进,使得单个PN能够解决MOCOPs。此外,分别提出了基于代表模型和迁移学习的两种训练策略,以进一步提高MOPN在不同应用场景下的性能。此外,与经典的元分析相比,MOPN只消耗更少的时间在向前传播,以获得帕累托前沿。同时,MOPN对问题规模不敏感,这意味着经过训练的MOPN能够解决具有不同规模的MOCOP。为了验证MOPN的性能,进行了广泛的实验上的三个多目标旅行商问题,与一个国家的最先进的模型DRL-MOA和三个经典的多目标元算法进行比较。实验结果表明,该模型的训练时间仅为DRL MOA训练时间的20 ~ 40%,性能优于所有比较方法.
2022-04-25 cs.AI cs.LG
Sycophantic Agreement Transfers with Neutral Data via Contrastive Preference Optimization
Stanford University(斯坦福大学);Columbia University(哥伦比亚大学)
本研究发现对比偏好优化会导致教师模型的谄媚式一致性向学生模型转移,且该信号分散于中性偏好数据中,现有过滤方法难以缓解,揭示了对齐训练的意外有害行为。
2026-09-01 cs.LG
Multi-objective hyperparameter optimization with performance uncertainty
Flanders Make(法兰德斯制造);Hasselt University(哈塞尔特大学);Tilburg University(蒂尔堡大学)
任何机器学习(ML)算法的性能都受到其超参数选择的影响。由于训练和评估ML算法通常是昂贵的,因此超参数优化(HPO)方法需要在计算上高效才能在实践中有用。现有的多目标HPO方法大多使用进化策略和基于元模型的优化。然而,很少有方法被开发出来,以占在性能测量的不确定性。本文提出了多目标超参数优化的ML算法的评价上的不确定性的结果。我们将树结构Parzen估计器(TPE)的采样策略与训练具有异质噪声的高斯过程回归(GPR)后获得的元模型相结合。三个分析测试函数和三个ML问题的实验结果表明,多目标TPE和GPR的改进,实现相对于超体积指标。
2022-09-09 cs.AI cs.LG
Enhancing Online Reinforcement Learning with Meta-Learned Objective from Offline Data
University of Electronic Science and Technology of China(电子科技大学);Sichuan Artificial Intelligence Research Institute(四川省人工智能研究院);Duke Kunshan University(昆山杜克大学)
针对稀疏奖励下在线强化学习难学最优策略的问题,提出可适配多种离策略RL的GILD模块,从离线数据元学习目标以注入内在动机,在MuJoCo稀疏奖励任务上性能超越现有最优方法。
2025-01-13 cs.LG
Variational Autoencoder based Metamodeling for Multi-Objective Topology Optimization of Electrical Machines
Technical University Darmstadt(达姆施塔特工业大学);Robert Bosch GmbH(罗伯特·博世有限公司)
传统的电机静磁有限元分析方法计算量大、耗时长。由于每个机器拓扑结构都有一组不同的参数,设计优化通常是独立进行的。提出了一种利用变分自编码器将高维集成设计参数映射到低维潜空间中,同时预测不同参数电机拓扑关键性能指标(KPI)的新方法。在训练之后,经由潜在空间,解码器和多层神经网络将分别用作用于对新设计进行采样和预测相关联的KPI的元模型。这可以实现基于参数的并发多拓扑优化。
2022-04-07 cs.CE cs.LG
A Hybrid Meta-Learning and Multi-Armed Bandit Approach for Context-Specific Multi-Objective Recommendation Optimization
Expedia Group(亿客行集团)
针对在线推荐系统多目标平衡难题,提出结合元学习与多臂老虎机的Juggler-MAB混合方法,通过两阶段权重调整适配动态变化,在Expedia数据集上多项指标优于原模型。
2024-09-13 cs.LG
Tailoring: encoding inductive biases by optimizing unsupervised objectives at prediction time
MIT(麻省理工学院)
从CNN到注意力机制,将归纳偏差编码到神经网络中一直是机器学习改进的富有成效的来源。在主目标函数中添加辅助损失是编码偏差的一般方法,可以帮助网络学习更好的表示。然而,由于辅助损失仅在训练数据上最小化,因此它们遭受与常规任务损失相同的泛化间隙。此外,通过向损失函数添加一项,该模型优化了与我们关心的目标不同的目标。在这项工作中,我们解决了两个问题:首先,我们从\textit{transductive learning}中获得灵感,并注意到在接收输入后但在进行预测之前,我们可以对任何无监督损失进行微调。我们称这个过程为{ \em tailoring},因为我们为每个输入定制模型,以确保我们的预测满足归纳偏差。其次,我们制定{ \em元裁剪},一个嵌套的优化类似于元学习,并训练我们的模型,使其在使用无监督损失进行调整后,在任务目标上表现良好。裁剪和元裁剪的优点进行了理论讨论,并证明了经验上的一组不同的例子。
2021-09-06 cs.CV cs.LG stat.ML
Debiasing Meta-Gradient Reinforcement Learning by Learning the Outer Value Function
InstaDeep
元梯度强化学习(RL)允许代理在训练期间以在线方式自我调整其超参数。在本文中,我们确定当前元梯度RL方法的元梯度中的偏差。这种偏差来自于使用批评者,该批评者是使用元学习的折扣因子训练的,用于外部目标中的优势估计,这需要不同的折扣因子。由于元学习折扣因子通常低于外部目标中使用的折扣因子,因此产生的偏差可能导致元梯度偏向短视策略。我们提出了一个简单的解决方案,这个问题:我们消除这种偏见,使用替代,\emph{outer}价值函数的估计外损失。为了获得这个外部价值函数我们在评论家网络中添加第二个头,并使用外部损失折扣因子与经典评论家一起对其进行训练。在一个说明性的玩具问题上,我们证明了偏置会导致当前元梯度RL方法的灾难性失败,并表明我们提出的解决方案修复了它。然后,我们将我们的方法应用于更复杂的环境,并证明修复元梯度偏置可以显着提高性能。
2022-11-19 cs.AI cs.LG
Debiased Graph Poisoning Attack via Contrastive Surrogate Objective
KAIST(韩国科学技术院)
针对现有基于元梯度的图攻击偏向训练节点导致次优的问题,提出基于对比代理目标的攻击方法Metacon,通过新代理损失缓解偏差,在基准数据集上显著提升了攻击性能。
2024-07-27 cs.CR cs.LG
Scalable, Transferable Meta-network for Data Selection Requires a Different Loss (and Why the Obvious Choice is Problematic)
College of Computing and Data Science(计算与数据科学学院);Nanyang Technological University(南洋理工大学)
针对数据选择中元学习方法的细粒度评估与可迁移性权衡问题,提出基于逐点值匹配目标的可扩展框架TESS,在LLM安全性和指令调优上实现跨数据集与跨模型规模的有效迁移。
2026-10-02 cs.AI cs.CL cs.LG
Discovering Temporally-Aware Reinforcement Learning Algorithms
University of Oxford(牛津大学);The Swiss AI Lab IDSIA(瑞士IDSIA人工智能实验室);Technical University Berlin(柏林工业大学)
本文提出一种增强现有目标发现方法的时间感知机制,使强化学习算法能动态调整目标函数,以提升跨训练范围的表达能力与泛化性能。
2024-02-08 cs.AI cs.LG
MetaBox-v2: A Unified Benchmark Platform for Meta-Black-Box Optimization
South China University of Technology(华南理工大学);Hong Kong Polytechnic University(香港理工大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出 MetaBox-v2 统一基准平台,支持多类 MetaBBO 方法、并行加速、广泛任务套件与可扩展接口,并通过系统基线评估验证其实用价值。
2025-10-21 cs.AI cs.LG cs.NE
Intrinsic Barriers and Practical Pathways for Human-AI Alignment: An Agreement-Based Complexity Analysis
Aran Nayebi(独立研究者)
该研究将AI对齐形式化为多目标一致性优化问题,证明了任务、智能体规模等带来的内在复杂度下界,同时给出不同理性条件下的可行算法,指出奖励黑客不可避免,为可扩展人机协作提供原则。
2025-11-19 cs.AI cs.CC cs.GT
Structuring Relations Among Learning Paradigms via Protocol--Objective--Resource Reductions
提出协议-目标-资源框架,通过归约统一监督、迁移、持续和元学习范式,证明复杂度支配性并建立包含关系。
2026-09-29 cs.LG
GraMeR: Graph Meta Reinforcement Learning for Multi-Objective Influence Maximization
Kansas State University(堪萨斯州立大学);PNNL(太平洋西北国家实验室)
影响力最大化(IM)是识别网络(图)中被称为种子节点的节点子集的组合问题,当种子节点被激活时,为给定的扩散模型和种子集大小的预算提供网络中的最大影响扩散。IM有许多应用,如病毒式营销,流行病控制,传感器放置和其他网络相关的任务。然而,由于现有算法的计算复杂性,其应用受到限制。最近,已经探索了用于IM的学习算法以减轻计算负担。然而,目前的方法存在严重的局限性,例如:(1)IM公式只考虑通过传播的影响,忽略了自激活;(2)可扩展到大型图;(3)跨图族的可推广性;(4)计算效率低,需要大量的运行时间来识别每个测试网络的种子集。在这项工作中,我们通过一种独特的方法来解决这些限制,该方法涉及(1)将通用IM问题制定为处理内在和影响激活的马尔可夫决策过程;(2)采用双Q学习来估计种子节点;(3)通过基于子图的表示来确保可扩展性;(4)通过跨图族的元学习来整合可推广性。在各种标准网络中进行了大量的实验,以验证所提出的图Meta强化学习(GraMeR)框架的性能。实验结果表明,与传统方法相比,GrameR算法具有更快的速度和更好的通用性.
2022-05-30 cs.LG cs.SI
Scientific discovery as meta-optimization: a combinatorial optimization case study
University of California San Diego(加州大学圣迭戈分校)
提出将科学研究形式化为元优化,通过共识目标聚合方法,在3-SAT算法发现中实现从O(N^2.51)到O(N^1.33)的规模改进,最大实例加速约67倍。
2026-10-20 cs.AI cs.LG cs.MA