Arbitrary Order Meta-Learning with Simple Population-Based Evolution
University of Oxford（牛津大学）
元学习，即学会学习的概念，使学习系统能够快速灵活地解决新任务。这通常涉及定义一组外循环元参数，然后用于更新一组内循环参数。大多数元学习方法使用复杂且计算昂贵的双层优化方案来更新这些元参数。理想情况下，系统应该执行多个顺序的元学习，即学习等等，以加速自己的学习。不幸的是，标准的元学习技术通常不适合这些高阶元参数，因为元优化过程变得太复杂或不稳定。受我们在现实世界进化中观察到的高阶元学习的启发，我们表明，使用简单的基于种群的进化隐式优化任意高阶元参数。首先，我们从理论上证明和经验表明，基于人口的进化隐含优化元参数的任意高阶在一个简单的设置。然后，我们引入了一个最小的自参考参数化，这在原则上使任意阶元学习。最后，我们证明了高阶元学习可以提高时间序列预测任务的性能。
2023-03-16 cs.AI cs.LG cs.NE
Meta-Reinforcement Learning via Evolution for Multi-Objective Combinatorial Supply Chain Optimisation
The University of Manchester（曼彻斯特大学）；Peak AI, Ltd（Peak AI有限公司）
提出一种结合分解与进化搜索的群体元强化学习框架，通过维护权重向量群体并迭代优化，生成多样且分布均匀的帕累托前沿近似，在多目标供应链优化中超体积提升高达32%。
2026-06-23 cs.LG
End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Technische Universität Darmstadt（达姆施塔特工业大学）；University College London（伦敦大学学院）
本文提出首个端到端可微的元贝叶斯优化框架，利用Transformer神经过程学习采集函数，通过强化学习与辅助任务解决稀疏奖励问题，在标准及现实任务中取得最优遗憾结果。
2023-12-22 cs.LG
MIRACL: A Diverse Meta-Reinforcement Learning for Multi-Objective Multi-Echelon Combinatorial Supply Chain Optimisation
The University of Manchester（曼彻斯特大学）；Peak AI, Ltd（Peak AI 公司）
MIRACL通过元多目标强化学习框架，实现了在多目标多层级组合供应链优化中的高效适应与泛化，实验表明其在超体积和预期效用方面表现优异。
2026-03-05 cs.LG
AutoEn: An AutoML method based on ensembles of predefined Machine Learning pipelines for supervised Traffic Forecasting
Aimsun SLU（Aimsun SLU公司）；DeustoTech（德乌斯托技术中心）；Faculty of Engineering, University of Deusto（德乌斯托大学工程学院）；University of Deusto（德乌斯托大学）；IKERBASQUE, Basque Foundation for Science（巴斯克科学基金会IKERBASQUE）；University of Granada（格拉纳达大学）
智能交通系统正在产生大量难以管理的交通数据，这促使机器学习（ML）用于数据驱动的应用程序，如交通预测（TF）。TF由于其通过预测未来交通状态来缓解交通拥堵的能力而获得相关性。然而，TF对ML范式提出了一个巨大的挑战，称为模型选择问题（MSP）：为在不同交通环境下收集的交通数据确定最合适的数据预处理技术和ML方法的组合。在这种情况下，自动化机器学习（AutoML），即从数据预处理到模型验证的ML工作流程的自动化，作为一种有前途的策略来处理问题领域的MSP，其中专家ML知识并不总是可用或负担得起的资产，例如TF。各种AutoML框架已被用于在TF中处理MSP。大多数基于在线优化过程，以在给定数据集上搜索性能最佳的管道。这种在线优化可以通过元学习来补充，以热启动搜索阶段和/或使用从优化过程中导出的管道来构建集合。然而，考虑到搜索空间的复杂性和所生成的调谐-评估流水线的高计算成本，在线优化仅在获得最终模型的时间较长时才是有益的。因此，我们引入了AutoEn，这是一种简单而有效的方法，用于从预定义的ML管道集自动生成多分类器集成。我们将AutoEn与Auto-WEKA和Auto-sklearn进行了比较，这是TF中常用的两种AutoML方法。实验结果表明，AutoEn可以导致更好的或更具竞争力的结果，在通用领域和TF。
2023-03-19 cs.LG
Rapid Model Architecture Adaption for Meta-Learning
University of Cambridge（剑桥大学）；Shenzhen Institute of Advanced Technology, CAS（中国科学院深圳先进技术研究院）；Microsoft Research（微软研究院）
网络体系结构搜索（NAS）方法最近受到了广泛关注。与传统的手动调优相比，他们设计的网络具有更好的性能，并且使用更短的搜索时间。尽管它们在模型部署中效率很高，但大多数NAS算法都针对固定硬件系统上的单个任务。然而，现实生活中的少样本学习环境通常覆盖大量任务（T）和各种硬件平台（H）上的部署。组合搜索复杂度T乘以H产生了基本的搜索效率挑战，如果一个人天真地将现有的NAS方法应用于这些场景。为了克服这个问题，我们展示了，第一次，如何快速适应模型架构的新任务，在多任务多硬件少样本学习设置集成模型不可知元学习（MAML）到NAS流。建议的NAS方法（H-Meta-NAS）是硬件感知的，并在MAML框架中进行优化。在具有各种硬件平台和约束的流行少样本学习基准测试中，与各种NAS和手动基线相比，H-Meta-NAS显示出帕累托优势。特别是，在5路1次Mini-ImageNet分类任务中，所提出的方法在计算量减少60%的情况下大幅优于最佳手动基线（准确率为5.21%）。
2021-09-10 cs.LG
Meta-Learning surrogate models for sequential decision making
DeepMind（深度思维）
我们引入了一个统一的概率框架，用于解决从贝叶斯优化到上下文强盗和强化学习的顺序决策问题。这是通过一种基于概率模型的方法来实现的，该方法解释了观测数据，同时在决策过程中捕获了预测的不确定性。至关重要的是，这个概率模型被选为元学习系统，允许从相关问题的分布中学习，允许数据有效地适应目标任务。作为这个框架的一个合适的实例，我们探讨了由于统计和计算的需要而使用神经过程。我们将我们的框架应用于广泛的问题领域，例如控制问题，推荐系统和对RL代理的对抗性攻击，展示了一种有效和通用的黑盒学习方法。
2019-06-12 cs.LG stat.ML
On Taking Advantage of Opportunistic Meta-knowledge to Reduce Configuration Spaces for Automated Machine Learning
University of Technology Sydney（悉尼科技大学）
自动化机器学习（AutoML）过程不仅需要搜索机器学习（ML）组件及其超参数的复杂配置空间，还需要搜索将它们组合在一起的方式，即形成ML管道。如果该流水线配置空间过大，则对于固定时间预算可达到的优化效率和模型精度受到影响。一个关键的研究问题是，通过利用各种机器学习任务（即元知识）的历史性能，先发制人地避免对性能差的机器学习管道进行昂贵的评估是否可行。以前的经验以分类器/回归器准确性排名的形式出现，这些排名来自（1）在历史AutoML运行期间进行的大量但非穷举数量的管道评估，即“机会主义”元知识，或（2）具有默认超参数的分类器/回归器的全面交叉验证评估，即“系统性”元知识。使用AutoWeka 4 MCPS包进行的大量实验表明：（1）机会主义/系统化元知识可以改善ML结果，通常与元知识的相关性一致;（2）配置空间剔除在既不太保守也不太激进的情况下是最佳的。然而，元知识的效用和影响主要取决于其生成和利用的许多方面，需要进行广泛的分析;这些在AutoML和元学习文献中经常被忽视/低估。特别是，我们观察到对数据集的“挑战”具有很强的敏感性，即选择预测因子的特异性是否会导致显着更好的性能。最后，确定“困难”的数据集，因此定义，是至关重要的，既产生信息元知识库和理解最佳的搜索空间减少战略。
2022-08-08 cs.LG
La-MAML: Look-ahead Meta Learning for Continual Learning
Mila；UdeM（蒙特利尔大学）；Carnegie Mellon University（卡内基梅隆大学）
持续学习问题涉及到训练模型的能力有限，以执行一组未知数量的顺序到达的任务。虽然元学习在减少新旧任务之间的干扰方面显示出巨大的潜力，但目前的训练过程往往要么缓慢要么离线，并且对许多超参数敏感。在这项工作中，我们提出了前瞻MAML（La-MAML），在线持续学习的快速优化为基础的元学习算法，辅助一个小的情景记忆。我们在元学习更新中提出的每个参数学习率的调制使我们能够与先前关于超梯度和元下降的工作建立联系。与传统的基于先验的方法相比，这提供了一种更灵活和有效的方式来减轻灾难性遗忘。La-MAML在真实世界视觉分类基准上实现了优于其他基于重放、基于先验和基于元学习的持续学习方法的性能。源代码可以在这里找到：https://github.com/montrealrobotics/La-MAML
2020-11-12 cs.LG stat.ML
Generalising via Meta-Examples for Continual Learning in the Wild
Università di Trento（特伦托大学）；Università di Modena e Reggio Emilia（摩德纳雷焦艾米利亚大学）
未来的深度学习系统需要能够处理时态数据不断变化的性质以及在出现新问题时注释稀缺的技术。作为实现这一目标的一步，我们提出了FUSION（Few-Shot UnSupervised持续学习），这是一种学习策略，使神经网络能够在未标记的数据流和不平衡的任务上快速持续地学习。其目标是最大限度地提高从未标记数据流（无监督）中提取的知识，促进先前学习的任务和特征（连续）的向前传输，并在可用时尽可能多地利用监督信息（Few-Shot）。FUSION的核心是MEML -元示例元学习-通过在元优化阶段的单个内部循环中使用自我注意机制来巩固元表示。为了进一步提高MEML从少量数据中概括的能力，我们通过创建各种增强的代理任务和优化最困难的任务来扩展它。对公共计算机视觉基准的广泛实验评估表明，FUSION在Few-Shot和持续学习实验环境中的表现优于现有的最先进的解决方案。
2022-05-03 cs.CV cs.LG
Exploring Opportunistic Meta-knowledge to Reduce Search Spaces for Automated Machine Learning
University of Technology Sydney（悉尼科技大学）
已经研究了机器学习（ML）流水线组成和优化，以寻求有效且性能良好的多级ML模型，即预处理器包容性。这些过程通常需要设计和遍历复杂的配置空间，不仅包括单个ML组件及其超参数，还包括将这些组件连接在一起的更高级别的管道结构。如果该管道搜索空间笨重且过大，则优化效率和由此产生的ML模型准确性都会受到影响;避免提前对性能较差的ML组件进行昂贵的评估成为一个有吸引力的概念。因此，本文研究了根据以前的经验，是否可以在为新的ML问题（即数据集）启动管道组合/优化过程之前抢先挑选可用的分类器/回归器池。以前的经验来自分类器/回归器的准确性排名的形式，与松散的假设，从大量的但非详尽的管道评估，这种元知识被认为是“机会主义”。使用AutoWeka 4 MCPS包进行的大量实验，包括通过相对标记方法利用数据集之间的相似性的实验，表明尽管它看起来不可靠，但机会主义元知识可以改善ML结果。然而，结果也表明，分类器/回归器的剔除也不应该太严重。实际上，最好是通过一个“顶级”推荐的预测器进行搜索，而不是将希望寄托在一个以前表现最好的预测器上。
2021-05-01 cs.LG
Discovered Policy Optimisation
University of Oxford（牛津大学）；UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
在过去的十年中，强化学习（RL）取得了巨大的进展。这些进步大多来自于新算法的不断开发，这些算法是使用数学推导、直觉和实验相结合来设计的。这种手动创建算法的方法受到人类理解力和独创性的限制。相比之下，元学习为自动机器学习方法优化提供了一个工具包，可能会解决这个缺陷。然而，黑盒的方法，试图发现RL算法与最小的先验结构，迄今没有优于现有的手工制作的算法。镜像学习，包括RL算法，如PPO，提供了一个潜在的中间点：虽然这个框架中的每一种方法都有理论保证，但区分它们的组件受到设计的影响。在本文中，我们探索镜像学习空间的元学习“漂移”功能。我们将直接结果称为学习策略优化（LPO）。通过分析LPO，我们获得了对策略优化的原始见解，我们用它来制定一种新的，封闭形式的RL算法，发现策略优化（DPO）。我们在Brax环境中的实验证实了LPO和DPO的最新性能，以及它们转移到看不见的设置。
2022-10-13 cs.AI cs.LG
A Learnheuristic Approach to A Constrained Multi-Objective Portfolio Optimisation Problem
University of the Witwatersrand（威特沃特斯兰德大学）；University of Johannesburg（约翰内斯堡大学）
本文提出一种学习启发式方法，通过代理模型增强NSGA-II等元启发式算法，用于求解带交易和持有成本约束的多目标投资组合优化问题，并在超体积、收敛速度及回测收益风险指标上优于不使用学习启发式的基线方法。
2023-04-13 cs.CE cs.LG
Meta Mirror Descent: Optimiser Learning for Fast Convergence
University of Edinburgh（爱丁堡大学）；KAIST（韩国科学技术院）；Samsung AI Research, Cambridge（三星剑桥人工智能研究院）
优化器是训练机器学习模型的重要组成部分，其设计影响学习速度和泛化能力。一些研究试图通过解决一个两级优化问题，其中泛化误差最小化相对于优化参数学习更有效的梯度下降优化。然而，大多数现有的优化学习方法是直观的动机，没有明确的理论支持。我们从镜像下降而不是梯度下降开始采取不同的视角，并元学习相应的Bregman发散。在这种范式下，我们正式提出了一个新的元学习目标，最大限度地减少学习的遗憾。由此产生的框架，称为Meta Mirror Descent（MetaMD），学习加快优化速度。与许多元学习优化器不同，它还支持收敛和泛化保证，并且在不需要验证数据的情况下独特地做到这一点。我们评估我们的框架在各种任务和架构的收敛速度和泛化误差，并表现出强大的性能。
2022-03-05 cs.LG math.OC
Skill-aware Mutual Information Optimisation for Generalisation in Reinforcement Learning
Harbin Institute of Technology（哈尔滨工业大学）；University of Edinburgh（爱丁堡大学）
本文提出技能感知互信息（SaMI）及其估计器SaNCE，通过区分上下文嵌入来提升元强化学习智能体的零样本泛化能力，并在MuJoCo和Panda-gym基准上验证了其有效性及对样本减少的鲁棒性。
2024-11-06 cs.AI cs.LG cs.RO
Asynchronous ε-Greedy Bayesian Optimisation
University of Exeter（埃克塞特大学）
批量贝叶斯优化（BO）是一种成功的技术，用于优化昂贵的黑盒函数。异步BO可以通过在另一个评估完成后立即开始新的评估来减少挂钟时间，从而最大限度地利用资源。为了最大限度地提高资源分配，我们开发了一种新的异步BO方法，AEGiS（异步$ε$ -贪婪的全球搜索），结合贪婪的搜索，利用代理的平均预测，汤普森采样和随机选择近似帕累托集描述剥削（代理平均预测）和探索（代理后验方差）之间的权衡。我们实证证明了AEGiS在合成基准问题，元代理超参数调整问题和现实世界的问题上的功效，表明AEGiS通常优于异步BO的现有方法。当单个工作者可用时，性能不会比使用预期改进的BO差。
2021-06-11 cs.AI cs.LG stat.ML
Approximating meta-heuristics with homotopic recurrent neural networks
Cortexica Vision Systems Ltd.（Cortexica视觉系统有限公司）；Imperial College London（伦敦帝国理工学院）
许多组合优化问题构成非多项式（NP）硬优化问题，即，它们不能在多项式时间内解决。一个这样的问题是找到图上两个节点之间的最短路径。元启发式算法，如$A^{*}$与混合整数规划（MIP）的方法，经常采用这些问题。我们的工作表明，使用深度递归神经网络来近似由元启发式算法生成的解决方案是可能的。我们比较了基于强化学习（RL）和循环神经网络（RNN）的不同方法，以衡量各自的近似质量。我们在一个有超过300个节点的图上展示了递归神经网络解决方案的可行性，并认为序列到序列网络而不是其他递归网络提高了近似质量。此外，我们认为同伦延续-增加了达到极值的机会-进一步提高了由香草RNN生成的估计。
2017-09-07 cs.DM cs.LG stat.ML
Bayesian Unification of Gradient and Bandit-based Learning for Accelerated Global Optimisation
University of Agder（阿格德大学）
基于Bandit的优化比基于梯度的方法具有显着的优势，因为它们具有全局视角，消除了陷入局部最优的危险。然而，对于连续优化问题或具有大量动作的问题，基于强盗的方法可能会受到缓慢学习的阻碍。另一方面，基于梯度的方法通过局部优化在高维连续空间中快速导航，遵循细粒度步骤中的梯度。然而，除了容易受到局部最优，这些计划是不太适合在线学习，由于其依赖于广泛的试错之前，可以确定的最佳。在本文中，我们提出了一个贝叶斯方法，统一上述两个范例在一个单一的框架，其目的是结合他们的优势。在我们的方法的核心，我们发现一个随机线性近似的函数进行优化，其中的梯度和函数的值都明确捕获。这使我们能够从噪声函数和梯度观测中学习，并在动作空间中预测这些属性以支持优化。我们进一步提出了一个伴随的强盗驱动的勘探计划，使用贝叶斯可信的界限，权衡勘探开发。我们的实证结果表明，通过统一的强盗和梯度为基础的学习，一个获得一致的改善性能在广泛的问题环境。此外，即使梯度反馈不可用，我们的模型的灵活性，包括梯度预测，仍然允许我们优于竞争方法，尽管幅度较小。由于普遍存在的强盗为基础的优化，我们的计划开辟了改善性能的元优化和梯度相关的信息是现成的应用程序。
2017-05-28 cs.AI cs.LG
Surrogate Assisted Evolutionary Multi-objective Optimisation applied to a Pressure Swing Adsorption system
University of Johannesburg（约翰内斯堡大学）；Sasol（萨索尔公司）
由于这些现实世界系统的复杂性，化工厂的设计和优化已被证明具有挑战性。由此产生的复杂性转化为这些系统的数学公式和仿真模型的高计算成本。研究已经说明了在优化期间使用机器学习代理模型作为计算昂贵的模型的替代品的好处。本文将最近的研究扩展到优化化工厂的设计和操作。这项研究进一步探讨了代理辅助遗传算法（SA-GA）在更复杂的变种的原始工厂设计和优化问题，如包括并行和反馈组件。在这项研究中，代理辅助NSGA- \Romannum{2}（SA-NSGA）的原始算法提出了新的扩展，进行了测试，一个流行的文献情况下，变压吸附（PSA）系统。我们进一步提供了广泛的实验，比较各种元启发式优化技术和众多的机器学习模型作为替代品。这两套系统的结果说明了使用遗传算法作为一个复杂的化工厂系统设计和优化的单目标和多目标方案的优化框架的好处。我们证实，随机森林代理辅助进化算法可以扩展到越来越复杂的化学系统的并行和反馈组件。我们进一步发现，结合遗传算法框架与机器学习代理模型作为长期运行的模拟模型的替代品产生显着的计算效率的提高，1.7 - 1.84倍的加速增加的复杂性的例子和2.7倍的加速变压吸附系统。
2022-03-28 cs.CE cs.LG cs.NE
Compositional ADAM: An Adaptive Compositional Solver
Huawei Technologies Research and Development（华为技术研发）；University College London（伦敦大学学院）
在本文中，我们提出了C-ADAM，第一个自适应求解器的组合问题，涉及非线性函数嵌套的期望值。我们证明了C-ADAM收敛到$\mathcal{O}(δ^{-2.25})$中的一个稳定点，其中$δ$是一个精度参数。此外，我们首次通过桥接模型不可知元学习（MAML）和组合优化来证明我们结果的重要性，显示了迄今为止深度网络适应的最快已知速率。最后，我们验证了我们的研究结果在一组实验中，从投资组合优化和元学习。我们的研究结果表明显着的样本复杂性降低相比，标准和组合求解器。
2020-04-24 cs.LG math.OC stat.ML
Loaded DiCE: Trading off Bias and Variance in Any-Order Score Function Estimators for Reinforcement Learning
University of Oxford（牛津大学）；Facebook AI Research（脸书人工智能研究院）
在具有未知或难以处理的动态的随机设置中，用于优化目标的基于导数的方法需要导数的估计。我们推导出一个目标，在自动微分，产生低方差无偏估计的衍生工具在任何顺序。我们的目标是兼容的任意优势估计，它允许控制的偏差和方差的任何阶导数时，使用函数逼近。此外，我们提出了一种方法来权衡偏差和方差的高阶导数贴现的影响，更遥远的因果关系。我们证明了我们的目标的正确性和实用性，在分析听话的MDP和元强化学习连续控制。
2019-09-23 cs.LG stat.ML
Bayesian Optimization for Developmental Robotics with Meta-Learning by Parameters Bounds Reduction
LIRIS, CNRS UMR 5205 Ecole Centrale de Lyon（里昂中央理工学院 LIRIS 实验室（法国国家科学研究中心 UMR 5205））
在机器人技术中，方法和软件通常需要优化超参数，以便有效地执行特定任务，例如从不同对象的同质堆中进行工业装箱。我们提出了一个发展框架的基础上长期记忆和推理模块（贝叶斯优化，视觉相似性和参数边界减少），允许机器人使用元学习机制，提高这种连续和约束参数优化的效率。新的优化被视为机器人的学习，可以利用过去的经验（存储在情节和过程存储器中），以通过使用从具有新任务的机器人实现的最佳优化计算的减少的参数边界来缩小搜索空间（例如，基于存储在语义记忆中的对象的视觉相似性，从相似对象的同质堆中进行装箱）。作为例子，我们已经面对系统的9个连续的超参数的约束优化的专业软件（Kamido）在工业机器人手臂装箱任务，每次都需要正确地处理新的对象的一个步骤。我们使用模拟器为8个不同的对象创建装箱任务（7个在模拟中，一个在真实设置中，没有和有来自其他类似对象的经验的元学习）尽管优化预算很小，但仍实现了良好的结果，当使用元学习时，性能更好（总体成功率为84.3% vs 78.9%，每次优化的小预算为30次迭代）（p值=0.036）。
2020-07-30 cs.AI cs.LG cs.RO
