Provably Reduced Sample Cost in Prior-Guided Hyperparameter Optimization
Leibniz University Hanover（莱比锡大学汉诺威分校）；University of Bielefeld（比勒菲尔德大学）；Institute of Artificial Intelligence, Leibniz University Hanover（人工智能研究所，莱比锡大学汉诺威分校）；L3S Research Center Hanover（汉诺威L3S研究中心）
本文通过固定预算最佳臂识别的形式化框架，首次给出了多保真度超参数优化中依赖先验分布的样本复杂度界，证明了信息性先验可显著减少评估次数，并实验验证了高达90%的预算节省。
2026-06-03 cs.LG
Hyperparameter Importance Analysis for Multi-Objective AutoML
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；Leibniz University Hannover（汉诺威莱布尼茨大学）；L3S Research Center（L3S研究中心）
本文首次提出基于代理模型的多目标超参数重要性分析方法，利用fANOVA和消融路径揭示超参数在不同目标权衡下的影响，并通过多组基准实验验证其有效性与鲁棒性。
2025-01-02 cs.AI cs.LG
AutoML for Large Capacity Modeling of Meta's Ranking Systems
Meta Platforms Inc., USA（Meta平台公司）
针对Meta大规模排名系统，提出基于采样的AutoML方法，结合轻量级预测器和强化学习，以少量评估实现超越人工基线的性能，已在生产中获得显著增益。
2023-11-16 cs.AI cs.IR
AutoRL Hyperparameter Landscapes
Institute of Artificial Intelligence, Leibniz University Hannover（汉诺威莱布尼茨大学人工智能学院）；Institute for Information Processing, Leibniz University Hannover（汉诺威莱布尼茨大学信息处理学院）
针对强化学习超参数影响性能且AutoRL超参数景观动态特性不明的问题，提出多时间点构建分析超参数景观的方法，通过多算法多环境实验证实景观随时间显著变化，支持动态调参理论并提供代码。
2023-06-05 cs.AI cs.LG cs.RO
AutoML in Heavily Constrained Applications
TU Berlin（柏林工业大学）；Leibniz Universität Hannover（汉诺威莱布尼茨大学）
本文提出CAML，利用元学习自动调整AutoML参数以适应任务，并考虑用户约束，生成高预测性能且满足约束的流水线。
2023-10-16 cs.AI cs.DB cs.LG
An Adaptive and Near Parameter-free Evolutionary Computation Approach Towards True Automation in AutoML
Victoria University of Wellington（惠灵顿维多利亚大学）
演化计算方法的一个共同主张是，它们可以在不需要人为干预的情况下获得良好的结果。然而，对此的一个批评是，仍然有一些超参数必须调整才能获得良好的性能。在这项工作中，我们提出了一个近“无参数”的遗传编程方法，它适应整个进化过程中的超参数值，而无需手动指定。我们将其应用于自动化机器学习领域（通过扩展TPOT），以产生可以有效地声称不受人类输入的管道，并表明结果与现有的使用手动选择的超参数值的最先进技术具有竞争力。管道从随机选择的估计器开始，并自动演变为竞争管道。这项工作朝着真正自动化的AutoML方向发展。
2020-01-28 cs.AI cs.LG cs.NE
Extreme AutoML: Analysis of Classification, Regression, and NLP Performance
Verseon International Corp.（Verseon国际公司）；Missouri University of Science and Technology（密苏里科技大学）
本研究针对AutoML性能问题，对比基于ELM的Extreme AutoML与Google AutoML，经多数据集基准测试发现前者在准确率、Jaccard指数、类别方差及训练时间上均具显著优势。
2024-12-11 cs.AI cs.LG
Hyperparameters in Reinforcement Learning and How To Tune Them
Leibniz University Hannover（汉诺威莱布尼茨大学）；Meta AI
本文针对强化学习超参数调优不一致导致公平比较困难的问题，评估多种 HPO 工具并提出分离调优/测试种子等最佳实践，证明其可提升性能、降低计算成本并改善可复现性。
2023-06-02 cs.LG
ARLBench: Flexible and Efficient Benchmarking for Hyperparameter Optimization in Reinforcement Learning
TU Dortmund University（图卢兹大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）；RWTH Aachen University（亚琛工业大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）；University of Freiburg（弗赖堡大学）；ELLIS Institute Tübingen（图宾根ELLIS研究所）；L3S Research Center（L3S研究所以）
ARLBench为强化学习中的超参数优化提供高效灵活的基准测试，通过减少计算资源需求促进更广泛的研究。
2026-03-10 cs.LG
Ensemble Squared: A Meta AutoML System
University of British Columbia（不列颠哥伦比亚大学）；Georgia Institute of Technology（佐治亚理工学院）
目前有许多障碍阻止非专家利用机器学习解决方案，从缺乏统计学习技术的直觉到超参数调整的棘手性。这些障碍导致了人们对自动化机器学习（AutoML）的兴趣激增，通过这种方式，现成的系统可以为最终用户处理许多步骤，而不需要机器学习方面的专业知识。本文介绍了Ensemble Squared（Ensemble $^2$），这是一个AutoML系统，集成了最先进的开源AutoML系统的结果。Ensemble $^2$通过利用现有AutoML系统在模型搜索空间和语义学方面的差异来利用现有AutoML系统的多样性。从经验上讲，我们表明，每个AutoML系统的多样性足以证明在AutoML系统级别的集成。为了证明这一点，我们还在OpenML表格分类基准上建立了新的最先进的AutoML结果。
2021-06-19 cs.AI cs.LG
Evolving machine learning workflows through interactive AutoML
University of Córdoba（科尔多瓦大学）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究所）；University of Málaga（马拉加大学）
本文提出交互式 G3P 算法 \ourmethod，让用户动态修改 AutoML 工作流搜索语法；20 人实验表明，人机协作可获得更高准确率且调优更省时的工作流。
2024-02-28 cs.LG
ChaCha for Online AutoML
Microsoft Research（微软研究院）
我们提出了ChaCha（Chaon-Challenge）算法，用于在在线学习设置中在线选择超参数。ChaCha处理确定冠军的过程，并根据样本的复杂性范围随着时间的推移安排一组“活”挑战者。通过基于冠军的应用依赖预言机将最优配置加入考虑范围，保证了算法具有次线性遗憾。从经验上讲，我们表明，ChaCha在优化特征化和超参数决策时，在广泛的数据集上提供了良好的性能。
2021-06-11 cs.LG
Efficient Automatic CASH via Rising Bandits
Peking University（北京大学）；ETH Zurich（苏黎世联邦理工学院）；Beijing University of Posts and Telecommunications（北京邮电大学）；Alibaba Group（阿里巴巴集团）
算法选择和超参数优化（CASH）是自动机器学习（AutoML）中最基本的问题之一。现有的基于贝叶斯优化（BO）的解决方案通过合并所有机器学习（ML）算法的超参数，将CASH问题转化为一个超参数优化（HPO）问题，并使用BO方法进行求解，但由于CASH中超参数空间巨大，这些方法存在效率低下的问题。为了缓解这个问题，我们提出了交替优化框架，其中每个ML算法的HPO问题和算法选择问题交替优化。在这个框架中，BO方法分别用于解决每个ML算法的HPO问题，为BO方法引入了一个小得多的超参数空间。此外，我们介绍了崛起的土匪，一个面向现金的多臂土匪（MAB）的变种，在现金模型的算法选择。该框架既可以利用BO算法求解超参数空间较小的HPO问题，又可以利用MAB算法加速算法选择。此外，我们进一步开发了一个有效的在线算法来解决上升的强盗可证明的理论保证。在30个OpenML数据集上进行的大量实验证明了所提出的方法优于竞争基线。
2020-12-08 cs.LG stat.ML
OBOE: Collaborative Filtering for AutoML Model Selection
Cornell University（康奈尔大学）
算法选择和超参数调整仍然是机器学习中最具挑战性的两个任务。自动化机器学习（AutoML）试图自动化这些任务，以使非专家能够广泛使用机器学习。本文介绍了OBOE，时间约束模型选择和超参数调整的协同过滤方法。OBOE在大量数据集上形成大量监督学习模型（算法与超参数一起）的交叉验证误差的矩阵，并拟合低秩模型以学习最佳预测交叉验证误差的模型和数据集的低维特征向量。为了为新数据集找到有希望的模型，OBOE在新数据集上运行一组快速但信息丰富的算法，并使用它们的交叉验证错误来推断新数据集的特征向量。OBOE可以在模型拟合数量或总时间预算的约束下找到好的模型。为此，本文提出了一种新的启发式主动学习的时间约束矩阵完成的最优实验设计的基础上。我们的实验表明，OBOE提供了最先进的性能比竞争的方法更快的测试床上的监督学习问题。此外，OBOE使用的双线性模型的成功表明AutoML可能比以前理解的更简单。
2019-05-20 cs.AI cs.LG stat.ML
Naive Automated Machine Learning -- A Late Baseline for AutoML
University of Torontoland（多伦多兰大学）；University of Edenborrow（伊登伯勒大学）
自动机器学习（AutoML）是在给定的数据集上自动寻找具有最佳泛化性能的流水线的问题。AutoML在过去的十年中受到了极大的关注，并且已经通过复杂的黑盒优化技术（如贝叶斯优化、基于语法的遗传算法和树搜索算法）得到了解决。与这些方法相比，我们提出了Naive AutoML，这是一种非常简单的AutoML解决方案，它利用了有关机器学习问题的重要元知识，并简化了有效的假设，以快速获得高质量的解决方案。虽然Naive AutoML可以被认为是高度复杂的黑盒求解器的基线，但我们的经验表明，这些求解器无法超越Naive AutoML;有时情况恰恰相反。另一方面，Naive AutoML具有强大的优势，如可解释性和灵活性，并对现有工具提出了强烈的挑战。
2021-03-18 cs.LG
Adaptive $Q$-Network: On-the-fly Target Selection for Deep Reinforcement Learning
DFKI GmbH（德国人工智能研究中心）；TU Darmstadt（达姆施塔特工业大学）；Center for AI and Data Science, University of Würzburg（维尔茨堡大学人工智能与数据科学中心）
提出专为 RL 量身定制的自适应 $Q$-网络（AdaQN），通过在线学习多个不同超参数的 $Q$-函数并利用最小近似误差作为共享目标，在无需额外样本的情况下应对非平稳性，显著提升了样本效率、整体性能和训练稳定性。
2025-03-03 cs.AI cs.LG
Application of an automated machine learning-genetic algorithm (AutoML-GA) coupled with computational fluid dynamics simulations for rapid engine design optimization
Argonne National Laboratory（阿贡国家实验室）；Parallel Works Inc.（Parallel Works 公司）；Convergent Science, Inc.（Convergent Science 公司）
近年来，使用基于机器学习的代理模型进行计算流体动力学（CFD）模拟已经成为用于降低与发动机设计优化相关联的计算成本的有前景的技术。然而，这样的方法仍然具有缺点。的一个主要缺点是默认的机器学习（ML）超参数对于给定的问题通常是严重次优的。这通常通过手动尝试不同的超参数设置来解决，但这种解决方案在高维超参数空间中无效。除了这个问题，训练所需的数据量也不是先验已知的。为了解决这些问题，目前的工作描述和验证了自动主动学习的方法，AutoML-GA，基于代理的优化内燃机。在这种方法中，贝叶斯优化技术被用来找到最好的机器学习超参数的基础上从少量的CFD模拟获得的初始数据集。随后，采用遗传算法在ML代理曲面上定位设计最优值。在设计最优值附近，通过在预计最优值下重复运行CFD模拟并将新获得的数据添加到训练数据集，来细化解决方案。结果表明，AutoML-GA导致一个更好的优化与更少的CFD模拟，相比使用默认的超参数。所提出的框架提供了一种更不干涉的方法的优点，可以很容易地被没有广泛的机器学习专业知识的工业中的研究人员和工程师利用。
2021-04-06 cs.LG
SigOpt Mulch: An Intelligent System for AutoML of Gradient Boosted Trees
Illinois Institute of Technology（伊利诺伊理工学院）；Cornell University（康奈尔大学）；SigOpt: An Intel Company（SigOpt（英特尔旗下公司））
本文提出 SigOpt Mulch，一个面向梯度提升树的模型感知 AutoML 超参数调优系统，结合元学习、多保真度优化与搜索空间智能决策，提升调优效率并降低领域知识需求。
2023-07-10 cs.AI cs.LG cs.MS
AutoML-GPT: Automatic Machine Learning with GPT
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对传统AI模型需人工调试架构与超参数的问题，提出AutoML-GPT框架，以GPT为桥梁连接各类AI模型，自动完成从数据处理到训练的全流程，在多领域任务中展现出通用性与有效性。
2023-05-04 cs.AI cs.CL cs.CV
A Deep Neural Networks ensemble workflow from hyperparameter search to inference leveraging GPU clusters
TotalEnergies SE（道达尔能源公司）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）
带有集成的自动机器学习（或带有集成的AutoML）旨在自动构建深度神经网络（DNN）的集成，以实现定性预测。DNN的包围是众所周知的，以避免过度拟合，但他们是内存和时间消耗的方法。因此，理想的AutoML将在一个单一的运行时间中产生关于准确性和推理速度的不同集合。虽然以前的AutoML工作专注于搜索最佳模型以最大限度地提高其泛化能力，但我们提出了一种新的AutoML来构建更大的准确和多样化的个体模型库，然后构建集成。首先，我们广泛的基准测试表明，异步Hyperband是构建大量不同模型以组合它们的有效且健壮的方法。在此基础上，提出了一种基于多目标贪心算法的集成选择方法，通过控制计算代价来生成准确的集成。最后，我们提出了一种新的算法来优化的DNN集成在GPU集群的基础上分配优化的推理。所产生的AutoML与集成方法在训练阶段和推理阶段都使用高效的GPU集群在两个数据集上显示出稳健的结果。
2022-08-30 cs.DC cs.LG
Zero-Shot AutoML with Pretrained Models
University of Freiburg（弗赖堡大学）；University of Hildesheim（希尔德斯海姆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
给定一个新的数据集D和一个低的计算预算，我们应该如何选择一个预先训练好的模型来微调到D，并设置微调超参数而不冒过拟合的风险，特别是如果D很小？在这里，我们扩展了自动化机器学习（AutoML）来最好地做出这些选择。我们的独立于域的元学习方法学习一个zero-shot代理模型，在测试时，它允许为新数据集D选择正确的深度学习（DL）管道（包括预训练模型和微调超参数），仅给出描述D的琐碎元特征，如图像分辨率或类的数量。为了训练该zero-shot模型，我们在大量数据集上收集许多DL管道的性能数据，并在此数据上进行元训练，以最小化成对排名目标。我们在ChaLearn AutoDL挑战基准的视觉跟踪的严格时间限制下评估我们的方法，明显优于所有挑战竞争者。
2022-06-25 cs.AI cs.CV cs.LG
AutoML: A Survey of the State-of-the-Art
Hong Kong Baptist University（香港浸会大学）
深度学习（DL）技术已经渗透到我们生活的方方面面，给我们带来了极大的便利。然而，为特定任务构建高质量的深度学习系统高度依赖于人类的专业知识，阻碍了深度学习在更多领域的应用。自动化机器学习（AutoML）是一种在没有人工辅助的情况下构建深度学习系统的有前途的解决方案，越来越多的研究人员关注AutoML。在本文中，我们对AutoML中的最新技术（SOTA）进行了全面而最新的回顾。首先，我们根据管道介绍AutoML方法，包括数据准备，特征工程，超参数优化和神经结构搜索（NAS）。我们更关注NAS，因为它是AutoML目前非常热门的子主题。本文在CIFAR-10和ImageNet数据集上，总结了典型NAS算法的性能，并进一步讨论了NAS方法的几个值得研究的方向：单阶段/两阶段NAS、单次NAS以及超参数和架构联合优化。最后，我们讨论了现有的AutoML方法的一些开放性问题，为未来的研究。
2021-04-16 cs.CV cs.LG stat.ML
Pre-Hoc Predictions in AutoML: Leveraging LLMs to Enhance Model Selection and Benchmarking for Tabular datasets
IBM Research Europe（IBM欧洲研究院）；Trinity College Dublin（都柏林三一学院）；Technological University Dublin（都柏林技术大学）
本研究针对AutoML事后模型选择依赖穷举搜索、计算开销大的问题，结合传统模型与LLM智能体开展事前模型预筛选，在AutoGluon基准上验证可缩减搜索空间并选出最优模型。
2025-10-02 cs.AI cs.LG
PSEO: Optimizing Post-hoc Stacking Ensemble Through Hyperparameter Tuning
Beicheng Xu 1（Xu Beicheng 团队）；Wei Liu 1（Liu Wei 团队）；Keyao Ding 1（Ding Keyao 团队）；Yupeng Lu 1（Lu Yupeng 团队）；Bin Cui 1（Cui Bin 团队）
本文提出PSEO框架，通过二元二次规划选择基模型并优化堆叠集成策略，提升多层堆叠的性能，实验证明在80个公开数据集上取得最佳测试排名。
2025-11-09 cs.LG
Omni-SimpleMem: Autoresearch-Guided Discovery of Lifelong Multimodal Agent Memory
UNC-Chapel Hill（北卡罗来纳大学教堂山分校）；University of Pennsylvania（宾夕法尼亚大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of California Berkeley（加州大学伯克利分校）；Cisco（思科）
本文提出Omni-SimpleMem，通过自主研究流程发现多模态记忆框架，提升AI代理的长期记忆能力，其核心贡献在于通过自动实验发现架构改进、数据管道修复等关键突破，超越传统AutoML。
2026-04-02 cs.AI
Revisiting Learning Rate Control
Leibniz University Hannover（汉诺威莱布尼茨大学）
本文比较多种学习率控制范式，发现现有方法在不同设置下不可靠且随模型复杂度增加效果下降，提出应重视算法选择、可微调方法与元学习等新方向。
2025-07-02 cs.LG
AutoDispNet: Improving Disparity Estimation With AutoML
University of Freiburg（弗莱堡大学）
计算机视觉的许多研究工作都花在优化现有的网络架构上，以在基准测试中获得更多的百分点。最近的AutoML方法有望减轻我们的负担。然而，它们主要是为相对小规模的分类任务而设计的。在这项工作中，我们展示了如何使用和扩展现有的AutoML技术，以有效地优化大规模的U-Net类编码器-解码器架构。特别是，我们利用基于梯度的神经架构搜索和贝叶斯优化进行超参数搜索。由此产生的优化不需要大规模的计算集群。我们展示了视差估计的结果，这些结果明显优于手动优化的基线，并达到了最先进的性能。
2019-10-06 cs.AI cs.CV cs.LG
An LLM-Assisted AutoML Framework for Intrusion Detection in IoT Networks
Ontario Tech University（安大略理工大学）；Western University（韦仕敦大学）
本文提出一种LLM辅助的AutoML框架，通过LLM生成有界策略，实现物联网入侵检测的自动数据平衡、特征工程与算法选择，在低预算下提升F1分数并显著减少优化时间。
2026-09-22 cs.CR cs.LG
HyperTendril: Visual Analytics for User-Driven Hyperparameter Optimization of Deep Neural Networks
Clova AI Research, NAVER Corporation（NAVER公司Clova人工智能研究院）；KAIST（韩国科学技术院）
为了减轻手动调整深度神经网络的超参数的痛苦，已经开发了自动机器学习（AutoML）方法来在大的组合搜索空间中搜索超参数的最优集合。然而，AutoML方法的搜索结果很大程度上依赖于初始配置，这使得找到合适的配置成为一项不平凡的任务。因此，通过视觉分析方法进行人为干预在这项任务中具有巨大的潜力。作为回应，我们提出了HyperTendril，一个基于Web的可视化分析系统，支持用户驱动的超参数调整过程中的模型不可知的环境。HyperTendril采用了一种新颖的方法，通过迭代的交互式调优过程有效地引导超参数优化，该过程允许用户根据自己对给定结果的见解来细化搜索空间和AutoML方法的配置。使用HyperTendril，用户可以深入了解各种超参数搜索算法的复杂行为，并诊断其配置。此外，HyperTendril支持变量重要性分析，帮助用户根据不同超参数的相对重要性及其相互作用效果的分析来细化他们的搜索空间。我们提出的评估展示了HyperTendril如何帮助用户通过基于交互日志分析和深入访谈的纵向用户研究来引导他们的调优过程，同时我们在专业的工业环境中部署我们的系统。
2020-09-18 cs.HC cs.LG
EDCA - An Evolutionary Data-Centric AutoML Framework for Efficient Pipelines
University of Coimbra（科英布拉大学）；CISUC/LASI – Centre for Informatics and Systems of the University of Coimbra（科英布拉大学信息学与系统中心（CISUC/LASI））
针对AutoML中数据质量被忽视的问题，提出进化数据中心AutoML框架EDCA，通过优化数据处理任务（如缩减、清理）结合传统模型选择与超参数调优，在AMLB分类基准上与FLAML、TPOT性能相当但数据使用更少，提升AutoML效率。
2025-04-14 cs.LG
MOSAIC: Modular Orchestration for Structured Agentic Intelligence and Composition
Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系）；University College London（伦敦大学学院）；University of Edinburgh（爱丁堡大学）；Data & Analytics, Digital X（Digital X 数据与分析部）；Alan Turing Institute（艾伦·图灵研究所）
提出MOSAIC框架，通过结构化智能体编排、记忆驱动的模型选择和蓝图构建，将自动化数据科学转化为可验证、可复用的模型选择问题，在金融时间序列任务中优于AutoML和智能体基线。
2026-08-25 cs.AI cs.LG
Evolution of Scikit-Learn Pipelines with Dynamic Structured Grammatical Evolution
University of Coimbra（科英布拉大学）；Universidade de Lisboa（里斯本大学）
机器学习（ML）模型的部署是一项困难且耗时的工作，包括一系列顺序且相关的任务，从数据预处理，设计和提取特征，到ML算法的选择及其参数化。考虑到功能的设计在许多情况下是针对具体问题的，因此需要领域专门知识，这项任务更具挑战性。为了克服这些限制，自动化机器学习（AutoML）方法寻求在很少或没有人为干预的情况下自动化管道的设计，即，自动选择必须应用于原始数据的方法序列。这些方法有可能使非专家用户能够使用ML，并为专家用户提供他们不太可能考虑的解决方案。特别是，本文描述了AutoML-DSGE -一种新的基于语法的框架，它使动态结构化语法进化（DSGE）适应Scikit-Learn分类管道的演变。实验结果包括将AutoML-DSGE与另一种基于语法的AutoML框架Resilient ClassificationPipeline Evolution（RECIPE）进行比较，并显示AutoML-DSGE生成的分类管道的平均性能始终优于RECIPE的平均性能;在10个使用的数据集中，有3个差异具有统计学意义。
2020-04-01 cs.LG cs.NE
FairAutoML: Embracing Unfairness Mitigation in AutoML
Pennsylvania State University（宾夕法尼亚州立大学）；Microsoft Research（微软研究院）
在这项工作中，我们提出了一个自动机器学习（AutoML）系统，以搜索模型，不仅具有良好的预测精度，但也公平。我们首先研究AutoML环境中不公平缓解的必要性和影响。我们建立了FairAutoML框架。该框架提供了一种新颖的设计，基于务实的抽象，这使得它方便地将现有的公平性定义，不公平缓解技术，超参数搜索方法到模型搜索和评估过程。在此框架下，我们开发了一个公平的AutoML系统的基础上现有的AutoML系统。增强系统包括资源分配策略，以动态地根据预测准确性、公平性和运行中的资源消耗来决定何时以及在哪些模型上进行不公平性减轻。广泛的实证评估表明，我们的系统可以实现良好的“公平的准确性”和高资源效率。
2022-11-24 cs.LG
Hyperparameter optimization in deep multi-target prediction
Ghent University（根特大学）；Ludwig-Maximilians-University Munich（慕尼黑路德维希-马克西米利安大学）
由于配置和微调机器学习模型的复杂性不断增加，自动化机器学习（AutoML）领域在过去十年中出现。然而，像Auto-WEKA和Auto-sklearn这样的软件实现通常专注于经典的机器学习（ML）任务，如分类和回归。我们的工作可以被视为第一次尝试为大多数属于多目标预测的问题设置提供一个单一的AutoML框架，其中包括流行的ML设置，如多标签分类，多元回归，多任务学习，二元预测，矩阵完成和零样本学习。通过使用流行的超参数优化（HPO）方法扩展DeepMTP（用于MTP问题设置的通用深度学习框架），实现了自动化问题选择和模型配置。我们在不同的数据集和MTP问题设置上进行了广泛的基准测试，确定了特定HPO方法优于其他方法的情况。
2022-11-08 cs.LG
Hyperparameter Optimization via Sequential Uniform Designs
University of Hong Kong（香港大学）
超参数优化（HPO）在自动机器学习（AutoML）中起着核心作用。这是一个具有挑战性的任务，因为超参数的响应曲面通常是未知的，因此本质上是一个全局优化问题。本文将HPO转化为计算机实验，提出了一种新的顺序均匀设计（SeqUD）策略，该策略具有以下三个优点：a）均匀分布的设计点自适应地探索超参数空间，而不需要昂贵的元建模和获取优化; b）在并行处理支持下，逐批顺序生成设计点;（3）提出了一种新的增广均匀设计算法，用于有效地实时生成后续设计点。在全局优化任务和HPO应用程序上进行了大量的实验。数值结果表明，所提出的SeqUD策略优于基准HPO方法，因此它可以成为现有AutoML工具的有前途和有竞争力的替代方案。
2021-06-17 cs.LG math.OC stat.ML
An Automated Machine Learning (AutoML) Method for Driving Distraction Detection Based on Lane-Keeping Performance
College of Transportation Engineering, Tongji University（同济大学交通运输工程学院）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Institute for Infocomm Research, Agency for Science Technology and Research (A*STAR)（新加坡科技研究局信息通信研究所）
随着智能手机的丰富，手机使用引起的驾驶分心已经成为驾驶安全的威胁。减轻驾驶分心的一个有希望的方法是检测它们并给出实时安全警告。然而，现有的检测算法面临两个主要挑战，即车载摄像头传感器导致的用户接受度低，以及由于驾驶员个体差异导致的预训练模型的准确性不确定。因此，本研究提出了一个特定领域的自动机器学习（AutoML），以自我学习的最佳模型，以检测分心的车道保持性能数据的基础上。AutoML将关键建模步骤集成到可自动优化的管道中，包括基于知识的特征提取、通过递归特征消除（RFE）进行的特征选择、算法选择以及通过贝叶斯优化进行的超参数自动调整。基于XGBoost的AutoML方法，称为AutoGBM，被构建为用于预测和特征排名的分类器。该模型是基于驾驶模拟器实验的手机使用造成的驾驶分心：浏览短消息，浏览长消息，并接听电话。AutoGBM方法对手机相关驾驶分心的预测结果令人满意，群体水平预测准确率为80%，个体水平预测准确率为90%.此外，研究结果还表明，每种分心类型和驾驶员需要不同的优化超参数值，这再次证实了利用AutoML检测驾驶分心的必要性。目的AutoGBM不仅以更少的功能产生更好的性能，而且还提供了关于系统设计的数据驱动的见解。
2021-03-10 cs.LG
Large Language Model Agent for Hyper-Parameter Optimization
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Tsinghua University（清华大学）
提出AgentHPO，利用大型语言模型智能体自动进行超参数优化，减少试验次数，提升可解释性，在12个任务上性能媲美或超越人工。
2025-02-26 cs.AI cs.LG
Auto-PyTorch Tabular: Multi-Fidelity MetaLearning for Efficient and Robust AutoDL
University of Freiburg（弗莱堡大学）；Leibniz University Hannover（莱布尼茨汉诺威大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
虽然早期的AutoML框架专注于优化传统的ML管道及其超参数，但AutoML最近的趋势是专注于神经架构搜索。在本文中，我们介绍了Auto-PyTorch，它通过联合和鲁棒地优化网络架构和训练超参数来实现全自动深度学习（AutoDL），从而将这两个世界的最佳之处结合在一起。Auto-PyTorch通过将多保真度优化与组合构建相结合，实现了深度神经网络（DNN）的热启动和集成以及表格数据的公共基线，从而在几个表格基准测试中实现了最先进的性能。为了彻底研究我们对如何设计这样一个AutoDL系统的假设，我们还引入了一个新的DNN学习曲线基准，称为LCBench，并在典型的AutoML基准上对完整的Auto-PyTorch进行了广泛的消融研究，最终表明Auto-PyTorch的平均性能优于几个最先进的竞争对手。
2021-04-26 cs.AI cs.LG stat.ML
AutoML-GPT: Large Language Model for AutoML
National Taiwan University（台湾大学）
AutoML-GPT通过对话界面整合数据预处理、特征工程和模型选择工具，利用大型语言模型知识自动优化超参数，显著降低机器学习任务的时间与精力成本。
2023-09-03 cs.LG
Exploring the impact of fairness-aware criteria in AutoML
University of Coimbra, CISUC/LASI – Centre for Informatics and Systems of the University of Coimbra（科英布拉大学，CISUC/LASI – 科英布拉大学信息与系统中心）
本文研究了在AutoML框架中直接整合公平性对构建完整ML流水线的影响，通过引入互补公平性指标提升了公平性，尽管预测性能略有下降，但公平性显著提高，且数据使用减少。
2026-04-11 cs.AI cs.LG
Efficient AutoML Pipeline Search with Matrix and Tensor Factorization
Cornell University（康奈尔大学）
在新数据集上寻求良好的监督学习模型的数据科学家有很多选择：他们必须预处理数据，选择特征，可能降低维度，选择估计算法，并为每个管道组件选择超参数。新的管道组件带来了选择数量的组合爆炸!在这项工作中，我们设计了一个新的AutoML系统来应对这一挑战：一个自动化系统来设计一个监督学习管道。我们的系统使用矩阵和张量因式分解作为代理模型来模拟组合管道搜索空间。在这些模型下，我们开发了贪婪实验设计协议，以有效地收集有关新数据集的信息。在真实世界分类问题的大型语料库上的实验证明了该方法的有效性。
2020-06-07 cs.AI cs.LG stat.ML
AutoML for Multi-Class Anomaly Compensation of Sensor Drift
Institute for Information Processing (tnt), Leibniz University Hannover（汉诺威莱布尼茨大学信息处理研究所（tnt））；Department of Electrical and Computer Engineering, University of Southern California（南加州大学电气与计算机工程系）；Institute for Artificial Intelligence, Leibniz University Hannover（汉诺威莱布尼茨大学人工智能研究所）
本文提出AutoML-DC模型，结合数据平衡、元学习、超参数优化等AutoML技术，并引入新型漂移补偿验证范式，以解决传感器漂移导致的分类性能下降问题，显著提升多类异常补偿效果。
2025-02-26 cs.AI cs.LG
AutoML for Climate Change: A Call to Action
University of Toronto（多伦多大学）；University of Wisconsin（威斯康星大学）；IIT Bombay（印度理工学院孟买分校）；Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
气候变化给人类带来的挑战刺激了一个快速发展的人工智能研究领域，该领域专注于气候变化应用。气候变化AI（CCAI）社区致力于解决一系列具有挑战性的问题，这些问题通常涉及物理约束的ML或异构时空数据。期望使用自动化机器学习（AutoML）技术来自动找到给定数据集的高性能架构和超参数。在这项工作中，我们对三个高杠杆CCAI应用程序的流行AutoML库进行了基准测试：气候建模，风力发电预测和催化剂发现。我们发现，开箱即用的AutoML库目前未能有意义地超越人类设计的CCAI模型的性能。然而，我们也发现了一些关键的弱点，这是因为大多数AutoML技术都是为计算机视觉和NLP应用定制的。例如，虽然为图像和语言数据设计了几十个搜索空间，但没有一个是为时空数据设计的。解决这些关键弱点可以导致发现新的架构，在众多的CCAI应用程序中产生实质性的性能增益。因此，我们呼吁AutoML社区采取行动，因为在CCAI的AutoML空间中，未来的工作有许多具体的，有前途的方向。我们在https://github.com/climate-change-automl/climate-change-automl上发布了我们的代码和资源列表。
2022-10-07 cs.AI cs.LG stat.ML
Single-Path Mobile AutoML: Efficient ConvNet Design and NAS Hyperparameter Optimization
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软）；Harbin Institute of Technology（哈尔滨工业大学）
本研究提出Single-Path NAS可微架构搜索方法，通过单路径过参数化卷积网络编码架构决策，将NAS搜索成本降至3小时内，在移动端延迟约束下取得ImageNet分类SOTA结果，并实现NAS超参数自动优化。
2019-07-01 cs.CV cs.LG stat.ML
An Empirical Study on the Usage of Automated Machine Learning Tools
Polytechnique Montréal（蒙特利尔理工学院）
自动化机器学习（AutoML）工具在不同领域的普及在过去几年中有所增加。机器学习（ML）从业者使用AutoML工具来自动化和优化特征工程、模型训练和超参数优化等过程。最近的工作对从业者使用AutoML工具的经验进行了定性研究，并根据其性能和提供的特征对不同的AutoML工具进行了比较，但是，现有的工作都没有研究在实际项目中大规模使用AutoML工具的实践。因此，我们进行了一项实证研究，以了解ML从业者如何在他们的项目中使用AutoML工具。为此，我们研究了十大最常用的AutoML工具以及它们在GitHub上托管的大量开源项目存储库中的各自用途。我们的研究结果显示了1）ML从业者最常用的AutoML工具，以及2）使用这些AutoML工具的存储库的特征。此外，我们确定了使用AutoML工具的目的（例如模型参数采样，搜索空间管理，模型评估/错误分析，数据/特征转换和数据标记）以及使用AutoML工具的ML管道的阶段（例如特征工程）。最后，我们报告了AutoML工具在同一源代码文件中一起使用的频率。我们希望我们的研究结果可以帮助ML从业者了解不同的AutoML工具及其用法，以便他们能够为自己的目的选择正确的工具。此外，AutoML工具开发人员可以从我们的研究结果中受益，以深入了解他们的工具的使用情况，并改进他们的工具，以更好地满足用户的使用和需求。
2022-08-28 cs.AI cs.LG cs.SE
Towards Automated Machine Learning: Evaluation and Comparison of AutoML Approaches and Tools
Capital One（第一资本金融公司）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
近年来，机器学习（ML）的工业应用有了相当大的增长和兴趣。因此，整个行业对ML工程师的需求很高，但提高ML工程师的效率仍然是一个根本性的挑战。自动机器学习（AutoML）已经成为一种节省ML管道中重复任务的时间和精力的方法，例如数据预处理，特征工程，模型选择，超参数优化和预测结果分析。在本文中，我们调查了AutoML工具的现状，旨在自动化这些任务。我们在许多数据集上，在不同的数据段中，对这些工具进行了各种评估，以检查它们的性能，并在不同的测试用例上比较它们的优缺点。
2019-09-03 cs.LG stat.ML
Incremental Search Space Construction for Machine Learning Pipeline Synthesis
USU Software AG（USU软件公司）；University of Technology Sydney（悉尼科技大学）；University of Stuttgart（斯图加特大学）；Fraunhofer IPA（弗劳恩霍夫生产技术与自动化研究所）
自动化机器学习（AutoML）旨在自动构建机器学习（ML）流水线。许多研究已经研究了算法选择和超参数优化的有效方法。然而，ML流水线综合和优化的方法，考虑到复杂的流水线结构，包含多个预处理和分类算法的影响还没有得到彻底的研究。在本文中，我们提出了一种以数据为中心的方法，基于元特征的管道建设和超参数优化的启发，人类行为。通过结合中间数据集的元特征增量地扩展流水线搜索空间，我们能够有效地修剪流水线结构搜索空间。因此，可以构建灵活且数据集特定的ML管道。我们证明了我们的方法的有效性和竞争力的28个数据集上使用的成熟的AutoML基准相比，国家的最先进的AutoML框架。
2021-01-26 cs.LG
AutoGluon-Tabular: Robust and Accurate AutoML for Structured Data
Amazon（亚马逊公司）
我们介绍AutoGluon-Tabular，这是一个开源的AutoML框架，只需要一行Python就可以在未处理的表格数据集（如CSV文件）上训练高度准确的机器学习模型。与现有的AutoML框架主要关注模型/超参数选择不同，AutoGluon-Tabular通过集成多个模型并将其堆叠在多个层中而获得成功。实验表明，我们的多层组合的许多模型提供了更好地利用分配的训练时间比寻找最好的。第二个贡献是对公共和商业AutoML平台的广泛评估，包括TPOT，H2O，AutoWEKA，Auto-sklearn，AutoGluon和Google AutoML Tables。对来自Kaggle和OpenML AutoML Benchmark的50个分类和回归任务的测试表明，AutoGluon更快，更强大，更准确。我们发现，AutoGluon的表现甚至往往优于所有竞争对手的事后诸葛亮组合。在两个流行的Kaggle竞赛中，AutoGluon在对原始数据进行了4小时的训练后，击败了99%的参与数据科学家。
2020-03-13 cs.LG stat.ML
Mining Robust Default Configurations for Resource-constrained AutoML
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
自动机器学习（AutoML）是下一代机器学习系统大规模部署的关键推动因素。未来ML系统的一个关键需求是模型和超参数的自动选择。我们提出了一种新的方法，通过执行离线自动ML和挖掘不同的任务集，为给定的任务选择性能配置。通过挖掘训练任务，我们可以选择一个紧凑的配置组合，这些配置组合在各种各样的任务中表现良好，并学习一种策略来为尚未看到的任务选择组合配置。该算法以zero-shot方式运行，即除了所选择的模型之外，不在线训练任何模型。在计算或时间受限的设置中，这种几乎即时的选择具有很高的性能。此外，我们还证明了我们的方法对于热启动现有的autoML平台是有效的。在这两种情况下，我们通过测试超过62个分类和回归数据集来证明对最先进技术的改进。我们还演示了实用程序的建议数据相关的默认配置，优于广泛使用的手工制作的默认值。
2022-02-20 cs.LG
Trust in AutoML: Exploring Information Needs for Establishing Trust in Automated Machine Learning Systems
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）；IBM
我们在数据科学的一个相对较新的领域探索信任：自动化机器学习（AutoML）。在AutoML中，AI方法用于通过自动工程特征、选择模型和优化超参数来生成和优化机器学习模型。在本文中，我们试图了解什么样的信息会影响数据科学家对AutoML模型的信任？我们将信任操作化为部署使用自动化方法生成的模型的意愿。我们报告了三项研究的结果-定性访谈，对照实验和卡片分类任务-以了解数据科学家在AutoML系统中建立信任的信息需求。我们发现，在AutoML工具中包含透明度功能增加了用户对该工具的信任和可理解性;在所有提出的功能中，模型性能指标和可视化是数据科学家在建立对AutoML工具的信任时最重要的信息。
2020-01-17 cs.CY cs.HC cs.LG
A Robust Experimental Evaluation of Automated Multi-Label Classification Methods
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）；University of Kent（肯特大学）
自动机器学习（AutoML）已经出现，用于处理给定学习任务的算法的选择和配置。随着AutoML技术的发展，人们提出了一些有效的方法，特别是对于传统的分类和回归问题。除了AutoML的成功，还有几个问题仍然悬而未决。其中一个问题是AutoML方法缺乏处理不同类型数据的能力。基于这种情况下，本文的方法AutoML的多标签分类（MLC）问题。在MLC中，每个示例可以同时与多个类别标签相关联，这与标准分类任务不同，在标准分类任务中，一个示例仅与一个类别标签相关联。在这项工作中，我们提供了一个一般的比较五个自动多标签分类方法-两个进化的方法，贝叶斯优化方法，一个随机搜索和一个贪婪的搜索-在14个数据集和三个设计的搜索空间。总的来说，我们观察到，最突出的方法是一个基于规范的基于语法的遗传编程（GGP）搜索方法，即自动MEKA $_{GGP}$。在我们的比较中，Auto-MEKA $_{GGP}$呈现了最佳的平均结果，并且在不同的搜索空间和评估措施中统计学上优于所有其他方法，但与贪婪搜索方法相比时除外。
2020-07-31 cs.AI cs.LG cs.NE
An AutoML-based approach for Network Intrusion Detection
North Carolina A&T State University（北卡罗来纳农工州立大学）；South Carolina State University（南卡罗来纳州立大学）
本文提出一种基于MLJAR AutoML框架的堆叠集成网络入侵检测方法，在NSL-KDD数据集上取得90%准确率和89% F1分数，优于随机森林、XGBoost、CatBoost和LightGBM等单一模型。
2024-11-24 cs.LG
LLM-Driven AutoML for Cross-Lingual Handwritten OCR: Closed-Loop Neural Architecture Search with GPT-5, GPT-4o, and Claude Sonnet 4
研究针对跨语言手写OCR，提出用GPT-5等大语言模型驱动的自动化机器学习框架，能自主生成、训练等优化神经网络架构，经实验评估，该框架无需人工设计等就能发现高效准确模型，实现跨语言手写识别。
2026-08-20 cs.AI cs.CV cs.LG
AutoMMLab: Automatically Generating Deployable Models from Language Instructions for Computer Vision Tasks
SenseTime Research（商汤科技研究院）；The University of Hong Kong（香港大学）
本文提出AutoMMLab平台和LAMP基准，用于从自然语言请求端到端生成可部署计算机视觉模型，并设计基于LLM的HPO-LLaMA算法以显著提升超参数优化效率。
2024-12-26 cs.CV cs.LG
