An ADMM Based Framework for AutoML Pipeline Configuration
IBM Research AI（IBM研究院人工智能部门）
我们研究了自动配置机器学习管道的AutoML问题，通过联合选择算法及其适当的超参数，用于监督学习管道中的所有步骤。这种混合整数和连续变量的黑箱（无梯度）优化是一个具有挑战性的问题。我们提出了一种新的AutoML方案，利用交替方向乘法器（ADMM）。所提出的框架能够（i）将优化问题分解为更容易的子问题，这些子问题具有减少的变量数量并规避混合变量类别的挑战，以及（ii）将黑盒约束与黑盒优化目标相结合。我们根据经验评估的灵活性（在利用现有的AutoML技术），有效性（对开源AutoML工具包），和独特的能力（执行AutoML实际动机的黑盒约束），我们提出的计划上的二进制分类数据集的集合UCI ML和OpenML存储库。我们观察到，与其他AutoML框架（Auto-sklearn和TPOT）相比，我们的框架平均提供了显着的收益，突出了该框架的实际优势。
2019-12-06 cs.LG stat.ML
AutoEn: An AutoML method based on ensembles of predefined Machine Learning pipelines for supervised Traffic Forecasting
Aimsun SLU（Aimsun SLU公司）；DeustoTech（德乌斯托技术中心）；Faculty of Engineering, University of Deusto（德乌斯托大学工程学院）；University of Deusto（德乌斯托大学）；IKERBASQUE, Basque Foundation for Science（巴斯克科学基金会IKERBASQUE）；University of Granada（格拉纳达大学）
智能交通系统正在产生大量难以管理的交通数据，这促使机器学习（ML）用于数据驱动的应用程序，如交通预测（TF）。TF由于其通过预测未来交通状态来缓解交通拥堵的能力而获得相关性。然而，TF对ML范式提出了一个巨大的挑战，称为模型选择问题（MSP）：为在不同交通环境下收集的交通数据确定最合适的数据预处理技术和ML方法的组合。在这种情况下，自动化机器学习（AutoML），即从数据预处理到模型验证的ML工作流程的自动化，作为一种有前途的策略来处理问题领域的MSP，其中专家ML知识并不总是可用或负担得起的资产，例如TF。各种AutoML框架已被用于在TF中处理MSP。大多数基于在线优化过程，以在给定数据集上搜索性能最佳的管道。这种在线优化可以通过元学习来补充，以热启动搜索阶段和/或使用从优化过程中导出的管道来构建集合。然而，考虑到搜索空间的复杂性和所生成的调谐-评估流水线的高计算成本，在线优化仅在获得最终模型的时间较长时才是有益的。因此，我们引入了AutoEn，这是一种简单而有效的方法，用于从预定义的ML管道集自动生成多分类器集成。我们将AutoEn与Auto-WEKA和Auto-sklearn进行了比较，这是TF中常用的两种AutoML方法。实验结果表明，AutoEn可以导致更好的或更具竞争力的结果，在通用领域和TF。
2023-03-19 cs.LG
Data Pipeline Training: Integrating AutoML to Optimize the Data Flow of Machine Learning Models
University of Southern California（南加州大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究将AutoML集成到数据流水线中以优化数据流，提出构建自适应高效数据流水线的关键策略，从而加速建模并提升复杂数据领域中的机器学习效果。
2024-02-20 cs.AI cs.LG
Testing the Robustness of AutoML Systems
University of Helsinki（赫尔辛基大学）
自动化机器学习（AutoML）系统旨在找到最佳的机器学习（ML）管道，以自动匹配手头的任务和数据。我们研究了三个AutoML系统（TPOT、H2O和AutoKeras）生成的机器学习管道的鲁棒性。特别是，我们研究了脏数据对准确性的影响，并考虑如何使用脏训练数据可能有助于创建更强大的解决方案。此外，我们还分析了如何在不同的情况下生成的管道的结构不同。
2020-07-23 cs.LG stat.ML
SAGE-Loop: Reliable Closed-Loop LLM-Driven AutoML with Trial-and-Correction and Adaptive Ensembling
针对LLM驱动AutoML缺乏闭环修正与静态集成的问题，提出SAGE-Loop框架，通过多轮试错修复与自适应集成，在20个数据集上提升分类、回归和聚类任务的性能与稳定性。
2026-09-14 cs.LG
Incremental Search Space Construction for Machine Learning Pipeline Synthesis
USU Software AG（USU软件公司）；University of Technology Sydney（悉尼科技大学）；University of Stuttgart（斯图加特大学）；Fraunhofer IPA（弗劳恩霍夫生产技术与自动化研究所）
自动化机器学习（AutoML）旨在自动构建机器学习（ML）流水线。许多研究已经研究了算法选择和超参数优化的有效方法。然而，ML流水线综合和优化的方法，考虑到复杂的流水线结构，包含多个预处理和分类算法的影响还没有得到彻底的研究。在本文中，我们提出了一种以数据为中心的方法，基于元特征的管道建设和超参数优化的启发，人类行为。通过结合中间数据集的元特征增量地扩展流水线搜索空间，我们能够有效地修剪流水线结构搜索空间。因此，可以构建灵活且数据集特定的ML管道。我们证明了我们的方法的有效性和竞争力的28个数据集上使用的成熟的AutoML基准相比，国家的最先进的AutoML框架。
2021-01-26 cs.LG
AlphaD3M: Machine Learning Pipeline Synthesis
我们介绍AlphaD3M，一个自动机器学习（AutoML）系统的基础上Meta强化学习使用序列模型与自我发挥。AlphaD3M基于在机器学习管道原语上执行的编辑操作，提供可解释性。我们在OpenML数据集上将AlphaD3M与最先进的AutoML系统：Autosklearn，Autostacker和TPOT进行了比较。AlphaD3M实现了具有竞争力的性能，同时速度快了一个数量级，将计算时间从几小时减少到几分钟，并且可以通过设计来解释。
2021-11-03 cs.LG
Naive Automated Machine Learning -- A Late Baseline for AutoML
University of Torontoland（多伦多兰大学）；University of Edenborrow（伊登伯勒大学）
自动机器学习（AutoML）是在给定的数据集上自动寻找具有最佳泛化性能的流水线的问题。AutoML在过去的十年中受到了极大的关注，并且已经通过复杂的黑盒优化技术（如贝叶斯优化、基于语法的遗传算法和树搜索算法）得到了解决。与这些方法相比，我们提出了Naive AutoML，这是一种非常简单的AutoML解决方案，它利用了有关机器学习问题的重要元知识，并简化了有效的假设，以快速获得高质量的解决方案。虽然Naive AutoML可以被认为是高度复杂的黑盒求解器的基线，但我们的经验表明，这些求解器无法超越Naive AutoML;有时情况恰恰相反。另一方面，Naive AutoML具有强大的优势，如可解释性和灵活性，并对现有工具提出了强烈的挑战。
2021-03-18 cs.LG
eTOP: Early Termination of Pipelines for Faster Training of AutoML Systems
New York University（纽约大学）；Nokia Bell Labs（诺基亚贝尔实验室）
本文提出 eTOP 框架，通过在任何 AutoML 系统之上判断是否提前终止流水线执行，在 26 个基准数据集上最多将训练时间相对 MLBox 减少 40 倍。
2023-04-17 cs.IR cs.LG
AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML
KAIST（韩国科学技术院）
本文提出AutoML-Agent多智能体框架，通过检索增强规划、子任务并行执行和多阶段验证，实现从数据检索到模型部署的全流程AutoML自动化，并在多个数据集上验证其有效性。
2025-06-06 cs.AI cs.CL cs.LG
In-Context Decision Making for Optimizing Complex AutoML Pipelines
Department of Computer Science, University of Tübingen（图宾根大学计算机科学系）
本文提出PS-PFN框架，通过扩展后验采样方法解决复杂AutoML流水线选择与适应问题，实验显示其优于其他策略。
2026-04-08 cs.AI cs.LG
A knowledge-driven AutoML architecture
Vrije Universiteit Brussel（布鲁塞尔自由大学）
本文提出一种知识驱动的AutoML架构，统一处理流水线与深度特征合成，通过共享知识系统交互式指导操作与特征选择，并结合运行时部分解结果进行决策，以提升AutoML的可解释性与领域知识利用能力。
2023-11-28 cs.AI cs.LG cs.SE
Efficient AutoML Pipeline Search with Matrix and Tensor Factorization
Cornell University（康奈尔大学）
在新数据集上寻求良好的监督学习模型的数据科学家有很多选择：他们必须预处理数据，选择特征，可能降低维度，选择估计算法，并为每个管道组件选择超参数。新的管道组件带来了选择数量的组合爆炸!在这项工作中，我们设计了一个新的AutoML系统来应对这一挑战：一个自动化系统来设计一个监督学习管道。我们的系统使用矩阵和张量因式分解作为代理模型来模拟组合管道搜索空间。在这些模型下，我们开发了贪婪实验设计协议，以有效地收集有关新数据集的信息。在真实世界分类问题的大型语料库上的实验证明了该方法的有效性。
2020-06-07 cs.AI cs.LG stat.ML
Towards Green Automated Machine Learning: Status Quo and Future Directions
Paderborn University（帕德博恩大学）；Universidad de La Sabana（拉萨瓦纳大学）；University of Munich（慕尼黑大学）
针对AutoML资源消耗高的问题，提出Green AutoML范式，涵盖环境足迹量化、绿色设计与基准测试策略、透明化与激励机制，并附可持续性检查清单，推动AutoML可持续发展。
2023-06-13 cs.LG
AutoML in Heavily Constrained Applications
TU Berlin（柏林工业大学）；Leibniz Universität Hannover（汉诺威莱布尼茨大学）
本文提出CAML，利用元学习自动调整AutoML参数以适应任务，并考虑用户约束，生成高预测性能且满足约束的流水线。
2023-10-16 cs.AI cs.DB cs.LG
SubStrat: A Subset-Based Strategy for Faster AutoML
University College London（伦敦大学学院）；Bar-Ilan University（巴伊兰大学）
SubStrat提出一种基于遗传算法选取代表性数据子集来加速AutoML的策略，通过先在小子集上搜索、再在大数据集上受限优化，在Auto-Sklearn和TPOT上平均减少79%运行时间且精度损失不到2%。
2022-06-07 cs.DB cs.LG cs.NE
Evolving Executable Pipeline Programs for AutoML with Language Models
LACE是首个以代码形式构建通用表格型AutoML的框架，用语言模型演化可执行流水线，在68个OpenML分类任务上表现优异，其核心贡献是提供可直接复用的代码级搜索空间。
2026-08-18 cs.LG cs.NE
Selecting Optimal Trace Clustering Pipelines with AutoML
Londrina State University (UEL)（隆德里纳州立大学）；Università degli Studi di Milano (UNIMI)（米兰大学）；Khalifa University (KUST)（哈利法大学）
跟踪聚类已广泛用于预处理事件日志。通过对相似的行为进行分组，这些技术可以指导子日志的识别，从而生成更易于理解的模型和一致性分析。然而，很少有人关注事件日志属性和聚类质量之间的关系。在这项工作中，我们提出了一个自动机器学习（AutoML）框架，建议最合适的管道跟踪聚类给定的事件日志，其中包括编码方法，聚类算法，及其超参数。我们的实验使用了一千个事件日志，四种编码技术和三种聚类方法。结果表明，我们的框架揭示了跟踪聚类问题，可以帮助用户选择最好的管道考虑他们的情况。
2021-09-01 cs.IR cs.LG cs.SE
Robustness of AutoML on Dirty Categorical Data
MCS；Eindhoven University of Technology（埃因霍温理工大学）
本文提出了一种将分类数据转换为数值数据的管道，以提高AutoML在处理脏分类数据时的鲁棒性和预测性能。
2026-01-31 cs.AI cs.LG
Privileged Zero-Shot AutoML
MIT（麻省理工学院）；Cornell University（康奈尔大学）；Harvard University（哈佛大学）；Columbia University（哥伦比亚大学）
这项工作通过使用数据集和函数描述提高了自动机器学习（AutoML）系统的质量，同时通过使用zero-shot方法将计算时间从几分钟显著减少到几毫秒。给定一个新的数据集和一个定义良好的机器学习任务，人类首先阅读数据集的描述和要使用的算法的文档。这项工作是第一次使用这些文本描述，我们称之为AutoML的特权信息。我们使用预先训练的Transformer模型来处理特权文本，并证明使用这些信息可以提高AutoML的性能。因此，我们的方法利用了自然语言处理中无监督表示学习的进展，为AutoML提供了显着的推动。我们证明，仅使用文本描述的数据和功能实现合理的分类性能，并添加文本描述的数据元功能，提高了跨表格数据集的分类。为了实现zero-shot AutoML，我们用这些描述嵌入和数据元特征训练一个图神经网络。每个节点代表一个训练数据集，我们使用它来以zero-shot方式预测新测试数据集的最佳机器学习管道。我们的zero-shot方法可以快速预测监督学习任务和数据集的高质量管道。相比之下，大多数AutoML系统需要数十或数百个管道评估。我们表明，zero-shot AutoML将运行和预测时间从几分钟减少到几毫秒，在数据集上保持一致。通过将AutoML加速几个数量级，这项工作展示了实时AutoML。
2021-06-25 cs.CL cs.LG
Amazon SageMaker Autopilot: a white box AutoML solution at scale
Amazon Web Services（亚马逊云科技）
AutoML系统通过选择正确的处理特征的方式、选择算法和调整整个管道的超参数，为机器学习问题提供了一个黑盒解决方案。尽管这些系统在许多数据集上表现良好，但仍有不可忽略的数据集数量，每个特定系统产生的一次性解决方案将提供低于标准的性能。在本文中，我们介绍了Amazon SageMaker Autopilot：一个完全托管的系统，提供了一个自动化的ML解决方案，可以在需要时进行修改。给定表格数据集和目标列名，Autopilot识别问题类型，分析数据并生成一组完整的ML管道，包括特征预处理和ML算法，这些管道经过调整以生成候选模型的排行榜。在性能不令人满意的情况下，数据科学家能够查看和编辑拟议的ML管道，以便注入他们的专业知识和业务知识，而不必恢复到完全手动的解决方案。本文描述了Autopilot的不同组件，强调了允许可扩展性，高质量模型，可编辑ML管道，离线元学习工件消费的基础设施选择，以及与整个SageMaker套件的方便集成，允许这些经过训练的模型在生产环境中使用。
2020-12-16 cs.LG
DoctorAgents: an agentic framework to iteratively refine AutoML pipeline for small clinical temporal data
McGill University（麦吉尔大学）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；CIUSSSE-CHUS（谢布鲁克大学医学中心综合大学健康和社会服务中心）；University of Sherbrooke（谢布鲁克大学）
DoctorAgents是一种用于小型临床时序数据的智能体框架，通过LLM智能体以推理驱动方式迭代优化AutoML流水线，在多种临床任务上性能优于现有AutoML基线且可解释性更强。
2026-08-07 cs.AI cs.LG cs.MA
AutoML-GPT: Large Language Model for AutoML
National Taiwan University（台湾大学）
AutoML-GPT通过对话界面整合数据预处理、特征工程和模型选择工具，利用大型语言模型知识自动优化超参数，显著降低机器学习任务的时间与精力成本。
2023-09-03 cs.LG
Automated Machine Learning for Multi-Label Classification
Paderborn University（帕德博恩大学）；Ludwig-Maximilians-Universität München（慕尼黑大学）
本文提出面向多标签分类的 AutoML 方法，扩展流水线搜索与复杂层次结构配置，并研究其可扩展性、泛化性能及执行效率。
2024-02-28 cs.LG
Towards Robust Training in NNGPT AutoML Pipeline: A Loss-Optimizer Pairing Selection Study
Computer Vision Lab, CAIDAS & IFI, University of Würzburg, Germany（德国维尔茨堡大学计算机视觉实验室，CAIDAS & IFI）
本文系统研究了六种优化器与三种损失函数的18种组合在异构架构上的表现，发现交叉熵与Adam/AdamW组合最鲁棒，NGL损失仅在自适应优化器下有效，为NNGPT框架提供了损失-优化器选择指导。
2026-06-23 cs.LG
Evolution of Scikit-Learn Pipelines with Dynamic Structured Grammatical Evolution
University of Coimbra（科英布拉大学）；Universidade de Lisboa（里斯本大学）
机器学习（ML）模型的部署是一项困难且耗时的工作，包括一系列顺序且相关的任务，从数据预处理，设计和提取特征，到ML算法的选择及其参数化。考虑到功能的设计在许多情况下是针对具体问题的，因此需要领域专门知识，这项任务更具挑战性。为了克服这些限制，自动化机器学习（AutoML）方法寻求在很少或没有人为干预的情况下自动化管道的设计，即，自动选择必须应用于原始数据的方法序列。这些方法有可能使非专家用户能够使用ML，并为专家用户提供他们不太可能考虑的解决方案。特别是，本文描述了AutoML-DSGE -一种新的基于语法的框架，它使动态结构化语法进化（DSGE）适应Scikit-Learn分类管道的演变。实验结果包括将AutoML-DSGE与另一种基于语法的AutoML框架Resilient ClassificationPipeline Evolution（RECIPE）进行比较，并显示AutoML-DSGE生成的分类管道的平均性能始终优于RECIPE的平均性能;在10个使用的数据集中，有3个差异具有统计学意义。
2020-04-01 cs.LG cs.NE
DeepLine: AutoML Tool for Pipelines Generation using Deep Reinforcement Learning and Hierarchical Actions Filtering
Ben Gurion University of the Negev（内盖夫本古里安大学）
自动机器学习（AutoML）是一个旨在自动化机器学习（ML）活动的研究领域，目前需要人类专家。该领域最具挑战性的任务之一是自动生成端到端ML管道：将多种类型的ML算法组合到单个架构中，用于对以前看不到的数据进行端到端分析。这项任务有两个方面的挑战：第一是需要探索一个大的搜索空间的算法和流水线架构。第二个挑战是训练和评估多个管道的计算成本。在这项研究中，我们提出了DeepLine，一种基于强化学习的自动流水线生成方法。我们提出的方法利用了一个有效的表示搜索空间，并利用过去的知识，从以前分析的数据集，使问题更容易处理。此外，我们提出了一种新的分层行动算法，作为一个插件，调解环境代理的互动，在深度强化学习问题。该插件大大加快了我们模型的训练过程。对56个数据集的评估表明，DeepLine在准确性和计算成本方面都优于最先进的方法。
2019-10-31 cs.AI cs.LG stat.ML
XAutoML: A Visual Analytics Tool for Understanding and Validating Automated Machine Learning
USU Software AG（USU软件股份公司）；Karlsruhe University of Applied Sciences（卡尔斯鲁厄应用技术大学）；University of Stuttgart（斯图加特大学）；Fraunhofer IPA（弗劳恩霍夫制造工程与自动化研究所）
针对用户因缺乏透明度和解释而不信任AutoML模型的问题，提出交互式可视化分析工具XAutoML，结合XAI技术使AutoML优化过程与ML流水线透明可解释，并通过用户研究验证了其有效性。
2023-11-24 cs.AI cs.HC cs.LG
Comparison of Automated Machine Learning Tools for SMS Spam Message Filtering
Center for Artificial Intelligence Research (CAIR)（人工智能研究中心（CAIR））；University of Agder（阿格德大学）
短消息服务（SMS）是移动用户用于通信的非常流行的服务。然而，这项受欢迎的服务可能会被滥用，执行非法活动并影响安全风险。如今，存在许多自动机器学习（AutoML）工具，它们可以帮助领域专家和普通用户在很少或没有机器学习知识的情况下构建高质量的ML模型。在这项工作中，分类性能进行了比较之间的三个自动机器学习工具的短信垃圾邮件过滤。这些工具是mljar监督的AutoML，H2O AutoML和基于树的管道优化工具（TPOT）AutoML。实验结果表明，集成模型取得了最好的分类性能。使用H2O AutoML构建的Stacked Entrance模型在Log Loss（0.8370）、真阳性（1088/1116）和真阴性（281/287）指标方面实现了最佳性能。相对于TPOT AutoML，Log Loss有19.05\%的改进，相对于mljar监督的AutoML，有5.56\%的改进。使用AutoML工具实现的令人满意的过滤性能为AutoML工具提供了一个潜在的应用程序，可以自动确定最佳的ML模型，可以最好地执行SMS垃圾邮件过滤。
2021-06-28 cs.LG
AutoML to Date and Beyond: Challenges and Opportunities
Auburn University（奥本大学）
随着大数据在各个领域变得无处不在，越来越多的利益相关者渴望充分利用他们的数据，对机器学习工具的需求促使研究人员探索自动化机器学习（AutoML）的可能性。AutoML工具旨在使非机器学习专家（领域专家）能够访问机器学习，提高机器学习的效率，并加速机器学习研究。尽管自动化和效率是AutoML的主要卖点，但该过程仍然需要人工参与许多重要步骤，包括理解特定领域数据的属性，定义预测问题，创建合适的训练数据集，以及选择有前途的机器学习技术。这些步骤通常需要长时间的来回，这使得这个过程对领域专家和数据科学家来说效率低下，并使所谓的AutoML系统无法真正实现自动化。在这篇评论文章中，我们介绍了AutoML系统的一个新的分类系统，使用七层示意图来根据它们的自治级别区分这些系统。我们首先描述端到端机器学习管道的实际情况，以及到目前为止机器学习管道的哪些子任务已经自动化。我们强调了那些仍然手动完成的子任务-通常由数据科学家完成-并解释了这如何限制了领域专家对机器学习的访问。接下来，我们将为AutoML系统介绍新的基于级别的分类法，并根据提供的自动化支持的范围定义每个级别。最后，我们为未来制定了路线图，指出了进一步自动化端到端机器学习管道所需的研究，并讨论了阻碍这一雄心勃勃的目标的重要挑战。
2021-05-19 cs.AI cs.LG
AutoML: Exploration v.s. Exploitation
以自动化的方式构建机器学习（ML）管道是一项关键而复杂的任务，因为它受到可用时间预算和资源的限制。这鼓励研究界提出几种解决方案，以利用现有的时间和资源。大量的工作是建议最有前途的分类器为一个给定的数据集使用的技术，包括元学习为基础的技术。这使得autoML框架有机会花更多的时间来利用这些分类器并调整它们的超参数。在本文中，我们实证研究的假设，提高管道的性能，利用最有前途的分类器在有限的时间预算。我们还研究了增加时间预算对流水线性能的影响。autoSKLearn、TPOT和ATM的实证结果表明，利用最有前途的分类器并不比探索整个搜索空间获得更好的统计性能。同样的结论也适用于长期预算。
2019-12-29 cs.LG stat.ML
An Adaptive and Near Parameter-free Evolutionary Computation Approach Towards True Automation in AutoML
Victoria University of Wellington（惠灵顿维多利亚大学）
演化计算方法的一个共同主张是，它们可以在不需要人为干预的情况下获得良好的结果。然而，对此的一个批评是，仍然有一些超参数必须调整才能获得良好的性能。在这项工作中，我们提出了一个近“无参数”的遗传编程方法，它适应整个进化过程中的超参数值，而无需手动指定。我们将其应用于自动化机器学习领域（通过扩展TPOT），以产生可以有效地声称不受人类输入的管道，并表明结果与现有的使用手动选择的超参数值的最先进技术具有竞争力。管道从随机选择的估计器开始，并自动演变为竞争管道。这项工作朝着真正自动化的AutoML方向发展。
2020-01-28 cs.AI cs.LG cs.NE
Naive Automated Machine Learning
University of Torontoland（多伦多兰大学）；University of Edenborrow（伊登伯勒大学）；Universidad de La Sabana（拉萨瓦纳大学）；Paderborn University（帕德博恩大学）
自动机器学习（AutoML）的一个基本任务是在给定数据集上自动找到具有最佳泛化性能的管道。这个问题已经解决了复杂的黑盒优化技术，如贝叶斯优化，基于语法的遗传算法，和树搜索算法。大多数当前的方法都是由这样的假设所激励的，即孤立地优化流水线的组件可能会产生次优的结果。我们提出了Naive AutoML，这是一种可以做到这一点的方法：它单独优化了预定义管道方案的不同算法。最终返回的流水线是通过只取每个槽的最佳算法来获得的。孤立的优化导致大大减少了搜索空间，令人惊讶的是，这种方法产生可比的，有时甚至更好的性能比目前的最先进的优化。
2021-11-29 cs.LG
A Reproducible Log-Driven AutoML Framework for Interpretable Pipeline Optimization in Healthcare Risk Prediction
School of Basic Medicine, Hangzhou Normal University（杭州师范大学基础医学院）；Research Department, Hangzhou Domain Zones Technology Co.Ltd.（杭州域区技术有限公司）
本文提出了一种可重复的基于日志的自动机器学习框架，用于医疗风险预测中的可解释流水线优化，通过分析组件属性、交互和冗余性，提高了模型性能和稳定性。
2026-06-18 cs.AI cs.LG
SapientML: Synthesizing Machine Learning Pipelines by Learning from Human-Written Solutions
Fujitsu Research of America, Inc.（美国富士通研究有限公司）；Fujitsu Ltd.（富士通有限公司）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
自动机器学习（AutoML）通过基本上自动化数据科学家的工作，有望真正实现机器学习（ML）的民主化。然而，候选管道的巨大组合搜索空间意味着当前的AutoML技术生成次优管道，或者根本没有，特别是在大型复杂数据集上。在这项工作中，我们提出了一种AutoML技术SapientML，它可以从现有数据集的语料库及其人类编写的管道中学习，并有效地为新数据集上的预测任务生成高质量的管道。为了对抗AutoML的搜索空间爆炸，SapientML采用了一种新的分而治之的策略，实现为三阶段的程序合成方法，该方法基于连续较小的搜索空间。第一阶段使用机器学习模型来预测一组合理的ML组件以构成管道。在第二阶段中，然后使用从语料库和机器学习模型导出的语法约束将其细化为一小部分可行的混凝土管道。在第三阶段，动态评估这几个管道提供了最佳解决方案。我们将SapientML实例化为全自动化工具链的一部分，该工具链通过挖掘Kaggle创建一个干净的、标记的学习语料库，从中学习，并使用学习到的模型来合成新预测任务的管道。我们创建了一个包含170个数据集的1094个管道的训练语料库，并在一组41个基准数据集上评估了SapientML，其中包括来自Kaggle的10个新的大型真实世界数据集，以及3个最先进的AutoML工具和2个基线。我们的评估表明，SapientML在27个基准测试中产生了最好或相当的准确性，而第二好的工具…
2022-04-19 cs.AI cs.LG cs.SE
GAMA: a General Automated Machine learning Assistant
Eindhoven University of Technology（埃因霍温理工大学）
通用自动化机器学习助手（GAMA）是一个模块化AutoML系统，旨在使用户能够跟踪和控制AutoML算法如何搜索最佳机器学习管道，并促进AutoML研究本身。与当前的黑盒系统相比，GAMA允许用户插件插入不同的AutoML和后处理技术，记录和可视化搜索过程，并支持轻松的基准测试。它目前具有三种AutoML搜索算法，两个模型后处理步骤，并旨在允许添加更多组件。
2021-10-07 cs.LG stat.ML
Exploring the impact of fairness-aware criteria in AutoML
University of Coimbra, CISUC/LASI – Centre for Informatics and Systems of the University of Coimbra（科英布拉大学，CISUC/LASI – 科英布拉大学信息与系统中心）
本文研究了在AutoML框架中直接整合公平性对构建完整ML流水线的影响，通过引入互补公平性指标提升了公平性，尽管预测性能略有下降，但公平性显著提高，且数据使用减少。
2026-04-11 cs.AI cs.LG
Towards Automated Machine Learning: Evaluation and Comparison of AutoML Approaches and Tools
Capital One（第一资本金融公司）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
近年来，机器学习（ML）的工业应用有了相当大的增长和兴趣。因此，整个行业对ML工程师的需求很高，但提高ML工程师的效率仍然是一个根本性的挑战。自动机器学习（AutoML）已经成为一种节省ML管道中重复任务的时间和精力的方法，例如数据预处理，特征工程，模型选择，超参数优化和预测结果分析。在本文中，我们调查了AutoML工具的现状，旨在自动化这些任务。我们在许多数据集上，在不同的数据段中，对这些工具进行了各种评估，以检查它们的性能，并在不同的测试用例上比较它们的优缺点。
2019-09-03 cs.LG stat.ML
An Automated Machine Learning (AutoML) Method for Driving Distraction Detection Based on Lane-Keeping Performance
College of Transportation Engineering, Tongji University（同济大学交通运输工程学院）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Institute for Infocomm Research, Agency for Science Technology and Research (A*STAR)（新加坡科技研究局信息通信研究所）
随着智能手机的丰富，手机使用引起的驾驶分心已经成为驾驶安全的威胁。减轻驾驶分心的一个有希望的方法是检测它们并给出实时安全警告。然而，现有的检测算法面临两个主要挑战，即车载摄像头传感器导致的用户接受度低，以及由于驾驶员个体差异导致的预训练模型的准确性不确定。因此，本研究提出了一个特定领域的自动机器学习（AutoML），以自我学习的最佳模型，以检测分心的车道保持性能数据的基础上。AutoML将关键建模步骤集成到可自动优化的管道中，包括基于知识的特征提取、通过递归特征消除（RFE）进行的特征选择、算法选择以及通过贝叶斯优化进行的超参数自动调整。基于XGBoost的AutoML方法，称为AutoGBM，被构建为用于预测和特征排名的分类器。该模型是基于驾驶模拟器实验的手机使用造成的驾驶分心：浏览短消息，浏览长消息，并接听电话。AutoGBM方法对手机相关驾驶分心的预测结果令人满意，群体水平预测准确率为80%，个体水平预测准确率为90%.此外，研究结果还表明，每种分心类型和驾驶员需要不同的优化超参数值，这再次证实了利用AutoML检测驾驶分心的必要性。目的AutoGBM不仅以更少的功能产生更好的性能，而且还提供了关于系统设计的数据驱动的见解。
2021-03-10 cs.LG
Integrating Hyperparameter Search into Model-Free AutoML with Context-Free Grammars
MercadoLibre Inc.（美客多公司）
针对现有无模型AutoML方法GramML仅搜索流水线结构、使用默认超参数的局限，提出集成超参数搜索的扩展方案，经OpenML基准测试，性能较前沿技术有显著提升。
2024-04-13 cs.AI cs.LG
Auto-Sklearn 2.0: Hands-free AutoML via Meta-Learning
Albert-Ludwigs-Universität Freiburg（阿尔伯特-路德维希-弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Leibniz University Hannover（汉诺威莱布尼茨大学）
自动化机器学习（AutoML）支持从业者和研究人员完成设计机器学习管道的繁琐任务，最近取得了巨大的成功。在本文中，我们介绍了新的AutoML方法，这些方法是由我们在第二届ChaLearn AutoML挑战赛中获胜的作品所激发的。我们开发了PoSH Auto-sklearn，通过使用一种新的、简单的、无元特征的元学习技术，并采用一种成功的预算分配策略，使AutoML系统能够在严格的时间限制下在大型数据集上很好地工作。然而，PoSH Auto-sklearn引入了更多运行AutoML的方法，可能会使用户更难正确设置。因此，我们还进一步研究了AutoML本身的设计空间，提出了一个真正免提AutoML的解决方案。这些变化共同催生了下一代AutoML系统Auto-sklearn 2.0。我们在39个AutoML基准数据集上进行了广泛的实验研究，验证了这些改进。我们通过与其他流行的AutoML框架和Auto-sklearn 1.0进行比较来总结本文，将相对误差降低了4.5倍，并且在10分钟内产生的性能远远优于Auto-sklearn 1.0在一小时内实现的性能。
2022-10-04 cs.LG stat.ML
On Taking Advantage of Opportunistic Meta-knowledge to Reduce Configuration Spaces for Automated Machine Learning
University of Technology Sydney（悉尼科技大学）
自动化机器学习（AutoML）过程不仅需要搜索机器学习（ML）组件及其超参数的复杂配置空间，还需要搜索将它们组合在一起的方式，即形成ML管道。如果该流水线配置空间过大，则对于固定时间预算可达到的优化效率和模型精度受到影响。一个关键的研究问题是，通过利用各种机器学习任务（即元知识）的历史性能，先发制人地避免对性能差的机器学习管道进行昂贵的评估是否可行。以前的经验以分类器/回归器准确性排名的形式出现，这些排名来自（1）在历史AutoML运行期间进行的大量但非穷举数量的管道评估，即“机会主义”元知识，或（2）具有默认超参数的分类器/回归器的全面交叉验证评估，即“系统性”元知识。使用AutoWeka 4 MCPS包进行的大量实验表明：（1）机会主义/系统化元知识可以改善ML结果，通常与元知识的相关性一致;（2）配置空间剔除在既不太保守也不太激进的情况下是最佳的。然而，元知识的效用和影响主要取决于其生成和利用的许多方面，需要进行广泛的分析;这些在AutoML和元学习文献中经常被忽视/低估。特别是，我们观察到对数据集的“挑战”具有很强的敏感性，即选择预测因子的特异性是否会导致显着更好的性能。最后，确定“困难”的数据集，因此定义，是至关重要的，既产生信息元知识库和理解最佳的搜索空间减少战略。
2022-08-08 cs.LG
DeepCAVE: An Interactive Analysis Tool for Automated Machine Learning
Leibniz University Hannover（汉诺威莱布尼茨大学）；University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
自动化机器学习（AutoML）比以往任何时候都更常用于支持用户确定有效的超参数、神经架构甚至完整的机器学习管道。然而，由于缺乏透明度，用户往往不信任优化过程及其结果，使得手动调优仍然很普遍。我们介绍DeepCAVE，这是一个交互式框架，可以轻松地分析和监控AutoML的最新优化过程。DeepCAVE旨在实现完全和可访问的透明度，在用户和AutoML之间建立了一座桥梁，并有助于建立信任。我们的框架的模块化和易于扩展的性质为用户提供自动生成的文本，表格和图形可视化。我们在异常值检测的示例用例中展示了DeepCAVE的价值，在该用例中，我们的框架可以轻松识别问题，比较多次运行并解释优化过程。该软件包可在GitHub https://github.com/automl/DeepCAVE上免费获得。
2022-07-11 cs.LG
Identifying and Harnessing the Building Blocks of Machine Learning Pipelines for Sensible Initialization of a Data Science Automation Tool
Institute for Biomedical Informatics, University of Pennsylvania（宾夕法尼亚大学生物医学信息学研究所）
随着数据科学越来越受欢迎，越来越需要使数据科学工具更具可扩展性，灵活性和可访问性。特别地，自动化机器学习（AutoML）系统寻求使设计和优化机器学习流水线的过程自动化。在本章中，我们提出了一个基于遗传编程的AutoML系统，称为TPOT，它优化了一系列特征预处理器和机器学习模型，目标是在监督分类问题上最大限度地提高分类精度。此外，我们分析了以前用于解决各种监督分类问题的管道的大型数据库，并确定了100个最频繁出现的机器学习操作的短系列，我们称之为机器学习管道的构建块。我们利用这些构建块来初始化TPOT有前途的解决方案，并发现这种明智的初始化方法显着提高TPOT的性能在一个基准测试，而没有显着降低性能的成本。因此，使用机器学习管道构建块进行合理的初始化为基于GP的AutoML系统带来了希望，并且应该在未来的工作中进一步完善。
2016-07-29 cs.AI cs.LG cs.NE
Automatic Machine Learning by Pipeline Synthesis using Model-Based Reinforcement Learning and a Grammar
New York University（纽约大学）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
自动机器学习是机器学习研究的前沿课题。最强大的AutoML系统基于神经网络、进化算法和贝叶斯优化。最近，AlphaD3M使用带有自我游戏的强化学习实现了数量级加速，达到了最先进的结果。在这项工作中，我们通过使用流水线语法和预训练模型来扩展AlphaD3M，该模型从许多不同的数据集和类似的任务中概括出来。我们的研究结果表明，与我们早期的工作和AutoML基准数据集上的现有方法相比，分类和回归任务的性能有所提高。本着可重复研究的精神，我们将我们的数据、模型和代码公开提供。
2019-05-24 cs.LG stat.ML
Man versus Machine: AutoML and Human Experts' Role in Phishing Detection
University of New South Wales（新南威尔士大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；Cyber Security Cooperative Research Centre（网络安全合作研究中心）
机器学习（ML）在过去几年中发展迅速，并已成功用于广泛的任务，包括网络钓鱼检测。然而，构建一个有效的基于ML的检测系统并不是一项简单的任务，需要具备相关领域知识的数据科学家。近年来，自动化机器学习（AutoML）框架受到了广泛关注，使非ML专家能够构建机器学习模型。这带来了一个有趣的问题，即AutoML是否可以超越人类数据科学家所取得的成果。我们的论文比较了六种著名的、最先进的AutoML框架在十个不同的网络钓鱼数据集上的性能，以了解基于AutoML的模型是否可以优于手动构建的机器学习模型。我们的研究结果表明，基于AutoML的模型能够在复杂的分类任务中优于手动开发的机器学习模型，特别是在特征不太具有区分性的数据集，以及具有重叠类或相对高度非线性的数据集。在使用AutoML框架构建真实世界的网络钓鱼检测系统方面也存在挑战，因为目前仅支持监督分类问题，导致需要标记数据，并且无法增量更新基于AutoML的模型。这表明，在网络钓鱼和网络安全领域拥有知识的专家在网络钓鱼检测管道的循环中仍然是必不可少的。
2021-08-27 cs.CR cs.LG
AutoMLBench: A Comprehensive Experimental Evaluation of Automated Machine Learning Frameworks
University of Tartu（塔尔图大学）；Institute of Computer Science（计算机科学研究所）
本文在100个数据集上系统评估并比较了AutoWeka、AutoSKlearn、TPOT、Recipe、ATM和SmartML六种AutoML框架的性能，揭示了时间预算、搜索空间、元学习与集成构建等设计决策对性能的影响。
2023-04-12 cs.AI cs.LG
AutoCluster, AutoTopicModeling, AutoTrendAnalysis: A Complete AutoML Pipeline for Predicting Emerging Trends
German University in Cairo（开罗德国大学）
本文提出基于AutoML的趋势预测框架，通过自动聚类、主题建模和时间序列预测，从含时间属性的文本数据中提取见解，提高趋势预测准确性，减少人工，为实时应用等提供可扩展且用户友好的方案，最佳试验RMSE达7.099。
2026-07-28 cs.AI cs.DL cs.LG
STREAMLINE: A Simple, Transparent, End-To-End Automated Machine Learning Pipeline Facilitating Data Analysis and Algorithm Comparison
Cedars Sinai Medical Center（西达赛奈医学中心）；University of Pennsylvania（宾夕法尼亚大学）
机器学习（ML）提供了强大的方法，用于检测和建模具有大特征空间和复杂关联的数据中的关联。已经开发了许多有用的工具/包（例如scikit-learn），以使数据处理，处理，建模和解释的各种元素都可以访问。然而，对于大多数调查人员来说，将这些元素组装成一个严格的，可复制的，无偏见的和有效的数据分析管道并不是微不足道的。自动化机器学习（AutoML）试图通过简化所有ML分析过程来解决这些问题。在这里，我们介绍了STREAMLINE，一个简单、透明、端到端的AutoML管道，它被设计为一个框架，可以轻松地进行严格的ML建模和分析（最初仅限于二进制分类）。STREAMLINE专门设计用于比较数据集、ML算法和其他AutoML工具之间的性能。它在其他autoML工具中是独一无二的，使用精心设计的一系列管道元素提供完全透明和一致的比较基线，包括：（1）探索性分析，（2）基本数据清理，（3）交叉验证划分，（4）数据缩放和插补，（5）基于过滤器的特征重要性估计，（6）集体特征选择，（7）在15种既定算法中使用“Optuna”超参数优化进行ML建模（包括不太知名的遗传编程和基于规则的ML），（8）跨16个分类度量的评估，（9）模型特征重要性估计，（10）统计显著性比较，以及（11）自动导出所有结果，图，PDF摘要报告，以及可轻松应用于复制数据的模型。
2022-06-23 cs.DC cs.DS cs.LG
Improvement of Computational Performance of Evolutionary AutoML in a Heterogeneous Environment
ITMO University（圣彼得堡国立信息技术机械与光学大学）
资源密集型计算是限制自动化机器学习解决方案有效性的主要因素。在本文中，我们提出了一种模块化的方法，可用于提高质量的进化优化建模管道与基于图形的结构。它包括几个阶段-并行化，缓存和评估。在评估阶段可以涉及异构和远程资源。实验结果验证了该方法的正确性和有效性。所实现的算法可作为开源框架FEDOT的一部分。
2023-01-12 cs.LG cs.NE cs.PF
AutoM3L: An Automated Multimodal Machine Learning Framework with Large Language Models
Dataa Robotics（达闼机器人）；Meituan Inc.（美团公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出AutoM3L框架，利用大语言模型作为控制器自动构建多模态机器学习训练流程，在多个多模态与单模态任务上取得优于传统规则式AutoML的性能，并提升了用户友好性。
2024-08-01 cs.LG
Adaptation Strategies for Automated Machine Learning on Evolving Data
Eindhoven University of Technology（埃因霍温理工大学）
自动机器学习（AutoML）系统已被证明可以有效地为新数据集构建良好的模型。然而，当数据随着时间的推移而变化时，他们的适应能力如何往往并不清楚。本研究的主要目标是了解数据流挑战（如概念漂移）对AutoML方法性能的影响，以及可以采用哪些自适应策略使其更加健壮。为此，我们提出了6种概念漂移适应策略，并评估了它们在不同AutoML方法上的有效性。我们为各种AutoML方法构建机器学习管道，包括那些利用贝叶斯优化，遗传编程和随机搜索自动堆叠。这些经验评估现实世界和合成数据流与不同类型的概念漂移。基于这种分析，我们提出了开发更复杂和更强大的AutoML技术的方法。
2022-05-10 cs.LG stat.ML
Integration Of Evolutionary Automated Machine Learning With Structural Sensitivity Analysis For Composite Pipelines
ITMO University（圣彼得堡国立信息技术、机械学与光学研究大学）；Huawei Technologies Co Ltd（华为技术有限公司）
提出EVOSA方法，结合敏感性分析与进化AutoML，优化灵活管道结构，提高鲁棒性和可解释性，并在多领域任务中验证有效性。
2023-12-22 cs.LG cs.NE
Robusta: Robust AutoML for Feature Selection via Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
已经提出了几种AutoML方法来自动化机器学习（ML）过程，例如搜索ML模型架构和超参数。然而，这些AutoML流水线只关注提高良性样本的学习精度，而忽略了ML模型在对抗攻击下的鲁棒性。随着ML系统越来越多地用于各种关键任务应用程序，提高ML系统的鲁棒性变得至关重要。在本文中，我们提出了第一个强大的AutoML框架Robusta-基于强化学习（RL）-执行特征选择，旨在选择导致准确和强大的ML系统的特征。我们表明，0-1鲁棒损失的变化可以直接优化通过基于RL的组合搜索的特征选择的情况下。此外，我们采用的特征评分指标，这是互信息分数，基于树的分类器的特征重要性分数，F分数，和综合梯度（IG）分数，以及它们的组合的基础上，加速搜索过程。我们进行了广泛的实验，并表明，该框架是能够提高模型的鲁棒性高达22%，同时保持竞争力的准确性良性样本相比，其他特征选择方法。
2021-01-15 cs.AI cs.LG
