AutoML-GPT: Large Language Model for AutoML
National Taiwan University(台湾大学)
AutoML-GPT通过对话界面整合数据预处理、特征工程和模型选择工具,利用大型语言模型知识自动优化超参数,显著降低机器学习任务的时间与精力成本。
2023-09-03 cs.LG
Evolving Executable Pipeline Programs for AutoML with Language Models
LACE是首个以代码形式构建通用表格型AutoML的框架,用语言模型演化可执行流水线,在68个OpenML分类任务上表现优异,其核心贡献是提供可直接复用的代码级搜索空间。
2026-08-18 cs.LG cs.NE
Online AutoML: An adaptive AutoML framework for online learning
Eindhoven University of Technology(埃因霍温理工大学)
自动机器学习(AutoML)已成功地用于学习任务被假定为静态的设置中。然而,在许多现实世界的场景中,数据分布将随着时间的推移而发展,AutoML技术是否可以在动态环境中有效地设计在线管道还有待证明。本研究的目的是自动化管道设计的在线学习,同时不断适应数据漂移。为此,我们设计了一个自适应的在线自动机器学习(OAML)系统,搜索在线学习器的完整管道配置空间,包括预处理算法和集成技术。该系统结合了在线学习者的固有适应能力和AutoML的快速自动管道(重新)优化能力。重点优化技术,可以适应不断变化的目标,我们评估异步遗传编程和异步连续减半,以不断优化这些管道。我们实验真实和人工数据流与不同类型的概念漂移,以测试所提出的系统的性能和适应能力。结果证实了OAML在流行的在线学习算法上的实用性,并强调了在存在数据漂移的情况下连续管道重新设计的好处。
2022-12-07 cs.AI cs.LG
AutoEn: An AutoML method based on ensembles of predefined Machine Learning pipelines for supervised Traffic Forecasting
Aimsun SLU(Aimsun SLU公司);DeustoTech(德乌斯托技术中心);Faculty of Engineering, University of Deusto(德乌斯托大学工程学院);University of Deusto(德乌斯托大学);IKERBASQUE, Basque Foundation for Science(巴斯克科学基金会IKERBASQUE);University of Granada(格拉纳达大学)
智能交通系统正在产生大量难以管理的交通数据,这促使机器学习(ML)用于数据驱动的应用程序,如交通预测(TF)。TF由于其通过预测未来交通状态来缓解交通拥堵的能力而获得相关性。然而,TF对ML范式提出了一个巨大的挑战,称为模型选择问题(MSP):为在不同交通环境下收集的交通数据确定最合适的数据预处理技术和ML方法的组合。在这种情况下,自动化机器学习(AutoML),即从数据预处理到模型验证的ML工作流程的自动化,作为一种有前途的策略来处理问题领域的MSP,其中专家ML知识并不总是可用或负担得起的资产,例如TF。各种AutoML框架已被用于在TF中处理MSP。大多数基于在线优化过程,以在给定数据集上搜索性能最佳的管道。这种在线优化可以通过元学习来补充,以热启动搜索阶段和/或使用从优化过程中导出的管道来构建集合。然而,考虑到搜索空间的复杂性和所生成的调谐-评估流水线的高计算成本,在线优化仅在获得最终模型的时间较长时才是有益的。因此,我们引入了AutoEn,这是一种简单而有效的方法,用于从预定义的ML管道集自动生成多分类器集成。我们将AutoEn与Auto-WEKA和Auto-sklearn进行了比较,这是TF中常用的两种AutoML方法。实验结果表明,AutoEn可以导致更好的或更具竞争力的结果,在通用领域和TF。
2023-03-19 cs.LG
Automated Machine Learning in Insurance
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种专为保险应用定制的AutoML工作流,通过平衡步骤、集成管道和自定义损失函数解决保险数据集不平衡等独特挑战,使用户无需领域知识即可轻松部署ML模型。
2024-08-26 cs.LG
Automatic Componentwise Boosting: An Interpretable AutoML System
LMU Munich(慕尼黑大学)
在实践中,机器学习(ML)工作流程需要各种不同的步骤,从数据预处理、缺失值填补、模型选择到模型调整以及模型评估。其中许多步骤依赖于人类ML专家。AutoML --自动化这些ML管道的领域--试图帮助从业者在没有任何专业知识的情况下应用ML。大多数现代AutoML系统,如auto-sklearn、H20-AutoML或TPOT,都以高预测性能为目标,从而生成几乎完全由黑盒模型组成的集合。这反过来又使外行的解释更加复杂,并为用户增加了另一层不透明性。我们提出了一个AutoML系统,该系统构建了一个可解释的添加剂模型,可以使用高度可扩展的组件提升算法来拟合。我们的系统提供了易于模型解释的工具,例如可视化部分效应和成对相互作用,允许直接计算特征重要性,并深入了解所需的模型复杂性以适应给定的任务。我们介绍的一般框架,并概述其实现autocompboost。为了证明框架的有效性,我们将autocompboost与基于OpenML AutoML基准的其他现有系统进行了比较。尽管其限制到一个可解释的模型空间,我们的系统在大多数数据集的预测性能方面具有竞争力,同时更加用户友好和透明。
2021-10-16 cs.LG stat.ML
AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML
KAIST(韩国科学技术院)
本文提出AutoML-Agent多智能体框架,通过检索增强规划、子任务并行执行和多阶段验证,实现从数据检索到模型部署的全流程AutoML自动化,并在多个数据集上验证其有效性。
2025-06-06 cs.AI cs.CL cs.LG
forester: A Tree-Based AutoML Tool in R
Faculty of Mathematics and Information Science(数学与信息科学学院);Warsaw University of Technology(华沙理工大学)
针对 R 语言 AutoML 工具稀缺且门槛较高的问题,本文提出开源 R 包 forester,支持表格数据上基于树模型的自动预处理、训练、调优、评估与报告。
2024-09-07 cs.LG cs.MS stat.ME
Autostacker: A Compositional Evolutionary Learning System
Columbia University(哥伦比亚大学);University of Chicago(芝加哥大学)
我们介绍了一个自动机器学习(AutoML)建模架构称为Autostacker,它结合了创新的分层堆叠架构和进化算法(EA)进行有效的参数搜索。既不需要关于数据的先验领域知识,也不需要特征预处理。使用EA,Autostacker快速发展候选管道,具有高预测精度。这些管道可以按原样使用,也可以作为人类专家构建的起点。Autostacker发现机器学习模型的创新组合和结构,而不是选择单个模型并优化其超参数。与其他15个数据集上的AutoML系统相比,Autostacker在测试精度和时间成本方面都达到了最先进或具有竞争力的性能。
2018-03-02 cs.LG cs.NE stat.ML
Study on the effectiveness of AutoML in detecting cardiovascular disease
The Plekhanov Russian University of Economics(普列汉诺夫俄罗斯经济大学)
本文提出AutoML应用框架与三种预处理场景,基于UCI五个心血管数据集评估13种基础模型及加权集成,发现归一化方式显著影响性能,最高准确率达92.3%。
2023-08-19 cs.LG
Democratize with Care: The need for fairness specific features in user-interface based open source AutoML tools
University of Bordeaux(波尔多大学)
该研究针对四款基于用户界面的开源AutoML工具开展实验,发现其支持公平意识模型开发的功能存在不足,提出需确立这类工具促进公平性的核心功能,以审慎推进AI技术民主化。
2023-12-16 cs.CY cs.HC cs.LG
Evolving machine learning workflows through interactive AutoML
University of Córdoba(科尔多瓦大学);Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)(安达卢西亚数据科学与计算智能研究所);University of Málaga(马拉加大学)
本文提出交互式 G3P 算法 \ourmethod,让用户动态修改 AutoML 工作流搜索语法;20 人实验表明,人机协作可获得更高准确率且调优更省时的工作流。
2024-02-28 cs.LG
Incremental Search Space Construction for Machine Learning Pipeline Synthesis
USU Software AG(USU软件公司);University of Technology Sydney(悉尼科技大学);University of Stuttgart(斯图加特大学);Fraunhofer IPA(弗劳恩霍夫生产技术与自动化研究所)
自动化机器学习(AutoML)旨在自动构建机器学习(ML)流水线。许多研究已经研究了算法选择和超参数优化的有效方法。然而,ML流水线综合和优化的方法,考虑到复杂的流水线结构,包含多个预处理和分类算法的影响还没有得到彻底的研究。在本文中,我们提出了一种以数据为中心的方法,基于元特征的管道建设和超参数优化的启发,人类行为。通过结合中间数据集的元特征增量地扩展流水线搜索空间,我们能够有效地修剪流水线结构搜索空间。因此,可以构建灵活且数据集特定的ML管道。我们证明了我们的方法的有效性和竞争力的28个数据集上使用的成熟的AutoML基准相比,国家的最先进的AutoML框架。
2021-01-26 cs.LG
NNGPT: Rethinking AutoML with Large Language Models
Computer Vision Lab, CAIDAS & IFI, University of Würzburg, Germany(计算机视觉实验室,CAIDAS与IFI,乌尔姆大学,德国)
提出NNGPT开源框架,利用大型语言模型实现自我改进的AutoML引擎,通过生成-评估-自我改进闭环自动设计神经网络架构和超参数。
2025-11-25 cs.AI cs.LG cs.NE
Towards Personalized Preprocessing Pipeline Search
Texas A&M University(得克萨斯农工大学);Rice University(莱斯大学)
特征预处理将原始输入特征转换为数值表示,是自动机器学习(AutoML)系统中的关键步骤。然而,现有的系统通常具有非常小的搜索空间用于特征预处理,其中相同的预处理流水线应用于所有数值特征。这可能导致次优性能,因为不同的数据集通常具有各种特征特性,并且数据集中的特征也可能具有它们自己的预处理偏好。为了弥合这一差距,我们探索个性化的预处理管道搜索,其中搜索算法允许为每个特征采用不同的预处理管道。这是一项具有挑战性的任务,因为搜索空间随着更多特征呈指数级增长。为了应对这一挑战,我们提出了一个新的框架,通过聚类进行个性化预处理管道搜索。其关键思想是学习特征聚类,以便通过对聚类内的特征使用相同的预处理管道来显著减少搜索空间。为此,我们提出了一个分层的搜索策略,共同学习集群和搜索最佳管道,其中上层搜索优化的功能聚类,使更好的管道建立在集群上,和较低级别的搜索优化管道给定一个特定的集群分配。我们用一个深度聚类网络来实例化这个想法,这个网络在上层用强化学习训练,在下层用随机搜索训练。在基准分类数据集上的实验证明了特征预处理管道搜索的有效性。
2023-02-28 cs.LG
Dependency-Based Neural Representations for Classifying Lines of Programs
MIT(麻省理工学院);EPFL(洛桑联邦理工学院)
我们调查的问题,一行程序包含漏洞或不使用机器学习分类。这样一个行级分类任务要求一个程序表示,它超越了从行中存在的标记进行推理。我们寻求一个分布式表示在潜在的特征空间,它可以捕获的控制和数据依赖性的令牌上出现的一行程序,同时也确保行的类似意义具有类似的功能。我们提出了一个神经架构,火神,成功地证明了这两个要求。它提取关于一行中令牌的上下文信息,并将它们作为抽象树(AST)路径输入到具有注意力机制的双向LSTM。它通过递归地嵌入最近定义的行来并发地表示行中标记的含义。在我们的实验中,Vulcan与最先进的分类器相比毫不逊色,后者需要对程序进行大量的预处理,这表明使用深度学习来建模程序依赖信息的实用性。
2020-04-08 cs.LG cs.SE
Multi-Objective Automatic Machine Learning with AutoxgboostMC
LMU Munich(慕尼黑大学)
AutoML系统目前越来越受欢迎,因为它们可以在没有人类监督的情况下构建强大的模型。他们经常结合机器学习的许多不同子领域的技术,以找到一个模型或一组模型,优化用户提供的标准,如预测性能。这些系统的最终目标是减少花在卑微任务上的时间,或者可以通过算法更好地解决的任务,同时将需要人类智能的决策留给最终用户。近年来,公平性和可解释性等其他标准的重要性越来越明显。当前的AutoML框架要么不允许优化这样的次要标准,要么只通过限制系统对模型和预处理步骤的选择来优化。我们建议优化用户直接定义的附加标准,以引导搜索到最佳的机器学习管道。为了证明我们的方法的必要性和实用性,我们提供了一个简单的多标准AutoML系统,并展示了一个示例性的应用程序。
2021-04-30 cs.LG stat.ML
Benchmark of Data Preprocessing Methods for Imbalanced Classification
Cisco Systems, Inc.(思科系统公司);Czech Technical University in Prague(布拉格捷克理工大学);Charles University(查理大学)
严重的类不平衡是使网络安全中的机器学习困难的主要条件之一。多年来,已经引入了各种数据集预处理方法。这些方法通过过采样、欠采样或两者的组合来修改训练数据集,以提高在该数据集上训练的分类器的预测性能。虽然这些方法偶尔会用于网络安全,但缺少一个全面,公正的基准来比较它们在各种网络安全问题上的性能。本文提出了一个基准的16个预处理方法在6个网络安全数据集以及17个公共不平衡数据集从其他领域。我们在多个超参数配置下测试这些方法,并使用AutoML系统在预处理数据集上训练分类器,这减少了特定超参数或分类器选择的潜在偏差。还特别考虑使用适当的性能指标来评估方法,这些指标是现实世界网络安全系统中实际性能的良好代理。本研究的主要发现是:1)大多数情况下,存在一种提高分类性能的数据预处理方法。2)什么都不做的基线方法优于基准测试中的大部分方法。3)过采样方法通常优于欠采样方法。4)最显着的性能增益所带来的标准SMOTE算法和更复杂的方法提供主要是增量的改进,在成本往往较差的计算性能。
2023-03-06 cs.LG
Preparation Meets Opportunity: Enhancing Data Preprocessing for ML Training With Seneca
Syracuse University(苏塞克斯大学);Samsung Semiconductor(三星半导体);Florida International University(佛罗里达国际大学)
针对并发多媒体ML训练中数据预处理的瓶颈问题,本文提出数据加载系统Seneca,通过优化缓存分区与采样策略,有效缩短训练时长、提升数据处理吞吐量。
2025-09-24 cs.AI cs.LG cs.OS
DiffPrep: Differentiable Data Preprocessing Pipeline Search for Learning over Tabular Data
Georgia Institute of Technology(佐治亚理工学院)
针对现有AutoML框架预处理流水线搜索空间受限、需多次训练模型效率低的问题,提出DiffPrep方法,将离散不可微的搜索空间松弛为连续可微空间,仅需一次训练即可用梯度下降搜索最优预处理流水线,在18个真实表格数据集的15个上取得最优准确率,最高提升6.6个百分点。
2023-08-20 cs.DB cs.LG
AutoCluster, AutoTopicModeling, AutoTrendAnalysis: A Complete AutoML Pipeline for Predicting Emerging Trends
German University in Cairo(开罗德国大学)
本文提出基于AutoML的趋势预测框架,通过自动聚类、主题建模和时间序列预测,从含时间属性的文本数据中提取见解,提高趋势预测准确性,减少人工,为实时应用等提供可扩展且用户友好的方案,最佳试验RMSE达7.099。
2026-07-28 cs.AI cs.DL cs.LG
Forecasting Technological Directions in Wireless Networks and Mobile Computing via AutoML Framework
提出一种集成聚类、主题建模和时间序列分析的自动化管道,用于预测无线网络与移动计算领域的研究趋势,通过元学习选择聚类算法和逐次减半策略优化主题模型,结合ARIMA等模型预测主题热度,实验RMSE为36.76。
2026-06-29 cs.DL cs.LG
CleanSurvival: Automated data preprocessing for time-to-event models using reinforcement learning
German University in Cairo(埃及德国亚历山大大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));University of Saarland(萨尔大学);University of Kaiserslautern–Landau (RPTU)(凯撒斯劳滕-兰道大学(RPTU))
提出基于强化学习的CleanSurvival框架,自动优化生存分析的数据预处理流程,提升Cox、随机森林、神经网络等时间事件模型的预测性能。
2026-07-27 cs.LG
Hardware Aware Ensemble Selection for Balancing Predictive Accuracy and Cost
Helmholtz-Zentrum Berlin(柏林亥姆霍兹中心);Humboldt University Berlin(柏林洪堡大学);University of Freiburg(弗莱堡大学)
针对表格 AutoML 事后集成推理成本高的问题,本文提出硬件感知集成选择方法,在质量多样性优化中同时评估精度与推理效率,并在 83 个分类数据集上验证其可保持竞争力并提升运行效率。
2024-08-05 cs.AI cs.LG
Multi-Objective Evolutionary Design of Composite Data-Driven Models
Natural Systems Simulation Lab ITMO University(ITMO大学自然系统模拟实验室)
本文提出了一种多目标设计复合数据驱动数学模型的方法。它允许自动识别基于图形的异构管道,包括不同的块:机器学习模型,数据预处理块等实施的方法是基于无参数的遗传算法(GA)的模型设计称为GPComp@Free。它被开发成自动化机器学习解决方案的一部分,并提高建模管道自动化的效率。一组实验进行了验证所提出的方法的正确性和效率,并证实了所选择的解决方案。实验结果证实,一个多目标的模型设计方法可以实现更好的多样性和质量的模型。实现的方法可作为开源AutoML框架FEDOT的一部分。
2021-05-17 cs.AI cs.LG cs.NE
Automatic Causal Fairness Analysis with LLM-Generated Reporting
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA), USI-SUPSI(日内瓦人工智能研究所(IDSIA)、USI-SUPSI)
提出FairMind原型,利用标准公平模型进行因果公平分析,通过反事实查询计算因果效应,并借助LLM零样本生成公平性报告,优于直接LLM分析。
2026-06-05 cs.AI cs.LG
DataAssist: A Machine Learning Approach to Data Cleaning and Preparation
University of Toronto(多伦多大学);Nanyang Technological University(南洋理工大学)
针对自动化ML偏重模型而忽视数据清洗准备的问题,本文提出DataAssist平台,用机器学习方法提供可视化、标注、异常处理和预处理流水线,并可与autoML工具集成,节省逾50%相关时间。
2023-07-17 cs.AI cs.DB cs.LG
Two-stage Optimization for Machine Learning Workflow
IBM(国际商业机器公司);Poznań University of Technology(波兹南理工大学)
机器学习技术在处理大量数据方面发挥着优势作用,几乎在每个可能的领域都有应用。构建一个高质量的机器学习模型以部署在生产中是一项具有挑战性的任务,无论是主题专家还是机器学习从业者。为了更广泛地采用和扩展机器学习系统,机器学习工作流的构造和配置需要自动化。在过去的几年里,已经在这个方向上开发了几种技术,称为autoML。在本文中,我们提出了一个两阶段的优化过程来构建数据管道和配置机器学习算法。首先,我们研究了数据管道与算法配置的影响,以显示数据预处理对超参数调整的重要性。第二部分提出了在数据管道构造和算法配置之间有效分配搜索时间的策略。这些策略与元优化器无关。最后,我们提出了一个度量标准来确定数据管道是特定的还是独立于算法,从而为冷启动问题提供细粒度的管道修剪和元学习。
2019-07-01 cs.AI cs.LG
Automated data processing and feature engineering for deep learning and big data applications: a survey
Cape Coast Technical University(海岸角技术大学);University of Mines and Technology(矿业与技术大学)
该综述全面梳理了深度学习与大数据应用中自动化数据处理与特征工程的方法,涵盖数据预处理、增强及特征工程,并探讨了AutoML在端到端流水线优化中的作用。
2024-03-19 cs.AI cs.DB cs.LG
Adaptive Bayesian Linear Regression for Automated Machine Learning
Universite Cote d’Azur(蔚蓝海岸大学);I3S laboratory(I3S实验室)
为了解决机器学习问题,通常需要执行数据预处理、建模和超参数调整,这被称为模型选择和超参数优化。自动机器学习(AutoML)的目标是设计能够自动执行模型选择和超参数优化的方法,而无需人为干预。在本文中,我们提出了一种元学习方法,可以搜索一个高性能的机器学习管道从预定义的候选管道的监督分类数据集在一个有效的方式,通过利用从以前的实验收集的元数据。更具体地说,我们的方法结合了一个自适应贝叶斯回归模型与神经网络基函数和贝叶斯优化的采集功能。自适应贝叶斯回归模型能够从先前的元数据中捕获知识,从而对新数据集上的机器学习流水线的性能进行预测。实验结果表明,该方法能够快速识别出一系列测试数据集的高性能流水线,性能优于基线方法。
2019-04-18 cs.LG stat.ML
High-throughput Cotton Phenotyping Big Data Pipeline Lambda Architecture Computer Vision Deep Neural Networks
University of Georgia(佐治亚大学);Clemson University(克莱姆森大学)
本研究提出一种基于Lambda架构和Azure云服务的棉花开花检测大数据流水线,利用YOLOv5模型实现高精度(mAP 0.96)和高效处理(9000张图像34分钟),为精准农业提供了可扩展的深度学习解决方案。
2023-05-09 cs.CV cs.LG