Facilitating automated conversion of scientific knowledge into scientific simulation models with the Machine Assisted Generation, Calibration, and Comparison (MAGCC) Framework
University of Vermont Larner College of Medicine(佛蒙特大学拉纳医学院)
机器辅助生成、比较和校准(MAGCC)框架为科学仿真模型的开发、实施、测试和使用中经常出现的关键步骤和过程提供机器辅助和自动化。MAGCC通过自然语言处理或从现有数学模型中提取知识来连接系统,并提供全面的工作流程,包括科学模型的组成和人工智能(AI)辅助的代码生成。MAGCC通过以下方式实现这一目标:1)开发全面表达的正式知识表示知识库,结构化科学知识表示(SSKR),其包含制作任何仿真模型所需的所有类型的信息,2)使用人工智能逻辑推理系统,计算建模助理(CMA),其从SSKR获取信息并以可追踪的方式生成,跨一系列仿真建模方法的模型规范,以及3)使用CMA从那些模型规范生成用于仿真模型的可执行代码。MAGCC框架可以定制任何科学领域,未来的工作将整合新开发的代码生成AI系统。
2022-04-21 cs.AI cs.LG
Data Pipeline Training: Integrating AutoML to Optimize the Data Flow of Machine Learning Models
University of Southern California(南加州大学);University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究将AutoML集成到数据流水线中以优化数据流,提出构建自适应高效数据流水线的关键策略,从而加速建模并提升复杂数据领域中的机器学习效果。
2024-02-20 cs.AI cs.LG
Two-stage Optimization for Machine Learning Workflow
IBM(国际商业机器公司);Poznań University of Technology(波兹南理工大学)
机器学习技术在处理大量数据方面发挥着优势作用,几乎在每个可能的领域都有应用。构建一个高质量的机器学习模型以部署在生产中是一项具有挑战性的任务,无论是主题专家还是机器学习从业者。为了更广泛地采用和扩展机器学习系统,机器学习工作流的构造和配置需要自动化。在过去的几年里,已经在这个方向上开发了几种技术,称为autoML。在本文中,我们提出了一个两阶段的优化过程来构建数据管道和配置机器学习算法。首先,我们研究了数据管道与算法配置的影响,以显示数据预处理对超参数调整的重要性。第二部分提出了在数据管道构造和算法配置之间有效分配搜索时间的策略。这些策略与元优化器无关。最后,我们提出了一个度量标准来确定数据管道是特定的还是独立于算法,从而为冷启动问题提供细粒度的管道修剪和元学习。
2019-07-01 cs.AI cs.LG
Training-Free Voice Conversion with Factorized Optimal Transport
Glam AISan Francisco, US;Independent researcher(独立研究者);Astana, Kazakhstan;Magicly AI;Dubai, UAE
该研究提出免训练的Factorized MKL-VC方法,用分解最优传输映射替代kNN-VC中的kNN回归,仅需5秒参考音频即可实现高质量跨语言语音转换,在多数据集上性能优于kNN-VC、媲美FACodec。
2025-06-11 cs.CV cs.LG cs.SD
Towards autonomic orchestration of machine learning pipelines in future networks
TU Berlin(柏林工业大学)
机器学习(ML)技术越来越多地用于移动网络中的网络规划、运营、管理、优化等。这些技术是使用一组称为ML流水线的逻辑节点来实现的。单个网络运营商可能有数千个这样的ML管道分布在其网络中。这些管道需要跨网络域进行管理和协调。因此,在移动网络中实现ML管道的自主多域编排至关重要。国际电信联盟(ITU)为未来网络中ML管道的管理和编排提供了一个架构框架。我们扩展了这个框架,以支持跨多个网络域的ML管道的自主编排。我们提出了我们的系统架构,并使用智能工厂用例描述其应用程序。我们的工作允许以标准化,技术不可知,隐私保护的方式自主编排多域ML管道。
2021-07-17 cs.AI cs.LG cs.NI
ReinBo: Machine Learning pipeline search and configuration with Bayesian Optimization embedded Reinforcement Learning
LMU Munich(慕尼黑大学)
机器学习流水线潜在地由几个操作阶段组成,如数据预处理、特征工程和机器学习模型训练。每个操作都有一组超参数,当操作未被选择时,这些超参数可能与管道无关。这就产生了一个分层的条件超参数空间。为了优化这种混合的连续和离散条件分层超参数空间,我们提出了一种有效的管道搜索和配置算法,该算法结合了强化学习和贝叶斯优化的力量。实验结果表明,我们的方法表现良好的最先进的方法,如自动sklearn,TPOT,树Parzen窗口,随机搜索。
2019-04-10 cs.AI cs.LG stat.ML
On Leakage in Machine Learning Pipelines
Forschungszentrum Jülich(于利希研究中心);Heinrich-Heine-University Düsseldorf(海因里希·海涅大学杜塞尔多夫);Max Planck School of Cognition(马克斯·普朗克认知学院);University Hospital Ulm(乌尔姆大学医院);University Ulm(乌尔姆大学);Principal Global Services;University College London(伦敦大学学院);The Alan Turing Institute(艾伦·图灵研究所);European Lab for Learning & Intelligent Systems (ELLIS)(欧洲学习与智能系统实验室(ELLIS));IIT Bombay(孟买印度理工学院)
本文旨在扩展对机器学习管道中导致泄漏原因的理解,通过具体示例全面概述并讨论了ML管道中可能出现的各类泄漏问题。
2024-03-05 cs.AI cs.LG
Identifying and Harnessing the Building Blocks of Machine Learning Pipelines for Sensible Initialization of a Data Science Automation Tool
Institute for Biomedical Informatics, University of Pennsylvania(宾夕法尼亚大学生物医学信息学研究所)
随着数据科学越来越受欢迎,越来越需要使数据科学工具更具可扩展性,灵活性和可访问性。特别地,自动化机器学习(AutoML)系统寻求使设计和优化机器学习流水线的过程自动化。在本章中,我们提出了一个基于遗传编程的AutoML系统,称为TPOT,它优化了一系列特征预处理器和机器学习模型,目标是在监督分类问题上最大限度地提高分类精度。此外,我们分析了以前用于解决各种监督分类问题的管道的大型数据库,并确定了100个最频繁出现的机器学习操作的短系列,我们称之为机器学习管道的构建块。我们利用这些构建块来初始化TPOT有前途的解决方案,并发现这种明智的初始化方法显着提高TPOT的性能在一个基准测试,而没有显着降低性能的成本。因此,使用机器学习管道构建块进行合理的初始化为基于GP的AutoML系统带来了希望,并且应该在未来的工作中进一步完善。
2016-07-29 cs.AI cs.LG cs.NE
Data Pricing in Machine Learning Pipelines
Simon Fraser University(西蒙弗雷泽大学);Singapore Management University(新加坡管理大学);Huawei Technologies Canada(华为技术加拿大有限公司)
机器学习是颠覆性的。与此同时,机器学习只有通过多方之间的协作才能取得成功,这些协作在多个步骤中自然地作为生态系统中的管道,例如为可能的机器学习应用收集数据,多方协作训练模型以及向最终用户提供机器学习服务。数据在整个机器学习管道中是至关重要和渗透的。由于机器学习管道涉及多方,并且为了取得成功,必须形成一个建设性和动态的生态系统,市场和数据定价是连接和促进这些多方的基础。本文综述了机器学习管道中数据定价的原理和最新研究进展。我们首先简要回顾一下数据市场和定价需求。然后,我们重点讨论机器学习管道中的三个重要步骤中的定价。为了理解训练数据收集步骤中的定价,我们回顾了原始数据集和数据标签的定价。我们还研究了机器学习模型的协同训练步骤中的定价,并概述了机器学习部署步骤中最终用户的机器学习模型的定价。我们还讨论了一系列可能的未来方向。
2021-08-18 cs.LG
Interpretable Automated Machine Learning in Maana(TM) Knowledge Platform
Maana, Inc.(Maana公司)
机器学习正在成为许多工业应用开发解决方案的重要组成部分,但缺乏可解释性阻碍了快速构建、测试、部署和验证机器学习模型的广泛行业采用,因为开发机器学习解决方案的洞察力没有在结构上编码、合理化和转移。在本文中,我们描述了Maana元学习服务,一个可解释的和交互式的自动机器学习服务驻留在Maana知识平台,执行机器引导,用户辅助管道搜索和超参数调整,并生成结构化的知识的管道分析和选择的决定。该服务随Maana知识平台提供,并使用基准数据集进行验证。此外,它从管道搜索中获取知识的能力促进了各种推理任务,并转移到类似的数据科学项目。
2019-05-06 cs.AI cs.LG
Evaluation of a Tree-based Pipeline Optimization Tool for Automating Data Science
University of Pennsylvania(宾夕法尼亚大学);University of Chicago(芝加哥大学)
随着数据科学领域的不断发展,对非专家也能使用机器学习的工具的需求将不断增加。在本文中,我们引入了基于树的管道优化的概念,用于自动化机器学习中最乏味的部分之一--管道设计。我们在Python中实现了一个开源的基于树的管道优化工具(TPOT),并在一系列模拟和真实世界的基准数据集上证明了其有效性。特别是,我们表明,TPOT可以设计机器学习管道,提供了一个显着的改进,基本的机器学习分析,同时需要很少或没有输入,也没有从用户的先验知识。我们还解决了TPOT的趋势,设计过于复杂的管道集成帕累托优化,产生紧凑的管道,而不牺牲分类精度。因此,这项工作代表了完全自动化机器学习管道设计的重要一步。
2016-03-20 cs.AI cs.LG cs.NE
Spatiotemporal information conversion machine for time-series prediction
South China University of Technology(华南理工大学);Pazhou Lab(琶洲实验室);Center for Excellence in Molecular Cell Science, Chinese Academy of Sciences(中国科学院分子细胞科学卓越创新中心);Center for Excellence in Animal Evolution and Genetics, Chinese Academy of Sciences(中国科学院动物进化与遗传学卓越创新中心);Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences, Chinese Academy of Sciences(中国科学院大学杭州高等研究院);ShanghaiTech University(上海科技大学)
仅根据非线性系统的观测数据进行鲁棒预测是一项艰巨的任务。在这项工作中,一个神经网络计算框架,时空信息转换机(STICM),开发了有效和准确地呈现一个多步提前预测的时间序列,采用时空信息(STI)变换。STICM结合了STI方程和时间卷积网络的优点,将高维/空间数据映射到目标变量的未来时间值,从而自然地提供目标变量的预测。STICM还从观测变量中推断出Granger因果关系意义下的目标变量的因果因子,进而选择这些因子作为有效的空间信息,提高时间序列的预测鲁棒性。STICM成功地应用于基准系统和真实世界的数据集,所有这些都显示出优越的和强大的性能,在多步预测,即使数据受到噪声干扰。从理论和计算的角度来看,STICM在人工智能(AI)的实际应用中具有很大的潜力,或者作为一种仅基于观测数据的无模型方法,也为机器学习开辟了一条以动态方式探索观测高维数据的新途径。
2023-02-17 cs.AI cs.LG math.DS
Incremental Search Space Construction for Machine Learning Pipeline Synthesis
USU Software AG(USU软件公司);University of Technology Sydney(悉尼科技大学);University of Stuttgart(斯图加特大学);Fraunhofer IPA(弗劳恩霍夫生产技术与自动化研究所)
自动化机器学习(AutoML)旨在自动构建机器学习(ML)流水线。许多研究已经研究了算法选择和超参数优化的有效方法。然而,ML流水线综合和优化的方法,考虑到复杂的流水线结构,包含多个预处理和分类算法的影响还没有得到彻底的研究。在本文中,我们提出了一种以数据为中心的方法,基于元特征的管道建设和超参数优化的启发,人类行为。通过结合中间数据集的元特征增量地扩展流水线搜索空间,我们能够有效地修剪流水线结构搜索空间。因此,可以构建灵活且数据集特定的ML管道。我们证明了我们的方法的有效性和竞争力的28个数据集上使用的成熟的AutoML基准相比,国家的最先进的AutoML框架。
2021-01-26 cs.LG
AlphaD3M: Machine Learning Pipeline Synthesis
我们介绍AlphaD3M,一个自动机器学习(AutoML)系统的基础上Meta强化学习使用序列模型与自我发挥。AlphaD3M基于在机器学习管道原语上执行的编辑操作,提供可解释性。我们在OpenML数据集上将AlphaD3M与最先进的AutoML系统:Autosklearn,Autostacker和TPOT进行了比较。AlphaD3M实现了具有竞争力的性能,同时速度快了一个数量级,将计算时间从几小时减少到几分钟,并且可以通过设计来解释。
2021-11-03 cs.LG
SapientML: Synthesizing Machine Learning Pipelines by Learning from Human-Written Solutions
Fujitsu Research of America, Inc.(美国富士通研究有限公司);Fujitsu Ltd.(富士通有限公司);The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
自动机器学习(AutoML)通过基本上自动化数据科学家的工作,有望真正实现机器学习(ML)的民主化。然而,候选管道的巨大组合搜索空间意味着当前的AutoML技术生成次优管道,或者根本没有,特别是在大型复杂数据集上。在这项工作中,我们提出了一种AutoML技术SapientML,它可以从现有数据集的语料库及其人类编写的管道中学习,并有效地为新数据集上的预测任务生成高质量的管道。为了对抗AutoML的搜索空间爆炸,SapientML采用了一种新的分而治之的策略,实现为三阶段的程序合成方法,该方法基于连续较小的搜索空间。第一阶段使用机器学习模型来预测一组合理的ML组件以构成管道。在第二阶段中,然后使用从语料库和机器学习模型导出的语法约束将其细化为一小部分可行的混凝土管道。在第三阶段,动态评估这几个管道提供了最佳解决方案。我们将SapientML实例化为全自动化工具链的一部分,该工具链通过挖掘Kaggle创建一个干净的、标记的学习语料库,从中学习,并使用学习到的模型来合成新预测任务的管道。我们创建了一个包含170个数据集的1094个管道的训练语料库,并在一组41个基准数据集上评估了SapientML,其中包括来自Kaggle的10个新的大型真实世界数据集,以及3个最先进的AutoML工具和2个基线。我们的评估表明,SapientML在27个基准测试中产生了最好或相当的准确性,而第二好的工具…
2022-04-19 cs.AI cs.LG cs.SE
FeedbackLogs: Recording and Incorporating Stakeholder Feedback into Machine Learning Pipelines
University of Cambridge(剑桥大学);Responsible AI Institute(负责任人工智能研究所);Carnegie Mellon University(卡内基梅隆大学);The Alan Turing Institute(艾伦·图灵研究所)
本文提出FeedbackLogs,作为ML流水线文档的补充,用于记录和纳入多利益相关者反馈,形式化收集流程,并展示其在算法审计和记录更新中的用例。
2023-07-28 cs.AI cs.HC cs.LG
Lale: Consistent Automated Machine Learning
IBM Research(IBM研究院)
自动化机器学习使数据科学家更容易通过搜索超参数、算法甚至管道拓扑的可能选择来开发管道。不幸的是,自动化机器学习工具的语法与手动机器学习不一致,相互之间以及错误检查都不一致。此外,很少有工具支持高级功能,如拓扑搜索或高阶运算符。本文介绍了Lale,一个高级Python接口库,它以一致的方式简化和统一了自动化机器学习。
2020-07-04 cs.AI cs.LG
Automated Evolutionary Approach for the Design of Composite Machine Learning Pipelines
ITMO University(ITMO大学)
机器学习方法对于现实世界任务的有效性取决于建模管道的适当结构。所提出的方法的目的是自动化的复合机器学习管道,这是相当于计算工作流,包括模型和数据操作的设计。该方法结合了自动化机器学习和工作流管理系统的关键思想。它设计了一个可定制的基于图形的结构的管道,分析所获得的结果,并再现它们。将进化方法用于管道结构的柔性识别。为了提高该方法的有效性,实现了用于灵敏度分析、原子化和超参数调整的附加算法。此外,这种方法的软件实现是作为一个开源的框架。针对不同的数据集和任务(分类,回归,时间序列预测)进行了一系列实验。通过与现有竞争对手和基准解决方案的比较,验证了所提方法的正确性和有效性。
2021-06-26 cs.LG
Making Classical Machine Learning Pipelines Differentiable: A Neural Translation Approach
Seoul National University(首尔国立大学);Microsoft(微软);CMU(卡内基梅隆大学)
经典的机器学习(ML)管道通常由多个ML模型组成,其中管道内的模型是孤立训练的。相反,当训练神经网络模型时,使用反向传播同时训练构成神经模型的层。我们认为ML管道的孤立训练方案是次优的,因为它不能联合优化多个组件。为此,我们提出了一个框架,将预先训练的ML管道转换为神经网络,并使用反向传播联合微调管道内的ML模型。我们的实验表明,微调的翻译管道是一种很有前途的技术,能够提高最终的准确性。
2019-12-12 cs.LG stat.ML
Deep Pipeline Embeddings for AutoML
University of Freiburg(弗莱堡大学)
本文提出深度流水线嵌入方法,通过逐组件编码器捕捉机器学习流水线组件间的深层交互,并结合贝叶斯优化与元学习,在三个大规模元数据集上实现了最优的流水线优化效果。
2023-05-24 cs.LG
Fair Preprocessing: Towards Understanding Compositional Fairness of Data Transformers in Machine Learning Pipeline
Iowa State University(爱荷华州立大学)
近年来,已经报道了许多事件,其中机器学习模型表现出基于种族、性别、年龄等的人之间的歧视。已经进行了研究以测量和减轻机器学习模型中的不公平。对于机器学习任务,通常的做法是构建一个流水线,该流水线包括一组有序的数据预处理阶段,然后是分类器。然而,大多数关于公平性的研究都考虑了基于单个分类器的预测任务。机器学习管道中预处理阶段的公平性影响是什么?此外,研究表明,不公平的根本原因往往根植于数据本身,而不是模型。但是,还没有研究已经进行了测量的不公平性所造成的一个特定的转换,在数据预处理阶段。在本文中,我们引入了公平性的因果方法来推理ML管道中数据预处理阶段的公平性影响。我们利用现有的指标来定义阶段的公平性度量。然后,我们进行了详细的公平性评估的预处理阶段,在37个管道收集来自三个不同的来源。我们的结果表明,某些数据Transformers导致模型表现出不公平性。我们在几类数据Transformers中确定了一些公平模式。最后,我们展示了预处理阶段的局部公平性如何构成流水线的全局公平性。我们使用公平组合来选择适当的下游Transformer,以减轻机器学习管道中的不公平。
2021-07-20 cs.LG
Responsible Design Patterns for Machine Learning Pipelines
Polytechnique Montreal(蒙特利尔理工学院);CertKOR AI(CertKOR人工智能公司);Tabiah University(塔比阿大学)
本文提出将负责任设计模式融入机器学习流水线的综合框架,通过专家调查识别新模式并经真实场景验证,以降低算法偏见等风险并指导负责任AI部署。
2023-06-07 cs.AI cs.LG cs.SE
Preprocessor Selection for Machine Learning Pipelines
Brigham Young University(杨百翰大学)
元学习中的大部分工作都集中在分类器的选择上,最近又与超参数优化相结合,很少关注数据预处理。然而,人们普遍认为,机器学习应用不仅需要模型构建,还需要数据预处理。换句话说,实际的解决方案由机器学习运算符的管道组成,而不是单一的算法。有趣的是,我们的实验表明,平均而言,数据预处理会阻碍准确性,而性能最好的管道实际上确实使用了预处理器。在这里,我们对各种学习算法和预处理器进行了广泛的实证研究,并使用元学习来确定何时应该在ML管道设计中使用预处理器。
2018-10-23 cs.LG stat.ML
AVATAR -- Machine Learning Pipeline Evaluation Using Surrogate Model
University of Technology Sydney(悉尼科技大学);USU Software AG(USU软件股份公司)
机器学习(ML)管道的评估在自动ML管道组合和优化期间是必不可少的。以前的方法,如基于贝叶斯和基于遗传的优化,在Auto-Weka,Auto-sklearn和TPOT中实现,通过执行它们来评估管道。因此,这些方法的管道组成和优化需要大量的时间,这使他们无法探索复杂的管道来找到更好的预测模型。为了进一步探索这一研究挑战,我们进行了实验,表明许多生成的管道是无效的,没有必要执行它们来确定它们是否是好的管道。为了解决这个问题,我们提出了一种新的方法来评估ML管道使用代理模型(AVATAR)的有效性。AVATAR能够通过快速忽略无效管道来加速自动ML管道组合和优化。我们的实验表明,AVATAR是更有效地评估复杂的管道相比,传统的评估方法,需要他们的执行。
2020-02-03 cs.LG stat.ML
Machine Learning Pipelines: Provenance, Reproducibility and FAIR Data Principles
Heinz-Nixdorf Chair for Distributed Information Systems(海因茨-尼克斯多夫分布式信息系统讲席);Michael Stifel Center Jena(耶拿米夏埃尔·施蒂费尔中心);Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学)
机器学习(ML)是一种越来越重要的科学工具,支持许多领域的决策和知识生成。因此,ML实验结果的可重复性也变得越来越重要。不幸的是,情况往往并非如此。相反,ML与许多其他学科一样,面临着可重复性危机。在本文中,我们描述了我们支持ML管道端到端再现性的目标和初始步骤。我们研究了除了源代码和数据集的可用性之外,哪些因素会影响ML实验的可重复性。我们提出了将FAIR数据实践应用于ML工作流的方法。我们提出了我们的工具,ProvBook的作用,在捕获和比较ML实验的起源和他们的再现性使用autoyter笔记本电脑的初步结果。
2020-06-22 cs.AI cs.LG stat.ML
SysML'19 demo: customizable and reusable Collective Knowledge pipelines to automate and reproduce machine learning experiments
cTuning foundation(cTuning基金会);dividiti(dividiti公司)
复制、比较和重用来自机器学习和系统论文的结果是一个非常繁琐、临时且耗时的过程。我将演示如何使用社区开发的开源、可移植、可定制和基于CLI的Collective Knowledge工作流和管道来自动化此过程。我将帮助参与者运行来自SysML'19会议、公司(通用汽车、Arm)和MLPerf基准测试的几个真实的非虚拟化CK工作流,以自动化针对机器学习工作负载的高效软件/硬件堆栈的基准测试和协同设计。我希望我们的方法可以帮助作者在共享可重用和可扩展的研究工件时减少他们的努力,同时使工件评估者能够以标准和可移植的方式自动验证已发表论文的实验结果。
2019-03-31 cs.LG
Machine learning pipeline for battery state of health estimation
Heriot-Watt University(赫瑞-瓦特大学);University of Maryland(马里兰大学)
锂离子电池在从便携式电子产品到电动汽车的现代应用中无处不在。无论何种应用,通过单板计算机对电池健康状态(SOH)进行可靠的实时评估对于电池的安全运行至关重要,最终保障资产的完整性。在本文中,我们设计和评估了一个机器学习管道,用于估计电池容量衰减-电池健康的度量-在各种条件下循环的179个电池。管道通过使用两个参数和两个非参数算法来估计具有相关置信区间的电池SOH。使用充电电压和电流曲线的片段,流水线设计30个特征,执行自动特征选择并校准算法。当部署在快速充电协议下运行的电池上时,最佳模型的均方根误差为0.45%。这项工作为电池SOH估计的可扩展数据驱动模型的设计提供了见解,强调了预测周围的置信界限的价值。流水线方法将实验数据与机器学习建模相结合,并且可以推广到需要实时估计SOH的其他关键组件。
2021-02-01 cs.LG
RankML: a Meta Learning-Based Approach for Pre-Ranking Machine Learning Pipelines
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
数字数据的爆炸式增长为组织和个人利用机器学习(ML)来改变其运营方式创造了多种机会。然而,机器学习领域专家(数据科学家)的短缺往往是ML使用的一个挫折。为了缓解这种不足,近年来已经提出了多种用于机器学习自动化的方法。虽然这些方法是有效的,但它们通常需要大量的时间和计算资源。在这项研究中,我们提出了RankML,一种基于元学习的方法,用于预测整个机器学习管道的性能。给定一个以前未见过的数据集、一个性能指标和一组候选管道,RankML会根据预测的性能立即生成所有管道的排名列表。在回归和分类任务中对244个数据集进行了广泛的评估,结果表明,我们的方法在时间和计算成本上都优于或相当于最先进的计算量大的方法。
2019-11-20 cs.LG stat.ML
Integration Of Evolutionary Automated Machine Learning With Structural Sensitivity Analysis For Composite Pipelines
ITMO University(圣彼得堡国立信息技术、机械学与光学研究大学);Huawei Technologies Co Ltd(华为技术有限公司)
提出EVOSA方法,结合敏感性分析与进化AutoML,优化灵活管道结构,提高鲁棒性和可解释性,并在多领域任务中验证有效性。
2023-12-22 cs.LG cs.NE
Plumber: Diagnosing and Removing Performance Bottlenecks in Machine Learning Data Pipelines
Carnegie Mellon University(卡内基梅隆大学);ETH Zürich(苏黎世联邦理工学院);Google(谷歌)
输入管道,摄取和转换输入数据,是训练机器学习(ML)模型的重要组成部分。然而,实现高效的输入管道是具有挑战性的,因为它需要对细粒度分析信息中的并行性、可扩展性和可变性进行推理。我们对Google训练中心中超过200万个ML工作的分析表明,很大一部分模型训练工作可以从更快的输入数据管道中受益。与此同时,我们的分析表明,大多数作业不会使主机硬件饱和,这指向了基于软件的瓶颈。受这些发现的启发,我们提出了Plumber,这是一种用于查找ML输入管道中瓶颈的工具。Plumber使用可扩展和可解释的操作分析分析模型,在主机资源约束下自动调优并行性、预取和缓存。在五个具有代表性的ML管道中,Plumber针对错误配置的管道获得了高达47倍的加速。通过自动缓存,Plumber与最先进的调谐器相比,获得了超过50%的端到端加速。
2022-03-21 cs.LG cs.PF
Data Debugging with Shapley Importance over End-to-End Machine Learning Pipelines
ETH Zurich(苏黎世联邦理工学院);Microsoft(微软);UIUC(伊利诺伊大学厄巴纳-香槟分校);University of Amsterdam(阿姆斯特丹大学)
开发现代机器学习(ML)应用程序是以数据为中心的,其中一个基本挑战是了解数据质量对ML训练的影响-“哪些训练样本在使训练的ML模型预测不准确或不公平方面是”有罪的“?在过去的十年中,为ML训练建模数据影响引起了人们的广泛兴趣,一个流行的框架是计算每个训练样本的Shapley值,例如训练ML模型的验证准确性和公平性。不幸的是,尽管最近有大量的兴趣和研究,但现有的方法只考虑“孤立”的单个ML模型,而不考虑由数据转换,特征提取器和ML训练组成的端到端ML管道。我们提出了DataScope(ease.ml/tagcope),第一个系统,有效地计算Shapley值的训练样本在一个端到端的ML管道,并说明其在数据调试ML训练的应用。为此,我们首先开发了一个新的算法框架,该框架在我们称为规范管道的特定ML管道家族上计算Shapley值:一个正关系代数查询,然后是一个K-最近邻(KNN)分类器。我们表明,对于许多子族的规范管道,计算Shapley值是在PTIME,对比计算Shapley值的指数复杂性一般。然后我们将其付诸实践-给定一个sklearn管道,我们用一个规范管道来近似它,用作代理。我们进行了大量的实验,说明不同的用例和实用程序。我们的研究结果表明,DataScope比最先进的基于蒙特卡罗的方法快四个数量级,同时在数据调试中更有效。
2022-04-26 cs.AI cs.DB cs.LG
Predictive Modeling of I/O Performance for Machine Learning Training Pipelines: A Data-Driven Approach to Storage Optimization
University of Texas at Austin(得克萨斯大学奥斯汀分校);Amazon Web Services(亚马逊云科技)
本文提出一种数据驱动的方法,通过机器学习预测I/O性能并推荐最佳存储配置,以优化机器学习训练流水线的性能。
2025-12-19 cs.AI cs.LG cs.PF
Modeling Quality and Machine Learning Pipelines through Extended Feature Models
University of L’Aquila(拉奎拉大学)
最近机器学习(ML)方法的复杂性增加,导致有必要减轻研究和工业开发过程。ML管道已经成为许多领域的专家、数据科学家和研究人员的重要工具,使他们能够轻松地将多个ML模型组合在一起,以覆盖从原始数据集开始的完整分析过程。多年来,已经提出了几种解决方案来自动构建ML管道,其中大多数专注于输入数据集的语义方面和特征。然而,考虑到ML系统所需的新质量问题(如公平性,可解释性,隐私等)的方法。仍然下落不明在本文中,我们首先从文献中确定ML系统的关键质量属性。此外,我们提出了一种新的工程方法,通过适当地扩展特征模型的元模型的质量ML管道。所提出的方法允许对ML管道、其质量要求(整个管道和单个阶段)以及用于实现每个管道阶段的算法的质量特性进行建模。最后,我们证明了我们的模型考虑分类问题的表现力。
2022-07-15 cs.LG cs.SE
SemPipes -- Optimizable Semantic Data Operators for Tabular Machine Learning Pipelines
BIFOLD(柏林学习与数据科学研究所);TU Berlin(柏林工业大学)
SemPipes通过LLM驱动的语义数据运算符提升表格机器学习流水线的预测性能和效率。
2026-02-04 cs.DB cs.LG
Automating biomedical data science through tree-based pipeline optimization
University of Louisville(路易斯维尔大学)
在过去的十年中,数据科学和机器学习已经从一种神秘的艺术形式发展成为学术界、商业界和政府各个领域的主要工具。在本文中,我们引入了基于树的管道优化的概念,用于自动化机器学习中最乏味的部分之一--管道设计。我们实现了一个基于树的管道优化工具(TPOT),并在一系列模拟和真实世界的遗传数据集上证明了其有效性。特别是,我们表明,TPOT可以建立机器学习管道,实现有竞争力的分类精度和发现新的管道运营商-如合成特征构造器-显着提高这些数据集的分类精度。我们还强调了管道优化目前面临的挑战,例如产生过拟合数据的管道的趋势,并建议未来的研究路径来克服这些挑战。因此,这项工作代表了完全自动化机器学习管道设计的早期步骤。
2016-01-28 cs.LG cs.NE
Finding Reusable Machine Learning Components to Build Programming Language Processing Pipelines
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Argonne National Laboratory(阿贡国家实验室);North Carolina State University(北卡罗来纳州立大学)
针对编程语言处理领域新从业者难寻合适机器学习组件搭建流水线的问题,研究通过分析代表性论文梳理核心概念,提升组件FAIR特性,并给出复用组件搭建流水线的示例。
2023-06-15 cs.LG cs.PL
Leak Detection in Natural Gas Pipeline Using Machine Learning Models
University of Ibadan(伊巴丹大学)
天然气管道泄漏检测是石油天然气工业中一个重要而持久的问题。这一点尤其重要,因为管道是最常见的天然气运输方式。本研究旨在研究数据驱动的智能模型使用基本操作参数检测天然气管道小泄漏的能力,然后使用现有的性能指标比较智能模型。该项目采用观测器设计技术,检测天然气管道泄漏使用regressocclassification分层模型,其中智能模型作为回归和修改后的逻辑回归模型作为分类器。本项目利用4周的流水线数据流研究了梯度提升、决策树、随机森林、支持向量机和人工神经网络等5种智能模型。结果表明,虽然支持向量机和人工神经网络是更好的回归比其他,他们没有提供最好的结果,泄漏检测由于其内部的复杂性和使用的数据量。随机森林和决策树模型是最敏感的,因为它们可以在大约2小时内检测到标称流量的0.1%的泄漏。所有智能模型在测试阶段均具有较高的可靠性和零虚警率。将所有智能模型的平均泄漏检测时间与文献中的实时的瞬态模型进行比较。结果表明,智能模型在泄漏检测问题中表现相对较好。这一结果表明,智能模型可以与实时的瞬态模型一起使用,以显着改善泄漏检测结果。
2022-09-21 cs.LG
Automatic Machine Learning by Pipeline Synthesis using Model-Based Reinforcement Learning and a Grammar
New York University(纽约大学);Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
自动机器学习是机器学习研究的前沿课题。最强大的AutoML系统基于神经网络、进化算法和贝叶斯优化。最近,AlphaD3M使用带有自我游戏的强化学习实现了数量级加速,达到了最先进的结果。在这项工作中,我们通过使用流水线语法和预训练模型来扩展AlphaD3M,该模型从许多不同的数据集和类似的任务中概括出来。我们的研究结果表明,与我们早期的工作和AutoML基准数据集上的现有方法相比,分类和回归任务的性能有所提高。本着可重复研究的精神,我们将我们的数据、模型和代码公开提供。
2019-05-24 cs.LG stat.ML
Debugging Machine Learning Pipelines
New York University(纽约大学)
机器学习任务需要使用复杂的计算管道来得出定量和定性的结论。如果管道中的某些活动产生错误或无信息的输出,则管道可能失败或产生不正确的结果。推断故障和意外行为的根本原因是具有挑战性的,通常需要很多人的思考,并且既耗时又容易出错。我们提出了一种新的方法,利用迭代和出处自动推断的根本原因,并得出简洁的解释失败。通过详细的实验评估,我们评估的成本,精度和召回我们的方法相比,最先进的。我们的源代码和实验数据将可用于再现性和增强。
2020-02-11 cs.DB cs.LG stat.ML
Investigation of a Machine learning methodology for the SKA pulsar search pipeline
Raman Research Institute(拉曼研究所);IBM India Private Ltd(IBM印度私人有限公司);University of Manchester(曼彻斯特大学);BITS Goa(比尔拉科学技术学院果阿分校);PES University(PES大学)
本研究测试了Mask R-CNN算法用于SKA脉冲星搜索管线中的候选信号检测,通过自定义注释工具训练模型,并在模拟数据集上成功验证,展示了其未来应用前景。
2023-01-17 astro-ph.IM cs.AI cs.LG
AutoWeka4MCPS-AVATAR: Accelerating Automated Machine Learning Pipeline Composition and Optimisation
University of Technology Sydney(悉尼科技大学)
自动化的机器学习流水线(ML)组合和优化旨在自动化在分配的资源内找到最有前途的ML流水线的过程(即,CPU和内存)。现有的方法,例如在Auto-Weka、Auto-sklearn和TPOT中实现的基于贝叶斯和基于遗传的优化,通过执行它们来评估管道。因此,这些方法的管道组成和优化通常需要大量的时间,这使他们无法探索复杂的管道来找到更好的预测模型。为了进一步探索这一研究挑战,我们进行了实验,结果表明,许多生成的管道首先是无效的,尝试执行它们是浪费时间和资源。为了解决这个问题,我们提出了一种新的方法来评估ML管道的有效性,没有他们的执行,使用代理模型(AVATAR)。AVATAR通过自动学习ML算法对数据集特征的能力和影响来生成知识库。该知识库用于从原始ML流水线到代理模型的简化映射,该代理模型是基于Petri网的流水线。AVATAR不是执行原始ML管道来评估其有效性,而是评估由ML管道组件的功能和效果以及输入/输出简化映射构建的代理模型。与执行原始管道相比,评估此代理模型占用的资源较少。因此,AVATAR使管道组合和优化方法能够通过快速拒绝无效管道来评估更多管道。我们将AVATAR集成到顺序的基于模型的算法配置(SMAC)。我们的实验表明,当SMAC使用AVATAR时,它会找到比自己更好的解决方案。
2020-11-21 cs.LG stat.CO
PIPES: A Meta-dataset of Machine Learning Pipelines
Centro de Informática, Universidade Federal de Pernambuco(佛罗里达州立大学佩纳布洛分校计算机中心);Instituto de Computação, Universidade Federal de Alagoas(阿拉加斯联邦大学计算机研究所);École de Technologie Supérieure, Université du Québec(魁北克大学超技术学院)
针对OpenML流水线多样性不足的问题,提出PIPES元数据集,包含9,408个流水线在300个数据集上的实验结果,覆盖技术组合,支持元学习研究。
2025-09-11 cs.LG
Modyn: Data-Centric Machine Learning Pipeline Orchestration
ETH Zurich(苏黎世联邦理工学院);IT University of Copenhagen(哥本哈根信息技术大学);Technical University of Munich(慕尼黑工业大学)
Modyn是一个以数据为中心的端到端机器学习平台,通过声明式管道抽象支持持续训练,引入复合模型概念衡量性能,并实证分析数据选择与触发策略对准确率的影响。
2025-01-24 cs.AI cs.DB cs.DC
A Dual Pipeline Machine Learning Framework for Automated Multi Class Sleep Disorder Screening Using Hybrid Resampling and Ensemble Learning
本文提出双管道机器学习框架,结合混合重采样和集成学习,实现高准确率的多类睡眠障碍自动筛查。
2026-02-06 cs.LG
Tiny-HR: Towards an interpretable machine learning pipeline for heart rate estimation on edge devices
University of Alberta(阿尔伯塔大学);IIT Kharagpur(印度理工学院卡拉格普尔分校)
本文的重点是概念验证,即机器学习(ML)管道,该管道从低功耗边缘设备上获取的压力传感器数据中提取心率。ML流水线由上采样器神经网络、信号质量分类器和1D-卷积神经网络组成,该网络针对高效准确的心率估计进行了优化。这些模型的设计使管道小于40 kB。此外,开发了由上采样器和分类器组成的混合流水线,随后是峰值检测算法。这些管道部署在ESP 32边缘设备上,并针对信号处理进行基准测试,以确定能量使用和推理时间。结果表明,与传统算法相比,所提出的ML和混合流水线减少了82%的能量和时间。ML流水线的主要折衷是准确性,平均绝对误差(MAE)为3.28,而混合和信号处理流水线为2.39和1.17。因此,ML模型显示出在能源和计算受限设备中部署的前景。此外,ML流水线的较低采样率和计算要求可以使定制硬件解决方案能够降低可穿戴设备的成本和能源需求。
2022-08-16 cs.HC cs.LG eess.SP
SemPiper: Interactive Code Synthesis for Semantic Operators in Machine Learning Pipelines
BIFOLD & TU Berlin(BIFOLD 与柏林工业大学)
提出SemPipes编程模型,通过声明式语义算子和LLM合成专用实现,结合Python代码,实现可控、可优化的ML流水线开发。
2026-06-15 cs.DB cs.LG
Towards an Automated Pipeline for Detecting and Classifying Malware through Machine Learning
Università degli Studi di Torino(都灵大学);aizoOn Technology Consulting(aizoOn技术咨询公司)
恶意软件-对计算机和信息网络可能有害的软件或代码片段-数量的不断增长以及复杂的规避和混淆技术的使用严重阻碍了传统的基于签名的方法。另一方面,基于机器学习技术的恶意软件检测系统开始为标准方法提供有前途的替代方案,大大减少了分析时间,并对规避和混淆技术更加强大。在本文中,我们提出了一个恶意软件分类分类管道能够分类Windows便携式可执行文件(PE)。给定一个输入PE样本,它首先被分类为恶意或良性。如果是恶意的,管道会进一步分析它,以确定其威胁类型、家族和行为。我们在开源数据集EMBER上测试了所提出的管道,该数据集包含大约100万个PE样本,通过静态分析进行分析。所获得的恶意软件检测结果与当前最先进的其他学术著作相当,此外,我们还提供了对恶意样本的深入分类。管道中使用的模型提供了可解释的结果,可以帮助安全分析师更好地理解自动化管道所做的决策。
2021-06-10 cs.CR cs.LG
Naive Automated Machine Learning
University of Torontoland(多伦多兰大学);University of Edenborrow(伊登伯勒大学);Universidad de La Sabana(拉萨瓦纳大学);Paderborn University(帕德博恩大学)
自动机器学习(AutoML)的一个基本任务是在给定数据集上自动找到具有最佳泛化性能的管道。这个问题已经解决了复杂的黑盒优化技术,如贝叶斯优化,基于语法的遗传算法,和树搜索算法。大多数当前的方法都是由这样的假设所激励的,即孤立地优化流水线的组件可能会产生次优的结果。我们提出了Naive AutoML,这是一种可以做到这一点的方法:它单独优化了预定义管道方案的不同算法。最终返回的流水线是通过只取每个槽的最佳算法来获得的。孤立的优化导致大大减少了搜索空间,令人惊讶的是,这种方法产生可比的,有时甚至更好的性能比目前的最先进的优化。
2021-11-29 cs.LG
Graph Signal Recovery Using Restricted Boltzmann Machines
University of Southern California(南加州大学)
我们提出了一个模型不可知的管道恢复图形信号的专家系统,利用限制玻尔兹曼机的内容可寻址存储器属性和神经网络的代表性能力。所提出的管道需要在具有干净数据的向下机器学习任务上训练的深度神经网络,该数据没有任何形式的损坏或不完整。我们表明,对深度神经网络学习的表示进行去噪通常比对数据本身进行去噪更有效。虽然这个管道可以处理任何数据集中的噪声,但它对图结构数据集特别有效。
2020-11-20 cs.AI cs.LG cs.NE
AutoDES: AutoML Pipeline Generation of Classification with Dynamic Ensemble Strategy Selection
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
近年来,自动化机器学习取得了显著的技术发展,构建自动化机器学习管道现在是一项重要任务。模型集成是将多个模型组合起来以获得更好和更鲁棒的模型的技术。然而,现有的自动化机器学习在处理模型集成时往往过于简单,其中集成策略是固定的,例如堆叠泛化。不同的集成方法,特别是集成选择,已经有很多技术,固定的集成策略限制了模型性能的上限。在这篇文章中,我们提出了一个新的自动化机器学习框架。我们的框架结合了动态集成选择的进步,据我们所知,我们的方法是AutoML领域第一个搜索和优化集成策略的方法。在对比实验中,我们的方法在OpenML平台的42个分类数据集上的性能优于最先进的自动化机器学习框架,具有相同的CPU时间。在我们的框架上进行的烧蚀实验验证了我们所提出的方法的有效性。
2022-07-20 cs.LG
Applying Deep Learning to Ads Conversion Prediction in Last Mile Delivery Marketplace
DoorDash Engineering(DoorDash工程部门)
本文介绍了DoorDash将首页广告排序系统从传统树模型升级为多任务深度神经网络,以提升转化预测性能,并分享了开发与扩展深度学习推荐系统的经验与指导。
2025-02-27 cs.LG
Production Machine Learning Pipelines: Empirical Analysis and Optimization Opportunities
University of California, Berkeley(加州大学伯克利分校);Google(谷歌)
机器学习(ML)现在已经很普遍,为各种组织中的数据驱动应用程序提供动力。与研究中对ML的传统看法不同,ML生产管道很复杂,除了训练之外还有许多互锁的分析组件,其子部分通常在重叠的数据子集上运行多次。然而,缺乏有关这些管道的寿命、架构、频率和复杂性的定量证据,无法了解如何使用数据管理研究来使它们更高效、更有效、更强大和更可复制。为此,我们分析了Google的3000个生产ML管道的起源图,其中包括超过450,000个经过训练的模型,时间跨度超过四个月,以了解生产ML的复杂性和挑战。我们的分析揭示了各种粒度下典型行业强度ML管道的特征,组件和拓扑结构。在此过程中,我们引入了一个专门的数据模型,用于表示和推理这些ML管道中重复运行的组件,我们称之为模型小图。我们确定了几个丰富的优化机会,利用传统的数据管理思想。我们展示了如何瞄准这些机会之一,即,识别和修剪没有转换为模型部署的浪费计算,可以将浪费的计算成本减少50%,而不会影响模型部署节奏。
2021-03-30 cs.DB cs.LG
Automated Machine Learning Pipeline: Large Language Models-Assisted Automated Dataset Generation for Training Machine-Learned Interatomic Potentials
NYU, Department of Chemistry(纽约大学化学系);Initiative for Computational Catalysis, Flatiron Institute(计算催化计划,Flatiron研究所);NYU, Department of Physics(纽约大学物理系);Courant Institute of Mathematical Sciences, NYU(数学科学学院,纽约大学);NYU-ECNU Center for Computational Chemistry(纽约大学-复旦大学计算化学中心);Simons Center for Computational Physical Chemistry, NYU(Simons计算物理化学中心,纽约大学)
本文提出基于大语言模型的自动化机器学习流水线,用于生成训练数据集以提升机器学习互作用势的精度和稳定性。
2025-12-19 cond-mat.mtrl-sci cs.LG
Forensicability of Deep Neural Network Inference Pipelines
University of Innsbruck(因斯布鲁克大学)
我们提出了通过跟踪可观察输出中的特征数值偏差来推断机器学习管道的执行环境的属性的方法。在本地和云托管机器上获得的一系列概念验证实验的结果产生了可能的法医应用,例如识别用于产生深度神经网络预测的硬件平台。最后,我们引入边界样本,放大数值偏差,以便仅通过其预测标签来区分机器。
2021-02-18 cs.CR cs.LG cs.MM