SemPipes -- Optimizable Semantic Data Operators for Tabular Machine Learning Pipelines
BIFOLD（柏林学习与数据科学研究所）；TU Berlin（柏林工业大学）
SemPipes通过LLM驱动的语义数据运算符提升表格机器学习流水线的预测性能和效率。
2026-02-04 cs.DB cs.LG
Feature Engineering for Scalable Application-Level Post-Silicon Debugging
我们提出了系统和有效的解决方案，可观察性增强和根本原因诊断后硅系统芯片（SoC）验证与不同的使用场景。我们在典型的应用程序中的消息选择模型规范的交互流。我们的消息选择方法优化了流规范覆盖率和跟踪缓冲区利用率。我们将诊断问题定义为将有缺陷的痕迹识别为离群值，将无缺陷的痕迹识别为内点/正常行为，为此我们使用无监督学习算法进行离群值检测。我们使用特征工程来将原始特征转换为使用域特定操作的更复杂的特征，而不是使用信号作为原始特征在跟踪数据上直接应用机器学习算法。工程特性与诊断任务高度相关，并且通用于任何硬件设计。我们目前的调试和根本原因分析的微妙的硅后的错误在工业规模的OpenCRT 2 SoC。我们实现了跟踪缓冲区的利用率为98.96%的流规范覆盖率为94.3%（平均）。与人工调试相比，该诊断方法能够多诊断出66.7%的错误，诊断时间减少了847 $\times$，诊断精度为0.769。
2021-02-08 cs.AR cs.LG
Making Classical Machine Learning Pipelines Differentiable: A Neural Translation Approach
Seoul National University（首尔国立大学）；Microsoft（微软）；CMU（卡内基梅隆大学）
经典的机器学习（ML）管道通常由多个ML模型组成，其中管道内的模型是孤立训练的。相反，当训练神经网络模型时，使用反向传播同时训练构成神经模型的层。我们认为ML管道的孤立训练方案是次优的，因为它不能联合优化多个组件。为此，我们提出了一个框架，将预先训练的ML管道转换为神经网络，并使用反向传播联合微调管道内的ML模型。我们的实验表明，微调的翻译管道是一种很有前途的技术，能够提高最终的准确性。
2019-12-12 cs.LG stat.ML
Preprocessor Selection for Machine Learning Pipelines
Brigham Young University（杨百翰大学）
元学习中的大部分工作都集中在分类器的选择上，最近又与超参数优化相结合，很少关注数据预处理。然而，人们普遍认为，机器学习应用不仅需要模型构建，还需要数据预处理。换句话说，实际的解决方案由机器学习运算符的管道组成，而不是单一的算法。有趣的是，我们的实验表明，平均而言，数据预处理会阻碍准确性，而性能最好的管道实际上确实使用了预处理器。在这里，我们对各种学习算法和预处理器进行了广泛的实证研究，并使用元学习来确定何时应该在ML管道设计中使用预处理器。
2018-10-23 cs.LG stat.ML
AVATAR -- Machine Learning Pipeline Evaluation Using Surrogate Model
University of Technology Sydney（悉尼科技大学）；USU Software AG（USU软件股份公司）
机器学习（ML）管道的评估在自动ML管道组合和优化期间是必不可少的。以前的方法，如基于贝叶斯和基于遗传的优化，在Auto-Weka，Auto-sklearn和TPOT中实现，通过执行它们来评估管道。因此，这些方法的管道组成和优化需要大量的时间，这使他们无法探索复杂的管道来找到更好的预测模型。为了进一步探索这一研究挑战，我们进行了实验，表明许多生成的管道是无效的，没有必要执行它们来确定它们是否是好的管道。为了解决这个问题，我们提出了一种新的方法来评估ML管道使用代理模型（AVATAR）的有效性。AVATAR能够通过快速忽略无效管道来加速自动ML管道组合和优化。我们的实验表明，AVATAR是更有效地评估复杂的管道相比，传统的评估方法，需要他们的执行。
2020-02-03 cs.LG stat.ML
Indicators of Attack Failure: Debugging and Improving Optimization of Adversarial Examples
University of Cagliari（卡利亚里大学）；Pluribus One；University of Genoa（热那亚大学）；Google（谷歌）；CINI（意大利国家信息学大学联盟）
评估机器学习模型对对抗性样本的鲁棒性是一个具有挑战性的问题。许多防御已经被证明通过导致基于梯度的攻击失败来提供虚假的鲁棒性，并且它们已经在更严格的评估下被打破。尽管已经提出了一些指导方针和最佳实践来改进当前的对抗性鲁棒性评估，但由于缺乏自动测试和调试工具，很难系统地应用这些建议。在这项工作中，我们克服了这些限制：（i）分类攻击失败的基础上，他们如何影响基于梯度的攻击的优化，同时也揭示了两个新的失败影响许多流行的攻击实现和过去的评估;（ii）提出了六个新的失败指标，自动检测攻击优化过程中存在这样的失败;以及（iii）建议系统性协议以应用相应的修复。我们广泛的实验分析，涉及3个不同应用领域的15个模型，表明我们的失败指标可用于调试和改进当前的对抗鲁棒性评估，从而为自动化和系统化提供了第一个具体步骤。我们的开源代码可以在https://github.com/pralab/IndicatorsOfAttackFailure上找到。
2022-10-11 cs.CR cs.CV cs.LG
RankML: a Meta Learning-Based Approach for Pre-Ranking Machine Learning Pipelines
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
数字数据的爆炸式增长为组织和个人利用机器学习（ML）来改变其运营方式创造了多种机会。然而，机器学习领域专家（数据科学家）的短缺往往是ML使用的一个挫折。为了缓解这种不足，近年来已经提出了多种用于机器学习自动化的方法。虽然这些方法是有效的，但它们通常需要大量的时间和计算资源。在这项研究中，我们提出了RankML，一种基于元学习的方法，用于预测整个机器学习管道的性能。给定一个以前未见过的数据集、一个性能指标和一组候选管道，RankML会根据预测的性能立即生成所有管道的排名列表。在回归和分类任务中对244个数据集进行了广泛的评估，结果表明，我们的方法在时间和计算成本上都优于或相当于最先进的计算量大的方法。
2019-11-20 cs.LG stat.ML
Interpreting Complex Regression Models
Yahoo Research（雅虎研究院）；Amazon Research（亚马逊研究院）
解释机器学习诱导的模型对于特征工程、调试和合规性至关重要。然而，最好的机器学习模型往往非常复杂。本文提出了一种模型解释的方法，其主要优点是它提供的简单解释总是基于实际的学习示例集。该方法验证的任务，解释一个复杂的回归模型的背景下，一个学术问题-预测一首歌被记录和一个工业-预测邮件用户流失。
2018-02-26 cs.LG stat.ML
ML Engineering Agents - A Data Management Perspective
TU Berlin（柏林工业大学）
本教程介绍MLE智能体的基础，结合程序合成与迭代优化，指出其在数据管理等方面的开放挑战，强调数据库社区的研究机遇并附实践环节。
2026-10-14 cs.DB cs.LG cs.SE
Automatic Machine Learning by Pipeline Synthesis using Model-Based Reinforcement Learning and a Grammar
New York University（纽约大学）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
自动机器学习是机器学习研究的前沿课题。最强大的AutoML系统基于神经网络、进化算法和贝叶斯优化。最近，AlphaD3M使用带有自我游戏的强化学习实现了数量级加速，达到了最先进的结果。在这项工作中，我们通过使用流水线语法和预训练模型来扩展AlphaD3M，该模型从许多不同的数据集和类似的任务中概括出来。我们的研究结果表明，与我们早期的工作和AutoML基准数据集上的现有方法相比，分类和回归任务的性能有所提高。本着可重复研究的精神，我们将我们的数据、模型和代码公开提供。
2019-05-24 cs.LG stat.ML
ReinBo: Machine Learning pipeline search and configuration with Bayesian Optimization embedded Reinforcement Learning
LMU Munich（慕尼黑大学）
机器学习流水线潜在地由几个操作阶段组成，如数据预处理、特征工程和机器学习模型训练。每个操作都有一组超参数，当操作未被选择时，这些超参数可能与管道无关。这就产生了一个分层的条件超参数空间。为了优化这种混合的连续和离散条件分层超参数空间，我们提出了一种有效的管道搜索和配置算法，该算法结合了强化学习和贝叶斯优化的力量。实验结果表明，我们的方法表现良好的最先进的方法，如自动sklearn，TPOT，树Parzen窗口，随机搜索。
2019-04-10 cs.AI cs.LG stat.ML
SemPiper: Interactive Code Synthesis for Semantic Operators in Machine Learning Pipelines
BIFOLD & TU Berlin（BIFOLD 与柏林工业大学）
提出SemPipes编程模型，通过声明式语义算子和LLM合成专用实现，结合Python代码，实现可控、可优化的ML流水线开发。
2026-06-15 cs.DB cs.LG
A Gray Box Interpretable Visual Debugging Approach for Deep Sequence Learning Model
University of Dhaka（达卡大学）；United International University（联合国际大学）
深度学习算法通常被用作黑盒类型的学习，并且它们太复杂而难以理解。深度学习算法在解决各种机器学习问题方面的广泛可用性要求对内部表示和决策进行深入而透明的理解。此外，学习模型，训练的顺序数据，如音频和视频数据，有复杂的内部推理过程，由于其复杂的分布特征。因此，视觉模拟器可能有助于跟踪内部决策机制以响应对抗性输入数据，并且有助于调试和设计适当的深度学习模型。然而，解释深度学习模型的内部推理在文献中并没有得到很好的研究。在这项工作中，我们开发了一个可视化的交互式Web应用程序，即d-DeVIS，它有助于可视化在音频数据上训练的学习模型的内部推理。所提出的系统允许感知的行为，以及通过交互式地生成对抗音频数据点调试模型。d-DeVIS的Web应用程序可在ddevis.herokuapp.com上获得。
2018-11-20 cs.HC cs.LG cs.SD
Production Machine Learning Pipelines: Empirical Analysis and Optimization Opportunities
University of California, Berkeley（加州大学伯克利分校）；Google（谷歌）
机器学习（ML）现在已经很普遍，为各种组织中的数据驱动应用程序提供动力。与研究中对ML的传统看法不同，ML生产管道很复杂，除了训练之外还有许多互锁的分析组件，其子部分通常在重叠的数据子集上运行多次。然而，缺乏有关这些管道的寿命、架构、频率和复杂性的定量证据，无法了解如何使用数据管理研究来使它们更高效、更有效、更强大和更可复制。为此，我们分析了Google的3000个生产ML管道的起源图，其中包括超过450，000个经过训练的模型，时间跨度超过四个月，以了解生产ML的复杂性和挑战。我们的分析揭示了各种粒度下典型行业强度ML管道的特征，组件和拓扑结构。在此过程中，我们引入了一个专门的数据模型，用于表示和推理这些ML管道中重复运行的组件，我们称之为模型小图。我们确定了几个丰富的优化机会，利用传统的数据管理思想。我们展示了如何瞄准这些机会之一，即，识别和修剪没有转换为模型部署的浪费计算，可以将浪费的计算成本减少50%，而不会影响模型部署节奏。
2021-03-30 cs.DB cs.LG
Data Pricing in Machine Learning Pipelines
Simon Fraser University（西蒙弗雷泽大学）；Singapore Management University（新加坡管理大学）；Huawei Technologies Canada（华为技术加拿大有限公司）
机器学习是颠覆性的。与此同时，机器学习只有通过多方之间的协作才能取得成功，这些协作在多个步骤中自然地作为生态系统中的管道，例如为可能的机器学习应用收集数据，多方协作训练模型以及向最终用户提供机器学习服务。数据在整个机器学习管道中是至关重要和渗透的。由于机器学习管道涉及多方，并且为了取得成功，必须形成一个建设性和动态的生态系统，市场和数据定价是连接和促进这些多方的基础。本文综述了机器学习管道中数据定价的原理和最新研究进展。我们首先简要回顾一下数据市场和定价需求。然后，我们重点讨论机器学习管道中的三个重要步骤中的定价。为了理解训练数据收集步骤中的定价，我们回顾了原始数据集和数据标签的定价。我们还研究了机器学习模型的协同训练步骤中的定价，并概述了机器学习部署步骤中最终用户的机器学习模型的定价。我们还讨论了一系列可能的未来方向。
2021-08-18 cs.LG
Adaptive Bayesian Linear Regression for Automated Machine Learning
Universite Cote d’Azur（蔚蓝海岸大学）；I3S laboratory（I3S实验室）
为了解决机器学习问题，通常需要执行数据预处理、建模和超参数调整，这被称为模型选择和超参数优化。自动机器学习（AutoML）的目标是设计能够自动执行模型选择和超参数优化的方法，而无需人为干预。在本文中，我们提出了一种元学习方法，可以搜索一个高性能的机器学习管道从预定义的候选管道的监督分类数据集在一个有效的方式，通过利用从以前的实验收集的元数据。更具体地说，我们的方法结合了一个自适应贝叶斯回归模型与神经网络基函数和贝叶斯优化的采集功能。自适应贝叶斯回归模型能够从先前的元数据中捕获知识，从而对新数据集上的机器学习流水线的性能进行预测。实验结果表明，该方法能够快速识别出一系列测试数据集的高性能流水线，性能优于基线方法。
2019-04-18 cs.LG stat.ML
MIMIC-Extract: A Data Extraction, Preprocessing, and Representation Pipeline for MIMIC-III
Layer 6 AI；University of Toronto（多伦多大学）；Massachusetts Institute of Technology（麻省理工学院）；Tufts University（塔夫茨大学）；Microsoft Research（微软研究院）
强大的机器学习依赖于对数据的访问，这些数据可以在重要任务中与标准化框架一起使用，并且能够开发其性能可以合理再现的模型。在医疗保健领域的机器学习中，由于缺乏可公开访问的数据和标准化的数据处理框架，社区面临着可重复性的挑战。我们提出MIMIC-Extract，一个开源管道，用于将公共MIMIC-III数据库中包含的重症监护患者的原始电子健康记录（EHR）数据转换为可直接用于常见机器学习管道的框架。MIMIC-Extract解决了使复杂的健康记录数据可供更广泛的机器学习社区访问的三个主要挑战。首先，它提供了标准化的数据处理功能，包括单位转换、离群值检测和聚合语义等效特征，从而解决重复问题并减少遗漏。其次，它保留了临床数据的时间序列性质，并且可以很容易地集成到健康机器学习中的临床可行预测任务中。最后，它具有高度的可扩展性，因此其他有相关问题的研究人员可以轻松使用相同的管道。我们通过展示几个基准任务和基准结果来演示此管道的实用性。
2020-08-19 cs.LG stat.ML
Modyn: Data-Centric Machine Learning Pipeline Orchestration
ETH Zurich（苏黎世联邦理工学院）；IT University of Copenhagen（哥本哈根信息技术大学）；Technical University of Munich（慕尼黑工业大学）
Modyn是一个以数据为中心的端到端机器学习平台，通过声明式管道抽象支持持续训练，引入复合模型概念衡量性能，并实证分析数据选择与触发策略对准确率的影响。
2025-01-24 cs.AI cs.DB cs.DC
Incremental Search Space Construction for Machine Learning Pipeline Synthesis
USU Software AG（USU软件公司）；University of Technology Sydney（悉尼科技大学）；University of Stuttgart（斯图加特大学）；Fraunhofer IPA（弗劳恩霍夫生产技术与自动化研究所）
自动化机器学习（AutoML）旨在自动构建机器学习（ML）流水线。许多研究已经研究了算法选择和超参数优化的有效方法。然而，ML流水线综合和优化的方法，考虑到复杂的流水线结构，包含多个预处理和分类算法的影响还没有得到彻底的研究。在本文中，我们提出了一种以数据为中心的方法，基于元特征的管道建设和超参数优化的启发，人类行为。通过结合中间数据集的元特征增量地扩展流水线搜索空间，我们能够有效地修剪流水线结构搜索空间。因此，可以构建灵活且数据集特定的ML管道。我们证明了我们的方法的有效性和竞争力的28个数据集上使用的成熟的AutoML基准相比，国家的最先进的AutoML框架。
2021-01-26 cs.LG
AlphaD3M: Machine Learning Pipeline Synthesis
我们介绍AlphaD3M，一个自动机器学习（AutoML）系统的基础上Meta强化学习使用序列模型与自我发挥。AlphaD3M基于在机器学习管道原语上执行的编辑操作，提供可解释性。我们在OpenML数据集上将AlphaD3M与最先进的AutoML系统：Autosklearn，Autostacker和TPOT进行了比较。AlphaD3M实现了具有竞争力的性能，同时速度快了一个数量级，将计算时间从几小时减少到几分钟，并且可以通过设计来解释。
2021-11-03 cs.LG
Designing Machine Learning Pipeline Toolkit for AutoML Surrogate Modeling Optimization
IBM Research（IBM研究院）
机器学习中的流水线优化问题需要同时优化流水线结构和其元件的参数自适应。有一个优雅的方式来表达这些结构，可以帮助减少管理和分析其性能的复杂性，以及不同的优化策略的选择。考虑到这些问题，我们创建了AutoMLPipeline（AMLP）工具包，它可以使用简单的表达式来创建和评估复杂的机器学习管道结构。我们使用AMLP来找到最佳的管道签名，对它们进行数据挖掘，并使用这些数据挖掘的功能来加速学习和预测。我们在AMLP中使用代理建模制定了一个两阶段的管道优化，它在不到5分钟的AMLP计算时间内以4小时的时间预算优于其他AutoML方法。
2021-07-14 cs.AI cs.LG
Automated Evolutionary Approach for the Design of Composite Machine Learning Pipelines
ITMO University（ITMO大学）
机器学习方法对于现实世界任务的有效性取决于建模管道的适当结构。所提出的方法的目的是自动化的复合机器学习管道，这是相当于计算工作流，包括模型和数据操作的设计。该方法结合了自动化机器学习和工作流管理系统的关键思想。它设计了一个可定制的基于图形的结构的管道，分析所获得的结果，并再现它们。将进化方法用于管道结构的柔性识别。为了提高该方法的有效性，实现了用于灵敏度分析、原子化和超参数调整的附加算法。此外，这种方法的软件实现是作为一个开源的框架。针对不同的数据集和任务（分类，回归，时间序列预测）进行了一系列实验。通过与现有竞争对手和基准解决方案的比较，验证了所提方法的正确性和有效性。
2021-06-26 cs.LG
Building a Reproducible Machine Learning Pipeline
Tala（Tala公司）
建模的再现性是任何机器学习从业者都存在的问题，无论是在工业界还是学术界。不可复制的模型的后果可能包括巨大的财务成本，损失的时间，甚至个人声誉的损失（如果结果证明无法复制）。本文将首先讨论我们在构建各种机器学习模型时遇到的问题，然后描述我们为解决模型再现性问题而构建的框架。该框架由四个主要组件（数据、特征、评分和评估层）组成，这些组件本身由定义良好的转换组成。这使我们不仅能够精确地复制模型，而且还可以在不同的模型之间重用转换。因此，该平台大大提高了离线和在线实验的速度，同时还确保了模型的可重复性。
2018-10-09 cs.LG cs.SE stat.ML
Improving Radiography Machine Learning Workflows via Metadata Management for Training Data Selection
Georgia Tech（佐治亚理工学院）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
针对复杂机器学习流程难管理的问题，提出一种用于动态放射学的元数据管理工具，通过追踪元数据辅助训练数据选择，有效提升了工作流效率并具备向通用流程扩展的潜力。
2024-08-22 cs.HC cs.LG
Data Pipeline Training: Integrating AutoML to Optimize the Data Flow of Machine Learning Models
University of Southern California（南加州大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究将AutoML集成到数据流水线中以优化数据流，提出构建自适应高效数据流水线的关键策略，从而加速建模并提升复杂数据领域中的机器学习效果。
2024-02-20 cs.AI cs.LG
Machine Learning Pipelines: Provenance, Reproducibility and FAIR Data Principles
Heinz-Nixdorf Chair for Distributed Information Systems（海因茨-尼克斯多夫分布式信息系统讲席）；Michael Stifel Center Jena（耶拿米夏埃尔·施蒂费尔中心）；Friedrich Schiller University Jena（耶拿弗里德里希·席勒大学）
机器学习（ML）是一种越来越重要的科学工具，支持许多领域的决策和知识生成。因此，ML实验结果的可重复性也变得越来越重要。不幸的是，情况往往并非如此。相反，ML与许多其他学科一样，面临着可重复性危机。在本文中，我们描述了我们支持ML管道端到端再现性的目标和初始步骤。我们研究了除了源代码和数据集的可用性之外，哪些因素会影响ML实验的可重复性。我们提出了将FAIR数据实践应用于ML工作流的方法。我们提出了我们的工具，ProvBook的作用，在捕获和比较ML实验的起源和他们的再现性使用autoyter笔记本电脑的初步结果。
2020-06-22 cs.AI cs.LG stat.ML
Deep Pipeline Embeddings for AutoML
University of Freiburg（弗莱堡大学）
本文提出深度流水线嵌入方法，通过逐组件编码器捕捉机器学习流水线组件间的深层交互，并结合贝叶斯优化与元学习，在三个大规模元数据集上实现了最优的流水线优化效果。
2023-05-24 cs.LG
Towards autonomic orchestration of machine learning pipelines in future networks
TU Berlin（柏林工业大学）
机器学习（ML）技术越来越多地用于移动网络中的网络规划、运营、管理、优化等。这些技术是使用一组称为ML流水线的逻辑节点来实现的。单个网络运营商可能有数千个这样的ML管道分布在其网络中。这些管道需要跨网络域进行管理和协调。因此，在移动网络中实现ML管道的自主多域编排至关重要。国际电信联盟（ITU）为未来网络中ML管道的管理和编排提供了一个架构框架。我们扩展了这个框架，以支持跨多个网络域的ML管道的自主编排。我们提出了我们的系统架构，并使用智能工厂用例描述其应用程序。我们的工作允许以标准化，技术不可知，隐私保护的方式自主编排多域ML管道。
2021-07-17 cs.AI cs.LG cs.NI
Fair Preprocessing: Towards Understanding Compositional Fairness of Data Transformers in Machine Learning Pipeline
Iowa State University（爱荷华州立大学）
近年来，已经报道了许多事件，其中机器学习模型表现出基于种族、性别、年龄等的人之间的歧视。已经进行了研究以测量和减轻机器学习模型中的不公平。对于机器学习任务，通常的做法是构建一个流水线，该流水线包括一组有序的数据预处理阶段，然后是分类器。然而，大多数关于公平性的研究都考虑了基于单个分类器的预测任务。机器学习管道中预处理阶段的公平性影响是什么？此外，研究表明，不公平的根本原因往往根植于数据本身，而不是模型。但是，还没有研究已经进行了测量的不公平性所造成的一个特定的转换，在数据预处理阶段。在本文中，我们引入了公平性的因果方法来推理ML管道中数据预处理阶段的公平性影响。我们利用现有的指标来定义阶段的公平性度量。然后，我们进行了详细的公平性评估的预处理阶段，在37个管道收集来自三个不同的来源。我们的结果表明，某些数据Transformers导致模型表现出不公平性。我们在几类数据Transformers中确定了一些公平模式。最后，我们展示了预处理阶段的局部公平性如何构成流水线的全局公平性。我们使用公平组合来选择适当的下游Transformer，以减轻机器学习管道中的不公平。
2021-07-20 cs.LG
Integration Of Evolutionary Automated Machine Learning With Structural Sensitivity Analysis For Composite Pipelines
ITMO University（圣彼得堡国立信息技术、机械学与光学研究大学）；Huawei Technologies Co Ltd（华为技术有限公司）
提出EVOSA方法，结合敏感性分析与进化AutoML，优化灵活管道结构，提高鲁棒性和可解释性，并在多领域任务中验证有效性。
2023-12-22 cs.LG cs.NE
SysML'19 demo: customizable and reusable Collective Knowledge pipelines to automate and reproduce machine learning experiments
cTuning foundation（cTuning基金会）；dividiti（dividiti公司）
复制、比较和重用来自机器学习和系统论文的结果是一个非常繁琐、临时且耗时的过程。我将演示如何使用社区开发的开源、可移植、可定制和基于CLI的Collective Knowledge工作流和管道来自动化此过程。我将帮助参与者运行来自SysML'19会议、公司（通用汽车、Arm）和MLPerf基准测试的几个真实的非虚拟化CK工作流，以自动化针对机器学习工作负载的高效软件/硬件堆栈的基准测试和协同设计。我希望我们的方法可以帮助作者在共享可重用和可扩展的研究工件时减少他们的努力，同时使工件评估者能够以标准和可移植的方式自动验证已发表论文的实验结果。
2019-03-31 cs.LG
Identifying and Harnessing the Building Blocks of Machine Learning Pipelines for Sensible Initialization of a Data Science Automation Tool
Institute for Biomedical Informatics, University of Pennsylvania（宾夕法尼亚大学生物医学信息学研究所）
随着数据科学越来越受欢迎，越来越需要使数据科学工具更具可扩展性，灵活性和可访问性。特别地，自动化机器学习（AutoML）系统寻求使设计和优化机器学习流水线的过程自动化。在本章中，我们提出了一个基于遗传编程的AutoML系统，称为TPOT，它优化了一系列特征预处理器和机器学习模型，目标是在监督分类问题上最大限度地提高分类精度。此外，我们分析了以前用于解决各种监督分类问题的管道的大型数据库，并确定了100个最频繁出现的机器学习操作的短系列，我们称之为机器学习管道的构建块。我们利用这些构建块来初始化TPOT有前途的解决方案，并发现这种明智的初始化方法显着提高TPOT的性能在一个基准测试，而没有显着降低性能的成本。因此，使用机器学习管道构建块进行合理的初始化为基于GP的AutoML系统带来了希望，并且应该在未来的工作中进一步完善。
2016-07-29 cs.AI cs.LG cs.NE
Plumber: Diagnosing and Removing Performance Bottlenecks in Machine Learning Data Pipelines
Carnegie Mellon University（卡内基梅隆大学）；ETH Zürich（苏黎世联邦理工学院）；Google（谷歌）
输入管道，摄取和转换输入数据，是训练机器学习（ML）模型的重要组成部分。然而，实现高效的输入管道是具有挑战性的，因为它需要对细粒度分析信息中的并行性、可扩展性和可变性进行推理。我们对Google训练中心中超过200万个ML工作的分析表明，很大一部分模型训练工作可以从更快的输入数据管道中受益。与此同时，我们的分析表明，大多数作业不会使主机硬件饱和，这指向了基于软件的瓶颈。受这些发现的启发，我们提出了Plumber，这是一种用于查找ML输入管道中瓶颈的工具。Plumber使用可扩展和可解释的操作分析分析模型，在主机资源约束下自动调优并行性、预取和缓存。在五个具有代表性的ML管道中，Plumber针对错误配置的管道获得了高达47倍的加速。通过自动缓存，Plumber与最先进的调谐器相比，获得了超过50%的端到端加速。
2022-03-21 cs.LG cs.PF
Machine learning pipeline for battery state of health estimation
Heriot-Watt University（赫瑞-瓦特大学）；University of Maryland（马里兰大学）
锂离子电池在从便携式电子产品到电动汽车的现代应用中无处不在。无论何种应用，通过单板计算机对电池健康状态（SOH）进行可靠的实时评估对于电池的安全运行至关重要，最终保障资产的完整性。在本文中，我们设计和评估了一个机器学习管道，用于估计电池容量衰减-电池健康的度量-在各种条件下循环的179个电池。管道通过使用两个参数和两个非参数算法来估计具有相关置信区间的电池SOH。使用充电电压和电流曲线的片段，流水线设计30个特征，执行自动特征选择并校准算法。当部署在快速充电协议下运行的电池上时，最佳模型的均方根误差为0.45%。这项工作为电池SOH估计的可扩展数据驱动模型的设计提供了见解，强调了预测周围的置信界限的价值。流水线方法将实验数据与机器学习建模相结合，并且可以推广到需要实时估计SOH的其他关键组件。
2021-02-01 cs.LG
Modeling Quality and Machine Learning Pipelines through Extended Feature Models
University of L’Aquila（拉奎拉大学）
最近机器学习（ML）方法的复杂性增加，导致有必要减轻研究和工业开发过程。ML管道已经成为许多领域的专家、数据科学家和研究人员的重要工具，使他们能够轻松地将多个ML模型组合在一起，以覆盖从原始数据集开始的完整分析过程。多年来，已经提出了几种解决方案来自动构建ML管道，其中大多数专注于输入数据集的语义方面和特征。然而，考虑到ML系统所需的新质量问题（如公平性，可解释性，隐私等）的方法。仍然下落不明在本文中，我们首先从文献中确定ML系统的关键质量属性。此外，我们提出了一种新的工程方法，通过适当地扩展特征模型的元模型的质量ML管道。所提出的方法允许对ML管道、其质量要求（整个管道和单个阶段）以及用于实现每个管道阶段的算法的质量特性进行建模。最后，我们证明了我们的模型考虑分类问题的表现力。
2022-07-15 cs.LG cs.SE
Evaluation of a Tree-based Pipeline Optimization Tool for Automating Data Science
University of Pennsylvania（宾夕法尼亚大学）；University of Chicago（芝加哥大学）
随着数据科学领域的不断发展，对非专家也能使用机器学习的工具的需求将不断增加。在本文中，我们引入了基于树的管道优化的概念，用于自动化机器学习中最乏味的部分之一--管道设计。我们在Python中实现了一个开源的基于树的管道优化工具（TPOT），并在一系列模拟和真实世界的基准数据集上证明了其有效性。特别是，我们表明，TPOT可以设计机器学习管道，提供了一个显着的改进，基本的机器学习分析，同时需要很少或没有输入，也没有从用户的先验知识。我们还解决了TPOT的趋势，设计过于复杂的管道集成帕累托优化，产生紧凑的管道，而不牺牲分类精度。因此，这项工作代表了完全自动化机器学习管道设计的重要一步。
2016-03-20 cs.AI cs.LG cs.NE
Automating biomedical data science through tree-based pipeline optimization
University of Louisville（路易斯维尔大学）
在过去的十年中，数据科学和机器学习已经从一种神秘的艺术形式发展成为学术界、商业界和政府各个领域的主要工具。在本文中，我们引入了基于树的管道优化的概念，用于自动化机器学习中最乏味的部分之一--管道设计。我们实现了一个基于树的管道优化工具（TPOT），并在一系列模拟和真实世界的遗传数据集上证明了其有效性。特别是，我们表明，TPOT可以建立机器学习管道，实现有竞争力的分类精度和发现新的管道运营商-如合成特征构造器-显着提高这些数据集的分类精度。我们还强调了管道优化目前面临的挑战，例如产生过拟合数据的管道的趋势，并建议未来的研究路径来克服这些挑战。因此，这项工作代表了完全自动化机器学习管道设计的早期步骤。
2016-01-28 cs.LG cs.NE
Finding Reusable Machine Learning Components to Build Programming Language Processing Pipelines
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Argonne National Laboratory（阿贡国家实验室）；North Carolina State University（北卡罗来纳州立大学）
针对编程语言处理领域新从业者难寻合适机器学习组件搭建流水线的问题，研究通过分析代表性论文梳理核心概念，提升组件FAIR特性，并给出复用组件搭建流水线的示例。
2023-06-15 cs.LG cs.PL
AutoWeka4MCPS-AVATAR: Accelerating Automated Machine Learning Pipeline Composition and Optimisation
University of Technology Sydney（悉尼科技大学）
自动化的机器学习流水线（ML）组合和优化旨在自动化在分配的资源内找到最有前途的ML流水线的过程（即，CPU和内存）。现有的方法，例如在Auto-Weka、Auto-sklearn和TPOT中实现的基于贝叶斯和基于遗传的优化，通过执行它们来评估管道。因此，这些方法的管道组成和优化通常需要大量的时间，这使他们无法探索复杂的管道来找到更好的预测模型。为了进一步探索这一研究挑战，我们进行了实验，结果表明，许多生成的管道首先是无效的，尝试执行它们是浪费时间和资源。为了解决这个问题，我们提出了一种新的方法来评估ML管道的有效性，没有他们的执行，使用代理模型（AVATAR）。AVATAR通过自动学习ML算法对数据集特征的能力和影响来生成知识库。该知识库用于从原始ML流水线到代理模型的简化映射，该代理模型是基于Petri网的流水线。AVATAR不是执行原始ML管道来评估其有效性，而是评估由ML管道组件的功能和效果以及输入/输出简化映射构建的代理模型。与执行原始管道相比，评估此代理模型占用的资源较少。因此，AVATAR使管道组合和优化方法能够通过快速拒绝无效管道来评估更多管道。我们将AVATAR集成到顺序的基于模型的算法配置（SMAC）。我们的实验表明，当SMAC使用AVATAR时，它会找到比自己更好的解决方案。
2020-11-21 cs.LG stat.CO
Tiny-HR: Towards an interpretable machine learning pipeline for heart rate estimation on edge devices
University of Alberta（阿尔伯塔大学）；IIT Kharagpur（印度理工学院卡拉格普尔分校）
本文的重点是概念验证，即机器学习（ML）管道，该管道从低功耗边缘设备上获取的压力传感器数据中提取心率。ML流水线由上采样器神经网络、信号质量分类器和1D-卷积神经网络组成，该网络针对高效准确的心率估计进行了优化。这些模型的设计使管道小于40 kB。此外，开发了由上采样器和分类器组成的混合流水线，随后是峰值检测算法。这些管道部署在ESP 32边缘设备上，并针对信号处理进行基准测试，以确定能量使用和推理时间。结果表明，与传统算法相比，所提出的ML和混合流水线减少了82%的能量和时间。ML流水线的主要折衷是准确性，平均绝对误差（MAE）为3.28，而混合和信号处理流水线为2.39和1.17。因此，ML模型显示出在能源和计算受限设备中部署的前景。此外，ML流水线的较低采样率和计算要求可以使定制硬件解决方案能够降低可穿戴设备的成本和能源需求。
2022-08-16 cs.HC cs.LG eess.SP
Two-stage Optimization for Machine Learning Workflow
IBM（国际商业机器公司）；Poznań University of Technology（波兹南理工大学）
机器学习技术在处理大量数据方面发挥着优势作用，几乎在每个可能的领域都有应用。构建一个高质量的机器学习模型以部署在生产中是一项具有挑战性的任务，无论是主题专家还是机器学习从业者。为了更广泛地采用和扩展机器学习系统，机器学习工作流的构造和配置需要自动化。在过去的几年里，已经在这个方向上开发了几种技术，称为autoML。在本文中，我们提出了一个两阶段的优化过程来构建数据管道和配置机器学习算法。首先，我们研究了数据管道与算法配置的影响，以显示数据预处理对超参数调整的重要性。第二部分提出了在数据管道构造和算法配置之间有效分配搜索时间的策略。这些策略与元优化器无关。最后，我们提出了一个度量标准来确定数据管道是特定的还是独立于算法，从而为冷启动问题提供细粒度的管道修剪和元学习。
2019-07-01 cs.AI cs.LG
Leak Detection in Natural Gas Pipeline Using Machine Learning Models
University of Ibadan（伊巴丹大学）
天然气管道泄漏检测是石油天然气工业中一个重要而持久的问题。这一点尤其重要，因为管道是最常见的天然气运输方式。本研究旨在研究数据驱动的智能模型使用基本操作参数检测天然气管道小泄漏的能力，然后使用现有的性能指标比较智能模型。该项目采用观测器设计技术，检测天然气管道泄漏使用regressocclassification分层模型，其中智能模型作为回归和修改后的逻辑回归模型作为分类器。本项目利用4周的流水线数据流研究了梯度提升、决策树、随机森林、支持向量机和人工神经网络等5种智能模型。结果表明，虽然支持向量机和人工神经网络是更好的回归比其他，他们没有提供最好的结果，泄漏检测由于其内部的复杂性和使用的数据量。随机森林和决策树模型是最敏感的，因为它们可以在大约2小时内检测到标称流量的0.1%的泄漏。所有智能模型在测试阶段均具有较高的可靠性和零虚警率。将所有智能模型的平均泄漏检测时间与文献中的实时的瞬态模型进行比较。结果表明，智能模型在泄漏检测问题中表现相对较好。这一结果表明，智能模型可以与实时的瞬态模型一起使用，以显着改善泄漏检测结果。
2022-09-21 cs.LG
SapientML: Synthesizing Machine Learning Pipelines by Learning from Human-Written Solutions
Fujitsu Research of America, Inc.（美国富士通研究有限公司）；Fujitsu Ltd.（富士通有限公司）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
自动机器学习（AutoML）通过基本上自动化数据科学家的工作，有望真正实现机器学习（ML）的民主化。然而，候选管道的巨大组合搜索空间意味着当前的AutoML技术生成次优管道，或者根本没有，特别是在大型复杂数据集上。在这项工作中，我们提出了一种AutoML技术SapientML，它可以从现有数据集的语料库及其人类编写的管道中学习，并有效地为新数据集上的预测任务生成高质量的管道。为了对抗AutoML的搜索空间爆炸，SapientML采用了一种新的分而治之的策略，实现为三阶段的程序合成方法，该方法基于连续较小的搜索空间。第一阶段使用机器学习模型来预测一组合理的ML组件以构成管道。在第二阶段中，然后使用从语料库和机器学习模型导出的语法约束将其细化为一小部分可行的混凝土管道。在第三阶段，动态评估这几个管道提供了最佳解决方案。我们将SapientML实例化为全自动化工具链的一部分，该工具链通过挖掘Kaggle创建一个干净的、标记的学习语料库，从中学习，并使用学习到的模型来合成新预测任务的管道。我们创建了一个包含170个数据集的1094个管道的训练语料库，并在一组41个基准数据集上评估了SapientML，其中包括来自Kaggle的10个新的大型真实世界数据集，以及3个最先进的AutoML工具和2个基线。我们的评估表明，SapientML在27个基准测试中产生了最好或相当的准确性，而第二好的工具…
2022-04-19 cs.AI cs.LG cs.SE
FeedbackLogs: Recording and Incorporating Stakeholder Feedback into Machine Learning Pipelines
University of Cambridge（剑桥大学）；Responsible AI Institute（负责任人工智能研究所）；Carnegie Mellon University（卡内基梅隆大学）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出FeedbackLogs，作为ML流水线文档的补充，用于记录和纳入多利益相关者反馈，形式化收集流程，并展示其在算法审计和记录更新中的用例。
2023-07-28 cs.AI cs.HC cs.LG
Towards an Automated Pipeline for Detecting and Classifying Malware through Machine Learning
Università degli Studi di Torino（都灵大学）；aizoOn Technology Consulting（aizoOn技术咨询公司）
恶意软件-对计算机和信息网络可能有害的软件或代码片段-数量的不断增长以及复杂的规避和混淆技术的使用严重阻碍了传统的基于签名的方法。另一方面，基于机器学习技术的恶意软件检测系统开始为标准方法提供有前途的替代方案，大大减少了分析时间，并对规避和混淆技术更加强大。在本文中，我们提出了一个恶意软件分类分类管道能够分类Windows便携式可执行文件（PE）。给定一个输入PE样本，它首先被分类为恶意或良性。如果是恶意的，管道会进一步分析它，以确定其威胁类型、家族和行为。我们在开源数据集EMBER上测试了所提出的管道，该数据集包含大约100万个PE样本，通过静态分析进行分析。所获得的恶意软件检测结果与当前最先进的其他学术著作相当，此外，我们还提供了对恶意样本的深入分类。管道中使用的模型提供了可解释的结果，可以帮助安全分析师更好地理解自动化管道所做的决策。
2021-06-10 cs.CR cs.LG
PIPES: A Meta-dataset of Machine Learning Pipelines
Centro de Informática, Universidade Federal de Pernambuco（佛罗里达州立大学佩纳布洛分校计算机中心）；Instituto de Computação, Universidade Federal de Alagoas（阿拉加斯联邦大学计算机研究所）；École de Technologie Supérieure, Université du Québec（魁北克大学超技术学院）
针对OpenML流水线多样性不足的问题，提出PIPES元数据集，包含9,408个流水线在300个数据集上的实验结果，覆盖技术组合，支持元学习研究。
2025-09-11 cs.LG
A Dual Pipeline Machine Learning Framework for Automated Multi Class Sleep Disorder Screening Using Hybrid Resampling and Ensemble Learning
本文提出双管道机器学习框架，结合混合重采样和集成学习，实现高准确率的多类睡眠障碍自动筛查。
2026-02-06 cs.LG
Forensicability of Deep Neural Network Inference Pipelines
University of Innsbruck（因斯布鲁克大学）
我们提出了通过跟踪可观察输出中的特征数值偏差来推断机器学习管道的执行环境的属性的方法。在本地和云托管机器上获得的一系列概念验证实验的结果产生了可能的法医应用，例如识别用于产生深度神经网络预测的硬件平台。最后，我们引入边界样本，放大数值偏差，以便仅通过其预测标签来区分机器。
2021-02-18 cs.CR cs.LG cs.MM
Automated Machine Learning Pipeline: Large Language Models-Assisted Automated Dataset Generation for Training Machine-Learned Interatomic Potentials
NYU, Department of Chemistry（纽约大学化学系）；Initiative for Computational Catalysis, Flatiron Institute（计算催化计划，Flatiron研究所）；NYU, Department of Physics（纽约大学物理系）；Courant Institute of Mathematical Sciences, NYU（数学科学学院，纽约大学）；NYU-ECNU Center for Computational Chemistry（纽约大学-复旦大学计算化学中心）；Simons Center for Computational Physical Chemistry, NYU（Simons计算物理化学中心，纽约大学）
本文提出基于大语言模型的自动化机器学习流水线，用于生成训练数据集以提升机器学习互作用势的精度和稳定性。
2025-12-19 cond-mat.mtrl-sci cs.LG
On Leakage in Machine Learning Pipelines
Forschungszentrum Jülich（于利希研究中心）；Heinrich-Heine-University Düsseldorf（海因里希·海涅大学杜塞尔多夫）；Max Planck School of Cognition（马克斯·普朗克认知学院）；University Hospital Ulm（乌尔姆大学医院）；University Ulm（乌尔姆大学）；Principal Global Services；University College London（伦敦大学学院）；The Alan Turing Institute（艾伦·图灵研究所）；European Lab for Learning & Intelligent Systems (ELLIS)（欧洲学习与智能系统实验室（ELLIS））；IIT Bombay（孟买印度理工学院）
本文旨在扩展对机器学习管道中导致泄漏原因的理解，通过具体示例全面概述并讨论了ML管道中可能出现的各类泄漏问题。
2024-03-05 cs.AI cs.LG
Text2Struct: A Machine Learning Pipeline for Mining Structured Data from Text
Northwestern University Feinberg School of Medicine（西北大学范伯格医学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；LinkedIn（领英）
本文提出Text2Struct，一种无需特殊模板即可从文本中挖掘结构化数据的端到端机器学习流水线，在血栓切除术摘要数据集上取得Dice系数0.82，验证了其有效性。
2025-06-22 cs.IR cs.LG
Proposing an Interactive Audit Pipeline for Visual Privacy Research
University of Oklahoma（俄克拉荷马大学）；Carnegie Mellon University（卡内基梅隆大学）
在理想的世界中，部署的机器学习模型将改善我们的社会。我们希望这些模式将提供公正和合乎道德的决定，使每个人受益。然而，情况并非总是如此;在数据准备过程中，在模型部署的整个步骤中都会出现问题。继续使用有偏见的数据集和流程将对社区造成不利损害，并增加以后解决问题的成本。在这项工作中，我们走查的决策过程中，研究人员应该考虑之前，期间和之后的系统部署，以了解更广泛的影响，他们的研究在社区。在本文中，我们讨论了机器学习管道中的公平性、隐私和所有权问题;我们断言需要一种负责任的人在回路中的方法，将问责制引入机器学习管道，最后，反思探索具有有害社会影响的研究议程的必要性。我们研究了视觉隐私研究，并吸取了可以广泛应用于人工智能的经验教训。我们的目标是系统地分析机器学习管道中的视觉隐私和偏见问题。我们希望提高利益相关者（例如，研究人员、建模人员、公司）的意识，因为这些问题在该管道的各个机器学习阶段中传播。
2021-11-24 cs.CY cs.LG
Machine Learning Pipeline for Pulsar Star Dataset
University of Sao Paulo（圣保罗大学）；Institute of Mathematics and Computer Science（数学与计算机科学研究所）
这项工作汇集了一些最常见的机器学习（ML）算法，目标是在从一组不平衡数据中获得的结果的水平上进行比较。该数据集由近17000个对天文物体进行的观测组成，以识别天体（HTRU2）。该方法建议的基础上评估这些不同的模型在同一数据库中的准确性处理不平衡数据的两种不同的策略。结果表明，尽管这种类型的数据中存在噪声和不平衡的类，它是可能的，将它们应用于标准的ML算法，并获得有前途的准确率。
2020-05-03 astro-ph.IM cs.LG
tf.data: A Machine Learning Data Processing Framework
Microsoft（微软公司）；Google（谷歌公司）；ETH Zurich（苏黎世联邦理工学院）
训练机器学习模型需要为模型提供输入数据。机器学习作业的输入管道通常具有挑战性，因为它们需要读取大量数据，应用复杂的转换，并将数据传输到硬件加速器，同时重叠计算和通信以实现最佳性能。我们提出了tf.data，这是一个为机器学习作业构建和执行高效输入管道的框架。tf.data API提供的运算符可以通过用户定义的计算进行参数化、组合，并在不同的机器学习域中重复使用。这些抽象允许用户专注于数据处理的应用程序逻辑，而tf.data的运行时则确保管道高效运行。我们证明了输入管道性能对最先进的机器学习模型的端到端训练时间至关重要。tf.data提供了所需的高性能，同时避免了手动调整性能旋钮的需要。我们表明，tf.data的功能，如并行，缓存，静态优化，和非确定性执行的高性能是必不可少的。最后，我们描述了在Google车队中运行的数百万个作业的机器学习输入管道，表明输入数据处理是高度多样化的，并且消耗了很大一部分作业资源。我们的分析激发了未来的研究方向，如跨作业共享计算和将数据投影推到存储层。
2021-02-23 cs.LG cs.MS
