A Step Toward Quantifying Independently Reproducible Machine Learning Research
Booz Allen Hamilton（博思艾伦汉密尔顿）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
是什么让一篇论文具有独立的可复制性？关于再现性的争论主要围绕直觉或假设展开，缺乏实证结果。我们的领域专注于发布代码，这很重要，但不足以确定可重复性。我们通过手动尝试实现从1984年到2017年发表的255篇论文，记录每篇论文的特征，并对结果进行统计分析，从而迈出了可量化答案的第一步。对于每一篇论文，我们没有查看作者的代码，如果发布的话，以防止代码和论文之间的差异。
2019-09-14 cs.AI cs.DL cs.LG
Generative and reproducible benchmarks for comprehensive evaluation of machine learning classifiers
Institute for Biomedical Informatics, University of Pennsylvania（宾夕法尼亚大学生物医学信息学研究所）；AGH University of Science and Technology（AGH科技大学）
了解机器学习（ML）算法的优点和缺点对于确定其应用范围至关重要。在这里，我们介绍了DIverse和GENerative ML Benchmark（DIGEN）-一个综合数据集的集合，用于对二进制结果分类的机器学习算法进行全面，可重复和可解释的基准测试。DIGEN资源由40个数学函数组成，这些函数将连续特征映射到离散端点，以创建合成数据集。这40个函数是使用启发式算法发现的，该算法旨在最大限度地提高多个流行的机器学习算法之间的性能差异，从而为评估和比较新方法提供了有用的测试套件。访问生成函数有助于理解为什么一种方法与其他算法相比表现不佳，从而提供改进的想法。包含大量文档和分析的资源是开源的，可在GitHub上获得。
2021-07-14 cs.AI cs.CV cs.LG
Introducing ReQuEST: an Open Platform for Reproducible and Quality-Efficient Systems-ML Tournaments
University of Washington（华盛顿大学）；dividiti；cTuning foundation（cTuning 基金会）
在整个硬件/软件堆栈中共同设计基于高效机器学习的系统，以权衡速度、准确性、能源和成本，这变得非常复杂和耗时。研究人员经常在快速发展的软件框架、异构硬件平台、编译器、库、算法、数据集、模型和环境中评估和比较不同的已发表作品。我们介绍了我们的社区努力开发一个开放的共同设计锦标赛平台与在线公共记分牌。它将逐步纳入最佳研究实践，同时为多学科研究人员提供一种通用方法，以优化和比较各种工作负载在不同和完整的硬件/软件系统上的质量与效率帕累托最优性。我们希望利用开源的Collective Knowledge框架和ACM工件评估方法，以标准化、可移植和可复制的方式验证和共享完整的机器学习系统实现。我们计划从ASPLOS'18开始，定期举办针对深度学习等新兴工作负载的多目标优化和协同设计比赛（ACM会议对编程语言和操作系统的架构支持-跨计算机体系结构和硬件，编程语言和编译器的多学科系统研究的首要论坛，操作系统和网络）来构建最有效的机器学习算法和系统的公共存储库，这些算法和系统可以很容易地定制、重用和构建。
2018-01-19 cs.LG cs.SE stat.ML
A multiverse-consensus pipeline for reproducible feature selection in untargeted LC-MS metabolomics
Istanbul Medipol University（伊斯坦布尔梅迪波尔大学）；Istinye University（伊斯坦布尔伊斯蒂尼耶大学）
该研究针对非靶向 LC-MS 代谢组学预处理决策多且结果依赖未知选择的问题，提出多宇宙共识管道，通过十阶段质量控制及多方法组合分析，在示范数据集上得出更稳健的特征选择结果，还讨论了方法的范围与局限。
2026-07-21 cs.LG q-bio.GN
What Do Machine Learning Researchers Mean by "Reproducible"?
Booz Allen Hamilton（博思艾伦汉密尔顿）；University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）；Syracuse University（雪城大学）；Indiana University（印第安纳大学）
针对AI和ML领域“可复现性”含义模糊的问题，该研究厘清其社区展现的范围，提出将相关研究细化为八个通用主题领域，并指出其中许多成果早于该问题受关注的数十年前却未宣称与可复现性相关。
2024-12-05 cs.AI cs.LG stat.ML
PashtoCorp: A 1.25-Billion-Word Corpus, Evaluation Suite, and Reproducible Pipeline for Low-Resource Language Development
Independent Researcher（独立研究员）
本文介绍了PashtoCorp，一个包含12.5亿词的Pashto语料库，通过可重复的流水线和多种数据源，显著提升了低资源语言的NLP研究水平。
2026-03-17 cs.CL cs.IR cs.LG
Helix 1.0: An Open-Source Framework for Reproducible and Interpretable Machine Learning on Tabular Scientific Data
University of Nottingham（诺丁汉大学）；La Trobe University（拉筹伯大学）；Monash University（莫纳什大学）
本文介绍开源 Python 框架 Helix 1.0，通过模块化、可溯源与语言化解释界面，支持表格科学数据的可复现、可解释机器学习分析。
2025-07-23 cs.AI cs.LG
Large-Scale Quantum Separability Through a Reproducible Machine Learning Lens
Aix-Marseille University（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；LIS（计算机科学实验室）；I2M（马赛数学研究所）
本文提出基于 Frank-Wolfe 最近可分态搜索与自动标注的机器学习流水线，将量子可分性转化为分类问题，并在 3、7 维 qudit 上验证其可扩展至数千矩阵且检测准确。
2023-12-09 cs.LG quant-ph stat.ML
Flurry: a Fast Framework for Reproducible Multi-layered Provenance Graph Representation Learning
Parsons Corporation（帕森斯公司）；UNC Charlotte（北卡罗来纳大学夏洛特分校）
像知识图谱这样的复杂异构动态网络是可以用于对来自计算机系统的数据起源进行建模的强大构造。从安全的角度来看，这些属性图可以进行因果关系分析和跟踪，以分析无数的网络攻击。然而，在将系统执行和起源转换为用于机器学习任务的可用图形表示的管道的系统开发中存在不足。这种仪器的缺乏严重阻碍了起源图机器学习的科学进步，阻碍了可重复性，并限制了数据的可用性，这些数据对图神经网络等技术至关重要。为了满足这一需求，我们提出了Flurry，这是一个端到端的数据管道，它模拟网络攻击，在多个系统和应用程序层捕获这些攻击的来源数据，将这些攻击的审计日志转换为数据来源图，并将这些数据与用于训练深度神经模型的框架相结合，该框架支持预配置或定制设计的模型，用于在现实世界的弹性系统中进行分析。我们通过处理来自多个系统攻击的数据并使用当前的基准图表示学习框架通过图分类执行异常检测来展示此管道。Flurry提供了一个快速、可定制、可扩展和透明的解决方案，为网络安全专业人员提供这些急需的数据。
2022-03-05 cs.CR cs.LG
Beyond Lux thresholds: a systematic pipeline for classifying biologically relevant light contexts from wearable data
本文提出了一种可复现的流程和设计规则，用于从可穿戴数据中区分自然光与人工光，通过光谱-时间建模超越传统照度阈值。
2025-12-11 cs.LG q-bio.QM
A Reproducible Framework for Bias-Resistant Machine Learning on Small-Sample Neuroimaging Data
Department of Electrical and Computer Engineering, University of Houston（电子与计算机工程系，休斯顿大学）；Department of Information Science Technology, University of Houston（信息科学与技术系，休斯顿大学）；Department of Neurology, College of Medicine, University of Florida（神经病学系，医学院，佛罗里达大学）
本文提出了一种可重复且偏见抵御的机器学习框架，用于小样本神经影像数据，通过领域指导的特征工程、嵌套交叉验证和校准决策阈值优化，提高了模型的可解释性和泛化能力。
2026-02-02 cs.CV cs.LG q-bio.NC
A Rigorous Uncertainty-Aware Quantification Framework Is Essential for Reproducible and Replicable Machine Learning Workflows
Brookhaven National Laboratory（布鲁克海文国家实验室）；University at Buffalo（布法罗大学）；Argonne National Laboratory（阿贡国家实验室）；Texas A&M University（德克萨斯农工大学）
针对科学工作流中ML/AI结果可复现性难量化的问题，提出贝叶斯范式下的不确定性量化框架，可评估预测变异性的影响，助力构建可信可复现的科学工作流、加速科研发现。
2023-08-23 cs.LG
A Reproducible Log-Driven AutoML Framework for Interpretable Pipeline Optimization in Healthcare Risk Prediction
School of Basic Medicine, Hangzhou Normal University（杭州师范大学基础医学院）；Research Department, Hangzhou Domain Zones Technology Co.Ltd.（杭州域区技术有限公司）
本文提出了一种可重复的基于日志的自动机器学习框架，用于医疗风险预测中的可解释流水线优化，通过分析组件属性、交互和冗余性，提高了模型性能和稳定性。
2026-06-18 cs.AI cs.LG
Automated Modernization of Machine Learning Engineering Notebooks for Reproducibility
University of Waterloo（滑铁卢大学）；Google（谷歌公司）
本文提出MLEModernizer，通过LLM驱动的框架自动化现代化工机器学习工程笔记本，以恢复其在不断变化的环境中的可重现性。
2026-07-29 cs.LG cs.SE
Multi-Class, Multi-Tier Network Intrusion Detection: A Comprehensive and Reproducible Benchmark
RENCI, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校文艺复兴计算研究所）；Fordham University（福特汉姆大学）
本文提出一个全面且可复现的网络入侵检测基准，修正了CIC-IDS2017的标注错误，在三个嵌套级别评估多种模型，软投票集成达到最优细粒度宏F1 0.955，并提供开源可配置流程。
2026-09-30 cs.CR cs.LG
Stabilizing Machine Learning for Reproducible and Explainable Results: A Novel Validation Approach to Subject-Specific Insights
College of Science and Engineering, James Cook University（詹姆斯库克大学科学与工程学院）；College of Health Care Sciences, James Cook University（詹姆斯库克大学卫生保健学院）；College of Public Health, Medical, and Vet Sciences, James Cook University（詹姆斯库克大学公共卫生、医学与兽医学院）
针对受试者特定机器学习模型开发成本高的问题，提出一种新颖验证方法，利用单个通用模型通过多次随机种子重复试验，在群体和受试者层面实现可复现的性能与稳健的特征重要性分析，为临床研究提供实用且可解释的替代方案。
2024-12-16 cs.LG stat.ML
A Configuration-First Framework for Reproducible, Low-Code Machine Learning: a Localization Use Case
Jožef Stefan Institute（乔塞夫·斯蒂芬研究所）
本文提出了一种低代码、配置优先的框架，通过版本化配置和自动化流程提升定位任务的可重复性和效率。
2026-08-20 cs.LG cs.SE
A geometric and deep learning reproducible pipeline for monitoring floating anthropogenic debris in urban rivers using in situ cameras
LIVE UMR 7362 CNRS, University of Strasbourg（LIVE UMR 7362 CNRS，斯特拉斯堡大学）；Centre Inria de l’Université de Lorraine（里昂大学的Inria中心）；Technical University of Munich, Campus Heilbronn（慕尼黑技术大学海因斯贝格校区）；IRIMAS UR 7499, University of Haute-Alsace（阿尔萨斯大学IRIMAS UR 7499）；Data Science and Artificial Intelligence (DSAI), Monash University（莫纳什大学数据科学与人工智能（DSAI））
提出结合几何模型与深度学习的框架，利用固定摄像头连续量化监测城市河流漂浮碎片，并评估不同模型在复杂环境下的精度与速度，通过投影几何实现碎片尺寸估计。
2026-06-23 cs.AI cs.CV cs.LG
Making Classical Machine Learning Pipelines Differentiable: A Neural Translation Approach
Seoul National University（首尔国立大学）；Microsoft（微软）；CMU（卡内基梅隆大学）
经典的机器学习（ML）管道通常由多个ML模型组成，其中管道内的模型是孤立训练的。相反，当训练神经网络模型时，使用反向传播同时训练构成神经模型的层。我们认为ML管道的孤立训练方案是次优的，因为它不能联合优化多个组件。为此，我们提出了一个框架，将预先训练的ML管道转换为神经网络，并使用反向传播联合微调管道内的ML模型。我们的实验表明，微调的翻译管道是一种很有前途的技术，能够提高最终的准确性。
2019-12-12 cs.LG stat.ML
Automatic Machine Learning by Pipeline Synthesis using Model-Based Reinforcement Learning and a Grammar
New York University（纽约大学）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
自动机器学习是机器学习研究的前沿课题。最强大的AutoML系统基于神经网络、进化算法和贝叶斯优化。最近，AlphaD3M使用带有自我游戏的强化学习实现了数量级加速，达到了最先进的结果。在这项工作中，我们通过使用流水线语法和预训练模型来扩展AlphaD3M，该模型从许多不同的数据集和类似的任务中概括出来。我们的研究结果表明，与我们早期的工作和AutoML基准数据集上的现有方法相比，分类和回归任务的性能有所提高。本着可重复研究的精神，我们将我们的数据、模型和代码公开提供。
2019-05-24 cs.LG stat.ML
Compressed Recurrent Feedback in Tsetlin Machines: A Reproducible Boolean-FSM Study
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Newcastle University（纽卡斯尔大学）
本文提出一种通过异或折叠压缩循环反馈的Tsetlin机器，将480个子句激活降至96比特，在布尔有限状态机基准上以更窄接口取得与原始反馈相当的准确率，并强调无反馈对照组的重要性。
2026-09-09 cs.LG
Open-radiomics: A Collection of Standardized Datasets and a Technical Protocol for Reproducible Radiomics Machine Learning Pipelines
The Hospital for Sick Children (SickKids)（SickKids医院（病童医院））；SickKids Research Institute（SickKids研究所）；University of Toronto（多伦多大学）；University Hospital Augsburg（奥格斯堡大学医院）；Institute of Medical Science, University of Toronto（多伦多大学医学科学研究所）；Department of Computer Science, University of Toronto（多伦多大学计算机科学系）；Department of Mechanical and Industrial Engineering, University of Toronto（多伦多大学机械与工业工程系）；Vector Institute（向量研究院）
本研究提出open-radiomics数据集集合与技术协议，通过标准化影像组学机器学习流水线揭示肿瘤子区域等变异性来源对结果的影响，解决可复现性挑战。
2025-02-28 cs.CV cs.LG q-bio.QM
Preprocessor Selection for Machine Learning Pipelines
Brigham Young University（杨百翰大学）
元学习中的大部分工作都集中在分类器的选择上，最近又与超参数优化相结合，很少关注数据预处理。然而，人们普遍认为，机器学习应用不仅需要模型构建，还需要数据预处理。换句话说，实际的解决方案由机器学习运算符的管道组成，而不是单一的算法。有趣的是，我们的实验表明，平均而言，数据预处理会阻碍准确性，而性能最好的管道实际上确实使用了预处理器。在这里，我们对各种学习算法和预处理器进行了广泛的实证研究，并使用元学习来确定何时应该在ML管道设计中使用预处理器。
2018-10-23 cs.LG stat.ML
AVATAR -- Machine Learning Pipeline Evaluation Using Surrogate Model
University of Technology Sydney（悉尼科技大学）；USU Software AG（USU软件股份公司）
机器学习（ML）管道的评估在自动ML管道组合和优化期间是必不可少的。以前的方法，如基于贝叶斯和基于遗传的优化，在Auto-Weka，Auto-sklearn和TPOT中实现，通过执行它们来评估管道。因此，这些方法的管道组成和优化需要大量的时间，这使他们无法探索复杂的管道来找到更好的预测模型。为了进一步探索这一研究挑战，我们进行了实验，表明许多生成的管道是无效的，没有必要执行它们来确定它们是否是好的管道。为了解决这个问题，我们提出了一种新的方法来评估ML管道使用代理模型（AVATAR）的有效性。AVATAR能够通过快速忽略无效管道来加速自动ML管道组合和优化。我们的实验表明，AVATAR是更有效地评估复杂的管道相比，传统的评估方法，需要他们的执行。
2020-02-03 cs.LG stat.ML
Soundata: A Python library for reproducible use of audio datasets
New York University（纽约大学）；Adobe Research（奥多比研究院）；Universitat Pompeu Fabra（庞培法布拉大学）
Soundata是一个Python库，用于以标准化的方式加载和处理音频数据集，消除了在每个项目中编写自定义加载器的需要，并通过提供工具来验证数据的可重复性。它通过允许用户快速下载数据集，以标准化和可复制的方式将其加载到内存中，验证数据集的完整性和正确性等来加快研究流程。Soundata基于mirdata并受到其启发，通过与环境声音，生物声学和语音数据集等合作来补充mirdata。Soundata的创建是为了易于使用，易于贡献，并以灵活的方式提高声音数据集的可重复性和标准化使用。
2021-10-04 cs.DB cs.LG cs.SD
stable-worldmodel: A Platform for Reproducible World Modeling Research and Evaluation
Mila & Université de Montréal（Mila与蒙特利尔大学）；New York University（纽约大学）；Universidade Federal de Minas Gerais（巴西联邦大学矿务学院）；Independent Researcher（独立研究者）；LanceDB；University of Oxford（牛津大学）；Brown University（布朗大学）
本文提出stable-worldmodel平台，旨在解决世界建模研究中代码库、数据管道和评估协议碎片化的问题，通过提供高性能的数据层、现代世界模型基线和规划求解器的实现，以及扩展的环境和任务，实现标准化和可重复的世界建模研究和评估。
2026-05-20 cs.LG cs.RO
RankML: a Meta Learning-Based Approach for Pre-Ranking Machine Learning Pipelines
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
数字数据的爆炸式增长为组织和个人利用机器学习（ML）来改变其运营方式创造了多种机会。然而，机器学习领域专家（数据科学家）的短缺往往是ML使用的一个挫折。为了缓解这种不足，近年来已经提出了多种用于机器学习自动化的方法。虽然这些方法是有效的，但它们通常需要大量的时间和计算资源。在这项研究中，我们提出了RankML，一种基于元学习的方法，用于预测整个机器学习管道的性能。给定一个以前未见过的数据集、一个性能指标和一组候选管道，RankML会根据预测的性能立即生成所有管道的排名列表。在回归和分类任务中对244个数据集进行了广泛的评估，结果表明，我们的方法在时间和计算成本上都优于或相当于最先进的计算量大的方法。
2019-11-20 cs.LG stat.ML
Modeling Quality and Machine Learning Pipelines through Extended Feature Models
University of L’Aquila（拉奎拉大学）
最近机器学习（ML）方法的复杂性增加，导致有必要减轻研究和工业开发过程。ML管道已经成为许多领域的专家、数据科学家和研究人员的重要工具，使他们能够轻松地将多个ML模型组合在一起，以覆盖从原始数据集开始的完整分析过程。多年来，已经提出了几种解决方案来自动构建ML管道，其中大多数专注于输入数据集的语义方面和特征。然而，考虑到ML系统所需的新质量问题（如公平性，可解释性，隐私等）的方法。仍然下落不明在本文中，我们首先从文献中确定ML系统的关键质量属性。此外，我们提出了一种新的工程方法，通过适当地扩展特征模型的元模型的质量ML管道。所提出的方法允许对ML管道、其质量要求（整个管道和单个阶段）以及用于实现每个管道阶段的算法的质量特性进行建模。最后，我们证明了我们的模型考虑分类问题的表现力。
2022-07-15 cs.LG cs.SE
A Guide to Computational Reproducibility in Signal Processing and Machine Learning
计算再现性是一个日益增长的问题，已经在计算研究人员以及信号处理和机器学习研究社区中被广泛研究。然而，随着信号处理和机器学习研究的不断变化，在创建可重复实验方面出现了新的障碍和看不见的挑战。由于这些新的挑战，大多数计算实验已经变得困难，如果不是不可能的话，由独立的研究人员复制。2016年，《自然》杂志进行的一项调查发现，50%的研究人员无法复制自己的实验。虽然计算再现性的问题已经在文献中讨论过，特别是在信号处理社区中，但大多数研究人员仍然不清楚什么是确保再现性而不影响他们进行研究的主要责任的最佳实践。我们认为，尽管研究人员了解使实验具有可重复性的重要性，但缺乏一套明确的标准和工具，使得大多数实验室难以采用良好的可重复性实践。正是在这方面，我们的目标是目前信号处理研究人员与一套实用的工具和策略，可以帮助减轻许多障碍，产生可重复的计算实验。
2022-02-15 cs.LG eess.SP
Design Principles for Falsifiable, Replicable and Reproducible Empirical ML Research
Helmut Schmidt University（赫尔穆特·施密特大学）
本文针对机器学习经验研究实践差异大、质量标准不统一的问题，提出经验研究过程模型及指导方针，旨在提升研究的一致性、可靠性与影响力。
2024-05-28 cs.AI cs.LG
ReinBo: Machine Learning pipeline search and configuration with Bayesian Optimization embedded Reinforcement Learning
LMU Munich（慕尼黑大学）
机器学习流水线潜在地由几个操作阶段组成，如数据预处理、特征工程和机器学习模型训练。每个操作都有一组超参数，当操作未被选择时，这些超参数可能与管道无关。这就产生了一个分层的条件超参数空间。为了优化这种混合的连续和离散条件分层超参数空间，我们提出了一种有效的管道搜索和配置算法，该算法结合了强化学习和贝叶斯优化的力量。实验结果表明，我们的方法表现良好的最先进的方法，如自动sklearn，TPOT，树Parzen窗口，随机搜索。
2019-04-10 cs.AI cs.LG stat.ML
REPLAB: A Reproducible Low-Cost Arm Benchmark Platform for Robotic Learning
UC Berkeley（加州大学伯克利分校）
标准化的评估措施有助于机器学习方法在计算机视觉和机器翻译等学科中的进步。在本文中，我们提出了机器人学习也将受益于基准测试的情况，并提出了“REPLAB”平台，用于基准测试基于视觉的操作任务。REPLAB是一个可复制和自包含的硬件堆栈（机器人手臂，摄像头和工作空间），成本约为2000美元，占地面积为70x40x60 cm的长方体，并允许在几个小时内完全组装。通过这种低成本、紧凑的设计，REPLAB旨在通过降低进入机器人领域的门槛来推动广泛的参与，并使许多机器人能够轻松扩展。我们设想REPLAB作为跨操作任务的可重复研究的框架，并作为在这个方向上的一步，我们定义了一个模板，包括任务定义，评估协议，性能指标，和92k抓取尝试的数据集的把握基准。我们实施，评估和分析几个以前提出的抓方法，建立基准。最后，我们还在REPLAB平台上实现并评估了一种用于3D到达任务的深度强化学习方法。包含汇编说明、代码和视频的项目页面：https://goo.gl/5F9dP4。
2019-05-17 cs.CV cs.LG cs.RO
Data Pricing in Machine Learning Pipelines
Simon Fraser University（西蒙弗雷泽大学）；Singapore Management University（新加坡管理大学）；Huawei Technologies Canada（华为技术加拿大有限公司）
机器学习是颠覆性的。与此同时，机器学习只有通过多方之间的协作才能取得成功，这些协作在多个步骤中自然地作为生态系统中的管道，例如为可能的机器学习应用收集数据，多方协作训练模型以及向最终用户提供机器学习服务。数据在整个机器学习管道中是至关重要和渗透的。由于机器学习管道涉及多方，并且为了取得成功，必须形成一个建设性和动态的生态系统，市场和数据定价是连接和促进这些多方的基础。本文综述了机器学习管道中数据定价的原理和最新研究进展。我们首先简要回顾一下数据市场和定价需求。然后，我们重点讨论机器学习管道中的三个重要步骤中的定价。为了理解训练数据收集步骤中的定价，我们回顾了原始数据集和数据标签的定价。我们还研究了机器学习模型的协同训练步骤中的定价，并概述了机器学习部署步骤中最终用户的机器学习模型的定价。我们还讨论了一系列可能的未来方向。
2021-08-18 cs.LG
Deriva-ML: A Continuous FAIRness Approach to Reproducible Machine Learning Models
Information Sciences Institute（信息科学研究所）；Viterbi School of Engineering（维特比工程学院）；University of Southern California（南加州大学）；Keck School of Medicine（凯克医学院）
本文提出 Deriva-ML，通过贯穿 ML 研究全生命周期的 FAIR 数据管理工具与最佳实践，提升 eScience 团队构建正确、可复现机器学习解决方案的能力。
2024-06-27 cs.AI cs.DB cs.HC
Machine Learning Pipelines: Provenance, Reproducibility and FAIR Data Principles
Heinz-Nixdorf Chair for Distributed Information Systems（海因茨-尼克斯多夫分布式信息系统讲席）；Michael Stifel Center Jena（耶拿米夏埃尔·施蒂费尔中心）；Friedrich Schiller University Jena（耶拿弗里德里希·席勒大学）
机器学习（ML）是一种越来越重要的科学工具，支持许多领域的决策和知识生成。因此，ML实验结果的可重复性也变得越来越重要。不幸的是，情况往往并非如此。相反，ML与许多其他学科一样，面临着可重复性危机。在本文中，我们描述了我们支持ML管道端到端再现性的目标和初始步骤。我们研究了除了源代码和数据集的可用性之外，哪些因素会影响ML实验的可重复性。我们提出了将FAIR数据实践应用于ML工作流的方法。我们提出了我们的工具，ProvBook的作用，在捕获和比较ML实验的起源和他们的再现性使用autoyter笔记本电脑的初步结果。
2020-06-22 cs.AI cs.LG stat.ML
Debugging Machine Learning Pipelines
New York University（纽约大学）
机器学习任务需要使用复杂的计算管道来得出定量和定性的结论。如果管道中的某些活动产生错误或无信息的输出，则管道可能失败或产生不正确的结果。推断故障和意外行为的根本原因是具有挑战性的，通常需要很多人的思考，并且既耗时又容易出错。我们提出了一种新的方法，利用迭代和出处自动推断的根本原因，并得出简洁的解释失败。通过详细的实验评估，我们评估的成本，精度和召回我们的方法相比，最先进的。我们的源代码和实验数据将可用于再现性和增强。
2020-02-11 cs.DB cs.LG stat.ML
Incremental Search Space Construction for Machine Learning Pipeline Synthesis
USU Software AG（USU软件公司）；University of Technology Sydney（悉尼科技大学）；University of Stuttgart（斯图加特大学）；Fraunhofer IPA（弗劳恩霍夫生产技术与自动化研究所）
自动化机器学习（AutoML）旨在自动构建机器学习（ML）流水线。许多研究已经研究了算法选择和超参数优化的有效方法。然而，ML流水线综合和优化的方法，考虑到复杂的流水线结构，包含多个预处理和分类算法的影响还没有得到彻底的研究。在本文中，我们提出了一种以数据为中心的方法，基于元特征的管道建设和超参数优化的启发，人类行为。通过结合中间数据集的元特征增量地扩展流水线搜索空间，我们能够有效地修剪流水线结构搜索空间。因此，可以构建灵活且数据集特定的ML管道。我们证明了我们的方法的有效性和竞争力的28个数据集上使用的成熟的AutoML基准相比，国家的最先进的AutoML框架。
2021-01-26 cs.LG
AlphaD3M: Machine Learning Pipeline Synthesis
我们介绍AlphaD3M，一个自动机器学习（AutoML）系统的基础上Meta强化学习使用序列模型与自我发挥。AlphaD3M基于在机器学习管道原语上执行的编辑操作，提供可解释性。我们在OpenML数据集上将AlphaD3M与最先进的AutoML系统：Autosklearn，Autostacker和TPOT进行了比较。AlphaD3M实现了具有竞争力的性能，同时速度快了一个数量级，将计算时间从几小时减少到几分钟，并且可以通过设计来解释。
2021-11-03 cs.LG
SapientML: Synthesizing Machine Learning Pipelines by Learning from Human-Written Solutions
Fujitsu Research of America, Inc.（美国富士通研究有限公司）；Fujitsu Ltd.（富士通有限公司）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
自动机器学习（AutoML）通过基本上自动化数据科学家的工作，有望真正实现机器学习（ML）的民主化。然而，候选管道的巨大组合搜索空间意味着当前的AutoML技术生成次优管道，或者根本没有，特别是在大型复杂数据集上。在这项工作中，我们提出了一种AutoML技术SapientML，它可以从现有数据集的语料库及其人类编写的管道中学习，并有效地为新数据集上的预测任务生成高质量的管道。为了对抗AutoML的搜索空间爆炸，SapientML采用了一种新的分而治之的策略，实现为三阶段的程序合成方法，该方法基于连续较小的搜索空间。第一阶段使用机器学习模型来预测一组合理的ML组件以构成管道。在第二阶段中，然后使用从语料库和机器学习模型导出的语法约束将其细化为一小部分可行的混凝土管道。在第三阶段，动态评估这几个管道提供了最佳解决方案。我们将SapientML实例化为全自动化工具链的一部分，该工具链通过挖掘Kaggle创建一个干净的、标记的学习语料库，从中学习，并使用学习到的模型来合成新预测任务的管道。我们创建了一个包含170个数据集的1094个管道的训练语料库，并在一组41个基准数据集上评估了SapientML，其中包括来自Kaggle的10个新的大型真实世界数据集，以及3个最先进的AutoML工具和2个基线。我们的评估表明，SapientML在27个基准测试中产生了最好或相当的准确性，而第二好的工具…
2022-04-19 cs.AI cs.LG cs.SE
Algebraic Quantum Intelligence: A New Framework for Reproducible Machine Creativity
Happiness Planet, Ltd.（幸福星球有限公司）；Hitachi, Ltd.（日立株式会社）
本文提出代数量子智能框架，通过非交换代数结构扩展语义空间，提升机器创造力的可重复性和表现。
2026-02-15 cs.AI cs.CL cs.LG
Designing Machine Learning Pipeline Toolkit for AutoML Surrogate Modeling Optimization
IBM Research（IBM研究院）
机器学习中的流水线优化问题需要同时优化流水线结构和其元件的参数自适应。有一个优雅的方式来表达这些结构，可以帮助减少管理和分析其性能的复杂性，以及不同的优化策略的选择。考虑到这些问题，我们创建了AutoMLPipeline（AMLP）工具包，它可以使用简单的表达式来创建和评估复杂的机器学习管道结构。我们使用AMLP来找到最佳的管道签名，对它们进行数据挖掘，并使用这些数据挖掘的功能来加速学习和预测。我们在AMLP中使用代理建模制定了一个两阶段的管道优化，它在不到5分钟的AMLP计算时间内以4小时的时间预算优于其他AutoML方法。
2021-07-14 cs.AI cs.LG
Automated Evolutionary Approach for the Design of Composite Machine Learning Pipelines
ITMO University（ITMO大学）
机器学习方法对于现实世界任务的有效性取决于建模管道的适当结构。所提出的方法的目的是自动化的复合机器学习管道，这是相当于计算工作流，包括模型和数据操作的设计。该方法结合了自动化机器学习和工作流管理系统的关键思想。它设计了一个可定制的基于图形的结构的管道，分析所获得的结果，并再现它们。将进化方法用于管道结构的柔性识别。为了提高该方法的有效性，实现了用于灵敏度分析、原子化和超参数调整的附加算法。此外，这种方法的软件实现是作为一个开源的框架。针对不同的数据集和任务（分类，回归，时间序列预测）进行了一系列实验。通过与现有竞争对手和基准解决方案的比较，验证了所提方法的正确性和有效性。
2021-06-26 cs.LG
Prophet as a Reproducible Forecasting Framework: A Methodological Guide for Business and Financial Analytics
University of Lethbridge（利思堡大学）
Prophet作为可重复预测框架，通过其加法结构、开源实现和标准化工作流程，提升了商业和金融分析中的预测透明度和可重复性。
2026-01-12 cs.LG
Towards autonomic orchestration of machine learning pipelines in future networks
TU Berlin（柏林工业大学）
机器学习（ML）技术越来越多地用于移动网络中的网络规划、运营、管理、优化等。这些技术是使用一组称为ML流水线的逻辑节点来实现的。单个网络运营商可能有数千个这样的ML管道分布在其网络中。这些管道需要跨网络域进行管理和协调。因此，在移动网络中实现ML管道的自主多域编排至关重要。国际电信联盟（ITU）为未来网络中ML管道的管理和编排提供了一个架构框架。我们扩展了这个框架，以支持跨多个网络域的ML管道的自主编排。我们提出了我们的系统架构，并使用智能工厂用例描述其应用程序。我们的工作允许以标准化，技术不可知，隐私保护的方式自主编排多域ML管道。
2021-07-17 cs.AI cs.LG cs.NI
Data Pipeline Training: Integrating AutoML to Optimize the Data Flow of Machine Learning Models
University of Southern California（南加州大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究将AutoML集成到数据流水线中以优化数据流，提出构建自适应高效数据流水线的关键策略，从而加速建模并提升复杂数据领域中的机器学习效果。
2024-02-20 cs.AI cs.LG
Deep Pipeline Embeddings for AutoML
University of Freiburg（弗莱堡大学）
本文提出深度流水线嵌入方法，通过逐组件编码器捕捉机器学习流水线组件间的深层交互，并结合贝叶斯优化与元学习，在三个大规模元数据集上实现了最优的流水线优化效果。
2023-05-24 cs.LG
Fair Preprocessing: Towards Understanding Compositional Fairness of Data Transformers in Machine Learning Pipeline
Iowa State University（爱荷华州立大学）
近年来，已经报道了许多事件，其中机器学习模型表现出基于种族、性别、年龄等的人之间的歧视。已经进行了研究以测量和减轻机器学习模型中的不公平。对于机器学习任务，通常的做法是构建一个流水线，该流水线包括一组有序的数据预处理阶段，然后是分类器。然而，大多数关于公平性的研究都考虑了基于单个分类器的预测任务。机器学习管道中预处理阶段的公平性影响是什么？此外，研究表明，不公平的根本原因往往根植于数据本身，而不是模型。但是，还没有研究已经进行了测量的不公平性所造成的一个特定的转换，在数据预处理阶段。在本文中，我们引入了公平性的因果方法来推理ML管道中数据预处理阶段的公平性影响。我们利用现有的指标来定义阶段的公平性度量。然后，我们进行了详细的公平性评估的预处理阶段，在37个管道收集来自三个不同的来源。我们的结果表明，某些数据Transformers导致模型表现出不公平性。我们在几类数据Transformers中确定了一些公平模式。最后，我们展示了预处理阶段的局部公平性如何构成流水线的全局公平性。我们使用公平组合来选择适当的下游Transformer，以减轻机器学习管道中的不公平。
2021-07-20 cs.LG
NHANES-GCP: Leveraging the Google Cloud Platform and BigQuery ML for reproducible machine learning with data from the National Health and Nutrition Examination Survey
CorrDyn；University of Southern California（南加州大学）
本文提出NHANES-GCP，基于GCP的IaC与dbt资源自动化NHANES数据工程，成本极低，并支持通过BigQuery ML以单个SQL式查询完成数据选择、整合、模型训练与结果生成，提升分析可复现性。
2024-01-13 cs.LG q-bio.QM stat.AP
Identifying and Harnessing the Building Blocks of Machine Learning Pipelines for Sensible Initialization of a Data Science Automation Tool
Institute for Biomedical Informatics, University of Pennsylvania（宾夕法尼亚大学生物医学信息学研究所）
随着数据科学越来越受欢迎，越来越需要使数据科学工具更具可扩展性，灵活性和可访问性。特别地，自动化机器学习（AutoML）系统寻求使设计和优化机器学习流水线的过程自动化。在本章中，我们提出了一个基于遗传编程的AutoML系统，称为TPOT，它优化了一系列特征预处理器和机器学习模型，目标是在监督分类问题上最大限度地提高分类精度。此外，我们分析了以前用于解决各种监督分类问题的管道的大型数据库，并确定了100个最频繁出现的机器学习操作的短系列，我们称之为机器学习管道的构建块。我们利用这些构建块来初始化TPOT有前途的解决方案，并发现这种明智的初始化方法显着提高TPOT的性能在一个基准测试，而没有显着降低性能的成本。因此，使用机器学习管道构建块进行合理的初始化为基于GP的AutoML系统带来了希望，并且应该在未来的工作中进一步完善。
2016-07-29 cs.AI cs.LG cs.NE
Reproducible Machine Learning-based Voice Pathology Detection: Introducing the Pitch Difference Feature
Fnkv
该研究针对嗓音病理检测提出新方法，结合常用声学手工特征与基音差异、NaN两个新特征，在SVD数据库上评估六种ML算法，取得85.22%的合并UAR，并提供可复现的GitHub仓库与REFORMS清单。
2025-03-14 cs.AI cs.LG cs.SD
Integration Of Evolutionary Automated Machine Learning With Structural Sensitivity Analysis For Composite Pipelines
ITMO University（圣彼得堡国立信息技术、机械学与光学研究大学）；Huawei Technologies Co Ltd（华为技术有限公司）
提出EVOSA方法，结合敏感性分析与进化AutoML，优化灵活管道结构，提高鲁棒性和可解释性，并在多领域任务中验证有效性。
2023-12-22 cs.LG cs.NE
Plumber: Diagnosing and Removing Performance Bottlenecks in Machine Learning Data Pipelines
Carnegie Mellon University（卡内基梅隆大学）；ETH Zürich（苏黎世联邦理工学院）；Google（谷歌）
输入管道，摄取和转换输入数据，是训练机器学习（ML）模型的重要组成部分。然而，实现高效的输入管道是具有挑战性的，因为它需要对细粒度分析信息中的并行性、可扩展性和可变性进行推理。我们对Google训练中心中超过200万个ML工作的分析表明，很大一部分模型训练工作可以从更快的输入数据管道中受益。与此同时，我们的分析表明，大多数作业不会使主机硬件饱和，这指向了基于软件的瓶颈。受这些发现的启发，我们提出了Plumber，这是一种用于查找ML输入管道中瓶颈的工具。Plumber使用可扩展和可解释的操作分析分析模型，在主机资源约束下自动调优并行性、预取和缓存。在五个具有代表性的ML管道中，Plumber针对错误配置的管道获得了高达47倍的加速。通过自动缓存，Plumber与最先进的调谐器相比，获得了超过50%的端到端加速。
2022-03-21 cs.LG cs.PF
SysML'19 demo: customizable and reusable Collective Knowledge pipelines to automate and reproduce machine learning experiments
cTuning foundation（cTuning基金会）；dividiti（dividiti公司）
复制、比较和重用来自机器学习和系统论文的结果是一个非常繁琐、临时且耗时的过程。我将演示如何使用社区开发的开源、可移植、可定制和基于CLI的Collective Knowledge工作流和管道来自动化此过程。我将帮助参与者运行来自SysML'19会议、公司（通用汽车、Arm）和MLPerf基准测试的几个真实的非虚拟化CK工作流，以自动化针对机器学习工作负载的高效软件/硬件堆栈的基准测试和协同设计。我希望我们的方法可以帮助作者在共享可重用和可扩展的研究工件时减少他们的努力，同时使工件评估者能够以标准和可移植的方式自动验证已发表论文的实验结果。
2019-03-31 cs.LG
MIMIC-Sepsis: A Curated Benchmark for Modeling and Learning from Sepsis Trajectories in the ICU
Department of Computer Science University of California, Irvine（计算机科学系 加州大学尔湾分校）
针对现有脓毒症研究数据集过时、预处理不可复现等问题，本文提出源自MIMIC-IV的MIMIC-Sepsis精选基准框架，含35239名患者数据与多类基准任务，验证了纳入治疗变量可提升模型性能，为重症监护序列模型评估提供可靠平台。
2025-10-28 cs.LG
