Good Tools are Half the Work: Tool Usage in Deep Learning Projects
Athens University of Economics and Business(雅典经济与商业大学);Delft University of Technology(代尔夫特理工大学)
本研究通过挖掘GitHub仓库,发现约63%的深度学习项目采用传统软件工程工具,而MLOps工具使用较少,表明传统工具在DL开发中的重要性,并建议加强MLOps工具的研究与推广。
2024-05-28 cs.LG cs.SE
Machine Learning Operations: A Mapping Study
Arizona State University(亚利桑那州立大学)
本文通过系统映射研究梳理了MLOps在数据、模型构建和部署流水线中的挑战,并提出适用于研究与工业环境的通用工具和解决方案建议。
2024-09-28 cs.LG cs.SE
Experimentation, deployment and monitoring Machine Learning models: Approaches for applying MLOps
PPGEEC - Programa de Pós-Graduação em Engenharia Elétrica e Computação(电气工程与计算机工程研究生课程);ICTi - Instituto de Ciência e Tecnologia Itaú(伊塔乌科学与技术研究所)
本文探讨了MLOps在自动化机器学习模型生命周期中的应用,涵盖实验、部署与监控,并分析了集成开发与生产环境、模型发布及端到端监控的挑战与解决方案,旨在增进对MLOps技术的理解。
2024-08-20 cs.LG
Teaching MLOps in Higher Education through Project-Based Learning
University of Bari(巴里大学);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
本文提出基于项目式学习的MLOps教学方法,通过课程设计与实验室环节覆盖机器学习组件全生命周期,并报告首版实施及跨校评估计划,以验证其教学有效性。
2023-02-02 cs.LG cs.SE
Harmonica: A Self-Adaptation Exemplar for Sustainable MLOps
Microsoft, SERC, IIIT-Hyderabad(微软、SERC、IIIT-海得拉巴)
Harmonica通过MAPE-K循环实现结构化自适应控制,为可持续MLOps流水线提供实用基础,提升系统稳定性和减少人工干预。
2026-01-31 cs.LG cs.SE
MLOps: A Step Forward to Enterprise Machine Learning
Liverpool John Moores University(利物浦约翰摩尔斯大学)
本文综述 MLOps 的关键技术、工作流与自动化成熟度,并通过企业级目标检测服务示例展示基于 TensorFlow 2 Model Zoo 的可扩展部署实践。
2023-05-27 cs.AI cs.CV cs.LG
AIGen: Automating AI Bill of Materials Generation Through Hybrid MLOps Integration
University of Sannio(萨尼奥大学);Smart Shaped s.r.l.(Smart Shaped有限公司)
本文提出AIGen,一种基于MLflow框架、结合挖掘启发式方法与大语言模型的模块化AIBoM生成器,可生成符合SPDX 3.0标准的AI构件清单,助力AI供应链治理合规。
2026-07-30 cs.LG
Towards Trustworthy Machine Learning in Production: An Overview of the Robustness in MLOps Approach
Karlstad University(卡尔斯塔德大学)
本文针对生产环境中ML系统部署的鲁棒性挑战,全面综述MLOps系统的可信性属性、鲁棒实现技术、相关研究与工具,并提出开放挑战与未来方向,为从业者落地鲁棒ML方案提供参考。
2024-10-28 cs.AI cs.LG
Operationalizing Machine Learning: An Interview Study
University of California, Berkeley(加州大学伯克利分校)
组织依赖于机器学习工程师(MLE)来操作ML,即,在生产中部署和维护ML管道。ML(或MLOps)的操作过程包括以下几个方面的持续循环:(i)数据汇集和标记,(ii)实验以提高ML性能,(iii)在多阶段部署过程中进行评估,以及(iv)监控生产中的性能下降。当综合考虑时,这些责任看起来令人震惊--任何人都是如何做MLOp的,有哪些未解决的挑战,以及对工具构建者的影响是什么?我们对18位MLE进行了半结构化的人种学采访,这些MLE在许多应用程序中工作,包括聊天机器人、自动驾驶汽车和金融。我们的访谈揭示了决定生产ML部署成功的三个变量:速度,验证和版本控制。我们总结了成功的ML实验,部署和维持生产性能的常见实践。最后,我们讨论了受访者的痛点和反模式,以及对工具设计的影响。
2022-09-16 cs.HC cs.LG cs.SE
MLOps: A Primer for Policymakers on a New Frontier in Machine Learning
本章是为数据科学家或MLOps专业人士编写的,但也可以作为政策制定者、改革者、人工智能伦理学家、社会学家和其他有兴趣寻找有助于减少算法偏见的方法的人的资源。我将采取以部署为中心的方法,假设阅读本书的专业人士已经阅读了Gebru,Buolamwini,Benjamin和Shane关于算法对历史上边缘化群体的影响的惊人工作。如果你还没有读过这些作品,我建议你参考本文末尾的“道德模型构建的重要阅读”列表,因为它将帮助你更全面地考虑机器学习模型对边缘化人群的影响。在本章的引言中,我将他们工作的重要性植根于现实世界的例子中,当模型在没有为训练过程收集透明数据的情况下部署时会发生什么,并且在部署时没有从业者特别注意模型会发生什么,这些模型会适应利用他们的训练环境和现实世界之间的差距。本章的其余部分以上述研究人员的工作为基础,讨论了模型执行后期制作的现实,并详细介绍了ML从业者如何在MLOps生命周期中使用工具识别偏差,以减轻可能引入到现实世界中的模型中的偏差。
2023-01-13 cs.AI cs.CY cs.LG
DeepTSF: Codeless machine learning operations for time series forecasting
National Technical University of Athens(雅典国立技术大学);School of Electrical and Computer Engineering(电气与计算机工程学院);Institute of Communications and Computer Systems(通信与计算机系统研究所)
DeepTSF是一个无代码MLOps框架,通过自动化工作流和用户友好界面,提升时间序列预测效率,并在电力负荷预测中验证了其有效性。
2023-11-27 cs.LG cs.SE
Reasonable Scale Machine Learning with Open-Source Metaflow
New York University(纽约大学);Outerbounds;Netflix(网飞)
随着机器学习(ML)在各个行业和新用例中的采用,从业者越来越多地意识到有效开发和迭代ML系统的挑战:可重复性,调试,可扩展性和文档对于技术优先公司之外的现实世界管道来说是难以捉摸的目标。在本文中,我们回顾了面向ML的工作负载的性质,并认为重新利用现有工具不会解决当前的生产力问题,因为ML的特殊性需要专门的开发工具。然后,我们介绍Metaflow,这是一个用于ML项目的开源框架,旨在通过从业务逻辑的定义中抽象出ML代码的执行来提高数据从业者的生产力。我们展示了我们的设计如何解决ML操作(MLOps)中的主要挑战,并通过示例,访谈和用例记录其对该领域的实际影响。
2023-03-21 cs.DC cs.LG cs.SE
An Evaluation Toolkit to Guide Model Selection and Cohort Definition in Causal Inference
IBM Research(IBM研究院);IBM Watson Health(IBM沃森健康)
当随机对照试验不可用时,真实世界的观察数据以及因果推断可用于估计因果效应。为了被实践接受,这种预测模型必须针对手头的数据集进行验证,因此需要一个全面的评估工具包,如本文所介绍的。由于效果估计不能直接评估,我们转向评估因果推断的各种可观察属性,即观察到的结果和治疗分配。我们开发了一个工具包,扩展了现有的机器学习评估方法,并添加了几个特定于机器学习的方法。评估可以应用于交叉验证,训练测试方案或训练数据。在工具包内以允许底层机器学习模型的模块化使用的方式实现多个因果推断方法。因此,工具包对于所使用的机器学习模型是不可知的。我们使用从IBM MarketScan(R)研究数据库中提取的类风湿性关节炎队列(由约12万名患者组成)来展示我们的方法。我们引入了数据定义、模型定义和模型评估的迭代管道。使用这个管道,我们演示了每个评估组件如何帮助驱动模型选择和细化数据提取标准的方式,提供更多的可重复的结果,并确保因果关系的问题是可用的数据回答。此外,我们展示了如何使用评估工具包来确保应用于数据子集时保持性能,从而允许探索走向个性化医疗的问题。
2019-06-02 cs.LG stat.ML
Understanding Tool-Augmented Agents for Lean Formalization: A Factorial Analysis
University of California, Riverside(加州大学河滨分校)
本文通过因子分析评估三种工具类型在自然语言数学自动转换为Lean 4代码中的有效性,发现工具增强代理在编译成功率和语义等价性上有显著提升。
2026-04-16 cs.AI cs.LG cs.PL
Deep-learning based Tools for Automated Protocol Definition of Advanced Diagnostic Imaging Exams
SafeNet Consulting(SafeNet咨询公司);Medical College of Wisconsin(威斯康星医学院)
目的:本研究评估了使用自然语言处理(NLP)和深度学习(DL)的磁共振成像(MRI)检查自动化基于订单的协议分配的有效性和影响。研究方法:NLP工具应用于回顾性处理来自超过116,000个MRI检查的订单,其中包括200个独特的子专业协议(“本地”协议类)。在70%的“本地”协议以及93个美国放射学会(“ACR”)协议和48个“通用”协议的处理数据上训练单独的DL模型。在“自动协议(AP)”推理模式(返回最高建议)和“临床决策支持(CDS)”推理模式(返回多达10个协议供放射科医师审查)中评估DL模型。每个协议建议的准确性是基于前两个建议的相应神经网络的归一化输出分数之间的差异来计算和分析的。结果如下:在AP模式下,对于“General”、“ACR”和“Local”协议类的测试用例,最高预测协议的正确率分别为82.8%、73.8%和69.3%。在CDS模式下,所有协议类别的准确度均超过96%。然而,在目前的验证性能水平,所提出的模型提供适度的,积极的,对大规模成像网络的财务影响。结论:基于DL的协议自动化是可行的,并且可以进行调整以路由用于自动协议的检查的大部分,并且具有更高的准确性和更通用的协议。测试算法的经济分析表明,需要改进算法性能,以产生一个实用的考试自动协议工具,子专业成像考试。
2021-05-28 cs.LG eess.IV physics.med-ph
Multi-Sensor Data and Knowledge Fusion -- A Proposal for a Terminology Definition
University of Kassel(卡塞尔大学)
融合是分析和利用可用数据集的常用工具,因此是数据采掘和机器学习过程的重要组成部分。然而,由于文献不一致,并不总是提供融合类型的明确定义。在下文中,根据融合组件和发生融合的抽象级别来定义融合过程。本文第一部分的重点是明确定义术语,并开发融合组件和融合级别的适当本体。第二部分介绍了常用的融合技术。
2020-01-13 cs.AI cs.LG eess.SP