A Systematic Review of MLOps Tools: Tool Adoption, Lifecycle Coverage, and Critical Insights
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文通过系统综述学术文献,分析MLOps工具的采用情况、生命周期覆盖及关键挑战,揭示工具的功能范围及使用趋势,强调工具间互操作性的重要性。
2026-03-23 cs.SE
A Preliminary Investigation of MLOps Practices in GitHub
University of Bari(巴里大学)
背景随着机器学习(ML)应用的迅速普及,人们对MLOp(即支持ML的系统的持续集成和部署(CI/CD)实践)越来越感兴趣。目标。由于更改不仅会影响代码,还会影响ML模型参数和数据本身,因此需要扩展传统CI/CD的自动化,以管理生产中的模型再训练。法在本文中,我们提出了一个初步调查的MLOps实践中实现的一组ML启用的系统从GitHub检索,专注于GitHub行动和CML,两个解决方案,以自动化的开发工作流程。结果我们的初步结果表明,在开源GitHub项目中采用MLOps工作流目前相当有限。结论.还确定了问题,这可以指导未来的研究工作。
2022-09-23 cs.LG cs.SE
Successful Management of Cloud Based Global Software Development Projects: A Multivocal Study
软件行业正在不断探索更好的方法来开发应用程序。实现这一目标的一个新现象是基于云的全球软件开发(CGSD),它指的是组织采用云计算服务来支持全球软件开发项目。CGSD方法影响项目管理方式的战略和业务方面。目的:本研究的目的是确定有助于CGSD项目管理的成功因素。研究方法:我们进行了多焦点文献综述(MLR),以确定CGSD项目管理的最新技术和实践的成功因素。我们确定了有助于CGSD项目管理的32个成功因素。结果如下:MLR的研究结果表明,上市时间,持续发展,财务重组,可扩展性此外,研究结果表明,有一个正式的文献和行业的灰色文献报道的成功因素之间的正相关。结论:本研究的结果可以帮助实践者制定有效的CGSD项目管理所需的策略。
2022-08-18 cs.SE
Architecturally Significant MLOps Guidelines for ML Model Integration and Deployment: a Gray Literature Review
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Technical University of Munich(慕尼黑技术大学)
通过灰色文献综述,总结了25条架构上重要的MLOps指南,分为五类,用于指导ML模型在MLOps系统中的集成与部署。
2026-06-03 cs.LG cs.SE
Operationalizing AI: Empirical Evidence on MLOps Practices, User Satisfaction, and Organizational Context
Hankuk University of Foreign Studies(韩国外国语大学)
本研究通过分析8000多条G2.com用户评论,发现九项MLOps实践中有七项与用户满意度显著正相关,且组织背景影响其普遍性,但MLOps实践一旦应用便在各组织中均被视为普遍有益。
2025-10-11 cs.AI cs.CL cs.HC
Vibe Coding in Software Development: A Multivocal Literature Review
Faculty of Information Technology and Communication Sciences, Tampere University(坦佩雷大学信息与传播科学学院)
该研究对2022年至2025年10月的文献进行多视角综述,探讨软件开发中氛围编码实践。通过分析47篇文献发现其是迭代流程,开发者工作转变,短期生产力有提升,不同应用场景证据强弱有别,此为整合两类文献的首次综述并提出未来研究方向。
2026-11-06 cs.SE
Automating the Training and Deployment of Models in MLOps by Integrating Systems with Machine Learning
Northeastern University(东北大学);New York University(纽约大学);Zheiiang University(浙江大学);Trine University(特里恩大学)
该研究聚焦MLOps领域的模型训练与部署痛点,提出将系统与机器学习集成的方案,涵盖自动化训练、版本控制、CI/CD集成、部署后监控等关键环节,并结合Netflix实践给出落地策略,为企业优化MLOps流程提供参考。
2024-05-16 cs.LG cs.SE
Blockchain Developer Experience: A Multivocal Literature Review
本研究通过多声部文献综述分析62项研究,发现区块链开发者体验(BcDEx)在学术与工业界关注不均,并识别出复杂性抽象、采用促进、生产力提升、开发者教育和评估五个关键视角,为后续研究奠定基础。
2025-01-20 cs.SE
The Myth of Immutability: A Multivocal Review on Smart Contract Upgradeability
本研究通过多声文献综述系统地识别、分类和评估了现有的智能合约升级机制,建立统一定义并将其分为全面升级和部分升级方法,利用软件质量属性分析各方法的权衡,为开发者和研究人员提供机制选择指导。
2025-04-03 cs.SE
Faster Code, Deeper Debt? A Multivocal Literature Review on Technical Debt and Its Early Signs in LLM-Assisted Software Development
Drexel University(德雷塞尔大学)
通过104篇文献的多声部综述,发现LLM辅助开发放大传统技术债务(代码、设计、文档债务)并引入新债务(快速集成、提示、伦理、数据、来源债务),提出人机协同、提示工程等缓解策略,但缺乏标准化基准。
2026-06-16 cs.SE
Monitoring Machine Learning Systems: A Multivocal Literature Review
Monash University(墨尔本大学);Deakin University(德金大学)
本文通过多声部文献综述系统梳理了136篇机器学习监控研究,从动机、监控内容、贡献与局限等方面总结实践与不足,为研究和工具开发提供方向。
2025-09-17 cs.LG cs.SE
Quality Assurance in MLOps Setting: An Industrial Perspective
Karlstad University(卡尔斯塔德大学);Czech Technical University in Prague(捷克技术大学布拉格分校);Uddeholms AB(乌德霍尔姆公司)
如今,机器学习(ML)在工业中被广泛用于提供生产系统的核心功能。然而,它实际上总是在生产系统中作为更大的端到端软件系统的一部分使用,该系统由ML模型之外的其他几个组件组成。由于生产需求和时间限制,自动化软件工程实践非常适用。在制造业和公用事业等行业中越来越多地使用自动化ML软件工程实践,需要将自动化质量保证(QA)方法作为ML软件的组成部分。在这里,QA通过提供对软件任务的客观观点来帮助降低风险。虽然传统的软件工程已经为数据驱动的ML提供了自动化的QA数据分析工具,但缺乏对ML运行(MLOps)的QA实践的使用。本文探讨了QA的挑战,出现在工业MLOps和概念化的模块化战略,以处理数据完整性和数据质量(DQ)。本文附有来自工业合作伙伴的真实工业用例。该文件还提出了一些挑战,可能作为未来研究的基础。
2022-11-24 cs.AI cs.LG cs.SE
Smells and Refactorings for Microservices Security: A Multivocal Literature Review
保护基于微服务的应用程序至关重要,因为许多IT公司正在通过微服务交付业务。如果安全气味影响基于微服务的应用程序,则它们可能会遭受安全泄漏,需要重构以减轻其中安全气味的影响。目的:由于目前关于保护微服务的知识分散在不同的白色和灰色文献中,我们的目标是提取用于保护微服务的众所周知的气味,以及能够减轻这些气味影响的重构。方法:为了捕捉微服务安全的最新技术和实践,我们对现有的关于该主题的白色和灰色文献进行了多方面的审查。我们系统地分析了2014年至2020年底发表的58项研究。结果如下:确定了十种用于保护微服务的不良气味,我们将其组织在一个分类中,将每种气味与它可能违反的安全属性以及能够减轻其影响的重构相关联。结论:安全气味和相应的重构对于从业者来说具有实用价值,他们可以在日常工作中利用它们来保护微服务。它们也是希望在保护微服务方面建立新研究方向的研究人员的起点。
2021-04-27 cs.CR cs.SE
Towards MLOps: A DevOps Tools Recommender System for Machine Learning System
National University of Computer and Emerging Sciences(国家计算机与新兴科学大学)
本文针对 MLOps 中开源工具选择困难的问题,提出一种基于项目上下文信息的推荐系统框架,并通过实验证明随机森林方法在四种候选方法中取得最佳推荐效果。
2024-02-20 cs.LG cs.SE
Towards an MLOps Architecture for XAI in Industrial Applications
University of Hildesheim(希尔德斯海姆大学);Prodrive Technologies(Prodrive技术公司);Umeå University(于默奥大学);Delft University of Technology(代尔夫特理工大学);ABB Corporate Research Germany(ABB德国企业研究院);Signify(昕诺飞);Capgemini Invent(凯捷Invent);Viking Analytics(Viking分析公司);Linköping University(林雪平大学)
针对工业环境中机器学习模型部署复杂且缺乏解释性导致被绕过的问题,提出了一种整合解释与反馈能力的新型MLOps软件架构,并在EXPLAIN项目的工业用例中验证了其有效管理模型及提升可解释性的优势。
2023-10-20 cs.AI cs.SE
The Collective Knowledge project: making ML models more portable and reproducible with open APIs, reusable best practices and MLOps
cTuning foundation(cTuning基金会);cKnowledge SAS(cKnowledge SAS公司)
本文概述了集体知识技术(CK或cKnowledge)。CK试图让机器学习和系统研究更容易重现,在生产中部署机器学习模型,并使其适应不断变化的数据集、模型、研究技术、软件和硬件。CK的概念是将复杂的系统和特别的研究项目分解为具有统一API、CLI和JSON Meta描述的可重用子组件。这些组件可以使用DevOps原则与可重用的自动化操作、软件检测插件、Meta包和公开的优化参数相结合连接到可移植的工作流中。CK工作流可以自动插件来自不同供应商的不同模型、数据和工具,同时在不同的平台和环境中以统一的方式构建、运行和基准测试研究代码。这样的工作流程还有助于执行整个系统优化,重现结果,并使用CK平台上的公共或私人记分牌(https://www.example.com)进行比较。cKnowledge.io例如,模块化CK方法已与工业合作伙伴成功验证,可自动协同设计和优化软件、硬件和机器学习模型,以实现速度、准确性、能量、尺寸和其他特性方面的可再现和高效目标检测。长期目标是通过帮助研究人员和从业者使用开放的CK API共享和重用他们的知识、经验、最佳实践、工件和技术,简化和加速ML模型和系统的开发和部署。
2020-06-18 cs.LG cs.SE stat.ML
Addressing Quality Challenges in Deep Learning: The Role of MLOps and Domain Knowledge
Universitat Politècnica de Catalunya (BarcelonaTech)(加泰罗尼亚理工大学(巴塞罗那理工大学))
本经验论文探讨了MLOps实践与领域知识在解决深度学习系统质量属性(如正确性与资源效率)挑战中的作用,并提供了何时停止系统优化的策略性见解。
2025-01-31 cs.AI cs.SE
Guidelines for including grey literature and conducting multivocal literature reviews in software engineering
背景:多焦点文献综述(MLR)是系统性文献综述(SLR)的一种形式,包括灰色文献(例如,博客文章和白皮书)除了公开的(正式的)文献(例如,期刊和会议论文)。MLR对研究人员和从业人员都很有用,因为它们提供了特定领域的最新技术和实践总结。目的:在SE中进行SLR研究有几个指南。然而,由于多目标激光雷达的几个阶段不同于传统的激光雷达,例如在搜索过程和源质量评估方面。因此,SLR指南对于进行MLR研究仅部分有用。我们在本文中的目标是提出如何进行MLR研究在SE的指导方针。方法:为了制定MLR指南,我们受益于三个输入:(1)SE中现有的SLR指南,(2)MLR指南的文献调查和其他领域的经验文件,以及(3)我们自己在SE中进行几次MLR的经验。所有派生的准则进行了讨论的背景下,三个例子MLR运行的例子(两个从SE和一个MLR从医学科学)。结果如下:由此产生的准则涵盖了在社会企业中进行和报告多重法律责任的所有阶段,从规划阶段,到进行审查,再到审查的最后报告。特别是,我们认为,通过纳入和采纳MLR指南和其他领域经验文件中的大量建议,我们能够提出一套具有坚实基础的指南。结论:在三种类型的坚实经验和证据的基础上制定的MLR指南支持研究人员在任何SE领域有效和高效地进行新的MLR。
2018-09-18 cs.DL cs.SE
The Software Supply Chain as a Market for Lemons: A Multivocal Review of Trust Signal Collapse
North Carolina State University(北卡罗来纳州立大学);Carnegie Mellon University(卡内基梅隆大学)
本研究通过多视角综述252个谷歌搜索来源和870个Reddit线程,揭示开源依赖项的廉价信任信号因三种力量崩溃,提出需强制实施加密证明等成本更高的信号。
2026-08-24 cs.CR cs.SE
CTML: A Comprehensive Framework for Continuous Testing in Machine Learning Operations
American University of Bahrain(巴林美国大学)
本文提出面向MLOps环境的CTML框架,通过模块化架构实现数据质量等四维度的ML系统持续测试,在预测性维护案例中有效识别传统测试遗漏的问题,推动了MLOps质量保证标准发展。
2026-10-12 cs.SE
The Pipeline for the Continuous Development of Artificial Intelligence Models -- Current State of Research and Practice
University of Innsbruck(因斯布鲁克大学);Blekinge Institute of Technology(布莱金厄理工学院);Software Competence Center Hagenberg GmbH (SCCH)(哈根贝格软件能力中心有限公司(SCCH))
由于人工智能的特点,公司在确保质量的同时,很难不断开发和部署人工智能模型到复杂的生产系统中。为了简化开发过程,人工智能的连续管道已经成为一个活跃的研究领域,需要对术语,触发器,任务和挑战进行综合和深入的分析。本文包括一个多焦点文献综述,我们整合了151个相关的正式和非正式来源。此外,九个半结构化的采访,从学术界和工业界的参与者验证和扩展所获得的信息。基于这些来源,本文提供并比较了DevOps和AI,MLOps,(端到端)生命周期管理和CD 4 ML的CI/CD术语。此外,本文还提供了一个潜在触发器的汇总列表,用于重申管道,例如警报系统或时间表。此外,这项工作使用分类创建策略来呈现一个合并的管道,包括有关人工智能持续开发的任务。该管道由四个阶段组成:数据处理,模型学习,软件开发和系统操作。此外,我们将人工智能持续开发的管道实施、适应和使用方面的挑战映射到这四个阶段。
2023-01-21 cs.AI cs.SE
Generative AI for Software Architecture. Applications, Challenges, and Future Directions
University of Oulu, Finland(奥卢大学);Tampere University, Finland(塔尔库大学);University of Arizona, USA(亚利桑那大学);Software Engineering Research Center, IIIT Hyderabad, India(IIIT Hyderabad软件工程研究中心)
本文通过多声文献综述系统分析了生成式AI在软件架构中的应用、挑战与未来方向,发现其主要用于架构决策支持和重建,但仍面临精度、伦理及评估框架等挑战。
2025-06-27 cs.AI cs.DC cs.ET