arXiv 2206.136552022-06-27cs.LGcs.DC

在不同云提供商上使用Kubeflow部署ML模型

Deployment of ML Models using Kubeflow on Different Cloud Providers

Aditya Pandey, Maitreya Sonawane, Sumit Mamtani

摘要：

该项目旨在探索使用名为Kubeflow的开源工具在Kubernetes上部署机器学习模型的过程[1] -一个端到端ML Stack编排工具包。我们以管道的形式在Kubeflow上创建端到端的机器学习模型，并分析各种要点，包括该工具的易于设置、部署模型、性能、限制和功能。我们希望我们的项目几乎像一个研讨会/介绍性报告，可以帮助对Kubeflow一无所知的普通云/Kubernetes用户使用Kubeflow部署ML模型。从在不同云上的设置到通过互联网提供我们的训练模型-我们提供了详细说明Kubeflow性能的细节和指标。

英文摘要：

This project aims to explore the process of deploying Machine learning models on Kubernetes using an open-source tool called Kubeflow [1] - an end-to-end ML Stack orchestration toolkit. We create end-to-end Machine Learning models on Kubeflow in the form of pipelines and analyze various points including the ease of setup, deployment models, performance, limitations and features of the tool. We hope that our project acts almost like a seminar/introductory report that can help vanilla cloud/Kubernetes users with zero knowledge on Kubeflow use Kubeflow to deploy ML models. From setup on different clouds to serving our trained model over the internet - we give details and metrics detailing the performance of Kubeflow.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

本地部署大语言模型的成本效益分析：与商业LLM服务实现收支平衡

A Cost-Benefit Analysis of On-Premise Large Language Model Deployment: Breaking Even with Commercial LLM Services

Carnegie Mellon University（卡内基梅隆大学）

本文提出成本效益分析框架，通过对比开源模型（如Qwen、Llama等）本地部署的硬件、运营成本与商业LLM服务订阅费，确定本地部署的经济可行性收支平衡点，为组织LLM策略规划提供实用指导。

2025-11-11cs.AIcs.LG

AgentProv：通过工具使用策略探测审计智能体大语言模型API提供商

AgentProv: Auditing Agentic LLM API Providers via Tool-use Policy Probes

CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）

AgentProv是首个基于动作的智能体LLM API身份审计方法，通过工具调用分布指纹结合MMD置换测试，实现100%替换模型检测且误报率低，可有效应对现有审计方法的缺陷。

2026-09-02cs.CLcs.CRcs.LG

LLM输出漂移：金融工作流的跨提供商验证与缓解

LLM Output Drift: Cross-Provider Validation & Mitigation for Financial Workflows

IBM -- Financial Services Market（IBM金融服务市场）

针对金融工作流中LLM输出漂移问题，量化五种模型在金融任务上的漂移，提出金融校准测试工具、任务特定不变性检查等方法，为合规部署提供支持。

2025-11-10cs.AIcs.CLcs.LG

MLCapsule：机器学习即服务的受保护离线部署

MLCapsule: Guarded Offline Deployment of Machine Learning as a Service

Stanford University（斯坦福大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Max Planck Institute for Informatics（马克斯·普朗克计算机科学研究所）

随着机器学习（ML）技术的广泛使用，ML作为一种服务变得越来越受欢迎。在这种情况下，ML模型驻留在服务器上，用户可以通过API使用他们的数据查询它。然而，如果用户的输入是敏感的，那么将其发送到服务器是不可取的，有时甚至在法律上是不可能的。同样，服务提供者也不想通过将模型发送给客户机来共享模型，以保护其知识产权和按查询付费的业务模型。在本文中，我们提出了MLCapsule，这是一种将机器学习作为服务的有保护的离线部署。MLCapsule在用户端本地执行模型，因此数据永远不会离开客户端。同时，MLCapsule为服务提供商提供了与常用的服务器端执行相同的控制和安全级别。此外，MLCapsule适用于需要本地执行的离线应用程序。除了防止直接模型访问之外，我们还将安全的离线部署与对机器学习模型的高级攻击（如模型窃取、逆向工程和成员推断）的防御相结合。

2019-02-06cs.AIcs.CRcs.LG

云环境中用于低成本决策的可转移知识

Transferable Knowledge for Low-cost Decision Making in Cloud Environments

Lancaster University（兰卡斯特大学）

云计算的用户越来越多地被各种各样的提供商和每个提供商提供的服务所淹没。因此，许多用户仅基于描述来选择云服务。一种新兴的替代方案是使用决策支持系统（DSS），该系统通常依赖于从观察数据中获得见解，以帮助客户做出有关云应用程序的最佳部署或重新部署的决策。这样的系统的主要活动是预测模型的生成（例如，使用机器学习），其需要显著大量的训练数据。然而，考虑到应用程序、云提供商和云产品的不同架构，这种活动是不可持续的，因为它会产生额外的时间和成本来收集训练数据并随后训练模型。我们通过开发一种迁移学习（TL）方法来克服这一问题，在该方法中，从在特定云基础设施上运行应用程序中获得的知识（以预测模型和相关数据集的形式）被转移，以便大幅减少为新应用程序和/或云基础设施的性能构建新模型的开销。在本文中，我们提出了我们的方法，并通过广泛的实验，涉及三个现实世界的应用程序在两个主要的公共云提供商，即亚马逊和谷歌进行评估。我们的评估表明，我们的新的双模式TL方案提高了整体效率，减少了60%的时间和成本，产生一个新的预测模型的一个因素。我们在许多跨应用程序和跨云场景下测试这一点。

2019-05-07cs.DCcs.LG

LLM 代理中功能等价工具的延迟-质量路由

Latency-Quality Routing for Functionally Equivalent Tools in LLM Agents

University of Connecticut（康涅狄格大学）

针对LLM代理中多个功能等价工具提供者的路由问题，提出LQM-ContextRoute上下文强盗路由器，通过延迟-质量匹配和查询特定质量估计，在运行时负载下实现延迟与质量的权衡，在多个基准上优于SW-UCB。

2026-05-28cs.LG

更多相关论文收起更多论文

POLCA：大语言模型云提供商中的功率超额订阅

POLCA: Power Oversubscription in LLM Cloud Providers

University of Washington（华盛顿大学）；Microsoft（微软）；Microsoft Azure（微软Azure）

针对LLM云数据中心功率瓶颈问题，提出稳健可靠的POLCA功率超额订阅框架，可在推理集群中多部署30%服务器且性能损失极小，提升数据中心功率效率与部署速度。

2023-08-24cs.ARcs.DCcs.LG

使用MLOps自动部署机器学习模型的持续集成/持续交付

On Continuous Integration / Continuous Delivery for Automated Deployment of Machine Learning Models using MLOps

Jaypee University of Information Technology（杰皮信息技术大学）；Netaji Subhas University of Technology（尼赫鲁苏巴斯科技大学）；Deloitte LLC（德勤有限责任公司）

近年来，机器学习中的模型部署已经成为一个有趣的研究领域。它可以与传统软件开发定义的过程相媲美。持续集成和持续交付（CI/CD）已被证明可以在与开发和运营（DevOps）结合使用时平滑软件进步并加快业务。另一方面，在包含机器学习操作（MLOps）组件的应用程序中使用CI/CD管道存在困难，该领域的先驱通过使用独特的工具来解决这些问题，这些工具通常由云提供商提供。这项研究更深入地研究了机器学习的生命周期以及DevOps和MLOps之间的关键区别。在MLOps方法中，我们讨论了用于执行机器学习框架的CI/CD管道的工具和方法。接下来，我们将深入研究Github Operations（GitOps）中基于推送和拉取的部署。开放的勘探问题也被确定和补充，这可能会指导未来的研究。

2022-02-07cs.LGcs.SE