Serving deep learning models in a serverless platform
无服务器计算已经成为开发和部署各种基于事件的云应用程序的引人注目的范例。与此同时,云计算提供商和企业公司正在大量采用机器学习和人工智能,以使自己与众不同,或为客户提供增值服务。在这项工作中,我们评估了无服务器计算环境的适用性大型神经网络模型的推理。我们的实验评估是使用MxNet深度学习框架在AWS Lambda环境上执行的。我们的实验结果表明,虽然推理延迟可以在可接受的范围内,但由于冷启动而导致的较长延迟可能会扭曲延迟分布,从而有可能违反更严格的SLA。
2018-02-09 cs.DC
Demystifying Cost-Efficiency in LLM Serving over Heterogeneous GPUs
本文研究异构GPU上LLM推理服务的成本效率问题,通过基准测试发现GPU组合、部署配置与负载分配可显著优化成本,并提出基于混合整数线性规划的调度算法,在多种场景下优于同构和异构基线。
2025-06-05 cs.DC
Cocktail: Leveraging Ensemble Learning for Optimized Model Serving in Public Cloud
Pennsylvania State University(宾夕法尼亚州立大学)
随着对各种应用服务采用ML模型的需求不断增长,服务于这些模型的框架能够以最小的延迟提供高度准确的预测以及降低公共云环境中的部署成本至关重要。尽管高延迟,在这一领域的先前工作是至关重要的限制由个别模型提供的准确性。直观地说,模型集成可以通过智能地并行组合不同的模型来解决精度差距。然而,在运行时动态地选择合适的模型以满足期望的准确性和低延迟,以最小的部署成本是一个不平凡的问题。Cocktail是一个基于集成的模型服务框架,它包括两个关键部分:(1)动态模型选择框架,它减少了集成中的模型数量,同时满足精度和延迟要求;(ii)采用与重要性采样组合的分布式主动自动缩放策略的自适应资源管理(RM)框架,为模特们有效地分配资源。RM框架存储临时虚拟机(VM)实例以降低公共云中的部署成本。Cocktail在AWS EC2平台上的原型实现和使用各种工作负载的详尽评估表明,与最先进的模型服务框架相比,Cocktail可以将部署成本降低1.45倍,同时将延迟降低2倍,并满足高达96%的请求的目标准确性。
2021-06-09 cs.DC cs.LG
SageServe: Optimizing LLM Serving on Cloud Data Centers with Forecast Aware Auto-Scaling
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Georgia Institute of Technology(佐治亚理工学院);Indian Institute of Science(印度科学学院);Microsoft(微软)
针对云数据中心LLM混合工作负载的SLA冲突与资源利用率低问题,提出SageServe框架,通过多时间尺度控制、流量预测与ILP优化,实现25%GPU小时节省、80%扩缩浪费减少及每月250万美元潜在成本节省,同时满足SLA。
2025-11-12 cs.DC
DSD: A Distributed Speculative Decoding Solution for Edge-Cloud Agile Large Model Serving
DSD提出了一种分布式推测解码框架,通过自适应窗口控制策略提升边缘-云环境下大模型服务的性能和扩展性。
2025-12-01 cs.DC cs.LG
Synera: Synergistic LLM Serving across Device and Cloud at Scale
The Chinese University of Hong Kong Hong Kong SAR China(香港中文大学);Theory Lab, Central Research Institute, 2012 Labs, Huawei Technologies Co. Ltd.(理论实验室、中央研究院、2012实验室、华为技术有限公司)
针对移动LLM部署中生成质量下降和延迟延长的问题,本文提出设备-云协同服务系统Synera,通过选择性卸载、无停顿并行推理等设计,在延迟相当下生成质量提升1.20-5.47倍,云成本降低8.2-16.5%。
2025-10-17 cs.AI cs.DC cs.LG
SynergAI: Edge-to-Cloud Synergy for Architecture-Driven High-Performance Orchestration for AI Inference
National Technical University of Athens(雅典国立技术大学)
SynergAI是一个跨异构端云基础设施的架构感知推理服务框架,通过结合离线和在线决策策略动态分配工作负载,在Kubernetes中实现后,相比SotA方案将QoS违规平均降低了2.4倍。
2025-09-12 cs.DC
Fog-Assisted Operational Cost Reduction for Cloud Data Centers
本文提出了一种利用雾设备降低云数据中心运营成本的方法,雾设备可以避免广域网传播延迟带来的收益损失,并通过服务附近的云用户节省网络带宽成本。由于雾设备可能不属于云服务提供商,因此应该为服务云用户的请求提供补偿。在考虑经济补偿时,应确定每个雾设备本地处理的最佳请求数。因此,现有的云数据中心负载均衡方案不能直接应用,有必要重新设计一种适用于雾云系统的代价型负载均衡算法。为了实现上述目标,我们首先制定了雾辅助的云服务提供商的运营成本最小化问题。在此基础上,设计了一种基于近似雅可比交替方向乘法(PJ-ADMM)的低计算复杂性的并行分布式负载均衡算法。最后通过大量的仿真实验验证了该算法的有效性。
2017-08-03 cs.DC
Hysia: Serving DNN-Based Video-to-Retail Applications in Cloud
Nanyang Technological University(南洋理工大学);Indeed Inc.(Indeed公司);Singapore Management University(新加坡管理大学)
结合\underline{v}视频流和在线\underline{r}电子邮件(V2 R)最近已经成为一种增长的趋势。在本文中,我们为多媒体领域的从业者和研究人员提供了一个名为Hysia的基于云的平台,用于轻松开发和部署V2 R应用程序。该系统包括:1)后端基础设施,提供优化的V2 R相关服务,包括数据引擎、模型存储库、模型服务和内容匹配;以及2)应用层,实现快速V2 R应用原型。Hysia通过以下方式满足大规模多媒体的行业和学术需求:1)无缝集成最先进的库,包括NVIDIA视频SDK、Facebook faiss和gRPC; 2)有效利用GPU计算; 3)允许开发人员轻松绑定新模型,以满足快速变化的深度学习(DL)技术。在此基础上,我们实现了一个协调器,以进一步优化DL模型服务性能。Hysia已在GitHub上作为开源项目发布,并引起了相当大的关注。我们已经将Hysia作为官方镜像发布到DockerHub,以便在当前云环境中进行无缝集成和部署。
2020-06-09 cs.DC cs.LG cs.MM
Serverless Data Science -- Are We There Yet? A Case Study of Model Serving
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学);Beijing Institute of Technology(北京理工大学)
机器学习(ML)是现代数据科学应用的重要组成部分。数据科学家今天必须管理端到端的ML生存周期,其中包括模型训练和模型服务,后者是必不可少的,因为它使他们的作品可供最终用户使用。模型服务系统要求高性能、低成本和易于管理。云提供商已经提供了模型服务选择,包括托管服务和自租服务器。最近,无服务器计算,其优点包括高弹性和细粒度的成本模型,为模型服务带来了另一种选择。我们在本文中的目标是研究无服务器作为主流模型服务平台的可行性。为此,我们首先针对Amazon Web Service和Google Cloud Platform上的其他模型服务系统,对无服务器的性能和成本进行了全面评估。我们发现无服务器的性能优于许多基于云的替代方案。此外,在某些设置下,它甚至可以实现比基于GPU的系统更好的性能。接下来,我们介绍了无服务器模型服务的设计空间,它包括多个维度,包括云平台,服务运行时和其他功能特定的参数。对于每个维度,我们分析了不同选择的影响,并为数据科学家提供了更好地利用无服务器模型服务的建议。最后,我们讨论了建立一个更实用的无服务器模型服务系统的挑战和机遇。
2022-03-01 cs.AI cs.DB cs.DC
Cost-Efficient LLM Serving in the Cloud: VM Selection with KV Cache Offloading
Sogang University(西江大学);ETRI(韩国电子通信研究院)
针对云环境LLM推理的高GPU成本问题,提出InferSave框架,通过基于SLO和工作负载优化KV缓存卸载、CTCF校准性能差异来推荐低成本VM实例,实验显示在线场景成本效率提升73.7%,离线场景节省20.19%成本。
2025-04-16 cs.DC cs.LG
SkyServe: Serving AI Models across Regions and Clouds with Spot Instances
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
提出SpotHedge策略与SkyServe系统,通过跨区域和云智能分布并超额配置Spot副本、动态回退按需副本,在保证高可用性与低延迟的同时平均降低43%的AI服务成本。
2025-03-03 cs.AI cs.DC
ConfigSpec: Profiling-Based Configuration Selection for Distributed Edge--Cloud Speculative LLM Serving
Queen's University Belfast(贝尔法斯特女王大学)
本文提出ConfigSpec框架,通过分析边缘设备和草案模型对齐,评估不同配置下的吞吐量、验证成本效率和能耗,揭示了在边缘-云LLM推理中配置优化的结构性冲突。
2026-04-08 cs.AI cs.DC
Enabling Efficient Serverless Inference Serving for LLM (Large Language Model) in the Cloud
Technische Universität München(慕尼黑工业大学)
本文综述了Serverless LLM推理的冷启动问题,重点介绍ServerlessLLM通过多层检查点加载、实时迁移和启动优化调度将启动时间缩短6到8倍,并回顾了Rainbowcake等其他方法及FaaS冷启动应对策略。
2024-11-23 cs.DC cs.LG
Recursive Offloading for LLM Serving in Multi-tier Networks
针对多层级网络中LLM服务效率低的问题,提出递归卸载框架RecServe,通过分层置信度评估和滑动窗口动态卸载策略,在八个数据集上优于CasServe并降低超50%通信负担。
2025-05-24 cs.DC cs.NI
Serving LLMs in HPC Clusters: A Comparative Study of Qualcomm Cloud AI 100 Ultra and NVIDIA Data Center GPUs
University of California, San Diego(加州大学圣地亚哥分校)
本研究在国家研究平台中对比高通Cloud AI 100 Ultra与英伟达A100 GPU的大语言模型推理表现,发现前者能效更优、硬件分配更细粒度,为能源受限的高性能计算大模型部署提供参考。
2025-10-28 cs.AI cs.DC
TensorFlow-Serving: Flexible, High-Performance ML Serving
Google(谷歌)
我们描述了TensorFlow-Serving,这是一个在Google内部为机器学习模型提供服务的系统,它也可以在云中和通过开源提供。它在支持的机器学习平台类型方面非常灵活,并且可以与从训练到服务传递新模型和更新版本的系统集成。与此同时,围绕模型查找和推理的核心代码路径已经被仔细优化,以避免在幼稚实现中观察到的性能缺陷。Google在许多生产部署中使用它,包括一个名为TFS^2的多租户模型托管服务。
2017-12-27 cs.DC cs.LG
Serving Graph Neural Networks With Distributed Fog Servers For Smart IoT Services
Sun Yat-sen University(中山大学)
本文提出分布式实时GNN推理框架Fograph,利用多雾节点异构资源与GNN特定压缩技术,解决云端服务通信开销大的问题,实现最高5.39倍执行加速和6.84倍吞吐量提升。
2023-07-04 cs.AI cs.DC cs.LG
ServeGen: Workload Characterization and Generation of Large Language Model Serving in Production
School of Computer Science, Peking University(北京大学计算机学院);Alibaba Group(阿里巴巴集团)
本文通过深入分析真实世界中的大型语言模型服务工作负载,提出ServeGen框架,通过按客户端组合生成真实工作负载,有效避免了50%的欠配问题,提升了性能基准测试效果。
2026-05-11 cs.DC
KVCache Cache in the Wild: Characterizing and Optimizing KVCache Cache at a Large Cloud Provider
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University(并行与分布式系统研究院,上海交通大学);Alibaba Group(阿里巴巴集团)
本文通过表征LLM服务提供商的KV缓存工作负载模式,提出了一种面向工作负载的缓存淘汰策略,以优化实际应用中的缓存性能。
2026-02-14 cs.AI cs.DC
Hercules: Heterogeneity-Aware Inference Serving for At-Scale Personalized Recommendation
个性化推荐是一类重要的深度学习应用程序,它支持大量的互联网服务,并消耗大量的数据中心资源。随着生产级推荐系统的规模不断增长,在异构数据中心中优化其服务性能和效率非常重要,并且可以转化为基础设施容量节省。在本文中,我们提出了Hercules,这是一个针对不同行业代表性模型和云规模异构系统的个性化推荐推理服务的优化框架。Hercules执行两个阶段的优化过程-离线分析和在线服务。第一阶段使用基于梯度的搜索算法搜索大型未开发的任务调度空间,在单个服务器上实现高达9.0倍的延迟限制吞吐量改进;它还为每个推荐工作负载确定最佳异构服务器架构。第二阶段执行异构感知集群配置,以优化资源映射和分配,以响应波动的昼夜负载。建议的集群调度器在大力神实现47.7%的集群容量节省,并减少了23.7%的最先进的贪婪调度器提供的功率。
2022-03-14 cs.DC
ExaServe: Large-Scale LLM Serving on Exascale HPC Systems
The University of Chicago(芝加哥大学);Argonne National Laboratory(阿贡国家实验室)
ExaServe是一个pip可安装的框架,将YAML规范转换为可复现的大规模LLM服务部署,在Aurora上从1到256节点实现近线性扩展,达到27.1k请求/秒,并识别了Ray Serve的O(N²)控制平面瓶颈。
2026-09-11 cs.DC
FailLite: Failure-Resilient Model Serving for Resource-Constrained Edge Environments
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Army Research Laboratory(陆军研究实验室)
FailLite通过异构复制、智能热冷副本策略和渐进故障转移,实现资源受限边缘环境下的高容错模型服务,降低MTTR并保持高精度。
2025-11-21 cs.DC
DéjàVu: KV-cache Streaming for Fast, Fault-tolerant Generative LLM Serving
针对分布式 LLM 服务中的流水线气泡、GPU 显存浪费和故障恢复慢问题,提出 DéjàVu 系统,基于 DéjàVuLib 实现 prompt-token 分离、微批次交换与状态复制。
2024-03-04 cs.DC
Harpagon: Minimizing DNN Serving Cost via Efficient Dispatching, Scheduling and Splitting
Tianjin University(天津大学);Stevens Institute of Technology(史蒂文斯理工学院)
Harpagon通过高效调度、调度和分割策略,有效降低多DNN应用的服务成本,同时满足延迟约束。
2024-12-09 cs.DC
ReviveMoE: Fast Recovery for Hardware Failures in Large-Scale MoE LLM Inference Deployments
Huawei Technologies Canada(华为技术有限公司加拿大分公司);Simon Fraser University(西蒙菲莎大学);Huawei Technologies China(华为技术有限公司中国)
ReviveMoE通过无需重启服务实例实现大规模MoE大语言模型部署中的快速故障恢复,基于华为的xDeepServe平台和XCCL通信库。
2026-02-24 cs.DC
Perseus: Characterizing Performance and Cost of Multi-Tenant Serving for CNN Models
Worcester Polytechnic Institute(伍斯特理工学院)
深度学习模型越来越多地用于终端用户应用程序,支持面部识别等新功能和Web搜索等传统功能。为了适应高推理吞吐量,通常将单个预训练的卷积神经网络(CNN)托管在具有诸如图形处理单元(GPU)之类的硬件加速器的专用基于云的服务器中。然而,GPU可能比传统的中央处理单元(CPU)服务器贵几个数量级。面对动态工作负载,这些资源也可能未得到充分利用,这可能导致服务成本膨胀。缓解这个问题的一个潜在方法是允许托管模型共享底层资源,我们称之为多租户推理服务。其中一个关键的挑战是最大限度地提高资源效率的多租户服务给定的硬件具有不同的特点,具有独特的响应时间服务水平协议(SLA)的模型,和动态推理工作负载。在本文中,我们提出了珀尔修斯,一个测量框架,为理解多租户模型服务的性能和成本权衡提供了基础。我们在一个名为Nvidia TensorRT Inference Server的流行云推理服务器上用Python实现了Perseus。利用Perseus,我们评估了服务各种模型的推理吞吐量和成本,并证明多租户模型服务可以降低高达12%的成本。
2020-03-30 cs.DC cs.LG cs.PF
RIBBON: Cost-Effective and QoS-Aware Deep Learning Model Inference using a Diverse Pool of Cloud Computing Instances
Northeastern University(东北大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
深度学习模型推理是许多业务和科学发现流程中的关键服务。本文介绍了RIBBON,一种新型的深度学习推理服务系统,它满足两个相互竞争的目标:服务质量(QoS)目标和成本效益。RIBBON背后的关键思想是智能地使用一组不同的云计算实例(异构实例)来满足QoS目标并最大限度地节省成本。RIBBON设计了一种贝叶斯优化驱动的策略,帮助用户在云计算平台上为其模型推理服务需求构建最佳的异构实例集-并且,RIBBON证明了其优于使用同构实例池的推理服务系统的现有方法。RIBBON为不同的学习模型节省了高达16%的推理服务成本,包括新兴的深度学习推荐系统模型和药物发现使能模型。
2022-07-28 cs.DC cs.LG
Serving and Optimizing Machine Learning Workflows on Heterogeneous Infrastructures
Duke University(杜克大学);Microsoft Research(微软研究院)
随着智能设备和物联网的无处不在的部署,用于机器学习推理的数据源越来越多地移动到网络边缘。现有的机器学习推理平台通常假设同构基础设施,并且不考虑更复杂和分层的计算基础设施,包括边缘设备、本地集线器、边缘计算中心和云计算中心。另一方面,最近的AutoML努力为异构环境的模型压缩、修剪和量化提供了可行的解决方案;对于机器学习模型,现在我们可以很容易地找到甚至生成一系列在准确性和效率之间具有不同权衡的模型。我们设计并实现了JellyBean,一个在异构基础设施上服务和优化机器学习推理工作流的系统。给定服务级别目标(例如,吞吐量、准确性),JellyBean选择符合准确性目标的最具成本效益的模型,并决定如何在不同的基础架构层中部署它们。评估表明,与最先进的模型选择和工人分配解决方案相比,JellyBean将视觉问答的总服务成本降低了58%,将NVIDIA AI城市挑战赛的车辆跟踪成本降低了36%。JellyBean还优于先前的ML服务系统(例如,Spark on the Cloud),服务成本高达5倍。
2022-08-03 cs.DB cs.DC cs.LG
ShuntServe: Cost-Efficient LLM Serving on Heterogeneous Spot GPU Clusters
Hanyang University(汉阳大学)
提出ShuntServe系统,通过屋顶线模型估计性能和动态规划优化模型放置,在异构竞价型GPU集群上最大化吞吐量,结合输出保留迁移与共享张量存储实现容错,相比基线吞吐量提升1.42倍,成本效率提升31.9%以上。
2026-06-18 cs.DC
OpScale: Operator-level Provisioning and Autoscaling for LLM Serving
Rice University(莱斯大学);Microsoft Research(微软研究院);Microsoft Azure Research(微软Azure研究)
针对LLM服务中粗粒度扩缩容的弊端,提出算子级编排框架OpScale,可在满足SLO的同时降低GPU用量、功耗,或在固定成本下提升吞吐量。
2026-08-14 cs.DC
Queue management for slo-oriented large language model serving
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research(IBM研究院)
提出QLM队列管理系统,通过请求等待时间估计和全局调度优化LLM服务中的批量与交互请求排序,提升SLO达成率40-90%和吞吐量20-400%。
2025-02-25 cs.CL cs.DC cs.LG
PPipe: Efficient Video Analytics Serving on Heterogeneous GPU Clusters via Pool-Based Pipeline Parallelism
本文提出 PPipe 推理服务系统,利用基于池的流水线并行、MILP 控制平面和自适应批处理,在异构 GPU 集群上提升视频分析推理吞吐量与低端 GPU 利用率。
2025-07-24 cs.DC
Roomie: Interference-Aware Colocation for Efficient Model Serving
Université Savoie Mont Blanc(萨瓦蒙布朗大学);Inria(法国国家数字科学研究所);Stony Brook University(石溪大学);ENS Lyon and Institut Universitaire de France(里昂高等师范学院和法国大学学院)
针对DNN推理中GPU容量供不应求需共置模型的情况,Roomie架构通过解耦离线内核分析与在线干扰预测,用基于占用的模型预测干扰,经启发式算法和在线放置算法,有效降低推理延迟,提升吞吐量。
2026-07-21 cs.DC cs.OS
LLM-Driven Intent-Based Privacy-Aware Orchestration Across the Cloud-Edge Continuum
The University of Melbourne(墨尔本大学);Monash University(莫纳什大学)
本文提出了一种动态管道重新配置方法,用于在云-边连续体上实现意图驱动的隐私意识协同,通过减少服务停机时间和性能损失来优化LLM推理效率。
2026-02-18 cs.DC
SpotServe: Serving Generative Large Language Models on Preemptible Instances
Carnegie Mellon University(卡内基梅隆大学);Peking University(北京大学);The Chinese University of Hong Kong(香港中文大学)
提出首个在可抢占实例上服务的分布式LLM系统SpotServe,通过动态调整并行化配置、二分图匹配优化迁移及有状态推理恢复技术,显著降低尾部延迟并节省54%成本。
2023-11-27 cs.CL cs.DC cs.LG
Fine-Tuning and Serving Gemma 4 31B on Google Cloud TPU: A Technical Comparison with GPU Baselines
Google Cloud(谷歌云)
本文首次端到端展示了在TPU硬件上微调和服务Google Gemma 4 31B模型,通过与GPU平台的实证比较,提供了代码级适配方案,并证明TPU在训练速度和成本上具有优势。
2026-06-05 cs.AI cs.DC
ApproxIFER: A Model-Agnostic Approach to Resilient and Robust Prediction Serving Systems
University of Michigan-Ann Arbor(密歇根大学安娜堡分校);University of Southern California (USC)(南加州大学(USC))
由于云辅助人工智能服务的激增,设计弹性预测服务系统的问题,可以有效地应对落伍者/故障,并最大限度地减少响应延迟引起了人们的极大兴趣。解决这个问题的常用方法是复制,它将相同的预测任务分配给多个工人。然而,这种方法效率非常低,并且会产生大量的资源开销。因此,最近提出了一种基于学习的方法,称为奇偶校验模型(ParM),它学习可以为一组预测生成奇偶校验的模型,以便重建缓慢/失败的工人的预测。虽然这种基于学习的方法比复制更节省资源,但它是针对云托管的特定模型量身定制的,特别适合少量查询(通常少于四个),并且容忍很少(主要是一个)数量的落伍者。此外,ParM不处理拜占庭式的敌对工人。我们提出了一种不同的方法,称为近似编码推理(ApproxIFER),它不需要训练任何奇偶校验模型,因此它对云托管的模型是不可知的,可以很容易地应用于不同的数据域和模型架构。与早期的作品相比,ApproxIFER可以处理一般数量的掉队者和规模显着更好的查询的数量。此外,ApproxIFER对拜占庭工人来说是强大的。我们在大量数据集和模型架构上进行的广泛实验也表明,与奇偶校验模型方法相比,准确率提高了58%。
2021-09-20 cs.DC cs.IT cs.LG
Energy-Aware Scheduling for Serverless LLM Serving on Shared GPUs
University of Pittsburgh(匹兹堡大学);HPE Labs(惠普企业实验室)
针对无服务器LLM服务中多模型共享GPU带来的能耗优化难题,提出Festina系统,通过协同请求放置、SM分区和GPU工作点调整,在满足TTFT/TBT SLO前提下,实现集群能耗降低高达56%。
2026-10-13 cs.DC
Hierarchical Autoscaling for Large Language Model Serving with Chiron
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research(IBM研究院)
针对现有LLM服务自动扩缩容器未考虑请求SLO导致资源利用率低的问题,提出基于分层背压的Chiron自动扩缩容器,显著提升SLO达成率和GPU效率。
2025-01-14 cs.AI cs.DC
APEX: An Extensible and Dynamism-Aware Simulator for Automated Parallel Execution in LLM Serving
提出LLM服务系统模拟器APEX,通过感知动态性建模迭代级批处理并利用模型重复结构缩减设计空间,在CPU上高效寻找最优并行执行计划,速度提升3.37倍且能耗降低45%。
2025-04-29 cs.DC
Armada: A Robust Latency-Sensitive Edge Cloud in Heterogeneous Edge-Dense Environments
边缘计算通过利用数据邻近性并将延迟敏感和计算密集型工作负载卸载到附近的边缘服务器来实现大量新兴边缘应用程序。然而,由于有限的接入点边缘站点和受限的弹性,在广域环境中大规模支持边缘应用用户带来了挑战。在本文中,我们介绍了Armada:一个密集分布的边缘云基础设施,它探索了在异构环境中使用专用和志愿者资源为地理分布的用户提供服务。我们描述了轻量级的Armada架构和优化技术,包括性能感知的边缘选择,边缘上的自动扩展和负载均衡,容错和原位数据访问。我们在真实世界的志愿者环境和模拟平台上评估了Armada,以展示常见的边缘应用程序,即实时目标检测和人脸识别,可以轻松地部署在Armada上,以低延迟的方式为分布式用户提供大规模服务。
2021-11-23 cs.DC
Agentic Orchestration of HPC Applications in Cloud
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
研究利用智能代理实现HPC应用程序在云环境中实验运行的全生命周期管理,通过四个知名HPC应用构建多平台镜像并优化,展示成功线性缩放等成果及提出最佳实践。
2026-07-07 cs.DC
UELLM: A Unified and Efficient Approach for LLM Inference Serving
本文提出UELLM,一种统一高效的LLM推理服务方法,包含资源分析器、批处理调度器和LLM部署器三个组件,有效降低推理延迟、提升GPU利用率和吞吐量,并减少SLO违规率。
2024-09-24 cs.DC
A Predictive and Synergistic Two-Layer Scheduling Framework for LLM Serving
Sun Yat-sen University(中山大学);Kaon AI;Guangdong Polytechnic Normal University(广东技术师范大学)
针对LLM服务双层架构的信息鸿沟导致的低效问题,提出预测性协同调度框架NexusSched,通过在线性能模型支撑双层协同优化,显著提升SLO达成率与吞吐量,并经生产环境验证。
2025-10-01 cs.DC
MLProxy: SLA-Aware Reverse Proxy for Machine Learning Inference Serving on Serverless Computing Platforms
University of Alberta(阿尔伯塔大学);York University(约克大学)
在云上提供机器学习推理工作负载在生产层面仍然是一项具有挑战性的任务。由于批量配置、资源配置和可变到达过程之间的复杂交互,在优化基础设施成本的同时满足SLA要求的推理工作负载的最佳配置是非常复杂的。近年来,无服务器计算已经出现,可以自动执行大多数基础设施管理任务。IBM已经揭示了改善机器学习服务工作负载的响应时间和成本效益的潜力。然而,它还没有得到无服务器计算平台的开箱即用支持。我们的实验表明,对于各种机器学习工作负载,通过减少每个请求的处理开销,可极大地提高系统的效率。在这项工作中,我们提出了MLProxy,一个自适应的反向代理,以支持高效的机器学习服务工作负载的无服务器计算系统。MLProxy支持自适应服务器,以确保SLA合规性,同时优化无服务器成本。我们在Knative上进行了严格的实验,以证明MLProxy的有效性。我们发现,MLProxy可以将无服务器部署的成本降低高达92%,同时将SLA违规减少高达99%,这可以在最先进的模型服务框架中推广。
2022-02-23 cs.AI cs.DC cs.LG
A Pipelined Collaborative Speculative Decoding Framework for Efficient Edge-Cloud LLM Inference
University of Science and Technology Beijing, School of Computer and Communication Engineering(北京科技大学计算机与通信工程学院)
本文提出PicoSpec框架,通过异步流水线解决边缘协作中的等待问题,并引入稀疏压缩降低通信延迟,实现在边缘-云协同推理中的高效性能。
2026-03-27 cs.DC
an intelligent security centered resource-efficient resource management model for cloud computing environments
本文提出了一个概念模型,在云环境中的安全和性能高效的工作负载管理模型。在该模型中,采用资源管理单元来进行虚拟机的能量和性能优化分配,同时通过实时防御由于对虚拟机的未授权访问而导致的数据泄露来确保用户应用程序的安全处理。资源管理单元由安全虚拟机管理单元引导,该安全虚拟机管理单元被设计为生成关于活动虚拟机之间的未授权访问或相互通信链路的信息。此外,工作负载分析器单元同时操作以估计资源利用信息,以帮助资源管理单元进行虚拟机的性能高效分配。与先前的工作,从事访问控制机制,加密和解密的数据之前的传输和隧道的使用,以防止未经授权的访问虚拟机,从而提高了额外的计算成本开销,所提出的模型操作diligence有效地服务于相同的目的。
2022-10-29 cs.DC
INFaaS: A Model-less and Managed Inference Serving System
Stanford University(斯坦福大学)
尽管在机器学习推理服务方面已有工作,但易用性和成本效率在大规模上仍然面临挑战。开发人员必须手动搜索数千个模型变体-已经训练的模型的版本,这些版本在硬件,资源占用,延迟,成本和准确性方面有所不同-以满足不同的应用程序需求。由于需求、查询负载和应用程序本身会随着时间的推移而发展,因此需要为每个推理查询动态地做出这些决策,以避免通过简单的自动缩放产生过多的成本。为了避免在模型变量的大而复杂的权衡空间中导航,开发人员经常在查询中修复一个变量,并在负载增加时复制它。然而,考虑到云中变体和硬件平台的多样性,缺乏对权衡空间的理解可能会给开发人员带来巨大的成本。本文介绍了INFaaS,分布式推理服务的管理和无模型系统,开发人员只需指定其应用程序的性能和准确性要求,而不需要为每个查询指定一个特定的模型变量。INFaaS生成模型变量,并代表开发人员有效地导航模型变量的大权衡空间,以满足特定于应用程序的目标:(a)对于每个查询,它选择一个模型,硬件架构和模型优化,(b)它将VM级水平自动缩放与模型级自动缩放相结合,其中多个不同的模型变量用于在每台机器内服务查询。与AWS EC2上最先进的推理服务系统相比,通过利用不同的变体并跨模型共享硬件资源,INFaaS实现了1.3倍的吞吐量,违反延迟目标的频率降低了1.6倍,并节省了高达21.6倍的成本(平均为8.5倍)。
2020-12-15 cs.DC cs.LG
HFX: Joint Design of Algorithms and Systems for Multi-SLO Serving and Fast Scaling
Huawei Technologies Canada Co., Ltd.(华为技术加拿大有限公司);Simon Fraser University(西蒙弗雷泽大学);École de technologie supérieure(高等技术学院);Huawei Technologies Co., Ltd.(华为技术有限公司)
HFX通过联合优化请求调度与弹性扩展,满足多样化的SLO,实验显示在延迟、成本等方面优于现有系统。
2026-04-23 cs.AI cs.DC
WISP: Waste- and Interference-Suppressed Distributed Speculative LLM Serving at the Edge via Dynamic Drafting and SLO-Aware Batching
University College Dublin(都柏林大学学院);National Technical University of Athens(雅典国家技术大学);Queen's University Belfast(贝尔法斯特女王大学)
本文提出WISP系统,通过动态草稿和SLO感知批处理优化边缘和云的负载平衡,提升系统容量和吞吐量。
2026-04-07 cs.AI cs.DC
Cost of Virtual Machine Live Migration in Clouds: A Performance Evaluation
虚拟化在现代数据中心中已经变得司空见惯,通常被称为“计算云”。虚拟机实时迁移的功能带来了诸多好处,例如提高了性能、容错和容错,同时允许在短时间内移动工作负载。然而,在实时迁移期间,应用程序的服务级别可能会受到负面影响。因此,需要更好地了解其对系统性能的影响。在本文中,我们评估了虚拟机实时迁移对Xen VM内运行的应用程序性能的影响。结果表明,在大多数情况下,迁移开销是可以接受的,但不能忽视,特别是在系统的可用性和响应性是由严格的服务水平协议。尽管如此,在服务于现代互联网应用的数据中心中,实时迁移的适用性具有很大的潜力。我们的研究结果是基于一个工作负载,覆盖域的多层Web 2.0应用程序。
2011-12-09 cs.DC cs.PF
SPECTRE: Hybrid Ordinary-Parallel Speculative Serving for Resource-Efficient LLM Inference
Tsinghua University(清华大学);AI Infra Team at JDT(AI基础设施团队);JD iCity, JD Technology, JD Intelligent Cities Research(京东i城、京东科技、京东智能城市研究院)
SPECTRE通过利用未充分利用的尾部模型服务作为远程草稿生成器,提升大型模型推理效率,采用混合策略、推测优先调度和草稿压缩技术,实现并行处理,提升吞吐量并减少干扰。
2026-05-12 cs.AI cs.DC
MARLIN: Multi-Agent Game-Theoretic Reinforcement Learning for Sustainable LLM Inference in Cloud Datacenters
Colorado State University(科罗拉多州立大学);Hewlett Packard Labs(惠普实验室)
本文提出MARLIN框架,通过博弈强化学习优化LLM推理的TTFT、碳排放、用水量和能耗,实现至少18%的TTFT、33%的碳排放、43%的用水量和11%的能耗降低。
2026-05-13 cs.DC cs.LG