The Serverless Scheduling Problem and NOAH
无服务器调度问题对云服务平台提供商提出了新的挑战,因为它是一个作业调度问题,而不是传统的资源分配或请求负载均衡问题。传统上,弹性云应用程序使用托管虚拟资源分配,并采用请求负载平衡器来协调部署。对于无服务器,提供商需要解决负载均衡和分配问题。这项工作回顾了当前的Apache OpenWhisk无服务器事件负载均衡和非合作博弈论负载均衡的方法在分布式系统中的响应时间最小化。仿真结果表明,既没有表现良好的高系统利用率,激发了非合作的在线分配启发式,允许调整之间的权衡响应时间和资源成本的每个无服务器功能。
2018-09-17 cs.DC
FedCritic-MIMO: Communication-Efficient Serverless Federated Critic Learning for Massive-MIMO Resource Control in Open and Disaggregated 6G RANs
FedCritic-MIMO是面向开放解耦6G RAN的通信高效无服务器联邦多智能体强化学习框架,通过稀疏评论者交换等技术实现多小区大规模MIMO资源控制,性能最优且通信开销降低76%。
2026-08-05 cs.LG cs.MA cs.NI
Adaptive GPU Resource Allocation for Multi-Agent Collaborative Reasoning in Serverless Environments
Department of Engineering Management and Systems Engineering, George Washington University, USA(工程管理与系统工程系,乔治华盛顿大学)
本文提出一种自适应GPU资源分配框架,通过动态分配资源降低延迟并提升效率,适用于无服务器环境下的多智能体协作推理任务。
2026-01-01 cs.AI cs.DC cs.MA
Dynamic Allocation of Serverless Functions in IoT Environments
物联网领域在过去几年中增长显著,预计到2020年将达到500亿台设备的巨大数量。无服务器架构的出现,特别是突出FaaS,提出了在物联网环境中使用这种架构的问题。将物联网与无服务器架构设计相结合,可以有效地利用物联网设备本地网络中存在的本地处理能力,并创建一个雾层,利用更接近最终用户的计算能力。在该方法中,该方法被放置在设备和无服务器功能之间,当设备请求执行无服务器功能时,将基于先前的执行度量来决定无服务器功能是否应该在IoT设备的本地网络的雾层中本地执行,或者是否应该在可用的云服务器之一中远程执行。因此,这种方法允许动态地将功能分配给最合适的层。
2019-01-13 cs.DC
A Deep Recurrent-Reinforcement Learning Method for Intelligent AutoScaling of Serverless Functions
The University of Melbourne(墨尔本大学);School of Computing and Information Systems(计算与信息系统学院)
本文提出将LSTM网络与无模型PPO算法集成用于无服务器函数自动扩展,解决部分可观察云环境下的性能瓶颈,实验表明该方法较阈值法提升吞吐量18%、函数执行13%,并多考虑8.4%的函数实例。
2024-11-11 cs.AI cs.DC cs.SY
Dependency-aware Resource Allocation for Serverless Functions at the Edge
本文提出NEPTUNE+,一种边缘无服务器函数的依赖感知CPU核心分配方案,通过扩展NEPTUNE框架引入考虑函数依赖关系的理论模型与控制算法,实验证明其可减少高达42%的核心分配。
2023-09-22 cs.DC
Utility-based Resource Allocation and Pricing for Serverless Computing
无服务器计算平台目前依赖于静态的基本定价方案,不反映客户反馈。从总效用的角度来看,这导致了显著的低效率。作为增长最快的云服务之一,无服务器计算提供了一个机会,通过将基于市场的定价和资源分配策略纳入其中,更好地为用户和提供商服务。借助效用函数来模拟客户的延迟敏感性,我们提出了一种新的调度器来分配无服务器计算的资源。由此产生的资源分配方案是最优的,因为它最大化了整个系统中所有用户的总效用,从而最大化了社会福利。我们的方法产生了一个自然的动态定价方案,通过解决其对偶形式的优化问题。我们进一步开发的反馈机制,允许云提供商收敛到最佳的资源分配,即使用户的公用事业是私有的,未知的服务提供商。模拟表明,我们的方法可以跟踪市场需求,并实现显着更高的社会福利(或,相当于,为客户节省成本)相比,现有的计划。
2022-01-24 cs.DC cs.GT
LaSS: Running Latency Sensitive Serverless Computations at the Edge
无服务器计算已经成为在云中运行短期计算的新范例。由于其处理物联网工作负载的能力,人们对在边缘运行无服务器功能非常感兴趣。然而,边缘的约束性质和工作负载的延迟敏感性质导致无服务器平台面临许多挑战。在本文中,我们介绍了LaSS,一个使用模型驱动方法在边缘资源上运行延迟敏感的无服务器计算的平台。LaSS使用基于原则的方法来确定每个托管功能的适当分配,并根据工作负载动态自动缩放分配的资源。LaSS使用公平共享分配方法来保证在存在过载的情况下向每个功能分配最小的资源。此外,它利用基于容器收缩和终止的资源回收方法,将资源从过度配置的功能重新分配到配置不足的功能。我们在OpenWhisk无服务器边缘集群上实现了我们方法的原型,并进行了详细的实验评估。我们的研究结果表明,LaSS可以准确地预测高度动态工作负载下无服务器功能所需的资源,并在数百毫秒内重新配置容器容量,同时保持公平的份额分配保证。
2021-04-29 cs.DC
HAS-GPU: Efficient Hybrid Auto-scaling with Fine-grained GPU Allocation for SLO-aware Serverless Inferences
HAS-GPU提出细粒度GPU SM分区与时间配额调度、资源感知性能预测器及混合水平/垂直自动扩缩容算法,在保障推理SLO的同时显著降低无服务器推理成本。
2025-08-28 cs.DC
With Great Freedom Comes Great Opportunity: Rethinking Resource Allocation for Serverless Functions
当前的无服务器产品为用户提供了有限的灵活性,可以通过将内存和CPU资源耦合在一起或根本不提供旋钮来配置分配给其函数调用的资源。这些配置选项简化了代表用户的资源分配决策,但同时也造成了资源效率低下的部署。在本文中,我们采取原则性的方法来解决无服务器函数的资源分配问题,允许以自动的方式进行这种选择,从而实现性能和成本的最佳组合。特别是,我们系统地探讨了分离内存和CPU资源分配以及支持使用不同VM类型所带来的机会。我们在性能和成本之间找到了丰富的权衡空间。提供商可以通过多种方式使用这一点:从向用户公开所有这些参数,到从用户那里获得对性能和成本的偏好,或者简单地以较低的成本提供相同的性能。这种灵活性还可以使提供商优化其资源利用率,并实现具有可预测性能的经济高效的服务。我们的研究结果表明,通过解耦内存和CPU分配,有可能比当前无服务器产品中常见的预设耦合配置降低高达40%的执行成本。同样,正确选择VM实例类型可以提供高达50%的执行时间。此外,我们证明,提供商可以利用不同的实例类型相同的功能,以最大限度地提高资源利用率,同时提供性能的10-20%的最佳资源配置为每个相应的功能。
2021-05-31 cs.DC cs.PF
Don't let your Memory defy you: Fragmentation-Aware Serverless Allocation with Elastic Memory Locality
National Technical University of Athens(雅典国立技术大学)
本文提出Memoryless,一种碎片感知的无服务器资源管理器,通过弹性内存局部性匹配实例形状与碎片化节点容量,减少节点使用率高达40%并降低CPU stranded 44%。
2026-09-23 cs.DC
Resource Allocation of Industry 4.0 Micro-Service Applications across Serverless Fog Federation
本文研究偏远工业现场无服务器雾联邦中的资源分配问题,提出感知微服务架构和延迟约束的应用划分方法,实验表明可按时多服务约20%的任务。
2024-01-14 cs.DC
Scalable and Cost-Efficient ML Inference: Parallel Batch Processing with Serverless Functions
Oakland University(奥克兰大学)
针对有限资源环境下批处理的可扩展性与资源管理挑战,本文提出将单体流程分解为并行无服务器函数的方法,经DistilBERT模型与IMDb数据集的情感分析案例验证,该方法可在成本不变的情况下将执行时间减少95%以上,提升大规模机器学习推理的效率与经济性。
2025-01-30 cs.DC cs.LG
Secure Resource Allocation via Constrained Deep Reinforcement Learning
School of Computing & Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院);School of Computing & Artificial Intelligence, Southwestern University of Finance and Economics(西南财经大学计算机与人工智能学院);College of Computing & Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
针对物联网与6G时代多云计算边缘环境中资源分配的安全与效率问题,提出SARMTO框架,集成动作约束DRL模型,动态平衡资源、卸载与安全,显著降低成本并提升能效。
2025-01-20 cs.LG
Autoregressive Policy Optimization for Constrained Allocation Tasks
Munich Center for Machine Learning, LMU Munich(慕尼黑机器学习中心,慕尼黑大学)
针对受约束分配任务中动作空间受限导致策略学习困难的问题,提出基于自回归过程顺序采样分配方案并引入去偏机制的新方法,在多项任务上优于多种CRL方法。
2024-09-27 cs.AI cs.LG
Optimizing simultaneous autoscaling for serverless cloud computing
本文针对无服务器云计算中的自动扩缩容问题,提出基于流体近似模型和分离连续线性规划的优化控制策略,显著降低失败请求和响应时间。
2023-10-29 cs.DC
rFaaS: Enabling High Performance Serverless with RDMA and Leases
针对无服务器计算性能不足的问题,提出RDMA加速的FaaS平台rFaaS,通过分配租约和微秒级调用优化架构,显著降低延迟,实现高性能并适用于HPC。
2023-05-15 cs.DC
Affinity-aware Serverless Function Scheduling
本文提出aAPP语言扩展,在FaaS层面实现亲和性感知调度,并在Apache OpenWhisk上验证其能提升性能且无额外开销。
2025-01-23 cs.DC
On the Complexity of Reachability Properties in Serverless Function Scheduling
本文提出亲和性感知的调度语言aAPP,形式化其语义并研究可达性检查复杂性:无亲和性时为线性,有亲和性时为PSpace完全。
2024-07-19 cs.DC
Towards Resource-Efficient Serverless LLM Inference with SLINFER
SLINFER通过在异构硬件上实现弹性共享,提高小型至中型LLM推断的资源效率,实验显示服务容量提升达86%-154%
2025-12-15 cs.DC
AARC: Automated Affinity-aware Resource Configuration for Serverless Workflows
AARC提出自动化解耦CPU与内存的资源配置框架,通过图中心调度器与优先级配置器优化无服务器工作流,显著降低搜索时间与成本,并保持SLO合规。
2025-02-28 cs.DC cs.PF cs.SY
PrimeScientist: Strategic Allocation of Research Effort in Autonomous Research
UC San Diego(加州大学圣迭戈分校);Johns Hopkins University(约翰斯·霍普金斯大学)
PrimeScientist通过将研究资源分配形式化为序贯决策问题,并采用自适应MCTS策略平衡探索与利用,在12个AI研究任务中以更少尝试提升10.3%平均奖励,实现资源高效利用。
2026-09-17 cs.AI cs.CL cs.LG
Serverless Cold Starts and Where to Find Them
本文通过分析华为无服务器云平台850亿请求的月度追踪数据,拆解冷启动构成与影响因素,提出pod利用率指标,揭示不同区域冷启动的主导因素,并给出多区域调度优化方向与未来研究建议。
2024-10-08 cs.DC cs.OS cs.PF
An Auto-Scaling Approach for Serverless Environments Based on a Multi-Expert Consensus Mechanism
针对无服务器环境自动缩放难题,提出依赖感知自动缩放框架,集成多种技术,通过识别重要函数、预测资源需求、多模型共识及成本感知控制进行缩放决策,实验证明该方法能有效降低预测误差并减少成本。
2026-08-11 cs.AI cs.DC cs.LG
Serverless Computing: Behind the Scenes of Major Platforms
无服务器计算为应用程序开发提供了一个事件驱动的按需付费框架。一个关键的卖点是没有后端服务器管理的概念,允许开发人员专注于应用程序功能。这是通过严格抽象的底层架构的功能running.We检查底层架构和报告的性能无服务器功能,以及它们是如何受到某些因素,如内存分配和干扰引起的负载由其他用户在平台上。具体而言,我们专注于四大平台的无服务器产品:AWS Lambda,Google Cloud Functions,Microsoft Azure Functions和IBM Cloud Functions。在本文中,我们观察和这些平台之间的对比,在他们的方法,以共同的问题“冷启动”,我们设计了一种方法来揭示底层架构无服务器功能执行,我们调查的影响,从负载在平台上超过一个月的时间跨度。
2020-12-10 cs.DC
Demystifying Serverless Costs on Public Platforms: Bridging Billing, Architecture, and OS Scheduling
该研究自上而下贯通计费模型、服务架构与 OS 调度,量化公共 Serverless 平台计费资源最高达实际消耗 4.35 倍,并揭示隐藏成本驱动因素。
2025-09-26 cs.DC cs.OS cs.PF
Zenix: Efficient Execution of Bulky Serverless Applications
针对大型无服务器应用在现有以函数为中心模型下的资源浪费与性能开销问题,本文提出以资源为中心的模型并实现 Zenix 平台,可显著降低资源消耗并提升性能。
2024-05-12 cs.DC
Towards Energy-Efficient Serverless Computing with Hardware Isolation
针对无服务器计算能耗高的问题,提出用每函数独立处理器的硬件隔离替代软件隔离,实现按需耗能,初步评估显示能耗开销降低90.63%。
2025-10-09 cs.DC
A Holistic View on Resource Management in Serverless Computing Environments: Taxonomy and Future Directions
近年来,无服务器计算已成为云应用程序的一个有吸引力的部署选项。这种计算模型的独特功能包括快速自动扩展、强大的隔离、细粒度的计费选项以及访问自主处理资源管理决策的大规模服务生态系统。由于这些特征,这种模型也越来越多地被探索用于地理分布的边缘和雾计算网络中的部署。计算资源的有效管理一直受到研究人员的关注。由于需要自动化资源配置、分配、调度、监控和扩展的整个过程,因此需要专门关注无服务器模式下的资源管理。在这篇文章中,我们确定了覆盖无服务器环境中资源管理更广泛概念的主要方面,并提出了影响这些方面的元素分类,包括系统设计,工作负载属性和利益相关者期望的特征。我们全面了解跨边缘、雾和云计算网络部署的无服务器环境。我们还分析了现有的作品,讨论使用这种分类的无服务器资源管理方面。本文进一步确定了文献中的差距,并强调了未来的研究方向,以提高这种计算模型的能力。
2021-06-01 cs.DC
ICPS: Real-Time Resource Configuration for Cloud Serverless Functions Considering Affinity
本文提出ICPS算法,利用LSTM预测函数并发并基于亲和性部署依赖函数,以解决无服务器工作流中冷启动和网络延迟问题,实验证明其性能优于现有方法。
2025-04-09 cs.DC
Exploring the Impact of Serverless Computing on Peer To Peer Training Machine Learning
University of Quebec at Chicoutimi(魁北克大学希库蒂米分校);École de Technologie Supérieure(高等工程技术学院)
本文提出融合无服务器计算与P2P网络的分布式训练架构及资源约束下的并行梯度计算方法,显著缩短训练时间,但也揭示其成本代价。
2023-09-25 cs.AI cs.DC
Shabari: Delayed Decision-Making for Faster and Efficient Serverless Functions
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Columbia University(哥伦比亚大学);VMWare Research(威睿研究)
Shabari通过将资源分配决策延迟到函数输入可用之后,利用在线学习智能体为每次无服务器函数调用合理配置资源,显著减少SLO违规和资源浪费。
2024-01-25 cs.DC cs.LG
Towards Practical Multi-Robot Hybrid Tasks Allocation for Autonomous Cleaning
Harbin Institute of Technology(哈尔滨工业大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Science(中国科学院深圳先进技术研究院);Chongqing University(重庆大学);Gaussian Robotics(高仙机器人)
本文针对不确定环境下多机器人自主清洁中的混合任务分配问题,提出鲁棒混合整数线性规划模型,构建含100实例的数据集,并通过传统优化与深度强化学习求解器验证了方法的有效性与鲁棒性。
2023-04-04 cs.AI cs.RO
Sizeless: Predicting the optimal size of serverless functions
无服务器功能是一种云计算范例,其中提供商负责资源管理任务,例如资源供应,部署和自动扩展。开发人员仍然负责的唯一资源管理任务是选择为每个工作实例分配多少资源。然而,选择无服务器函数的最佳大小是相当具有挑战性的,因此开发人员经常忽视它,尽管它具有显着的成本和性能优势。旨在自动化无服务器功能资源调整的现有方法需要专门的性能测试,这是耗时的实施和维护。在本文中,我们介绍了一种使用来自单个资源大小的监控数据来预测无服务器函数的最佳资源大小的方法。由于我们的方法不需要专门的性能测试,因此它使云提供商能够在平台级别上实现资源调整,并自动执行与无服务器功能相关的最后一项资源管理任务。我们在三个不同的无服务器应用程序上评估了我们的方法,其中它为71.7%的无服务器函数选择了最佳内存大小,为22.3%的无服务器函数选择了第二佳内存大小,这导致平均加速43.6%,同时平均成本降低了10.2%。
2021-06-07 cs.DC cs.SE
Scale: Deep Reinforcement Learning for Container Scheduling in Serverless Edge Computing
Nottingham Trent University(诺丁汉特伦特大学);Loughborough University(拉夫堡大学);University of Bologna(博洛尼亚大学);TU Wien(维也纳工业大学);University of Oregon(俄勒冈大学)
本文提出Scale框架,通过深度强化学习优化容器调度与资源分配,在动态负载下平衡系统稳定性和性能,实验证明其在决策效率和资源利用率方面优于整数线性规划求解器。
2026-05-15 cs.DC
Improving Robustness of Heterogeneous Serverless Computing Systems Via Probabilistic Task Pruning
基于云的无服务器计算是一种越来越流行的计算模式。在这种模式下,不同的服务有不同的计算需求,这证明部署不一致的异构计算(HC)系统来有效地处理它们是合理的。在不一致的HC系统中,给定服务所需的每个任务可能在每种类型的机器上表现出不同的执行时间。一个理想的资源分配系统必须意识到执行时间的这种不确定性,并对它们具有鲁棒性,从而满足用户的服务质量(QoS)要求。这项研究的目的是最大限度地提高HC系统的鲁棒性,用于提供无服务器计算系统,特别是当系统被超额认购。我们的策略,以最大限度地提高鲁棒性是开发一个任务修剪机制,可以添加到现有的任务映射算法,而不改变它们。修剪满足其最后期限的概率较低的任务提高了其他任务满足其最后期限的可能性,从而提高了系统的鲁棒性和整体QoS。为了评估修剪机制的影响,我们研究它的异构和同构计算系统的各种配置。评估结果表明,系统的鲁棒性有相当大的改善(高达35%)。
2019-05-11 cs.DC
MLProxy: SLA-Aware Reverse Proxy for Machine Learning Inference Serving on Serverless Computing Platforms
University of Alberta(阿尔伯塔大学);York University(约克大学)
在云上提供机器学习推理工作负载在生产层面仍然是一项具有挑战性的任务。由于批量配置、资源配置和可变到达过程之间的复杂交互,在优化基础设施成本的同时满足SLA要求的推理工作负载的最佳配置是非常复杂的。近年来,无服务器计算已经出现,可以自动执行大多数基础设施管理任务。IBM已经揭示了改善机器学习服务工作负载的响应时间和成本效益的潜力。然而,它还没有得到无服务器计算平台的开箱即用支持。我们的实验表明,对于各种机器学习工作负载,通过减少每个请求的处理开销,可极大地提高系统的效率。在这项工作中,我们提出了MLProxy,一个自适应的反向代理,以支持高效的机器学习服务工作负载的无服务器计算系统。MLProxy支持自适应服务器,以确保SLA合规性,同时优化无服务器成本。我们在Knative上进行了严格的实验,以证明MLProxy的有效性。我们发现,MLProxy可以将无服务器部署的成本降低高达92%,同时将SLA违规减少高达99%,这可以在最先进的模型服务框架中推广。
2022-02-23 cs.AI cs.DC cs.LG
Software Resource Disaggregation for HPC with Serverless Computing
本文提出利用无服务器计算范式实现HPC软件资源解聚,通过面向HPC的FaaS将函数部署在未充分利用的节点上,在保持接近原生性能的同时提高超级计算机空闲核心和加速器的利用率。
2024-07-26 cs.DC
Kernel-as-a-Service: A Serverless Interface to GPUs
无服务器计算使得在可扩展的云资源上部署应用程序比以往任何时候都更容易,同时也为云提供商带来了更高的利用率。虽然这种技术对于CPU和本地DRAM等容易分割的资源效果很好,但它很难整合更昂贵的单片资源,如GPU或其他应用程序加速器。我们不能简单地将GPU放在FaaS平台上,并期望保持无服务器承诺的所有好处。如果我们想最好地利用这些关键资源,我们需要一个更有针对性的方法。在本文中,我们介绍了内核即服务(KaaS),这是一种面向GPU的无服务器接口。在KaaS中,GPU是一等公民,就像任何其他无服务器功能一样被调用。KaaS不像通常那样混合主机和GPU代码,而是运行仅GPU代码的图形,而主机代码运行在传统函数上。KaaS系统负责管理GPU内存并跨整个可用GPU池调度用户内核,而不是依赖于静态分配。这种方法使我们能够更有效地共享昂贵的GPU资源,特别是在云计算等多租户环境中。我们将对KaaS的支持添加到Ray分布式计算框架中,并使用包括基于TVM的深度学习编译器和BLAS库在内的工作负载对其进行评估。我们的研究结果表明,当GPU资源竞争时,KaaS能够将吞吐量提高50倍,延迟降低16倍。
2022-12-15 cs.DC
Archipelago: A Scalable Low-Latency Serverless Platform
越来越多地使用微服务来构建Web应用程序,刺激了功能即服务(FaaS)或无服务器计算平台的快速增长。虽然FaaS简化了应用程序开发人员的配置和扩展,但它在资源管理方面带来了新的挑战,需要由云提供商来处理。我们对流行的无服务器工作负载的分析表明,编译器需要处理非常短暂的功能,具有不可预测的到达模式,并且需要昂贵的沙箱设置。在多租户集群中运行大量这样的功能的挑战使得现有的调度框架不适合。我们介绍了Archipelago,这是一个在多租户无服务器设置中实现低延迟请求执行的平台。Archipelago将每个应用程序视为功能的DAG,并且每个DAG都与延迟期限相关联。Archipelago通过以下方式实现其每DAG请求延迟目标:(1)将给定集群划分为多个较小的工作者池,并将每个池与半全局调度器(SGS)相关联,(2)在每个SGS内使用等待时间感知调度器以及主动沙箱分配来减少开销,以及(3)使用负载均衡层来将对不同DAG的请求路由到适当的SGS,并自动缩放每个DAG的SGS数量。我们的测试结果表明,Archipelago满足超过99%的实际应用程序请求工作负载的延迟期限,并将尾部延迟减少到最先进的无服务器平台的36倍。
2019-11-22 cs.DC
Dilu: Enabling GPU Resourcing-on-Demand for Serverless DL Serving via Introspective Elasticity
针对无服务器深度学习系统中因静态分配导致的GPU碎片问题,提出Dilu系统,通过内省弹性机制实现二维协同扩缩容,显著降低碎片率并提升吞吐量与QoS保障。
2025-03-07 cs.DC
Serverless Computing: One Step Forward, Two Steps Back
无服务器计算提供了以自动缩放、按需付费的方式对云进行编程的可能性。在本文中,我们解决了第一代无服务器计算的关键差距,这使得其自动扩展潜力与现代计算的主导趋势不一致:特别是以数据为中心和分布式计算,但也包括开源和定制硬件。总而言之,这些差距使得当前的无服务器产品不适合云创新,特别是数据系统创新。除了指出当前无服务器架构的一些主要不足之外,我们还提出了一系列我们认为必须满足的挑战,以释放云计算的巨大潜力-其存储容量和数百万个核心-应该为创新开发人员提供。
2018-12-10 cs.DB cs.DC
Analyzing Open-Source Serverless Platforms: Characteristics and Performance
无服务器计算由于其成本较低和更容易部署而越来越受欢迎。一些云服务提供商(CSP)在其公共云上提供无服务器计算,但这可能会带来供应商锁定风险。为了避免这种限制,许多开源无服务器平台出现,允许开发人员在自托管云上自由部署和管理功能。然而,构建有效的功能需要大量的专业知识,并对影响性能的平台框架和功能有透彻的理解。对于服务开发人员来说,区分和选择适合不同需求和场景的无服务器平台是一个挑战。因此,我们详细阐述了四个流行的开源无服务器平台的框架和事件处理模型,并确定了它们的突出特性。我们分析了这些平台上不同服务导出和自动伸缩模式之间性能差异的根本原因。此外,我们为未来的工作提供了一些见解,例如自动缩放和度量收集。
2021-06-04 cs.DC cs.NI
CASA: A Framework for SLO and Carbon-Aware Autoscaling and Scheduling in Serverless Cloud Computing
本文提出CASA框架,在无服务器云集群中同时考虑碳足迹和SLO约束进行容器调度与自动伸缩,实验表明其碳足迹最多降低2.6倍、SLO违反率最多降低1.4倍。
2024-08-31 cs.DC cs.PF
SMLT: A Serverless Framework for Scalable and Adaptive Machine Learning Design and Training
University of Nevada, Reno(内华达大学里诺分校);Nokia Bell Labs(诺基亚贝尔实验室)
在当今的生产机器学习(ML)系统中,模型不断地被训练、改进和部署。ML设计和培训正在成为具有动态资源需求的各种任务的连续工作流。无服务器计算是一种新兴的云模式,为用户提供透明的资源管理和扩展,并有可能彻底改变ML设计和培训的常规。然而,在现有的无服务器平台上托管现代ML工作流具有不小的挑战,这是由于其固有的设计限制,例如无状态性质,跨函数实例的有限通信支持以及有限的函数执行持续时间。这些限制导致缺乏总体视图和适应机制来进行动态训练,并放大了ML工作流中的现有问题。为了解决上述挑战,我们提出了SMLT,这是一个自动化,可扩展和自适应的无服务器框架,可以实现高效和以用户为中心的ML设计和培训。SMLT采用自动化和自适应调度机制,在训练期间动态优化ML任务的部署和资源扩展。SMLT通过支持用户指定的培训期限和预算限制,进一步实现了以用户为中心的ML工作流执行。此外,通过提供端到端设计,SMLT解决了无服务器平台中的固有问题,例如通信开销,有限的函数执行持续时间,需要重复初始化,并且还为ML训练提供了显式的容错。SMLT是开源的,与所有主要的ML框架兼容。我们对大型复杂的现代ML模型的实验评估表明,SMLT在训练速度(高达8倍)和货币成本(高达3倍)方面优于最先进的基于VM的系统和现有的无服务器ML训练框架。
2022-05-04 cs.DC cs.LG
Remoe: Towards Efficient and Low-Cost MoE Inference in Serverless Computing
School of Computer Science and Engineering, Southeast University, China(计算机科学与工程学院,东南大学);Department of Electrical and Computer Engineering, University of Toronto, Canada(电气与计算机工程系,多伦多大学);Department of Computing, The Hong Kong Polytechnic University, Hong Kong(计算系,香港理工大学)
Remoe通过异构架构和优化技术,在无服务器计算中实现高效低成本的MoE推理,降低推理成本和冷启动延迟。
2025-12-21 cs.AI cs.DC
It Takes Two to Tango: Serverless Workflow Serving via Bilaterally Engaged Resource Adaptation
针对无服务器平台因早期绑定函数规模导致的资源低效问题,提出Janus框架,通过晚期绑定动态适配函数规模,弥合开发者与提供者的信息壁垒,实现资源效率提升达34.7%。
2025-02-20 cs.DC
FlexPipe: Adapting Dynamic LLM Serving Through Inflight Pipeline Refactoring in Fragmented Serverless Clusters
Shenzhen Institutes of Advanced Technology, CAS(中国科学院深圳先进技术研究院);UCAS(中国科学院大学);UC San Diego(加州大学圣地亚哥分校);Nanyang Technological University(南洋理工大学);University of Macau(澳门大学)
FlexPipe通过动态重构管道架构,解决无服务器集群中资源碎片化和请求模式变化带来的效率问题,实现8.5倍资源利用率提升和38.3%的延迟降低。
2026-05-09 cs.DC
FaST-GShare: Enabling Efficient Spatio-Temporal GPU Sharing in Serverless Computing for Deep Learning Inference
FaST-GShare提出一种面向FaaS的时空GPU共享架构,通过资源隔离、性能分析和启发式调度,在保证SLO的同时将吞吐量提升3.15倍,GPU利用率提升1.34倍。
2023-09-01 cs.DC
Code once, Run Green: Automated Green Code Translation in Serverless Computing
本研究提出ReFaaS,利用大语言模型在无服务器平台自动将函数翻译为节能语言,可降低调用能耗达70%,并指出四项关键研究挑战以长期缓解能源债务。
2025-09-26 cs.DC
Llama: A Heterogeneous & Serverless Framework for Auto-Tuning Video Analytics Pipelines
支持摄像头的设备和大型视频存储库的激增导致了各种视频分析应用程序的出现。这些应用程序依赖于视频管道(表示为操作的DAG)来转换视频,处理提取的元数据,并回答诸如“这个十字路口拥挤吗?“管道的延迟和资源效率可以使用每个操作的可配置旋钮来优化(例如,采样率、批量大小或所用硬件的类型)。然而,确定有效的配置是具有挑战性的,因为(a)配置搜索空间是指数地大的,以及(b)最优配置取决于用户的期望延迟和成本目标,(c)输入视频内容可以运用DAG中的不同路径并且产生可变量的中间结果。现有的视频分析和处理系统让用户手动配置操作和选择硬件资源。我们提出了Llama:一个用于自动调整视频管道的异构和无服务器框架。给定端到端延迟目标,Llama通过以下方式优化成本效率:(a)计算每个操作调用的延迟目标,以及(b)动态运行基于成本的优化器,以跨异构硬件分配最符合计算出的每次调用延迟目标的配置。这使得自动调整大型视频管道的问题变得易于处理,并允许我们处理依赖于输入的行为、DAG中的条件分支和执行可变性。我们描述了Llama中的算法,并使用无服务器CPU和GPU资源在云平台上对其进行评估。我们表明,与最先进的集群和无服务器视频分析和处理系统相比,Llama平均实现了7.8倍的延迟和16倍的成本降低。
2021-05-28 cs.DC
Understanding Open Source Serverless Platforms: Design Considerations and Performance
无服务器计算越来越受欢迎,因为它承诺降低成本,并为不需要专注于服务器管理的用户提供便利。这导致了许多专有和开源无服务器解决方案的可用性。我们试图了解无服务器计算的性能如何取决于一些设计问题,使用几个流行的开源无服务器平台。我们确定了影响不同开源无服务器平台性能(吞吐量和延迟)的特性。此外,我们观察到,仅仅基于资源(CPU和内存)或基于工作负载(每秒请求(RPS)或并发请求)的自动扩展不足以满足无服务器平台的需求。
2019-12-13 cs.DC cs.PF
PixelsDB: Serverless and NL-Aided Data Analytics with Flexible Service Levels and Prices
Renmin University of China(中国人民大学);EPFL(洛桑联邦理工学院)
本文提出开源数据分析系统PixelsDB,通过微调语言模型驱动的自然语言界面生成SQL,结合无服务器查询引擎与灵活SLA定价机制,帮助非专家用户高效探索数据并提升系统可用性。
2024-12-23 cs.AI cs.DB cs.DC
Architecting Peer-to-Peer Serverless Distributed Machine Learning Training for Improved Fault Tolerance
Université du Québec à Chicoutimi(魁北克大学希库蒂米分校);École de Technologie Supérieure(高等工程技术学院)
分布式机器学习是指在多台计算机或设备上训练模型的实践,这些计算机或设备可以称为节点。此外,无服务器计算是使用函数作为计算单元的云计算的新范例。无服务器计算可以通过实现自动资源扩展、减少手动干预和降低成本来有效地用于分布式学习系统。通过分配工作负载,分布式机器学习可以加快训练过程,并允许训练更复杂的模型。分布式机器学习的几种拓扑结构已经建立(集中式,参数服务器,对等)。然而,参数服务器架构在容错方面可能具有限制,包括单点故障和复杂的恢复过程。此外,在对等(P2P)架构中训练机器学习可以通过消除单点故障而在容错方面提供益处。在P2P架构中,每个节点或工作者都可以充当服务器和客户端,这允许更分散的决策,并消除了对中央协调器的需求。在这份立场文件中,我们建议探索使用无服务器计算在分布式机器学习训练和比较性能的P2P架构与参数服务器架构,重点是降低成本和容错。
2023-02-27 cs.DC cs.LG