Cold Start Latency in Serverless Computing: A Systematic Review, Taxonomy, and Future Directions
本文系统综述无服务器计算中的冷启动延迟问题,提出详细分类法并梳理缓存、应用级优化及AI/ML等缓解技术,分析其对服务质量的影响,并指出未来研究方向。
2024-10-23 cs.DC
Performance Evaluation of Snapshot Methods to Warm the Serverless Cold Start
无服务器计算模型加强了云计算对资源管理进行抽象的趋势。无服务器平台负责部署和扩展开发人员的应用程序。Serverless还采用了按需付费的计费模型,该模型只考虑处理客户端请求所花费的时间。这一决定为提高平台的资源利用效率创造了自然的激励。这种对效率的追求可能会导致冷启动问题,这意味着执行无服务器应用程序的延迟。在提出的处理冷启动的解决方案中,那些基于快照方法的解决方案脱颖而出。尽管对该技术进行了丰富的探索,但缺乏评估解决方案的权衡的研究。在这个方向上,这项工作比较了两种解决方案,以减轻冷启动:预烘烤和SEUSS。我们使用不同复杂程度的函数分析了该解决方案的性能:NoOp,一个将Markdown渲染为HTML的函数,以及一个加载41 MB依赖项的函数。初步结果表明,Prebaking分别比NoOp和Markdown函数的启动性能高出33%和25%。进一步的分析还显示,Prebaking的预热机制将Markdown的首次请求处理时间减少了69%。
2021-05-28 cs.DC cs.OS cs.PF
Pagurus: Eliminating Cold Startup in Serverless Computing with Inter-Action Container Sharing
无服务器计算通过容器在云租户之间提供细粒度的资源共享。每个函数调用(动作)都在一个单独的容器中运行。当用户函数没有已经启动的容器时,必须为其创建一个新的容器。然而,容器的冷启动时间长导致动作的响应延迟长。我们的调查表明,一些用户操作的容器共享大部分的软件包。如果一个需要新容器的动作可以从其他动作中“移除”一个类似的热容器,那么就可以消除长时间的冷启动。基于上述发现,我们提出了Pagurus,一个运行时容器管理系统,用于消除无服务器计算中的冷启动。Pagurus由每个动作的动作间容器调度器和动作内容器调度器组成。交互操作容器调度器在操作之间调度共享容器。内部操作容器调度器处理容器生命周期的管理。我们的实验结果表明,Pagurus有效地消除了耗时的容器冷启动。Pagurus可以在10ms内开始运行一个动作,即使没有热容器。
2021-08-25 cs.DC
Mitigating Cold Starts in Serverless Platforms: A Pool-Based Approach
无服务器(或功能即服务,FaaS)范式的快速采用,由亚马逊与AWS Lambda率先推出,随后推出了众多商业产品和开源项目,为设计云基础设施带来了新的挑战,在性能和成本之间取得平衡。虽然FaaS平台通常为应用程序开发人员提供即时的每请求弹性,使其能够在不过度配置的情况下实现突发工作负载的高性能,但这种弹性通常涉及与服务于功能的各个运行时容器的按需配置相关的额外延迟。这种现象通常被称为冷启动,与函数由预先提供的“热”容器提供服务的情况相反,准备以接近零的开销来服务请求。供应商一直致力于旨在减少冷启动的技术。减少冷启动的一种常见方法是保持一个热容器池,以备将来的需求。在这份报告中,我们解决了无服务器架构中的冷启动问题,特别是在Knative Serving FaaS平台下。我们描述了我们的实现利用池的功能实例,并评估延迟相比,原来的实现,导致在一个单一的实例池的P99响应时间减少85%。
2019-03-28 cs.DC
LibProf: A Python Profiler for Improving Cold Start Performance in Serverless Applications
本文提出 Python 分析器 LibProf,通过动态程序分析识别无服务器应用中的低效库初始化,在 15 个应用上实现冷启动最高 2.26 倍加速和 1.51 倍内存降低。
2024-06-17 cs.DC cs.PF cs.SE
Enabling Efficient Serverless Inference Serving for LLM (Large Language Model) in the Cloud
Technische Universität München(慕尼黑工业大学)
本文综述了Serverless LLM推理的冷启动问题,重点介绍ServerlessLLM通过多层检查点加载、实时迁移和启动优化调度将启动时间缩短6到8倍,并回顾了Rainbowcake等其他方法及FaaS冷启动应对策略。
2024-11-23 cs.DC cs.LG
Towards Serverless Optimization with In-place Scaling
本研究探索Kubernetes v1.27的原地扩缩容特性,以优化无服务器计算,实验表明相比传统冷策略,请求延迟降低1.16至18.15倍。
2023-11-16 cs.DC
SPES: Towards Optimizing Performance-Resource Trade-Off for Serverless Functions
针对无服务器计算冷启动延迟与资源浪费的权衡问题,提出差异化调度器SPES,利用调用模式预测实现细粒度预加载/卸载,显著降低冷启动率与内存浪费。
2024-08-21 cs.DC cs.SE
Taming Cold Starts: Proactive Serverless Scheduling with Model Predictive Control
Umeå University(于默奥大学);Elastisys AB(Elastisys公司)
本文提出基于模型预测控制的无服务器调度框架,通过预测调用和优化容器预热,有效缓解冷启动问题,降低尾延迟并减少资源消耗。
2026-01-13 cs.DC cs.PF
Truffle: Efficient Data Passing for Data-Intensive Serverless Workflows in the Edge-Cloud Continuum
提出Truffle模型与架构,通过智能数据预取(SDP)和冷启动传递(CSP)机制分离计算与I/O,利用冷启动在边缘云连续体中实现高效的无服务器函数间数据传递,将I/O延迟影响降低77%,函数执行时间提升46%。
2024-11-25 cs.DC
Handling Cold-Start Collaborative Filtering with Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
推荐系统中的一个主要挑战是处理新用户,他们也被称为$\textit{cold-start}$用户。在本文中,我们提出了一种新的方法来学习一系列最佳的问题,以访问冷启动用户的电影推荐系统。我们建议使用Deep Q Networks来学习面试问题,以创建用户简档,从而为冷启动用户提供更好的推荐。虽然我们提出的系统是使用电影推荐系统进行训练的,但我们的Deep Q Network模型应该可以推广到各种类型的推荐系统。
2018-06-16 cs.AI cs.IR cs.LG
Efficient Serverless Cold Start: Reducing Library Loading Overhead by Profile-guided Optimization
针对无服务器冷启动延迟问题,提出基于 Profile-guided Optimization 的工具 SLIMSTART,通过运行时调用路径分析与代码转换优化库加载,在初始化延迟、端到端延迟和内存使用上实现显著提升。
2025-04-27 cs.DC cs.PF
Tangram: Accelerating Serverless LLM Loading through GPU Memory Reuse and Affinity
Shandong University(山东大学);The Chinese University of Hong Kong(香港中文大学);Indiana University Bloomington(印第安纳大学布卢明顿分校)
Tangram通过GPU内存重用和亲和力调度技术,显著提升无服务器LLM的加载速度和冷启动性能
2025-12-01 cs.AI cs.AR cs.DC
WebAssembly and Unikernels: A Comparative Study for Serverless at the Edge
本文比较了 WebAssembly 与 Unikernel 在边缘无服务器计算中的性能,提出 Limes 运行时,发现 WebAssembly 冷启动快但复杂负载弱,Firecracker 稳定且适合 I/O 任务。
2025-09-11 cs.DC cs.PF
Taming Serverless Cold Starts Through OS Co-Design
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出专为无服务器快照/恢复定制的执行引擎Spice,通过直接与操作系统集成恢复内核状态并引入专用内存映射原语,克服了操作系统级限制,实现接近热启动的冷恢复性能,延迟最高降低14.9倍。
2025-09-17 cs.DC cs.OS
Serverless Cold Starts and Where to Find Them
本文通过分析华为无服务器云平台850亿请求的月度追踪数据,拆解冷启动构成与影响因素,提出pod利用率指标,揭示不同区域冷启动的主导因素,并给出多区域调度优化方向与未来研究建议。
2024-10-08 cs.DC cs.OS cs.PF
FaaSLight: General Application-Level Cold-Start Latency Optimization for Function-as-a-Service in Serverless Computing
无服务器计算是一种流行的云计算范例,它将开发人员从服务器管理中解放出来。功能即服务(FaaS)是无服务器计算最流行的实现,将应用程序表示为事件驱动和无状态功能。然而,现有的研究报告称,FaaS应用程序的功能严重遭受冷启动延迟。在本文中,我们提出了一种名为FaaSLight的方法,通过应用程序级优化来加速FaaS应用程序的冷启动。我们首先进行测量研究,以调查FaaS冷启动问题的可能根本原因。结果表明,应用程序代码加载延迟是一个显着的开销。因此,只从FaaS应用程序加载不可或缺的代码可能是一个足够的解决方案。基于这种见解,我们通过构建函数级调用图来识别与应用程序功能相关的代码,并将其他代码(即,可选代码)。分离出的可选代码可以按需加载,避免了不可缺少的代码识别不准确导致应用程序失败。特别是,指导FaaSLight设计的一个关键原则本质上是通用的,即,与平台和语言无关。在真实FaaS应用上的评测结果表明,FaaSLight可以显著降低代码加载延迟(最高可达78.95%,平均为28.78%),从而降低冷启动延迟。其结果是,总的反应潜伏期可以减少高达42.05%(平均19.21%)。与最先进的技术相比,FaaSLight在减少平均总响应延迟方面实现了21.25倍的改进。
2023-02-06 cs.DC cs.SE
Universal Workers: A Vision for Eliminating Cold Starts in Serverless Computing
Technische Universität Berlin(柏林工业大学);Fraunhofer Institute for Open Communication Systems (FOKUS)(弗劳恩霍夫开放通信系统研究所)
针对无服务器计算的冷启动问题,提出基于请求偏态分布的通用工作器方案,通过局部性组与三级缓存近似实现,旨在构建更高效可扩展的FaaS平台。
2025-09-11 cs.DC cs.PF
Reducing Cold-Start Latency in Serverless Applications via Dynamic Slicing
University of Athens(雅典大学);National Infrastructures for Research and Technology(研究与技术国家基础设施);Athens University of Economics and Business(雅典经济与商业大学);National Cybersecurity Authority of Greece(希腊国家安全局)
PyXtrim通过动态切片去臃肿化,将冷启动延迟中位数降低21.7%,峰值内存降低17.1%,超越现有技术两倍以上。
2026-09-15 cs.DC cs.PL cs.SE
Serverless in the Wild: Characterizing and Optimizing the Serverless Workload at a Large Cloud Provider
功能即服务(FaaS)作为将计算部署到云中无服务器后端的一种方式越来越受欢迎。这种范例将分配和供应资源的复杂性转移到云提供商,云提供商必须提供始终可用资源的假象(即,没有冷启动的快速函数调用)。这样做需要提供商深入了解FaaS工作负载的特征。不幸的是,关于这些特征的公开信息很少或根本没有。因此,在本文中,我们首先描述了Azure Functions的整个生产FaaS工作负载。例如,我们表明,大多数函数调用非常不频繁,但有一个8个数量级的调用频率范围。使用我们的表征观察,然后我们提出了一个实用的资源管理政策,显着减少功能冷启动的数量,而花费更少的资源比国家的实践政策。
2020-06-06 cs.DC
Benchmarking, Analysis, and Optimization of Serverless Function Snapshots
Serverless computing has seen rapid adoption due to its high scalability and flexible, pay-as-you-go billing model. In serverless, developers structure their services as a collection of functions, sporadically invoked by various events like clicks. High inter-arrival time variability of function invocations motivates the providers to start new function instances upon each invocation, leading to significant cold-start delays that degrade user experience . To reduce cold-start latency, the industry has turned to snapshotting, whereby an image of a fully-booted function is stored on disk, enablin…
2021-02-05 cs.DC
Performance Study of Serverless Workloads in Confidential Virtual Machines
New Jersey Institute of Technology(新泽西理工学院);Hofstra University(霍夫斯特拉大学)
本文通过实证研究,分析了机密虚拟机(CVM)中无服务器工作负载的内存效率与运行时开销,发现其存在内存和启动延迟问题,提出同一CVM内合并同函数多容器并选择性放松隔离机制的优化方法。
2026-09-07 cs.DC
KiSS: A Novel Container Size-Aware Memory Management Policy for Serverless in Edge-Cloud Continuum
针对边缘无服务器冷启动与资源利用低效问题,本文提出静态容器尺寸感知策略 KiSS,按容器规模和调用特征分区管理内存,实验显示冷启动降低60%、函数丢弃降低56.5%。
2025-02-18 cs.DC cs.ET cs.NI
Efficient Serverless Function Scheduling at the Network Edge
本文针对资源受限网络边缘的无服务器函数调度问题,提出基于函数权重的增强型最短函数优先(ESFF)算法,通过选择性初始化实例和动态替换函数来减少冷启动延迟并适应动态负载,仿真验证其显著优于现有基线方法。
2023-10-31 cs.DC
Hiku: Pull-Based Scheduling for Serverless Computing
本文提出Hiku拉取式调度算法,通过让空闲工作节点主动请求任务来解耦节点选择与任务分配,在开源FaaS平台上显著改善高并发下的响应延迟、冷启动频率、吞吐量和负载均衡。
2025-07-04 cs.DC cs.PF
Tremulant: Latency in Serverless Platforms beyond the 99th Percentile
TU Berlin(柏林工业大学)
研究发现无服务器平台的慢暖启动长尾性能比其中值慢数百倍,且最高百分位下慢调用的暖启动占比回升,仅优化冷启动无法消除极端延迟。
2026-10-13 cs.DC
Serving deep learning models in a serverless platform
无服务器计算已经成为开发和部署各种基于事件的云应用程序的引人注目的范例。与此同时,云计算提供商和企业公司正在大量采用机器学习和人工智能,以使自己与众不同,或为客户提供增值服务。在这项工作中,我们评估了无服务器计算环境的适用性大型神经网络模型的推理。我们的实验评估是使用MxNet深度学习框架在AWS Lambda环境上执行的。我们的实验结果表明,虽然推理延迟可以在可接受的范围内,但由于冷启动而导致的较长延迟可能会扭曲延迟分布,从而有可能违反更严格的SLA。
2018-02-09 cs.DC
GeoFF: Federated Serverless Workflows with Data Pre-Fetching
TU Berlin & ECDF(柏林工业大学与欧洲分布式计算中心)
本文提出GeoFF,一种跨平台无服务器编排中间件,通过函数预热和数据预取将冷启动及数据下载延迟移出关键路径,实验显示端到端延迟降低超50%。
2025-10-23 cs.DC
Transformer-Based Model for Cold Start Mitigation in FaaS Architecture
University of Dschang(德昌大学);University of Picardie Jules Verne(皮卡迪儒勒·凡尔纳大学)
针对FaaS架构冷启动导致延迟增加的问题,提出基于Transformer的模型,通过准确建模函数初始化延迟优化系统性能,在Azure公开数据集上实验显示冷启动时间较传统方法最高减少79%。
2025-04-15 cs.AI cs.DC
Intel Optane DCPMM and Serverless Computing
本报告介绍1)我们如何在内存模式下使用英特尔Optane DCPMM。我们调查的可扩展性的应用程序在一个单一的Optane机器上,使用子图计数作为内存密集型图的问题。我们使用各种输入图和子模板大小进行测试,以确定其在不同内存和CPU负载下的性能,以及使用MPI在单个节点Optane上与集群中的分布式节点集进行性能比较。2)我们研究了无服务器计算中的端到端执行延迟,并研究了冷启动的并发函数执行。在未来的工作中,我们将证明持久内存机器可以显着改善无服务器计算中的并发函数调用,包括Amazon Lambda,Microsoft Azure Functions,Google Cloud Functions和IBM Cloud Functions(Apache OpenWhisk)。
2021-09-22 cs.DC
Serverless Computing: Behind the Scenes of Major Platforms
无服务器计算为应用程序开发提供了一个事件驱动的按需付费框架。一个关键的卖点是没有后端服务器管理的概念,允许开发人员专注于应用程序功能。这是通过严格抽象的底层架构的功能running.We检查底层架构和报告的性能无服务器功能,以及它们是如何受到某些因素,如内存分配和干扰引起的负载由其他用户在平台上。具体而言,我们专注于四大平台的无服务器产品:AWS Lambda,Google Cloud Functions,Microsoft Azure Functions和IBM Cloud Functions。在本文中,我们观察和这些平台之间的对比,在他们的方法,以共同的问题“冷启动”,我们设计了一种方法来揭示底层架构无服务器功能执行,我们调查的影响,从负载在平台上超过一个月的时间跨度。
2020-12-10 cs.DC
HotSwap: Enabling Live Dependency Sharing in Serverless Computing
本文提出 HotSwap,一种无服务器计算中提供商侧的跨函数冷启动优化方法,通过预初始化实时依赖镜像迁移与共享策略,在遵守缓存约束的前提下,显著加速依赖加载并节省缓存空间。
2025-07-11 cs.DC
Melding the Serverless Control Plane with the Conventional Cluster Manager for Speed and Resource Efficiency
NTU Singapore(南洋理工大学);ETH Zurich(苏黎世联邦理工学院);Nanjing University(南京大学)
PulseNet通过双轨控制平面结合传统集群管理器与专用实例,提升无服务器架构的性能和资源效率。
2026-01-06 cs.DC
SLFS: a Flexible, Low-Cost Distributed File System Using Serverless Designs
Northeastern University(东北大学)
针对传统分布式文件系统资源利用率低、弹性不足的问题,提出基于无服务器函数的SLFS系统,通过键值存储和短生命周期多线程设计,实现毫秒级弹性伸缩,在S3等后端上降低成本63%-68%。
2026-07-03 cs.DC
Hibernate Container: A Deflated Container Mode for Fast Startup and High-density Deployment in Serverless Computing
本文提出第三种容器启动模式Hibernate Container,通过将应用内存换出到磁盘并回收释放内存,实现比冷启动更低的响应延迟和比Warm Container更少的内存消耗,从而提升部署密度与系统性能。
2023-05-18 cs.DC
ICPS: Real-Time Resource Configuration for Cloud Serverless Functions Considering Affinity
本文提出ICPS算法,利用LSTM预测函数并发并基于亲和性部署依赖函数,以解决无服务器工作流中冷启动和网络延迟问题,实验证明其性能优于现有方法。
2025-04-09 cs.DC
Understanding and Optimizing Serverless Workloads in CXL-Enabled Tiered Memory
本文研究无服务器工作负载在CXL分层内存系统中的性能影响,提出细粒度DRAM/CXL资源配置策略,并设计中间件Porter以高效利用内存并降低成本。
2023-09-22 cs.DC
Caching Aided Multi-Tenant Serverless Computing
本文提出缓存辅助的多租户无服务器计算框架 FaasCamp,通过多层暖池、跨租户安全共享和机器学习缓存替换策略缓解冷启动问题,实验证明其能以最小开销超越现有平台。
2024-08-01 cs.DC
Fast end-to-end cloud application cold-start with initscripts
MIT(麻省理工学院)
本文提出initscripts(初始化脚本),通过重叠设置与初始化步骤减少无服务器应用冷启动延迟,经测试可将ServerlessBench Python应用等的冷启动平均提速1.67倍。
2026-08-14 cs.DC cs.OS
LIBRA: An Economical Hybrid Approach for Cloud Applications with Strict SLAs
功能即服务(FaaS)最近出现,与云结构即服务(IaaS)相比,它可以降低运行云应用程序的部署成本。FaaS遵循无服务器的“即用即付”计算模型;它的每单位执行时间成本较高,但通常应用程序功能的配置时间较短(启动延迟)。IaaS需要配置虚拟机,而虚拟机通常会遭受更长的冷启动延迟,从而导致更高的排队延迟和更高的请求丢弃率。我们提出了LIBRA,这是一种平衡(混合)方法,它利用基于VM的资源和无服务器资源来有效地管理应用程序的云资源。LIBRA密切监控应用程序需求,并提供适当的VM和无服务器资源,以最大限度地降低运行成本并满足服务级别协议。与最新技术不同,LIBRA不仅隐藏了VM冷启动延迟,从而通过利用无服务器减少了响应时间,而且还将低速率突发部分的需求定向到无服务器,这样做比启动新VM的成本更低。我们在模拟环境中以及AWS商业云上对LIBRA进行了真实跟踪评估。我们的研究结果表明,LIBRA优于其他资源配置政策,包括最近的混合方法- LIBRA实现了85%以上的SLA违规减少和高达53%的成本节约。
2021-04-12 cs.DC
This is not the End: Rethinking Serverless Function Termination
弹性扩展是无服务器平台提供的核心优势之一,要求它们根据不断变化的工作负载来扩展资源。无服务器平台通过终止先前启动的实例(容器或进程)来缩减资源。无服务器编程模型确保终止实例是安全的,假设在实例上运行的所有应用程序代码都已完成或超时。因此,安全性取决于无服务器平台正确确定应用程序处理完成。在本文中,我们首先观察到当前的无服务器平台在确定应用程序处理是否完成时没有考虑到挂起的异步I/O操作。因此,当执行使用异步I/O的程序时,这些平台是不安全的,并且当使用这些平台时,错误地判定应用程序处理已经终止可能导致数据不一致。我们表明,这个问题的原因是,目前的无服务器语义耦合在无服务器应用程序的终止和响应生成。我们通过对当前语义的扩展来解决这个问题,该扩展可以使响应的生成和终止变得简单,并通过扩展OpenWhisk(一个开源无服务器平台)来证明我们的建议的有效性和好处。
2022-11-04 cs.DC cs.PL
Jiagu: Optimizing Serverless Computing Resource Utilization with Harmonized Efficiency and Practicability
针对无服务器平台资源利用率与实用性难兼顾的问题,提出 Jiagu,通过预决策调度和双阶段扩缩容提升部署密度并降低调度与冷启动开销。
2024-03-01 cs.DC
Hydra: Virtualized Multi-Language Runtime for High-Density Serverless Platforms
Hydra 提出虚拟化多语言运行时与共置感知平台设计,通过预分配实例缓存和沙箱快照机制减少冷启动,显著提升函数密度并降低内存占用与延迟。
2025-07-22 cs.DC cs.PL
InfiniStore: Elastic Serverless Cloud Storage
AWS S3等云对象存储具有成本效益和高度弹性,但速度相对较慢,而AWS ElastiCache等高性能云存储价格昂贵,弹性有限。我们提出了一个新的云存储服务称为ServerlessMemory,它使用无服务器函数的内存存储数据。ServerlessMemory采用基于滑动窗口的存储管理策略,其灵感来自程序设计语言中使用的垃圾回收机制,以有效地隔离热/冷数据,并提供细粒度的弹性,良好的性能和极低成本的按访问付费成本模型。然后,我们设计并实现了InfiniStore,一个持久的和弹性的云存储系统,它无缝耦合基于功能的ServerlessMemory层与持久的,廉价的云对象存储层。InfiniStore使用基于FaaS(Function-as-a-Service)平台的自动扩展功能构建的快速并行恢复方案,即使在功能故障的情况下也能实现持久性。我们使用微基准测试和两个实际应用程序对InfiniStore进行了广泛的评估。结果显示,与AWS ElastiCache和Anna相比,InfiniStore对于大于10 MB的对象具有更多的性能优势,与InfiniCache和ElastiCache相比,InfiniStore分别实现了26.25%和97.24%的租户端成本降低。
2023-03-16 cs.DC
A Deep Reinforcement Learning based Algorithm for Time and Cost Optimized Scaling of Serverless Applications
针对无服务器计算冷启动延迟、资源利用率低及现有方案多租户适配性不足的问题,提出基于多智能体深度强化学习的函数资源横纵扩缩容方案,在提升性能的同时大幅降低基础设施成本。
2023-08-22 cs.DC
Fifer: Tackling Underutilization in the Serverless Era
数据中心正在见证基于微服务的应用程序采用无服务器功能的快速增长。这些微服务中的绝大多数通常跨度不到一秒,具有严格的SLO要求,并根据应用程序的要求链接在一起。上述特征引入了一系列新的挑战,特别是在容器配置和管理方面,因为在无服务器平台中采用的最先进的资源管理框架倾向于关注基于微服务的应用程序,类似于传统的单片应用程序。因此,这些框架遭受微服务不可知的调度和巨大的容器过度供应,特别是在工作负载波动期间,从而导致资源利用率低下。在这项工作中,我们使用Kubernetes和Brigade无服务器框架管理的多节点集群上的各种工作负载来量化上述缺点。为了解决这些问题,我们提出了\emph{Fifer} -一个自适应资源管理框架,以有效地管理无服务器平台上的功能链。其关键思想是使\emph{Fifer}(i)通过使用功能感知的容器缩放和智能请求调度来有效地将作业装箱到更少的容器,从而使其具有利用率意识;(ii)同时,通过主动生成容器以避免冷启动,从而使其符合SLO,从而最小化整体响应延迟。结合这些优势,与无服务器平台采用的最先进的路由器相比,\emph{Fifer}将容器利用率和集群范围的能耗分别提高了4倍和31%,而不会影响SLO。
2020-08-28 cs.DC
Are Unikernels Ready for Serverless on the Edge?
研究探讨unikernel用于边缘无服务器计算的适用性,对比其与Docker、microVM等沙箱的性能,发现unikernel冷启动性能优但稳定性不足,是Linux兼容FaaS隔离研究的有前景候选。
2024-03-01 cs.DC
FuncPipe: A Pipelined Serverless Framework for Fast and Cost-efficient Training of Deep Learning Models
在云中训练深度学习(DL)模型已成为一种常态。随着无服务器计算的出现及其真正的按需付费定价和可扩展性的好处,系统研究人员最近开始为基于无服务器的培训提供支持。然而,在无服务器平台上训练DL模型的能力受到当今无服务器基础设施的资源限制以及DL模型对内存和带宽的爆炸性需求的阻碍。本文介绍了FuncPipe,这是一种专为无服务器平台设计的新型流水线训练框架,可实现DL模型的快速和低成本训练。FuncPipe的设计具有关键的洞察力,即可以利用模型分区来弥合无服务器功能的容量与DL培训需求之间的内存和带宽差距。从概念上讲,我们必须回答几个设计问题,包括如何划分模型,配置每个无服务器功能,以及利用每个功能的上行链路/下行链路带宽。特别是,我们为无服务器环境量身定制了微批调度策略,作为后续优化的基础。我们的混合二次规划公式自动并同时配置无服务器资源和分区模型,以适应资源约束。最后,我们提出了一种新的流水线分散归约算法,提高了基于存储的同步的带宽效率。我们在两个流行的云无服务器平台上实现了FuncPipe,并表明与最先进的基于无服务器的框架相比,它实现了7%-77%的成本节约和1.3倍-2.2倍的加速。
2023-01-02 cs.DC
No Provisioned Concurrency: Fast RDMA-codesigned Remote Fork for Serverless Computing
无服务器平台本质上面临着容器启动时间和供应并发之间的权衡(即,缓存的实例),这被远程容器初始化的频繁需要进一步夸大。本文介绍了MITOSIS,一个操作系统原语,提供快速远程分叉,它利用了一个深的协同设计的操作系统内核与RDMA。通过利用RDMA的快速远程读取功能和跨无服务器容器的部分状态传输,MITOSIS弥合了本地和远程容器初始化之间的性能差距。MITOSIS是第一个在一秒钟内从多台机器上的一个实例分叉超过10,000个新容器的容器,同时允许新容器有效地传输分叉容器的预物化状态。我们在Linux上实现了MITOSIS,并将其与流行的无服务器平台FN集成。在实际无服务器工作负载的负载峰值下,MITOSIS将函数尾部延迟降低了89%,内存使用量降低了几个数量级。对于需要状态传输的无服务器工作流程,MITOSIS将其执行时间缩短了86%。
2022-09-17 cs.DC cs.OS
SimFaaS: A Performance Simulator for Serverless Computing Platforms
为无服务器平台(即FaaS平台)开发准确且可扩展的性能模型是一项非常具有挑战性的任务。此外,在真正的无服务器平台上进行实施和实验既昂贵又耗时。然而,目前还没有全面的模拟工具或框架来代替真实的平台。因此,在本文中,我们提出了一个模拟平台,称为SimFaaS,它可以帮助无服务器应用程序开发人员开发优化的功能即服务应用程序的成本和性能方面填补了这一空白。另一方面,FaaS提供商可以利用SimFaaS来定制他们的平台,使其具有工作负载感知能力,从而可以同时提高利润和服务质量。此外,无服务器平台提供商可以以及时且经济高效的方式评估SimFaaS上的新设计、实现和部署。SimFaaS是开源的,有良好的文档记录,并且公开可用,使其易于使用和扩展,以便在未来纳入更多的用例场景。此外,它为性能工程师提供了一套工具,可以计算无服务器平台内部状态的几个特征,否则很难(大多数情况下是不可能)从真实平台中提取。我们展示了SimFaaS如何促进基本性能指标的预测,如平均响应时间,冷启动的概率,以及反映无服务器计算提供商所产生的基础设施成本的实例的平均数量。我们通过比较预测结果与Amazon AWS Lambda的真实跟踪来评估SimFaaS的准确性和适用性。
2021-02-17 cs.DC
CASA: A Framework for SLO and Carbon-Aware Autoscaling and Scheduling in Serverless Cloud Computing
本文提出CASA框架,在无服务器云集群中同时考虑碳足迹和SLO约束进行容器调度与自动伸缩,实验表明其碳足迹最多降低2.6倍、SLO违反率最多降低1.4倍。
2024-08-31 cs.DC cs.PF
How Does It Function? Characterizing Long-term Trends in Production Serverless Workloads
Huawei Edinburgh Research Centre(华为爱丁堡研究中心);Hangzhou Research Centre, Central Software Institute, Huawei(华为中央软件院杭州研究中心);University of St Andrews(圣安德鲁斯大学)
本文发布两份跨度超7个月、合计1.4万亿次调用的华为云无服务器工作负载trace,从多维度表征生产FaaS平台特征,发现函数行为差异极大,指出需加强资源预留与时间序列预测研究。
2023-12-15 cs.DC cs.LG cs.PF
Pushing CPU Speech Synthesis to the Wall: Extreme Inference Tuning under Serverless Architecture and Billing
Paxa Labs(帕萨实验室)
针对无服务器按实例计费下CPU推理空闲成本高的问题,提出计费感知的TTS服务,通过请求级并行和可回收生命周期,在Kokoro-82M上实现4.1倍成本降低。
2026-10-02 cs.AI cs.CL cs.DC
Practical Scheduling for Real-World Serverless Computing
无服务器计算由于其提供的易用性和成本效益而快速增长。然而,功能调度,无服务器系统的关键组成部分,一直被忽视。在本文中,我们采用第一原理方法来设计一个调度器,以满足在实际部署中看到的无服务器功能的独特特性。我们首先创建一个分类的调度策略沿三个维度。接下来,我们使用模拟来探索Azure函数的14天跟踪中的函数特征的调度策略空间,并得出结论,对于常见的执行时间分布和负载范围,经常使用的功能(如后期绑定和随机负载均衡)是次优的。我们使用这些见解来设计Hermes,这是一个具有三个关键特征的无服务器功能调度器。首先,为了避免由于高函数执行时间可变性而导致的头端阻塞,Hermes使用早期绑定和处理器共享的组合来在各个工作机器上进行调度。第二,Hermes使用混合负载均衡方法,在低负载时改进整合,同时在高负载时采用最小负载平衡来保持高性能。第三,Hermes是负载和本地感知的,与纯基于负载的策略相比,减少了冷启动的次数。我们为Apache OpenWhisk实现了Hermes,并证明了,对于在Azure和其他真实世界跟踪中观察到的函数模式,与现有策略相比,它可以降低高达85%的函数速度,提高60%的吞吐量。
2021-11-14 cs.DC