Dorylus: Affordable, Scalable, and Accurate GNN Training with Distributed CPU Servers and Serverless Threads
UCLA(加州大学洛杉矶分校);University of Wisconsin(威斯康星大学);CMU(卡内基梅隆大学);Google Brain(谷歌大脑);Simon Fraser(西蒙弗雷泽大学);Princeton University(普林斯顿大学)
图神经网络(GNN)使得能够对结构化图数据进行深度学习。GNN训练有两个主要障碍:1)它依赖于高端服务器,这些服务器具有许多购买和维护昂贵的GPU,2)GPU上有限的内存无法扩展到今天的十亿边图。本文介绍了Dorylus:一个用于训练GNN的分布式系统。独特的是,Dorylus可以利用无服务器计算以低成本提高可扩展性。指导我们设计的关键见解是计算分离。计算分离使得构建一个深度的有界异步流水线成为可能,其中图和张量并行任务可以完全重叠,有效地隐藏了Lambdas引起的网络延迟。在数千个Lambda线程的帮助下,Dorylus将GNN训练扩展到十亿边图。目前,对于大型图形,CPU服务器提供了比GPU服务器更好的每美元性能。仅在CPU服务器上使用Lambdas,每美元的性能就比仅使用CPU服务器的培训高出2.75倍。具体来说,对于大规模稀疏图,Dorylus比GPU服务器快1.22倍,便宜4.83倍。与现有的基于采样的系统相比,Dorylus的速度快3.8倍,价格便宜10.7倍。
2021-05-25 cs.DC cs.LG
SLFS: a Flexible, Low-Cost Distributed File System Using Serverless Designs
Northeastern University(东北大学)
针对传统分布式文件系统资源利用率低、弹性不足的问题,提出基于无服务器函数的SLFS系统,通过键值存储和短生命周期多线程设计,实现毫秒级弹性伸缩,在S3等后端上降低成本63%-68%。
2026-07-03 cs.DC
SLA-Constrained Carbon-Aware Routing in Geo-Distributed Serverless Clouds
National Institute of Advanced Manufacturing Technology Ranchi(国家先进制造技术研究所(兰契))
研究地理分布式无服务器云中的碳感知路由问题,提出受SLA约束的碳感知路由策略,通过实际碳强度测量评估,实验表明该策略能大幅减排且保持零SLA违规,路由开销低,为气候行动和清洁能源目标做出贡献。
2026-07-28 cs.DC cs.LG
Serverless End Game: Disaggregation enabling Transparency
多年来,分布式系统社区一直在努力实现从本地到远程计算的平稳过渡。透明性意味着隐藏分布式编程的复杂性,如远程位置,故障或扩展。对我们来说,完全透明意味着我们可以在有效的无限计算、存储和内存资源上编译、调试和运行未经修改的单个机器码。我们在本文中详细阐述了为什么无服务器计算中的资源分解是实现云中完全透明的决定性催化剂。我们通过两个实验证明,我们今天可以在分散的无服务器资源上实现透明性,并获得与本地执行相当的性能。我们还表明,局部性不能被忽视的许多问题,我们提出了五个开放的研究挑战:粒度中间件和局部性,内存解聚,虚拟化,弹性编程模型,优化部署。如果完全透明是可能的,如果可以将远程实体视为本地实体,谁还需要显式使用中间件呢?我们能为大多数用户关闭分布式系统复杂性的窗帘吗?
2020-06-01 cs.DC
FedLesScan: Mitigating Stragglers in Serverless Federated Learning
Technische Universität München(慕尼黑工业大学);Huawei Technologies(华为技术有限公司)
联邦学习(FL)是一种机器学习范例,它能够在分布式客户端之间训练共享的全局模型,同时保持训练数据本地化。虽然大多数先前的FL系统设计工作都集中在使用有状态的始终运行的组件上,但最近的工作表明,FL系统中的组件可以从无服务器计算和功能即服务技术的使用中受益匪浅。为此,使用无服务器FL系统对模型进行分布式训练可以比传统FL系统更节省资源和更便宜。然而,无服务器FL系统仍然遭受落伍者的存在,即,由于客户端的资源和统计异质性,它们的速度较慢。虽然已经提出了几种策略来减轻FL中的落伍者,但大多数方法都没有考虑到无服务器环境的特定特征,即,冷启动、性能变化以及函数实例的短暂无状态特性。为此,我们提出了FedLesScan,一种新的基于集群的半异步训练策略,专门为无服务器FL定制。FedLesScan动态适应客户端的行为,并最大限度地减少掉队者对整个系统的影响。我们通过扩展一个名为FedLess的开源无服务器FL系统来实现我们的策略。此外,我们使用第二代Google Cloud Functions对我们的策略进行了全面评估,其中包含四个数据集和不同百分比的落伍者。我们的实验结果表明,与其他方法相比,FedLesScan平均分别减少了8%和20%的训练时间和成本,同时更好地利用客户端,有效更新率平均提高了17.75%。
2022-11-28 cs.DC cs.LG
A Serverless Distributed Ledger for Enterprises
企业已经被区块链的能力所吸引,它可以为跨公司、地理位置和云的工作负载提供单一的真实来源,同时保持各方IT运营的独立性。然而,到目前为止,生产应用程序仍然很少,受到现有区块链技术的技术限制以及集成到企业IT系统的挑战的阻碍。在本文中,我们从技术角度收集了企业对分布式账本的数据共享和集成需求,认为现有的区块链框架没有充分解决这些需求,并提出了一种新的分布式账本设计,即“无服务器”,即,基于云原生资源构建。我们评估了它的定性和定量属性,并提供证据表明,已经严重依赖云服务提供商的企业会认为这种方法是可以接受的,特别是如果它提供了易于部署,低交易成本结构,以及与实时IT应用需求相一致的延迟和可扩展性的组合。
2021-10-10 cs.DC cs.SE
Adaptive Event Dispatching in Serverless Computing Infrastructures
无服务器计算是一种新兴的云服务模式。它目前正成为托管计算从能力受限的机器虚拟化和微服务向效用计算演进的下一步。术语“无服务器”已经成为基于云的事件驱动分布式应用程序的完全资源透明部署模型的同义词。这项工作研究了自适应事件调度如何提高无服务器平台的资源效率,并提供了一种新的方法,可以更好地扩展和适应平台的资源消耗的实际需求。
2019-01-10 cs.DC
Let's Trace It: Fine-Grained Serverless Benchmarking using Synchronous and Asynchronous Orchestrated Applications
使无服务器计算广泛应用需要详细的性能理解。虽然存在当代基准测试方法,但它们只报告粗略的结果,不应用分布式跟踪,不考虑异步应用程序,并且提供有限的(根本原因)分析能力。为了解决这一差距,我们设计并实现了ServiBench,一个无服务器的基准测试套件。ServiBench(i)利用代表生产使用的同步和异步无服务器应用程序,(ii)推断云提供商数据以生成真实的工作负载,(iii)进行全面的端到端实验以捕获应用程序级性能,(iv)使用基于(分布式)无服务器跟踪的新方法分析结果,以及(v)全面支持无服务器性能分析。借助ServiBench,我们在AWS上进行了全面的实验,涵盖了五个常见的性能因素:中值延迟、冷启动、尾部延迟、可扩展性和动态工作负载。我们发现,无服务器应用程序的端到端延迟的中位数通常不是由函数计算控制的,而是由外部服务调用、编排或基于服务器的协调控制的。我们根据FAIR原则和ServiBench发布收集的实验数据,ServiBench是一个经过测试的,可扩展的开源工具。
2022-05-16 cs.DC cs.SE
FaaSMT: Lightweight Serverless Framework for Intrusion Detection Using Merkle Tree and Task Inlining
本文提出轻量级无服务器入侵检测框架FaaSMT,通过并行日志收集、Merkle Tree算法和启发式优化实现自适应内联安全任务执行,有效检测DoW和业务逻辑攻击并显著降低性能开销。
2025-03-09 cs.DC
SPIRT: A Fault-Tolerant and Reliable Peer-to-Peer Serverless ML Training Architecture
University of Quebec at Chicoutimi, UQAC(魁北克大学希库蒂米分校);École de Technologie Supérieure, ÉTS(高等工程技术学院)
针对无服务器特性难以融入 P2P 分布式训练的问题,本文提出 SPIRT 架构,结合 RedisAI、安全通信与鲁棒聚合,实现高效、可扩展且抗拜占庭攻击的容错训练。
2023-09-25 cs.AI cs.DC
SQUASH: Serverless and Distributed Quantization-based Attributed Vector Similarity Search
提出首个完全无服务器的向量搜索解决方案SQUASH,通过优化的量化方法OSQ、基于段的存储机制、单次分布式遍历及多级搜索工作流,在保证高准确率的同时显著降低了成本并提升了性能。
2025-02-03 cs.DB cs.DC
Towards Demystifying Serverless Machine Learning Training
ETH Zürich(苏黎世联邦理工学院);Microsoft Research(微软研究院)
无服务器(FaaS)的吸引力引发了人们对如何在数据密集型应用程序(如ETL,查询处理或机器学习(ML))中使用它的兴趣越来越大。存在几种用于在无服务器基础设施之上训练大规模ML模型的系统(例如,AWS Lambda),但就其性能和相对于“服务器”基础设施(IaaS)的相对优势而言,结果并不确定。在本文中,我们对FaaS和IaaS上的分布式ML训练进行了系统的比较研究。我们提出了一个设计空间,涵盖设计选择,如优化算法和同步协议,并实现了一个平台,LambdaML,使FaaS和IaaS之间的公平比较。我们使用LambdaML展示了实验结果,并进一步开发了一个分析模型来捕获选择无服务器基础设施时必须考虑的成本/性能权衡。我们的研究结果表明,ML训练在无服务器中只对具有高效(即,减少)通信并且快速收敛。一般来说,FaaS可以更快,但它永远不会比IaaS便宜。
2021-05-17 cs.DC cs.LG
The Serverless Scheduling Problem and NOAH
无服务器调度问题对云服务平台提供商提出了新的挑战,因为它是一个作业调度问题,而不是传统的资源分配或请求负载均衡问题。传统上,弹性云应用程序使用托管虚拟资源分配,并采用请求负载平衡器来协调部署。对于无服务器,提供商需要解决负载均衡和分配问题。这项工作回顾了当前的Apache OpenWhisk无服务器事件负载均衡和非合作博弈论负载均衡的方法在分布式系统中的响应时间最小化。仿真结果表明,既没有表现良好的高系统利用率,激发了非合作的在线分配启发式,允许调整之间的权衡响应时间和资源成本的每个无服务器功能。
2018-09-17 cs.DC
Serverless Straggler Mitigation using Local Error-Correcting Codes
廉价的云服务,如无服务器计算,通常容易受到分散节点的影响,这会增加分布式计算的端到端延迟。我们提出并实现了简单而有原则的方法,用于在无服务器系统中进行矩阵乘法,并在机器学习和高性能计算的几个常见应用程序上对其进行评估。所提出的方案受到纠错码的启发,并使用无服务器工作人员对存储在云中的数据进行并行编码和解码。这创建了完全分布式计算框架,而不使用主节点进行编码或解码,这消除了主节点处的计算、通信和存储瓶颈。在理论方面,我们建立了我们提出的方案是渐近最优的解码时间,并提供了一个下界的掉队者,它可以容忍的概率很高。通过大量的实验,我们表明,我们的计划优于现有的计划,如投机执行和其他编码理论的方法至少25%。
2020-01-21 cs.DC cs.IT math.IT
High-Performance Serverless Computing: A Systematic Literature Review on Serverless for HPC, AI, and Big Data
Department of Computer Science, University of Pisa(帕尔米斯大学计算机科学系);ISTI – National Research Council(国家研究理事会ISTI)
本文系统综述了122篇论文,提出八个研究方向和九个用例领域,分析了服务器less计算在HPC、AI和大数据中的应用趋势和合作网络。
2026-01-14 cs.DC cs.LG
FMI: Fast and Cheap Message Passing for Serverless Functions
针对无服务器函数通信慢且昂贵的问题,提出FMI框架,以MPI为模型支持点对点和集合通信,实现高性能低成本,实验显示速度提升162倍、成本降低397倍。
2023-05-15 cs.DC
Exploring the Impact of Serverless Computing on Peer To Peer Training Machine Learning
University of Quebec at Chicoutimi(魁北克大学希库蒂米分校);École de Technologie Supérieure(高等工程技术学院)
本文提出融合无服务器计算与P2P网络的分布式训练架构及资源约束下的并行梯度计算方法,显著缩短训练时间,但也揭示其成本代价。
2023-09-25 cs.AI cs.DC
Cost-Performance Analysis: A Comparative Study of CPU-Based Serverless and GPU-Based Training Architectures
本文比较分析了SPIRT等无服务器分布式ML架构,发现SPIRT通过并行批处理和RedisAI数据库内操作显著降低了训练时间与通信开销,尽管初始成本较高但具有长期经济效益。
2025-09-18 cs.DC
Serverless Computing: One Step Forward, Two Steps Back
无服务器计算提供了以自动缩放、按需付费的方式对云进行编程的可能性。在本文中,我们解决了第一代无服务器计算的关键差距,这使得其自动扩展潜力与现代计算的主导趋势不一致:特别是以数据为中心和分布式计算,但也包括开源和定制硬件。总而言之,这些差距使得当前的无服务器产品不适合云创新,特别是数据系统创新。除了指出当前无服务器架构的一些主要不足之外,我们还提出了一系列我们认为必须满足的挑战,以释放云计算的巨大潜力-其存储容量和数百万个核心-应该为创新开发人员提供。
2018-12-10 cs.DB cs.DC
Saarthi: An End-to-End Intelligent Platform for Optimising Distributed Serverless Workloads
Saarthi是一个端到端无服务器框架,通过输入感知的资源预测、智能请求编排、容错冗余和多目标ILP优化,在OpenFaaS上实现1.45倍吞吐量提升和1.84倍成本降低。
2025-11-10 cs.DC
Intel Optane DCPMM and Serverless Computing
本报告介绍1)我们如何在内存模式下使用英特尔Optane DCPMM。我们调查的可扩展性的应用程序在一个单一的Optane机器上,使用子图计数作为内存密集型图的问题。我们使用各种输入图和子模板大小进行测试,以确定其在不同内存和CPU负载下的性能,以及使用MPI在单个节点Optane上与集群中的分布式节点集进行性能比较。2)我们研究了无服务器计算中的端到端执行延迟,并研究了冷启动的并发函数执行。在未来的工作中,我们将证明持久内存机器可以显着改善无服务器计算中的并发函数调用,包括Amazon Lambda,Microsoft Azure Functions,Google Cloud Functions和IBM Cloud Functions(Apache OpenWhisk)。
2021-09-22 cs.DC
Wukong: A Scalable and Locality-Enhanced Framework for Serverless Parallel Computing
无服务器计算越来越多地用于并行计算,传统上这些计算是作为有状态应用程序实现的。执行复杂的、突发并行的、有向无环图(DAG)作业对无服务器执行框架构成了重大挑战,这需要以高吞吐量快速扩展和调度任务,同时最大限度地减少任务之间的数据移动。我们证明,对于无服务器并行计算,分散式调度使调度能够分布在Lambda执行器上,这些执行器可以并行调度任务,并带来多种好处,包括增强数据本地性,减少网络I/O,自动资源弹性和提高成本效益。我们描述了我们新的无服务器并行框架Wukong在AWS Lambda上的实现和部署。我们表明,Wukong实现了近乎理想的可扩展性,执行并行计算作业的速度高达68.17倍,将网络I/O减少了多个数量级,并与numpywren相比实现了92.96%的租户端成本节省。
2020-10-14 cs.DC
A Blueprint for Building Serverless Applications on the Net
提出了一种对等应用程序体系结构,它有可能消除在互联网上托管服务的后端服务器。建议的应用程序架构已被建模为一个分布式系统提供互联网服务。这样创建的服务,虽然混乱和充满不确定性,将是高度可扩展的,并能够实现前所未有的水平的鲁棒性和可行性,随着用户数量的增加。分析了与该体系结构相关的核心问题,如服务发现、分布式应用体系结构组件和应用间通信。它示出的各种功能的协调,应用程序的合作实例之间的通信,可以使用分而治之的策略进行优化。最后,确定了今后工作的方向。
2001-07-05 cs.DC cs.NI
Function Delivery Network: Extending Serverless Computing for Heterogeneous Platforms
无服务器计算在亚马逊的Lambda平台推出后迅速发展。功能即服务(FaaS)是无服务器计算的关键推动因素,它允许将应用程序分解为在FaaS平台上执行的简单独立功能。FaaS平台负责将资源部署和促进功能。当今的一些云应用程序分布在异构的连接计算资源上,并且在其结构和资源需求方面具有高度动态性。然而,FaaS平台仅限于同构集群和同构功能,并且在调度之前不考虑功能的数据访问行为。我们引入了一个扩展的FaaS异构集群和支持异构功能,通过网络的分布式异构目标平台称为功能交付网络(FDN)。目标平台是同构节点集群和其上的FaaS平台的组合。FDN提供功能交付即服务(FDaaS),将功能交付到正确的目标平台。我们展示的机会,如不同的目标平台的特点,多个目标平台之间的协作执行的可能性,以及本地化的数据,FDN提供在实现两个目标:服务水平目标(SLO)的要求和能源效率时,通过评估超过五个分布式目标平台调度功能使用FDNInspector,我们开发的分布式目标平台的基准测试工具。与高端目标平台上的调度相比,我们评估中的边缘目标平台上的调度功能将总体能耗降低了17倍,而不违反SLO要求。
2021-02-03 cs.DC cs.PF
A Holistic View on Resource Management in Serverless Computing Environments: Taxonomy and Future Directions
近年来,无服务器计算已成为云应用程序的一个有吸引力的部署选项。这种计算模型的独特功能包括快速自动扩展、强大的隔离、细粒度的计费选项以及访问自主处理资源管理决策的大规模服务生态系统。由于这些特征,这种模型也越来越多地被探索用于地理分布的边缘和雾计算网络中的部署。计算资源的有效管理一直受到研究人员的关注。由于需要自动化资源配置、分配、调度、监控和扩展的整个过程,因此需要专门关注无服务器模式下的资源管理。在这篇文章中,我们确定了覆盖无服务器环境中资源管理更广泛概念的主要方面,并提出了影响这些方面的元素分类,包括系统设计,工作负载属性和利益相关者期望的特征。我们全面了解跨边缘、雾和云计算网络部署的无服务器环境。我们还分析了现有的作品,讨论使用这种分类的无服务器资源管理方面。本文进一步确定了文献中的差距,并强调了未来的研究方向,以提高这种计算模型的能力。
2021-06-01 cs.DC
Hybrid Serverless Computing: Opportunities and Challenges
近年来,由于易于部署,有吸引力的按使用付费定价和透明的水平自动扩展,无服务器计算的采用激增。与此同时,基础设施的进步,如5G网络的出现和连接到互联网(称为物联网(IoT))的设备的爆炸式增长,以及限制计算和数据发生的新应用程序需求,将使云计算的范围从传统的数据中心扩展到混合云。疫情导致的数字化转型加速了劳动力的变化,并刺激了人工智能的进一步采用,预计将加速,新兴的混合云市场可能扩大到超过万亿美元。在混合云环境中,在无服务器租户的推动下,将越来越需要专注于为使用分布式平台(包括公共云、私有云和边缘系统)的应用程序构建者实现高效工作。在本章中,我们将探讨无服务器计算可以扩展到何种程度,以成为混合无服务器计算。
2022-09-14 cs.DC cs.SE
On the Serverless Nature of Blockchains and Smart Contracts
虽然历史上术语无服务器也用于对等系统的上下文中,但它更经常与开发云原生应用程序的架构风格相关联。从开发人员的角度来看,无服务器架构允许减少管理工作,因为应用程序是使用提供商管理的组件组成的,例如,数据库即服务(DBaaS)和功能即服务(FaaS)产品。区块链是分布式系统,旨在实现涉及多个不受信任方的协作场景。区块链的去中心化点对点性质似乎使其在无服务器架构中考虑变得有趣,因为资源分配和管理任务不需要由用户执行。此外,考虑到其确保交易不变性和促进负责任的交互的有用特性,区块链可能会增强无服务器架构的整体保证和能力。因此,在这项工作中,我们分析了区块链技术和智能合约如何适应无服务器环境,并推导出一组场景,在这些场景中,它们在无服务器架构中充当不同的组件类型。此外,我们还制定了在这些场景中成功使用区块链和智能合约所必须满足的实施要求。最后,我们调查现有的技术,使这些方案,并分析其准备和适用性,以满足制定的要求。
2020-11-24 cs.CR cs.DC
$λ$FS: A Scalable and Elastic Distributed File System Metadata Service using Serverless Functions
本文提出$λ$FS,一种基于FaaS平台的弹性可扩展分布式文件系统元数据服务,通过弹性扩展元数据缓存和系列技术,实现更高吞吐、更低延迟和成本,显著提升性能成本比。
2023-06-20 cs.DC
Adaptive Serverless Learning
Temple University(天普大学);University of Pittsburgh(匹兹堡大学)
随着分布式数据的出现,以无服务器方式训练机器学习模型近年来受到越来越多的关注。在这一制度中提出了许多培训方法,例如分散的SGD。然而,所有现有的去中心化算法都只关注标准SGD。它可能不适合某些应用,例如深度因子分解机,其中特征是高度稀疏和分类的,因此需要自适应训练算法。在本文中,我们提出了一种新的自适应分散训练方法,它可以从数据动态计算学习率。据我们所知,这是第一种自适应分散训练方法。我们的理论结果表明,该算法可以实现线性加速比的工人的数量。此外,为了减少通信效率的开销,我们进一步提出了一种通信效率高的自适应分散训练方法,该方法也可以实现相对于工人数量的线性加速。最后,在不同的任务上进行了大量的实验,证实了我们提出的两种方法的有效性。
2020-08-24 cs.AI cs.DC cs.LG
Straggler Resilient Serverless Computing Based on Polar Codes
Stanford University(斯坦福大学)
提出了一种基于极化码的无服务器分布式计算机制。无服务器计算是一种新兴的基于云的计算模型,允许用户在云上运行其功能,而无需配置或管理服务器。我们提出的方法是一个混合计算框架,它使用无服务器计算执行计算成本高昂的任务,例如涉及大规模数据的线性代数运算,并在本地执行其余处理。我们解决了无服务器平台的局限性和可靠性问题,例如使用编码理论的离散工人,从最近的编码计算文献中汲取思想。所提出的机制使用极化码来以计算有效的方式确保离散恢复力。我们提供了大量的证据表明极化码优于其他编码方法。我们设计了一个专门用于全精度输入和输出的擦除信道中极化码的顺序解码器。此外,我们已经将所提出的方法扩展到矩阵乘法的情况下,两个矩阵相乘的编码。所提出的编码计算方案在AWS Lambda上实现。实验结果中提出的编码计算技术的性能进行了测试,通过梯度下降优化。最后,我们引入了部分极化的思想,它减少了编码和解码的计算负担,代价是离散恢复。
2019-07-13 cs.DC cs.IT cs.LG
Bit of a Close Talker: A Practical Guide to Serverless Cloud Co-Location Attacks
University of California, Davis(加州大学戴维斯分校);George Mason University(乔治梅森大学);Rochester Institute of Technology(罗切斯特理工学院)
本研究提出了一种实用指南,揭示无服务器云中共址攻击的构建方法,并提出Double-Dip调度器作为防御策略。
2026-01-13 cs.CR cs.DC
Scale: Deep Reinforcement Learning for Container Scheduling in Serverless Edge Computing
Nottingham Trent University(诺丁汉特伦特大学);Loughborough University(拉夫堡大学);University of Bologna(博洛尼亚大学);TU Wien(维也纳工业大学);University of Oregon(俄勒冈大学)
本文提出Scale框架,通过深度强化学习优化容器调度与资源分配,在动态负载下平衡系统稳定性和性能,实验证明其在决策效率和资源利用率方面优于整数线性规划求解器。
2026-05-15 cs.DC
Joint$λ$: Orchestrating Serverless Workflows on Jointcloud FaaS Systems
State Key Laboratory of Complex & Critical Software Environment, College of Computer Science and Technology, National University of Defense Technology(复杂与关键软件环境国家重点实验室,计算机科学与技术学院,国防科技大学);Xiangjiang Lab, Hunan University Of Technology and Business(湘江实验室,湖南工业大学)
本文提出Joint$λ$,一种分布式运行时系统,用于在多个FaaS系统上协调无服务器工作流,解决跨云工作流的高可用性和故障容忍问题,通过函数侧协调减少通信开销,提升性能和降低成本。
2026-04-04 cs.DC
Faasm: Lightweight Isolation for Efficient Stateful Serverless Computing
无服务器计算非常适合大数据处理,因为它可以快速、廉价地扩展到数千个并行功能。现有的无服务器平台将函数隔离在短暂的无状态容器中,防止它们直接共享内存。这迫使用户重复复制和序列化数据,增加了不必要的性能和资源成本。我们认为需要一种新的轻量级隔离方法,它支持在函数之间直接共享内存,并减少资源开销。我们介绍Faaslets,一个新的高性能无服务器计算的隔离抽象。Faaslet使用WebAssembly提供的软件故障隔离(SFI)隔离已执行函数的内存,同时允许同一地址空间中的函数之间共享内存区域。因此,当函数位于同一台机器上时,Faaslet可以避免昂贵的数据移动。我们的Faaslets运行时Faasm使用标准Linux cgroups隔离其他资源,例如CPU和网络,并为网络,文件系统访问和动态加载提供低级POSIX主机接口。为了减少初始化时间,Faasm从已经初始化的快照中恢复Faaslet。我们将Faasm与标准的基于容器的平台进行了比较,结果表明,在训练机器学习模型时,它以10倍的内存实现了2倍的速度提升;为了服务于机器学习推理,Faasm将吞吐量提高了一倍,并将尾部延迟降低了90%。
2020-06-19 cs.DC
Kernel-as-a-Service: A Serverless Interface to GPUs
无服务器计算使得在可扩展的云资源上部署应用程序比以往任何时候都更容易,同时也为云提供商带来了更高的利用率。虽然这种技术对于CPU和本地DRAM等容易分割的资源效果很好,但它很难整合更昂贵的单片资源,如GPU或其他应用程序加速器。我们不能简单地将GPU放在FaaS平台上,并期望保持无服务器承诺的所有好处。如果我们想最好地利用这些关键资源,我们需要一个更有针对性的方法。在本文中,我们介绍了内核即服务(KaaS),这是一种面向GPU的无服务器接口。在KaaS中,GPU是一等公民,就像任何其他无服务器功能一样被调用。KaaS不像通常那样混合主机和GPU代码,而是运行仅GPU代码的图形,而主机代码运行在传统函数上。KaaS系统负责管理GPU内存并跨整个可用GPU池调度用户内核,而不是依赖于静态分配。这种方法使我们能够更有效地共享昂贵的GPU资源,特别是在云计算等多租户环境中。我们将对KaaS的支持添加到Ray分布式计算框架中,并使用包括基于TVM的深度学习编译器和BLAS库在内的工作负载对其进行评估。我们的研究结果表明,当GPU资源竞争时,KaaS能够将吞吐量提高50倍,延迟降低16倍。
2022-12-15 cs.DC
Silent Failures in Stateless Systems: Rethinking Anomaly Detection for Serverless Computing
本文系统梳理 serverless 无状态、短生命周期与可观测性受限带来的异常检测难题及威胁类型,并提出融合多源数据、实时轻量、隐私保护和边云自适应的下一代检测框架研究议程。
2025-08-29 cs.DC
Servo: Increasing the Scalability of Modifiable Virtual Environments Using Serverless Computing -- Extended Technical Report
针对可修改虚拟环境(MVE)的独特扩展挑战,本研究设计了无服务器后端架构Servo,经AWS和Azure平台实验验证,其单实例支持玩家数达40至140名,显著优于现有方案,且已开源。
2023-04-28 cs.DC
Serverless GPU Architecture for Enterprise HR Analytics: A Production-Scale BDaaS Implementation
Department of Engineering Management and Systems Engineering, George Washington University, USA(工程管理与系统工程系,乔治华盛顿大学);Workday, Inc.(Workday公司);Department of Computer Science and Information Technology, Youngstown State University, USA(计算机科学与信息技术系,扬斯敦州立大学)
本文提出了一种结合无服务器GPU和TabNet的BDaaS架构,实现了高吞吐量、低延迟和合规性的企业人力资源分析解决方案。
2026-01-29 cs.AI cs.DC cs.LG
A Hardware-Software Stack for Serverless Edge Swarms
自主设备的普及和规模越来越大,这使得重新思考其硬件-软件系统堆栈的必要性变得至关重要。HiveMind是第一个群协调平台,它能够以高性能和可扩展的方式在云和边缘资源之间可编程地执行复杂的任务工作流。HiveMind是一个软件-硬件平台,包括用于简化云边缘应用程序可编程性的特定于域的语言,用于自动探索任务放置策略的程序合成工具,利用无服务器计算弹性扩展云资源的集中式控制器,以及用于网络和远程内存访问的可重新配置硬件加速结构。我们在由无人机和机器人汽车组成的两个真正的边缘群上设计和构建完整的端到端HiveMind系统。我们量化了无服务器引入边缘应用程序的机会和挑战,以及集中式和分布式协调之间的权衡。我们表明,与现有的集中式和分散式平台相比,HiveMind实现了更好的性能可预测性和电池效率,同时也降低了网络流量。使用真实系统和经过验证的模拟器,我们表明HiveMind可以扩展到数千个边缘设备,而不会牺牲性能或效率,这表明集中式平台可以同时具有可扩展性和高性能。
2021-12-29 cs.AR cs.DC
Combining Serverless and High-Performance Computing Paradigms to support ML Data-Intensive Applications
University of Virginia(弗吉尼亚大学);Biocomplexity Institute and Initiative, University of Virginia(弗吉尼亚大学生物复杂性研究所与倡议)
本文提出Cylon,一种基于无服务器计算和高性能计算的分布式数据框架,通过改进通信机制提升大规模数据处理效率。
2026-03-05 cs.DC
An approach to provide serverless scientific pipelines within the context of SKA
本文面向 SKA 区域中心网络的分布式数据处理需求,验证并部署 FaaS 平台,集成 CASA 微函数与 wsclean 原生应用,提出可扩展的函数目录及工作流/API 集成方案。
2024-10-29 cs.DC
Ermes: a Stateful Serverless Platform for the Edge-to-Cloud Continuum
Politecnico di Milano(米兰理工大学)
Ermes是一个将有状态管理集成到FaaS的分布式平台,通过联合映射集合与函数及细粒度一致性选择,减少边缘到云连续体中的延迟。
2026-09-17 cs.DC
Cloudburst: Stateful Functions-as-a-Service
功能即服务(FaaS)平台和“无服务器”云计算正变得越来越流行。当前的FaaS产品针对的是执行最少I/O和通信的无状态功能。我们认为,无服务器计算的好处可以扩展到更广泛的应用程序和算法。我们介绍了Cloudburst的设计和实现,Cloudburst是一个有状态的FaaS平台,它提供了熟悉的Python编程和低延迟的可变状态和通信,同时保持了无服务器计算的自动扩展优势。Cloudburst通过利用Anna(一个自动缩放的键值存储)来实现这一点,用于状态共享和覆盖路由,并结合与函数执行器位于同一位置的可变缓存来实现数据本地化。性能缓存一致性成为该架构中的一个关键挑战。为此,Cloudburst提供了一个网格封装状态和分布式会话一致性的新定义和协议的组合。对基准测试和各种应用程序的实证结果表明,Cloudburst使有状态功能变得实用,将当前FaaS平台的状态管理开销降低了几个数量级,同时还提高了无服务器一致性的最新水平。
2020-07-24 cs.DC
Lightweight, Secure and Stateful Serverless Computing with PSL
提出面向 TEE 的有状态 FaaS 框架 PSL,结合 SGX2 动态内存映射、enclave 内 WASM JIT 与分布式机密存储,实现最高 3.7 倍加速。
2024-10-25 cs.CR cs.DC
Transparent Serverless execution of Python multiprocessing applications
访问透明性意味着使用相同的操作访问本地和远程资源。通过透明性,未经修改的单机应用程序可以在分散的计算,存储和内存资源上运行。通过透明性隐藏分布式系统的复杂性将带来巨大的好处,例如在云中灵活的分散资源上扩展本地并行科学应用程序。本文提出了一个性能评估,我们评估的可行性,访问透明度超过国家的最先进的云分解资源的Python多处理应用程序。我们已经将多处理模块与一个实现接口,该实现透明地在无服务器函数上运行进程,并将内存中的数据存储用于共享状态。为了评估透明度,我们在云中运行了四个未经修改的应用程序:Uber Research的演化策略,Baselines-AI的近端策略优化,Pandaral.lel的Arrame和ScikitLearn的Hyperparameter tuning。我们比较了使用我们的库在分散的资源上运行的相同应用程序的执行时间和可扩展性,以及大型VM中的单机Python多处理库。对于相同的资源,尽管远程通信的开销很大,但有效地使用消息传递抽象的应用程序可以获得类似的结果。其他共享内存密集型应用程序由于高远程内存延迟而无法执行。结果表明,Python的多处理库设计是实现透明性的一个推动因素:使用高效的分解抽象的遗留应用程序可以透明地扩展到VM有限的资源之外,以提高并行性,而无需更改底层代码或架构。
2022-11-22 cs.DC
Nexus: Transparent I/O Offloading for High-Density Serverless Computing
NTU Singapore(南洋理工大学);UT Austin(德克萨斯大学奥斯汀分校);AWS(亚马逊云科技)
Nexus通过透明解耦计算与I/O,优化无服务器计算环境中的I/O处理,减少CPU和内存消耗,提升部署密度和启动性能。
2026-04-16 cs.DC cs.OS
Bringing Computation to the data: Interoperable serverless function execution for astrophysical data analysis in the SRCNet
Instituto de Astrofísica de Andalucía(安达卢西亚天体物理学研究所);Square Kilometre Array Observatory(平方公里阵列望远镜观测站);University of Manchester(曼彻斯特大学)
本文提出利用FaaS技术在SRCNet中实现天体数据处理,通过部署微函数提升计算效率,减少延迟和传输开销。
2026-01-12 astro-ph.IM cs.DC
OverSketch: Approximate Matrix Multiplication for the Cloud
我们提出了OverSketch,一种无服务器计算中分布式矩阵乘法的近似算法。OverSketch利用矩阵草图和高性能计算的思想来实现具有成本效益的乘法,该乘法对低成本无服务器架构中普遍存在的故障和离散节点具有弹性。我们对OverSketch的准确性建立了统计保证,并通过使用边界点方法求解大规模线性规划来实证验证我们的结果,并证明AWS Lambda上的计算时间减少了34%。
2019-02-22 cs.DC cs.IT math.IT
Randomized Polar Codes for Anytime Distributed Machine Learning
Stanford University(斯坦福大学)
本文提出一种结合随机草图化与极化码的分布式计算框架,能应对慢节点并支持近似与精确线性运算,通过顺序解码和任意时间估计器实现高效恢复,并在无服务器云上验证了大规模可扩展性。
2023-09-01 cs.DC cs.IT cs.LG
Distributed Edge Analytics in Edge-Fog-Cloud Continuum
针对云中心物联网应用的高延迟、高负载与隐私问题,本文提出边缘-雾-云连续体下的分布式边缘分析,从无服务器数据流水线、分布式计算、联邦学习三个维度结合自研框架验证了该方案的可行性。
2024-07-11 cs.DC
Towards a Function-as-a-Service Choreographic Programming Language: Examples and Applications
本文提出面向无服务器 FaaS 的编排式编程语言 FaaSChal,通过示例说明投影等特性,并利用编排提取函数基础设施关系以自动生成兼顾用户约束与低延迟的策略。
2024-06-13 cs.DC cs.PL
A Double Residual Compression Algorithm for Efficient Distributed Learning
Michigan State University(密歇根州立大学)
大规模机器学习模型通常由并行随机梯度下降算法训练。然而,梯度聚合和模型同步之间的主和工人节点的通信成本成为有效的学习的主要障碍,随着工人的数量和模型的维数增加。在本文中,我们提出DORE,一个双重剩余压缩随机梯度下降算法,以减少超过$95\%$的整体通信,这样的障碍可以大大减轻。我们的理论分析表明,所提出的策略具有优越的收敛性能的强凸和非凸目标函数。实验结果验证了DORE实现了最佳的通信效率,同时保持类似的模型精度和收敛速度相比,开始的最先进的基线。
2019-10-16 cs.DC cs.LG stat.ML
MMLSpark: Unifying Machine Learning Ecosystems at Massive Scales
Microsoft Applied AI(微软应用人工智能部门);Microsoft Azure Machine Learning(微软Azure机器学习部门);Microsoft AI Development Acceleration Program(微软人工智能发展加速项目)
我们将介绍Microsoft机器学习for Apache Spark(MMLSpark),这是一个增强生态系统,可扩展Apache Spark分布式计算库,以解决深度学习、微服务演示、梯度提升、模型可解释性和其他现代计算领域的问题。此外,我们提出了一种名为Spark Serving的新系统,允许用户将任何Apache Spark程序作为由现有Spark集群支持的分布式亚毫秒延迟Web服务运行。所有MMLSpark贡献都具有相同的API,可以在静态,弹性或无服务器集群上跨框架进行简单的组合,并在批处理,流式处理和RESTful Web服务场景中使用。我们通过创建一种能够在没有人类标记数据的情况下学习的深度目标检测方法来展示MMLSpark,并展示其对雪豹保护的有效性。
2019-06-21 cs.AI cs.DC cs.LG
Next-Generation Event-Driven Architectures: Performance, Scalability, and Intelligent Orchestration Across Messaging Frameworks
本文提出首个综合基准框架,评估12个消息系统,并引入AIEO智能编排,实现延迟降低34%、资源利用率提升28%和成本优化42%,为下一代分布式系统设计提供依据。
2025-10-22 cs.DC cs.PF