Performance Analysis and Modeling of Video Transcoding Using Heterogeneous Cloud Services
高质量的视频流,无论是视频点播(VOD)还是直播流,通常都需要转换(即转码)视频流,以匹配观众设备的特性(例如,在空间分辨率或支持的格式方面)。考虑到转码操作的计算成本和视频流传输需求的激增,流传输服务提供商(SSP)变得依赖于云服务来保证其观众的流传输的服务质量(QoS)。云提供商以不同类型的虚拟机(VM)的形式提供异构计算服务,价格也各不相同。有效利用云服务进行视频转码需要对异构云虚拟机上的不同视频转码操作进行详细的性能分析。在这项研究中,第一次,我们提供了一个全面的分析异构云虚拟机上的视频流转码的性能。提供这样的分析对于高效预测异构VM上的转码时间以及任何针对视频转码定制的调度方法的功能至关重要。基于此分析的结果,并考虑到异构云虚拟机的成本差异,在这项研究中,我们还提供了一个模型来量化各种转码任务的每种云虚拟机类型的适用程度。所提供的模型可以提供具有准确的性能和成本权衡的资源(VM)供应方法,以有效地利用云服务进行视频流传输。
2018-09-18 cs.DC
Hyper Heterogeneous Cloud-based IMS Software Architecture: A Proof-of-Concept and Empirical Analysis
由3GPP定义的IP多媒体子系统(IMS)主要由电话供应商在供应商专用硬件上开发和部署。网络功能虚拟化(NFV)技术的最新进展为虚拟化硬件和电话功能弹性铺平了道路。因此,电信供应商已经开始接受云作为部署平台,通常选择特权虚拟化平台。运营商希望在其现有的IT云平台上部署电信功能。实现这种灵活性需要电信供应商采用允许在许多云平台甚至异构云平台上部署的软件架构。我们提出了一个分布式软件架构,使一个单一的软件版本部署在多个云平台,从而允许基于解决方案的部署。我们还提出了一个原型,我们开发的研究这种架构的特点。
2015-09-18 cs.DC
MoA-Off: Adaptive Heterogeneous Modality-Aware Offloading with Edge-Cloud Collaboration for Efficient Multimodal LLM Inference
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Institute of AI for Industries(产业智能研究院);University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室)
MoA-Off 提出异构模态感知模块与自适应边缘-云协同卸载策略,动态调度多模态大语言模型推理负载,在保持准确率的同时降低 30% 以上延迟和 30%-65% 资源开销。
2025-09-21 cs.DC
Performance Issues of Heterogeneous Hadoop Clusters in Cloud Computing
如今,大多数云应用程序处理大量数据以提供所需的结果。云应用程序要处理的数据量的增长速度远远超过计算能力。这种增长需要处理和分析信息的新策略。处理大量数据需要两件事:1)廉价、可靠的存储2)用于分析非结构化和结构化数据的新工具。Hadoop是一个强大的开源软件平台,可以解决这两个问题。当前的Hadoop实现假设集群中的计算节点本质上是同构的。Hadoop在异构集群中缺乏性能,其中节点具有不同的计算能力。在本文中,我们讨论了影响hadoop在异构集群中的性能的问题,并提供了一些如何克服这些瓶颈的指导方针
2012-07-04 cs.DC
RIBBON: Cost-Effective and QoS-Aware Deep Learning Model Inference using a Diverse Pool of Cloud Computing Instances
Northeastern University(东北大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
深度学习模型推理是许多业务和科学发现流程中的关键服务。本文介绍了RIBBON,一种新型的深度学习推理服务系统,它满足两个相互竞争的目标:服务质量(QoS)目标和成本效益。RIBBON背后的关键思想是智能地使用一组不同的云计算实例(异构实例)来满足QoS目标并最大限度地节省成本。RIBBON设计了一种贝叶斯优化驱动的策略,帮助用户在云计算平台上为其模型推理服务需求构建最佳的异构实例集-并且,RIBBON证明了其优于使用同构实例池的推理服务系统的现有方法。RIBBON为不同的学习模型节省了高达16%的推理服务成本,包括新兴的深度学习推荐系统模型和药物发现使能模型。
2022-07-28 cs.DC cs.LG
Tripod of Requirements in Horizontal Heterogeneous Mobile Cloud Computing
移动计算的最近趋势是在移动设备中执行资源密集型应用,而不管需要即将到来的技术的底层资源限制(例如,有限的处理器和能量)。云计算在固定计算机中的繁荣孕育了移动云计算(MCC)技术,该技术旨在除了节省能量之外还增强移动设备的计算和存储能力。然而,与云计算相比,MCC更加异构和不可靠(由于无线连接)。操作系统的变化、数据碎片以及安全和隐私等问题阻碍和减缓了MCC的实施和普及。在本文中,我们将MCC描述为一个水平异构生态系统,并确定了影响移动云解决方案和MCC成功的13个关键指标和方法。我们将它们分为三个主要类别,即普遍性,信任和能源效率,并在MCC中设计了一个三脚架。我们提出的三脚架表明,MCC的成功可以通过减少移动性挑战(例如无缝连接,碎片化),增加信任和提高能源效率来实现。
2012-05-15 cs.DC
EcoKube: Simulating Carbon-Aware Scheduling Policies in Heterogeneous Edge-Cloud Environments
University of Amsterdam(阿姆斯特丹大学)
针对云与边缘计算能源需求增长及碳排放问题,提出EcoKube框架,用于在异构边缘云环境中评估可持续性感知调度策略,含事件驱动模拟器等,通过合成批处理工作负载评估,可在部署前比较策略。
2026-07-13 cs.DC
A Survey on Machine Learning for Geo-Distributed Cloud Data Center Management
Colorado State University(科罗拉多州立大学)
今天的云工作负载通常在分布式环境中进行管理,并在地理上分布的数据中心进行处理。云服务提供商一直在全球范围内分布数据中心,以降低运营成本,同时通过使用智能工作负载和资源管理策略来提高服务质量。软件工作负载和硬件资源的这种大规模和复杂的编排仍然是难以有效解决的问题。研究人员和实践者一直试图通过提出各种云管理技术来解决这个问题。数学优化技术历来用于解决云管理问题。但这些技术难以扩展到地理分布的问题规模,并且在动态异构系统环境中的适用性有限,迫使云服务提供商探索智能数据驱动和基于机器学习(ML)的替代方案。近年来,采用ML方法对复杂、异构和不断变化的分布式云资源和工作负载进行表征、预测、控制和优化受到了广泛关注。在本文中,我们回顾了用于云数据中心管理问题的最新ML技术。我们研究了当前研究中的挑战和问题,重点关注ML云管理,并探索解决这些问题的策略。我们还讨论了最近文献中提出的ML技术的优点和缺点,并对未来的研究方向提出了建议。
2022-05-17 cs.DC cs.LG
Checkpointing as a Service in Heterogeneous Cloud Environments
一个非侵入性的,云不可知的方法是扩展现有的云平台,包括检查点重启能力。大多数云平台目前依赖于每个应用程序来提供其自己的容错。云内部的统一机制有两个目的:(a)直接支持长时间运行的作业,否则需要为每个应用程序提供自定义容错机制;(b)当更高优先级的作业到达时,通过临时交换作业来管理超额订阅的云的管理能力。这种统一方法的一个优点是,它还支持TCP和InfiniBand上的并行和分布式计算,从而允许传统的HPC应用程序利用现有的云基础设施。此外,集成的运行状况监视机制可以检测到长时间运行的作业何时失败或导致异常低的性能(可能是由于资源不足),并主动挂起作业。通过将该实现应用于两个非常不同的云平台:Snooze和OpenStack,展示了与云无关的特性。使用与云无关的架构还首次实现了应用程序从一个云平台迁移到另一个云平台。
2015-03-21 cs.DC
Dominant Resource Fairness in Cloud Computing Systems with Heterogeneous Servers
我们研究了云计算系统中的多资源分配问题,其中资源池是由大量异构服务器构建的,这些服务器代表处理、内存和存储等资源配置空间中的不同点。我们设计了一个多资源分配机制,称为DRFH,概括的主导资源公平性(DRF)的概念,从一个单一的服务器到多个异构服务器。DRFH提供了许多非常理想的性能。使用DRFH,没有用户喜欢另一个用户的分配;没有人可以在不减少其他用户的分配的情况下改善其分配;更重要的是,没有用户有动机谎报其资源需求。作为一个直接的应用程序,我们设计了一个简单的启发式,实现DRFH在现实世界中的系统。由Google集群跟踪驱动的大规模模拟表明,DRFH的性能明显优于传统的基于时隙的调度器,从而提高了资源利用率,大大缩短了作业完成时间。
2013-08-01 cs.DC
Benchmarking Different Application Types across Heterogeneous Cloud Compute Services
本文整理HPCC实验室的异构IaaS云计算基准,覆盖DNN推理、ML推理和视频转码三类应用,为跨云性能与成本优化提供数据集。
2025-01-10 cs.DC
OL4EL: Online Learning for Edge-cloud Collaborative Learning on Heterogeneous Edges with Resource Constraints
Xi’an Jiaotong University(西安交通大学);Imperial College London(帝国理工学院)
网络边缘的分布式机器学习(ML)是一种很有前途的范例,可以保护网络带宽和数据提供者的隐私。然而,边缘服务器(或边缘)上的异构和有限的计算和通信资源对分布式ML提出了巨大的挑战,并形成了边缘学习(即边缘-云协作机器学习)的新范式。在这篇文章中,我们提出了一个新的框架的“学习学习”的有效边缘学习(EL)的异构边缘资源约束。我们首先将协作策略的动态确定(即在协作学习过程中在边缘服务器上分配局部迭代和在云上分配全局聚合)建模为在线优化问题,以实现EL性能和边缘服务器资源消耗之间的权衡。然后,我们提出了一个在线学习的EL(OL 4 EL)框架的基础上,有限的多臂土匪模型。OL 4 EL支持同步和异步学习模式,可用于监督和无监督学习任务。为了评估OL 4 EL的性能,我们进行了真实世界的测试平台实验和基于Docker容器的广泛模拟,其中支持向量机和K-means都被视为用例。实验结果表明,OL 4 EL在学习性能和资源消耗之间的权衡方面明显优于最先进的EL和其他协作ML方法。
2020-04-23 cs.DC cs.LG stat.ML
Cloud4IoT: a heterogeneous, distributed and autonomic cloud platform for the IoT
我们推出了Cloud4IoT,这是一个为物联网支持软件组件和数据密集型应用程序提供自动部署、编排和动态配置的平台,用于数据处理和分析,从而实现新传感器对象的即插即用集成和动态工作负载可扩展性。Cloud4IoT在物联网环境中实现了基础设施即代码的概念:它为物联网运营提供了云服务的灵活性和弹性。此外,它将传统的集中式云架构转变为物联网技术所要求的更加分布式和分散式的计算模式,弥合了云计算和物联网生态系统之间的差距。因此,Cloud4IoT扮演的角色类似于Fog Computing,Cloudlets或Mobile Edge Cloud等解决方案所涵盖的角色。Cloud4IoThs的分层架构托管一个中央云平台和多个远程边缘云模块,支持专用设备,即物联网网关,通过这些网关,新的传感器对象可以访问平台。总体而言,该平台旨在支持基于物联网和数据密集型应用程序可能对低延迟,有限的可用带宽或数据本地性提出特定要求的系统。Cloud4IoT基于多种开源技术构建,用于物联网标准、协议和服务的容器化和实现。我们提出了该平台的实现,并在两个不同的用例中演示。
2018-10-03 cs.DC
Hydra: Brokering Cloud and HPC Resources to Support the Execution of Heterogeneous Workloads at Scale
Hydra是一个跨云与HPC的代理系统,可并发获取异构资源并管理异构工作流执行,通过四项贡献(设计、实现、实验表征和海平面工作流)验证了其可扩展性。
2024-07-16 cs.DC cs.SE
Global Optimization of Data Pipelines in Heterogeneous Cloud Environments
云上的现代生产数据处理和机器学习管道是许多基于云的公司的关键组件。这些管道通常由复杂的工作流组成,这些工作流由有向无环图(DAG)表示。云环境对这些工作流很有吸引力,因为它具有异构实例和价格的广泛选择,可以为不同的性价比需求提供灵活性。然而,这种灵活性也导致选择正确的资源配置的复杂性(例如,实例类型、资源需求),同时使用选定的资源调度任务,以达到最佳的端到端性能和成本。这两个决策往往是相互依赖的,导致NP-难调度优化瓶颈。现有的解决方案只关注这两个问题中的任何一个,而忽略了端到端优化的共同影响。我们提出了AGORA,一个调度器,同时考虑任务级资源分配和执行DAG工作流作为一个整体,在异构云环境。AGORA首先(1)研究先前运行的任务的特征,并给出资源配置的预测,并且(2)自动为整个工作流找到最佳配置及其相应的调度,具有成本性能目标。我们在异构的Amazon Web Services(AWS)云环境中评估AGORA,其中多租户工作流由Airflow提供服务,与最先进的服务器相比,性能提高了45%,成本降低了77%。此外,我们将AGORA应用于阿里巴巴的实际生产跟踪,并显示成本降低了65%,DAG完成时间缩短了57%。
2022-02-11 cs.DC
FogMQ: A Message Broker System for Enabling Distributed, Internet-Scale IoT Applications over Heterogeneous Cloud Platforms
由于大量地理上分布的设备通过消息代理进行通信,传统消息代理会出现过度的尾端到端延迟。另一方面,无代理消息传送系统虽然确保低延迟,但高度依赖于直接设备到设备(D2D)通信技术的限制,并且不能很好地扩展,因为大量资源有限的设备交换消息。在本文中,我们提出了FogMQ,一个基于云的消息代理系统,克服了传统系统的局限性,使自主发现,自我部署,并在异构云平台上的消息代理的在线迁移。对于每个设备,FogMQ都提供了一个高容量的设备克隆服务,可以订阅设备消息。克隆有助于在资源丰富的云计算节点中进行近边缘数据分析。FogMQ中的克隆应用了Flock,这是一种模拟群集行为的算法,允许克隆以分布式方式动态选择并自主迁移到不同的异构云平台。
2016-10-03 cs.DC cs.NI
PhoenixCloud: Provisioning Resources for Heterogeneous Cloud Workloads
随着越来越多的服务提供商选择云平台,资源提供商需要为不同场景下的异构工作负载提供资源和支持运行时环境(RE)。以前的工作未能解决这个问题,在几个方面:(1)它没有注意到不同的RE要求,并没有使创建协调的RE的需求;(2)很少的工作调查协调的资源供应异构的工作负载。在本文中,我们的贡献有三个方面:(1)我们提出了一个表达不同RE需求的RE协议,并构建了一个创新的系统PhoenixCloud,使资源提供商能够根据RE协议按需创建RE;(2)我们提出了两个协调的资源提供解决方案,用于两个典型的云场景中的异构工作负载:首先,大型组织为两个异构工作负载运行私有云;其次,运行异构工作负载的大型组织或两个服务提供商恢复到公共云;以及(3)在实验中进行了全面评估。对于并行批处理作业和Web服务的典型负载跟踪,我们的实验表明:a)在第一个云场景中,当吞吐量与专用集群系统的吞吐量基本相同时,我们的解决方案将集群的配置大小减少了约40%; b)在第二种情况下,我们的解决方案不仅减少了总资源消耗,而且峰值资源消耗最大为EC2 + RightScale方案的31%。
2010-03-31 cs.DC cs.PF
Cost-Efficient and Robust On-Demand Video Transcoding Using Heterogeneous Cloud Services
视频流通常必须被转码以匹配观看者的设备的特征。流提供商必须存储给定视频的许多转码版本以服务于各种显示器。鉴于观众对视频流的访问模式遵循长尾分布的事实,对于具有低访问速率的视频流,我们建议使用云计算服务以按需方式对其进行转码。利用云服务进行按需视频转码的挑战是为观众保持强大的QoS,并为流媒体服务提供商保持成本效益。为了应对这一挑战,我们提出了基于云的视频流服务(CVS2)架构。它包括一个QoS感知的调度,映射转码任务的虚拟机,考虑的亲和力与分配的异构虚拟机的转码任务。为了在存在变化的流请求的情况下保持鲁棒性,该架构包括具有成本效益的VM ProvisionTM。该组件提供了一个可自配置的异构VM集群。集群被动态地重新配置,以保持与到达的工作负载的最大关联。在不同的工作负载条件下获得的结果表明,CVS2架构可以为观众保持强大的QoS,同时减少流媒体服务提供商的成本高达85%
2017-11-03 cs.DC
Scientific Workflows in Heterogeneous Edge-Cloud Computing: A Data Placement Strategy Based on Reinforcement learning
与云计算或其他传统的分布式计算环境相比,异构边缘-云计算范例可以提供部署科学工作流的最佳解决方案。由于科学数据集的大小不同以及其中一些数据集的隐私问题,因此必须找到一种数据放置策略,以最大限度地减少数据传输时间。一些最先进的数据放置策略结合边缘计算和云计算来分发科学数据集。然而,在工作流执行期间,将新生成的数据集动态分发到适当的数据中心并退出已使用的数据集仍然是一个挑战。为了应对这一挑战,本研究不仅构建了一个数据放置模型,其中包括共享数据集内的个人和跨不同地理区域的多个工作流之间,但也提出了一个数据放置策略(DYM-RL-DPS)的基础上的两个阶段的算法。首先,在工作流的构建阶段,我们使用差分进化的离散粒子群优化算法来预先分配初始数据集到适当的调度中心。然后,我们将动态数据集分布问题重新表示为马尔可夫决策过程,并提供了一种基于强化学习的方法来学习科学工作流运行时阶段的最优策略。通过模拟异构边缘云计算环境,设计了综合实验来验证DYM-RL-DPS的优越性。与其他策略相比,我们的策略可以有效地减少数据传输时间。
2022-05-14 cs.DC
10Cache: Heterogeneous Resource-Aware Tensor Caching and Migration for LLM Training
Kuwait University, Kuwait(科威特大学)
针对云端LLM训练的内存瓶颈与现有卸载方案的缺陷,提出异构资源感知的张量缓存迁移系统10Cache,通过智能协调多层存储、优化预取与内存分配,显著提升训练速度与资源利用率。
2025-11-18 cs.DC cs.LG
Adaptive Edge Process Migration for IoT in Heterogeneous Cloud-Fog-Edge Computing Environment
以云为中心的物联网管理系统的延迟问题激发了雾和边缘计算(FEC)架构,该架构将任务从云分发到边缘资源,如路由器,交换机或物联网设备本身。具体来说,物联网系统的移动传感器也可以为FEC执行某些任务。考虑到当移动传感器无法继续其任务时从移动传感器到其他资源的动态过程迁移的需要,IoT系统需要提供允许移动传感器在运行时将其任务动态地迁移到其他FEC资源的灵活机制。然而,它提出了一个问题,在什么是最佳的方法时,移动传感器打算将其任务迁移到多个异构FEC资源?为了解决这个问题,作者提出了REM方案,这是能够优化进程迁移决策。此外,为了实现这样的系统并验证REM方案,作者开发了EPIOT主机框架。最后,作者实现了REM方案和框架,并进行了评估,结果表明,REM方案是能够提高在异构FEC环境中的进程迁移的性能。
2018-11-27 cs.DC
Optimal Data Placement for Data-Sharing Scientific Workflows in Heterogeneous Edge-Cloud Computing Environments
与传统的分布式计算或云计算环境相比,异构边缘-云计算范例可以为部署科学工作流提供更优化的方向。由于科学数据集的大小不一,且其中一些数据集必须保持私密性,因此寻找一种既能减少数据传输又能降低放置成本的数据放置策略仍然是一个难题。针对这一问题,结合边缘计算和云计算的优势,构建了一个数据放置模型,通过智能计算来平衡数据传输时间和数据放置成本。该模型解决的最困难的研究挑战是考虑在这种混合计算环境中的许多约束,其中包括在不同地理区域的单个和多个工作流之间的共享数据集。根据所建立的模型,提出了一种新的数据布局策略DE-DPSO-DPS,该策略采用差分进化离散粒子群优化算法(DE-DPSO-DPA)对这些科学数据集进行布局。该策略不仅考虑了边缘微处理器的数量和存储容量、不同微处理器之间的带宽以及私有数据集的比例等特性,还分析了算法在工作流执行过程中的性能。在模拟的异构边缘云计算环境中进行了综合实验,结果表明,与传统的数据共享科学工作流策略相比,该数据放置策略能够有效地减少数据传输时间和放置成本。
2021-04-13 cs.DC
Armada: A Robust Latency-Sensitive Edge Cloud in Heterogeneous Edge-Dense Environments
边缘计算通过利用数据邻近性并将延迟敏感和计算密集型工作负载卸载到附近的边缘服务器来实现大量新兴边缘应用程序。然而,由于有限的接入点边缘站点和受限的弹性,在广域环境中大规模支持边缘应用用户带来了挑战。在本文中,我们介绍了Armada:一个密集分布的边缘云基础设施,它探索了在异构环境中使用专用和志愿者资源为地理分布的用户提供服务。我们描述了轻量级的Armada架构和优化技术,包括性能感知的边缘选择,边缘上的自动扩展和负载均衡,容错和原位数据访问。我们在真实世界的志愿者环境和模拟平台上评估了Armada,以展示常见的边缘应用程序,即实时目标检测和人脸识别,可以轻松地部署在Armada上,以低延迟的方式为分布式用户提供大规模服务。
2021-11-23 cs.DC
Analyzing the Performance of Smart Industry 4.0 Applications on Cloud Computing Systems
University of Louisiana at Lafayette(路易斯安那大学拉斐特分校);California State University, San Marcos(加州州立大学圣马科斯分校)
基于云的深度神经网络(DNN)应用程序可以进行延迟敏感的推理,正在成为工业4.0不可或缺的一部分。由于云计算环境固有的多租户和资源异构性,基于DNN的应用程序的推理时间是随机的。这种随机性,如果不捕获,可能会导致低服务质量(QoS),甚至在关键部门,如石油和天然气行业的灾难。为了使工业4.0更加强大,解决方案架构师和研究人员需要了解基于DNN的应用程序的行为,并捕获其推理时间中存在的随机性。因此,在本研究中,我们从两个角度对推理时间进行了描述性分析。首先,我们执行以应用程序为中心的分析,并对Amazon和Chameleon云中四个截然不同的DNN应用程序的执行时间进行统计建模。其次,我们采取以资源为中心的方法,并分析基于速率的指标,以百万指令每秒(MIPS)的形式在云中的异构机器。通过Jackknife和Bootstrap重采样方法实现的这种非参数建模为异构云机提供了MIPS的置信区间。这项研究的结果可以帮助研究人员和云解决方案架构师开发解决方案,这些解决方案对云中DNN应用程序推理时间的随机性具有鲁棒性,并且可以为用户提供更高的QoS并避免意外结果。
2020-12-11 cs.DC cs.LG
Decentralized utility- and locality-aware replication for heterogeneous DHT-based P2P cloud storage systems
作为一种分布式哈希表(DHT),Skip Graph路由覆盖被广泛应用于包括P2P云存储在内的多个P2P服务中。适用于基于Skip Graph的P2P云存储的完全分散式复制算法在副本可用性和响应时间方面都未能提高系统的性能。此外,他们假设系统在节点的延迟分布、可用性行为、带宽或存储方面是同质的。在本文中,我们提出了金字塔,这是第一个完全分散的实用程序和本地感知的复制方法跳过基于图的P2P云存储系统。Pyramid认为节点在延迟分布、可用性行为、带宽和存储方面是异构的。金字塔是实用性感知的,因为它最大化每个时隙的副本的平均可用带宽(例如,每小时)。此外,Pyramid是本地感知的,因为它最大限度地减少了节点与其最近副本之间的平均延迟。我们的模拟结果表明,相比于最先进的解决方案,无论是在效用意识,或在本地意识,我们提出的金字塔提高了效用和本地意识的副本与增益约1.2和1.1倍,分别在同一时间。
2019-07-28 cs.DC
Seeing Shapes in Clouds: On the Performance-Cost trade-off for Heterogeneous Infrastructure-as-a-Service
在不久的将来,FPGA将按小时提供,但是这种新的基础设施即服务(IaaS)使用模式既带来了机遇,也带来了挑战:机会是程序员可以在比以前更短的时间内以更大的规模交换资源以获得性能。面临的挑战是寻找和遍历异构IaaS的权衡,以确保增加的资源导致最大可能的性能提高。这种权衡是帕累托最优的。异构资源集群的帕累托最优权衡可以通过解决多个多目标优化问题来找到,从而将任务最优分配到可用平台。解决这些优化程序可以使用简单的启发式方法或正式的混合线性规划(MILP)技术。当在多核CPU、GPU和FPGA平台的异构集群上使用蒙特卡洛算法对128个金融期权进行定价时,MILP方法产生的权衡比启发式方法快110%,并且便宜50%以上。这些结果表明,异构IaaS的高质量性能资源权衡最好通过正式的优化方法来实现。
2015-08-27 cs.DC
Leveraging Neural Graph Compilers in Machine Learning Research for Edge-Cloud Systems
Coovally Barcelona, Spain(巴塞罗那Coovally公司);Distributed Systems Group, TU Wien(维也纳技术大学分布式系统组);ICREA Barcelona, Spain(巴塞罗那ICREA)
该研究对跨异构硬件平台的神经网络图编译器全面评估,揭示其性能依赖神经架构和批量大小,通过实验确定特定供应商编译器优势,引入新指标,纳入编译器效应弥合学术与实际部署差距。
2026-07-08 cs.DC cs.LG
Cloud Services Enable Efficient AI-Guided Simulation Workflows across Heterogeneous Resources
Argonne National Laboratory(阿贡国家实验室);University of Chicago(芝加哥大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文提出利用云托管管理服务解决跨异构资源身份验证、FaaS调用与数据传输问题,并通过按引用传数据和可配置引导算法隐藏延迟,实现与直连系统相当的性能,推动异构资源在计算科学中的常规应用。
2023-03-15 cs.AI cs.DC
Adaptive AI Task Partitioning and Safe Offloading in Heterogeneous Edge-Cloud Continuum
Anonymous Institute(匿名机构);Department of Computer and Systems Sciences(计算机与系统科学系)
本文提出一种动态分区框架,通过实时评估环境变化优化神经网络层分配,降低能耗和端到端延迟。
2026-08-19 cs.AI cs.DC cs.LG
SGX-Aware Container Orchestration for Heterogeneous Clusters
容器正在成为在云中打包和部署应用程序和微服务的事实标准。一些云提供商(例如,Amazon、Google、Microsoft)开始通过在其云产品中集成容器编排工具,在其基础设施上提供原生支持。与此同时,容器为应用程序提供的安全保证仍然值得怀疑。客户仍然需要在数据和代码完整性方面信任他们的云提供商。英特尔最近将Software Guard Extensions(SGX)引入大众市场,为开发人员提供了一种替代方案,他们现在可以在硬件安全的环境中执行代码,而无需信任云提供商。本文提供了有关Kubernetes(一种行业标准容器编排器)内部SGX支持的见解。我们在整个堆栈中展示了我们的贡献,以支持启用SGX的容器的执行。我们提供的调度程序和它的监控框架,底层的操作系统支持和所需的内核驱动程序扩展的体系结构的细节。我们使用真实世界的Google Borg痕迹在私有集群上评估我们的完整实现。我们的实验突出了在云中部署支持SGX的微服务时会遇到的性能权衡。
2018-07-27 cs.DC
YUHENG-OS: A Cloud-Native Space Cluster Operating System
本文提出YUHENG-OS,一种专为云原生空间集群设计的操作系统,通过统一抽象和调度异构空间资源,提升任务完成率达98%。
2026-03-30 cs.DC cs.NI
S2CE: A Hybrid Cloud and Edge Orchestrator for Mining Exascale Distributed Streams
物联网和其他设备等分布式和异构节点生成的数据量、速度、种类和准确性的爆炸性增长,不断挑战着大数据处理平台和挖掘技术的最新水平。因此,它揭示了迫切需要解决这种预期的艾级数据生成和从这些数据中提取见解之间不断增长的差距。为了满足这一需求,本文提出了Stream to Cloud & Edge(S2CE),这是同类产品中第一个优化的多云和边缘编排器,易于配置,可扩展和可扩展。S2CE将支持在混合云和边缘环境上运行的大量异构数据流的机器和深度学习,同时提供实用和可扩展处理的必要功能:数据融合和预处理,采样和合成流生成,云和边缘智能资源管理以及分布式处理。
2020-07-02 cs.DC
HgPCN: A Heterogeneous Architecture for E2E Embedded Point Cloud Inference
针对嵌入式边缘端点云工作负载端到端处理实时性不足的问题,提出HgPCN异构架构,通过八叉树索引采样和基于体素扩展聚合的定制单元分别优化预处理下采样与推理数据结构化瓶颈,实现实时点云推理。
2025-01-14 cs.AR cs.DC
ThunderServe: High-performance and Cost-efficient LLM Serving in Cloud Environments
Department of Computer Science, Peking University(北京大学计算机系)
本文提出面向异构云环境的LLM服务系统ThunderServe,通过优化部署调度和轻量级重调度机制,在相同预算下显著提升吞吐量并降低延迟,证明云服务更具成本效益。
2025-11-06 cs.DC
Workload Scheduling on heterogeneous Mobile Edge Cloud in 5G networks to Minimize SLA Violation
智能设备已成为我们生活中不可或缺的一部分,并在几乎所有领域获得越来越多的适用性。诸如增强现实(AR)、自动驾驶和在线游戏等延迟感知应用需要更多的资源,例如网络带宽和计算能力。由于传统的移动网络无法满足所需的带宽和延迟,移动边缘云(MEC)应运而生,在5G网络上为用户提供云计算能力。在本文中,我们考虑了一个异构MEC网络与众多的移动用户,他们的任务发送到MEC服务器。每个任务都有一个可接受的最大响应时间。用户的非均匀分布使得一些MEC服务器成为热点,无法容纳更多用户。一种解决方案是在MEC服务器之间重新定位任务,称为“任务迁移”。我们制定这个问题的任务调度作为一个混合整数非线性优化问题,以尽量减少服务水平协议(SLA)的违规行为。由于解决这个优化问题具有较高的计算复杂性,我们引入了一个贪心算法,称为MESA,迁移启用调度算法,它达到一个接近最优的解决方案迅速。实验表明,在SLA违反方面,MESA与最优选择的平均距离和最差距离分别只有8%和11%。此外,与将任务分配给MEC服务器而不进行迁移相比,支持迁移的解决方案可以将SLA违规减少约30%。
2020-03-21 cs.DC cs.NI
Energy-efficient workflow scheduling based on workflow structures under deadline and budget constraints in the cloud
利用云环境部署科学工作流应用程序是科学界的一个新兴趋势。在这个领域中,主要问题是工作流的调度,这被称为NP完全问题。除了遵守用户定义的截止日期和预算外,能源消耗是云提供商在实施调度策略时的主要关注点。所使用的虚拟机(VM)的类型和数量是处理这些问题的决定性因素,并且它们的确定受到工作流结构的高度影响。在本文中,我们提出了两个工作流调度算法,利用工作流的结构特性。第一种算法被称为基于结构的多目标工作流调度与最优实例类型(SMWSO)。它引入了一种新的方法来确定最佳实例类型以及要配置的VM的最佳数量。我们还考虑在基于结构的多目标工作流调度与异构实例类型(SMWSH)中使用异构虚拟机,以突出该算法在异构环境中的优势。仿真结果表明,我们的建议产生更好的能源效率在80%的工作流/工作负载的情况下,并节省超过50%的整体能源相比,最近的国家的最先进的算法。
2022-01-14 cs.DC
A Self-Adaptive Extensible CEP framework for the Cloud-Edge Continuum
University of Potsdam(波茨坦大学)
针对云边连续体上CEP系统的异构节点负载失衡问题,提出带负载调节功能的自适应可扩展CEP框架,可使过载算子持续运行,便于其部署于异构或资源受限环境。
2026-08-10 cs.DC
ReAssigner: A Plug-and-Play Virtual Machine Scheduling Intensifier for Heterogeneous Requests
East China Normal University(华东师范大学);Huawei Cloud Computing Technologies Co.(华为云计算技术有限公司)
随着云计算的快速发展,虚拟机调度已成为云计算界最重要但最具挑战性的问题之一,特别是对于实际的异构请求序列。通过分析请求异构性对一些流行的启发式调度算法的影响,可以发现现有的调度算法不能正确和有效地处理请求异构性。在本文中,一个即插即用的虚拟机调度增强器,称为资源分配器(ReAssigner),提出了提高调度效率的任何给定的调度异构请求。ReAssigner的核心思想是为物理资源预先分配角色,让相同角色的资源形成一个虚拟集群来处理同构请求。ReAssigner可以通过将调度空间限制在虚拟集群中来与任意的集群管理器进行协作。通过对华为云真实数据集的测试,与现有的调度方法相比,该算法的调度性能得到了显著提升。
2022-11-29 cs.AI cs.DC
A Cloud-Edge Continuum Experimental Methodology Applied to a 5G Core Study
人们越来越有兴趣将传统的云原生技术(如Kubernetes)扩展到数据中心之外,以在边缘和边缘之间建立一个连续体。然而,传统的资源编排算法在这种情况下并不奏效,而且在没有实际构建的情况下,也很难测试异构云基础设施的应用程序。为了解决这些挑战,我们提出了一种新的方法来帮助部署,测试和分析异构云环境中微服务放置和调度的效果。通过这种方法,我们可以根据微服务在云边缘连续体中的位置来调查部署场景和监控指标的任何组合。边缘设备可能会被模拟,但当我们使用Kubernetes时,任何可以连接到Kubernetes集群的设备都可以使用。为了展示我们的方法,我们将其应用于开源5G核心实现的网络功能布局问题。
2023-01-26 cs.DC
Serving and Optimizing Machine Learning Workflows on Heterogeneous Infrastructures
Duke University(杜克大学);Microsoft Research(微软研究院)
随着智能设备和物联网的无处不在的部署,用于机器学习推理的数据源越来越多地移动到网络边缘。现有的机器学习推理平台通常假设同构基础设施,并且不考虑更复杂和分层的计算基础设施,包括边缘设备、本地集线器、边缘计算中心和云计算中心。另一方面,最近的AutoML努力为异构环境的模型压缩、修剪和量化提供了可行的解决方案;对于机器学习模型,现在我们可以很容易地找到甚至生成一系列在准确性和效率之间具有不同权衡的模型。我们设计并实现了JellyBean,一个在异构基础设施上服务和优化机器学习推理工作流的系统。给定服务级别目标(例如,吞吐量、准确性),JellyBean选择符合准确性目标的最具成本效益的模型,并决定如何在不同的基础架构层中部署它们。评估表明,与最先进的模型选择和工人分配解决方案相比,JellyBean将视觉问答的总服务成本降低了58%,将NVIDIA AI城市挑战赛的车辆跟踪成本降低了36%。JellyBean还优于先前的ML服务系统(例如,Spark on the Cloud),服务成本高达5倍。
2022-08-03 cs.DB cs.DC cs.LG
Orchestrating the Execution of Serverless Functions in Hybrid Clouds
针对无服务器批处理流水线的截止期限保障需求,提出混合云调度器HCS,可在异构基础设施上自动编排执行,兼顾成本控制与截止期限达标率,经实验验证有效。
2024-10-09 cs.DC
An Ontology based System for Cloud Infrastructure Services Discovery
云基础设施服务格局稳步发展,让用户陷入选择的痛苦之中。因此,由于云服务的不同服务描述、非标准化的命名约定以及云服务的异构类型和特征,云服务识别和发现仍然是一个难题。在本文中,我们提出了一个基于OWL的本体,云计算本体(CoCoOn),定义功能和非功能的概念,属性和关系的基础设施服务。我们还提出了一个系统…
2012-12-01 cs.DC
Investigating Decision Support Techniques for Automating Cloud Service Selection
云基础设施服务的指南针稳步前进,让用户陷入选择的痛苦之中。为了能够从大量的可能性中选择最佳的服务组合,用户必须考虑复杂的依赖关系和异构的标准集。因此,我们提出了一个博士论文的建议,调查智能决策支持系统选择基于云的基础设施服务(如存储,网络,CPU)。
2012-10-10 cs.DC
Hybrid Learning and Optimization-Based Dynamic Scheduling for DL Workloads on Heterogeneous GPU Clusters
Kuwait University, Kuwait(科威特大学);Northwestern Polytechnical University, China(西北工业大学)
RLTune通过强化学习与优化方法实现异构GPU集群上深度学习工作负载的高效动态调度,提升资源利用率并减少延迟。
2025-12-11 cs.AI cs.DC cs.LG
SimDC: A High-Fidelity Device Simulation Platform for Device-Cloud Collaborative Computing
本文提出高保真设备仿真平台SimDC,通过集成高性能服务器与物理手机的混合异构资源,解决了现有仿真器忽略真实设备差异与环境行为的问题,支持低成本功能测试与精确响应捕获,实验证明其有效性与应用潜力。
2025-04-02 cs.DC
CloudPSS: A High-Performance Power System Simulator Based on Cloud Computing
随着电力系统仿真计算量的不断增加,对高性能、低成本的电力系统仿真器提出了更高的要求。设计了一种基于云计算的电力系统仿真器CloudPSS。基于开放的服务集成框架,自主开发了一个具有自动代码生成器的电磁暂态仿真器,以加速云中异构设备(如CPU和GPU)的电磁暂态仿真。测试结果表明,CloudPSS可以实现大规模仿真任务和多场景任务的显着加速。而且,得益于云计算资源的分时共享,可以大大降低计算成本。
2020-12-23 cs.DC
Per-Server Dominant-Share Fairness (PS-DSF): A Multi-Resource Fair Allocation Mechanism for Heterogeneous Servers
云计算平台的用户对服务器(物理机或虚拟机)上的多个资源提出不同类型的需求。除了它们的资源容量的差异之外,服务器在它们服务用户的能力方面可能是另外异构的-某些用户的任务可能仅由服务器的子集服务。我们确定了现有的多资源公平分配机制的重要缺点-主导资源公平性(DRF)及其后续工作-在这样的环境中使用时。我们开发了一种新的公平分配机制,称为每服务器主导份额公平性(PS-DSF),我们表明它提供了DRF在单个“资源池”(即,如果所有服务器的资源被一起汇集到一个假设的服务器中)。我们通过仿真来评估PS-DSF的性能。我们的评估表明,增强效率的PS-DSF相比,现有的分配机制。我们认为我们提出的分配机制是如何适用于云计算网络,特别是大规模的数据中心。
2017-02-21 cs.DC
LaissezCloud: Continuous Resource Renegotiation for the Public Cloud
MPI-SWS(马克斯·普朗克计算机科学研究所)
LaissezCloud通过持续资源重新协商机制,有效缓解了公共云中异构集群资源分配的性能退化问题,相比按需和竞价实例提升了8-23%的性能,并支持至少10000节点规模的集群。
2026-04-24 cs.DC
Towards an Adaptive Runtime System for Cloud-Native HPC
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Thomas J. Watson Research Center(IBM 托马斯·J·沃森研究中心)
本文提出基于Charm++的自适应运行时系统,通过异步消息驱动模型解决云环境下的HPC应用效率与容错问题,实现高效、可靠且经济的云上性能。
2026-03-15 cs.DC
Demystifying Cost-Efficiency in LLM Serving over Heterogeneous GPUs
本文研究异构GPU上LLM推理服务的成本效率问题,通过基准测试发现GPU组合、部署配置与负载分配可显著优化成本,并提出基于混合整数线性规划的调度算法,在多种场景下优于同构和异构基线。
2025-06-05 cs.DC
Predictive Autoscaling in Cloud-Native and Federated Cloud-Edge Computing Environments: A Taxonomy and Future Directions
The University of Melbourne(墨尔本大学);Banaras Hindu University(贝拿勒斯印度教大学)
本文系统综述了云原生与联邦云边环境中的预测性自动缩放技术,提出了基于触发器、目标、预测模型和评估指标的分类法,并探讨了CRD、MAPE控制环及联邦学习等机制,最后指出了未来研究方向。
2026-06-05 cs.DC
An Auction-driven Self-organizing Cloud Delivery Model
三种传统的云交付模型-- IaaS、PaaS和SaaS --通过隐藏其原始功能并迫使我们通过一组受限的操作间接使用它们来限制对云资源的访问。我们是否可以引入一种新的交付模式,同时支持改进的安全性,更高程度的保证,为硬云资源管理问题找到相对简单的解决方案,消除与资源虚拟化相关的一些低效率,允许云的云组装,最后但并非最不重要的是,最大限度地减少互操作性标准的数量?我们勾画了一个自组织架构的非常大的计算云组成的众核处理器和异构的协处理器。我们将讨论自组织将如何解决上述每一个挑战。该方法是{ \em投标中心}。异构云资源的系统被动态地和可替换地配置为投标以满足在高级任务或服务规范中标识的需求。当任务完成或服务退役时,资源将被释放以供后续重用。我们的方法模仿了个体研究人员遵循的过程,这些研究人员响应资助机构发布的提案呼吁,将自己组织成各种规模和专业的团体。如果投标成功,则该小组执行拟议的工作并发布结果。工作完成后,小组中的各个研究人员会散去,可能会加入其他小组或提交个人投标以响应其他提案。类似的协议在其他人类活动中也很常见,例如采购管理。
2013-12-10 cs.DC
Efficient Resources Distribution for an Ephemeral Cloud/Edge continuum
本文介绍了Ephemeral Cloud/Edge Continuum愿景背后的想法和概念,这是一种云/边缘计算环境,可以利用广泛分布的,动态的和上下文感知的资源集。Ephemeral Continuum满足了将大量异构设备(如今普遍嵌入人类环境)与云提供商联合会和位于边缘的资源相结合的需求。Ephemeral Continuum的目标是实现计算,数据和网络资源的上下文感知和个性化联合,能够在高度分布式部署中管理其异构性。
2021-07-15 cs.DC
DySCo: Dynamic Sharding for Collaborative Edge-Cloud LLM Inference with Depth-Synchronized Batching
University of Amsterdam(阿姆斯特丹大学);TU Wien(维也纳工业大学)
DySCo通过动态分片和深度同步批处理,解决边缘-云LLM推理中的空闲间隙和异构批处理低效问题,显著提升吞吐量并降低延迟。
2026-10-07 cs.AI cs.DC cs.LG