Uncovering the Perfect Place: Optimising Workflow Engine Deployment in the Cloud
在编排高度分布式和数据密集型的Web服务工作流时,编排引擎的地理位置会极大地影响工作流的整体性能。我们提出CloudForecast:一种Web服务框架和分析工具,在给定工作流规范的情况下,计算最佳Amazon EC2 Cloud区域,以自动部署编排引擎并执行工作流。我们使用Amazon Cloud区域和工作流节点之间的工作流地理距离、网络延迟和HTTP往返时间来查找云区域的排名。这个总体排名预测了工作流编排引擎应该部署在哪里,以减少总体执行时间。我们的实验结果表明,我们提出的优化策略,根据特定的工作流程,可以加快执行时间平均82.25%相比,本地执行。
2014-10-22 cs.DC
Optimal Deployment of Geographically Distributed Workflow Engines on the Cloud
在编排Web服务工作流时,编排引擎的地理位置会极大地影响工作流性能。数据可能必须跨越很长的地理距离进行传输,这反过来又增加了执行时间并降低了工作流的整体性能。在本文中,我们提出了一个框架,给定一个基于DAG的工作流规范,计算最佳的Amazon EC2云区域来部署编排引擎和执行工作流。该框架采用了一个约束模型,解决了工作流部署问题,这是使用自动约束建模系统生成的。通过执行代表科学工作量的不同示例工作流来评估框架的可行性。实验结果表明,该框架减少了工作流的执行时间,并提供了1.3倍-2.5倍的速度超过集中式的方法。
2014-10-30 cs.DC
Proposal of Optimum Application Deployment Technology for Heterogeneous IaaS Cloud
近来,已经增加了由异构硬件组成的云系统以利用进步的硬件能力。然而,在异构硬件上编写应用程序以实现高性能需要很多技术技巧,对用户来说是困难的。因此,为了轻松实现高性能,本文提出了一种PaaS,该PaaS在用户将应用程序部署到云时自动分析应用程序逻辑并将计算卸载到GPU和FPGA。
2016-11-29 cs.DC
PhoenixCloud: Provisioning Resources for Heterogeneous Workloads in Cloud Computing
随着越来越多的服务提供商选择由第三方资源提供商提供的云平台,资源提供商需要为不同云场景下的异构工作负载提供资源。考虑到异构工作负载的巨大差异,我们是否可以在云计算中为异构工作负载协调调配资源?在本文中,我们专注于这个重要的问题,这是由以前的一些工作。我们的贡献有三个方面:(1)分别提出了两种典型云场景下的异构工作负载协同资源配置方案:第一种是大型组织为两个异构工作负载运行私有云;第二种是大型组织或两个服务提供商运行异构工作负载恢复到公有云;(2)我们构建了一个敏捷系统PhoenixCloud,使资源提供商能够在异构工作负载整合到云站点时,根据需要创建协调的运行时环境;(3)在实验中进行了综合评价。对于两种典型的异构负载跟踪:并行批处理作业和Web服务,实验表明:a)在私有云场景下,当吞吐量与专用集群系统的吞吐量基本相同时,我们的解决方案使集群的配置规模减少了约40%; b)在公共云场景中,我们的解决方案不仅减少了总资源消耗,而且峰值资源消耗最大为EC2 +RightScale方案的31%。
2010-07-20 cs.DC
Performance Analysis and Modeling of Video Transcoding Using Heterogeneous Cloud Services
高质量的视频流,无论是视频点播(VOD)还是直播流,通常都需要转换(即转码)视频流,以匹配观众设备的特性(例如,在空间分辨率或支持的格式方面)。考虑到转码操作的计算成本和视频流传输需求的激增,流传输服务提供商(SSP)变得依赖于云服务来保证其观众的流传输的服务质量(QoS)。云提供商以不同类型的虚拟机(VM)的形式提供异构计算服务,价格也各不相同。有效利用云服务进行视频转码需要对异构云虚拟机上的不同视频转码操作进行详细的性能分析。在这项研究中,第一次,我们提供了一个全面的分析异构云虚拟机上的视频流转码的性能。提供这样的分析对于高效预测异构VM上的转码时间以及任何针对视频转码定制的调度方法的功能至关重要。基于此分析的结果,并考虑到异构云虚拟机的成本差异,在这项研究中,我们还提供了一个模型来量化各种转码任务的每种云虚拟机类型的适用程度。所提供的模型可以提供具有准确的性能和成本权衡的资源(VM)供应方法,以有效地利用云服务进行视频流传输。
2018-09-18 cs.DC
Declarative Application Management in the Fog. A bacteria-inspired decentralised approach
针对云-物联网连续体异构资源上下一代应用编排的需求,提出一种受细菌菌落自组织启发的声明式完全去中心化应用管理方案,经仿真验证具备可扩展性,支持用户移动性与差异化应用管理策略。
2025-01-17 cs.DC
Hyper Heterogeneous Cloud-based IMS Software Architecture: A Proof-of-Concept and Empirical Analysis
由3GPP定义的IP多媒体子系统(IMS)主要由电话供应商在供应商专用硬件上开发和部署。网络功能虚拟化(NFV)技术的最新进展为虚拟化硬件和电话功能弹性铺平了道路。因此,电信供应商已经开始接受云作为部署平台,通常选择特权虚拟化平台。运营商希望在其现有的IT云平台上部署电信功能。实现这种灵活性需要电信供应商采用允许在许多云平台甚至异构云平台上部署的软件架构。我们提出了一个分布式软件架构,使一个单一的软件版本部署在多个云平台,从而允许基于解决方案的部署。我们还提出了一个原型,我们开发的研究这种架构的特点。
2015-09-18 cs.DC
MoA-Off: Adaptive Heterogeneous Modality-Aware Offloading with Edge-Cloud Collaboration for Efficient Multimodal LLM Inference
MoA-Off 提出异构模态感知模块与自适应边缘-云协同卸载策略,动态调度多模态大语言模型推理负载,在保持准确率的同时降低 30% 以上延迟和 30%-65% 资源开销。
2025-09-21 cs.DC
Performance Issues of Heterogeneous Hadoop Clusters in Cloud Computing
如今,大多数云应用程序处理大量数据以提供所需的结果。云应用程序要处理的数据量的增长速度远远超过计算能力。这种增长需要处理和分析信息的新策略。处理大量数据需要两件事:1)廉价、可靠的存储2)用于分析非结构化和结构化数据的新工具。Hadoop是一个强大的开源软件平台,可以解决这两个问题。当前的Hadoop实现假设集群中的计算节点本质上是同构的。Hadoop在异构集群中缺乏性能,其中节点具有不同的计算能力。在本文中,我们讨论了影响hadoop在异构集群中的性能的问题,并提供了一些如何克服这些瓶颈的指导方针
2012-07-04 cs.DC
Ozy: A General Orchestration Container
面向服务的计算是一种使用服务作为构建分布式应用程序的构建块的范例。在云中编排服务的主要动机曾经是分布式业务流程,这推动了业务流程执行语言(Business Process Execution Language,简称BPEL)的标准化及其服务是业务流程的核心概念。近年来,已经存在向用于在云中编排服务的其他动机的转变,{例如\em},XaaS、RMAD。尽管理论上可以将所有这些服务都转换为WSDL/SOAP服务,但对于行业采用来说,这太复杂且成本太高。因此,服务是业务流程的中心概念限制性太强。相反,我们将服务视为技术中立、松散耦合、位置透明的过程。考虑到这些想法,我们引入了一种新的服务编排方法:Ozy,一种通用的编排容器。我们定义了这种新的方法在现有的技术,我们表明,奥兹容器放松了许多传统的限制,并允许更简单,功能更丰富的应用程序。
2016-04-25 cs.DC cs.SE
Tripod of Requirements in Horizontal Heterogeneous Mobile Cloud Computing
移动计算的最近趋势是在移动设备中执行资源密集型应用,而不管需要即将到来的技术的底层资源限制(例如,有限的处理器和能量)。云计算在固定计算机中的繁荣孕育了移动云计算(MCC)技术,该技术旨在除了节省能量之外还增强移动设备的计算和存储能力。然而,与云计算相比,MCC更加异构和不可靠(由于无线连接)。操作系统的变化、数据碎片以及安全和隐私等问题阻碍和减缓了MCC的实施和普及。在本文中,我们将MCC描述为一个水平异构生态系统,并确定了影响移动云解决方案和MCC成功的13个关键指标和方法。我们将它们分为三个主要类别,即普遍性,信任和能源效率,并在MCC中设计了一个三脚架。我们提出的三脚架表明,MCC的成功可以通过减少移动性挑战(例如无缝连接,碎片化),增加信任和提高能源效率来实现。
2012-05-15 cs.DC
EcoKube: Simulating Carbon-Aware Scheduling Policies in Heterogeneous Edge-Cloud Environments
University of Amsterdam(阿姆斯特丹大学)
针对云与边缘计算能源需求增长及碳排放问题,提出EcoKube框架,用于在异构边缘云环境中评估可持续性感知调度策略,含事件驱动模拟器等,通过合成批处理工作负载评估,可在部署前比较策略。
2026-07-13 cs.DC
Location, Location, Location: Data-Intensive Distributed Computing in the Cloud
在编排高度分布式和数据密集型的Web服务工作流时,编排引擎的地理位置会极大地影响工作流的整体性能。演示引擎通常从组织的网络内运行,并且可能必须跨长的地理距离传输数据,这反过来增加了执行时间并降低了工作流的整体性能。在本文中,我们提出了CloudForecast:一个Web服务框架和分析工具,它给出了一个工作流规范,计算最佳的亚马逊EC2云区域自动部署编排引擎和执行工作流。我们使用Amazon Cloud区域和工作流节点之间的工作流地理距离、网络延迟和HTTP往返时间来查找云区域的排名。这个简单指标的组合集有效地预测了工作流编排引擎应该部署在哪里,以减少总体执行时间。我们通过执行在PlanetLab平台上部署的随机生成的数据密集型工作流来评估我们的方法,以便对Amazon EC2 Cloud区域进行排名。我们的实验结果表明,我们提出的优化策略,根据特定的工作流程,可以加快执行时间平均82.25%相比,本地执行。我们还表明,执行时间的标准差减少了近65%的平均使用优化策略。
2014-02-03 cs.DC
Checkpointing as a Service in Heterogeneous Cloud Environments
一个非侵入性的,云不可知的方法是扩展现有的云平台,包括检查点重启能力。大多数云平台目前依赖于每个应用程序来提供其自己的容错。云内部的统一机制有两个目的:(a)直接支持长时间运行的作业,否则需要为每个应用程序提供自定义容错机制;(b)当更高优先级的作业到达时,通过临时交换作业来管理超额订阅的云的管理能力。这种统一方法的一个优点是,它还支持TCP和InfiniBand上的并行和分布式计算,从而允许传统的HPC应用程序利用现有的云基础设施。此外,集成的运行状况监视机制可以检测到长时间运行的作业何时失败或导致异常低的性能(可能是由于资源不足),并主动挂起作业。通过将该实现应用于两个非常不同的云平台:Snooze和OpenStack,展示了与云无关的特性。使用与云无关的架构还首次实现了应用程序从一个云平台迁移到另一个云平台。
2015-03-21 cs.DC
Dominant Resource Fairness in Cloud Computing Systems with Heterogeneous Servers
我们研究了云计算系统中的多资源分配问题,其中资源池是由大量异构服务器构建的,这些服务器代表处理、内存和存储等资源配置空间中的不同点。我们设计了一个多资源分配机制,称为DRFH,概括的主导资源公平性(DRF)的概念,从一个单一的服务器到多个异构服务器。DRFH提供了许多非常理想的性能。使用DRFH,没有用户喜欢另一个用户的分配;没有人可以在不减少其他用户的分配的情况下改善其分配;更重要的是,没有用户有动机谎报其资源需求。作为一个直接的应用程序,我们设计了一个简单的启发式,实现DRFH在现实世界中的系统。由Google集群跟踪驱动的大规模模拟表明,DRFH的性能明显优于传统的基于时隙的调度器,从而提高了资源利用率,大大缩短了作业完成时间。
2013-08-01 cs.DC
Benchmarking Different Application Types across Heterogeneous Cloud Compute Services
本文整理HPCC实验室的异构IaaS云计算基准,覆盖DNN推理、ML推理和视频转码三类应用,为跨云性能与成本优化提供数据集。
2025-01-10 cs.DC
Cloud4IoT: a heterogeneous, distributed and autonomic cloud platform for the IoT
我们推出了Cloud4IoT,这是一个为物联网支持软件组件和数据密集型应用程序提供自动部署、编排和动态配置的平台,用于数据处理和分析,从而实现新传感器对象的即插即用集成和动态工作负载可扩展性。Cloud4IoT在物联网环境中实现了基础设施即代码的概念:它为物联网运营提供了云服务的灵活性和弹性。此外,它将传统的集中式云架构转变为物联网技术所要求的更加分布式和分散式的计算模式,弥合了云计算和物联网生态系统之间的差距。因此,Cloud4IoT扮演的角色类似于Fog Computing,Cloudlets或Mobile Edge Cloud等解决方案所涵盖的角色。Cloud4IoThs的分层架构托管一个中央云平台和多个远程边缘云模块,支持专用设备,即物联网网关,通过这些网关,新的传感器对象可以访问平台。总体而言,该平台旨在支持基于物联网和数据密集型应用程序可能对低延迟,有限的可用带宽或数据本地性提出特定要求的系统。Cloud4IoT基于多种开源技术构建,用于物联网标准、协议和服务的容器化和实现。我们提出了该平台的实现,并在两个不同的用例中演示。
2018-10-03 cs.DC
Global Optimization of Data Pipelines in Heterogeneous Cloud Environments
云上的现代生产数据处理和机器学习管道是许多基于云的公司的关键组件。这些管道通常由复杂的工作流组成,这些工作流由有向无环图(DAG)表示。云环境对这些工作流很有吸引力,因为它具有异构实例和价格的广泛选择,可以为不同的性价比需求提供灵活性。然而,这种灵活性也导致选择正确的资源配置的复杂性(例如,实例类型、资源需求),同时使用选定的资源调度任务,以达到最佳的端到端性能和成本。这两个决策往往是相互依赖的,导致NP-难调度优化瓶颈。现有的解决方案只关注这两个问题中的任何一个,而忽略了端到端优化的共同影响。我们提出了AGORA,一个调度器,同时考虑任务级资源分配和执行DAG工作流作为一个整体,在异构云环境。AGORA首先(1)研究先前运行的任务的特征,并给出资源配置的预测,并且(2)自动为整个工作流找到最佳配置及其相应的调度,具有成本性能目标。我们在异构的Amazon Web Services(AWS)云环境中评估AGORA,其中多租户工作流由Airflow提供服务,与最先进的服务器相比,性能提高了45%,成本降低了77%。此外,我们将AGORA应用于阿里巴巴的实际生产跟踪,并显示成本降低了65%,DAG完成时间缩短了57%。
2022-02-11 cs.DC
Cost-Efficient and Robust On-Demand Video Transcoding Using Heterogeneous Cloud Services
视频流通常必须被转码以匹配观看者的设备的特征。流提供商必须存储给定视频的许多转码版本以服务于各种显示器。鉴于观众对视频流的访问模式遵循长尾分布的事实,对于具有低访问速率的视频流,我们建议使用云计算服务以按需方式对其进行转码。利用云服务进行按需视频转码的挑战是为观众保持强大的QoS,并为流媒体服务提供商保持成本效益。为了应对这一挑战,我们提出了基于云的视频流服务(CVS2)架构。它包括一个QoS感知的调度,映射转码任务的虚拟机,考虑的亲和力与分配的异构虚拟机的转码任务。为了在存在变化的流请求的情况下保持鲁棒性,该架构包括具有成本效益的VM ProvisionTM。该组件提供了一个可自配置的异构VM集群。集群被动态地重新配置,以保持与到达的工作负载的最大关联。在不同的工作负载条件下获得的结果表明,CVS2架构可以为观众保持强大的QoS,同时减少流媒体服务提供商的成本高达85%
2017-11-03 cs.DC
Scientific Workflows in Heterogeneous Edge-Cloud Computing: A Data Placement Strategy Based on Reinforcement learning
与云计算或其他传统的分布式计算环境相比,异构边缘-云计算范例可以提供部署科学工作流的最佳解决方案。由于科学数据集的大小不同以及其中一些数据集的隐私问题,因此必须找到一种数据放置策略,以最大限度地减少数据传输时间。一些最先进的数据放置策略结合边缘计算和云计算来分发科学数据集。然而,在工作流执行期间,将新生成的数据集动态分发到适当的数据中心并退出已使用的数据集仍然是一个挑战。为了应对这一挑战,本研究不仅构建了一个数据放置模型,其中包括共享数据集内的个人和跨不同地理区域的多个工作流之间,但也提出了一个数据放置策略(DYM-RL-DPS)的基础上的两个阶段的算法。首先,在工作流的构建阶段,我们使用差分进化的离散粒子群优化算法来预先分配初始数据集到适当的调度中心。然后,我们将动态数据集分布问题重新表示为马尔可夫决策过程,并提供了一种基于强化学习的方法来学习科学工作流运行时阶段的最优策略。通过模拟异构边缘云计算环境,设计了综合实验来验证DYM-RL-DPS的优越性。与其他策略相比,我们的策略可以有效地减少数据传输时间。
2022-05-14 cs.DC
Adaptive Edge Process Migration for IoT in Heterogeneous Cloud-Fog-Edge Computing Environment
以云为中心的物联网管理系统的延迟问题激发了雾和边缘计算(FEC)架构,该架构将任务从云分发到边缘资源,如路由器,交换机或物联网设备本身。具体来说,物联网系统的移动传感器也可以为FEC执行某些任务。考虑到当移动传感器无法继续其任务时从移动传感器到其他资源的动态过程迁移的需要,IoT系统需要提供允许移动传感器在运行时将其任务动态地迁移到其他FEC资源的灵活机制。然而,它提出了一个问题,在什么是最佳的方法时,移动传感器打算将其任务迁移到多个异构FEC资源?为了解决这个问题,作者提出了REM方案,这是能够优化进程迁移决策。此外,为了实现这样的系统并验证REM方案,作者开发了EPIOT主机框架。最后,作者实现了REM方案和框架,并进行了评估,结果表明,REM方案是能够提高在异构FEC环境中的进程迁移的性能。
2018-11-27 cs.DC
Optimal Data Placement for Data-Sharing Scientific Workflows in Heterogeneous Edge-Cloud Computing Environments
与传统的分布式计算或云计算环境相比,异构边缘-云计算范例可以为部署科学工作流提供更优化的方向。由于科学数据集的大小不一,且其中一些数据集必须保持私密性,因此寻找一种既能减少数据传输又能降低放置成本的数据放置策略仍然是一个难题。针对这一问题,结合边缘计算和云计算的优势,构建了一个数据放置模型,通过智能计算来平衡数据传输时间和数据放置成本。该模型解决的最困难的研究挑战是考虑在这种混合计算环境中的许多约束,其中包括在不同地理区域的单个和多个工作流之间的共享数据集。根据所建立的模型,提出了一种新的数据布局策略DE-DPSO-DPS,该策略采用差分进化离散粒子群优化算法(DE-DPSO-DPA)对这些科学数据集进行布局。该策略不仅考虑了边缘微处理器的数量和存储容量、不同微处理器之间的带宽以及私有数据集的比例等特性,还分析了算法在工作流执行过程中的性能。在模拟的异构边缘云计算环境中进行了综合实验,结果表明,与传统的数据共享科学工作流策略相比,该数据放置策略能够有效地减少数据传输时间和放置成本。
2021-04-13 cs.DC
Armada: A Robust Latency-Sensitive Edge Cloud in Heterogeneous Edge-Dense Environments
边缘计算通过利用数据邻近性并将延迟敏感和计算密集型工作负载卸载到附近的边缘服务器来实现大量新兴边缘应用程序。然而,由于有限的接入点边缘站点和受限的弹性,在广域环境中大规模支持边缘应用用户带来了挑战。在本文中,我们介绍了Armada:一个密集分布的边缘云基础设施,它探索了在异构环境中使用专用和志愿者资源为地理分布的用户提供服务。我们描述了轻量级的Armada架构和优化技术,包括性能感知的边缘选择,边缘上的自动扩展和负载均衡,容错和原位数据访问。我们在真实世界的志愿者环境和模拟平台上评估了Armada,以展示常见的边缘应用程序,即实时目标检测和人脸识别,可以轻松地部署在Armada上,以低延迟的方式为分布式用户提供大规模服务。
2021-11-23 cs.DC
Continuous QoS-compliant Orchestration in the Cloud-Edge Continuum
针对云边网络中多服务应用QoS决策主动执行不足的问题,提出基于Docker的下一代编排器原型,实现符合QoS的持续管理并衔接CI/CD与监控工具,在意大利分布式测试床完成评估。
2023-10-04 cs.DC cs.NI cs.SE
Decentralized utility- and locality-aware replication for heterogeneous DHT-based P2P cloud storage systems
作为一种分布式哈希表(DHT),Skip Graph路由覆盖被广泛应用于包括P2P云存储在内的多个P2P服务中。适用于基于Skip Graph的P2P云存储的完全分散式复制算法在副本可用性和响应时间方面都未能提高系统的性能。此外,他们假设系统在节点的延迟分布、可用性行为、带宽或存储方面是同质的。在本文中,我们提出了金字塔,这是第一个完全分散的实用程序和本地感知的复制方法跳过基于图的P2P云存储系统。Pyramid认为节点在延迟分布、可用性行为、带宽和存储方面是异构的。金字塔是实用性感知的,因为它最大化每个时隙的副本的平均可用带宽(例如,每小时)。此外,Pyramid是本地感知的,因为它最大限度地减少了节点与其最近副本之间的平均延迟。我们的模拟结果表明,相比于最先进的解决方案,无论是在效用意识,或在本地意识,我们提出的金字塔提高了效用和本地意识的副本与增益约1.2和1.1倍,分别在同一时间。
2019-07-28 cs.DC
Seeing Shapes in Clouds: On the Performance-Cost trade-off for Heterogeneous Infrastructure-as-a-Service
在不久的将来,FPGA将按小时提供,但是这种新的基础设施即服务(IaaS)使用模式既带来了机遇,也带来了挑战:机会是程序员可以在比以前更短的时间内以更大的规模交换资源以获得性能。面临的挑战是寻找和遍历异构IaaS的权衡,以确保增加的资源导致最大可能的性能提高。这种权衡是帕累托最优的。异构资源集群的帕累托最优权衡可以通过解决多个多目标优化问题来找到,从而将任务最优分配到可用平台。解决这些优化程序可以使用简单的启发式方法或正式的混合线性规划(MILP)技术。当在多核CPU、GPU和FPGA平台的异构集群上使用蒙特卡洛算法对128个金融期权进行定价时,MILP方法产生的权衡比启发式方法快110%,并且便宜50%以上。这些结果表明,异构IaaS的高质量性能资源权衡最好通过正式的优化方法来实现。
2015-08-27 cs.DC
FedApp: a Research Sandbox for Application Orchestration in Federated Clouds using OpenStack
多集群联合被认为是下一代云基础设施,它将在实现边缘和雾计算等概念方面发挥重要作用。在联邦环境中部署应用对负载平衡、自动伸缩、资源分配和服务迁移等领域的研究提出了新的挑战。然而,由于对真实多集群基础设施的访问是有限的,因此需要提供与真实系统相似特性的测试床。为了使相关领域的研究人员能够在联合云环境中快速设置实验,我们创建了开源沙箱FedApp,它简化了在OpenStack环境中部署多个虚拟集群的过程,并有可能在站点之间添加真实的网络特征。每个集群都部署了开源和生产级容器编排器Kubernetes,使用Prometheus/Grafana进行联邦范围的监控,并使用Istio简化了集群间的微服务通信。
2021-09-03 cs.DC cs.NI
SGX-Aware Container Orchestration for Heterogeneous Clusters
容器正在成为在云中打包和部署应用程序和微服务的事实标准。一些云提供商(例如,Amazon、Google、Microsoft)开始通过在其云产品中集成容器编排工具,在其基础设施上提供原生支持。与此同时,容器为应用程序提供的安全保证仍然值得怀疑。客户仍然需要在数据和代码完整性方面信任他们的云提供商。英特尔最近将Software Guard Extensions(SGX)引入大众市场,为开发人员提供了一种替代方案,他们现在可以在硬件安全的环境中执行代码,而无需信任云提供商。本文提供了有关Kubernetes(一种行业标准容器编排器)内部SGX支持的见解。我们在整个堆栈中展示了我们的贡献,以支持启用SGX的容器的执行。我们提供的调度程序和它的监控框架,底层的操作系统支持和所需的内核驱动程序扩展的体系结构的细节。我们使用真实世界的Google Borg痕迹在私有集群上评估我们的完整实现。我们的实验突出了在云中部署支持SGX的微服务时会遇到的性能权衡。
2018-07-27 cs.DC
Hydra: Brokering Cloud and HPC Resources to Support the Execution of Heterogeneous Workloads at Scale
Hydra是一个跨云与HPC的代理系统,可并发获取异构资源并管理异构工作流执行,通过四项贡献(设计、实现、实验表征和海平面工作流)验证了其可扩展性。
2024-07-16 cs.DC cs.SE
FogMQ: A Message Broker System for Enabling Distributed, Internet-Scale IoT Applications over Heterogeneous Cloud Platforms
由于大量地理上分布的设备通过消息代理进行通信,传统消息代理会出现过度的尾端到端延迟。另一方面,无代理消息传送系统虽然确保低延迟,但高度依赖于直接设备到设备(D2D)通信技术的限制,并且不能很好地扩展,因为大量资源有限的设备交换消息。在本文中,我们提出了FogMQ,一个基于云的消息代理系统,克服了传统系统的局限性,使自主发现,自我部署,并在异构云平台上的消息代理的在线迁移。对于每个设备,FogMQ都提供了一个高容量的设备克隆服务,可以订阅设备消息。克隆有助于在资源丰富的云计算节点中进行近边缘数据分析。FogMQ中的克隆应用了Flock,这是一种模拟群集行为的算法,允许克隆以分布式方式动态选择并自主迁移到不同的异构云平台。
2016-10-03 cs.DC cs.NI
PhoenixCloud: Provisioning Resources for Heterogeneous Cloud Workloads
随着越来越多的服务提供商选择云平台,资源提供商需要为不同场景下的异构工作负载提供资源和支持运行时环境(RE)。以前的工作未能解决这个问题,在几个方面:(1)它没有注意到不同的RE要求,并没有使创建协调的RE的需求;(2)很少的工作调查协调的资源供应异构的工作负载。在本文中,我们的贡献有三个方面:(1)我们提出了一个表达不同RE需求的RE协议,并构建了一个创新的系统PhoenixCloud,使资源提供商能够根据RE协议按需创建RE;(2)我们提出了两个协调的资源提供解决方案,用于两个典型的云场景中的异构工作负载:首先,大型组织为两个异构工作负载运行私有云;其次,运行异构工作负载的大型组织或两个服务提供商恢复到公共云;以及(3)在实验中进行了全面评估。对于并行批处理作业和Web服务的典型负载跟踪,我们的实验表明:a)在第一个云场景中,当吞吐量与专用集群系统的吞吐量基本相同时,我们的解决方案将集群的配置大小减少了约40%; b)在第二种情况下,我们的解决方案不仅减少了总资源消耗,而且峰值资源消耗最大为EC2 + RightScale方案的31%。
2010-03-31 cs.DC cs.PF
S2CE: A Hybrid Cloud and Edge Orchestrator for Mining Exascale Distributed Streams
物联网和其他设备等分布式和异构节点生成的数据量、速度、种类和准确性的爆炸性增长,不断挑战着大数据处理平台和挖掘技术的最新水平。因此,它揭示了迫切需要解决这种预期的艾级数据生成和从这些数据中提取见解之间不断增长的差距。为了满足这一需求,本文提出了Stream to Cloud & Edge(S2CE),这是同类产品中第一个优化的多云和边缘编排器,易于配置,可扩展和可扩展。S2CE将支持在混合云和边缘环境上运行的大量异构数据流的机器和深度学习,同时提供实用和可扩展处理的必要功能:数据融合和预处理,采样和合成流生成,云和边缘智能资源管理以及分布式处理。
2020-07-02 cs.DC
ThunderServe: High-performance and Cost-efficient LLM Serving in Cloud Environments
Department of Computer Science, Peking University(北京大学计算机系)
本文提出面向异构云环境的LLM服务系统ThunderServe,通过优化部署调度和轻量级重调度机制,在相同预算下显著提升吞吐量并降低延迟,证明云服务更具成本效益。
2025-11-06 cs.DC
Triggerflow: Trigger-based Orchestration of Serverless Workflows
随着越来越多的应用程序因无服务器计算而迁移到云中,越来越有必要支持这些应用程序在数据中心的本机生存周期执行。但现有的云编排系统要么专注于短期运行的工作流(如IBM Composer或Amazon Step Functions Express Workflows),要么为同步大规模并行作业(Azure Durable Functions,Amazon Step Functions)带来相当大的开销。它们都不是开放系统,可以对自定义工作流进行可扩展的拦截和优化。我们提出了Triggerflow:一个可扩展的基于触发器的无服务器工作流演示架构。我们证明了Triggerflow是一种新型的无服务器构建块,能够构建不同的反应式编排(状态机,有向无环图,工作流作为代码,联邦学习编排器)。我们还验证了它可以支持大容量事件处理工作负载,在不使用时按需自动扩展到零,并在编排长时间运行的科学工作流时透明地保证容错和有效的资源使用。
2021-06-22 cs.DC
A Self-Adaptive Extensible CEP framework for the Cloud-Edge Continuum
University of Potsdam(波茨坦大学)
针对云边连续体上CEP系统的异构节点负载失衡问题,提出带负载调节功能的自适应可扩展CEP框架,可使过载算子持续运行,便于其部署于异构或资源受限环境。
2026-08-10 cs.DC
A Cloud-Edge Continuum Experimental Methodology Applied to a 5G Core Study
人们越来越有兴趣将传统的云原生技术(如Kubernetes)扩展到数据中心之外,以在边缘和边缘之间建立一个连续体。然而,传统的资源编排算法在这种情况下并不奏效,而且在没有实际构建的情况下,也很难测试异构云基础设施的应用程序。为了解决这些挑战,我们提出了一种新的方法来帮助部署,测试和分析异构云环境中微服务放置和调度的效果。通过这种方法,我们可以根据微服务在云边缘连续体中的位置来调查部署场景和监控指标的任何组合。边缘设备可能会被模拟,但当我们使用Kubernetes时,任何可以连接到Kubernetes集群的设备都可以使用。为了展示我们的方法,我们将其应用于开源5G核心实现的网络功能布局问题。
2023-01-26 cs.DC
An Ontology based System for Cloud Infrastructure Services Discovery
云基础设施服务格局稳步发展,让用户陷入选择的痛苦之中。因此,由于云服务的不同服务描述、非标准化的命名约定以及云服务的异构类型和特征,云服务识别和发现仍然是一个难题。在本文中,我们提出了一个基于OWL的本体,云计算本体(CoCoOn),定义功能和非功能的概念,属性和关系的基础设施服务。我们还提出了一个系统…
2012-12-01 cs.DC
Investigating Decision Support Techniques for Automating Cloud Service Selection
云基础设施服务的指南针稳步前进,让用户陷入选择的痛苦之中。为了能够从大量的可能性中选择最佳的服务组合,用户必须考虑复杂的依赖关系和异构的标准集。因此,我们提出了一个博士论文的建议,调查智能决策支持系统选择基于云的基础设施服务(如存储,网络,CPU)。
2012-10-10 cs.DC
SimDC: A High-Fidelity Device Simulation Platform for Device-Cloud Collaborative Computing
本文提出高保真设备仿真平台SimDC,通过集成高性能服务器与物理手机的混合异构资源,解决了现有仿真器忽略真实设备差异与环境行为的问题,支持低成本功能测试与精确响应捕获,实验证明其有效性与应用潜力。
2025-04-02 cs.DC
KAIROS: Building Cost-Efficient Machine Learning Inference Systems with Heterogeneous Cloud Resources
Northeastern University(东北大学);MIT(麻省理工学院)
针对云平台上在线推理服务的QoS与成本约束问题,提出新型运行时框架KAIROS,通过无开销构建异构硬件池、最优分配查询,实现吞吐量较同构方案最高提升1倍、较现有最优方案最高提升70%的效果。
2023-05-02 cs.DC cs.LG
Secure Federated Learning Across Heterogeneous Cloud and High-Performance Computing Resources -- A Case Study on Federated Fine-tuning of LLaMA 2
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Argonne National Laboratory(阿贡国家实验室)
本文提出APPFL框架,利用Globus Compute和AWS实现跨云与超算的安全联邦学习,并以微调LLaMA 2 7B模型为例验证其可行性。
2024-02-19 cs.DC cs.LG
Cloud Services Enable Efficient AI-Guided Simulation Workflows across Heterogeneous Resources
Argonne National Laboratory(阿贡国家实验室);University of Chicago(芝加哥大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文提出利用云托管管理服务解决跨异构资源身份验证、FaaS调用与数据传输问题,并通过按引用传数据和可配置引导算法隐藏延迟,实现与直连系统相当的性能,推动异构资源在计算科学中的常规应用。
2023-03-15 cs.AI cs.DC
Federated Learning Framework for Scalable AI in Heterogeneous HPC and Cloud Environments
本文提出一种适用于异构HPC和云环境的联邦学习框架,解决系统异构性、通信开销和资源调度问题,实现高可扩展性和容错性,适用于非独立和相同分布数据。
2025-11-22 cs.DC cs.LG
YUHENG-OS: A Cloud-Native Space Cluster Operating System
本文提出YUHENG-OS,一种专为云原生空间集群设计的操作系统,通过统一抽象和调度异构空间资源,提升任务完成率达98%。
2026-03-30 cs.DC cs.NI
HgPCN: A Heterogeneous Architecture for E2E Embedded Point Cloud Inference
针对嵌入式边缘端点云工作负载端到端处理实时性不足的问题,提出HgPCN异构架构,通过八叉树索引采样和基于体素扩展聚合的定制单元分别优化预处理下采样与推理数据结构化瓶颈,实现实时点云推理。
2025-01-14 cs.AR cs.DC
Workload Scheduling on heterogeneous Mobile Edge Cloud in 5G networks to Minimize SLA Violation
智能设备已成为我们生活中不可或缺的一部分,并在几乎所有领域获得越来越多的适用性。诸如增强现实(AR)、自动驾驶和在线游戏等延迟感知应用需要更多的资源,例如网络带宽和计算能力。由于传统的移动网络无法满足所需的带宽和延迟,移动边缘云(MEC)应运而生,在5G网络上为用户提供云计算能力。在本文中,我们考虑了一个异构MEC网络与众多的移动用户,他们的任务发送到MEC服务器。每个任务都有一个可接受的最大响应时间。用户的非均匀分布使得一些MEC服务器成为热点,无法容纳更多用户。一种解决方案是在MEC服务器之间重新定位任务,称为“任务迁移”。我们制定这个问题的任务调度作为一个混合整数非线性优化问题,以尽量减少服务水平协议(SLA)的违规行为。由于解决这个优化问题具有较高的计算复杂性,我们引入了一个贪心算法,称为MESA,迁移启用调度算法,它达到一个接近最优的解决方案迅速。实验表明,在SLA违反方面,MESA与最优选择的平均距离和最差距离分别只有8%和11%。此外,与将任务分配给MEC服务器而不进行迁移相比,支持迁移的解决方案可以将SLA违规减少约30%。
2020-03-21 cs.DC cs.NI
ReAssigner: A Plug-and-Play Virtual Machine Scheduling Intensifier for Heterogeneous Requests
East China Normal University(华东师范大学);Huawei Cloud Computing Technologies Co.(华为云计算技术有限公司)
随着云计算的快速发展,虚拟机调度已成为云计算界最重要但最具挑战性的问题之一,特别是对于实际的异构请求序列。通过分析请求异构性对一些流行的启发式调度算法的影响,可以发现现有的调度算法不能正确和有效地处理请求异构性。在本文中,一个即插即用的虚拟机调度增强器,称为资源分配器(ReAssigner),提出了提高调度效率的任何给定的调度异构请求。ReAssigner的核心思想是为物理资源预先分配角色,让相同角色的资源形成一个虚拟集群来处理同构请求。ReAssigner可以通过将调度空间限制在虚拟集群中来与任意的集群管理器进行协作。通过对华为云真实数据集的测试,与现有的调度方法相比,该算法的调度性能得到了显著提升。
2022-11-29 cs.AI cs.DC
OL4EL: Online Learning for Edge-cloud Collaborative Learning on Heterogeneous Edges with Resource Constraints
Xi’an Jiaotong University(西安交通大学);Imperial College London(帝国理工学院)
网络边缘的分布式机器学习(ML)是一种很有前途的范例,可以保护网络带宽和数据提供者的隐私。然而,边缘服务器(或边缘)上的异构和有限的计算和通信资源对分布式ML提出了巨大的挑战,并形成了边缘学习(即边缘-云协作机器学习)的新范式。在这篇文章中,我们提出了一个新的框架的“学习学习”的有效边缘学习(EL)的异构边缘资源约束。我们首先将协作策略的动态确定(即在协作学习过程中在边缘服务器上分配局部迭代和在云上分配全局聚合)建模为在线优化问题,以实现EL性能和边缘服务器资源消耗之间的权衡。然后,我们提出了一个在线学习的EL(OL 4 EL)框架的基础上,有限的多臂土匪模型。OL 4 EL支持同步和异步学习模式,可用于监督和无监督学习任务。为了评估OL 4 EL的性能,我们进行了真实世界的测试平台实验和基于Docker容器的广泛模拟,其中支持向量机和K-means都被视为用例。实验结果表明,OL 4 EL在学习性能和资源消耗之间的权衡方面明显优于最先进的EL和其他协作ML方法。
2020-04-23 cs.DC cs.LG stat.ML
Adaptive AI Task Partitioning and Safe Offloading in Heterogeneous Edge-Cloud Continuum
Anonymous Institute(匿名机构);Department of Computer and Systems Sciences(计算机与系统科学系)
本文提出一种动态分区框架,通过实时评估环境变化优化神经网络层分配,降低能耗和端到端延迟。
2026-08-19 cs.AI cs.DC cs.LG
Implementing a Cloud Platform for Autonomous Driving
自动驾驶云提供支持自动驾驶汽车的基本服务。如今,这些服务包括但不限于新算法部署的分布式仿真测试、离线深度学习模型训练和高清(HD)地图生成。这些服务需要基础设施支持,包括分布式计算、分布式存储以及异构计算。在本文中,我们详细介绍了如何实现统一的自动驾驶云基础设施,以及如何在此基础设施上支持这些服务。
2017-04-10 cs.DC cs.RO
Tackling Heterogeneous Traffic in Multi-access Systems via Erasure Coded Servers
现代应用程序生成的大多数数据都存储在云中,访问这些数据并使用它们执行计算的作业量呈指数级增长。数据访问或计算作业的量在不同的作业类型中可能是异构的,并且可能随着时间的推移而不可预测地变化。云服务提供商通过过度配置托管每种作业类型的服务器数量来应对这种需求异构性和不可预测性。在本文中,我们建议增加擦除编码的服务器,可以灵活地服务于多种作业类型,而无需额外的存储成本。我们分析的服务能力区域和响应时间的这种擦除编码系统,并将它们与标准的未编码的复制为基础的系统,目前在云中使用。我们表明,编码扩展了服务容量区域,从而使系统能够处理不同数据类型的需求变化。此外,我们的特点的编码系统的响应时间在不同的到达率制度。该分析表明,即使添加少量的编码服务器也可以显著减少平均响应时间,并且在需求在不同作业类型之间倾斜的情况下大幅减少。
2022-08-15 cs.DC cs.IT cs.PF
DySCo: Dynamic Sharding for Collaborative Edge-Cloud LLM Inference with Depth-Synchronized Batching
University of Amsterdam(阿姆斯特丹大学);TU Wien(维也纳工业大学)
DySCo通过动态分片和深度同步批处理,解决边缘-云LLM推理中的空闲间隙和异构批处理低效问题,显著提升吞吐量并降低延迟。
2026-10-07 cs.AI cs.DC cs.LG