An Intelligent Resource Reservation for Crowdsourced Live Video Streaming Applications in Geo-Distributed Cloud Environment
Hamad Bin Khalifa University(哈马德·本·哈利法大学);Qatar University(卡塔尔大学);Comsats Institute of Information Technology(COMSATS信息技术学院)
Facebook Live、YouNow、斗鱼和Twitch等众包视频直播服务最近正获得更大的发展势头。以具有成本效益的方式分配有限的资源,同时通过实时传送和为所有观众提供适当的表示来最大化服务质量(QoS)是一个具有挑战性的问题。在我们的论文中,我们介绍了一个基于机器学习的预测资源分配框架的地理分布的云站点,考虑延迟和质量约束,以保证最大的QoS观众和最小的成本为内容提供方。首先,我们提出了一个离线优化,决定所需的转码资源在分布式区域附近的观众与QoS和整体成本之间的权衡。其次,我们使用机器学习来构建预测模型,该模型可以提前预测每个云站点要保留的近似转码资源。最后,我们开发了一个贪婪的最近和Chestion算法(GNCA)执行的资源分配的实时广播视频租用的资源。大量的模拟表明,GNCA优于众包直播流媒体的最先进的资源分配方法,在系统成本方面实现了超过20%的增益,同时以相对较低的延迟为观众提供服务。
2021-06-04 cs.DC cs.LG cs.MM
EdgeToll: A Blockchain-based Toll Collection System for Public Sharing of Heterogeneous Edges
边缘计算是一种新的范例,旨在提高延迟敏感型云应用的服务质量。然而,现有的边缘服务都是为特定的应用而设计的,它们之间是相互隔离的,为了更好地提高边缘节点的利用率,应该鼓励不同服务提供商的边缘之间共享公共资源。在这项工作中,我们采用支付通道技术来设计和实现EdgeToll,这是一个基于区块链的收费系统,用于异构公共边缘共享。已经开发了测试台来验证该建议,并进行了初步的实验来证明该系统的时间和成本效率。
2019-12-29 cs.DC
Federated Learning as a Service for Hierarchical Edge Networks with Heterogeneous Models
针对IoT设备计算资源异构及非IID数据下异构模型聚合难题,本文提出分层边缘系统异构聚合框架HAF-Edge,通过边缘与云两级聚合及选择性知识转移提升全局模型收敛速度,实验证明其显著优于现有方法。
2024-10-13 cs.DC
DRAPS: Dynamic and Resource-Aware Placement Scheme for Docker Containers in a Heterogeneous Cluster
虚拟化是一种很有前途的技术,它促进了云计算成为下一波互联网革命。由各种虚拟机提供支持的数百万应用程序被数据中心采用,提高了服务的服务质量。虽然虚拟机彼此之间隔离良好,但它们会受到冗余启动卷和缓慢配置时间的影响。为了解决这些限制,容器的诞生是为了部署和运行分布式应用程序,而无需启动整个虚拟机。作为一个主导者,Docker是容器技术的开源实现。在管理Docker容器集群时,管理工具Swarmkit没有考虑物理节点和虚拟化容器的异构性。异构性在于集群中的不同节点可能具有关于资源类型和可用性等的各种配置,并且服务产生的需求是变化的,例如CPU密集型(例如集群服务)以及内存密集型(例如Web服务)。在本文中,我们的目标是调查Docker容器集群和开发,DRAPS,一个资源感知的放置方案,以提高系统的性能在异构集群。
2018-05-22 cs.DC
Improving Robustness of Heterogeneous Serverless Computing Systems Via Probabilistic Task Pruning
基于云的无服务器计算是一种越来越流行的计算模式。在这种模式下,不同的服务有不同的计算需求,这证明部署不一致的异构计算(HC)系统来有效地处理它们是合理的。在不一致的HC系统中,给定服务所需的每个任务可能在每种类型的机器上表现出不同的执行时间。一个理想的资源分配系统必须意识到执行时间的这种不确定性,并对它们具有鲁棒性,从而满足用户的服务质量(QoS)要求。这项研究的目的是最大限度地提高HC系统的鲁棒性,用于提供无服务器计算系统,特别是当系统被超额认购。我们的策略,以最大限度地提高鲁棒性是开发一个任务修剪机制,可以添加到现有的任务映射算法,而不改变它们。修剪满足其最后期限的概率较低的任务提高了其他任务满足其最后期限的可能性,从而提高了系统的鲁棒性和整体QoS。为了评估修剪机制的影响,我们研究它的异构和同构计算系统的各种配置。评估结果表明,系统的鲁棒性有相当大的改善(高达35%)。
2019-05-11 cs.DC
Checkpointing as a Service in Heterogeneous Cloud Environments
一个非侵入性的,云不可知的方法是扩展现有的云平台,包括检查点重启能力。大多数云平台目前依赖于每个应用程序来提供其自己的容错。云内部的统一机制有两个目的:(a)直接支持长时间运行的作业,否则需要为每个应用程序提供自定义容错机制;(b)当更高优先级的作业到达时,通过临时交换作业来管理超额订阅的云的管理能力。这种统一方法的一个优点是,它还支持TCP和InfiniBand上的并行和分布式计算,从而允许传统的HPC应用程序利用现有的云基础设施。此外,集成的运行状况监视机制可以检测到长时间运行的作业何时失败或导致异常低的性能(可能是由于资源不足),并主动挂起作业。通过将该实现应用于两个非常不同的云平台:Snooze和OpenStack,展示了与云无关的特性。使用与云无关的架构还首次实现了应用程序从一个云平台迁移到另一个云平台。
2015-03-21 cs.DC
PhoenixCloud: Provisioning Resources for Heterogeneous Workloads in Cloud Computing
随着越来越多的服务提供商选择由第三方资源提供商提供的云平台,资源提供商需要为不同云场景下的异构工作负载提供资源。考虑到异构工作负载的巨大差异,我们是否可以在云计算中为异构工作负载协调调配资源?在本文中,我们专注于这个重要的问题,这是由以前的一些工作。我们的贡献有三个方面:(1)分别提出了两种典型云场景下的异构工作负载协同资源配置方案:第一种是大型组织为两个异构工作负载运行私有云;第二种是大型组织或两个服务提供商运行异构工作负载恢复到公有云;(2)我们构建了一个敏捷系统PhoenixCloud,使资源提供商能够在异构工作负载整合到云站点时,根据需要创建协调的运行时环境;(3)在实验中进行了综合评价。对于两种典型的异构负载跟踪:并行批处理作业和Web服务,实验表明:a)在私有云场景下,当吞吐量与专用集群系统的吞吐量基本相同时,我们的解决方案使集群的配置规模减少了约40%; b)在公共云场景中,我们的解决方案不仅减少了总资源消耗,而且峰值资源消耗最大为EC2 +RightScale方案的31%。
2010-07-20 cs.DC
Investigating Decision Support Techniques for Automating Cloud Service Selection
云基础设施服务的指南针稳步前进,让用户陷入选择的痛苦之中。为了能够从大量的可能性中选择最佳的服务组合,用户必须考虑复杂的依赖关系和异构的标准集。因此,我们提出了一个博士论文的建议,调查智能决策支持系统选择基于云的基础设施服务(如存储,网络,CPU)。
2012-10-10 cs.DC
An Ontology based System for Cloud Infrastructure Services Discovery
云基础设施服务格局稳步发展,让用户陷入选择的痛苦之中。因此,由于云服务的不同服务描述、非标准化的命名约定以及云服务的异构类型和特征,云服务识别和发现仍然是一个难题。在本文中,我们提出了一个基于OWL的本体,云计算本体(CoCoOn),定义功能和非功能的概念,属性和关系的基础设施服务。我们还提出了一个系统…
2012-12-01 cs.DC
A Study to Optimize Heterogeneous Resources for Open IoT
针对开放物联网场景下的资源调度需求,基于已有的Tacit Computing技术提出设备、网络、云三层优化方案,通过功能分配与卸载降低运营成本、提升服务性能,支撑发现设备的持续服务化。
2024-09-14 cs.DC
Service Placement with Provable Guarantees in Heterogeneous Edge Computing Systems
移动边缘计算(MEC)是一种很有前途的技术,用于在网络边缘提供对服务的低延迟访问。这些服务托管在具有计算和通信能力的各种类型的边缘节点上。由于边缘节点特征和用户位置的异构性,MEC的性能取决于服务托管的位置。在本文中,我们考虑这样一个异构MEC系统,并专注于在系统中放置多个服务,以最大化的总回报的问题。我们通过集合覆盖问题的归约证明了该问题是NP-难的,并提出了一个确定性的近似算法来求解该问题,其近似比不比$\left(1-e^{-1}\right)/4$差.该算法是基于两个子例程,分别适用于小型和任意大小的服务。该算法的设计使用了一种新的方式划分为多个插槽,每个插槽包含一个服务的每个边缘节点。近似保证是通过条件期望的方法,它使用一个随机过程作为中间步骤的专业化。除了理论上的保证,仿真结果也表明,该算法优于其他国家的最先进的方法。
2019-06-17 cs.DC math.OC
Cloud Services Enable Efficient AI-Guided Simulation Workflows across Heterogeneous Resources
Argonne National Laboratory(阿贡国家实验室);University of Chicago(芝加哥大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文提出利用云托管管理服务解决跨异构资源身份验证、FaaS调用与数据传输问题,并通过按引用传数据和可配置引导算法隐藏延迟,实现与直连系统相当的性能,推动异构资源在计算科学中的常规应用。
2023-03-15 cs.AI cs.DC
IoTNetSim: A Modelling and Simulation Platform for End-to-End IoT Services and Networking
物联网(IoT)系统正变得越来越复杂、异构和普及,集成了各种物理设备和虚拟服务,这些设备和服务使用不同的连接类型分布在架构层(云、雾、边缘)上。因此,这种系统的研究和设计已被证明是具有挑战性的。尽管物联网研究的涌入以及基于仿真的方法在支持研究方面的显著优势,但普遍缺乏适当的建模和仿真平台来创建端到端物联网服务的详细表示,即从底层物联网节点到云中的应用层以及底层网络基础设施。为了帮助研究人员和从业人员克服这些挑战,我们提出了IoTNetSim,这是一种用于端到端物联网服务建模和仿真的新型自包含可扩展平台。该平台支持对异构物联网节点(传感器、执行器、网关等)进行建模。利用它们的细粒度细节(移动性、能量分布等),以及应用逻辑和网络连接的不同模型。拟议的工作与当前的文献不同,它是一种用于端到端物联网服务的一体化工具,具有多层架构,允许对具有不同结构的物联网系统进行建模。我们使用两个来自自然环境和灾害监测物联网领域的非常大规模的真实案例,对我们的IoTNetSim实现进行了实验验证和评估。
2019-11-04 cs.DC
Per-Server Dominant-Share Fairness (PS-DSF): A Multi-Resource Fair Allocation Mechanism for Heterogeneous Servers
云计算平台的用户对服务器(物理机或虚拟机)上的多个资源提出不同类型的需求。除了它们的资源容量的差异之外,服务器在它们服务用户的能力方面可能是另外异构的-某些用户的任务可能仅由服务器的子集服务。我们确定了现有的多资源公平分配机制的重要缺点-主导资源公平性(DRF)及其后续工作-在这样的环境中使用时。我们开发了一种新的公平分配机制,称为每服务器主导份额公平性(PS-DSF),我们表明它提供了DRF在单个“资源池”(即,如果所有服务器的资源被一起汇集到一个假设的服务器中)。我们通过仿真来评估PS-DSF的性能。我们的评估表明,增强效率的PS-DSF相比,现有的分配机制。我们认为我们提出的分配机制是如何适用于云计算网络,特别是大规模的数据中心。
2017-02-21 cs.DC
Self-assessment approach for resource management protocols in heterogeneous computational systems
针对异构计算系统资源管理方案扩展性不足的问题,提出基于启发式的自评估资源估算方法,支持动态加权、容量计算及资源类型扩展,可适配各类资源分配协议,兼具性能与可扩展性。
2025-08-04 cs.DC
Prefill-as-a-Service: KVCache of Next-Generation Models Could Go Cross-Datacenter
Moonshot AI(月之暗面);Tsinghua University(清华大学)
本文提出PrfaaS架构,通过跨数据中心的预填充服务优化大规模LLM服务,实现异构部署和资源弹性,提升吞吐量和响应速度。
2026-04-22 cs.DC
Active Inference-Based Adaptive Routing for Heterogeneous Edge AI Services
TU Wien(维也纳工业大学);Universitat Pompeu Fabra(庞培法布拉大学)
本文提出AIF-Router框架,通过主动推断实现多层级AI服务的自适应路由,平衡延迟、吞吐量和资源利用率,适用于不稳定边缘环境。
2026-04-19 cs.DC cs.ET cs.PF
Heterogeneous Federated CubeSat System: problems, constraints and capabilities
在过去十年中,对立方体卫星及其应用提出了不同的论点。其中一些解决了无线通信(5G和6 G技术),试图实现更好的覆盖和连接特性。有些人提出了IoST(空间物联网),卫星互联网(IoSat),DSS(分布式空间系统)和FSS(联邦卫星系统)等术语。所有这些都旨在使用小型/纳米卫星作为星座/群,以提供特定的服务,共享未使用的资源,并发展卫星即服务(SaS)的概念。本文的目的是emophasize这样的网络物理系统的性能属性,建模其固有的操作限制,并在最后,评估的服务质量的优点的数字进入/离开的新的异构组成系统,又名卫星,星座。这种“白皮书”风格的工作重点是提出这种异构星座问题的定义,针对其主要功能和约束条件,并提出建模方法,这种系统的表示和评估。
2022-03-08 cs.DC cs.OH
AIvailable: A Software-Defined Architecture for LLM-as-a-Service on Heterogeneous and Legacy GPUs
Computer Science and Communication Research Centre(计算机科学与通信研究中心);Polytechnic University of Leiria(利尔亚理工学院)
针对现有LLM推理框架依赖同构高端GPU、难以适配资源受限场景的问题,提出软件定义LLMaaS平台AIvailable,可充分利用异构及老旧GPU资源实现高可用推理,推动生成式AI普惠。
2025-11-06 cs.AI cs.DC cs.NI
KAIROS: Building Cost-Efficient Machine Learning Inference Systems with Heterogeneous Cloud Resources
Northeastern University(东北大学);MIT(麻省理工学院)
针对云平台上在线推理服务的QoS与成本约束问题,提出新型运行时框架KAIROS,通过无开销构建异构硬件池、最优分配查询,实现吞吐量较同构方案最高提升1倍、较现有最优方案最高提升70%的效果。
2023-05-02 cs.DC cs.LG
PhoenixCloud: Provisioning Resources for Heterogeneous Cloud Workloads
随着越来越多的服务提供商选择云平台,资源提供商需要为不同场景下的异构工作负载提供资源和支持运行时环境(RE)。以前的工作未能解决这个问题,在几个方面:(1)它没有注意到不同的RE要求,并没有使创建协调的RE的需求;(2)很少的工作调查协调的资源供应异构的工作负载。在本文中,我们的贡献有三个方面:(1)我们提出了一个表达不同RE需求的RE协议,并构建了一个创新的系统PhoenixCloud,使资源提供商能够根据RE协议按需创建RE;(2)我们提出了两个协调的资源提供解决方案,用于两个典型的云场景中的异构工作负载:首先,大型组织为两个异构工作负载运行私有云;其次,运行异构工作负载的大型组织或两个服务提供商恢复到公共云;以及(3)在实验中进行了全面评估。对于并行批处理作业和Web服务的典型负载跟踪,我们的实验表明:a)在第一个云场景中,当吞吐量与专用集群系统的吞吐量基本相同时,我们的解决方案将集群的配置大小减少了约40%; b)在第二种情况下,我们的解决方案不仅减少了总资源消耗,而且峰值资源消耗最大为EC2 + RightScale方案的31%。
2010-03-31 cs.DC cs.PF
Function Delivery Network: Extending Serverless Computing for Heterogeneous Platforms
无服务器计算在亚马逊的Lambda平台推出后迅速发展。功能即服务(FaaS)是无服务器计算的关键推动因素,它允许将应用程序分解为在FaaS平台上执行的简单独立功能。FaaS平台负责将资源部署和促进功能。当今的一些云应用程序分布在异构的连接计算资源上,并且在其结构和资源需求方面具有高度动态性。然而,FaaS平台仅限于同构集群和同构功能,并且在调度之前不考虑功能的数据访问行为。我们引入了一个扩展的FaaS异构集群和支持异构功能,通过网络的分布式异构目标平台称为功能交付网络(FDN)。目标平台是同构节点集群和其上的FaaS平台的组合。FDN提供功能交付即服务(FDaaS),将功能交付到正确的目标平台。我们展示的机会,如不同的目标平台的特点,多个目标平台之间的协作执行的可能性,以及本地化的数据,FDN提供在实现两个目标:服务水平目标(SLO)的要求和能源效率时,通过评估超过五个分布式目标平台调度功能使用FDNInspector,我们开发的分布式目标平台的基准测试工具。与高端目标平台上的调度相比,我们评估中的边缘目标平台上的调度功能将总体能耗降低了17倍,而不违反SLO要求。
2021-02-03 cs.DC cs.PF
Distributed Load Balancing in Heterogeneous Systems
本文研究了异构并行服务器系统中的分布式负载均衡问题,其中用户在服务器上的服务速率取决于用户和服务器。这种异质性通常出现在无线网络中(例如,服务器可以表示频带,并且用户的服务速率在频带之间变化)。用户以分布式方式选择服务器。它们最初连接到任意服务器。然而,在随机的时刻,它们可能会探测新服务器上的负载并迁移到那里以提高其服务速率。我们分析了自然的随机本地搜索(RLS)迁移计划下,在\cite{sig10}的系统动力学。在这种方案下,当用户有机会切换服务器时,她只有在这提高了她的服务率时才这样做。RLS下的动态可以被解释为在负载均衡游戏中由策略玩家更新其策略所产生的动态。在封闭系统中,用户人口是固定的,我们表明,这个游戏有纯纳什均衡(NE),我们分析了他们的效率。我们进一步证明,当用户人口增长大,纯网元得到更接近比例公平(PF)分配的用户服务器,我们的特点之间的差距均衡和这种理想的分配取决于用户人口。在RLS算法下,系统收敛到纯NE:我们研究了系统在一定范围内达到PF分配所需的时间。在开放系统中,用户随机进入系统并在服务完成后离开,我们确定RLS算法在任何可能的情况下稳定系统,即,它是吞吐量最优的。
2014-12-06 cs.DC cs.GT
In Cloud, Do MTC or HTC Service Providers Benefit from the Economies of Scale?
在本文中,我们打算回答一个关键的问题,云计算的成功:在云中,许多任务计算(MTC)或高吞吐量计算(HTC)服务提供商,提供相应的计算服务的最终用户,受益于规模经济?我们的研究贡献是三方面的:首先,我们提出了一个创新的使用模型,称为动态服务提供(DSP)模型,MTC或HTC服务提供商。在DSP模型中,资源提供者为MTC或HTC服务提供者提供创建和管理运行环境的服务,并将异构的MTC或HTC工作负载整合到云平台上;其次,根据DSP模型设计并实现了曙光云,提供异构工作负载的自动管理;再次,通过仿真实验对曙光云进行了综合评估。我们发现,对于典型的工作负载,与前两个云解决方案相比,曙光云为服务提供商最大节省了46.4%(HTC)和74.9%(MTC)的资源消耗,为资源提供商最大节省了29.7%的总资源消耗。同时,与传统的通过专用系统提供MTC或HTC服务的解决方案相比,曙光云具有更高的成本效益。为此,我们得出结论,对于典型的MTC和HTC工作负载,在云平台上,MTC和HTC服务提供商以及资源提供商可以从规模经济中受益。
2010-06-21 cs.DC cs.PF
Delay-Optimal Service Chain Forwarding and Offloading in Collaborative Edge Computing
针对协同边缘计算中服务链任务的转发与卸载,本文建立拥塞感知非凸优化模型,并基于 KKT 条件提出可在线适应的多项式时间分布式全局最优算法。
2023-12-09 cs.DC cs.NI
RIBBON: Cost-Effective and QoS-Aware Deep Learning Model Inference using a Diverse Pool of Cloud Computing Instances
Northeastern University(东北大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
深度学习模型推理是许多业务和科学发现流程中的关键服务。本文介绍了RIBBON,一种新型的深度学习推理服务系统,它满足两个相互竞争的目标:服务质量(QoS)目标和成本效益。RIBBON背后的关键思想是智能地使用一组不同的云计算实例(异构实例)来满足QoS目标并最大限度地节省成本。RIBBON设计了一种贝叶斯优化驱动的策略,帮助用户在云计算平台上为其模型推理服务需求构建最佳的异构实例集-并且,RIBBON证明了其优于使用同构实例池的推理服务系统的现有方法。RIBBON为不同的学习模型节省了高达16%的推理服务成本,包括新兴的深度学习推荐系统模型和药物发现使能模型。
2022-07-28 cs.DC cs.LG
Secure Federated Learning Across Heterogeneous Cloud and High-Performance Computing Resources -- A Case Study on Federated Fine-tuning of LLaMA 2
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Argonne National Laboratory(阿贡国家实验室)
本文提出APPFL框架,利用Globus Compute和AWS实现跨云与超算的安全联邦学习,并以微调LLaMA 2 7B模型为例验证其可行性。
2024-02-19 cs.DC cs.LG
Heterogeneous Task Offloading and Resource Allocations via Deep Recurrent Reinforcement Learning in Partial Observable Multi-Fog Networks
随着无线服务和应用变得更加复杂并且需要更快和更高容量的网络,需要基于每个应用的要求来有效地管理日益复杂的任务的执行。在这方面,雾计算能够将虚拟化服务器集成到网络中,并使云服务更接近终端设备。与云服务器相比,雾节点的计算能力有限,因此单个雾节点可能无法执行计算密集型任务。在这种情况下,通过选择合适的节点和适当的资源管理,同时保证用户的服务质量(QoS)要求,任务卸载在雾节点处可以特别有用。研究了多雾节点系统中异构服务任务的联合任务卸载和资源分配控制设计。这个问题被表述为一个部分可观察的随机博弈,其中每个雾节点合作,以最大化聚合的本地奖励,而节点只能访问本地观察。为了处理部分可观测性,我们应用深度递归Q网络(DRQN)方法来近似最优价值函数。然后将该解决方案与深度Q网络(DQN)和深度卷积Q网络(DCQN)方法进行比较,以评估不同神经网络的性能。此外,为了保证神经网络的收敛性和准确性,采用了调整的勘探开发方法。数值结果表明,与基线方法相比,该算法可以获得更高的平均成功率和更低的平均溢出率。
2020-07-21 cs.DC cs.MA eess.SP
Tackling Heterogeneous Traffic in Multi-access Systems via Erasure Coded Servers
现代应用程序生成的大多数数据都存储在云中,访问这些数据并使用它们执行计算的作业量呈指数级增长。数据访问或计算作业的量在不同的作业类型中可能是异构的,并且可能随着时间的推移而不可预测地变化。云服务提供商通过过度配置托管每种作业类型的服务器数量来应对这种需求异构性和不可预测性。在本文中,我们建议增加擦除编码的服务器,可以灵活地服务于多种作业类型,而无需额外的存储成本。我们分析的服务能力区域和响应时间的这种擦除编码系统,并将它们与标准的未编码的复制为基础的系统,目前在云中使用。我们表明,编码扩展了服务容量区域,从而使系统能够处理不同数据类型的需求变化。此外,我们的特点的编码系统的响应时间在不同的到达率制度。该分析表明,即使添加少量的编码服务器也可以显著减少平均响应时间,并且在需求在不同作业类型之间倾斜的情况下大幅减少。
2022-08-15 cs.DC cs.IT cs.PF
FPGAs-as-a-Service Toolkit (FaaST)
高能物理的计算需求已经很密集,预计在未来几年将急剧增加。在这种情况下,异构计算,特别是作为一个服务计算,有可能显着收益超过传统的计算模型。虽然以前在异构计算领域的研究和软件包都集中在GPU作为加速器上,但FPGA也是一个非常有前途的选择。开发了一系列工作流程来建立FPGA作为服务的性能。研究了用于高能物理的多种不同的设备和一系列算法。对于小型密集网络,吞吐量可以相对于GPU作为服务提高一个数量级。对于大型卷积网络,吞吐量与GPU作为服务相当。这项工作代表了第一个开源的FPGA即服务工具包。
2020-10-16 cs.DC hep-ex physics.comp-ph