Latency Optimization for Resource Allocation in Cloud Computing System
最近在不同科学领域的研究导致了对云等高性能计算系统的需求。此类系统设计和实现中的一个关键问题是资源分配,它直接受到节点数量、地理距离和通信延迟等内部和外部因素的影响。在资源分配方法中进行了许多优化,以便通过集中计算、网络和能源资源来实现更好的性能。通信延迟作为网络资源的一种限制,在并行处理(特别是细粒度程序)中一直扮演着重要的角色。本文针对云计算环境下的资源分配问题进行了研究,并在此基础上,结合云计算的通信特性,对常用的资源分配方法进行了优化。因此,我们向资源代理(将资源分配给申请者的实体)添加了一个表来保存以前分配的历史记录。然后,部分基于物流的历史,构造了资源配置的概率矩阵。响应时间被认为是评价所提出的方法的一个指标。结果表明,更好的响应时间,特别是通过增加任务的数量。此外,所提出的方法固有地能够通过测量通信延迟来检测不可用资源。它有助于云系统中的其他问题,如迁移,资源复制和容错。
2016-05-04 cs.DC
Optimal Resource Scheduling and Allocation in Distributed Computing Systems
分布式计算系统的本质是如何调度传入的请求以及如何分配所有计算节点以最小化时间和计算成本。在本文中,我们提出了一个成本意识的最优调度和分配策略的分布式计算系统,同时最小化的成本函数,包括响应时间和服务成本。首先,基于所提出的代价函数,我们同时推导出最优请求调度策略和最优资源分配策略。其次,考虑到请求到达对调度策略的影响,采用加性增乘性减(AIMD)机制对请求到达与调度之间的关系进行建模。特别是,AIMD参数可以设计为使得导出的最佳策略仍然有效。最后,给出了一个数值例子来说明推导的结果。
2021-10-15 cs.DC
Solving Large-Scale Granular Resource Allocation Problems Efficiently with POP
许多计算机系统中的资源分配问题可以用数学优化问题来表示。然而,使用现成的求解器找到这些问题的精确解决方案对于具有严格SLA的大问题大小通常是棘手的,导致系统设计人员依赖于廉价的启发式算法。然而,我们观察到,许多分配问题是粒度的:它们由大量的客户端和资源组成,每个客户端请求资源总数的一小部分,并且客户端可以互换地使用不同的资源。对于这些问题,我们提出了一种替代方法,重复使用原来的优化问题制定,并导致更好的分配比特定领域的竞争。我们的技术,分区优化问题(POP),随机分割成更小的问题(与系统中的客户端和资源的子集),并合并产生的子分配到一个全局分配的所有客户端。我们提供了理论和经验证据,为什么随机分区工作得很好。在我们的实验中,POP实现分配的1.5%内的最佳数量级的改进,在运行时相比,现有的系统集群调度,流量工程,和负载均衡。
2021-10-22 cs.DC
On Storage Allocation for Maximum Service Rate in Distributed Storage Systems
存储分配影响着分布式存储系统的重要性能指标。大多数以前的研究存储分配单独考虑其效果上的成功的数据恢复或服务率(时间),假设没有访问失败发生在系统中。在本文中,我们更进一步,并将访问模型和数据恢复的成功率的服务率分析。特别是,我们专注于准均匀的存储分配,并提供了一个固定大小和概率访问模型在节点上的服务率分析。使用这种分析,然后,我们表明,在个人存储节点的指数等待时间分布的情况下,最小的扩散分配结果在最高的系统服务率为两种访问模型。这意味着,对于给定的存储预算,复制提供的服务率比编码存储解决方案更高。
2016-05-11 cs.DC
Per-Server Dominant-Share Fairness (PS-DSF): A Multi-Resource Fair Allocation Mechanism for Heterogeneous Servers
云计算平台的用户对服务器(物理机或虚拟机)上的多个资源提出不同类型的需求。除了它们的资源容量的差异之外,服务器在它们服务用户的能力方面可能是另外异构的-某些用户的任务可能仅由服务器的子集服务。我们确定了现有的多资源公平分配机制的重要缺点-主导资源公平性(DRF)及其后续工作-在这样的环境中使用时。我们开发了一种新的公平分配机制,称为每服务器主导份额公平性(PS-DSF),我们表明它提供了DRF在单个“资源池”(即,如果所有服务器的资源被一起汇集到一个假设的服务器中)。我们通过仿真来评估PS-DSF的性能。我们的评估表明,增强效率的PS-DSF相比,现有的分配机制。我们认为我们提出的分配机制是如何适用于云计算网络,特别是大规模的数据中心。
2017-02-21 cs.DC
Reproducible experiments on dynamic resource allocation in cloud data centers
在Wolke等人[1]中,我们通过实验比较了不同资源分配策略的效率。我们关注的是动态环境,其中虚拟机需要随着时间的推移分配和释放到服务器。在这篇配套文章中,我们描述了模拟框架,以及如何运行模拟来复制实验或在框架内运行新的实验。
2017-02-28 cs.DC
A QoS aware Novel Probabilistic strategy for Dynamic Resource Allocation
针对云计算、网格等服务计算领域的资源分配问题,提出了一种基于两人博弈的资源分配策略。拟议的战略将把它们分为两类。所提出的系统将预测结果使用先验信息和测量/估计现有的参数,如利用率和延迟在一个最佳的负载平衡的范例。关键词:负载均衡;服务计算;逻辑回归;概率估计
2015-03-24 cs.DC
Power-Aware Allocation of Graph Jobs in Geo-Distributed Cloud Networks
在大数据时代,提交到云的作业呈现出由图表示的复杂结构,其中节点表示每个子任务可以容纳在服务器中的插槽中,而边表示子任务之间的通信约束。我们开发了一个框架,用于在地理分布式云网络(GDCN)中有效地分配图形作业,明确考虑了计算中心(DC)的功耗。我们解决了图作业分配中出现的以下两个挑战:i)分配问题属于NP-难非线性整数规划; ii)分配需要解决NP-完全子图同构问题,这在大规模GDCN中特别麻烦。我们为各种规模的GDCN开发了一套有效的解决方案。对于小规模的GDCN,我们提出了一种基于凸规划的分析方法。对于中等规模的GDCN,我们开发了一个分布式分配算法,利用DC的处理能力并行。之后,我们提供了一种新的低复杂度(分散式)子图提取方法,在此基础上,我们引入云爬虫,旨在为大规模GDCN提取良好潜力的分配。鉴于这些建议的策略,我们进一步研究固定和自适应DC定价方案下的策略选择,并提出了一个在线学习算法。
2019-11-14 cs.DC
Fragment Allocation Configuration in Distributed Database Systems
在分布式数据库(DDB)管理系统中,分片分配是最重要的组成部分之一,直接影响DDB的性能。在这项研究工作中,我们将表明,声明性程序设计语言,例如逻辑程序设计语言,可以用来表示不同的数据片段分配技术。结果表明,使用声明式程序设计语言可以大大简化分片分配算法的表示,从而为进一步的开发和优化打开了大门。正在考虑的案例研究也表明,我们的方法可以扩展到分布式系统的不同领域。
2016-07-20 cs.DB cs.DC
Optimal Joint Multiple Resource Allocation Method for Cloud Computing Environments
云计算是一种模型,用于实现对可配置计算资源的共享池的方便的按需网络访问。为了经济地提供云计算服务,重要的是在所需资源可以从共享资源池中获取的假设下优化资源分配。此外,为了能够提供处理能力和存储容量,需要分配带宽以同时访问它们。提出了一种适用于云计算环境的最优资源分配方法。首先,本文提出了一个云计算环境下的资源分配模型,假设处理能力和带宽同时分配给每个服务请求,并按小时出租。分配的资源专用于每个服务请求。其次,本文在上述资源分配模型的基础上,提出了一种最优联合多资源分配方法。仿真结果表明,与传统的分配方法相比,该方法可以降低请求丢失概率,从而减少所需的资源总量。在此基础上,定义了云计算环境下实现多用户间公平资源分配的基本原则和措施,提出了一种多用户间公平联合资源分配方法。仿真结果表明,该方法能够在不降低资源利用率的前提下,实现多用户间的公平资源分配。关键词:云计算,联合多资源分配,公平性
2011-10-08 cs.DC cs.NI
Tycoon: A Distributed Market-based Resource Allocation System
像Grid和PlanetLab这样的P2P集群在原则上为计算提供了与Internet为网络提供的相同的统计复用效率增益。未解决的关键问题是资源分配。现有的解决方案在经济上并不高效,并且需要高延迟来获取资源。我们设计并实现了基于拍卖份额调度算法的基于市场的分布式资源分配系统Tycoon。初步结果表明,Tycoon实现了低延迟和高公平性,同时为策略用户提供了讲真话的激励。
2004-04-05 cs.DC cs.MA
Modeling of Resource Allocation Mechanisms in Distributed Computing Systems using Petri Nets and Stochastic Activity Networks (SAN): a Review and Reo-based Suggestion
资源分配是分布式系统中的关键问题。确定系统的资源分配机制是系统机制设计的关键步骤,对系统获得期望的效率至关重要,对预测和防止死锁也至关重要。Petri网的各种模型(随机PN,着色PN,广义PN等)用于建模、仿真、执行和解决资源分配问题。SAN模型用于对与资源分配相关的问题进行建模。首先,我们将介绍与这些模型有关的基本概念和资源分配问题(导言章),然后,我们将研究Petri网和SAN模型在分布式计算系统或基于它们的系统中的一些应用。最后,将总结问题和调查结果。
2021-03-12 cs.DC cs.SE
Distributed Multi-resource Allocation with Little Communication Overhead
我们提出了一个分布式算法来解决一个特殊的分布式多资源分配问题,没有直接的智能体通信。我们这样做是通过扩展最近推出的加法增加乘法减少(AIMD)算法,它只使用很少的系统和代理之间的通信。也就是说,每当所分配的资源之一超过容量时,控制单元就向代理广播一比特信号。然后,代理以概率的方式对该信号做出响应。在该算法中,每个代理不知道其他代理的资源分配。我们还提出了一个版本的AIMD算法的多个二进制资源(例如,停车位)。二进制资源是不可分割的单位需求资源,每个代理要么分配一个单位的资源,要么不分配。在实证结果中,我们观察到,在这两种情况下,平均分配随着时间的推移收敛到最优分配。
2017-11-06 cs.DC math.OC
A Price-Anticipating Resource Allocation Mechanism for Distributed Shared Clusters
在本文中,我们制定了固定预算的资源分配游戏,以了解一个分布式的基于市场的资源分配系统的性能。多个用户决定如何分配他们的预算(投标)之间的多台机器根据他们的个人喜好,以最大限度地提高他们的个人效用。我们在均衡时同时考虑分配的效率和公平性,其中公平性通过效用均匀性和无嫉妒性的度量来评估。我们通过分析和模拟表明,尽管是高度分散的,这样的系统收敛到一个均衡,不像社会最优,实现高效率,但公平性差,建议的分配方案实现了很好的平衡,高程度的效率和公平的均衡。
2005-02-04 cs.DC cs.GT
Game theory and Evolutionary-optimization methods applied to resource allocation problems in emerging computing environments: A survey
当今的智能计算环境,包括物联网、云计算和雾计算,使世界各地的许多组织能够在时间和能源消耗方面优化其资源分配。由于用户利用资源的敏感条件和数据的实时性质,全面和综合的计算环境还不能为适当的资源分配提供稳健和可靠的能力。虽然,在低容量硬件资源系统中的传统资源分配方法对于小规模资源提供者是有效的,但是对于处于动态计算资源和获得资源的激烈竞争条件下的复杂系统,它们不具有开发和自适应地最优管理条件的能力。为了解决这个问题,计算智能技术试图以最小的时间延迟和能量消耗来优化资源分配。因此,本研究的目的是根据最新的科学研究成果,在博弈论和进化优化理论的指导下,对云、雾和物联网等新兴计算环境下的资源分配问题进行全面系统的研究。
2021-02-20 cs.DC cs.GT
A Multi-Agent System Approach to Load-Balancing and Resource Allocation for Distributed Computing
在这项研究中,我们使用一个分散的计算方法来分配和调度任务的大规模分布式网格。该算法利用多智能体系统的涌现特性,动态地创建和分离集群,以满足全局任务队列不断变化的资源需求。该算法相比,一个标准的先进先出(FIFO)调度算法。仿真实验表明,分布式资源分配协议(dRAP)算法在队列清空时间、平均等待时间和CPU利用率等方面优于FIFO调度算法。这种分散式计算方法有望用于大规模分布式处理场景,如SETI@home和Google MapReduce。
2015-09-21 cs.DC cs.NE
Resource Allocation in a Network-Based Cloud Computing Environment: Design Challenges
云计算是一种日益流行的计算范例,现在证明是效用计算服务的必要性。每个提供商都提供独特的服务组合,并提供一系列资源配置。以全面的方式为云服务提供资源对于任何资源分配模型都至关重要。任何模型都应该同时考虑计算资源和网络资源,以准确地表示和服务于实际需求。在配置资源时应考虑的另一个方面是能耗。这方面越来越受到业界和政府的关注。支持绿云的呼声越来越高。考虑到这一点,资源分配算法旨在完成在数据中心服务器上调度虚拟机的任务,然后在遵守问题约束的同时在可用的网络路径上调度连接请求。介绍了影响资源分配模型性能的几个外部和内部因素。这些因素进行了详细讨论,并指出了研究的差距。设计挑战进行了讨论,旨在提供一个参考时,设计一个全面的能源感知资源分配模型的云计算数据中心。
2013-09-04 cs.DC cs.NI
A Survey on Time-Sensitive Resource Allocation in the Cloud Continuum
人工智能(AI)和物联网(IoT)应用在当今世界迅速增长,它们不断连接到互联网,并在设备和环境之间处理,存储和交换信息。由于其固有的计算密集型和资源受限的性质,云和边缘平台对这些应用程序至关重要。云和边缘资源分配的最大挑战之一是有效管理计算和通信资源,以满足应用程序的性能和延迟保证。云资源(处理器、内存、存储、带宽)的异构性、可变的成本结构和不可预测的工作负载模式使得资源分配技术的设计变得复杂。为了解决这个复杂的问题,已经进行了许多研究。在本文中,目前国家的最先进的资源分配技术的云连续体,特别是那些考虑时间敏感的应用程序,进行审查。此外,我们提出了云连续体的资源分配问题中的关键挑战,对现有文献进行分类的分类法和潜在的研究空白。
2020-04-30 cs.DC cs.NI
Stochastic Qubit Resource Allocation for Quantum Cloud Computing
量子云计算是用于有效地供应量子资源(即,qubit)给用户。在量子云计算中,量子云提供商为用户提供预订和按需计划的量子资源。从字面上看,预留计划中的量子资源成本预计将比按需计划中的量子资源成本更便宜。然而,预留计划中的量子资源必须预先预留,而没有关于预先需要量子线路的信息,因此,资源不足,即,预订不足。因此,按需计划中的量资源可用于补偿所需的未满足的量资源。为此,我们提出了一种量子云计算系统的量子资源分配,其中量子资源和量子线路的最小等待时间联合优化。特别地,目标是在关于量子比特要求和量子线路的最小等待时间的不确定性下最小化量子线路的总成本。在实验中,量子傅里叶变换的实际电路被用来评估所提出的量子比特资源分配。结果表明,所提出的量子比特资源分配可以实现最优的总成本。
2023-01-11 cs.DC quant-ph
Distributed Dual Gradient Tracking for Resource Allocation in Unbalanced Networks
提出了一种分布式双梯度跟踪算法(DDGT)来解决不平衡网络中的资源分配问题,网络中的每个节点都拥有一个私有的代价函数,只与相邻节点交互来计算最优资源。我们的核心思想是新的使用分布式推挽梯度算法(PPG)来解决资源分配问题的对偶问题。为了研究DDGT的收敛性,我们首先建立了非凸目标函数的PPG的次线性收敛速度,这改进了现有的关于PPG的结果,因为它们要求目标函数的强凸性。然后证明了对于强凸和Lipschitz光滑的代价函数,DDGT是线性收敛的,而在不满足Lipschitz光滑的条件下,是次线性收敛的.最后,实验结果表明,DDGT优于现有的算法。
2020-08-23 cs.DC eess.SP
SARA: Self-Aware Resource Allocation for Heterogeneous MPSoCs
在现代异构MPSoC中,共享存储器资源的管理对于提供端到端QoS至关重要。以前的框架要么专注于单一的QoS目标,要么以相对较慢的时间尺度在CPU应用程序之间分配可分区的资源。然而,异构MPSoC通常需要来自存储器系统的即时响应,其中大多数资源不能被分区。此外,异构MPSoC中不同内核的健康状况通常由不同的性能目标来衡量。在这项工作中,我们提出了一个自感知资源分配(SARA)的异构MPSoC框架。基于优先级的自适应允许内核使用不同的目标性能并自我监控其自身的内在健康状况。作为响应,系统基于优先级分配不可分区的资源。所提出的框架,满足了不同的QoS需求,从异构的核心。
2018-04-05 cs.AR cs.DC
On Distributed Storage Allocations of Large Files for Maximum Service Rate
在分布式存储系统中分配(冗余)文件块会影响重要的性能指标,例如文件恢复的概率、数据下载时间或给定数据访问模型下的系统服务速率。本文研究了在存储数据量较大且下载时间不可忽略的情况下的服务速率。我们专注于准统一的存储分配,并提供了两种常见的数据访问模型的服务率分析。我们发现,根据不同的系统参数的最优分配。在下载时间不随数据大小缩放的假设下,情况并非如此,其中最小扩展分配先前被发现是普遍最优的。
2018-08-08 cs.DC cs.IT math.IT
Distributed and Optimal Reduced Primal-Dual Algorithm for Uplink OFDM Resource Allocation
正交频分复用(OFDM)是许多新兴的宽带无线接入标准的关键组成部分。然而,OFDM上行链路中的资源分配由于用户的服务质量要求、信道条件和个体资源约束的异质性而具有挑战性。我们制定的资源分配问题作为一个非严格凸优化问题,通常有多个全局最优解。然后,我们提出了一个简化的原始-对偶算法,这是分布式的,低计算复杂性,并可能全局收敛到一个全局最优解。通过一个实际的OFDM仿真器研究了该算法的性能。与以前提出的集中式优化算法相比,我们的算法不仅显着减少了消息开销,而且需要更少的迭代收敛。
2010-12-22 cs.CC cs.DC cs.NI