QoS-aware energy-efficient workload routing and server speed control policy in data centers: a robust queueing theoretic approach
运营云服务基础设施需要高能效,同时确保令人满意的服务水平。出于数据中心,我们认为工作负载路由和服务器速度控制政策适用于系统运行在波动的需求。动态控制算法通常比静态控制算法更节能。然而,它们通常需要在路由器和服务器之间进行频繁的信息交换,这使得数据中心的管理层在部署这些算法时犹豫不决。本研究提出一种静态路由与伺服器速度控制策略,可达到类似动态演算法的能源效率,并消除资源间频繁通讯的必要性。我们采取了一个强大的响应时间约束的服务质量(QoS)条件下的决策理论方法。每个服务器被建模为一个G/G/1处理器共享队列,和不确定性集的概念定义的域的随机原语。我们从不确定集合中推导出逗留时间的近似上界,并提出了一种近似的逗留时间分位数估计方法。数值实验表明,与动态算法相比,所提出的静态策略提供了有竞争力的解决方案。
2023-03-03 cs.PF math.OC
Infinite Server Queueing Networks with Deadline Based Routing
出于互联网服务的超时,我们认为网络中的无限服务器队列的路由决策是基于最后期限。具体地,在网络中的每个节点处,总服务时间等于若干独立服务时间中的最小值(例如,完成交易所需的时间量和最后期限中的最小值)。此外,路由决策取决于哪个独立服务时间达到最小值(例如,超过最后期限将要求客户被路由,以便他们可以重新尝试交易)。由于目前的路由决策是依赖于过去的服务时间,现有的理论产品形式的连锁网络不适用。尽管如此,我们还是能够证明这样的网络具有乘积形式的平衡分布。我们验证了我们的分析表征与一个简单的网络的模拟。我们还讨论了这项工作的扩展到更一般的设置。
2016-09-16 cs.PF math.PR
Stabilization of Branching Queueing Networks
并行网络在并行计算机系统的性能分析中越来越受到重视。一个杰克逊网络是一组互连的服务器,在服务器i的工作完成可能会导致在服务器j创建一个新的工作,我们建议扩展杰克逊网络的“分支”和“控制”功能。这两个扩展都是新的,大大扩展了杰克逊网络的建模能力。另一方面,扩展提出了计算问题,特别是关于网络的稳定性,即底层马尔可夫链的遍历性。我们证明了我们的扩展模型,它是可判定的多项式时间,如果存在一个控制器,实现稳定。此外,如果这样的控制器存在,可以有效地计算一个静态随机控制器,稳定的网络在一个非常强的意义,特别是,所有的时刻的队列大小是有限的。
2011-12-05 cs.PF
Waiting times in queueing networks with a single shared server
我们研究了一个排队网络,它有一个共享服务器,以循环顺序服务于队列。外部顾客到达队列服从独立的泊松过程。完成服务后,客户要么离开系统,要么被路由到另一个队列。该模型是非常通用的,并发现在计算机系统,通信网络,制造系统和机器人技术中的许多应用。所介绍的网络的特殊情况包括著名的轮询模型,串联排队,系统与一个等候室,多阶段模型与并行队列,以及许多其他。该模型的一个复杂因素是,内部重新路由的客户不根据泊松过程到达各个队列,导致标准技术找到等待时间分布失败。本文提出了一种新的方法,得到稳态等待时间分布的Laplace-斯蒂尔切斯变换的精确表达式。该方法可以应用于各种各样的模型,缺乏等待时间分布的分析,直到现在。
2014-08-01 cs.PF math.PR
Tandem Queueing Systems Maximum Throughput Problem
本文研究了串列式排种系统的最大通过量问题。我们将这个系统建模为一个拟生灭过程。为了做到这一点,我们将级别命名为在第一个缓冲区中等待的客户数量(包括服务中的客户),我们将阶段称为重新挖掘服务器的状态。使用这个模型,我们研究了系统的最大吞吐量问题:一个给定的系统可以支持的最大到达率变得饱和之前,或不稳定。我们考虑了不同的特殊情况下,这样的系统,这是通过修改中间缓冲区的容量,到达率和服务率。模拟结果在我们的论文中,可以归纳为以下结论:1。当服务器数量增加2时,系统最大吞吐量的解析公式趋于复杂。系统的最大吞吐量随着服务器数量的增加而收敛。同质的情况下,揭示了一个有趣的特点:如果我们颠倒的顺序的服务器,系统的最大吞吐量保持不变的QBD过程用于泊松到达的情况下,可以扩展到模型更一般的到达过程。
2015-12-18 cs.PF
Infinite-server queueing model with MAPkGk Markov arrival streams, random volume of customers in random environment subject to catastrophe
本文研究了具有k个马尔可夫到达流、随机顾客资源和灾变的半马尔可夫随机环境中的无限服务台排队模型。在灾难发生后,模型中的所有客户被闪出,系统跳转到恢复站。经过恢复时间后,模型将从空状态开始工作。给出了t时刻模型中不同类型客户数、某区间内不同类型客户服务数、t时刻模型中累积资源量的瞬态和稳态联合分布,得到了无灾变时模型在一个区间内的服务资源总量和服务资源总量,并给出了模型中不同类型客户数的瞬态和稳态联合分布对具有突变的模型,得到了t时刻的累积资源量以及t时刻的累积资源量和t时刻的累积资源量的矩。所有结果都是用但泽集体评分法和更新理论方法得到的。
2018-05-23 cs.PF math.PR
Optimizing Stochastic Scheduling in Fork-Join Queueing Models: Bounds and Applications
Fork-Join(FJ)并行化模型捕获同步约束下的系统并行化的动态,例如,用于诸如MapReduce、多路径传输和RAID系统的应用。到达的作业首先被分成任务并映射到服务器上执行,这样一个作业只能在它的所有任务都被执行时才能离开系统。在本文中,我们提供了可计算的随机界的等待和响应时间分布的异构FJ系统下的一般并行化的好处。我们的主要贡献是一个广义的概率服务器调度策略的数学框架,其基本特征是利用服务器的数量的概率分布,及其优化。我们强调了由于并行化和FJ固有的同步惩罚的缩放效益之间的权衡。此外,我们提供了最佳的调度策略,任意缩放制度,映射到不同级别的并行化的好处。从我们的研究结果中获得的一个值得注意的见解是,不同的应用程序具有不同的并行化优势,导致不同的最佳策略。最后,我们补充我们的分析结果,将它们应用到各种应用程序中,显示所提出的调度策略的最优性。
2017-02-02 cs.PF
On the tradeoff of average delay, average service cost, and average utility for single server queues with monotone policies
在这篇论文中,我们研究了单服务器排队模型在有接纳控制和没有接纳控制的情况下,平均延迟、平均服务成本和平均效用的最优折衷。我们考虑的连续时间和离散时间延迟模型是由噪声点到点链路的跨层模型驱动的,具有随机数据包到达。我们研究了一类单调平稳的容许策略的上述权衡问题,并得到了最小平均延迟作为平均服务成本和平均效用约束的函数的渐近特征。
2015-03-22 cs.PF
A Foreground-Background queueing model with speed or capacity modulation
在稳定状态下研究的模型涉及两个队列,这是由一个单一的服务器,其速度取决于目前的工作数量,或由几个并行服务器的数量可以动态控制。作业服务时间具有两阶段Coxian分布,第二阶段的优先级低于第一阶段。持有成本和能源消耗成本之间的权衡检查通过一个合适的成本函数。精确求解了两个不同的二维马尔可夫过程。在几个数值实验中使用的解决方案。观察到一些反直观的结果。
2021-12-02 cs.PF math.PR
Stability and Optimization of Speculative Queueing Networks
针对现有推测式作业执行机制性能与优化研究不足的问题,提出带超时机制的排队网络模型,推导了稳定性充要条件、最优推测时间公式,发现中重负载下推测机制优于复制方案。
2021-09-06 cs.PF math.PR
RL-QN: A Reinforcement Learning Framework for Optimal Control of Queueing Systems
Massachusetts Institute of Technology(麻省理工学院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
随着信息技术的快速发展,网络系统变得越来越复杂,因此底层系统动力学往往是未知的或难以描述的。找到良好的网络控制策略对于实现期望的网络性能(例如,高吞吐量或低延迟)。在这项工作中,我们考虑使用基于模型的强化学习(RL)学习的最优控制政策,使网络的平均作业延迟(或相当于平均队列积压)最小化。然而,RL中的传统方法无法处理网络控制问题的无界状态空间。为了克服这一困难,我们提出了一种新的算法,称为强化学习的嵌入式网络(RL-QN),它适用于基于模型的RL方法的状态空间的有限子集,而应用一个已知的稳定政策的其余状态。我们建立了RL-QN下的平均排队积压与适当构造的子集可以任意接近的最优结果。我们评估RL-QN在动态服务器分配,路由和切换问题。仿真结果表明,RL-QN能有效地最小化平均排队积压。
2022-04-07 cs.LG cs.PF
Flexible Queueing Architectures
我们研究了一个多服务器模型与$n$灵活的服务器和$n$队列,连接通过一个二部图,其中的灵活性水平被捕获的图形的平均度,$d_n$。数据中心内容复制、呼叫中心基于技能的路由以及灵活的供应链应用是我们的主要动机。我们专注于缩放制度的系统大小$n$趋于无穷大,而整体流量强度保持不变。我们表明,一个大的容量区域和渐近消失的排队延迟是同时实现的,即使在有限的灵活性($d_n \ll n$)。我们的主要研究结果表明,当$d_n\gg \ln n$,一个家庭的扩展图为基础的灵活性架构有一个容量区域,是在一个恒定的因素的最大可能的,同时确保减少所有的到达率矢量的延迟在容量区域。我们的分析是围绕一类新的虚拟队列为基础的调度策略,依赖于动态构建的作业到服务器的分配连接图。为了进行比较,我们还分析了一个自然的模块化架构,这是简单的,但可证明较弱的性能。
2017-02-06 cs.NI cs.PF math.PR
Achieving Zero Asymptotic Queueing Delay for Parallel Jobs
在大规模计算系统中,零延迟是非常理想的。现有的工作已经表明,它可以渐近地实现通过使用著名的电源的$d$选择(pod)的政策与探测开销$d = ω\left(\frac{\log N}{1-λ}\right)$,这是不可能的,当$d = O\left(\frac{1}{1-λ}\right)$,其中$N$是服务器的数量和$λ$是系统的负载。然而,这些结果是基于模型,其中每个作业是一个不可分割的单元,这并没有捕捉到在今天的主流并行计算范式的并行结构的作业。因此,本文考虑了一个模型,其中每个作业由一批并行任务。在此模型下,我们提出了一个新的零(渐近)延迟的概念,要求在一个策略下的作业延迟接近其任务的服务时间的最大值,即,作业延迟假设其任务在到达时立即进入服务。这个概念量化的影响,在一个工作水平上的工作由多个任务,从而偏离了传统的零排队延迟单任务的工作在文献中。我们表明,零延迟并行作业可以实现使用批填充政策(著名的豆荚政策的变体)与探测开销$d = ω\left(\frac{1}{(1-λ)\log k}\right)$在次Halfin-惠特重交通制度,其中$k$是在每个作业的任务数{和$k$适当的规模与$N$(服务器的数量)}。这一结果表明,对于并行作业,可以实现零延迟与较小的探测开销。我们还建立了一个不可能的结果:我们表明,零延迟不能实现,如果$d = \exp\left({o\lef…
2020-10-31 cs.PF
On the Age of Status Updates in Unreliable Multi-Source M/G/1 Queueing Systems
PSG College of Technology(PSG理工学院);University of Alberta(阿尔伯塔大学);Nazarbayev University(纳扎尔巴耶夫大学);Institute for Research in Fundamental Sciences(基础科学研究所);University of Tehran(德黑兰大学);Jinan University(暨南大学)
针对存在服务器故障的多源M/G/1排队更新系统,采用补充变量法推导各信源平均信息年龄的闭式表达式,并通过数值实验验证了所提数据包服务策略的有效性。
2022-10-31 cs.NI cs.PF
On Delay-Optimal Scheduling in Queueing Systems with Replications
在现代计算机系统中,作业被分成短任务并并行执行。在实际系统中的经验观察表明,任务服务时间是高度随机的,作业服务时间是由最慢的离散任务检查。一个常见的解决方案是在多个服务器上复制一个任务,并等待任务的一个副本提前完成。复制的延迟性能在很大程度上取决于何时复制、在哪个服务器上复制以及首先服务哪个作业的调度决策。到目前为止,很少有人了解如何优化这些调度决策,以最大限度地减少延迟完成的工作。在本文中,我们提出了一个全面的研究集中式和分布式多服务器系统中的延迟最优调度的副本。低复杂度的调度策略的设计,并被证明是延迟最优或接近延迟最优的随机排序之间的因果关系和非抢占式的政策。这些理论结果建立一般的系统设置和延迟度量,允许任意到达过程,任意的作业大小,任意的到期时间,和异构服务器与数据本地化的限制。新的样本路径工具的开发,以证明这些结果。
2017-02-06 cs.DC cs.IT cs.NI
Covert queueing problem with a Markovian statistic
基于隐通信框架,我们考虑了一个具有马尔可夫统计量的隐通信问题。Willie作业根据泊松过程到达,并需要服务器Bob的服务。Bob没有等待作业的队列,因此当服务器繁忙时,到达Willie的作业会丢失。威利和鲍勃签订了一份合同,根据合同,鲍勃只能为威利工作。作为使用统计的一部分,对于连续到达的N个作业的序列,Bob通知Willie每个作业是被提供还是丢失(这是马尔可夫统计)。假设鲍勃违反了合同,并根据泊松过程承认非威利(Nillie)的工作。对于这样的设置,我们确定的假设检验进行(马尔可夫数据)威利检测存在或不存在的Nillie工作。我们还刻画了到达率上界的Nillie工作,使威利的假设检验中的误差是任意大的,确保隐蔽性承认Nillie工作。
2021-09-13 cs.IT cs.PF math.IT
When Queueing Meets Coding: Optimal-Latency Data Retrieving Scheme in Storage Clouds
在本文中,我们研究了利用多个并行线程来减少从云存储系统下载数据的延迟的问题,假设数据已经使用具有参数(n,k)的固定速率前向纠错(FEC)码编码并存储在云中。也就是说,每个文件被分成k个大小相等的块,然后将其扩展成n个块,使得n个块中的任何k个块都足以成功恢复原始文件。该模型可以描述为一个多服务器队列与数据检索请求的到来和服务器对应的线程。然而,这不是一个典型的挂起模型,因为服务器可以终止其操作,这取决于其他服务器何时完成其服务(由于跨线程分布的冗余)。因此,据我们所知,对这一模型的分析仍然是未知的。Amazon S3最近的跟踪显示,检索固定大小块的时间是随机的,可以近似为恒定延迟加上i.i.d.。指数分布随机变量为了便于理论分析,我们假设块下载时间是i.i.d.。呈指数分布在此假设下,我们证明了当k = 1时,在所有的在线调度方案中,任何工作守恒方案都是延迟最优的。当k > 1时,我们发现一个简单的贪婪方案,它将所有可用的线程分配给行首请求,是所有在线调度方案中延迟最优的。我们也提供了一些数值结果,指出指数假设的局限性,并提出进一步的研究方向。
2014-04-26 cs.DC cs.IT cs.NI
Non-asymptotic near optimal algorithms for two sided matchings
考虑了一个双边匹配系统,其中服务器被假定为以固定的速率到达,而客户的到达率通过价格控制机制进行调制。我们分析了一个损失模型,其中客户谁不立即到达被封锁,以及一个排队模型,其中客户排队等待,直到他们收到服务。其目标是最大化平台利润产生的匹配服务器和客户,受到服务质量的约束,如预期等待时间的服务器在损失制系统模型,和稳定性的客户队列中的排队模型。对于损失制系统,在一定的松弛条件下,我们证明了最优策略具有bang-bang结构。我们还得到了简单的定价政策的近似保证。对于非线性系统,我们提出了一个简单的双模态匹配策略,并证明了它可以获得接近最优的利润。
2022-07-24 cs.PF math.OC
Sharp Waiting-Time Bounds for Multiserver Jobs
本文研究多服务器作业在重负载扩展机制下的延迟性能,建立平均等待时间的尖锐上下界,刻画FCFS策略的精确阶,并证明最小需求优先(SNF)策略可达到所有策略的下界。
2023-04-13 cs.PF math.PR
Energy-performance tradeoffs in server farms with batch services and setup times
Graduate School of Science and Technology, University of Tsukuba(筑波大学理工学研究科);Institute of Systems and Information Engineering, University of Tsukuba(筑波大学系统信息工学研究院)
针对数据中心空闲服务器能耗浪费问题,提出带批处理策略的设置队列模型M/M/c/SET--BATCH,通过批量服务与设置时间权衡节能和性能,仿真显示设置时间变异系数大时更优,且允许空闲延迟关闭可提升性能。
2026-10-06 cs.PF math.PR
Exact Analytical Model of Age of Information in Multi-source Status Update Systems with Per-source Queueing
本文针对带逐源排队的多源状态更新系统,基于马尔可夫流队列理论提出解析模型,得到两种调度策略下各信源信息年龄的精确分布,并提出ESFS策略,数值实验验证其在平均AoI和年龄违规概率上更优。
2021-10-28 cs.IT cs.PF math.IT
Queuing Theoretic Analysis of Power-performance Tradeoff in Power-efficient Computing
本文从排队论的角度研究了高能效计算的功耗与性能的关系。我们调查了几个系统操作的相互作用,包括处理速度,系统开/关的决定,和服务器农场的大小。我们发现,在节能操作中通常存在“最佳点”:存在处理速度和系统设置的最佳组合,可以最大限度地提高能效。对于单服务器的情况下,广泛部署的阈值机制进行了研究。我们发现,存在最佳的处理速度和阈值对,最大限度地减少功耗。这适用于具有工作重复的阈值机制。对于多服务器的情况下,它表明,存在最佳的处理速度和服务器农场的大小组合。
2013-03-06 cs.PF math.PR
Dynamic scheduling in a partially fluid, partially lossy queueing system
我们认为一个单一的服务器排队系统与两类工作:渴望工作与小尺寸,需要服务,几乎立即开始抵达后,和宽容的工作与较大的尺寸,可以等待服务。虽然阻塞概率是相关的性能指标的渴望类,宽容类的目的是尽量减少其平均逗留时间。在本文中,我们讨论了动态调度策略下的每个类的性能,其中两个类的调度取决于系统的瞬时状态。这种分析是在一定的流动性限制下进行的,其中渴望类的到达率和服务率被缩放到无穷大,保持所提供的负载恒定。我们的性能表征揭示了一个(动态)伪守恒定律,它将两个类的性能与渴望类的独立阻塞概率联系在一起。此外,性能对于调度策略的其他细节是鲁棒的。我们还描述了在相同的流体限制下的性能向量的可实现区域的帕累托前沿,并确定(两个参数)类帕累托完全调度策略。
2021-12-23 cs.PF math.OC