Efficient Reinforcement Learning for Routing Jobs in Heterogeneous Queueing Systems
Carnegie Mellon University(卡内基梅隆大学)
针对异构多服务器排队系统作业路由问题,提出基于策略梯度的ACHQ算法,采用低维软阈值参数化利用排队结构,在双服务器特例下收敛至近似全局最优,期望响应时间较贪婪策略改善约30%。
2024-04-22 cs.LG cs.PF
Waiting times in queueing networks with a single shared server
我们研究了一个排队网络,它有一个共享服务器,以循环顺序服务于队列。外部顾客到达队列服从独立的泊松过程。完成服务后,客户要么离开系统,要么被路由到另一个队列。该模型是非常通用的,并发现在计算机系统,通信网络,制造系统和机器人技术中的许多应用。所介绍的网络的特殊情况包括著名的轮询模型,串联排队,系统与一个等候室,多阶段模型与并行队列,以及许多其他。该模型的一个复杂因素是,内部重新路由的客户不根据泊松过程到达各个队列,导致标准技术找到等待时间分布失败。本文提出了一种新的方法,得到稳态等待时间分布的Laplace-斯蒂尔切斯变换的精确表达式。该方法可以应用于各种各样的模型,缺乏等待时间分布的分析,直到现在。
2014-08-01 cs.PF math.PR
On Optimal Server Allocation for Moldable Jobs with Concave Speed-Up
针对可并行、凹加速比作业在多服务器系统中的分配问题,提出一种简单方案,使被接受作业平均执行时间最优,并在大规模及异构负载下保证阻塞概率趋零。
2024-04-15 cs.DC cs.PF math.PR
Pareto-Optimal Scheduling in the Half-batch Multiserver-job Model
Northwestern University(西北大学)
研究大规模计算系统中异构服务器分配问题,引入半批多服务器作业框架,证明该模型中大作业平均响应时间和小作业吞吐量的帕累托前沿由护航策略及相邻策略凸组合生成,结果通用且非渐近。
2026-09-15 cs.PF math.PR
Optimality of a Threshold Policy for a Queueing System with One Fast Server and Two Identical Slow Servers
Carnegie Mellon University(卡内基梅隆大学);University of Illinois(伊利诺伊大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
研究具有一个快速服务器和两个相同慢速服务器的排队系统最优控制问题,证明阈值策略最优,核心技术思想由GPT-5.5 Pro生成,作者验证证明并改写论文,关键引理在Lean 4中得到验证。
2026-07-28 cs.PF math.OC math.PR
SPLIT: SymPathy for Large jobs Improves Tail latency
Carnegie Mellon University(卡内基梅隆大学)
本文研究了具有重尾任务大小的M/G/n多服务器队列的渐近响应时间尾部性能,提出了一种对大任务略加同情的强尾优化调度策略,解决了多服务器系统中尾部延迟优化问题。
2026-10-20 cs.PF math.PR
Covert Cycle Stealing in a Single FIFO Server
考虑这样一种设置:Willie生成一个泊松作业流,并将它们路由到遵循先进先出原则的单个服务器。假设有一个对手爱丽丝,她希望在不被发现的情况下接受服务。我们提出这样一个问题:她可以秘密地接受多少工作,也就是说,不被威利发现?在Willie和Alice作业都具有指数服务时间的情况下,其速率分别为$μ_1$和$μ_2$,当Alice采用在服务器空闲时概率性地插入单个作业的策略时,我们演示了一个相变:在$n$繁忙期间,她可以实现隐蔽吞吐量,该吞吐量由隐蔽插入的作业的预期数量来测量,当$μ_1 < 2μ_2$时,$\mathcal{O}(\sqrt{n})$,当$μ_1 = 2μ_2$时,$\mathcal{O}(\sqrt{n/\log n})$,和$\mathcal{O}(n^{μ_2/μ_1})$,当为$μ_1 > 2μ_2$时。当Willie和Alice的作业都有一般服务时间时,我们为Alice可以秘密执行的作业数量建立一个上限。这个界限与Fisher信息有关。还讨论了更一般的插入策略。
2021-05-04 cs.PF math.PR
Infinite-server queueing model with MAPkGk Markov arrival streams, random volume of customers in random environment subject to catastrophe
本文研究了具有k个马尔可夫到达流、随机顾客资源和灾变的半马尔可夫随机环境中的无限服务台排队模型。在灾难发生后,模型中的所有客户被闪出,系统跳转到恢复站。经过恢复时间后,模型将从空状态开始工作。给出了t时刻模型中不同类型客户数、某区间内不同类型客户服务数、t时刻模型中累积资源量的瞬态和稳态联合分布,得到了无灾变时模型在一个区间内的服务资源总量和服务资源总量,并给出了模型中不同类型客户数的瞬态和稳态联合分布对具有突变的模型,得到了t时刻的累积资源量以及t时刻的累积资源量和t时刻的累积资源量的矩。所有结果都是用但泽集体评分法和更新理论方法得到的。
2018-05-23 cs.PF math.PR
A Foreground-Background queueing model with speed or capacity modulation
在稳定状态下研究的模型涉及两个队列,这是由一个单一的服务器,其速度取决于目前的工作数量,或由几个并行服务器的数量可以动态控制。作业服务时间具有两阶段Coxian分布,第二阶段的优先级低于第一阶段。持有成本和能源消耗成本之间的权衡检查通过一个合适的成本函数。精确求解了两个不同的二维马尔可夫过程。在几个数值实验中使用的解决方案。观察到一些反直观的结果。
2021-12-02 cs.PF math.PR
On the Performance of Large Loss Systems with Adaptive Multiserver Jobs
本文研究自适应多服务器作业在丢失系统中的最优分配,证明当抽样子集大小k(n)=ω(n^α)时,可实现与全系统访问相同的渐近性能,包括零阻塞和最大加速。
2023-08-31 cs.PF math.PR
MDS coding is better than replication for job completion times
在一个多服务器系统中,如果调度器不能查询作业的状态,那么怎样才能获得比随机分配作业更好的性能呢?最近提出了一种复制策略,其中每个到达作业的$d$副本被发送到随机选择的服务器。作业的完成时间是其任何副本的服务首次完成的时间。完成后,从其他队列中删除作业的冗余副本,以免系统负担过重。对于数字作业,其中要服务的对象可以代数操作,并且对于输出是其输入的线性函数的服务器,在这里我们考虑一种替代策略:最大距离可分离(MDS)代码。对于到达的每一批$n$数字作业,在实数或大的有限域上创建$n+m$线性组合,并且每个编码作业被发送到随机服务器。批量完成时间是第一次提供$n+m$编码作业中的任何$n$,因为可以通过高斯消除来恢复对$n$原始作业的评估。如果冗余作业可以从队列中删除批量完成,我们建立,为了得到改善的响应时间性能发送$d$副本的每个$n$作业通过复制策略,与MDS方法,它足以发送$n+d$作业。也就是说,虽然复制是乘法的,但MDS是线性的。
2019-12-08 cs.PF math.PR
Dynamic scheduling in a partially fluid, partially lossy queueing system
我们认为一个单一的服务器排队系统与两类工作:渴望工作与小尺寸,需要服务,几乎立即开始抵达后,和宽容的工作与较大的尺寸,可以等待服务。虽然阻塞概率是相关的性能指标的渴望类,宽容类的目的是尽量减少其平均逗留时间。在本文中,我们讨论了动态调度策略下的每个类的性能,其中两个类的调度取决于系统的瞬时状态。这种分析是在一定的流动性限制下进行的,其中渴望类的到达率和服务率被缩放到无穷大,保持所提供的负载恒定。我们的性能表征揭示了一个(动态)伪守恒定律,它将两个类的性能与渴望类的独立阻塞概率联系在一起。此外,性能对于调度策略的其他细节是鲁棒的。我们还描述了在相同的流体限制下的性能向量的可实现区域的帕累托前沿,并确定(两个参数)类帕累托完全调度策略。
2021-12-23 cs.PF math.OC
Product Forms for FCFS Queueing Models with Arbitrary Server-Job Compatibilities: An Overview
近年来,许多模型,涉及不同的兼容性之间的作业和服务器之间的调度系统,或代理和资源之间的匹配系统,已被研究,并在马尔可夫假设和适当的稳定性条件下,平稳分布已被证明有产品的形式。我们调查这些结果,并显示如何在适当的详细描述的状态下,许多是推论的顺序独立队列的类似结果。我们还讨论了如何使用产品形式的结果,以确定稳态响应时间的分布。
2020-06-10 cs.DM cs.PF
Queueing Analysis of GPU-Based Inference Servers with Dynamic Batching: A Closed-Form Characterization
Osaka University(大阪大学)
GPU加速计算是利用深度神经网络(DNN)实现高速推理服务器的关键技术。基于GPU的推理的一个重要特征是,在处理速度和能耗方面,通过批量处理多个作业,计算效率大幅提高。在本文中,我们制定了基于GPU的推理服务器作为一个批处理模型的批量大小依赖的处理时间。我们首先表明,服务器的能源效率随着推理作业的到达率单调增加,这表明在推理作业的延迟要求内尽可能高的利用率水平下操作推理服务器是节能的。然后,我们推导出一个封闭形式的平均延迟,这提供了一个简单的表征的延迟性能的上限。通过模拟和数值实验,我们表明,平均延迟的精确值很好地近似于这个上限。我们进一步比较了这个上限与延迟曲线的实际实现的基于GPU的推理服务器,我们表明,真正的性能曲线很好地解释了派生的简单公式。
2021-01-12 cs.LG cs.PF
A Model of Job Parallelism for Latency Reduction in Large-Scale Systems
在多个处理核心并行处理计算密集型作业在许多现实世界的应用中是必不可少的。在本文中,我们考虑了一个理想化的模型,作业并行,其中一个作业可以同时由$d$不同的服务器。当$d$服务器完成的工作总量等于作业大小时,就认为作业已完成。研究了并行性对工件平均延迟的影响。具体来说,我们分析了一个系统组成的$n$并行处理器共享服务器中的作业到达根据泊松过程的速率$n λ$($λ<1$)和每个作业带来了一个指数分布的单位平均工作量。作业到达后,会随机均匀地选择$d$服务器,并同时加入所有选定的服务器。我们通过平均场分析表明,对于固定的$d \geq 2$和大的$n$,服务器的平均占用率是$O(\log (1/(1-λ)))$作为$λ\to 1$相比,$d=1$的$O(1/(1-λ))$平均占用率。因此,我们得到了一个指数级的减少,通过并行作业的响应时间。我们取得了重大进展,严格证明平均场分析。
2022-07-20 cs.PF math.PR
Stability and Optimization of Speculative Queueing Networks
针对现有推测式作业执行机制性能与优化研究不足的问题,提出带超时机制的排队网络模型,推导了稳定性充要条件、最优推测时间公式,发现中重负载下推测机制优于复制方案。
2021-09-06 cs.PF math.PR
heSRPT: Optimal Parallel Scheduling of Jobs With Known Sizes
当在多个服务器上并行化一组作业时,必须在授予短作业优先级和保持系统的整体效率之间进行权衡。当目标是最小化一组工件的平均流动时间时,通常情况下,人们希望在长工件之前完成短工件。然而,由于作业通常不能以完美的效率并行化,因此对短作业授予严格的优先级可能导致非常低的系统效率,这反过来又会损害作业之间的平均流动时间。在本文中,我们推导出的最优策略分配服务器的工作在每一个时刻的时间,以尽量减少平均流动时间的工作。我们假设工作遵循一个次线性的,凹加速函数,因此工作的经验收益递减分配额外的服务器。我们表明,最佳的政策,heSRPT,将完成作业根据其大小顺序,但保持整体系统的效率分配一些服务器,每个作业在每一刻的时间。我们比较heSRPT与国家的最先进的分配政策,从文献和显示,heSRPT优于其竞争对手至少30%,往往更多。
2020-11-20 cs.PF
QoS-aware energy-efficient workload routing and server speed control policy in data centers: a robust queueing theoretic approach
运营云服务基础设施需要高能效,同时确保令人满意的服务水平。出于数据中心,我们认为工作负载路由和服务器速度控制政策适用于系统运行在波动的需求。动态控制算法通常比静态控制算法更节能。然而,它们通常需要在路由器和服务器之间进行频繁的信息交换,这使得数据中心的管理层在部署这些算法时犹豫不决。本研究提出一种静态路由与伺服器速度控制策略,可达到类似动态演算法的能源效率,并消除资源间频繁通讯的必要性。我们采取了一个强大的响应时间约束的服务质量(QoS)条件下的决策理论方法。每个服务器被建模为一个G/G/1处理器共享队列,和不确定性集的概念定义的域的随机原语。我们从不确定集合中推导出逗留时间的近似上界,并提出了一种近似的逗留时间分位数估计方法。数值实验表明,与动态算法相比,所提出的静态策略提供了有竞争力的解决方案。
2023-03-03 cs.PF math.OC
Randomized Assignment of Jobs to Servers in Heterogeneous Clusters of Shared Servers for Low Delay
University of Waterloo(滑铁卢大学)
本文研究了在异构服务器集群中通过随机分配作业以降低延迟的问题,提出两种方案以减少作业的平均停留时间,分析了系统在大规模极限下的稳定性及平稳解的存在性。
2015-02-20 cs.DC cs.PF cs.SY
Stabilization of Branching Queueing Networks
并行网络在并行计算机系统的性能分析中越来越受到重视。一个杰克逊网络是一组互连的服务器,在服务器i的工作完成可能会导致在服务器j创建一个新的工作,我们建议扩展杰克逊网络的“分支”和“控制”功能。这两个扩展都是新的,大大扩展了杰克逊网络的建模能力。另一方面,扩展提出了计算问题,特别是关于网络的稳定性,即底层马尔可夫链的遍历性。我们证明了我们的扩展模型,它是可判定的多项式时间,如果存在一个控制器,实现稳定。此外,如果这样的控制器存在,可以有效地计算一个静态随机控制器,稳定的网络在一个非常强的意义,特别是,所有的时刻的队列大小是有限的。
2011-12-05 cs.PF
The generalized join the shortest orbit queue system: Stability, exact tail asymptotics and stationary approximations
我们介绍了\textit{generalized join the shortest queue model with retrials}和两个无限容量的轨道队列。三个独立的Poisson作业流(即一个\textit{smart}和两个\textit{dedicated}流)流入最多可容纳一个作业的单台服务系统。发现服务器被占用的到达作业被路由到轨道,如下所示:来自\textit{smart}流的阻塞作业被路由到最短轨道队列,并且在平局的情况下,它们随机选择一个轨道。来自\textit{dedicated}流的阻塞作业被直接路由到其轨道。轨道作业以不同的重试率重试与服务器连接,即,异构轨道队列这种系统的应用中发现的无线合作网络的建模。我们感兴趣的是这个模型的平稳分布的渐近行为,只要系统是稳定的。更确切地说,我们调查的条件下,最小轨道队列长度的尾部渐近是完全几何。此外,我们应用启发式渐近方法来获得近似的稳态联合轨道长度分布。给出了数值算例,结果表明渐近分析和启发式方法所得结果是一致的。
2021-11-25 cs.PF math.PR
Flexible Queueing Architectures
我们研究了一个多服务器模型与$n$灵活的服务器和$n$队列,连接通过一个二部图,其中的灵活性水平被捕获的图形的平均度,$d_n$。数据中心内容复制、呼叫中心基于技能的路由以及灵活的供应链应用是我们的主要动机。我们专注于缩放制度的系统大小$n$趋于无穷大,而整体流量强度保持不变。我们表明,一个大的容量区域和渐近消失的排队延迟是同时实现的,即使在有限的灵活性($d_n \ll n$)。我们的主要研究结果表明,当$d_n\gg \ln n$,一个家庭的扩展图为基础的灵活性架构有一个容量区域,是在一个恒定的因素的最大可能的,同时确保减少所有的到达率矢量的延迟在容量区域。我们的分析是围绕一类新的虚拟队列为基础的调度策略,依赖于动态构建的作业到服务器的分配连接图。为了进行比较,我们还分析了一个自然的模块化架构,这是简单的,但可证明较弱的性能。
2017-02-06 cs.NI cs.PF math.PR
Multiserver-job Response Time under Multilevel Scaling
Northwestern University(西北大学);Georgia Institute of Technology, H. Milton School of Industrial and Systems Engineering(佐治亚理工学院,H. 米尔顿工业与系统工程学校)
本文研究了多级扩展极限下多服务器-作业系统的响应时间,分析了负载主导、单服务器作业和平衡三种情形下的稳定性区域边界增长速率和队列长度。
2026-02-06 cs.PF math.PR
Stability for Two-class Multiserver-job Systems
多服务器作业系统,其中的作业需要在多个服务器上并发服务,在实践中广泛存在。在dropping设置中,如果作业需要比当前可用的服务器更多的服务器,则作业将立即被丢弃。然而,在更实际的设置中,作业排队的情况却知之甚少。在本文中,我们推导出一个封闭形式的解析表达式的稳定区域的两个类(非下降)多服务器作业系统,其中每一类的工作需要一个不同数量的服务器,并需要一个不同的指数分布的服务时间,和工作服务于先来先服务(FCFS)顺序。这是FCFS多服务器作业系统的第一个结果,其中类具有不同的服务分布。我们的工作是基于一种技术,利用了“饱和”系统的想法,其中无限数量的工作总是可用的。我们的分析公式提供了深入了解FCFS多服务器作业系统的行为,突出了巨大的浪费(空闲的服务器,而作业在队列中),可能会发生,以及非单调的影响,浪费的服务率。
2020-10-01 cs.PF
Improving Nonpreemptive Multiserver Job Scheduling with Quickswap
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);IMDEA Networks Institute(IMDEA网络研究所);Northwestern University(西北大学)
针对非抢占式多服务器作业调度中MSF策略等待时间波动大的问题,提出MSFQ策略,通过定期为其他作业赋予优先级降低波动,理论分析和仿真验证其在平均响应时间等方面显著优于MSF和FCFS。
2025-11-12 cs.PF
Tandem Queueing Systems Maximum Throughput Problem
本文研究了串列式排种系统的最大通过量问题。我们将这个系统建模为一个拟生灭过程。为了做到这一点,我们将级别命名为在第一个缓冲区中等待的客户数量(包括服务中的客户),我们将阶段称为重新挖掘服务器的状态。使用这个模型,我们研究了系统的最大吞吐量问题:一个给定的系统可以支持的最大到达率变得饱和之前,或不稳定。我们考虑了不同的特殊情况下,这样的系统,这是通过修改中间缓冲区的容量,到达率和服务率。模拟结果在我们的论文中,可以归纳为以下结论:1。当服务器数量增加2时,系统最大吞吐量的解析公式趋于复杂。系统的最大吞吐量随着服务器数量的增加而收敛。同质的情况下,揭示了一个有趣的特点:如果我们颠倒的顺序的服务器,系统的最大吞吐量保持不变的QBD过程用于泊松到达的情况下,可以扩展到模型更一般的到达过程。
2015-12-18 cs.PF
Optimal Resource Allocation for Elastic and Inelastic Jobs
现代数据中心的任务是处理由各种类别的作业组成的异构工作负载。这些类在它们的到达率、大小分布和作业并行性方面有所不同。关于可并行性,有些作业是弹性的,这意味着它们可以在许多服务器上线性并行。其他作业是无弹性的,这意味着它们只能在单个服务器上运行。虽然作业类可能有很大的不同,但它们通常被迫共享一个集群。在异构作业之间共享集群时,必须决定如何在每个时刻为每个作业分配服务器。在本文中,我们设计和分析的分配政策,旨在最大限度地减少平均响应时间跨作业,作业的响应时间是从它到达时,直到它完成的时间。我们在一个随机环境中模拟这个问题,每个工作可能是弹性或非弹性的。作业大小是从指数分布中得出的,但系统是未知的。我们发现,在常见的情况下,弹性工作平均大于非弹性工作,最优分配策略是非弹性优先,给予非弹性工作抢占优先权的弹性工作。我们通过引入一个新的样本路径参数得到这个结果。我们还表明,存在弹性优先(优先考虑弹性作业)比非弹性优先的情况。然后,我们提供了第一次分析的平均响应时间下的弹性第一和非弹性第一,利用最近的技术来解决高维马尔可夫链。
2020-05-19 cs.PF
heSRPT: Parallel Scheduling to Minimize Mean Slowdown
现代数据中心为能够利用并行性的工作负载提供服务。当一个作业在多个服务器上并行化时,它将更快地完成,但是作业从分配额外的服务器中获得的回报越来越少。由于为单个作业分配多个服务器效率低下,因此不清楚如何最好地在许多可并行化的作业之间分配固定数量的服务器。本文提出了第一个最优分配策略,使已知大小的可并行作业的平均减速最小化时,所有的作业都存在于时间0。我们的政策提供了一个简单的封闭形式的公式,在每一个时刻的最佳分配。最小化平均减速通常需要支持短期工作而不是长期工作(如SRPT政策)。然而,由于可并行作业具有次线性加速函数,系统效率也是一个问题。系统效率最大化,通过平等分配给所有的工作,从而竞争的目标,优先小的工作。我们的最优策略,高效率SRPT(heSRPT),平衡这些相互竞争的目标。heSRPT根据作业的大小顺序完成作业,但通过在每个时刻为每个作业分配一些服务器来保持整体系统效率。我们的研究结果推广到也提供了最优分配政策方面的平均流时间。最后,我们考虑在线的情况下,随着时间的推移,工作到达系统。虽然优化的平均速度减慢在线设置是更加困难的,我们发现,heSRPT提供了一个很好的启发式政策的在线设置。事实上,我们的模拟表明,heSRPT显着优于国家的最先进的分配政策的并行作业。
2020-11-18 cs.DC cs.PF
Proximity Based Load Balancing Policies on Graphs: A Simulation Study
分布式负载均衡是在一组服务器之间尽可能均匀地分配作业的行为。文献中研究的负载均衡问题主要有两种版本:静态和动态。静态解释导致制定的负载均衡问题的情况下,与作业(球)永远不会离开系统,并积累在服务器(箱),而动态设置处理的情况下,当作业到达并离开系统后,服务完成。本文设计和评估服务器邻近感知作业分配政策治疗负载均衡问题的目标,以减少与作业的通信成本。我们考虑一类基于邻近度感知的二次幂(POT)选择的分配策略,用于将作业分配给服务器,其中服务器互连为n-顶点图G(V,E)。对于静态版本,我们假设每个作业都到达其中一个服务器u。对于动态设置,我们假设G是一个循环图,在每个服务器上的作业到达过程由泊松点过程描述,作业服务时间呈指数分布。对于这两种设置,我们将每个作业分配给服务器u和v中负载最小的服务器,其中v是根据以下两个策略之一选择的:(i)Unif-POT(k):从u的k跳邻域随机均匀采样服务器v(ii)InvSq-POT(k):从k中采样服务器v-我们的模拟结果表明,无论是跳邻域的u与概率成正比的平方之间的距离u和v。策略一致地产生负载分布,其非常类似于经典的邻近不经意POT策略的负载分布。
2020-11-03 cs.PF
Optimal Scheduling in the Multiserver-job Model under Heavy Traffic
多服务器作业系统,其中的作业需要在多个服务器上并发服务,在实践中广泛存在。基本上,所有关于多服务器作业系统的理论工作都集中在最大化利用率上,而对平均响应时间几乎一无所知。在更简单的设置中,例如各种已知大小的单服务器作业设置,最小化平均响应时间只是对小作业进行优先级排序的问题。然而,对于多服务器作业系统,优先考虑小作业是不够的,因为我们还必须确保服务器不会不必要地闲置。因此,最小化平均响应时间需要优先考虑小作业,同时最大化吞吐量。我们的问题是如何实现这些共同目标。我们设计的ServerFilling-SRPT调度策略,这是第一个政策,以最大限度地减少平均响应时间在多服务器作业模型在繁忙的交通限制。除了证明这个大流量的结果,我们提出的经验证据表明,ServerFilling-SRPT优于所有现有的调度策略的所有负载,在更高的负载数量级的改进。由于ServerFilling-SRPT需要知道作业大小,因此我们还定义了ServerFilling-Gittins策略,当大小未知或部分已知时,该策略是最佳的。
2022-11-04 cs.PF
Optimizing Stochastic Scheduling in Fork-Join Queueing Models: Bounds and Applications
Fork-Join(FJ)并行化模型捕获同步约束下的系统并行化的动态,例如,用于诸如MapReduce、多路径传输和RAID系统的应用。到达的作业首先被分成任务并映射到服务器上执行,这样一个作业只能在它的所有任务都被执行时才能离开系统。在本文中,我们提供了可计算的随机界的等待和响应时间分布的异构FJ系统下的一般并行化的好处。我们的主要贡献是一个广义的概率服务器调度策略的数学框架,其基本特征是利用服务器的数量的概率分布,及其优化。我们强调了由于并行化和FJ固有的同步惩罚的缩放效益之间的权衡。此外,我们提供了最佳的调度策略,任意缩放制度,映射到不同级别的并行化的好处。从我们的研究结果中获得的一个值得注意的见解是,不同的应用程序具有不同的并行化优势,导致不同的最佳策略。最后,我们补充我们的分析结果,将它们应用到各种应用程序中,显示所提出的调度策略的最优性。
2017-02-02 cs.PF
On the tradeoff of average delay, average service cost, and average utility for single server queues with monotone policies
在这篇论文中,我们研究了单服务器排队模型在有接纳控制和没有接纳控制的情况下,平均延迟、平均服务成本和平均效用的最优折衷。我们考虑的连续时间和离散时间延迟模型是由噪声点到点链路的跨层模型驱动的,具有随机数据包到达。我们研究了一类单调平稳的容许策略的上述权衡问题,并得到了最小平均延迟作为平均服务成本和平均效用约束的函数的渐近特征。
2015-03-22 cs.PF
On Delay-Optimal Scheduling in Queueing Systems with Replications
在现代计算机系统中,作业被分成短任务并并行执行。在实际系统中的经验观察表明,任务服务时间是高度随机的,作业服务时间是由最慢的离散任务检查。一个常见的解决方案是在多个服务器上复制一个任务,并等待任务的一个副本提前完成。复制的延迟性能在很大程度上取决于何时复制、在哪个服务器上复制以及首先服务哪个作业的调度决策。到目前为止,很少有人了解如何优化这些调度决策,以最大限度地减少延迟完成的工作。在本文中,我们提出了一个全面的研究集中式和分布式多服务器系统中的延迟最优调度的副本。低复杂度的调度策略的设计,并被证明是延迟最优或接近延迟最优的随机排序之间的因果关系和非抢占式的政策。这些理论结果建立一般的系统设置和延迟度量,允许任意到达过程,任意的作业大小,任意的到期时间,和异构服务器与数据本地化的限制。新的样本路径工具的开发,以证明这些结果。
2017-02-06 cs.DC cs.IT cs.NI
Balanced Fair Resource Sharing in Computer Clusters
我们表示一个计算机集群作为一个多服务器队列与一些任意的二分图之间的兼容性作业和服务器。每个服务器都按FCFS顺序处理其作业。作业在任何给定时间的服务率是处理该作业的所有服务器的服务率之和。我们证明了相应的队列是准可逆的,并利用这一性质设计了一个调度算法,实现均衡公平共享的服务能力。
2017-09-04 cs.PF
Optimal Scheduling in Generalized Switch in Heavy Traffic
University of California, Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学);Northwestern University(西北大学)
针对广义交换机中已知作业持续时间的最优调度问题,提出最小均衡桶(SEB)策略,通过基于持续时间的桶和均衡服务结构同时优先小作业并减少资源浪费,实现重流量下最优平均响应时间。
2026-09-17 cs.PF
Analysis of Load Balancing in Large Heterogeneous Processor Sharing Systems
当系统中服务器数量较多且服务器具有异构服务率时,我们分析了多服务器处理器共享系统的随机动态负载均衡方案。特别是,我们专注于经典的两个负载均衡计划的权力和它的一个变种,其中一个新到达的工作被分配到服务器之间的两个随机选择的服务器具有最小的瞬时拉格朗日阴影成本。服务器上的瞬时拉格朗日影子成本由服务器上未完成作业的数量与服务器容量的比率给出。两种不同的分析方法,提出了每个方案。对于指数工作长度分布,使用平均场方法进行分析,对于更一般的工作长度分布,假设渐近独立性进行分析。对于这两种方案,都找到了计算工件平均逗留时间的解析表达式。建立了该方案对工件长度分布类型的渐近不敏感性。数值结果验证了理论结果,并表明,不同于均匀的情况下,本文考虑的两个类型的计划的权力可能并不总是导致更好的行为方面的平均逗留时间的工作。
2015-02-09 cs.DC cs.PF math.OC
The Transient Cost of Learning in Queueing Systems
Massachusetts Institute of Technology(麻省理工学院)
本文提出排队系统学习的瞬时代价(TCLQ)度量,刻画参数不确定性导致的时均队列长度最大增量,并建立统一分析框架,将结果从单队列多服务器系统扩展到排队网络。
2025-04-07 cs.DS cs.LG cs.PF
Improving Multiresource Job Scheduling with Markovian Service Rate Policies
针对多资源作业调度问题,提出马尔可夫服务率(MSR)策略,该策略实现简单且适合响应时间分析,具有吞吐量最优性,可根据系统参数选择策略,有效最小化平均响应时间。
2025-04-17 cs.PF
Asymptotically Optimal Scheduling of Multiple Parallelizable Job Classes
The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Carnegie Mellon University(卡内基梅隆大学)
本文研究了多可并行作业类的调度问题,提出在轻负载时优先处理最不并行化的作业,在重负载时优先处理预期剩余处理时间最短的作业,并开发了渐近最优的调度策略。
2025-12-29 cs.DC cs.PF
Improving Multiresource Job Scheduling with Markovian Service Rate Policies
本文提出并分析了一类易于实现且易于分析的多资源作业调度策略——Markovian Service Rate (MSR) 策略,证明了其吞吐量最优性,推导了紧致的平均响应时间界限,并展示了如何根据系统参数选择合适的 MSR 策略。
2025-05-02 cs.PF
On the Age of Status Updates in Unreliable Multi-Source M/G/1 Queueing Systems
PSG College of Technology(PSG理工学院);University of Alberta(阿尔伯塔大学);Nazarbayev University(纳扎尔巴耶夫大学);Institute for Research in Fundamental Sciences(基础科学研究所);University of Tehran(德黑兰大学);Jinan University(暨南大学)
针对存在服务器故障的多源M/G/1排队更新系统,采用补充变量法推导各信源平均信息年龄的闭式表达式,并通过数值实验验证了所提数据包服务策略的有效性。
2022-10-31 cs.NI cs.PF
When Queueing Meets Coding: Optimal-Latency Data Retrieving Scheme in Storage Clouds
在本文中,我们研究了利用多个并行线程来减少从云存储系统下载数据的延迟的问题,假设数据已经使用具有参数(n,k)的固定速率前向纠错(FEC)码编码并存储在云中。也就是说,每个文件被分成k个大小相等的块,然后将其扩展成n个块,使得n个块中的任何k个块都足以成功恢复原始文件。该模型可以描述为一个多服务器队列与数据检索请求的到来和服务器对应的线程。然而,这不是一个典型的挂起模型,因为服务器可以终止其操作,这取决于其他服务器何时完成其服务(由于跨线程分布的冗余)。因此,据我们所知,对这一模型的分析仍然是未知的。Amazon S3最近的跟踪显示,检索固定大小块的时间是随机的,可以近似为恒定延迟加上i.i.d.。指数分布随机变量为了便于理论分析,我们假设块下载时间是i.i.d.。呈指数分布在此假设下,我们证明了当k = 1时,在所有的在线调度方案中,任何工作守恒方案都是延迟最优的。当k > 1时,我们发现一个简单的贪婪方案,它将所有可用的线程分配给行首请求,是所有在线调度方案中延迟最优的。我们也提供了一些数值结果,指出指数假设的局限性,并提出进一步的研究方向。
2014-04-26 cs.DC cs.IT cs.NI
Analyzing Distributed Join-Idle-Queue: A Fluid Limit Approach
在负载均衡的上下文中,Lu等人引入了分布式Join-Idle-Queue算法,其中一组调度器将作业分发到并行服务器集群。每个调度器维护一个空闲服务器队列;当一个作业到达调度器时,它将其发送到其队列上的服务器,或者如果队列为空,则发送到随机服务器。反过来,当一个服务器没有作业时,它请求被放置在随机选择的调度程序的空闲队列中。虽然这种算法被证明是非常有效的,原来的渐近分析,使简化的假设变得越来越不准确的系统负载的增加。此外,该分析不会自然地推广到有趣的变化,例如在完成所有作业之前将服务器请求放置在调度器的空闲队列上,这在高负载下可能是有益的。我们提供了一个新的渐近分析加入空闲排队系统的平均场流体极限方法的基础上,推导出的微分方程,描述这些系统的家庭。我们的分析避免了先前的简化假设,在经验上更准确,并且自然地推广到上述变化以及其他简单的变化。我们的理论和实证分析揭示了加入空闲队列的性能,包括高负载下的潜在性能陷阱。
2016-06-06 cs.DC cs.DS cs.NI