Asymptotic analysis of a multiclass queueing control problem under heavy-traffic with model uncertainty
我们研究了一个多类M/M/1排队控制问题,有限的缓冲区下高负荷服务的决策者是不确定的到达率和服务的系统和调度和接纳/拒绝决定的行为,以尽量减少折扣成本,占的不确定性。主要结果是通过[16]中研究的潜在随机微分对策导出的$cμ$型策略的渐近最优性。在此策略下,当工作负载低于取决于模糊度水平的某个截止值时,拒绝很有可能不被执行。当工作量超过这个截止值时,拒绝被执行,并且只从具有最便宜的拒绝成本的缓冲区中执行,该缓冲区在一些参考模型中用平均服务率加权。该策略的分配部分对于所有的模糊度级别都是相同的。这是第一个工作,以解决高负荷服务拥挤控制问题与模型的不确定性。
2019-03-16 math.PR
Asymptotically optimal control for a multiclass queueing model in the moderate deviation heavy traffic regime
在中等偏差高负荷服务条件下,研究了一个具有有限缓冲区的多类单服务器排队模型,其中用户的调度和接纳都受到控制.考虑了有限时间范围内风险敏感的费用集$[0,T]$。主要结果是通过基本的微分对策导出的控制策略的渐近最优性。其结果是第一次解决了在适度偏差制度,超越了具有所谓的路径最小属性的模型的跟踪控制问题。此外,尽管众所周知的事实,即在有限的时间间隔的最优控制一般是一个非平稳的反馈类型,所提出的政策形成一个平稳的反馈,提供$T$是足够大的。
2016-10-11 math.PR
On Exponential Ergodicity of Multiclass Queueing Networks
排队系统的关键性能指标之一是队列长度的稳态尾概率的指数衰减率。已知如果相应的流体模型是稳定的并且随机基元具有有限矩,则队列长度也具有有限矩,使得对于任何n,尾概率\pr(\cdot >s)衰减得比s^{-n}快。人们很自然地推测衰变率实际上是指数级的。本文构造了一个例子来证明这个猜想是错误的。对于一个特定的平稳策略应用到网络的指数分布的到达间隔和服务时间,它表明,相应的流体限制模型是稳定的,但尾概率的缓冲区长度衰减慢于s^{- \log s}。
2006-12-19 math.PR
A Paradox for Admission Control of Multiclass Queueing Network with Differentiated Service
在本文中,我们提出了反直观的多类排队网络系统的例子。在该系统中,每个工作站可以以不同的服务优先级服务多于一个的作业类,并且每个作业可以顺序地要求多于一个的服务站的服务。在我们的示例中,即使有更多的工作负载被接纳用于服务,网络性能也会得到改善。
2006-10-26 math.OC math.PR
Stability and busy periods in a multiclass queue with state-dependent arrival rates
我们介绍了一个多类的单服务器排队系统,其中的到达率取决于当前的工作在服务。该系统的特点是一个矩阵的到达率代替向量的到达率。我们提出的模型离开现有的状态相关的排队模型,其中的参数主要取决于系统中的工作,而不是在服务的工作的数量。我们建立了排队模型及其相应的流体模型,并通过流体模型得到了稳定性的充要条件。利用与多型Galton-Watson过程的自然联系,给出了系统中忙期的Laplace-斯蒂尔切斯变换。我们的结论与尾渐近的忙期的重尾服务时间分布的定期变化的情况下。
2018-08-20 math.PR
A Numerical Approach to Stability of Multiclass Queueing Networks
多类排队网络(McQN)是传统(单类)Jackson网络的自然多类扩展。在单类网络中,亚临界性(即每个站点的亚单位标称工作负载)需要稳定性,但当不同类的作业/客户(即具有不同的服务要求和/或路由方案)访问同一服务器时,这不再足够;因此,一般来说,缺乏McQN稳定性的分析条件。在本文中,我们设计了一个数值(基于仿真)的方法来确定的稳定区域的McQN,在到达率(S)。我们的方法利用了某些(随机)单调性所享有的相关马尔可夫模型的配置过程。随机单调性是排队模型的一个非常常见的特征,并且可以很容易地在单类框架(Jackson网络)中建立;最近,对于广泛的一类McQN,包括先来先服务(FCFS)网络,单调性特性已经建立。在这里,我们提供了一组最小的条件,在这些条件下,该方法可以正确执行。最后,我们通过一组数值实验来说明我们的数值方法的使用,包括单类和多类网络。
2018-12-14 math.PR
Brownian control problems for a multiclass M/M/1 queueing problem with model uncertainty
本文考虑了一个模型不确定的多维布朗控制问题,它形式上来源于一个模型不确定的多类M/M/1拥塞控制问题。BCP被制定为一个多维随机微分对策与两个球员:一个最小化,具有等同的作用,决策者在决策控制问题和最大化,其作用是建立模型的不确定性。动力学由布朗运动驱动。我们表明,一个状态空间的崩溃性质举行。也就是说,多维BCP可以简化为具有模型不确定性的一维BCP,其也采用两人随机微分对策的形式。然后,这两个游戏的价值函数的特点是唯一的解决方案的自由边界问题,从中我们提取两个游戏的均衡。最后,我们分析了价值函数和平衡点对模糊度参数的依赖性。
2018-05-01 math.OC math.PR
An ergodic control problem for many-server multiclass queueing systems with cross-trained servers
AM/M/N+在Halfin-Whitt机制中,考虑独立的客户类和d个服务器池。第i类客户具有池i中的服务的优先级,其中i = 1,. . .、d,并且如果某个其他池有空闲服务器并且池i中的所有服务器都很忙,则可以访问该池。我们建立了一个遍历控制问题,其中运行成本由多项式增长的非负凸函数给出。我们表明,限制受控扩散模型的动作空间,它取决于状态变量。我们对极限遍历控制问题进行了完整的分析,并建立了排队模型的值函数的渐近收敛
2017-07-15 math.OC math.PR
Stability of Multiclass Queueing Networks under Longest-Queue and Longest-Dominating-Queue Scheduling
研究了多类排队网络鲁棒调度策略的稳定性问题。这些是开放的网络,具有任意的路由矩阵和几个不相交的队列组,其中一次最多只能服务一个队列。到达和潜在的服务过程和路由决策的队列是独立的,平稳和遍历。如果调度策略不依赖于到达率和服务率,也不依赖于路由概率,则称为鲁棒调度策略。一个策略被称为吞吐量最优的,如果它使系统稳定,只要参数是这样的系统可以是稳定的。我们提出了两个强大的政策:最长队列调度和一个新的政策,称为最长支配队列调度。我们表明,最长队列调度是吞吐量最优的两组两个队列。我们还证明了吞吐量最优的最长支配队列调度时,网络拓扑结构是无环的,对于任意数量的组和队列。
2015-05-11 cs.NI math.PR
Ergodicity of Lévy-driven SDEs arising from multiclass many-server queues
研究了一类多维带跳的分段Ornstein-Uhlenbeck过程的遍历性,其中包含了在Halfin-Whitt机制下重尾到达和/或渐近可忽略服务中断的多类多服务台排队中产生的遍历过程的极限.在这些排队模型中,Itô方程具有分段线性漂移,并且由(1)布朗运动和纯跳跃Lévy过程驱动,或者(2)具有独立的一维对称$α$稳定分量的各向异性Lévy过程,或者(3)如(2)中的各向异性Lévy过程和纯跳跃Lévy过程驱动。我们还研究了一类由从属布朗运动驱动的模型,其中包含一个各向同性(或旋转不变)的$α$ -稳定的Lévy过程作为一个特殊情况。我们确定的漂移,Lévy措施和/或协方差函数,导致在次指数和/或指数遍历的参数的条件。我们表明,这些假设是尖锐的,我们确定了一些关键的必要条件的过程是遍历的。此外,我们表明,对于上述没有放弃的排队模型,收敛的收敛速率是多项式的,我们通过匹配的上界和下界提供了一个尖锐的定量表征的速度。
2018-09-21 math.PR
On deciding stability of multiclass queueing networks under buffer priority scheduling policies
稳定性是排队网络的基本属性之一。粗略地说,它是网络中的工作总数作为时间的函数保持有界的性质。与稳定性问题相关的关键问题之一是如何确定在给定调度策略下运行的给定排队网络保持稳定的确切条件。虽然在解决这个问题上取得了许多初步进展,但大多数结果充其量只是部分的,因此仍然缺乏对稳定排队网络的完整表征。在本文中,我们解决这个开放的问题,虽然在一个有点意想不到的方式。我们表明,稳定的排队网络的特点是一个算法不可判定的问题的情况下,非抢占式静态缓冲区优先级调度政策和确定性的到达间隔和服务时间。因此,在这类策略下运行的稳定排队网络没有建设性的特征是可能的。结果是建立排队网络有限和无限的缓冲区大小和可能为零的服务时间,虽然我们推测,它也成立的情况下,只有无限的缓冲区和非零的服务时间的模型。我们的方法扩展了以前的相关工作[数学。Res.27(2002)272- 293],并使用所谓的计数器机器装置作为复位工具。
2009-11-19 math.OC math.PR
Variance Reduction in Simulation of Multiclass Processing Networks
我们使用模拟来估计一个稳定的多类排队网络的稳态性能。当网络负载很重时,标准估计器表现不佳。我们介绍了两个新的模拟估计。第一种方法在中等负载的网络中以很少的额外计算成本提供了大量的方差减少。第二个估计器在高负荷服务中提供了大幅的方差减少,同样只需要少量的额外计算成本。这两种方法都采用控制变量的方差缩减方法,并且在如何构造控制变量方面有所不同。
2020-05-28 math.PR
Multiclass multiserver queueing system in the Halfin-Whitt heavy traffic regime. Asymptotics of the stationary distribution
我们考虑一个异构的集群系统由一个大的池$O(r)$相同的服务器,其中$r\to\infty$是缩放参数。到达的客户属于几个类之一,决定了服务时间的分布意义。系统在Halfin-Whitt意义上是重负载的,即标称利用率是$1-a/\sqrt{r}$,其中$a>0$是备用容量参数。我们的目标是获得稳定状态的性能指标,如在队列中等待$Q^r(\infty)$的客户数的界限。虽然有丰富的文献推导过程水平(瞬态)的缩放限制这样的系统,稳态的结果主要限于单类的情况下。本文是第一个解决的情况下,在稳态制度的异质性。此外,我们的结果举行的任何服务政策,不承认服务器空闲时,有客户在排队等候。我们假设到达间隔时间和服务时间都服从指数分布,并且每类顾客在排队等待时都可能以一定的速率(可以为零)放弃。我们得到的形式$O(\sqrt{r})$上界的$Q^r(\infty)$和空闲服务器的数量。的界限是一致的。参数$r$和服务策略。特别是,我们表明,$\limsup_r E \exp(θr^{-1/2}Q^r(\infty))<\infty$。因此,序列$r^{-1/2}Q^r(\infty)$是紧的并且具有一致的指数尾界。我们进一步考虑了系统的严格正放弃率,并表明在这种情况下,每个弱极限$\hat{Q}(\infty)$的$r^{-1/2}Q^r(\infty)$有一个亚高斯尾。即$E[\exp(θ(\ha…
2011-05-03 math.PR
Queue-length balance equations in multiclass multiserver queues and their generalizations
单类排队系统稳态队列长度分布的一个经典结果是:到达时刻之前的队列长度分布等于离开时刻之后的队列长度分布。该结果有效的约束条件是,到达和服务完成的概率为1,分别发生,即,不是成批的。我们表明,它是很容易写下来有点类似的平衡方程为{ \em多维}队列长度过程的一个相当一般的网络的多类多服务器队列。我们正式推导出一般框架下的平衡方程。它们被称为分布关系,并获得任何外部到达过程和状态相关的路由,只要满足一定的平稳性条件和外部到达和服务完成不同时发生。我们证明了使用这些平衡方程,结合PASTA,(i)提供了非常简单的推导,一些已知的结果轮询系统,和(ii)获得新的结果,一些优先级排序系统。我们还扩展了非平稳框架的分布关系。
2017-05-01 math.PR
Regenerative Simulation for Queueing Networks with Exponential or Heavier Tail Arrival Distributions
多类开放排队网络在通信、计算机和制造网络中有着广泛的应用。人们通常对与这些网络相关的稳态性能指标感兴趣。从概念上讲,在温和的条件下,再生结构存在于多类网络中,使它们适合再生模拟估计的稳态性能指标。然而,通常,在这些网络中的再生结构的识别是困难的。一个众所周知的例外是当所有的到达间隔是指数分布时,其中对应于客户到达空网络的时刻构成再生结构。在本文中,我们考虑网络的到达间隔一般分布,但有指数或较重的尾巴。我们表明,这些分布可以分解成一个混合物的独立随机变量的总和,使至少有一个组件是指数分布。这允许在马尔可夫过程中容易实现的嵌入式再生结构。我们表明,在温和的条件下的网络原语,再生的平均值和标准差估计是一致的,并满足联合中心极限定理用于构建渐近有效的置信区间。我们还表明,在所有这样的到达间隔时间分解,一个最大的平均指数分量最小化的渐近方差的标准差估计。
2013-07-23 math.PR
Ergodic Risk Sensitive Control of Markovian Multiclass Many-Server Queues with Abandonment
本文研究 Halfin--Whitt 机制下带弃单的多类多服务器队列的遍历风险敏感最优调度问题,通过引入辅助控制并利用变分表示,证明了扩散尺度化排队过程的最优 ERSC 值渐近收敛到极限扩散的最优值。
2024-10-22 math.OC math.PR
Optimal control of Markov-modulated multiclass many-server queues
研究了到达率、服务率和放弃率均由有限状态马尔可夫过程调制的多类多服务台排队系统。我们假设系统运行在“平均”Halfin-Whitt制度,这意味着它是临界加载的平均意义上,虽然不一定在每个状态的马尔可夫过程。我们证明了在任何静态优先策略下,马尔可夫调制扩散标度排队过程是几何遍历的。这是通过采用相关的泊松方程的解决方案,以构建一个合适的李雅普诺夫函数。建立了扩散尺度排队过程的泛函中心极限定理,证明了该极限过程是具有分段线性漂移和常数协方差阵的受控扩散过程.我们解决无限时域贴现和长期平均(遍历)最优控制问题,并建立渐近最优性。
2018-08-13 math.OC math.PR
A Hierarchical Approach to Robust Stability of Multiclass Queueing Networks
本文针对多类排队网络全局稳定性分析缺乏通用框架的问题,聚焦队列比率(QR)策略,提出将鲁棒QR稳定性分解为状态空间坍缩与Skorohod问题鲁棒稳定性的分层分析框架,证明了QR策略族的弱凸性,并可在特定网络中得到全局稳定性充要条件。
2024-03-07 math.OC math.PR
Tight matrices and heavy traffic steady state convergence in queueing networks
本文研究排队网络重流量稳态收敛中反射矩阵R的紧性验证问题,给出二维SRBM的充要条件及一般维度的充分条件,并应用于静态缓冲区优先级服务网络,揭示了不同服务规则下R的紧性差异。
2025-07-06 math.PR
Stability of parallel queueing systems with coupled service rates
本文考虑了一个由独立到达流供给的并行排队系统,其中每个队列的服务率取决于所有队列中的顾客数。基于多类生灭过程的随机单调性和边缘漂移性质,得到了系统稳定的充要条件。这些条件产生了一个尖锐的表征系统的稳定性,其中每个队列的服务率是减少在其他队列中的客户的数量,并有统一的限制,因为队列长度趋于无穷大。结果示出的应用程序中的稳定区域可能是非凸的。
2010-01-10 math.PR
Optimal scheduling of critically loaded multiclass GI/M/n+M queues in an alternating renewal environment
本文研究了交替更新(up-down)随机环境中多类GI/M/n+M排队系统的最优控制问题.假设停机时间是渐近可忽略的,只有服务过程受到影响,我们证明了限制的扩散缩放状态过程下的非预期,抢先,工作守恒的调度策略,是受控的跳跃扩散驱动的复合泊松跳跃过程。我们建立了无限时域贴现和长期平均(遍历)问题的渐近最优性。由于计算每个类别中客户数量的过程不是马尔可夫的,因此不能应用通常的鞅参数来证明平均经验测度的收敛性。我们克服了这一障碍,证明了收敛的发电机的一个增强马尔可夫模型,其中包括更新到达间隔和停机时间的年龄过程。我们还建立了一些(修改)优先级调度策略下的长期运行的平均矩界的扩散标度的排队过程。这是通过增强马尔可夫模型的福斯特-李雅普诺夫方程。
2019-08-17 math.OC math.PR
Diffusion Limits for Measure-Valued Queueing Models, With Application to General Random Order of Service Queues
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文通过鞅分解方法推导高维或无限维状态描述符的排队系统的扩散极限,得到随机微分方程,并应用于具有重试和一般分布的多类多服务器随机服务顺序队列。
2026-06-01 math.PR
A Nonlinear Solution to Closed Queueing Networks for Bike Sharing Systems with Markovian Arrival Processes and under an Irreducible Path Graph
共享单车作为人们喜爱的城市公共交通方式,是一个大规模的复杂系统,其关键要求是用户与单车之间要有足够的时间匹配。这种匹配行为使得自行车共享系统的分析更加困难和具有挑战性。本文从两个重要的角度研究了一个更一般的大规模自行车共享系统:(a)自行车在一个不可约路径图中移动,这与自行车共享系统的地理结构有关;(2)利用马尔可夫到达过程(MAPs)描述自行车用户的非泊松突发行为(简称为用户)到达,而突发性表明用户到达在实际中是时间非均匀和空间非均匀的。针对这样一个复杂的共享单车系统,通过将自行车抽象为虚拟客户,将站点和道路抽象为虚拟节点等虚拟思想,建立了一个多类封闭的排队网络。因此,用户到达相关的服务时间在车站节点和用户骑自行车在道路上被视为服务时间在道路节点。此外,为了处理这种多类封闭的排队网络,我们提供了一个详细的观察实际上的自行车共享系统的物理行为,以建立路由矩阵,它给出了一个非线性的解决方案来计算相对到达率的乘积形式的解决方案的联合队列长度的稳态概率在虚拟节点。在此基础上,我们可以计算有问题的站点的稳态概率,并且还可以处理自行车共享系统的其他有趣的性能指标。我们希望本文的方法和结果可以适用于更一般的自行车共享系统的研究,通过多类封闭的排队网络。
2017-07-21 cs.PF math.PR
Uniform polynomial rates of convergence for a class of Lévy-driven controlled SDEs arising in multiclass many-server queues
研究了一类由$α$ -稳定过程驱动的受控随机微分方程的遍历性,这类受控随机微分方程是Halfin-Whitt区域中具有重尾到达过程的多类排队模型的极限方程.当安全人员配置参数是积极的,我们发现,SDES是一致遍历的,并享有多项式收敛速率不变的概率测度在全变差,这是均匀的所有平稳马尔可夫控制导致局部Lipschitz连续漂移。我们还得到了一个匹配的下界上的收敛速率(在没有放弃)。另一方面,当所有的放弃率是积极的,我们表明,SDES是指数遍历均匀上述控制类。类似的结果得到了Lévy驱动的多类多服务器队列下渐近可忽略的服务中断所产生的随机微分方程。对于这些方程,我们证明了上述遍历性是均匀的平稳马尔可夫控制。我们还扩展了一个关键的功能中心极限定理扩散近似,使其适用于这里研究的模型。
2019-01-26 math.PR
On the equivalence between multiclass processor sharing and random order scheduling policies
考虑一个服务于多类人群的单服务器系统。一些流行的调度策略,这类系统的歧视性处理器共享(DPS),歧视性随机顺序服务(DROS),广义处理器共享(GPS)和加权公平优先(WFQ)。在本文中,我们提出了两类政策,即MPS(多类处理器共享)和MROS(多类随机顺序服务),概括了上述四个政策。对于特殊情况下,当多类人口到达泊松过程,并有独立和指数的服务需求参数$μ$,我们表明,逗留时间分布的尾部为一类$i$客户在系统中的MPS政策是一个常数倍的等待时间分布的尾部的一类$i$客户在系统中的MROS政策。这个结果意味着,对于类$i$客户,在DPS(GPS)调度策略的系统中的逗留时间分布的尾部是在DROS(分别WFQ)策略的系统中的等待时间分布的尾部的常数倍。
2018-04-11 cs.PF math.PR
On uniform exponential ergodicity of Markovian multiclass many-server queues in the Halfin-Whitt regime
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Pennsylvania State University(宾夕法尼亚州立大学)
本文研究了在Halfin-Whitt regime中重载的马尔可夫多类多服务器队列的遍历性质,通过Lyapunov函数方法统一建立了极限扩散和预极限扩散缩放队列过程的Foster-Lyapunov方程,证明了当备用容量参数为正时,扩散过程在所有平稳马尔可夫控制下均匀指数遍历,并且不变概率测度具有均匀指数尾部特性。
2019-11-22 cs.SY eess.SY math.OC
Scheduling control for queueing systems with many servers: asymptotic optimality in heavy traffic
一个多类的集群系统被认为是异构的服务站,每个服务站由许多服务器具有相同的功能。一个最优控制问题的制定,其中的控制对应于调度和路由,和成本是系统的状态的累积折扣功能。我们研究两个版本的问题:“非抢占式”,其中服务是不可中断的,和“抢占式”,其中服务客户可以中断,然后恢复,可能在不同的站。我们研究的问题,在渐近高负荷服务制度提出的Halfin和Whitt,在每个站点的到达率和服务器的数量增长没有限制。一般来说,这两个版本的问题在这种情况下是不渐近等价的,抢先版本显示出一个渐近行为,在某种意义上说,简单得多。在适当的假设下,系统的结构,我们表明:(i)抢占问题的值函数收敛到$V$,相关的扩散控制问题的值。(ii)这两个版本的问题是渐近等价的,特别是非抢占式的政策,可以构建渐近实现值$V$。这些策略的构造基于与$V$相关联的Hamilton-Jacobi-Bellman方程。
2006-02-23 math.PR
Asymptotic optimality of maximum pressure policies in stochastic processing networks
考虑一类随机加工网络。假设网络满足完全资源池条件。我们证明了每个最大压力政策渐近最小化的工作量过程中的随机处理网络在高负荷服务。我们还表明,在每个二次持有费用结构,有一个最大压力政策,渐近最小化的持有成本。最优性证明的一个关键是证明最大压力策略下网络过程的状态空间崩溃结果和高负荷服务极限定理。本文将Bramson [排队系统理论应用30(1998)89- 148]和Williams [排队系统理论应用30(1998 b)5- 25]的框架从多类排队网络的设置扩展到随机处理网络的设置,以证明状态空间崩溃结果和高负荷服务极限定理。该扩展可以适用于随机处理网络的其他研究。
2009-01-16 math.PR
A restless time-fractional multiclass queue
University of Sussex(萨塞克斯大学);University of Rome 1-La Sapienza(罗马第一大学)
本文研究了具有有限类别的单服务器优先队列,其中到达服从分数泊松过程,服务完成由独立分数泊松过程触发。通过时间变换表示,推导出多级薄层分解,并研究了队列的标度极限和空队现象。
2026-03-19 math.PR
Ergodic Diffusion Control of Multiclass Multi-Pool Networks in the Halfin-Whitt Regime
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Pennsylvania State University(宾夕法尼亚州立大学)
本文研究了在Halfin-Whitt regime下,多类多池网络在遍历平均成本准则下的极限扩散控制问题,提出了两种控制形式:最小化排队和空闲成本,以及仅最小化排队成本并约束所有服务器池的空闲率。通过递归叶消除算法,得到了受控扩散过程的漂移表达式,并证明了存在稳定的马尔可夫控制使扩散过程几何平稳。
2015-08-19 cs.SY eess.SY math.OC
Multiclass processes, dual points and M/M/1 queues
本文考虑Z中离散的Hammersley-Aldous-Diaconis过程(HAD)和完全不对称的简单排斥过程(TASEP)。基本的耦合诱导一个多类过程,这是有用的,在讨论冲击措施和其他重要性质的过程。多类系统的不变测度对于两个过程是相同的,并且可以构造为串联的多类队列系统的输出过程的规律;排队系统的到达和服务过程是独立的伯努利乘积测度的集合。不变性的证明涉及到称为多线过程的过程的固定版本之间的新耦合;该过程具有独立的伯努利乘积测度的集合作为不变测度。这些结果中的一些已经出现在其他地方,本文部分是一个审查,一些证据只在大纲。然而,我们强调一种新的方法,通过对偶点:当图形结构被用来构建一个轨迹的TASEP或HAD过程作为一个函数的泊松过程在ZXR,对偶点是那些管理的时间反转的轨迹。多线流程中的每一条线都由下面这条线的对偶点控制。我们还提到其他一些进程的多类版本有相同的不变措施,我们注意到伯克定理的扩展多类队列,从结果如下。
2005-09-20 math-ph math.MP math.PR
Queueing Network Controls via Deep Reinforcement Learning
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Cornell University(康奈尔大学)
新的高级策略梯度(APG)方法,如置信域策略优化和邻近策略优化(PPO),由于其易于实现和良好的实际性能,已成为主流的强化学习算法。众所周知,困难的排队网络控制问题的传统设置是马尔可夫判定问题(MDP),其具有三个特征:无限状态空间、无界成本和长期平均成本目标。我们扩展了这些APG方法的理论框架,这样的MDP问题。在并行服务器系统和大型多类排队网络上对所得到的PPO算法进行了测试。该算法始终生成的控制策略,在各种负载条件下,从轻到高负荷服务的文献中优于最先进的算法。这些政策被证明是接近最优的最优策略时,可以计算。我们的PPO算法的成功的关键是使用三个方差减少技术,通过采样估计相对值函数。首先,我们使用折扣相对价值函数作为相对价值函数的近似。其次,我们提出再生模拟估计贴现相对价值函数。最后,我们将逼近鞅过程方法引入到再生估计中。
2021-09-14 cs.LG math.OC math.PR
Markov Decision Processing Networks
Durham University(杜伦大学)
提出马尔可夫决策处理网络以刻画决策影响未来服务可用性的双边排队系统,刻画其容量区域,证明 MaxWeight 非吞吐量最优,并设计基于双时间尺度的加权平均奖励策略实现吞吐量最优。
2025-09-29 cs.NI math.OC math.PR
Heavy traffic approximation for the stationary distribution of a generalized Jackson network: the BAR approach
在Gamarnik和Zeevi(2006)的开创性论文中,作者证明了高负荷服务中广义杰克逊网络(GJN)的稳态扩散近似。他们的方法涉及所谓的极限交换参数,这已经成为一个流行的工具,许多其他人谁研究扩散近似。在本文中,我们说明了一种新的方法,用它来证明稳态近似的GJN在高负荷服务。我们的方法涉及直接工作的基本伴随关系(BAR),一个积分方程的特点是平稳分布的马尔可夫过程。正如我们将展示的,BAR方法是一个更自然的选择比极限交换方法证明稳态近似,并可以潜在地应用到其他随机处理网络,如多类排队网络的研究。
2017-06-27 math.PR
Exact Analytical Model of Age of Information in Multi-source Status Update Systems with Per-source Queueing
本文针对带逐源排队的多源状态更新系统,基于马尔可夫流队列理论提出解析模型,得到两种调度策略下各信源信息年龄的精确分布,并提出ESFS策略,数值实验验证其在平均AoI和年龄违规概率上更优。
2021-10-28 cs.IT cs.PF math.IT
Dynamic allocation indices for restless projects and queueing admission control: a polyhedral approach
本文基于部分守恒定律提出一种多面体方法,用于设计与计算不安定强盗问题的动态分配指标,并应用于排队准入控制等难题。
2023-04-04 math.OC math.PR
Product-form solutions for integrated services packet networks and cloud computing systems
本文迭代地导出了具有多个服务站的优先级多类排队网络的平稳分布的乘积形式解。网络是马尔可夫指数到达间隔和服务时间分布。这些解决方案可用于进行性能分析,或作为具有多处理器共享内存交换机的大规模网络和具有并行服务器站的云计算系统的近似和模拟研究的比较标准。与现有的布朗近似模型的数值比较表明,我们的算法的有效性。
2013-09-03 cs.IT cs.NI cs.PF
Fluid and Diffusion Limits for Bike Sharing Systems
自行车共享系统在世界各地迅速发展,它们被视为改善城市交通拥堵和减少污染气体排放的有前途的策略。目前,在一些比较一般的因素下,对共享单车系统的性能分析还存在着许多困难和挑战。本文利用非指数因子的多类封闭排队网络的高负荷服务近似,讨论了一个更一般的大规模自行车共享系统。在此基础上,分别以站点和道路上的自行车数量建立了流动尺度方程和扩散尺度方程。进一步证明了在$N^{2}$维盒中,站点和道路上自行车数量的标度过程按分布收敛于半鞅反射布朗运动(SRBM),并得到了流动和扩散的极限定理.此外,性能分析的自行车共享系统。因此,本文的研究结果和方法为更一般的大规模共享单车系统的研究提供了新的亮点。
2017-07-21 cs.PF math.PR