How to Staff When Customers Arrive in Batches
本文研究成批到达排队系统的人员配置问题，通过建立多服务器队列的大批次极限并将其与存储过程建立形式化联系，证明人员配置须与批次大小成正比，并在纽约市Covid-19接触者追踪数据上验证了该机制的实际意义。
2023-05-29 cs.PF math.PR
Steady-state analysis of single exponential vacation in a $PH/MSP/1/\infty$ queue using roots
研究了一个到达间隔时间为相位型的无限缓冲单服务台排队系统（$PH$），服务按马尔可夫服务过程$(MSP)$提供，当队列为空时，服务台可以单次指数分布休假.所提出的分析是基于根的相关特征方程的矢量生成函数（VGF）的系统长度分布在到达前的时代。此外，我们得到的稳态系统的长度分布在任意时期，以及一些重要的性能指标，如系统中的客户的平均数量和平均系统的客户逗留时间。后来，我们已经建立了重型和轻型交通的近似，以及近似的尾概率在到达前的时代的基础上的特征方程的一个根。最后，我们以表格的形式给出了数值结果，以显示模型参数对性能指标的影响。
2017-02-11 cs.PF math.PR
Towards Maximizing Nonlinear Delay Sensitive Rewards in Queuing Systems
我们考虑在一个单一的服务器队列，其中获得的奖励是一个非增函数的逗留时间的长期平均奖励最大化。这项工作背后的动机来自多个应用，包括量子信息处理和多媒体流。我们引入了一个新的服务纪律，最短的预测逗留时间（SPST），其中，在模拟中，表现优于知名的学科。我们还提出了一些有限的分析保证这个高度复杂的问题。
2022-11-01 cs.PF
A token-based central queue with order-independent service rates
研究了一种基于令牌的多客户中心排队模型。每种类型的客户根据泊松过程到达，并且具有相关联的兼容令牌集。客户只有在申请兼容令牌时才能获得服务。如果在到达时，有多个兼容的令牌可用，则分配规则确定将声明哪个令牌。由客户获得的服务速率是依赖于状态的，即，它取决于所要求的令牌的集合和系统中的客户的数量。我们的第一个主要结果表明，只要分配规则和服务率满足一定的条件，稳态分布具有乘积形式。我们证明了我们的模型包含了已知的具有乘积形式稳态分布的模型族，包括Krzesinski（2011）的阶独立队列和Visschers等人的模型。我们的第二个主要贡献涉及推导表达式的相关性能指标，如逗留时间和系统中存在的客户数量。我们将该框架应用于相关模型，包括具有异构服务速率的M/M/K队列、MSCCC队列、具有冗余的多服务器模型和匹配模型。对于这些模型中的一些，我们提出了以前没有得到的性能指标的表达式。
2019-02-06 cs.PF math.PR
Two-Phase Phase-Type Queues: Closed-Form Distributions, Sensitivity Analysis and the Boundary of Algebraic Tractability
School of Industrial Engineering and Management, AFEKA – The Tel Aviv Academic College of Engineering（工业工程与管理学院，阿费卡-特拉维夫理工学院）
该研究推导了完整$M/PH_2/1$族队列的闭式分布，通过BuTools明确其数值精度格局，证明$PH_2$是代数可处理性边界，为两阶段服务模型提供了现成参考。
2026-08-11 cs.PF math.PR
On the equivalence between multiclass processor sharing and random order scheduling policies
考虑一个服务于多类人群的单服务器系统。一些流行的调度策略，这类系统的歧视性处理器共享（DPS），歧视性随机顺序服务（DROS），广义处理器共享（GPS）和加权公平优先（WFQ）。在本文中，我们提出了两类政策，即MPS（多类处理器共享）和MROS（多类随机顺序服务），概括了上述四个政策。对于特殊情况下，当多类人口到达泊松过程，并有独立和指数的服务需求参数$μ$，我们表明，逗留时间分布的尾部为一类$i$客户在系统中的MPS政策是一个常数倍的等待时间分布的尾部的一类$i$客户在系统中的MROS政策。这个结果意味着，对于类$i$客户，在DPS（GPS）调度策略的系统中的逗留时间分布的尾部是在DROS（分别WFQ）策略的系统中的等待时间分布的尾部的常数倍。
2018-04-11 cs.PF math.PR
Anonymity Mixes as (Partial) Assembly Queues: Modeling and Analysis
匿名平台通过称为混合的特殊路由器网络路由流量，并实施各种流量中断技术来隐藏通信用户的身份。批混合特别是匿名通信的对等体，允许消息交换后，才发生足够数量的消息（一批）积累，从而引入延迟。本文引入了一个批混合的延迟模型，并研究了它的延迟性质。我们的分析表明，延迟的批量混合增长迅速的批量大小接近的数量连接到混合。然后，我们提出了一个随机批量混合策略，并表明它实现了更好的延迟缩放批量大小。然而，随机化被证明会降低混合的匿名保护能力。我们还观察到，匿名模型对于研究更实际相关的匿名指标特别有用，例如去匿名化时间指标。
2019-07-26 cs.IT cs.PF math.IT
Energy-performance tradeoffs in server farms with batch services and setup times
Graduate School of Science and Technology, University of Tsukuba（筑波大学理工学研究科）；Institute of Systems and Information Engineering, University of Tsukuba（筑波大学系统信息工学研究院）
针对数据中心空闲服务器能耗浪费问题，提出带批处理策略的设置队列模型M/M/c/SET--BATCH，通过批量服务与设置时间权衡节能和性能，仿真显示设置时间变异系数大时更优，且允许空闲延迟关闭可提升性能。
2026-10-06 cs.PF math.PR
Queueing Analysis of GPU-Based Inference Servers with Dynamic Batching: A Closed-Form Characterization
Osaka University（大阪大学）
GPU加速计算是利用深度神经网络（DNN）实现高速推理服务器的关键技术。基于GPU的推理的一个重要特征是，在处理速度和能耗方面，通过批量处理多个作业，计算效率大幅提高。在本文中，我们制定了基于GPU的推理服务器作为一个批处理模型的批量大小依赖的处理时间。我们首先表明，服务器的能源效率随着推理作业的到达率单调增加，这表明在推理作业的延迟要求内尽可能高的利用率水平下操作推理服务器是节能的。然后，我们推导出一个封闭形式的平均延迟，这提供了一个简单的表征的延迟性能的上限。通过模拟和数值实验，我们表明，平均延迟的精确值很好地近似于这个上限。我们进一步比较了这个上限与延迟曲线的实际实现的基于GPU的推理服务器，我们表明，真正的性能曲线很好地解释了派生的简单公式。
2021-01-12 cs.LG cs.PF
Group-Server Queues
通过对数据中心节能管理的分析，提出并发展了一类有趣的{ \it Group-Server队列}，并分别通过损失网络和不耐烦客户建立了两个具有代表性的组服务器队列。此外，这两个组服务器队列的模型描述和必要的解释。文中还对期望队长、期望逗留时间和期望虚拟服务时间进行了简单的数学讨论和仿真研究。此外，本文还表明，这类组服务器队列经常遇到的许多其他实际领域，包括通信网络，制造系统，运输网络，金融网络和医疗保健系统。注意，组-服务器队列总是用于设计有效的动态控制机制，其通过例如双向阈值控制对大规模服务系统中的如此多的服务器进行重新分组和重新组合，并且客户转移到缓冲器或服务器组。通过对批量客户的调度和服务资源的重组，将大规模的服务系统划分为多个自适应、自组织的子系统，使服务系统的中间层在动态、实时、均衡的报酬优化框架下得到更有效的管理和强化。在此基础上，引入和分析这种组服务器队列，可以大大提高这样一个大规模的服务系统的性能。因此，不仅组服务器队列的分析被认为是一个新的有趣的研究方向，但也存在着许多理论挑战，基本困难和开放的问题，在排队网络领域。
2017-07-21 cs.IT cs.PF math.IT
MDS coding is better than replication for job completion times
在一个多服务器系统中，如果调度器不能查询作业的状态，那么怎样才能获得比随机分配作业更好的性能呢？最近提出了一种复制策略，其中每个到达作业的$d$副本被发送到随机选择的服务器。作业的完成时间是其任何副本的服务首次完成的时间。完成后，从其他队列中删除作业的冗余副本，以免系统负担过重。对于数字作业，其中要服务的对象可以代数操作，并且对于输出是其输入的线性函数的服务器，在这里我们考虑一种替代策略：最大距离可分离（MDS）代码。对于到达的每一批$n$数字作业，在实数或大的有限域上创建$n+m$线性组合，并且每个编码作业被发送到随机服务器。批量完成时间是第一次提供$n+m$编码作业中的任何$n$，因为可以通过高斯消除来恢复对$n$原始作业的评估。如果冗余作业可以从队列中删除批量完成，我们建立，为了得到改善的响应时间性能发送$d$副本的每个$n$作业通过复制策略，与MDS方法，它足以发送$n+d$作业。也就是说，虽然复制是乘法的，但MDS是线性的。
2019-12-08 cs.PF math.PR
The Tiny-Tasks Granularity Trade-Off: Balancing overhead vs. performance in parallel systems
并行处理系统的模型通常假设有$l$工作者，并且作业被分成相等数量的$k=l$任务。将作业拆分为$k > l$更小的任务，即使用"微小任务“，可以提高性能和稳定性，因为它减少了分配给每个工作者的工作量的差异，但随着$k$的增加，调度和管理任务所涉及的开销开始超过性能收益。我们对Apache Spark集群上的任务粒度的影响进行了广泛的实验，并在此基础上，开发了一个四参数模型的任务和作业开销，在模拟中，产生逗留时间分布匹配的真实系统。我们还提出了分析结果，说明如何使用微小的任务，提高了分裂合并系统的稳定区域，和分析边界上的逗留和等待时间分布的分裂合并和单队列fork-join系统与微小的任务。最后，我们结合的开销模型的分析模型，产生一个解析近似的逗留和等待时间分布的系统与微小的任务，其中包括开销。虽然不再是严格的分析界限，但这些近似值在split-merge和fork-join两种情况下都与Spark的实验结果非常匹配。
2022-02-23 cs.DC cs.NI cs.PF
A Design of Endurance Queue for Co-Existing Systems in Multi-Programmed Environments
如今，企业应用程序试图将在线处理和批处理作业集成到一个通用的软件栈中，以实现无缝监控和无人驾驶操作。当服务需求和吞吐量不同步时，这些系统的持续集成导致性能差的子系统的阻塞。如果一个性能不佳的子系统的可服务性和容量被来自上游系统的增加的服务需求过度利用，则该子系统可能成为整个系统的严重性能瓶颈。在所有的综合子系统中，排队系统由于其有限的服务长度和缺乏处理细节而主要被归类为阻塞元件。这种情况变得更加明显，在多道程序设计的环境中，队列的性能呈指数级下降，在上游水平的多道程序设计的程度增加。本文提出了一种计算队列长度的方法，并设计了一个分布模型，使队列长度根据传输数据包的突然增长或下降而动态调整。这个想法是设计一个内存的热图，并将其与队列长度分布相关联。对于每个程度的多可编程性，数据处理逻辑由分布模型调整，以在可变负载条件下达到用于长期服务的耐久性水平队列。它将取消当前在下游系统使用延迟处理逻辑和/或数据批处理的实现。
2015-12-12 cs.DM cs.PF cs.SE
The Gittins Policy in the M/G/1 Queue
Gittins策略是一种高度通用的调度策略，它最小化了M/G/1队列中各种各样的平均持有成本度量。也许最著名的是，当调度器不知道作业的服务时间时，Gittins在M/G/1中最小化了平均响应时间。Gittins还最小化平均响应时间的加权版本。例如，众所周知的“$cμ$规则”，它最小化多类M/M/1中的类加权平均响应时间，是Gittins的特殊情况。然而，尽管在M/G/1中有大量关于Gittins的文献，但它并没有完全证明Gittins的最优性。这是因为Gittins最初是为多臂强盗问题开发的。把多臂强盗的论证翻译成M/G/1的论证在技术上要求很高，所以只有在某些特殊情况下才能严格地完成。因此，Gittins在M/G/1中的最优性程度并不完全清楚。在这项工作中，我们提供了第一个完全通用的证明Gittins的最优性的M/G/1。我们得到的最优性结果比以前已知的更一般。例如，我们表明，Gittins最大限度地减少平均减速的M/G/1未知或部分已知的服务时间，我们表明，Gittins的最优性下批量到达。我们的证明使用了一种新的方法，直接与M/G/1，避免了翻译的困难，从多臂强盗问题。
2021-11-21 cs.PF math.PR
On the Throughput Optimization in Large-Scale Batch-Processing Systems
我们分析了一个数据处理系统与$n$客户端产生的作业，这些作业在\textit{batches}中由$m$并行服务器处理，系统的吞吐量严重依赖于批量大小和相应的子添加剂加速功能。在实践中，吞吐量优化依赖于对最佳批量的数值搜索，在现有的商业系统中，这一过程可能需要多天。在本文中，我们在一个封闭的路由网络的系统建模，一个标准的马尔可夫分析产生的最佳吞吐量在$ω\left(n^4\right)$时间。我们的主要贡献是一个平均场模型的制度，系统的大小是大的。我们表明，平均场模型有一个独特的，全球有吸引力的固定点，可以发现在封闭的形式，其特征在于作为批量大小的函数的系统的渐近吞吐量。使用该表达式，我们找到了$O(1)$时间内的\textit{asymptotically}最佳吞吐量。从一个大型商业系统的数值设置表明，这种渐近最优是准确的，在实际的有限制度。
2020-09-20 cs.PF
Accelerating Performance Inference over Closed Systems by Asymptotic Methods
Imperial College London（帝国理工学院）
该研究针对封闭系统性能推断的计算瓶颈，通过将多类封闭排队网络的归一化常数转化为单位单纯形上的多维积分，结合求积规则、渐近展开及蒙特卡洛方法实现高效近似，提升了推断精度。
2026-08-27 cs.PF
