Balanced Splitting: A Framework for Achieving Zero-wait in the Multiserver-job Model
针对多服务器作业模型，本文提出非抢占式且对作业大小无感知的调度策略Balanced-Splitting。该策略通过静态均衡划分服务器集合并按作业类别及先到先服务原则处理，有效减少延迟。研究证明了其在次临界和临界极限机制下排队概率趋于零，且性能优于多种现有策略。
2024-09-27 cs.PF
Scheduling jobs with unknown size distribution in a M/G/1 queue: the shifted empirical Gittins
Univ. Grenoble Alpes, Inria, CNRS, LIG（格勒诺布尔阿尔卑斯大学、法国国家信息与自动化研究所、法国国家科学研究中心、联合实验室）；ENS de Lyon（里昂高等师范学院）
针对 M/G/1 队列，提出基于 n 个作业大小样本的移位经验 Gittins 索引策略，通过离散化支撑和右移样本，证明其渐近最优性，数值实验验证有效性。
2026-06-24 cs.DS cs.PF math.PR
MDS coding is better than replication for job completion times
在一个多服务器系统中，如果调度器不能查询作业的状态，那么怎样才能获得比随机分配作业更好的性能呢？最近提出了一种复制策略，其中每个到达作业的$d$副本被发送到随机选择的服务器。作业的完成时间是其任何副本的服务首次完成的时间。完成后，从其他队列中删除作业的冗余副本，以免系统负担过重。对于数字作业，其中要服务的对象可以代数操作，并且对于输出是其输入的线性函数的服务器，在这里我们考虑一种替代策略：最大距离可分离（MDS）代码。对于到达的每一批$n$数字作业，在实数或大的有限域上创建$n+m$线性组合，并且每个编码作业被发送到随机服务器。批量完成时间是第一次提供$n+m$编码作业中的任何$n$，因为可以通过高斯消除来恢复对$n$原始作业的评估。如果冗余作业可以从队列中删除批量完成，我们建立，为了得到改善的响应时间性能发送$d$副本的每个$n$作业通过复制策略，与MDS方法，它足以发送$n+d$作业。也就是说，虽然复制是乘法的，但MDS是线性的。
2019-12-08 cs.PF math.PR
Multiserver-job Response Time under Multilevel Scaling
Northwestern University（西北大学）；Georgia Institute of Technology, H. Milton School of Industrial and Systems Engineering（佐治亚理工学院，H. 米尔顿工业与系统工程学校）
本文研究了多级扩展极限下多服务器-作业系统的响应时间，分析了负载主导、单服务器作业和平衡三种情形下的稳定性区域边界增长速率和队列长度。
2026-02-06 cs.PF math.PR
Queues with Small Advice
Harvard University（哈佛大学）
最近的工作调度与预测的作业大小的动机，我们认为调度算法的性能与最小的意见，即一个单一的位。除了展示非常有限的建议的力量之外，这些计划是非常自然的。在预测设置中，可以使用一点建议来模拟一个简单的预测，即一个作业是“大”还是“小”;也就是说，一个作业是高于还是低于给定的阈值。此外，一位建议方案可以对应于告知是否将作业放在队列的前面或后面的机制，这是在许多实现设置中可能有用的限制。最后，只有一点建议的队列有一个足够简单的状态，可以在两个选择的幂的极限平均场分析框架中进行分析。我们的工作遵循最近的工作路径，表明即使是少量的，甚至可能不准确的信息可以大大提高调度性能。
2020-06-27 cs.DS cs.LG cs.PF
Analyzing Distributed Join-Idle-Queue: A Fluid Limit Approach
在负载均衡的上下文中，Lu等人引入了分布式Join-Idle-Queue算法，其中一组调度器将作业分发到并行服务器集群。每个调度器维护一个空闲服务器队列;当一个作业到达调度器时，它将其发送到其队列上的服务器，或者如果队列为空，则发送到随机服务器。反过来，当一个服务器没有作业时，它请求被放置在随机选择的调度程序的空闲队列中。虽然这种算法被证明是非常有效的，原来的渐近分析，使简化的假设变得越来越不准确的系统负载的增加。此外，该分析不会自然地推广到有趣的变化，例如在完成所有作业之前将服务器请求放置在调度器的空闲队列上，这在高负载下可能是有益的。我们提供了一个新的渐近分析加入空闲排队系统的平均场流体极限方法的基础上，推导出的微分方程，描述这些系统的家庭。我们的分析避免了先前的简化假设，在经验上更准确，并且自然地推广到上述变化以及其他简单的变化。我们的理论和实证分析揭示了加入空闲队列的性能，包括高负载下的潜在性能陷阱。
2016-06-06 cs.DC cs.DS cs.NI
Heavy-Traffic Optimal Size- and State-Aware Dispatching
针对 FCFS 多队列系统，本文提出 CARD 尺寸与状态感知调度策略，并通过首个非平凡延迟下界证明其在重流量下平均延迟最优。
2024-01-29 cs.PF
Delay Asymptotics and Bounds for Multi-Task Parallel Jobs
本文研究了由多个并行任务组成的作业的延迟问题，该问题在编码存储系统中的数据文件检索和并行计算等广泛应用中是一个重要的性能指标。在该问题中，每个作业只有在其所有任务都完成时才完成，因此作业的延迟是其任务延迟的最大值。尽管这个问题已经得到了广泛的关注，严密的分析仍然是未知的，因为分析作业延迟需要表征任务延迟之间的复杂相关性，这是很难做到的。我们首先考虑一个渐近制度的服务器，$n$，去无穷大，和任务的数量在一个作业，$k^{(n)}$，允许增加与$n$。在条件$k^{(n)} = o(n^{1/4})$下建立了任意$k^{(n)}$排队的渐近独立性.这极大地推广了文献中的渐近独立类型的结果，其中渐近独立只显示为一个固定的常数数量的队列。由于我们的独立性的结果，工作延迟收敛到最大的独立任务延迟。接下来我们考虑非渐近状态。在这里，我们证明了独立产生一个随机上限的工作延迟任何$n$和任何$k^{(n)}$与$k^{(n)}\le n$。我们证明的关键组成部分是我们开发的一种新技术，称为“泊松过采样”。我们的方法将作业延迟问题转化为相应的球和箱子问题。然而，在与典型的球和箱子的问题，有一个负相关的箱子之间，我们证明了我们的变体呈现出正相关性。
2018-09-16 cs.PF
Power-of-$d$-Choices with Memory: Fluid Limit and Optimality
本文提出带本地记忆的$d$选择幂负载均衡算法，证明其在系统负载满足条件时具有渐近最优性，不满足时队列长度有严格上界，量化了记忆对随机负载均衡的性能提升作用。
2019-04-23 cs.PF math.PR
Throughput-Optimal Multiresource-Job Scheduling with Continuous Requirement Distribution
Northwestern University（西北大学）
本文提出了一种针对连续多资源-任务（MRJ）模型的吞吐量最优调度策略，同时引入了高效政策家族，在某些分布假设下显著提高了计算效率，并通过实验证明其在实际系统中的有效性。
2026-05-20 cs.PF
Optimal Scheduling and Exact Response Time Analysis for Multistage Jobs
在M/G/1排队系统中，最小化平均响应时间的调度是一个经典问题。这个问题通常在以下两种情况下得到解决。在完美信息场景中，调度程序知道每个作业的确切大小或服务需求。在零信息场景中，调度程序仅知道每个作业的大小分布。著名的最短剩余处理时间（SRPT）的政策是最佳的完全信息的情况下，和更复杂的Gittins政策是最佳的零信息的情况下。在实际系统中，调度程序通常只知道关于每个作业大小的部分但不完整的信息。我们引入了一个新的工作模型，多级工作，捕捉这种部分信息的情况。多级作业由一系列阶段组成，其中阶段的顺序和阶段大小都是未知的，但调度程序总是知道作业的哪个阶段正在进行。本文给出了M/G/1排队中多级工件调度的一个最优算法，并对算法的响应时间进行了精确分析。
2018-11-12 cs.PF math.OC
Control of parallel non-observable queues: asymptotic equivalence and optimality of periodic policies
针对并行不可观测队列的作业调度最小化等待时间问题，研究了一类周期策略在系统规模缩放时的渐近等价性与最优性，且极限等待时间为到达率凸函数，助力大型系统优化。
2015-01-19 cs.PF math.OC math.PR
SPLIT: SymPathy for Large jobs Improves Tail latency
Carnegie Mellon University（卡内基梅隆大学）
本文研究了具有重尾任务大小的M/G/n多服务器队列的渐近响应时间尾部性能，提出了一种对大任务略加同情的强尾优化调度策略，解决了多服务器系统中尾部延迟优化问题。
2026-10-20 cs.PF math.PR
Optimal Hyper-Scalable Load Balancing with a Strict Queue Limit
负载均衡在云网络和数据中心等并行服务器系统中高效调度作业方面发挥着关键作用。负载均衡算法设计中的一个基本挑战是在延迟性能和实现开销（例如通信或存储器使用）之间实现最佳折衷。这种权衡主要是研究到目前为止，从所需的开销量的角度来实现渐近最优性能，特别是在大规模系统中消失的延迟。相比之下，在本文中，我们专注于一个任意稀疏的通信预算，可能远低于最低要求消失延迟，称为超可扩展的操作区域。此外，只有当可以保证作业的队列位置的特定限制时，作业才可以被接纳。我们的分析的核心是一个通用的上限，任何调度驱动的算法，对于给定的通信预算和队列限制的可实现的吞吐量。我们还提出了一个具体的超可扩展的计划，可以在任何给定的消息速率和执行任何给定的队列限制，同时允许服务器状态被捕获通过一个封闭的产品形式的网络，在该网络中，服务器作为客户遍历各个节点。利用产品形式分布证明了该界是紧的，并且在给定通信和队列限制的情况下，所提出的超可扩展方案在多服务器机制中是吞吐量最优的。进行了大量的仿真实验来说明结果。
2020-12-14 cs.PF math.PR
Optimal Load Balancing in Bipartite Graphs
云平台中的应用激发了对作业服务器约束和服务器异构性下的高效负载均衡的研究。在本文中，我们研究了负载均衡的二分图，其中左节点对应的作业类型和右节点对应的服务器，与每一个边缘表示的作业类型可以由一个服务器。因此，边表示局部约束，即，每个作业只能在包含某些数据和/或机器学习（ML）模型的服务器上提供。该系统中的服务器可以具有不同的服务速率。在此设置中，我们调查了两个名为Join-the-Fastest-of-the-Shortest-Queue（JFSQ）和Join-the-Fastest-of-the-Idle-Queue（JFIQ）的策略的性能，这两个策略是Join-the-Shortest-Queue和Join-the-Idle-Queue的简单变体，其中关系被打破以支持最快的服务器。在“良好连通”图的条件下，我们证明了JFSQ和JFIQ是渐近最优的平均响应时间时，服务器的数量趋于无穷大。除了渐近最优性，我们还获得了有限大小系统的平均响应时间的上界。我们进一步表明，良好的连通性条件可以满足随机二部图的建设与相对稀疏的连接。
2020-08-20 cs.PF math.PR
Scalable Load Balancing in the Presence of Heterogeneous Servers
异构系统在现代大规模计算机系统中变得越来越普遍。为资源具有变化速度的系统开发良好的负载均衡策略对于实现低响应时间至关重要。事实上，如何最好地将作业分派到服务器是一个经典的和充分研究的问题，在企业文献。然而，现有的大规模系统上的大部分工作假设同构服务器;不幸的是，在同构环境中表现良好的策略可能会导致异构系统中不可接受的性能差，甚至不稳定。我们适应的“幂d”版本的加入空闲队列和加入最短队列的政策，设计两个相应的家庭的异质性感知调度政策，其中每一个是参数化的路由概率对。不像他们的异质性不知道的同行，我们的政策使用服务器速度信息时，选择哪些服务器进行查询，并在概率上决定在哪里（查询服务器）调度作业。我们的两个政策家庭是易于分析的：我们的平均响应时间和队列长度分布分析是准确的服务器的数量接近无穷大，在标准的假设。此外，我们的政策家庭实现最大的稳定性和优于著名的调度规则-包括异质性意识的政策，如最短预期延迟-相对于平均响应时间。
2020-06-24 cs.PF
On Pollaczek-Khinchine Formula for Peer-to-Peer Networks
P2P网络的性能分析需要一种新的任务和服务站随机到达的排队模型。除了一些简单的特殊情况外，一般情况下，具有变化服务率的排队模型在数学上是难以处理的。受M/G/1排队的P-K公式的启发，提出了一种基于服务率波动与平均队长之间关系的极限分析方法。考虑两个极端服务率，证明了关于平均队长上界和下界的猜想。在此基础上，利用这两个界的凸组合和过载条件下的条件平均队长，得到了估计平均队长的近似P-K公式。我们证实了我们的近似的准确性与不同的系统参数进行了广泛的模拟研究。我们还验证了系统行为的所有极限情况都与我们公式的预测一致。
2016-05-26 cs.PF
Size-Aware Dispatching to Fluid Queues
本文提出流体模型，利用尺寸信息路由至并行服务器以最小化平均延迟，通过变分法刻画最优策略，并用数值示例验证。该方法将离散调度问题简化为多维空间寻路问题。
2025-09-25 cs.PF
Light traffic behavior under the power-of-two load balancing strategy: The case of heterogeneous servers
我们考虑了一个多服务器排队系统下的权力的2的政策与泊松作业到达，异构服务器和一般的作业需求分布，每个服务器下的先到先服务的政策，并没有缓冲区的限制。我们分析了该系统的性能，在轻交通的平均作业响应时间的前两个轻交通导数进行评估。这些表达式指出了几个有趣的结构特征与服务器的异质性在轻流量：对于不平等的能力，平均作业响应时间被认为是减少小值的到达率，和更多样化的服务器速度，更大的性能增益。通过有限的模拟评估这些理论研究结果。
2017-01-21 cs.PF
Toward Smart Scheduling in Tapis
Texas Advanced Computing Center（德克萨斯高级计算中心）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究 Tapis 框架中的智能作业调度，提出总体架构并聚焦排队时间预测，分别用回归和分类方法实现系统选择与动态资源配置比较。
2024-08-05 cs.DC cs.LG cs.PF
Tail Optimality and Performance Analysis of the Nudge*(M) Scheduling Algorithm
University of Antwerp（安特卫普大学）
本文提出Nudge*(M)调度算法，证明其在轻尾作业大小分布下具有渐近最优响应时间，并推导了相对于FCFS的渐近尾部改进比及最优参数M。
2026-06-01 cs.PF math.PR
Load Balancing Policies in Heterogeneous Systems: Non-Monotone Stability and Heavy-Traffic Optimality
University of Minnesota（明尼苏达大学）
针对异构并行服务器队列系统，提出统一框架分析负载均衡策略，给出稳定性充分条件，证明非单调稳定性，并实现重流量延迟最优性。
2026-06-23 cs.PF math.PR
Load balancing in parallel infinite-server queues with action delay via phase representation
Graduate School of Science and Technology, University of Tsukuba（筑波大学理工学研究科）；Institute of Systems and Information Engineering, University of Tsukuba（筑波大学系统信息工学研究院）
该研究针对带动作延迟的并行无限服务器队列，用Erlang阶段结构建模延迟，推导服务器不平衡的特征方程，实验验证了流体近似及相关参数对瞬态响应的影响。
2026-07-31 cs.PF math.PR
DynaSPLIT: Strong tail-optimal scheduling for the M/G/n with heavy-tailed job sizes
Carnegie Mellon University（卡内基梅隆大学）
本文针对作业规模为重尾分布的M/G/n队列，提出首个适用于高负载的强尾最优调度策略DynaSPLIT，填补了该场景高负载下强尾最优调度的研究空白，证明该队列全稳定区域均可实现强尾最优性。
2026-10-14 cs.PF math.PR
Tandem Queues with Hybrid Abandonment in Heavy Traffic
Northwestern University（西北大学）
本文针对重负载下仅第一阶段弃权的两阶段混合弃权串联队列，刻画第二队列长度的重负载特性，通过扩展队列分析技术推导结果并验证近似有效性。
2026-10-12 cs.PF math.PR
A Lower Bound on the stability region of Redundancy-d with FIFO service discipline
Redundancy-d（R（d））是一种负载均衡方法，用于将传入的作业路由到K台服务器，每台服务器都有自己的队列。每个到达的作业被复制成2<=d<=K个任务，然后路由到随机均匀选择的d个服务器。当第一个任务完成服务时，剩余的d-1任务被取消，作业离开系统。尽管事实上，R（d）是已知的，在某些条件下，大大提高工作完成时间相比，根本不使用冗余，很少有人知道一个更基本的性能标准：什么是一组到达率下的R（d）排队系统与FIFO服务纪律是稳定的？在这种情况下，由于系统的冗余和取消的复杂动态，现有的结果是稀缺的，并限于非常特殊的情况下，联合服务时间分配的任务。在本文中，我们提供了一个非平凡的，封闭形式的下界的稳定区域R（d）的一般联合服务时间分布的任务有限的第一和第二时刻。本文考虑了一类具有伯努利到达的离散时间系统，并假设工件是按到达顺序加工的。我们使用的工作量过程和二次李雅普诺夫函数来表征的到达率的系统是稳定的。虽然模拟结果表明我们的界限并不严格，但它提供了一个易于检查的性能保证。
2020-05-21 cs.PF cs.SY eess.SY
Queuing with future information
我们研究了一个接纳控制问题，其中一个队列的服务率$1-p$收到传入的作业率$λ\in(1-p,1)$，和决策者被允许重定向离开作业的速率为$p$，与时间平均队列长度最小化的目标。我们表明，有关未来的信息量对系统性能有显着的影响，在繁忙的交通制度。当未来未知时，最优平均队列长度以$\sim\log_{1/(1-p)}\frac{1}{1-λ}$的速率发散，为$λ\to 1$。与此形成鲜明对比的是，当所有的未来到达和服务时间是事先透露，最优平均队列长度收敛到一个有限的常数，$(1-p)/p$，作为$λ\to1$。我们进一步表明，$(1-p)/p$的有限限制，可以实现从当前的时间帧，其长度尺度为$\mathcal{O}(\log\frac{1}{1-λ})$，作为$λ\to1$，仅使用有限的前瞻窗口。这导致了一个有趣的猜想之间的对偶排队延迟和信息量的未来。
2014-07-02 cs.NI cs.PF math.PR
Load Balancing in Compute Clusters with Delayed Feedback
Technische Universität Darmstadt（达姆施塔特工业大学）
负载均衡作为一个基本问题出现，是许多计算和通信系统的规模和操作的基础，例如数据中心集群中的作业路由、多路径通信、大数据和分布式系统。在本质上，决策代理映射每个到达的作业到一个可能的异构服务器，同时瞄准一个优化目标，如负载均衡，低平均延迟或低丢失率。在这里找到最佳负载均衡策略的一个主要困难是代理仅部分地观察其决策的影响，例如，通过延迟的服务工作的确认。在本文中，我们提供了一个部分可观察（PO）模型，捕获的负载均衡决定在有限的信息下的延迟应答的并行缓冲系统。我们提出了一个模拟模型，这个PO系统找到一个负载均衡政策，在实时使用可扩展的蒙特卡罗树搜索算法。我们数值上表明，由此产生的政策优于其他有限的信息负载均衡策略，如变种加入最多的观察，并具有可比的性能，如全信息策略：加入最短队列，加入最短队列（d）和最短预期延迟。最后，我们表明，我们的方法可以优化的实时并行处理通过使用Kaggle提供的网络数据。
2022-10-11 cs.AI cs.DC cs.LG
Approximations and Bounds for (n, k) Fork-Join Queues: A Linear Transformation Approach
与基本fork-join队列相比，（n，k）fork-join队列中的作业只需要完成所有n个子任务中的第k个子任务。由于（n，k）fork-join队列在流行的分布式系统、基于纠删编码的云存储和现代网络协议（如多路径路由）中普遍存在，因此估计这种队列的逗留时间对于计算机集群的性能测量和资源规划至关重要。然而，多年来，估计一直是一个众所周知的开放式挑战，只有粗略的边界有限范围内的负载因子已经给出。本文对联合全同随机变量建立了一种封闭形式的线性变换技术：顺序统计量可以用极大值的线性组合来表示。然后利用这种新技术将非清除（n，k）fork-join队列的逗留时间转化为基本（k，k），（k+1，k+1），.，（n，n）fork-join队列。因此，现有的基本fork-join队列的近似可以桥接到非清除（n，k）fork-join队列的近似。然后使用未覆盖的近似来改进清除（n，k）fork-join队列的上界。仿真实验表明，这种线性变换方法适用于中等的n和相对较大的k。
2017-12-11 cs.DC cs.NI cs.PF
