HorizonServe: Coordinating Request Scheduling with GPU Sharing for Omni-Model Serving
The University of Sydney(悉尼大学)
HorizonServe是一款单GPU全模态模型服务系统,通过协调请求准入与GPU分配,提升了SLO达成率并降低了首响应延迟,解决了全模态模型统一部署的调度问题。
2026-08-04 cs.DC
Collaborative Learning-Based Scheduling for Kubernetes-Oriented Edge-Cloud Network
针对Kubernetes边缘-云网络缺乏专用调度框架的问题,提出基于协作学习的KaiS框架,通过多智能体actor-critic、图神经网络嵌入和双时间尺度调度,提升长期吞吐率并降低调度成本。
2023-05-10 cs.DC
P-PAS: Prefill-Pressure Adaptive Scheduling for Long-Context LLM Serving
针对长上下文LLM服务中静态最大批处理令牌数(MBT)无法适配不同调度压力的问题,提出P-PAS动态调度策略,可在各类负载下维持低延迟,避免固定MBT的局限。
2026-10-12 cs.DC
PackServe: SLO-Aware Request Scheduling for Agentic LLM Serving at Scale
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Ant Group(蚂蚁集团)
PackServe通过白盒延迟预测模型指导请求打包,在保留KVC重用和SLO约束下减少GPU资源消耗,在64块H20 GPU上节省高达24.6%的GPU小时,并在生产集群中降低34.7%资源占用。
2026-09-29 cs.DC
Quota-Based Aging for Prediction-Guided Scheduling in LLM Serving
Guangdong Prov./Zhuhai Key Lab of IRADS, Beijing Normal-Hong Kong Baptist University(广东省/珠海市智能机器人系统与应用重点实验室,北京师范大学-香港浸会大学联合国际学院)
针对LLM服务中异构响应长度导致的调度问题,提出基于配额的老化(QBA)策略,结合预测短优先准入与配额约束的老化请求提升,可在降低长请求尾部延迟的同时保留平均延迟优势。
2026-10-14 cs.DC
Beyond Greedy Chunking: SLO-Aware Sliding-Window Scheduling for LLM Inference
Sun Yat-sen University(中山大学);Guangdong Polytechnic Normal University(广东技术师范大学)
提出SlidingServe系统,通过滑动窗口分块、轻量级批次延迟预测和动态规划批次构建,在保证服务质量约束下提升大语言模型在线推理的吞吐量并降低SLO违规率。
2026-06-04 cs.DC
Hyperion: Hierarchical Scheduling for Parallel LLM Acceleration in Multi-tier Networks
School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);Singapore University of Technology and Design(新加坡科技设计大学);Terminus Group(天穹集团)
Hyperion通过分层调度优化多级网络中大语言模型的并行加速,显著降低延迟并提升GPU利用率。
2025-12-01 cs.DC
Efficient Serverless Function Scheduling at the Network Edge
本文针对资源受限网络边缘的无服务器函数调度问题,提出基于函数权重的增强型最短函数优先(ESFF)算法,通过选择性初始化实例和动态替换函数来减少冷启动延迟并适应动态负载,仿真验证其显著优于现有基线方法。
2023-10-31 cs.DC
Probabilistic Scheduling of Dynamic I/O Requests via Application Clustering for Burst-Buffer Equipped HPC
突发缓冲是一种很有前途的存储解决方案,它引入了一个中间的高吞吐量存储缓冲层,以缓解当前高性能计算(HPC)平台所面临的I/O瓶颈问题。现有的基于马尔可夫链的概率I/O调度利用突发缓冲器的负载状态和应用程序的周期性特性来减少由于突发缓冲器容量有限而导致的I/O拥塞。然而,这种概率方法需要一致的I/O特性的应用程序,包括类似的I/O持续时间和长的应用程序长度,以获得准确的I/O负载估计。这些一致性条件在现实情况中往往不成立。在本文中,我们提出了一个通用的框架,基于应用程序聚类的动态概率I/O调度(DPSAC),使应用程序满足一致性要求。根据每个应用程序的I/O短语长度,我们的计划首先部署一个一维的K-均值聚类算法聚类成集群的应用程序。然后,通过应用的概率模型计算每个集群的期望工作负载,然后按比例划分Burst-Buffer。然后,处理动态变化(加入和退出)的应用程序,它更新的启发式策略的基础上的集群。最后,采用基于应用负载分布和Burst-Buffer状态的概率I/O调度方法,对所有并发应用进行I/O调度,以缓解I/O拥塞。在合成数据上的仿真结果表明,该算法是有效的。
2022-10-14 cs.DC
The Serverless Scheduling Problem and NOAH
无服务器调度问题对云服务平台提供商提出了新的挑战,因为它是一个作业调度问题,而不是传统的资源分配或请求负载均衡问题。传统上,弹性云应用程序使用托管虚拟资源分配,并采用请求负载平衡器来协调部署。对于无服务器,提供商需要解决负载均衡和分配问题。这项工作回顾了当前的Apache OpenWhisk无服务器事件负载均衡和非合作博弈论负载均衡的方法在分布式系统中的响应时间最小化。仿真结果表明,既没有表现良好的高系统利用率,激发了非合作的在线分配启发式,允许调整之间的权衡响应时间和资源成本的每个无服务器功能。
2018-09-17 cs.DC
Tailored Learning-Based Scheduling for Kubernetes-Oriented Edge-Cloud System
Tianjin University(天津大学);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);Shenzhen University(深圳大学);the University of British Columbia(不列颠哥伦比亚大学)
Kubernetes(k8s)有可能将分布式边缘和云合并,但缺乏专门针对边缘云系统的调度框架。此外,异构资源的层次分布以及请求和资源之间的复杂依赖关系使得面向k8s的边缘云系统的建模和调度尤为复杂。在本文中,我们介绍了KaiS,这是一个基于学习的调度框架,用于这种边缘云系统,以提高请求处理的长期吞吐率。首先,我们设计了一个协调的多代理Actor-Critic算法,以满足分散的请求调度和边缘集群内的动态调度空间。其次,针对不同的系统规模和结构,采用图神经网络嵌入系统状态信息,并将嵌入结果与多策略网络相结合,通过逐步调度降低编排维数。最后,我们采用双时间尺度的调度机制来协调请求分派和服务编排,并给出了部署上述算法与原生k8s组件兼容的实现设计。使用真实的工作负载跟踪的实验表明,KaiS可以成功地学习适当的调度策略,无论请求到达模式和系统规模。此外,与基线相比,KaiS可以将平均系统吞吐率提高14.3%,同时将调度成本降低34.7%。
2021-01-17 cs.AI cs.DC
Using Hybrid Scheduling Algorithms for Solving Blockchain Allocation on Cloud
企业正急于通过云提供服务和解决方案。调度过程在减少延迟方面非常关键。调度还可以在不需要过多等待时间的情况下访问资源。所有这一切都是在基础设施的现代进步和区块链即服务的出现的背景下发生的。如果混合调度算法和区块链技术之间通过云进行集成会怎么样?这种整合旨在不间断地增强和提供服务。该方法的特点是,与其他调度算法,如最短作业优先和优先级调度相比,它不会遭受饥饿,它有一个平衡的资源负载。基于分析性能,所提出的混合调度具有显着的结果。
2021-12-01 cs.DC
Patience-aware Scheduling for Cloud Services: Freeing Users from the Chains of Boredom
云计算中的服务请求的调度传统上集中于减少服务前等待,通常称为等待时间。然而,在某些条件下,例如峰值负载,并不总是能够向所有用户提供合理的响应时间。这项工作探讨了这样一个事实,即不同的用户可能有自己的容忍度或耐心的响应延迟。我们引入调度策略,产生更好的分配计划的优先级从用户谁希望收到的结果更早,并推迟那些谁是更宽容的响应延迟的服务工作的请求。我们的分析结果表明,用户的耐心的行为起着关键作用,在评估调度技术,我们的计算评估表明,在峰值负载下,新的算法通常提供更好的用户体验比传统的FIFO策略。
2013-08-19 cs.DC
DualMap: Enabling Both Cache Affinity and Load Balancing for Distributed LLM Serving
Huazhong University of Science and Technology(华中科技大学);Huawei(华为)
DualMap通过双映射策略实现分布式大语言模型服务中的缓存亲和与负载均衡,提升请求容量2.25倍。
2026-02-06 cs.DC
Workflow decomposition algorithm for scheduling with quantum annealer-based hybrid solver
提出串并联工作流分解(SPWD)启发式算法,结合D-Wave约束二次模型求解器解决大型工作流调度问题,突破了求解器容量限制,并在WfCommons真实实例上验证了有效性。
2025-06-02 cs.DC
CascadeInfer: Length-Aware Scheduling of LLM Serving with Low Latency and Load Balancing
Peking University(北京大学);ScitiX AI
CascadeInfer通过动态调度请求降低LLM服务延迟和负载不均,提升系统吞吐量,减少端到端延迟达67%。
2026-05-15 cs.DC
SLO-Aware Scheduling for Large Language Model Inferences
针对现有LLM推理调度未考虑多任务不同SLO导致硬件利用率低、性能差的问题,提出基于模拟退火的SLO感知调度器,相比vLLM和LMDeploy,显著提升SLO达成率并降低延迟。
2025-06-12 cs.DC
Call Scheduling to Reduce Response Time of a FaaS System
在一个过载的FaaS集群中,各个工作节点在不断增长的请求队列下承受着压力。虽然集群最终可能会横向扩展,但添加一个新节点需要几十秒。由于服务应用程序针对尾服务延迟进行了调优,并且这些延迟在较重的负载下会大大增加,因此当前的解决方案是资源过度配置。事实上,即使服务可以承受稳定的负载,例如,70%的CPU利用率,则自动定标器在以下情况下触发,例如,30-40%(因此服务使用的节点数量是所需的两倍)。我们提出了一种替代方案:一个工人级的方法处理重负载,而不增加节点的数量。FaaS执行不是交互式的,例如,文本编辑器:最终用户不会经常从分配给进程的CPU中受益,但时间很短。受高性能计算调度方法的启发,我们采取了一个激进的步骤,通过(1)基于历史特征对请求进行排队;(2)一旦处理请求,将其CPU限制设置为一个核心(没有CPU超额订阅)来取代经典的操作系统抢占。我们扩展了OpenWhisk,并使用SeBS基准测试来衡量所提出的解决方案的效率。在加载系统中,我们的方法减少了平均响应时间的一个因素4。对于较短的请求,改进甚至更高,因为平均拉伸减少了18倍。这使我们表明,与4台机器基线相比,我们可以使用3台机器提供更好的响应时间统计数据。
2022-07-26 cs.DC
Test Generation and Scheduling for a Hybrid BIST Considering Test Time and Power Constraint
提出了一种新的多时钟域SoC测试生成和测试调度方法。提出了一种用于核测试的并发混合内建自测试架构。此外,提出了一种启发式的选择核心进行测试的并发和顺序的应用测试模式。实验结果表明,与以往的工作相比,本文提出的方法为多时钟域SoC测试提供了一种优化的方法。
2018-01-16 cs.DC
Adaptive online scheduling of tasks with anytime property on heterogeneous resources
服务器的可接受响应时间在许多客户端-服务器应用程序中是一个重要方面;这在服务器被许多计算密集型请求过载的情况下是显而易见的。在这项工作中,我们认为,请求,或在这种情况下的任务,由客户端生成的优化问题的实例,解决任何时候的算法,即解决方案的质量增加与任务的处理时间。这些任务被提交给服务器,服务器将它们调度到处理任务的可用计算资源。为了解决过载问题,我们提出了一种调度算法,它结合了传统的调度方法与质量控制启发式调整所要求的质量的解决方案,从而改变任务的处理时间。引入了两种有效的质量控制算法:第一种算法为所有任务设置全局质量,而第二种算法为每个任务独立设置质量。此外,在实践中,处理时间和质量之间的关系并不是先验已知的。因为它是至关重要的调度算法至少知道这些关系的估计,我们提出了一个一般的程序,估计这些关系使用的信息从已经执行的任务。最后,所提出的调度算法的性能表现在一个现实世界的问题,从域的人员排班具有非常好的结果。
2018-02-08 cs.DC
Hybrid static/dynamic scheduling for already optimized dense matrix factorization
我们提出了使用的混合静态/动态调度策略的任务依赖图的直接方法中使用的密集数值线性代数。该策略提供了数据局部性、负载平衡和低出队开销的平衡。我们表明,这种调度在通信中的使用,避免密集因式分解导致显着的性能增益。在一个48核AMD皓龙NUMA机器上,我们的实验表明,我们可以实现高达64%的改进,超过一个版本的CALU,使用完全动态调度,和高达30%的改进,超过版本的CALU,使用完全静态调度。在16核Intel Xeon计算机上,我们的混合静态/动态调度方法比使用完全静态调度或完全动态调度的CALU版本快8%。我们的算法导致加速比相应的例程计算LU因式分解在知名的图书馆。在48核AMD NUMA机器上,我们的最佳实现比MKL快110%,而在16核Intel Xeon机器上,它比MKL快82%。我们的方法也显示出显着的加速比PLASMA在这两个系统上。
2011-10-12 cs.DC
SMetric: Rethink LLM Scheduling for Serving Agents with Balanced Session-centric Scheduling
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University(并行与分布式系统研究所,上海交通大学);Alibaba Group(阿里巴巴集团)
研究代理服务中LLM调度问题,提出基于全局层KV存储和会话内局部性的见解,设计SMetric平衡会话中心调度,相比先进调度器提升集群TPS及预填充TPS,降低每个令牌延迟。
2026-09-15 cs.AI cs.DC
Arrow: Adaptive Scheduling Mechanisms for Disaggregated LLM Inference Architecture
University of Science and Technology of China(中国科学技术大学)
本文提出自适应调度器 Arrow,通过动态调整 Prefill 与 Decode 实例数量应对负载波动,使分离式 LLM 推理服务速率最高提升 2.55 倍。
2025-11-06 cs.DC
Task Scheduling in Cloud Computing Using Hybrid Meta-heuristic: A Review
近年来,随着高带宽互联网接入的出现,云计算应用蓬勃发展。随着越来越多的应用程序在云上运行以及不同云平台的总体用户群的增加,对高效作业调度技术的需求也有所增加。传统的作业调度算法的任务是确定作业的执行顺序,其使用最少的资源,如时间、处理、存储器等。通常,用户需要更多的服务和非常高的效率。有效的调度技术有助于资源的合理利用。在这个研究领域中,混合元启发式算法已经被证明是非常有效的优化任务调度提供更好的成本效率比单独使用。这项研究提出了一个系统的和广泛的分析任务调度技术在云计算使用各种混合变种的Meta探试法,如遗传算法,禁忌搜索,和谐搜索,人工蜂群,粒子群优化等在这项研究综述中,一个单独的部分讨论了使用各种性能评估指标在整个文献。
2022-01-23 cs.DC
Coordinated Scheduling for MoE LLM Serving
The University of Melbourne(墨尔本大学);Monash University(莫纳什大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
提出Gimbal,一种跨层协调调度系统,通过细粒度DP引擎调度和专家负载均衡,减少平均TTFT 42.9%和TPOT 33.3%。
2026-06-16 cs.DC
Harpagon: Minimizing DNN Serving Cost via Efficient Dispatching, Scheduling and Splitting
Tianjin University(天津大学);Stevens Institute of Technology(史蒂文斯理工学院)
Harpagon通过高效调度、调度和分割策略,有效降低多DNN应用的服务成本,同时满足延迟约束。
2024-12-09 cs.DC
An Algorithm for File Transfer Scheduling in Grid Environments
针对网格环境下的数据传输调度问题,提出了一种具有动态和自适应特性的集中式调度器。该算法为用户传输请求提供了一个预留系统,该系统根据网络拓扑结构和用户为请求指定的约束来分配传输时间和带宽。本文介绍了与数据传输领域相关的项目,调度器的框架设计,调度器的主要功能,传输请求重新调度的步骤和两个测试,说明系统的行为,不同类型的传输请求。
2009-01-02 cs.DC cs.DS cs.NI
Scale: Deep Reinforcement Learning for Container Scheduling in Serverless Edge Computing
Nottingham Trent University(诺丁汉特伦特大学);Loughborough University(拉夫堡大学);University of Bologna(博洛尼亚大学);TU Wien(维也纳工业大学);University of Oregon(俄勒冈大学)
本文提出Scale框架,通过深度强化学习优化容器调度与资源分配,在动态负载下平衡系统稳定性和性能,实验证明其在决策效率和资源利用率方面优于整数线性规划求解器。
2026-05-15 cs.DC
Hybrid Workload Scheduling on HPC Systems
传统上,按需、刚性和可延展的应用程序在单独的系统上调度和执行。不断增长的工作负载需求和快速发展的HPC基础设施引发了将这些应用程序融合到单个HPC系统上的兴趣。虽然在一个系统内分配混合工作负载可能会提高系统效率,但很难在按需请求的响应性、可延展作业的激励和刚性应用程序的性能之间进行权衡。在这项研究中,我们提出了几种调度机制,以解决所涉及的问题,在一个单一的HPC系统上的按需,刚性和可塑性的工作协同调度。我们广泛地评估和比较它们在各种配置和工作负载下的性能。我们的实验结果表明,我们提出的机制能够以最小的延迟服务于按需工作负载,为宣布延展性提供激励,并提高系统性能。
2021-09-12 cs.DC
Fairness-aware Crowdsourcing of IoT Energy Services
我们提出了一种新颖的公平意识框架,用于众包能源服务(FACES),以有效地提供众包物联网能源服务。通常,高效的资源配置可能会导致某些请求的不公平资源共享。然而,FACES通过最大化所有请求的公平性来最大化可用能量服务的利用。我们进行了一组初步的实验,以评估所提出的框架对传统的公平意识的资源分配算法的有效性。结果表明,FACES的物联网能量利用率优于FCFS,与Max-min公平调度相似。实验结果表明,与FCFS和Max-min公平调度相比,使用FACES的预配置请求具有更好的公平性.
2021-11-11 cs.DC
Hybrid Job-driven Scheduling for Virtual MapReduce Clusters
对于预算有限的租户来说,通过从VPS提供商租用多个虚拟专用服务器(VPS)来建立虚拟MapReduce集群是具有成本效益的。为了提供一个合适的调度方案,这种类型的计算环境,我们在本文中提出了一个混合作业驱动的调度方案(JoSS)从租户的角度来看。JoSS不仅提供作业级调度,而且提供映射任务级调度和约简任务级调度。JoSS根据作业规模和作业类型对MapReduce作业进行分类,并设计适当的调度策略来调度每类作业。目标是提高map任务和reduce任务的数据局部性,避免作业饥饿,并提高作业执行性能。JoSS的两个变化,进一步介绍了分别实现更好的地图数据的本地性和更快的任务分配。我们进行了广泛的实验,以评估和比较这两种变化与当前的调度算法支持Hadoop。结果表明,这两个变化优于其他测试算法的地图数据的局部性,减少数据的局部性,并在不产生显着的开销网络开销。此外,这两种变体分别适用于不同的MapReduce工作负载场景,并在所有测试算法中提供最佳的作业性能。
2018-09-11 cs.DC
PecSched: Preemptive and Efficient Cluster Scheduling for LLM Inference
University of Virginia(弗吉尼亚大学)
针对 LLM 推理输入长度高度异构导致的队头阻塞和长请求饥饿问题,提出 PecSched 抢占式集群调度系统,结合 prefill-decode 协同与快速 SP,显著降低短请求尾延迟并提升吞吐。
2025-06-08 cs.DC cs.LG
Bringing Inter-Thread Cache Benefits to Federated Scheduling -- Extended Results & Technical Report
硬实时任务的多处理器调度模型的有向无环图(DAG)利用固有的并行模型。对于DAG任务,节点表示在其中一个可用处理器上执行对象的请求。在一个DAG任务中,可能存在针对一个对象的多个执行请求,每个执行请求由不同的节点表示。这些不同的执行请求提供了一个机会,通过协调调度对象作为并行任务中的线程来减少它们的组合缓存开销。这项工作的目标是实现这一机会,将缓存感知捆绑调度算法到零星DAG任务集的联邦调度。这是第一个将指令缓存共享纳入联邦调度的工作。结果是对DAG模型的修改,名为具有对象和线程的DAG(DAG-OT)。在DAG-OT模型下,节点的描述显式地包括其底层可执行对象和线程数量。如果可能,分配了相同可执行对象的节点将折叠成单个节点;在BUNDLE调度时加入它们的线程。与DAG模型相比,具有缓存感知调度的DAG-OT模型在综合评估中将分配给各个任务的核心数量减少了约20%,在新型并行计算平台实现中减少了高达50%。通过减少分配的核的数量,DAG-OT模型能够调度先前不可行的任务集的子集。
2020-02-28 cs.DC cs.OS
Adaptive Scheduling for Edge-Assisted DNN Serving
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Microsoft Research Asia(微软亚洲研究院)
本文针对边缘辅助DNN服务的多客户端实时处理需求,提出利用批处理增益的通用调度算法并扩展支持异构DNN,结合客户端本地自适应协同处理,在多种请求分布下有效提升了处理性能。
2023-05-02 cs.DC cs.LG cs.NI
Simple is Better: Multiplication May Be All You Need for LLM Request Scheduling
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University(上海交通大学并行与分布式系统研究所);Alibaba Group(阿里巴巴集团)
本文提出通过简单乘法结合KVCache和负载均衡指标,实现LLM请求调度的双重目标,无需超参数调优,实验显示在真实工作负载中显著提升性能。
2026-06-05 cs.DC cs.OS
Semantic Parallelism: Redefining Efficient MoE Inference via Model-Data Co-Scheduling
Huawei Technologies(华为技术有限公司);Sun Yat-Sen University(中山大学)
本文提出语义并行范式,通过模型-数据协同调度减少MoE推理中的通信成本,提升推理效率。
2026-02-27 cs.AI cs.DC cs.LG
Optimal Scheduling Algorithms for LLM Inference: Theory and Practice
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出SLAI调度器,通过动态资源分配和实时测量优化LLM推理的吞吐量和延迟,减少TTFT并提高服务容量。
2025-12-01 cs.DC cs.LG
Efficiency and Cost Alignment in Batched LLM Serving via Resource-Fair Scheduling
University of Washington(华盛顿大学);HKUST(香港科技大学)
本文针对批量LLM服务中异构请求导致的资源分配低效问题,提出ISJL算法,实现高吞吐量的同时对齐最大驱动批次成本与token计量收入,达到3/4的竞争比下界,平衡了FCFS与LJF的优缺点。
2026-08-04 cs.DC cs.SY eess.SY
Hiku: Pull-Based Scheduling for Serverless Computing
本文提出Hiku拉取式调度算法,通过让空闲工作节点主动请求任务来解耦节点选择与任务分配,在开源FaaS平台上显著改善高并发下的响应延迟、冷启动频率、吞吐量和负载均衡。
2025-07-04 cs.DC cs.PF
TS-EoH: An Edge Server Task Scheduling Algorithm Based on Evolution of Heuristic
School of Computer Science Central China Normal University Wuhan, China yatong\;School of Computer Science Central China Normal University Wuhan, China
针对边缘服务器任务调度难以平衡多优化目标的问题,提出基于进化计算与启发式算法、结合大语言模型评估的TS-EoH调度算法,性能优于现有启发式与传统强化学习方法,并分析了不同启发式策略及LLM服务的影响。
2024-09-04 cs.AI cs.DC
Llumnix: Dynamic Scheduling for Large Language Model Serving
Alibaba Group(阿里巴巴集团)
Llumnix通过跨模型实例的运行时请求重调度和实时迁移机制,解决LLM服务中请求异构不可预测导致的延迟与SLO问题,显著改善尾部延迟、加速高优先级请求并降低成本。
2024-06-05 cs.AR cs.DC cs.LG
Rocks, Pebbles and Sand: Modality-aware Scheduling for Multimodal Large Language Model Inference
IMDEA Software Institute(IMDEA软件研究所);Universidad Politécnica de Madrid(马德里理工大学)
针对多模态大语言模型推理中资源需求差异大导致的延迟和内存问题,提出RPS-Serve调度器,通过动态优先级和老化机制实现高效资源利用,降低TTFT并提升响应性能。
2026-10-30 cs.AI cs.DC
Symphony: Optimized DNN Model Serving using Deferred Batch Scheduling
University of Washington(华盛顿大学);Duke University(杜克大学);Microsoft(微软公司)
本文提出 Symphony DNN 服务系统,通过可调度窗口与跨加速器细粒度协调实现延迟批量调度,在满足 SLO 的同时显著提升有效吞吐量并减少 GPU 使用。
2024-02-28 cs.DC cs.LG
FlowPrefill: Decoupling Preemption from Prefill Scheduling Granularity to Mitigate Head-of-Line Blocking in LLM Serving
Tsinghua University(清华大学);University of Science and Technology Beijing(北京科技大学)
FlowPrefill通过解耦预emption与调度粒度,优化TTFT和吞吐量,缓解LLM服务中的头部阻塞问题。
2026-02-18 cs.AI cs.DC
Priority-based Fair Scheduling in Edge Computing
调度在边缘计算中很重要。与云相比,边缘资源受到硬件限制,无法支持工作负载驱动的基础设施扩展。因此,边缘的资源分配和调度需要全新的视角。现有的边缘调度研究假设所有需要的资源,只要一个作业请求的可用性。本文挑战了这一假设,因为并非所有来自云服务器的作业请求都可以在边缘节点上调度。因此,保证客户端之间的公平性(云服务器卸载作业),同时考虑作业的优先级成为一项关键任务。本文提出了四种调度技术,第一种是一个天真的先来先服务的策略,并进一步提出了三种策略,即客户端公平,优先级公平,和混合帐户的公平客户端和作业优先级。在三种不同的情况下,即平等的,随机的,高斯作业分布的目标平台上的评估。实验研究突出了较低的开销和分配的边缘节点上的调度作业相比,天真的策略。结果证实了混合策略的优越性能,并展示了边缘计算公平竞争的可行性。
2020-01-24 cs.DC cs.NI
Hybrid Heuristic-Based Artificial Immune System for Task Scheduling
异构系统中的任务调度问题是指将应用程序的任务分配给通过高速网络互连的异构处理器,从而尽可能缩短应用程序的完成时间的过程。任务是应用程序的处理单元,具有优先级约束、通信和有向无环图(DAG)。进化算法非常适合解决异构环境下的任务调度问题。在本文中,我们提出了一个混合的基于免疫学的人工免疫系统(AIS)算法来解决调度问题。在这方面,AIS与一些算法和单邻域搜索(SNS)技术的混合。AIS的克隆和免疫去除算子提供了多样性,而搜索和SNS提供了算法收敛到好的解决方案,即在探索和开发之间取得平衡。我们比较了我们的方法与一些国家的最先进的算法。实验结果表明了该方法的有效性。
2011-12-13 cs.DC cs.NE
PolyServe: Efficient Multi-SLO Serving at Scale
University of Washington(华盛顿大学);ByteDance(字节跳动)
针对 LLM 服务中多延迟 SLO 难以兼顾尾延迟、利用率和自动扩缩容的问题,本文提出 PolyServe,通过 SLO 分箱、负载梯度路由、跨层共享及分块调度实现 1.23 倍有效吞吐量提升。
2025-07-17 cs.DC cs.LG
Staggered Batch Scheduling: Co-optimizing Time-to-First-Token and Throughput for High-Efficiency LLM Inference
本文提出交错批次调度方法,通过缓冲请求优化执行批次,降低TTFT并提升吞吐量,应用于高效大语言模型推理。
2025-12-18 cs.DC cs.LG
Meeting QoS of Users in a Edge to Cloud Platform via Optimally Placing Services and Scheduling Tasks
本文研究了在三层边缘到云平台上,用户请求必须在一定期限内得到满足时的服务放置和任务调度问题。对时间敏感的应用程序(例如,增强现实、游戏、实时视频分析)具有必须满足的严格约束。在多个可能的计算中心的情况下,解决这些请求的“地点”和“时间”在满足其最后期限时变得至关重要。我们将满足用户的最后期限同时最小化边缘到云服务提供商的总成本的问题表述为线性规划(ILP)问题。我们展示了这个问题的NP-硬度,并提出了两个基于局部与全局尺度上的决策的算法。我们改变了用户数量、QoS约束以及远程云和小云(边缘云)之间的成本差异,并对每种情况运行多个Monte-Carlo运行。我们的仿真结果表明,所提出的算法在降低复杂度的同时,性能接近最优。
2019-08-13 cs.DC cs.NI
Stage-Aware Communication Scheduling for Disaggregated LLM Serving
iSING Lab, Hong Kong University of Science and Technology(香港科技大学 iSING 实验室);Shanghai Jiao Tong University(上海交通大学);University of Science and Technology of China(中国科学技术大学)
本文提出MFS机制,通过动态优先级调度提升TTFT性能,有效降低网络竞争对SLO的影响。
2026-09-22 cs.DC cs.NI
Joint QoS-aware and Cost-efficient Task Scheduling for Fog-Cloud Resources in a Volunteer Computing System
志愿者计算是一种基于Internet的分布式计算系统,志愿者共享他们额外的可用资源来管理大规模任务。然而,志愿者计算系统(Volunteer Computing System,简称UMTS)中的计算设备在其处理能力、货币成本和数据传输延迟方面是高度动态和异构的。为了保证不同请求的高服务质量(QoS)和低成本,必须有效地利用所有可用的计算资源。任务调度是一个NP难问题,被认为是异构并行计算中的主要挑战之一。基于此,本文设计了两种面向虚拟控制系统的任务调度算法Min-CCV和Min-V。算法的主要目标是联合最小化物联网(IoT)请求的计算、通信和延迟违规成本。我们广泛的模拟结果表明,所提出的算法能够更有效地分配任务到志愿者雾/云资源比国家的最先进的。具体来说,我们的算法提高了约99.5%的最后期限满意度的任务率,并降低了15至53%之间的总成本相比,基于遗传算法。
2021-04-28 cs.DC math.OC
Skedulix: Hybrid Cloud Scheduling for Cost-Efficient Execution of Serverless Applications
我们提出了一个框架,用于在混合公共-私有云上调度多功能无服务器应用程序。一组无服务器作业作为批处理输入,目标是在混合平台上调度功能执行,以最大限度地降低公共云使用的成本,同时在指定的截止日期前完成所有作业。由于这个调度问题是NP-难的,我们提出了一个贪心算法,动态地确定每个功能执行的顺序和位置,使用功能执行时间和网络延迟的预测模型。我们提出了一个原型实现我们的框架,使用AWS Lambda和OpenFaaS,分别为公共云和私有云。我们在现场实验中使用计算和I/O繁重的无服务器应用程序的混合来评估我们的原型。我们的研究结果表明,我们的框架可以实现加速批处理的方法,只使用私有云的1.92倍,在40.5%的成本,只使用公共云的方法。
2020-06-05 cs.DC cs.NI
Fairness-Aware and Latency-Controllable Scheduling for Chunked-Prefill LLM Serving
School of Computer Science and Technology, Xidian University(西安电子科技大学计算机科学与技术学院)
针对分块预填充LLM服务中的调度公平性与延迟稳定性问题,提出基于老化策略的动态优先级调度、延迟预测请求调度和主动预填充控制,在NVIDIA GPU和Ascend加速器上实验表明,相比FCFS,平均端到端延迟降低10%以上,P99尾延迟显著减少。
2026-06-08 cs.DC cs.PF
An Exact Algorithm for the Linear Tape Scheduling Problem
磁带通常被认为是一种过时的存储技术,但它们仍然用于存储大量数据。他们的主要兴趣是大容量和每GB的低价格,这是以比磁盘更长的文件访问时间为代价的。因此,对于磁带,找到多个文件访问的正确顺序是性能的关键。沿着一公里长的磁带来回移动读取头具有不可忽略的成本,因此必须避免不必要的移动。然而,磁带请求排序的优化在调度文献中很少被研究,比磁盘上的I/O调度少得多。例如,最小化线性磁带上几个读请求的平均服务时间仍然是一个悬而未决的问题。因此,在本文中,我们的目标是提高磁带存储系统的用户所体验到的服务质量,而不仅仅是这种系统的峰值性能。为此,我们提出了一个合理的多项式时间精确算法,而这个问题和更简单的变种已被证明是NP难的。我们还完善了所提出的模型,考虑掉头罚款成本占固有的机械加速度。然后,我们提出了低成本的变种,我们的最佳算法,通过限制的解决方案空间,但仍然产生一个准确的次优解决方案。最后,我们比较我们的算法,现有的解决方案,从文献上的日志的海量存储器管理系统的一个主要的数据中心。这使我们能够评估以前的解决方案的质量和我们的低成本算法实现的改进。为了实现可重复性,我们提供了评估中使用的算法的完整实现,以及磁带请求数据集,据我们所知,这是第一个公开发布的此类数据集。
2022-05-04 cs.DC cs.DS