Optimal Job Scheduling and Bandwidth Augmentation in Hybrid Data Center Networks
优化数据传输对于提高数据并行框架中的工作性能至关重要。在同时具有有线和无线链路的混合数据中心中,可重新配置的无线链路可以提供额外的带宽以加速作业执行。然而,它要求调度器和收发器在耦合约束下做出联合决策。在这项工作中,我们确定的联合作业调度和带宽增加的问题是一个复杂的混合整数非线性问题,这是无法解决的现有的优化方法。为了解决这个瓶颈,我们将其转化为一个等价的问题的基础上耦合的启发式边界,修改的数据传输表示和非线性约束解耦和重新制定,使最优解可以有效地获得分支定界方法。基于所提出的方法,研究了有和没有带宽增加的作业调度性能。实验表明,性能增益取决于多个因素,特别是数据大小。与现有的解决方案相比,我们的方法可以平均减少高达10%的生产场景设置下的作业完成时间。
2022-09-23 cs.DC cs.SY eess.SY
Bandwidth-Aware and Cost-Efficient Pipeline Parallel Scheduling in Geo-Distributed LLM Training
提出BACE-Pipe框架,通过动态作业优先级、带宽感知路径搜索和成本最小化分配,在异构带宽和电价下优化流水线并行调度,同时降低作业完成时间和总电费。
2026-09-28 cs.DC
Data-Quality Based Scheduling for Federated Edge Learning
FEEL(Federated Edge Learning)已成为无线边缘网络中隐私保护分布式训练的领先技术,其中边缘设备与服务器的编排协作训练机器学习(ML)模型。然而,由于频繁的通信,FEEL需要适应有限的通信带宽。此外,局部数据集分布的统计异质性和数据质量的不确定性对训练的收敛性提出了重要挑战。因此,参与设备的精心选择和类似的带宽分配是必要的。在本文中,我们提出了一个基于数据质量的调度(DQS)算法FEEL。DQS优先考虑具有丰富多样数据集的可靠设备。在本文中,我们定义了学习算法和数据质量评估的不同组成部分。然后,我们制定的设备选择和带宽分配问题。最后,我们提出了我们的DQS算法FEEL,我们评估它在不同的数据投毒的情况。
2022-01-27 cs.DC
Metronome: Efficient Scheduling for Periodic Traffic Jobs with Network and Priority Awareness
Shanghai Jiao Tong University(上海交通大学);Pengcheng Laboratory(鹏城实验室);Fudan University(复旦大学)
Metronome通过网络和优先级意识调度机制,提高集群资源利用率并减少任务完成时间,适用于具有周期性流量模式的任务。
2026-02-10 cs.DC
Fair Packet Scheduling in Network on Chip
并行系统的互连网络用于服务由不同应用产生的业务,这些业务通常属于不同的用户。当多个业务流竞争信道带宽时,调节对该信道的访问的调度算法在确保每个流获得所需的服务质量方面起着关键作用。公平性是调度算法非常需要的属性。我们表明,使用相对公平界限作为公平性措施可能会导致吞吐量下降,延迟增加。我们提出了一种替代的度量来评估公平性,并避免了相对公平界限的缺点。
2015-05-31 cs.DC cs.NI
Workload Scheduling on heterogeneous Mobile Edge Cloud in 5G networks to Minimize SLA Violation
智能设备已成为我们生活中不可或缺的一部分,并在几乎所有领域获得越来越多的适用性。诸如增强现实(AR)、自动驾驶和在线游戏等延迟感知应用需要更多的资源,例如网络带宽和计算能力。由于传统的移动网络无法满足所需的带宽和延迟,移动边缘云(MEC)应运而生,在5G网络上为用户提供云计算能力。在本文中,我们考虑了一个异构MEC网络与众多的移动用户,他们的任务发送到MEC服务器。每个任务都有一个可接受的最大响应时间。用户的非均匀分布使得一些MEC服务器成为热点,无法容纳更多用户。一种解决方案是在MEC服务器之间重新定位任务,称为“任务迁移”。我们制定这个问题的任务调度作为一个混合整数非线性优化问题,以尽量减少服务水平协议(SLA)的违规行为。由于解决这个优化问题具有较高的计算复杂性,我们引入了一个贪心算法,称为MESA,迁移启用调度算法,它达到一个接近最优的解决方案迅速。实验表明,在SLA违反方面,MESA与最优选择的平均距离和最差距离分别只有8%和11%。此外,与将任务分配给MEC服务器而不进行迁移相比,支持迁移的解决方案可以将SLA违规减少约30%。
2020-03-21 cs.DC cs.NI
Profiling and Scheduling Complex O-RAN Applications Across the 5G Edge and Cloud
Viterbi School of Engineering, University of Southern California(南加州大学维特比工程学院)
研究 5G 边缘和云端复杂 O-RAN 应用的分析与调度问题,提出 O-DAG 端到端框架,含 DagProfiler 工具等四个阶段,评估五种调度算法,HEFT 完工时间最低,SAGA 仿真差距可作状态诊断,所有工件已发布用于复现。
2026-07-15 cs.DC
Deep Reinforcement Learning based Online Scheduling Policy for Deep Neural Network Multi-Tenant Multi-Accelerator Systems
University of Catania(卡塔尼亚大学)
针对云环境下多租户DNN调度的SLA满足与硬件利用问题,提出考虑加速器异构性和带宽争用的低开销深度强化学习调度算法RELMAS,相比现有技术SLA满足率最高提升173%,能量开销低于1.5%。
2024-04-13 cs.AR cs.DC cs.LG
RT-Gang: Real-Time Gang Scheduling Framework for Safety-Critical Systems
在本文中,我们提出了RT-Gang:一个新的实时的【形】帮派调度框架,强制执行一个帮派在一个时间的政策。我们发现,在一个多核平台上,协同调度多个并行的实时的【形】任务将需要高度悲观的最坏情况执行时间(WCET)和可扩展性分析-即使有足够的核心-由于在共享的硬件资源,如高速缓存和DRAM控制器的竞争。RT-Gang中,一个并行实时的【形】任务的所有线程形成一个实时的【形】组,调度器全局执行一次一组的调度策略,以保证紧凑和准确的任务WCET。为了最大限度地减少利用率不足,我们集成了最先进的内存带宽节流框架,以允许安全执行尽力而为的任务。具体来说,任何空闲核心(如果存在)都用于调度尽力而为任务,但它们的最大内存带宽使用量被严格限制,以严格限制对实时的【形】群任务的干扰。我们在Linux内核中实现了RT-Gang,并使用合成和真实世界的DNN工作负载在两个代表性的嵌入式多核平台上对其进行了评估。结果表明,RT-Gang显著提高了系统的可预测性,开销可以忽略不计。
2019-03-17 cs.DC
Dynamic Resource Allocation Method for Load Balance Scheduling over Cloud Data Center Networks
云数据中心有许多主机和应用程序请求,其中资源是动态的。对资源分配的要求是多种多样的。这些因素可能导致负载不平衡,从而影响调度效率和资源利用率。提出了一种基于动态资源分配的负载均衡调度方法(DRALB)。所提出的解决方案包括两个步骤:首先,负载管理器分析资源需求,如CPU,内存,能量和带宽使用情况,并为每个应用程序分配适当数量的VM。其次,收集和更新资源信息,其中资源根据资源的负载(即,CPU密集型、存储器密集型、能量密集型和带宽密集型)被分类为四个队列。我们证明SLA感知调度不仅方便了云消费者的资源可用性,提高吞吐量,响应时间等,但也最大限度地提高云利润与较少的资源利用率和SLA(服务水平协议)违规处罚。该方法是基于客户端应用程序的多样性和搜索特定部署的最佳资源。基于平均响应时间、资源利用率、SLA违规率和负载均衡等参数进行了实验。实验结果表明,该方法可以减少资源的浪费,并减少了44.89和58.49在网络中的流量。
2022-11-04 cs.DC
Accuracy vs Performance: An abstraction model for deadline constrained offloading at the mobile-edge
针对移动边缘DNN卸载的低延迟deadline约束需求,提出带轻量网络状态表示的调度算法,经树莓派垃圾分类场景验证,高负载下性能更优,资源稀缺时可提升任务吞吐量。
2025-10-02 cs.DC cs.NI
Beyond the Limits: Flexible and Congestion-Aware Cluster Scheduling for the Cloud
Umeå University(于默奥大学)
该研究针对云集群调度的SLO过度严格执行与共享资源拥塞感知缺失问题,提出软SLO限制与感知资源的调度策略,可降低重调度动作49%、节点拥塞8%,提升调度效率与性能保障。
2026-08-11 cs.DC
Size-based scheduling vs fairness for datacenter flows: a queuing perspective
相反,最近的工作机构的结论,近似最短的剩余处理时间优先(SRPT)流调度提倡数据中心网络,本文旨在证明,每流公平性仍然是一个更可取的目标。我们评估抽象的排队模型的分析和模拟,以说明SRPT的非最优性的合理假设下,数据中心的流量发生在批次和突发,而不是通常假设的,单独在一个泊松过程的时刻。这些模型的结果有显着的影响,数据中心网络的带宽共享策略的设计。特别是,我们提出了一种新的“虚拟公平调度”算法,强制执行批次之间的公平性,可以说是足够简单,在高速设备中实现。
2022-03-24 cs.DC cs.NI cs.PF
ARCAS: Adaptive Runtime System for Chiplet-Aware Scheduling
针对 chiplet CPU 分区 L3 缓存导致的 NUMA 内延迟与带宽差异,本文提出 ARCAS 运行时,通过 chiplet 感知调度、硬件感知分配、细粒度监控及轻量级并发迁移机制优化内存密集型并行应用性能。
2025-03-14 cs.AR cs.DC cs.PF
Scheduling IoT Applications in Edge and Fog Computing Environments: A Taxonomy and Future Directions
雾计算作为一种分布式模式,在网络边缘提供云服务,具有低延迟和高访问带宽,以支持各种物联网应用场景。为了充分利用这种计算模式的潜力,需要可扩展的,自适应的和准确的调度机制和算法,以有效地捕获用户,物联网应用,环境属性和优化目标的动态和需求。本文介绍了在雾计算中调度物联网应用程序的最新文献分类。基于我们的新的分类方案,目前的工作在文献中进行了分析,每个类别的研究差距,并描述各自的未来发展方向。
2022-04-26 cs.DC
Towards a Centralized Scheduling Framework for Communication Flows in Distributed Systems
分布式系统的整体性能高度依赖于系统的通信效率。尽管网络资源(链路、带宽)变得越来越可用,但涉及大量数据的数据传输的通信性能不一定以相同的速率提高。这是由于可用网络资源的低效使用。这个问题的解决方案包括数据传输调度技术,其以有效的方式管理和分配网络资源。在本文中,我们提出了几个在线和离线的数据传输优化技术,在集中控制的分布式系统的背景下。
2009-06-01 cs.DC cs.DS cs.NI
Data-Aware Device Scheduling for Federated Edge Learning
Université de Sherbrooke(舍布鲁克大学)
联邦边缘学习(FEEL)涉及边缘设备之间的机器学习模型的协作训练,以及无线边缘网络中服务器的编排。由于频繁的模型更新,FEEL需要适应有限的通信带宽,边缘设备的稀缺能源,以及边缘设备的数据分布的统计异质性。因此,有必要仔细调度用于训练和上传模型的设备子集。与FEEL以前的工作相比,数据方面的探索不足,我们认为数据属性的心脏所提出的调度算法。为此,我们提出了一个新的调度方案,非独立和同分布(非IID)和不平衡的数据集FEEL。由于数据是学习的关键组成部分,我们提出了一套新的考虑因素,在FEEL无线调度算法的数据特性。事实上,设备收集的数据取决于本地环境和使用模式。因此,数据集在设备之间的大小和分布不同。在所提出的算法中,我们考虑数据和资源的角度。除了最小化FEEL的完成时间以及参与设备的传输能量之外,该算法还优先考虑具有丰富多样数据集的设备。我们首先定义了一个数据感知调度的总体框架和多样性评估的主轴和要求。然后,我们讨论多样性方面和一些可利用的技术和指标。接下来,我们制定的问题,并提出我们的FEEL调度算法。在不同的情况下的评估表明,我们提出的FEEL调度算法可以帮助实现高精度,在几轮降低成本。
2022-01-27 cs.DC cs.LG
An O(K)-Approximation Coflow Scheduling in K-Core Optical Circuit Switching Networks
Central Queensland University(中昆士兰大学);Griffith University(格里菲斯大学)
针对多核OCS网络中的协同流调度问题,提出一种集成LP引导的全局排序、核间流分配和核内电路调度的算法,实现8K和(8K+1)近似比。
2026-06-17 cs.DC
HammingMesh: A Network Topology for Large-Scale Deep Learning
ETH Zürich(苏黎世联邦理工学院);Microsoft Corporation(微软公司)
大量的微架构优化为深度神经网络释放了巨大的处理能力,从而推动了人工智能革命。随着这种优化的耗尽,现代人工智能的增长现在取决于训练系统的性能,特别是它们的数据移动。我们不是专注于单个加速器,而是在全系统范围内研究大规模训练的数据移动特征。基于我们的工作负载分析,我们设计了HammingMesh,一种新的网络拓扑结构,提供高带宽,低成本,高作业调度的灵活性。具体来说,HammingMesh可以支持全带宽和隔离到具有两个并行维度的深度学习训练作业。此外,它还支持通用流量的高全局带宽。因此,HammingMesh将为未来具有极端带宽要求的大规模深度学习系统提供动力。
2022-10-21 cs.AI cs.AR cs.DC
DynaComm: Accelerating Distributed CNN Training between Edges and Clouds through Dynamic Communication Scheduling
Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室);Qingdao Huanghai University(青岛黄海学院);Tianjin University(天津大学);Macquarie University(麦考瑞大学)
为了减少上传带宽和解决隐私问题,网络边缘的深度学习一直是一个新兴的话题。通常,边缘设备通过参数服务器框架使用实时生成的数据协作地训练共享模型。虽然所有边缘设备可以共享计算工作负载,但由于参数服务器和边缘设备之间的参数和梯度传输过程,边缘网络上的分布式训练过程仍然非常耗时。专注于加速分布式卷积神经网络(CNN)在网络边缘的训练,我们提出了DynaComm,一种新的调度器,动态地将每个传输过程分解成几个部分,以实现最佳的逐层通信和计算重叠在运行时。通过实验,我们验证了DynaComm管理,以实现最佳的逐层调度的所有情况下相比,竞争策略,而模型的准确性保持不变。
2021-10-08 cs.AI cs.DC cs.LG
Flux: Optimal Scheduling of Optical Circuit Switches for LLM Training
IDLab, University of Antwerp - imec(安特卫普大学 IDLab 实验室与 imec);imec
Flux提出基于整个工作负载结构的最优OCS调度方法,通过电路复用和延迟摊销,显著减少训练迭代时间与缓冲区需求。
2026-09-23 cs.DC cs.NI
Near Optimal Coflow Scheduling in Networks
在过去的几年里,coflow调度问题已经成为研究数据中心内数据通信问题的流行抽象。在这个基本框架中,每个coflow都有一组通信需求,目标是以最小化总加权完成时间的方式调度多个coflow。当所有的通信需求都得到满足时,coflow就完成了。这个问题已经非常好地研究的情况下,完全二分图模型的数据中心与全二分带宽和几个近似算法和有效的算法最近已经提出。在这项工作中,我们研究了一个稍微不同的模型,在一般的图(捕捉数据中心之间的流量)的coflow调度,并开发实用和有效的近似算法。我们的主要结果是一个随机2近似算法的单路径和自由路径模型,显着改善以前的工作。此外,我们通过大量的实验表明,该算法是实用的,易于实现,并在实践中表现良好。
2019-06-17 cs.DC cs.DS
Optimal CPU Scheduling in Data Centers via a Finite-Time Distributed Quantized Coordination Mechanism
在本文中,我们分析了数据中心的最优任务调度问题。给定可用的资源和任务,我们提出了一个快速的分布式迭代算法,该算法在一个大规模的节点网络上运行,并允许每个互连的节点在有限数量的时间步长内达成协议的最优解。更具体地,算法(i)保证在有限数量的时间步中收敛到精确的最优调度计划,并且(ii)一旦实现任务调度的目标,它就表现出分布式停止能力(即,它允许节点分布式地确定它们是否可以终止算法的操作)。此外,所提出的算法仅对量化值(即,在相邻代理之间存储、处理和交换的信息经受确定性统一量化)并且依赖于事件驱动更新(例如,以减少能量消耗、通信带宽、网络拥塞和/或处理器使用)。我们还提供了例子来说明所提出的算法的操作,性能和潜在的优势。最后,通过使用广泛的经验评估,通过模拟,我们表明,该算法具有最先进的性能。
2021-04-07 cs.DC
Learning to Schedule: A Supervised Learning Framework for Network-Aware Scheduling of Data-Intensive Workloads
本文提出了一种基于监督学习的网络感知任务调度框架,通过预测任务完成时间来提高数据密集型任务在多站点集群中的调度准确性。
2025-10-24 cs.DC
Convergence of Update Aware Device Scheduling for Federated Learning at the Wireless Edge
Princeton University(普林斯顿大学);Imperial College London(帝国理工学院)
我们在无线边缘研究联邦学习(FL),其中具有本地数据集的功率受限设备在远程参数服务器(PS)的帮助下协作训练联合模型。我们假设设备通过带宽受限的共享无线信道连接到PS。在FL的每次迭代时,调度设备的子集以通过正交信道资源向PS发送它们的本地模型更新,而每个参与设备必须压缩其模型更新以适应其链路容量。我们设计了新的调度和资源分配政策,决定在每一轮的设备的子集进行传输,以及如何在参与设备之间分配资源,不仅基于他们的信道条件,而且对他们的本地模型更新的意义。然后,我们建立收敛的无线FL算法与设备调度,设备有有限的能力来传达他们的消息。数值实验的结果表明,所提出的调度策略,基于信道条件和本地模型更新的重要性,提供了一个更好的长期性能比调度策略的基础上,只有单独的两个指标。此外,我们观察到,当数据是独立同分布(i.i.d.)在设备之间,在每一轮选择单个设备提供了最佳性能,而当数据分布是非I.I.D.时,在每一轮调度多个设备提高了性能。收敛结果验证了这一观察结果,这表明,调度设备的数量应该增加较少的多样性和更有偏见的数据分布。
2020-05-08 cs.DC cs.IT cs.LG
Scheduling Coflows in Multi-Core OCS Networks with Performance Guarantee
Central Queensland University(中昆士兰大学);Griffith University(格里菲斯大学)
针对多核OCS网络中的coflow调度问题,提出一种联合跨核流量分配与单核电路调度的近似算法,最小化加权完成时间并提供性能保证。
2026-09-24 cs.DC
iDynamics: A Configurable Emulation Framework for Evaluating Microservice Scheduling Policies under Controllable Cloud-Edge Dynamics
Quantum Cloud Computing and Distributed Systems (qCLOUDS) Laboratory, School of Computing and Information Systems, The University of Melbourne, Australia(墨尔本大学计算与信息系统学院量子云计算与分布式系统实验室)
提出iDynamics框架,通过三个模块(图动态分析器、网络动态管理器、调度策略扩展器)在真实微服务代码上模拟可控动态,支持评估调度策略对SLA合规性的影响。
2026-06-23 cs.DC