STOMP: A Tool for Evaluation of Scheduling Policies in Heterogeneous Multi-Processors
近年来,异构芯片多处理器的激增达到了前所未有的水平。传统的同构平台在实现高性能超低功耗计算方面表现出了根本的局限性,特别是在具有实时执行期限或关键性约束的应用领域。通过将正确的通用核心和硬件加速器组合在一起,以及适当的芯片互连和存储器技术,异构芯片多处理器已成为一种有效的高性能和低功耗计算替代方案。异构架构的挑战之一涉及跨芯片中的各种选项的应用任务(进程、线程)的高效调度。因此,关键是要提供工具,使早期的原型和评估的新的调度策略的异构平台。在本文中,我们提出了STOMP(调度技术优化在异构多处理器),一个模拟器的快速实施和评估的任务调度策略在多核/多处理器系统中的一个方便的接口,以简单的方式“插入”新的调度策略。STOMP的彻底验证表现出较小的相对误差相比,在稳态分析过程中的封闭形式的等效模型。
2020-07-28 cs.AR cs.DC
Improving Overhead Computation and pre-processing Time for Grid Scheduling System
计算网格是一个巨大的环境,具有异构的资源和稳定的基础设施之间的其他基于Internet的计算系统。然而,这种系统中的资源管理有其特殊的问题。调度系统需要从信息中心获取参与节点的最新信息,以便进行可靠的作业调度。在本文中,我们专注于在线更新资源信息中心处理和提供的数据的基础上假设的层次模型。采用混合知识抽取方法对网格节点进行分类,并基于工件特征预测。本研究的一个肯定的观点是,调度系统不会浪费额外的时间来获取网格节点的最新信息。实验结果表明,我们的方法相比,其他保守的方法的优势,特别是由于它能够预测节点的行为的基础上,每个节点上的综合数据表。
2010-05-06 cs.DC
Scheduling Algorithms for Asymmetric Multi-core Processors
由于对处理器性能的要求越来越高,功耗不断增加,多核处理器技术应运而生,成为当前和未来十年的主流技术。研究提倡非对称多核处理器系统,以更好地利用芯片的真实状态。然而,非对称多核架构对传统上假定硬件同构的操作系统调度器提出了新的挑战。因此,如何将线程调度到内核已成为操作系统内核的一个重要问题。在本文中,提出了调度算法的非对称多核处理器进行了分类。本文通过对这几类典型算法的研究,对非对称多核系统的调度算法进行了综述。
2017-02-14 cs.DC
Scheduling computations with provably low synchronization overheads
工作窃取已经是一个非常成功的算法调度并行计算,并被称为实现高性能,甚至表现出细粒度的并行计算。我们提出了一个\ws \的变体,它可以通过在默认情况下保持处理器的deque完全私有来避免大多数同步开销,并且只在小偷请求时才公开工作。这是第一篇论文,获得的同步开销的界限是(基本上)独立的总工作量,从而对应于一个很大的改进,在算法设计和理论,超过国家的最先进的\ws \算法。考虑使用我们的调度程序由$P$处理器执行的具有工作$T_{1}$和关键路径长度$T_{\infty}$的任何计算。我们的分析表明,预期的执行时间为$O\left(\frac{T_{1}}{P} + T_{\infty}\right)$,预期的同步开销最多为$O\left(\left(C_{CAS} + C_{MFence}\right)PT_{\infty}\right)$,其中$C_{CAS}$和$C_{MFence}$分别表示执行Compare-And-Swap指令和Memory Fence指令的最大开销。
2019-04-26 cs.DC cs.DS
SCAR: Scheduling Multi-Model AI Workloads on Heterogeneous Multi-Chiplet Module Accelerators
Univ. of California, Irvine(加利福尼亚大学欧文分校)
针对同构MCM AI加速器适配异构多模型工作负载能力不足的问题,提出集成芯粒间流水线的启发式调度器SCAR,在数据中心多租户和AR/VR场景下均显著降低能效延迟积。
2024-09-14 cs.AI cs.AR cs.DC
SoCRATES: System-on-Chip Resource Adaptive Scheduling using Deep Reinforcement Learning
深度强化学习(Deep Reinforcement Learning,DRL)正越来越多地应用于新兴片上系统(System-on-Chip,SoC)应用的资源分配问题,并已显示出显著的前景。在本文中,我们介绍了SoCRATES(SoC资源AdapTivE调度),一个非常有效的基于DRL的SoC调度器,它使用折衷交互匹配(EIM)技术映射广泛的层次作业到SoC内的异构资源。值得注意的是,大多数的SoC资源管理方法已经针对最大完工时间最小化与固定数量的系统中的作业。相反,SoCRATES的目标是在稳态条件下最小化平均延迟,同时将就绪队列中的任务分配给异构资源(处理元素)。我们首先表明,延迟最小化驱动的SoC应用程序运行高频率的工作负载和分布式/并行作业执行。然后,我们证明SoCRATES成功地解决了并发观察所造成的任务依赖性固有的延迟最小化目标的挑战。广泛的测试表明,SoCRATES优于其他现有的神经和非神经调度器,在各种作业类型和输入速率下,延迟减少高达38%。所得到的模型尺寸紧凑,具有非常有利的能耗行为,这使得它非常实用,可用于未来具有内置神经加速器的SoC系统中。
2021-10-12 cs.DC cs.OS
SET: Stream-Event-Triggered Scheduling for Efficient CUDA Graph Pipelines
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对GPU调度开销和同步延迟问题,提出基于多流任务并行流水线模型和图执行流的CUDA运行时框架,实现1.15-1.44倍加速并减少18-54%调度开销。
2026-06-03 cs.AR cs.DC
Dissecting How Die Scaling Breaks GPU Fine-grained Scheduling
Shanghai Jiao Tong University(上海交通大学);National University of Singapore(新加坡国立大学);NVIDIA(英伟达)
本研究剖析芯片缩放导致的GPU物理不对称性,提出轻量级表征与不对称性感知调度方法,提升主流内核、多路复用LLM推理性能并减少性能波动。
2026-09-22 cs.AR cs.DC
An SMDP-Based Approach to Thermal-Aware Task Scheduling in NoC-based MPSoC platforms
控制多核系统中芯片范围的热分布的一种有效方法是优化任务到处理核的在线分配。然而,在线任务分配面临着现实世界中的一些不确定性,并没有表现出确定性的性质。在本文中,我们考虑热感知任务调度器的操作,从到达队列中分派任务以及设置处理核心的电压和频率以优化整个芯片的平均温度裕度(即,核心以及NoC路由器)。我们的任务调度器的决策过程建模为半马尔可夫决策问题(SMDP)。然后,为了解决制定SMDP,我们提出了两个强化学习算法,能够计算最优的任务分配策略,而不需要统计知识的随机动态系统状态。所提出的算法还依赖于函数逼近技术来处理无限长的任务队列以及温度读数的连续性。仿真结果表明,与相关研究相比,系统平均峰值温度降低了近6 K,平均任务服务时间减少了66 ms。
2020-09-06 cs.DC
Nimble: Lightweight and Parallel GPU Task Scheduling for Deep Learning
Seoul National University(首尔国立大学)
深度学习(DL)框架利用GPU来提高DL推理和训练的速度。理想情况下,DL框架应该能够充分利用GPU的计算能力,使得运行时间取决于分配给GPU的计算量。然而,我们观察到,在调度GPU任务时,现有的DL框架存在效率低下的问题,例如较大的调度开销和不必要的串行执行。为此,我们提出了Nimble,这是一个DL执行引擎,可以以最小的调度开销并行运行GPU任务。Nimble引入了一种称为提前(AoT)调度的新技术。这里,调度过程在执行GPU内核之前完成,从而在运行时间期间去除大部分调度开销。此外,Nimble通过在单个GPU中利用多个GPU流来自动并行执行GPU任务。对各种神经网络的评估表明,与PyTorch相比,Nimble的推理和训练速度分别提高了22.34 $\times$和3.61 $\times$。此外,Nimble的性能比最先进的推理系统TensorRT和TVM分别高出2.81 $\times$和1.70 $\times$。
2020-12-04 cs.DC cs.LG
FT-LADS: Fault-Tolerant Object-Logging based Big Data Transfer System using Layout-Aware Data Scheduling
LADS(Layout-Aware Data Acquisition)数据传输工具,识别并解决了在太比特网络环境中导致端到端数据传输路径拥塞的问题。它利用每个端点的底层存储布局来最大化吞吐量,而不会对其他用户的共享存储资源的性能产生负面影响。LADS可以避免共享存储资源内的拥塞存储元件,从而提高输入/输出带宽,并因此提高高速网络上的数据传送率。然而,在LADS中缺乏FT(容错)支持导致数据重传开销以及错误时可能的完整性问题。在本文中,我们提出了基于对象的日志记录方法,以避免传输的对象,这是成功地写入并行文件系统(PFS)在汇端。根据创建的日志文件的数量,对于整个数据集,我们将我们的容错机制分为三个不同的类别:文件日志,事务日志和通用日志。此外,为了解决这些基于对象的日志记录机制的空间开销,我们提出了不同的方法来填充日志记录器文件与完成的对象的信息。我们已经评估了LADS数据传输工具的数据传输性能和恢复时间开销的建议基于对象的日志容错机制。我们的实验结果表明,LADS结合提出的基于对象的容错机制表现出小于1%的开销相对于数据传输时间和总恢复时间开销是在任何故障点的总数据传输时间的10%左右。
2018-05-16 cs.DC
Eventually-Consistent Federated Scheduling for Data Center Workloads
本文扩展联邦式去中心化调度架构 Megha,利用并行性与最终一致全局状态缓解大规模数据中心的次优放置问题,并通过仿真和123节点集群实验证明其可持续降低作业完成延迟。
2023-08-20 cs.DC
Streaming Task Graph Scheduling for Dataflow Architectures
针对数据流架构上的应用调度难题,本文提出 canonical task graphs 模型,通过稳态静态分析将任务图划分为时间复用的空间执行组件,从而实现流式调度并提升加速比与设备利用率。
2023-06-05 cs.DC
Studying the Effect of Schedule Preemption on Dynamic Task Graph Scheduling
University of Southern California(南加州大学);Loyola Marymount University(洛约拉马利蒙特大学);US Army Research Laboratory(美国陆军研究实验室)
本文提出Last-K抢占模型,通过适度抢占提升动态任务图调度的完成时间和利用率,同时保持公平性和低开销。
2026-02-03 cs.DC
Jiagu: Optimizing Serverless Computing Resource Utilization with Harmonized Efficiency and Practicability
针对无服务器平台资源利用率与实用性难兼顾的问题,提出 Jiagu,通过预决策调度和双阶段扩缩容提升部署密度并降低调度与冷启动开销。
2024-03-01 cs.DC
Near-Optimal Distributed Scheduling Algorithms for Regular Wireless Sensor Networks
无线传感器网络通常以资源受限的节点为特征。由于在这些网络中,通信的能量消耗最大,因此最大限度地减少这种开销非常重要。我们考虑规则的多跳无线传感器网络中的最小长度节点调度。我们提出了无冲突的分布式调度算法,基于TDMA的空间复用,不使用消息传递,这节省了通信开销。我们开发的算法使用基于图的k跳干扰模型,并表明在规则的网络中的调度复杂度是独立的节点的数量和变化的二次方与k,这通常是一个非常小的数字。我们遵循它的特征可行性区域的SINR参数空间中的恒定的复杂性继续保持,同时满足的SINR标准。使用模拟,我们评估我们的解决方案对随机网络部署的效率。
2013-01-23 cs.DC cs.NI
An Adaptive Performance-oriented Scheduler for Static and Dynamic Heterogeneity
随着异构硬件的出现为后摩尔时代铺平了道路,使运行时调度适应平台的异构性变得非常重要。为了增强自适应和响应调度,我们引入了性能跟踪表(PTT)到XiTAO,混合模式并行的弹性调度框架。PTT是每核延迟的可扩展且动态的轻量级清单,可用于指导关键和非关键任务的调度。通过了解每个任务的延迟,PTT可以推断任务性能、应用内干扰以及应用间干扰。我们在NVIDIA Jetson TX 2芯片上运行不同工作负载类别的随机直接非循环图(DAG)作为基准,与标准工作窃取调度程序相比,实现了高达3.25倍的加速。为了验证调度对干扰的适应性,我们在Intel Haswell(2650 v3)多核工作站上以高并行度运行DAG,并分析调度器对来自后台进程的干扰的响应。我们还通过移植基于卷积神经网络(CNN)的VGG-16图像分类框架来展示XiTAO的调度性能。
2020-12-30 cs.DC
Hybrid static/dynamic scheduling for already optimized dense matrix factorization
我们提出了使用的混合静态/动态调度策略的任务依赖图的直接方法中使用的密集数值线性代数。该策略提供了数据局部性、负载平衡和低出队开销的平衡。我们表明,这种调度在通信中的使用,避免密集因式分解导致显着的性能增益。在一个48核AMD皓龙NUMA机器上,我们的实验表明,我们可以实现高达64%的改进,超过一个版本的CALU,使用完全动态调度,和高达30%的改进,超过版本的CALU,使用完全静态调度。在16核Intel Xeon计算机上,我们的混合静态/动态调度方法比使用完全静态调度或完全动态调度的CALU版本快8%。我们的算法导致加速比相应的例程计算LU因式分解在知名的图书馆。在48核AMD NUMA机器上,我们的最佳实现比MKL快110%,而在16核Intel Xeon机器上,它比MKL快82%。我们的方法也显示出显着的加速比PLASMA在这两个系统上。
2011-10-12 cs.DC
Myrmics: Scalable, Dependency-aware Task Scheduling on Heterogeneous Manycores
基于任务的编程模型已经变得非常流行,因为它们提供了一种有吸引力的解决方案,可以并行化带有任务和数据注释的串行应用程序代码。它们通常依赖于一个运行时系统,该系统将任务并行调度到多个核心,同时解决任何数据风险。然而,现有的运行时系统实现还没有准备好在新兴的众核处理器上很好地扩展,因为它们通常依赖于高速缓存一致性存储器中的集中式结构和/或共享结构上的锁。我们提出的设计选择,政策和机制,以提高运行时系统的可扩展性,为数百个核心的单芯片处理器。基于这些概念,我们创建和评估Myrtle,一个运行时系统的依赖性感知,基于任务的编程模型上的异构硬件原型平台,模拟一个单芯片处理器的8延迟优化和512吞吐量优化的CPU。我们发现,Myrandom成功地扩展到数百个核心。与具有手动调优消息传递的相同基准测试的MPI版本相比,Myrtle实现了类似的可伸缩性,性能开销为10-30%,但编程工作量更少。我们详细分析了运行时系统的可扩展性,并确定了关键因素,有助于它。
2016-06-14 cs.DC cs.PL
DAS: Dynamic Adaptive Scheduling for Energy-Efficient Heterogeneous SoCs
特定领域的片上系统(DSoCs)旨在弥合专用集成电路(ASIC)和通用处理器之间的差距。传统的操作系统(OS)调度器可能会破坏DSSoC的潜力,因为它们的执行时间可能比任务本身的执行时间大几个数量级。为了解决这个问题,我们提出了一个动态自适应调度(DAS)框架,结合了快速(低开销)调度器和缓慢(复杂,高性能,但高开销)调度器的好处。五个真实世界的流媒体应用程序的实验表明,DAS始终优于快速和缓慢的路由器。对于40种不同的工作负载,DAS在低数据率下实现了平均1.29倍的加速比,与复杂的调度器相比EDP降低了45%,在工作负载复杂性增加时,DAS实现了平均1.28倍的加速比,与快速调度器相比EDP降低了37%。
2021-09-22 cs.AR cs.DC
Mitigating context switching in densely packed Linux clusters with Latency-Aware Group Scheduling
本文针对高密度 Linux 集群中因大量并发 cgroup 导致的上下文切换开销倍增问题,提出延迟感知组调度方法,通过优先任务完成而非逐任务公平性来加速运行队列清空,在集群规模缩小 28% 的情况下实现相同有效性能。
2025-08-21 cs.DC cs.OS
Modeling Processor Idle Times in MPSoC Platforms to Enable Integrated DPM, DVFS, and Task Scheduling Subject to a Hard Deadline
能源效率是现代嵌入式系统(如多处理器片上系统(MPSoC))最关键的设计标准之一。动态电压和频率缩放(DVFS)和动态功率管理(DVS)是用于降低此类嵌入式系统中的能量消耗的两种主要技术。此外,MPSoC对于许多实时应用变得越来越流行。在MPSoC上集成DVFS和实时应用的任务调度的挑战之一是在这些平台上的空闲时间间隔的建模。在本文中,我们提出了一种新的方法建模空闲时间间隔MPSoC平台,导致混合整数线性规划(MILP)制定集成的周期性任务图的硬截止日期,DVFS和任务调度。我们还提出了一个启发式的方法来解决MILP,并比较其结果与那些从解决MILP。
2018-12-19 cs.DC cs.OS
Affinity Tailor: Dynamic Locality-Aware Scheduling at Scale
Google(谷歌)
本文提出Affinity Tailor系统,通过动态局部性感知调度提升多核系统性能,实现芯片let和非芯片let系统的吞吐量提升,并减少内存驻留时间。
2026-04-30 cs.AR cs.DC cs.OS
Taming Offload Overheads in a Massively Parallel Open-Source RISC-V MPSoC: Analysis and Optimization
本文针对开源RISC-V异构MPSoC Occamy,通过周期精确分析卸载开销,提出硬件与卸载例程协同设计及片上网络多播优化,将200余核加速结构的应用运行时间提升达2.3倍,并给出误差低于15%的运行时间估计模型。
2025-05-09 cs.AR cs.DC
Runtime Task Scheduling using Imitation Learning for Heterogeneous Many-Core Systems
特定领域的片上系统是一类异构众核系统,被认为是缩小定制硬件加速器和可编程处理器之间性能和能效差距的关键方法。这些架构的全部潜力的实现关键取决于在运行时将应用程序最佳地调度到可用资源。现有的基于优化的技术不能在运行时实现这一目标,由于组合性质的任务调度问题。作为主要的理论贡献,本文提出调度作为一个分类问题,并提出了一个分层的模仿学习(IL)为基础的调度,学习从Oracle的多个特定领域的应用程序的性能最大化。从无线通信和雷达领域的六个流媒体应用程序的广泛评估表明,拟议的IL为基础的调度器近似的离线Oracle的政策,超过99%的准确性为性能和能源为基础的优化目标。此外,它还以较低的运行时开销实现了与Oracle几乎相同的性能,并成功适应新应用程序、众核系统配置以及应用程序特征的运行时变化。
2020-08-06 cs.AR cs.DC
Dynamic scheduling of virtual machines running hpc workloads in scientific grids
采用虚拟化的主要动机是资源隔离、容量管理和资源定制,允许资源提供商将其资源整合到虚拟机中。已经采取了各种方法来将虚拟化集成到科学网格中,特别是在高性能计算(HPC)的领域中,以在虚拟机中运行网格作业,从而能够更好地提供底层资源并在运行时定制执行环境。尽管有这些好处,但虚拟化层也会带来性能损失,而且还没有很好地理解这种开销将如何影响系统的性能,其中作业的调度时间很紧。由于这种开销会改变工作负载的类型,无论它们是内存密集型,CPU密集型还是网络I/O绑定,并且可能导致系统中运行作业的不可预测的截止日期估计。在我们的研究中,我们试图通过开发一种智能调度技术来解决这个问题,该技术用于监控虚拟机的工作负载类型和最后期限,并实时的计算系统开销,以最大限度地提高在商定的最后期限内完成的作业数量。
2010-09-24 cs.DC cs.DS cs.PF
Classifying Application Phases in Asymmetric Chip Multiprocessors
为了提高异构多核处理器的性能,降低其功耗,本文研究了程序执行阶段的检测能力。程序执行间隔已被分类在不同的阶段,根据其吞吐量和利用率的核心。在单核处理器和多核处理器上研究了实现相位检测技术的结果。为了最小化剖析开销,提出了一种动态调整剖析间隔的算法。它基于程序的行为,并将分析开销减少了三倍以上。结果是通过在给定的处理器上执行多处理器基准测试获得的。为了清楚地显示程序阶段,吞吐量和执行间隔的利用率在散点图上呈现。固定和可变的时间间隔的结果。
2010-01-13 cs.AR cs.DC cs.PF
Efficient Circuit Cutting and Scheduling in a Multi-Node Quantum System with Dynamic EPR Pairs
本文提出 EC2S 系统,通过结合动态 EPR 对与电路切割技术,优化多节点量子系统中的子电路重构与调度,显著提升了保真度并大幅降低了系统开销。
2024-12-24 cs.DC quant-ph
LayerPipe: Accelerating Deep Neural Network Training by Intra-Layer and Inter-Layer Gradient Pipelining and Multiprocessor Scheduling
University of Minnesota(明尼苏达大学)
训练神经网络所需的时间随着大小、复杂性和深度而增加。通过反向传播训练模型参数固有地创建反馈回路。这些循环阻碍了层内和连续层之间的任务的高效流水线和调度。先前的方法,例如PipeDream,已经利用延迟梯度的使用来实现层间流水线。然而,这些方法将整个反向传播视为单个任务;这导致计算时间增加和处理器利用率不足。本文提出了一种新的优化方法,其中相对于权重和激活函数的梯度计算被独立地考虑,因此,这些可以并行计算。这被称为层内优化。另外,关于激活函数的梯度计算被进一步划分为两个部分并且被分布到两个连续层。这导致平衡调度,其中每一层的计算时间相同。这被称为层间优化。所提出的系统,称为LayerPipe,减少了训练所需的时钟周期数,同时最大限度地提高处理器利用率,最小的处理器间通信开销。与PipeDream相比,LayerPipe在7到9个处理器的情况下实现了平均25%和80%以上的加速比,并且通信开销更少。
2021-08-14 cs.AR cs.DC cs.LG
Optimizing Attention on GPUs by Exploiting GPU Architectural NUMA Effects
Department of ECE, Duke University(电子工程系,杜克大学);Advanced Micro Devices Inc.(先进微器件公司);Department of Computer Science, Duke University(计算机科学系,杜克大学)
针对分解式 GPU 中 NUMA 效应影响注意力机制性能的问题,提出空间感知调度策略 Swizzled Head-first Mapping,在 MI300X 上实现高达 50% 性能提升和高缓存命中率。
2025-11-03 cs.AR cs.DC cs.LG