Providing High and Controllable Performance in Multicore Systems Through Shared Resource Management
在多核系统上并发执行的多个应用程序在不同的共享资源（例如主存储器和共享高速缓存）处相互干扰。这种应用程序间干扰如果不受控制，会导致系统性能严重下降和不可预测的应用程序减速。虽然以前的工作已经提出了应用程序感知的内存调度作为一种解决方案，以减轻应用程序间的干扰和提高系统性能，以前提出的内存调度技术会导致高硬件复杂性和不公平地减慢一些应用程序。此外，先前提出的存储器干扰减轻技术没有被设计为精确地控制应用性能。本文旨在通过减轻和量化共享资源干扰的影响来实现多核系统中的高性能和可控性能。首先，为了减轻内存干扰，实现高性能，我们提出了黑名单内存调度，实现高性能和公平性，在低复杂度。接下来，为了量化内存干扰的影响，并实现可控的性能，在存在内存带宽干扰，我们提出了内存干扰引起的减速估计（MISE）模型。我们提出并演示了两个用例，可以利用MISE提供软性能保证和高的整体性能/公平性。最后，除了内存带宽干扰外，我们还试图量化共享缓存干扰对应用程序速度降低的影响。为此，我们提出了应用程序减速模型（ASM）。我们提出并演示了ASM的几个用例，这些用例利用ASM提供软性能保证并提高性能和公平性。
2015-08-12 cs.DC
An Adaptive Performance-oriented Scheduler for Static and Dynamic Heterogeneity
随着异构硬件的出现为后摩尔时代铺平了道路，使运行时调度适应平台的异构性变得非常重要。为了增强自适应和响应调度，我们引入了性能跟踪表（PTT）到XiTAO，混合模式并行的弹性调度框架。PTT是每核延迟的可扩展且动态的轻量级清单，可用于指导关键和非关键任务的调度。通过了解每个任务的延迟，PTT可以推断任务性能、应用内干扰以及应用间干扰。我们在NVIDIA Jetson TX 2芯片上运行不同工作负载类别的随机直接非循环图（DAG）作为基准，与标准工作窃取调度程序相比，实现了高达3.25倍的加速。为了验证调度对干扰的适应性，我们在Intel Haswell（2650 v3）多核工作站上以高并行度运行DAG，并分析调度器对来自后台进程的干扰的响应。我们还通过移植基于卷积神经网络（CNN）的VGG-16图像分类框架来展示XiTAO的调度性能。
2020-12-30 cs.DC
RT-Gang: Real-Time Gang Scheduling Framework for Safety-Critical Systems
在本文中，我们提出了RT-Gang：一个新的实时的【形】帮派调度框架，强制执行一个帮派在一个时间的政策。我们发现，在一个多核平台上，协同调度多个并行的实时的【形】任务将需要高度悲观的最坏情况执行时间（WCET）和可扩展性分析-即使有足够的核心-由于在共享的硬件资源，如高速缓存和DRAM控制器的竞争。RT-Gang中，一个并行实时的【形】任务的所有线程形成一个实时的【形】组，调度器全局执行一次一组的调度策略，以保证紧凑和准确的任务WCET。为了最大限度地减少利用率不足，我们集成了最先进的内存带宽节流框架，以允许安全执行尽力而为的任务。具体来说，任何空闲核心（如果存在）都用于调度尽力而为任务，但它们的最大内存带宽使用量被严格限制，以严格限制对实时的【形】群任务的干扰。我们在Linux内核中实现了RT-Gang，并使用合成和真实世界的DNN工作负载在两个代表性的嵌入式多核平台上对其进行了评估。结果表明，RT-Gang显著提高了系统的可预测性，开销可以忽略不计。
2019-03-17 cs.DC
Response-Time Analysis and Optimization for Probabilistic Conditional Parallel DAG Tasks
实时系统越来越多地使用多核处理器，以满足热，功率和计算需求。为了利用多核处理器提供的架构并行性，必须提供并行任务模型、调度算法和相对于实时约束的响应时间分析。在本文中，我们提出了一个基于预约的调度算法，零星的约束最后期限并行条件DAG任务的概率执行行为的应用程序，可以容忍有限数量的最后期限错过和有限的迟到。我们设计的规则和分析，以保证有限的迟到一个指定的有界概率$k$-连续的最后期限错过，而不强制执行迟到的作业立即中止。
2021-01-26 cs.DC
Dynamic Partitioning-based JPEG Decompression on Heterogeneous Multicore Architectures
随着社交网络的出现和计算摄影的改进，每天有数十亿张JPEG图像被共享和查看。桌面、平板电脑和智能手机构成了用于显示JPEG图像的绝大多数硬件平台。尽管这些平台是异构多核的，但还没有能够联合系统的CPU和GPU进行JPEG解码的方法。在本文中，我们介绍了一种新的JPEG解码方案的异构体系结构组成的CPU和OpenCL可编程GPU。我们采用离线分析步骤来确定系统的CPU和GPU相对于JPEG解码的性能。对于给定的JPEG图像，我们的性能模型使用（1）CPU和GPU性能特征，（2）图像熵和（3）图像的宽度和高度来平衡底层硬件上的JPEG解码工作负载。我们的运行时分区和调度方案利用任务，数据和流水线并行通过调度CPU上的非并行熵解码任务，而反余弦变换（IDCT），颜色转换和上采样进行的CPU和GPU。我们的内核已针对GPU存储层次结构进行了优化。我们已经实现了libjpeg-turbo库，这是一个工业强度的JPEG编码和解码引擎的上下文中提出的方法。Libjpeg-turbo针对ARM和x86的手动优化SIMD例程构成了与所提出方法进行比较的竞争性标尺。使用libjpeg-turbo改进我们的方法，为异构多核重新设计遗留代码的软件工程方面提供了见解。
2014-05-12 cs.DC
Architecture-Aware Configuration and Scheduling of Matrix Multiplication on Asymmetric Multicore Processors
Universidad Jaume I（豪梅一世大学）；Universidad Complutense de Madrid（马德里康普顿斯大学）
本文设计了面向架构的矩阵乘法优化，通过缓存感知配置和异构静态动态调度策略，提升ARM big.LITTLE异构多核处理器的性能与能效。
2015-06-30 cs.DC cs.MS cs.NA
Energy-Aware Scheduling Strategies for Partially-Replicable Task Chains on Heterogeneous Processors
Sorbonne University（索邦大学）；University of Bordeaux（波尔多大学）；Bordeaux INP（波尔多理工学院）
针对异构多核处理器上部分可复制任务链，提出三种调度策略（FERTAC、2CATAC和HeRAD），以最大化吞吐量并最小化能耗，实验表明近最优性能且能效优于同构方案。
2026-06-23 cs.DC
Memory Aware Load Balance Strategy on a Parallel Branch-and-Bound Application
高性能计算系统的最新趋势表明，以有效的方式使用大规模多核系统的需求日益增加，使得高计算密集型应用程序可以相当好地执行。然而，在每个多核组件处可用的并行度的利用可能受到可用的存储层次结构的不良利用的限制。实际上，多核架构引入了一些在共享内存和分布式环境中已经观察到的独特功能。一个例子是核心子集可以共享不同的内存子集。为了实现高性能，必须根据考虑主要性能瓶颈（例如内存争用）的调度模型，在可用内核上执行应用程序的仔细分配方案。本文提出了{ \em多核集群模型}（MCM），该模型能够反映多核系统中最相关的性能特征，如存储层次结构和争用对性能的影响。当应用于划分集问题的分支定界应用程序的负载平衡策略是基于MCM时，实现了更好的性能，显示了其效率和适用于现代系统。
2013-02-22 cs.DC
Efficiently Scheduling Parallel DAG Tasks on Identical Multiprocessors
本文针对相同多处理器上的并行DAG任务调度问题，提出结合专用处理器簇与跨簇拆分执行的Segmented-Flattened-and-Split调度算法，以回收碎片化容量并显著提高调度成功率。
2024-10-23 cs.DC
Improving virtual host efficiency through resource and interference aware scheduling
现代的云计算结构即服务云在竞争激烈的环境中运行，可以满足任何用户对计算资源的需求。由不同应用共享各种类型的资源提出了一系列挑战，以便优化资源利用，同时避免由应用干扰引起的性能下降。在本文中，我们提出了两种调度方法，执行多核物理机上的整合技术。我们的资源感知和干扰感知调度方案的目的是提高物理主机的效率，同时考虑到主机超额认购和由此产生的工作负载干扰，保持应用程序的性能。我们通过一组代表广泛的现代云应用程序的实际工作负载来验证我们的全面运营框架。实验结果证明了我们的系统在优化资源利用率，从而能源消耗的效率，即使在存在超额认购。这两种方法实现了显着减少的CPU时间消耗，达到高达50%，而在同一时间保持工作负载性能相比，广泛使用的调度方案下的各种代表性的云平台场景。
2016-01-27 cs.DC
Canary: A Scheduling Architecture for High Performance Cloud Computing
我们提出了Canary，一种调度架构，允许高性能分析工作负载扩展到数千个核心上运行。Canary的动机是观察到中央调度器是高性能代码的瓶颈：少数多核工作者执行任务的速度比控制器调度它们的速度更快。Canary的关键见解是颠倒控制器和工作人员之间的责任。在Canary中，控制器将数据分区分配给工作者，然后工作者在本地产生和调度任务，而不是将任务分派给工作者，然后工作者根据需要获取数据。我们在Canary中评估了三个基准测试应用程序，这些应用程序在Amazon EC2上运行多达64台服务器和1，152个核心。Canary的速度比Spark快9- 90倍，比高度优化的图形分析引擎GraphX快4倍。虽然目前的集中式处理器可以每秒调度2，500个任务，但每个Canary工作器可以在每个核心上每秒调度136，000个任务，实验表明这是线性扩展的，64个工作器每秒调度超过1.2亿个任务，允许Canary支持在数千个核心上运行的优化作业。
2016-04-14 cs.DC
High-performance sparse matrix-matrix products on Intel KNL and multicore architectures
稀疏矩阵-矩阵乘法（SpGEMM）是一种计算原语，广泛应用于从传统数值应用到最近的大数据分析和机器学习等领域。虽然已经提出了许多SpGEMM算法，但缺乏针对多核和众核处理器的硬件特定优化，并且无法详细分析其在各种用例和矩阵下的性能。我们首先在英特尔至强融核（Knights Landing或KNL）上识别并缓解存储管理和线程调度的多个瓶颈。具体针对多核和众核处理器，我们开发了一个基于哈希表的算法，并优化了一个基于堆的共享内存SpGEMM算法。我们研究他们的表现与其他公开可用的代码。与文献不同的是，我们的评估还包括代表实数图算法的用例，例如多源广度优先搜索或三角形计数。在大多数情况下，我们的哈希表和基于堆的算法显示出来自库的显著加速，而不同的算法在具有不同矩阵大小、稀疏性、压缩因子和操作类型的其他场景中占主导地位。我们总结了深入的评估结果，并制定了一个食谱，以给出最好的SpGEMM算法的目标场景。一个关键的发现是，如果不需要在输出矩阵的每一行中对非零进行排序，则基于哈希表的SpGEMM的性能将得到显着提升。
2018-06-26 cs.DC
QoS-aware Scheduling of Periodic Real-time Task Graphs on Heterogeneous Pre-occupied MECs
针对异构预占用 MEC 中周期性 DAG 实时任务调度问题，提出改进 HEFT 算法，利用处理器空闲间隔生成满足约束的超周期调度，从而提升 QoS、负载均衡与资源利用率。
2025-06-14 cs.DC
INSPIRIT: Optimizing Heterogeneous Task Scheduling through Adaptive Priority in Task-based Runtime Systems
INSPIRIT提出一种基于自适应优先级的轻量级任务调度框架，通过引入启发能力与启发效率两个任务属性并结合运行时队列信息，在无需领域知识的情况下提升异构运行时系统的调度性能。
2024-04-04 cs.DC
Compiler Enhanced Scheduling for OpenMP for Heterogeneous Multiprocessors
非对称多核处理器（AMP）调度是异构多核处理器的一种特殊情况，是一个广泛研究的课题。大多数调度技术是运行时的，通常不考虑并行编程框架（如OpenMP）中使用的并行编程模式。另一方面，这些并行编程平台的当前编译器是硬件无关的，这阻止了big.LITTLE等平台的任何编译时优化，并且必须完全依赖于运行时优化。在本文中，我们提出了一个硬件感知的编译器增强调度（CES），其中常见的编译器转换与编译器添加的调度命令，以利用硬件的不对称性，提高运行时的效率。我们实现了一个用于OpenMP的编译器，并在三星Exynos中使用big.LITTLE架构证明了其效率。平均而言，我们看到在标准NPB和FSU基准测试中，CES在big.LITTLE中跨多个频率和核心配置减少了18%的运行时间和14%的能耗。
2018-08-18 cs.DC cs.PF
Hybrid Heuristic-Based Artificial Immune System for Task Scheduling
异构系统中的任务调度问题是指将应用程序的任务分配给通过高速网络互连的异构处理器，从而尽可能缩短应用程序的完成时间的过程。任务是应用程序的处理单元，具有优先级约束、通信和有向无环图（DAG）。进化算法非常适合解决异构环境下的任务调度问题。在本文中，我们提出了一个混合的基于免疫学的人工免疫系统（AIS）算法来解决调度问题。在这方面，AIS与一些算法和单邻域搜索（SNS）技术的混合。AIS的克隆和免疫去除算子提供了多样性，而搜索和SNS提供了算法收敛到好的解决方案，即在探索和开发之间取得平衡。我们比较了我们的方法与一些国家的最先进的算法。实验结果表明了该方法的有效性。
2011-12-13 cs.DC cs.NE
Multi-Objective Memory Bandwidth Regulation and Cache Partitioning for Multicore Real-Time Systems
本文针对多核实时系统任务-资源协同分配难题，提出0-1线性规划模型和多目标多层启发式算法，在保证EDF调度可调度性的同时最小化资源使用，实验验证其性能优于现有方法。
2025-05-15 cs.AR cs.DC cs.OS
Analytical Process Scheduling Optimization for Heterogeneous Multi-core Systems
在本文中，我们提出了第一个最佳的进程调度算法的异构多核（HEMC）系统，结合了高性能的大核心和节能的小核心相同的配置集架构（ISA）越来越普遍的类型。现有的算法都是基于并行计算的，众所周知的IPC驱动的方法本质上是试图在大核上调度高缩放因子进程。我们的分析表明，对于最佳解决方案，考虑将长时间运行的进程放置在大核心上也很关键。SPEC 2006年的情况下，各种大小的核心组合的测试表明，我们提出的最佳方法是高达34%的速度比IPC驱动的启发式方法的总工作量完成时间。我们的算法的复杂度是O（NlogN），其中N是进程的数量。因此，所提出的优化算法是实用的。
2021-09-10 cs.DC cs.OS cs.PF
FATE: Future-State-Aware Scheduling for Heterogeneous LLM Workflows
University of Science and Technology of China（中国科学技术大学）；School of Computer Science and Technology（计算机科学与技术学院）
FATE通过结合前沿规划、前瞻性候选评分和多设备分片执行，优化异构LLM工作流的未来状态，降低延迟并提升效率。
2026-05-08 cs.DC
Bringing Inter-Thread Cache Benefits to Federated Scheduling -- Extended Results & Technical Report
硬实时任务的多处理器调度模型的有向无环图（DAG）利用固有的并行模型。对于DAG任务，节点表示在其中一个可用处理器上执行对象的请求。在一个DAG任务中，可能存在针对一个对象的多个执行请求，每个执行请求由不同的节点表示。这些不同的执行请求提供了一个机会，通过协调调度对象作为并行任务中的线程来减少它们的组合缓存开销。这项工作的目标是实现这一机会，将缓存感知捆绑调度算法到零星DAG任务集的联邦调度。这是第一个将指令缓存共享纳入联邦调度的工作。结果是对DAG模型的修改，名为具有对象和线程的DAG（DAG-OT）。在DAG-OT模型下，节点的描述显式地包括其底层可执行对象和线程数量。如果可能，分配了相同可执行对象的节点将折叠成单个节点;在BUNDLE调度时加入它们的线程。与DAG模型相比，具有缓存感知调度的DAG-OT模型在综合评估中将分配给各个任务的核心数量减少了约20%，在新型并行计算平台实现中减少了高达50%。通过减少分配的核的数量，DAG-OT模型能够调度先前不可行的任务集的子集。
2020-02-28 cs.DC cs.OS
Energy Minimization in DAG Scheduling on MPSoCs at Run-Time: Theory and Practice
用于将由任务图给出的应用映射到MPSoC系统的静态（离线）技术通常提供过于悲观的并且因此相对于MPSoC系统的次优结果。利用时间间隙以最小化能量消耗。这在任务的计算时间可能依赖于工作负载并且仅在运行时或在有条件执行的任务或场景的情况下变得已知的情况下尤其适用。本文研究并定量评价了由任务图（即，DAG）的优先级约束和一个全局的最后期限同质MPSoC纯粹在运行时的每个实例的基础上。我们提出并分析算法，提供可证明的最佳结果，以及近似算法与已证明的保证实现节能。对于从现实的嵌入式系统基准测试以及合成可扩展的问题，我们提供的计算时间和每个算法的质量的结果，以执行a）调度和b）电压/速度分配每个任务在运行时。在我们的产品组合中，我们还区分了连续和离散速度（例如，DVFS相关）分配问题。总之，理论（算法的复杂性和最优性）和执行时间分析之间的关系提供了重要的见解的MPSoC上的任务调度和速度分配的运行时优化的算法的实际可用性。
2019-12-19 cs.DC cs.DS
Power Aware Scheduling of Tasks on FPGAs in Data Centers
本文提出一种针对数据中心FPGA的功耗感知调度方法，通过最大化并行计算单元实现周期性硬件任务的高效执行并最小化功耗，在Alveo-50 FPGA和Vitis 2023上验证了其优于现有方案的效率。
2023-11-18 cs.AR cs.DC
HyperParallel-MoE: Multi-Core Interleaved Scheduling for Fast MoE Training on Ascend NPUs
University of Science and Technology of China（中国科学技术大学）；Huawei Technologies Co., Ltd（华为技术有限公司）；Peking University（北京大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
提出HyperParallel-MoE编译调度框架，通过静态调度的tile级异构任务流和AIV驱动单边通信，在Ascend NPU上实现MoE训练中通信与计算的高效重叠，延迟降低达1.58倍。
2026-06-01 cs.DC
TFR-GNN: Topology- and Fault-Aware Graph Neural Scheduling for Heterogeneous Distributed Computing Systems
University of California, Los Angeles（加州大学洛杉矶分校）；New York University（纽约大学）；University of Utah（犹他大学）
针对异构系统调度中故障影响，提出TFR-GNN图神经网络调度器，结合拓扑与故障感知，蒸馏容错预言机，显著降低预期完工时间并泛化至大规模工作流。
2026-09-10 cs.DC
Partition-Aware Scheduling for Mobile Heterogeneous Inference Co-Execution
University of Southern California（南加州大学）
本文提出一种分区感知的DAG调度框架，联合优化算子分区、设备分配与执行顺序，在移动异构平台上实现接近离线最优的推理延迟，且调度开销极低。
2026-09-15 cs.DC cs.LG cs.PF
A Scalable Deep Reinforcement Learning Model for Online Scheduling Coflows of Multi-Stage Jobs for High Performance Computing
Sun Yat-sen University（中山大学）
Rolllow是最近提出的网络抽象，以帮助提高数据并行计算作业的通信性能。在多阶段作业中，每个作业由多个同流组成，并由有向无环图（DAG）表示。有效地调度同向流是提高数据中心数据并行计算性能的关键。与手工调整的调度策略相比，现有的工作DeepWeave [1]利用强化学习（RL）框架自动生成高效的coflow调度策略。它采用图神经网络（GNN）编码的嵌入向量的集合中的作业信息，并提供一个平面嵌入向量包含整个作业信息的策略网络。然而，这种方法具有较差的可扩展性，因为它不能处理由任意大小和形状的DAG表示的作业，这需要大的策略网络来处理难以训练的高维嵌入向量。在本文中，我们首先利用一个有向无环图神经网络（DAGNN）处理输入，并提出了一种新的流水线DAGNN，它可以有效地加快DAGNN的特征提取过程。然后，将由可分解的共流组成的嵌入序列作为策略网络的嵌入序列，输出优先级序列，使得策略网络的大小仅取决于特征的维数，而不取决于维数与作业DAG中节点数的乘积。我们将自注意力机制结合到深度RL模型中，以捕获嵌入序列的不同部分之间的交互，从而使输出优先级分数相关。在此模型的基础上，我们提出了一个在线多阶段作业的同流调度算法。
2021-12-21 cs.DC cs.LG
Mobility-Aware Joint User Scheduling and Resource Allocation for Low Latency Federated Learning
Shanghai Jiao Tong University（上海交通大学）；Nanjing University of Science and Technology（南京理工大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61部门）
针对移动场景下联邦学习因用户移动性导致训练延迟高的问题，提出考虑用户移动性的多基站FL模型及延迟感知贪心搜索算法，联合优化用户调度与资源分配以降低训练延迟，性能优于现有基准，且适度移动性可提升训练效果。
2023-07-18 cs.DC cs.LG
Do the Hard Stuff First: Scheduling Dependent Computations in Data-Analytics Clusters
Microsoft（微软）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出一种调度器，通过打包多资源需求和依赖任务来提高集群利用率和作业完成时间。通过处理长运行任务和难打包资源需求，实现近最优调度，提升作业执行效率。
2016-04-25 cs.DB cs.DC cs.OS
Global Optimization of Data Pipelines in Heterogeneous Cloud Environments
云上的现代生产数据处理和机器学习管道是许多基于云的公司的关键组件。这些管道通常由复杂的工作流组成，这些工作流由有向无环图（DAG）表示。云环境对这些工作流很有吸引力，因为它具有异构实例和价格的广泛选择，可以为不同的性价比需求提供灵活性。然而，这种灵活性也导致选择正确的资源配置的复杂性（例如，实例类型、资源需求），同时使用选定的资源调度任务，以达到最佳的端到端性能和成本。这两个决策往往是相互依赖的，导致NP-难调度优化瓶颈。现有的解决方案只关注这两个问题中的任何一个，而忽略了端到端优化的共同影响。我们提出了AGORA，一个调度器，同时考虑任务级资源分配和执行DAG工作流作为一个整体，在异构云环境。AGORA首先（1）研究先前运行的任务的特征，并给出资源配置的预测，并且（2）自动为整个工作流找到最佳配置及其相应的调度，具有成本性能目标。我们在异构的Amazon Web Services（AWS）云环境中评估AGORA，其中多租户工作流由Airflow提供服务，与最先进的服务器相比，性能提高了45%，成本降低了77%。此外，我们将AGORA应用于阿里巴巴的实际生产跟踪，并显示成本降低了65%，DAG完成时间缩短了57%。
2022-02-11 cs.DC
Leveraging Multi-Instance GPUs through moldable task scheduling
本文针对 NVIDIA MIG 多实例 GPU 环境提出三阶段可塑任务调度算法 FAR，通过动态重配置和重分区树启发式等方法最小化完工时间，在 A30 和 A100/H100 上分别取得 7/4 和 2 的近似比，实验表现显著优于现有方案。
2025-07-18 cs.DC cs.ET cs.PF
