强化学习驱动的志愿者边缘云数据密集型工作流调度

数据密集和网络感知（DIANA）网格环境中的调度

Scheduling in Data Intensive and Network Aware (DIANA) Grid Environments

在网格调度决策的基础上，往往是数据或计算密集型的工作：在数据密集型的情况下，工作可能会推到数据和计算密集型的情况下，数据可能会拉到作业。这种调度，其中有没有考虑网络特性，可能会导致性能下降，在网格环境中，并可能导致大的处理队列和作业执行延迟，由于网站过载。在本文中，我们描述了一种数据密集型和网络感知（DIANA）元调度方法，该方法在跨多个站点做出调度决策时考虑数据、处理能力和网络特征。通过一个网格测试平台上的实际实现，我们证明了数据密集型作业的队列和执行时间可以显着改善，当我们引入我们提出的DIANA调度。基本调度决策由每个潜在目标位置的加权因子决定，该加权因子是网络特性、处理周期以及数据位置和大小的计算函数。作业调度器提供计算资源的全局排名，然后基于该总体访问和执行成本来选择最优的计算资源。DIANA方法将网格视为活动网络元素的组合，并将网络特性作为调度决策矩阵中的第一类标准以及计算和数据。然后，调度器可以通过考虑网络的变化状态、数据的位置和大小以及可用处理周期池来做出明智的决策。

HeterPS：异构环境中基于强化学习调度的分布式深度学习

HeterPS: Distributed Deep Learning With Reinforcement Learning Based Scheduling in Heterogeneous Environments

本文提出Paddle-HeterPS分布式框架，通过异构资源架构与基于RL的逐层调度及数据管理，在满足吞吐量约束下降低成本，实验显示吞吐量提升14.5倍、成本降低312.3%。

Near Linear OS Scheduling Optimization for Memory Intensive Workloads on Multi-socket Multi-core servers

Multi-socket multi-core servers are used for solving some of the important problems in computing. Remote DRAM accesses can impact performance of certain applications running on such servers. This paper presents a new near linear operating system (OS) scheduling algorithm to reduce the impact of such remote DRAM accesses. By keeping track of the number of local and remote DRAM accesses, using performance counters, for every thread and applying this algorithm, I come up with a new schedule of threads for the next quantum. This new schedule reduces remote DRAM accesses and improves overall perfor…

学习调度：一种面向网络的监督学习框架用于数据密集型任务的调度

Learning to Schedule: A Supervised Learning Framework for Network-Aware Scheduling of Data-Intensive Workloads

本文提出了一种基于监督学习的网络感知任务调度框架，通过预测任务完成时间来提高数据密集型任务在多站点集群中的调度准确性。

存在数据密集型计算作业的调度

Scheduling in the Presence of Data Intensive Compute Jobs

我们研究了非自适应调度策略在多服务器计算系统中的性能。计算工作大多是定期的，服务要求不高。然而，也有零星的数据密集型作业，其预期的服务时间是远远高于定期作业。对于这个模型，我们感兴趣的是调度策略对作业在系统中平均花费时间的影响。为此，我们在一个简化的，只到达系统中引入两个性能指标。我们相信，这些性能指标是很好的预测排队系统中的政策，这是支持模拟结果的相对性能。

Data Diffusion：面向数据密集型应用的动态资源提供和数据感知调度

Data Diffusion: Dynamic Resource Provision and Data-Aware Scheduling for Data Intensive Applications

数据密集型应用程序通常涉及需要大量计算和存储资源的大型数据集的分析。虽然专用计算和/或存储场提供良好的任务/数据吞吐量，但它们在不同的工作负载条件下存在资源利用率低的问题。如果我们转而将这些数据移动到分布式计算资源，那么我们会招致昂贵的数据传输成本。在本文中，我们提出了一种数据扩散的方法，结合动态资源配置，按需数据复制和缓存，数据本地感知调度，以实现不同的工作负载下提高资源效率。我们定义了一个抽象的“数据扩散模型“，考虑到工作负载的特点，数据访问成本，应用程序的吞吐量和资源利用率，我们验证模型使用真实世界的大规模天文应用。我们的研究结果表明，数据扩散可以提高性能指数高达34倍，并提高应用程序的响应时间超过506倍，同时实现接近最佳的吞吐量和执行时间。

Dynamic Resource Allocation Method for Load Balance Scheduling over Cloud Data Center Networks

The cloud datacenter has numerous hosts as well as application requests where resources are dynamic. The demands placed on the resource allocation are diverse. These factors could lead to load imbalances, which affect scheduling efficiency and resource utilization. A scheduling method called Dynamic Resource Allocation for Load Balancing (DRALB) is proposed. The proposed solution constitutes two steps: First, the load manager analyzes the resource requirements such as CPU, Memory, Energy and Bandwidth usage and allocates an appropriate number of VMs for each application. Second, the resource i…

多插槽多核服务器内存密集型工作负载的OS调度算法

OS Scheduling Algorithms for Memory Intensive Workloads in Multi-socket Multi-core servers

主要的芯片制造商都推出了多核微处理器。由这些处理器构建的多插槽系统通常用于运行各种服务器应用程序。根据系统上运行的应用程序，远程内存访问可能会影响整体性能。本文提出了一种新的操作系统（OS）调度优化，以减少这种远程内存访问的影响。通过观察每个调度量子中每个线程的本地和远程DRAM访问模式并应用不同的算法，我们为下一个量子提出了一个新的线程调度。这种新的调度可能会减少下一个调度量的远程DRAM访问，并提高整体性能。我们提出了三个这样的新算法的不同复杂度的算法，这是一个适应匈牙利算法。我们使用了三种不同的合成工作负载来评估算法。我们还对不同的DRAM延迟进行了敏感性分析。我们表明，这些算法可以减少DRAM访问延迟高达55%，这取决于所使用的算法。从算法中获得的好处取决于它们的复杂性。一般来说，复杂性越高，收益越高。匈牙利算法产生最优解。我们发现，四分之二的算法提供了一个很好的权衡性能和复杂性的工作负载，我们研究。

大规模分布式系统中数据密集型工作负载的调度：趋势与挑战

Scheduling Data-Intensive Workloads in Large-Scale Distributed Systems: Trends and Challenges

该研究针对大数据背景下数据密集型工作负载的调度挑战，提出了负载分类方法，梳理了大规模分布式系统中的常用调度策略与新型方案，并指明了开放挑战与未来方向。

Balsam：动态、数据密集型HPC工作流的自动调度和执行

Balsam: Automated Scheduling and Execution of Dynamic, Data-Intensive HPC Workflows

我们引入Balsam服务来管理超级计算系统上的高吞吐量任务调度和执行。Balsam允许用户使用从简单的独立任务到动态多任务工作流的各种任务填充任务数据库。通过对本地资源调度器和MPI环境的抽象，Balsam动态地将任务打包成集成作业并管理其调度生命周期。该集成在一个试验“启动器”中执行，该“启动器”（i）确保具有异构处理器要求的任意串行和并行程序的并发、负载平衡执行，（ii）不需要修改用户应用程序，（iii）容忍任务级故障并提供若干错误恢复选项，（iv）存储起源数据（v）支持动态工作流，其中在运行时创建或终止任务。在这里，我们介绍了Balsam服务和启动器的设计和Python实现。使用两个案例研究说明了该系统的有效性：深度神经网络的超参数优化和高通量单点量子化学计算。我们发现，灵活的作业包装和自动化调度与动态（试点管理）执行的独特组合，有利于良好的资源利用率。在超级计算机上管理资源和启动工作流通常所需的脚本开销大大减少，加快了工作流的开发和执行。

在基于MapReduce的云上通过虚拟化调度数据密集型工作负载

Scheduling Data Intensive Workloads through Virtualization on MapReduce based Clouds

MapReduce已经成为在云上运行数据密集型应用程序的流行编程模型。用户设置的MapReduce作业的完成时间目标或截止日期在现有的基于云的数据处理环境（例如Hadoop）中变得至关重要。在调度MR作业以满足最后期限和“数据局部性”（将任务分配给包含其输入数据的节点）之间存在冲突。为了满足最后期限，可以在没有用于该任务的本地输入数据的节点上调度任务，从而导致从远程节点的昂贵数据传输。在本文中，提出了一种新的调度器，以解决上述问题，主要是基于动态资源重新配置的方法。它有两个组成部分：1）资源预测器：其动态地确定每个作业满足完成时间保证所需的Map/Reduce时隙的数量; 2）资源重新配置器：其通过动态地增加或减少各个VM来调整CPU资源，同时不违反用户的完成时间目标，以最大化数据局部性，并且还最大化活动作业之间的系统内的资源的使用。建议的调度程序已被评估对公平的虚拟集群上建立在一个物理集群的20台机器。结果表明，作业吞吐量增加了约12

网格环境下物理应用的分散调度优化

Optimization of Decentralized Scheduling for Physic Applications in Grid Environments

本文提出了一个调度框架，配置，并在分布式系统中使用。我们的工作解决的问题，调度各种计算密集型和数据密集型的应用程序，需要从卫星图像中提取信息。所提出的解决方案允许将图像处理应用映射到可用资源上。调度是在并发应用程序组的级别上完成的。它在调度和执行应用程序组方面表现出非常好的行为，同时还实现了资源的接近最佳利用率。

使用DIANA队列进行批量调度

Bulk Scheduling with DIANA Scheduler

结果和进展的数据密集型和网络感知（DIANA）调度引擎，主要是数据密集型科学，如物理分析的发展。科学分析任务可能涉及数千个计算、数据处理和网络资源，并且输入和输出文件的大小以及分配给用户的总存储空间的量必然会对数据密集型应用的调度具有显著影响。如果必须从远程位置检索输入或输出文件，则在为给定应用程序调度计算资源时还必须考虑传输文件所需的时间。本研究的中心问题是在多个位置协调管理计算和数据，而不仅仅是数据移动。然而，这可能是一个非常昂贵的操作，如果在没有网络成本的情况下映射计算和数据资源，则高效调度可能是一个挑战。我们已经实现了一个自适应算法的DIANA内考虑到数据的位置和大小，网络性能和计算能力，使有效的全球调度决策。DIANA是一个性能感知型和经济导向型的Meta企业。它迭代地将每个作业分配给可能产生最佳性能的站点，并为任何剩余的挂起作业优化全局队列。因此，无论是提交单个作业还是执行批量调度，都同样适用。结果表明，相当大的性能改善是通过采用DIANA调度方法。

连续数据密集型工作流的智能调度与机器学习触发执行

Smart Scheduling of Continuous Data-Intensive Workflows with Machine Learning Triggered Execution

为了从来自许多不同来源的不断增长的数据量中提取价值，并推动决策制定，组织经常求助于数据处理工作流的组合，因为它们具有表达性，灵活性和可扩展性。典型的工作流模型在处理步骤之间强制执行严格的时间同步，而不考虑中间计算对最终工作流输出的实际影响。然而，这在许多场景中不是最理想的行为。我们确定了一类用于连续数据处理的应用程序，其中工作流输出在短到中等的时间窗口中变化缓慢且没有很大意义，从而浪费了当前方法的计算资源和能量。为了克服这种低效率，我们引入了一种新的工作流模型，连续和数据密集型处理，能够放松触发语义根据影响输入数据评估有改变工作流输出。为了评估这种影响，学习输入和输出变化之间的相关性，并在给定的容许误差常数内保证正确性，我们依赖于机器学习。该工作流模型的功能是在SmartFlux中实现的，SmartFlux是一个中间件框架，可以毫不费力地与现有的工作流管理器集成。实验结果表明，我们能够节省大量的资源，同时不偏离工作流输出超过一个小的误差常数与高置信度。

基于启发式算法的网格动态作业调度研究综述

A Survey on Dynamic Job Scheduling in Grid Environment Based on Heuristic Algorithms

计算网格是分布式计算系统发展的新趋势。它们允许以有效的方式共享地理上分布的资源，扩展了我们所认为的分布式计算的边界。各种科学可以从使用网格来解决CPU密集型问题中受益，为整个社会创造潜在的利益。作业调度是并行和分布式计算的重要组成部分。它允许为特定作业选择正确的资源匹配，从而提高作业吞吐量和资源利用率。作业应该以自动的方式进行调度，以使系统更可靠、更易访问，并且对子系统故障不太敏感。本文综述了各种启发式算法，用于网格调度。

使用DIANA队列进行批量调度

Bulk Scheduling with the DIANA Scheduler

从研究和开发的数据密集型和网络感知（DIANA）调度引擎，主要用于数据密集型科学，如物理分析的结果进行了说明。在网格分析中，任务可能涉及成千上万的计算、数据处理和网络资源。调度这些资源的核心问题是在多个位置协调管理计算和数据，而不仅仅是数据复制或移动。然而，这可能被证明是一个相当昂贵的操作，如果在不考虑网络成本的情况下映射计算和数据资源，那么高效的服务可能是一个挑战。我们已经实现了一个自适应算法，在所谓的DIANA的范围内，考虑到数据的位置和大小，网络性能和计算能力，以实现高效的全球调度。DIANA是一个性能感知和经济导向的Meta平台。它迭代地将每个作业分配到最有可能产生最佳性能的站点，并为任何剩余作业优化全局队列。因此，无论是提交单个作业还是执行批量调度，都同样适用。结果表明，相当大的性能改善，可以通过采用DIANA调度方法。

Scheduling Beyond CPUs for HPC

High performance computing (HPC) is undergoing significant changes. The emerging HPC applications comprise both compute- and data-intensive applications. To meet the intense I/O demand from emerging data-intensive applications, burst buffers are deployed in production systems. Existing HPC schedulers are mainly CPU-centric. The extreme heterogeneity of hardware devices, combined with workload changes, forces the schedulers to consider multiple resources (e.g., burst buffers) beyond CPUs, in decision making. In this study, we present a multi-resource scheduling scheme named BBSched that schedul…

能量有效的MapReduce任务调度

Energy Efficient Scheduling of MapReduce Jobs

MapReduce是数据密集型计算的一个突出的编程模型。在这项工作中，我们研究了在Yao等人[FOCS 1995]首次引入的速度缩放设置中的功耗感知MapReduce调度。我们专注于最小化的总加权完成时间的一组MapReduce工作在给定的能源预算。利用线性规划松弛的问题，我们得到了一个多项式时间常数因子的近似算法。我们还提出了一种凸规划公式，将其与标准列表调度策略相结合，并使用模拟评估其性能。

Armada: A Robust Latency-Sensitive Edge Cloud in Heterogeneous Edge-Dense Environments

Edge computing has enabled a large set of emerging edge applications by exploiting data proximity and offloading latency-sensitive and computation-intensive workloads to nearby edge servers. However, supporting edge application users at scale in wide-area environments poses challenges due to limited point-of-presence edge sites and constrained elasticity. In this paper, we introduce Armada: a densely-distributed edge cloud infrastructure that explores the use of dedicated and volunteer resources to serve geo-distributed users in heterogeneous environments. We describe the lightweight Armada ar…

在非统一内存访问架构上启用科学工作流调度研究

Enabling Scientific Workflow Scheduling Research in Non-Uniform Memory Access Architectures

本文提出nFlows，一个支持在非统一内存访问架构上进行科学工作流调度研究的运行时系统，用于建模、执行、模拟和验证调度算法。

优化批量作业调度的DIANA调度层次结构

DIANA Scheduling Hierarchies for Optimizing Bulk Job Scheduling

在大规模分布式系统中使用元调度器进行资源管理通常会导致调度器的层次结构。在本文中，我们将讨论为什么现有的元调度层次结构有时是不够的网格系统，由于他们无法重新组织工作已经安排在本地。这样的工作重组是需要适应不断变化的负载，这是常见的大量使用的网格基础设施。我们提出了一个对等调度模型，并使用案例研究和数学建模进行评估。我们详细介绍了DIANA（数据密集型和网络意识）调度算法和队列管理系统，以应付负载分布和支持批量作业调度。我们证明，这样的系统是有益的动态，分布式和自组织的资源管理，并可以帮助优化负载或作业分布在复杂的网格基础设施。

SST中可扩展的HPC作业调度与资源管理

Scalable HPC Job Scheduling and Resource Management in SST

本文在SST中引入了一个可扩展的HPC作业调度与资源管理组件，支持工作流任务依赖与资源分配仿真，并在多项指标上验证了其高精度与良好的并行性能。

科学应用中动态循环调度的实验验证与分析

Experimental Verification and Analysis of Dynamic Loop Scheduling in Scientific Applications

科学应用程序通常是不规则的，其特征是大型计算密集型并行循环。动态循环调度（DLS）技术通过在高性能计算（HPC）系统上执行计算密集型科学应用的负载均衡来提高其性能。确定最合适的数据分布策略，系统大小和DLS技术的选择，提高给定应用程序的性能，需要密集的评估和大量的探索性本地实验（使用真实系统上的真实应用程序），这可能并不总是可行的或实际的，由于相关的时间和成本。在这种情况下，模拟实验更适合研究应用程序的性能。这激发了这样一个问题：在HPC平台上使用DLS执行科学应用程序的模拟有多现实？在目前的工作中，设计了一种方法来回答这个问题。它涉及DLS在科学应用中的性能的实验验证和分析。所提出的方法是用于一个计算机视觉应用程序执行使用四个DLS技术在两个不同的HPC平台，无论是通过本地和模拟实验。通过对仿真结果和原始结果的分析和评价，表明应用程序计算量的提取方法对仿真实验的准确性有很大的影响（基于FLOP或基于时间）、模拟中应用模型表示的选择（数据或任务并行）以及模拟器中可用的HPC子系统模型（多核CPU、存储层次结构和网络拓扑）。模拟实验与仿真实验的最小和最大误差分别为0.95%和8.03%。

Deep Learning Workload Scheduling in GPU Datacenters: Taxonomy, Challenges and Vision

Deep learning (DL) shows its prosperity in a wide variety of fields. The development of a DL model is a time-consuming and resource-intensive procedure. Hence, dedicated GPU accelerators have been collectively constructed into a GPU datacenter. An efficient scheduler design for such GPU datacenter is crucially important to reduce the operational cost and improve resource utilization. However, traditional approaches designed for big data or high performance computing workloads can not support DL workloads to fully utilize the GPU resources. Recently, substantial schedulers are proposed to tailo…

层次数据网格中数据复制对作业调度性能的影响

The Impact of Data Replicatino on Job Scheduling Performance in Hierarchical data Grid

在数据密集型应用程序中，数据传输是作业执行延迟的主要原因。数据访问时间取决于带宽。广域网和Internet的高带宽是网格环境下支持快速数据访问的主要瓶颈。有效的调度可以通过将作业分派到存在所需数据的位置来减少通过互联网传输的数据量。另一种解决方案是使用数据复制机制。动态副本策略的目标是减少文件访问时间，从而减少作业运行时间。在本文中，我们提出了一个作业调度策略和一个动态的数据复制策略，称为HRS（分层复制策略），以提高数据访问效率。我们研究我们的方法，并通过模拟评估。结果表明，我们的算法比现有的策略提高了12%。

Seer：面向众包云边平台中直播服务的主动式收益感知调度

Seer: Proactive Revenue-Aware Scheduling for Live Streaming Services in Crowdsourced Cloud-Edge Platforms

针对众包云边平台直播调度中资源利用与收益关系复杂、规模大导致调度耗时的问题，提出Seer系统，通过精确收益建模和“预调度-执行-再调度”范式实现高效收益优化调度，实验表明其收益提升147%且调度速度加快3.4倍。

科学网格中运行HPC工作负载的虚拟机的动态调度

Dynamic scheduling of virtual machines running hpc workloads in scientific grids

采用虚拟化的主要动机是资源隔离、容量管理和资源定制，允许资源提供商将其资源整合到虚拟机中。已经采取了各种方法来将虚拟化集成到科学网格中，特别是在高性能计算（HPC）的领域中，以在虚拟机中运行网格作业，从而能够更好地提供底层资源并在运行时定制执行环境。尽管有这些好处，但虚拟化层也会带来性能损失，而且还没有很好地理解这种开销将如何影响系统的性能，其中作业的调度时间很紧。由于这种开销会改变工作负载的类型，无论它们是内存密集型，CPU密集型还是网络I/O绑定，并且可能导致系统中运行作业的不可预测的截止日期估计。在我们的研究中，我们试图通过开发一种智能调度技术来解决这个问题，该技术用于监控虚拟机的工作负载类型和最后期限，并实时的计算系统开销，以最大限度地提高在商定的最后期限内完成的作业数量。

OneDataShare：云托管数据传输调度和优化即服务的愿景

OneDataShare: A Vision for Cloud-hosted Data Transfer Scheduling and Optimization as a Service

跨广域网的快速、可靠和高效的数据传输是数据密集型云应用的主要瓶颈。本文介绍了OneDataShare，它旨在消除不同文件大小和跨不兼容传输端点的有效云数据传输所面临的问题。OneDataShare的愿景是实现高速数据通信、多种传输协议之间的互操作性以及提前计划的交付时间的准确估计，从而通过改进和更快的商业智能数据分析来最大化用户利润。本文详细阐述了OneDataShare作为云托管数据传输调度和优化服务的理想功能，以及它如何与利用云和分布式计算的力量的愿景保持一致。实验评估和现有的现实生活中的文件传输服务的比较表明，通过OneDataShare实现的传输吞吐量是6.5倍。

A Sum-of-Ratios Multi-Dimensional-Knapsack Decomposition for DNN Resource Scheduling

In recent years, to sustain the resource-intensive computational needs for training deep neural networks (DNNs), it is widely accepted that exploiting the parallelism in large-scale computing clusters is critical for the efficient deployments of DNN training jobs. However, existing resource schedulers for traditional computing clusters are not well suited for DNN training, which results in unsatisfactory job completion time performance. The limitations of these resource scheduling schemes motivate us to propose a new computing cluster resource scheduling framework that is able to leverage the …

rDLB：一种面向并行独立任务的科学应用鲁棒动态负载均衡新方法

rDLB: A Novel Approach for Robust Dynamic Load Balancing of Scientific Applications with Parallel Independent Tasks

科学应用程序通常包含大型和计算密集型并行循环。动态循环自调度（DLS）用于在高性能计算（HPC）系统上实现此类应用程序的平衡负载执行。大型HPC系统易受处理器或节点故障以及资源可用性扰动的影响。大多数自调度方法不考虑容错调度，或者依赖于故障或扰动检测，并通过重新调度失败的任务来做出反应。在这项工作中，一个强大的动态负载均衡（rDLB）方法提出了强大的独立任务的自我调度。所提出的方法是主动的，不依赖于故障或扰动检测。理论分析表明，该方法具有线性可扩展性，且开销随系统规模的增加呈二次方下降。rDLB集成到MPI DLS库中，通过两个计算密集型科学应用程序通过实验评估其性能。结果表明，rDLB使容忍高达（P减一）处理器故障，其中P是执行应用程序的处理器的数量。在存在扰动的情况下，与没有rDLB的对应物相比，rDLB将DLS技术的鲁棒性提高了30倍，并将应用程序执行时间降低了7倍。

基于深度强化学习的异构集群系统中的能量感知作业调度

Energy-aware Scheduling of Jobs in Heterogeneous Cluster Systems Using Deep Reinforcement Learning

从便携式嵌入式系统到计算机集群系统，能耗是设计计算设备时最关键的问题之一。此外，在过去的十年中，集群系统已经越来越多地成为流行的平台来运行计算密集型的实时应用程序，其中的性能是非常重要的。然而，由于实时工作负载的不同特点，开发通用的作业调度解决方案，有效地解决能源消耗和性能的实时集群系统是一个具有挑战性的问题。在本文中，受到将深度强化学习应用于资源管理问题的最新进展的启发，我们提出了Deep-EAS调度器，该调度器可以为具有不同特征的工作负载学习有效的能量感知调度策略，而无需最初了解任何关于手头调度任务的信息。结果表明，Deep-EAS收敛速度快，性能优于标准的手动调整算法，特别是在重负载条件下。

Optimizing Task Placement and Online Scheduling for Distributed GNN Training Acceleration

Training Graph Neural Networks (GNN) on large graphs is resource-intensive and time-consuming, mainly due to the large graph data that cannot be fit into the memory of a single machine, but have to be fetched from distributed graph storage and processed on the go. Unlike distributed deep neural network (DNN) training, the bottleneck in distributed GNN training lies largely in large graph data transmission for constructing mini-batches of training samples. Existing solutions often advocate data-computation colocation, and do not work well with limited resources where the colocation is infeasibl…

GADGET: Online Resource Optimization for Scheduling Ring-All-Reduce Learning Jobs

Fueled by advances in distributed deep learning (DDL), recent years have witnessed a rapidly growing demand for resource-intensive distributed/parallel computing to process DDL computing jobs. To resolve network communication bottleneck and load balancing issues in distributed computing, the so-called ``ring-all-reduce'' decentralized architecture has been increasingly adopted to remove the need for dedicated parameter servers. To date, however, there remains a lack of theoretical understanding on how to design resource optimization algorithms for efficiently scheduling ring-all-reduce DDL job…

基于A3C强化学习的微服务智能任务调度

Intelligent Task Scheduling for Microservices via A3C-Based Reinforcement Learning

本文提出基于A3C强化学习的微服务自适应调度方法，将调度建模为马尔可夫决策过程并联合优化策略与价值网络，通过异步多线程机制提升收敛效率，实验证明其在多任务并发下有效缓解资源瓶颈并提升系统稳定性。

RFID: Towards Low Latency and Reliable DAG Task Scheduling over Dynamic Vehicular Clouds

Vehicular cloud (VC) platforms integrate heterogeneous and distributed resources of moving vehicles to offer timely and cost-effective computing services. However, the dynamic nature of VCs (i.e., limited contact duration among vehicles), caused by vehicles' mobility, poses unique challenges to the execution of computation-intensive applications/tasks with directed acyclic graph (DAG) structure, where each task consists of multiple interdependent components (subtasks). In this paper, we study scheduling of DAG tasks over dynamic VCs, where multiple subtasks of a DAG task are dispersed across v…

边缘集群升级中面向低时延物联网服务的在线容器调度：一种强化学习方法

Online Container Scheduling for Low-Latency IoT Services in Edge Cluster Upgrade: A Reinforcement Learning Approach

针对边缘集群升级时传统云调度策略不适配、易影响运行任务的问题，提出基于策略梯度的强化学习在线容器调度算法，可将总任务时延较基线降低约27%。

A Simulation Platform for Multi-tenant Machine Learning Services on Thousands of GPUs

Multi-tenant machine learning services have become emerging data-intensive workloads in data centers with heavy usage of GPU resources. Due to the large scale, many tuning parameters and heavy resource usage, it is usually impractical to evaluate and benchmark those machine learning services on real clusters. In this demonstration, we present AnalySIM, a cluster simulator that allows efficient design explorations for multi-tenant machine learning services. Specifically, by trace-driven cluster workload simulation, AnalySIM can easily test and analyze various scheduling policies in a number of …

基于MPI + MPI方法的分布式存储系统分层动态循环自调度

Hierarchical Dynamic Loop Self-Scheduling on Distributed-Memory Systems Using an MPI+MPI Approach

计算密集型循环是科学应用中并行性的主要来源。这样的循环通常是不规则的，并且它们的循环迭代的平衡执行对于实现高性能是至关重要的。然而，有几个因素可能导致不平衡的负载执行，例如问题特征、算法和系统变化。动态循环自调度（DLS）技术的目的是减轻这些因素，从而提高应用程序的性能。在分布式存储器系统上，DLS技术可以使用分层的主-工作者执行模型来实现，因此被称为分层DLS技术。这些技术在两个硬件并行级别上自调度循环迭代：跨计算节点和计算节点内。结合消息传递接口（MPI）和开放多处理（OpenMP）的混合编程方法主导了分层DLS技术的实现。MPI-3标准包括在MPI进程之间共享内存区域的特性。该特性引入了MPI+MPI方法，简化了并行科学应用程序的实现。本工作设计和实现分层DLS技术，利用MPI+MPI的方法。四个众所周知的DLS技术被认为是在这里提出的评估。结果表明，所提出的方法相比，混合MPI+OpenMP方法的某些性能优势。

异构资源上具有任意时间特性任务的自适应在线调度

Adaptive online scheduling of tasks with anytime property on heterogeneous resources

服务器的可接受响应时间在许多客户端-服务器应用程序中是一个重要方面;这在服务器被许多计算密集型请求过载的情况下是显而易见的。在这项工作中，我们认为，请求，或在这种情况下的任务，由客户端生成的优化问题的实例，解决任何时候的算法，即解决方案的质量增加与任务的处理时间。这些任务被提交给服务器，服务器将它们调度到处理任务的可用计算资源。为了解决过载问题，我们提出了一种调度算法，它结合了传统的调度方法与质量控制启发式调整所要求的质量的解决方案，从而改变任务的处理时间。引入了两种有效的质量控制算法：第一种算法为所有任务设置全局质量，而第二种算法为每个任务独立设置质量。此外，在实践中，处理时间和质量之间的关系并不是先验已知的。因为它是至关重要的调度算法至少知道这些关系的估计，我们提出了一个一般的程序，估计这些关系使用的信息从已经执行的任务。最后，所提出的调度算法的性能表现在一个现实世界的问题，从域的人员排班具有非常好的结果。

ASA——自适应调度算法（The Adaptive Scheduling Algorithm）

ASA -- The Adaptive Scheduling Algorithm

针对 HPC 中预分配浪费资源与动态分配可能延长工作流完成时间的矛盾，本文提出具有收敛保证的 ASA，通过预测队列等待并提前请求资源变更，在两台超级计算机上显著降低等待与完成时间。

设备辅助移动边缘网络中的联合任务划分与并行调度

Joint Task Partitioning and Parallel Scheduling in Device-Assisted Mobile Edge Networks

本文针对设备辅助移动边缘计算中任务划分与并行调度的联合优化问题，提出基于深度强化学习的OTPPS框架，并设计FDMTS算法解决NP-hard调度子问题，实现近最优延迟和高公平性。

数据中心中FPGA上任务的功耗感知调度

Power Aware Scheduling of Tasks on FPGAs in Data Centers

本文提出一种针对数据中心FPGA的功耗感知调度方法，通过最大化并行计算单元实现周期性硬件任务的高效执行并最小化功耗，在Alveo-50 FPGA和Vitis 2023上验证了其优于现有方案的效率。

动态循环调度实验的性能再现与预测

Performance Reproduction and Prediction of Selected Dynamic Loop Scheduling Experiments

科学应用程序是复杂的，大型的，并且经常表现出不规则和随机的行为。在计算密集型应用程序中使用高效的循环调度技术对于提高其在高性能计算（HPC）平台上的性能至关重要。在20世纪80年代末和21世纪初，已经提出了许多动态循环调度（DLS）技术，并有效地用于科学应用。在大多数情况下，已经测试和验证它们的计算系统不再可用。这项工作涉及的不确定性的来源，在实施DLS技术，以避免不必要的影响，科学应用的性能最小化。因此，重要的是要确保在科学应用中采用的DLS技术今天坚持其最初的设计目标和规格。这项工作的目标是实现和增加信任的DLS技术在目前的研究中的实施。为了实现这一目标，从1992年的原始工作，介绍了因子分解的调度实验的选择的性能再现和预测，通过模拟和本地实验。实验表明，仿真再现了在过去的计算平台上实现的性能，并准确地预测在当前的计算平台上实现的性能。性能再现和预测确认，目前的实施DLS技术考虑，在模拟和本地，坚持其原始描述。结果证实了这一假设，即在过去和现代硬件上再现相同调度方案的实验会导致与预期完全不同的行为。

划分SKA数据流以实现最佳图执行

Partitioning SKA Dataflows for Optimal Graph Execution

优化数据密集型工作流执行对于许多现代科学项目至关重要，例如平方公里阵列（SKA），它将成为世界上最大的射电望远镜，在未来几十年内每秒收集TB级数据。SKA科学数据处理器的核心是图形执行引擎，调度数万个算法组件来摄取和转换数百万个并行数据块，以便在功率预算内解决一系列大规模逆问题。为了应对这一挑战，我们开发了数据激活刘图引擎（DALiuGE），以管理多个SKA探路者项目的数据处理管道。本文讨论了大流格图调度子系统。通过扩展以前的研究图调度和分区，我们奠定了基础上，我们可以开发多项式时间优化方法，最大限度地减少工作流的执行时间和资源占用，同时满足资源的限制所施加的个别算法。我们展示了从三个射电天文学数据管道获得的初步结果。

在HPC集群上评估Apache Spark应用程序的试点作业

Evaluation of pilot jobs for Apache Spark applications on HPC clusters

大数据在许多科学领域已经变得非常突出，因此，科学界已经寻求大数据框架来加速处理其日益增长的数据密集型管道。然而，虽然科学界通常依赖高性能计算（HPC）集群来并行化其管道，但许多流行的大数据框架（如Hadoop和Apache Spark）主要设计用于在专用的商品基础设施上执行。本文评估了在HPC集群上Apache Spark的试点作业相对于传统批处理提交的优势。令人惊讶的是，我们的研究结果表明，试点工作批调度提供的速度是温和的不存在（平均0.98），尽管存在长排队时间。此外，试验作业提供了一个额外的调度层，使调试和部署复杂化。我们的结论是，传统的批处理调度应该仍然是在HPC集群上部署Apache Spark应用程序的默认策略。

SAP云基础设施数据集：云计算中虚拟机调度与放置的现实检验

The SAP Cloud Infrastructure Dataset: A Reality Check of Scheduling and Placement of VMs in Cloud Computing

本文基于SAP云平台的大规模实测数据集，分析了企业级云环境中虚拟机调度的多种次优问题，提出了算法设计要求并公开数据集以支撑后续研究。

云环境中满足可靠性和截止期限的工作流调度中的能耗最小化

Minimizing Energy in Reliability and Deadline-Ensured Workflow Scheduling in Cloud

针对云环境中工作流调度的能耗最小化问题，提出基于最大扇出比的自适应静态调度和基于滚动时域的动态调度方法，在满足可靠性和截止期限约束下显著降低能耗，静态方法平均优于SOTA达70%，动态方法在无截止期限场景提升82%。

移动边缘计算系统中具有截止期感知的联合任务调度与卸载

Deadline-Aware Joint Task Scheduling and Offloading in Mobile Edge Computing Systems

针对MEC与云系统的截止期约束任务调度问题，提出最优排序与卸载决策算法及O(n)在线快速检测方法，验证了其在服务率和调度成本上的有效性。

一种在高性能计算系统上真实模拟科学应用性能的方法

An Approach for Realistically Simulating the Performance of Scientific Applications on High Performance Computing Systems

科学应用程序通常包含大型、计算密集型和不规则的并行循环或任务，这些循环或任务具有随机特性。由于这些特性，应用程序在其在高性能计算（HPC）系统上执行期间可能遭受负载不平衡。动态循环自调度（DLS）技术有助于通过负载均衡提高HPC系统上科学应用程序的性能。选择一种DLS技术，在不同的问题和系统规模的最佳性能，需要大量的探索性实验。一个理论模型，可以用来预测调度技术，产生最佳性能的一个给定的问题和系统尚未确定。因此，模拟是以合理的成本进行这种探索性实验的最合适的方法。这项工作设计了一种方法来逼真地模拟计算密集型的科学应用程序，采用DLS和HPC系统上执行。几种方法来表示的应用程序的任务（或循环迭代）进行比较，以建立其对模拟应用程序的性能的影响。介绍了一种新的模拟策略，它将本地应用程序代码转换为模拟代码。两个计算密集型科学应用的本地和模拟性能进行比较，以评估所提出的模拟方法的现实性。从本地和模拟性能中提取的性能特征的比较表明，所提出的模拟方法完全捕获了感兴趣的大部分性能特征。这项工作表明，并建立了模拟的重要性，现实地预测不同的应用和系统配置的DLS技术的性能。

释放移动车载云上图结构任务调度中阶段式决策的潜力

Unleashing the Potential of Stage-Wise Decision-Making in Scheduling of Graph-Structured Tasks over Mobile Vehicular Clouds

针对移动车载云的计算密集型图结构任务调度问题，提出含主动预映射和实时应急映射的两阶段决策机制，在时间效率和计算开销上表现更优。

WOW：面向动态科学工作流的工作流感知数据移动与任务调度

WOW: Workflow-Aware Data Movement and Task Scheduling for Dynamic Scientific Workflows

本文提出WOW调度方法，通过协同引导数据移动与任务调度并创建中间文件推测性副本，有效减少动态科学工作流的网络拥塞与运行时间，在Nextflow和Kubernetes实验中显著降低完成时间且扩展性良好。

基于强化学习的 Kubernetes 自定义调度器用于计算密集型 pods

A Kubernetes custom scheduler based on reinforcement learning for compute-intensive pods

本文提出基于强化学习的自定义 Kubernetes 调度器 SDQN 和 SDQN-n，用于优化计算密集型 pods 的调度，提升资源利用率和能源效率。

异构网络中面向多层边缘计算的动态DAG应用调度

Dynamic DAG-Application Scheduling for Multi-Tier Edge Computing in Heterogeneous Networks

针对现有边缘计算研究较少将个人移动设备作为边缘设备的问题，本文提出M-TEC多层边缘计算框架，兼顾设备故障与网络变化，经真实网络测试验证可有效降低端到端延迟并保障可靠低成本性能。

Pilot-Data：分布式数据的一种抽象

Pilot-Data: An Abstraction for Distributed Data

依赖于处理大量数据的科学问题需要克服多个领域的挑战：管理大规模数据分布，控制数据与计算资源的协同放置和调度，以及存储，传输和管理大量数据。虽然存在多种方法来解决这些挑战中的每一个，但缺少一种综合方法;此外，扩展现有功能或实现互操作能力充其量仍然很困难。我们提出了试点数据的概念，以解决在异构和分布式环境中的数据和计算的协同放置和调度的基本挑战，互操作性和可扩展性作为第一顺序的关注。Pilot-Data是Pilot-Job抽象的扩展，用于支持与计算任务相结合的数据管理。Pilot-Data将逻辑数据单元与物理存储分离，从而为高效的计算/数据放置和调度提供基础。在本文中，我们讨论了试点数据原型的设计和实施，演示了它的使用数据密集型应用程序在多个生产分布式网络基础设施，并说明了试点数据启用灵活的执行模式所带来的优势。我们的实验利用一个可扩展的Pilot-Job（BigJob）结合Pilot-Data的实现来建立可以通过使用Pilot-Data来实现的应用程序性能。我们展示了Pilot-Data的概念如何为构建工具和支持功能（如亲和力）提供基础，而亲和力又可用于高级数据计算协同布局和调度。