Data Diffusion: Dynamic Resource Provision and Data-Aware Scheduling for Data Intensive Applications
数据密集型应用程序通常涉及需要大量计算和存储资源的大型数据集的分析。虽然专用计算和/或存储场提供良好的任务/数据吞吐量，但它们在不同的工作负载条件下存在资源利用率低的问题。如果我们转而将这些数据移动到分布式计算资源，那么我们会招致昂贵的数据传输成本。在本文中，我们提出了一种数据扩散的方法，结合动态资源配置，按需数据复制和缓存，数据本地感知调度，以实现不同的工作负载下提高资源效率。我们定义了一个抽象的“数据扩散模型“，考虑到工作负载的特点，数据访问成本，应用程序的吞吐量和资源利用率，我们验证模型使用真实世界的大规模天文应用。我们的研究结果表明，数据扩散可以提高性能指数高达34倍，并提高应用程序的响应时间超过506倍，同时实现接近最佳的吞吐量和执行时间。
2008-08-26 cs.DC
Dynamic Resource Allocation Method for Load Balance Scheduling over Cloud Data Center Networks
云数据中心有许多主机和应用程序请求，其中资源是动态的。对资源分配的要求是多种多样的。这些因素可能导致负载不平衡，从而影响调度效率和资源利用率。提出了一种基于动态资源分配的负载均衡调度方法（DRALB）。所提出的解决方案包括两个步骤：首先，负载管理器分析资源需求，如CPU，内存，能量和带宽使用情况，并为每个应用程序分配适当数量的VM。其次，收集和更新资源信息，其中资源根据资源的负载（即，CPU密集型、存储器密集型、能量密集型和带宽密集型）被分类为四个队列。我们证明SLA感知调度不仅方便了云消费者的资源可用性，提高吞吐量，响应时间等，但也最大限度地提高云利润与较少的资源利用率和SLA（服务水平协议）违规处罚。该方法是基于客户端应用程序的多样性和搜索特定部署的最佳资源。基于平均响应时间、资源利用率、SLA违规率和负载均衡等参数进行了实验。实验结果表明，该方法可以减少资源的浪费，并减少了44.89和58.49在网络中的流量。
2022-11-04 cs.DC
OS Scheduling Algorithms for Memory Intensive Workloads in Multi-socket Multi-core servers
主要的芯片制造商都推出了多核微处理器。由这些处理器构建的多插槽系统通常用于运行各种服务器应用程序。根据系统上运行的应用程序，远程内存访问可能会影响整体性能。本文提出了一种新的操作系统（OS）调度优化，以减少这种远程内存访问的影响。通过观察每个调度量子中每个线程的本地和远程DRAM访问模式并应用不同的算法，我们为下一个量子提出了一个新的线程调度。这种新的调度可能会减少下一个调度量的远程DRAM访问，并提高整体性能。我们提出了三个这样的新算法的不同复杂度的算法，这是一个适应匈牙利算法。我们使用了三种不同的合成工作负载来评估算法。我们还对不同的DRAM延迟进行了敏感性分析。我们表明，这些算法可以减少DRAM访问延迟高达55%，这取决于所使用的算法。从算法中获得的好处取决于它们的复杂性。一般来说，复杂性越高，收益越高。匈牙利算法产生最优解。我们发现，四分之二的算法提供了一个很好的权衡性能和复杂性的工作负载，我们研究。
2018-09-23 cs.DC
Scheduling Data-Intensive Workloads in Large-Scale Distributed Systems: Trends and Challenges
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
该研究针对大数据背景下数据密集型工作负载的调度挑战，提出了负载分类方法，梳理了大规模分布式系统中的常用调度策略与新型方案，并指明了开放挑战与未来方向。
2025-10-29 cs.DC
Balsam: Automated Scheduling and Execution of Dynamic, Data-Intensive HPC Workflows
我们引入Balsam服务来管理超级计算系统上的高吞吐量任务调度和执行。Balsam允许用户使用从简单的独立任务到动态多任务工作流的各种任务填充任务数据库。通过对本地资源调度器和MPI环境的抽象，Balsam动态地将任务打包成集成作业并管理其调度生命周期。该集成在一个试验“启动器”中执行，该“启动器”（i）确保具有异构处理器要求的任意串行和并行程序的并发、负载平衡执行，（ii）不需要修改用户应用程序，（iii）容忍任务级故障并提供若干错误恢复选项，（iv）存储起源数据（v）支持动态工作流，其中在运行时创建或终止任务。在这里，我们介绍了Balsam服务和启动器的设计和Python实现。使用两个案例研究说明了该系统的有效性：深度神经网络的超参数优化和高通量单点量子化学计算。我们发现，灵活的作业包装和自动化调度与动态（试点管理）执行的独特组合，有利于良好的资源利用率。在超级计算机上管理资源和启动工作流通常所需的脚本开销大大减少，加快了工作流的开发和执行。
2019-09-18 cs.DC
Scheduling Data Intensive Workloads through Virtualization on MapReduce based Clouds
MapReduce已经成为在云上运行数据密集型应用程序的流行编程模型。用户设置的MapReduce作业的完成时间目标或截止日期在现有的基于云的数据处理环境（例如Hadoop）中变得至关重要。在调度MR作业以满足最后期限和“数据局部性”（将任务分配给包含其输入数据的节点）之间存在冲突。为了满足最后期限，可以在没有用于该任务的本地输入数据的节点上调度任务，从而导致从远程节点的昂贵数据传输。在本文中，提出了一种新的调度器，以解决上述问题，主要是基于动态资源重新配置的方法。它有两个组成部分：1）资源预测器：其动态地确定每个作业满足完成时间保证所需的Map/Reduce时隙的数量; 2）资源重新配置器：其通过动态地增加或减少各个VM来调整CPU资源，同时不违反用户的完成时间目标，以最大化数据局部性，并且还最大化活动作业之间的系统内的资源的使用。建议的调度程序已被评估对公平的虚拟集群上建立在一个物理集群的20台机器。结果表明，作业吞吐量增加了约12
2012-08-09 cs.DC
Smart Scheduling of Continuous Data-Intensive Workflows with Machine Learning Triggered Execution
为了从来自许多不同来源的不断增长的数据量中提取价值，并推动决策制定，组织经常求助于数据处理工作流的组合，因为它们具有表达性，灵活性和可扩展性。典型的工作流模型在处理步骤之间强制执行严格的时间同步，而不考虑中间计算对最终工作流输出的实际影响。然而，这在许多场景中不是最理想的行为。我们确定了一类用于连续数据处理的应用程序，其中工作流输出在短到中等的时间窗口中变化缓慢且没有很大意义，从而浪费了当前方法的计算资源和能量。为了克服这种低效率，我们引入了一种新的工作流模型，连续和数据密集型处理，能够放松触发语义根据影响输入数据评估有改变工作流输出。为了评估这种影响，学习输入和输出变化之间的相关性，并在给定的容许误差常数内保证正确性，我们依赖于机器学习。该工作流模型的功能是在SmartFlux中实现的，SmartFlux是一个中间件框架，可以毫不费力地与现有的工作流管理器集成。实验结果表明，我们能够节省大量的资源，同时不偏离工作流输出超过一个小的误差常数与高置信度。
2016-12-12 cs.DC
Reinforcement Learning-driven Data-intensive Workflow Scheduling for Volunteer Edge-Cloud
City University of New York（纽约城市大学）；University of Missouri-Columbia（密苏里大学哥伦比亚分校）
本文针对志愿者边缘云中数据密集型工作流调度问题，提出一种基于异步优势演员-评论家强化学习的方法，综合考虑工作流需求、资源偏好与资源策略，实验证明其在需求满足度和资源利用率上优于基线策略。
2024-07-01 cs.AI cs.DC
Scheduling in the Presence of Data Intensive Compute Jobs
我们研究了非自适应调度策略在多服务器计算系统中的性能。计算工作大多是定期的，服务要求不高。然而，也有零星的数据密集型作业，其预期的服务时间是远远高于定期作业。对于这个模型，我们感兴趣的是调度策略对作业在系统中平均花费时间的影响。为此，我们在一个简化的，只到达系统中引入两个性能指标。我们相信，这些性能指标是很好的预测排队系统中的政策，这是支持模拟结果的相对性能。
2019-12-31 cs.DC cs.IT cs.PF
Energy Efficient Scheduling of MapReduce Jobs
MapReduce是数据密集型计算的一个突出的编程模型。在这项工作中，我们研究了在Yao等人[FOCS 1995]首次引入的速度缩放设置中的功耗感知MapReduce调度。我们专注于最小化的总加权完成时间的一组MapReduce工作在给定的能源预算。利用线性规划松弛的问题，我们得到了一个多项式时间常数因子的近似算法。我们还提出了一种凸规划公式，将其与标准列表调度策略相结合，并使用模拟评估其性能。
2014-02-12 cs.DC
Optimization of Decentralized Scheduling for Physic Applications in Grid Environments
本文提出了一个调度框架，配置，并在分布式系统中使用。我们的工作解决的问题，调度各种计算密集型和数据密集型的应用程序，需要从卫星图像中提取信息。所提出的解决方案允许将图像处理应用映射到可用资源上。调度是在并发应用程序组的级别上完成的。它在调度和执行应用程序组方面表现出非常好的行为，同时还实现了资源的接近最佳利用率。
2008-12-11 cs.DC physics.comp-ph
Enabling Scientific Workflow Scheduling Research in Non-Uniform Memory Access Architectures
Universidad de los Andes（安第斯大学）
本文提出nFlows，一个支持在非统一内存访问架构上进行科学工作流调度研究的运行时系统，用于建模、执行、模拟和验证调度算法。
2025-11-25 cs.DC
The Impact of Data Replicatino on Job Scheduling Performance in Hierarchical data Grid
在数据密集型应用程序中，数据传输是作业执行延迟的主要原因。数据访问时间取决于带宽。广域网和Internet的高带宽是网格环境下支持快速数据访问的主要瓶颈。有效的调度可以通过将作业分派到存在所需数据的位置来减少通过互联网传输的数据量。另一种解决方案是使用数据复制机制。动态副本策略的目标是减少文件访问时间，从而减少作业运行时间。在本文中，我们提出了一个作业调度策略和一个动态的数据复制策略，称为HRS（分层复制策略），以提高数据访问效率。我们研究我们的方法，并通过模拟评估。结果表明，我们的算法比现有的策略提高了12%。
2010-10-04 cs.DC
Seer: Proactive Revenue-Aware Scheduling for Live Streaming Services in Crowdsourced Cloud-Edge Platforms
针对众包云边平台直播调度中资源利用与收益关系复杂、规模大导致调度耗时的问题，提出Seer系统，通过精确收益建模和“预调度-执行-再调度”范式实现高效收益优化调度，实验表明其收益提升147%且调度速度加快3.4倍。
2024-02-22 cs.DC
OneDataShare: A Vision for Cloud-hosted Data Transfer Scheduling and Optimization as a Service
跨广域网的快速、可靠和高效的数据传输是数据密集型云应用的主要瓶颈。本文介绍了OneDataShare，它旨在消除不同文件大小和跨不兼容传输端点的有效云数据传输所面临的问题。OneDataShare的愿景是实现高速数据通信、多种传输协议之间的互操作性以及提前计划的交付时间的准确估计，从而通过改进和更快的商业智能数据分析来最大化用户利润。本文详细阐述了OneDataShare作为云托管数据传输调度和优化服务的理想功能，以及它如何与利用云和分布式计算的力量的愿景保持一致。实验评估和现有的现实生活中的文件传输服务的比较表明，通过OneDataShare实现的传输吞吐量是6.5倍。
2017-12-08 cs.DC
A Sum-of-Ratios Multi-Dimensional-Knapsack Decomposition for DNN Resource Scheduling
近年来，为了维持训练深度神经网络（DNN）的资源密集型计算需求，人们普遍认为，利用大规模计算集群中的并行性对于DNN训练作业的有效部署至关重要。然而，传统计算集群的现有资源调度器不太适合DNN训练，这导致作业完成时间性能不令人满意。这些资源调度方案的局限性促使我们提出一种新的计算集群资源调度框架，该框架能够利用DNN作业的特殊分层结构，并显着提高其作业完成时间。本文的贡献有三个方面：i）考虑DNN的分层结构，提出了一种新的资源调度分析模型，使我们能够解析地表达计算集群中DNN训练的资源调度优化问题; ii）基于所提出的性能分析模型，然后，我们开发了一个有效的资源调度算法的基础上，广泛采用的参数服务器架构，使用比率和多维背包分解（SMD）方法，提供强大的性能保证; iii）我们进行了广泛的数值实验，以证明所提出的调度算法的有效性和其优越的性能超过国家的艺术。
2021-05-28 cs.DC
Optimizing Task Placement and Online Scheduling for Distributed GNN Training Acceleration
在大型图上训练图神经网络（GNN）是资源密集型和耗时的，主要是由于大型图数据无法放入单个机器的内存中，而是必须从分布式图存储中获取并随时处理。与分布式深度神经网络（DNN）训练不同，分布式GNN训练的瓶颈主要在于用于构建小批量训练样本的大型图数据传输。现有的解决方案通常提倡数据计算托管，并且在托管不可行的情况下不能很好地与有限的资源一起工作。任务的战略布局和数据传输与任务执行的优化调度的潜力还没有得到很好的开发。为了提高资源利用率，改善执行流水线，加快训练完成速度，设计了一种高效的分布式GNN训练任务放置和执行调度算法框架。我们的框架由两个模块组成：（i）一个在线调度算法，调度训练任务的执行，和数据传输计划;和（ii）一个探索性的任务布局方案，决定每个训练任务的位置。我们进行了深入的理论分析，测试床实验和模拟研究，并观察到与代表性基线相比，我们的算法的训练速度提高了67%。
2022-04-24 cs.DC
Carbon-Neutralized Task Scheduling for Green Computing Networks
人类活动造成的碳排放量增加导致的气候变化已被确定为对地球最严重的威胁之一。碳中和作为扭转气候变化的关键方法，已引发新法规的制定，以强制经济活动转向低碳解决方案。使用户能够处理计算密集型任务的计算网络由于能源消耗的增加而产生大量的碳排放。为了分析通过调度策略可实现的碳排放减少，我们首先提出了一种新的虚拟调度网络模型，该模型捕获网络中的通信和计算过程。为了适应计算网络所利用的可再生能源的高度可变和不可预测的性质（即，网格的碳强度随时间和位置而变化），提出了一种新的基于碳强度的调度策略，通过Lyapunov优化中的漂移加惩罚方法在云上动态调度计算任务.我们使用真实世界数据的数值分析表明，与基于长度的策略相比，该策略在AI模型训练任务的累积碳排放量上减少了54%。
2022-09-06 cs.DC
GADGET: Online Resource Optimization for Scheduling Ring-All-Reduce Learning Jobs
在分布式深度学习（Distributed Deep Learning，简称EML）的推动下，近年来，人们对资源密集型分布式/并行计算的需求迅速增长，以处理EML计算作业。为了解决分布式计算中的网络通信瓶颈和负载均衡问题，越来越多地采用所谓的"环全减“分散式架构来消除对专用参数服务器的需要。然而，到目前为止，仍然缺乏理论上的理解，如何设计资源优化算法，有效地调度计算集群中的环所有减少的并行作业。这促使我们提出了一系列新的资源调度设计，以填补这一空白的环所有减少的可重构作业。我们在本文中的贡献是三方面的：i）我们提出了一个新的资源调度分析模型，用于环全归约深度学习，它涵盖了性能优化中的广泛目标（例如，过度训练避免，能源效率，公平性）; ii）基于所提出的性能分析模型，我们开发了一种高效的资源调度算法，称为GADGET（贪婪环-全部-减少分布式图嵌入技术），它享有可证明的强性能保证; iii）我们进行了广泛的跟踪驱动的实验，以证明GADGET方法的有效性及其优于现有技术的优势。
2022-02-02 cs.DC
Power-Aware Scheduling for Multi-Center HPC Electricity Cost Optimization
该研究提出功耗感知调度器 TARDIS，利用 GNN 预测作业功耗，并联合时间错峰与跨地域多中心分配降低 HPC 电费，模拟显示成本最高降低 20%。
2025-03-14 cs.DC
Experimental Verification and Analysis of Dynamic Loop Scheduling in Scientific Applications
科学应用程序通常是不规则的，其特征是大型计算密集型并行循环。动态循环调度（DLS）技术通过在高性能计算（HPC）系统上执行计算密集型科学应用的负载均衡来提高其性能。确定最合适的数据分布策略，系统大小和DLS技术的选择，提高给定应用程序的性能，需要密集的评估和大量的探索性本地实验（使用真实系统上的真实应用程序），这可能并不总是可行的或实际的，由于相关的时间和成本。在这种情况下，模拟实验更适合研究应用程序的性能。这激发了这样一个问题：在HPC平台上使用DLS执行科学应用程序的模拟有多现实？在目前的工作中，设计了一种方法来回答这个问题。它涉及DLS在科学应用中的性能的实验验证和分析。所提出的方法是用于一个计算机视觉应用程序执行使用四个DLS技术在两个不同的HPC平台，无论是通过本地和模拟实验。通过对仿真结果和原始结果的分析和评价，表明应用程序计算量的提取方法对仿真实验的准确性有很大的影响（基于FLOP或基于时间）、模拟中应用模型表示的选择（数据或任务并行）以及模拟器中可用的HPC子系统模型（多核CPU、存储层次结构和网络拓扑）。模拟实验与仿真实验的最小和最大误差分别为0.95%和8.03%。
2018-04-30 cs.DC cs.PF
Joint Task Partitioning and Parallel Scheduling in Device-Assisted Mobile Edge Networks
本文针对设备辅助移动边缘计算中任务划分与并行调度的联合优化问题，提出基于深度强化学习的OTPPS框架，并设计FDMTS算法解决NP-hard调度子问题，实现近最优延迟和高公平性。
2023-12-04 cs.DC
Partitioning SKA Dataflows for Optimal Graph Execution
优化数据密集型工作流执行对于许多现代科学项目至关重要，例如平方公里阵列（SKA），它将成为世界上最大的射电望远镜，在未来几十年内每秒收集TB级数据。SKA科学数据处理器的核心是图形执行引擎，调度数万个算法组件来摄取和转换数百万个并行数据块，以便在功率预算内解决一系列大规模逆问题。为了应对这一挑战，我们开发了数据激活刘图引擎（DALiuGE），以管理多个SKA探路者项目的数据处理管道。本文讨论了大流格图调度子系统。通过扩展以前的研究图调度和分区，我们奠定了基础上，我们可以开发多项式时间优化方法，最大限度地减少工作流的执行时间和资源占用，同时满足资源的限制所施加的个别算法。我们展示了从三个射电天文学数据管道获得的初步结果。
2018-05-19 cs.DC
Energy-aware Scheduling of Jobs in Heterogeneous Cluster Systems Using Deep Reinforcement Learning
University of Southern California（南加州大学）
从便携式嵌入式系统到计算机集群系统，能耗是设计计算设备时最关键的问题之一。此外，在过去的十年中，集群系统已经越来越多地成为流行的平台来运行计算密集型的实时应用程序，其中的性能是非常重要的。然而，由于实时工作负载的不同特点，开发通用的作业调度解决方案，有效地解决能源消耗和性能的实时集群系统是一个具有挑战性的问题。在本文中，受到将深度强化学习应用于资源管理问题的最新进展的启发，我们提出了Deep-EAS调度器，该调度器可以为具有不同特征的工作负载学习有效的能量感知调度策略，而无需最初了解任何关于手头调度任务的信息。结果表明，Deep-EAS收敛速度快，性能优于标准的手动调整算法，特别是在重负载条件下。
2019-12-11 cs.DC cs.LG
WOW: Workflow-Aware Data Movement and Task Scheduling for Dynamic Scientific Workflows
本文提出WOW调度方法，通过协同引导数据移动与任务调度并创建中间文件推测性副本，有效减少动态科学工作流的网络拥塞与运行时间，在Nextflow和Kubernetes实验中显著降低完成时间且扩展性良好。
2025-03-28 cs.DC
Jupiter: A Networked Computing Architecture
在物联网时代，人们对网络计算的需求越来越大，以支持时间受限、计算密集型的分布式应用，如多摄像机视频处理和数据融合等。我们提出了木星，一个开源的网络计算系统，输入有向无环图（DAG）为基础的计算任务图，有效地分配任务之间的一组网络计算节点，而不管他们的地理分离和编排执行的DAG之后。这个基于Kubernetes容器编排的系统支持集中式和分散式调度算法，用于根据来自一系列分析器的信息优化映射任务：网络分析器，资源分析器和执行时间分析器。虽然具有全局知识的集中式调度算法在网格/云计算社区中很受欢迎，但我们认为分布式调度方法更适合于网络计算，因为面对网络动态时通信和计算开销较低。为此，我们提出并实现了一类新的分布式调度算法称为WAVE的木星系统。我们提出了一组现实世界的实验在两个独立的测试平台上-一个全球网络的90个云计算机在8个城市和其他一个集群的30个树莓派节点，在一个简单的网络计算应用程序称为分布式网络异常检测器（DNAD）。我们发现，尽管使用更多的本地化知识，分布式波贪心算法可以实现类似的性能作为一个经典的集中式调度算法称为异构最早完成时间（HEFT），适当增强木星系统。
2019-12-23 cs.DC
A Survey on Dynamic Job Scheduling in Grid Environment Based on Heuristic Algorithms
Nallamuthu Gounder Mahalingam College（纳拉穆图·冈德·马哈林加姆学院）
计算网格是分布式计算系统发展的新趋势。它们允许以有效的方式共享地理上分布的资源，扩展了我们所认为的分布式计算的边界。各种科学可以从使用网格来解决CPU密集型问题中受益，为整个社会创造潜在的利益。作业调度是并行和分布式计算的重要组成部分。它允许为特定作业选择正确的资源匹配，从而提高作业吞吐量和资源利用率。作业应该以自动的方式进行调度，以使系统更可靠、更易访问，并且对子系统故障不太敏感。本文综述了各种启发式算法，用于网格调度。
2014-02-21 cs.AI cs.DC
Dynamic scheduling of virtual machines running hpc workloads in scientific grids
采用虚拟化的主要动机是资源隔离、容量管理和资源定制，允许资源提供商将其资源整合到虚拟机中。已经采取了各种方法来将虚拟化集成到科学网格中，特别是在高性能计算（HPC）的领域中，以在虚拟机中运行网格作业，从而能够更好地提供底层资源并在运行时定制执行环境。尽管有这些好处，但虚拟化层也会带来性能损失，而且还没有很好地理解这种开销将如何影响系统的性能，其中作业的调度时间很紧。由于这种开销会改变工作负载的类型，无论它们是内存密集型，CPU密集型还是网络I/O绑定，并且可能导致系统中运行作业的不可预测的截止日期估计。在我们的研究中，我们试图通过开发一种智能调度技术来解决这个问题，该技术用于监控虚拟机的工作负载类型和最后期限，并实时的计算系统开销，以最大限度地提高在商定的最后期限内完成的作业数量。
2010-09-24 cs.DC cs.DS cs.PF
Pilot-Data: An Abstraction for Distributed Data
依赖于处理大量数据的科学问题需要克服多个领域的挑战：管理大规模数据分布，控制数据与计算资源的协同放置和调度，以及存储，传输和管理大量数据。虽然存在多种方法来解决这些挑战中的每一个，但缺少一种综合方法;此外，扩展现有功能或实现互操作能力充其量仍然很困难。我们提出了试点数据的概念，以解决在异构和分布式环境中的数据和计算的协同放置和调度的基本挑战，互操作性和可扩展性作为第一顺序的关注。Pilot-Data是Pilot-Job抽象的扩展，用于支持与计算任务相结合的数据管理。Pilot-Data将逻辑数据单元与物理存储分离，从而为高效的计算/数据放置和调度提供基础。在本文中，我们讨论了试点数据原型的设计和实施，演示了它的使用数据密集型应用程序在多个生产分布式网络基础设施，并说明了试点数据启用灵活的执行模式所带来的优势。我们的实验利用一个可扩展的Pilot-Job（BigJob）结合Pilot-Data的实现来建立可以通过使用Pilot-Data来实现的应用程序性能。我们展示了Pilot-Data的概念如何为构建工具和支持功能（如亲和力）提供基础，而亲和力又可用于高级数据计算协同布局和调度。
2013-11-19 cs.DC
Intelligent Task Scheduling for Microservices via A3C-Based Reinforcement Learning
University of Michigan（密歇根大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Pennsylvania（宾夕法尼亚大学）
本文提出基于A3C强化学习的微服务自适应调度方法，将调度建模为马尔可夫决策过程并联合优化策略与价值网络，通过异步多线程机制提升收敛效率，实验证明其在多任务并发下有效缓解资源瓶颈并提升系统稳定性。
2025-05-01 cs.DC cs.LG
Bandwidth-Aware and Cost-Efficient Pipeline Parallel Scheduling in Geo-Distributed LLM Training
提出BACE-Pipe框架，通过动态作业优先级、带宽感知路径搜索和成本最小化分配，在异构带宽和电价下优化流水线并行调度，同时降低作业完成时间和总电费。
2026-09-28 cs.DC
Bi-criteria Algorithm for Scheduling Jobs on Cluster Platforms
在本文中，我们描述了一种新的方法，建立一个有效的算法调度作业在集群中。作业被认为是并行任务（PT），可以在任何数量的处理器上调度。主要特征是考虑一起优化的两个标准。这些标准是最大完工时间和加权最小平均完工时间（minsum）。选择它们是因为它们具有互补性，能够代表面向用户的目标和系统管理员的目标。我们提出了一个算法的基础上增加批量大小的批处理政策，在每一批的工作与智能选择。该算法进行了评估密集的模拟结果相比，一个新的下限（通过放松的ILP）的最优调度这两个标准分别。它目前已在实际规模的集群平台中实现。
2005-01-20 cs.DC cs.DS
A Tale of Two Data-Intensive Paradigms: Applications, Abstractions, and Architectures
依赖于处理大量数据的科学问题需要克服多个领域的挑战：管理大规模数据分布，数据与计算资源的协同放置和调度，以及存储和传输大量数据。我们分析了数据密集型应用程序的两个突出范例的生态系统，以下称为高性能计算和Apache-Hadoop范例。我们提出了一个基础，共同的术语和功能因素，分析这两种范式的两种方法。我们讨论了“大数据食人魔”的概念及其方面，作为理解和表征这两种范式中最常见的应用程序工作负载的手段。然后，我们讨论了这两种范式的显着特点，并比较和对比这两种方法。具体来说，我们研究这些范例的常见实现/方法，阐明其当前“架构”的原因，并讨论利用它们的一些典型工作负载。尽管软件上有显著的区别，但我们相信它们在架构上是相似的。我们讨论了不同实现的潜在集成，跨越不同的级别和组件。我们的比较进展，从一个完全定性的两种范式的检查，一个半定量的方法。我们使用一个简单的和广泛使用的食人魔（K-均值聚类），表征其性能的一系列代表性的平台上，涵盖了几个实现这两种范式。我们的实验提供了一个洞察这两种范式的相对优势。我们建议，食人魔集将作为一个基准，以评估这两个范式沿不同的维度。
2014-06-23 cs.DC
Iapetus: Content-Aware Hierarchical Scheduling for Collaborative ViT Inference in LEO Satellite Networks
Beihang University（北京航空航天大学）
针对低轨卫星网络协同ViT推理的传输开销问题，提出内容感知分层调度器Iapetus，经实验验证其在任务完成率、延迟、能耗上均优于基线方法。
2026-09-04 cs.DC
On Scheduling Ring-All-Reduce Learning Jobs in Multi-Tenant GPU Clusters with Communication Contention
在深度学习（DL）技术进步的推动下，机器学习和人工智能取得了惊人的成功。然而，对DL的快速增长的需求也导致了用于大规模DL训练的通信和资源密集型分布式训练任务，这些任务通常部署在GPU集群上。为了维持对DL训练的不断增长的需求，所谓的“环全归约”（RAR）技术最近已经成为一种有利的计算架构，以有效地处理GPU集群中的网络通信和计算负载。RAR最显著的特点是它消除了对专用参数服务器的需求，从而缓解了潜在的通信瓶颈。然而，当多个基于RAR的DL训练作业部署在GPU集群上时，由于DL训练作业之间的竞争，仍然可能发生通信瓶颈。到目前为止，仍然缺乏对如何设计基于RAR的DL训练作业的竞争感知资源调度算法的理论理解，这促使我们在这项工作中填补这一空白。我们的主要贡献有三个方面：i）我们开发了一个新的分析模型，该模型描述了与作业的工人分布相关的通信开销和与不同作业的协同定位相关的通信竞争; ii）基于所提出的分析模型，我们将问题表示为非凸整数规划，以最小化所有基于RAR的DL训练作业的完工时间。为了解决这个问题，是不适合优化算法设计的独特结构，我们重新制定成一个整数线性规划的问题，使可证明的近似算法设计称为SJF-BCO（最小的工作优先与平衡的竞争和开销）;和iii）我们进行了广泛的实验，以显示SJF-BCO的优越性超过现有的排序器。
2022-08-14 cs.DC
Accelerating Large-scale Data Exploration through Data Diffusion
数据密集型应用程序通常需要对大型数据集进行探索性分析。如果在分布式资源上执行分析，数据局部性对于高吞吐量和性能至关重要。我们提出了一个“数据扩散”的方法，获取计算和存储资源动态，复制数据响应需求，并安排计算接近数据。随着需求的增加，会获得更多的资源，从而允许对引用相同数据的后续请求做出更快的响应;当需求下降时，资源会被释放。这种方法可以提供专用硬件的好处，而不会产生相关的高成本，具体取决于工作负载和资源特性。这种方法让人联想到协作缓存，Web缓存和对等存储系统，但解决了不同的应用需求。其他数据感知调度方法假设专用资源，如果负载显著变化，则这可能是昂贵的和/或低效的。为了探索数据扩散方法的可行性，我们扩展了Falkon资源提供和任务调度系统，以支持数据缓存和数据感知调度。微基准测试和大规模天文学应用程序的性能结果表明，我们的方法相对于替代方法提高了性能，并提供了更好的可扩展性，因为聚合I/O带宽随数据缓存节点的数量线性扩展。
2008-08-26 cs.DC
Virtual Laboratory: Enabling On-Demand Drug Design with the World Wide Grid
计算网格是解决科学、工程和商业中大规模计算和数据密集型问题的一种流行模式。然而，在这些环境中的应用程序组合、资源管理和调度是一项复杂的任务。在本文中，我们说明了利用现有的网格技术，使分布式资源上的药物设计的分子建模的虚拟实验室环境的创建。它涉及针对蛋白质靶标、化学数据库（CDB）筛选数百万个化合物分子，以识别那些具有药物设计潜在用途的化合物。我们已经使网格的分子对接过程中组成的参数扫描应用程序使用Nimrod-G工具。然后，我们开发了新的工具，用于远程访问CDB小分子数据库中的分子。Nimrod-G资源代理与分子CDB数据代理一起用于分布式网格资源上作业的调度和按需处理。结果证明了Nimrod-G和虚拟实验室工具的易用性和适用性。
2001-11-17 cs.DC
TimeTrader: Exploiting Latency Tail to Save Datacenter Energy for On-line Data-Intensive Applications
运行在线数据密集型应用程序（OLDI）的数据中心消耗大量能源。然而，由于其严格的响应时间要求，降低其能量是具有挑战性的。OLDI的一个关键方面是，每个用户查询都会到达集群中的所有或许多节点，因此总体时间预算由回复延迟分布的尾部决定;回复在网络和计算中都会看到延迟变化。先前的工作提出通过直接基于响应时间（即，在较低负载时，该建议利用为峰值负载提供的时间预算中的平均松弛）。相比之下，我们提出TimeTrader通过利用在截止日期之前到达的次关键回复中的延迟松弛来减少能量（例如，80%的回复比尾部快3- 4倍）。此松弛存在于所有负载中，并包含前一个工作的负载相关松弛。虽然以前的工作改变了叶子的响应时间分布，以消耗较低负载时的松弛时间，但TimeTrader通过减慢单个次关键节点的速度而不增加错过的最后期限来重塑所有负载时的分布。TimeTrader利用了网络和计算预算的松弛。此外，TimeTrader利用最早截止日期优先调度，在很大程度上将关键请求与次关键请求的排队延迟解耦，然后可以在不伤害关键请求的情况下减慢次关键请求的排队延迟。实际系统测量和大规模模拟的结合表明，在不增加错过截止日期的情况下，TimeTrader在512个节点的数据中心中分别在90%和30%的负载下节省了15-19%和41-49%的能源，而以前的工作节省了0%和31- 37%。
2015-03-18 cs.DC
OmniInfer: System-Wide Acceleration Techniques for Optimizing LLM Serving Throughput and Latency
Leibniz, Central Research Institute, 2012 Labs, Huawei Technology Co., Ltd.（华为技术有限公司中央研究院 Leibniz 实验室 2012 实验室）
OmniInfer通过统一框架优化LLM服务吞吐量和延迟，减少TPOT和TTFT，提升系统整体性能。
2026-08-10 cs.DC
Power Aware Scheduling of Tasks on FPGAs in Data Centers
本文提出一种针对数据中心FPGA的功耗感知调度方法，通过最大化并行计算单元实现周期性硬件任务的高效执行并最小化功耗，在Alveo-50 FPGA和Vitis 2023上验证了其优于现有方案的效率。
2023-11-18 cs.AR cs.DC
Truffle: Efficient Data Passing for Data-Intensive Serverless Workflows in the Edge-Cloud Continuum
提出Truffle模型与架构，通过智能数据预取（SDP）和冷启动传递（CSP）机制分离计算与I/O，利用冷启动在边缘云连续体中实现高效的无服务器函数间数据传递，将I/O延迟影响降低77%，函数执行时间提升46%。
2024-11-25 cs.DC
LRScheduler: A Layer-aware and Resource-adaptive Container Scheduler in Edge Computing
本文提出并实现了边缘计算中基于容器镜像层信息的层感知与资源自适应调度器LRScheduler，通过节点评分、动态加权和负载均衡机制降低容器部署成本，并在Kubernetes框架上完成全流程自动化，实验证明其相比默认调度器能有效降低部署成本。
2025-06-04 cs.DC
Caramel: Accelerating Decentralized Distributed Deep Learning with Computation Scheduling
Google（谷歌）；UC Irvine（加州大学欧文分校）；VMware Research（VMware研究院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；VMware
深度神经网络（DNN）训练中的参数聚合选择方法是一项网络密集型任务，受理论保证更好性能的启发，正在从参数服务器模型转向分散聚合方案（AllReduce）。然而，目前的AllReduce实现忽略了通信和计算的相互依赖性，导致显着的性能下降。在本文中，我们开发了Caramel，这是一个通过模型感知计算调度和AllReduce通信优化来加速分散式分布式深度学习的系统。Caramel通过（a）计算DAG调度来实现这一目标，该计算DAG调度为每个参数（传输边界）扩展了可行的传输窗口，以及（b）用于平滑负载的网络优化，包括参数传输的自适应优化和流水线化。Caramel保持了Refllow模型的正确性，是硬件独立的，并且不需要任何用户级或框架级的更改。我们在TensorFlow上实现了Caramel，并表明在云环境中DNN训练的迭代时间可以提高3.62倍。
2020-04-29 cs.DC cs.LG cs.NI
Evaluation of pilot jobs for Apache Spark applications on HPC clusters
大数据在许多科学领域已经变得非常突出，因此，科学界已经寻求大数据框架来加速处理其日益增长的数据密集型管道。然而，虽然科学界通常依赖高性能计算（HPC）集群来并行化其管道，但许多流行的大数据框架（如Hadoop和Apache Spark）主要设计用于在专用的商品基础设施上执行。本文评估了在HPC集群上Apache Spark的试点作业相对于传统批处理提交的优势。令人惊讶的是，我们的研究结果表明，试点工作批调度提供的速度是温和的不存在（平均0.98），尽管存在长排队时间。此外，试验作业提供了一个额外的调度层，使调试和部署复杂化。我们的结论是，传统的批处理调度应该仍然是在HPC集群上部署Apache Spark应用程序的默认策略。
2019-05-29 cs.DC cs.PF
The SAP Cloud Infrastructure Dataset: A Reality Check of Scheduling and Placement of VMs in Cloud Computing
TU Dresden（德累斯顿工业大学）；SAP SE（思爱普）
本文基于SAP云平台的大规模实测数据集，分析了企业级云环境中虚拟机调度的多种次优问题，提出了算法设计要求并公开数据集以支撑后续研究。
2025-10-27 cs.DC cs.PF
Deadline-Aware Joint Task Scheduling and Offloading in Mobile Edge Computing Systems
针对MEC与云系统的截止期约束任务调度问题，提出最优排序与卸载决策算法及O(n)在线快速检测方法，验证了其在服务率和调度成本上的有效性。
2025-07-25 cs.CC cs.DC
Energy-Aware Graph Task Scheduling in Software-Defined Air-Ground Integrated Vehicular Networks
软件定义的空地一体化无人机（SD-AGV）网络是一种很有前途的网络模式，它可以实现灵活的地面资源共享，以支持具有高计算开销的无人机创新应用。在本文中，我们研究了SD-AGV网络中的车辆云辅助任务调度问题，其中无人机承载的计算密集型任务和车辆云通过基于图的表示建模。为了将图任务的每个组件映射到可行的车辆，同时实现最小化无人机的任务完成时间，能量消耗和移动车辆之间的数据交换成本之间的权衡，我们将问题表示为混合整数非线性规划问题，这是NP-难的。此外，与保持任务结构相关联的约束提出了解决动态车辆拓扑上的子图同构问题，这进一步使算法设计复杂化。出于这一动机，我们提出了一种有效的解耦方法，通过分离的模板（组件和车辆之间的可行映射）搜索的传输功率分配。对于前者，我们提出了一个计算复杂度较低的搜索所有同构子图的有效算法。对于后者，我们引入了一个功率分配算法，通过应用$p$ -范数和凸优化技术。大量的仿真表明，该方法优于基准方法考虑各种问题的大小。
2022-05-09 cs.DC eess.SP
An Approach for Realistically Simulating the Performance of Scientific Applications on High Performance Computing Systems
科学应用程序通常包含大型、计算密集型和不规则的并行循环或任务，这些循环或任务具有随机特性。由于这些特性，应用程序在其在高性能计算（HPC）系统上执行期间可能遭受负载不平衡。动态循环自调度（DLS）技术有助于通过负载均衡提高HPC系统上科学应用程序的性能。选择一种DLS技术，在不同的问题和系统规模的最佳性能，需要大量的探索性实验。一个理论模型，可以用来预测调度技术，产生最佳性能的一个给定的问题和系统尚未确定。因此，模拟是以合理的成本进行这种探索性实验的最合适的方法。这项工作设计了一种方法来逼真地模拟计算密集型的科学应用程序，采用DLS和HPC系统上执行。几种方法来表示的应用程序的任务（或循环迭代）进行比较，以建立其对模拟应用程序的性能的影响。介绍了一种新的模拟策略，它将本地应用程序代码转换为模拟代码。两个计算密集型科学应用的本地和模拟性能进行比较，以评估所提出的模拟方法的现实性。从本地和模拟性能中提取的性能特征的比较表明，所提出的模拟方法完全捕获了感兴趣的大部分性能特征。这项工作表明，并建立了模拟的重要性，现实地预测不同的应用和系统配置的DLS技术的性能。
2019-10-15 cs.DC cs.PF
Dynamic DAG-Application Scheduling for Multi-Tier Edge Computing in Heterogeneous Networks
针对现有边缘计算研究较少将个人移动设备作为边缘设备的问题，本文提出M-TEC多层边缘计算框架，兼顾设备故障与网络变化，经真实网络测试验证可有效降低端到端延迟并保障可靠低成本性能。
2024-09-17 cs.DC cs.NI
SimAS: A Simulation-assisted Approach for the Scheduling Algorithm Selection under Perturbations
许多科学应用程序都包含大型的计算密集型循环。动态循环自调度（DLS）技术被用来并行化和平衡在执行这些应用程序的负载。负载不平衡是由问题、算法或系统特性引起的循环迭代（或任务）执行时间的变化引起的。系统特性的变化被称为扰动，并且可以由共享相同资源的其他应用程序或进程或临时系统故障或失灵引起。因此，选择最有效的DLS技术对于实现最佳应用性能至关重要。以下问题激发了这项工作：给定一个应用程序，一个HPC系统，以及它们的特性和相互作用，哪种DLS技术将在不可预测的扰动下实现更好的性能？现有的研究集中在交付的计算速度的变化，仅作为系统中的扰动源。然而，可用网络带宽或延迟的扰动在生产HPC系统上是不可避免的。模拟器辅助调度（SimAS）是一种新的控制理论启发的方法，动态选择DLS技术，提高性能的异构HPC系统上执行的应用程序的扰动。目前的工作研究在异构系统上的七个应用程序的性能在所有上述系统扰动。SimAS评估作为一个概念的证明，使用本地和模拟实验。性能结果证实了最初的假设，即没有一种DLS技术可以在所有场景中提供绝对最佳的性能，而基于SimAS的DLS选择在大多数实验中提高了应用程序的性能。
2019-12-04 cs.DC cs.PF
Improved Approximations for Multiprocessor Scheduling Under Uncertainty
本文提出了一种改进的近似算法，用于求解不确定性条件下的多处理机调度问题，其中每个作业的执行都有可能失败。这个问题的动机是越来越多地使用分布式计算来处理大型的、计算密集型的任务。在SUU问题中，我们给定n个单位长度的工件和m台机器，工件之间的优先约束的有向无环图G，以及每个工件j在机器i上执行单个时间步时的不相关的故障概率q_{ij}。我们的目标是找到一个最小化期望完工时间的时间表，期望完工时间是所有作业完成的期望时间。Lin和Rajaraman给出了独立作业、形成不相交链的优先约束和形成树的优先约束的特殊情况下的NP难问题的第一近似。在本文中，我们提出了渐近更好的近似算法。特别是，我们给出了一个O（loglog min（m，n））-近似独立的工作（改进以前最好的O（log n）-近似）。对于形成不相交链的优先约束，我们也给出了一个O（log（n+m）loglog min（m，n））-近似算法（改进了以前最好的O（log（n）log（m）log（n+m）/loglog（n+m））-近似，当n = poly（m）时，使用（log n/loglog n）^2因子。我们的算法的优先约束形成链也可以作为一个组件的优先约束形成树，产生类似的改进，以前最好的算法树。
2008-02-19 cs.DC cs.DS
Unleashing the Potential of Stage-Wise Decision-Making in Scheduling of Graph-Structured Tasks over Mobile Vehicular Clouds
针对移动车载云的计算密集型图结构任务调度问题，提出含主动预映射和实时应急映射的两阶段决策机制，在时间效率和计算开销上表现更优。
2023-12-20 cs.DC cs.NI cs.SI
Speculative Container Scheduling for Deep Learning Applications in a Kubernetes Cluster
在过去十年中，我们目睹了从各种来源收集的数据量急剧增加。数据爆炸改变了世界，因为比以往任何时候都有更多的信息可供收集和分析。为了最大化利用率，已经开发了各种机器和深度学习模型，例如CNN [1]和RNN [2]，以研究数据并从不同角度提取有价值的信息。虽然数据驱动的应用程序改进了无数的产品，但用于超参数调优的训练模型仍然是一个耗时且资源密集型的过程。云计算为深度学习应用的训练提供基础设施支持。云服务提供商，如Amazon Web Services [3]，为客户端创建一个隔离的虚拟环境（虚拟机和容器），客户端共享物理资源，例如，CPU和内存。在云上，实现了资源管理方案，以实现用户之间的更好共享，并提高系统范围的性能。然而，一般的调度方法，如分散优先级和平衡资源调度器，不能很好地与深度学习工作负载一起工作。在这个项目中，我们提出了SpeCon，这是一种新型的容器调度器，针对短期深度学习应用程序进行了优化。基于虚拟化容器，如Kubernetes [4]和Docker [5]，SpeCon分析了训练过程的共同特征。我们设计了一套算法来监控训练的进度，并推测性地迁移增长缓慢的模型，为快速增长的模型释放资源。具体来说，广泛的实验表明，SpeCon将单个作业的完成时间提高了41.5%，在系统范围内提高了14.8%，在完工时间方面提高了24.7%。
2020-10-21 cs.DC cs.PF
ARCAS: Adaptive Runtime System for Chiplet-Aware Scheduling
针对 chiplet CPU 分区 L3 缓存导致的 NUMA 内延迟与带宽差异，本文提出 ARCAS 运行时，通过 chiplet 感知调度、硬件感知分配、细粒度监控及轻量级并发迁移机制优化内存密集型并行应用性能。
2025-03-14 cs.AR cs.DC cs.PF
