A Deep Reinforcement Learning Approach for Cost Optimized Workflow Scheduling in Cloud Computing Environments
本文针对云环境中竞价型实例价格波动与中断带来的工作流调度不确定性,提出基于深度强化学习的自主调度方法,并在 Argo 中实现,实验证明其成本表现优于现有基准。
2024-08-06 cs.DC
Test Generation and Scheduling for a Hybrid BIST Considering Test Time and Power Constraint
提出了一种新的多时钟域SoC测试生成和测试调度方法。提出了一种用于核测试的并发混合内建自测试架构。此外,提出了一种启发式的选择核心进行测试的并发和顺序的应用测试模式。实验结果表明,与以往的工作相比,本文提出的方法为多时钟域SoC测试提供了一种优化的方法。
2018-01-16 cs.DC
Energy-Optimized Scheduling for AIoT Workloads Using TOPSIS
本文提出基于TOPSIS的GreenPod调度器,通过多准则优化Pod放置,在异构Kubernetes集群上实现最高39.1%的能效提升,有效平衡AIoT应用的可持续性与性能。
2025-06-05 cs.DC cs.PF cs.SY
Canary: A Scheduling Architecture for High Performance Cloud Computing
我们提出了Canary,一种调度架构,允许高性能分析工作负载扩展到数千个核心上运行。Canary的动机是观察到中央调度器是高性能代码的瓶颈:少数多核工作者执行任务的速度比控制器调度它们的速度更快。Canary的关键见解是颠倒控制器和工作人员之间的责任。在Canary中,控制器将数据分区分配给工作者,然后工作者在本地产生和调度任务,而不是将任务分派给工作者,然后工作者根据需要获取数据。我们在Canary中评估了三个基准测试应用程序,这些应用程序在Amazon EC2上运行多达64台服务器和1,152个核心。Canary的速度比Spark快9- 90倍,比高度优化的图形分析引擎GraphX快4倍。虽然目前的集中式处理器可以每秒调度2,500个任务,但每个Canary工作器可以在每个核心上每秒调度136,000个任务,实验表明这是线性扩展的,64个工作器每秒调度超过1.2亿个任务,允许Canary支持在数千个核心上运行的优化作业。
2016-04-14 cs.DC
Pollux: Co-adaptive Cluster Scheduling for Goodput-Optimized Deep Learning
Petuum, Inc.(Petuum公司);Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
Pollux通过在每个作业级别和整个集群级别自适应地共同优化相互依赖的因素,提高了深度学习(DL)集群中的调度性能。大多数现有的调度器都希望用户为每个作业指定资源数量,这通常会导致资源使用效率低下。一些最近的开发人员为用户选择工作资源,但这样做并不知道如何重新优化DL培训以更好地利用所提供的资源。Pollux同时考虑这两个方面。通过在训练过程中监控每个作业的状态,Pollux对它们的有效吞吐量(我们引入的一种新指标,将系统吞吐量与统计效率相结合)如何通过添加或删除资源而变化进行建模。利用这些信息,Pollux动态(重新)分配资源以提高集群范围的有效吞吐量,同时尊重公平性并不断优化每个DL作业以更好地利用这些资源。在对真实DL作业和跟踪驱动模拟的实验中,Pollux相对于最先进的DL调度器将平均作业完成时间缩短了37-50%,即使为每个作业提供了理想的资源和培训配置。Pollux基于更有意义的有用作业进度度量,促进了竞争资源的DL作业之间的公平性,并揭示了降低云环境中DL成本的新机会。Pollux是作为一个开源项目的一部分在https://github.com/petuum/adaptdl上实现和公开的。
2021-05-26 cs.DC cs.LG
PL-NMF: Parallel Locality-Optimized Non-negative Matrix Factorization
The Ohio State University(俄亥俄州立大学)
非负矩阵分解(NMF)是无监督降维的核心,在主题建模、推荐系统和生物信息学等领域有着广泛的应用。由于必须执行重复NMF的应用程序的计算密集型性质,过去已经开发了几种并行实现。然而,现有的并行NMF算法没有解决数据局部性优化,这对于高性能是关键的,因为数据移动成本大大超过当前计算机系统上的算术/逻辑运算的成本。在本文中,我们设计了一个并行NMF算法的基础上的HALS(分层交替最小二乘)计划,采用算法变换,以提高数据的局部性。该算法在多核CPU和GPU上的有效实现,表现出显着的性能改善现有的最先进的并行NMF算法。
2019-04-16 cs.DC cs.LG stat.ML
OptPipe: Memory- and Scheduling-Optimized Pipeline Parallelism for LLM Training
Shanghai University of Finance and Economics(上海金融学院);National University of Singapore(新加坡国立大学);Shanghai Jiao Tong University(上海交通大学);Stanford University(斯坦福大学)
本文提出OptPipe,一种将流水线调度建模为受约束优化问题的方法,联合考虑内存容量、激活重用与气泡最小化,在严格内存预算下减少流水线空闲时间,提升吞吐量并支持更大模型训练。
2025-10-06 cs.AI cs.DC math.OC
Accelerating Federated Edge Learning via Optimized Probabilistic Device Scheduling
Shenzhen Research Institute of Big Data(深圳大数据研究院);Southern University of Science and Technology(南方科技大学);China Academy of Information and Communications Technology(中国信息通信研究院);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Zhejiang University(浙江大学)
流行的联邦边缘学习(FEEL)框架允许通过边缘设备和服务器之间频繁的学习更新交换来保护隐私的协作模型训练。由于带宽受限,只有一部分设备可以在每一轮通信中上传更新。这导致了一个活跃的研究领域,在FEEL研究最佳的设备调度策略,最大限度地减少通信时间。然而,由于难以量化确切的通信时间,在这一领域的现有工作只能通过考虑通信轮或每轮延迟来部分地解决这个问题,而总的通信时间由这两个度量来确定。为了缩小这一差距,我们在本文中首次尝试制定和解决的通信时间最小化问题。我们首先推导出一个严格的约束,通过跨学科的努力,涉及到学习理论的收敛性分析和每轮延迟分析的通信理论近似的通信时间。基于分析结果,通过求解近似的通信时间最小化问题,得到了一个优化的概率调度策略的封闭形式。研究发现,随着训练过程的发展,优化策略逐渐将其优先级从抑制剩余的通信轮次转向减少每轮延迟。通过自动驾驶中的协同3D目标检测的用例证明了所提出的方案的有效性。
2021-07-24 cs.DC cs.IT cs.LG
Conthereum: Concurrent Ethereum Optimized Transaction Scheduling for Multi-Core Execution
Conthereum 提出一种基于柔性作业车间调度问题的贪心启发式调度器,结合智能合约静态冲突分析,实现以太坊区块内交易的并发无冲突执行,在多核环境下显著提升吞吐量并优于现有并发方案。
2025-07-22 cs.CR cs.DC
FedCGD: Collective Gradient Divergence Optimized Scheduling for Wireless Federated Learning
本文针对无线联邦学习中的数据异构与带宽受限问题,提出FedCGD调度算法,通过平衡设备级WEMD和样本级采样方差最小化集体梯度散度,以更少设备实现更高准确率。
2025-06-09 cs.AI cs.DC cs.LG
Symphony: Optimized DNN Model Serving using Deferred Batch Scheduling
University of Washington(华盛顿大学);Duke University(杜克大学);Microsoft(微软公司)
本文提出 Symphony DNN 服务系统,通过可调度窗口与跨加速器细粒度协调实现延迟批量调度,在满足 SLO 的同时显著提升有效吞吐量并减少 GPU 使用。
2024-02-28 cs.DC cs.LG
SupraSNN: Exploiting Synapse-Level Parallelism in Spiking Neural Network Accelerators through Co-Optimized Mapping and Scheduling
University of Tehran(德黑兰大学)
受超标量架构启发,提出硬件-软件协同设计框架SupraSNN,通过物理解耦突触和神经元计算实现突触级并行,结合分区与启发式调度优化映射,在FPGA上实现低延迟和高能效。
2026-06-12 cs.AR cs.DC cs.NE
Matrix Factorization at Scale: a Comparison of Scientific Data Analytics in Spark and C+MPI Using Three Case Studies
我们探索使用Apache Spark执行线性代数的权衡,与HPC平台上的传统C和MPI实现相比。Spark专为集群计算平台上的数据分析而设计,可访问本地磁盘,并针对数据并行任务进行了优化。我们研究了三个广泛使用的和重要的矩阵分解:NMF(物理上的易用性),PCA(其无处不在)和CX(数据可解释性)。我们将这些方法应用于粒子物理,气候建模和生物成像中的TB大小的问题。数据矩阵是高而瘦的,这使得算法可以方便地映射到Spark的数据并行模型中。我们在多达1600个Cray XC40节点上进行扩展实验,描述了减速的来源,并提供了调优指导以获得高性能。
2016-09-20 cs.DC
Optimized Video Streaming over Cloud: A Stall-Quality Trade-off
随着视频流媒体服务的扩展和改进,基于云的视频已经发展成为任何成功企业的必要功能,以接触内部和外部受众。在本文中,视频流在分布式存储被认为是使用纠删码更好的可靠性编码的视频片段。在每个服务器和边缘路由器之间存在多个并行流。对于每个客户端请求,我们需要确定获取数据的服务器子集,以及来自每个所选服务器的并行流之一。为了实现这种调度,本文提出了一种两阶段概率调度算法。视频质量的选择也是以一定的概率分布来选择的。利用这些参数,通过表征每个视频片段的每个编码块的下载时间来确定视频片段的回放时间。使用回放时间,失速持续时间的矩母函数上的界限被用于限制平均失速持续时间。在此基础上,我们制定了一个优化问题,共同优化的凸组合的平均停滞时间和平均视频质量的所有请求,其中两阶段的概率调度,概率视频质量选择,并行流之间的带宽分割,和辅助边界参数可以选择。这个非凸的问题是解决使用一个有效的迭代算法。评估结果显示,与所考虑的基线相比,基于云的视频的QoE指标有显着改善。
2018-06-22 cs.DC cs.NI
Myrmics: Scalable, Dependency-aware Task Scheduling on Heterogeneous Manycores
基于任务的编程模型已经变得非常流行,因为它们提供了一种有吸引力的解决方案,可以并行化带有任务和数据注释的串行应用程序代码。它们通常依赖于一个运行时系统,该系统将任务并行调度到多个核心,同时解决任何数据风险。然而,现有的运行时系统实现还没有准备好在新兴的众核处理器上很好地扩展,因为它们通常依赖于高速缓存一致性存储器中的集中式结构和/或共享结构上的锁。我们提出的设计选择,政策和机制,以提高运行时系统的可扩展性,为数百个核心的单芯片处理器。基于这些概念,我们创建和评估Myrtle,一个运行时系统的依赖性感知,基于任务的编程模型上的异构硬件原型平台,模拟一个单芯片处理器的8延迟优化和512吞吐量优化的CPU。我们发现,Myrandom成功地扩展到数百个核心。与具有手动调优消息传递的相同基准测试的MPI版本相比,Myrtle实现了类似的可伸缩性,性能开销为10-30%,但编程工作量更少。我们详细分析了运行时系统的可扩展性,并确定了关键因素,有助于它。
2016-06-14 cs.DC cs.PL
FedMIL: Federated-Multiple Instance Learning for Video Analysis with Optimized DPP Scheduling
本文提出 FedMIL 框架,结合联邦学习与多示例学习处理视频分析任务,并引入基于 DPP 的 DPPQ 客户端选择框架,在非独立同分布下以更少数据利用实现更优性能,适用于资源受限的边缘设备。
2024-03-26 cs.DC cs.IT math.IT
Solving the Resource Constrained Project Scheduling Problem Using the Parallel Tabu Search Designed for the CUDA Platform
Czech Technical University in Prague(布拉格捷克理工大学)
本文提出了一种求解资源受限项目调度问题的并行禁忌搜索算法。为了处理这个NP-难的组合问题,已经进行了许多优化。例如,通过启发式算法选择资源评估算法,并设计了有效的禁忌表。除此之外,提出了一种容量索引的资源评估算法,GPU(图形处理单元)版本使用同构模型来减少所需的通信带宽。实验结果表明,GPU版本在计算时间和解的质量方面优于优化的并行CPU版本。与其他现有的算法相比,所提出的解决方案往往给出更好的质量解决方案。
2017-11-13 cs.AI cs.DC
Dynamic Scheduling Strategies for Resource Optimization in Computing Environments
Western University(韦仕敦大学)
本文提出一种基于多目标优化的容器调度方法,通过引入优化模型和启发式算法,利用Google Cluster Data验证,显著提升了资源利用率、负载均衡与突发任务完成效率,为云原生环境下的智能资源管理奠定基础。
2024-12-23 cs.AI cs.DC
Faster and Cheaper: Parallelizing Large-Scale Matrix Factorization on GPUs
矩阵分解(MF)被许多流行的算法采用,例如,协同过滤新兴的GPU技术具有大量多核和高芯片内内存带宽,但内存容量有限,这为在适当利用GPU架构特性时进一步加速MF提供了机会。本文介绍了cuMF,一个基于CUDA的矩阵分解库,实现了内存优化的交替最小二乘法(ALS)来解决非常大规模的MF。CuMF使用各种技术来最大化单个或多个GPU的性能。这些技术包括利用GPU存储层次结构的稀疏数据的智能访问,结合模型并行使用数据并行,最大限度地减少计算单元之间的通信开销,并利用一种新的拓扑感知并行约简方案。与最先进的分布式CPU解决方案相比,cuMF只需一台机器配备四个Nvidia GPU卡,速度可以提高6-10倍,成本效益提高33-100倍。此外,这种cuMF可以解决目前文献中报道的最大的矩阵分解问题,同时保持令人印象深刻的良好性能。
2016-03-11 cs.DC cs.PF
Federated Learning over Wireless IoT Networks with Optimized Communication and Resources
Royal Institute of Technology (KTH)(皇家理工学院(KTH));Princeton University(普林斯顿大学)
为了充分利用海量的分布式数据和计算资源,网络边缘的机器学习被认为是一种很有前途的技术,特别是对于大规模模型训练。联邦学习(Federated learning,FL)作为协作学习技术的一种范式,因其通信效率高、数据保密性好等优点而受到越来越多的研究关注。由于有损耗的通信信道和有限的通信资源(例如,带宽和功率),研究无线系统上的快速响应和准确的FL方案是令人感兴趣的。因此,我们调查的问题,联合优化的通信效率和资源的FL在无线物联网(IoT)网络。为了降低复杂度,我们将整个优化问题分为两个子问题,即,客户端调度问题和资源分配问题。为了降低FL在无线物联网中的通信开销,提出了一种新的客户端调度策略。为了最大限度地成功的信息交换网络,拉格朗日乘子的方法,首先利用解耦变量,包括功率变量,带宽变量和传输指标。在此基础上,提出了一种基于线性搜索的功率和带宽分配方法。给定适当的超参数,我们证明了所提出的通信有效的联邦学习(CEFL)框架以强线性速率收敛。通过大量的实验,它表明,所提出的CEFL框架大大提高了通信效率和学习性能的训练损失和测试准确性的FL在无线物联网网络相比,一个基本的FL方法与统一的资源分配。
2021-10-22 cs.DC cs.LG eess.SP
Efficient Matrix Factorization on Heterogeneous CPU-GPU Systems
矩阵分解在机器学习和数据采掘中有着广泛的应用。已经研究了大量的算法来分解矩阵。其中,随机梯度下降(SGD)是一种常用的方法。随着GPU在通用数据并行应用中的广泛应用,具有多核CPU和GPU的异构系统变得越来越有前途。由于MF的计算成本很大,我们的目标是通过利用异构多处理器的巨大并行处理能力来提高基于SGD的MF计算的效率。异构CPU-GPU系统上并行SGD算法的主要挑战在于矩阵划分的粒度和任务分配策略。我们设计了一种新的策略,通过考虑两个方面将矩阵分成一组块。首先,我们观察到矩阵应该不均匀地划分,并且应该将相对较大的块分配给GPU以使GPU的计算能力饱和。除了利用硬件的特性之外,分配给两种类型的硬件的工作负载应该平衡。针对最终的划分策略,我们设计了一个成本模型,为我们的问题,以准确地估计不同的数据大小的硬件性能。动态调度策略也被用来进一步平衡实际工作负载。大量的实验表明,我们提出的算法实现了高效率的高质量的训练质量。
2020-06-24 cs.DB cs.DC