Online Container Scheduling for Low-Latency IoT Services in Edge Cluster Upgrade: A Reinforcement Learning Approach
针对边缘集群升级时传统云调度策略不适配、易影响运行任务的问题,提出基于策略梯度的强化学习在线容器调度算法,可将总任务时延较基线降低约27%。
2023-07-22 cs.DC
KCES: A Workflow Containerization Scheduling Scheme Under Cloud-Edge Collaboration Framework
针对云边协同场景下工作流容器化调度的资源协调与应用协同难题,提出KubeEdge云边调度方案KCES,通过设计调度引擎、资源混合管理算法及水平漫游与垂直卸载策略,有效提升资源利用率并优化调度性能。
2024-01-02 cs.DC
Scale: Deep Reinforcement Learning for Container Scheduling in Serverless Edge Computing
Nottingham Trent University(诺丁汉特伦特大学);Loughborough University(拉夫堡大学);University of Bologna(博洛尼亚大学);TU Wien(维也纳工业大学);University of Oregon(俄勒冈大学)
本文提出Scale框架,通过深度强化学习优化容器调度与资源分配,在动态负载下平衡系统稳定性和性能,实验证明其在决策效率和资源利用率方面优于整数线性规划求解器。
2026-05-15 cs.DC
SCHeMa: Scheduling Scientific Containers on a Cluster of Heterogeneous Machines
在数据驱动的科学时代,进行涉及使用异构计算集群分析大型数据集的计算实验是许多科学家日常工作的一部分。此外,为了确保他们的结果的可信度,这些分析很容易被其他研究人员重现是非常重要的。虽然近年来已经引入了各种技术,可以促进科学家在这方面的工作,但仍然缺乏将它们结合起来的开源平台。在这项工作中,我们描述和演示SCheMa,一个开源平台,促进异构集群上的计算分析的执行和再现性,利用容器化,实验包装,工作流管理和机器学习技术。
2022-03-22 cs.DC
KubeAdaptor: A Docking Framework for Workflow Containerization on Kubernetes
针对工作流系统迁移到Kubernetes时任务调度顺序不一致的问题,本文提出云原生对接框架KubeAdaptor,通过事件触发机制实现工作流容器化并保证调度顺序一致,实验表明其在执行时间、生命周期和资源使用率上优于Argo。
2022-07-04 cs.DC
LRScheduler: A Layer-aware and Resource-adaptive Container Scheduler in Edge Computing
本文提出并实现了边缘计算中基于容器镜像层信息的层感知与资源自适应调度器LRScheduler,通过节点评分、动态加权和负载均衡机制降低容器部署成本,并在Kubernetes框架上完成全流程自动化,实验证明其相比默认调度器能有效降低部署成本。
2025-06-04 cs.DC
An Interference-aware Approach for Co-located Container Orchestration with Novel Metric
本文引入调度延迟作为量化干扰的新型指标,利用机器学习预测在线服务干扰并指导资源分配,提出基于预测模型的调度算法,有效降低在线服务响应时间并平衡节点资源利用率。
2024-02-14 cs.DC
Dynamic Scheduling Strategies for Resource Optimization in Computing Environments
Western University(韦仕敦大学)
本文提出一种基于多目标优化的容器调度方法,通过引入优化模型和启发式算法,利用Google Cluster Data验证,显著提升了资源利用率、负载均衡与突发任务完成效率,为云原生环境下的智能资源管理奠定基础。
2024-12-23 cs.AI cs.DC
Speculative Container Scheduling for Deep Learning Applications in a Kubernetes Cluster
在过去十年中,我们目睹了从各种来源收集的数据量急剧增加。数据爆炸改变了世界,因为比以往任何时候都有更多的信息可供收集和分析。为了最大化利用率,已经开发了各种机器和深度学习模型,例如CNN [1]和RNN [2],以研究数据并从不同角度提取有价值的信息。虽然数据驱动的应用程序改进了无数的产品,但用于超参数调优的训练模型仍然是一个耗时且资源密集型的过程。云计算为深度学习应用的训练提供基础设施支持。云服务提供商,如Amazon Web Services [3],为客户端创建一个隔离的虚拟环境(虚拟机和容器),客户端共享物理资源,例如,CPU和内存。在云上,实现了资源管理方案,以实现用户之间的更好共享,并提高系统范围的性能。然而,一般的调度方法,如分散优先级和平衡资源调度器,不能很好地与深度学习工作负载一起工作。在这个项目中,我们提出了SpeCon,这是一种新型的容器调度器,针对短期深度学习应用程序进行了优化。基于虚拟化容器,如Kubernetes [4]和Docker [5],SpeCon分析了训练过程的共同特征。我们设计了一套算法来监控训练的进度,并推测性地迁移增长缓慢的模型,为快速增长的模型释放资源。具体来说,广泛的实验表明,SpeCon将单个作业的完成时间提高了41.5%,在系统范围内提高了14.8%,在完工时间方面提高了24.7%。
2020-10-21 cs.DC cs.PF
HEATS: Heterogeneity- and Energy-Aware Task-based Scheduling
云提供商通常为用户提供各种类型的硬件。客户利用此选项部署具有GPU、FPGA、x86以外的架构(例如,ARM、IBM Power8),或具有某些特定扩展(例如Intel SGX)。在这项工作中,我们考虑了客户用于部署容器的实例,现在容器是微服务的事实标准,或者用于执行计算任务。在这样做时,底层容器编排器(例如,Kubernetes)的设计应该考虑并利用这种硬件多样性。此外,除了不同机器提供的功能范围外,硬件异构性引入的能源需求的多样性经常被忽视,默认容器编排器的放置策略简单地忽略了这一点。我们介绍了HEATS,一个新的面向任务的和能源感知的编排容器化应用程序的目标异构集群。HEATS允许客户在性能与能源需求之间进行交易。我们的系统首先学习物理主机的性能和能量特征。然后,它监视主机上任务的执行,并适时地将它们迁移到不同的集群节点上,以匹配客户需要的部署权衡。我们的HEATS原型在Google的Kubernetes中实现。在我们的集群中使用合成跟踪进行的评估表明,我们的方法可以节省大量的能源(高达8.5%),并且对部署任务的整体运行时间的影响很小(最多7%)。HEATS是开源的。
2019-06-26 cs.DC
Containers Orchestration with Cost-Efficient Autoscaling in Cloud Computing Environments
容器是独立的、自包含的单元,将软件及其依赖项打包在一起。它们提供轻量级的性能隔离、快速灵活的部署以及细粒度的资源共享。近年来,它们在更好的应用程序管理和部署方面越来越受欢迎,并被组织广泛用于在专有集群或云数据中心部署日益多样化的工作负载,如Web服务,大数据和物联网。这导致了容器编排平台的出现,这些平台旨在管理大规模集群中容器化应用程序的部署。这些平台中的大多数都是为了优化固定大小的私有集群上的容器调度而定制的,但不能自动扩展集群的大小,也不能考虑特定于公共云环境的功能。在这项工作中,我们提出了一个全面的容器资源管理方法,有三个不同的目标。第一个是通过在现有资源上有效地调度容器来优化容器的初始放置。第二个是在运行时根据当前集群的工作负载自动调整资源数量。第三个是重新调度机制,通过在可能的情况下将应用程序整合到更少的VM中,进一步支持资源的有效使用。我们的算法被实现为Kubernetes平台的插件调度器。我们评估了我们的框架和澳大利亚国家云基础设施上提出的算法的有效性。我们的实验表明,可以实现相当大的成本节约,通过动态管理集群的大小和应用程序的位置。我们发现,与默认的Kubernetes调度程序相比,我们提出的方法能够将成本降低58%。
2018-12-02 cs.DC
A Granularity Characterization of Task Scheduling Effectiveness
Northeastern University(东北大学)
本文提出了一种粒度特性框架,通过任务图依赖拓扑结构解释任务调度开销与强标度性能的关系,并为运行时决策提供实用规则。
2026-02-25 cs.DC
Efficient Large-Scale Multiple Migration Planning and Scheduling in SDN-enabled Edge Computing
在移动边缘云中分配的容器化服务为大规模和实时应用程序提供了低延迟响应的机会。同时,引入实时容器迁移,支持动态资源管理和用户移动性。然而,随着网络拓扑规模的扩大和迁移请求的增加,目前云数据中心的多种迁移规划和调度算法已不能适应边缘计算中的大规模场景。边缘计算中的用户移动性引起的实时迁移需要接近实时的调度。因此,本文通过软件定义网络(SDN)控制器,将实时迁移之间的资源竞争建模为动态资源依赖图。提出了一种基于迭代最大独立集(MIS)的多迁移规划调度算法.使用出租车和电信基站坐标的真实移动轨迹,评估结果表明,我们的解决方案可以在大规模边缘计算环境中有效地调度多个实时容器迁移。与云中最先进的迁移规划算法相比,它将处理时间缩短了3000倍,同时为时间关键型迁移提供有保证的迁移性能。
2021-11-17 cs.DC cs.NI
Serverless Containers -- rising viable approach to Scientific Workflows
无服务器计算方法的日益普及导致了在容器即服务(CaaS)模型中工作的新云基础设施的出现,如AWS Fargate,Google Cloud Run或Azure Container Cloud。他们引入了一种创新的方法来运行云容器,使开发人员从管理底层资源中解放出来。在本文中,我们专注于评估弹性容器的功能及其在使用AWS Fargate和Google Cloud Run基础设施的科学工作流范例中对科学计算的有用性。为了对我们的方法进行实验评估,我们扩展了HyperFlow引擎以支持这些CaaS平台,并调整了由几十到一百多个任务组成的四个真实科学工作流,这些任务被组织成一个依赖图。我们使用这些工作流来创建成本性能基准和流执行图,测量延迟,弹性和可扩展性。实验证明,无服务器容器可以成功地应用于科学工作流。此外,这些结果使我们能够深入了解这些平台的具体优势和局限性。
2020-10-21 cs.DC
COSCO: Container Orchestration using Co-Simulation and Gradient Based Optimization for Fog Computing Environments
由于现代工作负载应用的高度不稳定性以及用户对低能耗和响应时间的敏感要求,大规模雾平台中的智能任务放置和任务管理具有挑战性。已经出现了容器编排平台来缓解这个问题,现有技术使用调度来快速达成调度决策,或者使用AI驱动的方法,如强化学习和进化方法来适应动态场景。前者通常无法快速适应高度动态的环境,而后者的运行时间慢到足以对响应时间产生负面影响。因此,需要一种调度策略,既能在易变环境中有效地工作,又能降低调度开销。为了实现这一点,我们提出了一个基于梯度的优化策略,使用反向传播的梯度相对于输入(GOBI)。此外,我们通过开发耦合仿真和集装箱调度框架(COSCO)来利用预测数字孪生模型和仿真功能的准确性。利用这一点,我们创建了一个混合仿真驱动的决策方法,GOBI*,优化服务质量(QoS)参数。协同仿真和反向传播方法使这些方法能够在易变的环境中快速适应。使用GOBI和GOBI* 方法对雾应用的真实数据进行的实验表明,与最先进的算法相比,在能耗、响应时间、服务水平目标和调度时间方面分别有高达15%、40%、4%和82%的显著改善。
2021-07-09 cs.DC cs.PF
Index-Based Scheduling for Parallel State Machine Replication
状态机复制(SMR)是设计具有容错的服务的基本方法。然而,其对事务的确定性执行的要求通常导致单线程副本,这不能充分利用当今处理器的多核能力。因此,并行SMR已成为近年来的研究热点。它背后的基本思想是独立事务可以并行执行,而相关事务必须按其相对顺序执行,以确保副本之间的一致性。现有的并行SMR方法的依赖性检测主要是基于两两事务比较或批比较。这些方法不能同时保证有效的检测和并发执行。此外,调度过程不能并发执行,这也引入了额外的调度开销。为了进一步降低调度开销,保证事务的并行执行,我们提出了一种基于特定索引结构的高效调度器。该索引由布隆过滤器和相关的事务队列组成,分别提供有效的依赖检测和保留必要的依赖信息。基于该索引结构,我们进一步设计了一个详细的并发调度过程。实验结果表明,该调度器具有更高的效率,可扩展性和鲁棒性的比较方法。
2019-11-26 cs.DC
Scheduling Methods to Reduce Response Latency of Function as a Service
功能即服务(FaaS)允许云客户将单个功能部署到云,而不是完整的虚拟机或Linux容器。所有主要的云提供商都提供FaaS产品(Amazon Lambda,Google Cloud Functions,Azure Serverless);还有流行的开源实现(Apache OpenWhisk)和商业产品(Adobe I/O插件,IBM Cloud Functions)。FaaS的一个新特性是函数组合:一个函数可以(顺序地)调用另一个函数,而另一个函数又可以调用另一个函数--形成一个调用链。从基础设施的角度来看,组合式FaaS比虚拟机或容器更不透明。我们表明,这些额外的信息使基础设施,以减少响应延迟。特别是,知道了未来调用的顺序,基础设施可以将这些调用与环境准备一起调度。我们将FaaS中的资源管理建模为一个调度问题,该问题结合了(1)调用的排序,(2)在机器上部署执行环境,以及(3)将调用分配到已部署的环境。对于每一个方面,我们都提出了一些建议。我们通过模拟一系列合成工作负载来探索它们的性能。我们的研究结果表明,如果设置时间较长的调用时间,算法使用的功能组成的信息始终优于贪婪,短视的算法,导致显着减少响应延迟。
2020-08-11 cs.DC
CASA: A Framework for SLO and Carbon-Aware Autoscaling and Scheduling in Serverless Cloud Computing
本文提出CASA框架,在无服务器云集群中同时考虑碳足迹和SLO约束进行容器调度与自动伸缩,实验表明其碳足迹最多降低2.6倍、SLO违反率最多降低1.4倍。
2024-08-31 cs.DC cs.PF
Differentiate Quality of Experience Scheduling for Deep Learning Inferences with Docker Containers in the Cloud
随着大数据驱动的应用程序的普及,例如智能手机上的人脸识别和Google Ads的量身定制推荐,我们正在朝着比以往任何时候都更加智能的生活方式迈进。各种神经网络驱动的模型在其智能的后端运行,以实现对用户的快速响应。支持这些模型需要大量基于云的计算资源,例如,CPU和GPU。云计算提供商根据客户占用的资源量向他们收费。客户必须平衡预算和体验质量(例如,响应时间)。预算依赖于个体企业主,所需的体验质量(QoE)取决于不同应用的使用场景。例如,自动驾驶汽车需要实时响应,但解锁智能手机可以容忍延迟。然而,云提供商未能向其客户提供基于QoE的选项。在本文中,我们提出了DQoES,用于深度学习推理的差异化体验质量调度器。DQoES接受客户端对目标QoE的规范,并动态调整资源以接近其目标。通过大量基于云的实验,DQoES表明,它可以针对各种QoE调度多个并发作业,并且与现有系统相比,可以实现高达8倍的满意度模型
2022-09-22 cs.DC cs.PF
DQN-Scheduler: A Multi-Objective Optimization Framework for Scheduling Microservices in Cloud Computing
The University of Western Australia(西澳大利亚大学)
本文提出DQN-Scheduler,一种基于强化学习的多目标优化框架,用于云环境中微服务调度,同时优化资源利用率、负载均衡、延迟、可靠性和可用性,实验证明其优于基准算法。
2026-09-15 cs.DC
QoS-Driven Job Scheduling: Multi-Tier Dependency Considerations
对于云服务提供商而言,在履行服务质量(QoS)义务的同时提供最佳系统性能对于维持可行的盈利业务至关重要。考虑到云计算工作的不规则性,这一目标通常很难实现。这些作业期望以按需方式(即随机到达)获得高QoS。为了优化对这样的客户端需求的响应,云服务提供商将云计算环境组织为多层架构。每一层都执行其指定的任务,并将作业传递给下一层;其方式与传统的作业车间环境类似,但不完全相同。必须进行优化过程以在层的资源上调度作业的适当任务,从而满足作业的QoS期望。现有的方法采用调度策略,考虑在个别资源水平的性能优化,并产生最佳的单层驱动的时间表。由于多层环境的顺序性,此类计划对其他资源和层的性能的影响往往被忽略,从而导致在多层级别进行测量时性能不佳。在本文中,我们提出了一个面向多层作业调度和分配技术。调度和分配过程被公式化为一个问题的分配作业的资源队列的云计算环境中,每个资源的环境中采用一个队列来容纳分配给它的作业。调度问题是NP-难的,因此生物启发遗传算法的建议。跨环境所有层的计算资源通过单个队列虚拟化在一个资源中虚拟化。提出了一种模拟虚拟队列中任务排序和分配的染色体。
2020-04-12 cs.DC
iBrownout: An Integrated Approach for Managing Energy and Brownout in Container-based Clouds
云计算数据中心的能耗问题一直是众多研究者关注的焦点,而云计算能耗巨大的原因之一在于计算资源的低效利用。除了能源消耗,数据中心的另一个挑战是意外负载,这导致了过载和性能下降。与整个数据中心过载时无法正常工作的VM整合和动态电压频率缩放相比,通过动态停用应用程序可选组件(也被称为容器/微服务),brownout已被证明是一种有前途的技术,可以处理过载和能耗。在这项工作中,我们提出了一种集成的方法来管理基于容器的云数据中心的能源消耗和停电。\color{black}我们还评估了我们提出的调度策略与真实的痕迹在一个原型系统。实验结果表明,在保证服务质量的前提下,该方法比不采用节能技术的方法、掉电超订方法和自动缩放方法分别降低了约40%、20%和10%的能耗。
2018-03-22 cs.DC
Cost-Efficient Orchestration of Containers in Clouds: A Vision, Architectural Elements, and Future Directions
本文提出了一个架构框架,在云环境中的容器的有效编排。它围绕资源调度和重新调度策略以及自动缩放算法,使创建弹性虚拟集群。通过这种方式,所提出的框架使得能够在封装在容器中的不同客户端应用之间共享计算环境,包括Web服务、离线分析作业和后端预处理任务。所设计的资源管理算法和策略将提高可用虚拟资源的利用率,以降低提供商的运营成本,同时满足各种类型的应用程序的资源需求。所提出的算法将考虑以前被其他解决方案忽略的因素,包括1)获取资源的定价模型,2)应用程序的容错性,以及3)运行应用程序的QoS要求,如Web服务的延迟和吞吐量以及分析和预处理作业的截止日期。建议的解决方案将通过开发一个基于现有容器编排平台的原型平台进行评估。
2018-07-10 cs.DC
Scheduling Coflows with Dependency Graph
数据并行计算中的应用通常由多个阶段组成。在每个阶段中,产生一组中间并行数据流(数据流)并在服务器之间传输,以使得能够开始下一阶段。虽然已经有很多关于调度孤立的coflow的研究,在多阶段作业coflow之间的依赖关系在很大程度上被忽视。本文研究了共享数据中心网络中由一般DAG(Directed Acyclic Graphs)表示的多阶段工件的同流调度问题,目标是使工件的加权完工时间之和最小.这个问题是显着更具挑战性的比传统的coflow调度,调度,即使是一个单一的多阶段的工作,以最大限度地减少其完成时间被证明是NP难的。在本文中,我们提出了一个多项式时间算法的近似比为$O(μ\log(m)/\log(\log(m)))$,其中$μ$是一个作业中的最大数量的coflow和$m$是服务器的数量。针对工件的底层依赖图是根树的特殊情况,对算法进行了改进,提高了算法的逼近率。为了验证我们的算法的性能,我们提出了模拟结果,使用真实的交通痕迹,显示了$53 \%$改善比以前的方法。最后,我们提供了一个结果,调度coflows与一般DAG的最优间隙。
2020-12-21 cs.DC cs.DS cs.NI
Master Graduation Thesis: A Lightweight and Distributed Container-based Framework
边缘/雾计算是一种新的计算范式,为资源有限的物联网(IoT)设备提供可扩展的计算和存储资源。与云计算相比,边缘/雾服务器的资源更少,但可以以更高的带宽和更少的通信延迟访问。因此,集成边缘/雾和云基础设施可以支持执行各种延迟敏感和计算密集型物联网应用。尽管一些框架试图提供这种集成,但仍然存在一些挑战需要解决,例如不同物联网应用的动态调度,可扩展性机制,多平台支持以及支持不同的交互模型。为了克服这些挑战,我们提出了一个轻量级和分布式的基于容器的框架,称为FogBus 2。它提供了一种调度异构物联网应用程序的机制,并实现了几种调度策略。此外,它提出了一种优化的遗传算法,以获得快速收敛到合适的解决方案。此外,它还提供了一种可扩展性机制,以确保在物联网设备数量增加或资源负担过重时的有效响应。此外,FogBus 2的动态资源发现机制有助于新实体快速加入系统。我们还开发了两个物联网应用程序,称为康威的生命游戏和视频光学字符识别,以证明FogBus 2在处理实时和非实时物联网应用程序方面的有效性。实验结果表明,FogBus 2的调度策略与其他调度策略相比,将物联网应用的响应时间提高了53%。此外,与不支持可伸缩性的框架相比,可伸缩性机制可以减少高达48%的排队等待时间。
2021-08-08 cs.DB cs.DC cs.NI
Global Simulation-Guided Dynamic Operator Scheduling for Efficient Multi-Tenant Model Serving
Xiamen University(厦门大学);Shanghai Innovation Institute(上海创新研究院);Shanghai Jiao Tong University(上海交通大学);East China Normal University(华东师范大学);Tsinghua University(清华大学)
本文提出SliceScheduler系统,通过全局映射图、全局仿真器等组件实现算子级调度,在维持SLA违规率低于9%的同时,将多租户LLM服务的令牌吞吐量提升1.10-2.29倍,有效提高GPU利用率。
2026-08-18 cs.DC cs.LG cs.OS
Taming Cold Starts: Proactive Serverless Scheduling with Model Predictive Control
Umeå University(于默奥大学);Elastisys AB(Elastisys公司)
本文提出基于模型预测控制的无服务器调度框架,通过预测调用和优化容器预热,有效缓解冷启动问题,降低尾延迟并减少资源消耗。
2026-01-13 cs.DC cs.PF
Myrmics: Scalable, Dependency-aware Task Scheduling on Heterogeneous Manycores
基于任务的编程模型已经变得非常流行,因为它们提供了一种有吸引力的解决方案,可以并行化带有任务和数据注释的串行应用程序代码。它们通常依赖于一个运行时系统,该系统将任务并行调度到多个核心,同时解决任何数据风险。然而,现有的运行时系统实现还没有准备好在新兴的众核处理器上很好地扩展,因为它们通常依赖于高速缓存一致性存储器中的集中式结构和/或共享结构上的锁。我们提出的设计选择,政策和机制,以提高运行时系统的可扩展性,为数百个核心的单芯片处理器。基于这些概念,我们创建和评估Myrtle,一个运行时系统的依赖性感知,基于任务的编程模型上的异构硬件原型平台,模拟一个单芯片处理器的8延迟优化和512吞吐量优化的CPU。我们发现,Myrandom成功地扩展到数百个核心。与具有手动调优消息传递的相同基准测试的MPI版本相比,Myrtle实现了类似的可伸缩性,性能开销为10-30%,但编程工作量更少。我们详细分析了运行时系统的可扩展性,并确定了关键因素,有助于它。
2016-06-14 cs.DC cs.PL
TD3-Sched: Learning to Orchestrate Container-based Cloud-Edge Resources via Distributed Reinforcement Learning
Southern University of Science and Technology(南方科技大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Naval University of Engineering(海军工程大学)
本文提出基于TD3的分布式强化学习调度器TD3-Sched,对云边容器环境的CPU和内存分配进行连续控制,在真实测试平台上显著降低延迟并提升SLO合规性。
2025-09-23 cs.DC
Data-driven scheduling in serverless computing to reduce response time
在功能即服务(FaaS)中,客户部署功能而不是完整的虚拟机或Linux容器。云提供商负责维护这些功能的运行时环境。FaaS产品由所有主要的云提供商提供(例如Amazon Lambda,Google Cloud Functions,Azure Functions);以及独立的开源软件(例如Apache OpenWhisk)及其商业变体(例如Adobe I/O Cloud或IBM Cloud Functions)。我们采用FaaS集群中单个节点的自底向上视角。我们假设已经安装了分配给这个节点的一组函数的所有执行环境。我们的目标是调度由负载均衡器传递的函数的单独调用,以最小化与响应时间相关的性能指标。部署的函数通常会重复执行,以响应最终用户的多次调用。因此,我们的调度决策是基于本地收集的信息:记录的调用频率和执行时间。我们提出了一些算法,我们也采用了一些理论上的基础,如SEPT或SERPT。我们的模拟使用最近发布的Azure Functions Trace。我们表明,相比基线FIFO或循环,我们的数据驱动的调度决策显着提高性能。
2021-05-07 cs.DC
A Deep Reinforcement Learning Approach for Cost Optimized Workflow Scheduling in Cloud Computing Environments
本文针对云环境中竞价型实例价格波动与中断带来的工作流调度不确定性,提出基于深度强化学习的自主调度方法,并在 Argo 中实现,实验证明其成本表现优于现有基准。
2024-08-06 cs.DC
Characterising resource management performance in Kubernetes
针对云系统弹性资源管理的性能挑战,本文构建基于Petri网的Kubernetes性能模型,分析其资源管理开销特性,该模型可支撑容量规划与弹性应用设计。
2024-01-30 cs.DC
Kirin: Cloud-native WebAssembly Service Orchestration
Technische Universität Berlin(柏林工业大学)
本文提出Kirin,一个云原生WebAssembly服务编排器,支持资源调度、生命周期管理等核心功能,评估显示其在服务工作负载上性能与容器相当,是容器的可行替代方案。
2026-10-01 cs.DC
Federated Scheduling Admits No Constant Speedup Factors for Constrained-Deadline DAG Task Systems
在多处理器系统中的联合调度方法中,任务要么1)被限制为在单个处理器上顺序执行,要么2)对分配的处理器具有独占访问权。已经有一些积极的结果,进行良好的联邦调度策略,具有恒定的加速因子相对于任何最佳的联邦调度算法。本文回答了一个公开的问题:“有向无环图(DAG)的依赖结构的约束期限的任务系统,联邦调度策略有一个恒定的加速因子,就任何最佳调度算法?答案是“不!本文给出了一个例子,它证明了任何联邦调度算法相对于任何最优调度算法至少有$Ω(\min\{M, N\})$的加速因子,其中$N$是任务数,$M$是处理器数。
2016-06-22 cs.DC cs.DS
Cost and Reliability Aware Scheduling of Workflows Across Multiple Clouds with Security Constraints
本文提出一种跨多云工作流的成本与可靠性感知调度算法及密码分配算法,在满足安全约束下优化资源分配与数据传输,实验证明其在成本和可靠性上始终优于现有进化方法。
2023-04-01 cs.DC
Agentic-Kube: A Graph-Enhanced Multi-Agent Reinforcement Learning Framework for Multi-Objective Kubernetes Scheduling
University of Westminster Computer Science(威斯敏斯特大学计算机科学);University of Westminster(威斯敏斯特大学)
本文提出AGMARL-DKS,通过多智能体强化学习解决动态Kubernetes调度问题,引入图神经网络和应力感知策略,提升容错性和资源利用率。
2026-08-31 cs.DC cs.LG cs.MA
Jupiter: A Networked Computing Architecture
在物联网时代,人们对网络计算的需求越来越大,以支持时间受限、计算密集型的分布式应用,如多摄像机视频处理和数据融合等。我们提出了木星,一个开源的网络计算系统,输入有向无环图(DAG)为基础的计算任务图,有效地分配任务之间的一组网络计算节点,而不管他们的地理分离和编排执行的DAG之后。这个基于Kubernetes容器编排的系统支持集中式和分散式调度算法,用于根据来自一系列分析器的信息优化映射任务:网络分析器,资源分析器和执行时间分析器。虽然具有全局知识的集中式调度算法在网格/云计算社区中很受欢迎,但我们认为分布式调度方法更适合于网络计算,因为面对网络动态时通信和计算开销较低。为此,我们提出并实现了一类新的分布式调度算法称为WAVE的木星系统。我们提出了一组现实世界的实验在两个独立的测试平台上-一个全球网络的90个云计算机在8个城市和其他一个集群的30个树莓派节点,在一个简单的网络计算应用程序称为分布式网络异常检测器(DNAD)。我们发现,尽管使用更多的本地化知识,分布式波贪心算法可以实现类似的性能作为一个经典的集中式调度算法称为异构最早完成时间(HEFT),适当增强木星系统。
2019-12-23 cs.DC
Stateless Snowflake: A Cloud-Agnostic Distributed ID Generator Using Network-Derived Identity
无状态雪花通过容器网络属性生成唯一ID,无需中心协调,实现云无关和无限制横向扩展。
2025-12-12 cs.DC
Learning to Optimize DAG Scheduling in Heterogeneous Environment
在分布式计算集群上高效、快速地调度作业流是数据中心日常运营面临的巨大挑战之一。在一个实际的场景中,一个单一的作业包括许多阶段与复杂的依赖关系表示为一个有向无环图(DAG)结构。目前的数据中心通常配备一个集群的异构计算服务器,这些服务器在硬件/软件配置上是不同的。从节约成本和环境友好性两方面考虑,优化异构环境下的作业调度问题可以使数据中心受益匪浅。因此,这一问题越来越受到工业界和学术界的关注。在本文中,我们提出了一个基于任务复制的学习算法,即\lachesis \footnote{The second of the Three Fates in ancient Greek mythology, who determines destiny.},旨在优化问题。在所提出的方法中,它首先感知拓扑之间的依赖关系的作业使用强化学习框架和一个专门设计的图神经网络(GNN),以选择最有前途的任务执行。然后,根据专家设计的规则,将任务分配给特定的执行者,并考虑复制其所有先前的任务。我们已经在标准工作负载上进行了广泛的实验,以评估所提出的解决方案。实验结果表明,与现有的七种强基线算法(包括最先进的算法和各种基于深度强化学习的算法)相比,\lachesisquad最多可以减少26.7%的最大完工时间,提高35.2%的加速比.
2022-02-19 cs.DC
Scientific Workflow Scheduling in Cloud Considering Cold Start and Variable Pricing Model
针对科学云服务提供商面临的冷启动和多种虚拟机定价模型管理挑战,提出一种结合历史数据初始规划与实时调整的混合调度框架,在真实数据集上相比现有方法实现高达20%的利润提升。
2025-04-30 cs.DC
A Scalable Method for Scheduling Distributed Energy Resources using Parallelized Population-based Metaheuristics
Institute of Automation and Applied Informatics (IAI)(自动化与应用信息研究所(IAI));Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院(KIT))
近年来,分布式可再生能源资源越来越多地整合到现有的电网中。由于可再生能源资源的不确定性,网络运营商在平衡负载和发电方面面临新的挑战。为了满足新的要求,可以使用智能分布式能源工厂,其提供虚拟发电厂,例如需求侧管理或灵活发电。然而,对于这种分布式能源的单元委托的适当调度的计算是复杂的优化问题,如果考虑大量的分布式能源,则该问题对于标准优化算法通常太复杂。为了解决这种复杂的优化任务,基于种群的元算法-例如进化算法-代表了强大的替代方案。诚然,进化算法确实需要大量的计算能力来及时解决这些问题。这个性能问题的一个有前途的解决方案是并行化通常耗时的替代解决方案的评估。本文提出了一种新的通用的和高度可扩展的并行方法,用于分布式能源的机组组合的元启发式算法。它基于微服务,容器虚拟化和发布/订阅消息传递范式,用于调度分布式能源资源。通过在大数据环境中对三种不同的分布式能源调度方案进行并行优化,评估了该解决方案的可扩展性和适用性。新方法提供了集群或云并行化能力,能够处理大量的分布式能源。新提出的方法的应用结果在很好的性能,扩大优化速度。
2020-06-04 cs.AI cs.DC cs.SE
Tightening I/O Lower Bounds through the Hourglass Dependency Pattern
本文针对线性代数核依赖图中的“沙漏模式”,在双内存顺序执行模型下数学证明了更紧的I/O复杂度下界,改进了现有最优下界,并集成至IOLB工具中。
2024-04-25 cs.CC cs.DC