Joint Task Scheduling and Container Image Caching in Edge Computing
针对边缘计算中容器镜像下载受带宽限制的问题,提出联合任务调度与镜像缓存的深度强化学习算法及自适应缓存更新方法,实验显示总延迟和等待延迟平均分别降低23%和35%。
2023-10-01 cs.DC
Online Container Scheduling for Low-Latency IoT Services in Edge Cluster Upgrade: A Reinforcement Learning Approach
针对边缘集群升级时传统云调度策略不适配、易影响运行任务的问题,提出基于策略梯度的强化学习在线容器调度算法,可将总任务时延较基线降低约27%。
2023-07-22 cs.DC
Scale: Deep Reinforcement Learning for Container Scheduling in Serverless Edge Computing
Nottingham Trent University(诺丁汉特伦特大学);Loughborough University(拉夫堡大学);University of Bologna(博洛尼亚大学);TU Wien(维也纳工业大学);University of Oregon(俄勒冈大学)
本文提出Scale框架,通过深度强化学习优化容器调度与资源分配,在动态负载下平衡系统稳定性和性能,实验证明其在决策效率和资源利用率方面优于整数线性规划求解器。
2026-05-15 cs.DC
LRScheduler: A Layer-aware and Resource-adaptive Container Scheduler in Edge Computing
本文提出并实现了边缘计算中基于容器镜像层信息的层感知与资源自适应调度器LRScheduler,通过节点评分、动态加权和负载均衡机制降低容器部署成本,并在Kubernetes框架上完成全流程自动化,实验证明其相比默认调度器能有效降低部署成本。
2025-06-04 cs.DC
An Interference-aware Approach for Co-located Container Orchestration with Novel Metric
本文引入调度延迟作为量化干扰的新型指标,利用机器学习预测在线服务干扰并指导资源分配,提出基于预测模型的调度算法,有效降低在线服务响应时间并平衡节点资源利用率。
2024-02-14 cs.DC
Dynamic Scheduling Strategies for Resource Optimization in Computing Environments
Western University(韦仕敦大学)
本文提出一种基于多目标优化的容器调度方法,通过引入优化模型和启发式算法,利用Google Cluster Data验证,显著提升了资源利用率、负载均衡与突发任务完成效率,为云原生环境下的智能资源管理奠定基础。
2024-12-23 cs.AI cs.DC
A Task Allocation Schema Based on Response Time Optimization in Cloud Computing
云计算是在网格计算基础上发展起来的一种新兴的分布式计算。任务调度是云计算的核心研究内容,它研究如何在物理节点之间分配任务,使任务得到均衡的分配,或者使每个任务的执行代价降到最低,或者使系统整体性能达到最优。与以往以处理时间为目标的任务片顺序执行独立任务的模型不同,本文建立了以响应时间为目标的任务片并行执行模型。然后利用一种改进的调整熵函数方法求解。最后,设计了一种新的任务调度算法。实验结果表明,该算法的响应时间远低于博弈论算法和平衡调度算法,博弈论算法虽然目标函数值更优,但在并行性上并不一定优于平衡调度算法。
2014-04-18 cs.DC
Speculative Container Scheduling for Deep Learning Applications in a Kubernetes Cluster
在过去十年中,我们目睹了从各种来源收集的数据量急剧增加。数据爆炸改变了世界,因为比以往任何时候都有更多的信息可供收集和分析。为了最大化利用率,已经开发了各种机器和深度学习模型,例如CNN [1]和RNN [2],以研究数据并从不同角度提取有价值的信息。虽然数据驱动的应用程序改进了无数的产品,但用于超参数调优的训练模型仍然是一个耗时且资源密集型的过程。云计算为深度学习应用的训练提供基础设施支持。云服务提供商,如Amazon Web Services [3],为客户端创建一个隔离的虚拟环境(虚拟机和容器),客户端共享物理资源,例如,CPU和内存。在云上,实现了资源管理方案,以实现用户之间的更好共享,并提高系统范围的性能。然而,一般的调度方法,如分散优先级和平衡资源调度器,不能很好地与深度学习工作负载一起工作。在这个项目中,我们提出了SpeCon,这是一种新型的容器调度器,针对短期深度学习应用程序进行了优化。基于虚拟化容器,如Kubernetes [4]和Docker [5],SpeCon分析了训练过程的共同特征。我们设计了一套算法来监控训练的进度,并推测性地迁移增长缓慢的模型,为快速增长的模型释放资源。具体来说,广泛的实验表明,SpeCon将单个作业的完成时间提高了41.5%,在系统范围内提高了14.8%,在完工时间方面提高了24.7%。
2020-10-21 cs.DC cs.PF
HEATS: Heterogeneity- and Energy-Aware Task-based Scheduling
云提供商通常为用户提供各种类型的硬件。客户利用此选项部署具有GPU、FPGA、x86以外的架构(例如,ARM、IBM Power8),或具有某些特定扩展(例如Intel SGX)。在这项工作中,我们考虑了客户用于部署容器的实例,现在容器是微服务的事实标准,或者用于执行计算任务。在这样做时,底层容器编排器(例如,Kubernetes)的设计应该考虑并利用这种硬件多样性。此外,除了不同机器提供的功能范围外,硬件异构性引入的能源需求的多样性经常被忽视,默认容器编排器的放置策略简单地忽略了这一点。我们介绍了HEATS,一个新的面向任务的和能源感知的编排容器化应用程序的目标异构集群。HEATS允许客户在性能与能源需求之间进行交易。我们的系统首先学习物理主机的性能和能量特征。然后,它监视主机上任务的执行,并适时地将它们迁移到不同的集群节点上,以匹配客户需要的部署权衡。我们的HEATS原型在Google的Kubernetes中实现。在我们的集群中使用合成跟踪进行的评估表明,我们的方法可以节省大量的能源(高达8.5%),并且对部署任务的整体运行时间的影响很小(最多7%)。HEATS是开源的。
2019-06-26 cs.DC
Containers Orchestration with Cost-Efficient Autoscaling in Cloud Computing Environments
容器是独立的、自包含的单元,将软件及其依赖项打包在一起。它们提供轻量级的性能隔离、快速灵活的部署以及细粒度的资源共享。近年来,它们在更好的应用程序管理和部署方面越来越受欢迎,并被组织广泛用于在专有集群或云数据中心部署日益多样化的工作负载,如Web服务,大数据和物联网。这导致了容器编排平台的出现,这些平台旨在管理大规模集群中容器化应用程序的部署。这些平台中的大多数都是为了优化固定大小的私有集群上的容器调度而定制的,但不能自动扩展集群的大小,也不能考虑特定于公共云环境的功能。在这项工作中,我们提出了一个全面的容器资源管理方法,有三个不同的目标。第一个是通过在现有资源上有效地调度容器来优化容器的初始放置。第二个是在运行时根据当前集群的工作负载自动调整资源数量。第三个是重新调度机制,通过在可能的情况下将应用程序整合到更少的VM中,进一步支持资源的有效使用。我们的算法被实现为Kubernetes平台的插件调度器。我们评估了我们的框架和澳大利亚国家云基础设施上提出的算法的有效性。我们的实验表明,可以实现相当大的成本节约,通过动态管理集群的大小和应用程序的位置。我们发现,与默认的Kubernetes调度程序相比,我们提出的方法能够将成本降低58%。
2018-12-02 cs.DC
COSCO: Container Orchestration using Co-Simulation and Gradient Based Optimization for Fog Computing Environments
由于现代工作负载应用的高度不稳定性以及用户对低能耗和响应时间的敏感要求,大规模雾平台中的智能任务放置和任务管理具有挑战性。已经出现了容器编排平台来缓解这个问题,现有技术使用调度来快速达成调度决策,或者使用AI驱动的方法,如强化学习和进化方法来适应动态场景。前者通常无法快速适应高度动态的环境,而后者的运行时间慢到足以对响应时间产生负面影响。因此,需要一种调度策略,既能在易变环境中有效地工作,又能降低调度开销。为了实现这一点,我们提出了一个基于梯度的优化策略,使用反向传播的梯度相对于输入(GOBI)。此外,我们通过开发耦合仿真和集装箱调度框架(COSCO)来利用预测数字孪生模型和仿真功能的准确性。利用这一点,我们创建了一个混合仿真驱动的决策方法,GOBI*,优化服务质量(QoS)参数。协同仿真和反向传播方法使这些方法能够在易变的环境中快速适应。使用GOBI和GOBI* 方法对雾应用的真实数据进行的实验表明,与最先进的算法相比,在能耗、响应时间、服务水平目标和调度时间方面分别有高达15%、40%、4%和82%的显著改善。
2021-07-09 cs.DC cs.PF
Scheduling Methods to Reduce Response Latency of Function as a Service
功能即服务(FaaS)允许云客户将单个功能部署到云,而不是完整的虚拟机或Linux容器。所有主要的云提供商都提供FaaS产品(Amazon Lambda,Google Cloud Functions,Azure Serverless);还有流行的开源实现(Apache OpenWhisk)和商业产品(Adobe I/O插件,IBM Cloud Functions)。FaaS的一个新特性是函数组合:一个函数可以(顺序地)调用另一个函数,而另一个函数又可以调用另一个函数--形成一个调用链。从基础设施的角度来看,组合式FaaS比虚拟机或容器更不透明。我们表明,这些额外的信息使基础设施,以减少响应延迟。特别是,知道了未来调用的顺序,基础设施可以将这些调用与环境准备一起调度。我们将FaaS中的资源管理建模为一个调度问题,该问题结合了(1)调用的排序,(2)在机器上部署执行环境,以及(3)将调用分配到已部署的环境。对于每一个方面,我们都提出了一些建议。我们通过模拟一系列合成工作负载来探索它们的性能。我们的研究结果表明,如果设置时间较长的调用时间,算法使用的功能组成的信息始终优于贪婪,短视的算法,导致显着减少响应延迟。
2020-08-11 cs.DC
CASA: A Framework for SLO and Carbon-Aware Autoscaling and Scheduling in Serverless Cloud Computing
本文提出CASA框架,在无服务器云集群中同时考虑碳足迹和SLO约束进行容器调度与自动伸缩,实验表明其碳足迹最多降低2.6倍、SLO违反率最多降低1.4倍。
2024-08-31 cs.DC cs.PF
Differentiate Quality of Experience Scheduling for Deep Learning Inferences with Docker Containers in the Cloud
随着大数据驱动的应用程序的普及,例如智能手机上的人脸识别和Google Ads的量身定制推荐,我们正在朝着比以往任何时候都更加智能的生活方式迈进。各种神经网络驱动的模型在其智能的后端运行,以实现对用户的快速响应。支持这些模型需要大量基于云的计算资源,例如,CPU和GPU。云计算提供商根据客户占用的资源量向他们收费。客户必须平衡预算和体验质量(例如,响应时间)。预算依赖于个体企业主,所需的体验质量(QoE)取决于不同应用的使用场景。例如,自动驾驶汽车需要实时响应,但解锁智能手机可以容忍延迟。然而,云提供商未能向其客户提供基于QoE的选项。在本文中,我们提出了DQoES,用于深度学习推理的差异化体验质量调度器。DQoES接受客户端对目标QoE的规范,并动态调整资源以接近其目标。通过大量基于云的实验,DQoES表明,它可以针对各种QoE调度多个并发作业,并且与现有系统相比,可以实现高达8倍的满意度模型
2022-09-22 cs.DC cs.PF
Master Graduation Thesis: A Lightweight and Distributed Container-based Framework
边缘/雾计算是一种新的计算范式,为资源有限的物联网(IoT)设备提供可扩展的计算和存储资源。与云计算相比,边缘/雾服务器的资源更少,但可以以更高的带宽和更少的通信延迟访问。因此,集成边缘/雾和云基础设施可以支持执行各种延迟敏感和计算密集型物联网应用。尽管一些框架试图提供这种集成,但仍然存在一些挑战需要解决,例如不同物联网应用的动态调度,可扩展性机制,多平台支持以及支持不同的交互模型。为了克服这些挑战,我们提出了一个轻量级和分布式的基于容器的框架,称为FogBus 2。它提供了一种调度异构物联网应用程序的机制,并实现了几种调度策略。此外,它提出了一种优化的遗传算法,以获得快速收敛到合适的解决方案。此外,它还提供了一种可扩展性机制,以确保在物联网设备数量增加或资源负担过重时的有效响应。此外,FogBus 2的动态资源发现机制有助于新实体快速加入系统。我们还开发了两个物联网应用程序,称为康威的生命游戏和视频光学字符识别,以证明FogBus 2在处理实时和非实时物联网应用程序方面的有效性。实验结果表明,FogBus 2的调度策略与其他调度策略相比,将物联网应用的响应时间提高了53%。此外,与不支持可伸缩性的框架相比,可伸缩性机制可以减少高达48%的排队等待时间。
2021-08-08 cs.DB cs.DC cs.NI
Global Simulation-Guided Dynamic Operator Scheduling for Efficient Multi-Tenant Model Serving
Xiamen University(厦门大学);Shanghai Innovation Institute(上海创新研究院);Shanghai Jiao Tong University(上海交通大学);East China Normal University(华东师范大学);Tsinghua University(清华大学)
本文提出SliceScheduler系统,通过全局映射图、全局仿真器等组件实现算子级调度,在维持SLA违规率低于9%的同时,将多租户LLM服务的令牌吞吐量提升1.10-2.29倍,有效提高GPU利用率。
2026-08-18 cs.DC cs.LG cs.OS
Taming Cold Starts: Proactive Serverless Scheduling with Model Predictive Control
Umeå University(于默奥大学);Elastisys AB(Elastisys公司)
本文提出基于模型预测控制的无服务器调度框架,通过预测调用和优化容器预热,有效缓解冷启动问题,降低尾延迟并减少资源消耗。
2026-01-13 cs.DC cs.PF
Agentic-Kube: A Graph-Enhanced Multi-Agent Reinforcement Learning Framework for Multi-Objective Kubernetes Scheduling
University of Westminster Computer Science(威斯敏斯特大学计算机科学);University of Westminster(威斯敏斯特大学)
本文提出AGMARL-DKS,通过多智能体强化学习解决动态Kubernetes调度问题,引入图神经网络和应力感知策略,提升容错性和资源利用率。
2026-08-31 cs.DC cs.LG cs.MA
A Kubernetes Scheduler Plugin for Cluster-Wide Placement Optimisation
TV 2 Danmark A/S(TV 2丹麦公司);Università di Bologna(博洛尼亚大学);INRIA(法国国家信息与自动化研究所);University of Southern Denmark(南丹麦大学)
提出开源Kubernetes调度框架插件OPSche,结合外部约束优化求解器,通过三种触发模式及阻塞变体优化集群部署,提升资源使用率、降低调度延迟。
2026-08-10 cs.DC
TraDE: Network and Traffic-aware Adaptive Scheduling for Microservices Under Dynamics
TraDE是一种面向微服务的网络和流量感知自适应调度框架,通过自适应重新部署微服务实例来提升性能并满足服务质量要求。
2025-10-24 cs.DC cs.NI cs.PF
Kant: An Efficient Unified Scheduling System for Large-Scale AI Clusters
ZTE Corporation(中兴通讯股份有限公司)
针对大规模AI集群传统调度系统的平衡难题,本文提出支持训练推理协同调度的Kant统一调度平台,定义多维度评估指标,采用Backfill与E-Binpack策略提升资源利用与调度效率,已落地多数据中心,为AI原生调度基建提供工程方案。
2025-09-25 cs.AI cs.DC cs.IT
CRIU -- Checkpoint Restore in Userspace for computational simulations and scientific applications
本文评估了在OSG的OSPool HTCondor环境中使用开源工具CRIU对长时间运行的科学计算作业进行检查点恢复的可行性,发现其功能适用于多数场景,但存在限制。
2024-02-07 cs.DC