Scheduling Algorithms for Hierarchical Fog Networks
雾计算在雾设备/微型数据中心($mdcs$)的帮助下将云的功能带到了网络边缘附近。在这样的系统中的作业调度是一个复杂的问题,由于分层和地理分布的雾设备的性质。本文提出了两种雾调度算法,分别称为$FiFSA$(Hierarchical $Fi$ rst $F$ og $S$ configuring $A$ l出租m)和$EFSA$(Hierarchical $E$ elected $F$ og $S$ configuring $A$ l出租m)。我们考虑一个分层模型的雾设备,其中存在于较高层的雾设备的计算能力是大于那些存在于较低层。然而,与较低层雾设备相比,较高层雾设备位于距数据生成源更大的物理距离处。考虑了具有不同粒度和cpu需求的作业。一般来说,具有中等CPU需求的作业被安排在较低层雾设备上,而具有较大CPU需求的作业被安排在较高层雾设备或云数据中心$(cdc)$上。$FiFSA$和$EFSA$的性能已被评估使用各种模拟雾层次结构以及原型测试平台上的真实生活中的工作负载跟踪。与最长时间优先($LTF$)和仅云($cdc-only$)调度算法相比,采用$FiFSA$的总完成时间平均提高了27%和57.9%,成本提高了32%和61%。与$LTF$和$cdc-only$相比,采用$EFSA$的总完成时间平均缩短了48%和70%,成本平均降低了52%和72%。
2021-12-09 cs.DC
Multi-Tier Adaptive Memory Programming and Cluster- and Job-based Relocation for Distributed On-demand Crowdshipping
随着电子商务的快速增长,按需城市交付的时间很长,特别是食品,杂货和零售,通常需要在下订单后很短的时间内交付。这给传统的车辆运输方法带来了重大的财务和业务挑战。众包,雇用普通人与低工资率和有限的时间可用性,已成为一个有吸引力的替代方案。本文提出了一种多层自适应内存编程(M-TAMP),以解决按需分配的请求与空间分布的请求的起源和目的地和众包的起点众包。M-TAMP从多个初始解决方案开始,这些解决方案是基于向众包分配请求时的不同合理假设构建的,并通过波浪、阶段和步骤来组织解决方案搜索,模仿海浪和人类记忆功能,同时寻求最佳解决方案。通过主动地重新定位空闲众包来进一步执行分配,为此设计了计算高效的基于集群和作业的策略。数值实验表明,MTAMP优于一些现有的方法,和搬迁可以大大提高众包请求分配的效率。
2021-05-14 cs.DC math.OC
Energy-Aware Adaptive Offloading of Soft Real-Time Jobs in Mobile Edge Clouds
我们提出了一个模型,用于测量卸载软实时的【形】作业对多层云基础设施的影响。这些作业源自移动设备,卸载策略可以选择在本地、相邻设备、云服务器或基础设施云服务器中执行它们。在本规范中,我们提出了几种这样的卸载策略,其特征在于它们对云层的差异化使用,其目标是优化执行时间和/或能耗。我们使用Jay实现了该模型的一个实例,Jay是一种用于混合边缘云中自适应计算卸载的软件框架。该框架是模块化的,并允许模型和卸载策略被无缝地实施,同时提供工具来基于系统反馈做出明智的运行时卸载决策,即通过内置的系统分析器,该分析器收集每个参与设备或服务器的运行时信息,例如工作负载、能耗和可用带宽。结果表明,卸载策略的运行时条件敏感,可以有效地和动态地调整他们的卸载决策,以产生显着的收益,在他们的目标优化功能,即执行时间,能源消耗和履行的工作期限。
2021-06-02 cs.DC
DeepShare: Assurance-Driven Deep Learning Job Scheduling for Multi-Tenant Clusters
Beihang University(北京航空航天大学);University of Leeds(利兹大学)
针对多租户GPU集群利用率低和排队延迟高的问题,提出DeepShare调度器,通过连续租户保障信号协调配额借用、抢占与共享,实现利用率提升29.5%、延迟降低46%。
2026-09-16 cs.DC
Performance Analysis of QoS-Differentiated Pricing in Cloud Computing: An Analytical Approach
IaaS服务设计的一个基本目标是实现用户友好和具有成本效益的服务访问,同时实现高资源效率以实现收入最大化。QoS差异化是实现这一设计目标的一个重要透镜。在本文中,我们提出了第一个分析QoS差异化的资源管理和定价架构的云计算上下文中,在这里,云服务提供商(CSP)提供了一个组合的SLA。为了最大限度地提高CSP的收入,我们解决两个技术问题:(1)如何设置SLA价格,以指导用户的SLA最适合他们的需求,和(2)确定多少服务器应该分配给每个SLA,哪些用户和他们的工作有多少被接纳为服务。我们提出了最佳方案,共同确定SLA为基础的价格和执行容量规划在多项式时间。我们的定价模式在客户端保持了高可用性。与标准的基于使用的定价方案相比,数值结果表明,该计划可以提高收入的五倍增加。
2018-03-24 cs.DC
QOS based user driven scheduler for grid environment
由于网格在本质上是异构的、动态的、共享的和分布式的环境,有效地管理这些平台是非常复杂的。一个有前途的可扩展的方法来处理这些复杂性是设计的自主应用程序的自我管理。自治应用通过考虑自身行为和环境条件的知识来相应地调整其执行。基于QoS的网格用户驱动调度为自治应用提供了自优化能力。计算网格通过在物理位置的多台机器上分散单个大型计算,为用户提供解决大规模问题的能力。基于QoS的用户驱动网格调度器通过应用用户定义的调度策略来减少作业的执行时间,从而提高网格系统的可靠性,提高网格的性能。本文的主要目的是在网格节点之间分配计算负载,并开发一种基于QoS的网格调度算法,使网格更加可靠。网格计算系统不同于传统的分布式计算系统,它强调大规模的资源共享,其中处理器和通信对网格计算的可靠性有重要影响。由最终用户从提交到网格执行的应用程序中启动的可靠性功能。基础设施和管理服务的可靠性,这些服务执行网格系统运行所必需的基本功能,例如资源分配和调度。
2011-02-02 cs.DC
Allocation and Admission Policies for Service Streams
一个服务供应系统进行检查,其中一些服务器被用来提供不同类型的服务,付费客户。客户执行作业流的费用;作业流中的作业数量和提交率是指定的。另一方面,提供者承诺一定的服务质量(QoS),通过流中作业的平均等待时间来测量。如果未满足约定的QoS要求,则支付罚款。目标是使单位时间的总平均收益最大化。动态政策,使服务器分配和流准入的决定,介绍和评估。几个模拟的结果进行了说明。
2011-02-17 cs.DC cs.PF
Sinan: Data Driven Resource Management for Cloud Microservices
云应用程序越来越多地转向交互式和松散耦合的微服务。尽管微服务具有优势,但由于层间依赖性,使资源管理复杂化。我们介绍了Sinan,一个用于交互式微服务的集群管理器,它利用容易获得的跟踪数据而不是经验决策,来推断资源分配对端到端性能的影响,并为每个层分配适当的资源。在对使用微服务构建的端到端社交网络的Sinan进行的初步评估中,我们表明Sinan的数据驱动方法允许服务始终满足其QoS,而不会牺牲资源效率。
2021-12-12 cs.DC
On Optimal and Fair Service Allocation in Mobile Cloud Computing
研究了移动云计算中多种移动应用(单个或群组以及协作移动应用)的最优公平服务分配问题。我们利用了这样的观察,即使用分层云,即多个级别(本地和公共)的云可以提高移动应用程序的性能和可扩展性。我们提出了一个新的框架,移动应用程序作为一个位置-时间工作流(LTW)的任务建模,在这里用户的移动模式被翻译为移动服务的使用模式。我们发现,考虑到多个QoS目标,如应用程序延迟,设备功耗和用户成本/价格的LTW分层云资源的最佳映射是一个NP-硬问题,为单个和基于组的应用程序。我们提出了一种高效的启发式算法,称为MuSIC,能够表现良好(73%的最佳,比简单的策略好30%),并扩展到大量的用户,同时确保高的移动应用QoS。我们通过实施(在真实世界的云上)和使用丰富的移动应用程序(如密集信号处理,视频流和多媒体文件共享应用程序)的广泛模拟来评估MuSIC和2层移动云方法。我们的实验和仿真结果表明,音乐集成电路支持可扩展的操作(100+并发用户执行复杂的工作流),同时提高QoS。与仅使用公共云相比,我们观察到延迟和功耗降低了约25%(在固定价格限制下),价格降低了约35%(考虑固定延迟)。我们的研究还表明,MuSIC在不同的移动模式下表现得很好,例如随机路点和曼哈顿模型。
2013-08-20 cs.DC cs.NI
Meeting QoS of Users in a Edge to Cloud Platform via Optimally Placing Services and Scheduling Tasks
本文研究了在三层边缘到云平台上,用户请求必须在一定期限内得到满足时的服务放置和任务调度问题。对时间敏感的应用程序(例如,增强现实、游戏、实时视频分析)具有必须满足的严格约束。在多个可能的计算中心的情况下,解决这些请求的“地点”和“时间”在满足其最后期限时变得至关重要。我们将满足用户的最后期限同时最小化边缘到云服务提供商的总成本的问题表述为线性规划(ILP)问题。我们展示了这个问题的NP-硬度,并提出了两个基于局部与全局尺度上的决策的算法。我们改变了用户数量、QoS约束以及远程云和小云(边缘云)之间的成本差异,并对每种情况运行多个Monte-Carlo运行。我们的仿真结果表明,所提出的算法在降低复杂度的同时,性能接近最优。
2019-08-13 cs.DC cs.NI
Sage: Using Unsupervised Learning for Scalable Performance Debugging in Microservices
云应用程序越来越多地从大型整体服务转向复杂的松耦合微服务图。尽管微服务提供了模块化和弹性的优势,但它们也使集群管理和性能调试变得复杂,因为层之间的依赖关系会引入背压和级联QoS违规。我们介绍了Sage,一个机器学习驱动的交互式云微服务根本原因分析系统。Sage利用无监督机器学习模型来规避跟踪标记的开销,捕获微服务之间依赖关系的影响,以确定在线性能不可预测的根本原因,并应用纠正措施来恢复云服务的QoS。在Google Compute Engine上的专用本地集群和大型集群上进行的实验表明,Sage在正确识别QoS违规的根本原因方面始终达到93%以上的准确率,并提高了性能可预测性。
2021-01-01 cs.DC cs.PF
Sinan: Data-Driven, QoS-Aware Cluster Management for Microservices
Cornell University(康奈尔大学)
云应用程序越来越多地从大型单体服务转向大量松散耦合的专用微服务。尽管微服务在促进开发、部署、模块化和隔离方面具有优势,但它们之间的依赖关系会引入背压效应和级联QoS违规,从而使资源管理复杂化。我们介绍了Sinan,一个数据驱动的集群管理器,用于在线和QoS感知的交互式云微服务。Sinan利用一组可扩展且经过验证的机器学习模型来确定微服务之间依赖关系的性能影响,并以保持端到端尾部延迟目标的方式为每个层分配适当的资源。我们评估了Sinan在专用本地集群和Google Compute Engine(GCE)上的大规模部署,这些部署涉及使用微服务构建的代表性端到端应用程序,例如社交网络和酒店预订网站。我们表明,思南总是满足QoS,同时还保持集群利用率高,在以前的工作,导致不可预测的性能或牺牲资源效率。此外,Sinan中的技术是可以解释的,这意味着云运营商可以从ML模型中获得关于如何更好地部署和设计其应用程序以降低不可预测性能的见解。
2021-05-27 cs.DC cs.LG cs.NI
START: Straggler Prediction and Mitigation for Cloud Computing Environments using Encoder LSTM Networks
现代大规模计算系统将作业分配为多个较小的任务,这些任务并行执行,以加快作业完成率并降低能耗。然而,在这样的系统中,一个常见的性能问题是处理落后的任务,这些任务是增加总体响应时间的缓慢运行的实例。这样的任务可以显著地影响系统的服务质量(QoS)和服务水平协议(SLA)。为了解决这个问题,需要自动的掉队者检测和缓解机制,在不违反SLA的情况下执行作业。以前的工作通常建立反应模型,首先集中在检测,然后缓解落后的任务,这会导致延迟。其他作品使用基于预测的主动机制,但忽略了异构主机或易变任务的特点。在本文中,我们提出了一个掉队预测和缓解技术(START),能够预测哪些任务可能是掉队者,并动态调整调度,以实现较低的响应时间。我们的技术使用编码器长短期内存(LSTM)网络,基于计算和网络资源消耗分析所有任务和主机。然后,该网络的输出用于预测和减轻预期的掉队任务。这降低了SLA违规率和执行时间,而不会影响QoS。具体来说,我们使用CloudSim工具包在云环境中模拟START,并将其与最先进的技术(IGRU-SD,SGC,Dolly,GRASS,NearestFit和Wrangler)在QoS参数方面进行比较,如能耗,执行时间,资源争用,CPU利用率和SLA违规率。实验表明,START减少了执行时间,资源争用,能源和SLA违规的13%,11%,16%和19%,分别相比,国家的最先进的方法。
2021-11-19 cs.DC cs.PF
Lynceus: Cost-efficient Tuning and Provisioning of Data Analytic Jobs
现代数据分析和机器学习工作在云中找到了一个自然的部署平台,以满足其众所周知的大量资源需求。然而,为了实现成本效率,识别满足用户定义的QoS约束(例如,在执行时间上),同时避免不必要的过度供应。本文介绍了Lynceus,一种用于优化基于云的数据分析工作的新方法,该方法通过在最终推荐配置和用于推荐配置的优化过程方面实现显着的成本节约来改进最先进的方法。与现有解决方案不同,Lynceus以联合方式优化云相关和应用程序级参数。这使得推荐配置的成本在第90百分位数时比现有方法降低了3.7倍,现有方法将云相关参数和应用程序级参数的优化视为两个独立的问题。此外,Lynceus降低了优化过程的成本(即,测试配置所产生的云成本)高达11倍。i)超时方法,其允许中止被认为是次优的配置的探索,同时仍然提取有用的信息以指导未来的探索并改进其预测模型-与最近的工作不同,其要么招致测试次优配置的全部成本,要么不能从中止的运行中提取任何知识; ii)一种具有远见和洞察力的技术,通过预测每次探索的长期影响来确定要测试哪些配置-这与采用贪婪优化方法的最先进的云作业优化方法不同。
2020-01-20 cs.DC
CMS Workflow Execution using Intelligent Job Scheduling and Data Access Strategies
复杂的科学工作流程可以使用数千个任务来处理大量数据。这些工作流的周转时间通常受到各种延迟的影响,例如各个工作流过程或参与者的资源发现、调度和数据访问延迟。最小化这些延迟将改善工作流的总体执行时间,从而导致更有效和更健壮的处理环境。在本文中,我们提出了一个试点作业为基础的基础设施,具有智能数据重用和作业执行策略,以尽量减少调度,排队,执行和数据访问延迟。结果表明,显着改善的整体周转时间的工作流程,可以实现这种方法。所提出的方法进行了评估,首先使用CMS Tier0数据处理工作流程,然后模拟工作流程,以评估其有效性在受控环境中。
2012-02-24 cs.DC cs.SE
STREAM: Multi-Tier LLM Inference Middleware with Dual-Channel HPC Token Streaming
Advanced Cyberinfrastructure for Education and Research (ACER) University of Illinois Chicago(高级教育与研究计算基础设施(ACER)伊利诺伊大学芝加哥分校)
提出 STREAM 系统,通过三层路由架构(本地、HPC、云)和双通道 HPC 流(控制平面与数据平面分离)实现亚秒级 TTFT,解决现有系统无法统一三种推理场景的问题。
2026-06-15 cs.AI cs.DC
Online Job Failure Prediction in an HPC System
CINECA(奇内卡国家计算中心)
本研究针对HPC系统中的作业失败预测问题,提出结合经典机器学习与NLP的在线预测方法,在提交时识别高风险作业,以减少资源浪费并提升系统性能与能效,实验验证了其有效性。
2023-06-30 cs.AI cs.DC cs.LG
Libra: An Economy driven Job Scheduling System for Clusters
计算机集群已经成为高性能、高吞吐量和高可用性计算的主流并行和分布式平台。为了实现对集群的有效资源管理,已经设计了许多集群管理系统和集群管理器。然而,他们的重点基本上是最大限度地提高CPU性能,而不是提高交付给用户的实用程序的价值和服务的服务质量。本文提出了一种新的计算经济驱动的调度系统称为天秤座,它已被设计为支持基于用户的资源分配?服务质量(QoS)要求。它旨在作为现有排队和资源管理系统的附加组件。第一个版本已经实现为PBS(便携式批处理系统)系统的插件调度程序。调度器提供基于市场的经济驱动的服务,用于管理集群上的批处理作业,根据用户的预算和最后期限,而不是系统性能考虑确定的效用调度CPU时间。Libra调度器确保在O(n)运行时间内满足这两个约束。Libra调度器已经使用GridSim工具包进行了模拟,以进行详细的性能分析。结果表明,基于截止日期和预算的比例资源分配策略相比,以系统为中心的调度策略,提高了系统的效用和用户满意度。
2002-07-22 cs.DC cs.DS
Performance Overhead Comparison between Hypervisor and Container based Virtualization
当前的云虚拟化解决方案广泛依赖于基于虚拟机管理程序的技术。随着Docker最近的流行,基于容器的虚拟化开始受到更多的关注,因为它是一个有前途的替代方案。由于这两种虚拟化解决方案都不是无资源的,它们的性能开销会对云服务的质量产生负面影响。为了帮助从根本上理解这两种类型的虚拟化解决方案之间的性能差异,我们使用具有“刚好足够”资源的物理机作为基线,以调查独立Docker容器相对于独立虚拟机(VM)的性能开销。与相关工作的调查结果相反,我们的评估结果表明,虚拟化的性能开销可能会有所不同,不仅对功能的基础上,但也对作业的基础上。尽管基于容器的解决方案无疑是轻量级的,但基于虚拟机管理程序的技术并不是在每种情况下都会带来更高的性能开销。例如,Docker容器在存储事务速度方面表现出较低的QoS。
2017-08-04 cs.DC
Duration-Informed Workload Scheduler
University of Bologna(博洛尼亚大学)
本文提出一种增强型作业调度器,通过机器学习预测作业持续时间,减少平均等待时间11%,提升用户体验和系统效率。
2026-03-07 cs.AI cs.DC
Cost-Efficient Orchestration of Containers in Clouds: A Vision, Architectural Elements, and Future Directions
本文提出了一个架构框架,在云环境中的容器的有效编排。它围绕资源调度和重新调度策略以及自动缩放算法,使创建弹性虚拟集群。通过这种方式,所提出的框架使得能够在封装在容器中的不同客户端应用之间共享计算环境,包括Web服务、离线分析作业和后端预处理任务。所设计的资源管理算法和策略将提高可用虚拟资源的利用率,以降低提供商的运营成本,同时满足各种类型的应用程序的资源需求。所提出的算法将考虑以前被其他解决方案忽略的因素,包括1)获取资源的定价模型,2)应用程序的容错性,以及3)运行应用程序的QoS要求,如Web服务的延迟和吞吐量以及分析和预处理作业的截止日期。建议的解决方案将通过开发一个基于现有容器编排平台的原型平台进行评估。
2018-07-10 cs.DC
DriftSched: Adaptive QoS-Aware Scheduling under Runtime Token Drift for Multi-Tenant GPU Inference
University of California, Berkeley(加州大学伯克利分校)
提出DriftSched框架,通过运行时反馈驱动的漂移补偿和自适应偏差校正,解决多租户LLM推理中令牌漂移导致的调度问题,在NVIDIA L4 GPU上实现平均38.8%的估计误差降低和42%的中位延迟改善。
2026-06-23 cs.DC cs.LG cs.PF
EdgeBench: A Workflow-based Benchmark for Edge Computing
边缘计算已经被开发为出于隐私、成本和服务质量(QoS)原因而利用多层资源。边缘工作负载具有数据驱动和延迟敏感的特点。正因为如此,边缘系统已经发展成为异构和分布式的。边缘工作负载和边缘系统的独特特性激发了EdgeBench,这是一个基于工作流的基准测试,旨在提供探索边缘工作负载和边缘系统的完整设计空间的能力。EdgeBench既可定制又具有代表性。它允许用户自定义边缘工作负载的工作流逻辑、数据存储后端以及各个工作流阶段到不同计算层的分布。为了说明EdgeBench的可用性,我们还实现了两个代表性的边缘工作流,一个是视频分析工作流,另一个是物联网中心工作流,代表了两种不同但常见的边缘工作负载。这两个工作流都使用EdgeBench报告的工作流级别和功能级别指标进行评估,以说明边缘系统和边缘工作负载的性能瓶颈。
2020-10-27 cs.DC cs.PF
An Optimum Scheduling Approach for Creating Optimal Priority of Jobs with Business Values in Cloud Computing
通过考虑作业的业务重要性来实现最优的任务调度已经成为云计算的付费和使用模型中感兴趣的问题。引入一个合适的模型,一个有效的任务调度技术可以得到好处的服务提供商以及客户端。在本文中,我们解决了两个主要挑战,这对云系统的性能有影响。其中一个主要问题是处理分配任务的技术方面,以获得目标收益,第二个问题与处理业务优先级有关,以同时解决与云消费者相关的业务复杂性。通过适当考虑技术需求和业务需求这两个方面的权重,可以实现协调的调度。它可以这样做,它满足技术领域以及业务领域的QoS要求。与技术优先级一起,需要业务Bp来创建结果优先级,该优先级可以被赋予进一步处理的阶段,如任务分配和仲裁方案。在这里,我们考虑由半自适应调度算法管理的技术优先级Tp,而由此产生的优先级是由业务优先级Bp层封装技术优先级Tp以实现传入任务的总体优先级而得到的。这导致混合优先级创建,其是技术优先级Tp和业务优先级Bp的组合。通过考虑作业的业务优先级,可以为以其原生技术优先级提交的任务实现更高的服务水平满意度。通过这种方法,任务的等待时间往往会减少,它提供了更好的服务水平满意度。
2014-07-20 cs.DC cs.NI
Integrated Green Cloud Computing Architecture
任意使用云计算,无论是私人的还是公共的,都可能导致数据处理、存储和通信中的不经济能耗。因此,绿色云计算解决方案不仅旨在节约能源,还旨在减少运营成本和对环境的碳足迹。在本文中,提出了一个集成的绿色云架构(IGCA),它包括一个面向客户端的绿色云中间件,以帮助管理人员更好地监督和配置他们的整体访问云服务的最绿色或最节能的方式。无论是使用本地机器处理、私有云还是公共云,中间件都可以使用预定义的系统规范(如服务水平协议(SLA)、服务质量(QoS)、设备规范和IT部门提供的工作描述)来智能处理决策。分析模型用于显示在本地、私有和公共云服务提供商(CSP)之间进行选择时实现高效能耗的可行性。
2012-12-06 cs.DC
Qonductor: A Cloud Orchestrator for Quantum Computing
本文提出面向混合量子-经典应用的云编排器Qonductor,通过硬件无关API抽象编程复杂性,利用资源估计器和混合调度器优化资源分配与作业调度,在7000次真实量子运行实验中显著降低作业完成时间并提升资源利用率。
2025-11-04 cs.DC quant-ph
HolDCSim: A Holistic Simulator for Data Centers
跨越数据中心的基于云计算的系统通常被部署来为用户服务请求提供高性能。随着数据中心的不断扩展,计算机架构师和系统设计人员面临着如何平衡资源利用效率、服务器和网络性能、能耗和用户服务质量(QoS)需求的许多挑战。为了开发有效的数据中心管理策略,必须深入了解和协同控制大规模计算系统内部的各种子组件,包括计算和通信资源。在本文中,我们提出了HoldDCSim,一个轻量级的,整体的,可扩展的,事件驱动的数据中心仿真平台,有效地模拟服务器和网络架构。HoldDCSim可用于各种数据中心系统研究,包括作业/任务调度、资源配置、全局和本地服务器群电源管理以及网络和服务器性能分析。我们展示了我们的模拟基础设施的设计,并说明了我们的框架的有用性与几个案例研究,分析服务器/网络的性能和能源效率。我们还在真实机器上执行验证,以验证我们的模拟器。
2019-10-07 cs.DC
Resource Provisioning and Scheduling Algorithm for Meeting Cost and Deadline-Constraints of Scientific Workflows in IaaS Clouds
云计算的基础设施即服务模型是执行成本和期限约束的工作流应用的理想平台,因为云计算的弹性允许大规模复杂的科学工作流应用根据其期限要求动态地扩展。然而,在分布式计算环境中,这些多任务工作流作业的调度是一个计算困难的多目标组合优化问题。关键的挑战是调度工作流任务,同时满足用户的服务质量服务质量(QoS)的要求和应用程序的最后期限。现有的研究工作不仅未能解决这一挑战,而且没有纳入云环境中计算资源的弹性和异构性的基本原则。在本文中,我们提出了一个资源供应和调度算法调度IaaS云上的工作流应用程序,以满足应用程序的最后期限约束,同时优化执行成本。该算法是基于自然启发的人口智能水滴(IWD)优化算法。在CloudSim仿真环境下对4个实际工作流应用的实验结果表明,IWD算法能够在指定的截止期限内以最优的代价调度工作流任务。此外,IWD算法收敛速度快,接近最优解。
2018-06-06 cs.DC
Night-Window Batching versus Carbon-Aware Scheduling for Clinical AI GPU Workloads
University of Southern California(南加州大学)
通过计算机模拟,比较了夜间批处理与碳感知调度规则在混合GPU硬件上处理合成患者型作业时的碳足迹和截止时间遵守情况,发现夜间批处理在减少碳足迹的同时能更好地遵守紧急截止时间。
2026-06-01 cs.DC cs.ET
Learning to Dynamically Select Cost Optimal Schedulers in Cloud Computing Environments
云计算平台的运营成本是运营商最重要的服务质量(QoS)标准之一,对于跟上不断增长的计算需求至关重要。近年来,已经提出了几种基于数据驱动的深度神经网络(DNN)的路由器,通过为动态工作负载提供可扩展和有效的资源管理,这些路由器的性能优于替代方法。然而,最先进的调度器依赖于具有高计算要求的高级DNN,这意味着高调度成本。在非固定的情况下,可能并不总是需要最复杂的过滤器,依靠低成本的过滤器可能足以暂时节省运营成本。在这项工作中,我们提出了MetaNet,一个代理模型,预测的运营成本和调度开销的大量基于DNN的调度器,并选择一个在飞行中,以共同优化作业调度和执行成本。与最先进的方法相比,这有助于改善执行成本,能源使用和服务水平协议违规高达11%,43%和13%。
2022-05-21 cs.DC cs.PF
Modeling and Simulation of Scalable Cloud Computing Environments and the CloudSim Toolkit: Challenges and Opportunities
云计算旨在为下一代数据中心提供动力,并使应用程序服务提供商能够根据用户QoS(服务质量)要求租用数据中心功能以部署应用程序。云应用程序具有不同的组成、配置和部署要求。在云计算环境中,针对不同的应用和服务模型,在不同的负载、能量性能(功耗、散热)和系统规模下,对资源分配策略和应用调度算法的性能进行量化是一个具有挑战性的问题。为了简化这一过程,在本文中,我们提出CloudSim:一个可扩展的仿真工具包,使建模和模拟的云计算环境。CloudSim工具包支持在数据中心的模拟节点上建模和创建一个或多个虚拟机(VM)、作业及其到合适VM的映射。它还允许模拟多个数据中心,以研究虚拟机迁移的联合和相关策略,从而实现应用程序的可靠性和自动扩展。
2009-07-28 cs.DC cs.NI
Leveraging OpenStack and Ceph for a Controlled-Access Data Cloud
虽然传统的HPC已经并将继续满足大多数工作流程,但新一代的研究人员正在寻找在云环境中对计算基础设施进行复杂、可扩展、按需和自助式控制。许多企业还寻求安全港,以便在高容量环境中操作或存储敏感和/或访问受控的数据。为了满足这些现代用户的需求,明尼苏达超级计算研究所设计并部署了Stratus,这是一个由OpenStack平台提供支持并由Ceph存储支持的本地托管云环境。基于订阅的服务通过满足用户的以下未满足的需求来补充现有HPC系统:a)计算资源的按需可用性,b)长时间运行的作业(即,$> 30$天),c)使用Docker进行基于容器的计算,以及d)充分的安全控制以符合受控访问数据要求。本文档深入介绍了Stratus在安全性和遵守NIH受控访问数据政策方面的设计。重点是在将OpenStack和Ceph功能集成到所谓的“围墙花园”中时吸取的经验教训,以及这些技术如何影响安全设计。Stratus的许多功能,包括引入受控访问数据“缓存”的分层安全存储、容错实时迁移和完全集成的双因素身份验证,都依赖于最近的OpenStack和Ceph功能。
2018-07-23 cs.DC
Tutorial: Object as a Service (OaaS) Serverless Cloud Computing Paradigm
本文提出 Object-as-a-Service (OaaS) 无服务器范式,通过封装应用逻辑、数据和非功能需求简化云原生开发,并基于开源平台 Oparaca 提供概念设计与应用部署教程。
2024-07-24 cs.DC
Optimizing Task Scheduling in Fog Computing with Deadline Awareness
University of Texas at San Antonio(圣安东尼奥德克萨斯大学)
本文提出RIGEO算法,结合改进的黄金鹰优化算法和强化学习,用于雾计算中任务调度,以降低能耗、提升响应时间和减少截止时间违规。
2026-02-15 cs.AR cs.DC
Repurposing of the Run 2 CMS High Level Trigger Infrastructure as a Cloud Resource for Offline Computing
本文介绍将CMS Run 2 HLT农场重新部署为基于真空模型的永久云资源,以增强离线计算能力,解决静态虚拟机配置的局限性。
2024-05-23 cs.DC
FIKIT: Priority-Based Real-time GPU Multi-tasking Scheduling with Kernel Identification
University of Chicago(芝加哥大学)
针对云GPU共享中现有方案缺乏内核级优先级优化的问题,提出FIKIT内核级调度策略,利用高优任务内核间空闲执行低优任务,显著加速高优任务且开销低于5%。
2024-02-01 cs.DC cs.LG