Resource Management and Scheduling for Big Data Applications in Cloud Computing Environments
本章介绍大数据处理平台的软件架构。它将提供在云环境中部署大数据处理系统时所涉及的资源管理技术的深入知识。它从最基本的开始,逐步介绍我们分为多个层次的资源管理的核心组件。它涵盖了国家的最先进的实践和研究,在SLA为基础的资源管理,特别侧重于作业调度机制。
2018-12-31 cs.DC
Resource Management in Fog/Edge Computing: A Survey
与使用远程和集中的云数据中心资源相反,在网络边缘采用分散的资源来处理更靠近用户设备(例如智能手机和平板电脑)的数据是即将到来的计算范例,称为雾/边缘计算。与云相比,雾/边缘资源通常是资源受限的、异构的和动态的,从而使资源管理成为需要解决的重要挑战。本文回顾了早在1991年的出版物,其中85%的出版物在2013-2018年之间,以识别和分类雾/边缘计算中管理资源的架构,基础设施和底层算法。
2018-09-30 cs.DC
Fog Computing based SDI Framework for Mineral Resources Information Infrastructure Management in India
空间数据基础设施(SDI)是一个重要的概念,用于在网络上共享空间数据。随着空间云计算和雾计算等技术的积累,空间数据基础设施具有更大的发展潜力,已经成为空间数据处理、分析和传输的工具。雾计算是一种范例,其中雾设备有助于增加吞吐量并减少客户端边缘相对于云计算环境的延迟。本文提出并开发了一个基于雾计算的SDI框架,用于从印度矿产资源管理的空间大数据中进行挖掘分析。我们使用嵌入式微处理器Raspberry Pi构建了一个原型。我们通过对印度矿产资源管理的案例研究进行了初步的分析,包括叠加分析。结果表明,雾计算在空间数据分析中具有广阔的应用前景。我们使用开源GIS,即QGIS和QIS插件,以减少从雾节点到云的传输。
2018-01-11 cs.DC
An Architecture for Integrated Intelligence in Urban Management using Cloud Computing
随着新方法和新技术的出现,管理大量的环境传感数据和应用新的集成计算模型来获取信息智能已经成为可能。本文倡导应用云能力来支持城市和区域发展管理这一复杂业务中各种利益相关者的信息、通信和决策需求。复杂性在于城市生态系统概念在不同治理层面上的相互作用和影响。这突出表明需要更有效的综合环境管理系统。本文提供了一个面向用户的方法的基础上的要求,有效管理的城市生态系统和潜在的贡献,可以支持的云计算社区。此外,城市层面变革驱动因素的影响具有共性,这为云计算社区提供了机会,可以开发通用解决方案,满足欧洲乃至全球数百个城市的需求。
2012-02-24 cs.DC
Virtual Machine Migration: A Resource Intensive Outsourcing Mechanism for Mobile Cloud Computing
在移动云计算(MCC)中,基于虚拟机(VM)迁移的进程卸载是增强智能移动设备(SMD)的主要方法。VM部署的一个挑战性方面是在VM的部署和管理中使用额外的计算资源,这迫使计算资源用于VM创建和配置。虚拟机的管理包括虚拟机全生命周期监控中的计算资源开发和SMD上虚拟机的物理资源管理。因此,基于VM迁移的应用卸载需要额外的计算资源。因此,计算资源需求和应用程序的执行时间分别增加。在本文中,我们经验审查的影响,虚拟机的部署和管理的应用程序的执行时间在不同的情况下。我们调查虚拟机部署和管理的应用程序处理在模拟环境中采用CloudSim:一个模拟工具包,提供了一个可扩展的模拟框架,模拟虚拟机部署和管理的应用程序处理在云基础设施。这项工作的重要性在于确保VM部署和管理需要SMD上的额外计算资源,以实现应用程序卸载。我们通过分析不同场景下的关键性能参数(KPPs)来评估应用程序处理中的VM部署和管理;例如VM部署,应用程序的执行时间和模拟的总执行时间。我们使用KPPs来评估不同实验方案结果的偏差。实证分析的结论是,虚拟机的部署和管理需要额外的资源上的计算主机,使其成为一个重量级的方法,在智能移动终端的进程卸载。
2012-11-30 cs.DC
A study of risk management in cloud computing bank
云计算显然有助于降低成本并提供最佳调度水平。然而,在实践中,它可能会面临资源不足的问题。考虑到云计算银行具有一定的商业性质,资源不可用性,如流动性风险,仍然存在。在本文中,试图通过一个解决方案,到目前为止,在经济中应用,它是如何可能预测这样的流动性风险,在云计算银行。所提出的解决方案尤其适用于库存管理。为了降低风险,我们还将使用一种基于流体力学的物理学方法;这是伯努利定理的应用,称为托里切利。将资源库看作是一个储集层,资源的可利用性取决于流体的流动速度和置换量。
2014-03-10 cs.DC
A Survey on UAV-enabled Edge Computing: Resource Management Perspective
本文从资源管理视角综述无人机赋能边缘计算(UEC),梳理其架构、协作、通信模型、关键技术、指标与分类,并指出未来开放挑战。
2023-09-26 cs.DC
workload forecasting and resource management models based on machine learning for cloud computing environments
工作负载预测和资源分配在高效云环境的生产中起着重要的作用。在决定资源分配之后对未来工作负载的主动估计已经成为处理其他内置挑战的优先解决方案,这些挑战包括物理机器的欠载/过载、资源浪费、服务质量(QoS)违规、负载均衡、VM迁移等等。在这种情况下,本文提出了一个全面的调查工作量预测和预测资源管理模型在云环境中。讨论了与云计算有关的工作负载预测和资源管理的概念框架、现有基于机器学习的资源分配技术的分类以及物理资源分配的低效分配的主要挑战。此后,全面调查现有的国家的最先进的贡献授权机器学习为基础的方法在云工作负载预测和资源管理领域。最后,本文探讨和总结了云环境下弹性资源管理面临的各种挑战和未来的研究方向。
2021-06-29 cs.DC
Towards automation of computing fabrics using tools from the fabric management workpackage of the EU DataGrid project
欧盟数据网格项目工作包4的目标是提供必要的工具,用于自动化管理中型到超大型计算结构。在第二个项目年结束时,已经交付了用于集中配置管理(在LISA'02上介绍)和性能/异常监测的子系统。这将很快增加一个用于节点安装和服务配置的子系统,该子系统基于现有的广泛使用的标准(如rpm、kickstart、init.d脚本)和与操作系统相关组件的干净接口(如基础安装和服务管理)。这三个子系统一起允许对非常大的计算机群进行集中管理。最后,一个容错系统正在开发中,以便将上述子系统结合在一起,在2003年第三季度前形成一个完整的自动化企业计算管理框架。所有开发的软件都是欧盟数据网格项目许可协议所涵盖的开源软件。本文介绍了所设计的结构管理系统背后的体系结构和不同的发展状况。它还涵盖了现有的自动化配置和安装工具的经验,这些工具从一开始就被调整和使用,以管理欧盟数据网格测试平台,该平台现在用于LHC数据挑战。
2003-05-30 cs.DC
Autonomic Management of Power Consumption with IoT and Fog Computing
我们介绍了一种用于在涉及物联网(IoT)和雾计算的设置中自主管理功耗的系统。中央物联网(CIoT)是一种基于雾计算的解决方案,提供先进的编排机制来管理动态占空比,以节省额外的能源。该解决方案通过基于上下文信息(例如环境条件、用户行为、行为变化、关于能量和网络资源利用的规定等)调整归属(H)和离开(A)周期来工作。通过概念验证进行的性能分析显示,平均节能58.4%,在增加调度系统和可变长睡眠周期(LS)时,节能率高达61.51%。然而,不存在增加LS时间和更多节省的线性关系。这项研究的意义是促进自主管理作为一种解决方案,以发展更节能的建筑和更智能的城市,实现可持续发展的目标。
2021-05-12 cs.DC
Energy-Efficient Resource Management in Microservices-based Fog and Edge Computing: State-of-the-Art and Future Directions
University of Sargodha(萨戈达大学);University of Surrey(萨里大学);University of Kurdistan(库尔德斯坦大学);The University of Melbourne(墨尔本大学)
本文综述了基于微服务的雾和边缘计算中最新的节能资源管理策略,识别了现有研究中的挑战,并提出了利用AI、量子计算和无服务器计算等技术的未来研究方向。
2025-11-18 cs.DC
A Taxonomy of Workflow Management Systems for Grid Computing
随着网格技术和应用技术的出现,科学家和工程师们正在构建越来越复杂的应用程序来管理和处理大型数据集,并在分布式资源上执行科学实验。这样的应用场景需要用于组成和执行复杂工作流的手段。因此,许多努力已经朝着网格计算的工作流管理系统的发展。在本文中,我们提出了一个分类的特点和分类网格上的工作流的建设和执行的各种方法。我们还调查了几个有代表性的网格工作流系统开发的各种项目在世界范围内展示分类的全面性。该分类法不仅突出了设计和工程的相似性和差异,国家的最先进的网格工作流系统,但也确定了需要进一步研究的领域。
2005-04-13 cs.DC
Enabling On-Demand Database Computing with MIT SuperCloud Database Management System
MIT SuperCloud数据库管理系统允许快速创建和灵活执行各种最新的科学数据库,包括Apache Accumulo和SciDB。它旨在允许这些数据库在高性能计算集群(HPCC)平台上运行,就像任何其他HPCC作业一样无缝。它可以确保数据库无缝迁移到HPCC调度程序分配的资源,并在不运行时集中存储数据库文件。它还允许对数据库进行快照,以允许研究人员进行实验并推动技术的极限,而无需担心数据库变得不稳定时的数据或生产力损失。
2015-06-29 cs.DB cs.DC
Energy-Efficient Management of Data Center Resources for Cloud Computing: A Vision, Architectural Elements, and Open Challenges
云计算为全球用户提供面向实用程序的IT服务。基于按需付费模型,它可以托管来自消费者、科学和商业领域的普遍应用程序。然而,托管云应用程序的数据中心消耗大量能源,导致高运营成本和对环境的碳足迹。因此,我们需要绿色云计算解决方案,不仅可以为环境节省能源,还可以降低运营成本。本文介绍了云计算环境节能管理的愿景、挑战和架构元素。我们专注于动态资源供应和分配算法的开发,这些算法考虑了各种数据中心基础设施之间的协同作用(即,硬件、电源单元、冷却和软件),并全面提高数据中心的能效和性能。特别是,本文提出了(a)架构的云节能管理原则;(b)节能资源分配政策和调度算法,考虑服务质量的期望,和设备的功率使用特性;和(c)一种新的软件技术,云节能管理。我们已经验证了我们的方法进行了一系列严格的性能评估研究,使用CloudSim工具包。结果表明,云计算模型具有巨大的潜力,因为它提供了显着的性能增益方面的响应时间和成本节约动态工作负载的情况下。
2010-06-02 cs.DC
Modelling and Simulation of Fog and Edge Computing Environments using iFogSim Toolkit
Fog计算中的资源管理非常复杂,因为它涉及大量不同的和资源受限的Fog节点,以分布式方式满足支持IoT的系统的计算需求。它与云的集成引发了组合资源管理的进一步困难。物联网设备的不同感知频率、分布式应用结构及其协调也影响着雾计算环境中的资源管理。为了促进雾及其资源管理的发展,进行广泛的研究是毫无疑问的.为了发展和评估不同的想法和资源管理政策,对雾环境的实证分析是关键。由于Fog计算环境包含物联网设备、Fog节点和云计算中心以及大量的物联网数据和分布式应用程序,因此Fog环境的实际实施将非常昂贵。此外,在真实世界的雾环境中修改任何实体将是繁琐的。在这种情况下,模拟雾计算环境可以是非常有帮助的。仿真工具包不仅提供了框架来设计定制的实验环境,而且还有助于可重复的评估。在本章中,我们将重点介绍用于建模和模拟雾计算环境的iFogSim工具包教程。我们相信本章将为研究人员提供一种在研究工作中应用iFogSim的简化方法。
2018-12-03 cs.DC
Cloud Infrastructure Service Management - A Review
新的计算时代称为云计算,允许用户随时随地通过Internet动态访问云服务。云由数据和资源组成;云服务包括基于用户需求通过互联网在互联网上交付软件、基础设施、应用程序和存储。简而言之,云计算是一种商业和经济模式,允许用户利用高端计算和存储,而在他们的终端上使用最少的基础设施。云有三种服务模式,即云软件即服务(SaaS)、云平台即服务(PaaS)和云计算结构即服务(IaaS)。本文深入讨论了云基础设施服务管理。
2012-05-30 cs.DC
COUNTER: Cluster GCN based Energy Efficient Resource Management for Sustainable Cloud Computing Environments
针对云计算数据中心高能耗及大型AI模型加剧环境影响的问题,提出集成聚类图神经网络的COUNTER模型,在模拟环境中评估显示其较HUNTER模型在资源利用率、能耗和成本效益上更优。
2025-04-14 cs.DC
Carbon-aware Resource Management for Latency-Sensitive Cloud Computing Environments: A Taxonomy and Future Directions
University of Melbourne(墨尔本大学);University of Amsterdam(阿姆斯特丹大学)
本文针对延迟敏感型云计算环境的碳感知资源管理问题,对相关最新文献进行分类分析,指出现有研究差距并提出未来研究方向,助力平衡延迟约束与碳减排目标。
2026-10-22 cs.DC
Adaptive Management of Microservices in Dynamic Computing Environments: A Taxonomy and Future Directions
The University of Melbourne(墨尔本大学)
本文探讨动态环境中微服务的自适应管理,通过分类和评估展示现有系统在动态建模和评估中的不足,并提出未来研究方向,如跨层协调和安全学习控制。
2026-04-28 cs.DC
Autonomic Cloud Computing: Open Challenges and Architectural Elements
由于云是复杂的、大规模的、异构的分布式系统,其资源的管理是一项具有挑战性的任务。他们需要自动化和集成的智能策略来配置资源,以提供安全、可靠和经济高效的服务。因此,服务的有效管理成为构成计算云结构的软件平台的基础。在这个方向上,本文确定了自主资源配置的开放问题,并提出了创新的管理技术,支持SaaS应用程序托管在云。我们提出了一个概念性的架构和早期的结果证明了云的自主管理的好处。
2012-09-15 cs.DC
Distributed Deep Learning Inference Acceleration using Seamless Collaboration in Edge Computing
Aarhus University(奥胡斯大学)
本文研究了在协作边缘计算中使用分布式卷积神经网络(CNN)的推理加速。为了保证推理任务划分的准确性,我们在执行基于段的划分时考虑了感受域。为了最大限度地提高通信和计算过程之间的并行性,从而最大限度地减少推理任务的总推理时间,我们设计了一种新的任务协作方案,在该方案中,辅助边缘服务器(ES)上的子任务的重叠区域在主机ES上执行,称为HALP.我们进一步将HALP扩展到多任务的场景。实验结果表明,在GTX 1080 TI和JETSON AGX Xavier上,HALP可以将VGG-16中的CNN推理速度提高1.7- 2.0倍(对于单个任务)和1.7- 1.8倍(对于每批4个任务),这优于最先进的MoDNN。此外,我们还对时变信道下的服务可靠性进行了评估,结果表明HALP是一种在严格的服务截止期下保证高服务可靠性的有效解决方案。
2022-07-22 cs.AI cs.DC
an intelligent security centered resource-efficient resource management model for cloud computing environments
本文提出了一个概念模型,在云环境中的安全和性能高效的工作负载管理模型。在该模型中,采用资源管理单元来进行虚拟机的能量和性能优化分配,同时通过实时防御由于对虚拟机的未授权访问而导致的数据泄露来确保用户应用程序的安全处理。资源管理单元由安全虚拟机管理单元引导,该安全虚拟机管理单元被设计为生成关于活动虚拟机之间的未授权访问或相互通信链路的信息。此外,工作负载分析器单元同时操作以估计资源利用信息,以帮助资源管理单元进行虚拟机的性能高效分配。与先前的工作,从事访问控制机制,加密和解密的数据之前的传输和隧道的使用,以防止未经授权的访问虚拟机,从而提高了额外的计算成本开销,所提出的模型操作diligence有效地服务于相同的目的。
2022-10-29 cs.DC
ENORM: A Framework For Edge NOde Resource Management
随着数十亿设备连接到互联网,目前使用云作为集中式服务器的计算技术将变得站不住脚。这就提出了对雾计算的需求,雾计算利用了节点上网络边缘的计算,如路由器、基站和交换机以及云计算。然而,为了实现雾计算,需要解决管理边缘节点的挑战。本文旨在解决资源管理的挑战。我们开发了第一个框架来管理边缘节点,即边缘节点资源管理(ENORM)框架。提出了用于供应和自动缩放边缘节点资源的机制。该框架的可行性证明了一个PokeMon Go类在线游戏用例。使用ENORM的好处是将应用程序延迟降低了20% - 80%,并将边缘节点和云之间的数据传输和通信频率降低了95%。这些结果突出了雾计算在提高服务质量和体验方面的潜力。
2017-09-12 cs.DC
Cloudbus Toolkit for Market-Oriented Cloud Computing
本主旨文件:(1)提出了21世纪计算的愿景,并确定了各种有望将计算作为一种实用工具提供的IT范式;(2)定义了利用虚拟机等技术创建面向市场的云和计算环境的架构;(3)提供了基于市场的资源管理策略的思想,包括客户驱动的服务管理和计算风险管理,以维持SLA-面向资源分配;(4)介绍了作为我们新的云计算计划(称为Cloudbus)的一部分而开展的工作:(i)Aneka,一个包含SDK的平台即服务软件系统(软件开发工具包),用于构建云应用并部署在私有云或公共云上,以及支持面向市场的资源管理;(iii)创建第三方云代理服务,用于构建内容分发网络和电子科学应用程序,并将其部署在IaaS提供商(如Amazon)的能力上以及网格混搭;(iv)CloudSim支持云的建模和模拟,用于性能研究;(v)用于创建和管理绿云的节能资源分配机制和技术;以及(vi)未来研究的途径。
2009-10-11 cs.DC
Economic-based Distributed Resource Management and Scheduling for Grid Computing
计算网格作为下一代计算的基础设施,能够共享、选择和聚合地理上分布的资源,以解决科学、工程和商业中的大规模问题。由于网格中的资源是异构的,并且在地理上分布,具有不同的可用性以及针对不同用户在不同时间的各种使用和成本策略,并且优先级以及目标随时间而变化。在这样一个大型的分布式环境中,资源管理和应用程序调度是一项复杂的任务。本论文提出了一个分布式计算经济作为一个有效的隐喻资源管理和应用程序调度。提出了一种支持资源交易和基于服务质量的调度的体系结构框架。它使资源的供应和需求的监管,并提供了一个激励资源所有者参与网格和动机的用户之间的最后期限,预算和所需的服务质量水平进行权衡。论文通过开发用户服务质量需求驱动的调度策略和算法,展示了基于经济的系统用于对等分布式计算的能力。它证明了他们的有效性,通过执行调度实验在全球范围内的网格解决参数扫描应用程序。
2002-04-22 cs.DC
Recent Advances in Energy Efficient Resource Management Techniques in Cloud Computing Environments
如今,由于硬件、软件和维护成本的降低,云计算作为托管应用程序和服务的一种形式被广泛采用。云支持访问托管在大型高能耗数据中心的虚拟资源共享池,以提供具有动态工作负载的各种信息和通信服务。云数据中心的巨大能源消耗导致了高昂的电费以及大量二氧化碳气体的排放。毋庸置疑,云环境中的高效资源管理已成为云提供商最重要的优先事项之一,因此增加了研究人员提出新的节能解决方案的兴趣。本章对云环境中最新的节能云资源管理解决方案进行了科学和分类调查。本研究的主要目的是提出一个新的完整的分类,节能的云资源管理解决方案,回顾最近在这方面的研究进展,分类现有的技术的基础上,我们提出的分类,并开辟新的研究方向。此外,它还回顾和调查了2015年至2021年期间有关节能云资源管理技术的文献,并将其映射到其建议的分类中,从而揭示了新的研究方向,并促进了未来研究的开展。
2021-07-13 cs.DC
Security Management Model in Cloud Computing Environment
在云计算环境下,云虚拟机(VM)的数量将越来越多,虚拟机的安全和管理面临巨大的挑战。为了解决云计算虚拟化环境下的安全问题,提出了一种基于虚拟机高效动态部署的虚拟机安全管理模型--状态迁移与调度,研究了其中的虚拟机安全体系结构,基于层次分析法一种基于ARMUM的虚拟机部署调度方法(Cumulative Sum)DDoS攻击检测算法,以及上述用于功能测试和验证的方法。
2016-11-27 cs.DC cs.NI
A Model for Grid User Management
在大规模网格计算环境中,用户的注册和管理提出了新的挑战,现有的协议没有很好地解决。在单个虚拟组织(VO)中,数千名用户可能需要访问数百个计算站点,而用户在每个站点注册本地帐户的传统模式将带来重大的扩展问题。然而,计算站点必须保持对站点访问的控制,并且站点策略通常要求每个用户具有单独的本地帐户。我们在这里提出了一个模型,允许用户注册一次VO,但仍然提供所有的计算站点的信息,他们需要与所需的信任级别。我们已经开发了工具,使网站自动管理本地帐户和网格身份和本地帐户之间的映射。
2003-06-13 cs.DC
ThermoSim: Deep Learning based Framework for Modeling and Simulation of Thermal-aware Resource Management for Cloud Computing Environments
当前的云计算框架托管数百万个物理服务器,这些物理服务器以不同虚拟机(VM)的形式利用云计算资源。云数据中心(CDC)基础设施需要大量的能源来提供大规模计算服务。计算节点产生大量的热量,需要冷却单元来消除这种热量的影响。因此,CDC的总体能耗对于服务器以及冷却单元而言极大地增加。然而,目前的工作负载分配策略没有考虑到对温度的影响,这是具有挑战性的模拟CDC的热行为。需要一个热感知框架来模拟和建模节点的行为,并测量可能受其温度影响的重要性能参数。在本文中,我们提出了一个轻量级的框架,ThermoSim,热感知资源管理的建模和仿真的云计算环境。这项工作提出了一种基于递归神经网络的深度学习温度预测器,用于CDC,ThermoSim用于受限云环境中的轻量级资源管理。ThermoSim扩展了CloudSim工具包,帮助分析各种关键参数的性能,例如能耗,SLA违规率,VM迁移数量和在云资源管理过程中执行工作负载的温度。此外,不同的能量感知和热感知资源管理技术进行了测试,使用建议的ThermoSim框架,以验证它对现有的框架。实验结果表明,所提出的框架能够对CDC的热行为进行建模和仿真,并且ThermoSim框架在能耗、成本、时间、内存使用和预测精度方面优于Thas。
2020-05-08 cs.DC
iFogSim: A Toolkit for Modeling and Simulation of Resource Management Techniques in Internet of Things, Edge and Fog Computing Environments
物联网(IoT)旨在将每个对象(例如智能相机,可穿戴设备,环境传感器,家用电器和车辆)在线,从而产生大量数据,这些数据可能会淹没存储系统和数据分析应用程序。云计算在基础设施级别提供服务,可以扩展到物联网存储和处理需求。然而,有些应用程序(如健康监测和紧急响应)需要低延迟,将数据传输到云然后返回应用程序所造成的延迟可能会严重影响其性能。为了克服这一局限性,人们提出了雾计算模式,将云服务扩展到网络边缘,以减少延迟和网络拥塞。为了充分发挥雾和物联网模式在实时分析方面的潜力,需要解决几个挑战。第一个也是最关键的问题是设计资源管理技术,确定将哪些分析应用程序模块推送到每个边缘设备,以最大限度地减少延迟并最大限度地提高吞吐量。为此,我们需要一个评估平台,以可重复的方式量化物联网或雾计算基础设施上的资源管理策略的性能。在本文中,我们提出了一个名为iFogSim的模拟器,用于对物联网和雾环境进行建模,并测量资源管理技术在延迟、网络拥塞、能耗和成本方面的影响。我们描述了两个案例研究,以展示物联网环境的建模和资源管理策略的比较。此外,在不同的情况下,在RAM消耗和执行时间方面的仿真工具包的可扩展性进行了验证。
2016-06-07 cs.DC
Software Defined Edge Computing for Distributed Management and Scalable Control in IoT Multinetworks
最近,边缘计算已经成为支持物联网多网络中移动访问的一个有前途的范例。然而,异构无线通信方案的共存给此类网络中的移动性管理和接入控制带来了新的挑战。为了保持其计算连续性,软件定义网络(SDN)架构可以应用于分布式边缘网络,其为移动性管理提供一致的框架并为访问控制创建安全机制。在本文中,我们首先回顾了最先进的SDN技术及其在边缘计算中的应用。特别是,我们强调了与边缘计算环境中SDN的移动性管理和访问控制相关的突出问题。我们还介绍了一些有效的解决方案,这些问题,通过提出现实世界的测试床实验,原型和数值分析采用基于SDN的边缘计算范例的物联网多网络。
2021-04-06 cs.DC cs.NI
A Taxonomy for Management and Optimization of Multiple Resources in Edge Computing
边缘计算的推广是为了在当前网络的边缘使用靠近终端设备的计算和存储资源来满足数据驱动服务日益增长的性能需求。为了在这种新模式中实现更高的性能,必须考虑如何在所有三个架构层(终端设备、边缘设备和云)上结合资源使用效率。虽然云容量是弹性可扩展的,但终端设备和边缘设备在不同程度上受到资源约束。因此,有效的资源管理对于实现边缘计算至关重要。在这项工作中,我们首先提出术语和架构来描述边缘计算领域内的当前工作。然后,我们回顾了广泛的最近的文章,并将相关方面的4个方面:资源类型,资源管理目标,资源定位,资源使用。这种分类和随后的分析是用来确定现有研究中的一些差距。在几个研究差距中,我们发现,数据,存储和能源作为一种资源的研究不太普遍,并且对估计,发现和共享目标的研究也不太广泛。至于资源类型,研究最多的资源是计算和通信资源。我们的分析表明,边缘的资源管理需要更深入地了解在不同级别应用的方法以及面向不同资源类型的方法如何相互作用。具体而言,与传统的云解决方案相比,需要激励的移动性和协作方案的影响预计在边缘架构中会有所不同。最后,我们发现,较少的作品致力于研究非功能属性或量化资源管理技术的足迹,包括边缘特定的手段迁移数据和服务。
2018-04-19 cs.DC
A Multidimensional Elasticity Framework for Adaptive Data Analytics Management in the Computing Continuum
针对计算连续体中资源与数据分析需求动态波动带来的管理挑战,本文提出一种基于多维弹性的框架,利用编排器动态调整资源并调节分析要求,以实现系统平衡高效运行。
2025-01-20 cs.DC
GridSim: A Toolkit for the Modeling and Simulation of Distributed Resource Management and Scheduling for Grid Computing
集群、网格和对等(P2P)网络已成为下一代并行和分布式计算的流行范例。在这种大规模的分布式系统中,资源的管理和应用程序的调度是一项复杂的任务。为了证明资源代理和相关调度算法的有效性,需要在不同的场景下评估它们的性能,例如不同数量的资源和具有不同需求的用户。在网格环境中,由于资源和用户分布在多个组织中,并且具有各自的策略,因此很难甚至不可能以可重复和可控的方式执行调度器性能评估。为了克服这个限制,我们已经开发了一个基于Java的离散事件网格仿真工具包GridSim。该工具包支持异构网格资源(时间和空间共享)、用户和应用程序模型的建模和仿真。它为应用程序任务的创建、任务到资源的映射及其管理提供了原语。为了证明GridSim工具包的适用性,我们模拟了Nimrod-G网格资源代理和评估的最后期限和预算约束的成本和时间最小化调度算法的性能。
2002-03-14 cs.DC
EdgeAISim: A Toolkit for Simulation and Modelling of AI Models in Edge Computing Environments
本文提出轻量级 Python 工具包 EdgeAISim,扩展 EdgeSimPy 并集成多种强化学习模型,以支持边缘计算资源管理策略的 AI 仿真与功耗优化。
2023-10-09 cs.DC
Resource management on a VM based computer cluster for scientific computing
在过去的十年中,主机虚拟化带来了一场革命,几乎所有与信息技术相关的活动都被认为是和执行的。HPC和HTC计算的虚拟化使用,虽然迫切需要,但可能是这场革命的最后一步,由于硬件抽象层导致的性能损失是减慢其他领域更快的过程的原因。如今,虚拟化和新的虚拟化技术的广泛传播似乎有助于打破这最后一个障碍,并且在许多数据中心中都可以找到HPC和HTC的虚拟主机计算基础设施。在本文档中,描述了在INFN“Granatori Nazionali del Gran Sasso”处采用的用于经由基于虚拟主机的计算设施来提供计算资源的方法。特别是证据的存储布局,中间件体系结构和资源分配策略,因为这些都是个性化的解决方案被采纳的问题。其他方面可能在今后其他文件中涉及。
2012-12-19 cs.DC
Environment-Aware AUV Trajectory Design and Resource Management for Multi-Tier Underwater Computing
水下物联网(IOUT)被认为是海事活动的重要组成部分。鉴于物联网设备的广域分布和有限的发射功率,自主水下航行器(AUV)已被广泛采用,用于收集物联网设备感测到的数据并将其转发到水面站。为了适应物联网应用的不同需求,必须通过仔细利用水面站和AUV以及物联网设备的计算和通信以及存储资源来构思多层水下计算(MTUC)框架。此外,为了满足物联网设备严格的能量约束和降低MTUC框架的运行成本,提出了一种环境感知的AUV轨迹设计和资源管理联合问题,该问题是一个高维NP-hard问题.为了应对这一挑战,我们首先将问题转化为马尔可夫决策过程(MDP),并解决它的援助的异步优势演员评论家(A3 C)算法。我们的仿真结果证明了我们的计划的优越性。
2022-10-26 cs.DC
Decentralized Resource Discovery and Management for Future Manycore Systems
下一代众核支持的大规模计算系统依赖于连接成单个计算单元的数千亿个异构处理核。在这样的大规模计算环境中,资源管理是高效资源共享和利用的最具挑战性和最复杂的问题之一,特别是当我们向未来众核系统(FMCS)发展时。这项工作提出了一种新的资源管理方案,为未来的千万亿次规模的众核计算系统,基于混合自适应资源发现,称为ElCore。所提出的架构包含一组模块,这些模块将根据需要在分布式系统中的节点上动态地实例化。我们的方法提供了灵活性,为各种类型的进程/应用程序分配所需的资源集。它也可以被认为是一个通用的解决方案(相对于大规模计算环境的一般要求),它带来了一组有趣的功能(如自动扩展,多租户,多维映射等)。使其易于适应任何分布式技术(如SOA、网格和HPC众核)。所取得的评估结果保证了显着的可扩展性和高质量的资源映射建议的资源发现和管理在高度异构的,分层的和动态的计算环境中的几个可扩展性和效率方面,同时支持灵活和复杂的查询,保证发现结果的准确性。仿真结果证明,使用我们的方法,进程和资源之间的映射可以做到高水平的准确性,这可能会导致显着提高系统的整体性能。
2017-10-10 cs.DC
Market-Oriented Cloud Computing: Vision, Hype, and Reality for Delivering IT Services as Computing Utilities
本主旨文件:提出了21世纪的计算愿景;确定了有望实现计算实用程序愿景的各种计算范例;定义了云计算,并提供了利用虚拟机等技术创建面向市场的云的体系结构;提供了基于市场的资源管理策略的思想,这些策略包括客户驱动的服务管理和计算风险管理,以维持面向SLA的资源分配;介绍了几种典型的云计算平台,特别是工业领域的云计算平台,以及利用第三代Aneka企业网格技术实现面向市场的云计算资源分配的研究现状,揭示了我们对云计算互连的初步设想,并指出了未来的研究方向;并总结了为实现我们的21世纪愿景,需要融合相互竞争的IT范式。
2008-08-26 cs.DC
An Economic-based Resource Management and Scheduling for Grid Computing Applications
在网格计算环境中,资源管理和调度是实现资源高效利用的关键。在网格系统中,由于资源的异构性,应用程序的调度是一项非常复杂和具有挑战性的任务。在这方面的研究大多集中在提高网格系统的性能。基于可分负载理论,针对不同类型的工作负载和单个源处理器,已经提出了一些分配模型。本文介绍了一种新的资源分配模型,该模型以多个负荷源处理机作为经济模型。通过线性规划方法,得到了以电网用户成本最小为目标的最优负荷分配方案。结果表明,该资源分配模型能够有效地将工作负载分配到合适的资源上。实验结果表明,该模型在成本和时间上都得到了较好的解决方案。
2010-04-20 cs.DC
Energy-Efficiency and Sustainability in New Generation Cloud Computing: A Vision and Directions for Integrated Management of Data Centre Resources and Workloads
针对云计算能耗激增带来的环境与运营问题,本文提出以学习为核心的新一代云环境集成管理愿景,明确相关维度与关键问题,给出概念架构及初步结果,验证其在保服务质量的同时降能耗减碳排的潜力。
2023-07-20 cs.DC
Economic Models for Management of Resources in Grid Computing
网格和对等计算的快速发展使其成为有前途的下一代计算平台。它们可以创建虚拟企业(VE),以共享分布在世界各地的资源。然而,这些环境中的资源管理、应用程序开发和使用模型是一项复杂的任务。这是由于不同组织拥有的资源的地理分布。这些资源中的每一个的资源所有者具有不同的使用或访问策略和成本模型,以及变化的负载和可用性。为了解决复杂的资源管理问题,我们提出了一个计算经济的资源分配和调节供应和需求的网格计算环境中的框架。该框架提供了通过交易和中介服务优化资源提供者和消费者目标函数的机制。在现实世界的市场中,存在各种经济模型,用于根据供求关系及其对用户的价值来设定商品价格。它们包括商品市场、标价、招标和拍卖。在本文中,我们将讨论使用这些模型的网格组件之间的互动,在决定资源的价值和必要的基础设施,以实现它们。除了网格计算系统提供的常规服务之外,我们还需要一个基础设施来支持交互协议、分配机制、货币、安全银行和强制服务。此外,我们展示了使用这些经济模型中的一些资源经纪人通过Nimrod/G的最后期限和基于成本的调度两种不同的优化策略上的万维网(WWG)的测试平台。
2001-06-11 cs.DC
Container Orchestration in Edge and Fog Computing Environments for Real-Time IoT Applications
资源管理是充分利用边缘/雾计算潜力执行实时的【形】关键物联网应用的主要因素。虽然存在一些资源管理框架,但大多数都不是基于分布式容器化组件设计的。因此,它们不适合高度分布式和异构的计算环境。容器化的资源管理框架(如FogBus 2)可以有效地将框架组件与物联网应用组件一起分发。然而,大量容器的管理、部署、健康检查和可扩展性是具有挑战性的问题。为了编排多个容器,开发了若干编排工具。但是,这些编排工具中的许多都是重量级的,并且具有很高的开销,特别是对于资源有限的边缘/雾节点。因此,对于由异构边缘/雾和/或云节点组成的混合计算环境,需要轻量级容器编排工具来支持边缘/雾处的资源有限的资源和云处的资源丰富的资源。因此,在本文中,我们针对提供容器化资源管理框架的FogBus 2框架提出了一种基于K3构建混合轻量级集群的可行方法。这项工作解决了在混合计算环境中创建轻量级计算集群的挑战。本文还提出了在混合环境中部署FogBus 2框架的三种设计模式,包括1)主机网络,2)代理服务器,3)环境变量。性能评估表明,该方法在可接受的低开销情况下,将实时的【形】物联网应用的响应时间提高了29%.
2022-03-10 cs.DC
AI-based Fog and Edge Computing: A Systematic Review, Taxonomy and Future Directions
计算中的资源管理是一个非常具有挑战性的问题,涉及到顺序决策。资源限制、资源异构性、工作负载的动态性和多样性以及雾/边缘计算环境的不可预测性使得雾环境中的资源管理更具挑战性。近年来,基于人工智能(AI)和机器学习(ML)的解决方案被用来解决这个问题。能够做出顺序决策的AI/ML方法,如强化学习,似乎最有希望解决这类问题。但是这些算法也有自己的挑战,比如高方差、可解释性和在线训练。不断变化的雾/边缘环境动态需要在线学习的解决方案,以适应不断变化的计算环境。在本文中,我们使用标准的综述方法进行了系统性文献综述(SLR),以分析AI/ML算法的作用以及这些算法在雾/边缘计算环境中资源管理的适用性所面临的挑战。此外,还讨论了用于边缘AI管理的各种机器学习、深度学习和强化学习技术。此外,我们还介绍了基于AI/ML的雾/边缘计算的背景和现状。此外,基于AI/ML的雾/边缘计算的资源管理技术的分类已经提出,并比较现有的技术的基础上提出的分类。最后,在基于AI/ML的雾/边缘计算领域,已经确定并讨论了开放的挑战和有前途的未来研究方向。
2022-12-09 cs.DC
Machine Learning (ML)-Centric Resource Management in Cloud Computing: A Review and Future Directions
University of Electronic Science and Technology of China(电子科技大学);University of Melbourne(墨尔本大学)
云计算已经迅速成为用于提供基于互联网的效用计算服务的模型。在云计算中,基础设施即服务(IaaS)是最重要和发展最快的领域之一。云提供商在此服务模型中提供用户/机器资源,例如虚拟机、原始(块)存储、防火墙、负载均衡器和网络设备。IaaS的云计算最重要的方面之一是资源管理。可扩展性、服务质量、最佳效用、降低开销、增加吞吐量、减少延迟、专业化环境、成本效益和简化界面是云计算中IaaS资源管理的一些优势。传统上,资源管理是通过静态策略来完成的,这在各种动态场景中施加了一定的限制,促使云服务提供商采用数据驱动的、基于机器学习的方法。机器学习正被用于处理各种资源管理任务,包括工作负载估计、任务调度、VM整合、资源优化和能量优化等。本文详细介绍了基于ML的资源管理在当前研究中面临的挑战,以及当前解决这些挑战的方法,以及它们的优点和局限性。最后,我们提出了潜在的未来研究方向的基础上确定的挑战和局限性,在目前的研究。
2021-05-09 cs.DC cs.LG
Dynamic Service Scheduling and Resource Management in Energy-Harvesting Multi-access Edge Computing
University of Leeds(利兹大学);Southern University of Science and Technology (SUSTech)(南方科技大学);University of Thessaly(色萨利大学);Research Institute of Trustworthy Autonomous Systems (RITAS), SUSTech(南方科技大学可信自主系统研究院)
本文提出了一种基于能量收集的MEC系统在线策略,通过动态任务调度和实时能耗管理,实现高效能量利用与低延迟服务的平衡。
2025-10-31 cs.DC
A Systematic Literature Review on Task Allocation and Performance Management Techniques in Cloud Data Center
本文系统综述了云数据中心任务分配与性能管理技术,基于463篇任务分配和480篇性能管理文献,归纳出资源分配、负载均衡、调度三大任务分配主题及七类性能管理方法,并提出新技术方向以填补研究空白。
2024-02-20 cs.DC
Towards Energy-Proportional Computing Using Subsystem-Level Power Management
容纳数千个计算节点的大规模数据中心在企业计算中已经变得司空见惯,并且这种数据中心的功耗正以前所未有的速度增长。增加问题的是服务器不能表现出能量比例性,即,在所有利用率水平下提供高能效执行,这降低了数据中心的整体能效。实现有效的策略来控制服务器的功耗,提高数据中心的能源效率势在必行。随着英特尔Sandy Bridge处理器的出现,我们能够指定运行时的功耗限制,这为设计适用于企业工作负载的新电源管理技术创造了机会,并使它们所运行的系统具有更高的能耗比例。在本文中,我们调查是否有可能实现能源比例的企业级服务器工作负载,即SPECpower_ssj2008和SPECweb2009基准,通过使用英特尔的运行平均功率限制(RAPL)接口。首先,我们分析了整个系统以及子系统的平均功耗,并描述了这些组件的能量比例。然后,我们的特点,这些基准在不同的子系统中使用的芯片上的电能表通过RAPL接口暴露的瞬时功率分布。最后,我们提出了功率限制对企业级服务器工作负载的能量比例、性能、功率和能效的影响。我们的观察和结果揭示了RAPL接口的有效性,并为企业级工作负载的电源管理技术设计提供了指导。
2015-01-12 cs.DC
Trust Management in Cloud Computing: A Critical Review
云计算已经吸引了学术界和工业界的一些研究人员的注意,因为它通过提供一系列计算服务为组织提供了许多机会。为了使云计算被企业和个人广泛采用,必须解决几个问题。需要特别关注的一个关键问题是云的安全性,而信任管理是云安全的重要组成部分。在本文中,作者看看什么是信任和信任已被应用在分布式计算。然后总结了各种分布式系统的信任模型。针对云计算提出的信任管理系统进行了研究,重点分析了它们的性能、在实际异构云环境中的适用性和可实现性。最后,所提出的模型/系统已经基于表中的一组选定的云计算参数彼此进行了比较。
2012-11-12 cs.CR cs.DC
A Conflict-Aware Resource Management Framework for the Computing Continuum
TU Wien(维也纳工业大学);ICREA(加泰罗尼亚高级研究院);University of Prishtina(普里什蒂纳大学);Stockholm University(斯德哥尔摩大学)
本文提出基于深度强化学习的冲突解决框架,用于优化计算连续体中资源调度,解决资源冲突和提升服务性能。
2026-04-21 cs.DC
Region Templates: Data Representation and Management for Large-Scale Image Analysis
配备CPU和GPU(混合计算节点)的分布式内存机器由于多层内存和异构计算配置而难以编程。在本文中,我们介绍了一个区域模板抽象的有效管理的共同数据类型用于分析大数据集的高分辨率图像的集群的混合计算节点。区域模板为空间和时间限界框内的常见数据结构(如点、数组、区域和对象集)提供通用容器模板。区域模板抽象支持不同的数据管理策略和数据I/O实现,同时为应用程序提供同构的统一接口,用于数据存储和检索。区域模板应用程序的执行由支持混合机器中的高效执行的运行时系统协调。区域模板应用程序被表示为分层的并行流,其中每个计算阶段可以被表示为更细粒度任务的另一并行流。我们的运行时系统中提供了许多针对混合机器的优化,包括用于最大化计算设备利用率的性能感知调度,以及减少CPU和GPU之间数据传输影响的技术。一个国家的最先进的混合集群使用显微成像研究的实验评估表明,这种抽象增加了微不足道的开销(约3%),并实现了良好的可扩展性。
2014-05-30 cs.DC
Application Management in Fog Computing Environments: A Taxonomy, Review and Future Directions
物联网(IoT)模式正在迅速被用于在各个领域创建智能环境。与智慧城市、医疗保健、工业4.0和Agtech相关的物联网网络物理系统(CPS)处理大量数据,并需要来自不同类型应用程序的实时数据处理服务。物联网应用程序的以云为中心的执行几乎无法满足这些要求,因为云计算中心与物联网设备之间存在多跳距离。\textit{Fog computing}是云在边缘网络上的扩展,可以在更靠近数据源的地方执行这些应用程序。因此,雾计算可以提高应用服务的交付时间,抵抗网络拥塞。然而,雾节点是高度分布,异构和大多数的资源和空间共享的限制。因此,有效管理应用程序是充分利用雾节点功能的必要条件。在这项工作中,我们调查了雾计算中现有的应用程序管理策略,并在架构,放置和维护方面对其进行了审查。此外,我们提出了一个全面的分类,并强调了基于雾的应用程序管理的研究差距。我们还讨论了一个前景模型,并提供了未来的研究方向,进一步改善雾计算中的应用程序管理。
2020-05-21 cs.DC eess.SP
Autonomic Cloud Computing: Research Perspective
本文综述近十年云计算自主资源分配研究,聚焦QoS与SLA约束,提出AI驱动的自主云计算概念模型,以优化负载、能耗与成本。
2024-10-19 cs.DC
Joint wireless and computing resource management with optimal slice selection in in-network-edge metaverse system
本文提出一种在支持切片的元宇宙网络中联合优化无线与计算资源分配的方法,通过将问题建模为混合整数非线性规划并求解最优解,显著提升系统性能,优于现有基准。
2024-11-07 cs.DC cs.NI