A Taxonomy of Live Migration Management in Cloud Computing
云数据中心已成为提供服务的骨干基础设施。随着新兴的边缘计算模式,计算和网络功能已从云推向边缘,以提供具有低端到端延迟的计算,智能和网络管理。边缘和云计算中跨不同计算节点的服务迁移对于保证动态环境中的服务质量至关重要。动态资源管理涉及到迁移虚拟机以实现各种目标,如负载均衡、整合、性能、节能和灾难恢复等。一些人已经研究了如何提高和预测VM和容器的单个实时迁移的性能。最近,一些研究服务迁移的边缘为中心的计算范式。然而,缺乏关注边缘和云计算环境中的实时迁移管理的调查。我们检查每个字段的特征,并进行以迁移管理为中心的分类和调查。我们还确定了差距和研究机会,以保证实时迁移的资源管理性能。
2021-12-05 cs.DC
Designing an Adaptive Application-Level Checkpoint Management System for Malleable MPI Applications
动态资源管理为高性能计算带来了许多机会。它提高了系统级服务和应用程序性能。检查点也可以被视为一种系统级的服务,并且可以获得动态提供的好处。检查点系统可以通过与可延展的资源管理系统集成来获得更好的资源可用性。除了容错之外,检查点系统还可以满足可延展应用在资源变化期间的数据重新分配需求。因此,我们提出了iCheck,一个自适应的应用程序级检查点管理系统,可以有效地利用系统和应用程序级的动态性,提供更好的检查点和数据再分配服务的应用程序。
2022-11-08 cs.DC
Inter-organizational fault management: Functional and organizational core aspects of management architectures
在过去的十年里,外包--成功的,有时也是痛苦的--已经成为IT服务管理讨论中最热门的话题之一。IT服务外包给外部服务提供商,以减少在本组织内提供这些服务所需的工作量和开销。最近,IT服务提供商本身也开始外包服务部件,或与其他提供商进行非等级合作提供这些服务。将一个服务拆分为多个服务部分是一项重要的任务,因为它们必须由不同的提供者实现、操作和维护。这种组织间合作的一个关键方面是故障管理,因为快速可靠地定位和解决降低服务质量的问题至关重要。在这篇文章中,我们提出了一个全面的基于用例的需求分析的结果,为跨组织故障管理(ioFMA)的架构。此外,给出了ioFMA的组织各自的功能模型的概念。
2011-01-20 cs.DC cs.NI
Resource Management Services for a Grid Analysis Environment
选择最佳的资源提交作业的计算网格或访问数据网格中的数据是任何网格中间件的最重要的任务之一。今天,大多数现代网格软件都满足了这一责任,并尽最大努力解决这一问题。几乎所有关于调度和数据访问的决定都是由软件自动做出的,用户几乎无法控制整个过程。为了解决这个问题,需要一个更具交互性的服务和中间件集,为用户提供更多的信息,网格天气,并给他们更多的控制决策过程。本文介绍了一组服务,已开发的网格分析环境(GAE)正在合作开发的加州理工学院,NUST和其他几个研究所提供更多的交互式资源管理功能。这些服务包括一个引导服务、一个作业监控服务和一个估算器服务,它们都是使用一个名为Clarens的通用网格Web服务框架设计和编写的。本文还提出了一个性能分析所开发的服务,以表明他们确实导致了一个更加互动和强大的系统,以用户为中心的网格启用物理分析。
2005-04-10 cs.DC
The first deployment of workload management services on the EU DataGrid Testbed: feedback on design and implementation
应用程序用户现在已经体验了大约一年的标准化资源代理服务,该服务由欧盟数据网格项目(WP 1)的“工作负载管理”包提供。了解、塑造和推动该系统的极限,为其设计和实施提供了宝贵的反馈。摘要的经验教训,和“更好的做法”,吸取了教训,并适用于第二次主要版本的软件,给出。
2003-05-31 cs.DC
Dynamic Service Scheduling and Resource Management in Energy-Harvesting Multi-access Edge Computing
University of Leeds(利兹大学);Southern University of Science and Technology (SUSTech)(南方科技大学);University of Thessaly(色萨利大学);Research Institute of Trustworthy Autonomous Systems (RITAS), SUSTech(南方科技大学可信自主系统研究院)
本文提出了一种基于能量收集的MEC系统在线策略,通过动态任务调度和实时能耗管理,实现高效能量利用与低延迟服务的平衡。
2025-10-31 cs.DC
PLASMA -- Platform for Service Management in Digital Remote Maintenance Applications
针对工业机械维护流程仍多依赖人工、现有平台无法覆盖端到端功能的问题,本文提出云基远程维护平台概念PLASMA,并指出其实际落地需以安全措施为核心前提。
2024-05-20 cs.DC
SpotLake: Diverse Spot Instance Dataset Archive Service
公共云服务供应商以更便宜的价格提供剩余的计算资源作为现货实例。尽管价格便宜,但当剩余资源短缺时,现货实例随时可能被迫关闭。为了提高spot实例的使用率,供应商提供了不同的spot实例数据集。其中,现货价格信息是迄今为止应用最为广泛的信息。然而,现货价格几乎不变的趋势削弱了现货价格数据集的适用性。除了价格数据集,最近推出的现货实例可用性和中断率数据集可以帮助用户更好地利用现货实例,但它们在现实中很少使用。通过全面的分析,我们可以发现使用新数据集时的主要障碍,包括缺乏历史信息,查询约束和有限的查询接口。为了克服这些问题,我们开发了一个spot实例数据归档Web服务SpotLake,它提供各种spot实例数据集的历史信息。提出了收集各种数据集的新方法和数据服务体系结构。通过真实世界的现货实例的可用性实验,我们提出了该系统的适用性。SpotLake作为一项Web服务公开提供,以加快云系统研究,从而提高Spot实例的使用率和可用性,同时降低成本。
2022-10-25 cs.DC
Efficient Resource Management in Cloud Environment
在云计算中,资源管理在数据中心中扮演着重要的角色,它直接依赖于应用程序的工作负载。诸如基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)的各种服务由云计算提供,以利用按使用付费的方法向云用户提供计算、网络和存储能力。资源分配是解决各种苛刻情况的现有解决方案,这些苛刻情况例如欠载/过载处理、资源浪费、负载均衡、服务质量(QoS)违规、VM迁移等等。虚拟机放置(VMP)的主要目的是将虚拟机(VM)映射到物理机(PM),使得PM可以被利用到它们的最大效率,其中已经活动的VM不会被中断。它提供了一个必须完成的实时VM迁移列表,以获得最佳解决方案并在更大程度上降低能耗。低效的VMP导致资源浪费、过度的能源消耗,并且还增加了数据中心的整体运营成本。在此背景下,本文对云环境中的资源管理方案进行了广泛的调查。分析了资源管理的概念方案、当前基于机器学习的资源分配策略的分组以及物理资源无效分配的基本问题。此后,解释了在云资源管理领域中基于机器学习的机制中的现有技术的完整调查。最后,本文探讨并总结了云环境下资源管理面临的挑战和未来的研究方向。
2022-06-24 cs.DC
Dynamic Management Techniques for Increasing Energy Efficiency within a Data Center
在我们的日子里,数据中心为全球社区提供了一项不可或缺的服务:通过支持大多数互联网服务,几乎可以无限制地访问我们可以想象的几乎任何类型的信息,例如:Web托管和电子商务服务。由于其容量和工作,数据中心对环境有各种影响,但与电力使用有关的影响是迄今为止最重要的。在本文中,我们提出了几种用于数据中心的电源和能源管理技术,我们将重点关注明确针对服务器及其工作负载量身定制的技术。
2013-05-27 cs.DC
An SMDP-based Resource Management Scheme for Distributed Cloud Systems
本文研究了地理分布云系统中的资源管理问题。采用Follow Me Cloud概念,实现跨联合数据中心(DC)的服务迁移。因此,有两种类型的服务请求到DC,即,在本地服务区域中发起的新请求(NR)和当移动用户跨服务区域移动时生成的迁移请求(MR)。提出了一种新的资源管理方案,帮助资源管理器决定是否接受服务请求(NR或MR),并确定多少资源应分配给每个服务(如果接受)。优化目标是最大化系统平均回报,并保持服务请求的拒绝概率在一定的阈值之内。数值结果表明,与其他资源管理方案相比,该方案能显著提高系统的整体效用和用户体验.
2015-03-18 cs.DC cs.NI
Using RDMA for Lock Management
在这项工作中,我们的目标是评估不同的分布式锁管理服务设计与远程直接内存访问(RDMA)。具体来说,我们实现和评估了集中式和支持RDMA的锁管理器设计,以实现快速的网络设置。实验结果证实了几个假设。首先,在传统的集中式锁管理器设计中,CPU是瓶颈,使用RDMA在客户端到服务器的通信中绕过CPU会导致更好的锁服务性能。其次,考虑到RDMA的不同锁管理器设计会产生更好的性能;我们需要为RDMA和快速网络重新设计锁管理系统。
2015-07-20 cs.DC
Leveraging knowledge-as-a-service (KaaS) for QoS-aware resource management in multi-user video transcoding
本文提出利用强化学习构建知识即服务(KaaS)策略,为多用户视频转码中的并发应用自动提供资源与旋钮管理,实验显示对异构QoS请求适应良好,并发用户数提升至1.24倍。
2024-02-07 cs.DC
A Fault Tolerant Elastic Resource Management Framework Towards High Availability of Cloud Services
云计算已经成为每一个数字服务的必然,它的使用呈指数级增长。然而,云资源需求的巨大增长阻碍了服务的可用性,导致停机、性能下降、负载不平衡和过度功耗。现有的方法主要试图通过使用多云和运行虚拟机(VM)的多个副本来解决这个问题,这导致了高运营成本。本文提出了一个容错弹性资源管理(FT-ERM)框架,从不同的角度来解决上述问题,诱导高可用性的服务器和虚拟机。具体而言,(1)开发了在线故障预测器,以基于预测的资源争用来预测故障倾向的VM;(2)借助于功率分析器、资源估计器和热分析器来监测服务器的操作状态,以主动地识别由于服务器过载和过热而导致的任何故障;以及(3)将易发生故障的VM分配给由决策矩阵和安全盒组成的建议的容错单元,以触发VM迁移并预先处理任何中断,同时为云用户保持期望的可用性水平。通过使用两个真实世界的数据集执行实验,对所提出的框架进行了评估和比较。FT-ERM将服务的可用性提高了34.47%,并将VM迁移和功耗分别降低了88.6%和62.4%。
2022-12-07 cs.DC
ADS as Information Management Service in an M-Learning Environment
即使是能够进行无线通信的小型手持设备,也需要专门的支持。特别是,协作应用程序需要复杂的援助方面的查询和交换不同种类的数据。使用一个具体的例子,从移动学习领域,信息传播的一般需要的动机。随后,在基础设施条件的驱动下,适当的中间件服务的实现策略进行了讨论。
2007-08-04 cs.DC cs.NI
QEdgeProxy: QoS-Aware Load Balancing for IoT Services in the Computing Continuum
针对计算连续体中IoT数据交付与负载均衡挑战,提出自适应感知QoS的QEdgeProxy框架,无缝集成Kubernetes,在真实K3s集群实验中优于内置机制且开销极小。
2024-05-17 cs.DC
Management of Grid Jobs and Information within SAMGrid
我们描述了一些SAMGrid系统的关键方面,所使用的D0和CDF实验在费米实验室。在SAMGrid的数据处理部分取得持续成功之后,我们开发了新的就业和信息服务。我们的作业管理植根于\CondorG,并使用了对HEP网格普遍适用的增强功能。我们的信息系统是基于一个统一的框架,配置管理的基础上XML数据表示和处理。
2003-07-08 cs.DC
A Systematic Literature Review on Task Allocation and Performance Management Techniques in Cloud Data Center
本文系统综述了云数据中心任务分配与性能管理技术,基于463篇任务分配和480篇性能管理文献,归纳出资源分配、负载均衡、调度三大任务分配主题及七类性能管理方法,并提出新技术方向以填补研究空白。
2024-02-20 cs.DC
Secure, Efficient Data Transport and Replica Management for High-Performance Data-Intensive Computing
一种新兴的数据密集型应用涉及从大量测量或计算数据中提取地理上分散的复杂科学信息。例如,在实验物理学中,所讨论的数据是由加速器生成的,而在模拟科学中,数据是由超级计算机生成的。所谓的数据网格为这些应用程序提供了必要的基础设施,就像互联网为电子邮件和Web等应用程序提供了必要的服务一样。我们在这里描述两种服务,我们认为这是任何数据网格的基础:可靠,高速transporet和副本管理。我们的高速传输服务GridFTP扩展了流行的FTP协议,增加了数据网格应用程序所需的新功能,如条带化和部分文件访问。我们的副本管理服务将副本目录与GridFTP传输集成,以提供数据集副本的创建,注册,定位和管理。我们目前的设计,这两个服务,也初步的性能结果。我们的实现利用Globus Toolkit提供的安全和其他服务。
2001-03-28 cs.DB cs.DC
Machine Learning (ML)-Centric Resource Management in Cloud Computing: A Review and Future Directions
University of Electronic Science and Technology of China(电子科技大学);University of Melbourne(墨尔本大学)
云计算已经迅速成为用于提供基于互联网的效用计算服务的模型。在云计算中,基础设施即服务(IaaS)是最重要和发展最快的领域之一。云提供商在此服务模型中提供用户/机器资源,例如虚拟机、原始(块)存储、防火墙、负载均衡器和网络设备。IaaS的云计算最重要的方面之一是资源管理。可扩展性、服务质量、最佳效用、降低开销、增加吞吐量、减少延迟、专业化环境、成本效益和简化界面是云计算中IaaS资源管理的一些优势。传统上,资源管理是通过静态策略来完成的,这在各种动态场景中施加了一定的限制,促使云服务提供商采用数据驱动的、基于机器学习的方法。机器学习正被用于处理各种资源管理任务,包括工作负载估计、任务调度、VM整合、资源优化和能量优化等。本文详细介绍了基于ML的资源管理在当前研究中面临的挑战,以及当前解决这些挑战的方法,以及它们的优点和局限性。最后,我们提出了潜在的未来研究方向的基础上确定的挑战和局限性,在目前的研究。
2021-05-09 cs.DC cs.LG
A Stochastic Programming Approach for Risk Management in Mobile Cloud Computing
移动云计算的发展给移动用户以及云服务提供商带来了诸多好处。然而,移动云计算正面临着一些挑战,特别是安全相关的问题,由于越来越多的网络攻击,这可能会造成严重的损失。在本文中,我们提出了一个动态的框架以及先进的风险管理策略,以最大限度地减少网络攻击对云服务提供商造成的损失。特别地,该框架允许云服务提供商选择适当的安全解决方案,例如,安全软件/硬件实施和保险政策,以应对不同类型的攻击。此外,采用随机规划方法,以最小化云服务提供商在其财务能力和攻击及其潜在损失的不确定性的预期总损失。通过数值评估,我们表明,我们的方法是一种有效的工具,不仅可以处理不确定性下的网络攻击,而且可以最大限度地减少云服务提供商的总损失。
2017-12-16 cs.CR cs.DC
DREAMS: Decentralized Resource Allocation and Service Management across the Compute Continuum Using Service Affinity
DREAMS提出一种基于Raft共识和成本效益投票的去中心化框架,跨计算域协作优化微服务放置,实现高容错与次线性扩展,适用于现代制造系统。
2025-09-09 cs.DC cs.PF
EMMA: A Resource Oriented Framework for Service Choreography over Wireless Sensor and Actor Networks
当前物联网(IoT)的发展要求在无线传感器与执行者网络(WSAN)上进行服务分发以应对网络管理复杂度的急剧增加。由于WSAN的特定约束,集中式方法受到很大限制。WSAN使用的多跳通信引入了传输延迟、分组错误、路由器拥塞和安全问题。由于它使用本地服务,分散的服务模型避免了节点和应用程序之间的长路径通信。但主要的问题是在所需的节点上安装这样的本地服务。环境监测和管理代理(EMMA)系统提出了一套软件部署和执行这些服务的无线传感器和执行器网络(WSAN)通过一个基于面向资源的架构(ROA)的中间件。其互联网集成和数据异构性的本地管理通过使用当前的标准协议来促进,例如IPv6低功耗无线区域网络(6LoWPAN)和受限应用协议(CoAP)。本文介绍了EMMA中间件,方法和工具,用于确定有效的服务映射及其部署。
2015-06-08 cs.DC cs.NI
SLA-Oriented Resource Provisioning for Cloud Computing: Challenges, Architecture, and Solutions
云计算系统承诺为全球用户提供面向订阅的企业级计算服务。随着向大量用户提供服务的需求增加,他们需要为用户提供差异化服务,并满足他们的质量期望。数据中心中现有的资源管理系统尚未支持面向服务水平协议(SLA)的资源分配,并且因此需要增强以实现云计算和效用计算。此外,还没有完成将客户驱动的服务管理、计算风险管理和自主资源管理共同合并到基于市场的资源管理系统中以瞄准云计算的快速变化的企业需求的工作。本文介绍了面向SLA的资源管理的愿景、挑战和架构元素。建议的架构支持基于市场的配置策略和虚拟化技术的集成,以灵活地将资源分配给应用程序。从我们的工作原型系统的性能结果表明,在云中基于SLA的资源提供的可行性和有效性。
2012-01-22 cs.DC cs.NI
A Bilevel Programming Framework for Joint Edge Resource Management and Pricing
新兴的边缘计算范式有望为网络边缘的众多移动和物联网(IoT)设备提供低延迟和无处不在的计算。如何有效地分配地理上分布的异构边缘资源的各种服务是一个具有挑战性的任务。虽然这个问题已经被广泛研究,在最近几年,大多数以前的工作在很大程度上忽略了服务的偏好时,边缘资源分配的决定。为此,本文引入了一种新的双层优化模型,该模型显式地考虑了服务偏好,以研究电子商务平台与多个服务之间的交互。该平台管理一组边缘节点(EN),并充当领导者,而服务是追随者。给定服务放置和资源定价的领导者的决定,每个服务决定如何最佳地将其工作负载分配给不同的ENs。所提出的框架不仅最大化的平台的利润,但也最小化的每个服务的成本。当有一个单一的EN,我们得到一个简单的分析解决方案的根本问题。对于一般情况下,多个EN和多个服务,我们提出了一个基于Karush Kuhn Tucker的解决方案和对偶的解决方案,结合一系列的线性化,解决双层问题。大量的数值结果表明,所提出的模型的有效性。
2022-02-14 cs.DC math.OC
Economics of Spot Instance Service: A Two-stage Dynamic Game Apporach
本文构建CSPs与客户的非合作两阶段动态博弈模型,分析现货与按需实例并存时定价、服务选择、资源可用性和客户异质性对市场份额、收入及效用的影响。
2023-06-02 cs.DC cs.GT
Decentralized, Robust and Efficient Services for an Autonomous and Real-time Urban Crisis Management
贸易和工作安排的全球化目前正在造成大量人口向城市迁移。城市的这种增长需要新的城市规划,其中数字化工具占据优势地位,以捕获数据并在面对变化时进行理解和决策。然而,这些工具很难抵抗自然灾害,恐怖主义,事故等。基于INSA里昂CITI实验室和桑坦德工业大学SC 3的专业知识,我们建议创建ALERT项目-实时的自治责任紧急服务-分散,可靠和高效的服务,物理上接近公民,在当地做出决定,以相关的方式进行,而不会有与中央机关脱节的风险。这些信息收集和决策将以参与性和社会性方式让民众参与。
2017-03-06 cs.CY cs.DC cs.SI
Privacy-First Crowdsourcing: Blockchain and Local Differential Privacy in Crowdsourced Drone Services
本文提出一个结合本地差分隐私与区块链的隐私保护框架,用于将消费级无人机众包数据整合到丛林火灾管理中,并通过概念验证展示其可扩展性与合规性。
2024-07-01 cs.CR cs.DC
Redundancy Management for Fast Service (Rates) in Edge Computing Systems
本文研究边缘计算中冗余资源分配问题,以平均系统计算时间和阻塞概率为指标,提出两种优化算法,并通过仿真证明其在不同服务时间分布下显著优于基准方法。
2024-11-25 cs.DC cs.IT math.IT
IDSS, a Novel P2P Relational Data Storage Service
本文提出IDSS,一种基于P2P网络和嵌入式关系数据库的新型大规模数据存储服务,通过公共模式支持分布式查询处理,实现对海量数据的高效稳健管理。
2025-07-19 cs.DB cs.DC
Distributed and Big Data Storage Management in Grid Computing
大数据存储管理是网格计算环境中最具挑战性的问题之一,因为大量数据密集型应用经常涉及高度的数据访问局部性。网格应用程序通常处理大量数据。在传统的方法中,高性能计算包括用于数据存储和数据复制的专用服务器。在本文中,我们提出了一种新的机制,分布式和大数据存储和资源发现服务。提出了一种网格环境下的动态可扩展存储管理(DSSM)体系结构。这允许在网格计算中不仅共享计算周期,而且共享存储空间。可以从任何网格机器透明地访问存储,从而允许在网格用户和应用程序之间轻松地进行数据共享。允许创建虚拟空间的虚拟ID的概念已经被引入和使用。DSSM将所有面向网格的存储设备(节点)划分为多个地理上分布的域,以促进本地化并简化域内存储管理。采用基于网格服务的存储资源,随着需求的增长,将简单的模块化服务逐块堆叠起来。为此,我们提出了四个定义轴:DSSM架构和算法描述,存储资源和资源发现到网格服务,评估目的原型系统,动态,可扩展性和带宽,并讨论结果。在底层和上层的算法标准化的动态和可扩展的存储管理,以及更高的带宽已经设计。
2012-07-12 cs.DC cs.NI