Efficient Support of Big Data Storage Systems on the Cloud
由于其相对于传统数据中心的优势,云基础设施的使用量迅速增长。其中包括公共云(例如,Amazon EC2)或私有云,例如使用OpenStack部署的云。在许多众所周知的基础设施中,例如OpenStack和CloudStack,一个共同的因素是网络存储用于存储持久数据。然而,传统的大数据系统,包括Hadoop,出于高性能和低成本的原因,将数据存储在商品本地存储中。我们提出了一种使用本地存储在OpenStack上支持Hadoop的架构。随后,我们使用Openstack和Amazon上的基准测试来表明,对于Hadoop的支持,本地存储具有更好的性能和更低的成本。我们得出结论,云系统应该支持持久数据的本地存储(除了网络存储之外),以便为Hadoop和其他大数据系统提供有效的支持
2014-11-27 cs.DC
Pilot-Abstraction: A Valid Abstraction for Data-Intensive Applications on HPC, Hadoop and Cloud Infrastructures?
传统上,HPC环境的设计是为了满足科学应用的计算需求,而数据只是第二位的关注点。随着科学转向数据驱动的发现,更多地依赖数据中的相关性来形成科学假设,HPC方法的局限性变得显而易见:存储和计算分离等架构范例对于I/O密集型工作负载(例如数据准备,转换和SQL)并不是最佳的。虽然HPC上有许多强大的计算和分析库(例如可扩展线性代数),但它们通常缺乏其他环境(例如Apache Hadoop生态系统)中的可用性和分析库的多样性。此外,缺乏统一访问日益异构的基础设施(HPC,Hadoop,云)的抽象,并允许在这个复杂的环境中进行性能权衡的推理。与此同时,Hadoop生态系统正在快速发展,并已成为行业中数据密集型工作负载的事实标准,并越来越多地用于解决科学问题。在本文中,我们将探索Hadoop和HPC之间的互操作性路径,研究差异和挑战,例如不同的架构范式和抽象,并研究解决这些问题的方法。我们建议将Pilot-Abstraction扩展到Hadoop,作为跨不同基础设施分配和管理资源的互操作性层。此外,已经部署了内存能力来增强大规模数据分析(例如迭代算法)的性能,其中跨迭代重用数据的能力至关重要。由于内存自然适合与飞行员的概念,保留资源的一组任务,我们提出了扩展的飞行员抽象内存中的资源。
2015-01-21 cs.DC
Heterogeneous Multi core processors for improving the efficiency of Market basket analysis algorithm in data mining
异构多核处理器可以提供不同的计算能力。异构多核处理器可以提高市场篮分析算法的效率。购物篮分析算法采用Apriori算法,是一种流行的数据采掘算法,可以利用Map/Reduce框架进行分析。该算法基于事务数据生成关联规则,Map/Reduce促使重新设计和转换现有的顺序算法以提高效率。Hadoop是构建在Hadoop分布式文件系统(HDFS)上的并行编程平台,用于将数据作为(键,值)对处理的Map/Reduce计算。在Hadoop map/reduce中,顺序作业被并行化,作业跟踪器将并行任务分配给任务跟踪器。基于任务跟踪器中的单线程或多线程并行任务,在适当的内核中执行。为此,可以开发一种名为MB的新调度程序。内核之间的切换可以是静态的,也可以是动态的。异构多核处理器的使用优化了处理器的处理能力和功率要求,并提高了系统的性能。
2014-09-23 cs.DC
Constructing Gazetteers from Volunteered Big Geo-Data Based on Hadoop
传统地名录由权威制图机构建立和维护。在大数据时代,通过从Web上挖掘丰富的自愿地理信息(VGI),可以以数据驱动的方式构建地名录。在这项研究中,我们建立了一个可扩展的分布式平台和一个高性能的Hadoop生态系统的基础上,收获众包地名索引条目的工作流程。使用基于Flickr中的地理标记数据集的实验,我们发现,基于MapReduce的工作流上运行的空间启用Hadoop集群可以减少处理时间相比,传统的基于桌面的操作的数量级。我们演示了如何使用这样一个新的空间计算基础设施,以促进地名索引的研究。此外,我们引入了一个基于出处的信任模型的质量保证。这项工作提供了新的见解,丰富未来的地名录与Hadoop集群的使用,并作出贡献,在连接地理信息系统的云计算环境的下一个前沿的大地理数据分析。
2014-02-07 cs.DC
A Framework for Energy-aware Evaluation of Distributed Data Processing Platforms in Edge-Cloud Environment
分布式数据处理平台(例如,Hadoop、Spark和Flink)被广泛用于在云的计算节点之间分布数据的存储和处理。云资源的集中化催生了边缘计算,它使数据的处理更接近数据源,而不是将其发送到云端。然而,由于能源限制等资源限制,边缘计算无法用于部署各种应用程序。因此,任务从边缘设备卸载到资源更丰富的云。以前的研究已经评估了隔离云和边缘环境中分布式数据处理平台的能耗。然而,在集成的边缘云环境中评估这些平台的能耗的研究很少,其中任务从资源受限的设备卸载到资源丰富的设备。因此,在本文中,我们首先提出了一个框架的分布式数据处理平台的能量感知评估。然后,我们利用所提出的框架来评估三个最广泛使用的平台(即,Hadoop、Spark和Flink)在由Raspberry Pi、边缘节点、边缘服务器节点、私有云和公共云组成的集成边缘云环境中运行。我们的评估表明,(i)Flink是最节能的,其次是Spark,Hadoop被发现是最不节能的(ii)将任务从资源受限的设备卸载到资源丰富的设备可以减少55.2%的能耗,(iii)带宽和客户端与服务器之间的距离是影响能耗的关键因素。
2022-01-06 cs.DC
SAF: Simulated Annealing Fair Scheduling for Hadoop Yarn Clusters
Apache引入了YARN作为下一代Hadoop框架,提供资源管理和中央平台,以跨Hadoop集群提供一致的数据治理工具。Hadoop YARN支持MapReduce等多个框架来处理不同类型的数据,并使用不同的调度策略,如FIFO,容量和公平调度器。DRF是使用短期的、不考虑历史信息的、收敛到多类型资源分配的公平性的最佳选择。然而,DRF性能仍然不令人满意,由于公平性和性能之间的权衡资源利用。为了解决这个问题,我们提出了模拟退火公平调度,SAF,一个长期的公平计划在资源分配具有公平性和优异的性能,在资源利用率和MakeSpan。我们引入了一个新的参数熵,这是一种方法来表示整个集群的资源分配的公平性的混乱。我们在Hadoop Yarn集群中实现了SAF作为一个可插拔的调度器,并在Yarn集群负载模拟器(SLS)和CloudSim Plus模拟框架中使用标准的MapReduce基准对其进行了评估。最后,两个模拟工具的结果都证明了我们的主张。与DRF相比,SAF显著提高了YARN集群的资源利用率,并将MakeSpan降低到适当的水平。
2020-08-28 cs.DC
Parallel Spectral Clustering Algorithm Based on Hadoop
University of Chinese Academy of Sciences(中国科学院大学)
谱聚类和云计算是计算机科学或相关学科的新兴分支。它克服了一些传统聚类算法的缺点,保证了收敛到最优解,因而受到了广泛的关注。本文首先介绍了并行谱聚类算法的研究背景和意义,然后对Hadoop的云计算框架进行了详细的介绍,接着对谱聚类进行了相关的介绍,然后介绍了谱聚类算法的并行化方法和相关步骤,最后做了相关的实验,并对实验进行了总结。
2015-05-31 cs.DC cs.DS cs.LG
Sector and Sphere: Towards Simplified Storage and Processing of Large Scale Distributed Data
云计算已经证明,只要给出正确的编程模型和基础设施,就可以在商品集群上处理非常大的数据集。在本文中,我们描述了Sector存储云和Sphere计算云的设计和实现。与现有的存储和计算云相比,Sector不仅可以在数据中心内管理数据,还可以跨地理分布的数据中心管理数据。同样,Sphere计算云支持数据中心内和跨数据中心的用户定义函数(UDF)。作为一种特殊情况,MapReduce风格的编程可以在Sphere中通过使用Map UDF和Reduce UDF来实现。我们描述了一些实验研究比较部门/球体和Hadoop使用Terasort基准。在这些研究中,Sector的速度大约是Hadoop的两倍。Sector/Sphere是开源的。
2009-01-17 cs.DC
Astronomy in the Cloud: Using MapReduce for Image Coaddition
在未来十年中,对天空的天文观测将产生数十TB的图像,并每晚检测数亿个源。对这些源的研究将涉及异常检测和分类以及移动对象跟踪等计算挑战。由于此类研究受益于最高质量的数据,因此图像叠加(叠加)等方法将是科学调查之前的关键预处理步骤。由于需要每晚分析这些图像以识别移动源或瞬态对象,这些数据流提出了许多计算挑战。考虑到所涉及的数据量,这些问题的计算负载只能通过将工作负载分布在大量节点上来解决。然而,这些应用程序所要求的高数据吞吐量可能会对某些存储架构提出可扩展性挑战。近年来出现的一种可扩展的数据处理方法是MapReduce,在本文中,我们将重点关注其流行的开源实现Hadoop。在Hadoop框架中,数据在直接连接到工作节点的存储之间进行分区,处理工作负载在包含所需输入数据的节点上并行调度。使用Hadoop的另一个动机是它允许我们利用云计算资源,例如,亚马逊EC2我们报告我们的经验,实现一个可扩展的图像处理管道的SDSS成像数据库使用Hadoop。这个多TB的成像数据集为算法开发提供了一个很好的测试平台,因为它的范围和结构接近未来的调查。首先,我们描述了MapReduce以及我们如何将图像添加到MapReduce框架中。然后,我们描述了一些优化我们的基本方法和报告的实验结果比较其性能。
2010-10-05 cs.DC
Evaluating Hadoop Clusters with TPCx-HS
大数据平台的复杂性和多样性不断增加,使得所有系统用户正确设置和操作系统变得既困难又耗时。另一个挑战是比较平台,以便为特定应用选择最合适的平台。所有这些因素都促使人们需要一个标准化的大数据基准,以帮助用户进行平台评估。就在最近,TPCx-HS [1][2]作为第一个标准化的大数据基准被发布,旨在对Hadoop集群进行压力测试。本研究的目的是评估和比较网络设置如何影响Hadoop集群的性能。特别是,实验是使用由相同的Cloudera Hadoop Distribution(CDH)集群设置使用的共享和专用1Gbit网络进行的。TPCx-HS基准测试是非常网络密集型的,用于压力测试和比较两种集群设置。所有呈现的结果都是通过使用官方可用的基准版本[1]获得的,但它们与官方报告的结果不具有可比性,并且是作为实验评估,未经任何外部组织审核。正如预期的那样,专用1Gbit网络设置的执行速度比共享1Gbit设置快得多。然而,令人惊讶的是,这两种集群设置之间的价格差异可以忽略不计,这带来了成倍的性能回报。
2015-10-27 cs.DC
A Framework for Genetic Algorithms Based on Hadoop
遗传算法(GAs)是一种功能强大的元启发式算法,在实际应用中得到了广泛的应用。遗传算法的顺序执行在时间和资源上都需要相当大的计算能力。然而,GA是自然并行的,访问云这样的并行平台既简单又便宜。Apache Hadoop是可用于并行应用程序的常见服务之一。然而,如果不面对其内部工作原理,使用Hadoop开发GA的并行版本并不简单。尽管已经存在一些用于GA的顺序框架,但是没有支持可以并行执行的GA应用程序的开发的框架。在本文中描述了Hadoop平台上的并行遗传算法的框架,MapReduce的范式。这个框架的主要目的是允许用户专注于GA的特定于要解决的问题的方面,确保此任务将在云上正确执行并具有良好的性能。该框架还被用来开发一个应用程序的特征子集选择问题。开发的GA应用程序的性能的初步分析已经进行了使用三个数据集,表现出非常有前途的性能。
2013-12-15 cs.DC cs.NE
Technical Report: On the Usability of Hadoop MapReduce, Apache Spark & Apache Flink for Data Science
面向云计算的分布式数据处理平台是大规模数据分析的重要工具。Apache Hadoop MapReduce已经成为这个领域的事实标准,尽管它的编程接口相对较低,即使是简单的分析任务也需要许多实现步骤。这导致了面向Apache的高级平台的开发,最突出的是Apache Spark和Apache Flink。这些平台不仅旨在通过改进内存处理来提高性能,而且特别提供了内置的高级数据处理功能,例如过滤和连接运算符,这应该使数据分析任务比普通的Hadoop MapReduce更容易开发。但事实果真如此吗?本文从可用性的角度比较了三个主要的分布式数据处理平台:Apache Hadoop MapReduce、Apache Spark和Apache Flink。我们报告了一组硕士生的可用性研究的设计,执行和结果,他们正在学习和使用所有三个平台,以解决数据科学背景下的不同用例集。我们的研究结果表明,Spark和Flink是MapReduce的首选平台。在参与者中,Spark和Flink作为面向批量的大数据分析平台之间的感知偏好或开发时间没有显着差异。这项研究开始探索使大数据平台对数据科学用户更有效或更不有效的因素。
2018-03-28 cs.DC
On Energy Efficiency and Performance Evaluation of SBC based Clusters: A Hadoop case study
数据中心的能源效率是一个挑战,并引起了研究人员的兴趣。在本文中,我们解决了能源效率的问题,一个小规模的数据中心,利用单板的计算机(SBC)的集群。一个紧凑的设计布局,建立两个集群使用20个节点。进行了广泛的测试,以分析这些集群的性能,使用流行的性能基准的任务执行时间,内存/存储利用率,网络吞吐量和能耗。此外,我们调查的成本SBC集群的运行相关的能源利用率的执行时间的各种基准使用不同大小的工作负载。结果表明,虽然与基于ARM的SBC构建的集群的低成本效益是可取的,这些集群产生低可比的性能和能源效率,由于有限的板载能力。可以调整基于ARM的SBC集群的Hadoop配置参数以有效利用资源。我们提出,讨论的有效性的SBC为基础的集群作为一个测试平台,廉价和绿色的云计算研究。
2019-01-31 cs.DC
Multi-source imagery fusion using deep learning in a cloud computing platform
本文提出基于Hadoop和Spark的遥感大数据云平台,并研究最优块大小以提升数据传输效率,同时开发基于LSTM的多光谱与高光谱影像融合超分辨率方法,在实验中取得高结构相似性指数。
2023-07-06 cs.DC
Observations on Factors Affecting Performance of MapReduce based Apriori on Hadoop Cluster
设计快速、可扩展的频繁项集挖掘算法一直是数据采掘中最突出和最有前途的问题。Apriori算法是频繁项集挖掘中应用最广泛、最流行的算法之一。在MapReduce框架上设计高效的算法来处理和分析大数据集是当前的研究热点。在本文中,我们专注于性能MapReduce的Apriori同构以及异构Hadoop集群。我们已经调查了一些因素,显着影响MapReduce的Apriori上运行在同构和异构Hadoop集群的执行时间。这些因素是算法和非算法改进所特有的。算法改进所考虑的特定因素是过滤的事务和数据结构。实验结果表明,一个合适的数据结构和过滤事务技术如何大大减少执行时间。非算法因素包括推测性执行、性能差的节点、数据局部性和数据块分布以及输入分割大小的并行性控制。我们已经针对这些因素采取了策略,并在我们的特定应用中微调了相关参数。实验结果表明,如果集群特定的参数得到照顾,那么有一个显着减少执行时间。此外,我们还讨论了Apriori的MapReduce实现可能会显着影响性能的问题。
2017-01-21 cs.DB cs.DC cs.DS
Co-Tuning of Cloud Infrastructure and Distributed Data Processing Platforms
本文研究云基础设施与分布式数据处理平台配置间的影响关系,提出结合机器学习与优化的协同调优方法,在 OpenStack 上为 Hadoop、Spark 和 Flink 推荐最优配置,显著降低执行时间与成本。
2023-12-07 cs.DC
Storage and Memory Characterization of Data Intensive Workloads for Bare Metal Cloud
随着存储系统的每字节成本大幅下降,SSD正在新兴的云基础设施中找到自己的方式。类似的趋势也发生在主存子系统上,因为具有更高容量、频率和通道数量的先进DRAM技术正在部署用于云规模解决方案,特别是用于非虚拟化环境,在非虚拟化环境中,云用户可以准确指定底层硬件的配置。考虑到标准工作负载对存储层次结构参数的性能敏感性,了解内存和存储在数据密集型工作负载中的作用非常重要。在本文中,我们研究了DRAM(高端与低端)的选择如何影响基于Hadoop,Spark和MPI的大数据工作负载在裸金属云上存在不同存储类型时的性能。通过有条不紊的实验设置,我们分析了DRAM容量,工作频率,通道数量,存储类型和横向扩展因素对这些流行的框架的性能的影响。基于微架构分析,我们将数据密集型工作负载分为三组,即I/O绑定、计算绑定和内存绑定。表征结果表明,无论是DRAM容量,频率,还是通道的数量都对所有研究的Hadoop工作负载的性能起着重要的作用,因为它们大多是I/O绑定的。另一方面,我们的研究结果表明,Spark和MPI中的迭代任务(例如机器学习)受益于高端DRAM,特别是高频率和大量通道,因为它们是内存或计算限制的。我们的研究结果表明,使用SSD PCIe不能将瓶颈从存储转移到内存,而它可以将工作负载行为从I/O绑定改变为计算绑定。
2018-08-15 cs.DC
Data Mining Using High Performance Data Clouds: Experimental Studies Using Sector and Sphere
我们描述了一个高性能云的设计和实现,我们已经用来归档,分析和挖掘大型分布式数据集。云是指通过互联网提供资源和/或服务的基础设施。存储云提供存储服务,而计算云提供计算服务。我们描述了Sector存储云的设计,以及它如何提供Sphere计算云所需的存储服务。我们还描述了由Sphere计算云支持的编程范式。Sector和Sphere设计用于使用与广域高性能网络(例如,10+ Gb/s)连接的计算机集群分析大型数据集。我们描述了一个分布式的数据采掘应用程序,我们已经开发了使用部门和球体。最后,我们描述了一些比较Sector/Sphere和Hadoop的实验研究。
2008-08-22 cs.DC
Efficient and Reliable Hybrid Cloud Architechture for Big Data
本文的目标是提出一个云计算框架,这是可行的,必须处理大量的数据。在我们的原型系统中,我们考虑了孟加拉国的国家ID数据库结构,这是由孟加拉国选举委员会准备。使用这个数据库,我们提出了一个交互式的图形用户界面孟加拉人搜索(BDPS),使用的混合结构的云计算处理的Apache Hadoop的数据库是由HiveQL实现。该基础设施分为两部分:基于Eucalyptus的本地托管云和在知名的Amazon Web Service(AWS)上实现的远程云。孟加拉方面的一些常见问题,其中包括数据流量拥塞,服务器超时和服务器停机问题也进行了讨论。
2014-01-09 cs.DC
Mapping and Reducing the Brain on the Cloud
云计算的出现使得可用硬件资源以非常低的成本实现了令人难以置信的增长。这些资源越来越多地被企业用于对“大数据”问题进行可扩展的分析。在这项工作中,我们探索了使用商品硬件(如Amazon EC2)执行大规模科学计算的可能性。特别是,我们使用MapReduce模拟相互连接的皮层神经元。我们在Hadoop(MapReduce的一个开源实现)中构建了一个由1000个尖峰皮层神经元组成的网络并对其进行了建模,并给出了结果。
2012-08-12 cs.DC math.DS
Design Architecture-Based on Web Server and Application Cluster in Cloud Environment
云一直是许多以数据为中心的组织的计算和存储解决方案。如今,这些组织从云计算中面临的问题是以有效的方式进行数据搜索。需要一个框架来分配从数千台计算机中搜索和获取的工作。HDFS中的数据是分散的,需要大量的时间来检索。其主要思想是在地图阶段使用Jetty Web服务器设计一个Web服务器,这将提供一种快速有效的方式在MapReduce范式中搜索数据。为了在Hadoop上进行实时的处理,在HDFS中通过在Web服务器中创建具有多级索引键的多级索引来实现可搜索机制。Web服务器使用来处理流量吞吐量。通过Web集群技术可以提高应用程序的性能。为了保持工作,负载均衡器应该能够自动将负载分配到服务器中新添加的节点。
2014-03-21 cs.DC
Secure Data Processing in a Hybrid Cloud
云计算使得用户能够在需要时精确地选择计算服务。然而,某些因素,如数据安全和监管问题,将影响用户使用此类服务的选择。这些问题的解决方案是使用混合云,将用户的本地计算能力(用于任务或组织关键型任务)与公共云(用于影响力较小的任务)相结合。我们预见在采用混合云方法之前必须克服的三个挑战:1)数据设计:如何在混合云中划分关系?这个问题的解决方案必须考虑关系中属性的敏感性以及用户的工作负载; 2)数据安全性:如何通过加密保护公共云中的用户数据,同时启用对该加密数据的查询处理?以及3)查询处理:如何在加密和未加密的数据上有效地执行查询?本文将解决这些挑战,并将其解决方案整合到基于Hadoop和Hive的云计算基础设施的附加工具中。
2011-05-10 cs.DC
Predicting Scheduling Failures in the Cloud
云计算已经成为通过互联网交付和管理计算、平台和软件服务的关键技术。任务调度算法的目标是减少任务的周转时间,提高资源利用率,因此对云计算服务的效率起着重要的作用。在文献中已经提出了用于云计算系统的若干任务调度算法,大多数依赖于任务的计算复杂性和资源的分布。然而,由于云环境中不可预见的变化,按照这些算法调度的几个任务仍然失败。在本文中,使用任务执行和资源利用率数据提取的执行痕迹,在现实世界中的应用程序在谷歌,我们探讨了预测调度结果的任务使用统计模型的可能性。如果我们能够成功地预测任务失败,我们就可以通过更早地重新调度失败的任务来减少作业的执行时间(即,在其实际失效时间之前)。我们的研究结果表明,统计模型可以预测任务失败的准确率高达97.4%,召回率高达96.2%。我们使用工具包GSPSSIM模拟了这种预测的潜在好处,发现它们可以将完成任务的数量提高高达40%。我们还使用Amazon Elastic MapReduce(EMR)的Hadoop框架和乳腺癌研究中的基因表达相关性分析研究的工作进行了案例研究。我们发现,当使用我们的预测模型扩展Hadoop的调度器时,失败作业的百分比可以减少高达45%,开销不到5分钟。
2015-07-13 cs.DC cs.SE
ALOJA-ML: A Framework for Automating Characterization and Knowledge Discovery in Hadoop Deployments
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Microsoft Corporation(微软公司);Microsoft Research(微软研究院)
本文介绍了ALOJA-机器学习(ALOJA-ML),它是ALOJA项目的扩展,使用机器学习技术来解释Hadoop基准性能数据和性能调优;在这里,我们详细介绍了方法、模型的有效性和初步结果。Hadoop提供了一个复杂的执行环境,其中成本和性能取决于大量的软件(SW)配置和多种硬件(HW)部署选择。这些结果伴随着一个测试平台和工具,用于部署和评估不同硬件配置、参数调整和云服务的成本效益。尽管ALOJA在专家指导的基准测试方面取得了早期成功,但很明显,真正全面的研究需要自动化建模过程,以便对大型和资源受限的搜索空间进行系统分析。ALOJA-ML提供了这样一个自动化系统,允许通过从一组广泛的配置参数中观察到的基准对Hadoop执行进行建模来进行知识发现。由此产生的性能模型可用于预测各种工作负载的执行行为;它们允许对新配置和硬件选择的执行时间进行“先验”预测,并且它们提供了基于模型的异常检测的途径。此外,这些模型可以有效地指导基准测试的探索,自动优先候选未来的基准测试。ALOJA-ML模型的见解可用于减少集群上的操作时间,加快数据采集和知识发现过程,重要的是,降低运行成本。除了从本工作中提出的方法中学习之外,社区还可以从ALOJA数据集、框架和衍生见解中受益,以改进大数据应用程序的设计和部署。
2015-11-06 cs.DC cs.LG
The Open Cloud Testbed: A Wide Area Testbed for Cloud Computing Utilizing High Performance Network Services
最近,已经开发了许多用于数据密集型计算的云平台和服务,包括Hadoop,Sector,CloudStore(以前的KFS),HBase和Thrift。为了对这些系统的性能进行基准测试,研究它们的互操作性,并基于灵活的计算节点和网络配置功能试验新服务,我们设计并实现了一个名为开放云测试床(OCT)的大规模测试床。目前,OCT在四个数据中心拥有120个节点:巴尔的摩、芝加哥(两个地点)和圣地亚哥。与其他云测试平台相比,这些云测试平台位于较小的地理区域,并且基于商品互联网服务,OCT是一个广域测试平台,四个数据中心与基于专用光路基础的高性能10 Gb/s网络连接。该测试平台可以满足对其他类型的分布式基础设施提出挑战的超大数据流的要求。我们还开发了几个实用程序来支持云计算系统和服务的开发,包括新型节点和网络供应服务、监控系统和RPC系统。在本文中,我们描述了OCT的架构和监控系统。我们还描述了一些基准,我们开发和一些互操作性的研究,我们使用这些基准进行。
2009-07-28 cs.DC
Proposal of Optimum Application Deployment Technology for Heterogeneous IaaS Cloud
近来,已经增加了由异构硬件组成的云系统以利用进步的硬件能力。然而,在异构硬件上编写应用程序以实现高性能需要很多技术技巧,对用户来说是困难的。因此,为了轻松实现高性能,本文提出了一种PaaS,该PaaS在用户将应用程序部署到云时自动分析应用程序逻辑并将计算卸载到GPU和FPGA。
2016-11-29 cs.DC
Using MapReduce for Large-scale Medical Image Analysis
现代医院每天产生的医学图像数据量的增长迫使传统的医学图像分析和索引方法适应可扩展的解决方案。在过去的20年里,图像的数量及其维度急剧增加。我们提出了基于并行计算和算法优化的大规模医学图像分析解决方案。MapReduce框架用于加速和实现三个大规模医学图像处理用例:(i)使用支持向量机进行肺部纹理分割的参数优化,(ii)基于内容的医学图像索引,以及(iii)用于实体纹理分类的三维方向小波分析。在我们的机构中使用Hadoop建立了一个异构计算节点集群,允许最多42个并发地图任务。所使用的大多数机器是台式计算机,也用于日常办公。该集群显示出微创和稳定。与顺序执行相比,这三个用例中的每一个的运行时间都大大减少了。Hadoop为数据分析任务提供了一个易于使用的框架,可以很好地扩展许多任务,但需要针对特定任务进行优化。
2015-10-23 cs.DC
PhoenixCloud: Provisioning Resources for Heterogeneous Workloads in Cloud Computing
随着越来越多的服务提供商选择由第三方资源提供商提供的云平台,资源提供商需要为不同云场景下的异构工作负载提供资源。考虑到异构工作负载的巨大差异,我们是否可以在云计算中为异构工作负载协调调配资源?在本文中,我们专注于这个重要的问题,这是由以前的一些工作。我们的贡献有三个方面:(1)分别提出了两种典型云场景下的异构工作负载协同资源配置方案:第一种是大型组织为两个异构工作负载运行私有云;第二种是大型组织或两个服务提供商运行异构工作负载恢复到公有云;(2)我们构建了一个敏捷系统PhoenixCloud,使资源提供商能够在异构工作负载整合到云站点时,根据需要创建协调的运行时环境;(3)在实验中进行了综合评价。对于两种典型的异构负载跟踪:并行批处理作业和Web服务,实验表明:a)在私有云场景下,当吞吐量与专用集群系统的吞吐量基本相同时,我们的解决方案使集群的配置规模减少了约40%; b)在公共云场景中,我们的解决方案不仅减少了总资源消耗,而且峰值资源消耗最大为EC2 +RightScale方案的31%。
2010-07-20 cs.DC
Orchestrating Complex Application Architectures in Heterogeneous Clouds
私有云基础设施现已在技术行业和研究机构中广泛部署和采用。虽然云计算已经成为现实,但现在已知单个云提供商不能完全满足复杂的用户需求。这导致人们对开发将不同的异构云基础设施绑定在一起的混合云解决方案越来越感兴趣。在本文中,我们描述的编排方法,异构云已实施和使用的INDIGO-DataCloud项目。该编排模型使用现有的开源软件(如OpenStack),并利用OASIS拓扑和云应用程序规范(TOSCA)开放标准作为建模语言。我们的方法以同质和透明的方式使用虚拟机和Docker容器,为用户提供一致的应用程序部署。通过使用INDIGO-DataCloud解决方案实施的不同科学界的两个不同用例来说明这种方法。
2017-11-09 cs.DC
A Big Data Approach for Sequences Indexing on the Cloud via Burrows Wheeler Transform
University of Palermo(巴勒莫大学)
索引序列数据在精准医学的背景下非常重要,每天必须收集和分析大量的“组学”数据,以便对患者进行分类并确定最有效的治疗方法。在这里,我们提出了一种依赖于大数据技术的Burrows Wheeler变换计算算法,即,Apache Spark和Hadoop我们的方法是第一个分发索引计算而不仅仅是输入数据集的方法,允许充分利用可用的云资源。
2020-07-20 cs.AI cs.DC cs.DS
Performance Analysis and Modeling of Video Transcoding Using Heterogeneous Cloud Services
高质量的视频流,无论是视频点播(VOD)还是直播流,通常都需要转换(即转码)视频流,以匹配观众设备的特性(例如,在空间分辨率或支持的格式方面)。考虑到转码操作的计算成本和视频流传输需求的激增,流传输服务提供商(SSP)变得依赖于云服务来保证其观众的流传输的服务质量(QoS)。云提供商以不同类型的虚拟机(VM)的形式提供异构计算服务,价格也各不相同。有效利用云服务进行视频转码需要对异构云虚拟机上的不同视频转码操作进行详细的性能分析。在这项研究中,第一次,我们提供了一个全面的分析异构云虚拟机上的视频流转码的性能。提供这样的分析对于高效预测异构VM上的转码时间以及任何针对视频转码定制的调度方法的功能至关重要。基于此分析的结果,并考虑到异构云虚拟机的成本差异,在这项研究中,我们还提供了一个模型来量化各种转码任务的每种云虚拟机类型的适用程度。所提供的模型可以提供具有准确的性能和成本权衡的资源(VM)供应方法,以有效地利用云服务进行视频流传输。
2018-09-18 cs.DC
A Survey of Big Data Machine Learning Applications Optimization in Cloud Data Centers and Networks
这篇调查文章回顾了与在云数据中心和网络中部署和优化大数据应用程序以及机器学习算法相关的挑战。MapReduce编程模型及其广泛使用的开源平台Hadoop正在开发大量基于云的服务和大数据应用程序。因此,MapReduce和Hadoop引入了创新、高效和加速的密集型计算和分析。这些服务通常利用地理分布的数据中心内的商品集群,并提供具有成本效益和弹性的解决方案。然而,迁移、存储和处理大数据的数据中心之间和内部的流量不断增加,这正在成为一个瓶颈,需要能够减少拥塞和功耗的增强型基础设施。此外,具有请求各种大数据服务的多个租户的企业面临的挑战是,需要以降低的运行成本和功耗来优化其资源的租赁,同时避免利用不足或过度利用。在本调查中,我们总结了各种大数据编程模型和应用程序的特点,并对云计算基础设施以及虚拟化和软件定义网络等相关技术进行了审查,这些技术越来越多地支持大数据系统。此外,我们还简要回顾了数据中心的拓扑结构、路由协议和流量特征,并强调了大数据对云数据中心及其支持网络的影响。在各种应用程序性能指标和/或基础设施能效方面,我们致力于优化处理大数据的系统。最后,提出了一些启示和未来的研究方向。
2019-10-01 cs.DC cs.LG cs.NI
The Matsu Wheel: A Cloud-based Framework for Efficient Analysis and Reanalysis of Earth Satellite Imagery
Project Matsu是Open Commons Consortium和NASA之间的合作项目,致力于开发基于云的地球卫星图像处理开源技术。一个特别的重点是开发探测火灾和洪水的应用程序,以帮助支持自然灾害的探测和救济。Project Matsu开发了一个开源的基于云的基础设施,使用OpenStack、Hadoop、MapReduce、Storm和相关技术来处理、分析和重新分析大量高光谱卫星图像数据。我们描述了一个有效的分析大量数据的框架,称为妈祖轮。“马祖轮目前用于处理NASA地球观测1号(EO-1)卫星每天产生的高光谱卫星数据。该框架旨在支持使用云计算应用程序(如Hadoop和Accumulo)进行扫描查询。扫描查询处理数据库或数据存储库中的所有或大部分数据。我们还描述了我们的初步车轮分析,包括异常检测器的罕见光谱特征或热异常的高光谱数据和土地覆盖分类,可用于水和洪水检测。这些分析中的每一个都可以生成可通过网络访问的可视化报告,供公众和感兴趣的决策者使用。分析的结果产品也可以通过符合开放地理空间标准的网络地图服务(WMS)获得,以供进一步分发。马祖轮允许一起执行许多共享数据服务,以有效地使用资源来处理高光谱卫星图像数据和其他数据,例如,大型环境数据集,可以分析用于许多目的。
2016-02-22 astro-ph.IM cs.DC
Hyper Heterogeneous Cloud-based IMS Software Architecture: A Proof-of-Concept and Empirical Analysis
由3GPP定义的IP多媒体子系统(IMS)主要由电话供应商在供应商专用硬件上开发和部署。网络功能虚拟化(NFV)技术的最新进展为虚拟化硬件和电话功能弹性铺平了道路。因此,电信供应商已经开始接受云作为部署平台,通常选择特权虚拟化平台。运营商希望在其现有的IT云平台上部署电信功能。实现这种灵活性需要电信供应商采用允许在许多云平台甚至异构云平台上部署的软件架构。我们提出了一个分布式软件架构,使一个单一的软件版本部署在多个云平台,从而允许基于解决方案的部署。我们还提出了一个原型,我们开发的研究这种架构的特点。
2015-09-18 cs.DC
MoA-Off: Adaptive Heterogeneous Modality-Aware Offloading with Edge-Cloud Collaboration for Efficient Multimodal LLM Inference
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Institute of AI for Industries(产业智能研究院);University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室)
MoA-Off 提出异构模态感知模块与自适应边缘-云协同卸载策略,动态调度多模态大语言模型推理负载,在保持准确率的同时降低 30% 以上延迟和 30%-65% 资源开销。
2025-09-21 cs.DC
GENMR: Generalized Query Processing through Map Reduce In Cloud Database Management System
大数据、云计算、云数据库管理技术、数据科学等等都是IT行业的未来。对于所有新技术来说,一个共同点是它们处理数据,不仅仅是数据,而是大数据。用户将各种数据存储在云存储库中。云数据库管理系统处理这样大的数据集。对于处理如此庞大的数据量,传统的方法是不合适的,因为这些方法无法处理这样的数据大小。为了处理这些问题,已经开发了各种解决方案,例如Hadoop,Map Reduce编程代码,HIVE,PIG等。但是到目前为止,用户习惯于使用SQL,Oracle之类的代码来处理数据,他们不知道Map Reduce代码。本文实现了一个通用的映射模型GENMR,它可以将以SQL、ORACLE、DB2、MYSQL等关系型数据库形式编写的查询转换为映射缩减代码。已经进行了比较,以评估GENMR与最新技术(如HIVE和PIG)的性能,并得出结论,GENMR显示出比这两种技术更好的性能。我们还介绍了一种优化技术,映射器的位置问题,以提高并行的效果,从而提高了这样的汞合金方法的性能。
2016-03-26 cs.DC
Tripod of Requirements in Horizontal Heterogeneous Mobile Cloud Computing
移动计算的最近趋势是在移动设备中执行资源密集型应用,而不管需要即将到来的技术的底层资源限制(例如,有限的处理器和能量)。云计算在固定计算机中的繁荣孕育了移动云计算(MCC)技术,该技术旨在除了节省能量之外还增强移动设备的计算和存储能力。然而,与云计算相比,MCC更加异构和不可靠(由于无线连接)。操作系统的变化、数据碎片以及安全和隐私等问题阻碍和减缓了MCC的实施和普及。在本文中,我们将MCC描述为一个水平异构生态系统,并确定了影响移动云解决方案和MCC成功的13个关键指标和方法。我们将它们分为三个主要类别,即普遍性,信任和能源效率,并在MCC中设计了一个三脚架。我们提出的三脚架表明,MCC的成功可以通过减少移动性挑战(例如无缝连接,碎片化),增加信任和提高能源效率来实现。
2012-05-15 cs.DC
Collaborative Cloud Computing Framework for Health Data with Open Source Technologies
传感器技术的扩散和数据汇集方法的进步使得能够积累非常大量的数据。这些数据集越来越多地被考虑用于科学研究。然而,系统体系结构的设计要在并行化、查询处理时间、异构数据类型(例如,时间序列、图像、结构化数据等),以及复制科学研究的困难仍然是一个重大挑战。这对于健康科学研究尤其如此,其中系统必须i)易于使用,具有在最细粒度级别操作数据的灵活性,ii)与程序设计语言内核无关,iii)可扩展,以及iv)符合HIPAA隐私法。在本文中,我们回顾了现有的文献,这种大数据系统在健康科学的科学研究,并确定当前的系统景观的差距。我们提出了一种新的架构,用于软件-硬件-数据生态系统,在分布式环境中使用开源技术,如Apache Hadoop,Kubernetes和ApacheyterHub。我们还使用6900万例患者的大型临床数据集对该系统进行了评估。
2020-07-20 cs.DC
EcoKube: Simulating Carbon-Aware Scheduling Policies in Heterogeneous Edge-Cloud Environments
University of Amsterdam(阿姆斯特丹大学)
针对云与边缘计算能源需求增长及碳排放问题,提出EcoKube框架,用于在异构边缘云环境中评估可持续性感知调度策略,含事件驱动模拟器等,通过合成批处理工作负载评估,可在部署前比较策略。
2026-07-13 cs.DC
Checkpointing as a Service in Heterogeneous Cloud Environments
一个非侵入性的,云不可知的方法是扩展现有的云平台,包括检查点重启能力。大多数云平台目前依赖于每个应用程序来提供其自己的容错。云内部的统一机制有两个目的:(a)直接支持长时间运行的作业,否则需要为每个应用程序提供自定义容错机制;(b)当更高优先级的作业到达时,通过临时交换作业来管理超额订阅的云的管理能力。这种统一方法的一个优点是,它还支持TCP和InfiniBand上的并行和分布式计算,从而允许传统的HPC应用程序利用现有的云基础设施。此外,集成的运行状况监视机制可以检测到长时间运行的作业何时失败或导致异常低的性能(可能是由于资源不足),并主动挂起作业。通过将该实现应用于两个非常不同的云平台:Snooze和OpenStack,展示了与云无关的特性。使用与云无关的架构还首次实现了应用程序从一个云平台迁移到另一个云平台。
2015-03-21 cs.DC
Dominant Resource Fairness in Cloud Computing Systems with Heterogeneous Servers
我们研究了云计算系统中的多资源分配问题,其中资源池是由大量异构服务器构建的,这些服务器代表处理、内存和存储等资源配置空间中的不同点。我们设计了一个多资源分配机制,称为DRFH,概括的主导资源公平性(DRF)的概念,从一个单一的服务器到多个异构服务器。DRFH提供了许多非常理想的性能。使用DRFH,没有用户喜欢另一个用户的分配;没有人可以在不减少其他用户的分配的情况下改善其分配;更重要的是,没有用户有动机谎报其资源需求。作为一个直接的应用程序,我们设计了一个简单的启发式,实现DRFH在现实世界中的系统。由Google集群跟踪驱动的大规模模拟表明,DRFH的性能明显优于传统的基于时隙的调度器,从而提高了资源利用率,大大缩短了作业完成时间。
2013-08-01 cs.DC
Benchmarking Different Application Types across Heterogeneous Cloud Compute Services
本文整理HPCC实验室的异构IaaS云计算基准,覆盖DNN推理、ML推理和视频转码三类应用,为跨云性能与成本优化提供数据集。
2025-01-10 cs.DC
CASH: A Credit Aware Scheduling for Public Cloud Platforms
公共云提供了无数的服务,使其租户能够以灵活,简单和经济高效的方式处理大规模的大数据。租户通常使用大规模数据处理框架,如MapReduce,Tez,Spark等来处理他们的数据。租户可以配置他们的框架来运行框架本身的单个任务,或者使用YARN或Mesos等中间件集群管理器来仲裁公共云集群中的资源调度。集群管理器需要了解工作负载需求以及集群中CPU和磁盘等单个资源的状态。云提供商使用令牌桶机制来表示其硬件资源的服务质量。在本文中,通过我们在YARN,Hadoop和Tez中的变化,我们展示了如何使中间件集群管理器认识到集群中单个硬件资源的预期服务质量。我们优化的集群管理器与粗粒度的知识的任务要求和细粒度的知识的预期服务质量的集群中的硬件资源执行高度优化的任务布局。我们的优化实验表明,基于CPU信用的实例(如Amazon T3实例)是运行大数据工作负载的可行的成本效益选项。我们还表明,Hive仓库上的流式SQL查询可以加速高达31%,从而节省高达22%的公共云成本。
2020-09-11 cs.DC
Scheduling Data Intensive Workloads through Virtualization on MapReduce based Clouds
MapReduce已经成为在云上运行数据密集型应用程序的流行编程模型。用户设置的MapReduce作业的完成时间目标或截止日期在现有的基于云的数据处理环境(例如Hadoop)中变得至关重要。在调度MR作业以满足最后期限和“数据局部性”(将任务分配给包含其输入数据的节点)之间存在冲突。为了满足最后期限,可以在没有用于该任务的本地输入数据的节点上调度任务,从而导致从远程节点的昂贵数据传输。在本文中,提出了一种新的调度器,以解决上述问题,主要是基于动态资源重新配置的方法。它有两个组成部分:1)资源预测器:其动态地确定每个作业满足完成时间保证所需的Map/Reduce时隙的数量; 2)资源重新配置器:其通过动态地增加或减少各个VM来调整CPU资源,同时不违反用户的完成时间目标,以最大化数据局部性,并且还最大化活动作业之间的系统内的资源的使用。建议的调度程序已被评估对公平的虚拟集群上建立在一个物理集群的20台机器。结果表明,作业吞吐量增加了约12
2012-08-09 cs.DC
Cloud4IoT: a heterogeneous, distributed and autonomic cloud platform for the IoT
我们推出了Cloud4IoT,这是一个为物联网支持软件组件和数据密集型应用程序提供自动部署、编排和动态配置的平台,用于数据处理和分析,从而实现新传感器对象的即插即用集成和动态工作负载可扩展性。Cloud4IoT在物联网环境中实现了基础设施即代码的概念:它为物联网运营提供了云服务的灵活性和弹性。此外,它将传统的集中式云架构转变为物联网技术所要求的更加分布式和分散式的计算模式,弥合了云计算和物联网生态系统之间的差距。因此,Cloud4IoT扮演的角色类似于Fog Computing,Cloudlets或Mobile Edge Cloud等解决方案所涵盖的角色。Cloud4IoThs的分层架构托管一个中央云平台和多个远程边缘云模块,支持专用设备,即物联网网关,通过这些网关,新的传感器对象可以访问平台。总体而言,该平台旨在支持基于物联网和数据密集型应用程序可能对低延迟,有限的可用带宽或数据本地性提出特定要求的系统。Cloud4IoT基于多种开源技术构建,用于物联网标准、协议和服务的容器化和实现。我们提出了该平台的实现,并在两个不同的用例中演示。
2018-10-03 cs.DC
Management of Data Replication for PC Cluster-based Cloud Storage System
存储系统是云计算基础架构的基本构建块。虽然高性能存储服务器是云存储的最终解决方案,但廉价存储系统的实现仍然是一个悬而未决的问题。为了解决这个问题,高效的云存储系统是用组织成基于PC集群的数据中心的廉价和商品计算机节点来实现的。Hadoop分布式文件系统(HDFS)是一个基于云的开源存储平台,旨在部署在低成本硬件中。通过增强复制管理机制,采用HDFS实现了基于PC集群的云存储系统。数据对象在位于云中的商品节点集群中分布和复制。该系统提供了最佳的副本数量以及存储服务器节点之间的加权和平衡。实验结果表明,根据PC集群中各节点的可用磁盘空间、期望可用性和失效概率,可以实现存储均衡。
2011-12-27 cs.DC cs.NI
Phone2Cloud: Exploiting Computation Offloading for Energy Saving on Smartphones in Mobile Cloud Computing
随着智能手机应用的繁荣,智能手机的节能越来越受到关注。在本文中,我们设计了Phone2Cloud,一个计算卸载为基础的系统,在移动云计算的背景下,智能手机上的节能。Phone2Cloud将运行在智能手机上的应用程序的计算卸载到云端。目标是提高智能手机的能源效率,同时通过减少执行时间来提高应用程序的性能。通过这种方式,可以改善用户的体验。在Android和Hadoop环境下实现了Phone2Cloud的原型系统。两组实验,包括应用实验和场景实验,进行评估系统。实验结果表明,Phone2Cloud可以有效地为智能手机节省能源并减少应用程序的执行时间。
2020-08-09 cs.DC cs.NI
Global Optimization of Data Pipelines in Heterogeneous Cloud Environments
云上的现代生产数据处理和机器学习管道是许多基于云的公司的关键组件。这些管道通常由复杂的工作流组成,这些工作流由有向无环图(DAG)表示。云环境对这些工作流很有吸引力,因为它具有异构实例和价格的广泛选择,可以为不同的性价比需求提供灵活性。然而,这种灵活性也导致选择正确的资源配置的复杂性(例如,实例类型、资源需求),同时使用选定的资源调度任务,以达到最佳的端到端性能和成本。这两个决策往往是相互依赖的,导致NP-难调度优化瓶颈。现有的解决方案只关注这两个问题中的任何一个,而忽略了端到端优化的共同影响。我们提出了AGORA,一个调度器,同时考虑任务级资源分配和执行DAG工作流作为一个整体,在异构云环境。AGORA首先(1)研究先前运行的任务的特征,并给出资源配置的预测,并且(2)自动为整个工作流找到最佳配置及其相应的调度,具有成本性能目标。我们在异构的Amazon Web Services(AWS)云环境中评估AGORA,其中多租户工作流由Airflow提供服务,与最先进的服务器相比,性能提高了45%,成本降低了77%。此外,我们将AGORA应用于阿里巴巴的实际生产跟踪,并显示成本降低了65%,DAG完成时间缩短了57%。
2022-02-11 cs.DC
Cost-Efficient and Robust On-Demand Video Transcoding Using Heterogeneous Cloud Services
视频流通常必须被转码以匹配观看者的设备的特征。流提供商必须存储给定视频的许多转码版本以服务于各种显示器。鉴于观众对视频流的访问模式遵循长尾分布的事实,对于具有低访问速率的视频流,我们建议使用云计算服务以按需方式对其进行转码。利用云服务进行按需视频转码的挑战是为观众保持强大的QoS,并为流媒体服务提供商保持成本效益。为了应对这一挑战,我们提出了基于云的视频流服务(CVS2)架构。它包括一个QoS感知的调度,映射转码任务的虚拟机,考虑的亲和力与分配的异构虚拟机的转码任务。为了在存在变化的流请求的情况下保持鲁棒性,该架构包括具有成本效益的VM ProvisionTM。该组件提供了一个可自配置的异构VM集群。集群被动态地重新配置,以保持与到达的工作负载的最大关联。在不同的工作负载条件下获得的结果表明,CVS2架构可以为观众保持强大的QoS,同时减少流媒体服务提供商的成本高达85%
2017-11-03 cs.DC
Scientific Workflows in Heterogeneous Edge-Cloud Computing: A Data Placement Strategy Based on Reinforcement learning
与云计算或其他传统的分布式计算环境相比,异构边缘-云计算范例可以提供部署科学工作流的最佳解决方案。由于科学数据集的大小不同以及其中一些数据集的隐私问题,因此必须找到一种数据放置策略,以最大限度地减少数据传输时间。一些最先进的数据放置策略结合边缘计算和云计算来分发科学数据集。然而,在工作流执行期间,将新生成的数据集动态分发到适当的数据中心并退出已使用的数据集仍然是一个挑战。为了应对这一挑战,本研究不仅构建了一个数据放置模型,其中包括共享数据集内的个人和跨不同地理区域的多个工作流之间,但也提出了一个数据放置策略(DYM-RL-DPS)的基础上的两个阶段的算法。首先,在工作流的构建阶段,我们使用差分进化的离散粒子群优化算法来预先分配初始数据集到适当的调度中心。然后,我们将动态数据集分布问题重新表示为马尔可夫决策过程,并提供了一种基于强化学习的方法来学习科学工作流运行时阶段的最优策略。通过模拟异构边缘云计算环境,设计了综合实验来验证DYM-RL-DPS的优越性。与其他策略相比,我们的策略可以有效地减少数据传输时间。
2022-05-14 cs.DC
Adaptive Edge Process Migration for IoT in Heterogeneous Cloud-Fog-Edge Computing Environment
以云为中心的物联网管理系统的延迟问题激发了雾和边缘计算(FEC)架构,该架构将任务从云分发到边缘资源,如路由器,交换机或物联网设备本身。具体来说,物联网系统的移动传感器也可以为FEC执行某些任务。考虑到当移动传感器无法继续其任务时从移动传感器到其他资源的动态过程迁移的需要,IoT系统需要提供允许移动传感器在运行时将其任务动态地迁移到其他FEC资源的灵活机制。然而,它提出了一个问题,在什么是最佳的方法时,移动传感器打算将其任务迁移到多个异构FEC资源?为了解决这个问题,作者提出了REM方案,这是能够优化进程迁移决策。此外,为了实现这样的系统并验证REM方案,作者开发了EPIOT主机框架。最后,作者实现了REM方案和框架,并进行了评估,结果表明,REM方案是能够提高在异构FEC环境中的进程迁移的性能。
2018-11-27 cs.DC
Optimal Data Placement for Data-Sharing Scientific Workflows in Heterogeneous Edge-Cloud Computing Environments
与传统的分布式计算或云计算环境相比,异构边缘-云计算范例可以为部署科学工作流提供更优化的方向。由于科学数据集的大小不一,且其中一些数据集必须保持私密性,因此寻找一种既能减少数据传输又能降低放置成本的数据放置策略仍然是一个难题。针对这一问题,结合边缘计算和云计算的优势,构建了一个数据放置模型,通过智能计算来平衡数据传输时间和数据放置成本。该模型解决的最困难的研究挑战是考虑在这种混合计算环境中的许多约束,其中包括在不同地理区域的单个和多个工作流之间的共享数据集。根据所建立的模型,提出了一种新的数据布局策略DE-DPSO-DPS,该策略采用差分进化离散粒子群优化算法(DE-DPSO-DPA)对这些科学数据集进行布局。该策略不仅考虑了边缘微处理器的数量和存储容量、不同微处理器之间的带宽以及私有数据集的比例等特性,还分析了算法在工作流执行过程中的性能。在模拟的异构边缘云计算环境中进行了综合实验,结果表明,与传统的数据共享科学工作流策略相比,该数据放置策略能够有效地减少数据传输时间和放置成本。
2021-04-13 cs.DC
Armada: A Robust Latency-Sensitive Edge Cloud in Heterogeneous Edge-Dense Environments
边缘计算通过利用数据邻近性并将延迟敏感和计算密集型工作负载卸载到附近的边缘服务器来实现大量新兴边缘应用程序。然而,由于有限的接入点边缘站点和受限的弹性,在广域环境中大规模支持边缘应用用户带来了挑战。在本文中,我们介绍了Armada:一个密集分布的边缘云基础设施,它探索了在异构环境中使用专用和志愿者资源为地理分布的用户提供服务。我们描述了轻量级的Armada架构和优化技术,包括性能感知的边缘选择,边缘上的自动扩展和负载均衡,容错和原位数据访问。我们在真实世界的志愿者环境和模拟平台上评估了Armada,以展示常见的边缘应用程序,即实时目标检测和人脸识别,可以轻松地部署在Armada上,以低延迟的方式为分布式用户提供大规模服务。
2021-11-23 cs.DC
Decentralized utility- and locality-aware replication for heterogeneous DHT-based P2P cloud storage systems
作为一种分布式哈希表(DHT),Skip Graph路由覆盖被广泛应用于包括P2P云存储在内的多个P2P服务中。适用于基于Skip Graph的P2P云存储的完全分散式复制算法在副本可用性和响应时间方面都未能提高系统的性能。此外,他们假设系统在节点的延迟分布、可用性行为、带宽或存储方面是同质的。在本文中,我们提出了金字塔,这是第一个完全分散的实用程序和本地感知的复制方法跳过基于图的P2P云存储系统。Pyramid认为节点在延迟分布、可用性行为、带宽和存储方面是异构的。金字塔是实用性感知的,因为它最大化每个时隙的副本的平均可用带宽(例如,每小时)。此外,Pyramid是本地感知的,因为它最大限度地减少了节点与其最近副本之间的平均延迟。我们的模拟结果表明,相比于最先进的解决方案,无论是在效用意识,或在本地意识,我们提出的金字塔提高了效用和本地意识的副本与增益约1.2和1.1倍,分别在同一时间。
2019-07-28 cs.DC