A New Parallelization Method for K-means
K-means是数据采掘领域中一种常用的聚类方法。为了处理大型数据集,研究人员提出了PKMeans,这是MapReduce上的并行k-means。然而,现有的k-means并行化方法,包括PKMeans有很多局限性。PKMeans无法在一个MapReduce作业中完成所有迭代,因此它必须在循环中重复级联MapReduce作业,直到收敛。在最流行的MapReduce平台Hadoop上,每个MapReduce作业都会在作业启动和洗牌阶段引入大量的I/O开销和额外的执行时间。更糟糕的是,已经证明,在最坏的情况下,k-means需要$2^{Ω(n)}$ MapReduce作业来收敛,其中n是数据实例的数量,这意味着对于大型数据集来说开销巨大。此外,在PKMeans中,最多可以为每个质心分配一个reducer并更新每个质心,因此PKMeans只能使用有限数量的并行reducer。本文提出了一种改进的k-means并行方法IPKMeans,它具有一个使用k-d树的并行预处理阶段,可以在一个MapReduce作业中完成k-means,与PKMeans相比,它具有更多的reducer并行工作和更低的I/O开销,并且具有快速的后处理阶段生成最终结果。在我们的方法中,k-d树和新的改进的并行k-means使用MapReduce实现,并在Hadoop上进行测试。实验结果表明,在相同的数据集和初始质心下,…
2016-08-26 cs.DC
Parallel Hierarchical Affinity Propagation with MapReduce
互联网和社交媒体的加速发展和爆炸正在产生大量的数据(在zettabyte规模上)。从海量大数据中操纵和提取可操作情报的愿望中,最重要的是需要可扩展的、性能敏感的分析算法。为了直接满足这一需求,我们提出了一种新的MapReduce实现的基于样本的聚类算法称为亲和传播。我们的并行化策略扩展到多层次的层次亲和传播算法,使分层聚合的非结构化数据与最小的自由参数,原则上只需要一个数据点之间的相似性度量。我们详细介绍了我们的方法的线性运行时的复杂性,克服了原来的算法的限制二次复杂性。在各种合成和真实数据集(例如图像和点数据)上对我们的聚类方法进行了实验验证,证明了我们对其他最先进的MapReduce聚类技术的竞争力。
2014-03-28 cs.DC
Parallel Genetic Algorithm to Solve Traveling Salesman Problem on MapReduce Framework using Hadoop Cluster
旅行商问题(TSP)是组合优化中最常研究的问题之一。给定城市列表和它们之间的距离,问题是找到最短的旅行可能访问列表中的所有城市一次,并在它开始的城市结束。尽管旅行商问题是一个NP难问题,但人们已经提出了很多方法和解决方案。遗传算法就是其中之一。遗传算法是求解旅行商问题的一种简单而有效的探试法。在本文中,我们将展示一个并行的遗传算法的MapReduce框架的实现,以解决旅行商问题。MapReduce是一个用于支持计算机集群上的分布式计算的框架。我们使用免费许可的Hadoop实现作为MapReduce框架。
2014-01-24 cs.DC cs.NE
BSP vs MapReduce
MapReduce框架已经在广泛的领域引起了人们的兴趣。它已被广泛应用于工业界,并已被用于解决学术界的一些重要问题。将MapReduce置于坚实的理论基础上对于理解其功能至关重要。这项工作将MapReduce与BSP计算模型联系起来,强调了BSP与现代并行算法设计的相关性,并定义了一个可以在MapReduce中有效实现的BSP算法子类。
2012-06-15 cs.DC
Towards co-designed optimizations in parallel frameworks: A MapReduce case study
大数据爆炸之后,大量复杂的并行软件堆栈激增,其目的是应对数据泛滥的挑战。这种多层分层部署的缺点是无法在堆栈中的层之间维护和委托重要的语义信息。软件抽象增加了应用程序与其生成的代码之间的语义距离。然而,并行软件框架包含通用编译器不被设计为利用的固有语义信息。本文介绍了一个案例研究,演示了如何在多核架构上利用MapReduce范式的特定语义信息。MR4J已在Java中实现,并针对手动优化的C和C++等效项进行了评估。最初观察到的结果导致了语义感知优化器的设计,该优化器自动运行而无需修改应用程序代码。优化器能够将MR4J的执行时间加快2.0倍。引入的优化不仅提高了生成代码在映射阶段的性能,还减少了垃圾收集器的压力。这演示了在使用并行软件框架时,如何在不牺牲良好的软件工程实践的情况下利用语义信息。
2016-03-31 cs.DC
Comparing Spark vs MPI/OpenMP On Word Count MapReduce
Spark提供了MapReduce的内存实现,广泛用于大数据行业。MPI/OpenMP是一种流行的高性能并行计算框架。本文提出了一种高性能的MapReduce设计在MPI/OpenMP和使用Spark在经典的字数MapReduce任务进行比较。我的结果显示,MPI/OpenMP MapReduce的性能比Apache Spark高出约300%。
2019-02-01 cs.DC cs.PF
Parallel Processing of Large Graphs
越来越多的大型数据汇集被收集在世界各地的各种IT系统中。它们中的许多具有网络性质,需要作为图结构来处理和分析。由于它们的大小,它们需要经常使用并行范式来进行有效的计算。本文比较了MapReduce及其映射端连接扩展和批量同步并行(BSP)三种并行技术。他们实现了两个不同的图形问题:计算单源最短路径(SSSP)和集体分类的关系影响传播(RIP)的图形节点。该方法和算法适用于不同的规模和结构配置文件的几个网络数据集,来自三个领域:电信,多媒体和微博。结果表明,使用BSP实现的迭代图处理总是显著地优于MapReduce,甚至高达10倍,特别是对于具有多次迭代和稀疏通信的算法。此外,MapReduce基于映射端连接的扩展通常会显着提高效率,尽管没有BSP那么多。尽管如此,MapReduce仍然是大型网络的良好替代方案,其数据结构不适合本地存储器。
2013-06-03 cs.DC
Review of Apriori Based Algorithms on MapReduce Framework
挖掘频繁项集的Apriori算法是最流行和最广泛使用的数据采掘算法之一。为了提高Apriori算法的性能,目前已经提出了许多并行和分布式平台上的算法。它们在负载均衡技术、存储系统、数据分解技术和数据布局等方面存在差异。大多数分布式框架的问题是管理分布式系统的开销和缺乏高级并行程序设计语言。而且,对于网格计算,总是存在节点故障的潜在机会,这会导致任务的多次重新执行。这些问题可以通过Google引入的MapReduce框架来解决。MapReduce是一种高效,可扩展和简化的编程模型,用于大型商用计算机集群上的大规模分布式数据处理,也用于云计算。本文介绍了在MapReduce框架上实现的并行Apriori算法。它们被分类的基础上的映射和减少功能,用于实现它们,例如1阶段与k阶段,I/O的映射器,组合器和还原器,使用功能的组合器内映射器等,本次调查讨论和分析的各种实现Apriori的MapReduce框架的基础上,他们的显着特点。此外,还包括MapReduce框架的优点和局限性。
2017-02-21 cs.DB cs.DC
Enumerating Maximal Bicliques from a Large Graph using MapReduce
我们认为最大的二分集团(bicliques)从一个大的图,一个任务的核心,许多实际的数据采掘问题,在社会网络分析和生物信息学的枚举。我们提出了新的并行算法的MapReduce平台,并使用Hadoop MapReduce的实验评估。我们的算法是基于聚类的输入图成较小尺寸的子图,然后并行处理不同的子图。我们的算法使用两个想法,使其能够扩展到大型图:(1)通过仔细修剪的搜索空间,不同的子图探索之间的工作冗余最小化,和(2)不同的约简器上的负载是通过使用一个适当的总阶之间的顶点平衡。我们的评估表明,该算法的规模与数百万的边缘和数千万的最大bicliques大型图。据我们所知,这是第一个工作的最大biclique枚举图的这种规模。
2014-04-19 cs.DC
Parallel Knowledge Embedding with MapReduce on a Multi-core Processor
This article firstly attempts to explore parallel algorithms of learning distributed representations for both entities and relations in large-scale knowledge repositories with { \it MapReduce} programming model on a multi-core processor. We accelerate the training progress of a canonical knowledge embedding method, i.e. { \it translating embedding} ({ \bf TransE}) model, by dividing a whole knowledge repository into several balanced subsets, and feeding each subset into an individual core where local embeddings can concurrently run updating during the { \it Map} phase. However, it usually suff…
2015-09-03 cs.DB cs.DC
Blaze: Simplified High Performance Cluster Computing
Cornell University(康奈尔大学)
MapReduce及其变体大大简化和加速了开发并行程序的过程。然而,大多数MapReduce实现都集中在数据密集型任务上,而许多现实世界的任务都是计算密集型的,它们的数据可以分布到内存中。对于这些任务,MapReduce程序的速度可能比手动优化的程序慢得多。我们目前的火焰,一个C++库,可以很容易地开发高性能的并行程序,这样的计算密集型任务。Blaze的核心是一个高度优化的内存中MapReduce函数,与传统的MapReduce实现相比,它有三个主要的改进:快速减少,快速序列化和对小的固定键范围的特殊处理。我们还提供额外的便利,使开发并行程序类似于开发串行程序。这些改进使Blaze成为一个易于使用的集群计算库,接近手动优化并行代码的速度。我们将Blaze应用于一些常见的数据采掘任务,包括词频计数,PageRank,k-means,期望最大化(高斯混合模型)和k-最近邻。在这些任务中,Blaze的平均性能比Apache Spark高出10倍以上,而且Blaze的速度几乎与节点数量成线性关系。此外,Blaze在其实现中仅使用MapReduce函数和3个实用程序函数,而Spark在其官方实现中使用了近30种不同的并行原语。
2019-02-06 cs.AI cs.DC cs.LG
Running genetic algorithms on Hadoop for solving high dimensional optimization problems
Hadoop是一个流行的MapReduce框架,用于在分布式环境中开发并行应用程序。MapReduce的几个优点,如编程简单性和使用商品硬件的能力,使并行和分布式系统的软计算方法的适用性比以前更容易。在本文中,我们提出了使用Hadoop运行软计算算法的实验研究结果。这项研究表明,一个简单的遗传算法运行在Hadoop上可以用来产生高维优化问题的解决方案。此外,还提出了一种简单而有效的技术,它不需要MapReduce链。
2018-02-10 cs.DC
Comparing MapReduce and Pipeline Implementations for Counting Triangles
为计算问题定义并行解决方案的一种常见方法是找到一种使用分治范式的方法,以便使处理器处理自己的数据并以并行方式调度。MapReduce是一个遵循这种范式的编程模型,通过将问题分解为输入数据的子集上的步骤,并结合每个步骤的结果来产生最终结果,从而允许定义有效的解决方案。尽管MapReduce用于实现各种各样的计算问题,但每当复制因子增加或输入的大小大于每个处理器上可用的资源时,MapReduce的性能就会受到负面影响。在本文中,我们展示了另一种方法来实现分而治之的范例,命名为动态管道。动态流水线的主要特点是说明了一个著名的问题,在一个图中的三角形计数的并行实现。当输入图不适合内存或动态生成时,这个问题特别有趣。为了评估管道的属性,在Go语言中实现了一个动态的进程管道和MapReduce的ad-hoc版本,利用其处理通道和派生进程的能力。对不同拓扑结构、大小和密度的图进行了实证评估。观察到的结果表明,动态管道允许一个有效的实施的问题,计算三角形的图形,特别是在密集和大型图形,大大减少了执行时间的MapReduce实现。
2017-01-12 cs.DC cs.DS
Optimization for Speculative Execution of Multiple Jobs in a MapReduce-like Cluster
如今,典型数据中心的计算集群可以轻松地由数十万台商用服务器组成,使组件/机器故障成为常态而不是例外。一个并行处理作业,只要它的许多任务中的一个被分配给一台故障机器,就可以被大大地延迟。为了解决这个所谓的落伍者问题,大多数并行处理框架,如MapReduce,都采用了各种策略,在这些策略下,如果同一任务的进度异常缓慢,或者仅仅是因为有额外的空闲资源可用,系统可能会推测性地启动同一任务的额外副本。在本文中,我们专注于在不同的负载条件下的并行处理集群的推测执行方案的设计。对于轻负载的情况下,我们分析并提出了两个基于优化的计划,即智能克隆算法(SCA),这是基于最大限度地提高作业效用和掉队者检测算法(SDA),最大限度地减少了一个作业的整体资源消耗。我们还推导出SCA或SDA应该用于推测执行的工作负载阈值。我们的模拟结果表明,SCA和SDA可以减少近60%的预测执行策略的Microsoft Mantri相比,作业流时间。对于重负载的情况下,我们提出了增强的推测执行(ESE)算法,这是一个扩展的微软Mantri计划。我们发现,ESE算法可以击败曼特里基线计划的18%,在工作流时间,同时消耗相同数量的资源。
2015-01-05 cs.DC
Simple one-pass algorithm for penalized linear regression with cross-validation on MapReduce
在本文中,我们提出了一个一遍MapReduce算法的惩罚线性回归\[f_λ(α, β) = \|Y - α\mathbf{1} - Xβ\|_2^2 + p_λ(β)\]其中$α$是截距,可以根据应用省略; $β$是系数和$p_λ$是惩罚函数与惩罚参数$λ$。$f_λ(α, β)$包括有趣的类,如Lasso,岭回归和弹性网络。与最新的需要多个MapReduce作业的迭代分布式算法相比,我们的算法实现了巨大的性能提升;此外,我们的算法与并行随机梯度下降等近似算法相比是精确的。此外,我们的算法区别于其他人的是,它训练模型的交叉验证选择最佳的$λ$,而不是用户指定的。关键词:惩罚线性回归,lasso,弹性网络,岭,MapReduce
2016-04-14 cs.DC cs.LG stat.ML
Scalable Distributed Algorithms for Size-Constrained Submodular Maximization in the MapReduce and Adaptive Complexity Models
Texas A&M University(德克萨斯农工大学);Florida State University(佛罗里达州立大学)
该研究针对规模约束单调子模最大化问题,证明多类亚自适应算法满足MapReduce模型的一致性要求,提出首个线性查询复杂度的分布式算法,并给出提升MR算法最大基数约束的方法。
2024-09-16 cs.DC cs.DS cs.LG
MapReduce Particle Filtering with Exact Resampling and Deterministic Runtime
粒子滤波是一种数值贝叶斯技术,在解决涉及非线性和非高斯模型的序贯估计问题方面具有很大的潜力。由于通过粒子滤波器实现的估计精度随着粒子数量的增加而提高,因此自然要考虑尽可能多的粒子。MapReduce是一种通用编程模型,可以将各种算法扩展到大数据。然而,尽管粒子滤波器在许多领域的应用,很少有人关注实现粒子滤波器使用MapReduce。在本文中,我们描述了一个粒子滤波器使用MapReduce的实现。我们专注于一个组件,否则将是一个瓶颈,并行执行,reserve组件。我们设计了一个新的实现这个组件,它不需要近似,具有$O\left(N\right)$空间复杂度和确定性的$O\left(\left(\log N\right)^2\right)$时间复杂度。结果表明,该新组件的实用性,并最终在考虑粒子滤波器与$2^{24}$粒子分布在$512$处理器内核。
2017-05-04 cs.DC stat.CO
MPIgnite: An MPI-Like Language and Prototype Implementation for Apache Spark
基于MPI的横向扩展并行处理是一个有25年历史的标准,在高性能计算社区中,至少还有十年的历史。MapReduce、Hadoop和Spark等较新的框架代表了工业可扩展计算解决方案,这些解决方案因其相对简单的使用、对相关问题的适用性以及利用可扩展分布式资源的能力而得到广泛采用。虽然MPI提供了性能和可移植性,但它缺乏生产力和容错能力。同样,Spark是当前一代MapReduce和数据并行计算基础设施的一个具体示例,它可以实现这些目标,但又缺乏对等通信支持,无法实现轻量级、高度可扩展的对等数据并行代码部分。本文的主要贡献是演示如何将MPI的集体和点对点对等通信概念引入Spark环境。这样做是为了产生性能便携,面向对等和面向组的通信服务,同时保留Spark的基本,理想的属性。考虑了容错和生产率的附加概念。这种方法与将MapReduce框架作为上层中间件添加到传统的MPI实现作为基线基础设施相比。
2017-07-15 cs.DC
Connected Components at Scale via Local Contractions
作为层次图聚类的基本工具,连通分量的计算一直是大规模数据采掘的核心问题。虽然许多已知的算法已经开发了这个问题,他们要么是不可扩展的,在实践中或缺乏强有力的理论保证的并行运行时间,即,通信轮数。到目前为止,经过验证的最好的保证是$\Oh(\log n)$,它与PRAM模型中的运行时间相匹配。在本文中,我们的目标是设计一个分布式算法,这个问题,以及在理论和实践中。特别是,我们提出了一个简单的算法的基础上收缩,并提供了一个可扩展的实现它在MapReduce。在理论方面,除了显示$\Oh(\log n)$收敛的所有图,我们证明了一个$\Oh(\log \log n)$并行运行时间具有高概率的某一类随机图。我们在MPC模型中工作,该模型捕获流行的并行计算框架,如MapReduce,Hadoop或Spark。在实践方面,我们表明,我们的算法优于最先进的MapReduce算法。为了证实其可扩展性,我们报告的经验结果图与数万亿的边缘。
2018-07-27 cs.DC cs.DS
Divide and Conquer: an Accurate Machine Learning Algorithm to Process Split Videos on a Parallel Processing Infrastructure
Universidad Autónoma de Occidente(西方自治大学)
城市中的交通摄像机数量每天都在迅速增加,产生了大量的视频数据。并行处理基础设施(如Hadoop)和编程模型(如MapReduce)正在被用来快速处理大量数据。使用Hadoop MapReduce进行视频处理的常见方法是仅在一个节点上处理整个视频,然而,为了避免并行化问题,例如负载不平衡,我们建议通过将视频分成相等的部分并在不同的节点上处理每个结果块来处理视频。我们使用了一些机器学习技术来检测和跟踪车辆。然而,视频分割可能产生不准确的结果。为了解决这个问题,我们提出了一个启发式算法,以避免处理车辆在一个以上的块。
2019-12-20 cs.CV cs.DC
Iterative MapReduce for Large Scale Machine Learning
University of California, Santa Cruz(加州大学圣克鲁兹分校);University of California, Irvine(加州大学欧文分校);Yahoo! Research(雅虎研究院)
大型数据集(“大数据”)正变得无处不在,因为跨广泛的商业和科学应用从数据中获得见解的潜在价值越来越被认识到。特别是,大数据上的机器学习--数据分析、总结和推理的基础学科之一--已经成为大多数运营大型云的组织的常规,这些云通常基于支持MapReduce编程范式的Hadoop等系统。现在人们普遍认识到,虽然MapReduce是高度可扩展的,但它有一个机器学习的关键弱点:它不支持迭代。因此,人们不得不围绕这个限制进行编程,导致脆弱,低效的代码。此外,在多租户的云环境中,对程序员的依赖是固有的缺陷,因为程序员在他或她的程序执行时无法看到系统的状态。先前的工作试图通过开发针对程式化应用程序的专门系统来解决这个问题,或者通过在MapReduce中增加对跨迭代保存状态的特殊支持(由外部循环驱动)。在本文中,我们提倡支持循环作为一个一流的结构,并提出了一个扩展的MapReduce编程范式称为{ \em迭代MapReduce}。然后,我们开发了一类迭代MapReduce程序,涵盖了大多数机器学习技术的优化器,为关键的优化步骤提供理论依据,并实证证明,系统优化的程序显着的机器学习任务与国家的最先进的专业解决方案的竞争力。
2013-03-13 cs.DB cs.DC cs.LG
Efficient Straggler Replication in Large-scale Parallel Computing
在具有许多并行任务的云计算作业中,最慢机器上的任务(离散任务)成为作业完成的瓶颈。MapReduce和Spark等计算框架通过复制分散的任务并等待任何一个副本完成来解决这个问题。尽管在实践中被采用,但很少有关于复制如何影响延迟和额外计算资源成本的分析。在本文中,我们提供了一个框架来分析这种延迟成本权衡,并通过回答设计问题来找到最佳复制策略,例如:1)何时复制离散任务,2)启动多少副本,以及3)是否杀死原始副本。我们的分析表明,对于某些执行时间分布,少量的任务复制可以大大减少延迟以及计算资源的成本。我们还提出了一个算法来估计的延迟和成本的基础上的经验分布的任务执行时间。使用Google集群跟踪中的示例进行的评估表明,与MapReduce中使用的现有复制策略相比,进一步降低了延迟和成本。
2017-09-13 cs.DC
Towards Zero-Overhead Adaptive Indexing in Hadoop
一些研究工作集中在MapReduce系统中支持索引访问。这些工作使用户能够以数量级的速度显著加快选择性MapReduce作业。然而,所有这些建议都要求用户预先创建索引,这在某些工作负载不断变化或难以预测的应用程序(例如科学和社会应用程序)中可能是一项艰巨的任务。为了克服这个问题,我们提出了LIAH(Hadoop中的惰性索引和自适应性),这是一种并行的自适应方法,用于以最小的成本为MapReduce系统建立索引。LIAH的主要思想是通过在HDFS数据块上创建聚集索引作为执行MapReduce作业的副产品来自动和增量地适应用户的工作负载。除了在多个计算节点上分配索引工作之外,LIAH还将索引与地图任务计算和磁盘I/O并行化。所有这一切都没有任何额外的数据复制在主存储器和最低限度的同步。LIAH的美妙之处在于它将索引创建搭载在map任务上,这些任务无论如何都要将相关数据从磁盘读取到主存。因此,LIAH不会引入任何额外的读I/O成本,也不会利用空闲的CPU周期。因此,与现有的自适应索引工作相比,LIAH具有非常低的(或不可见的)索引开销,通常用于第一个作业。不过,LIAH可以快速收敛到一个完整的索引,即所有HDFS数据块都被索引。特别是,LIAH可以用快速的完整索引收敛来换取早期作业运行时的改进。我们将LIAH与HAIL(一种最先进的索引技术)以及标准Hadoop在索引开销和工作负载性能方…
2012-12-14 cs.DB cs.DC
Efficient Parallel and External Matching
我们表明,一个简单的算法,用于计算一个匹配的图形运行在对数的阶段引起的工作线性的输入大小。该算法可以适用于在几种计算模型中提供有效的算法,例如PRAM,外部存储器,MapReduce和分布式存储器模型。我们的CREW PRAM算法是第一个O(log^2 n)时间的线性工作算法。实验结果表明,该算法具有速度快、效率高、解质量好的特点。
2014-02-01 cs.DC cs.DS
Approximating Edit Distance in Truly Subquadratic Time: Quantum and MapReduce
两个字符串之间的编辑距离定义为将一个字符串转换为另一个字符串所需的最小插入、删除和替换次数。在次二次时间内近似编辑距离是“组合模式匹配领域最大的未解决问题之一“。我们的主要结果是一个量子常数近似算法计算的编辑距离在真正的次二次时间。更准确地说,我们给出了一个$O(n^{1.858})$量子算法,近似的编辑距离内的一个因素$7$。我们进一步扩展这一结果的$O(n^{1.781})$量子算法,在一个较大的常数因子内近似的编辑距离。我们的解决方案是基于一个框架,在并行设置近似编辑距离。这个框架需要一个黑盒算法,它可以同时计算几个较小字符串的距离。对于一个量子算法,我们减少了黑盒\textit{metric estimation},并提供有效的算法来近似它。我们进一步表明,这个框架使我们能够近似编辑距离在分布式设置。为此,我们提供了一个MapReduce算法近似编辑距离内的一个因素$3$,次线性许多机器和次线性内存。此外,我们的算法运行在对数轮数。
2018-04-25 cs.DC cs.DS quant-ph
Teaching Parallel Programming Using Java
本文介绍了"应用并行计算"课程讲授的最后一年软件工程本科生在2014年春季在巴基斯坦NUST的概述。该课程的主要目标是介绍实用的并行编程工具和技术,用于共享和分布式内存并发系统。该课程的一个独特之处是Java被用作主要的程序设计语言。课程分为三个部分。第一部分介绍了用于共享内存系统的并行编程技术,包括多核和对称多处理器(SMP)系统。在本节中,我们将Java线程作为一种可行的编程API来介绍。第二部分专门介绍用于分布式内存系统(包括计算机集群和网络)的并行编程工具。我们使用MPJ-一个Java MPI库-来进行本节的编程作业和实验工作。第三节也是最后一节涵盖了高级主题,包括使用Hadoop的MapReduce编程模型和图形处理单元上的通用计算(GPGPU)。
2014-08-27 cs.CY cs.DC
Actors vs Shared Memory: two models at work on Big Data application frameworks
这项工作的目的是分析两种不同的并发模型,即共享内存模型和演员模型,可以影响管理大量数据的应用程序的开发,大数据应用程序的独特之处。本文通过对MapReduce和Bulk Synchronous Parallel两种算法方案的具体工程分析,对两种模型进行了比较。这两个项目都在两个具体的平台上双重实现:Akka Cluster和Managed X10。其结果既是大数据分析场景中模型的概念比较,也是基于集群平台上的具体执行的实验分析。
2015-05-12 cs.DC
Massively Parallel Computation via Remote Memory Access
我们介绍了自适应大规模并行计算(AMPC)模型,这是一个扩展的大规模并行计算(MPC)模型。在高层次上,AMPC模型通过将一轮内发送的所有消息存储在分布式数据存储中来增强MPC模型。在接下来的一轮中,所有机器都可以随机读取数据存储,并受到与MPC模型中相同的通信总量约束。我们的模型的灵感来自以前的经验研究的分布式图算法使用MapReduce和分布式哈希表服务。这种扩展使我们能够给出新的图形算法,与MPC模型中最知名的解决方案相比,具有更低的轮复杂度。特别是,在AMPC模型中,我们展示了如何解决$O(1)$轮中的最大独立集和$O(\log\log_{m/n} n)$轮中的连通性/最小生成树,这两个轮都使用$O(n^δ)$空间,每台机器为常数$δ< 1$。在MPC的相同存储器机制中,这些问题的最佳已知算法需要polylog $n$轮。我们的结果意味着,2-循环猜想,这是广泛认为,在MPC模型,不成立的AMPC模型。
2019-05-18 cs.DC cs.DS
MPI Windows on Storage for HPC Applications
即将到来的HPC集群将在每个计算节点上提供混合内存和存储设备。在这项工作中,我们建议使用MPI单边通信模型和MPI窗口作为编程内存和存储的唯一接口。我们描述了MPI存储窗口的设计和实现,并提出了它的好处,核外执行,并行I/O和容错。此外,我们探讨了异构窗口分配的集成,内存和存储共享一个统一的虚拟地址空间。当执行大型的,不规则的内存操作,我们验证MPI窗口本地存储招致平均55%的性能损失。当使用Lustre并行文件系统时,观察到不对称的性能,写入操作的性能下降超过90%。尽管如此,分布式哈希表,HACC I/O内核迷你应用程序,和一个新的MapReduce实现的基础上使用的MPI单边通信的实验结果表明,MPI窗口的整体损失存储在大多数情况下可以忽略不计在现实世界中的应用程序。
2018-10-09 cs.DC
Parallel Large-Scale Attribute Reduction on Cloud Systems
Southwest Jiaotong University(西南交通大学);Georgia State University(佐治亚州立大学)
现代社会新兴信息技术和应用模式的迅速发展,互联网、物联网、云计算和三网融合,已经导致了大数据时代的到来。大数据蕴含着巨大的价值,但由于数据的不确定性和不一致性,从大数据中挖掘知识是一项极具挑战性的任务。属性约简(也称为特征选择)不仅可以作为一个有效的预处理步骤,而且还可以利用数据冗余来减少不确定性。然而,现有的解决方案是1)针对单个机器而设计的,这意味着整个数据必须适合主存储器并且并行性是有限的; 2)或者针对Hadoop平台而设计的,这意味着数据必须频繁地加载到分布式存储器中,因此变得低效。在本文中,我们克服了这些缺点,以最大限度地提高效率,并提出了一个统一的框架,并行大规模属性约简,称为PLAR,大数据分析。PLAR由三个组件组成:1)基于粒度计算(GrC)的初始化:它将决策表(即,原始数据表示)转换为粒度表示,这减少了空间量,因此可以很容易地缓存在分布式存储器中:2)模型并行性:它同时评估所有特征候选,并使属性约简高度并行化; 3)数据并行性:它使用MapReduce风格的方式并行计算属性的重要性。我们在Spark上实现了四种具有代表性的启发式特征选择算法,并在各种大型数据集上进行了评估,包括UCI和天文数据集,发现我们的方法超越现有解决方案的优势。
2016-10-06 cs.AI cs.DC
Practical Parallel External Memory Algorithms via Simulation of Parallel Algorithms
本文介绍了PEMS 2,它是对PEMS(并行外部存储系统)的改进。PEMS在外部存储器(EM)上下文中执行批量同步并行(BSP)算法,使得能够计算超过主存储器大小的非常大的数据集。许多并行算法已经被设计和实现为批量同步并行计算模型。这样的算法通常假设整个数据集一次存储在主存储器中。PEMS通过使用磁盘空间作为额外的“虚拟处理器”的存储器来克服这个限制,而不需要对算法进行任何修改。之前的工作表明,这是一种很有前途的方法,可以随着计算资源(即处理器和磁盘)的添加而扩展。然而,该技术招致显着的开销相比,专用的EM算法。PEMS 2对模拟过程进行了改进,旨在减少此开销以及运行模拟所需的磁盘空间量。还引入了新功能,包括异步I/O和对多核处理器的支持。实验结果表明,这些变化显着提高了仿真的运行时间。PEMS 2缩小了模拟BSP算法和手工EM算法之间的性能差距,为使用超过RAM大小的数据集的BSP算法提供了一个实用的系统。
2010-01-19 cs.DC cs.DS
High-Performance Hybrid Algorithm for Minimum Sum-of-Squares Clustering of Infinitely Tall Data
University of Washington(华盛顿大学);Satbayev University(萨拜耶夫大学);Institute of Information and Computational Technologies(信息与计算技术研究所)
本文提出无限高数据最小平方和聚类问题,并设计混合并行算法HPClust,通过多策略竞争-协作并行提升聚类效率、可扩展性和准确性,优于现有方法。
2024-06-25 cs.DC cs.LG math.OC
Round Compression for Parallel Matching Algorithms
十多年来,我们见证了{ \em massive parallel computation}(MPC)框架的成功,例如MapReduce、Hadoop、Dryad或Spark。他们成功的原因之一是这些框架能够准确地捕捉大规模计算的本质。特别是,与经典的分布式算法或PRAM模型相比,这些框架允许更多的本地计算。在这种情况下出现的基本问题是:我们能否利用这种额外的能力来获得更快的并行算法?这里一个突出的例子是{ \em最大匹配}问题-最经典的图问题之一。众所周知,在PRAM模型中,可以在$O(\log{n})$轮中计算2-近似最大匹配。然而,在MPC框架中这个问题的确切复杂性仍然远未被理解。Lattanzi等人证明,如果每台机器都有$n^{1+Ω(1)}$内存,这个问题也可以用$2$来解决--大约在一个常数轮数内。这些技术,以及在后续工作中开发的方法,似乎一旦我们进入近线性记忆状态,就会在基本上停留在大约$O(\log{n})$轮。因此,在这种特别捕获稀疏图计算的情况下,最佳MPC轮复杂度与PRAM模型中已经获得的复杂度相匹配,而不需要利用额外的本地计算能力,这是完全可能的。在本文中,我们最终驳斥了这种令人困惑的可能性。也就是说,即使在每台机器的{ \em略微次线性}内存的情况下,我们也打破了上述$O(\log n)$轮复杂度界限。事实上,我们在这里的改进是{ \em几乎指数}:我们能够…
2018-02-01 cs.DC cs.DS
Log Diameter Rounds Algorithms for $2$-Vertex and $2$-Edge Connectivity
许多现代并行系统,如MapReduce,Hadoop和Spark,可以很好地建模MPC模型。MPC模型可以很好地捕捉大数据上的粗粒度计算--数据被分发到处理器,每个处理器都有一个次线性(在输入数据中)的内存量,我们在计算轮和通信轮之间交替,每个机器可以传输与其内存大小一样大的数据量。该模型比经典的PRAM模型更强,设计运行时间比PRAM模型更短的算法是一个有趣的问题。本文研究了两个基本问题:$2$ -边连通性和$2$ -点连通性(双连通性).在$O(\log n)$时间内运行的PRAM算法已经公知多年。在MPC模型中,我们给出了使用粗对数直径轮的算法。我们的主要结果是:1)$n$并行时间$2$-边连通算法; 2)$O(\log D\log^2\log_{m/n}n+\log D'\log\log_{m/n}n)$并行时间双连通算法,其中双直径$D'$是同一双连通分支中所有顶点对上的最大圈长.我们的结果是完全可扩展的,这意味着每个处理器的内存可以是$O(n^δ)$为任意常数$δ>0$,和使用的总内存是线性的问题大小。我们的$2$ -边缘连接算法实现了与Andoni等人的连接算法相同的并行时间。(FOCS 2018)。我们还证明了双连通问题的$Ω(\log D')$条件下界。
2019-05-02 cs.DC cs.DS