The Efficiency of MapReduce in Parallel External Memory
自2004年引入以来,MapReduce框架已经成为大规模分布式和并行计算的标准方法之一。与其在实践中的广泛应用相反,理论基础仍然有限,并且只有很少的工作尚未将MapReduce与主要的计算模型相提并论。在将MapReduce框架与PRAM和BSP在其宏观结构中联系起来的先驱工作之后,我们专注于框架本身提供的功能,考虑并行外部内存模型(PEM)。在这方面,我们提出了上界和下界的并行I/O的复杂性,匹配到常数因子的洗牌步骤。shuffle步骤是一个通信阶段,其中一个MapReduce调用的所有信息都从map worker传输到reduce worker。因此,与之前的工作相比,我们将重点转向内部沟通步骤。我们得到的结果进一步结转到BSP* 模型。一方面,这表明与PEM相比,MapReduce中表达的算法可以“隐藏”多少复杂性。另一方面,我们的结果限制了MapReduce方法在I/O效率方面的最坏情况下的性能损失。
2011-12-16 cs.CC cs.DC
A Review of CUDA, MapReduce, and Pthreads Parallel Computing Models
高性能计算(HPC)和图形处理单元(GPU)的出现为需要并行处理以进行鲁棒和及时的数据分析的大数据事务(大数据)提供了巨大的计算资源。虽然已经提出了许多HPC框架,但并行编程模型提出了许多挑战,例如,如何充分利用不同编程模型中的功能,通过CPU和GPU中的多线程来实现和管理并行性。在本文中,我们将概述三种并行编程模型,CUDA,MapReduce和Pthreads。目标是探索有关该主题的文献,并提供编程模型中呈现的功能的高级视图,以帮助高性能用户简明地理解并行编程概念,从而使用高性能计算更快地实现大数据项目。
2014-10-16 cs.DC
A New Parallelization Method for K-means
K-means是数据采掘领域中一种常用的聚类方法。为了处理大型数据集,研究人员提出了PKMeans,这是MapReduce上的并行k-means。然而,现有的k-means并行化方法,包括PKMeans有很多局限性。PKMeans无法在一个MapReduce作业中完成所有迭代,因此它必须在循环中重复级联MapReduce作业,直到收敛。在最流行的MapReduce平台Hadoop上,每个MapReduce作业都会在作业启动和洗牌阶段引入大量的I/O开销和额外的执行时间。更糟糕的是,已经证明,在最坏的情况下,k-means需要$2^{Ω(n)}$ MapReduce作业来收敛,其中n是数据实例的数量,这意味着对于大型数据集来说开销巨大。此外,在PKMeans中,最多可以为每个质心分配一个reducer并更新每个质心,因此PKMeans只能使用有限数量的并行reducer。本文提出了一种改进的k-means并行方法IPKMeans,它具有一个使用k-d树的并行预处理阶段,可以在一个MapReduce作业中完成k-means,与PKMeans相比,它具有更多的reducer并行工作和更低的I/O开销,并且具有快速的后处理阶段生成最终结果。在我们的方法中,k-d树和新的改进的并行k-means使用MapReduce实现,并在Hadoop上进行测试。实验结果表明,在相同的数据集和初始质心下,…
2016-08-26 cs.DC
Parallel Hierarchical Affinity Propagation with MapReduce
互联网和社交媒体的加速发展和爆炸正在产生大量的数据(在zettabyte规模上)。从海量大数据中操纵和提取可操作情报的愿望中,最重要的是需要可扩展的、性能敏感的分析算法。为了直接满足这一需求,我们提出了一种新的MapReduce实现的基于样本的聚类算法称为亲和传播。我们的并行化策略扩展到多层次的层次亲和传播算法,使分层聚合的非结构化数据与最小的自由参数,原则上只需要一个数据点之间的相似性度量。我们详细介绍了我们的方法的线性运行时的复杂性,克服了原来的算法的限制二次复杂性。在各种合成和真实数据集(例如图像和点数据)上对我们的聚类方法进行了实验验证,证明了我们对其他最先进的MapReduce聚类技术的竞争力。
2014-03-28 cs.DC
Parallel Genetic Algorithm to Solve Traveling Salesman Problem on MapReduce Framework using Hadoop Cluster
旅行商问题(TSP)是组合优化中最常研究的问题之一。给定城市列表和它们之间的距离,问题是找到最短的旅行可能访问列表中的所有城市一次,并在它开始的城市结束。尽管旅行商问题是一个NP难问题,但人们已经提出了很多方法和解决方案。遗传算法就是其中之一。遗传算法是求解旅行商问题的一种简单而有效的探试法。在本文中,我们将展示一个并行的遗传算法的MapReduce框架的实现,以解决旅行商问题。MapReduce是一个用于支持计算机集群上的分布式计算的框架。我们使用免费许可的Hadoop实现作为MapReduce框架。
2014-01-24 cs.DC cs.NE
BSP vs MapReduce
MapReduce框架已经在广泛的领域引起了人们的兴趣。它已被广泛应用于工业界,并已被用于解决学术界的一些重要问题。将MapReduce置于坚实的理论基础上对于理解其功能至关重要。这项工作将MapReduce与BSP计算模型联系起来,强调了BSP与现代并行算法设计的相关性,并定义了一个可以在MapReduce中有效实现的BSP算法子类。
2012-06-15 cs.DC
Towards co-designed optimizations in parallel frameworks: A MapReduce case study
大数据爆炸之后,大量复杂的并行软件堆栈激增,其目的是应对数据泛滥的挑战。这种多层分层部署的缺点是无法在堆栈中的层之间维护和委托重要的语义信息。软件抽象增加了应用程序与其生成的代码之间的语义距离。然而,并行软件框架包含通用编译器不被设计为利用的固有语义信息。本文介绍了一个案例研究,演示了如何在多核架构上利用MapReduce范式的特定语义信息。MR4J已在Java中实现,并针对手动优化的C和C++等效项进行了评估。最初观察到的结果导致了语义感知优化器的设计,该优化器自动运行而无需修改应用程序代码。优化器能够将MR4J的执行时间加快2.0倍。引入的优化不仅提高了生成代码在映射阶段的性能,还减少了垃圾收集器的压力。这演示了在使用并行软件框架时,如何在不牺牲良好的软件工程实践的情况下利用语义信息。
2016-03-31 cs.DC
Comparing MapReduce and Pipeline Implementations for Counting Triangles
为计算问题定义并行解决方案的一种常见方法是找到一种使用分治范式的方法,以便使处理器处理自己的数据并以并行方式调度。MapReduce是一个遵循这种范式的编程模型,通过将问题分解为输入数据的子集上的步骤,并结合每个步骤的结果来产生最终结果,从而允许定义有效的解决方案。尽管MapReduce用于实现各种各样的计算问题,但每当复制因子增加或输入的大小大于每个处理器上可用的资源时,MapReduce的性能就会受到负面影响。在本文中,我们展示了另一种方法来实现分而治之的范例,命名为动态管道。动态流水线的主要特点是说明了一个著名的问题,在一个图中的三角形计数的并行实现。当输入图不适合内存或动态生成时,这个问题特别有趣。为了评估管道的属性,在Go语言中实现了一个动态的进程管道和MapReduce的ad-hoc版本,利用其处理通道和派生进程的能力。对不同拓扑结构、大小和密度的图进行了实证评估。观察到的结果表明,动态管道允许一个有效的实施的问题,计算三角形的图形,特别是在密集和大型图形,大大减少了执行时间的MapReduce实现。
2017-01-12 cs.DC cs.DS
Parallel Processing of Large Graphs
越来越多的大型数据汇集被收集在世界各地的各种IT系统中。它们中的许多具有网络性质,需要作为图结构来处理和分析。由于它们的大小,它们需要经常使用并行范式来进行有效的计算。本文比较了MapReduce及其映射端连接扩展和批量同步并行(BSP)三种并行技术。他们实现了两个不同的图形问题:计算单源最短路径(SSSP)和集体分类的关系影响传播(RIP)的图形节点。该方法和算法适用于不同的规模和结构配置文件的几个网络数据集,来自三个领域:电信,多媒体和微博。结果表明,使用BSP实现的迭代图处理总是显著地优于MapReduce,甚至高达10倍,特别是对于具有多次迭代和稀疏通信的算法。此外,MapReduce基于映射端连接的扩展通常会显着提高效率,尽管没有BSP那么多。尽管如此,MapReduce仍然是大型网络的良好替代方案,其数据结构不适合本地存储器。
2013-06-03 cs.DC
Enumerating Maximal Bicliques from a Large Graph using MapReduce
我们认为最大的二分集团(bicliques)从一个大的图,一个任务的核心,许多实际的数据采掘问题,在社会网络分析和生物信息学的枚举。我们提出了新的并行算法的MapReduce平台,并使用Hadoop MapReduce的实验评估。我们的算法是基于聚类的输入图成较小尺寸的子图,然后并行处理不同的子图。我们的算法使用两个想法,使其能够扩展到大型图:(1)通过仔细修剪的搜索空间,不同的子图探索之间的工作冗余最小化,和(2)不同的约简器上的负载是通过使用一个适当的总阶之间的顶点平衡。我们的评估表明,该算法的规模与数百万的边缘和数千万的最大bicliques大型图。据我们所知,这是第一个工作的最大biclique枚举图的这种规模。
2014-04-19 cs.DC
Efficient Circuit Simulation in MapReduce
MapReduce框架已经牢固地确立了自己作为最广泛使用的并行计算平台之一,用于处理万亿字节和千万亿字节规模的大数据。然而,从理论的角度来探讨它是出了名的困难。在Goodrich et al.的早期努力,明确拥护的目标,把MapReduce框架的立足点等于长期建立的模型,如PRAM,我们调查的MapReduce算法的计算能力相比,通常用于并行计算的组合布尔电路的明显的复杂性问题。依靠Karloff等人十年前引入的标准MapReduce模型,我们开发了一种复杂的模拟技术,以表明NC中的任何问题(即,由多项式大小和输入大小的深度多对数的布尔电路的对数空间一致族解决的问题)可以通过O(T(n)/logn)轮的MapReduce计算来解决,其中n是输入大小,T(n)是见证电路族的深度。因此,我们能够通过证明NC^(i+1)对于所有自然i(包括0)包含在DMRC^i中,将标准的、统一的NC层次模型并行计算与确定性的MapReduce层次DMRC紧密联系起来。这一结果除具有理论意义外,还具有重要的应用价值.特别是,我们展示了NC^1中的所有问题-许多实际相关的问题,如整数乘法和除法,奇偶校验函数,以及识别括号的平衡字符串-如何在确定性MapReduce轮数不变的情况下解决它们。
2019-12-25 cs.CC cs.DC
Blaze: Simplified High Performance Cluster Computing
Cornell University(康奈尔大学)
MapReduce及其变体大大简化和加速了开发并行程序的过程。然而,大多数MapReduce实现都集中在数据密集型任务上,而许多现实世界的任务都是计算密集型的,它们的数据可以分布到内存中。对于这些任务,MapReduce程序的速度可能比手动优化的程序慢得多。我们目前的火焰,一个C++库,可以很容易地开发高性能的并行程序,这样的计算密集型任务。Blaze的核心是一个高度优化的内存中MapReduce函数,与传统的MapReduce实现相比,它有三个主要的改进:快速减少,快速序列化和对小的固定键范围的特殊处理。我们还提供额外的便利,使开发并行程序类似于开发串行程序。这些改进使Blaze成为一个易于使用的集群计算库,接近手动优化并行代码的速度。我们将Blaze应用于一些常见的数据采掘任务,包括词频计数,PageRank,k-means,期望最大化(高斯混合模型)和k-最近邻。在这些任务中,Blaze的平均性能比Apache Spark高出10倍以上,而且Blaze的速度几乎与节点数量成线性关系。此外,Blaze在其实现中仅使用MapReduce函数和3个实用程序函数,而Spark在其官方实现中使用了近30种不同的并行原语。
2019-02-06 cs.AI cs.DC cs.LG
Running genetic algorithms on Hadoop for solving high dimensional optimization problems
Hadoop是一个流行的MapReduce框架,用于在分布式环境中开发并行应用程序。MapReduce的几个优点,如编程简单性和使用商品硬件的能力,使并行和分布式系统的软计算方法的适用性比以前更容易。在本文中,我们提出了使用Hadoop运行软计算算法的实验研究结果。这项研究表明,一个简单的遗传算法运行在Hadoop上可以用来产生高维优化问题的解决方案。此外,还提出了一种简单而有效的技术,它不需要MapReduce链。
2018-02-10 cs.DC
Efficient Candidate-Free R-S Set Similarity Joins with Filter-and-Verification Trees on MapReduce
Shenzhen University(深圳大学);Nanyang Technological University(南洋理工大学)
本文提出无候选集R-S连接算法,通过过滤-验证树实现单阶段处理,提升MapReduce环境下的连接效率。
2025-12-17 cs.DB cs.DC
Improving the Load Balance of MapReduce Operations based on the Key Distribution of Pairs
负载平衡对于MapReduce减少作业持续时间,提高并行效率等非常重要。以前的工作主要集中在粗粒度调度上。本研究关注MapReduce操作的细粒度调度。每个操作代表Map或Reduce函数的一次调用。调度MapReduce操作是困难的,因为高度螺旋操作负载,不支持收集工作负载统计信息,以及调度问题的高度复杂性。因此,目前的实现采用简单的策略,导致负载平衡差。为了解决这些困难,我们设计了一个算法来调度操作的基础上的中间对的密钥分布。该算法涉及一个子程序,用于选择操作的任务槽,我们称之为平衡子集和(BSS)问题。本文讨论了BSS的特性,设计了BSS的精确算法和近似算法,并设计了一个通信机制来收集统计信息,设计了一个流水线来提高资源利用率,从而将这些算法透明地集成到MapReduce中。据我们所知,这是在这种细粒度级别上调度MapReduce工作负载的第一项工作。在PUMA [T+12]基准测试上的实验显示出一致的性能改进。与标准MapReduce相比,作业持续时间最多可减少37%。
2014-04-14 cs.DC
Fast Clustering using MapReduce
聚类问题有许多应用,并且随着数据大小的增加而变得更具挑战性。在本文中,我们考虑设计可用于MapReduce的聚类算法,MapReduce是处理大型数据集的最流行的编程环境。我们专注于实际和流行的聚类问题,$k$ -中心和$k$ -中位数。我们开发了快速聚类算法与常数因子近似保证。从理论的角度来看,我们给出了第一个分析,表明几个聚类算法是在$\mathcal{MRC}^0$,一个理论MapReduce类引入Karloff等人。\cite{KarloffSV10}。我们的算法使用采样来减少数据的大小,他们运行一个耗时的聚类算法,如本地搜索或劳埃德算法的结果数据集。我们的算法有足够的灵活性,可以在实践中使用,因为它们运行在一个恒定数量的MapReduce轮。我们通过使用我们的算法进行实验来补充这些结果。我们比较经验的性能,我们的算法的几个顺序和并行算法的$k$中位数问题。实验结果表明,我们的算法的解决方案是相似的,或优于其他算法的解决方案。此外,在足够大的数据集上,我们的算法比我们测试的其他并行算法更快。
2011-09-07 cs.DC cs.DS
On Dynamic Job Ordering and Slot Configurations for Minimizing the Makespan Of Multiple MapReduce Jobs
MapReduce是一种流行的并行计算范式,用于集群和数据中心中的大数据处理。据观察,MapReduce工作负载的不同作业执行顺序和MapReduce插槽配置在完工时间、总完成时间、系统利用率和其他性能指标方面具有显著不同的性能。关于最小化多个MapReduce作业的makespan有很多算法。然而,这些算法是启发式的或次优的。最著名的最小化完工时间的算法是3-近似应用约翰逊规则。在本文中,我们提出了一种称为UAAS算法,以满足经典的约翰逊模型的条件。那么我们仍然可以使用约翰逊模型来获得最优解。我们解释了如何适应约翰逊模型,并提供了我们所提出的方法的一些关键功能。
2016-04-15 cs.DC cs.DS
DrJAX: Scalable and Differentiable MapReduce Primitives in JAX
Google Research(谷歌研究院)
DrJAX 是一个基于 JAX 的库,通过将 MapReduce 操作作为可微原语嵌入,支持大规模分布式机器学习,并可直接转换为 XLA HLO,实现高性能和可扩展性。
2024-07-17 cs.DC cs.LG
Observations on Factors Affecting Performance of MapReduce based Apriori on Hadoop Cluster
设计快速、可扩展的频繁项集挖掘算法一直是数据采掘中最突出和最有前途的问题。Apriori算法是频繁项集挖掘中应用最广泛、最流行的算法之一。在MapReduce框架上设计高效的算法来处理和分析大数据集是当前的研究热点。在本文中,我们专注于性能MapReduce的Apriori同构以及异构Hadoop集群。我们已经调查了一些因素,显着影响MapReduce的Apriori上运行在同构和异构Hadoop集群的执行时间。这些因素是算法和非算法改进所特有的。算法改进所考虑的特定因素是过滤的事务和数据结构。实验结果表明,一个合适的数据结构和过滤事务技术如何大大减少执行时间。非算法因素包括推测性执行、性能差的节点、数据局部性和数据块分布以及输入分割大小的并行性控制。我们已经针对这些因素采取了策略,并在我们的特定应用中微调了相关参数。实验结果表明,如果集群特定的参数得到照顾,那么有一个显着减少执行时间。此外,我们还讨论了Apriori的MapReduce实现可能会显着影响性能的问题。
2017-01-21 cs.DB cs.DC cs.DS
Optimization for Speculative Execution of Multiple Jobs in a MapReduce-like Cluster
如今,典型数据中心的计算集群可以轻松地由数十万台商用服务器组成,使组件/机器故障成为常态而不是例外。一个并行处理作业,只要它的许多任务中的一个被分配给一台故障机器,就可以被大大地延迟。为了解决这个所谓的落伍者问题,大多数并行处理框架,如MapReduce,都采用了各种策略,在这些策略下,如果同一任务的进度异常缓慢,或者仅仅是因为有额外的空闲资源可用,系统可能会推测性地启动同一任务的额外副本。在本文中,我们专注于在不同的负载条件下的并行处理集群的推测执行方案的设计。对于轻负载的情况下,我们分析并提出了两个基于优化的计划,即智能克隆算法(SCA),这是基于最大限度地提高作业效用和掉队者检测算法(SDA),最大限度地减少了一个作业的整体资源消耗。我们还推导出SCA或SDA应该用于推测执行的工作负载阈值。我们的模拟结果表明,SCA和SDA可以减少近60%的预测执行策略的Microsoft Mantri相比,作业流时间。对于重负载的情况下,我们提出了增强的推测执行(ESE)算法,这是一个扩展的微软Mantri计划。我们发现,ESE算法可以击败曼特里基线计划的18%,在工作流时间,同时消耗相同数量的资源。
2015-01-05 cs.DC
Simple one-pass algorithm for penalized linear regression with cross-validation on MapReduce
在本文中,我们提出了一个一遍MapReduce算法的惩罚线性回归\[f_λ(α, β) = \|Y - α\mathbf{1} - Xβ\|_2^2 + p_λ(β)\]其中$α$是截距,可以根据应用省略; $β$是系数和$p_λ$是惩罚函数与惩罚参数$λ$。$f_λ(α, β)$包括有趣的类,如Lasso,岭回归和弹性网络。与最新的需要多个MapReduce作业的迭代分布式算法相比,我们的算法实现了巨大的性能提升;此外,我们的算法与并行随机梯度下降等近似算法相比是精确的。此外,我们的算法区别于其他人的是,它训练模型的交叉验证选择最佳的$λ$,而不是用户指定的。关键词:惩罚线性回归,lasso,弹性网络,岭,MapReduce
2016-04-14 cs.DC cs.LG stat.ML
Scalable Distributed Algorithms for Size-Constrained Submodular Maximization in the MapReduce and Adaptive Complexity Models
Texas A&M University(德克萨斯农工大学);Florida State University(佛罗里达州立大学)
该研究针对规模约束单调子模最大化问题,证明多类亚自适应算法满足MapReduce模型的一致性要求,提出首个线性查询复杂度的分布式算法,并给出提升MR算法最大基数约束的方法。
2024-09-16 cs.DC cs.DS cs.LG
Parallel Evaluation of Multi-Semi-Joins
虽然Amazon AWS等服务使计算能力变得丰富,但添加更多的计算节点可能会导致高成本,例如,按需付费计划,同时并不总是显着改善查询的净运行时间(也称为挂钟时间)。在这项工作中,我们提供了算法的并行评估的SGF查询MapReduce优化总时间,同时保持低净时间。SGF查询不仅可以指定所有的半连接归约器,而且还可以指定涉及析取和求反的更具表达力的查询。由于SGF查询可以被看作是(潜在的嵌套)半连接的布尔组合,我们引入了一种新的多半连接(MSJ)MapReduce运算符,使一组半连接在一个作业的评估。我们使用这个操作符来获得SGF查询的并行查询计划,优于顺序计划w.r.t.净时间,并提供额外的优化,旨在最大限度地减少总时间,而不会严重影响净时间。尽管后者的优化是NP难的,我们提出了有效的贪心算法。我们的实验,使用我们自己的实现Gumbo在Hadoop上进行,证实了并行查询计划的有用性,以及我们优化的有效性和可扩展性,所有这些都比Pig和Hive有显着的改进。
2016-05-22 cs.DB cs.DC
Parallel Algorithms for Summing Floating-Point Numbers
n个浮点数的精确求和问题是一个基本问题,在大规模模拟和计算几何中有许多应用。不幸的是,由于标准浮点运算中的舍入误差,这个问题变得非常具有挑战性。此外,所有现有的解决方案都依赖于顺序算法,其不能扩展到需要处理的巨大数据集。本文提出了几种有效的并行算法,用于对n个浮点数求和,从而产生一个忠实的舍入浮点表示的总和。我们介绍了PRAM、外部内存和MapReduce模型中的算法,并且还提供了对MapReduce算法的实验分析,因为它们的简单性和实际效率。
2016-05-18 cs.DC cs.DS
GraphLab: A New Framework For Parallel Machine Learning
Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校)
设计和实现高效、可证明正确的并行机器学习(ML)算法是一项挑战。现有的高级并行抽象(如MapReduce)表现力不足,而MPI和Pthreads等低级工具则让ML专家反复解决相同的设计挑战。通过瞄准ML中的常见模式,我们开发了GraphLab,它通过用稀疏的计算依赖关系来压缩表达异步迭代算法,同时确保数据一致性并实现高度的并行性能,从而改进了MapReduce等抽象。我们通过设计和实现并行版本的信念传播,吉布斯采样,Co-EM,Lasso和压缩感知来展示GraphLab框架的表现力。我们表明,使用GraphLab,我们可以在大规模的现实世界的问题上实现出色的并行性能。
2014-08-09 cs.DC cs.LG
A lightweight MapReduce framework for secure processing with SGX
MapReduce是一种广泛用于分布式环境中并行数据处理的编程模型。使用MapReduce实现了广泛的算法,从简单的任务(如排序和搜索)到复杂的聚类和机器学习操作。其中许多实现是外部化到云基础设施的服务的一部分。然而,在过去几年中,人们对在这种环境中提供的安全保障提出了许多关切。提出了一些依赖于密码学的解决方案来对抗威胁,但这些解决方案通常意味着高计算开销。最大的商用CPU制造商英特尔最近推出了SGX(软件防护扩展),这是一组支持在隔离的安全环境中执行代码的硬件指令。在本文中,我们探讨了如何使用英特尔SGX为MapReduce操作提供隐私保障,并根据我们的评估得出结论,它代表了加密机制的可行替代方案。我们目前的结果广泛使用的k-means聚类算法的基础上,但我们的实现可以推广到其他应用程序,可以表示使用MapReduce模型。
2017-05-16 cs.CR cs.DC
GraphLab: A New Framework for Parallel Machine Learning
Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校)
设计和实现高效、可证明正确的并行机器学习(ML)算法是一项挑战。现有的高级并行抽象(如MapReduce)表现力不足,而MPI和Pthreads等低级工具则让ML专家反复解决相同的设计挑战。通过瞄准ML中的常见模式,我们开发了GraphLab,它通过用稀疏的计算依赖关系来压缩表达异步迭代算法,同时确保数据一致性并实现高度的并行性能,从而改进了MapReduce等抽象。我们通过设计和实现并行版本的信念传播,吉布斯采样,Co-EM,Lasso和压缩感知来展示GraphLab框架的表现力。我们表明,使用GraphLab,我们可以在大规模的现实世界的问题上实现出色的并行性能。
2010-06-25 cs.DC cs.LG
MPIgnite: An MPI-Like Language and Prototype Implementation for Apache Spark
基于MPI的横向扩展并行处理是一个有25年历史的标准,在高性能计算社区中,至少还有十年的历史。MapReduce、Hadoop和Spark等较新的框架代表了工业可扩展计算解决方案,这些解决方案因其相对简单的使用、对相关问题的适用性以及利用可扩展分布式资源的能力而得到广泛采用。虽然MPI提供了性能和可移植性,但它缺乏生产力和容错能力。同样,Spark是当前一代MapReduce和数据并行计算基础设施的一个具体示例,它可以实现这些目标,但又缺乏对等通信支持,无法实现轻量级、高度可扩展的对等数据并行代码部分。本文的主要贡献是演示如何将MPI的集体和点对点对等通信概念引入Spark环境。这样做是为了产生性能便携,面向对等和面向组的通信服务,同时保留Spark的基本,理想的属性。考虑了容错和生产率的附加概念。这种方法与将MapReduce框架作为上层中间件添加到传统的MPI实现作为基线基础设施相比。
2017-07-15 cs.DC
A MapReduce based distributed SVM algorithm for binary classification
National Research Institute of Electronics and Cryptology, TUBITAK(土耳其科学技术研究委员会电子学与密码学国家研究所);Istanbul University(伊斯坦布尔大学)
虽然支持向量机(Support Vector Machine,SVM)算法在训练阶段后对未知样本的分类具有很高的泛化能力,并且损失值较小,但该算法并不适用于实际的分类和回归问题。SVM无法解决训练数据集中的数十万个示例。在以前的分布式机器学习算法的研究中,SVM是在一个昂贵的和预先配置的计算机环境中训练的。在这项研究中,我们提出了一个基于MapReduce的分布式并行SVM训练算法的二进制分类问题。该工作展示了如何使用MapReduce技术在云计算系统上分配优化问题。在这项工作的第二步中,我们使用统计学习理论从MapReduce的reduce函数创建的假设空间中找到最小化我们的经验风险的预测假设。本文的研究结果对于基于SVM算法的分类问题的大数据集训练具有重要意义。提出了利用MapReduce技术对分裂数据集进行迭代训练,在有限的迭代规模下,分类器函数的精度将收敛到全局最优分类器函数的精度。该算法的性能进行了测试的样本从字母识别和笔为基础的识别手写数字数据集。
2013-12-15 cs.DC cs.LG
Connected Components at Scale via Local Contractions
作为层次图聚类的基本工具,连通分量的计算一直是大规模数据采掘的核心问题。虽然许多已知的算法已经开发了这个问题,他们要么是不可扩展的,在实践中或缺乏强有力的理论保证的并行运行时间,即,通信轮数。到目前为止,经过验证的最好的保证是$\Oh(\log n)$,它与PRAM模型中的运行时间相匹配。在本文中,我们的目标是设计一个分布式算法,这个问题,以及在理论和实践中。特别是,我们提出了一个简单的算法的基础上收缩,并提供了一个可扩展的实现它在MapReduce。在理论方面,除了显示$\Oh(\log n)$收敛的所有图,我们证明了一个$\Oh(\log \log n)$并行运行时间具有高概率的某一类随机图。我们在MPC模型中工作,该模型捕获流行的并行计算框架,如MapReduce,Hadoop或Spark。在实践方面,我们表明,我们的算法优于最先进的MapReduce算法。为了证实其可扩展性,我们报告的经验结果图与数万亿的边缘。
2018-07-27 cs.DC cs.DS
Divide and Conquer: an Accurate Machine Learning Algorithm to Process Split Videos on a Parallel Processing Infrastructure
Universidad Autónoma de Occidente(西方自治大学)
城市中的交通摄像机数量每天都在迅速增加,产生了大量的视频数据。并行处理基础设施(如Hadoop)和编程模型(如MapReduce)正在被用来快速处理大量数据。使用Hadoop MapReduce进行视频处理的常见方法是仅在一个节点上处理整个视频,然而,为了避免并行化问题,例如负载不平衡,我们建议通过将视频分成相等的部分并在不同的节点上处理每个结果块来处理视频。我们使用了一些机器学习技术来检测和跟踪车辆。然而,视频分割可能产生不准确的结果。为了解决这个问题,我们提出了一个启发式算法,以避免处理车辆在一个以上的块。
2019-12-20 cs.CV cs.DC
MapReduce for Counting Word Frequencies with MPI and GPUs
在这个项目中,目标是使用Julia程序设计语言和并行化来编写一个快速的map reduce算法,以计算大量文档中的词频。我们首先在一个CPU上使用MPI的两个进程实现词频计数器算法。然后,我们创建另一个实现,但在GPU上使用Julia CUDA库,但不使用FoldsCUDA.jl中的内置map reduce算法。在这样做之后,我们应用我们的CPU和GPU算法来计算乔治·W·布什、巴拉克·H·奥巴马、唐纳德·J·特朗普和约瑟夫·R·拜登总统演讲中的单词频率,目的是找到可以用来唯一识别每一位总统的单词选择模式。我们发现,每一位总统都有一些词,他们使用的频率明显高于其他总统,考虑到当时的政治气候,这些词并不奇怪。这个项目的目标是在CPU和GPU上的Julia中创建比以前编写的更快的MapReduce算法。我们提出了一些简单的情况下,映射函数,我们的GPU算法优于朱莉娅的FoldsCUDA实现。我们还讨论了在计算文档中的词频和这些特定映射函数的情况下进一步优化的想法。
2022-05-21 cs.DC
Using virtual processors for SPMD parallel programs
在本文中,我描述了使用虚拟处理器技术并行化一些SPMD计算程序的一些结果。测试的技术是在真实处理器上的INTEL超线程,程序是用于浮点计算的MATLAB脚本。工作的结论关注的效用和使用的方法的限制。主要的结果是,使用虚拟处理器是一个很好的技术,以改善并行程序,不仅为基于内存的计算,但在大量的磁盘存储操作的情况下。
2003-12-21 cs.DC
Affine Transformations of Loop Nests for Parallel Execution and Distribution of Data over Processors
本文研究仿射循环嵌套映射到分布式并行计算机上的问题。本文提出了一种求循环嵌套仿射变换的方法,用于并行执行和数据在处理器上的分布。该方法倾向于最小化处理器之间的通信的数量,并提高一个处理器内的数据的局部性。研究了数据交换顺序的确定问题。条件,以确定安排广播的能力。
2006-06-07 cs.DC
Efficient Straggler Replication in Large-scale Parallel Computing
在具有许多并行任务的云计算作业中,最慢机器上的任务(离散任务)成为作业完成的瓶颈。MapReduce和Spark等计算框架通过复制分散的任务并等待任何一个副本完成来解决这个问题。尽管在实践中被采用,但很少有关于复制如何影响延迟和额外计算资源成本的分析。在本文中,我们提供了一个框架来分析这种延迟成本权衡,并通过回答设计问题来找到最佳复制策略,例如:1)何时复制离散任务,2)启动多少副本,以及3)是否杀死原始副本。我们的分析表明,对于某些执行时间分布,少量的任务复制可以大大减少延迟以及计算资源的成本。我们还提出了一个算法来估计的延迟和成本的基础上的经验分布的任务执行时间。使用Google集群跟踪中的示例进行的评估表明,与MapReduce中使用的现有复制策略相比,进一步降低了延迟和成本。
2017-09-13 cs.DC
Parallel Performance of MPI Sorting Algorithms on Dual-Core Processor Windows-Based Systems
消息传递接口(MPI)是实现并行程序的一种常用接口.虽然基于Windows的体系结构提供了并行执行和多线程的设施,很少有人关注在这些平台上使用MPI。在本文中,我们使用基于Windows的双核平台上的并行进程的数量和核的数量对性能的影响的三个MPI并行实现的一些排序算法。
2011-05-30 cs.DC
Parallel Graph Algorithms in Constant Adaptive Rounds: Theory meets Practice
我们研究基本的图形问题,如图的连通性,最小生成森林(MSF),和近似最大(重量)匹配在分布式设置。特别是,我们专注于自适应大规模并行计算(AMPC)模型,这是一个理论模型,捕获MapReduce的计算与分布式哈希表增强。我们展示了第一个AMPC算法的所有研究的问题,运行在一个恒定的轮数,并只使用$O(n^ε)$空间每台机器,其中$0 < ε< 1$。我们的研究结果改进了AMPC模型中的先前结果,以及MPC模型中最知名的结果,MPC模型是支撑许多流行的分布式计算框架(如MapReduce,Hadoop,Beam,Pregel和GitHub)的理论模型。最后,我们提供了一个经验比较的算法在MPC和AMPC模型中的容错分布式计算环境。我们经验评估我们的算法上的一组大型现实世界的图形,并表明,我们的AMPC算法可以实现优化MPC基线的运行时间和轮的复杂性的改善。
2020-09-24 cs.DC cs.DS
High Performance Canny Edge Detector using Parallel Patterns for Scalability on Modern Multicore Processors
Canny边缘检测器(CED)是大多数图像特征提取(IFE)算法和图像处理应用中常用的边缘检测算子。该算子涉及使用多阶段算法来检测大范围图像中的边缘。边缘检测处于图像处理的最前沿,因此,至关重要的是要达到一定的水平。多核处理器已经成为解决对计算能力有很高要求的计算密集型任务的下一个解决方案。随着微处理器行业的重大变革,很明显,提高效率和改善性能的最佳方法不再是提高传统单片处理器的时钟速度,而是采用和利用多核架构的处理器。在本文中,我们提供了一个高性能的实现Canny边缘检测器使用并行模式,以提高性能和可扩展性的多核处理器。结果表明,在整体性能显着改善,这证明了我们的实现使用并行模式不下利用资源,但多核处理器的规模以及。
2017-10-21 cs.DC
Scalable Unix Commands for Parallel Processors: A High-Performance Implementation
我们描述了一系列MPI应用程序,我们称之为并行Unix命令。这些命令是常见Unix用户命令(如ls、ps和find)的自然并行版本,以及一些专用于并行环境的类似命令。我们描述了这些程序的设计和实现,并提出了一些性能的256节点的Linux集群上的结果。并行Unix命令是开源的,可以免费使用。
2001-08-27 cs.DC
Reliable Initialization of GPU-enabled Parallel Stochastic Simulations Using Mersenne Twister for Graphics Processors
并行随机模拟的发展趋势是利用越来越多的计算能力,它们现在也被开发用于通用图形处理单元(GP-GPU)。因此,他们需要可靠的随机源来满足他们的应用程序。我们提出了一个调查目前的伪随机数发生器(PRNG)在GPU上可用。我们特别关注最近刚刚发布的用于图形处理器(MTGP)的Mersenne Twister。我们的工作提供了经验检查的状态,旨在初始化该发生器的特定配置,以防止任何潜在的偏见引入的并行化的PRNG。
2015-01-30 cs.DC
Parallel Space Saving on Multi and Many-Core Processors
给定$n$元素的数组$\mathcal{A}$和值$2 \leq k \leq n$,频繁项或$k$多数元素是在$\mathcal{A}$中出现多于$n/k$次数的元素。$k$多数问题需要找到所有$k$多数元素。在本文中,我们处理频繁项的并行共享内存算法,我们提出了一个共享内存版本的节省空间算法,我们研究其行为方面的准确性和性能在许多多核处理器,包括英特尔Phi加速器。我们还调查了一个混合MPI/OpenMP版本对一个纯MPI为基础的版本。通过大量的实验结果,我们证明了MPI/OpenMP并行版本的算法显着提高了性能的早期纯MPI版本的相同的算法。结果还证明,对于该算法,英特尔Phi加速器相对于至强八核处理器没有任何改进。
2017-01-11 cs.DC
NOP - A Simple Experimental Processor for Parallel Deployment
使用几千甚至多达一百万个处理器的并行计算系统的设计要求处理单元简单且因此空间小,以使尽可能多的处理单元适合于单个管芯。本文所介绍的设计远未优化,它并不意味着与工业性能设备竞争。它的主要目的是允许一个动态软件系统的原型实现作为概念的证明。
2016-12-20 cs.AR cs.DC
Approximating Edit Distance in Truly Subquadratic Time: Quantum and MapReduce
两个字符串之间的编辑距离定义为将一个字符串转换为另一个字符串所需的最小插入、删除和替换次数。在次二次时间内近似编辑距离是“组合模式匹配领域最大的未解决问题之一“。我们的主要结果是一个量子常数近似算法计算的编辑距离在真正的次二次时间。更准确地说,我们给出了一个$O(n^{1.858})$量子算法,近似的编辑距离内的一个因素$7$。我们进一步扩展这一结果的$O(n^{1.781})$量子算法,在一个较大的常数因子内近似的编辑距离。我们的解决方案是基于一个框架,在并行设置近似编辑距离。这个框架需要一个黑盒算法,它可以同时计算几个较小字符串的距离。对于一个量子算法,我们减少了黑盒\textit{metric estimation},并提供有效的算法来近似它。我们进一步表明,这个框架使我们能够近似编辑距离在分布式设置。为此,我们提供了一个MapReduce算法近似编辑距离内的一个因素$3$,次线性许多机器和次线性内存。此外,我们的算法运行在对数轮数。
2018-04-25 cs.DC cs.DS quant-ph
Efficient Parallel and External Matching
我们表明,一个简单的算法,用于计算一个匹配的图形运行在对数的阶段引起的工作线性的输入大小。该算法可以适用于在几种计算模型中提供有效的算法,例如PRAM,外部存储器,MapReduce和分布式存储器模型。我们的CREW PRAM算法是第一个O(log^2 n)时间的线性工作算法。实验结果表明,该算法具有速度快、效率高、解质量好的特点。
2014-02-01 cs.DC cs.DS
Massively Parallel Processor Architectures for Resource-aware Computing
我们提出了一类大规模并行处理器架构称为侵入性紧耦合处理器阵列(TCPAs)。所提出的处理器类是一个高度可参数化的模板,它可以在运行前定制,以满足客户的要求,如性能,面积成本和能源效率。这些可编程加速器非常适合信号、图像和视频处理以及其他流处理应用领域的特定领域计算。为了克服未来的缩放问题(例如,功耗、可靠性、资源管理以及应用程序并行化和映射),TCPA固有地被设计为在硬件级支持自适应性和资源感知。在这里,我们遵循最近引入的资源感知并行计算范式称为侵入式计算,应用程序可以动态地要求,执行和释放资源。此外,我们展示了如何侵入式计算可以用作电源管理的推动者。最后,我们将介绍如何通过在处理器阵列级采用按需空间冗余来实现这种大规模并行架构上的容错循环执行的想法。
2014-05-12 cs.AR cs.DC
A polynomial time parallel algorithm for graph isomorphism using a quasipolynomial number of processors
图同构(GI)问题是一个理论上很有趣的问题,因为它既没有被证明是P中的,也不是NP完全的。Babai在2015年宣布了GI问题的准多项式时间算法时取得了突破。Babai的工作给出了理论上最有效的算法GI,以及一个强有力的证据支持的想法,即类GI $\ne$ NP,从而P $\ne$ NP。基于Babai的算法,我们证明了GI可以进一步解决的并行算法,运行在多项式时间使用一个quasipolynomial处理器的数量。我们通过识别Babai算法中的瓶颈并将其并行化来实现这一结果。特别是,我们证明了颜色细化可以计算在并行对数时间使用多项式数量的处理器,和$k$维WL细化可以计算在并行多项式时间使用准多项式数量的处理器。我们的工作表明,图同构和GI-完全问题可以在并行计算机上有效地计算,并提供了在实践中加速并行GI程序的见解。
2020-02-11 cs.DC cs.DS
An efficient MPI/OpenMP parallelization of the Hartree-Fock method for the second generation of Intel Xeon Phi processor
使用现代的OpenMP线程技术将GAMESS程序中仅支持MPI的Hartree-Fock代码转换为混合MPI/OpenMP算法。两个单独的实现,不同的线程之间的共享或复制的关键数据结构被认为是,密度和福克矩阵。所有实现都在3,000个英特尔至强融核处理器的超级计算机上进行基准测试。每个处理器有64个内核,报告的扩展数最多可达192,000个内核。与传统代码相比,混合MPI/OpenMP实现将内存占用减少了约200倍。对于一系列分子系统大小,MPI/OpenMP代码的运行速度比原始代码快6倍。
2017-08-14 cs.DC
Semi-Federated Scheduling of Parallel Real-Time Tasks on Multiprocessors
联合调度是一种在多核上调度并行实时的【形】任务的有效方法,其中每个重任务在多个专用处理器上独占执行,而轻任务被视为连续的零星任务并共享剩余的处理器。然而,联合调度遭受资源浪费,因为具有处理能力要求$x + ε$(其中$x$是整数并且$0 < ε< 1$)的繁重任务需要$x + 1$专用处理器。在极端情况下,几乎一半的处理能力被浪费。本文提出了半联邦调度方法,该方法只允许$x$专用处理器处理具有处理能力要求的重任务$x + ε$,而将剩余的$ε$部分与轻任务一起调度到共享处理器上。随机生成的任务集的实验表明,半联邦调度方法显着优于不仅联邦调度,而且所有现有的方法调度并行实时的【形】任务在多核上。
2017-05-09 cs.DC
Parallel Binomial American Option Pricing with (and without) Transaction Costs
我们提出了一个并行算法,计算的要价和出价的美式期权时,成比例的交易成本适用于交易的标的资产。该算法计算重新组合二叉树的价格,并为现代多核处理器而设计。虽然平行期权定价已经得到了很好的研究,但现有的方法都没有考虑交易成本。我们提出的算法将二叉树划分为块。在任何一轮计算中,块被进一步划分为分配给不同处理器的区域。为了最小化负载不平衡,在每个新轮开始之前动态调整节点到处理器的分配。在一个回合内和两个连续回合之间都需要同步。该算法的并行加速比与所使用的处理器数量成正比。并行算法是通过POSIX线程在C/C++中实现的,并在8处理器的机器上进行了测试。在美国看跌期权的定价中,使用8个处理器和1500个时间步,与高效的顺序实现相比,并行加速比为5.26,实现了65.75%的并行效率。
2011-10-11 cs.DC q-fin.CP
Cache-aware Parallel Programming for Manycore Processors
随着技术的快速发展,多核和众核处理器已经成为受益于晶体管数量增加的有前途的架构。向这些并行架构的过渡使今天成为研究并行计算挑战的激动人心的时刻。TILEPro64是一个众核加速器,由64个通过多个8x8网格网络互连的瓦片组成。默认情况下,它包含每瓦片缓存并支持缓存一致性共享内存。在本文中,我们提出了一种编程技术,以利用分布式缓存设施在众核处理器。然而,与这一领域的其他工作不同,我们的方法不使用特定于体系结构的库。相反,我们为程序员提供了一种新的技术,如何规划未来的非均匀缓存架构(NUCA)众核系统,铭记他们的缓存组织。我们表明,我们的本地化编程方法可以导致并行化效率(加速)的显着提高。
2014-03-31 cs.DC cs.PF
Efficient Multidimensional Data Redistribution for Resizable Parallel Computations
在集群超级计算机上运行的传统并行处理器仅支持静态调度,其中分配给应用程序的处理器数量在作业的执行过程中保持固定。这导致空闲系统资源的利用不足,从而降低了整体系统吞吐量。在我们的研究中,我们已经开发了一个原型框架称为ReSHAPE,它支持在分布式内存平台上执行的并行MPI应用程序的动态编译。ReSHAPE中的MySQL库支持释放和获取处理器,并有效地将应用程序状态重新分发到一组新的处理器。在本文中,我们推导出一个算法重新分配二维块循环数组从$P$到$Q$处理器,组织为2-D处理器网格。如果$P_r \leq Q_r$和$P_c \leq Q_c$,则该算法确保用于数据重新分配的无竞争通信调度。在其他情况下,该算法在通信调度上实现循环行和列移位,以最小化节点争用。
2007-06-14 cs.DC
Parallel Triangles Counting Using Pipelining
对计算问题进行并行解决的一般方法是找到一种使用Divide & Conquer范式的方法,以便使处理器对自己的数据进行操作,因此所有数据都可以并行调度。MapReduce就是这种方法的一个例子:输入数据由映射器进行转换,以便为可以并行运行的reducer提供数据。一般来说,这种模式提供了有效的问题解决方案,但当复制因素增加时,它就不再是真的了。我们提出了另一种程序模式,这是有用的描述问题的解决方案,可以利用动态流水线并行,而不必处理复制-tion因素。我们提出了一个例子中的模式:计数三角形的图形,特别是当图形不适合在内存中。我们描述了解决方案NiMo,图形程序设计语言,实现了隐式功能的并行数据流模型的计算。使用NiMo获得的解决方案是架构不可知的,并且可以部署在任何并行/分布式架构中,动态地适应处理器使用以输入特性。
2015-10-12 cs.DC
Optimization and parallelization of B-spline based orbital evaluations in QMC on multi/many-core shared memory processors
基于B样条的轨道表示被广泛地用于固体的量子蒙特卡罗(QMC)模拟,历史上占据总运行时间的多达50%。对大型四维数组的随机访问使得有效利用现代CPU的高速缓存和宽向量单元变得具有挑战性。我们提出了多/众核共享内存处理器上的B样条评估的节点级优化。为了提高SIMD效率和带宽利用率,我们首先应用数据布局转换从数组的结构(SoA)。然后通过阻塞SoA对象,我们优化了缓存重用,并为一系列问题大小获得持续的吞吐量。我们在B样条轨道评估内核中实现了高效的嵌套线程,为实现QMC模拟的强大扩展铺平了道路。这些优化可移植到四种不同的高速缓存一致性架构上,在英特尔至强融核处理器7250 P(KNL)上可实现高达5.6倍的性能增强,在英特尔至强融核协处理器7120 P上可实现5.7倍的性能增强,在英特尔至强处理器E5 v4 CPU上可实现10倍的性能增强,在BlueGene/Q处理器上可实现9.5倍的性能增强。我们的嵌套线程实现在KNL上显示出接近理想的并行效率,最多可达16个线程。我们采用车顶性能分析来模拟我们的优化的影响。这项工作与我们目前优化其他QMC内核的努力相结合,导致miniQMC在KNL上的加速比超过4.5倍。
2016-11-08 cs.DC
Design and implementation of self-adaptable parallel algorithms for scientific computing on highly heterogeneous HPC platforms
传统的异构并行算法是为异构工作站集群设计的,它们基于这样的假设:处理器的绝对速度不取决于计算任务的大小。事实证明,这种假设对于现代和未来高度异构的HPC平台是不准确的。新的一类算法的基础上的功能性能模型(FPM),表示处理器的速度的函数的问题大小,最近已经提出。然而,这些算法不能采用自适应的应用程序,因为非常高的成本建设的功能性能模型。本文提出了一类新的并行算法的高度异构的HPC平台。与传统的基于FPM的算法一样,这些算法假设处理器的速度由速度函数而不是速度常数来表征。与传统的算法不同,它们不假设速度函数是给定的。相反,他们估计的速度函数的处理器在其执行过程中的不同大小的问题。这些算法不为每个处理器构建全速函数,而是构建和使用它们的部分估计,足以以给定的精度进行计算的最佳分布。在这些算法中,异构处理器之间的计算分布的低执行成本使它们适合于在自适应应用中就业。基于这种方法的并行矩阵乘法应用程序的实验进行本地和全球异构计算集群。结果表明,处理器之间的最佳矩阵分布的执行时间显着减少,由数量级,比优化的应用程序的总执行时间。
2011-09-14 cs.DC