Simulating Parallel Algorithms in the MapReduce Framework with Applications to Parallel Computational Geometry
在本文中，我们描述了高效的MapReduce模拟的BSP和PRAM模型中指定的并行算法。我们还提供了一些应用这些模拟结果的问题，并行计算几何的MapReduce框架，从而导致有效的MapReduce算法排序，1维所有最近邻，2维凸包，3维凸包，和固定维线性规划。对于reducer的缓冲区大小为$B=O(n^ε)$的情况，对于一个小的常数$ε>0$，我们所有的MapReduce算法都以恒定的轮数运行，并且具有线性大小的消息复杂度，同时以高概率保证所有reducer列表的大小为$O(B)$。
2010-04-27 cs.CG cs.DC cs.DS
The Efficiency of MapReduce in Parallel External Memory
自2004年引入以来，MapReduce框架已经成为大规模分布式和并行计算的标准方法之一。与其在实践中的广泛应用相反，理论基础仍然有限，并且只有很少的工作尚未将MapReduce与主要的计算模型相提并论。在将MapReduce框架与PRAM和BSP在其宏观结构中联系起来的先驱工作之后，我们专注于框架本身提供的功能，考虑并行外部内存模型（PEM）。在这方面，我们提出了上界和下界的并行I/O的复杂性，匹配到常数因子的洗牌步骤。shuffle步骤是一个通信阶段，其中一个MapReduce调用的所有信息都从map worker传输到reduce worker。因此，与之前的工作相比，我们将重点转向内部沟通步骤。我们得到的结果进一步结转到BSP* 模型。一方面，这表明与PEM相比，MapReduce中表达的算法可以“隐藏”多少复杂性。另一方面，我们的结果限制了MapReduce方法在I/O效率方面的最坏情况下的性能损失。
2011-12-16 cs.CC cs.DC
Parallel Processing of Large Graphs
越来越多的大型数据汇集被收集在世界各地的各种IT系统中。它们中的许多具有网络性质，需要作为图结构来处理和分析。由于它们的大小，它们需要经常使用并行范式来进行有效的计算。本文比较了MapReduce及其映射端连接扩展和批量同步并行（BSP）三种并行技术。他们实现了两个不同的图形问题：计算单源最短路径（SSSP）和集体分类的关系影响传播（RIP）的图形节点。该方法和算法适用于不同的规模和结构配置文件的几个网络数据集，来自三个领域：电信，多媒体和微博。结果表明，使用BSP实现的迭代图处理总是显著地优于MapReduce，甚至高达10倍，特别是对于具有多次迭代和稀疏通信的算法。此外，MapReduce基于映射端连接的扩展通常会显着提高效率，尽管没有BSP那么多。尽管如此，MapReduce仍然是大型网络的良好替代方案，其数据结构不适合本地存储器。
2013-06-03 cs.DC
Analyzing Web Application Log Files to Find Hit Count Through the Utilization of Hadoop MapReduce in Cloud Computing Environment
MapReduce已广泛应用于数据和计算密集型应用的各个领域，是云计算的重要编程模型。Hadoop是MapReduce的一个开源实现，它使用商用硬件处理TB级的数据。我们已经应用了Hadoop MapReduce编程模型来分析Web日志文件，以便我们可以获得特定Web应用程序的点击数。该系统使用Hadoop文件系统来存储日志文件，并使用Map和Reduce函数对结果进行评估。实验结果显示了日志文件中每个字段的命中次数。另外，由于MapReduce运行时并行化，响应时间减少了。
2014-11-27 cs.DC
Parallel Genetic Algorithm to Solve Traveling Salesman Problem on MapReduce Framework using Hadoop Cluster
旅行商问题（TSP）是组合优化中最常研究的问题之一。给定城市列表和它们之间的距离，问题是找到最短的旅行可能访问列表中的所有城市一次，并在它开始的城市结束。尽管旅行商问题是一个NP难问题，但人们已经提出了很多方法和解决方案。遗传算法就是其中之一。遗传算法是求解旅行商问题的一种简单而有效的探试法。在本文中，我们将展示一个并行的遗传算法的MapReduce框架的实现，以解决旅行商问题。MapReduce是一个用于支持计算机集群上的分布式计算的框架。我们使用免费许可的Hadoop实现作为MapReduce框架。
2014-01-24 cs.DC cs.NE
Enumerating Maximal Bicliques from a Large Graph using MapReduce
我们认为最大的二分集团（bicliques）从一个大的图，一个任务的核心，许多实际的数据采掘问题，在社会网络分析和生物信息学的枚举。我们提出了新的并行算法的MapReduce平台，并使用Hadoop MapReduce的实验评估。我们的算法是基于聚类的输入图成较小尺寸的子图，然后并行处理不同的子图。我们的算法使用两个想法，使其能够扩展到大型图：（1）通过仔细修剪的搜索空间，不同的子图探索之间的工作冗余最小化，和（2）不同的约简器上的负载是通过使用一个适当的总阶之间的顶点平衡。我们的评估表明，该算法的规模与数百万的边缘和数千万的最大bicliques大型图。据我们所知，这是第一个工作的最大biclique枚举图的这种规模。
2014-04-19 cs.DC
Load Balancing for MapReduce-based Entity Resolution
基于MapReduce的复杂数据密集型任务实现的有效性和可伸缩性取决于在map和reduce任务之间均匀地重新分配数据。在存在偏斜数据的情况下，复杂的重新分配方法因此变得有必要在要并行执行的所有reduce任务之间实现负载均衡。对于复杂的问题，实体分辨率，我们提出并评估两种方法，这样的偏斜处理和负载均衡。该方法支持分块技术以减少实体解析的搜索空间，利用预处理MapReduce作业分析数据分布，并将大块实体分布在多个Reduce任务中。在一个实际的云基础设施上的评估表明所提出的负载均衡方法的价值和有效性。
2011-08-08 cs.DC
Running genetic algorithms on Hadoop for solving high dimensional optimization problems
Hadoop是一个流行的MapReduce框架，用于在分布式环境中开发并行应用程序。MapReduce的几个优点，如编程简单性和使用商品硬件的能力，使并行和分布式系统的软计算方法的适用性比以前更容易。在本文中，我们提出了使用Hadoop运行软计算算法的实验研究结果。这项研究表明，一个简单的遗传算法运行在Hadoop上可以用来产生高维优化问题的解决方案。此外，还提出了一种简单而有效的技术，它不需要MapReduce链。
2018-02-10 cs.DC
A MapReduce-based rotation forest classifier for epileptic seizure prediction
在这个时代，随着数据生成和存储的增加，包括生物医学在内的大数据应用变得越来越有吸引力。由于数据采掘技术不适应新的需求，大数据处理以提取知识变得具有挑战性。在这项研究中，我们分析了癫痫发作检测的大数据场景中使用旋转森林分类器的EEG信号。具体而言，MSPCA用于去噪，WPD用于特征提取，旋转森林用于MapReduce框架中的分类，以正确预测癫痫发作。本文提出了一种基于MapReduce的分布式集成算法用于癫痫发作预测，并使用计算机集群并行地在每个数据集上训练旋转森林。基于MapReduce的旋转森林的结果表明，该框架大大减少了训练时间，同时实现了高水平的分类性能。
2017-12-17 cs.DC
Review of Apriori Based Algorithms on MapReduce Framework
挖掘频繁项集的Apriori算法是最流行和最广泛使用的数据采掘算法之一。为了提高Apriori算法的性能，目前已经提出了许多并行和分布式平台上的算法。它们在负载均衡技术、存储系统、数据分解技术和数据布局等方面存在差异。大多数分布式框架的问题是管理分布式系统的开销和缺乏高级并行程序设计语言。而且，对于网格计算，总是存在节点故障的潜在机会，这会导致任务的多次重新执行。这些问题可以通过Google引入的MapReduce框架来解决。MapReduce是一种高效，可扩展和简化的编程模型，用于大型商用计算机集群上的大规模分布式数据处理，也用于云计算。本文介绍了在MapReduce框架上实现的并行Apriori算法。它们被分类的基础上的映射和减少功能，用于实现它们，例如1阶段与k阶段，I/O的映射器，组合器和还原器，使用功能的组合器内映射器等，本次调查讨论和分析的各种实现Apriori的MapReduce框架的基础上，他们的显着特点。此外，还包括MapReduce框架的优点和局限性。
2017-02-21 cs.DB cs.DC
Efficient Circuit Simulation in MapReduce
MapReduce框架已经牢固地确立了自己作为最广泛使用的并行计算平台之一，用于处理万亿字节和千万亿字节规模的大数据。然而，从理论的角度来探讨它是出了名的困难。在Goodrich et al.的早期努力，明确拥护的目标，把MapReduce框架的立足点等于长期建立的模型，如PRAM，我们调查的MapReduce算法的计算能力相比，通常用于并行计算的组合布尔电路的明显的复杂性问题。依靠Karloff等人十年前引入的标准MapReduce模型，我们开发了一种复杂的模拟技术，以表明NC中的任何问题（即，由多项式大小和输入大小的深度多对数的布尔电路的对数空间一致族解决的问题）可以通过O（T（n）/logn）轮的MapReduce计算来解决，其中n是输入大小，T（n）是见证电路族的深度。因此，我们能够通过证明NC^（i+1）对于所有自然i（包括0）包含在DMRC^i中，将标准的、统一的NC层次模型并行计算与确定性的MapReduce层次DMRC紧密联系起来。这一结果除具有理论意义外，还具有重要的应用价值.特别是，我们展示了NC^1中的所有问题-许多实际相关的问题，如整数乘法和除法，奇偶校验函数，以及识别括号的平衡字符串-如何在确定性MapReduce轮数不变的情况下解决它们。
2019-12-25 cs.CC cs.DC
Parallel Knowledge Embedding with MapReduce on a Multi-core Processor
This article firstly attempts to explore parallel algorithms of learning distributed representations for both entities and relations in large-scale knowledge repositories with { \it MapReduce} programming model on a multi-core processor. We accelerate the training progress of a canonical knowledge embedding method, i.e. { \it translating embedding} ({ \bf TransE}) model, by dividing a whole knowledge repository into several balanced subsets, and feeding each subset into an individual core where local embeddings can concurrently run updating during the { \it Map} phase. However, it usually suff…
2015-09-03 cs.DB cs.DC
Optimization for Speculative Execution of Multiple Jobs in a MapReduce-like Cluster
如今，典型数据中心的计算集群可以轻松地由数十万台商用服务器组成，使组件/机器故障成为常态而不是例外。一个并行处理作业，只要它的许多任务中的一个被分配给一台故障机器，就可以被大大地延迟。为了解决这个所谓的落伍者问题，大多数并行处理框架，如MapReduce，都采用了各种策略，在这些策略下，如果同一任务的进度异常缓慢，或者仅仅是因为有额外的空闲资源可用，系统可能会推测性地启动同一任务的额外副本。在本文中，我们专注于在不同的负载条件下的并行处理集群的推测执行方案的设计。对于轻负载的情况下，我们分析并提出了两个基于优化的计划，即智能克隆算法（SCA），这是基于最大限度地提高作业效用和掉队者检测算法（SDA），最大限度地减少了一个作业的整体资源消耗。我们还推导出SCA或SDA应该用于推测执行的工作负载阈值。我们的模拟结果表明，SCA和SDA可以减少近60%的预测执行策略的Microsoft Mantri相比，作业流时间。对于重负载的情况下，我们提出了增强的推测执行（ESE）算法，这是一个扩展的微软Mantri计划。我们发现，ESE算法可以击败曼特里基线计划的18%，在工作流时间，同时消耗相同数量的资源。
2015-01-05 cs.DC
Hadoop Mapreduce Performance Enhancement Using In-node Combiners
虽然对大型数据集的高级分析需求很高，但数据大小已经超过了传统软件和硬件的能力。Hadoop框架将大型数据集分布在多个商品服务器上，并执行并行计算。讨论了Hadoop框架的I/O瓶颈，并提出了提高I/O性能的方法。一种行之有效的方法是缓存数据，以最大限度地提高所有地图任务的内存局部性。我们介绍了一种优化I/O的方法，即节点内合并设计，它将传统的合并器扩展到节点级。节点内合并器减少了中间结果的总数，并减少了映射器和归约器之间的网络流量。
2015-11-16 cs.DC
Comparing MapReduce and Pipeline Implementations for Counting Triangles
为计算问题定义并行解决方案的一种常见方法是找到一种使用分治范式的方法，以便使处理器处理自己的数据并以并行方式调度。MapReduce是一个遵循这种范式的编程模型，通过将问题分解为输入数据的子集上的步骤，并结合每个步骤的结果来产生最终结果，从而允许定义有效的解决方案。尽管MapReduce用于实现各种各样的计算问题，但每当复制因子增加或输入的大小大于每个处理器上可用的资源时，MapReduce的性能就会受到负面影响。在本文中，我们展示了另一种方法来实现分而治之的范例，命名为动态管道。动态流水线的主要特点是说明了一个著名的问题，在一个图中的三角形计数的并行实现。当输入图不适合内存或动态生成时，这个问题特别有趣。为了评估管道的属性，在Go语言中实现了一个动态的进程管道和MapReduce的ad-hoc版本，利用其处理通道和派生进程的能力。对不同拓扑结构、大小和密度的图进行了实证评估。观察到的结果表明，动态管道允许一个有效的实施的问题，计算三角形的图形，特别是在密集和大型图形，大大减少了执行时间的MapReduce实现。
2017-01-12 cs.DC cs.DS
High Performance Risk Aggregation: Addressing the Data Processing Challenge the Hadoop MapReduce Way
蒙特卡罗模拟用于巨灾风险投资组合分析需要处理大量的数据。通常情况下，这些模拟不是在实时场景中执行的，因为它们很慢并且消耗大量数据。这样的模拟可以受益于利用并行性来解决计算挑战并促进分布式文件系统来解决数据挑战的框架。为此，Apache Hadoop框架被选择用于本文中报告的模拟，以便可以使用MapReduce模型来解决计算挑战，并且可以使用Hadoop分布式文件系统来解决数据挑战。本文提出了一种基于MapReduce模型的聚合风险分析并行算法。对算法性能的评估表明，Hadoop MapReduce模型为在聚合风险分析中处理大数据提供了一个框架。在多个工作节点上，在不到6分钟的时间内，对典型的暴露集和合同结构进行了100，000次试验，每次试验有1000个灾难性事件。结果表明，MapReduce的范围和可行性，以解决实时使用的聚合风险分析的计算和数据的挑战。
2013-11-22 cs.CE cs.DC
Blaze: Simplified High Performance Cluster Computing
Cornell University（康奈尔大学）
MapReduce及其变体大大简化和加速了开发并行程序的过程。然而，大多数MapReduce实现都集中在数据密集型任务上，而许多现实世界的任务都是计算密集型的，它们的数据可以分布到内存中。对于这些任务，MapReduce程序的速度可能比手动优化的程序慢得多。我们目前的火焰，一个C++库，可以很容易地开发高性能的并行程序，这样的计算密集型任务。Blaze的核心是一个高度优化的内存中MapReduce函数，与传统的MapReduce实现相比，它有三个主要的改进：快速减少，快速序列化和对小的固定键范围的特殊处理。我们还提供额外的便利，使开发并行程序类似于开发串行程序。这些改进使Blaze成为一个易于使用的集群计算库，接近手动优化并行代码的速度。我们将Blaze应用于一些常见的数据采掘任务，包括词频计数，PageRank，k-means，期望最大化（高斯混合模型）和k-最近邻。在这些任务中，Blaze的平均性能比Apache Spark高出10倍以上，而且Blaze的速度几乎与节点数量成线性关系。此外，Blaze在其实现中仅使用MapReduce函数和3个实用程序函数，而Spark在其官方实现中使用了近30种不同的并行原语。
2019-02-06 cs.AI cs.DC cs.LG
Fast Clustering using MapReduce
聚类问题有许多应用，并且随着数据大小的增加而变得更具挑战性。在本文中，我们考虑设计可用于MapReduce的聚类算法，MapReduce是处理大型数据集的最流行的编程环境。我们专注于实际和流行的聚类问题，$k$ -中心和$k$ -中位数。我们开发了快速聚类算法与常数因子近似保证。从理论的角度来看，我们给出了第一个分析，表明几个聚类算法是在$\mathcal{MRC}^0$，一个理论MapReduce类引入Karloff等人。\cite{KarloffSV10}。我们的算法使用采样来减少数据的大小，他们运行一个耗时的聚类算法，如本地搜索或劳埃德算法的结果数据集。我们的算法有足够的灵活性，可以在实践中使用，因为它们运行在一个恒定数量的MapReduce轮。我们通过使用我们的算法进行实验来补充这些结果。我们比较经验的性能，我们的算法的几个顺序和并行算法的$k$中位数问题。实验结果表明，我们的算法的解决方案是相似的，或优于其他算法的解决方案。此外，在足够大的数据集上，我们的算法比我们测试的其他并行算法更快。
2011-09-07 cs.DC cs.DS
MPIgnite: An MPI-Like Language and Prototype Implementation for Apache Spark
基于MPI的横向扩展并行处理是一个有25年历史的标准，在高性能计算社区中，至少还有十年的历史。MapReduce、Hadoop和Spark等较新的框架代表了工业可扩展计算解决方案，这些解决方案因其相对简单的使用、对相关问题的适用性以及利用可扩展分布式资源的能力而得到广泛采用。虽然MPI提供了性能和可移植性，但它缺乏生产力和容错能力。同样，Spark是当前一代MapReduce和数据并行计算基础设施的一个具体示例，它可以实现这些目标，但又缺乏对等通信支持，无法实现轻量级、高度可扩展的对等数据并行代码部分。本文的主要贡献是演示如何将MPI的集体和点对点对等通信概念引入Spark环境。这样做是为了产生性能便携，面向对等和面向组的通信服务，同时保留Spark的基本，理想的属性。考虑了容错和生产率的附加概念。这种方法与将MapReduce框架作为上层中间件添加到传统的MPI实现作为基线基础设施相比。
2017-07-15 cs.DC
Optimizing the MapReduce Framework on Intel Xeon Phi Coprocessor
MapReduce以其易于编程、灵活性和高效性成为构建大数据应用程序的最流行框架之一。MapReduce最初是为分布式计算而设计的，并且已经扩展到各种架构，例如多核CPU，GPU和FPGA。在这项工作中，我们专注于优化Xeon Phi上的MapReduce框架，Xeon Phi是英特尔基于多集成核心架构发布的最新产品。据我们所知，这是在Xeon Phi上优化MapReduce框架的第一项工作。在我们的工作中，我们利用Xeon Phi的高级功能来实现高性能。为了利用SIMD向量处理单元，我们提出了一个矢量化友好的技术，地图阶段，以协助自动矢量化，以及开发SIMD哈希计算算法。此外，我们利用MIMD超线程流水线的地图和减少，以提高资源利用率。我们还消除了多个本地数组，但使用低成本的原子操作的全局数组的一些应用程序，这可以提高线程的可扩展性和数据的局部性，由于一致的L2缓存。最后，对于一个给定的应用程序，我们的框架可以自动检测合适的技术应用或在编译时为用户提供指导。我们进行了全面的实验来对Xeon Phi进行基准测试，并将我们优化的MapReduce框架与最先进的基于多核的MapReduce框架（Phoenix++）进行比较。通过评估六个实际应用程序，实验结果表明，我们优化的框架是1.2倍到38倍的速度比凤凰++的各种应用程序上的至强融核。
2013-09-01 cs.DC
On Dynamic Job Ordering and Slot Configurations for Minimizing the Makespan Of Multiple MapReduce Jobs
MapReduce是一种流行的并行计算范式，用于集群和数据中心中的大数据处理。据观察，MapReduce工作负载的不同作业执行顺序和MapReduce插槽配置在完工时间、总完成时间、系统利用率和其他性能指标方面具有显著不同的性能。关于最小化多个MapReduce作业的makespan有很多算法。然而，这些算法是启发式的或次优的。最著名的最小化完工时间的算法是3-近似应用约翰逊规则。在本文中，我们提出了一种称为UAAS算法，以满足经典的约翰逊模型的条件。那么我们仍然可以使用约翰逊模型来获得最优解。我们解释了如何适应约翰逊模型，并提供了我们所提出的方法的一些关键功能。
2016-04-15 cs.DC cs.DS
Bind: a Partitioned Global Workflow Parallel Programming Model
高性能计算因其漫长而昂贵的软件开发周期而臭名昭著。为了解决这一挑战，我们提出绑定：一个“分区的全球工作流”的C++应用程序的并行编程模型，使快速原型和敏捷的开发周期的高性能计算软件的目标异构分布式众核架构。我们提出了绑定到线性代数和MapReduce算法的应用程序，以及性能结果。
2016-06-15 cs.DC
Using MapReduce for Large-scale Medical Image Analysis
现代医院每天产生的医学图像数据量的增长迫使传统的医学图像分析和索引方法适应可扩展的解决方案。在过去的20年里，图像的数量及其维度急剧增加。我们提出了基于并行计算和算法优化的大规模医学图像分析解决方案。MapReduce框架用于加速和实现三个大规模医学图像处理用例：（i）使用支持向量机进行肺部纹理分割的参数优化，（ii）基于内容的医学图像索引，以及（iii）用于实体纹理分类的三维方向小波分析。在我们的机构中使用Hadoop建立了一个异构计算节点集群，允许最多42个并发地图任务。所使用的大多数机器是台式计算机，也用于日常办公。该集群显示出微创和稳定。与顺序执行相比，这三个用例中的每一个的运行时间都大大减少了。Hadoop为数据分析任务提供了一个易于使用的框架，可以很好地扩展许多任务，但需要针对特定任务进行优化。
2015-10-23 cs.DC
SDPMN: Privacy Preserving MapReduce Network Using SDN
MapReduce是一种流行的编程模型，也是分布式环境下大数据并行处理的相关实现。由于大型MapReduce数据中心通常为多个用户提供服务，因此保护同一网络中不同应用之间的隐私是一个重要问题。在本文中，我们提出了SDPMN，一个框架，使用\textit{software defined network}（SDN）来区分网络之间的每个应用程序，这是一个可管理和可扩展的方法。我们基于现有的SDN结构和Hadoop网络设计了这个框架。由于每个SDN设备的规则空间是有限的，我们还提出了该框架的规则放置优化，以最大限度地提高硬件支持的孤立的应用网络。我们在一个一般的MapReduce网络中提出这个问题，并设计了一个启发式算法来找到解决方案。从基于仿真的评估，与我们的算法，给定的网络可以支持更多的隐私保护应用网络与SDN交换机。
2018-03-12 cs.DC cs.NI
Efficient Straggler Replication in Large-scale Parallel Computing
在具有许多并行任务的云计算作业中，最慢机器上的任务（离散任务）成为作业完成的瓶颈。MapReduce和Spark等计算框架通过复制分散的任务并等待任何一个副本完成来解决这个问题。尽管在实践中被采用，但很少有关于复制如何影响延迟和额外计算资源成本的分析。在本文中，我们提供了一个框架来分析这种延迟成本权衡，并通过回答设计问题来找到最佳复制策略，例如：1）何时复制离散任务，2）启动多少副本，以及3）是否杀死原始副本。我们的分析表明，对于某些执行时间分布，少量的任务复制可以大大减少延迟以及计算资源的成本。我们还提出了一个算法来估计的延迟和成本的基础上的经验分布的任务执行时间。使用Google集群跟踪中的示例进行的评估表明，与MapReduce中使用的现有复制策略相比，进一步降低了延迟和成本。
2017-09-13 cs.DC
Cloudpress 2.0: A MapReduce Approach for News Retrieval on the Cloud
在这个互联网时代，每天每分钟增加的新闻文章数量是巨大的。由于新闻文章的爆炸性数量，新闻检索系统需要频繁和密集地处理新闻文章。目前使用的新闻检索系统无法处理这些数据密集型计算。这里介绍的Cloudpress 2.0被设计和实现为可扩展、健壮和容错。它的设计是这样的，所有涉及新闻检索的过程，如提取，预处理，索引，存储和总结，利用MapReduce范式和使用云计算的力量。它使用新颖的方法进行并行处理，将新闻文章存储在分布式数据库中，并将其可视化为3D视觉。它使用基于Lucene的索引来实现高效和快速的检索。它还包括一个新颖的查询扩展功能，用于搜索新闻文章。cloudpress2.0还允许根据输入查询即时提取新闻文章摘要。
2012-04-16 cs.DC cs.IR
Astronomy in the Cloud: Using MapReduce for Image Coaddition
在未来十年中，对天空的天文观测将产生数十TB的图像，并每晚检测数亿个源。对这些源的研究将涉及异常检测和分类以及移动对象跟踪等计算挑战。由于此类研究受益于最高质量的数据，因此图像叠加（叠加）等方法将是科学调查之前的关键预处理步骤。由于需要每晚分析这些图像以识别移动源或瞬态对象，这些数据流提出了许多计算挑战。考虑到所涉及的数据量，这些问题的计算负载只能通过将工作负载分布在大量节点上来解决。然而，这些应用程序所要求的高数据吞吐量可能会对某些存储架构提出可扩展性挑战。近年来出现的一种可扩展的数据处理方法是MapReduce，在本文中，我们将重点关注其流行的开源实现Hadoop。在Hadoop框架中，数据在直接连接到工作节点的存储之间进行分区，处理工作负载在包含所需输入数据的节点上并行调度。使用Hadoop的另一个动机是它允许我们利用云计算资源，例如，亚马逊EC2我们报告我们的经验，实现一个可扩展的图像处理管道的SDSS成像数据库使用Hadoop。这个多TB的成像数据集为算法开发提供了一个很好的测试平台，因为它的范围和结构接近未来的调查。首先，我们描述了MapReduce以及我们如何将图像添加到MapReduce框架中。然后，我们描述了一些优化我们的基本方法和报告的实验结果比较其性能。
2010-10-05 cs.DC
Connected Components at Scale via Local Contractions
作为层次图聚类的基本工具，连通分量的计算一直是大规模数据采掘的核心问题。虽然许多已知的算法已经开发了这个问题，他们要么是不可扩展的，在实践中或缺乏强有力的理论保证的并行运行时间，即，通信轮数。到目前为止，经过验证的最好的保证是$\Oh(\log n)$，它与PRAM模型中的运行时间相匹配。在本文中，我们的目标是设计一个分布式算法，这个问题，以及在理论和实践中。特别是，我们提出了一个简单的算法的基础上收缩，并提供了一个可扩展的实现它在MapReduce。在理论方面，除了显示$\Oh(\log n)$收敛的所有图，我们证明了一个$\Oh(\log \log n)$并行运行时间具有高概率的某一类随机图。我们在MPC模型中工作，该模型捕获流行的并行计算框架，如MapReduce，Hadoop或Spark。在实践方面，我们表明，我们的算法优于最先进的MapReduce算法。为了证实其可扩展性，我们报告的经验结果图与数万亿的边缘。
2018-07-27 cs.DC cs.DS
Divide and Conquer: an Accurate Machine Learning Algorithm to Process Split Videos on a Parallel Processing Infrastructure
Universidad Autónoma de Occidente（西方自治大学）
城市中的交通摄像机数量每天都在迅速增加，产生了大量的视频数据。并行处理基础设施（如Hadoop）和编程模型（如MapReduce）正在被用来快速处理大量数据。使用Hadoop MapReduce进行视频处理的常见方法是仅在一个节点上处理整个视频，然而，为了避免并行化问题，例如负载不平衡，我们建议通过将视频分成相等的部分并在不同的节点上处理每个结果块来处理视频。我们使用了一些机器学习技术来检测和跟踪车辆。然而，视频分割可能产生不准确的结果。为了解决这个问题，我们提出了一个启发式算法，以避免处理车辆在一个以上的块。
2019-12-20 cs.CV cs.DC
Large-scale Artificial Neural Network: MapReduce-based Deep Learning
University of Florida（佛罗里达大学）
面对不断增长的数据规模，原有的基于反向传播神经网络的机器学习算法面临着两个不容忽视的挑战：庞大的数据量使其难以同时保持效率和准确性;冗余数据增加了系统的工作量。本项目主要针对上述问题进行解决，将深度学习算法与云计算平台相结合，处理大规模数据。本项目将设计一个基于MapReduce的手写字符识别器，以验证该机制在训练和实际大规模数据上所能实现的效率提高。将进行仔细的讨论和实验，以说明深度学习算法如何训练手写数字数据，如何在深度学习神经网络上实现MapReduce，以及为什么这种组合会加速计算。除了性能，可扩展性和鲁棒性也将在本报告中提到。我们的系统带有两个演示软件，直观地说明了我们的手写数字识别/编码应用程序。
2015-10-09 cs.DC cs.LG cs.NE
Gene expression modelling across multiple cell-lines with MapReduce
随着近年来大规模联合体产生的大量高通量测序数据，预测性基因表达建模已成为转录组学和表观遗传学数据综合分析的重要工具。然而，测序数据集通常很大，并且以前的建模框架通常效率低下，无法利用多核或分布式处理架构。在这项研究中，我们详细介绍了一个高效和并行MapReduce实现的基因表达建模。我们利用该框架的计算效率，对各种癌细胞系和非癌细胞系的50多个组蛋白修饰数据集进行综合分析。我们的研究结果表明，组蛋白修饰和mRNA转录之间的全基因组关系是谱系，组织和核型不变的，并且在来自非癌细胞系的匹配表观遗传/转录组数据上训练的模型能够以等同的全基因组保真度预测癌性表达。
2015-07-21 cs.DC q-bio.GN q-bio.QM
Observations on Factors Affecting Performance of MapReduce based Apriori on Hadoop Cluster
设计快速、可扩展的频繁项集挖掘算法一直是数据采掘中最突出和最有前途的问题。Apriori算法是频繁项集挖掘中应用最广泛、最流行的算法之一。在MapReduce框架上设计高效的算法来处理和分析大数据集是当前的研究热点。在本文中，我们专注于性能MapReduce的Apriori同构以及异构Hadoop集群。我们已经调查了一些因素，显着影响MapReduce的Apriori上运行在同构和异构Hadoop集群的执行时间。这些因素是算法和非算法改进所特有的。算法改进所考虑的特定因素是过滤的事务和数据结构。实验结果表明，一个合适的数据结构和过滤事务技术如何大大减少执行时间。非算法因素包括推测性执行、性能差的节点、数据局部性和数据块分布以及输入分割大小的并行性控制。我们已经针对这些因素采取了策略，并在我们的特定应用中微调了相关参数。实验结果表明，如果集群特定的参数得到照顾，那么有一个显着减少执行时间。此外，我们还讨论了Apriori的MapReduce实现可能会显着影响性能的问题。
2017-01-21 cs.DB cs.DC cs.DS
Better Write Amplification for Streaming Data Processing
本文介绍 YT 系统中用于流式 MapReduce 的新组件，借助核心 YT 机制在应对落后节点与故障的同时实现容错、exactly-once 语义及低写放大。
2023-06-05 cs.DC
Detecting Straggler MapReduce Tasks in Big Data Processing Infrastructure by Neural Network
掉队任务检测是应用MapReduce并行化和分布式大规模数据处理的主要挑战之一。它被定义为检测弱节点上正在运行的任务。考虑Map阶段中的两个阶段copy、combine和Reduce shuffle、sort和reduce三个阶段，总执行时间就是这五个阶段执行时间的总和。本文的主要目的是估计每个阶段的正确执行时间，从而得出正确的总执行时间。所提出的方法是基于应用程序的反向传播神经网络神经网络在Hadoop上的落后任务的检测，估计剩余的执行时间的任务，这是非常重要的落后任务检测。所取得的结果已与该领域的流行算法（例如LATE、ESAMR以及WordCount和Sort基准的实际剩余时间）进行了比较，并表明能够检测落后任务并准确估计执行时间。此外，它还支持加速任务执行时间。
2020-04-13 cs.DC cs.SY eess.SY
A Novel Approach to Translate Structural Aggregation Queries to MapReduce Code
提出将SciDB中AQL表达的数组结构化聚合查询翻译为MapReduce作业的系统，生成代码性能比手写高10.84倍。
2025-02-01 cs.DB cs.DC
Hadoop-Oriented SVM-LRU (H-SVM-LRU): An Intelligent Cache Replacement Algorithm to Improve MapReduce Performance
本文提出面向 Hadoop 的 H-SVM-LRU 智能缓存替换算法，融合 LRU 与 SVM 预测数据未来使用情况，以提高缓存命中率并降低 MapReduce 执行时间。
2023-09-28 cs.DC
Parallel Triangles Counting Using Pipelining
对计算问题进行并行解决的一般方法是找到一种使用Divide & Conquer范式的方法，以便使处理器对自己的数据进行操作，因此所有数据都可以并行调度。MapReduce就是这种方法的一个例子：输入数据由映射器进行转换，以便为可以并行运行的reducer提供数据。一般来说，这种模式提供了有效的问题解决方案，但当复制因素增加时，它就不再是真的了。我们提出了另一种程序模式，这是有用的描述问题的解决方案，可以利用动态流水线并行，而不必处理复制-tion因素。我们提出了一个例子中的模式：计数三角形的图形，特别是当图形不适合在内存中。我们描述了解决方案NiMo，图形程序设计语言，实现了隐式功能的并行数据流模型的计算。使用NiMo获得的解决方案是架构不可知的，并且可以部署在任何并行/分布式架构中，动态地适应处理器使用以输入特性。
2015-10-12 cs.DC
Towards Zero-Overhead Adaptive Indexing in Hadoop
一些研究工作集中在MapReduce系统中支持索引访问。这些工作使用户能够以数量级的速度显著加快选择性MapReduce作业。然而，所有这些建议都要求用户预先创建索引，这在某些工作负载不断变化或难以预测的应用程序（例如科学和社会应用程序）中可能是一项艰巨的任务。为了克服这个问题，我们提出了LIAH（Hadoop中的惰性索引和自适应性），这是一种并行的自适应方法，用于以最小的成本为MapReduce系统建立索引。LIAH的主要思想是通过在HDFS数据块上创建聚集索引作为执行MapReduce作业的副产品来自动和增量地适应用户的工作负载。除了在多个计算节点上分配索引工作之外，LIAH还将索引与地图任务计算和磁盘I/O并行化。所有这一切都没有任何额外的数据复制在主存储器和最低限度的同步。LIAH的美妙之处在于它将索引创建搭载在map任务上，这些任务无论如何都要将相关数据从磁盘读取到主存。因此，LIAH不会引入任何额外的读I/O成本，也不会利用空闲的CPU周期。因此，与现有的自适应索引工作相比，LIAH具有非常低的（或不可见的）索引开销，通常用于第一个作业。不过，LIAH可以快速收敛到一个完整的索引，即所有HDFS数据块都被索引。特别是，LIAH可以用快速的完整索引收敛来换取早期作业运行时的改进。我们将LIAH与HAIL（一种最先进的索引技术）以及标准Hadoop在索引开销和工作负载性能方…
2012-12-14 cs.DB cs.DC
QuPARA: Query-Driven Large-Scale Portfolio Aggregate Risk Analysis on MapReduce
随机模拟技术用于投资组合风险分析。风险组合可能包括覆盖数百万个受保地点的数千份再保险合同。为了量化风险，每个投资组合都必须在多达一百万次的模拟试验中进行评估，每次模拟试验都要捕捉合同年度内不同的灾难性事件的可能序列。在本文中，我们探讨了一个灵活的投资组合风险分析框架的设计，有利于回答各种各样的灾难性风险查询。这里的重点是允许用户对未聚合或部分聚合的数据提出查询，而不是聚合模拟数据以有效地产生一小组高级风险度量（如在生产风险管理系统中经常做的那样）。我们的目标是提供一个灵活的框架，分析师可以使用它来回答各种各样的意外，但自然的特设查询。这样的详细查询可以帮助精算师或承保人更好地理解多个维度（例如，空间相关性、季节性、危险特征、施工特征和财务术语），这些都会影响投资组合风险。我们实现了一个原型系统，称为QuPARA（查询驱动的大规模投资组合聚合风险分析），使用Hadoop，这是Apache的MapReduce范式的实现。这允许用户利用大型并行计算服务器，以便有效地回答特别风险分析查询，即使是在实践中通常遇到的非常大的数据集。我们描述了QuPARA的设计和实现，并提出了实验结果，证明其可行性。一个完整的投资组合风险分析运行包括1，000，000个试验模拟，每个试验1，000个事件，以及3，200个风险转移合同，可以在16节点Hadoop集群上在20分钟内完成。
2013-08-16 cs.CE cs.DC
A FIRM Approach to Software-Defined Service Composition
服务组合是经常用来自动化企业业务流程的服务的集合。虽然面向服务的体系结构（SOA）已经成为服务组合的前沿，但服务可以实现为高效的分布式和并行结构，如MapReduce，这通常不会在服务组合中使用。随着软件定义网络（SDN）的出现，网络控制器可以获得整个网络的全局视图和控制，这可以进一步在应用层中利用。本文介绍了FIRM，一种利用SDN和MapReduce的软件定义服务组合方法。FIRM包括查找、删除、返回和管理，作为实现QoS感知服务组合的核心过程。
2016-01-09 cs.DC cs.NI cs.SE
Hugo: A Cluster Scheduler that Efficiently Learns to Select Complementary Data-Parallel Jobs
MapReduce、Spark和Flink等分布式数据处理系统是分析具有集群资源的大型数据集的流行工具。然而，用户经常为他们的数据处理作业过度提供资源，而这些作业的资源使用通常也会大幅波动。因此，多个作业通常被调度到相同的共享资源上，以提高集群的资源利用率和吞吐量。但是，作业运行时和共享资源的利用率可能会因协同定位作业的特定组合而发生显著变化。本文介绍了雨果，一个集群调度器，不断学习如何有效地共享资源，考虑指标的资源利用率和协同工作之间的干扰。该调度器将离线作业分组与在线强化学习相结合，以提供一种调度机制，该调度机制有效地从特定的监视作业组合中进行归纳，同时还适应工作负载的变化。我们对原型的评估表明，该方法可以将YARN集群上的示例性Spark作业的运行时间减少高达12.5%，同时增加了资源利用率，并且可以限制等待时间。
2021-02-14 cs.DC
Efficient On-Chip Communication for Parallel Graph-Analytics on Spatial Architectures
近年来，大规模图形处理引起了人们的极大关注。大多数现代数据中心的工作负载都可以以图形处理的形式表示，例如MapReduce等，因此，已经提出了许多针对图形处理的特定领域加速器的设计。空间架构在图形处理的执行中一直很有前途，其中图形被划分为多个节点，每个节点并行工作。我们进行实验来分析在空间架构上的图形处理中的数据的片上移动。根据观察，我们确定了一个数据移动的瓶颈，在执行这样的高度并行处理加速器。为了缓解瓶颈，我们提出了一种新的幂律感知的图划分和数据映射方案，以减少通信延迟，通过最小化跳数的可扩展的片上网络。流行的图算法的实验结果表明，我们的实现使执行速度提高2- 5倍，2.7- 4倍的能源效率，通过减少数据移动时间相比，基线实现。
2022-09-03 cs.AR cs.DC
Leveraging Parallel Data Processing Frameworks with Verified Lifting
近年来，许多并行数据框架被提出，它们允许顺序程序访问并行处理。为了利用这些框架的优势，现有代码必须经常重写为每个框架支持的特定于域的语言。这种重写--单调乏味且容易出错--还要求开发人员在给定特定工作负载的情况下选择最优化性能的框架。本文介绍了Casper，一种新型的编译器，自动重定向顺序Java代码在Hadoop上执行，Hadoop是一个并行数据处理框架，实现了MapReduce范式。给定一个顺序代码片段，Casper使用验证提升来推断用我们的程序规约语言表达的高级摘要，然后编译该摘要以在Hadoop上执行。我们演示了Casper自动将Java基准转换为Hadoop。翻译结果的执行速度平均比顺序实现快3.3倍，并且可以更好地扩展到更大的数据集。
2016-11-23 cs.DB cs.DC cs.PL
Nephele Streaming: Stream Processing Under QoS Constraints At Scale
近年来，以近乎实时的方式处理大量连续数据流的能力已成为许多科学和工业用例的关键先决条件。虽然单个数据流通常处理起来微不足道，但它们的聚合数据量很容易超过传统流处理系统的可扩展性。与此同时，像MapReduce或Dryad这样的并行数据处理系统目前在数据密集型应用程序中非常受欢迎，并且已经证明可以扩展到大量节点。这些系统中的许多还提供流传输能力。然而，与传统的流处理器，这些系统已经忽视了预期的流处理应用的QoS要求，到目前为止。在本文中，我们解决这个差距。首先，我们分析当今的并行数据处理框架的共同设计原则，并确定这些原则，提供自由度在权衡QoS目标的延迟和吞吐量。其次，我们提出了一个高度分布式的计划，允许这些框架来检测违反用户定义的QoS约束，优化作业执行，而无需手动交互。作为概念证明，我们为我们的并行数据处理框架Nephele实现了我们的方法，并通过与Hadoop Online的比较来评估其有效性。对于一个示例流媒体应用程序从多媒体域上运行的集群的200个节点，我们的方法提高了至少13倍的处理延迟，同时保持高的数据吞吐量时，需要的。
2013-08-05 cs.DC
Parallel Large-Scale Attribute Reduction on Cloud Systems
Southwest Jiaotong University（西南交通大学）；Georgia State University（佐治亚州立大学）
现代社会新兴信息技术和应用模式的迅速发展，互联网、物联网、云计算和三网融合，已经导致了大数据时代的到来。大数据蕴含着巨大的价值，但由于数据的不确定性和不一致性，从大数据中挖掘知识是一项极具挑战性的任务。属性约简（也称为特征选择）不仅可以作为一个有效的预处理步骤，而且还可以利用数据冗余来减少不确定性。然而，现有的解决方案是1）针对单个机器而设计的，这意味着整个数据必须适合主存储器并且并行性是有限的; 2）或者针对Hadoop平台而设计的，这意味着数据必须频繁地加载到分布式存储器中，因此变得低效。在本文中，我们克服了这些缺点，以最大限度地提高效率，并提出了一个统一的框架，并行大规模属性约简，称为PLAR，大数据分析。PLAR由三个组件组成：1）基于粒度计算（GrC）的初始化：它将决策表（即，原始数据表示）转换为粒度表示，这减少了空间量，因此可以很容易地缓存在分布式存储器中：2）模型并行性：它同时评估所有特征候选，并使属性约简高度并行化; 3）数据并行性：它使用MapReduce风格的方式并行计算属性的重要性。我们在Spark上实现了四种具有代表性的启发式特征选择算法，并在各种大型数据集上进行了评估，包括UCI和天文数据集，发现我们的方法超越现有解决方案的优势。
2016-10-06 cs.AI cs.DC
High-Performance Hybrid Algorithm for Minimum Sum-of-Squares Clustering of Infinitely Tall Data
University of Washington（华盛顿大学）；Satbayev University（萨拜耶夫大学）；Institute of Information and Computational Technologies（信息与计算技术研究所）
本文提出无限高数据最小平方和聚类问题，并设计混合并行算法HPClust，通过多策略竞争-协作并行提升聚类效率、可扩展性和准确性，优于现有方法。
2024-06-25 cs.DC cs.LG math.OC
Solving the Resource Constrained Project Scheduling Problem Using the Parallel Tabu Search Designed for the CUDA Platform
Czech Technical University in Prague（布拉格捷克理工大学）
本文提出了一种求解资源受限项目调度问题的并行禁忌搜索算法。为了处理这个NP-难的组合问题，已经进行了许多优化。例如，通过启发式算法选择资源评估算法，并设计了有效的禁忌表。除此之外，提出了一种容量索引的资源评估算法，GPU（图形处理单元）版本使用同构模型来减少所需的通信带宽。实验结果表明，GPU版本在计算时间和解的质量方面优于优化的并行CPU版本。与其他现有的算法相比，所提出的解决方案往往给出更好的质量解决方案。
2017-11-13 cs.AI cs.DC
Log Diameter Rounds Algorithms for $2$-Vertex and $2$-Edge Connectivity
许多现代并行系统，如MapReduce，Hadoop和Spark，可以很好地建模MPC模型。MPC模型可以很好地捕捉大数据上的粗粒度计算--数据被分发到处理器，每个处理器都有一个次线性（在输入数据中）的内存量，我们在计算轮和通信轮之间交替，每个机器可以传输与其内存大小一样大的数据量。该模型比经典的PRAM模型更强，设计运行时间比PRAM模型更短的算法是一个有趣的问题。本文研究了两个基本问题：$2$ -边连通性和$2$ -点连通性（双连通性）.在$O(\log n)$时间内运行的PRAM算法已经公知多年。在MPC模型中，我们给出了使用粗对数直径轮的算法。我们的主要结果是：1）$n$并行时间$2$-边连通算法; 2）$O(\log D\log^2\log_{m/n}n+\log D'\log\log_{m/n}n)$并行时间双连通算法，其中双直径$D'$是同一双连通分支中所有顶点对上的最大圈长.我们的结果是完全可扩展的，这意味着每个处理器的内存可以是$O(n^δ)$为任意常数$δ>0$，和使用的总内存是线性的问题大小。我们的$2$ -边缘连接算法实现了与Andoni等人的连接算法相同的并行时间。（FOCS 2018）。我们还证明了双连通问题的$Ω(\log D')$条件下界。
2019-05-02 cs.DC cs.DS
PaSE: Parallelization Strategies for Efficient DNN Training
Baidu Research（百度研究院）
本文提出PaSE方法，从DNN计算图自动搜索高效并行化策略，实验表明其性能优于数据并行、专家设计策略及现有最先进方法。
2024-07-04 cs.DC cs.LG
FullSWOF_Paral: Comparison of two parallelization strategies (MPI and SKELGIS) on a software designed for hydrology applications
在本文中，我们执行一个现有的，自由软件，FullSWOF 2D（http：//www. univ-orleans.fr/mapmo/soft/FullSWOF/，其基于区域分解策略求解用于水文应用的浅水方程。第一种方法是基于经典的MPI库，而第二种方法使用并行的图形库，更确切地说，是一个名为GIS（地理信息系统图形库）的库。本文中给出的第一个结果表明，这两种方法在性能和可伸缩性方面是相似的。然而，这两种实施策略是非常不同的，我们讨论每一个的优点。
2013-07-18 cs.DC cs.MS cs.NA
