Hadoop Mapreduce Performance Enhancement Using In-node Combiners
虽然对大型数据集的高级分析需求很高，但数据大小已经超过了传统软件和硬件的能力。Hadoop框架将大型数据集分布在多个商品服务器上，并执行并行计算。讨论了Hadoop框架的I/O瓶颈，并提出了提高I/O性能的方法。一种行之有效的方法是缓存数据，以最大限度地提高所有地图任务的内存局部性。我们介绍了一种优化I/O的方法，即节点内合并设计，它将传统的合并器扩展到节点级。节点内合并器减少了中间结果的总数，并减少了映射器和归约器之间的网络流量。
2015-11-16 cs.DC
Running genetic algorithms on Hadoop for solving high dimensional optimization problems
Hadoop是一个流行的MapReduce框架，用于在分布式环境中开发并行应用程序。MapReduce的几个优点，如编程简单性和使用商品硬件的能力，使并行和分布式系统的软计算方法的适用性比以前更容易。在本文中，我们提出了使用Hadoop运行软计算算法的实验研究结果。这项研究表明，一个简单的遗传算法运行在Hadoop上可以用来产生高维优化问题的解决方案。此外，还提出了一种简单而有效的技术，它不需要MapReduce链。
2018-02-10 cs.DC
Technical Report: On the Usability of Hadoop MapReduce, Apache Spark & Apache Flink for Data Science
面向云计算的分布式数据处理平台是大规模数据分析的重要工具。Apache Hadoop MapReduce已经成为这个领域的事实标准，尽管它的编程接口相对较低，即使是简单的分析任务也需要许多实现步骤。这导致了面向Apache的高级平台的开发，最突出的是Apache Spark和Apache Flink。这些平台不仅旨在通过改进内存处理来提高性能，而且特别提供了内置的高级数据处理功能，例如过滤和连接运算符，这应该使数据分析任务比普通的Hadoop MapReduce更容易开发。但事实果真如此吗？本文从可用性的角度比较了三个主要的分布式数据处理平台：Apache Hadoop MapReduce、Apache Spark和Apache Flink。我们报告了一组硕士生的可用性研究的设计，执行和结果，他们正在学习和使用所有三个平台，以解决数据科学背景下的不同用例集。我们的研究结果表明，Spark和Flink是MapReduce的首选平台。在参与者中，Spark和Flink作为面向批量的大数据分析平台之间的感知偏好或开发时间没有显着差异。这项研究开始探索使大数据平台对数据科学用户更有效或更不有效的因素。
2018-03-28 cs.DC
Optimization and analysis of large scale data sorting algorithm based on Hadoop
在处理海量数据排序时，我们通常使用Hadoop，这是一个框架，允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。基于Hadoop的MapReduce中的shuffle和sort阶段是实现大数据排序的常用方法。然而，如果我们直接使用它，效率可能非常低，负载不平衡可能是一个大问题。本文对一种基于Hadoop的大规模数据排序算法进行了优化和分析的实验研究。为了达到优化，我们使用了两轮以上的MapReduce。在第一轮中，我们使用MapReduce随机抽取样本。然后，我们使用另一个MapReduce根据第一轮的结果对数据进行统一排序。实验表明，在大规模数据排序时，使用优化后的算法比MapReduce的shuffle算法效果更好。
2015-06-01 cs.DC
Network Traffic Analysis:Hadoop Pig vs Typical MapReduce
大数据分析在当今的场景中已经变得非常流行，并且大数据的操纵已经获得了数据分析领域研究人员的热切关注。大数据分析目前被认为是许多计算和统计部门的一个组成部分。因此，数据分析的新方法每天都在发展。成千上万的交易请求处理和电子商务，电子银行，电子购物车等相关的不同网站每天处理网络流量和网络日志分析来发挥至关重要的作用，在这种情况下，Hadoop可以被建议作为一个有效的解决方案，用于处理从交换机收集的Netflow数据，以及在固定的时间间隔内的网站访问日志。
2013-12-19 cs.DC
An Open-Source Project for MapReduce Performance Self-Tuning
许多Hadoop配置参数对在Hadoop上运行MapReduce作业的性能有重大影响。对于一般用户来说，手动调整参数以获得最佳MapReduce性能是耗时且繁琐的。此外，现有的自校正系统大多实现不透明，难以在实际中使用。这项研究提出了一个开源项目，托管开发中的自调系统称为Catla来解决这些问题。Catla集成了多种直接搜索和基于无衍生优化的技术，以提高用户的调优效率。在这项研究中说明了该系统及其使用的概述。我们还报告了一个简单的例子，展示了这个正在进行的项目的好处。虽然这个项目仍在开发中，远未全面，但它致力于在提高大数据分析性能方面为Hadoop生态系统做出贡献。
2019-12-28 cs.DC
High Performance Risk Aggregation: Addressing the Data Processing Challenge the Hadoop MapReduce Way
蒙特卡罗模拟用于巨灾风险投资组合分析需要处理大量的数据。通常情况下，这些模拟不是在实时场景中执行的，因为它们很慢并且消耗大量数据。这样的模拟可以受益于利用并行性来解决计算挑战并促进分布式文件系统来解决数据挑战的框架。为此，Apache Hadoop框架被选择用于本文中报告的模拟，以便可以使用MapReduce模型来解决计算挑战，并且可以使用Hadoop分布式文件系统来解决数据挑战。本文提出了一种基于MapReduce模型的聚合风险分析并行算法。对算法性能的评估表明，Hadoop MapReduce模型为在聚合风险分析中处理大数据提供了一个框架。在多个工作节点上，在不到6分钟的时间内，对典型的暴露集和合同结构进行了100，000次试验，每次试验有1000个灾难性事件。结果表明，MapReduce的范围和可行性，以解决实时使用的聚合风险分析的计算和数据的挑战。
2013-11-22 cs.CE cs.DC
Parallel Genetic Algorithm to Solve Traveling Salesman Problem on MapReduce Framework using Hadoop Cluster
旅行商问题（TSP）是组合优化中最常研究的问题之一。给定城市列表和它们之间的距离，问题是找到最短的旅行可能访问列表中的所有城市一次，并在它开始的城市结束。尽管旅行商问题是一个NP难问题，但人们已经提出了很多方法和解决方案。遗传算法就是其中之一。遗传算法是求解旅行商问题的一种简单而有效的探试法。在本文中，我们将展示一个并行的遗传算法的MapReduce框架的实现，以解决旅行商问题。MapReduce是一个用于支持计算机集群上的分布式计算的框架。我们使用免费许可的Hadoop实现作为MapReduce框架。
2014-01-24 cs.DC cs.NE
Hadoop-Oriented SVM-LRU (H-SVM-LRU): An Intelligent Cache Replacement Algorithm to Improve MapReduce Performance
本文提出面向 Hadoop 的 H-SVM-LRU 智能缓存替换算法，融合 LRU 与 SVM 预测数据未来使用情况，以提高缓存命中率并降低 MapReduce 执行时间。
2023-09-28 cs.DC
Performance Tuning of Hadoop MapReduce: A Noisy Gradient Approach
Hadoop MapReduce是一个分布式存储和处理大型数据集的框架，在大数据分析中非常流行。它具有各种配置参数（旋钮），这些参数在决定性能方面起着重要作用，即，给定大数据处理作业的执行时间。这些参数的默认值并不总是产生良好的性能，因此调整它们很重要。然而，由于两个重要原因，在调整参数方面存在固有的困难-首先，参数搜索空间很大，其次，存在交叉参数相互作用。因此，需要一种无量纲的方法，该方法可以通过考虑跨参数依赖性来自动调整配置参数。在本文中，我们提出了一种新的Hadoop参数调整方法，基于噪声梯度算法称为同时扰动随机近似（SPSA）。SPSA算法通过直接观察Hadoop MapReduce系统的性能来调整参数。所遵循的方法独立于参数维度，并且在调整时每次迭代仅需要$2$观测。我们证明了我们的方法在流行的Hadoop基准测试，即\emph{Grep}，\emph{Bigram}，\emph{Inverted Index}，\emph{Word Co-occurrence}和\emph{Terasort}上实现良好性能的有效性。我们的方法，在25个节点的Hadoop集群上进行测试时显示，与默认配置相比，Hadoop作业的执行时间平均减少了66%。此外，我们还观察到，与以前的方法相比，减少了45%的执行时间。
2016-12-16 cs.DC cs.LG
Practical Size-based Scheduling for MapReduce Workloads
我们提出了Hadoop公平逗留协议（HFSP）调度器，它实现了基于大小的调度纪律的Hadoop。基于大小的调度规程的好处在各种环境（计算机网络、操作系统等）中得到了很好的认可，然而，它们对于诸如Hadoop的系统的实际实现提出了许多重要的挑战。与HFSP，这是一个开源项目，我们解决有关的问题，工作规模估计，资源管理和研究各种抢占策略的影响。虽然HFSP的基础架构是适合于任何基于大小的调度纪律，在这项工作中，我们重新审视和扩展的公平逗留协议，它解决了相关的问题，影响FIFO，处理器共享和一系列基于大小的纪律的工作饥饿。在我们的实验中，我们将HFSP与标准Hadoop集群进行了比较，发现平均作业逗留时间（一个衡量作业在系统中花费的总时间的指标，包括等待和服务时间）显着减少，这是我们根据文献中的生产跟踪生成的实际工作负载。
2013-05-03 cs.DC
Towards Polyglot Data Processing in Social Networks using the Hadoop-Spark ecosystem
本文探索Hadoop-Spark生态系统在社交网络数据处理中的应用，采用多语言方法整合多种技术，通过实证评估分析工具性能，为该领域研究提供定量参考。
2025-04-19 cs.DC
Column-Oriented Storage Techniques for MapReduce
MapReduce的用户在扩展工作负载时经常会遇到性能问题。他们遇到的许多问题都可以通过应用从三十多年的并行DBMS研究中学到的技术来克服。然而，将这些技术转换为MapReduce实现（如Hadoop）带来了独特的挑战，可能会导致新的设计选择。本文描述了如何将面向列的存储技术以保留其流行编程API的方式并入Hadoop中。我们表明，在Hadoop中简单地使用二进制存储格式可以提供3倍的性能提升，而不是简单地使用文本文件。然后，我们介绍了一种面向列的存储格式，它与Hadoop的复制和调度约束兼容，并表明它可以在实际工作负载上加速MapReduce作业。我们还表明，处理复杂的列类型，如数组，映射和嵌套记录，这是常见的MapReduce作业，可以产生显着的CPU开销。最后，我们引入了一种新颖的跳表列格式和惰性记录构造策略，避免了重复不需要的记录，从而提供了额外的1.5倍性能提升。一个真正的内联网爬行的实验表明，我们的面向列的存储技术可以提高Hadoop中的地图阶段的性能多达两个数量级。
2011-05-21 cs.DB cs.DC
Performance Optimization of MapReduce-based Apriori Algorithm on Hadoop Cluster
在MapReduce框架上实现Apriori算法的技术很多，但只有少数几种技术关注于性能的提高。FPC（Fixed Passes Combined-counting）和DPC（Dynamic Passes Combined-counting）算法将Apriori的多个通道组合在单个MapReduce阶段中，以减少执行时间。在本文中，我们提出了改进的MapReduce基于Apriori算法VFPC（可变大小的固定通道组合计数）和ETDPC（经过时间的动态通道组合计数）在FPC和DPC。进一步，我们通过在某些通道中跳过修剪步骤来优化这些算法的多通道阶段，并提出了Optimized-VFPC和Optimized-ETDPC算法。定量分析表明，由于跳过修剪产生的额外的未修剪的候选人的计数成本是不太显着的计算成本，由于相同的减少。实验结果表明，VFPC和ETDPC比FPC和DPC更健壮和灵活，而它们的优化版本在执行时间方面更有效。
2018-07-16 cs.DB cs.DC
Astronomy in the Cloud: Using MapReduce for Image Coaddition
在未来十年中，对天空的天文观测将产生数十TB的图像，并每晚检测数亿个源。对这些源的研究将涉及异常检测和分类以及移动对象跟踪等计算挑战。由于此类研究受益于最高质量的数据，因此图像叠加（叠加）等方法将是科学调查之前的关键预处理步骤。由于需要每晚分析这些图像以识别移动源或瞬态对象，这些数据流提出了许多计算挑战。考虑到所涉及的数据量，这些问题的计算负载只能通过将工作负载分布在大量节点上来解决。然而，这些应用程序所要求的高数据吞吐量可能会对某些存储架构提出可扩展性挑战。近年来出现的一种可扩展的数据处理方法是MapReduce，在本文中，我们将重点关注其流行的开源实现Hadoop。在Hadoop框架中，数据在直接连接到工作节点的存储之间进行分区，处理工作负载在包含所需输入数据的节点上并行调度。使用Hadoop的另一个动机是它允许我们利用云计算资源，例如，亚马逊EC2我们报告我们的经验，实现一个可扩展的图像处理管道的SDSS成像数据库使用Hadoop。这个多TB的成像数据集为算法开发提供了一个很好的测试平台，因为它的范围和结构接近未来的调查。首先，我们描述了MapReduce以及我们如何将图像添加到MapReduce框架中。然后，我们描述了一些优化我们的基本方法和报告的实验结果比较其性能。
2010-10-05 cs.DC
Comparing Spark vs MPI/OpenMP On Word Count MapReduce
Spark提供了MapReduce的内存实现，广泛用于大数据行业。MPI/OpenMP是一种流行的高性能并行计算框架。本文提出了一种高性能的MapReduce设计在MPI/OpenMP和使用Spark在经典的字数MapReduce任务进行比较。我的结果显示，MPI/OpenMP MapReduce的性能比Apache Spark高出约300%。
2019-02-01 cs.DC cs.PF
Large-scale Data Modelling in Hive and Distributed Query Processing using MapReduce and Tez
人类、组织和机器的数字互联系统不断生成大量数据。数据以各种格式出现，包括结构化，非结构化和半结构化，这使得不可能应用相同的标准方法，技术和算法来管理和处理这些数据。幸运的是，企业级分布式平台Hadoop生态系统已经存在。本文从数据定义、数据操作和数据处理三个方面探讨了Apache Hive组件提供的全栈数据管理功能。Hive是一个数据仓库系统，它处理存储在表中的结构化数据。由于Hive工作在Hadoop HDSFS之上，它受益于HDFS的非凡特性，包括容错性，可靠性，高可用性，可扩展性等。此外，Hive可以通过将作业分配给MapReduce，Tez和Spark引擎来运行复杂查询，从而利用集群的分布式计算能力。本文重点研究了Hive数据模型，并对MapReduce和Tez的处理性能进行了分析。
2023-01-29 cs.DC
Observations on Factors Affecting Performance of MapReduce based Apriori on Hadoop Cluster
设计快速、可扩展的频繁项集挖掘算法一直是数据采掘中最突出和最有前途的问题。Apriori算法是频繁项集挖掘中应用最广泛、最流行的算法之一。在MapReduce框架上设计高效的算法来处理和分析大数据集是当前的研究热点。在本文中，我们专注于性能MapReduce的Apriori同构以及异构Hadoop集群。我们已经调查了一些因素，显着影响MapReduce的Apriori上运行在同构和异构Hadoop集群的执行时间。这些因素是算法和非算法改进所特有的。算法改进所考虑的特定因素是过滤的事务和数据结构。实验结果表明，一个合适的数据结构和过滤事务技术如何大大减少执行时间。非算法因素包括推测性执行、性能差的节点、数据局部性和数据块分布以及输入分割大小的并行性控制。我们已经针对这些因素采取了策略，并在我们的特定应用中微调了相关参数。实验结果表明，如果集群特定的参数得到照顾，那么有一个显着减少执行时间。此外，我们还讨论了Apriori的MapReduce实现可能会显着影响性能的问题。
2017-01-21 cs.DB cs.DC cs.DS
A Game-Theoretic Approach for Runtime Capacity Allocation in MapReduce
如今，许多公司都拥有大量的原始非结构化数据。在大数据支持技术中，MapReduce框架占据了中心地位，特别是其开源实现Apache Hadoop。出于成本效益的考虑，一种常见的方法需要在多个用户之间共享服务器集群。底层基础设施应该为每个用户提供公平的计算资源，确保满足服务水平协议（SLA）并避免浪费。在本文中，我们考虑两个数学规划问题，模型的Hadoop 2.x集群中的计算资源的最优分配，目的是开发新的容量分配技术，保证更好的性能在共享数据中心。我们的目标是在遵守SLA中规定的最后期限并避免与作业拒绝相关的处罚的同时大幅降低功耗。这种方法的核心是一个分布式算法的运行时容量分配，基于博弈论模型和技术，模仿MapReduce的动态交互的球员，即中央资源管理器和类管理器。
2017-01-17 cs.DC
Benchmarking Apache Spark and Hadoop MapReduce on Big Data Classification
Istanbul Technical University（伊斯坦布尔理工大学）；ASELSAN A.S.（阿瑟尔桑公司）
大多数流行的大数据分析工具都在不断发展，以适应其工作环境，从大量非结构化数据中提取有价值的信息。数据采掘技术能够从大数据中过滤这些有用的信息，这导致了大数据采掘这个术语。将数据范围从小型、结构化和稳定的数据转变为海量、非结构化和快速变化的数据带来了许多数据管理挑战。不同的工具由于其体系结构的限制，以自己的方式应对这些挑战。在根据手头的任务选择正确的数据管理框架时，需要考虑许多参数。在本文中，我们为两个广泛使用的大数据分析工具，即Apache Spark和Hadoop MapReduce，在一个共同的数据采掘任务上，即，分类.我们采用了几个评估指标来比较基准框架的性能，如执行时间，准确性和可扩展性。这些指标专门用于测量分类任务的性能。据我们所知，在文献中没有以前的研究，采用所有这些指标，同时考虑到特定任务的关注。我们发现Spark在训练模型时比MapReduce快5倍。然而，Spark的性能会随着输入工作负载的增大而降低。通过额外的集群扩展环境可以显著提高Spark的性能。然而，在Hadoop中没有观察到类似的增强。MapReduce的机器学习实用程序往往比Spark具有更好的准确性分数，即使在小规模的数据集中也是如此，大约3%。
2022-09-21 cs.DC cs.LG
Auto Tuning of Hadoop and Spark parameters
TB、PB或更高级别的数据被称为大数据。这些数据无法使用传统的数据库软件进行处理，因此需要大数据平台。通过结合各种大数据应用程序和实用程序的功能和特性，大数据平台形成了一个单一的解决方案。它是一个帮助开发、部署和管理大数据环境的平台。Hadoop和Spark是Apache提供的两个开源大数据平台。这两个平台都有许多配置参数，这些参数可能会对执行时间、准确性等产生不可预见的影响。手动调整这些参数可能会很麻烦，因此需要自动调整它们。在研究和分析了前人在自动调整这些参数方面的各种工作之后，本文提出了两种算法--网格搜索和受控随机搜索。本文研究的性能指标是执行时间。这些算法有助于自动调整参数。实验结果表明，通过网格搜索和受控随机搜索，Hadoop的执行时间分别减少了70%和50%，Spark的执行时间分别减少了81.19%和77.77%。
2021-11-04 cs.DC
Performance Analysis of Apriori Algorithm with Different Data Structures on Hadoop Cluster
从海量数据集中挖掘频繁项集一直是数据采掘的一个重要问题。Apriori算法是最流行、最简单的频繁项集挖掘算法。为了提高Apriori的效率和可扩展性，已经提出了许多算法来解决高效数据结构的设计，最小化数据库扫描以及并行和分布式处理。MapReduce是Hadoop集群上处理大数据集的并行分布式技术。为了挖掘大数据集，有必要在这种新的范式上重新设计数据采掘算法。在本文中，我们实现了三种变体的Apriori算法使用数据结构哈希树，trie和哈希表trie，即trie与MapReduce范式上的哈希技术。本文着重研究了这三种数据结构对Hadoop集群上Apriori算法的重要意义，这一点还没有引起足够的重视。在真实数据集和人工合成数据集上进行的实验表明，哈希表trie数据结构在执行时间上远远优于trie和hash树。此外，哈希树的性能变得最差。
2015-11-22 cs.DC
Using MapReduce for Large-scale Medical Image Analysis
现代医院每天产生的医学图像数据量的增长迫使传统的医学图像分析和索引方法适应可扩展的解决方案。在过去的20年里，图像的数量及其维度急剧增加。我们提出了基于并行计算和算法优化的大规模医学图像分析解决方案。MapReduce框架用于加速和实现三个大规模医学图像处理用例：（i）使用支持向量机进行肺部纹理分割的参数优化，（ii）基于内容的医学图像索引，以及（iii）用于实体纹理分类的三维方向小波分析。在我们的机构中使用Hadoop建立了一个异构计算节点集群，允许最多42个并发地图任务。所使用的大多数机器是台式计算机，也用于日常办公。该集群显示出微创和稳定。与顺序执行相比，这三个用例中的每一个的运行时间都大大减少了。Hadoop为数据分析任务提供了一个易于使用的框架，可以很好地扩展许多任务，但需要针对特定任务进行优化。
2015-10-23 cs.DC
A New Parallelization Method for K-means
K-means是数据采掘领域中一种常用的聚类方法。为了处理大型数据集，研究人员提出了PKMeans，这是MapReduce上的并行k-means。然而，现有的k-means并行化方法，包括PKMeans有很多局限性。PKMeans无法在一个MapReduce作业中完成所有迭代，因此它必须在循环中重复级联MapReduce作业，直到收敛。在最流行的MapReduce平台Hadoop上，每个MapReduce作业都会在作业启动和洗牌阶段引入大量的I/O开销和额外的执行时间。更糟糕的是，已经证明，在最坏的情况下，k-means需要$2^{Ω(n)}$ MapReduce作业来收敛，其中n是数据实例的数量，这意味着对于大型数据集来说开销巨大。此外，在PKMeans中，最多可以为每个质心分配一个reducer并更新每个质心，因此PKMeans只能使用有限数量的并行reducer。本文提出了一种改进的k-means并行方法IPKMeans，它具有一个使用k-d树的并行预处理阶段，可以在一个MapReduce作业中完成k-means，与PKMeans相比，它具有更多的reducer并行工作和更低的I/O开销，并且具有快速的后处理阶段生成最终结果。在我们的方法中，k-d树和新的改进的并行k-means使用MapReduce实现，并在Hadoop上进行测试。实验结果表明，在相同的数据集和初始质心下，…
2016-08-26 cs.DC
Evaluation of Distributed Data Processing Frameworks in Hybrid Clouds
分布式数据处理框架（例如，Hadoop、Spark和Flink）被广泛用于在云的计算节点之间分发数据。最近，已经有越来越多的努力，旨在评估托管在私有云和公共云中的分布式数据处理框架的性能。然而，关于评估这些托管在混合云中的框架的性能的研究很少，混合云是一种新兴的云模型，它集成了私有云和公共云，以充分利用两者的优势。因此，在本文中，我们从执行时间、资源利用率、水平可扩展性、垂直可扩展性和成本等方面评估了Hadoop、Spark和Flink在混合云中的性能。在这项研究中，我们的混合云由OpenStack（私有云）和MS Azure（公共云）组成。我们使用批处理和迭代工作负载进行评估。我们的研究结果表明，在混合云中，（i）随着私有云从公共云借用更多的节点，执行时间会增加，（ii）Flink的性能优于Spark，而Spark在执行时间方面又优于Hadoop，（iii）Hadoop在工作负载执行期间在节点之间传输的数据量最大，而Spark传输的数据量最少，（iv）与垂直扩展相比，所有三个框架的水平扩展都更好，（v）就数据处理的成本而言，Spark最便宜，而Hadoop最昂贵。
2022-01-06 cs.DC
Towards Zero-Overhead Adaptive Indexing in Hadoop
一些研究工作集中在MapReduce系统中支持索引访问。这些工作使用户能够以数量级的速度显著加快选择性MapReduce作业。然而，所有这些建议都要求用户预先创建索引，这在某些工作负载不断变化或难以预测的应用程序（例如科学和社会应用程序）中可能是一项艰巨的任务。为了克服这个问题，我们提出了LIAH（Hadoop中的惰性索引和自适应性），这是一种并行的自适应方法，用于以最小的成本为MapReduce系统建立索引。LIAH的主要思想是通过在HDFS数据块上创建聚集索引作为执行MapReduce作业的副产品来自动和增量地适应用户的工作负载。除了在多个计算节点上分配索引工作之外，LIAH还将索引与地图任务计算和磁盘I/O并行化。所有这一切都没有任何额外的数据复制在主存储器和最低限度的同步。LIAH的美妙之处在于它将索引创建搭载在map任务上，这些任务无论如何都要将相关数据从磁盘读取到主存。因此，LIAH不会引入任何额外的读I/O成本，也不会利用空闲的CPU周期。因此，与现有的自适应索引工作相比，LIAH具有非常低的（或不可见的）索引开销，通常用于第一个作业。不过，LIAH可以快速收敛到一个完整的索引，即所有HDFS数据块都被索引。特别是，LIAH可以用快速的完整索引收敛来换取早期作业运行时的改进。我们将LIAH与HAIL（一种最先进的索引技术）以及标准Hadoop在索引开销和工作负载性能方…
2012-12-14 cs.DB cs.DC
MPIgnite: An MPI-Like Language and Prototype Implementation for Apache Spark
基于MPI的横向扩展并行处理是一个有25年历史的标准，在高性能计算社区中，至少还有十年的历史。MapReduce、Hadoop和Spark等较新的框架代表了工业可扩展计算解决方案，这些解决方案因其相对简单的使用、对相关问题的适用性以及利用可扩展分布式资源的能力而得到广泛采用。虽然MPI提供了性能和可移植性，但它缺乏生产力和容错能力。同样，Spark是当前一代MapReduce和数据并行计算基础设施的一个具体示例，它可以实现这些目标，但又缺乏对等通信支持，无法实现轻量级、高度可扩展的对等数据并行代码部分。本文的主要贡献是演示如何将MPI的集体和点对点对等通信概念引入Spark环境。这样做是为了产生性能便携，面向对等和面向组的通信服务，同时保留Spark的基本，理想的属性。考虑了容错和生产率的附加概念。这种方法与将MapReduce框架作为上层中间件添加到传统的MPI实现作为基线基础设施相比。
2017-07-15 cs.DC
Efficient Big Text Data Clustering Algorithms using Hadoop and Spark
文档聚类是一种传统的，高效的，但相当有效的文本挖掘技术，当我们需要得到一个更好的洞察力的文件集合，可以分组在一起。K-Means算法和分层凝聚聚类（HAC）算法是两种最知名和最常用的聚类算法;前者由于其低时间成本，后者由于其准确性。然而，即使在大规模集合的文本聚类中使用K-Means也会导致不可接受的时间成本。在本文中，我们首先解决了一些最有价值的方法，在这样的“大数据”（大规模）集合的文档聚类。然后，我们提出两个非常有希望的替代方案：（a）现有的基于K-Means的快速聚类技术的变体（称为BigKClustering - BKC），使得其可以应用于文档聚类，以及（b）基于Buckshot算法的定制版本的混合聚类方法，它首先对输入数据集的样本应用层次聚类过程，然后将结果用作K-其余文档的基于均值的分配，迭代次数很少。我们还在MapReduce模型中对所提出的技术进行了高效的调整，然后在真实的集群环境中使用Apache Hadoop和Spark进行了实验测试。正如它出来的实验，他们都导致可接受的聚类质量以及显着的时间改进（与K-Means相比，特别是基于Buckshot的算法），从而构成了非常有前途的替代大文档集合。
2021-12-01 cs.DC
Performance Evaluation of Distributed Computing Environments with Hadoop and Spark Frameworks
近年来，由于信息和通信技术的快速发展，数据以雪崩的方式产生和消耗。分布式计算通过将计算分布在多个计算节点之间来为分析和处理这样的大数据创建先决条件。在这项工作中，性能的分布式计算环境的Hadoop和Spark框架的基础上估计真实和虚拟版本的集群。作为测试任务，我们选择了在各种大小的文本中进行单词计数的经典用例。结果发现，运行时间随着数据集的大小增长得非常快，甚至比幂函数更快。至于集群实现的真实版本和虚拟版本，Hadoop和Spark框架的这种趋势是相似的。此外，加速值显着降低数据集大小的增长，特别是对于虚拟版本的集群配置。物联网和多模式（视觉、声音、触觉、神经和大脑计算、肌肉和眼动追踪等）产生的数据不断增长的问题互动渠道介绍。在这个问题的背景下，当前对Hadoop和Spark框架在真实和虚拟集群配置中的运行时间和加速的观察对于适当的扩展和有效的作业管理非常有用，特别是对于机器学习和深度学习应用程序，其中大数据广泛存在。
2017-07-16 cs.DC cs.PF
Beyond Batch Processing: Towards Real-Time and Streaming Big Data
今天，大数据是从许多来源产生的，并且存在对大数据的存储、管理、处理和查询的巨大需求。MapReduce模型及其对应的开源实现Hadoop已经证明了自己是大数据处理的事实上的解决方案。Hadoop本质上是为批量和高吞吐量处理作业而设计的。虽然Hadoop非常适合批处理作业，但对大数据的非批处理流程的需求越来越大，例如：交互式作业，实时的【形】查询和大数据流。由于Hadoop不适合这些非批处理工作负载，因此针对这些新挑战提出了新的解决方案。在本文中，我们将讨论两类解决方案：实时的【形】处理和大数据流处理。对于每个类别，我们讨论了Hadoop的范式、优势和差异。我们还为每个类别介绍了一些实用的系统和框架。最后，通过一些简单的实验，对比现有的基于Hadoop的解决方案，验证了一些解决方案的有效性。
2014-08-01 cs.DC
Enumerating Maximal Bicliques from a Large Graph using MapReduce
我们认为最大的二分集团（bicliques）从一个大的图，一个任务的核心，许多实际的数据采掘问题，在社会网络分析和生物信息学的枚举。我们提出了新的并行算法的MapReduce平台，并使用Hadoop MapReduce的实验评估。我们的算法是基于聚类的输入图成较小尺寸的子图，然后并行处理不同的子图。我们的算法使用两个想法，使其能够扩展到大型图：（1）通过仔细修剪的搜索空间，不同的子图探索之间的工作冗余最小化，和（2）不同的约简器上的负载是通过使用一个适当的总阶之间的顶点平衡。我们的评估表明，该算法的规模与数百万的边缘和数千万的最大bicliques大型图。据我们所知，这是第一个工作的最大biclique枚举图的这种规模。
2014-04-19 cs.DC
ATLAS: An Adaptive Failure-aware Scheduler for Hadoop
Hadoop已经成为当今云环境中处理大型数据的事实标准。Hadoop在云中的性能直接影响着许多重要的应用程序，从Web分析、Web索引、图像和文档处理到高性能科学计算。然而，由于云的规模、复杂性和动态性，故障很常见，这些故障通常会影响Hadoop中运行的作业的性能。尽管Hadoop拥有内置的故障检测和恢复机制，但由于云环境中的不可预见事件，一些计划的作业仍然会失败。单个任务的失败可能导致整个作业的失败和不可预测的作业运行时间。在这份报告中，我们提出了ATLAS（AdapTive faiLure-Aware），一个新的Hadoop调度程序，可以调整其调度决策，以事件发生在云环境中。使用统计模型，ATLAS预测任务失败，并调整其调度决策的飞行，以减少任务失败的发生。我们在Amazon Elastic MapReduce（EMR）的Hadoop框架中实现了ATLAS，并进行了案例研究，将其性能与FIFO，Fair和Capacity的性能进行了比较。实验结果表明，ATLAS能使作业失败率降低28%，任务失败率降低39%，作业总执行时间平均降低10 min。ATLAS还减少了CPU和内存的使用。
2015-11-05 cs.DC
Evaluating Hive and Spark SQL with BigBench
这项工作的目标是利用BigBench [1]作为大数据基准，并评估和比较两个处理引擎：MapReduce [2]和Spark [3]。MapReduce是Hadoop上处理数据的成熟引擎。Spark是一个流行的替代引擎，它承诺比现有的MapReduce引擎更快的处理时间。BigBench之所以被选中进行比较，是因为它是第一个端到端分析大数据基准，目前正作为TPCx-BB接受公众审查[4]。我们的目标之一是通过执行各种可伸缩性测试来评估基准测试，并验证它能够对处理引擎进行压力测试。首先，我们分析了在Spark上执行BigBench [1]的可用MapReduce实现所需的步骤。然后，在MapReduce/Hive上以不同的比例因子执行所有30个BigBench查询，以查看性能如何随着数据大小的增加而变化。接下来，这组HiveQL查询在Spark SQL上执行，并与它们各自的Hive运行时进行比较。本报告详细介绍了如何设置实验性Hadoop集群并在Hive和Spark SQL上执行BigBench。它提供了针对不同比例因子执行的所有实验的绝对时间以及可用于验证正确基准执行的查询结果。此外，在我们的工作中遇到并解决了多个问题和解决方法。代表BigBench查询的一个子集的资源利用率（CPU，内存，磁盘和网络使用）的评估，以说明两个处理引擎上的不同查询组的行为。最后但并非最不重要的一点是，…
2016-01-13 cs.DB cs.DC
A Data Structure Perspective to the RDD-based Apriori Algorithm on Spark
近年来，许多研究者提出了许多高效、可扩展的大数据频繁项集挖掘算法。首先，提出了Hadoop集群上基于MapReduce的频繁项集挖掘算法。虽然Hadoop已经被开发成一个处理大数据的集群计算系统，但是由于其高I/O以及在磁盘上写入和读取中间结果，Hadoop的性能并不能满足数据采掘迭代算法的期望。因此，Spark被开发为另一种集群计算基础设施，由于其内存计算，它比Hadoop快得多。它非常适合迭代算法，并支持数据的批处理，交互式，迭代和流处理。许多频繁项集挖掘算法在Spark上被重新设计，其中大部分都是基于Apriori的。所有这些基于Spark的Apriori算法都使用Hash Tree作为底层数据结构。本文研究了基于Spark的Apriori的各种数据结构的效率。虽然，以前已经从数据结构的角度进行了研究，但是对于基于MapReduce的Apriori，必须在Spark的分布式计算环境下进行重新研究。所考虑的底层数据结构是哈希树、Trie和哈希表Trie。在基准数据集上的实验结果表明，在Spark的分布式计算环境下，基于Spark的Apriori with Trie和哈希表Trie的性能几乎相当，但都比Hash Tree高出许多倍。
2019-08-04 cs.DB cs.DC
Performance Benefits of DataMPI: A Case Study with BigDataBench
Apache Hadoop和Spark在大数据处理和分析方面越来越突出。两者都在互联网公司中广泛部署。另一方面，高性能数据分析需求促使学术界和工业界采用HPC中最先进的技术来解决大数据问题。最近，我们提出了一个基于键值对的通信库DataMPI，它扩展了MPI以支持Hadoop/Spark之类的大数据计算作业。本文使用BigDataBench这一大数据基准测试套件，对Hadoop、Spark和DataMPI的性能和资源利用率特征进行了全面的研究。从我们的实验中，我们观察到DataMPI的作业执行时间分别比Hadoop和Spark的作业执行时间提高了55%和39%。大部分好处来自DataMPI中的高效通信机制。我们还注意到，DataMPI的资源（CPU，内存，磁盘和网络I/O）利用率也比其他两个框架更有效。
2014-03-14 cs.DC cs.PF
Medusa: An Efficient Cloud Fault-Tolerant MapReduce
Web搜索和社交网络等应用程序一直在从集中式云架构转向分散式云架构，以提高其可扩展性。MapReduce是一种在单个云中使用数千台机器处理大量数据的编程框架，也需要扩展到多个云以适应这种演变。构建多云分布式架构的挑战是巨大的。尽管如此，处理由这种设置引入的新类型的故障（例如整个数据中心的中断或由恶意云内部人员引起的任意故障）的能力大大增加了努力。在本文中，我们提出了美杜莎，一个平台，允许MapReduce计算扩展到多个云，并容忍几种类型的故障。我们的解决方案实现了四个目标。首先，它对用户是透明的，用户编写典型的MapReduce应用程序时无需修改。其次，它不需要对广泛使用的Hadoop框架进行任何修改。第三，所提出的系统远远超出了MapReduce提供的容错能力，可以容忍任意故障，云中断，甚至是由腐败的云内部人员造成的恶意故障。第四，它以合理的成本实现了这种增加的容错水平。我们在ExoGENI测试平台中进行了广泛的实验评估，证明与实现相同弹性水平的传统方法相比，我们的解决方案显著缩短了执行时间。
2015-11-23 cs.DC
Chronos: A Unifying Optimization Framework for Speculative Execution of Deadline-critical MapReduce Jobs
在MapReduce等云处理系统中满足所需的应用程序截止日期至关重要，因为云应用程序的性质变得越来越关键和对截止日期敏感。事实表明，MapReduce作业的执行时间通常会受到一些缓慢任务（称为掉队者）的不利影响，这会导致高延迟和最后期限违规。虽然在现有的工作中已经开发了一些策略，以减轻掉队者通过启动投机或克隆任务尝试，他们都没有提供一个定量的框架，优化投机执行提供保证服务水平协议（SLA），以满足应用程序的最后期限。在本文中，我们将几种投机性调度策略放在一个统一的优化框架下，称为Chronos，它定义了一个新的度量标准，截止日期前完成的概率（PoCD），以衡量MapReduce作业满足其预期截止日期的概率。我们系统地分析了流行策略的PoCD，包括克隆，投机性重启和投机性恢复，并以封闭形式量化其PoCD。结果阐明了PoCD和投机执行成本之间的重要权衡，通过不同策略下所需的总（虚拟）机时间来衡量。我们提出了一个优化问题，以联合优化PoCD和执行成本在不同的策略，并开发一个算法的解决方案，保证是最优的。Chronos是在Hadoop MapReduce上进行原型开发的，并使用实验和跟踪驱动的模拟对三种基线策略进行了评估，实现了50%的净效用增加，高达80%的PoCD和88%的成本改进。
2018-04-16 cs.DC
Scheduling Data Intensive Workloads through Virtualization on MapReduce based Clouds
MapReduce已经成为在云上运行数据密集型应用程序的流行编程模型。用户设置的MapReduce作业的完成时间目标或截止日期在现有的基于云的数据处理环境（例如Hadoop）中变得至关重要。在调度MR作业以满足最后期限和“数据局部性”（将任务分配给包含其输入数据的节点）之间存在冲突。为了满足最后期限，可以在没有用于该任务的本地输入数据的节点上调度任务，从而导致从远程节点的昂贵数据传输。在本文中，提出了一种新的调度器，以解决上述问题，主要是基于动态资源重新配置的方法。它有两个组成部分：1）资源预测器：其动态地确定每个作业满足完成时间保证所需的Map/Reduce时隙的数量; 2）资源重新配置器：其通过动态地增加或减少各个VM来调整CPU资源，同时不违反用户的完成时间目标，以最大化数据局部性，并且还最大化活动作业之间的系统内的资源的使用。建议的调度程序已被评估对公平的虚拟集群上建立在一个物理集群的20台机器。结果表明，作业吞吐量增加了约12
2012-08-09 cs.DC
Hadoop on HPC: Integrating Hadoop and Pilot-based Dynamic Resource Management
传统上，诸如超级计算机之类的高性能计算平台被设计成满足科学应用的计算需求。因此，他们被设计为数据的生产者而不是消费者。Apache Hadoop生态系统已经发展到满足数据处理应用程序的要求，并解决了HPC平台的许多限制。然而，有一类科学应用程序需要传统高性能计算环境和Apache Hadoop生态系统的集体能力。例如，生物分子动力学、基因组学和网络科学等科学领域需要将传统计算与基于Hadoop/Spark的分析相结合。我们调查的关键问题，如何提出的能力，这两个计算环境，这样的科学应用。而这个问题需要在多个层次上的答案，我们专注于资源管理中间件的设计，可能会支持这两个需求。我们建议扩展的试点抽象提供一个统一的资源管理层。这是一个重要的步骤，允许应用程序将HPC阶段（例如模拟）集成到数据分析中。许多超级计算中心已经开始正式支持Hadoop环境，无论是在专用环境中还是使用myHadoop等工具的混合部署中。这通常涉及许多需要掌握的内在的、特定于环境的细节，并且经常淹没概念性问题，例如：如何最好地耦合HPC和Hadoop应用程序阶段？如何探索运行时的权衡（数据位置与数据移动）？本文提供了概念上的理解和实际的解决方案，以集成使用HPC和Hadoop环境。
2016-01-31 cs.DC
MapReduce is Good Enough? If All You Have is a Hammer, Throw Away Everything That's Not a Nail!
Hadoop目前是大规模数据分析的首选“锤子”，但也有一些算法不是“钉子”，因为它们并不特别适合MapReduce编程模型。为了解决这个问题，研究人员提出了MapReduce扩展或替代编程模型，其中可以优雅地表达这些算法。这篇文章支持一个非常不同的立场：MapReduce是“足够好”的，而不是试图发明螺丝刀，我们应该简单地摆脱一切不是钉子。更具体地说，文献中的许多讨论都围绕着迭代算法不适合MapReduce的事实：简单的解决方案是找到解决相同问题的替代非迭代算法。这篇文章记录了我作为一名学术研究人员和一名软件工程师在“现实世界”生产分析环境中的个人经历。从这个综合的角度，我反思了“大数据”研究的现状和未来。
2012-09-11 cs.DB cs.DC
A Data Colocation Grid Framework for Big Data Medical Image Processing - Backend Design
在处理大型医学影像研究时，快速采用高性能网格计算资源变得非常重要。我们最近提出了一个“医学图像处理即服务”网格框架，该框架通过将计算移动到医学图像存储附近，提供了利用Apache Hadoop生态系统和HBase进行数据托管的前景。然而，该框架尚未被证明是易于使用的异构硬件环境。此外，该系统还没有验证时，考虑到各种多层次的分析在医学成像。我们的目标标准是（1）提高框架在异构集群中的性能，（2）在大型数据集上执行基于人口的汇总统计，以及（3）引入快速NoSQL查询的表设计方案。本文介绍了用于医学图像处理的Hadoop和HBase的后端接口应用程序接口设计。该API包括：上传，卸载，删除，负载均衡器和MapReduce模板。讨论了数据集摘要统计模型，并采用MapReduce范式实现了该模型.为了更好地利用MapReduce模型，我们引入了一个用于快速数据查询的HBase表方案。简而言之，从大学安全数据库中检索5153个T1图像，并用于凭经验访问具有224个异构CPU核的内部网格。三个实证实验结果的介绍和讨论：（1）负载均衡器的壁时钟时间比内置数据分配策略的框架提高了1.5倍;（2）在网格框架上对一个汇总统计模型进行了实证验证，并与部署标准Sun Grid Engine的集群进行了比较，壁时钟时间减少了8倍，资源时间减少了14倍，（3）当数据集相对较小时，HBase表方案提高了MapRe…
2017-12-22 cs.DC
S2RDF: RDF Querying with SPARQL on Spark
RDF以其灵活、通用的类图数据模型成为语义数据发布的主流。然而，RDF数据汇集的规模不断增加，使得在一台机器上存储和处理它们变得越来越不可行，从而提高了对分布式方法的需求。我们不构建独立但封闭的分布式RDF存储，而是支持使用现有的基础设施进行大数据处理，例如Hadoop。然而，SPARQL查询性能是一个主要的挑战，因为这些平台不是为地面RDF处理而设计的。因此，现有的基于Hadoop的方法通常倾向于某些查询模式形状，而其他形状的性能显着下降。在本文中，我们描述了一种新的RDF数据的关系分区模式称为ExtVP，使用半连接为基础的预处理，类似于连接索引的概念，在关系数据库，有效地减少查询输入的大小，无论其模式的形状和直径。我们的原型系统S2RDF构建在Spark之上，并使用其关系接口在ExtVP上执行SPARQL查询。我们使用最近的WatDiv测试套件，与最先进的SPARQL on Hadoop方法相比，展示了其卓越的性能。S2RDF在十亿个三元组RDF图上实现了大多数查询的次秒运行时间。
2016-01-27 cs.DB cs.DC
Divide and Conquer: an Accurate Machine Learning Algorithm to Process Split Videos on a Parallel Processing Infrastructure
Universidad Autónoma de Occidente（西方自治大学）
城市中的交通摄像机数量每天都在迅速增加，产生了大量的视频数据。并行处理基础设施（如Hadoop）和编程模型（如MapReduce）正在被用来快速处理大量数据。使用Hadoop MapReduce进行视频处理的常见方法是仅在一个节点上处理整个视频，然而，为了避免并行化问题，例如负载不平衡，我们建议通过将视频分成相等的部分并在不同的节点上处理每个结果块来处理视频。我们使用了一些机器学习技术来检测和跟踪车辆。然而，视频分割可能产生不准确的结果。为了解决这个问题，我们提出了一个启发式算法，以避免处理车辆在一个以上的块。
2019-12-20 cs.CV cs.DC
A Framework for Genetic Algorithms Based on Hadoop
遗传算法（GAs）是一种功能强大的元启发式算法，在实际应用中得到了广泛的应用。遗传算法的顺序执行在时间和资源上都需要相当大的计算能力。然而，GA是自然并行的，访问云这样的并行平台既简单又便宜。Apache Hadoop是可用于并行应用程序的常见服务之一。然而，如果不面对其内部工作原理，使用Hadoop开发GA的并行版本并不简单。尽管已经存在一些用于GA的顺序框架，但是没有支持可以并行执行的GA应用程序的开发的框架。在本文中描述了Hadoop平台上的并行遗传算法的框架，MapReduce的范式。这个框架的主要目的是允许用户专注于GA的特定于要解决的问题的方面，确保此任务将在云上正确执行并具有良好的性能。该框架还被用来开发一个应用程序的特征子集选择问题。开发的GA应用程序的性能的初步分析已经进行了使用三个数据集，表现出非常有前途的性能。
2013-12-15 cs.DC cs.NE
A novel approach for fast mining frequent itemsets use N-list structure based on MapReduce
频繁模式挖掘是数据采掘中最重要的课题之一。近年来，人们提出了许多挖掘频繁项集的算法。提出了一种新的基于N-表数据结构的频繁项集挖掘算法--Prepost算法。通过用一般树实现紧凑PPC树，增强了Prepost算法。Prepost算法只能为每个节点找到一个具有所需（前序和后序）的频繁项集。在本章中，我们改进了基于Hadoop平台的prepost算法（HPrepost），提出了使用Mapreduce编程模型。提出的方法的主要目标是有效地挖掘频繁项集，需要较少的运行时间和内存使用。我们对所提出的方案进行了实验，并与其他算法进行了比较。对于密集数据集，它有一个大的平均事务长度，HPrepost是更有效的频繁项集算法在执行时间和内存使用的所有min-sup。一般来说，我们的算法优于算法的运行时间和内存使用小阈值和大数据集。
2017-04-15 cs.DB cs.DC
A Survey on Geographically Distributed Big-Data Processing using MapReduce
Hadoop和Spark是广泛使用的分布式处理框架，用于在私有云或公共云上以高效和容错的方式进行大规模数据处理。这些大数据处理系统被许多行业广泛使用，例如，谷歌、Facebook和亚马逊，用于解决一大类问题，例如，搜索、聚类、日志分析、不同类型的连接操作、矩阵乘法、模式匹配和社会网络分析。然而，所有这些流行的系统在本地分布式计算方面都有一个主要缺点，这阻止了它们实现地理上分布式的数据处理。越来越多的地理分布的海量数据正在推动行业和学术界重新思考当前的大数据处理系统。这些新框架将超越当前系统所涉及的最先进的架构和技术，预计将在其位置处理地理上分布的数据，而无需将整个原始数据集移动到单个位置。在本文中，我们调查和讨论的挑战和要求，在设计地理分布的数据处理框架和协议。我们分类和研究批处理（基于MapReduce的系统），流处理（基于Spark的系统），SQL风格的处理地理分布的框架，模型和算法，其开销问题。
2017-07-06 cs.DB cs.DC
RDD-Eclat: Approaches to Parallelize Eclat Algorithm on Spark RDD Framework
Banaras Hindu University（贝拿勒斯印度大学）；University of Allahabad（阿拉哈巴德大学）；Mahila Maha Vidyalaya, Banaras Hindu University（贝拿勒斯印度大学女子学院）
最初，在Hadoop MapReduce（一种分布式大数据处理框架）上设计了许多频繁项集挖掘算法。但是，由于繁重的磁盘I/O，MapReduce被发现对于这种高度迭代的算法是低效的。因此，Spark是一种更高效的分布式数据处理框架，它具有内存计算和弹性分布式数据集（RDD）功能来支持迭代算法。在Spark RDD框架上，已经设计了基于Apriori和FP-Growth的并行算法，但基于Eclat的并行算法还没有被研究。本文提出了一种基于Spark RDD框架的并行Eclat算法RDD-Eclat及其五种变体。在各种基准数据集上对所提出的算法进行了评估，结果表明RDD-Eclat的性能比基于Spark的Apriori高出许多倍。实验结果表明，该算法在增加核数和数据集大小方面具有可扩展性。
2019-12-13 cs.DB cs.DC cs.DS
Burrows Wheeler Transform on a Large Scale: Algorithms Implemented in Apache Spark
随着下一代测序（NGS）技术的快速发展，每天收集大量的“组学”数据并需要处理。索引和压缩大型序列数据集是这方面最重要的任务之一。在这里，我们提出了依赖于大数据技术的Burrows Wheeler变换的计算算法，即，Apache Spark和Hadoop我们的算法是第一个分发索引计算的算法，而不仅仅是输入数据集，允许充分利用可用的云资源。
2021-07-07 cs.DC cs.DS
RDD-Eclat: Approaches to Parallelize Eclat Algorithm on Spark RDD Framework (Extended Version)
Banaras Hindu University（巴纳拉斯印度教大学）；University of Allahabad（阿拉哈巴德大学）
频繁项集挖掘是一种计算量大、数据密集型的挖掘算法。因此，并行和分布式并行算法被设计成在减少的时间内处理大量的数据。近年来，在Hadoop MapReduce（一种分布式大数据处理框架）上设计了许多并行算法。但是，由于大量的磁盘I/O，MapReduce被发现是效率低下的高度迭代的并行算法。因此，Spark，一个更有效的分布式数据处理框架，已经开发了内存计算和弹性分布式数据集（RDD）功能，以支持迭代算法。在此框架下，基于Apriori和FP-Growth的并行算法已经在Spark RDD框架上得到了设计，但基于Eclat的并行算法还没有被研究。本文提出了一种基于Spark RDD框架的并行Eclat算法RDD-Eclat及其五种变体。在各种基准数据集上对所提出的算法进行了评估，实验结果表明，RDD-Eclat的性能比基于Spark的Apriori高出许多倍。实验结果表明，该算法在增加核数和数据集大小方面具有可扩展性。
2021-10-22 cs.DB cs.DC cs.LG
Experimental Evaluation of Multi-Round Matrix Multiplication on MapReduce
MapReduce算法设计中的一种常见方法是最小化轮数。事实上，在文献中有许多单片MapReduce算法的例子，这些算法只需要一个或两个回合。然而，我们认为，单片算法的设计可能不是云系统中的最佳方法。实际上，多轮算法可以通过根据执行上下文适当地设置轮数来利用云平台的一些特征。在本文中，我们进行了多轮MapReduce算法的实验研究，旨在调查的多轮方法的性能。我们使用矩阵乘法作为案例研究。首先，我们提出了一个可扩展的Hadoop库，命名为M $_3$，在密集和稀疏的情况下，允许权衡轮数与数据在每轮洗牌和减少功能所需的内存量的矩阵乘法。然后，我们提出了一个广泛的研究，这个库的内部集群和亚马逊网络服务，旨在显示其性能和比较单片和多轮的方法。实验表明，即使没有一个低层次的优化，它是可能的设计多轮算法与小的运行时间开销。
2015-01-20 cs.DC cs.DS cs.MS
Autonomic Architecture for Big Data Performance Optimization
Carleton University（卡尔顿大学）；Toronto Metropolitan University（多伦多都会大学）
本文提出 KERMIT 自主架构，可在线自动调优 Spark/Hadoop，识别多用户与新型工作负载并适应漂移，性能显著优于人工经验调优。
2023-03-17 cs.AI cs.DC
Evaluation of pilot jobs for Apache Spark applications on HPC clusters
大数据在许多科学领域已经变得非常突出，因此，科学界已经寻求大数据框架来加速处理其日益增长的数据密集型管道。然而，虽然科学界通常依赖高性能计算（HPC）集群来并行化其管道，但许多流行的大数据框架（如Hadoop和Apache Spark）主要设计用于在专用的商品基础设施上执行。本文评估了在HPC集群上Apache Spark的试点作业相对于传统批处理提交的优势。令人惊讶的是，我们的研究结果表明，试点工作批调度提供的速度是温和的不存在（平均0.98），尽管存在长排队时间。此外，试验作业提供了一个额外的调度层，使调试和部署复杂化。我们的结论是，传统的批处理调度应该仍然是在HPC集群上部署Apache Spark应用程序的默认策略。
2019-05-29 cs.DC cs.PF
Vectorization of Large Amounts of Raster Satellite Images in a Distributed Architecture Using HIPI
矢量化过程集中于将光栅图像的像素分组为原始线段，并形成直线、折线或多边形。针对海量栅格图像矢量化中资源和性能问题，采用基于MapReduce方法的分布式HIPI图像处理接口。Apache Hadoop是框架的核心。为了实现这样一个系统，我们首先定义映射函数，然后定义它的输入和输出格式。在本文中，映射器将光栅镶嵌图转换为矢量对应物。向量化不需要Reduc函数。光栅图像的矢量表示有望通过减少带宽问题的负面影响在分布式计算中提供更好的性能，并进行了水平可扩展性分析。
2018-09-01 cs.DC
Connected Components at Scale via Local Contractions
作为层次图聚类的基本工具，连通分量的计算一直是大规模数据采掘的核心问题。虽然许多已知的算法已经开发了这个问题，他们要么是不可扩展的，在实践中或缺乏强有力的理论保证的并行运行时间，即，通信轮数。到目前为止，经过验证的最好的保证是$\Oh(\log n)$，它与PRAM模型中的运行时间相匹配。在本文中，我们的目标是设计一个分布式算法，这个问题，以及在理论和实践中。特别是，我们提出了一个简单的算法的基础上收缩，并提供了一个可扩展的实现它在MapReduce。在理论方面，除了显示$\Oh(\log n)$收敛的所有图，我们证明了一个$\Oh(\log \log n)$并行运行时间具有高概率的某一类随机图。我们在MPC模型中工作，该模型捕获流行的并行计算框架，如MapReduce，Hadoop或Spark。在实践方面，我们表明，我们的算法优于最先进的MapReduce算法。为了证实其可扩展性，我们报告的经验结果图与数万亿的边缘。
2018-07-27 cs.DC cs.DS
