Running genetic algorithms on Hadoop for solving high dimensional optimization problems
Hadoop是一个流行的MapReduce框架，用于在分布式环境中开发并行应用程序。MapReduce的几个优点，如编程简单性和使用商品硬件的能力，使并行和分布式系统的软计算方法的适用性比以前更容易。在本文中，我们提出了使用Hadoop运行软计算算法的实验研究结果。这项研究表明，一个简单的遗传算法运行在Hadoop上可以用来产生高维优化问题的解决方案。此外，还提出了一种简单而有效的技术，它不需要MapReduce链。
2018-02-10 cs.DC
Technical Report: On the Usability of Hadoop MapReduce, Apache Spark & Apache Flink for Data Science
面向云计算的分布式数据处理平台是大规模数据分析的重要工具。Apache Hadoop MapReduce已经成为这个领域的事实标准，尽管它的编程接口相对较低，即使是简单的分析任务也需要许多实现步骤。这导致了面向Apache的高级平台的开发，最突出的是Apache Spark和Apache Flink。这些平台不仅旨在通过改进内存处理来提高性能，而且特别提供了内置的高级数据处理功能，例如过滤和连接运算符，这应该使数据分析任务比普通的Hadoop MapReduce更容易开发。但事实果真如此吗？本文从可用性的角度比较了三个主要的分布式数据处理平台：Apache Hadoop MapReduce、Apache Spark和Apache Flink。我们报告了一组硕士生的可用性研究的设计，执行和结果，他们正在学习和使用所有三个平台，以解决数据科学背景下的不同用例集。我们的研究结果表明，Spark和Flink是MapReduce的首选平台。在参与者中，Spark和Flink作为面向批量的大数据分析平台之间的感知偏好或开发时间没有显着差异。这项研究开始探索使大数据平台对数据科学用户更有效或更不有效的因素。
2018-03-28 cs.DC
Multiple K Means++ Clustering of Satellite Image Using Hadoop MapReduce and Spark
图像聚类是卫星图像挖掘的重要步骤之一。在我们的实验中，我们在MapReduce作业的同一次迭代中同时运行多个具有不同初始质心和k值的K-means算法。对于初始质心的初始化，我们已经实现了可扩展的K-Means++ MapReduce（MR）作业[1]。我们还为多个聚类输出运行了简化轮廓指数[2]的验证算法，再次在MR作业的相同迭代中。本文探讨了上述聚类算法在MapReduce和Spark作业等大数据平台上运行时的行为。之所以选择Spark，是因为它在快速处理方面很受欢迎，特别是在涉及迭代的情况下。
2016-05-06 cs.DC
Optimization and analysis of large scale data sorting algorithm based on Hadoop
在处理海量数据排序时，我们通常使用Hadoop，这是一个框架，允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。基于Hadoop的MapReduce中的shuffle和sort阶段是实现大数据排序的常用方法。然而，如果我们直接使用它，效率可能非常低，负载不平衡可能是一个大问题。本文对一种基于Hadoop的大规模数据排序算法进行了优化和分析的实验研究。为了达到优化，我们使用了两轮以上的MapReduce。在第一轮中，我们使用MapReduce随机抽取样本。然后，我们使用另一个MapReduce根据第一轮的结果对数据进行统一排序。实验表明，在大规模数据排序时，使用优化后的算法比MapReduce的shuffle算法效果更好。
2015-06-01 cs.DC
Network Traffic Analysis:Hadoop Pig vs Typical MapReduce
大数据分析在当今的场景中已经变得非常流行，并且大数据的操纵已经获得了数据分析领域研究人员的热切关注。大数据分析目前被认为是许多计算和统计部门的一个组成部分。因此，数据分析的新方法每天都在发展。成千上万的交易请求处理和电子商务，电子银行，电子购物车等相关的不同网站每天处理网络流量和网络日志分析来发挥至关重要的作用，在这种情况下，Hadoop可以被建议作为一个有效的解决方案，用于处理从交换机收集的Netflow数据，以及在固定的时间间隔内的网站访问日志。
2013-12-19 cs.DC
An Open-Source Project for MapReduce Performance Self-Tuning
许多Hadoop配置参数对在Hadoop上运行MapReduce作业的性能有重大影响。对于一般用户来说，手动调整参数以获得最佳MapReduce性能是耗时且繁琐的。此外，现有的自校正系统大多实现不透明，难以在实际中使用。这项研究提出了一个开源项目，托管开发中的自调系统称为Catla来解决这些问题。Catla集成了多种直接搜索和基于无衍生优化的技术，以提高用户的调优效率。在这项研究中说明了该系统及其使用的概述。我们还报告了一个简单的例子，展示了这个正在进行的项目的好处。虽然这个项目仍在开发中，远未全面，但它致力于在提高大数据分析性能方面为Hadoop生态系统做出贡献。
2019-12-28 cs.DC
High Performance Risk Aggregation: Addressing the Data Processing Challenge the Hadoop MapReduce Way
蒙特卡罗模拟用于巨灾风险投资组合分析需要处理大量的数据。通常情况下，这些模拟不是在实时场景中执行的，因为它们很慢并且消耗大量数据。这样的模拟可以受益于利用并行性来解决计算挑战并促进分布式文件系统来解决数据挑战的框架。为此，Apache Hadoop框架被选择用于本文中报告的模拟，以便可以使用MapReduce模型来解决计算挑战，并且可以使用Hadoop分布式文件系统来解决数据挑战。本文提出了一种基于MapReduce模型的聚合风险分析并行算法。对算法性能的评估表明，Hadoop MapReduce模型为在聚合风险分析中处理大数据提供了一个框架。在多个工作节点上，在不到6分钟的时间内，对典型的暴露集和合同结构进行了100，000次试验，每次试验有1000个灾难性事件。结果表明，MapReduce的范围和可行性，以解决实时使用的聚合风险分析的计算和数据的挑战。
2013-11-22 cs.CE cs.DC
Parallel Genetic Algorithm to Solve Traveling Salesman Problem on MapReduce Framework using Hadoop Cluster
旅行商问题（TSP）是组合优化中最常研究的问题之一。给定城市列表和它们之间的距离，问题是找到最短的旅行可能访问列表中的所有城市一次，并在它开始的城市结束。尽管旅行商问题是一个NP难问题，但人们已经提出了很多方法和解决方案。遗传算法就是其中之一。遗传算法是求解旅行商问题的一种简单而有效的探试法。在本文中，我们将展示一个并行的遗传算法的MapReduce框架的实现，以解决旅行商问题。MapReduce是一个用于支持计算机集群上的分布式计算的框架。我们使用免费许可的Hadoop实现作为MapReduce框架。
2014-01-24 cs.DC cs.NE
Hadoop-Oriented SVM-LRU (H-SVM-LRU): An Intelligent Cache Replacement Algorithm to Improve MapReduce Performance
本文提出面向 Hadoop 的 H-SVM-LRU 智能缓存替换算法，融合 LRU 与 SVM 预测数据未来使用情况，以提高缓存命中率并降低 MapReduce 执行时间。
2023-09-28 cs.DC
Performance Tuning of Hadoop MapReduce: A Noisy Gradient Approach
Hadoop MapReduce是一个分布式存储和处理大型数据集的框架，在大数据分析中非常流行。它具有各种配置参数（旋钮），这些参数在决定性能方面起着重要作用，即，给定大数据处理作业的执行时间。这些参数的默认值并不总是产生良好的性能，因此调整它们很重要。然而，由于两个重要原因，在调整参数方面存在固有的困难-首先，参数搜索空间很大，其次，存在交叉参数相互作用。因此，需要一种无量纲的方法，该方法可以通过考虑跨参数依赖性来自动调整配置参数。在本文中，我们提出了一种新的Hadoop参数调整方法，基于噪声梯度算法称为同时扰动随机近似（SPSA）。SPSA算法通过直接观察Hadoop MapReduce系统的性能来调整参数。所遵循的方法独立于参数维度，并且在调整时每次迭代仅需要$2$观测。我们证明了我们的方法在流行的Hadoop基准测试，即\emph{Grep}，\emph{Bigram}，\emph{Inverted Index}，\emph{Word Co-occurrence}和\emph{Terasort}上实现良好性能的有效性。我们的方法，在25个节点的Hadoop集群上进行测试时显示，与默认配置相比，Hadoop作业的执行时间平均减少了66%。此外，我们还观察到，与以前的方法相比，减少了45%的执行时间。
2016-12-16 cs.DC cs.LG
Practical Size-based Scheduling for MapReduce Workloads
我们提出了Hadoop公平逗留协议（HFSP）调度器，它实现了基于大小的调度纪律的Hadoop。基于大小的调度规程的好处在各种环境（计算机网络、操作系统等）中得到了很好的认可，然而，它们对于诸如Hadoop的系统的实际实现提出了许多重要的挑战。与HFSP，这是一个开源项目，我们解决有关的问题，工作规模估计，资源管理和研究各种抢占策略的影响。虽然HFSP的基础架构是适合于任何基于大小的调度纪律，在这项工作中，我们重新审视和扩展的公平逗留协议，它解决了相关的问题，影响FIFO，处理器共享和一系列基于大小的纪律的工作饥饿。在我们的实验中，我们将HFSP与标准Hadoop集群进行了比较，发现平均作业逗留时间（一个衡量作业在系统中花费的总时间的指标，包括等待和服务时间）显着减少，这是我们根据文献中的生产跟踪生成的实际工作负载。
2013-05-03 cs.DC
Column-Oriented Storage Techniques for MapReduce
MapReduce的用户在扩展工作负载时经常会遇到性能问题。他们遇到的许多问题都可以通过应用从三十多年的并行DBMS研究中学到的技术来克服。然而，将这些技术转换为MapReduce实现（如Hadoop）带来了独特的挑战，可能会导致新的设计选择。本文描述了如何将面向列的存储技术以保留其流行编程API的方式并入Hadoop中。我们表明，在Hadoop中简单地使用二进制存储格式可以提供3倍的性能提升，而不是简单地使用文本文件。然后，我们介绍了一种面向列的存储格式，它与Hadoop的复制和调度约束兼容，并表明它可以在实际工作负载上加速MapReduce作业。我们还表明，处理复杂的列类型，如数组，映射和嵌套记录，这是常见的MapReduce作业，可以产生显着的CPU开销。最后，我们引入了一种新颖的跳表列格式和惰性记录构造策略，避免了重复不需要的记录，从而提供了额外的1.5倍性能提升。一个真正的内联网爬行的实验表明，我们的面向列的存储技术可以提高Hadoop中的地图阶段的性能多达两个数量级。
2011-05-21 cs.DB cs.DC
Optimizing MapReduce for Highly Distributed Environments
MapReduce是大规模数据处理的流行编程范例，传统上部署在紧密耦合的集群上，其中数据已经在本地可用。然而，数据和计算资源在单个中心位置可用的假设不再适用于商业、科学和社交网络领域中的许多新兴应用，其中数据以地理上分布式的方式生成。此外，执行数据分析所需的计算资源可以分布在多个数据中心或社区资源（诸如网格）上。在本文中，我们开发了一个建模框架，以捕获MapReduce执行在一个高度分布式的环境，包括分布式数据源和分布式计算资源。这个框架足够灵活，可以为MapReduce执行捕获多个设计选择和性能优化。我们提出了一个模型驱动的优化，有两个关键特征：（i）它是端到端的，而不是短视的优化，可能只会使局部最优，但全局次优的决策，（ii）它可以控制多个MapReduce阶段，以实现低运行时间，而不是单阶段优化，可能只控制个别阶段。我们的模型结果表明，我们的优化可以提供近82%和64%的执行时间减少近视和单阶段优化，分别。我们已经修改了Hadoop来实现我们的模型输出，并在8节点模拟PlanetLab测试平台上使用三种不同的MapReduce应用程序，我们表明，我们优化的Hadoop执行计划在运行时间上比普通Hadoop执行减少了31-41%。我们的模型驱动优化还提供了一些见解，根据应用程序和平台特性选择技术和执行参数。
2012-07-30 cs.DC
Performance Optimization of MapReduce-based Apriori Algorithm on Hadoop Cluster
在MapReduce框架上实现Apriori算法的技术很多，但只有少数几种技术关注于性能的提高。FPC（Fixed Passes Combined-counting）和DPC（Dynamic Passes Combined-counting）算法将Apriori的多个通道组合在单个MapReduce阶段中，以减少执行时间。在本文中，我们提出了改进的MapReduce基于Apriori算法VFPC（可变大小的固定通道组合计数）和ETDPC（经过时间的动态通道组合计数）在FPC和DPC。进一步，我们通过在某些通道中跳过修剪步骤来优化这些算法的多通道阶段，并提出了Optimized-VFPC和Optimized-ETDPC算法。定量分析表明，由于跳过修剪产生的额外的未修剪的候选人的计数成本是不太显着的计算成本，由于相同的减少。实验结果表明，VFPC和ETDPC比FPC和DPC更健壮和灵活，而它们的优化版本在执行时间方面更有效。
2018-07-16 cs.DB cs.DC
Astronomy in the Cloud: Using MapReduce for Image Coaddition
在未来十年中，对天空的天文观测将产生数十TB的图像，并每晚检测数亿个源。对这些源的研究将涉及异常检测和分类以及移动对象跟踪等计算挑战。由于此类研究受益于最高质量的数据，因此图像叠加（叠加）等方法将是科学调查之前的关键预处理步骤。由于需要每晚分析这些图像以识别移动源或瞬态对象，这些数据流提出了许多计算挑战。考虑到所涉及的数据量，这些问题的计算负载只能通过将工作负载分布在大量节点上来解决。然而，这些应用程序所要求的高数据吞吐量可能会对某些存储架构提出可扩展性挑战。近年来出现的一种可扩展的数据处理方法是MapReduce，在本文中，我们将重点关注其流行的开源实现Hadoop。在Hadoop框架中，数据在直接连接到工作节点的存储之间进行分区，处理工作负载在包含所需输入数据的节点上并行调度。使用Hadoop的另一个动机是它允许我们利用云计算资源，例如，亚马逊EC2我们报告我们的经验，实现一个可扩展的图像处理管道的SDSS成像数据库使用Hadoop。这个多TB的成像数据集为算法开发提供了一个很好的测试平台，因为它的范围和结构接近未来的调查。首先，我们描述了MapReduce以及我们如何将图像添加到MapReduce框架中。然后，我们描述了一些优化我们的基本方法和报告的实验结果比较其性能。
2010-10-05 cs.DC
Large-scale Data Modelling in Hive and Distributed Query Processing using MapReduce and Tez
人类、组织和机器的数字互联系统不断生成大量数据。数据以各种格式出现，包括结构化，非结构化和半结构化，这使得不可能应用相同的标准方法，技术和算法来管理和处理这些数据。幸运的是，企业级分布式平台Hadoop生态系统已经存在。本文从数据定义、数据操作和数据处理三个方面探讨了Apache Hive组件提供的全栈数据管理功能。Hive是一个数据仓库系统，它处理存储在表中的结构化数据。由于Hive工作在Hadoop HDSFS之上，它受益于HDFS的非凡特性，包括容错性，可靠性，高可用性，可扩展性等。此外，Hive可以通过将作业分配给MapReduce，Tez和Spark引擎来运行复杂查询，从而利用集群的分布式计算能力。本文重点研究了Hive数据模型，并对MapReduce和Tez的处理性能进行了分析。
2023-01-29 cs.DC
Observations on Factors Affecting Performance of MapReduce based Apriori on Hadoop Cluster
设计快速、可扩展的频繁项集挖掘算法一直是数据采掘中最突出和最有前途的问题。Apriori算法是频繁项集挖掘中应用最广泛、最流行的算法之一。在MapReduce框架上设计高效的算法来处理和分析大数据集是当前的研究热点。在本文中，我们专注于性能MapReduce的Apriori同构以及异构Hadoop集群。我们已经调查了一些因素，显着影响MapReduce的Apriori上运行在同构和异构Hadoop集群的执行时间。这些因素是算法和非算法改进所特有的。算法改进所考虑的特定因素是过滤的事务和数据结构。实验结果表明，一个合适的数据结构和过滤事务技术如何大大减少执行时间。非算法因素包括推测性执行、性能差的节点、数据局部性和数据块分布以及输入分割大小的并行性控制。我们已经针对这些因素采取了策略，并在我们的特定应用中微调了相关参数。实验结果表明，如果集群特定的参数得到照顾，那么有一个显着减少执行时间。此外，我们还讨论了Apriori的MapReduce实现可能会显着影响性能的问题。
2017-01-21 cs.DB cs.DC cs.DS
A Game-Theoretic Approach for Runtime Capacity Allocation in MapReduce
如今，许多公司都拥有大量的原始非结构化数据。在大数据支持技术中，MapReduce框架占据了中心地位，特别是其开源实现Apache Hadoop。出于成本效益的考虑，一种常见的方法需要在多个用户之间共享服务器集群。底层基础设施应该为每个用户提供公平的计算资源，确保满足服务水平协议（SLA）并避免浪费。在本文中，我们考虑两个数学规划问题，模型的Hadoop 2.x集群中的计算资源的最优分配，目的是开发新的容量分配技术，保证更好的性能在共享数据中心。我们的目标是在遵守SLA中规定的最后期限并避免与作业拒绝相关的处罚的同时大幅降低功耗。这种方法的核心是一个分布式算法的运行时容量分配，基于博弈论模型和技术，模仿MapReduce的动态交互的球员，即中央资源管理器和类管理器。
2017-01-17 cs.DC
Benchmarking Apache Spark and Hadoop MapReduce on Big Data Classification
Istanbul Technical University（伊斯坦布尔理工大学）；ASELSAN A.S.（阿瑟尔桑公司）
大多数流行的大数据分析工具都在不断发展，以适应其工作环境，从大量非结构化数据中提取有价值的信息。数据采掘技术能够从大数据中过滤这些有用的信息，这导致了大数据采掘这个术语。将数据范围从小型、结构化和稳定的数据转变为海量、非结构化和快速变化的数据带来了许多数据管理挑战。不同的工具由于其体系结构的限制，以自己的方式应对这些挑战。在根据手头的任务选择正确的数据管理框架时，需要考虑许多参数。在本文中，我们为两个广泛使用的大数据分析工具，即Apache Spark和Hadoop MapReduce，在一个共同的数据采掘任务上，即，分类.我们采用了几个评估指标来比较基准框架的性能，如执行时间，准确性和可扩展性。这些指标专门用于测量分类任务的性能。据我们所知，在文献中没有以前的研究，采用所有这些指标，同时考虑到特定任务的关注。我们发现Spark在训练模型时比MapReduce快5倍。然而，Spark的性能会随着输入工作负载的增大而降低。通过额外的集群扩展环境可以显著提高Spark的性能。然而，在Hadoop中没有观察到类似的增强。MapReduce的机器学习实用程序往往比Spark具有更好的准确性分数，即使在小规模的数据集中也是如此，大约3%。
2022-09-21 cs.DC cs.LG
Performance Analysis of Apriori Algorithm with Different Data Structures on Hadoop Cluster
从海量数据集中挖掘频繁项集一直是数据采掘的一个重要问题。Apriori算法是最流行、最简单的频繁项集挖掘算法。为了提高Apriori的效率和可扩展性，已经提出了许多算法来解决高效数据结构的设计，最小化数据库扫描以及并行和分布式处理。MapReduce是Hadoop集群上处理大数据集的并行分布式技术。为了挖掘大数据集，有必要在这种新的范式上重新设计数据采掘算法。在本文中，我们实现了三种变体的Apriori算法使用数据结构哈希树，trie和哈希表trie，即trie与MapReduce范式上的哈希技术。本文着重研究了这三种数据结构对Hadoop集群上Apriori算法的重要意义，这一点还没有引起足够的重视。在真实数据集和人工合成数据集上进行的实验表明，哈希表trie数据结构在执行时间上远远优于trie和hash树。此外，哈希树的性能变得最差。
2015-11-22 cs.DC
Using MapReduce for Large-scale Medical Image Analysis
现代医院每天产生的医学图像数据量的增长迫使传统的医学图像分析和索引方法适应可扩展的解决方案。在过去的20年里，图像的数量及其维度急剧增加。我们提出了基于并行计算和算法优化的大规模医学图像分析解决方案。MapReduce框架用于加速和实现三个大规模医学图像处理用例：（i）使用支持向量机进行肺部纹理分割的参数优化，（ii）基于内容的医学图像索引，以及（iii）用于实体纹理分类的三维方向小波分析。在我们的机构中使用Hadoop建立了一个异构计算节点集群，允许最多42个并发地图任务。所使用的大多数机器是台式计算机，也用于日常办公。该集群显示出微创和稳定。与顺序执行相比，这三个用例中的每一个的运行时间都大大减少了。Hadoop为数据分析任务提供了一个易于使用的框架，可以很好地扩展许多任务，但需要针对特定任务进行优化。
2015-10-23 cs.DC
Towards Zero-Overhead Adaptive Indexing in Hadoop
一些研究工作集中在MapReduce系统中支持索引访问。这些工作使用户能够以数量级的速度显著加快选择性MapReduce作业。然而，所有这些建议都要求用户预先创建索引，这在某些工作负载不断变化或难以预测的应用程序（例如科学和社会应用程序）中可能是一项艰巨的任务。为了克服这个问题，我们提出了LIAH（Hadoop中的惰性索引和自适应性），这是一种并行的自适应方法，用于以最小的成本为MapReduce系统建立索引。LIAH的主要思想是通过在HDFS数据块上创建聚集索引作为执行MapReduce作业的副产品来自动和增量地适应用户的工作负载。除了在多个计算节点上分配索引工作之外，LIAH还将索引与地图任务计算和磁盘I/O并行化。所有这一切都没有任何额外的数据复制在主存储器和最低限度的同步。LIAH的美妙之处在于它将索引创建搭载在map任务上，这些任务无论如何都要将相关数据从磁盘读取到主存。因此，LIAH不会引入任何额外的读I/O成本，也不会利用空闲的CPU周期。因此，与现有的自适应索引工作相比，LIAH具有非常低的（或不可见的）索引开销，通常用于第一个作业。不过，LIAH可以快速收敛到一个完整的索引，即所有HDFS数据块都被索引。特别是，LIAH可以用快速的完整索引收敛来换取早期作业运行时的改进。我们将LIAH与HAIL（一种最先进的索引技术）以及标准Hadoop在索引开销和工作负载性能方…
2012-12-14 cs.DB cs.DC
Constructing Gazetteers from Volunteered Big Geo-Data Based on Hadoop
传统地名录由权威制图机构建立和维护。在大数据时代，通过从Web上挖掘丰富的自愿地理信息（VGI），可以以数据驱动的方式构建地名录。在这项研究中，我们建立了一个可扩展的分布式平台和一个高性能的Hadoop生态系统的基础上，收获众包地名索引条目的工作流程。使用基于Flickr中的地理标记数据集的实验，我们发现，基于MapReduce的工作流上运行的空间启用Hadoop集群可以减少处理时间相比，传统的基于桌面的操作的数量级。我们演示了如何使用这样一个新的空间计算基础设施，以促进地名索引的研究。此外，我们引入了一个基于出处的信任模型的质量保证。这项工作提供了新的见解，丰富未来的地名录与Hadoop集群的使用，并作出贡献，在连接地理信息系统的云计算环境的下一个前沿的大地理数据分析。
2014-02-07 cs.DC
An Experimental Evaluation of Performance of A Hadoop Cluster on Replica Management
Hadoop是MapReduce框架在分布式处理领域的开源实现。Hadoop集群是一种独特的计算集群，旨在跨工作站集群存储和分析大型数据集。为了处理大规模数据，Hadoop利用了Hadoop分布式文件系统，称为HDFS。与大多数分布式文件系统类似，HDFS在计算节点之间的数据共享和可用性方面存在一个常见的问题，这通常会导致性能下降。本文是一个实验评估Hadoop的计算性能，这是通过设计一个机架感知集群，利用Hadoop的默认块放置策略，以提高数据的可用性。此外，还采用了一种依赖于使用Langange插值的访问计数预测的自适应数据复制方案来适应该场景。为了证明这一点，在机架感知集群设置上进行了实验，该集群设置显着减少了任务完成时间，但是一旦处理的数据量增加，由于更新成本，计算速度就会大幅降低。此外，更新成本和复制因子之间的平衡的阈值水平被确定并以图形方式呈现。
2014-11-07 cs.DC
Integrating R and Hadoop for Big Data Analysis
使用传统方法（如关系数据库管理系统或用于统计和可视化的桌面软件包）分析和处理大数据可能非常困难。相反，大数据需要具有数百甚至数千个计算节点的大型集群。官方统计越来越多地考虑使用大数据来获得新的统计数据，因为大数据源可以产生比传统来源更相关和更及时的统计数据。Hadoop是一种成功且广泛用于在商品硬件集群上存储和处理大数据集的软件工具。Hadoop框架包含库，分布式文件系统（HDFS），资源管理平台，并实现了用于大规模数据处理的MapReduce编程模型版本。在本文中，我们研究了Hadoop与R集成的可能性，R是一种用于统计计算和数据可视化的流行软件。我们提出了三种集成它们的方法：R与Streaming，Rhipe和RHadoop，并强调了每种解决方案的优点和缺点。
2014-07-18 cs.DC
Beyond Batch Processing: Towards Real-Time and Streaming Big Data
今天，大数据是从许多来源产生的，并且存在对大数据的存储、管理、处理和查询的巨大需求。MapReduce模型及其对应的开源实现Hadoop已经证明了自己是大数据处理的事实上的解决方案。Hadoop本质上是为批量和高吞吐量处理作业而设计的。虽然Hadoop非常适合批处理作业，但对大数据的非批处理流程的需求越来越大，例如：交互式作业，实时的【形】查询和大数据流。由于Hadoop不适合这些非批处理工作负载，因此针对这些新挑战提出了新的解决方案。在本文中，我们将讨论两类解决方案：实时的【形】处理和大数据流处理。对于每个类别，我们讨论了Hadoop的范式、优势和差异。我们还为每个类别介绍了一些实用的系统和框架。最后，通过一些简单的实验，对比现有的基于Hadoop的解决方案，验证了一些解决方案的有效性。
2014-08-01 cs.DC
Hybrid Job-driven Scheduling for Virtual MapReduce Clusters
对于预算有限的租户来说，通过从VPS提供商租用多个虚拟专用服务器（VPS）来建立虚拟MapReduce集群是具有成本效益的。为了提供一个合适的调度方案，这种类型的计算环境，我们在本文中提出了一个混合作业驱动的调度方案（JoSS）从租户的角度来看。JoSS不仅提供作业级调度，而且提供映射任务级调度和约简任务级调度。JoSS根据作业规模和作业类型对MapReduce作业进行分类，并设计适当的调度策略来调度每类作业。目标是提高map任务和reduce任务的数据局部性，避免作业饥饿，并提高作业执行性能。JoSS的两个变化，进一步介绍了分别实现更好的地图数据的本地性和更快的任务分配。我们进行了广泛的实验，以评估和比较这两种变化与当前的调度算法支持Hadoop。结果表明，这两个变化优于其他测试算法的地图数据的局部性，减少数据的局部性，并在不产生显着的开销网络开销。此外，这两种变体分别适用于不同的MapReduce工作负载场景，并在所有测试算法中提供最佳的作业性能。
2018-09-11 cs.DC
On data skewness, stragglers, and MapReduce progress indicators
我们解决了预测MapReduce应用程序性能的问题，设计了准确的进度指示器，让程序员了解作业执行过程中完成计算时间的百分比。通过大量的实验，我们发现，最先进的进度指标（包括Hadoop提供的进度指标）可能会受到数据偏斜、负载不平衡和分散任务的严重损害。这主要是由于他们隐含的假设，即运行时间线性依赖于输入大小。因此，我们设计了一种新的配置文件引导的进度指标，称为NearestFit，没有线性假设假设的情况下运作，并利用最近邻回归和统计曲线拟合技术的精心组合。我们的理论进度模型需要细粒度的配置文件数据，这在实践中可能非常难以管理。为了克服这个问题，我们通过空间和时间高效的数据流算法来计算模型中使用的一些量的精确近似值。我们在Hadoop 2.6.0之上实施了NearestFit。在Amazon EC2平台上对各种真实基准进行的广泛实证评估表明，NearestFit在实际应用中是实用的。它的准确性通常非常好，即使在竞争对手产生不可忽略的错误和广泛的预测波动的情况下。总的来说，NearestFit显著改善了MapReduce进度分析的当前状态。
2015-04-02 cs.DC cs.PF cs.SE
Scheduling Data Intensive Workloads through Virtualization on MapReduce based Clouds
MapReduce已经成为在云上运行数据密集型应用程序的流行编程模型。用户设置的MapReduce作业的完成时间目标或截止日期在现有的基于云的数据处理环境（例如Hadoop）中变得至关重要。在调度MR作业以满足最后期限和“数据局部性”（将任务分配给包含其输入数据的节点）之间存在冲突。为了满足最后期限，可以在没有用于该任务的本地输入数据的节点上调度任务，从而导致从远程节点的昂贵数据传输。在本文中，提出了一种新的调度器，以解决上述问题，主要是基于动态资源重新配置的方法。它有两个组成部分：1）资源预测器：其动态地确定每个作业满足完成时间保证所需的Map/Reduce时隙的数量; 2）资源重新配置器：其通过动态地增加或减少各个VM来调整CPU资源，同时不违反用户的完成时间目标，以最大化数据局部性，并且还最大化活动作业之间的系统内的资源的使用。建议的调度程序已被评估对公平的虚拟集群上建立在一个物理集群的20台机器。结果表明，作业吞吐量增加了约12
2012-08-09 cs.DC
MapReduce is Good Enough? If All You Have is a Hammer, Throw Away Everything That's Not a Nail!
Hadoop目前是大规模数据分析的首选“锤子”，但也有一些算法不是“钉子”，因为它们并不特别适合MapReduce编程模型。为了解决这个问题，研究人员提出了MapReduce扩展或替代编程模型，其中可以优雅地表达这些算法。这篇文章支持一个非常不同的立场：MapReduce是“足够好”的，而不是试图发明螺丝刀，我们应该简单地摆脱一切不是钉子。更具体地说，文献中的许多讨论都围绕着迭代算法不适合MapReduce的事实：简单的解决方案是找到解决相同问题的替代非迭代算法。这篇文章记录了我作为一名学术研究人员和一名软件工程师在“现实世界”生产分析环境中的个人经历。从这个综合的角度，我反思了“大数据”研究的现状和未来。
2012-09-11 cs.DB cs.DC
A Data Colocation Grid Framework for Big Data Medical Image Processing - Backend Design
在处理大型医学影像研究时，快速采用高性能网格计算资源变得非常重要。我们最近提出了一个“医学图像处理即服务”网格框架，该框架通过将计算移动到医学图像存储附近，提供了利用Apache Hadoop生态系统和HBase进行数据托管的前景。然而，该框架尚未被证明是易于使用的异构硬件环境。此外，该系统还没有验证时，考虑到各种多层次的分析在医学成像。我们的目标标准是（1）提高框架在异构集群中的性能，（2）在大型数据集上执行基于人口的汇总统计，以及（3）引入快速NoSQL查询的表设计方案。本文介绍了用于医学图像处理的Hadoop和HBase的后端接口应用程序接口设计。该API包括：上传，卸载，删除，负载均衡器和MapReduce模板。讨论了数据集摘要统计模型，并采用MapReduce范式实现了该模型.为了更好地利用MapReduce模型，我们引入了一个用于快速数据查询的HBase表方案。简而言之，从大学安全数据库中检索5153个T1图像，并用于凭经验访问具有224个异构CPU核的内部网格。三个实证实验结果的介绍和讨论：（1）负载均衡器的壁时钟时间比内置数据分配策略的框架提高了1.5倍;（2）在网格框架上对一个汇总统计模型进行了实证验证，并与部署标准Sun Grid Engine的集群进行了比较，壁时钟时间减少了8倍，资源时间减少了14倍，（3）当数据集相对较小时，HBase表方案提高了MapRe…
2017-12-22 cs.DC
SDPMN: Privacy Preserving MapReduce Network Using SDN
MapReduce是一种流行的编程模型，也是分布式环境下大数据并行处理的相关实现。由于大型MapReduce数据中心通常为多个用户提供服务，因此保护同一网络中不同应用之间的隐私是一个重要问题。在本文中，我们提出了SDPMN，一个框架，使用\textit{software defined network}（SDN）来区分网络之间的每个应用程序，这是一个可管理和可扩展的方法。我们基于现有的SDN结构和Hadoop网络设计了这个框架。由于每个SDN设备的规则空间是有限的，我们还提出了该框架的规则放置优化，以最大限度地提高硬件支持的孤立的应用网络。我们在一个一般的MapReduce网络中提出这个问题，并设计了一个启发式算法来找到解决方案。从基于仿真的评估，与我们的算法，给定的网络可以支持更多的隐私保护应用网络与SDN交换机。
2018-03-12 cs.DC cs.NI
Evaluating Hive and Spark SQL with BigBench
这项工作的目标是利用BigBench [1]作为大数据基准，并评估和比较两个处理引擎：MapReduce [2]和Spark [3]。MapReduce是Hadoop上处理数据的成熟引擎。Spark是一个流行的替代引擎，它承诺比现有的MapReduce引擎更快的处理时间。BigBench之所以被选中进行比较，是因为它是第一个端到端分析大数据基准，目前正作为TPCx-BB接受公众审查[4]。我们的目标之一是通过执行各种可伸缩性测试来评估基准测试，并验证它能够对处理引擎进行压力测试。首先，我们分析了在Spark上执行BigBench [1]的可用MapReduce实现所需的步骤。然后，在MapReduce/Hive上以不同的比例因子执行所有30个BigBench查询，以查看性能如何随着数据大小的增加而变化。接下来，这组HiveQL查询在Spark SQL上执行，并与它们各自的Hive运行时进行比较。本报告详细介绍了如何设置实验性Hadoop集群并在Hive和Spark SQL上执行BigBench。它提供了针对不同比例因子执行的所有实验的绝对时间以及可用于验证正确基准执行的查询结果。此外，在我们的工作中遇到并解决了多个问题和解决方法。代表BigBench查询的一个子集的资源利用率（CPU，内存，磁盘和网络使用）的评估，以说明两个处理引擎上的不同查询组的行为。最后但并非最不重要的一点是，…
2016-01-13 cs.DB cs.DC
Computing n-Gram Statistics in MapReduce
关于n-gram的统计（即，文本文档或其它字符串数据中的连续单词或其它标记的序列）是信息检索和自然语言处理中的重要构件。在这项工作中，我们研究了如何利用MapReduce进行分布式数据处理来有效地计算n-gram统计数据，这些统计数据可选地受到最大n-gram长度和最小收集频率的限制。我们描述了不同的算法，从单词计数的扩展，通过基于Apriori原理的方法，到一种依赖于排序和聚合后缀的新方法Suffix-σ。我们研究我们的方法可能的扩展，以支持最大性/封闭性的概念，并执行聚合发生计数之外。假设Hadoop作为一个具体的MapReduce实现，我们提供了一个有效的方法实现的见解。在《纽约时报》注释语料库（The New York Times Annotated Corpus）和Cocktail Web 09上进行的大量实验揭示了这些方法的相对优势和利弊。
2012-07-18 cs.DB cs.DC cs.IR
Divide and Conquer: an Accurate Machine Learning Algorithm to Process Split Videos on a Parallel Processing Infrastructure
Universidad Autónoma de Occidente（西方自治大学）
城市中的交通摄像机数量每天都在迅速增加，产生了大量的视频数据。并行处理基础设施（如Hadoop）和编程模型（如MapReduce）正在被用来快速处理大量数据。使用Hadoop MapReduce进行视频处理的常见方法是仅在一个节点上处理整个视频，然而，为了避免并行化问题，例如负载不平衡，我们建议通过将视频分成相等的部分并在不同的节点上处理每个结果块来处理视频。我们使用了一些机器学习技术来检测和跟踪车辆。然而，视频分割可能产生不准确的结果。为了解决这个问题，我们提出了一个启发式算法，以避免处理车辆在一个以上的块。
2019-12-20 cs.CV cs.DC
A Data Structure Perspective to the RDD-based Apriori Algorithm on Spark
近年来，许多研究者提出了许多高效、可扩展的大数据频繁项集挖掘算法。首先，提出了Hadoop集群上基于MapReduce的频繁项集挖掘算法。虽然Hadoop已经被开发成一个处理大数据的集群计算系统，但是由于其高I/O以及在磁盘上写入和读取中间结果，Hadoop的性能并不能满足数据采掘迭代算法的期望。因此，Spark被开发为另一种集群计算基础设施，由于其内存计算，它比Hadoop快得多。它非常适合迭代算法，并支持数据的批处理，交互式，迭代和流处理。许多频繁项集挖掘算法在Spark上被重新设计，其中大部分都是基于Apriori的。所有这些基于Spark的Apriori算法都使用Hash Tree作为底层数据结构。本文研究了基于Spark的Apriori的各种数据结构的效率。虽然，以前已经从数据结构的角度进行了研究，但是对于基于MapReduce的Apriori，必须在Spark的分布式计算环境下进行重新研究。所考虑的底层数据结构是哈希树、Trie和哈希表Trie。在基准数据集上的实验结果表明，在Spark的分布式计算环境下，基于Spark的Apriori with Trie和哈希表Trie的性能几乎相当，但都比Hash Tree高出许多倍。
2019-08-04 cs.DB cs.DC
Automatically Leveraging MapReduce Frameworks for Data-Intensive Applications
MapReduce是一种流行的编程范式，用于开发大规模的数据密集型计算。最近开发了许多实现这种范式的框架。然而，要利用这些框架，开发人员必须熟悉它们的API并重写现有代码。Casper是一个新的工具，可以自动将顺序Java程序转换为MapReduce范式。Casper识别要重写的潜在代码片段并分两步翻译它们：（1）Casper使用程序合成来搜索程序摘要（即，功能规范）。摘要使用类似于MapReduce范式的高级中间语言表示，并使用定理证明器验证其在语义上与原始摘要等价。(2)Casper使用Hadoop、Spark或Flink API从摘要中生成可执行代码。我们通过自动将真实世界的顺序Java基准转换为MapReduce来评估Casper。由此产生的基准测试比原始测试快48.2倍。
2018-06-19 cs.DB cs.DC cs.PL
Efficient Big Text Data Clustering Algorithms using Hadoop and Spark
文档聚类是一种传统的，高效的，但相当有效的文本挖掘技术，当我们需要得到一个更好的洞察力的文件集合，可以分组在一起。K-Means算法和分层凝聚聚类（HAC）算法是两种最知名和最常用的聚类算法;前者由于其低时间成本，后者由于其准确性。然而，即使在大规模集合的文本聚类中使用K-Means也会导致不可接受的时间成本。在本文中，我们首先解决了一些最有价值的方法，在这样的“大数据”（大规模）集合的文档聚类。然后，我们提出两个非常有希望的替代方案：（a）现有的基于K-Means的快速聚类技术的变体（称为BigKClustering - BKC），使得其可以应用于文档聚类，以及（b）基于Buckshot算法的定制版本的混合聚类方法，它首先对输入数据集的样本应用层次聚类过程，然后将结果用作K-其余文档的基于均值的分配，迭代次数很少。我们还在MapReduce模型中对所提出的技术进行了高效的调整，然后在真实的集群环境中使用Apache Hadoop和Spark进行了实验测试。正如它出来的实验，他们都导致可接受的聚类质量以及显着的时间改进（与K-Means相比，特别是基于Buckshot的算法），从而构成了非常有前途的替代大文档集合。
2021-12-01 cs.DC
QuPARA: Query-Driven Large-Scale Portfolio Aggregate Risk Analysis on MapReduce
随机模拟技术用于投资组合风险分析。风险组合可能包括覆盖数百万个受保地点的数千份再保险合同。为了量化风险，每个投资组合都必须在多达一百万次的模拟试验中进行评估，每次模拟试验都要捕捉合同年度内不同的灾难性事件的可能序列。在本文中，我们探讨了一个灵活的投资组合风险分析框架的设计，有利于回答各种各样的灾难性风险查询。这里的重点是允许用户对未聚合或部分聚合的数据提出查询，而不是聚合模拟数据以有效地产生一小组高级风险度量（如在生产风险管理系统中经常做的那样）。我们的目标是提供一个灵活的框架，分析师可以使用它来回答各种各样的意外，但自然的特设查询。这样的详细查询可以帮助精算师或承保人更好地理解多个维度（例如，空间相关性、季节性、危险特征、施工特征和财务术语），这些都会影响投资组合风险。我们实现了一个原型系统，称为QuPARA（查询驱动的大规模投资组合聚合风险分析），使用Hadoop，这是Apache的MapReduce范式的实现。这允许用户利用大型并行计算服务器，以便有效地回答特别风险分析查询，即使是在实践中通常遇到的非常大的数据集。我们描述了QuPARA的设计和实现，并提出了实验结果，证明其可行性。一个完整的投资组合风险分析运行包括1，000，000个试验模拟，每个试验1，000个事件，以及3，200个风险转移合同，可以在16节点Hadoop集群上在20分钟内完成。
2013-08-16 cs.CE cs.DC
Detecting Straggler MapReduce Tasks in Big Data Processing Infrastructure by Neural Network
掉队任务检测是应用MapReduce并行化和分布式大规模数据处理的主要挑战之一。它被定义为检测弱节点上正在运行的任务。考虑Map阶段中的两个阶段copy、combine和Reduce shuffle、sort和reduce三个阶段，总执行时间就是这五个阶段执行时间的总和。本文的主要目的是估计每个阶段的正确执行时间，从而得出正确的总执行时间。所提出的方法是基于应用程序的反向传播神经网络神经网络在Hadoop上的落后任务的检测，估计剩余的执行时间的任务，这是非常重要的落后任务检测。所取得的结果已与该领域的流行算法（例如LATE、ESAMR以及WordCount和Sort基准的实际剩余时间）进行了比较，并表明能够检测落后任务并准确估计执行时间。此外，它还支持加速任务执行时间。
2020-04-13 cs.DC cs.SY eess.SY
A Survey on Geographically Distributed Big-Data Processing using MapReduce
Hadoop和Spark是广泛使用的分布式处理框架，用于在私有云或公共云上以高效和容错的方式进行大规模数据处理。这些大数据处理系统被许多行业广泛使用，例如，谷歌、Facebook和亚马逊，用于解决一大类问题，例如，搜索、聚类、日志分析、不同类型的连接操作、矩阵乘法、模式匹配和社会网络分析。然而，所有这些流行的系统在本地分布式计算方面都有一个主要缺点，这阻止了它们实现地理上分布式的数据处理。越来越多的地理分布的海量数据正在推动行业和学术界重新思考当前的大数据处理系统。这些新框架将超越当前系统所涉及的最先进的架构和技术，预计将在其位置处理地理上分布的数据，而无需将整个原始数据集移动到单个位置。在本文中，我们调查和讨论的挑战和要求，在设计地理分布的数据处理框架和协议。我们分类和研究批处理（基于MapReduce的系统），流处理（基于Spark的系统），SQL风格的处理地理分布的框架，模型和算法，其开销问题。
2017-07-06 cs.DB cs.DC
Bandwidth-Aware Scheduling with SDN in Hadoop: A New Trend for Big Data
软件定义网络（SDN）是一种革命性的网络架构，它将网络控制功能与底层设备分离开来，是帮助企业构建更易于管理的数据中心的一种日益增长的趋势，其中大数据处理成为应用的重要组成部分。为了并行处理大规模数据，MapReduce与一个名为Hadoop的开源实现被提出。在实际的Hadoop系统中，有一种对整体性能有着重要影响的问题被称为NP完全最小生成跨度问题。一个主要的解决方案是在数据本地节点上分配任务以避免链路占用，因为网络带宽是稀缺资源。提出了许多用于增强数据局部性的方法，例如HDS和最先进的调度器BAR。然而，所有这些都忽略了在全局视图中分配任务或忽略可用带宽作为调度的基础。在本文中，我们提出了一个启发式的带宽感知任务调度器BASS结合Hadoop与SDN。它不仅能够保证全局视图中的数据局部性，而且能够以优化的方式有效地分配任务。实例和实验都表明，BASS在作业完成时间方面具有最好的性能。据我们所知，BASS是第一个将SDN人才用于大数据处理的公司，我们相信它为大规模数据处理指明了新的趋势。
2014-03-12 cs.DC cs.NI cs.PF
Iterative MapReduce for Large Scale Machine Learning
University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of California, Irvine（加州大学欧文分校）；Yahoo! Research（雅虎研究院）
大型数据集（“大数据”）正变得无处不在，因为跨广泛的商业和科学应用从数据中获得见解的潜在价值越来越被认识到。特别是，大数据上的机器学习--数据分析、总结和推理的基础学科之一--已经成为大多数运营大型云的组织的常规，这些云通常基于支持MapReduce编程范式的Hadoop等系统。现在人们普遍认识到，虽然MapReduce是高度可扩展的，但它有一个机器学习的关键弱点：它不支持迭代。因此，人们不得不围绕这个限制进行编程，导致脆弱，低效的代码。此外，在多租户的云环境中，对程序员的依赖是固有的缺陷，因为程序员在他或她的程序执行时无法看到系统的状态。先前的工作试图通过开发针对程式化应用程序的专门系统来解决这个问题，或者通过在MapReduce中增加对跨迭代保存状态的特殊支持（由外部循环驱动）。在本文中，我们提倡支持循环作为一个一流的结构，并提出了一个扩展的MapReduce编程范式称为{ \em迭代MapReduce}。然后，我们开发了一类迭代MapReduce程序，涵盖了大多数机器学习技术的优化器，为关键的优化步骤提供理论依据，并实证证明，系统优化的程序显着的机器学习任务与国家的最先进的专业解决方案的竞争力。
2013-03-13 cs.DB cs.DC cs.LG
On Modelling and Prediction of Total CPU Usage for Applications in MapReduce Environments
最近，企业已经开始使用MapReduce作为一种流行的计算框架来处理大量数据，例如垃圾邮件检测，以及公共云和私有云中的不同数据采掘任务。在这样的环境中，两个具有挑战性的问题是（1）为MapReduce配置参数选择合适的值-例如，映射器的数量、缩减器的数量和DFS块大小，以及（2）预测用户应该从服务提供商租用的资源量。目前，选择配置参数和估计所需资源的任务完全是用户的责任。在本文中，我们提出了一种方法来提供总的CPU使用在MapReduce环境中的作业的时钟周期。对于MapReduce作业，时钟周期中的总CPU使用率的简档是从作业过去的执行中构建的，其中具有两个配置参数的不同值，例如，映射器的数量和缩减器的数量。然后，多项式回归被用来模拟这些配置参数和总的CPU使用的工作的时钟周期之间的关系。我们还简要地研究了输入数据缩放对测量的总CPU使用率在时钟周期的影响。这个导出的模型与缩放结果一起可以用于提供具有不同输入数据大小的相同作业的时钟周期中的总CPU使用率。我们验证我们的模型使用三个现实的应用程序的准确性（WordCount的，WARTOM的主日志解析，和TeraSort）。结果表明，在我们的20个节点的虚拟Hadoop集群中，生成的资源配置选项的时钟周期中的预测总CPU使用率小于时钟周期中的测量总CPU使用率的8%。
2012-07-27 cs.DC cs.PF
Leveraging Parallel Data Processing Frameworks with Verified Lifting
近年来，许多并行数据框架被提出，它们允许顺序程序访问并行处理。为了利用这些框架的优势，现有代码必须经常重写为每个框架支持的特定于域的语言。这种重写--单调乏味且容易出错--还要求开发人员在给定特定工作负载的情况下选择最优化性能的框架。本文介绍了Casper，一种新型的编译器，自动重定向顺序Java代码在Hadoop上执行，Hadoop是一个并行数据处理框架，实现了MapReduce范式。给定一个顺序代码片段，Casper使用验证提升来推断用我们的程序规约语言表达的高级摘要，然后编译该摘要以在Hadoop上执行。我们演示了Casper自动将Java基准转换为Hadoop。翻译结果的执行速度平均比顺序实现快3.3倍，并且可以更好地扩展到更大的数据集。
2016-11-23 cs.DB cs.DC cs.PL
Connected Components at Scale via Local Contractions
作为层次图聚类的基本工具，连通分量的计算一直是大规模数据采掘的核心问题。虽然许多已知的算法已经开发了这个问题，他们要么是不可扩展的，在实践中或缺乏强有力的理论保证的并行运行时间，即，通信轮数。到目前为止，经过验证的最好的保证是$\Oh(\log n)$，它与PRAM模型中的运行时间相匹配。在本文中，我们的目标是设计一个分布式算法，这个问题，以及在理论和实践中。特别是，我们提出了一个简单的算法的基础上收缩，并提供了一个可扩展的实现它在MapReduce。在理论方面，除了显示$\Oh(\log n)$收敛的所有图，我们证明了一个$\Oh(\log \log n)$并行运行时间具有高概率的某一类随机图。我们在MPC模型中工作，该模型捕获流行的并行计算框架，如MapReduce，Hadoop或Spark。在实践方面，我们表明，我们的算法优于最先进的MapReduce算法。为了证实其可扩展性，我们报告的经验结果图与数万亿的边缘。
2018-07-27 cs.DC cs.DS
Statistical Regression to Predict Total Cumulative CPU Usage of MapReduce Jobs
最近，企业已经开始使用MapReduce作为一种流行的计算框架来处理大量数据，例如垃圾邮件检测，以及公共云和私有云中的不同数据采掘任务。在这种环境中的两个挑战性问题是（1）为MapReduce配置参数选择合适的值，例如，映射器的数量、缩减器的数量和DFS块大小，以及（2）预测用户应该从服务提供商租用的资源量。目前，选择配置参数和估计所需资源的任务完全由用户负责。在本文中，我们提出了一种方法来提供总的CPU使用在MapReduce环境中的作业的时钟周期。对于MapReduce作业，时钟周期中的总CPU使用率的简档是从作业过去的执行中构建的，其中具有两个配置参数的不同值，例如，映射器的数量和缩减器的数量。然后，多项式回归被用来模拟这些配置参数和总的CPU使用的工作的时钟周期之间的关系。我们还简要地研究了输入数据缩放对测量的总CPU使用率在时钟周期的影响。这个导出的模型与缩放结果一起可以用于提供具有不同输入数据大小的相同作业的时钟周期中的总CPU使用率。我们验证我们的模型使用三个现实的应用程序的准确性（WordCount的，WARTOM的主日志解析，和TeraSort）。结果表明，在我们的20个节点的虚拟Hadoop集群中，生成的资源配置选项的时钟周期中的预测总CPU使用率小于时钟周期中的测量总CPU使用率的8%。
2013-03-14 cs.DC cs.LG cs.PF
Generalized formal model of big data
本文详细介绍了大数据技术的基本特征。分析了现有的“大数据”术语的定义。本文提出并描述了大数据广义形式模型的元素。分析了所提出的模型组件的应用特点。它描述了大数据技术和业务分析之间的根本区别。大数据由分布式文件系统Google文件系统技术、Cassandra、HBase、Lustre和MapReduce以及Hadoop编程结构和许多其他解决方案提供支持。根据麦肯锡研究所等专家的说法，在大数据的影响下，制造业，医疗保健，贸易，个人运动的管理和控制都发生了变化。
2019-05-04 cs.DB cs.DC
Evaluation of Frequent Itemset Mining Platforms using Apriori and FP-Growth Algorithm
随着大量复杂和异构的数据从任何地方、任何时间和任何设备涌入，毫无疑问，大数据时代已经到来。大数据作为下一代智能系统的颠覆性技术的出现，带来了如何在短时间内，有限的预算和高数据生成率下提取和利用从数据中获得的知识的许多问题。企业正在认识到，大数据可以用来做出更准确的预测，并可以在适当的关联规则挖掘算法的帮助下用来增强业务。为了帮助这些组织，根据他们的数据集，哪个软件和算法更适合他们，我们比较了最著名的三个基于MapReduce的软件Hadoop，Spark，Flink在不同规模的数据集上使用的两个广泛使用的算法Apriori和Fp-Growth。
2019-02-28 cs.DB cs.DC
RDD-Eclat: Approaches to Parallelize Eclat Algorithm on Spark RDD Framework (Extended Version)
Banaras Hindu University（巴纳拉斯印度教大学）；University of Allahabad（阿拉哈巴德大学）
频繁项集挖掘是一种计算量大、数据密集型的挖掘算法。因此，并行和分布式并行算法被设计成在减少的时间内处理大量的数据。近年来，在Hadoop MapReduce（一种分布式大数据处理框架）上设计了许多并行算法。但是，由于大量的磁盘I/O，MapReduce被发现是效率低下的高度迭代的并行算法。因此，Spark，一个更有效的分布式数据处理框架，已经开发了内存计算和弹性分布式数据集（RDD）功能，以支持迭代算法。在此框架下，基于Apriori和FP-Growth的并行算法已经在Spark RDD框架上得到了设计，但基于Eclat的并行算法还没有被研究。本文提出了一种基于Spark RDD框架的并行Eclat算法RDD-Eclat及其五种变体。在各种基准数据集上对所提出的算法进行了评估，实验结果表明，RDD-Eclat的性能比基于Spark的Apriori高出许多倍。实验结果表明，该算法在增加核数和数据集大小方面具有可扩展性。
2021-10-22 cs.DB cs.DC cs.LG
Nephele Streaming: Stream Processing Under QoS Constraints At Scale
近年来，以近乎实时的方式处理大量连续数据流的能力已成为许多科学和工业用例的关键先决条件。虽然单个数据流通常处理起来微不足道，但它们的聚合数据量很容易超过传统流处理系统的可扩展性。与此同时，像MapReduce或Dryad这样的并行数据处理系统目前在数据密集型应用程序中非常受欢迎，并且已经证明可以扩展到大量节点。这些系统中的许多还提供流传输能力。然而，与传统的流处理器，这些系统已经忽视了预期的流处理应用的QoS要求，到目前为止。在本文中，我们解决这个差距。首先，我们分析当今的并行数据处理框架的共同设计原则，并确定这些原则，提供自由度在权衡QoS目标的延迟和吞吐量。其次，我们提出了一个高度分布式的计划，允许这些框架来检测违反用户定义的QoS约束，优化作业执行，而无需手动交互。作为概念证明，我们为我们的并行数据处理框架Nephele实现了我们的方法，并通过与Hadoop Online的比较来评估其有效性。对于一个示例流媒体应用程序从多媒体域上运行的集群的200个节点，我们的方法提高了至少13倍的处理延迟，同时保持高的数据吞吐量时，需要的。
2013-08-05 cs.DC
Distributed Correlation-Based Feature Selection in Spark
National Autonomous University of Honduras（洪都拉斯国立自治大学）；University of Alcalá（阿尔卡拉大学）；University of A Coruña（拉科鲁尼亚大学）
CFS（Correlation-Based特征选择）算法是一种已成功应用于多个领域的分类问题的特征选择算法。我们将分布式CFS（DiCFS）描述为CFS算法的完全重新设计的，可扩展的，并行和分布式版本，能够处理大数据应用程序中典型的大量数据。该算法的两个版本是使用Apache Spark集群计算模型实现和比较的，由于其比Hadoop的MapReduce模型快得多的处理时间，目前越来越受欢迎。我们在四个公开的数据集上测试了我们的算法，每个数据集都包含大量的实例，两个数据集也包含大量的特征。结果表明，我们的算法是优越的时间效率和可扩展性。通过利用计算机集群，他们能够处理比非分布式WEKA版本更大的数据集，同时保持结果的质量，即，与WEKA中可用的原始算法相比，我们的算法返回了完全相同的特征。
2019-01-31 cs.DC cs.LG stat.ML
Log Diameter Rounds Algorithms for $2$-Vertex and $2$-Edge Connectivity
许多现代并行系统，如MapReduce，Hadoop和Spark，可以很好地建模MPC模型。MPC模型可以很好地捕捉大数据上的粗粒度计算--数据被分发到处理器，每个处理器都有一个次线性（在输入数据中）的内存量，我们在计算轮和通信轮之间交替，每个机器可以传输与其内存大小一样大的数据量。该模型比经典的PRAM模型更强，设计运行时间比PRAM模型更短的算法是一个有趣的问题。本文研究了两个基本问题：$2$ -边连通性和$2$ -点连通性（双连通性）.在$O(\log n)$时间内运行的PRAM算法已经公知多年。在MPC模型中，我们给出了使用粗对数直径轮的算法。我们的主要结果是：1）$n$并行时间$2$-边连通算法; 2）$O(\log D\log^2\log_{m/n}n+\log D'\log\log_{m/n}n)$并行时间双连通算法，其中双直径$D'$是同一双连通分支中所有顶点对上的最大圈长.我们的结果是完全可扩展的，这意味着每个处理器的内存可以是$O(n^δ)$为任意常数$δ>0$，和使用的总内存是线性的问题大小。我们的$2$ -边缘连接算法实现了与Andoni等人的连接算法相同的并行时间。（FOCS 2018）。我们还证明了双连通问题的$Ω(\log D')$条件下界。
2019-05-02 cs.DC cs.DS
BAMCloud: A Cloud Based Mobile Biometric Authentication Framework
随着转向移动银行的用户数量呈指数级增长，各个国家都在采用生物识别解决方案作为安全措施。生物识别技术在消费者的日常生活中变得越来越普遍的主要原因是因为使用他们的移动电话可以轻松地实时的捕获生物识别数据。生物识别技术正在提供潜在的安全框架，使银行业务比以往任何时候都更加方便和安全。与此同时，在生物识别系统中注册的指数增长产生了大量的高维数据，导致移动银行系统的性能下降。因此，为了克服由于这种数据泛滥而产生的性能问题，本文旨在提出一种基于高性能集群云的分布式移动生物识别系统。高可用性，更好的时间效率和可扩展性是使用所提出的系统的一些额外的优点。本文提出了一种基于云的移动生物特征认证框架（BAMCloud），该框架使用动态签名并执行认证。它包括使用任何手持移动终端捕获数据的步骤，然后通过云以分布式方式存储，预处理和训练系统。为此，我们在Hadoop平台上使用MapReduce实现了它，并使用Levenberg-Marquardt反向传播神经网络进行训练。此外，所采用的方法是非常新颖的，因为它实现了8.5倍的加速比和96.23%的性能。此外，实施系统的成本效益分析表明，该系统的实施和执行成本低于现有的。实验表明，更好的性能相比，在最近的文献中使用的其他方法，所提出的框架。
2017-05-19 cs.CR cs.DC
