Evaluating Hive and Spark SQL with BigBench
这项工作的目标是利用BigBench [1]作为大数据基准，并评估和比较两个处理引擎：MapReduce [2]和Spark [3]。MapReduce是Hadoop上处理数据的成熟引擎。Spark是一个流行的替代引擎，它承诺比现有的MapReduce引擎更快的处理时间。BigBench之所以被选中进行比较，是因为它是第一个端到端分析大数据基准，目前正作为TPCx-BB接受公众审查[4]。我们的目标之一是通过执行各种可伸缩性测试来评估基准测试，并验证它能够对处理引擎进行压力测试。首先，我们分析了在Spark上执行BigBench [1]的可用MapReduce实现所需的步骤。然后，在MapReduce/Hive上以不同的比例因子执行所有30个BigBench查询，以查看性能如何随着数据大小的增加而变化。接下来，这组HiveQL查询在Spark SQL上执行，并与它们各自的Hive运行时进行比较。本报告详细介绍了如何设置实验性Hadoop集群并在Hive和Spark SQL上执行BigBench。它提供了针对不同比例因子执行的所有实验的绝对时间以及可用于验证正确基准执行的查询结果。此外，在我们的工作中遇到并解决了多个问题和解决方法。代表BigBench查询的一个子集的资源利用率（CPU，内存，磁盘和网络使用）的评估，以说明两个处理引擎上的不同查询组的行为。最后但并非最不重要的一点是，…
2016-01-13 cs.DB cs.DC
Benchmarking Apache Spark and Hadoop MapReduce on Big Data Classification
Istanbul Technical University（伊斯坦布尔理工大学）；ASELSAN A.S.（阿瑟尔桑公司）
大多数流行的大数据分析工具都在不断发展，以适应其工作环境，从大量非结构化数据中提取有价值的信息。数据采掘技术能够从大数据中过滤这些有用的信息，这导致了大数据采掘这个术语。将数据范围从小型、结构化和稳定的数据转变为海量、非结构化和快速变化的数据带来了许多数据管理挑战。不同的工具由于其体系结构的限制，以自己的方式应对这些挑战。在根据手头的任务选择正确的数据管理框架时，需要考虑许多参数。在本文中，我们为两个广泛使用的大数据分析工具，即Apache Spark和Hadoop MapReduce，在一个共同的数据采掘任务上，即，分类.我们采用了几个评估指标来比较基准框架的性能，如执行时间，准确性和可扩展性。这些指标专门用于测量分类任务的性能。据我们所知，在文献中没有以前的研究，采用所有这些指标，同时考虑到特定任务的关注。我们发现Spark在训练模型时比MapReduce快5倍。然而，Spark的性能会随着输入工作负载的增大而降低。通过额外的集群扩展环境可以显著提高Spark的性能。然而，在Hadoop中没有观察到类似的增强。MapReduce的机器学习实用程序往往比Spark具有更好的准确性分数，即使在小规模的数据集中也是如此，大约3%。
2022-09-21 cs.DC cs.LG
A Survey on Geographically Distributed Big-Data Processing using MapReduce
Hadoop和Spark是广泛使用的分布式处理框架，用于在私有云或公共云上以高效和容错的方式进行大规模数据处理。这些大数据处理系统被许多行业广泛使用，例如，谷歌、Facebook和亚马逊，用于解决一大类问题，例如，搜索、聚类、日志分析、不同类型的连接操作、矩阵乘法、模式匹配和社会网络分析。然而，所有这些流行的系统在本地分布式计算方面都有一个主要缺点，这阻止了它们实现地理上分布式的数据处理。越来越多的地理分布的海量数据正在推动行业和学术界重新思考当前的大数据处理系统。这些新框架将超越当前系统所涉及的最先进的架构和技术，预计将在其位置处理地理上分布的数据，而无需将整个原始数据集移动到单个位置。在本文中，我们调查和讨论的挑战和要求，在设计地理分布的数据处理框架和协议。我们分类和研究批处理（基于MapReduce的系统），流处理（基于Spark的系统），SQL风格的处理地理分布的框架，模型和算法，其开销问题。
2017-07-06 cs.DB cs.DC
Optimization and analysis of large scale data sorting algorithm based on Hadoop
在处理海量数据排序时，我们通常使用Hadoop，这是一个框架，允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。基于Hadoop的MapReduce中的shuffle和sort阶段是实现大数据排序的常用方法。然而，如果我们直接使用它，效率可能非常低，负载不平衡可能是一个大问题。本文对一种基于Hadoop的大规模数据排序算法进行了优化和分析的实验研究。为了达到优化，我们使用了两轮以上的MapReduce。在第一轮中，我们使用MapReduce随机抽取样本。然后，我们使用另一个MapReduce根据第一轮的结果对数据进行统一排序。实验表明，在大规模数据排序时，使用优化后的算法比MapReduce的shuffle算法效果更好。
2015-06-01 cs.DC
A Review of CUDA, MapReduce, and Pthreads Parallel Computing Models
高性能计算（HPC）和图形处理单元（GPU）的出现为需要并行处理以进行鲁棒和及时的数据分析的大数据事务（大数据）提供了巨大的计算资源。虽然已经提出了许多HPC框架，但并行编程模型提出了许多挑战，例如，如何充分利用不同编程模型中的功能，通过CPU和GPU中的多线程来实现和管理并行性。在本文中，我们将概述三种并行编程模型，CUDA，MapReduce和Pthreads。目标是探索有关该主题的文献，并提供编程模型中呈现的功能的高级视图，以帮助高性能用户简明地理解并行编程概念，从而使用高性能计算更快地实现大数据项目。
2014-10-16 cs.DC
Detecting Straggler MapReduce Tasks in Big Data Processing Infrastructure by Neural Network
掉队任务检测是应用MapReduce并行化和分布式大规模数据处理的主要挑战之一。它被定义为检测弱节点上正在运行的任务。考虑Map阶段中的两个阶段copy、combine和Reduce shuffle、sort和reduce三个阶段，总执行时间就是这五个阶段执行时间的总和。本文的主要目的是估计每个阶段的正确执行时间，从而得出正确的总执行时间。所提出的方法是基于应用程序的反向传播神经网络神经网络在Hadoop上的落后任务的检测，估计剩余的执行时间的任务，这是非常重要的落后任务检测。所取得的结果已与该领域的流行算法（例如LATE、ESAMR以及WordCount和Sort基准的实际剩余时间）进行了比较，并表明能够检测落后任务并准确估计执行时间。此外，它还支持加速任务执行时间。
2020-04-13 cs.DC cs.SY eess.SY
Technical Report: On the Usability of Hadoop MapReduce, Apache Spark & Apache Flink for Data Science
面向云计算的分布式数据处理平台是大规模数据分析的重要工具。Apache Hadoop MapReduce已经成为这个领域的事实标准，尽管它的编程接口相对较低，即使是简单的分析任务也需要许多实现步骤。这导致了面向Apache的高级平台的开发，最突出的是Apache Spark和Apache Flink。这些平台不仅旨在通过改进内存处理来提高性能，而且特别提供了内置的高级数据处理功能，例如过滤和连接运算符，这应该使数据分析任务比普通的Hadoop MapReduce更容易开发。但事实果真如此吗？本文从可用性的角度比较了三个主要的分布式数据处理平台：Apache Hadoop MapReduce、Apache Spark和Apache Flink。我们报告了一组硕士生的可用性研究的设计，执行和结果，他们正在学习和使用所有三个平台，以解决数据科学背景下的不同用例集。我们的研究结果表明，Spark和Flink是MapReduce的首选平台。在参与者中，Spark和Flink作为面向批量的大数据分析平台之间的感知偏好或开发时间没有显着差异。这项研究开始探索使大数据平台对数据科学用户更有效或更不有效的因素。
2018-03-28 cs.DC
Practical Verification of MapReduce Computation Integrity via Partial Re-execution
大数据处理通常外包给强大但不受信任的云服务提供商，这些云服务提供商为较弱的客户提供敏捷和可扩展的计算资源。然而，不受信任的云服务无法确保数据和计算的完整性，而客户端无法控制外包计算或无法检查执行的正确性。尽管人们对可验证计算的兴趣越来越大，并且最近取得了进展，但由于高验证开销，现有技术仍然不足以用于大数据处理。在本文中，我们提出了一个解决方案，称为V-MR（可验证MapReduce），这是一个框架，通过部分重新执行来验证在不可信云中外包的MapReduce计算的完整性。V-MR实际上是有效和高效的，因为（1）它可以检测MapReduce计算完整性的违反，并识别产生错误计算的恶意工作者。(2)它可以通过使用程序分析用仔细选择的输入数据和程序代码部分地重新执行来减少验证的开销。原型系统的实验结果表明，V-MR能够有效地验证MapReduce计算的完整性，且部分重执行开销较小。
2020-02-21 cs.CR cs.DC
Multiple K Means++ Clustering of Satellite Image Using Hadoop MapReduce and Spark
图像聚类是卫星图像挖掘的重要步骤之一。在我们的实验中，我们在MapReduce作业的同一次迭代中同时运行多个具有不同初始质心和k值的K-means算法。对于初始质心的初始化，我们已经实现了可扩展的K-Means++ MapReduce（MR）作业[1]。我们还为多个聚类输出运行了简化轮廓指数[2]的验证算法，再次在MR作业的相同迭代中。本文探讨了上述聚类算法在MapReduce和Spark作业等大数据平台上运行时的行为。之所以选择Spark，是因为它在快速处理方面很受欢迎，特别是在涉及迭代的情况下。
2016-05-06 cs.DC
On Dynamic Job Ordering and Slot Configurations for Minimizing the Makespan Of Multiple MapReduce Jobs
MapReduce是一种流行的并行计算范式，用于集群和数据中心中的大数据处理。据观察，MapReduce工作负载的不同作业执行顺序和MapReduce插槽配置在完工时间、总完成时间、系统利用率和其他性能指标方面具有显著不同的性能。关于最小化多个MapReduce作业的makespan有很多算法。然而，这些算法是启发式的或次优的。最著名的最小化完工时间的算法是3-近似应用约翰逊规则。在本文中，我们提出了一种称为UAAS算法，以满足经典的约翰逊模型的条件。那么我们仍然可以使用约翰逊模型来获得最优解。我们解释了如何适应约翰逊模型，并提供了我们所提出的方法的一些关键功能。
2016-04-15 cs.DC cs.DS
Support vector regression model for BigData systems
如今，大数据变得越来越重要。我们经济的许多部门现在都受到数据驱动的决策过程的指导。MapReduce编程模型促进了大数据和商业智能应用，而在基础设施层，云计算为按需分配大型集群提供了灵活且具有成本效益的解决方案。在这样的系统中，容量分配是最佳地调整最小资源以实现一定性能水平的能力，是提高MapReduce作业性能和最小化云资源成本的关键挑战。为此，最大的挑战之一是建立一个准确的性能模型来估计MapReduce系统的作业执行时间。以前的工作应用模拟为基础的模型建模这样的系统。虽然这种方法可以准确地描述大数据集群的行为，但它在计算上过于昂贵，并且不能扩展到大型系统。我们试图通过应用机器学习技术来克服这些问题。更确切地说，我们关注支持向量回归（SVR），它本质上比其他技术更鲁棒，例如，神经网络，并且对训练集中的离群值不太敏感。为了更好地研究这些好处，我们将SVR与线性回归进行了比较。
2016-12-05 cs.DC cs.LG cs.PF
Parallel Hierarchical Affinity Propagation with MapReduce
互联网和社交媒体的加速发展和爆炸正在产生大量的数据（在zettabyte规模上）。从海量大数据中操纵和提取可操作情报的愿望中，最重要的是需要可扩展的、性能敏感的分析算法。为了直接满足这一需求，我们提出了一种新的MapReduce实现的基于样本的聚类算法称为亲和传播。我们的并行化策略扩展到多层次的层次亲和传播算法，使分层聚合的非结构化数据与最小的自由参数，原则上只需要一个数据点之间的相似性度量。我们详细介绍了我们的方法的线性运行时的复杂性，克服了原来的算法的限制二次复杂性。在各种合成和真实数据集（例如图像和点数据）上对我们的聚类方法进行了实验验证，证明了我们对其他最先进的MapReduce聚类技术的竞争力。
2014-03-28 cs.DC
Iterative MapReduce for Large Scale Machine Learning
University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of California, Irvine（加州大学欧文分校）；Yahoo! Research（雅虎研究院）
大型数据集（“大数据”）正变得无处不在，因为跨广泛的商业和科学应用从数据中获得见解的潜在价值越来越被认识到。特别是，大数据上的机器学习--数据分析、总结和推理的基础学科之一--已经成为大多数运营大型云的组织的常规，这些云通常基于支持MapReduce编程范式的Hadoop等系统。现在人们普遍认识到，虽然MapReduce是高度可扩展的，但它有一个机器学习的关键弱点：它不支持迭代。因此，人们不得不围绕这个限制进行编程，导致脆弱，低效的代码。此外，在多租户的云环境中，对程序员的依赖是固有的缺陷，因为程序员在他或她的程序执行时无法看到系统的状态。先前的工作试图通过开发针对程式化应用程序的专门系统来解决这个问题，或者通过在MapReduce中增加对跨迭代保存状态的特殊支持（由外部循环驱动）。在本文中，我们提倡支持循环作为一个一流的结构，并提出了一个扩展的MapReduce编程范式称为{ \em迭代MapReduce}。然后，我们开发了一类迭代MapReduce程序，涵盖了大多数机器学习技术的优化器，为关键的优化步骤提供理论依据，并实证证明，系统优化的程序显着的机器学习任务与国家的最先进的专业解决方案的竞争力。
2013-03-13 cs.DB cs.DC cs.LG
MapReduce is Good Enough? If All You Have is a Hammer, Throw Away Everything That's Not a Nail!
Hadoop目前是大规模数据分析的首选“锤子”，但也有一些算法不是“钉子”，因为它们并不特别适合MapReduce编程模型。为了解决这个问题，研究人员提出了MapReduce扩展或替代编程模型，其中可以优雅地表达这些算法。这篇文章支持一个非常不同的立场：MapReduce是“足够好”的，而不是试图发明螺丝刀，我们应该简单地摆脱一切不是钉子。更具体地说，文献中的许多讨论都围绕着迭代算法不适合MapReduce的事实：简单的解决方案是找到解决相同问题的替代非迭代算法。这篇文章记录了我作为一名学术研究人员和一名软件工程师在“现实世界”生产分析环境中的个人经历。从这个综合的角度，我反思了“大数据”研究的现状和未来。
2012-09-11 cs.DB cs.DC
Benchmarking and Performance Modelling of MapReduce Communication Pattern
University of St Andrews（圣安德鲁斯大学）
了解和预测在云中或本地运行的大数据应用程序的性能，可以帮助最大限度地降低整体运营成本，并为识别性能瓶颈提供机会。大数据框架底层内部结构的复杂性以及应用程序和工作负载配置参数的普遍存在，使得提出全面的性能建模解决方案具有挑战性且成本高昂。在本文中，而不是专注于广泛的可配置参数，我们研究了低层次的MapReduce通信模式的内部，并使用最小的性能驱动程序集开发一组阶段级参数模型，用于近似给定应用程序在给定集群上的执行时间。模型可以用来推断看不见的应用程序的性能，并在使用任意数据集作为输入时近似它们的性能。我们的方法是通过运行在两个设置的实证实验进行验证。两种设置的平均出错率与测量值相差± 10%。
2020-05-23 cs.DC cs.LG cs.PF
SDPMN: Privacy Preserving MapReduce Network Using SDN
MapReduce是一种流行的编程模型，也是分布式环境下大数据并行处理的相关实现。由于大型MapReduce数据中心通常为多个用户提供服务，因此保护同一网络中不同应用之间的隐私是一个重要问题。在本文中，我们提出了SDPMN，一个框架，使用\textit{software defined network}（SDN）来区分网络之间的每个应用程序，这是一个可管理和可扩展的方法。我们基于现有的SDN结构和Hadoop网络设计了这个框架。由于每个SDN设备的规则空间是有限的，我们还提出了该框架的规则放置优化，以最大限度地提高硬件支持的孤立的应用网络。我们在一个一般的MapReduce网络中提出这个问题，并设计了一个启发式算法来找到解决方案。从基于仿真的评估，与我们的算法，给定的网络可以支持更多的隐私保护应用网络与SDN交换机。
2018-03-12 cs.DC cs.NI
A Game-Theoretic Approach for Runtime Capacity Allocation in MapReduce
如今，许多公司都拥有大量的原始非结构化数据。在大数据支持技术中，MapReduce框架占据了中心地位，特别是其开源实现Apache Hadoop。出于成本效益的考虑，一种常见的方法需要在多个用户之间共享服务器集群。底层基础设施应该为每个用户提供公平的计算资源，确保满足服务水平协议（SLA）并避免浪费。在本文中，我们考虑两个数学规划问题，模型的Hadoop 2.x集群中的计算资源的最优分配，目的是开发新的容量分配技术，保证更好的性能在共享数据中心。我们的目标是在遵守SLA中规定的最后期限并避免与作业拒绝相关的处罚的同时大幅降低功耗。这种方法的核心是一个分布式算法的运行时容量分配，基于博弈论模型和技术，模仿MapReduce的动态交互的球员，即中央资源管理器和类管理器。
2017-01-17 cs.DC
Optimizing the MapReduce Framework on Intel Xeon Phi Coprocessor
MapReduce以其易于编程、灵活性和高效性成为构建大数据应用程序的最流行框架之一。MapReduce最初是为分布式计算而设计的，并且已经扩展到各种架构，例如多核CPU，GPU和FPGA。在这项工作中，我们专注于优化Xeon Phi上的MapReduce框架，Xeon Phi是英特尔基于多集成核心架构发布的最新产品。据我们所知，这是在Xeon Phi上优化MapReduce框架的第一项工作。在我们的工作中，我们利用Xeon Phi的高级功能来实现高性能。为了利用SIMD向量处理单元，我们提出了一个矢量化友好的技术，地图阶段，以协助自动矢量化，以及开发SIMD哈希计算算法。此外，我们利用MIMD超线程流水线的地图和减少，以提高资源利用率。我们还消除了多个本地数组，但使用低成本的原子操作的全局数组的一些应用程序，这可以提高线程的可扩展性和数据的局部性，由于一致的L2缓存。最后，对于一个给定的应用程序，我们的框架可以自动检测合适的技术应用或在编译时为用户提供指导。我们进行了全面的实验来对Xeon Phi进行基准测试，并将我们优化的MapReduce框架与最先进的基于多核的MapReduce框架（Phoenix++）进行比较。通过评估六个实际应用程序，实验结果表明，我们优化的框架是1.2倍到38倍的速度比凤凰++的各种应用程序上的至强融核。
2013-09-01 cs.DC
A MapReduce based distributed SVM algorithm for binary classification
National Research Institute of Electronics and Cryptology, TUBITAK（土耳其科学技术研究委员会电子学与密码学国家研究所）；Istanbul University（伊斯坦布尔大学）
虽然支持向量机（Support Vector Machine，SVM）算法在训练阶段后对未知样本的分类具有很高的泛化能力，并且损失值较小，但该算法并不适用于实际的分类和回归问题。SVM无法解决训练数据集中的数十万个示例。在以前的分布式机器学习算法的研究中，SVM是在一个昂贵的和预先配置的计算机环境中训练的。在这项研究中，我们提出了一个基于MapReduce的分布式并行SVM训练算法的二进制分类问题。该工作展示了如何使用MapReduce技术在云计算系统上分配优化问题。在这项工作的第二步中，我们使用统计学习理论从MapReduce的reduce函数创建的假设空间中找到最小化我们的经验风险的预测假设。本文的研究结果对于基于SVM算法的分类问题的大数据集训练具有重要意义。提出了利用MapReduce技术对分裂数据集进行迭代训练，在有限的迭代规模下，分类器函数的精度将收敛到全局最优分类器函数的精度。该算法的性能进行了测试的样本从字母识别和笔为基础的识别手写数字数据集。
2013-12-15 cs.DC cs.LG
A Data Colocation Grid Framework for Big Data Medical Image Processing - Backend Design
在处理大型医学影像研究时，快速采用高性能网格计算资源变得非常重要。我们最近提出了一个“医学图像处理即服务”网格框架，该框架通过将计算移动到医学图像存储附近，提供了利用Apache Hadoop生态系统和HBase进行数据托管的前景。然而，该框架尚未被证明是易于使用的异构硬件环境。此外，该系统还没有验证时，考虑到各种多层次的分析在医学成像。我们的目标标准是（1）提高框架在异构集群中的性能，（2）在大型数据集上执行基于人口的汇总统计，以及（3）引入快速NoSQL查询的表设计方案。本文介绍了用于医学图像处理的Hadoop和HBase的后端接口应用程序接口设计。该API包括：上传，卸载，删除，负载均衡器和MapReduce模板。讨论了数据集摘要统计模型，并采用MapReduce范式实现了该模型.为了更好地利用MapReduce模型，我们引入了一个用于快速数据查询的HBase表方案。简而言之，从大学安全数据库中检索5153个T1图像，并用于凭经验访问具有224个异构CPU核的内部网格。三个实证实验结果的介绍和讨论：（1）负载均衡器的壁时钟时间比内置数据分配策略的框架提高了1.5倍;（2）在网格框架上对一个汇总统计模型进行了实证验证，并与部署标准Sun Grid Engine的集群进行了比较，壁时钟时间减少了8倍，资源时间减少了14倍，（3）当数据集相对较小时，HBase表方案提高了MapRe…
2017-12-22 cs.DC
FASTA/Q Data Compressors for MapReduce-Hadoop Genomics:Space and Time Savings Made Easy -- Version 1
动机：基因组数据的存储是生命科学的主要成本，主要通过专门的数据压缩方法有效地解决。出于数据生产丰富的同样原因，大数据技术的使用被视为基因组数据存储和处理的未来，MapReduce-Hadoop是领导者。令人惊讶的是，Hadoop中没有一个专用的FASTA/Q压缩器。事实上，他们在那里的部署并不是立即的。这样的艺术状态是有问题的。结果：我们提供了两个不同方向的主要进展。方法上，我们提出了两种通用的方法，与相应的软件，这使得很容易部署一个专门的FASTA/Q压缩器内MapReduce-Hadoop处理存储在分布式Hadoop文件系统的文件，Hadoop的知识很少。实际上，我们提供的证据表明，在Hadoop中部署这些专用压缩器（到目前为止还没有）可以节省大量成本，即，在大型植物基因组上，HDFS数据块减少30%（一个数据块= 128 MB），I/O时间至少加快1.5倍，网络通信时间与使用Hadoop中可用的通用压缩器相当或减少。最后，我们观察到这些结果也适用于Apache Spark框架，当用于处理存储在Hadoop文件系统上的FASTA/Q文件时。
2020-07-27 cs.DC
Towards co-designed optimizations in parallel frameworks: A MapReduce case study
大数据爆炸之后，大量复杂的并行软件堆栈激增，其目的是应对数据泛滥的挑战。这种多层分层部署的缺点是无法在堆栈中的层之间维护和委托重要的语义信息。软件抽象增加了应用程序与其生成的代码之间的语义距离。然而，并行软件框架包含通用编译器不被设计为利用的固有语义信息。本文介绍了一个案例研究，演示了如何在多核架构上利用MapReduce范式的特定语义信息。MR4J已在Java中实现，并针对手动优化的C和C++等效项进行了评估。最初观察到的结果导致了语义感知优化器的设计，该优化器自动运行而无需修改应用程序代码。优化器能够将MR4J的执行时间加快2.0倍。引入的优化不仅提高了生成代码在映射阶段的性能，还减少了垃圾收集器的压力。这演示了在使用并行软件框架时，如何在不牺牲良好的软件工程实践的情况下利用语义信息。
2016-03-31 cs.DC
Actors vs Shared Memory: two models at work on Big Data application frameworks
这项工作的目的是分析两种不同的并发模型，即共享内存模型和演员模型，可以影响管理大量数据的应用程序的开发，大数据应用程序的独特之处。本文通过对MapReduce和Bulk Synchronous Parallel两种算法方案的具体工程分析，对两种模型进行了比较。这两个项目都在两个具体的平台上双重实现：Akka Cluster和Managed X10。其结果既是大数据分析场景中模型的概念比较，也是基于集群平台上的具体执行的实验分析。
2015-05-12 cs.DC
Observations on Factors Affecting Performance of MapReduce based Apriori on Hadoop Cluster
设计快速、可扩展的频繁项集挖掘算法一直是数据采掘中最突出和最有前途的问题。Apriori算法是频繁项集挖掘中应用最广泛、最流行的算法之一。在MapReduce框架上设计高效的算法来处理和分析大数据集是当前的研究热点。在本文中，我们专注于性能MapReduce的Apriori同构以及异构Hadoop集群。我们已经调查了一些因素，显着影响MapReduce的Apriori上运行在同构和异构Hadoop集群的执行时间。这些因素是算法和非算法改进所特有的。算法改进所考虑的特定因素是过滤的事务和数据结构。实验结果表明，一个合适的数据结构和过滤事务技术如何大大减少执行时间。非算法因素包括推测性执行、性能差的节点、数据局部性和数据块分布以及输入分割大小的并行性控制。我们已经针对这些因素采取了策略，并在我们的特定应用中微调了相关参数。实验结果表明，如果集群特定的参数得到照顾，那么有一个显着减少执行时间。此外，我们还讨论了Apriori的MapReduce实现可能会显着影响性能的问题。
2017-01-21 cs.DB cs.DC cs.DS
CAMR: Coded Aggregated MapReduce
Iowa State University（爱荷华州立大学）
在MapReduce类系统上执行的许多大数据算法都有一个洗牌阶段，这个阶段通常主导着整个作业的执行时间。最近的工作已经证明了方案中的洗牌阶段的通信负载可以权衡的地图阶段的计算负载。在这项工作中，我们专注于一类分布式算法，广泛用于深度学习，其中可以组合相同任务的中间计算。即使现有技术显著地减少了通信负载，它们也需要在系统参数中呈指数增长的作业数量。这种限制是至关重要的，并且可能会随着算法的扩展而减少负载增益。我们提出了一个新的方案，实现了相同的负载，同时确保了工作的数量以及数据集需要分割成的子文件的数量保持较小。
2021-10-30 cs.DC cs.IT cs.LG
A Novel Approach to Translate Structural Aggregation Queries to MapReduce Code
提出将SciDB中AQL表达的数组结构化聚合查询翻译为MapReduce作业的系统，生成代码性能比手写高10.84倍。
2025-02-01 cs.DB cs.DC
Scalable Fault-Tolerant MapReduce
本文针对 MapReduce 框架提出一种基于网络通信状态备份的低开销容错技术，在无故障执行时无额外工作且预期相对通信开销仅为 1/(p-1)，恢复时间约为处理 1/p 数据的时间，原型实现显示无故障执行开销低于 4%。
2024-11-25 cs.DC cs.DS
Visualization and Travel Time Extraction System for the Statistics of TDCS Travel using MapReduce Framework
近年来，从大数据中提取一些信息作为知识是非常具有挑战性的活动。数据量非常大，需要一些特殊的技术和足够的处理硬件。并将其应用于交通数据汇集系统（TDCS）的台湾国道车辆运输数据中。如果社区可以使用，这种提取的结果将非常有用。因此，从大数据中提取的易于理解的信息的交付成为必要的事情。使用图像/视觉效果呈现结果将使人们更容易解释所提供的信息。在这个项目中，试图提供一个交互式的可视化结果提取统计信息。研究结果可供使用者参考，以协助道路使用者决定行经台中市周边路段的适当时间。这个统计数据的可视化将帮助想要预测台中市周围旅行时间的人们。
2019-09-23 cs.DC cs.HC
A Survey of Big Data Machine Learning Applications Optimization in Cloud Data Centers and Networks
这篇调查文章回顾了与在云数据中心和网络中部署和优化大数据应用程序以及机器学习算法相关的挑战。MapReduce编程模型及其广泛使用的开源平台Hadoop正在开发大量基于云的服务和大数据应用程序。因此，MapReduce和Hadoop引入了创新、高效和加速的密集型计算和分析。这些服务通常利用地理分布的数据中心内的商品集群，并提供具有成本效益和弹性的解决方案。然而，迁移、存储和处理大数据的数据中心之间和内部的流量不断增加，这正在成为一个瓶颈，需要能够减少拥塞和功耗的增强型基础设施。此外，具有请求各种大数据服务的多个租户的企业面临的挑战是，需要以降低的运行成本和功耗来优化其资源的租赁，同时避免利用不足或过度利用。在本调查中，我们总结了各种大数据编程模型和应用程序的特点，并对云计算基础设施以及虚拟化和软件定义网络等相关技术进行了审查，这些技术越来越多地支持大数据系统。此外，我们还简要回顾了数据中心的拓扑结构、路由协议和流量特征，并强调了大数据对云数据中心及其支持网络的影响。在各种应用程序性能指标和/或基础设施能效方面，我们致力于优化处理大数据的系统。最后，提出了一些启示和未来的研究方向。
2019-10-01 cs.DC cs.LG cs.NI
Generalized formal model of big data
本文详细介绍了大数据技术的基本特征。分析了现有的“大数据”术语的定义。本文提出并描述了大数据广义形式模型的元素。分析了所提出的模型组件的应用特点。它描述了大数据技术和业务分析之间的根本区别。大数据由分布式文件系统Google文件系统技术、Cassandra、HBase、Lustre和MapReduce以及Hadoop编程结构和许多其他解决方案提供支持。根据麦肯锡研究所等专家的说法，在大数据的影响下，制造业，医疗保健，贸易，个人运动的管理和控制都发生了变化。
2019-05-04 cs.DB cs.DC
Approximating Edit Distance in Truly Subquadratic Time: Quantum and MapReduce
两个字符串之间的编辑距离定义为将一个字符串转换为另一个字符串所需的最小插入、删除和替换次数。在次二次时间内近似编辑距离是“组合模式匹配领域最大的未解决问题之一“。我们的主要结果是一个量子常数近似算法计算的编辑距离在真正的次二次时间。更准确地说，我们给出了一个$O(n^{1.858})$量子算法，近似的编辑距离内的一个因素$7$。我们进一步扩展这一结果的$O(n^{1.781})$量子算法，在一个较大的常数因子内近似的编辑距离。我们的解决方案是基于一个框架，在并行设置近似编辑距离。这个框架需要一个黑盒算法，它可以同时计算几个较小字符串的距离。对于一个量子算法，我们减少了黑盒\textit{metric estimation}，并提供有效的算法来近似它。我们进一步表明，这个框架使我们能够近似编辑距离在分布式设置。为此，我们提供了一个MapReduce算法近似编辑距离内的一个因素$3$，次线性许多机器和次线性内存。此外，我们的算法运行在对数轮数。
2018-04-25 cs.DC cs.DS quant-ph
Vectorization of Large Amounts of Raster Satellite Images in a Distributed Architecture Using HIPI
矢量化过程集中于将光栅图像的像素分组为原始线段，并形成直线、折线或多边形。针对海量栅格图像矢量化中资源和性能问题，采用基于MapReduce方法的分布式HIPI图像处理接口。Apache Hadoop是框架的核心。为了实现这样一个系统，我们首先定义映射函数，然后定义它的输入和输出格式。在本文中，映射器将光栅镶嵌图转换为矢量对应物。向量化不需要Reduc函数。光栅图像的矢量表示有望通过减少带宽问题的负面影响在分布式计算中提供更好的性能，并进行了水平可扩展性分析。
2018-09-01 cs.DC
Beyond Batch Processing: Towards Real-Time and Streaming Big Data
今天，大数据是从许多来源产生的，并且存在对大数据的存储、管理、处理和查询的巨大需求。MapReduce模型及其对应的开源实现Hadoop已经证明了自己是大数据处理的事实上的解决方案。Hadoop本质上是为批量和高吞吐量处理作业而设计的。虽然Hadoop非常适合批处理作业，但对大数据的非批处理流程的需求越来越大，例如：交互式作业，实时的【形】查询和大数据流。由于Hadoop不适合这些非批处理工作负载，因此针对这些新挑战提出了新的解决方案。在本文中，我们将讨论两类解决方案：实时的【形】处理和大数据流处理。对于每个类别，我们讨论了Hadoop的范式、优势和差异。我们还为每个类别介绍了一些实用的系统和框架。最后，通过一些简单的实验，对比现有的基于Hadoop的解决方案，验证了一些解决方案的有效性。
2014-08-01 cs.DC
Providing A Compiler Technology-Based Alternative For Big Data Application Infrastructures
数据量的空前增长导致传统的计算方法被重新评估。这开始了向使用大规模商品硬件集群的过渡，并导致开发了许多新的数据处理和分析语言和范例。在本文中，我们提出了一种基于编译器技术的替代方案，用于开发许多不同的大数据应用程序基础设施。这种方法的关键是开发一个单一的中间表示，使编译器优化和查询优化的集成，并重用许多传统的编译器技术的并行化，如数据分布和循环调度。我们展示了单个中间体如何通过将SQL和MapReduce映射到这个中间体上来充当大数据语言的通用中间体。
2022-03-02 cs.DC
BigDataSDNSim: A Simulator for Analyzing Big Data Applications in Software-Defined Cloud Data Centers
云数据中心中的大数据和软件定义网络（SDN）的新兴范例已经获得了工业界和学术界的极大关注。需要大数据与SDN的融合和协调，以提高大数据应用的应用和网络性能。虽然大数据和SDN的经验评估和分析可以是观察所提出的解决方案的一种方式，但由于多种原因，例如昂贵的任务，耗时和复杂性，它通常是不切实际或难以应用的;此外，它超出了大多数人的能力范围。因此，仿真工具是以可控、可重复和可配置的方式执行具有成本效益、可扩展的实验的优选选项。为了填补这一空白，我们提出了一个名为BigDataSDNSim的新的独立仿真工具，它可以对大数据管理系统（YARN）、大数据编程模型（MapReduce）和支持SDN的网络进行建模和仿真。云计算环境。为了展示BigDataSDNSim的功效、有效性和功能，我们提供了一个用例，在性能和能耗方面比较了支持SDN的网络与传统网络。
2019-10-10 cs.DC
Performance Analysis of Apriori Algorithm with Different Data Structures on Hadoop Cluster
从海量数据集中挖掘频繁项集一直是数据采掘的一个重要问题。Apriori算法是最流行、最简单的频繁项集挖掘算法。为了提高Apriori的效率和可扩展性，已经提出了许多算法来解决高效数据结构的设计，最小化数据库扫描以及并行和分布式处理。MapReduce是Hadoop集群上处理大数据集的并行分布式技术。为了挖掘大数据集，有必要在这种新的范式上重新设计数据采掘算法。在本文中，我们实现了三种变体的Apriori算法使用数据结构哈希树，trie和哈希表trie，即trie与MapReduce范式上的哈希技术。本文着重研究了这三种数据结构对Hadoop集群上Apriori算法的重要意义，这一点还没有引起足够的重视。在真实数据集和人工合成数据集上进行的实验表明，哈希表trie数据结构在执行时间上远远优于trie和hash树。此外，哈希树的性能变得最差。
2015-11-22 cs.DC
Integrating R and Hadoop for Big Data Analysis
使用传统方法（如关系数据库管理系统或用于统计和可视化的桌面软件包）分析和处理大数据可能非常困难。相反，大数据需要具有数百甚至数千个计算节点的大型集群。官方统计越来越多地考虑使用大数据来获得新的统计数据，因为大数据源可以产生比传统来源更相关和更及时的统计数据。Hadoop是一种成功且广泛用于在商品硬件集群上存储和处理大数据集的软件工具。Hadoop框架包含库，分布式文件系统（HDFS），资源管理平台，并实现了用于大规模数据处理的MapReduce编程模型版本。在本文中，我们研究了Hadoop与R集成的可能性，R是一种用于统计计算和数据可视化的流行软件。我们提出了三种集成它们的方法：R与Streaming，Rhipe和RHadoop，并强调了每种解决方案的优点和缺点。
2014-07-18 cs.DC
Triclustering in Big Data Setting
National Research University Higher School of Economics（俄罗斯高等经济研究大学）
在本文中，我们描述的版本的三聚算法适用于高效的计算在分布式环境中与MapReduce模型或并行化机制提供现代程序设计语言。由于独立处理三元形式上下文的三元组，三聚算法的OAC家族显示出良好的并行化能力。我们提供的时间和空间复杂度的算法，并证明其相关性。我们还比较了使用分布式系统和可扩展性的性能增益。
2020-10-24 cs.DC cs.LG
Distributed Averaging CNN-ELM for Big Data
Universitas Indonesia（印度尼西亚大学）
提高机器学习的可扩展性以处理大量数据是一项具有挑战性的任务。按比例放大的方法有一些局限性。本文提出了一种基于MapReduce的分类器级扩展CNN-ELM方法。映射过程是对一定分区数据的CNN-ELM训练。它涉及许多可以异步训练的CNN-ELM模型。Reduce过程是所有CNN-ELM权重的平均值作为最终训练结果。这种方法可以比单独训练单个CNN-ELM模型节省大量的训练时间。这种方法还通过组合横向扩展和纵向扩展方法来增加机器学习的可扩展性。我们在扩展的MNIST数据集和非MNIST数据集上验证了我们的方法。但是，它也有一些缺点，需要仔细采取额外的迭代学习参数和训练数据分布，需要仔细选择。需要进一步研究使用更复杂的图像数据集。
2016-10-07 cs.CV cs.DC cs.LG
Constructing Gazetteers from Volunteered Big Geo-Data Based on Hadoop
传统地名录由权威制图机构建立和维护。在大数据时代，通过从Web上挖掘丰富的自愿地理信息（VGI），可以以数据驱动的方式构建地名录。在这项研究中，我们建立了一个可扩展的分布式平台和一个高性能的Hadoop生态系统的基础上，收获众包地名索引条目的工作流程。使用基于Flickr中的地理标记数据集的实验，我们发现，基于MapReduce的工作流上运行的空间启用Hadoop集群可以减少处理时间相比，传统的基于桌面的操作的数量级。我们演示了如何使用这样一个新的空间计算基础设施，以促进地名索引的研究。此外，我们引入了一个基于出处的信任模型的质量保证。这项工作提供了新的见解，丰富未来的地名录与Hadoop集群的使用，并作出贡献，在连接地理信息系统的云计算环境的下一个前沿的大地理数据分析。
2014-02-07 cs.DC
IOTSim: a Cloud based Simulator for Analysing IoT Applications
一项颠覆性的技术不仅影响着计算模式，也影响着所有其他业务，这就是大数据的兴起。物联网（IoT）应用被认为是大数据的主要来源。这种物联网应用通常通过云来支持，其中数据由大数据处理系统存储和处理。为了提高云基础设施的效率，使其能够有效地支持物联网大数据应用，重要的是要了解这些应用程序和相应的大数据处理系统将如何在云计算环境中执行。然而，考虑到大数据处理系统的可扩展性和复杂要求，对实际云基础设施的经验评估可能会阻碍及时且具有成本效益的物联网解决方案的开发。因此，在云环境中支持物联网应用的模拟器是非常必要的，但此类工作仍处于起步阶段。为了填补这一空白，我们设计并实现了IOTSim，它支持并实现了在云计算环境下使用MapReduce模型模拟物联网大数据处理。一个真实的案例研究验证了模拟器的有效性。
2016-02-21 cs.DC
Big Data: Understanding Big Data
史蒂夫·乔布斯，我们这个时代最伟大的梦想家之一，在1996年被引用说：“很多时候，人们不知道他们想要什么，直到你向他们展示它”[38]，这表明他提倡产品开发基于人类的直觉，而不是研究。随着移动设备、社交网络和物联网的发展，大量复杂的结构化和非结构化数据正在被捕获，希望使组织能够做出更好的业务决策，因为数据现在对组织的成功至关重要。这些大量的数据被称为大数据，当适当地处理和分析时，它可以使竞争对手获得竞争优势。然而，大数据分析有一些问题，包括数据生命周期管理，隐私和安全以及数据表示。本文回顾了大数据的基本概念，数据存储域，用于处理这些大型数据集的MapReduce编程范式，并重点介绍了两个案例研究，展示了大数据分析的有效性，并介绍了如果处理得当，它如何在未来发挥更大的作用。
2016-01-15 cs.DB cs.DC
Distributed Spatial Data Clustering as a New Approach for Big Data Analysis
本文提出了一种新的大数据采掘和分析方法。这种新方法适用于分布式数据集，并处理数据聚类分析任务。该方法由两个主要阶段组成，第一阶段对本地数据执行聚类算法，假设数据集已经分布在系统处理节点之间。第二阶段处理局部聚类聚合以生成全局聚类。这种方法不仅可以在每个处理节点上并行生成局部聚类，而且可以在不需要事先知道聚类数目的情况下生成全局聚类，而这是许多划分聚类算法所需要的。在这项研究中，这种方法被应用于空间数据集。所提出的聚合阶段是非常有效的，并且不涉及处理节点之间的大量数据的交换。实验结果表明，该方法具有超线性的加速性能，可扩展性好，且不受通信类型的影响，可以充分利用MapReduce等最新的编程模型。
2018-03-01 cs.DC
A unified framework to improve the interoperability between HPC and Big Data languages and programming models
本文提出统一计算框架IgnisHPC，以MPI为骨干，在同一框架中融合HPC与大数据任务，支持JVM及非JVM多语言应用，实验表明其在性能和生产力上优于Apache Spark。
2021-12-01 cs.DC
Plug and Play Bench: Simplifying Big Data Benchmarking Using Containers
最近大数据的蓬勃发展，加上其处理和存储的挑战，引发了分布式数据处理和存储范式的发展，如MapReduce，Spark和NoSQL数据库。随着云计算的出现，在机器集群上处理和存储如此庞大的数据集现在是容易可行的。但是，用户可以依靠有限的工具和方法来衡量和理解本地部署在集群或云中的大数据应用程序的性能。研究人员已经开始通过提供适合大数据应用程序的基准测试套件来探索这一领域。然而，这些工具中的许多是分散的，部署和管理复杂的，并且不提供关于对应用程序进行基准测试的货币成本的透明度。在本文中，我们提出了Plug And Play Bench，这是一种基础设施感知抽象，旨在集成和简化机器集群上大数据基准测试工具的部署。PAPB通过基于底层集群部署框架将工具和设置容器化，自动化安装、配置和执行常见大数据基准工作负载的繁琐过程。我们的概念验证实施利用HiBench作为基准套件，HDP作为集群部署框架，Azure作为云平台。本文进一步说明了基于底层Microsoft Azure云平台的成本指标。
2017-11-29 cs.DC
Differential Approximation and Sprinting for Multi-Priority Big Data Engines
今天基于MapReduce范式的大数据集群能够执行具有多个优先级的分析作业，提供差异延迟保证。来自生产系统的跟踪表明，高优先级作业的延迟优势是以低优先级作业的严重延迟退化以及低优先级作业的重复驱逐和重新执行造成的巨大资源浪费为代价的。我们提倡一种新的资源管理设计，利用差分近似和冲刺的想法。近似和冲刺的独特组合避免了低优先级作业的驱逐以及随之而来的延迟退化和资源浪费。为此，我们设计、实现并评估了DiAS，这是Spark处理引擎的一个扩展，通过丢弃任务来支持放气作业，并支持冲刺作业。我们的实验与两个和三个优先级的场景表明，DiAS实现了高达90%和60%的延迟降低低优先级和高优先级的工作，分别。DiAS不仅消除了资源浪费，而且（令人惊讶地）降低了高达30%的能耗，对于低优先级的作业，精度损失很小。
2019-09-16 cs.DC
Evaluation of Frequent Itemset Mining Platforms using Apriori and FP-Growth Algorithm
随着大量复杂和异构的数据从任何地方、任何时间和任何设备涌入，毫无疑问，大数据时代已经到来。大数据作为下一代智能系统的颠覆性技术的出现，带来了如何在短时间内，有限的预算和高数据生成率下提取和利用从数据中获得的知识的许多问题。企业正在认识到，大数据可以用来做出更准确的预测，并可以在适当的关联规则挖掘算法的帮助下用来增强业务。为了帮助这些组织，根据他们的数据集，哪个软件和算法更适合他们，我们比较了最著名的三个基于MapReduce的软件Hadoop，Spark，Flink在不同规模的数据集上使用的两个广泛使用的算法Apriori和Fp-Growth。
2019-02-28 cs.DB cs.DC
HRDBMS: Combining the Best of Modern and Traditional Relational Databases
HRDBMS是一种新型的分布式关系数据库，它使用一种混合模型，结合了传统分布式关系数据库和大数据分析平台（如Hive）的优点。这使得HRDBMS能够利用多年来关于查询优化的研究成果，同时还可以利用大数据平台的可扩展性。该系统使用了一个为关系处理量身定制的执行框架，从而解决了在MapReduce和Spark等平台上运行SQL的一些性能挑战。这些问题包括中间结果的过度具体化、缺乏基于全局成本的优化、不必要的排序、缺乏索引支持、没有统计数据、不支持DML和ACID，以及这些平台强制执行的严格通信模式导致的过度通信。
2019-01-24 cs.DB cs.DC
A Data Structure Perspective to the RDD-based Apriori Algorithm on Spark
近年来，许多研究者提出了许多高效、可扩展的大数据频繁项集挖掘算法。首先，提出了Hadoop集群上基于MapReduce的频繁项集挖掘算法。虽然Hadoop已经被开发成一个处理大数据的集群计算系统，但是由于其高I/O以及在磁盘上写入和读取中间结果，Hadoop的性能并不能满足数据采掘迭代算法的期望。因此，Spark被开发为另一种集群计算基础设施，由于其内存计算，它比Hadoop快得多。它非常适合迭代算法，并支持数据的批处理，交互式，迭代和流处理。许多频繁项集挖掘算法在Spark上被重新设计，其中大部分都是基于Apriori的。所有这些基于Spark的Apriori算法都使用Hash Tree作为底层数据结构。本文研究了基于Spark的Apriori的各种数据结构的效率。虽然，以前已经从数据结构的角度进行了研究，但是对于基于MapReduce的Apriori，必须在Spark的分布式计算环境下进行重新研究。所考虑的底层数据结构是哈希树、Trie和哈希表Trie。在基准数据集上的实验结果表明，在Spark的分布式计算环境下，基于Spark的Apriori with Trie和哈希表Trie的性能几乎相当，但都比Hash Tree高出许多倍。
2019-08-04 cs.DB cs.DC
Smart Data driven Decision Trees Ensemble Methodology for Imbalanced Big Data
University of Granada（格拉纳达大学）；Mälardalen University（梅拉达伦大学）
每个类的数据大小差异，也称为不平衡的数据分布，已成为影响数据质量的常见问题。大数据场景对传统的不平衡分类算法提出了新的挑战，因为它们不准备处理如此大量的数据。由于MapReduce范式的使用而导致的分裂数据策略和少数类中数据的缺乏为解决大数据场景中类之间的不平衡提出了新的挑战。集成已被证明能够成功地解决不平衡的数据问题。智能数据是指足够高质量的数据，以实现高性能模型。通过大数据预处理实现的集成和智能数据的结合应该是一个很好的协同作用。本文提出了一种新的智能数据驱动的决策树包围方法，即SD_DeTE方法，用于解决大数据领域的不平衡分类问题。这种方法是基于学习不同的决策树使用分布式质量数据的集成过程。这种高质量的数据是通过融合随机离散化，主成分分析和基于聚类的随机过采样来获得原始数据的不同智能数据版本。在21个二进制适应数据集上进行的实验表明，我们的方法优于随机森林。
2021-09-03 cs.DC cs.LG stat.ML
Modeling Traffic Congestion with Spatiotemporal Big Data for An Intelligent Freeway Monitoring System
交通拥挤是一个复杂的、非线性的时空建模问题。智能交通系统通过收集和分析大量不同类别的信息，可以预测和控制交通流量和道路拥挤。这份报告提供了一个从北到南穿越台湾的旅行时间分析，反之亦然。本文以国道台南至高雄段为例，分析南台湾地区民众的交通状况。数据是使用台湾交通部提供的电子收费系统（ETC）记录的。我们使用MapReduce框架将数据处理成一个更小的任务，可以分布在多个计算机集群，以加快进程。结果表明，交通流时空模型受方向、工作时间和节假日的强烈影响，每周都有一个循环模式。时空数据集内的独特模式可以用于人工智能决策系统，以供未来开发。
2019-09-30 cs.CY cs.DC
Big Data Workload Profiling for Energy-Aware Cloud Resource Management
Independent Researchers, Senior Members, IEEE（IEEE独立研究者、高级成员）
本文提出一种基于大数据工作负载建模的能耗感知云资源调度框架，通过分析CPU、内存和存储IO行为，实现虚拟机放置的节能优化，实验表明可节省15-20%的能耗并保持性能稳定。
2026-01-17 cs.AI cs.DC cs.SE
Mobile Big Data Analytics Using Deep Learning and Apache Spark
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research（资讯通信研究院）；Singapore University of Technology and Design（新加坡科技设计大学）；Singapore Management University（新加坡管理大学）；University of Houston（休斯顿大学）
诸如智能手机和物联网（IoT）小工具的移动设备的激增导致了最近的移动大数据（MBD）时代。收集MBD是无利可图的，除非使用合适的分析和学习方法从数据中提取有意义的信息和隐藏的模式。本文介绍了MBD分析中的深度学习的概述和简短教程，并讨论了Apache Spark上的可扩展学习框架。具体来说，分布式深度学习在许多Spark工作者上作为迭代MapReduce计算执行。每个Spark worker在整个MBD的分区上学习一个部分深度模型，然后通过平均所有部分模型的参数来构建主深度模型。这个基于Spark的框架加快了由许多隐藏层和数百万个参数组成的深度模型的学习。我们使用一个上下文感知的活动识别应用程序与包含数百万个样本的真实数据集来验证我们的框架并评估其加速效率。
2016-02-23 cs.DC cs.LG cs.NE
Efficient Big Text Data Clustering Algorithms using Hadoop and Spark
文档聚类是一种传统的，高效的，但相当有效的文本挖掘技术，当我们需要得到一个更好的洞察力的文件集合，可以分组在一起。K-Means算法和分层凝聚聚类（HAC）算法是两种最知名和最常用的聚类算法;前者由于其低时间成本，后者由于其准确性。然而，即使在大规模集合的文本聚类中使用K-Means也会导致不可接受的时间成本。在本文中，我们首先解决了一些最有价值的方法，在这样的“大数据”（大规模）集合的文档聚类。然后，我们提出两个非常有希望的替代方案：（a）现有的基于K-Means的快速聚类技术的变体（称为BigKClustering - BKC），使得其可以应用于文档聚类，以及（b）基于Buckshot算法的定制版本的混合聚类方法，它首先对输入数据集的样本应用层次聚类过程，然后将结果用作K-其余文档的基于均值的分配，迭代次数很少。我们还在MapReduce模型中对所提出的技术进行了高效的调整，然后在真实的集群环境中使用Apache Hadoop和Spark进行了实验测试。正如它出来的实验，他们都导致可接受的聚类质量以及显着的时间改进（与K-Means相比，特别是基于Buckshot的算法），从而构成了非常有前途的替代大文档集合。
2021-12-01 cs.DC
