Auto Tuning of Hadoop and Spark parameters
TB、PB或更高级别的数据被称为大数据。这些数据无法使用传统的数据库软件进行处理，因此需要大数据平台。通过结合各种大数据应用程序和实用程序的功能和特性，大数据平台形成了一个单一的解决方案。它是一个帮助开发、部署和管理大数据环境的平台。Hadoop和Spark是Apache提供的两个开源大数据平台。这两个平台都有许多配置参数，这些参数可能会对执行时间、准确性等产生不可预见的影响。手动调整这些参数可能会很麻烦，因此需要自动调整它们。在研究和分析了前人在自动调整这些参数方面的各种工作之后，本文提出了两种算法--网格搜索和受控随机搜索。本文研究的性能指标是执行时间。这些算法有助于自动调整参数。实验结果表明，通过网格搜索和受控随机搜索，Hadoop的执行时间分别减少了70%和50%，Spark的执行时间分别减少了81.19%和77.77%。
2021-11-04 cs.DC
Optimization and analysis of large scale data sorting algorithm based on Hadoop
在处理海量数据排序时，我们通常使用Hadoop，这是一个框架，允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。基于Hadoop的MapReduce中的shuffle和sort阶段是实现大数据排序的常用方法。然而，如果我们直接使用它，效率可能非常低，负载不平衡可能是一个大问题。本文对一种基于Hadoop的大规模数据排序算法进行了优化和分析的实验研究。为了达到优化，我们使用了两轮以上的MapReduce。在第一轮中，我们使用MapReduce随机抽取样本。然后，我们使用另一个MapReduce根据第一轮的结果对数据进行统一排序。实验表明，在大规模数据排序时，使用优化后的算法比MapReduce的shuffle算法效果更好。
2015-06-01 cs.DC
Efficient Support of Big Data Storage Systems on the Cloud
由于其相对于传统数据中心的优势，云基础设施的使用量迅速增长。其中包括公共云（例如，Amazon EC2）或私有云，例如使用OpenStack部署的云。在许多众所周知的基础设施中，例如OpenStack和CloudStack，一个共同的因素是网络存储用于存储持久数据。然而，传统的大数据系统，包括Hadoop，出于高性能和低成本的原因，将数据存储在商品本地存储中。我们提出了一种使用本地存储在OpenStack上支持Hadoop的架构。随后，我们使用Openstack和Amazon上的基准测试来表明，对于Hadoop的支持，本地存储具有更好的性能和更低的成本。我们得出结论，云系统应该支持持久数据的本地存储（除了网络存储之外），以便为Hadoop和其他大数据系统提供有效的支持
2014-11-27 cs.DC
Evaluating Hadoop Clusters with TPCx-HS
大数据平台的复杂性和多样性不断增加，使得所有系统用户正确设置和操作系统变得既困难又耗时。另一个挑战是比较平台，以便为特定应用选择最合适的平台。所有这些因素都促使人们需要一个标准化的大数据基准，以帮助用户进行平台评估。就在最近，TPCx-HS [1][2]作为第一个标准化的大数据基准被发布，旨在对Hadoop集群进行压力测试。本研究的目的是评估和比较网络设置如何影响Hadoop集群的性能。特别是，实验是使用由相同的Cloudera Hadoop Distribution（CDH）集群设置使用的共享和专用1Gbit网络进行的。TPCx-HS基准测试是非常网络密集型的，用于压力测试和比较两种集群设置。所有呈现的结果都是通过使用官方可用的基准版本[1]获得的，但它们与官方报告的结果不具有可比性，并且是作为实验评估，未经任何外部组织审核。正如预期的那样，专用1Gbit网络设置的执行速度比共享1Gbit设置快得多。然而，令人惊讶的是，这两种集群设置之间的价格差异可以忽略不计，这带来了成倍的性能回报。
2015-10-27 cs.DC
Efficient Big Text Data Clustering Algorithms using Hadoop and Spark
文档聚类是一种传统的，高效的，但相当有效的文本挖掘技术，当我们需要得到一个更好的洞察力的文件集合，可以分组在一起。K-Means算法和分层凝聚聚类（HAC）算法是两种最知名和最常用的聚类算法;前者由于其低时间成本，后者由于其准确性。然而，即使在大规模集合的文本聚类中使用K-Means也会导致不可接受的时间成本。在本文中，我们首先解决了一些最有价值的方法，在这样的“大数据”（大规模）集合的文档聚类。然后，我们提出两个非常有希望的替代方案：（a）现有的基于K-Means的快速聚类技术的变体（称为BigKClustering - BKC），使得其可以应用于文档聚类，以及（b）基于Buckshot算法的定制版本的混合聚类方法，它首先对输入数据集的样本应用层次聚类过程，然后将结果用作K-其余文档的基于均值的分配，迭代次数很少。我们还在MapReduce模型中对所提出的技术进行了高效的调整，然后在真实的集群环境中使用Apache Hadoop和Spark进行了实验测试。正如它出来的实验，他们都导致可接受的聚类质量以及显着的时间改进（与K-Means相比，特别是基于Buckshot的算法），从而构成了非常有前途的替代大文档集合。
2021-12-01 cs.DC
FAIR: A Hadoop-based Hybrid Model for Faculty Information Retrieval System
在数据和知识不断膨胀的时代，我们缺乏一个集中的系统来映射所有的院系到他们的研究工作。这个问题在过去没有得到解决，学生与他们领域的正确教师联系变得具有挑战性。由于我们有这么多的学院和院系，这属于大数据问题的范畴。在本文中，我们提出了一个模型，该模型工作在分布式计算环境下，以处理大数据。该模型使用apache spark作为执行引擎，hive作为数据库。结果在连接到Apache Hive的Tableau的帮助下可视化，以实现分布式计算。
2017-06-25 cs.DC
Performance Benefits of DataMPI: A Case Study with BigDataBench
Apache Hadoop和Spark在大数据处理和分析方面越来越突出。两者都在互联网公司中广泛部署。另一方面，高性能数据分析需求促使学术界和工业界采用HPC中最先进的技术来解决大数据问题。最近，我们提出了一个基于键值对的通信库DataMPI，它扩展了MPI以支持Hadoop/Spark之类的大数据计算作业。本文使用BigDataBench这一大数据基准测试套件，对Hadoop、Spark和DataMPI的性能和资源利用率特征进行了全面的研究。从我们的实验中，我们观察到DataMPI的作业执行时间分别比Hadoop和Spark的作业执行时间提高了55%和39%。大部分好处来自DataMPI中的高效通信机制。我们还注意到，DataMPI的资源（CPU，内存，磁盘和网络I/O）利用率也比其他两个框架更有效。
2014-03-14 cs.DC cs.PF
Performance Analysis of Apriori Algorithm with Different Data Structures on Hadoop Cluster
从海量数据集中挖掘频繁项集一直是数据采掘的一个重要问题。Apriori算法是最流行、最简单的频繁项集挖掘算法。为了提高Apriori的效率和可扩展性，已经提出了许多算法来解决高效数据结构的设计，最小化数据库扫描以及并行和分布式处理。MapReduce是Hadoop集群上处理大数据集的并行分布式技术。为了挖掘大数据集，有必要在这种新的范式上重新设计数据采掘算法。在本文中，我们实现了三种变体的Apriori算法使用数据结构哈希树，trie和哈希表trie，即trie与MapReduce范式上的哈希技术。本文着重研究了这三种数据结构对Hadoop集群上Apriori算法的重要意义，这一点还没有引起足够的重视。在真实数据集和人工合成数据集上进行的实验表明，哈希表trie数据结构在执行时间上远远优于trie和hash树。此外，哈希树的性能变得最差。
2015-11-22 cs.DC
Technical Report: On the Usability of Hadoop MapReduce, Apache Spark & Apache Flink for Data Science
面向云计算的分布式数据处理平台是大规模数据分析的重要工具。Apache Hadoop MapReduce已经成为这个领域的事实标准，尽管它的编程接口相对较低，即使是简单的分析任务也需要许多实现步骤。这导致了面向Apache的高级平台的开发，最突出的是Apache Spark和Apache Flink。这些平台不仅旨在通过改进内存处理来提高性能，而且特别提供了内置的高级数据处理功能，例如过滤和连接运算符，这应该使数据分析任务比普通的Hadoop MapReduce更容易开发。但事实果真如此吗？本文从可用性的角度比较了三个主要的分布式数据处理平台：Apache Hadoop MapReduce、Apache Spark和Apache Flink。我们报告了一组硕士生的可用性研究的设计，执行和结果，他们正在学习和使用所有三个平台，以解决数据科学背景下的不同用例集。我们的研究结果表明，Spark和Flink是MapReduce的首选平台。在参与者中，Spark和Flink作为面向批量的大数据分析平台之间的感知偏好或开发时间没有显着差异。这项研究开始探索使大数据平台对数据科学用户更有效或更不有效的因素。
2018-03-28 cs.DC
Bandwidth-Aware Scheduling with SDN in Hadoop: A New Trend for Big Data
软件定义网络（SDN）是一种革命性的网络架构，它将网络控制功能与底层设备分离开来，是帮助企业构建更易于管理的数据中心的一种日益增长的趋势，其中大数据处理成为应用的重要组成部分。为了并行处理大规模数据，MapReduce与一个名为Hadoop的开源实现被提出。在实际的Hadoop系统中，有一种对整体性能有着重要影响的问题被称为NP完全最小生成跨度问题。一个主要的解决方案是在数据本地节点上分配任务以避免链路占用，因为网络带宽是稀缺资源。提出了许多用于增强数据局部性的方法，例如HDS和最先进的调度器BAR。然而，所有这些都忽略了在全局视图中分配任务或忽略可用带宽作为调度的基础。在本文中，我们提出了一个启发式的带宽感知任务调度器BASS结合Hadoop与SDN。它不仅能够保证全局视图中的数据局部性，而且能够以优化的方式有效地分配任务。实例和实验都表明，BASS在作业完成时间方面具有最好的性能。据我们所知，BASS是第一个将SDN人才用于大数据处理的公司，我们相信它为大规模数据处理指明了新的趋势。
2014-03-12 cs.DC cs.NI cs.PF
Addressing NameNode Scalability Issue in Hadoop Distributed File System using Cache Approach
Hadoop是一种分布式批处理基础设施，目前正用于大数据管理。Hadoop的基础由Hadoop分布式文件系统或HDFS组成。HDFS提供了一个客户-服务器的架构，由一个NameNode和许多DataNode组成。NameNode存储DataNode的元数据，DataNode存储应用程序数据。NameNode将文件系统元数据保存在内存中，因此对文件系统中文件数量的限制由NameNode上的内存量控制。因此，当NameNode上的内存已满时，就没有进一步增加集群容量的机会了。在本文中，我们使用了缓存的概念来处理NameNode可伸缩性的问题。本文的重点是强调我们的方法，试图增强当前的架构，并确保NameNode不会很快达到其阈值。
2014-11-25 cs.DC
FASTA/Q Data Compressors for MapReduce-Hadoop Genomics:Space and Time Savings Made Easy -- Version 1
动机：基因组数据的存储是生命科学的主要成本，主要通过专门的数据压缩方法有效地解决。出于数据生产丰富的同样原因，大数据技术的使用被视为基因组数据存储和处理的未来，MapReduce-Hadoop是领导者。令人惊讶的是，Hadoop中没有一个专用的FASTA/Q压缩器。事实上，他们在那里的部署并不是立即的。这样的艺术状态是有问题的。结果：我们提供了两个不同方向的主要进展。方法上，我们提出了两种通用的方法，与相应的软件，这使得很容易部署一个专门的FASTA/Q压缩器内MapReduce-Hadoop处理存储在分布式Hadoop文件系统的文件，Hadoop的知识很少。实际上，我们提供的证据表明，在Hadoop中部署这些专用压缩器（到目前为止还没有）可以节省大量成本，即，在大型植物基因组上，HDFS数据块减少30%（一个数据块= 128 MB），I/O时间至少加快1.5倍，网络通信时间与使用Hadoop中可用的通用压缩器相当或减少。最后，我们观察到这些结果也适用于Apache Spark框架，当用于处理存储在Hadoop文件系统上的FASTA/Q文件时。
2020-07-27 cs.DC
Benchmarking Apache Spark and Hadoop MapReduce on Big Data Classification
Istanbul Technical University（伊斯坦布尔理工大学）；ASELSAN A.S.（阿瑟尔桑公司）
大多数流行的大数据分析工具都在不断发展，以适应其工作环境，从大量非结构化数据中提取有价值的信息。数据采掘技术能够从大数据中过滤这些有用的信息，这导致了大数据采掘这个术语。将数据范围从小型、结构化和稳定的数据转变为海量、非结构化和快速变化的数据带来了许多数据管理挑战。不同的工具由于其体系结构的限制，以自己的方式应对这些挑战。在根据手头的任务选择正确的数据管理框架时，需要考虑许多参数。在本文中，我们为两个广泛使用的大数据分析工具，即Apache Spark和Hadoop MapReduce，在一个共同的数据采掘任务上，即，分类.我们采用了几个评估指标来比较基准框架的性能，如执行时间，准确性和可扩展性。这些指标专门用于测量分类任务的性能。据我们所知，在文献中没有以前的研究，采用所有这些指标，同时考虑到特定任务的关注。我们发现Spark在训练模型时比MapReduce快5倍。然而，Spark的性能会随着输入工作负载的增大而降低。通过额外的集群扩展环境可以显著提高Spark的性能。然而，在Hadoop中没有观察到类似的增强。MapReduce的机器学习实用程序往往比Spark具有更好的准确性分数，即使在小规模的数据集中也是如此，大约3%。
2022-09-21 cs.DC cs.LG
Pilot-Abstraction: A Valid Abstraction for Data-Intensive Applications on HPC, Hadoop and Cloud Infrastructures?
传统上，HPC环境的设计是为了满足科学应用的计算需求，而数据只是第二位的关注点。随着科学转向数据驱动的发现，更多地依赖数据中的相关性来形成科学假设，HPC方法的局限性变得显而易见：存储和计算分离等架构范例对于I/O密集型工作负载（例如数据准备，转换和SQL）并不是最佳的。虽然HPC上有许多强大的计算和分析库（例如可扩展线性代数），但它们通常缺乏其他环境（例如Apache Hadoop生态系统）中的可用性和分析库的多样性。此外，缺乏统一访问日益异构的基础设施（HPC，Hadoop，云）的抽象，并允许在这个复杂的环境中进行性能权衡的推理。与此同时，Hadoop生态系统正在快速发展，并已成为行业中数据密集型工作负载的事实标准，并越来越多地用于解决科学问题。在本文中，我们将探索Hadoop和HPC之间的互操作性路径，研究差异和挑战，例如不同的架构范式和抽象，并研究解决这些问题的方法。我们建议将Pilot-Abstraction扩展到Hadoop，作为跨不同基础设施分配和管理资源的互操作性层。此外，已经部署了内存能力来增强大规模数据分析（例如迭代算法）的性能，其中跨迭代重用数据的能力至关重要。由于内存自然适合与飞行员的概念，保留资源的一组任务，我们提出了扩展的飞行员抽象内存中的资源。
2015-01-21 cs.DC
Multiple K Means++ Clustering of Satellite Image Using Hadoop MapReduce and Spark
图像聚类是卫星图像挖掘的重要步骤之一。在我们的实验中，我们在MapReduce作业的同一次迭代中同时运行多个具有不同初始质心和k值的K-means算法。对于初始质心的初始化，我们已经实现了可扩展的K-Means++ MapReduce（MR）作业[1]。我们还为多个聚类输出运行了简化轮廓指数[2]的验证算法，再次在MR作业的相同迭代中。本文探讨了上述聚类算法在MapReduce和Spark作业等大数据平台上运行时的行为。之所以选择Spark，是因为它在快速处理方面很受欢迎，特别是在涉及迭代的情况下。
2016-05-06 cs.DC
Hadoop on HPC: Integrating Hadoop and Pilot-based Dynamic Resource Management
传统上，诸如超级计算机之类的高性能计算平台被设计成满足科学应用的计算需求。因此，他们被设计为数据的生产者而不是消费者。Apache Hadoop生态系统已经发展到满足数据处理应用程序的要求，并解决了HPC平台的许多限制。然而，有一类科学应用程序需要传统高性能计算环境和Apache Hadoop生态系统的集体能力。例如，生物分子动力学、基因组学和网络科学等科学领域需要将传统计算与基于Hadoop/Spark的分析相结合。我们调查的关键问题，如何提出的能力，这两个计算环境，这样的科学应用。而这个问题需要在多个层次上的答案，我们专注于资源管理中间件的设计，可能会支持这两个需求。我们建议扩展的试点抽象提供一个统一的资源管理层。这是一个重要的步骤，允许应用程序将HPC阶段（例如模拟）集成到数据分析中。许多超级计算中心已经开始正式支持Hadoop环境，无论是在专用环境中还是使用myHadoop等工具的混合部署中。这通常涉及许多需要掌握的内在的、特定于环境的细节，并且经常淹没概念性问题，例如：如何最好地耦合HPC和Hadoop应用程序阶段？如何探索运行时的权衡（数据位置与数据移动）？本文提供了概念上的理解和实际的解决方案，以集成使用HPC和Hadoop环境。
2016-01-31 cs.DC
Performance Evaluation of Distributed Computing Environments with Hadoop and Spark Frameworks
近年来，由于信息和通信技术的快速发展，数据以雪崩的方式产生和消耗。分布式计算通过将计算分布在多个计算节点之间来为分析和处理这样的大数据创建先决条件。在这项工作中，性能的分布式计算环境的Hadoop和Spark框架的基础上估计真实和虚拟版本的集群。作为测试任务，我们选择了在各种大小的文本中进行单词计数的经典用例。结果发现，运行时间随着数据集的大小增长得非常快，甚至比幂函数更快。至于集群实现的真实版本和虚拟版本，Hadoop和Spark框架的这种趋势是相似的。此外，加速值显着降低数据集大小的增长，特别是对于虚拟版本的集群配置。物联网和多模式（视觉、声音、触觉、神经和大脑计算、肌肉和眼动追踪等）产生的数据不断增长的问题互动渠道介绍。在这个问题的背景下，当前对Hadoop和Spark框架在真实和虚拟集群配置中的运行时间和加速的观察对于适当的扩展和有效的作业管理非常有用，特别是对于机器学习和深度学习应用程序，其中大数据广泛存在。
2017-07-16 cs.DC cs.PF
HybridTune: Spatio-temporal Data and Model Driven Performance Diagnosis for Big Data Systems
随着人们对大数据系统的兴趣越来越大，分析和促进其性能改进变得越来越重要。虽然有很多研究工作来提高大数据系统的性能，但有效地分析和诊断这些大规模分布式系统的性能瓶颈仍然是一个重大挑战。本文提出了一种基于大数据应用阶段性和分布性的时空关联分析方法，能够对多层次性能数据进行细粒度关联。在相关数据的基础上，针对不同的性能瓶颈，如工作负载不平衡、数据倾斜、异常节点和离群点度量，定义了一些先验规则，选择特征并对相应的数据集进行向量化。然后，我们利用数据和模型驱动的算法进行瓶颈检测和诊断。此外，我们设计和开发了一个轻量级的，可扩展的工具HybridTune，并验证了我们的工具与BigDataBench的诊断有效性的几个基准实验中，优于国家的最先进的方法。实验结果表明，该算法对异常/离群点的检测准确率达到80%左右。最后，我们给出了几个Spark和Hadoop的应用案例，展示了HybridTune如何支持用户对Spark和Hadoop应用进行高效的性能分析和诊断，并通过实践证明HybridTune可以帮助用户发现性能瓶颈并提供优化建议。
2017-11-21 cs.DC
ATLAS: An Adaptive Failure-aware Scheduler for Hadoop
Hadoop已经成为当今云环境中处理大型数据的事实标准。Hadoop在云中的性能直接影响着许多重要的应用程序，从Web分析、Web索引、图像和文档处理到高性能科学计算。然而，由于云的规模、复杂性和动态性，故障很常见，这些故障通常会影响Hadoop中运行的作业的性能。尽管Hadoop拥有内置的故障检测和恢复机制，但由于云环境中的不可预见事件，一些计划的作业仍然会失败。单个任务的失败可能导致整个作业的失败和不可预测的作业运行时间。在这份报告中，我们提出了ATLAS（AdapTive faiLure-Aware），一个新的Hadoop调度程序，可以调整其调度决策，以事件发生在云环境中。使用统计模型，ATLAS预测任务失败，并调整其调度决策的飞行，以减少任务失败的发生。我们在Amazon Elastic MapReduce（EMR）的Hadoop框架中实现了ATLAS，并进行了案例研究，将其性能与FIFO，Fair和Capacity的性能进行了比较。实验结果表明，ATLAS能使作业失败率降低28%，任务失败率降低39%，作业总执行时间平均降低10 min。ATLAS还减少了CPU和内存的使用。
2015-11-05 cs.DC
An Open-Source Project for MapReduce Performance Self-Tuning
许多Hadoop配置参数对在Hadoop上运行MapReduce作业的性能有重大影响。对于一般用户来说，手动调整参数以获得最佳MapReduce性能是耗时且繁琐的。此外，现有的自校正系统大多实现不透明，难以在实际中使用。这项研究提出了一个开源项目，托管开发中的自调系统称为Catla来解决这些问题。Catla集成了多种直接搜索和基于无衍生优化的技术，以提高用户的调优效率。在这项研究中说明了该系统及其使用的概述。我们还报告了一个简单的例子，展示了这个正在进行的项目的好处。虽然这个项目仍在开发中，远未全面，但它致力于在提高大数据分析性能方面为Hadoop生态系统做出贡献。
2019-12-28 cs.DC
A Cost-based Storage Format Selector for Materialization in Big Data Frameworks
现代大数据框架（如Hadoop和Spark）允许多个用户同时进行大规模分析。通常，用户会为他们的分析任务部署数据密集型工作流（DIW）。不同用户的这些DIW共享许多公共部分（即50-80%），这些公共部分可以被具体化以在将来的执行中重用。物化提高了DIW的整体处理时间，也节省了计算资源。用于具体化的当前解决方案通过使用固定的数据格式在分布式文件系统（DFS）上存储数据。然而，一个固定的选择可能不是每种情况下的最佳选择。例如，众所周知，不同的数据分段策略（即，水平、垂直或混合）根据后续操作的访问模式表现得更好或更差。在本文中，我们提出了一种基于成本的方法，有助于在任何情况下决定最合适的存储格式。一个通用的基于成本的存储格式选择器框架，考虑到三个碎片化策略。然后，我们使用我们的框架来实例化特定Hadoop数据格式（即SequenceFile，Avro和Parquet）的成本模型，并使用实际用例对其进行测试。我们的解决方案平均比SequenceFile加速33%，比Avro加速11%，比Parquet加速32%，总体而言，它提供了高达25%的性能增益。
2018-06-11 cs.DC
Does Big Data Require Complex Systems? A Performance Comparison Between Spark and Unicage Shell Scripts
大数据范式的特点是需要收集和处理大量数据集，以各种格式以极快的速度到达系统。Spark是一种广泛使用的大数据处理系统，可以与Hadoop集成，为开发人员提供强大的抽象，例如通过HDFS的分布式存储和通过YARN的资源管理。当所有必需的配置完成后，Spark还可以提供质量属性，如可扩展性、容错和安全性。然而，所有这些好处都是以复杂性为代价的，具有高内存要求和额外的处理延迟。另一种方法是使用精益软件栈，如Unicage，将大部分控制权委托给开发人员。在这项工作中，我们在IBM Cloud托管的集群环境中评估了Spark与Unicage的大数据处理性能。进行了两组实验：非结构化数据集的批处理和结构化数据集的查询处理。输入数据集的大小很大，从64 GB到8192 GB不等。结果表明，对于grep和select等搜索工作负载，Unicage脚本的性能优于Spark，但是Hadoop堆栈中的分布式存储和资源管理的抽象使Spark能够执行具有记录间依赖性的工作负载，例如排序和连接，并具有正确的输出。
2022-12-28 cs.DC
Autonomic Architecture for Big Data Performance Optimization
Carleton University（卡尔顿大学）；Toronto Metropolitan University（多伦多都会大学）
本文提出 KERMIT 自主架构，可在线自动调优 Spark/Hadoop，识别多用户与新型工作负载并适应漂移，性能显著优于人工经验调优。
2023-03-17 cs.AI cs.DC
A New Framework for Expressing, Parallelizing and Optimizing Big Data Applications
Forelem框架最初是作为一种使用为编译器开发的优化技术来优化数据库查询的方法而引入的。自推出以来，Forelem已被证明是更通用的，并适用于数据库应用程序之外。在本文中，我们展示了原始的Forelem框架可以用于表达和优化大数据应用程序，更具体地说：k-Means聚类和PageRank，从而自动生成这些应用程序的实现。这些实现比k-Means和PageRank的最先进的手写MPI C/C++实现更有效，并且显著优于最先进的Hadoop实现。
2022-03-02 cs.DC
ALOJA: A Framework for Benchmarking and Predictive Analytics in Big Data Deployments
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Microsoft Corporation（微软公司）；Microsoft Research（微软研究院）
本文介绍了ALOJA项目及其分析工具，这些工具利用机器学习来解释大数据基准性能数据并进行调优。ALOJA是BSC和微软长期合作的一部分，旨在自动化大数据部署的成本效益特征，目前专注于Hadoop。Hadoop提供了一个复杂的运行时环境，其中成本和性能取决于大量的配置选择。ALOJA项目创建了一个开放的、供应商中立的存储库，包含超过40，000个Hadoop作业执行及其性能详细信息。该存储库配有测试平台和工具，用于部署和评估不同硬件配置、参数和云服务的成本效益。尽管ALOJA的早期成功，一个全面的研究需要自动化的建模过程，以允许大型和资源受限的搜索空间的分析。预测分析扩展ALOJA-ML提供了一个自动化系统，允许通过从观察到的执行中建模环境来进行知识发现。由此产生的模型可以预测执行行为，预测新配置和硬件选择的执行时间。这还可以通过优先执行来实现基于模型的异常检测或有效的基准指导。此外，社区可以从ALOJA数据集和框架中受益，以改进大数据应用程序的设计和部署。
2015-11-06 cs.DC cs.LG
Analyzing Big Datasets of Genomic Sequences: Fast and Scalable Collection of k-mer Statistics
由于下一代测序技术产生的大量数据，基于映射-缩减编程范式的分布式方法已经开始在生物信息学领域被提出。然而，使用map-reduce和相关的大数据技术和框架（例如，Apache Hadoop和Spark）在效率和有效性方面不一定会产生令人满意的结果。我们讨论了分布式和大数据管理技术的发展如何影响了生物序列的大数据集的分析。此外，我们展示了如何选择不同的参数配置和仔细工程的软件相对于所考虑的特定框架可能是至关重要的，以实现良好的性能，特别是在非常大量的数据。我们选择k-mer计数作为我们分析的案例研究，并Spark作为实现FastKmer的框架，FastKmer是一种从大量生物序列中提取k-mer统计的新方法，具有任意k值。FastKmer最相关的贡献之一是引入了一个模块，用于在计算集群的节点上平衡统计数据聚合工作负载，以克服数据偏斜，同时允许充分利用底层分布式架构。我们还提出了一个比较实验分析的结果，表明我们的方法是目前最快的基于大数据技术，同时表现出非常好的可扩展性。我们提供的证据表明，使用技术，如Hadoop或Spark的生物序列的大数据集的分析是富有成效的，只有当架构的细节和所考虑的框架的特殊方面仔细考虑到的算法设计和实施。
2018-07-04 cs.DC
Development of a Big Data Framework for Connectomic Research
本文概述了一种新的基于Hadoop架构的分布式处理和脑电子显微镜分析的研究和开发。我们展示了一个新的C++库的开发，用于实现3D图像分析技术，并部署在分布式地图/减少框架。我们在Open Connectome Project的Kasthuri 11数据集的一个子集上展示了我们的新框架。
2015-01-25 cs.CE cs.DC
OCEP: An Ontology-Based Complex Event Processing Framework for Healthcare Decision Support in Big Data Analytics
针对大数据环境下复杂事件处理面临的语义异构与互操作挑战，提出基于本体的OCEP框架，集成RDF、SPARQL及Hadoop生态，实现医疗事件流推理，检测准确率达85%，支持早期疾病检测与决策。
2025-03-27 cs.DC
Architecture of processing and analysis system for big astronomical data
这项工作探索了使用部署在云中的大数据技术来处理天文数据。我们已经将Hadoop和Spark应用于共同添加天文图像的任务。我们比较了这些框架的开销和执行时间。我们的结论是，这两个框架的性能一般是不相上下。Spark API更灵活，可以轻松构建天文数据处理管道。
2017-03-31 astro-ph.IM cs.DC
BigOP: Generating Comprehensive Big Data Workloads as a Benchmarking Framework
大数据被认为是公司、组织甚至国家的专有资产。把大数据变成真正的宝藏，需要大数据系统的支撑。各种商业和开源产品已经被释放用于大数据存储和处理。当大数据用户面临选择最适合他们需求的系统时，大数据系统开发人员面临的问题是如何根据一般大数据处理需求评估他们的系统。系统基准测试是满足上述需求的经典方法。然而，现有的大数据基准测试要么无法代表各种大数据处理需求，要么只针对一个特定的平台，例如Hadoop。在本文中，与我们的工业合作伙伴，我们提出了BigOP，一个端到端的系统基准测试框架，具有代表性的操作集，工作负载模式和规定的测试的抽象。BigOP是开源大数据基准测试项目BigDataBench的一部分。BigOP的抽象模型不仅指导了BigDataBench的开发，还支持自动生成具有全面工作负载的测试。我们通过实现一个自动测试生成工具和对三个广泛使用的大数据处理系统，即Hadoop，Spark和MySQL集群进行基准测试来说明BigOP的可行性。针对三种不同的应用场景规定了三个测试。测试涉及关系数据、文本数据和图形数据，以及所有操作和工作负载模式。我们按照测试规范报告结果。
2017-12-27 cs.DB cs.DC cs.PF
A Data Structure Perspective to the RDD-based Apriori Algorithm on Spark
近年来，许多研究者提出了许多高效、可扩展的大数据频繁项集挖掘算法。首先，提出了Hadoop集群上基于MapReduce的频繁项集挖掘算法。虽然Hadoop已经被开发成一个处理大数据的集群计算系统，但是由于其高I/O以及在磁盘上写入和读取中间结果，Hadoop的性能并不能满足数据采掘迭代算法的期望。因此，Spark被开发为另一种集群计算基础设施，由于其内存计算，它比Hadoop快得多。它非常适合迭代算法，并支持数据的批处理，交互式，迭代和流处理。许多频繁项集挖掘算法在Spark上被重新设计，其中大部分都是基于Apriori的。所有这些基于Spark的Apriori算法都使用Hash Tree作为底层数据结构。本文研究了基于Spark的Apriori的各种数据结构的效率。虽然，以前已经从数据结构的角度进行了研究，但是对于基于MapReduce的Apriori，必须在Spark的分布式计算环境下进行重新研究。所考虑的底层数据结构是哈希树、Trie和哈希表Trie。在基准数据集上的实验结果表明，在Spark的分布式计算环境下，基于Spark的Apriori with Trie和哈希表Trie的性能几乎相当，但都比Hash Tree高出许多倍。
2019-08-04 cs.DB cs.DC
BAHULAM: Distributed Data Analytics on Secure Enclaves
这是对一些当前可用的框架（开源/商业）的调查，以便在安全飞地上运行分布式数据应用程序（Hadoop，Spark）。Intel、AMD、Amazon分别在其系统上支持安全飞地Intel-SGX、AMD Memory Encryption、AWS Nitro Enclaves。Keystone是一个开源框架，用于构建可信执行环境和隔离。
2020-04-20 cs.DC
Micro-level Modularity of Computaion-intensive Programs in Big Data Platforms: A Case Study with Image Data
随着Hadoop、Spark和Dataflow等大数据平台的快速发展，正在开发许多旨在为最终用户提供用于大规模数据分析的交互式环境的工具（例如，IQmulus）。然而，使用这些平台存在挑战。例如，开发人员发现在开发交互式和可重用的数据分析工具时很难使用这些平台。更好地支持交互性和可重用性的一种方法是使用计算密集型任务的微观模块化，将数据操作拆分为独立的可组合模块。然而，将数据和计算密集型任务模块化为独立组件与传统编程不同，例如，当访问大规模数据时，控制组件之间的数据流，并构造计算逻辑。在本文中，我们提出了一个案例研究模块化现实世界的计算密集型任务，研究模块化处理大规模图像数据的影响。为此，我们综合图像数据处理模式，并提出了一个统一的模块化模型，有效地实现计算密集型任务的数据并行框架，考虑再现性，可重用性和定制。基于在Spark和Hadoop集群上运行图像处理任务的实验结果，我们提出了使用模块化模型的各种见解。
2019-10-20 cs.DC cs.SE
Efficient and Reliable Hybrid Cloud Architechture for Big Data
本文的目标是提出一个云计算框架，这是可行的，必须处理大量的数据。在我们的原型系统中，我们考虑了孟加拉国的国家ID数据库结构，这是由孟加拉国选举委员会准备。使用这个数据库，我们提出了一个交互式的图形用户界面孟加拉人搜索（BDPS），使用的混合结构的云计算处理的Apache Hadoop的数据库是由HiveQL实现。该基础设施分为两部分：基于Eucalyptus的本地托管云和在知名的Amazon Web Service（AWS）上实现的远程云。孟加拉方面的一些常见问题，其中包括数据流量拥塞，服务器超时和服务器停机问题也进行了讨论。
2014-01-09 cs.DC
Scalable Analysis for Covid-19 and Vaccine Data
本文解释了用于提取和分析Covid-19疫苗数据的可扩展方法。利用Hadoop和Hive等大数据，我们收集并分析了COVID-19确诊、死亡和疫苗接种数据集的海量数据集。数据大小约为3.2千兆字节。我们表明，使用大数据存储和处理海量数据是可能的。本文进行了时空分析，并通过可视化地图、图表和饼图将调查结果可视化。我们举例说明，接种疫苗越多，确诊病例越少。
2021-08-06 cs.DC
Call Trace and Memory Access Pattern based Runtime Insider Threat Detection for Big Data Platforms
Hadoop和Spark等大数据平台正在被学术界和工业界广泛采用。在本文中，我们提出了一个运行时入侵检测技术，了解和工作根据这样的分布式计算平台的属性。所提出的方法是基于运行时分析的系统和库调用和内存访问模式的任务上运行的datanode（奴隶）。首先，大数据系统的主数据阳极为它执行的每个任务创建行为配置文件。行为配置文件包括（a）所进行的系统和库调用的跟踪，以及（b）表示在任务执行期间进行的私有和共享内存访问的大小的序列。然后，进程行为配置文件与其他副本数据节点共享，这些副本数据节点被调度在相同数据的副本上执行相同的任务。接下来，这些副本数据节点在嵌入在接收到的行为配置文件中的信息的帮助下验证其本地任务。这通过两个步骤实现：（i）比较系统和库调用元数据，以及（ii）内存访问模式的统计匹配。最后，datanode分享他们的观察结果以达成共识，如果发现任何差异，则向namenode（主节点）报告入侵。在一个小型Hadoop集群上使用默认的MapReduce示例对所提出的解决方案进行了测试，结果表明，我们的方法可以检测到传统分析指标无法检测到的内部攻击。
2016-11-22 cs.CR cs.DC
Big Data at HPC Wales
本文介绍了一种在HPC系统上处理大数据工作负载的自动化方法。我们描述了一种解决方案，该解决方案在HPC环境中动态创建基于YARN的统一集群，而无需配置和分配专用的Hadoop集群。最终用户可以选择在支持的框架的任意组合中编写解决方案，该解决方案可以从几个核心无缝扩展到数千个核心。这种环境的耦合为应用程序创建了一个平台，以利用本地HPC解决方案以及大数据框架。用户将获得多种语言的HPC Wales API，这将使他们能够将此流集成到他们的环境中，从而确保HPC访问的传统方式不会成为瓶颈。我们描述的行为的集群创建和性能结果Terasort。
2015-06-30 cs.DC
A Survey of Big Data Machine Learning Applications Optimization in Cloud Data Centers and Networks
这篇调查文章回顾了与在云数据中心和网络中部署和优化大数据应用程序以及机器学习算法相关的挑战。MapReduce编程模型及其广泛使用的开源平台Hadoop正在开发大量基于云的服务和大数据应用程序。因此，MapReduce和Hadoop引入了创新、高效和加速的密集型计算和分析。这些服务通常利用地理分布的数据中心内的商品集群，并提供具有成本效益和弹性的解决方案。然而，迁移、存储和处理大数据的数据中心之间和内部的流量不断增加，这正在成为一个瓶颈，需要能够减少拥塞和功耗的增强型基础设施。此外，具有请求各种大数据服务的多个租户的企业面临的挑战是，需要以降低的运行成本和功耗来优化其资源的租赁，同时避免利用不足或过度利用。在本调查中，我们总结了各种大数据编程模型和应用程序的特点，并对云计算基础设施以及虚拟化和软件定义网络等相关技术进行了审查，这些技术越来越多地支持大数据系统。此外，我们还简要回顾了数据中心的拓扑结构、路由协议和流量特征，并强调了大数据对云数据中心及其支持网络的影响。在各种应用程序性能指标和/或基础设施能效方面，我们致力于优化处理大数据的系统。最后，提出了一些启示和未来的研究方向。
2019-10-01 cs.DC cs.LG cs.NI
Generalized formal model of big data
本文详细介绍了大数据技术的基本特征。分析了现有的“大数据”术语的定义。本文提出并描述了大数据广义形式模型的元素。分析了所提出的模型组件的应用特点。它描述了大数据技术和业务分析之间的根本区别。大数据由分布式文件系统Google文件系统技术、Cassandra、HBase、Lustre和MapReduce以及Hadoop编程结构和许多其他解决方案提供支持。根据麦肯锡研究所等专家的说法，在大数据的影响下，制造业，医疗保健，贸易，个人运动的管理和控制都发生了变化。
2019-05-04 cs.DB cs.DC
Observations on Factors Affecting Performance of MapReduce based Apriori on Hadoop Cluster
设计快速、可扩展的频繁项集挖掘算法一直是数据采掘中最突出和最有前途的问题。Apriori算法是频繁项集挖掘中应用最广泛、最流行的算法之一。在MapReduce框架上设计高效的算法来处理和分析大数据集是当前的研究热点。在本文中，我们专注于性能MapReduce的Apriori同构以及异构Hadoop集群。我们已经调查了一些因素，显着影响MapReduce的Apriori上运行在同构和异构Hadoop集群的执行时间。这些因素是算法和非算法改进所特有的。算法改进所考虑的特定因素是过滤的事务和数据结构。实验结果表明，一个合适的数据结构和过滤事务技术如何大大减少执行时间。非算法因素包括推测性执行、性能差的节点、数据局部性和数据块分布以及输入分割大小的并行性控制。我们已经针对这些因素采取了策略，并在我们的特定应用中微调了相关参数。实验结果表明，如果集群特定的参数得到照顾，那么有一个显着减少执行时间。此外，我们还讨论了Apriori的MapReduce实现可能会显着影响性能的问题。
2017-01-21 cs.DB cs.DC cs.DS
A Big Data Architecture for Log Data Storage and Analysis
European Organisation for Nuclear Research（欧洲核子研究组织）
我们提出了一个体系结构，用于分析数据库连接日志在一个内部网，包括超过10,000个用户和相关设备的不同实例的数据库。我们的系统使用Flume代理将通知发送到Hadoop分布式文件系统进行长期存储，使用ElasticSearch和Kibana进行短期可视化，有效地创建了一个用于提取日志数据的数据湖。我们采用机器学习模型和一系列方法来过滤和处理数据中的指标，并旨在使用从该日志数据构建的特征向量来预测异常或离群值。
2018-12-01 cs.DC cs.LG
A Data Colocation Grid Framework for Big Data Medical Image Processing - Backend Design
在处理大型医学影像研究时，快速采用高性能网格计算资源变得非常重要。我们最近提出了一个“医学图像处理即服务”网格框架，该框架通过将计算移动到医学图像存储附近，提供了利用Apache Hadoop生态系统和HBase进行数据托管的前景。然而，该框架尚未被证明是易于使用的异构硬件环境。此外，该系统还没有验证时，考虑到各种多层次的分析在医学成像。我们的目标标准是（1）提高框架在异构集群中的性能，（2）在大型数据集上执行基于人口的汇总统计，以及（3）引入快速NoSQL查询的表设计方案。本文介绍了用于医学图像处理的Hadoop和HBase的后端接口应用程序接口设计。该API包括：上传，卸载，删除，负载均衡器和MapReduce模板。讨论了数据集摘要统计模型，并采用MapReduce范式实现了该模型.为了更好地利用MapReduce模型，我们引入了一个用于快速数据查询的HBase表方案。简而言之，从大学安全数据库中检索5153个T1图像，并用于凭经验访问具有224个异构CPU核的内部网格。三个实证实验结果的介绍和讨论：（1）负载均衡器的壁时钟时间比内置数据分配策略的框架提高了1.5倍;（2）在网格框架上对一个汇总统计模型进行了实证验证，并与部署标准Sun Grid Engine的集群进行了比较，壁时钟时间减少了8倍，资源时间减少了14倍，（3）当数据集相对较小时，HBase表方案提高了MapRe…
2017-12-22 cs.DC
A Big Data Approach for Sequences Indexing on the Cloud via Burrows Wheeler Transform
University of Palermo（巴勒莫大学）
索引序列数据在精准医学的背景下非常重要，每天必须收集和分析大量的“组学”数据，以便对患者进行分类并确定最有效的治疗方法。在这里，我们提出了一种依赖于大数据技术的Burrows Wheeler变换计算算法，即，Apache Spark和Hadoop我们的方法是第一个分发索引计算而不仅仅是输入数据集的方法，允许充分利用可用的云资源。
2020-07-20 cs.AI cs.DC cs.DS
A Game-Theoretic Approach for Runtime Capacity Allocation in MapReduce
如今，许多公司都拥有大量的原始非结构化数据。在大数据支持技术中，MapReduce框架占据了中心地位，特别是其开源实现Apache Hadoop。出于成本效益的考虑，一种常见的方法需要在多个用户之间共享服务器集群。底层基础设施应该为每个用户提供公平的计算资源，确保满足服务水平协议（SLA）并避免浪费。在本文中，我们考虑两个数学规划问题，模型的Hadoop 2.x集群中的计算资源的最优分配，目的是开发新的容量分配技术，保证更好的性能在共享数据中心。我们的目标是在遵守SLA中规定的最后期限并避免与作业拒绝相关的处罚的同时大幅降低功耗。这种方法的核心是一个分布式算法的运行时容量分配，基于博弈论模型和技术，模仿MapReduce的动态交互的球员，即中央资源管理器和类管理器。
2017-01-17 cs.DC
ALOJA-ML: A Framework for Automating Characterization and Knowledge Discovery in Hadoop Deployments
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Microsoft Corporation（微软公司）；Microsoft Research（微软研究院）
本文介绍了ALOJA-机器学习（ALOJA-ML），它是ALOJA项目的扩展，使用机器学习技术来解释Hadoop基准性能数据和性能调优;在这里，我们详细介绍了方法、模型的有效性和初步结果。Hadoop提供了一个复杂的执行环境，其中成本和性能取决于大量的软件（SW）配置和多种硬件（HW）部署选择。这些结果伴随着一个测试平台和工具，用于部署和评估不同硬件配置、参数调整和云服务的成本效益。尽管ALOJA在专家指导的基准测试方面取得了早期成功，但很明显，真正全面的研究需要自动化建模过程，以便对大型和资源受限的搜索空间进行系统分析。ALOJA-ML提供了这样一个自动化系统，允许通过从一组广泛的配置参数中观察到的基准对Hadoop执行进行建模来进行知识发现。由此产生的性能模型可用于预测各种工作负载的执行行为;它们允许对新配置和硬件选择的执行时间进行“先验”预测，并且它们提供了基于模型的异常检测的途径。此外，这些模型可以有效地指导基准测试的探索，自动优先候选未来的基准测试。ALOJA-ML模型的见解可用于减少集群上的操作时间，加快数据采集和知识发现过程，重要的是，降低运行成本。除了从本工作中提出的方法中学习之外，社区还可以从ALOJA数据集、框架和衍生见解中受益，以改进大数据应用程序的设计和部署。
2015-11-06 cs.DC cs.LG
A Big Data Lake for Multilevel Streaming Analytics
School of Computing（计算机学院）
大型组织正在寻求创建新的体系结构和可扩展的平台，以有效地应对过去罕见的数据爆炸性带来的数据管理挑战。这些数据管理挑战主要由来自多种格式的各种源的高速流数据的可用性提出。数据范式的变化导致了新的数据分析和管理架构的出现。本文主要研究在一种称为数据湖的数据存储架构中以原始格式存储大容量、高速度和多样化的数据。首先，我们提出了我们的研究传统的数据仓库在处理最近的数据范式的变化的局限性。我们讨论并比较了可用于开发数据湖的不同开源和商业平台。然后，我们描述了我们的端到端数据湖设计和实施方法，使用Hadoop分布式文件系统（HDFS）在Hadoop数据平台（HDP）。最后，我们提出了一个现实世界的数据湖开发用例，用于数据流摄取，分段和多级流分析，它结合了结构化和非结构化数据。这项研究可以作为个人或组织计划为他们的用例实施数据湖解决方案的指南。
2020-09-25 cs.AI cs.DB cs.DC
Comparative Analysis of SpatialHadoop and GeoSpark for Geospatial Big Data Analytics
在这个数字化的世界里，每一个信息都被存储，数据呈指数级增长。据估计，数据每两年翻一番。地理空间数据是大数据场景的主要贡献者之一。有许多大数据分析工具。但并不是所有的大数据分析工具都有处理地理空间大数据的能力。本文介绍了目前流行的两种开源地理空间大数据分析工具Spatial- Hadoop和GeoSpark，它们可以有效地对地理空间大数据进行分析和处理。比较了SpatialHadoop和GeoSpark的架构视图。通过体系结构的比较，从执行时间和使用的数据量两个方面总结了这些工具的优缺点。
2017-02-21 cs.CY cs.DC
Big Data in HEP: A comprehensive use case study
几十年来，实验粒子物理学一直处于分析世界上最大数据集的最前沿。HEP社区是第一个为这项任务开发合适的软件和计算工具的社区。近年来，出现了统称为大数据技术的新工具包和系统，以支持行业中PB和EB数据集的分析。虽然HEP中的数据分析原理没有改变（过滤和转换实验特定的数据格式），但这些新技术使用不同的方法，并承诺对非常大的数据集进行全新的分析，并可能通过增加交互性来减少物理时间。在这次演讲中，我们提出了一个活跃的LHC运行2分析，用CMS探测器寻找暗物质，作为大数据技术的测试平台。我们直接比较了传统的基于NTuple的分析与在Hadoop生态系统上使用Apache Spark的等效分析。在这两种情况下，我们都从官方实验数据格式开始分析，并生成出版物物理图。我们将讨论每种方法的优点和缺点，并对需要进一步研究的问题进行展望。
2017-03-12 cs.DC
Multi-source imagery fusion using deep learning in a cloud computing platform
本文提出基于Hadoop和Spark的遥感大数据云平台，并研究最优块大小以提升数据传输效率，同时开发基于LSTM的多光谱与高光谱影像融合超分辨率方法，在实验中取得高结构相似性指数。
2023-07-06 cs.DC
A Big Data Based Framework for Executing Complex Query Over COVID-19 Datasets (COVID-QF)
COVID-19的快速全球传播推动了大数据分析的创新工具。这些指导了卫生行业所有领域的组织跟踪和最大限度地减少病毒的影响。研究人员需要通过人工智能、机器学习和自然语言处理来检测冠状病毒，并对这种疾病有一个完整的了解。COVID-19发生在世界上不同的国家，只有大数据应用和NOSQL数据库的工作才适合。有很多平台用于处理NOSQL数据库模型，如：Spark，H2O和Hadoop HDFS/MapReduce，它们适合控制和管理大量数据。大型应用程序开发人员面临许多挑战，特别是那些通过不同API和查询使用混合数据模型处理COVID-19数据库的程序员。在这种情况下，本文提出了一个存储框架，用于处理COVID-19数据集的SQL和NOSQL数据库（COVID-QF），以便通过减少处理时间来处理和处理病毒在全球范围内传播引起的问题。对于NoSQL数据库，COVID-QF使用Hadoop HDFS/Map Reduce和Apache Spark。COVID-QF由三层组成：数据汇集层、存储层和查询处理层。数据收集在数据汇集层。存储层将数据划分为数据存储和处理块的集合，并将火花机的连接器与不同的数据库引擎连接，以减少存储和检索的时间。而处理层执行请求查询并发送结果。该框架使用了三个随时间增加的COVID-19数据集（COVID-19-Merging，COVID-19-inside-Hubei和…
2020-05-25 cs.DB cs.DC
ARM Wrestling with Big Data: A Study of Commodity ARM64 Server for Big Data Workloads
ARM处理器由于其良好的计算能量比在过去十年中主导了移动终端市场。在这个云数据中心和大数据分析的时代，人们越来越关注节能处理，而不仅仅是高吞吐量计算。ARM的第一个商品服务器级处理器是最近的AMD A1100系列处理器，基于64位ARM Cortex A57架构。在本文中，我们研究了基于此ARM64 CPU的服务器的性能和能效，相对于运行AMD Opteron 3300系列x64 CPU的可比服务器，用于大数据工作负载。具体来说，我们在Apache Hadoop v2.7上以伪分布式设置研究了英特尔HiBench Web、查询和机器学习基准套件，数据大小可达$20GB$文件、$5M$网页和$500M$元组。我们的研究结果表明，ARM64服务器的运行时性能与基于整数的工作负载（如Sort和Hive查询）的x64服务器相当，只有在没有充分利用数据并行时，才落后于PageRank等浮点密集型基准测试。我们还看到，ARM 64服务器消耗$\frac{1}{3}^{rd}$能量，并且具有比x64服务器低$50-71\%$的能量延迟积（EDP）。这些结果为托管大数据工作负载的ARM64数据中心提供了降低运营成本的希望，同时为进一步分析提供了机会。
2017-09-09 cs.DC
S2RDF: RDF Querying with SPARQL on Spark
RDF以其灵活、通用的类图数据模型成为语义数据发布的主流。然而，RDF数据汇集的规模不断增加，使得在一台机器上存储和处理它们变得越来越不可行，从而提高了对分布式方法的需求。我们不构建独立但封闭的分布式RDF存储，而是支持使用现有的基础设施进行大数据处理，例如Hadoop。然而，SPARQL查询性能是一个主要的挑战，因为这些平台不是为地面RDF处理而设计的。因此，现有的基于Hadoop的方法通常倾向于某些查询模式形状，而其他形状的性能显着下降。在本文中，我们描述了一种新的RDF数据的关系分区模式称为ExtVP，使用半连接为基础的预处理，类似于连接索引的概念，在关系数据库，有效地减少查询输入的大小，无论其模式的形状和直径。我们的原型系统S2RDF构建在Spark之上，并使用其关系接口在ExtVP上执行SPARQL查询。我们使用最近的WatDiv测试套件，与最先进的SPARQL on Hadoop方法相比，展示了其卓越的性能。S2RDF在十亿个三元组RDF图上实现了大多数查询的次秒运行时间。
2016-01-27 cs.DB cs.DC
A Dwarf-based Scalable Big Data Benchmarking Methodology
与传统的为每个可能的工作负载创建新的基准或代理的基准测试方法不同，本文提出了一种可扩展的大数据基准测试方法。在各种各样的大数据分析工作负载中，我们确定了八个大数据侏儒，每个都捕捉到了每类计算单元的共同需求，同时与单独的实现合理地分离。我们在不同的软件栈上实现了八个小矮人，例如，OpenMP、MPI、Hadoop作为侏儒组件。为了架构模拟的目的，我们构建和调整大数据代理基准使用有向无环图（DAG）的侏儒组件与不同权重的组合，以模仿BigDataBench中的基准。我们的代理基准测试保留了微体系结构，内存和I/O特性，它们将模拟时间缩短了100秒，同时在X86 64和ARMv 8处理器上保持平均微体系结构数据准确度超过90%。我们将很快开源大数据侏儒组件和代理基准。
2017-11-09 cs.AR cs.DC
Cyberattack Data Analysis in IoT Environments using Big Data
针对物联网数据集难以覆盖真实网络攻击的问题，本文利用 Apache Hadoop 与 Hive 分析安全漏洞，识别攻击行为、流量异常和 TCP 标志等模式，强调大数据平台对物联网安全的重要性。
2024-06-14 cs.CR cs.DC
