Network Traffic Analysis:Hadoop Pig vs Typical MapReduce
大数据分析在当今的场景中已经变得非常流行，并且大数据的操纵已经获得了数据分析领域研究人员的热切关注。大数据分析目前被认为是许多计算和统计部门的一个组成部分。因此，数据分析的新方法每天都在发展。成千上万的交易请求处理和电子商务，电子银行，电子购物车等相关的不同网站每天处理网络流量和网络日志分析来发挥至关重要的作用，在这种情况下，Hadoop可以被建议作为一个有效的解决方案，用于处理从交换机收集的Netflow数据，以及在固定的时间间隔内的网站访问日志。
2013-12-19 cs.DC
Auto Tuning of Hadoop and Spark parameters
TB、PB或更高级别的数据被称为大数据。这些数据无法使用传统的数据库软件进行处理，因此需要大数据平台。通过结合各种大数据应用程序和实用程序的功能和特性，大数据平台形成了一个单一的解决方案。它是一个帮助开发、部署和管理大数据环境的平台。Hadoop和Spark是Apache提供的两个开源大数据平台。这两个平台都有许多配置参数，这些参数可能会对执行时间、准确性等产生不可预见的影响。手动调整这些参数可能会很麻烦，因此需要自动调整它们。在研究和分析了前人在自动调整这些参数方面的各种工作之后，本文提出了两种算法--网格搜索和受控随机搜索。本文研究的性能指标是执行时间。这些算法有助于自动调整参数。实验结果表明，通过网格搜索和受控随机搜索，Hadoop的执行时间分别减少了70%和50%，Spark的执行时间分别减少了81.19%和77.77%。
2021-11-04 cs.DC
Optimization and analysis of large scale data sorting algorithm based on Hadoop
在处理海量数据排序时，我们通常使用Hadoop，这是一个框架，允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。基于Hadoop的MapReduce中的shuffle和sort阶段是实现大数据排序的常用方法。然而，如果我们直接使用它，效率可能非常低，负载不平衡可能是一个大问题。本文对一种基于Hadoop的大规模数据排序算法进行了优化和分析的实验研究。为了达到优化，我们使用了两轮以上的MapReduce。在第一轮中，我们使用MapReduce随机抽取样本。然后，我们使用另一个MapReduce根据第一轮的结果对数据进行统一排序。实验表明，在大规模数据排序时，使用优化后的算法比MapReduce的shuffle算法效果更好。
2015-06-01 cs.DC
Efficient Support of Big Data Storage Systems on the Cloud
由于其相对于传统数据中心的优势，云基础设施的使用量迅速增长。其中包括公共云（例如，Amazon EC2）或私有云，例如使用OpenStack部署的云。在许多众所周知的基础设施中，例如OpenStack和CloudStack，一个共同的因素是网络存储用于存储持久数据。然而，传统的大数据系统，包括Hadoop，出于高性能和低成本的原因，将数据存储在商品本地存储中。我们提出了一种使用本地存储在OpenStack上支持Hadoop的架构。随后，我们使用Openstack和Amazon上的基准测试来表明，对于Hadoop的支持，本地存储具有更好的性能和更低的成本。我们得出结论，云系统应该支持持久数据的本地存储（除了网络存储之外），以便为Hadoop和其他大数据系统提供有效的支持
2014-11-27 cs.DC
Evaluating Hadoop Clusters with TPCx-HS
大数据平台的复杂性和多样性不断增加，使得所有系统用户正确设置和操作系统变得既困难又耗时。另一个挑战是比较平台，以便为特定应用选择最合适的平台。所有这些因素都促使人们需要一个标准化的大数据基准，以帮助用户进行平台评估。就在最近，TPCx-HS [1][2]作为第一个标准化的大数据基准被发布，旨在对Hadoop集群进行压力测试。本研究的目的是评估和比较网络设置如何影响Hadoop集群的性能。特别是，实验是使用由相同的Cloudera Hadoop Distribution（CDH）集群设置使用的共享和专用1Gbit网络进行的。TPCx-HS基准测试是非常网络密集型的，用于压力测试和比较两种集群设置。所有呈现的结果都是通过使用官方可用的基准版本[1]获得的，但它们与官方报告的结果不具有可比性，并且是作为实验评估，未经任何外部组织审核。正如预期的那样，专用1Gbit网络设置的执行速度比共享1Gbit设置快得多。然而，令人惊讶的是，这两种集群设置之间的价格差异可以忽略不计，这带来了成倍的性能回报。
2015-10-27 cs.DC
Efficient Big Text Data Clustering Algorithms using Hadoop and Spark
文档聚类是一种传统的，高效的，但相当有效的文本挖掘技术，当我们需要得到一个更好的洞察力的文件集合，可以分组在一起。K-Means算法和分层凝聚聚类（HAC）算法是两种最知名和最常用的聚类算法;前者由于其低时间成本，后者由于其准确性。然而，即使在大规模集合的文本聚类中使用K-Means也会导致不可接受的时间成本。在本文中，我们首先解决了一些最有价值的方法，在这样的“大数据”（大规模）集合的文档聚类。然后，我们提出两个非常有希望的替代方案：（a）现有的基于K-Means的快速聚类技术的变体（称为BigKClustering - BKC），使得其可以应用于文档聚类，以及（b）基于Buckshot算法的定制版本的混合聚类方法，它首先对输入数据集的样本应用层次聚类过程，然后将结果用作K-其余文档的基于均值的分配，迭代次数很少。我们还在MapReduce模型中对所提出的技术进行了高效的调整，然后在真实的集群环境中使用Apache Hadoop和Spark进行了实验测试。正如它出来的实验，他们都导致可接受的聚类质量以及显着的时间改进（与K-Means相比，特别是基于Buckshot的算法），从而构成了非常有前途的替代大文档集合。
2021-12-01 cs.DC
FAIR: A Hadoop-based Hybrid Model for Faculty Information Retrieval System
在数据和知识不断膨胀的时代，我们缺乏一个集中的系统来映射所有的院系到他们的研究工作。这个问题在过去没有得到解决，学生与他们领域的正确教师联系变得具有挑战性。由于我们有这么多的学院和院系，这属于大数据问题的范畴。在本文中，我们提出了一个模型，该模型工作在分布式计算环境下，以处理大数据。该模型使用apache spark作为执行引擎，hive作为数据库。结果在连接到Apache Hive的Tableau的帮助下可视化，以实现分布式计算。
2017-06-25 cs.DC
Performance Analysis of Apriori Algorithm with Different Data Structures on Hadoop Cluster
从海量数据集中挖掘频繁项集一直是数据采掘的一个重要问题。Apriori算法是最流行、最简单的频繁项集挖掘算法。为了提高Apriori的效率和可扩展性，已经提出了许多算法来解决高效数据结构的设计，最小化数据库扫描以及并行和分布式处理。MapReduce是Hadoop集群上处理大数据集的并行分布式技术。为了挖掘大数据集，有必要在这种新的范式上重新设计数据采掘算法。在本文中，我们实现了三种变体的Apriori算法使用数据结构哈希树，trie和哈希表trie，即trie与MapReduce范式上的哈希技术。本文着重研究了这三种数据结构对Hadoop集群上Apriori算法的重要意义，这一点还没有引起足够的重视。在真实数据集和人工合成数据集上进行的实验表明，哈希表trie数据结构在执行时间上远远优于trie和hash树。此外，哈希树的性能变得最差。
2015-11-22 cs.DC
Performance Benefits of DataMPI: A Case Study with BigDataBench
Apache Hadoop和Spark在大数据处理和分析方面越来越突出。两者都在互联网公司中广泛部署。另一方面，高性能数据分析需求促使学术界和工业界采用HPC中最先进的技术来解决大数据问题。最近，我们提出了一个基于键值对的通信库DataMPI，它扩展了MPI以支持Hadoop/Spark之类的大数据计算作业。本文使用BigDataBench这一大数据基准测试套件，对Hadoop、Spark和DataMPI的性能和资源利用率特征进行了全面的研究。从我们的实验中，我们观察到DataMPI的作业执行时间分别比Hadoop和Spark的作业执行时间提高了55%和39%。大部分好处来自DataMPI中的高效通信机制。我们还注意到，DataMPI的资源（CPU，内存，磁盘和网络I/O）利用率也比其他两个框架更有效。
2014-03-14 cs.DC cs.PF
Technical Report: On the Usability of Hadoop MapReduce, Apache Spark & Apache Flink for Data Science
面向云计算的分布式数据处理平台是大规模数据分析的重要工具。Apache Hadoop MapReduce已经成为这个领域的事实标准，尽管它的编程接口相对较低，即使是简单的分析任务也需要许多实现步骤。这导致了面向Apache的高级平台的开发，最突出的是Apache Spark和Apache Flink。这些平台不仅旨在通过改进内存处理来提高性能，而且特别提供了内置的高级数据处理功能，例如过滤和连接运算符，这应该使数据分析任务比普通的Hadoop MapReduce更容易开发。但事实果真如此吗？本文从可用性的角度比较了三个主要的分布式数据处理平台：Apache Hadoop MapReduce、Apache Spark和Apache Flink。我们报告了一组硕士生的可用性研究的设计，执行和结果，他们正在学习和使用所有三个平台，以解决数据科学背景下的不同用例集。我们的研究结果表明，Spark和Flink是MapReduce的首选平台。在参与者中，Spark和Flink作为面向批量的大数据分析平台之间的感知偏好或开发时间没有显着差异。这项研究开始探索使大数据平台对数据科学用户更有效或更不有效的因素。
2018-03-28 cs.DC
Bandwidth-Aware Scheduling with SDN in Hadoop: A New Trend for Big Data
软件定义网络（SDN）是一种革命性的网络架构，它将网络控制功能与底层设备分离开来，是帮助企业构建更易于管理的数据中心的一种日益增长的趋势，其中大数据处理成为应用的重要组成部分。为了并行处理大规模数据，MapReduce与一个名为Hadoop的开源实现被提出。在实际的Hadoop系统中，有一种对整体性能有着重要影响的问题被称为NP完全最小生成跨度问题。一个主要的解决方案是在数据本地节点上分配任务以避免链路占用，因为网络带宽是稀缺资源。提出了许多用于增强数据局部性的方法，例如HDS和最先进的调度器BAR。然而，所有这些都忽略了在全局视图中分配任务或忽略可用带宽作为调度的基础。在本文中，我们提出了一个启发式的带宽感知任务调度器BASS结合Hadoop与SDN。它不仅能够保证全局视图中的数据局部性，而且能够以优化的方式有效地分配任务。实例和实验都表明，BASS在作业完成时间方面具有最好的性能。据我们所知，BASS是第一个将SDN人才用于大数据处理的公司，我们相信它为大规模数据处理指明了新的趋势。
2014-03-12 cs.DC cs.NI cs.PF
Addressing NameNode Scalability Issue in Hadoop Distributed File System using Cache Approach
Hadoop是一种分布式批处理基础设施，目前正用于大数据管理。Hadoop的基础由Hadoop分布式文件系统或HDFS组成。HDFS提供了一个客户-服务器的架构，由一个NameNode和许多DataNode组成。NameNode存储DataNode的元数据，DataNode存储应用程序数据。NameNode将文件系统元数据保存在内存中，因此对文件系统中文件数量的限制由NameNode上的内存量控制。因此，当NameNode上的内存已满时，就没有进一步增加集群容量的机会了。在本文中，我们使用了缓存的概念来处理NameNode可伸缩性的问题。本文的重点是强调我们的方法，试图增强当前的架构，并确保NameNode不会很快达到其阈值。
2014-11-25 cs.DC
FASTA/Q Data Compressors for MapReduce-Hadoop Genomics:Space and Time Savings Made Easy -- Version 1
动机：基因组数据的存储是生命科学的主要成本，主要通过专门的数据压缩方法有效地解决。出于数据生产丰富的同样原因，大数据技术的使用被视为基因组数据存储和处理的未来，MapReduce-Hadoop是领导者。令人惊讶的是，Hadoop中没有一个专用的FASTA/Q压缩器。事实上，他们在那里的部署并不是立即的。这样的艺术状态是有问题的。结果：我们提供了两个不同方向的主要进展。方法上，我们提出了两种通用的方法，与相应的软件，这使得很容易部署一个专门的FASTA/Q压缩器内MapReduce-Hadoop处理存储在分布式Hadoop文件系统的文件，Hadoop的知识很少。实际上，我们提供的证据表明，在Hadoop中部署这些专用压缩器（到目前为止还没有）可以节省大量成本，即，在大型植物基因组上，HDFS数据块减少30%（一个数据块= 128 MB），I/O时间至少加快1.5倍，网络通信时间与使用Hadoop中可用的通用压缩器相当或减少。最后，我们观察到这些结果也适用于Apache Spark框架，当用于处理存储在Hadoop文件系统上的FASTA/Q文件时。
2020-07-27 cs.DC
Benchmarking Apache Spark and Hadoop MapReduce on Big Data Classification
Istanbul Technical University（伊斯坦布尔理工大学）；ASELSAN A.S.（阿瑟尔桑公司）
大多数流行的大数据分析工具都在不断发展，以适应其工作环境，从大量非结构化数据中提取有价值的信息。数据采掘技术能够从大数据中过滤这些有用的信息，这导致了大数据采掘这个术语。将数据范围从小型、结构化和稳定的数据转变为海量、非结构化和快速变化的数据带来了许多数据管理挑战。不同的工具由于其体系结构的限制，以自己的方式应对这些挑战。在根据手头的任务选择正确的数据管理框架时，需要考虑许多参数。在本文中，我们为两个广泛使用的大数据分析工具，即Apache Spark和Hadoop MapReduce，在一个共同的数据采掘任务上，即，分类.我们采用了几个评估指标来比较基准框架的性能，如执行时间，准确性和可扩展性。这些指标专门用于测量分类任务的性能。据我们所知，在文献中没有以前的研究，采用所有这些指标，同时考虑到特定任务的关注。我们发现Spark在训练模型时比MapReduce快5倍。然而，Spark的性能会随着输入工作负载的增大而降低。通过额外的集群扩展环境可以显著提高Spark的性能。然而，在Hadoop中没有观察到类似的增强。MapReduce的机器学习实用程序往往比Spark具有更好的准确性分数，即使在小规模的数据集中也是如此，大约3%。
2022-09-21 cs.DC cs.LG
Performance Evaluation of Distributed Computing Environments with Hadoop and Spark Frameworks
近年来，由于信息和通信技术的快速发展，数据以雪崩的方式产生和消耗。分布式计算通过将计算分布在多个计算节点之间来为分析和处理这样的大数据创建先决条件。在这项工作中，性能的分布式计算环境的Hadoop和Spark框架的基础上估计真实和虚拟版本的集群。作为测试任务，我们选择了在各种大小的文本中进行单词计数的经典用例。结果发现，运行时间随着数据集的大小增长得非常快，甚至比幂函数更快。至于集群实现的真实版本和虚拟版本，Hadoop和Spark框架的这种趋势是相似的。此外，加速值显着降低数据集大小的增长，特别是对于虚拟版本的集群配置。物联网和多模式（视觉、声音、触觉、神经和大脑计算、肌肉和眼动追踪等）产生的数据不断增长的问题互动渠道介绍。在这个问题的背景下，当前对Hadoop和Spark框架在真实和虚拟集群配置中的运行时间和加速的观察对于适当的扩展和有效的作业管理非常有用，特别是对于机器学习和深度学习应用程序，其中大数据广泛存在。
2017-07-16 cs.DC cs.PF
HybridTune: Spatio-temporal Data and Model Driven Performance Diagnosis for Big Data Systems
随着人们对大数据系统的兴趣越来越大，分析和促进其性能改进变得越来越重要。虽然有很多研究工作来提高大数据系统的性能，但有效地分析和诊断这些大规模分布式系统的性能瓶颈仍然是一个重大挑战。本文提出了一种基于大数据应用阶段性和分布性的时空关联分析方法，能够对多层次性能数据进行细粒度关联。在相关数据的基础上，针对不同的性能瓶颈，如工作负载不平衡、数据倾斜、异常节点和离群点度量，定义了一些先验规则，选择特征并对相应的数据集进行向量化。然后，我们利用数据和模型驱动的算法进行瓶颈检测和诊断。此外，我们设计和开发了一个轻量级的，可扩展的工具HybridTune，并验证了我们的工具与BigDataBench的诊断有效性的几个基准实验中，优于国家的最先进的方法。实验结果表明，该算法对异常/离群点的检测准确率达到80%左右。最后，我们给出了几个Spark和Hadoop的应用案例，展示了HybridTune如何支持用户对Spark和Hadoop应用进行高效的性能分析和诊断，并通过实践证明HybridTune可以帮助用户发现性能瓶颈并提供优化建议。
2017-11-21 cs.DC
A Cost-based Storage Format Selector for Materialization in Big Data Frameworks
现代大数据框架（如Hadoop和Spark）允许多个用户同时进行大规模分析。通常，用户会为他们的分析任务部署数据密集型工作流（DIW）。不同用户的这些DIW共享许多公共部分（即50-80%），这些公共部分可以被具体化以在将来的执行中重用。物化提高了DIW的整体处理时间，也节省了计算资源。用于具体化的当前解决方案通过使用固定的数据格式在分布式文件系统（DFS）上存储数据。然而，一个固定的选择可能不是每种情况下的最佳选择。例如，众所周知，不同的数据分段策略（即，水平、垂直或混合）根据后续操作的访问模式表现得更好或更差。在本文中，我们提出了一种基于成本的方法，有助于在任何情况下决定最合适的存储格式。一个通用的基于成本的存储格式选择器框架，考虑到三个碎片化策略。然后，我们使用我们的框架来实例化特定Hadoop数据格式（即SequenceFile，Avro和Parquet）的成本模型，并使用实际用例对其进行测试。我们的解决方案平均比SequenceFile加速33%，比Avro加速11%，比Parquet加速32%，总体而言，它提供了高达25%的性能增益。
2018-06-11 cs.DC
Does Big Data Require Complex Systems? A Performance Comparison Between Spark and Unicage Shell Scripts
大数据范式的特点是需要收集和处理大量数据集，以各种格式以极快的速度到达系统。Spark是一种广泛使用的大数据处理系统，可以与Hadoop集成，为开发人员提供强大的抽象，例如通过HDFS的分布式存储和通过YARN的资源管理。当所有必需的配置完成后，Spark还可以提供质量属性，如可扩展性、容错和安全性。然而，所有这些好处都是以复杂性为代价的，具有高内存要求和额外的处理延迟。另一种方法是使用精益软件栈，如Unicage，将大部分控制权委托给开发人员。在这项工作中，我们在IBM Cloud托管的集群环境中评估了Spark与Unicage的大数据处理性能。进行了两组实验：非结构化数据集的批处理和结构化数据集的查询处理。输入数据集的大小很大，从64 GB到8192 GB不等。结果表明，对于grep和select等搜索工作负载，Unicage脚本的性能优于Spark，但是Hadoop堆栈中的分布式存储和资源管理的抽象使Spark能够执行具有记录间依赖性的工作负载，例如排序和连接，并具有正确的输出。
2022-12-28 cs.DC
Autonomic Architecture for Big Data Performance Optimization
Carleton University（卡尔顿大学）；Toronto Metropolitan University（多伦多都会大学）
本文提出 KERMIT 自主架构，可在线自动调优 Spark/Hadoop，识别多用户与新型工作负载并适应漂移，性能显著优于人工经验调优。
2023-03-17 cs.AI cs.DC
A New Framework for Expressing, Parallelizing and Optimizing Big Data Applications
Forelem框架最初是作为一种使用为编译器开发的优化技术来优化数据库查询的方法而引入的。自推出以来，Forelem已被证明是更通用的，并适用于数据库应用程序之外。在本文中，我们展示了原始的Forelem框架可以用于表达和优化大数据应用程序，更具体地说：k-Means聚类和PageRank，从而自动生成这些应用程序的实现。这些实现比k-Means和PageRank的最先进的手写MPI C/C++实现更有效，并且显著优于最先进的Hadoop实现。
2022-03-02 cs.DC
ALOJA: A Framework for Benchmarking and Predictive Analytics in Big Data Deployments
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Microsoft Corporation（微软公司）；Microsoft Research（微软研究院）
本文介绍了ALOJA项目及其分析工具，这些工具利用机器学习来解释大数据基准性能数据并进行调优。ALOJA是BSC和微软长期合作的一部分，旨在自动化大数据部署的成本效益特征，目前专注于Hadoop。Hadoop提供了一个复杂的运行时环境，其中成本和性能取决于大量的配置选择。ALOJA项目创建了一个开放的、供应商中立的存储库，包含超过40，000个Hadoop作业执行及其性能详细信息。该存储库配有测试平台和工具，用于部署和评估不同硬件配置、参数和云服务的成本效益。尽管ALOJA的早期成功，一个全面的研究需要自动化的建模过程，以允许大型和资源受限的搜索空间的分析。预测分析扩展ALOJA-ML提供了一个自动化系统，允许通过从观察到的执行中建模环境来进行知识发现。由此产生的模型可以预测执行行为，预测新配置和硬件选择的执行时间。这还可以通过优先执行来实现基于模型的异常检测或有效的基准指导。此外，社区可以从ALOJA数据集和框架中受益，以改进大数据应用程序的设计和部署。
2015-11-06 cs.DC cs.LG
Analyzing Big Datasets of Genomic Sequences: Fast and Scalable Collection of k-mer Statistics
由于下一代测序技术产生的大量数据，基于映射-缩减编程范式的分布式方法已经开始在生物信息学领域被提出。然而，使用map-reduce和相关的大数据技术和框架（例如，Apache Hadoop和Spark）在效率和有效性方面不一定会产生令人满意的结果。我们讨论了分布式和大数据管理技术的发展如何影响了生物序列的大数据集的分析。此外，我们展示了如何选择不同的参数配置和仔细工程的软件相对于所考虑的特定框架可能是至关重要的，以实现良好的性能，特别是在非常大量的数据。我们选择k-mer计数作为我们分析的案例研究，并Spark作为实现FastKmer的框架，FastKmer是一种从大量生物序列中提取k-mer统计的新方法，具有任意k值。FastKmer最相关的贡献之一是引入了一个模块，用于在计算集群的节点上平衡统计数据聚合工作负载，以克服数据偏斜，同时允许充分利用底层分布式架构。我们还提出了一个比较实验分析的结果，表明我们的方法是目前最快的基于大数据技术，同时表现出非常好的可扩展性。我们提供的证据表明，使用技术，如Hadoop或Spark的生物序列的大数据集的分析是富有成效的，只有当架构的细节和所考虑的框架的特殊方面仔细考虑到的算法设计和实施。
2018-07-04 cs.DC
Development of a Big Data Framework for Connectomic Research
本文概述了一种新的基于Hadoop架构的分布式处理和脑电子显微镜分析的研究和开发。我们展示了一个新的C++库的开发，用于实现3D图像分析技术，并部署在分布式地图/减少框架。我们在Open Connectome Project的Kasthuri 11数据集的一个子集上展示了我们的新框架。
2015-01-25 cs.CE cs.DC
OCEP: An Ontology-Based Complex Event Processing Framework for Healthcare Decision Support in Big Data Analytics
针对大数据环境下复杂事件处理面临的语义异构与互操作挑战，提出基于本体的OCEP框架，集成RDF、SPARQL及Hadoop生态，实现医疗事件流推理，检测准确率达85%，支持早期疾病检测与决策。
2025-03-27 cs.DC
Architecture of processing and analysis system for big astronomical data
这项工作探索了使用部署在云中的大数据技术来处理天文数据。我们已经将Hadoop和Spark应用于共同添加天文图像的任务。我们比较了这些框架的开销和执行时间。我们的结论是，这两个框架的性能一般是不相上下。Spark API更灵活，可以轻松构建天文数据处理管道。
2017-03-31 astro-ph.IM cs.DC
A Data Structure Perspective to the RDD-based Apriori Algorithm on Spark
近年来，许多研究者提出了许多高效、可扩展的大数据频繁项集挖掘算法。首先，提出了Hadoop集群上基于MapReduce的频繁项集挖掘算法。虽然Hadoop已经被开发成一个处理大数据的集群计算系统，但是由于其高I/O以及在磁盘上写入和读取中间结果，Hadoop的性能并不能满足数据采掘迭代算法的期望。因此，Spark被开发为另一种集群计算基础设施，由于其内存计算，它比Hadoop快得多。它非常适合迭代算法，并支持数据的批处理，交互式，迭代和流处理。许多频繁项集挖掘算法在Spark上被重新设计，其中大部分都是基于Apriori的。所有这些基于Spark的Apriori算法都使用Hash Tree作为底层数据结构。本文研究了基于Spark的Apriori的各种数据结构的效率。虽然，以前已经从数据结构的角度进行了研究，但是对于基于MapReduce的Apriori，必须在Spark的分布式计算环境下进行重新研究。所考虑的底层数据结构是哈希树、Trie和哈希表Trie。在基准数据集上的实验结果表明，在Spark的分布式计算环境下，基于Spark的Apriori with Trie和哈希表Trie的性能几乎相当，但都比Hash Tree高出许多倍。
2019-08-04 cs.DB cs.DC
BigOP: Generating Comprehensive Big Data Workloads as a Benchmarking Framework
大数据被认为是公司、组织甚至国家的专有资产。把大数据变成真正的宝藏，需要大数据系统的支撑。各种商业和开源产品已经被释放用于大数据存储和处理。当大数据用户面临选择最适合他们需求的系统时，大数据系统开发人员面临的问题是如何根据一般大数据处理需求评估他们的系统。系统基准测试是满足上述需求的经典方法。然而，现有的大数据基准测试要么无法代表各种大数据处理需求，要么只针对一个特定的平台，例如Hadoop。在本文中，与我们的工业合作伙伴，我们提出了BigOP，一个端到端的系统基准测试框架，具有代表性的操作集，工作负载模式和规定的测试的抽象。BigOP是开源大数据基准测试项目BigDataBench的一部分。BigOP的抽象模型不仅指导了BigDataBench的开发，还支持自动生成具有全面工作负载的测试。我们通过实现一个自动测试生成工具和对三个广泛使用的大数据处理系统，即Hadoop，Spark和MySQL集群进行基准测试来说明BigOP的可行性。针对三种不同的应用场景规定了三个测试。测试涉及关系数据、文本数据和图形数据，以及所有操作和工作负载模式。我们按照测试规范报告结果。
2017-12-27 cs.DB cs.DC cs.PF
Micro-level Modularity of Computaion-intensive Programs in Big Data Platforms: A Case Study with Image Data
随着Hadoop、Spark和Dataflow等大数据平台的快速发展，正在开发许多旨在为最终用户提供用于大规模数据分析的交互式环境的工具（例如，IQmulus）。然而，使用这些平台存在挑战。例如，开发人员发现在开发交互式和可重用的数据分析工具时很难使用这些平台。更好地支持交互性和可重用性的一种方法是使用计算密集型任务的微观模块化，将数据操作拆分为独立的可组合模块。然而，将数据和计算密集型任务模块化为独立组件与传统编程不同，例如，当访问大规模数据时，控制组件之间的数据流，并构造计算逻辑。在本文中，我们提出了一个案例研究模块化现实世界的计算密集型任务，研究模块化处理大规模图像数据的影响。为此，我们综合图像数据处理模式，并提出了一个统一的模块化模型，有效地实现计算密集型任务的数据并行框架，考虑再现性，可重用性和定制。基于在Spark和Hadoop集群上运行图像处理任务的实验结果，我们提出了使用模块化模型的各种见解。
2019-10-20 cs.DC cs.SE
Efficient and Reliable Hybrid Cloud Architechture for Big Data
本文的目标是提出一个云计算框架，这是可行的，必须处理大量的数据。在我们的原型系统中，我们考虑了孟加拉国的国家ID数据库结构，这是由孟加拉国选举委员会准备。使用这个数据库，我们提出了一个交互式的图形用户界面孟加拉人搜索（BDPS），使用的混合结构的云计算处理的Apache Hadoop的数据库是由HiveQL实现。该基础设施分为两部分：基于Eucalyptus的本地托管云和在知名的Amazon Web Service（AWS）上实现的远程云。孟加拉方面的一些常见问题，其中包括数据流量拥塞，服务器超时和服务器停机问题也进行了讨论。
2014-01-09 cs.DC
Scalable Analysis for Covid-19 and Vaccine Data
本文解释了用于提取和分析Covid-19疫苗数据的可扩展方法。利用Hadoop和Hive等大数据，我们收集并分析了COVID-19确诊、死亡和疫苗接种数据集的海量数据集。数据大小约为3.2千兆字节。我们表明，使用大数据存储和处理海量数据是可能的。本文进行了时空分析，并通过可视化地图、图表和饼图将调查结果可视化。我们举例说明，接种疫苗越多，确诊病例越少。
2021-08-06 cs.DC
Call Trace and Memory Access Pattern based Runtime Insider Threat Detection for Big Data Platforms
Hadoop和Spark等大数据平台正在被学术界和工业界广泛采用。在本文中，我们提出了一个运行时入侵检测技术，了解和工作根据这样的分布式计算平台的属性。所提出的方法是基于运行时分析的系统和库调用和内存访问模式的任务上运行的datanode（奴隶）。首先，大数据系统的主数据阳极为它执行的每个任务创建行为配置文件。行为配置文件包括（a）所进行的系统和库调用的跟踪，以及（b）表示在任务执行期间进行的私有和共享内存访问的大小的序列。然后，进程行为配置文件与其他副本数据节点共享，这些副本数据节点被调度在相同数据的副本上执行相同的任务。接下来，这些副本数据节点在嵌入在接收到的行为配置文件中的信息的帮助下验证其本地任务。这通过两个步骤实现：（i）比较系统和库调用元数据，以及（ii）内存访问模式的统计匹配。最后，datanode分享他们的观察结果以达成共识，如果发现任何差异，则向namenode（主节点）报告入侵。在一个小型Hadoop集群上使用默认的MapReduce示例对所提出的解决方案进行了测试，结果表明，我们的方法可以检测到传统分析指标无法检测到的内部攻击。
2016-11-22 cs.CR cs.DC
Big Data at HPC Wales
本文介绍了一种在HPC系统上处理大数据工作负载的自动化方法。我们描述了一种解决方案，该解决方案在HPC环境中动态创建基于YARN的统一集群，而无需配置和分配专用的Hadoop集群。最终用户可以选择在支持的框架的任意组合中编写解决方案，该解决方案可以从几个核心无缝扩展到数千个核心。这种环境的耦合为应用程序创建了一个平台，以利用本地HPC解决方案以及大数据框架。用户将获得多种语言的HPC Wales API，这将使他们能够将此流集成到他们的环境中，从而确保HPC访问的传统方式不会成为瓶颈。我们描述的行为的集群创建和性能结果Terasort。
2015-06-30 cs.DC
A Survey of Big Data Machine Learning Applications Optimization in Cloud Data Centers and Networks
这篇调查文章回顾了与在云数据中心和网络中部署和优化大数据应用程序以及机器学习算法相关的挑战。MapReduce编程模型及其广泛使用的开源平台Hadoop正在开发大量基于云的服务和大数据应用程序。因此，MapReduce和Hadoop引入了创新、高效和加速的密集型计算和分析。这些服务通常利用地理分布的数据中心内的商品集群，并提供具有成本效益和弹性的解决方案。然而，迁移、存储和处理大数据的数据中心之间和内部的流量不断增加，这正在成为一个瓶颈，需要能够减少拥塞和功耗的增强型基础设施。此外，具有请求各种大数据服务的多个租户的企业面临的挑战是，需要以降低的运行成本和功耗来优化其资源的租赁，同时避免利用不足或过度利用。在本调查中，我们总结了各种大数据编程模型和应用程序的特点，并对云计算基础设施以及虚拟化和软件定义网络等相关技术进行了审查，这些技术越来越多地支持大数据系统。此外，我们还简要回顾了数据中心的拓扑结构、路由协议和流量特征，并强调了大数据对云数据中心及其支持网络的影响。在各种应用程序性能指标和/或基础设施能效方面，我们致力于优化处理大数据的系统。最后，提出了一些启示和未来的研究方向。
2019-10-01 cs.DC cs.LG cs.NI
Generalized formal model of big data
本文详细介绍了大数据技术的基本特征。分析了现有的“大数据”术语的定义。本文提出并描述了大数据广义形式模型的元素。分析了所提出的模型组件的应用特点。它描述了大数据技术和业务分析之间的根本区别。大数据由分布式文件系统Google文件系统技术、Cassandra、HBase、Lustre和MapReduce以及Hadoop编程结构和许多其他解决方案提供支持。根据麦肯锡研究所等专家的说法，在大数据的影响下，制造业，医疗保健，贸易，个人运动的管理和控制都发生了变化。
2019-05-04 cs.DB cs.DC
Observations on Factors Affecting Performance of MapReduce based Apriori on Hadoop Cluster
设计快速、可扩展的频繁项集挖掘算法一直是数据采掘中最突出和最有前途的问题。Apriori算法是频繁项集挖掘中应用最广泛、最流行的算法之一。在MapReduce框架上设计高效的算法来处理和分析大数据集是当前的研究热点。在本文中，我们专注于性能MapReduce的Apriori同构以及异构Hadoop集群。我们已经调查了一些因素，显着影响MapReduce的Apriori上运行在同构和异构Hadoop集群的执行时间。这些因素是算法和非算法改进所特有的。算法改进所考虑的特定因素是过滤的事务和数据结构。实验结果表明，一个合适的数据结构和过滤事务技术如何大大减少执行时间。非算法因素包括推测性执行、性能差的节点、数据局部性和数据块分布以及输入分割大小的并行性控制。我们已经针对这些因素采取了策略，并在我们的特定应用中微调了相关参数。实验结果表明，如果集群特定的参数得到照顾，那么有一个显着减少执行时间。此外，我们还讨论了Apriori的MapReduce实现可能会显着影响性能的问题。
2017-01-21 cs.DB cs.DC cs.DS
A Data Colocation Grid Framework for Big Data Medical Image Processing - Backend Design
在处理大型医学影像研究时，快速采用高性能网格计算资源变得非常重要。我们最近提出了一个“医学图像处理即服务”网格框架，该框架通过将计算移动到医学图像存储附近，提供了利用Apache Hadoop生态系统和HBase进行数据托管的前景。然而，该框架尚未被证明是易于使用的异构硬件环境。此外，该系统还没有验证时，考虑到各种多层次的分析在医学成像。我们的目标标准是（1）提高框架在异构集群中的性能，（2）在大型数据集上执行基于人口的汇总统计，以及（3）引入快速NoSQL查询的表设计方案。本文介绍了用于医学图像处理的Hadoop和HBase的后端接口应用程序接口设计。该API包括：上传，卸载，删除，负载均衡器和MapReduce模板。讨论了数据集摘要统计模型，并采用MapReduce范式实现了该模型.为了更好地利用MapReduce模型，我们引入了一个用于快速数据查询的HBase表方案。简而言之，从大学安全数据库中检索5153个T1图像，并用于凭经验访问具有224个异构CPU核的内部网格。三个实证实验结果的介绍和讨论：（1）负载均衡器的壁时钟时间比内置数据分配策略的框架提高了1.5倍;（2）在网格框架上对一个汇总统计模型进行了实证验证，并与部署标准Sun Grid Engine的集群进行了比较，壁时钟时间减少了8倍，资源时间减少了14倍，（3）当数据集相对较小时，HBase表方案提高了MapRe…
2017-12-22 cs.DC
A Big Data Architecture for Log Data Storage and Analysis
European Organisation for Nuclear Research（欧洲核子研究组织）
我们提出了一个体系结构，用于分析数据库连接日志在一个内部网，包括超过10,000个用户和相关设备的不同实例的数据库。我们的系统使用Flume代理将通知发送到Hadoop分布式文件系统进行长期存储，使用ElasticSearch和Kibana进行短期可视化，有效地创建了一个用于提取日志数据的数据湖。我们采用机器学习模型和一系列方法来过滤和处理数据中的指标，并旨在使用从该日志数据构建的特征向量来预测异常或离群值。
2018-12-01 cs.DC cs.LG
A Big Data Approach for Sequences Indexing on the Cloud via Burrows Wheeler Transform
University of Palermo（巴勒莫大学）
索引序列数据在精准医学的背景下非常重要，每天必须收集和分析大量的“组学”数据，以便对患者进行分类并确定最有效的治疗方法。在这里，我们提出了一种依赖于大数据技术的Burrows Wheeler变换计算算法，即，Apache Spark和Hadoop我们的方法是第一个分发索引计算而不仅仅是输入数据集的方法，允许充分利用可用的云资源。
2020-07-20 cs.AI cs.DC cs.DS
A Game-Theoretic Approach for Runtime Capacity Allocation in MapReduce
如今，许多公司都拥有大量的原始非结构化数据。在大数据支持技术中，MapReduce框架占据了中心地位，特别是其开源实现Apache Hadoop。出于成本效益的考虑，一种常见的方法需要在多个用户之间共享服务器集群。底层基础设施应该为每个用户提供公平的计算资源，确保满足服务水平协议（SLA）并避免浪费。在本文中，我们考虑两个数学规划问题，模型的Hadoop 2.x集群中的计算资源的最优分配，目的是开发新的容量分配技术，保证更好的性能在共享数据中心。我们的目标是在遵守SLA中规定的最后期限并避免与作业拒绝相关的处罚的同时大幅降低功耗。这种方法的核心是一个分布式算法的运行时容量分配，基于博弈论模型和技术，模仿MapReduce的动态交互的球员，即中央资源管理器和类管理器。
2017-01-17 cs.DC
ALOJA-ML: A Framework for Automating Characterization and Knowledge Discovery in Hadoop Deployments
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Microsoft Corporation（微软公司）；Microsoft Research（微软研究院）
本文介绍了ALOJA-机器学习（ALOJA-ML），它是ALOJA项目的扩展，使用机器学习技术来解释Hadoop基准性能数据和性能调优;在这里，我们详细介绍了方法、模型的有效性和初步结果。Hadoop提供了一个复杂的执行环境，其中成本和性能取决于大量的软件（SW）配置和多种硬件（HW）部署选择。这些结果伴随着一个测试平台和工具，用于部署和评估不同硬件配置、参数调整和云服务的成本效益。尽管ALOJA在专家指导的基准测试方面取得了早期成功，但很明显，真正全面的研究需要自动化建模过程，以便对大型和资源受限的搜索空间进行系统分析。ALOJA-ML提供了这样一个自动化系统，允许通过从一组广泛的配置参数中观察到的基准对Hadoop执行进行建模来进行知识发现。由此产生的性能模型可用于预测各种工作负载的执行行为;它们允许对新配置和硬件选择的执行时间进行“先验”预测，并且它们提供了基于模型的异常检测的途径。此外，这些模型可以有效地指导基准测试的探索，自动优先候选未来的基准测试。ALOJA-ML模型的见解可用于减少集群上的操作时间，加快数据采集和知识发现过程，重要的是，降低运行成本。除了从本工作中提出的方法中学习之外，社区还可以从ALOJA数据集、框架和衍生见解中受益，以改进大数据应用程序的设计和部署。
2015-11-06 cs.DC cs.LG
A Big Data Lake for Multilevel Streaming Analytics
School of Computing（计算机学院）
大型组织正在寻求创建新的体系结构和可扩展的平台，以有效地应对过去罕见的数据爆炸性带来的数据管理挑战。这些数据管理挑战主要由来自多种格式的各种源的高速流数据的可用性提出。数据范式的变化导致了新的数据分析和管理架构的出现。本文主要研究在一种称为数据湖的数据存储架构中以原始格式存储大容量、高速度和多样化的数据。首先，我们提出了我们的研究传统的数据仓库在处理最近的数据范式的变化的局限性。我们讨论并比较了可用于开发数据湖的不同开源和商业平台。然后，我们描述了我们的端到端数据湖设计和实施方法，使用Hadoop分布式文件系统（HDFS）在Hadoop数据平台（HDP）。最后，我们提出了一个现实世界的数据湖开发用例，用于数据流摄取，分段和多级流分析，它结合了结构化和非结构化数据。这项研究可以作为个人或组织计划为他们的用例实施数据湖解决方案的指南。
2020-09-25 cs.AI cs.DB cs.DC
Comparative Analysis of SpatialHadoop and GeoSpark for Geospatial Big Data Analytics
在这个数字化的世界里，每一个信息都被存储，数据呈指数级增长。据估计，数据每两年翻一番。地理空间数据是大数据场景的主要贡献者之一。有许多大数据分析工具。但并不是所有的大数据分析工具都有处理地理空间大数据的能力。本文介绍了目前流行的两种开源地理空间大数据分析工具Spatial- Hadoop和GeoSpark，它们可以有效地对地理空间大数据进行分析和处理。比较了SpatialHadoop和GeoSpark的架构视图。通过体系结构的比较，从执行时间和使用的数据量两个方面总结了这些工具的优缺点。
2017-02-21 cs.CY cs.DC
Big Data in HEP: A comprehensive use case study
几十年来，实验粒子物理学一直处于分析世界上最大数据集的最前沿。HEP社区是第一个为这项任务开发合适的软件和计算工具的社区。近年来，出现了统称为大数据技术的新工具包和系统，以支持行业中PB和EB数据集的分析。虽然HEP中的数据分析原理没有改变（过滤和转换实验特定的数据格式），但这些新技术使用不同的方法，并承诺对非常大的数据集进行全新的分析，并可能通过增加交互性来减少物理时间。在这次演讲中，我们提出了一个活跃的LHC运行2分析，用CMS探测器寻找暗物质，作为大数据技术的测试平台。我们直接比较了传统的基于NTuple的分析与在Hadoop生态系统上使用Apache Spark的等效分析。在这两种情况下，我们都从官方实验数据格式开始分析，并生成出版物物理图。我们将讨论每种方法的优点和缺点，并对需要进一步研究的问题进行展望。
2017-03-12 cs.DC
A Big Data Based Framework for Executing Complex Query Over COVID-19 Datasets (COVID-QF)
COVID-19的快速全球传播推动了大数据分析的创新工具。这些指导了卫生行业所有领域的组织跟踪和最大限度地减少病毒的影响。研究人员需要通过人工智能、机器学习和自然语言处理来检测冠状病毒，并对这种疾病有一个完整的了解。COVID-19发生在世界上不同的国家，只有大数据应用和NOSQL数据库的工作才适合。有很多平台用于处理NOSQL数据库模型，如：Spark，H2O和Hadoop HDFS/MapReduce，它们适合控制和管理大量数据。大型应用程序开发人员面临许多挑战，特别是那些通过不同API和查询使用混合数据模型处理COVID-19数据库的程序员。在这种情况下，本文提出了一个存储框架，用于处理COVID-19数据集的SQL和NOSQL数据库（COVID-QF），以便通过减少处理时间来处理和处理病毒在全球范围内传播引起的问题。对于NoSQL数据库，COVID-QF使用Hadoop HDFS/Map Reduce和Apache Spark。COVID-QF由三层组成：数据汇集层、存储层和查询处理层。数据收集在数据汇集层。存储层将数据划分为数据存储和处理块的集合，并将火花机的连接器与不同的数据库引擎连接，以减少存储和检索的时间。而处理层执行请求查询并发送结果。该框架使用了三个随时间增加的COVID-19数据集（COVID-19-Merging，COVID-19-inside-Hubei和…
2020-05-25 cs.DB cs.DC
ARM Wrestling with Big Data: A Study of Commodity ARM64 Server for Big Data Workloads
ARM处理器由于其良好的计算能量比在过去十年中主导了移动终端市场。在这个云数据中心和大数据分析的时代，人们越来越关注节能处理，而不仅仅是高吞吐量计算。ARM的第一个商品服务器级处理器是最近的AMD A1100系列处理器，基于64位ARM Cortex A57架构。在本文中，我们研究了基于此ARM64 CPU的服务器的性能和能效，相对于运行AMD Opteron 3300系列x64 CPU的可比服务器，用于大数据工作负载。具体来说，我们在Apache Hadoop v2.7上以伪分布式设置研究了英特尔HiBench Web、查询和机器学习基准套件，数据大小可达$20GB$文件、$5M$网页和$500M$元组。我们的研究结果表明，ARM64服务器的运行时性能与基于整数的工作负载（如Sort和Hive查询）的x64服务器相当，只有在没有充分利用数据并行时，才落后于PageRank等浮点密集型基准测试。我们还看到，ARM 64服务器消耗$\frac{1}{3}^{rd}$能量，并且具有比x64服务器低$50-71\%$的能量延迟积（EDP）。这些结果为托管大数据工作负载的ARM64数据中心提供了降低运营成本的希望，同时为进一步分析提供了机会。
2017-09-09 cs.DC
S2RDF: RDF Querying with SPARQL on Spark
RDF以其灵活、通用的类图数据模型成为语义数据发布的主流。然而，RDF数据汇集的规模不断增加，使得在一台机器上存储和处理它们变得越来越不可行，从而提高了对分布式方法的需求。我们不构建独立但封闭的分布式RDF存储，而是支持使用现有的基础设施进行大数据处理，例如Hadoop。然而，SPARQL查询性能是一个主要的挑战，因为这些平台不是为地面RDF处理而设计的。因此，现有的基于Hadoop的方法通常倾向于某些查询模式形状，而其他形状的性能显着下降。在本文中，我们描述了一种新的RDF数据的关系分区模式称为ExtVP，使用半连接为基础的预处理，类似于连接索引的概念，在关系数据库，有效地减少查询输入的大小，无论其模式的形状和直径。我们的原型系统S2RDF构建在Spark之上，并使用其关系接口在ExtVP上执行SPARQL查询。我们使用最近的WatDiv测试套件，与最先进的SPARQL on Hadoop方法相比，展示了其卓越的性能。S2RDF在十亿个三元组RDF图上实现了大多数查询的次秒运行时间。
2016-01-27 cs.DB cs.DC
A Dwarf-based Scalable Big Data Benchmarking Methodology
与传统的为每个可能的工作负载创建新的基准或代理的基准测试方法不同，本文提出了一种可扩展的大数据基准测试方法。在各种各样的大数据分析工作负载中，我们确定了八个大数据侏儒，每个都捕捉到了每类计算单元的共同需求，同时与单独的实现合理地分离。我们在不同的软件栈上实现了八个小矮人，例如，OpenMP、MPI、Hadoop作为侏儒组件。为了架构模拟的目的，我们构建和调整大数据代理基准使用有向无环图（DAG）的侏儒组件与不同权重的组合，以模仿BigDataBench中的基准。我们的代理基准测试保留了微体系结构，内存和I/O特性，它们将模拟时间缩短了100秒，同时在X86 64和ARMv 8处理器上保持平均微体系结构数据准确度超过90%。我们将很快开源大数据侏儒组件和代理基准。
2017-11-09 cs.AR cs.DC
Cyberattack Data Analysis in IoT Environments using Big Data
针对物联网数据集难以覆盖真实网络攻击的问题，本文利用 Apache Hadoop 与 Hive 分析安全漏洞，识别攻击行为、流量异常和 TCP 标志等模式，强调大数据平台对物联网安全的重要性。
2024-06-14 cs.CR cs.DC
Distributed Data Processing Frameworks for Big Graph Data
最近，我们创建了如此多的数据（每天2.5兆字节），以至于当今世界90%的数据都是在过去两年中创建的。这些数据来自用于收集交通或气候信息的传感器，社交媒体网站的帖子，照片，视频，电子邮件，购买交易记录，蜂窝网络的通话记录等。在本报告中，我们首先简要讨论了用于大数据处理的编程模型，并重点关注图数据，并对用于解决超大规模图问题的编程模型/框架进行了调查研究。在第2节中，我们介绍了不是专门设计用于处理图数据的编程模型，但我们将它们包括在本调查中，因为我们相信这些是重要的框架和/或已经有研究来定制它们以实现更有效的图处理。在第3节中，我们讨论了一些技术，这些技术在应用于Hadoop时，可以为某些图形问题提供高达1340倍的加速。在第4节中，我们讨论了基于顶点的编程模型，它被简单地设计为处理大型图和适应它的框架。在第5节中，我们实现了两个基本的图算法（页面排名和权重二分匹配），并将它们作为基线方法在单个节点上运行，以查看它们对于大型数据集的速度以及是否值得对其进行分区。
2016-12-18 cs.DC
An improved tile-based scalable distributed management model of massive high-resolution satellite images
随着对地观测的快速发展和卫星遥感及传感器技术的发展，遥感数据量以前所未有的速度增长。传统的关系数据库在满足高分辨率、大规模遥感大数据数据管理的需求时，已经出现了自身的局限性。因此，海量遥感数据管理是当前最迫切的课题之一。为了解决这个问题，本文描述了一个分布式架构的大RS数据存储的基础上，统一的元数据文件，金字塔模型和希尔伯特曲线的数据组合和索引使用NoSQL数据库（即Apache Hbase）。本文在AzureInsight云平台上设计了一个基于Hadoop的框架，以并行和分布式的方式管理海量RS数据。实验结果表明，该方法有潜力克服传统方法的弱点。该模型适用于海量高分辨率影像数据管理。
2021-05-11 cs.DC
Scalable System Scheduling for HPC and Big Data
在快速扩展的并行处理领域，作业调度器是现代大数据架构和超级计算系统的“操作系统“。作业调度器分配计算资源并控制这些资源上的进程的执行。从历史上看，作业调度器是超级计算机的领域，而作业调度器被设计为在数天或数周内运行大规模、长时间运行的计算。最近，大数据工作负载产生了对一类新计算的需求，这些计算包括许多需要数秒或数分钟的短计算，这些计算处理大量数据。对于超级计算机和大数据系统，作业调度器的效率代表了系统效率的基本限制。详细的测量和建模的性能的集群是至关重要的最大化的大规模计算系统的性能。本文对15个超级计算和大数据集群进行了详细的特征分析。对于大数据工作负载，调度器延迟是调度器最重要的性能特征。这些调度器的延迟的理论模型的开发和用于设计实验，旨在测量调度器延迟。详细的基准测试四个最流行的插件（Slurm，网格引擎之子，Mesos和Hadoop YARN）进行。理论模型与数据进行比较，并表明，调度器的性能可以由两个关键参数：调度器的边际延迟$t_s$和非线性指数$α_s$。对于所有四个计算器，对于仅持续几秒的计算，计算系统的利用率降低到<10%。透明地聚合短计算的多级编译器可以将这些短计算的利用率提高到> 90%，用于测试的所有四个编译器。
2017-05-08 cs.DC
Comparisons of Algorithms in Big Data Processing
并行计算是Hadoop中MapReduce框架的基础。每个数据块在3台服务器上复制，以提高数据的可用性并降低数据丢失的概率。因此，将Map任务存储在其磁盘上的3台服务器是处理它们的最快服务器，称为本地服务器。与本地服务器在同一机架中的所有服务器称为机架本地服务器，其比本地服务器慢，因为与地图任务相关联的数据块应通过机架顶部交换机获取。所有其他服务器称为远程服务器，是最慢的服务器，因为它们需要从另一个机架中的本地服务器获取数据，因此数据应通过至少2个架顶交换机和一个核心交换机传输。请注意，数据传输路径中的交换机数量取决于数据中心的内部网络结构。先进先出（FIFO）和Hadoop公平竞争（HFS）算法没有考虑数据中心的机架结构，因此已知它们不是重流量延迟最优的，甚至不是吞吐量最优的。考虑到数据中心的机架结构和服务器的异构性，数据中心调度的最新进展导致了最先进的Balanced-PANDAS算法，其性能优于经典的MaxWeight算法。在Balanced-PANDAS和MaxWeight算法中，假设本地、机架本地和远程服务器的处理速率是已知的。然而，除了处理速率的估计误差之外，随着业务量随时间的变化，认为处理速率是已知的是不现实的。在这项工作中，我们研究了平衡PANDAS和MaxWeight算法的鲁棒性不准确的估计处理速率。我们观察到，Balanced-PANDAS在处理速率的准确性上不…
2020-07-20 cs.DC cs.PF
Ruya: Memory-Aware Iterative Optimization of Cluster Configurations for Big Data Processing
为大型集群上的数据处理作业选择合适的计算资源是困难的，即使对于像数据工程师这样的专家用户也是如此。选择不足可能导致成本大幅增加，而不会显著改善性能。选择有效资源配置的一个关键方面是避免内存瓶颈。通过预先知道作业所需的内存，可以大大减少用于最优资源配置的搜索空间。因此，我们提出了Ruya，一种基于迭代探索向下扩展的搜索空间的数据处理集群配置的内存感知优化方法。首先，我们只在一台机器上使用数据集的小样本执行作业分析，以模拟作业的内存使用模式。其次，我们优先考虑集群配置与适当的总内存量，并在此减少搜索空间，我们迭代搜索最佳集群配置贝叶斯优化。一旦搜索过程收敛到被认为是给定作业的最佳配置，则该搜索过程停止。在我们对包含1031个Spark和Hadoop作业的数据集进行的评估中，我们看到与基线相比，找到最佳配置的搜索迭代减少了大约一半。
2023-02-03 cs.DC
A Novel Control-flow based Intrusion Detection Technique for Big Data Systems
安全性和分布式基础设施是大数据软件最常见的两个要求。但大数据平台的安全功能还为时过早。在大数据世界中使用某些现有的安全机制之前，识别、修改、测试和执行它们是至关重要的。在本文中，我们提出了一种新的入侵检测技术，它可以根据大数据系统的需求进行理解和工作。我们提出的技术使用两种方法来识别程序级异常-分析方法，通过从控制流图创建进程签名来建模应用程序行为;和匹配方法，通过匹配进程签名来检查大数据系统的副本节点之间的一致性。分析方法通过将进程的控制流图简化为一组最小生成树来创建进程签名，然后创建该组的散列。匹配方法首先通过将接收到的进程签名与本地签名进行匹配来检查进程行为的相似性，然后将结果与所有副本数据节点共享以达成共识。实验结果表明，只有0.8%的开销，由于所提出的技术进行测试时，Hadoop的映射-减少实时的例子。
2016-11-23 cs.CR cs.DC
