Understanding and Optimizing the Performance of Distributed Machine Learning Applications on Apache Spark
IBM Research Zürich（IBM苏黎世研究院）
在本文中，我们将探讨Apache Spark在机器学习应用中的性能限制。我们首先分析了Spark中实现的最先进的分布式机器学习算法的特性，并将其与使用高性能计算框架MPI的等效参考实现进行了比较。我们确定了Spark框架的关键瓶颈，并仔细研究了它们对算法性能的影响。为了提高Spark的性能，我们提出了一些实用的技术来减轻它的一些开销。然而，优化计算效率和框架相关的开销并不是性能的唯一关键-我们证明，为了获得最佳性能的任何实现，有必要仔细调整算法的计算时间和通信延迟之间的相应权衡。最佳的权衡取决于分布式算法的属性以及基础设施和框架相关的特性。最后，我们将这些技术和算法优化应用于Spark中实现的三种不同的分布式线性机器学习算法。我们使用五个大型数据集展示了结果，并证明通过使用所提出的优化，我们可以将Spark和MPI之间的性能差异从20倍减少到2倍。
2017-12-13 cs.DC cs.LG
Approximate Stream Analytics in Apache Flink and Apache Spark Streaming
近似计算的目的是高效地执行工作流，其中近似输出就足够了，而不是精确输出。近似计算背后的想法是在一个代表性的样本而不是整个输入数据集上进行计算。因此，近似计算-基于所选择的样本大小-可以在输出精度和计算效率之间进行系统的权衡。不幸的是，用于近似计算的现有技术系统主要针对批量分析，其中输入数据在采样过程中保持不变。因此，它们不太适合流分析。这激发了StreamApprox的设计-一个用于近似计算的流分析系统。为了实现这一思想，我们设计了一个在线分层水库采样算法，以产生具有严格误差界的近似输出。重要的是，我们提出的算法是通用的，可以应用于两种主要类型的流处理系统：（1）批处理流处理，如Apache Spark Streaming，以及（2）流水线流处理，如Apache Flink。我们使用一组微基准测试和真实案例研究对StreamApprox进行了评估。我们的研究结果表明，基于Spark和Flink的StreamApprox系统与各自的原生Spark Streaming和Flink执行相比，实现了$1.15\times$ - $3\times$的加速，其中$80\%$到$10\%$的采样比例不同。此外，除了原生执行基线之外，我们还实现了一个改进的基线-一个基于Spark的近似计算系统，利用Apache Spark中现有的采样模块。与改进的基线相比，我们的结果表明，StreamApprox…
2017-09-09 cs.DC
Evaluation of pilot jobs for Apache Spark applications on HPC clusters
大数据在许多科学领域已经变得非常突出，因此，科学界已经寻求大数据框架来加速处理其日益增长的数据密集型管道。然而，虽然科学界通常依赖高性能计算（HPC）集群来并行化其管道，但许多流行的大数据框架（如Hadoop和Apache Spark）主要设计用于在专用的商品基础设施上执行。本文评估了在HPC集群上Apache Spark的试点作业相对于传统批处理提交的优势。令人惊讶的是，我们的研究结果表明，试点工作批调度提供的速度是温和的不存在（平均0.98），尽管存在长排队时间。此外，试验作业提供了一个额外的调度层，使调试和部署复杂化。我们的结论是，传统的批处理调度应该仍然是在HPC集群上部署Apache Spark应用程序的默认策略。
2019-05-29 cs.DC cs.PF
Distributed Record Linkage in Healthcare Data with Apache Spark
Tarbiat Modares University（塔比阿特莫达雷斯大学）
针对医疗数据分散难整合及记录链接任务中的数据不平衡问题，本研究基于Apache Spark机器学习库构建分布式数据匹配模型，经训练数据验证及SVM、回归算法应用，模型无过拟合与欠拟合问题，表现良好。
2024-03-09 cs.DC cs.LG
Solving All-Pairs Shortest-Paths Problem in Large Graphs Using Apache Spark
计算所有对最短路径（APSP）的算法是许多实际应用的关键基础。标准的顺序算法，如Floor-Warshall和Johnson，很快就变得不可行的大型输入图，需要并行的方法。在这项工作中，我们使用Apache Spark对分布式内存集群上的并行APSP性能进行了详细分析。Spark模型允许可移植且易于部署的分布式实现，因此从最终用户的角度来看是有吸引力的。我们为大型无向加权图提出了四种不同的APSP实现，它们在复杂性和对纯Spark API之外的技术的依赖程度上有所不同。我们证明了Spark能够在1024核集群上处理超过200，000个顶点的APSP问题，并且可以与基于幼稚MPI的解决方案竞争。然而，我们的最佳性能求解器需要辅助共享持久存储，并且比优化的基于MPI的求解器慢两倍以上。
2019-08-07 cs.DC
MLlib: Machine Learning in Apache Spark
Databricks；UC Berkeley（加州大学伯克利分校）；HHMI Janelia Research Campus（霍华德·休斯医学研究所珍妮莉亚研究园区）；Netflix（奈飞）；Origami Logic；Cloudera UK（Cloudera英国）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Stanford（斯坦福大学）；MIT（麻省理工学院）；UCLA（加州大学洛杉矶分校）
Apache Spark是一个流行的大规模数据处理开源平台，非常适合迭代机器学习任务。在本文中，我们介绍了MLlib，Spark的开源分布式机器学习库。MLlib为广泛的学习设置提供了高效的功能，并包括几个基础的统计，优化和线性代数原语。MLlib随Spark一起提供，支持多种语言，并提供高级API，利用Spark丰富的生态系统来简化端到端机器学习管道的开发。MLlib经历了一个快速的增长，由于其充满活力的开源社区超过140贡献者，并包括广泛的文档，以支持进一步的增长，让用户快速上手。
2015-05-26 cs.DC cs.LG cs.MS
Matrix Computations and Optimization in Apache Spark
我们描述了集群编程框架Apache Spark中的矩阵计算。Spark开箱即用，为分布式矩阵和使用这些矩阵的优化例程提供了抽象和实现。当将单节点算法转换为在分布式集群上运行时，我们观察到通常一个简单的想法就足够了：将矩阵操作与向量操作分离，并将矩阵操作运送到集群上运行，同时将向量操作保持在驱动程序本地。在奇异值分解的情况下，通过将这个想法发挥到极致，我们能够利用集群的计算能力，同时运行几十年前为单核编写的代码。另一个例子是我们流行的TFOCS优化包的Spark端口，最初是为MATLAB构建的，它允许求解线性规划以及各种其他凸规划。最后，我们总结了一套全面的基准测试，用于从JVM进行硬件加速矩阵计算，这本身就很有趣，因为许多集群编程框架都使用JVM。本文中描述的贡献已经合并到Apache Spark中，默认情况下可在Spark安装中使用，并由一系列提供进一步服务的公司提供商业支持。
2016-07-13 cs.DC
Burrows Wheeler Transform on a Large Scale: Algorithms Implemented in Apache Spark
随着下一代测序（NGS）技术的快速发展，每天收集大量的“组学”数据并需要处理。索引和压缩大型序列数据集是这方面最重要的任务之一。在这里，我们提出了依赖于大数据技术的Burrows Wheeler变换的计算算法，即，Apache Spark和Hadoop我们的算法是第一个分发索引计算的算法，而不仅仅是输入数据集，允许充分利用可用的云资源。
2021-07-07 cs.DC cs.DS
Stark: Fast and Scalable Strassen's Matrix Multiplication using Apache Spark
本文在Strassen矩阵乘法算法的基础上，在Apache Spark平台上提出了一种新的快速、高可扩展的分布式矩阵乘法算法Stark。Stark在分布式环境中保留了Strassen的7乘法方案，从而实现了更快的执行速度。它基于两个新的思想：建立一个计算的递归树，树的每一层对应于弹性分布式数据集（RDD）形式的分布式矩阵块的划分和组合;它并行处理每个除法和合并步骤，并通过智能标记其中的矩阵块来记忆子矩阵。据我们所知，Stark是Strassen在Spark平台上的第一个实现。我们的实验表明，斯塔克具有很强的可扩展性，随着矩阵大小的增加，使我们能够乘以两个（16384 × 16384）矩阵与28%和36%的挂钟时间分别比马林和MLLib，国家的最先进的矩阵乘法方法的基础上火花。
2018-11-22 cs.DC
FITS Data Source for Apache Spark
我们调查Apache Spark的性能，集群计算框架，用于分析未来LSST类星系调查的数据。Apache Spark解决大数据问题的尝试迄今为止在业界证明是成功的，但它在天文学界的应用仍然有限。我们将展示如何管理复杂的二进制数据结构处理天体物理学实验，如二进制表存储在FITS文件中，在分布式环境中。为此，我们首先设计并实现了一个Spark连接器来处理任意大的FITS文件集，称为spark-fits。用户界面是这样的，一个简单的文件“拖放”到一个集群，充分利用了框架。我们使用LSST快速仿真工具CoLoRe演示了火花拟合的高度可扩展性，并提出了测量和调整工作负载性能瓶颈的方法，在位于巴黎南大学的Cloud@VirtualData上扩展到TB的FITS数据。我们还评估了它的性能Cori，高性能计算系统位于NERSC，并广泛用于科学界。
2018-10-15 astro-ph.IM cs.DC
An Information Theoretic Feature Selection Framework for Big Data under Apache Spark
University of Granada（格拉纳达大学）；University of A Coruña（拉科鲁尼亚大学）
随着极高维数据集的出现，降维技术变得势在必行。在众多技术中，特征选择作为在大型数据集上识别相关特征的重要工具--无论是在实例数量还是特征数量上--越来越受到关注。这项工作的目的是证明标准的特征选择方法可以在Apache Spark等大数据平台中并行化，从而提高性能和准确性。因此，我们提出了一个分布式实现的通用特征选择框架，其中包括广泛的一组著名的信息理论方法。在大量真实世界数据集上的实验结果表明，我们的分布式框架能够在短时间内处理超高维数据集以及具有大量样本的数据集，在所有研究的情况下都优于顺序版本。
2016-10-19 cs.AI cs.DC cs.LG
TRANSMUT-SPARK: Transformation Mutation for Apache Spark
我们提出了TRANSMUT-Spark，这是一种自动化Spark程序中大数据处理代码的突变测试过程的工具。Apache Spark是一个大数据处理引擎。它通过内置函数、底层并行流程和数据管理策略隐藏了大数据并行和分布式编程和处理固有的复杂性。尽管如此，程序员必须在程序中巧妙地结合这些功能，并指导引擎使用正确的数据管理策略，以利用大数据处理所需的大量计算资源，避免大量的生产损失。Spark程序中的数据处理代码中的许多编程细节都容易出现错误语句，需要进行正确和自动测试。本文探讨了变异测试在Spark程序中的应用，这是一种基于故障的测试技术，它依赖于故障模拟来评估和设计测试集。本文介绍了用于测试Spark程序的TRANSMUT-Spark解决方案。TRANSMUT-Spark自动化过程中最费力的步骤，并完全执行突变测试过程。本文介绍了该工具如何自动化的突变体生成，测试执行，充分性分析阶段的突变测试与TRANSMUT-Spark。它还讨论了为验证该工具而进行的实验结果，以论证其范围和局限性。
2021-08-05 cs.DC cs.SE
Benchmarking Apache Spark and Hadoop MapReduce on Big Data Classification
Istanbul Technical University（伊斯坦布尔理工大学）；ASELSAN A.S.（阿瑟尔桑公司）
大多数流行的大数据分析工具都在不断发展，以适应其工作环境，从大量非结构化数据中提取有价值的信息。数据采掘技术能够从大数据中过滤这些有用的信息，这导致了大数据采掘这个术语。将数据范围从小型、结构化和稳定的数据转变为海量、非结构化和快速变化的数据带来了许多数据管理挑战。不同的工具由于其体系结构的限制，以自己的方式应对这些挑战。在根据手头的任务选择正确的数据管理框架时，需要考虑许多参数。在本文中，我们为两个广泛使用的大数据分析工具，即Apache Spark和Hadoop MapReduce，在一个共同的数据采掘任务上，即，分类.我们采用了几个评估指标来比较基准框架的性能，如执行时间，准确性和可扩展性。这些指标专门用于测量分类任务的性能。据我们所知，在文献中没有以前的研究，采用所有这些指标，同时考虑到特定任务的关注。我们发现Spark在训练模型时比MapReduce快5倍。然而，Spark的性能会随着输入工作负载的增大而降低。通过额外的集群扩展环境可以显著提高Spark的性能。然而，在Hadoop中没有观察到类似的增强。MapReduce的机器学习实用程序往往比Spark具有更好的准确性分数，即使在小规模的数据集中也是如此，大约3%。
2022-09-21 cs.DC cs.LG
Big Data application in congestion detection and classification using Apache spark
Iowa state university（爱荷华州立大学）
随着大数据时代的到来，现在可以获得爆炸性的信息量。学术界和工业界大数据的巨大增长需要大规模的数据处理系统。大量的研究都在优化Spark的性能，使其成为最先进的快速通用数据处理系统。许多科学和工程领域都随着大数据分析而进步，例如生物学，金融和交通运输。智能交通系统（ITS）的普及和直接受益于丰富的信息。其目标是通过减少拥堵和事故来改善交通网络的安全和管理。实现这一目标的第一步是更好地理解、建模和高效地检测网络中的拥塞。在这项研究中，我们引入了一个有效的拥塞检测模型。基础网络由I-35、I-80、I-29和I-380高速公路的3017个路段组成，总长1570英里，平均每段（0.4-0.6）英里。拥塞检测结果表明，该方法的准确率为90%，计算时间减少了99.88%。
2021-01-16 cs.DC cs.LG
Comparing Two Different Approaches in Big Data and Business Analysis for Churn Prediction with the Focus on How Apache Spark Employed
University of Oulu（奥卢大学）
由于大数据分析的重要性，特别是在与业务相关的主题，如改善服务，寻找潜在客户，并选择实用的方法来管理收入和支出，许多公司试图与科学家合作，以找到如何，为什么，以及他们应该分析什么。在这项工作中，我们想比较和讨论两种不同的方法，用于大数据中的业务分析主题，更多地考虑他们如何利用Spark。这两项研究都将流失预测作为他们提出的方法的案例研究，因为它是公司识别客户打算离开或停止使用他们的服务的商业分析中的一个重要主题。在这里，我们重点介绍Apache Spark，因为它提供了几种解决方案来有效地处理大量数据。Spark的这一特性使其成为解决大数据问题的最强大的候选工具之一，特别是时间和资源问题。
2021-05-28 cs.AI cs.DC
Apache Spark Streaming, Kafka and HarmonicIO: A Performance Benchmark and Architecture Comparison for Enterprise and Scientific Computing
本文提出了一个流处理吞吐量的基准比较Apache Spark Streaming（基于文件，TCP套接字和Kafka的流集成），与原型P2P流处理框架，HarmonicIO。测量了一系列流处理负载的最大吞吐量，特别是那些具有大消息大小（高达10 MB）和重CPU负载的负载-比企业上下文更典型的科学计算用例（如显微镜）。这些流媒体源的性能特征的详细探索，在不同的负载下，揭示了性能权衡的相互作用，揭示了每个框架和流媒体源集成的良好性能的边界。我们比较了每种情况下的理论界。基于这些结果，我们建议哪些框架和流媒体源可能为给定的负载提供良好的性能。从广义上讲，Spark丰富的功能集的优势是以对消息大小的敏感性为代价的，特别是-常见的流源集成在1 MB-10 MB范围内表现不佳。HarmonicIO的简单性在该区域提供了更强大的性能，特别是在原始CPU利用率方面。
2019-12-19 cs.DC
Architectural Impact on Performance of In-memory Data Analytics: Apache Spark Case Study
虽然集群计算框架正在不断发展以提供实时数据分析功能，但Apache Spark已经成为大数据分析的最前沿，成为批量和流数据处理的统一框架。然而，最近的研究在内存中的数据分析的微架构表征仅限于批处理工作负载。我们使用双套接字服务器上的硬件性能计数器比较Apache Spark中批处理和流处理工作负载的微架构性能。在我们的评估实验中，我们已经发现，批处理是流处理工作负载具有类似的微架构特征，并受到频繁的数据访问DRAM的延迟。对于数据访问，我们发现同时多线程可以有效地隐藏数据延迟。我们还观察到，（i）NUMA节点上的数据局部性可以平均提高10%的性能，（ii）禁用下一行L1-D预取器可以减少高达14%的执行时间，（iii）多个小执行器可以提供高达36%的加速比。
2016-04-28 cs.AR cs.DC cs.PF
Parallelizing Convergent Cross Mapping Using Apache Spark
确定主题或变量之间的因果关系仍然是各个科学领域的重要问题。这在复杂系统中尤其重要，但也具有挑战性，例如涉及人类行为、社会技术背景和自然生态系统的系统。收敛交叉映射（CCM）通过对时间序列进行滞后嵌入来重构状态空间，是解决这一问题的重要方法。虽然功能强大，但CCM的计算成本很高;此外，CCM结果对几个参数值高度敏感。虽然最佳做法需要在评估因果关系时探索一系列参数设置，但由此产生的计算负担可能会给实际使用带来障碍，特别是对于因果联系较弱的长时间序列。我们在这里展示了几种通过利用分布式Apache Spark平台来加速CCM的方法。我们的特点和报告的并行化的解决方案，表现出高的可扩展性和能力超过一个数量级的性能改进的基线配置的几个实验的结果。这种计算时间的节约可以加快复杂系统中因果驱动因素的学习和鲁棒识别。
2019-05-02 cs.DC
MPIgnite: An MPI-Like Language and Prototype Implementation for Apache Spark
基于MPI的横向扩展并行处理是一个有25年历史的标准，在高性能计算社区中，至少还有十年的历史。MapReduce、Hadoop和Spark等较新的框架代表了工业可扩展计算解决方案，这些解决方案因其相对简单的使用、对相关问题的适用性以及利用可扩展分布式资源的能力而得到广泛采用。虽然MPI提供了性能和可移植性，但它缺乏生产力和容错能力。同样，Spark是当前一代MapReduce和数据并行计算基础设施的一个具体示例，它可以实现这些目标，但又缺乏对等通信支持，无法实现轻量级、高度可扩展的对等数据并行代码部分。本文的主要贡献是演示如何将MPI的集体和点对点对等通信概念引入Spark环境。这样做是为了产生性能便携，面向对等和面向组的通信服务，同时保留Spark的基本，理想的属性。考虑了容错和生产率的附加概念。这种方法与将MapReduce框架作为上层中间件添加到传统的MPI实现作为基线基础设施相比。
2017-07-15 cs.DC
Distributed Streaming Analytics on Large-scale Oceanographic Data using Apache Spark
来自不同领域的真实数据需要实时可扩展的分析。大规模数据处理框架或引擎（如Hadoop）在需要即时结果时会出现不足。Apache Spark的流媒体库越来越成为一个受欢迎的选择，因为它可以流式传输和分析大量数据。本文分析了美国全球海洋数据同化实验（USGODAE）数据目录中收集的大尺度时空数据，展示并评估了Spark流处理的能力。我们通过在流作业的中间添加和删除节点来测量流的延迟并监控可扩展性。我们还验证了容错停止节点在中间的一个工作，并确保该工作被重新调度和完成其他节点。我们设计了一个全栈应用程序，可以自动执行数据汇集、数据处理和结果可视化。我们还使用Google Maps API来可视化结果，方法是使用各种分析的值对世界地图进行颜色编码。
2019-08-01 cs.DB cs.DC cs.IR
Performance comparison of Dask and Apache Spark on HPC systems for Neuroimaging
本文在HPC系统上比较了Apache Spark和Dask处理神经影像管线的运行时性能，发现两者性能相当但Spark内存占用更高，数据传输时间是主要瓶颈。
2024-06-03 cs.DC
Real-time Log Query Interface for large datasets using Apache Spark
Log Query Interface是一个交互式Web应用程序，允许用户轻松高效地查询MobileInsight的超大数据日志。有了这个界面，用户不再需要通过命令行查询与数据库对话，也不需要在本地安装MobileInsight客户端来获取数据。用户可以简单地选择/类型的查询消息通过我们的基于Web的系统查询数据库非常有效，并响应用户。在6 GB数据集上测试时，我们的系统响应时间不到1秒，而在传统的MySql数据库上进行类似的查询需要60秒以上。该系统使用户能够使用SQL查询语言执行所有查询。用户可以在非常大的表上执行复杂的连接操作。服务器端的Spark集群极大地提高了查询的响应时间，Spark集群将大数据集存储在分布式系统中，并在多台机器上并行执行查询。
2017-09-23 cs.DC
Alchemist: An Apache Spark <=> MPI Interface
用于分布式计算的Apache Spark框架由于其易用性而在数据分析社区中很受欢迎，但其MapReduce风格的编程模型在执行不直接映射到该模型的计算时可能会产生显着的开销。减轻这些成本的一种方法是将计算卸载到MPI代码上。在最近的工作中，我们介绍了Alchemist，一个用于分析大规模数据集的系统。Alchemist从Spark应用程序中调用基于MPI的库，它具有最小的编码，通信和内存开销。特别是，Alchemist允许用户保留在Spark软件生态系统中工作的生产力优势，而不会牺牲线性代数，机器学习和其他相关计算的性能效率。在本文中，我们讨论了炼金术士的发展背后的动机，我们提供了一个详细的概述其设计和使用。我们还证明了我们的方法在中型到大型数据集上的效率，使用一些标准的线性代数运算，即矩阵乘法和密集矩阵的截断奇异值分解，我们比较了Spark与Spark+Alchemist的性能。这些计算在NERSC超级计算机Cori Phase 1，Cray XC 40上运行。
2018-06-03 cs.DB cs.DC physics.data-an
AXS: A framework for fast astronomical data processing based on Apache Spark
我们介绍AXS（Astronomy eXtensions for Spark），这是一个基于Apache Spark的可扩展开源天文数据分析框架，Apache Spark是一个广泛使用的行业标准大数据处理引擎。基于Spark中的功能，AXS旨在使用熟悉的Python/AstroPy概念，DataFrame API和SQL语句查询和分析几乎任意大的天文目录。我们通过i）为Spark添加支持以实现高效的在线位置交叉匹配，ii）提供支持天文数据分析常用操作的Python库。为了支持可扩展的交叉匹配，我们开发了一种ZONES算法（Gray et al. 2004）的变体，能够在分布式、无共享架构中运行。我们将其与数据分区方案相结合，该方案可以实现快速目录交叉匹配，并处理深空数据集中经常出现的数据倾斜。交叉匹配和其他常用功能通过易于使用的Python API向最终用户公开。我们展示了AXS在SDSS、ZTF、Gaia DR 2和AllWise目录上的技术和科学性能。使用AXS，我们能够在大约30秒内对Gaia DR 2（18亿行）和AllWise（9亿行）数据集进行动态交叉匹配。我们将讨论像AXS这样的云就绪分布式系统如何提供一种自然的方式来实现对LSST等大型数据集的全面最终用户分析。
2019-05-24 astro-ph.IM cs.DC
Flare: Native Compilation for Heterogeneous Workloads in Apache Spark
现代数据分析需要结合关系、过程和映射-归约风格的功能处理，这一点得到了广泛的认可。像Spark这样的最先进的系统已经添加了SQL前端和关系查询优化，这保证了表达能力和性能的提高。但是这些扩展在从现代硬件平台中提取高性能方面有多好呢？虽然Spark已经取得了令人印象深刻的进步，但我们表明，对于关系型工作负载，与同类最佳查询引擎相比，仍然存在显着差距。当走出关系世界时，如果必须将大部分计算视为用户定义函数（UDF），那么查询优化技术将无效。我们介绍Flare：Spark的一个新后端，使性能更接近最好的SQL引擎，而不会放弃Spark的额外表现力。我们展示了TPC-H等关系工作负载以及结合关系和迭代函数处理的一系列机器学习内核的数量级加速。Flare通过（1）编译为本机代码，（2）替换Spark运行时系统的部分，以及（3）将优化和代码生成的范围扩展到大型UDF类来实现这些结果。
2017-03-23 cs.DB cs.DC cs.PF
Approximate Distributed Joins in Apache Spark
连接操作是并行数据处理的基本构件。不幸的是，在大量数据集上计算equi-join是非常资源密集的。近似计算范式允许用户以精确性和延迟换取昂贵的数据处理操作。因此，等价连接算子是使用近似技术进行优化的自然候选者。虽然基于采样的方法被广泛用于近似，采样连接是一个引人注目的，但具有挑战性的任务，关于输出质量。在数据集样本上执行连接的朴素方法不会保留连接输出的统计属性。为了实现这一潜力，我们交织布鲁姆过滤器草图和分层采样与连接计算在一个新的运营商，近似连接，保留了统计特性的连接输出。ApproxJoin利用Bloom过滤器来避免在网络中混洗不可连接的数据项，然后应用分层采样来获得连接输出的代表性样本。我们的分析表明，ApproxJoin可扩展性很好，并显着减少了数据移动，而不会牺牲最终结果准确性的严格误差范围。我们在Apache Spark中实现了ApproxJoin，并使用微基准测试和真实案例研究对ApproxJoin进行了评估。评估表明，在相同的采样率下，ApproxJoin比未修改的基于Spark的连接实现了6- 9倍的加速。此外，加速还伴随着洗牌数据量的显着减少，这比未修改的基于Spark的连接少5- 82倍。
2018-05-15 cs.DB cs.DC
A performance comparison of Dask and Apache Spark for data-intensive neuroimaging pipelines
在过去的几年里，由于图像分辨率、数据共享和研究规模的共同增加，神经影像学已经进入了大数据时代。然而，在这个领域还没有出现特定的大数据引擎，并且仍然有几种替代方案。我们比较了两个流行的大数据引擎与Python API，Apache Spark和Dask，在处理神经成像管道时的运行时性能。我们的评估使用两个合成管道处理81 GB的BigBrain图像，以及一个真实的管道处理来自1,000多名受试者的解剖数据。我们使用任务持续时间、数据大小和工人数量的各种组合来对这些管道进行基准测试，这些管道部署在8节点（每个节点8个核心）上。Compute Canada的Arbutus云中的计算集群。我们将PySpark的RDD API与Dask's Bag、Delayed和Futures进行对比。结果表明，尽管Spark和Dask之间存在细微差异，但两种引擎都可以执行JavaScript。然而，Dask管道可能会受到Python GIL的限制，这取决于任务类型和集群配置。在所有情况下，主要的限制因素是数据传输。虽然这两种引擎都适用于神经成像管道，但需要更多的努力来减少数据传输时间。
2019-10-05 cs.DC cs.PF
Mining Area Skyline Objects from Map-based Big Data using Apache Spark Framework
针对大规模地图数据区域天际线计算效率问题，提出基于 Apache Spark 的三阶段分布式算法，通过局部部分天际线提取减少传输量，并在八个数据集上验证其可显著降低数据规模与计算时间。
2024-04-04 cs.DC
Large-Scale Graphs Community Detection using Spark GraphFrames
针对社区检测算法在大规模图上计算密集、性能下降的问题，本文基于 Apache Spark GraphFrames 实现 K-Cliques、Louvain 和 Fast Greedy，并在两个真实数据集上验证其性能、可扩展性与可行性。
2024-08-06 cs.DC cs.SI
A Benchmarking Study to Evaluate Apache Spark on Large-Scale Supercomputers
随着数据集大小的增加，高性能计算（HPC）中的数据分析任务越来越依赖于复杂的并行计算和核外方法来提高系统利用率。此外，随着HPC系统的增长，存储器访问和数据共享正在成为性能瓶颈。云计算采用通常建立在低成本计算节点的松散连接组上而不依赖于共享存储和/或存储器的数据处理范例。Apache Spark是一个流行的云计算大规模数据分析引擎，我们已经通过作业提交脚本成功部署在生产集群上。在本文中，我们描述了消息传递接口（MPI）和基于云的应用程序的常见并行分析流程。我们开发了一个有效的基准来衡量这些任务的性能特征，使用这两种类型的系统，特别是比较MPI/C为基础的分析与火花。基准测试是一个数据处理管道，代表了使用map-reduce实现的典型分析框架。在Spark的例子中，我们还考虑了语言是否通过使用Python和Scala（一种构建在Java虚拟机（JVM）上的语言）编写测试来发挥作用。我们包括来自阿贡国家实验室的两个大型系统的性能结果，其中包括Theta，Cray XC 40超级计算机，我们的实验运行65，536个核心（1024个节点，每个节点64个核心）。我们的实验结果进行了讨论，其适用性的背景下，未来的HPC架构。除了了解性能之外，我们的工作还表明，Spark等技术虽然通常针对基于云的多租户环境，但在传统的集群/超级计算环境中显示出数据分析需求的前景。
2019-09-27 cs.DC cs.SE
SPIN: A Fast and Scalable Matrix Inversion Method in Apache Spark
大数据在诸如地球科学、社交网络、物理科学等领域中的增长导致了对高效且可扩展的线性代数运算（例如，矩阵求逆）的巨大需求。使用大数据平台进行高效和分布式矩阵求逆的现有方法依赖于基于LU分解的块递归算法。然而，这些算法是复杂的，需要大量的边计算，例如矩阵乘法，在各种级别的递归。在本文中，我们提出了一个不同的计划的基础上Strassen的矩阵求逆算法（在Strassen的原始文件在1969年提到），它使用少得多的操作，在每一级的递归。我们实现了所提出的算法，并通过大量的实验，表明它是更有效的比最先进的方法。此外，我们提供了一个详细的理论分析所提出的算法，并推导出理论上的运行时间密切配合的经验观察挂钟运行时间，从而解释了U形行为w.r.t.块大小。
2018-01-15 cs.DC
CMS Analysis and Data Reduction with Apache Spark
几十年来，实验粒子物理学一直处于分析世界上最大数据集的最前沿。HEP社区是最早为这项任务开发合适的软件和计算工具的社区之一。近年来，用于分布式数据处理的新工具包和系统（统称为“大数据”技术）已经从工业和开源项目中出现，以支持工业中的PB和EB数据集的分析。虽然HEP中的数据分析原则没有改变（过滤和转换实验特定的数据格式），但这些新技术使用不同的方法和工具，有望以全新的眼光分析非常大的数据集，这可能会减少物理时间，增加交互性。此外，这些新工具通常由大型社区积极开发，通常利用行业资源，并在开源许可下开发。这些因素促进了工具的采用和成熟，并促进了支持它们的社区，同时有助于降低最终用户的拥有成本。在这次演讲中，我们将介绍使用Apache Spark进行最终用户数据分析的研究。我们正在研究HEP分析工作流程，分为两个重点：集中产生的实验数据集的减少和最终分析到出版图。研究第一个推力，CMS正在与CERN openlab和英特尔合作开发CMS大数据缩减设施。目标是将1 PB的官方CMS数据减少到1 TB的ntuple输出以供分析。我们正在介绍这个为期2年的项目的进展情况，以及基于Spark的HEP分析的初步结果。研究第二个推力，我们正在介绍使用Apache Spark进行CMS暗物质物理搜索的研究，将Spark的可行性，可用性和性能与基于ROOT的分析进行比较。
2017-10-31 cs.DC
MMLSpark: Unifying Machine Learning Ecosystems at Massive Scales
Microsoft Applied AI（微软应用人工智能部门）；Microsoft Azure Machine Learning（微软Azure机器学习部门）；Microsoft AI Development Acceleration Program（微软人工智能发展加速项目）
我们将介绍Microsoft机器学习for Apache Spark（MMLSpark），这是一个增强生态系统，可扩展Apache Spark分布式计算库，以解决深度学习、微服务演示、梯度提升、模型可解释性和其他现代计算领域的问题。此外，我们提出了一种名为Spark Serving的新系统，允许用户将任何Apache Spark程序作为由现有Spark集群支持的分布式亚毫秒延迟Web服务运行。所有MMLSpark贡献都具有相同的API，可以在静态，弹性或无服务器集群上跨框架进行简单的组合，并在批处理，流式处理和RESTful Web服务场景中使用。我们通过创建一种能够在没有人类标记数据的情况下学习的深度目标检测方法来展示MMLSpark，并展示其对雪豹保护的有效性。
2019-06-21 cs.AI cs.DC cs.LG
A Data and Model-Parallel, Distributed and Scalable Framework for Training of Deep Networks in Apache Spark
IBM Research India（IBM印度研究院）；CSIR-CEERI（印度科学与工业研究理事会-中央电子工程研究所）；IIT Delhi（印度理工学院德里分校）
训练深度网络既昂贵又耗时，训练周期会随着数据大小和模型参数的增长而增加。在本文中，我们提供了一个在Apache Spark的CPU集群上分布式训练深度网络的框架。该框架实现了数据分类主义和模型分类主义，使其适用于需要大量训练数据和模型参数的深度网络，这些数据和模型参数太大，无法放入单个机器的内存中。它可以很容易地扩展到一个廉价的商品硬件集群上，以实现显着的加速，并获得更好的结果，使其与GPU和超级计算机的农场相比非常经济。我们提出了一种用于训练深度网络的新算法，适用于网络在机器上划分的情况（模型分解），以及详细的成本分析和收敛性证明。我们已经开发了全连接前馈网络，卷积神经网络，递归神经网络和长短期记忆体系结构的实现。我们提出了广泛的模拟结果，展示了我们的框架对于不同大小的数据和模型参数以及工作核心/分区数量的变化所获得的加速和准确性;从而表明我们提出的框架可以实现显着的加速（对于CNN高达11倍），并且也具有相当的可扩展性。
2017-08-19 cs.AI cs.CV cs.DC
HetNetAligner: Design and Implementation of an algorithm for heterogeneous network alignment on Apache Spark
使用网络来模拟和分析生物数据以及生物分子相互作用的重要性已得到广泛认可。因此，过去已经开发了许多用于网络的分析和比较的算法（例如对齐算法）。最近，许多不同的方法试图整合到一个单一的模型，不同的分子，如基因，转录因子和microRNA的相互作用。一种可能的形式主义来模拟这种情况来自节点着色网络（或异构网络）实现为节点/边着色图。因此，需要引入能够分析异构网络的对齐算法。据我们所知，所有现有的算法都不能挖掘异构网络。我们提出了一个两步对齐策略，接收作为输入的两个异构网络（节点着色图）和两个网络的节点之间的相似性函数扩展以前的配方。我们首先构建一个单一的对齐图。然后，我们挖掘这个图提取相关的子图。尽管这种方法很简单，但这种网络的分析依赖于图和子图同构，数据的大小仍在增长。因此，需要使用高性能的数据分析框架。HetNetAligner是一个基于Apache Spark的框架。我们还实现了我们的算法，并在一些选定的异构生物网络上进行了测试。初步结果证实，我们的方法可以从生物数据中提取相关的知识，减少计算时间。
2018-06-11 cs.DC
A Multi-Dimensional Big Data Storing System for Generated COVID-19 Large-Scale Data using Apache Spark
中国武汉持续爆发新型冠状病毒病（COVID-19），特别是在二零一九年十二月。COVID-19是由一种以前在人类中未发现的新病毒引起的。随后，这一流行病在全世界迅速蔓延。根据这种疾病的症状，确诊病例数量每天都在迅速增加，嫌疑人数量也在增加，不幸的是，死亡人数也在增加。因此，随着世界各地病例数量的增加，很难在不同情况下管理所有这些病例信息;如果患者受伤或怀疑患者出现了哪些症状。因此，迫切需要构建一个多维系统来存储和分析所生成的大规模数据。本文提出了一个基于Apache Spark的COVID-19数据综合存储系统（CSS-COVID），以处理和管理因COVID-19数量每天增加而导致的问题。CSS-COVID有助于减少查询和存储COVID-19每日数据的处理时间。CSS-COVID包括三个阶段，即插入和索引，存储和查询阶段。在插入阶段，数据被划分成子集，然后分别索引每个子集。存储阶段使用一组存储节点来存储数据，查询阶段负责处理查询过程。在CSS-COVID中使用Apache Spark可以充分利用处理每日增加的冠状病毒疾病伤害的大规模数据的性能。使用真实的COVID-19数据集进行了一系列实验，以证明CSS-COVID在索引大规模数据方面的效率。
2020-04-30 cs.DB cs.DC
Scalable Exact Parent Sets Identification in Bayesian Networks Learning with Apache Spark
Department of Computer Science and Engineering University at Buffalo（布法罗大学计算机科学与工程系）；Department of Computer Science and Engineering Department of Biomedical Informatics University at Buffalo（布法罗大学生物医学信息学系计算机科学与工程系（注：此处按原文机构名合并，实际通常以主要系部为准，原文同时列出两个系部，均需提取））；University at Buffalo（布法罗大学（注：经检查，原HTML中作者的Affiliation部分明确包含的机构单位为“Department of Computer Science and Engineering University at Buffalo”和“Department of Computer Science and Engineering Department of Biomedical Informatics University at Buffalo”，但根据提取规则，机构粒度到大学/学院/公司/研究院级别即可，此处“University at Buffalo”为大学，“Department of Computer Science and Engineering”为系部，“Department of Biomedical Informatics”为系部。按要求提取到大学/学院/公司/研究院级别，因此主要机构为“University at Buffalo”，但原文中作者的Affiliation完整内容包含多个系部和大学，需严格按原文提取作者所属机构的英文名称，中文翻译需自然准确。正确提取应为：{）
在机器学习中，父集合识别问题是找到一组随机变量，这些随机变量在给定数据和一些预定义的评分函数的情况下最好地解释所选变量。该问题是贝叶斯网络结构学习和马尔可夫毯发现的关键组成部分，因此具有许多实际应用，从欺诈检测到临床决策支持。在本文中，我们介绍了一个新的分布式记忆方法的精确父集分配问题。为了实现可扩展性，我们推导出理论界来约束搜索空间时，MDL评分函数，我们重新组织底层的动态规划，这样的计算密度增加，细粒度同步被淘汰。然后，我们在Apache Spark平台上设计了我们方法的有效实现。实验结果表明，该方法在500核的独立Spark集群上具有很强的可扩展性，可以有效地处理70个变量的数据集，远远超出了现有解决方案的范围。
2017-10-24 cs.AI cs.DC
Stage-Level Executor Allocation in Apache Spark with Cost-Performance Trade-offs
IBM；University of Tübingen（蒂宾根大学）
研究在无服务器Apache Spark环境中阶段级执行器分配问题，提出训练树集成模型估计运行时间和成本，据此为各阶段推荐资源的方法，经实验在TPC-DS和SQLStorm基准测试中实现成本节省和性能平衡。
2026-07-14 cs.DC
Comparative analysis of large data processing in Apache Spark using Java, Python and Scala
Ternopil Ivan Puluj National Technical University（特诺皮尔伊万普鲁日国立技术大学）；Rochester Institute of Technology（罗切斯特理工学院）；Institute of Telecommunications and Global Information Space of the National Academy of Sciences of Ukraine（乌克兰国家科学院电信与全球信息空间研究所）
本研究基于Apache Spark与Apache Iceberg，对比Java、Python、Scala处理不同规模及复杂度数据的ETL性能，发现小数据量下Python更快，大数据量及复杂操作中Scala、Java更高效，可为数据处理流程优化提供参考。
2025-10-21 cs.DB cs.DC cs.PL
Large-Scale Network Embedding in Apache Spark
Interactive Entertainment Group, Tencent（腾讯互动娱乐事业群）
针对大规模图网络嵌入单机器难处理、计算效率低的问题，提出基于Apache Spark的递归分图并行分布式算法，线性成本获节点嵌入，性能与速度均优于现有方法，已落地腾讯游戏推荐场景。
2021-06-20 cs.AI cs.DC cs.LG
Scientific Computing Meets Big Data Technology: An Astronomy Use Case
科学分析通常将多个单进程程序组合成一个子程序。单进程程序的端到端并行流被称为多任务应用程序。通常，来自HPC软件栈的工具用于并行化这些分析。在这项工作中，我们研究了一种替代方法，该方法使用Apache Spark（一种现代大数据平台）来并行化多任务应用程序。我们提出Kira，一个灵活的分布式天文学图像处理工具包，使用Apache Spark。然后，我们使用Kira工具包来实现天文图像的源提取器应用程序，称为Kira SE。以Kira SE为用例，我们研究了运行在EC2云上的Apache Spark的编程灵活性、底层丰富性、调度能力和性能。通过利用数据局部性，Kira SE在Amazon EC2云上使用512个核心分析1TB数据集时，实现了2.5倍于等效C程序的加速。此外，通过利用最初为大数据基础设施设计的软件，Kira SE实现了与NERSC Edison超级计算机上运行的C实现竞争的性能。我们使用Kira的经验表明，Apache Spark等新兴大数据平台是多任务科学应用程序的高性能替代方案。
2016-03-14 cs.DC
Adaptive filter ordering in Spark
本报告描述了一种使Apache Spark执行引擎自适应的技术方法。它提出了工程解决方案，特别是针对自适应重新排序谓词的数据流与不断变化的统计。开发的系统扩展可作为开源原型提供。指示性的实验结果表明，其开销和调整参数的敏感性。
2019-05-03 cs.DB cs.DC
Optimizing and accelerating space-time Ripley's K function based on Apache Spark for distributed spatiotemporal point pattern analysis
随着越来越多的兴趣点数据集具有细粒度的空间和时间属性，时空Ripley的K函数被认为是一个强大的方法来分析时空点过程。然而，时空Ripley的K函数是计算密集型的逐点距离比较，边缘校正和模拟的显着性测试。利用OpenMP、MPI和CUDA等并行计算技术对K函数进行了加速，相关实验证明了其显著的加速效果。然而，以前的工作还没有扩大Ripley的K函数的优化从空间维到时空维。如果没有复杂的时空查询和分区机制，额外的计算开销可能是有问题的。同时，这些研究受到并行框架可扩展性受限和相对昂贵的编程成本的限制，阻碍了它们在大型POI数据集和Ripley的K函数变化中的应用。本文在最先进的分布式计算框架Apache Spark上提出了一种加速时空Ripley K函数的分布式计算方法，并分别采用四种策略来简化计算过程和加速分布式计算。在此基础上，开发了一个基于Web的可视化分析框架原型。实验证明了该方法的可行性和时间效率，并对时空Ripley K函数在生态学、地理学、社会学、经济学、城市交通等领域的应用具有推广价值。
2019-12-10 cs.CG cs.DC cs.DS
A polynomial expansion line search for large-scale unconstrained minimization of smooth L2-regularized loss functions, with implementation in Apache Spark
在大规模无约束优化算法如有限内存BFGS（LBFGS）中，常见的子问题是沿下降方向最小化损失函数的线搜索。通常使用的线搜索迭代地找到满足Wolfe条件的近似解，通常每次线搜索需要多个函数和梯度评估，由于通信要求，这在并行中是昂贵的。在本文中，我们提出了一种新的线搜索方法的情况下，损失函数是解析的，如在最小二乘回归，逻辑斯谛回归，或低秩矩阵分解。我们近似的损失函数的截断泰勒多项式，其系数可以有效地计算并行与更少的通信比评估的梯度，之后，该多项式可以最小化的扩展点的邻域中的高精度。我们的多项式扩展线搜索（PELS）在Apache Spark框架中实现，并用于加速使用LBFGS和非线性共轭梯度（NCG）方法对来自LIBSVM存储库的二进制分类数据集进行逻辑斯谛回归模型的训练。在一个16节点的集群与256个核心使用URL，KDDA和KDDB数据集并行的大规模数值实验中，PELS方法产生了显着的收敛性改善相比，使用经典的沃尔夫线搜索。例如，为了达到最终的训练标记预测精度，使用PELS的LBFGS比使用Wolfe线搜索的LBFGS具有1.8- 2的加速因子，这是由于线搜索中计算的步长的精度更好，所以通过迭代次数和所需时间来测量的。PELS有潜力显着加速大规模回归和因子分解计算，并适用于连续最优化问题的光滑损失函数。
2016-01-26 cs.DC cs.NA math.NA
Deep Learning with Apache SystemML
IBM Research - Almaden（IBM 研究中心 - 阿尔马登）；IBM Spark Technology Center（IBM Spark 技术中心）
企业使用Hadoop和Spark框架运营大型数据湖，这些框架（1）运行大量工具来自动化强大的数据准备/转换管道，（2）在共享的大型集群上运行，（3）执行许多不同的分析任务，包括模型准备，构建，评估和机器学习和深度学习的调整。在这样的共享环境中开发基于数据的机器/深度学习模型具有挑战性。Apache SystemML提供了一个统一的框架，用于在各种共享部署场景中实现机器学习和深度学习算法。SystemML的新颖编译方法自动为机器/深度学习算法生成运行时执行计划，这些算法由单节点和分布式运行时操作组成，具体取决于数据和集群特征，如数据大小、数据稀疏性、集群大小和内存配置，同时仍然利用底层大数据框架的功能。
2018-02-08 cs.DC cs.LG
Large-Scale Learning from Data Streams with Apache SAMOA
Apache SAMOA（Scalable Advanced Massive Online Analysis）是一个用于挖掘大数据流的开源平台。大数据被定义为由于时间和内存的复杂性，其大小超出了典型软件工具捕获、存储、管理和分析能力的数据集。Apache SAMOA为最常见的数据采掘和机器学习任务（如分类、聚类和回归）提供了一组分布式流算法，并提供编程抽象来开发新算法。它具有可插拔架构，允许它在几个分布式流处理引擎上运行，如Apache Flink，Apache Storm和Apache Samza。Apache SAMOA是用Java编写的，可以在https://samoa.incubator.apache.org上获得，并获得Apache软件许可证版本2.0。
2018-05-26 cs.DC
Thrill: High-Performance Algorithmic Distributed Batch Data Processing with C++
我们提出的设计和第一个性能评估的Thrill -一个通用的大数据处理框架的原型，一个方便的数据流风格的编程接口。Thrill与Apache Spark和Apache Flink有些相似，但至少有两个主要区别。首先，Thrill基于C++，由于直接的本机代码编译，更友好的缓存内存布局和显式的存储管理，因此具有性能优势。特别是，Thrill使用模板元编程将后续本地操作链编译成单个二进制例程，而无需中间缓冲，并且具有最小的间接性。其次，Thrill使用数组而不是多集作为其主要的数据结构，它支持其他操作，如排序、前缀求和、窗口扫描或组合多个数组的相应字段（压缩）。我们使用HiBench套件中的五个内核将Thrill与Apache Spark和Apache Flink进行了比较。Thrill始终比其他框架快，通常快几倍。同时，源代码具有类似的简单性和抽象性
2016-08-19 cs.DC cs.DS
In-Memory Indexed Caching for Distributed Data Processing
强大的抽象，如嵌入式框架，其效率仅与其底层运行时系统一样高。事实上的分布式数据处理框架Apache Spark不太适合现代基于云的数据科学工作负载，因为它的假设已经过时：使用粗粒度转换分析静态数据集。在本文中，我们介绍了索引数据帧，内存中的高速缓存，支持一个抽象的结构，它结合了索引功能，以支持快速查找和连接操作。此外，它支持多版本并发控制的追加。我们将Indexed DataFrame实现为一个轻量级的独立库，可以以最小的努力集成到现有的Spark程序中。我们使用Apache Spark和Databricks SDK分析了索引数据帧在集群和云部署中的性能，并使用真实的数据集和基准测试。在我们的评估中，我们表明，索引的DataFrame显着加快查询执行相比，非索引的DataFrame，产生适度的内存开销。
2022-02-08 cs.DC
BigDL: A Distributed Deep Learning Framework for Big Data
Intel Corporation（英特尔公司）；Tencent Inc.（腾讯公司）；Sequoia Capital（红杉资本）；Alibaba Group（阿里巴巴集团）
本文介绍了BigDL（Apache Spark的分布式深度学习框架），该框架已被业界的各种用户用于在生产大数据平台上构建深度学习应用程序。它允许深度学习应用程序在Apache Hadoop/Spark集群上运行，以便直接处理生产数据，并作为端到端数据分析管道的一部分进行部署和管理。与现有的深度学习框架不同，BigDL直接在Spark的功能计算模型（具有写时复制和粗粒度操作）之上实现分布式数据并行训练。我们还分享了用户采用BigDL来应对挑战的真实经验和“战争故事”（即，如何轻松地为其生产数据构建端到端数据分析和深度学习管道）。
2019-11-05 cs.AI cs.DC cs.LG
On the energy efficiency of client-centric data consistency management under random read/write access to Big Data with Apache HBase
2010年，数据中心的总能源费用估计为115亿美元，专家估计，典型数据中心的能源成本每五年翻一番。另一方面，计算的发展已经开始落后于存储的进步，成为未来数据增长的瓶颈，数据增长已经接近Exascale级别。我们调查的数据吞吐量和能源足迹之间的关系在一个大型存储集群，其目标是正式作为一个指标，反映一致性和能源之间的交易。采用以客户端为中心的一致性方法，同时尊重ACID属性的案例研究（Apache HBase）所选择的柱状存储，我们提出的系统的能源消耗所涉及的因素，以及经验教训，以支持进一步设计的节能集群规模的存储系统。
2016-11-30 cs.DC cs.PF
A Survey on Spark Ecosystem for Big Data Processing
随着大数据在工业和学术领域的爆炸式增长，有必要应用大型数据处理系统来分析大数据。可以说，Spark是当今大规模数据计算系统的最新技术，因为它具有良好的特性，包括通用性，容错，内存数据处理的高性能和可扩展性。Spark采用了灵活的驻留分布式数据集（RDD）编程模型，提供了一组转换和动作操作符，用户可以根据应用程序自定义其操作功能。它最初被定位为一个快速和通用的数据处理系统。自引入以来，考虑到各种情况，已经进行了大量的研究工作，使其更有效（更快）和更普遍。在这次调查中，我们的目标是有一个彻底的审查各种优化技术的通用性和性能改进的火花。介绍了Spark编程模型和计算系统，讨论了Spark的优缺点，并对文献中的各种求解技术进行了调查和分类。此外，我们还介绍了Spark支持的各种数据管理和处理系统、机器学习算法和应用。最后，我们讨论了Spark在大规模内存数据处理方面的开放性问题和挑战。
2018-11-18 cs.DC
Evaluating Hive and Spark SQL with BigBench
这项工作的目标是利用BigBench [1]作为大数据基准，并评估和比较两个处理引擎：MapReduce [2]和Spark [3]。MapReduce是Hadoop上处理数据的成熟引擎。Spark是一个流行的替代引擎，它承诺比现有的MapReduce引擎更快的处理时间。BigBench之所以被选中进行比较，是因为它是第一个端到端分析大数据基准，目前正作为TPCx-BB接受公众审查[4]。我们的目标之一是通过执行各种可伸缩性测试来评估基准测试，并验证它能够对处理引擎进行压力测试。首先，我们分析了在Spark上执行BigBench [1]的可用MapReduce实现所需的步骤。然后，在MapReduce/Hive上以不同的比例因子执行所有30个BigBench查询，以查看性能如何随着数据大小的增加而变化。接下来，这组HiveQL查询在Spark SQL上执行，并与它们各自的Hive运行时进行比较。本报告详细介绍了如何设置实验性Hadoop集群并在Hive和Spark SQL上执行BigBench。它提供了针对不同比例因子执行的所有实验的绝对时间以及可用于验证正确基准执行的查询结果。此外，在我们的工作中遇到并解决了多个问题和解决方法。代表BigBench查询的一个子集的资源利用率（CPU，内存，磁盘和网络使用）的评估，以说明两个处理引擎上的不同查询组的行为。最后但并非最不重要的一点是，…
2016-01-13 cs.DB cs.DC
Does Big Data Require Complex Systems? A Performance Comparison Between Spark and Unicage Shell Scripts
大数据范式的特点是需要收集和处理大量数据集，以各种格式以极快的速度到达系统。Spark是一种广泛使用的大数据处理系统，可以与Hadoop集成，为开发人员提供强大的抽象，例如通过HDFS的分布式存储和通过YARN的资源管理。当所有必需的配置完成后，Spark还可以提供质量属性，如可扩展性、容错和安全性。然而，所有这些好处都是以复杂性为代价的，具有高内存要求和额外的处理延迟。另一种方法是使用精益软件栈，如Unicage，将大部分控制权委托给开发人员。在这项工作中，我们在IBM Cloud托管的集群环境中评估了Spark与Unicage的大数据处理性能。进行了两组实验：非结构化数据集的批处理和结构化数据集的查询处理。输入数据集的大小很大，从64 GB到8192 GB不等。结果表明，对于grep和select等搜索工作负载，Unicage脚本的性能优于Spark，但是Hadoop堆栈中的分布式存储和资源管理的抽象使Spark能够执行具有记录间依赖性的工作负载，例如排序和连接，并具有正确的输出。
2022-12-28 cs.DC
Flexible and Scalable Deep Learning with MMLSpark
Azure Machine Learning（Azure 机器学习）；Microsoft New England Research and Development（微软新英格兰研发中心）
在这项工作中，我们详细介绍了一个新的开源库，称为MMLSpark，它结合了灵活的深度学习库认知工具包，与分布式计算框架Apache Spark。为了实现这一点，我们将Java语言绑定贡献给了Cognitive Toolkit，并向Spark生态系统添加了几个新组件。此外，我们还将流行的图像处理库OpenCV与Spark集成在一起，并提供了一个工具，用于从任何SparkML估计器自动生成PySpark包装器，并使用该工具将所有工作暴露给PySpark生态系统。最后，我们提供了一个大型的工具库，用于在Spark生态系统中工作和开发。我们将这项工作应用于相机陷阱图像中雪豹的自动分类，并为非营利性保护组织雪豹信托提供端到端的解决方案。
2018-04-11 cs.DC cs.LG
