Matrix Computations and Optimization in Apache Spark
我们描述了集群编程框架Apache Spark中的矩阵计算。Spark开箱即用，为分布式矩阵和使用这些矩阵的优化例程提供了抽象和实现。当将单节点算法转换为在分布式集群上运行时，我们观察到通常一个简单的想法就足够了：将矩阵操作与向量操作分离，并将矩阵操作运送到集群上运行，同时将向量操作保持在驱动程序本地。在奇异值分解的情况下，通过将这个想法发挥到极致，我们能够利用集群的计算能力，同时运行几十年前为单核编写的代码。另一个例子是我们流行的TFOCS优化包的Spark端口，最初是为MATLAB构建的，它允许求解线性规划以及各种其他凸规划。最后，我们总结了一套全面的基准测试，用于从JVM进行硬件加速矩阵计算，这本身就很有趣，因为许多集群编程框架都使用JVM。本文中描述的贡献已经合并到Apache Spark中，默认情况下可在Spark安装中使用，并由一系列提供进一步服务的公司提供商业支持。
2016-07-13 cs.DC
Stark: Fast and Scalable Strassen's Matrix Multiplication using Apache Spark
本文在Strassen矩阵乘法算法的基础上，在Apache Spark平台上提出了一种新的快速、高可扩展的分布式矩阵乘法算法Stark。Stark在分布式环境中保留了Strassen的7乘法方案，从而实现了更快的执行速度。它基于两个新的思想：建立一个计算的递归树，树的每一层对应于弹性分布式数据集（RDD）形式的分布式矩阵块的划分和组合;它并行处理每个除法和合并步骤，并通过智能标记其中的矩阵块来记忆子矩阵。据我们所知，Stark是Strassen在Spark平台上的第一个实现。我们的实验表明，斯塔克具有很强的可扩展性，随着矩阵大小的增加，使我们能够乘以两个（16384 × 16384）矩阵与28%和36%的挂钟时间分别比马林和MLLib，国家的最先进的矩阵乘法方法的基础上火花。
2018-11-22 cs.DC
Apache Spark Streaming, Kafka and HarmonicIO: A Performance Benchmark and Architecture Comparison for Enterprise and Scientific Computing
本文提出了一个流处理吞吐量的基准比较Apache Spark Streaming（基于文件，TCP套接字和Kafka的流集成），与原型P2P流处理框架，HarmonicIO。测量了一系列流处理负载的最大吞吐量，特别是那些具有大消息大小（高达10 MB）和重CPU负载的负载-比企业上下文更典型的科学计算用例（如显微镜）。这些流媒体源的性能特征的详细探索，在不同的负载下，揭示了性能权衡的相互作用，揭示了每个框架和流媒体源集成的良好性能的边界。我们比较了每种情况下的理论界。基于这些结果，我们建议哪些框架和流媒体源可能为给定的负载提供良好的性能。从广义上讲，Spark丰富的功能集的优势是以对消息大小的敏感性为代价的，特别是-常见的流源集成在1 MB-10 MB范围内表现不佳。HarmonicIO的简单性在该区域提供了更强大的性能，特别是在原始CPU利用率方面。
2019-12-19 cs.DC
MPIgnite: An MPI-Like Language and Prototype Implementation for Apache Spark
基于MPI的横向扩展并行处理是一个有25年历史的标准，在高性能计算社区中，至少还有十年的历史。MapReduce、Hadoop和Spark等较新的框架代表了工业可扩展计算解决方案，这些解决方案因其相对简单的使用、对相关问题的适用性以及利用可扩展分布式资源的能力而得到广泛采用。虽然MPI提供了性能和可移植性，但它缺乏生产力和容错能力。同样，Spark是当前一代MapReduce和数据并行计算基础设施的一个具体示例，它可以实现这些目标，但又缺乏对等通信支持，无法实现轻量级、高度可扩展的对等数据并行代码部分。本文的主要贡献是演示如何将MPI的集体和点对点对等通信概念引入Spark环境。这样做是为了产生性能便携，面向对等和面向组的通信服务，同时保留Spark的基本，理想的属性。考虑了容错和生产率的附加概念。这种方法与将MapReduce框架作为上层中间件添加到传统的MPI实现作为基线基础设施相比。
2017-07-15 cs.DC
Evaluation of pilot jobs for Apache Spark applications on HPC clusters
大数据在许多科学领域已经变得非常突出，因此，科学界已经寻求大数据框架来加速处理其日益增长的数据密集型管道。然而，虽然科学界通常依赖高性能计算（HPC）集群来并行化其管道，但许多流行的大数据框架（如Hadoop和Apache Spark）主要设计用于在专用的商品基础设施上执行。本文评估了在HPC集群上Apache Spark的试点作业相对于传统批处理提交的优势。令人惊讶的是，我们的研究结果表明，试点工作批调度提供的速度是温和的不存在（平均0.98），尽管存在长排队时间。此外，试验作业提供了一个额外的调度层，使调试和部署复杂化。我们的结论是，传统的批处理调度应该仍然是在HPC集群上部署Apache Spark应用程序的默认策略。
2019-05-29 cs.DC cs.PF
Performance comparison of Dask and Apache Spark on HPC systems for Neuroimaging
本文在HPC系统上比较了Apache Spark和Dask处理神经影像管线的运行时性能，发现两者性能相当但Spark内存占用更高，数据传输时间是主要瓶颈。
2024-06-03 cs.DC
Real-time Log Query Interface for large datasets using Apache Spark
Log Query Interface是一个交互式Web应用程序，允许用户轻松高效地查询MobileInsight的超大数据日志。有了这个界面，用户不再需要通过命令行查询与数据库对话，也不需要在本地安装MobileInsight客户端来获取数据。用户可以简单地选择/类型的查询消息通过我们的基于Web的系统查询数据库非常有效，并响应用户。在6 GB数据集上测试时，我们的系统响应时间不到1秒，而在传统的MySql数据库上进行类似的查询需要60秒以上。该系统使用户能够使用SQL查询语言执行所有查询。用户可以在非常大的表上执行复杂的连接操作。服务器端的Spark集群极大地提高了查询的响应时间，Spark集群将大数据集存储在分布式系统中，并在多台机器上并行执行查询。
2017-09-23 cs.DC
Burrows Wheeler Transform on a Large Scale: Algorithms Implemented in Apache Spark
随着下一代测序（NGS）技术的快速发展，每天收集大量的“组学”数据并需要处理。索引和压缩大型序列数据集是这方面最重要的任务之一。在这里，我们提出了依赖于大数据技术的Burrows Wheeler变换的计算算法，即，Apache Spark和Hadoop我们的算法是第一个分发索引计算的算法，而不仅仅是输入数据集，允许充分利用可用的云资源。
2021-07-07 cs.DC cs.DS
FITS Data Source for Apache Spark
我们调查Apache Spark的性能，集群计算框架，用于分析未来LSST类星系调查的数据。Apache Spark解决大数据问题的尝试迄今为止在业界证明是成功的，但它在天文学界的应用仍然有限。我们将展示如何管理复杂的二进制数据结构处理天体物理学实验，如二进制表存储在FITS文件中，在分布式环境中。为此，我们首先设计并实现了一个Spark连接器来处理任意大的FITS文件集，称为spark-fits。用户界面是这样的，一个简单的文件“拖放”到一个集群，充分利用了框架。我们使用LSST快速仿真工具CoLoRe演示了火花拟合的高度可扩展性，并提出了测量和调整工作负载性能瓶颈的方法，在位于巴黎南大学的Cloud@VirtualData上扩展到TB的FITS数据。我们还评估了它的性能Cori，高性能计算系统位于NERSC，并广泛用于科学界。
2018-10-15 astro-ph.IM cs.DC
Scalable Manifold Learning for Big Data with Apache Spark
University at Buffalo（布法罗大学）
非线性谱降维方法，如Isomap，仍然是学习流形的重要技术。然而，由于计算复杂性，使用Isomap的精确流形学习目前不可能从大规模数据中进行。本文提出了一种在Apache Spark模型下实现端到端精确Isomap的分布式内存框架。我们展示了Isomap算法的每个关键步骤如何使用基本的Spark模型有效地实现，而不需要在辅存中提供数据。我们展示了如何使用PySpark实现整个方法，将计算密集型线性代数例程卸载到BLAS。通过实验结果，我们证明了我们的方法具有良好的可扩展性，我们表明，它可以处理数据集的数量级大于目前可能的，使用25节点的并行集群。
2018-08-31 cs.DC cs.LG
Mining Area Skyline Objects from Map-based Big Data using Apache Spark Framework
针对大规模地图数据区域天际线计算效率问题，提出基于 Apache Spark 的三阶段分布式算法，通过局部部分天际线提取减少传输量，并在八个数据集上验证其可显著降低数据规模与计算时间。
2024-04-04 cs.DC
TRANSMUT-SPARK: Transformation Mutation for Apache Spark
我们提出了TRANSMUT-Spark，这是一种自动化Spark程序中大数据处理代码的突变测试过程的工具。Apache Spark是一个大数据处理引擎。它通过内置函数、底层并行流程和数据管理策略隐藏了大数据并行和分布式编程和处理固有的复杂性。尽管如此，程序员必须在程序中巧妙地结合这些功能，并指导引擎使用正确的数据管理策略，以利用大数据处理所需的大量计算资源，避免大量的生产损失。Spark程序中的数据处理代码中的许多编程细节都容易出现错误语句，需要进行正确和自动测试。本文探讨了变异测试在Spark程序中的应用，这是一种基于故障的测试技术，它依赖于故障模拟来评估和设计测试集。本文介绍了用于测试Spark程序的TRANSMUT-Spark解决方案。TRANSMUT-Spark自动化过程中最费力的步骤，并完全执行突变测试过程。本文介绍了该工具如何自动化的突变体生成，测试执行，充分性分析阶段的突变测试与TRANSMUT-Spark。它还讨论了为验证该工具而进行的实验结果，以论证其范围和局限性。
2021-08-05 cs.DC cs.SE
SPIN: A Fast and Scalable Matrix Inversion Method in Apache Spark
大数据在诸如地球科学、社交网络、物理科学等领域中的增长导致了对高效且可扩展的线性代数运算（例如，矩阵求逆）的巨大需求。使用大数据平台进行高效和分布式矩阵求逆的现有方法依赖于基于LU分解的块递归算法。然而，这些算法是复杂的，需要大量的边计算，例如矩阵乘法，在各种级别的递归。在本文中，我们提出了一个不同的计划的基础上Strassen的矩阵求逆算法（在Strassen的原始文件在1969年提到），它使用少得多的操作，在每一级的递归。我们实现了所提出的算法，并通过大量的实验，表明它是更有效的比最先进的方法。此外，我们提供了一个详细的理论分析所提出的算法，并推导出理论上的运行时间密切配合的经验观察挂钟运行时间，从而解释了U形行为w.r.t.块大小。
2018-01-15 cs.DC
CMS Analysis and Data Reduction with Apache Spark
几十年来，实验粒子物理学一直处于分析世界上最大数据集的最前沿。HEP社区是最早为这项任务开发合适的软件和计算工具的社区之一。近年来，用于分布式数据处理的新工具包和系统（统称为“大数据”技术）已经从工业和开源项目中出现，以支持工业中的PB和EB数据集的分析。虽然HEP中的数据分析原则没有改变（过滤和转换实验特定的数据格式），但这些新技术使用不同的方法和工具，有望以全新的眼光分析非常大的数据集，这可能会减少物理时间，增加交互性。此外，这些新工具通常由大型社区积极开发，通常利用行业资源，并在开源许可下开发。这些因素促进了工具的采用和成熟，并促进了支持它们的社区，同时有助于降低最终用户的拥有成本。在这次演讲中，我们将介绍使用Apache Spark进行最终用户数据分析的研究。我们正在研究HEP分析工作流程，分为两个重点：集中产生的实验数据集的减少和最终分析到出版图。研究第一个推力，CMS正在与CERN openlab和英特尔合作开发CMS大数据缩减设施。目标是将1 PB的官方CMS数据减少到1 TB的ntuple输出以供分析。我们正在介绍这个为期2年的项目的进展情况，以及基于Spark的HEP分析的初步结果。研究第二个推力，我们正在介绍使用Apache Spark进行CMS暗物质物理搜索的研究，将Spark的可行性，可用性和性能与基于ROOT的分析进行比较。
2017-10-31 cs.DC
HetNetAligner: Design and Implementation of an algorithm for heterogeneous network alignment on Apache Spark
使用网络来模拟和分析生物数据以及生物分子相互作用的重要性已得到广泛认可。因此，过去已经开发了许多用于网络的分析和比较的算法（例如对齐算法）。最近，许多不同的方法试图整合到一个单一的模型，不同的分子，如基因，转录因子和microRNA的相互作用。一种可能的形式主义来模拟这种情况来自节点着色网络（或异构网络）实现为节点/边着色图。因此，需要引入能够分析异构网络的对齐算法。据我们所知，所有现有的算法都不能挖掘异构网络。我们提出了一个两步对齐策略，接收作为输入的两个异构网络（节点着色图）和两个网络的节点之间的相似性函数扩展以前的配方。我们首先构建一个单一的对齐图。然后，我们挖掘这个图提取相关的子图。尽管这种方法很简单，但这种网络的分析依赖于图和子图同构，数据的大小仍在增长。因此，需要使用高性能的数据分析框架。HetNetAligner是一个基于Apache Spark的框架。我们还实现了我们的算法，并在一些选定的异构生物网络上进行了测试。初步结果证实，我们的方法可以从生物数据中提取相关的知识，减少计算时间。
2018-06-11 cs.DC
Comparing Two Different Approaches in Big Data and Business Analysis for Churn Prediction with the Focus on How Apache Spark Employed
University of Oulu（奥卢大学）
由于大数据分析的重要性，特别是在与业务相关的主题，如改善服务，寻找潜在客户，并选择实用的方法来管理收入和支出，许多公司试图与科学家合作，以找到如何，为什么，以及他们应该分析什么。在这项工作中，我们想比较和讨论两种不同的方法，用于大数据中的业务分析主题，更多地考虑他们如何利用Spark。这两项研究都将流失预测作为他们提出的方法的案例研究，因为它是公司识别客户打算离开或停止使用他们的服务的商业分析中的一个重要主题。在这里，我们重点介绍Apache Spark，因为它提供了几种解决方案来有效地处理大量数据。Spark的这一特性使其成为解决大数据问题的最强大的候选工具之一，特别是时间和资源问题。
2021-05-28 cs.AI cs.DC
Large-scale text processing pipeline with Apache Spark
Princeton University（普林斯顿大学）
在本文中，我们评估了Apache Spark的数据密集型机器学习问题。我们的用例重点关注美国各州立法机构随着时间的推移的政策扩散检测。由于计算强度的原因，以前关于政策扩散的工作一直无法在法案之间进行全对比较。作为替代，学者们研究了单一主题领域。我们提供了一个实现这个分析工作流作为一个分布式的文本处理管道与Spark框架和Scala应用程序编程接口。我们讨论了非结构化数据处理的挑战和策略，用于存储和有效访问的数据格式，以及大规模的图形处理。
2019-12-02 cs.CL cs.DC cs.LG
Stage-Level Executor Allocation in Apache Spark with Cost-Performance Trade-offs
IBM；University of Tübingen（蒂宾根大学）
研究在无服务器Apache Spark环境中阶段级执行器分配问题，提出训练树集成模型估计运行时间和成本，据此为各阶段推荐资源的方法，经实验在TPC-DS和SQLStorm基准测试中实现成本节省和性能平衡。
2026-07-14 cs.DC
Understanding and Optimizing the Performance of Distributed Machine Learning Applications on Apache Spark
IBM Research Zürich（IBM苏黎世研究院）
在本文中，我们将探讨Apache Spark在机器学习应用中的性能限制。我们首先分析了Spark中实现的最先进的分布式机器学习算法的特性，并将其与使用高性能计算框架MPI的等效参考实现进行了比较。我们确定了Spark框架的关键瓶颈，并仔细研究了它们对算法性能的影响。为了提高Spark的性能，我们提出了一些实用的技术来减轻它的一些开销。然而，优化计算效率和框架相关的开销并不是性能的唯一关键-我们证明，为了获得最佳性能的任何实现，有必要仔细调整算法的计算时间和通信延迟之间的相应权衡。最佳的权衡取决于分布式算法的属性以及基础设施和框架相关的特性。最后，我们将这些技术和算法优化应用于Spark中实现的三种不同的分布式线性机器学习算法。我们使用五个大型数据集展示了结果，并证明通过使用所提出的优化，我们可以将Spark和MPI之间的性能差异从20倍减少到2倍。
2017-12-13 cs.DC cs.LG
Scientific Computing Meets Big Data Technology: An Astronomy Use Case
科学分析通常将多个单进程程序组合成一个子程序。单进程程序的端到端并行流被称为多任务应用程序。通常，来自HPC软件栈的工具用于并行化这些分析。在这项工作中，我们研究了一种替代方法，该方法使用Apache Spark（一种现代大数据平台）来并行化多任务应用程序。我们提出Kira，一个灵活的分布式天文学图像处理工具包，使用Apache Spark。然后，我们使用Kira工具包来实现天文图像的源提取器应用程序，称为Kira SE。以Kira SE为用例，我们研究了运行在EC2云上的Apache Spark的编程灵活性、底层丰富性、调度能力和性能。通过利用数据局部性，Kira SE在Amazon EC2云上使用512个核心分析1TB数据集时，实现了2.5倍于等效C程序的加速。此外，通过利用最初为大数据基础设施设计的软件，Kira SE实现了与NERSC Edison超级计算机上运行的C实现竞争的性能。我们使用Kira的经验表明，Apache Spark等新兴大数据平台是多任务科学应用程序的高性能替代方案。
2016-03-14 cs.DC
Distributed Record Linkage in Healthcare Data with Apache Spark
Tarbiat Modares University（塔比阿特莫达雷斯大学）
针对医疗数据分散难整合及记录链接任务中的数据不平衡问题，本研究基于Apache Spark机器学习库构建分布式数据匹配模型，经训练数据验证及SVM、回归算法应用，模型无过拟合与欠拟合问题，表现良好。
2024-03-09 cs.DC cs.LG
Architectural Impact on Performance of In-memory Data Analytics: Apache Spark Case Study
虽然集群计算框架正在不断发展以提供实时数据分析功能，但Apache Spark已经成为大数据分析的最前沿，成为批量和流数据处理的统一框架。然而，最近的研究在内存中的数据分析的微架构表征仅限于批处理工作负载。我们使用双套接字服务器上的硬件性能计数器比较Apache Spark中批处理和流处理工作负载的微架构性能。在我们的评估实验中，我们已经发现，批处理是流处理工作负载具有类似的微架构特征，并受到频繁的数据访问DRAM的延迟。对于数据访问，我们发现同时多线程可以有效地隐藏数据延迟。我们还观察到，（i）NUMA节点上的数据局部性可以平均提高10%的性能，（ii）禁用下一行L1-D预取器可以减少高达14%的执行时间，（iii）多个小执行器可以提供高达36%的加速比。
2016-04-28 cs.AR cs.DC cs.PF
MLlib: Machine Learning in Apache Spark
Databricks；UC Berkeley（加州大学伯克利分校）；HHMI Janelia Research Campus（霍华德·休斯医学研究所珍妮莉亚研究园区）；Netflix（奈飞）；Origami Logic；Cloudera UK（Cloudera英国）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Stanford（斯坦福大学）；MIT（麻省理工学院）；UCLA（加州大学洛杉矶分校）
Apache Spark是一个流行的大规模数据处理开源平台，非常适合迭代机器学习任务。在本文中，我们介绍了MLlib，Spark的开源分布式机器学习库。MLlib为广泛的学习设置提供了高效的功能，并包括几个基础的统计，优化和线性代数原语。MLlib随Spark一起提供，支持多种语言，并提供高级API，利用Spark丰富的生态系统来简化端到端机器学习管道的开发。MLlib经历了一个快速的增长，由于其充满活力的开源社区超过140贡献者，并包括广泛的文档，以支持进一步的增长，让用户快速上手。
2015-05-26 cs.DC cs.LG cs.MS
AXS: A framework for fast astronomical data processing based on Apache Spark
我们介绍AXS（Astronomy eXtensions for Spark），这是一个基于Apache Spark的可扩展开源天文数据分析框架，Apache Spark是一个广泛使用的行业标准大数据处理引擎。基于Spark中的功能，AXS旨在使用熟悉的Python/AstroPy概念，DataFrame API和SQL语句查询和分析几乎任意大的天文目录。我们通过i）为Spark添加支持以实现高效的在线位置交叉匹配，ii）提供支持天文数据分析常用操作的Python库。为了支持可扩展的交叉匹配，我们开发了一种ZONES算法（Gray et al. 2004）的变体，能够在分布式、无共享架构中运行。我们将其与数据分区方案相结合，该方案可以实现快速目录交叉匹配，并处理深空数据集中经常出现的数据倾斜。交叉匹配和其他常用功能通过易于使用的Python API向最终用户公开。我们展示了AXS在SDSS、ZTF、Gaia DR 2和AllWise目录上的技术和科学性能。使用AXS，我们能够在大约30秒内对Gaia DR 2（18亿行）和AllWise（9亿行）数据集进行动态交叉匹配。我们将讨论像AXS这样的云就绪分布式系统如何提供一种自然的方式来实现对LSST等大型数据集的全面最终用户分析。
2019-05-24 astro-ph.IM cs.DC
Mobile Big Data Analytics Using Deep Learning and Apache Spark
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research（资讯通信研究院）；Singapore University of Technology and Design（新加坡科技设计大学）；Singapore Management University（新加坡管理大学）；University of Houston（休斯顿大学）
诸如智能手机和物联网（IoT）小工具的移动设备的激增导致了最近的移动大数据（MBD）时代。收集MBD是无利可图的，除非使用合适的分析和学习方法从数据中提取有意义的信息和隐藏的模式。本文介绍了MBD分析中的深度学习的概述和简短教程，并讨论了Apache Spark上的可扩展学习框架。具体来说，分布式深度学习在许多Spark工作者上作为迭代MapReduce计算执行。每个Spark worker在整个MBD的分区上学习一个部分深度模型，然后通过平均所有部分模型的参数来构建主深度模型。这个基于Spark的框架加快了由许多隐藏层和数百万个参数组成的深度模型的学习。我们使用一个上下文感知的活动识别应用程序与包含数百万个样本的真实数据集来验证我们的框架并评估其加速效率。
2016-02-23 cs.DC cs.LG cs.NE
Approximate Distributed Joins in Apache Spark
连接操作是并行数据处理的基本构件。不幸的是，在大量数据集上计算equi-join是非常资源密集的。近似计算范式允许用户以精确性和延迟换取昂贵的数据处理操作。因此，等价连接算子是使用近似技术进行优化的自然候选者。虽然基于采样的方法被广泛用于近似，采样连接是一个引人注目的，但具有挑战性的任务，关于输出质量。在数据集样本上执行连接的朴素方法不会保留连接输出的统计属性。为了实现这一潜力，我们交织布鲁姆过滤器草图和分层采样与连接计算在一个新的运营商，近似连接，保留了统计特性的连接输出。ApproxJoin利用Bloom过滤器来避免在网络中混洗不可连接的数据项，然后应用分层采样来获得连接输出的代表性样本。我们的分析表明，ApproxJoin可扩展性很好，并显着减少了数据移动，而不会牺牲最终结果准确性的严格误差范围。我们在Apache Spark中实现了ApproxJoin，并使用微基准测试和真实案例研究对ApproxJoin进行了评估。评估表明，在相同的采样率下，ApproxJoin比未修改的基于Spark的连接实现了6- 9倍的加速。此外，加速还伴随着洗牌数据量的显着减少，这比未修改的基于Spark的连接少5- 82倍。
2018-05-15 cs.DB cs.DC
A performance comparison of Dask and Apache Spark for data-intensive neuroimaging pipelines
在过去的几年里，由于图像分辨率、数据共享和研究规模的共同增加，神经影像学已经进入了大数据时代。然而，在这个领域还没有出现特定的大数据引擎，并且仍然有几种替代方案。我们比较了两个流行的大数据引擎与Python API，Apache Spark和Dask，在处理神经成像管道时的运行时性能。我们的评估使用两个合成管道处理81 GB的BigBrain图像，以及一个真实的管道处理来自1,000多名受试者的解剖数据。我们使用任务持续时间、数据大小和工人数量的各种组合来对这些管道进行基准测试，这些管道部署在8节点（每个节点8个核心）上。Compute Canada的Arbutus云中的计算集群。我们将PySpark的RDD API与Dask's Bag、Delayed和Futures进行对比。结果表明，尽管Spark和Dask之间存在细微差异，但两种引擎都可以执行JavaScript。然而，Dask管道可能会受到Python GIL的限制，这取决于任务类型和集群配置。在所有情况下，主要的限制因素是数据传输。虽然这两种引擎都适用于神经成像管道，但需要更多的努力来减少数据传输时间。
2019-10-05 cs.DC cs.PF
An Information Theoretic Feature Selection Framework for Big Data under Apache Spark
University of Granada（格拉纳达大学）；University of A Coruña（拉科鲁尼亚大学）
随着极高维数据集的出现，降维技术变得势在必行。在众多技术中，特征选择作为在大型数据集上识别相关特征的重要工具--无论是在实例数量还是特征数量上--越来越受到关注。这项工作的目的是证明标准的特征选择方法可以在Apache Spark等大数据平台中并行化，从而提高性能和准确性。因此，我们提出了一个分布式实现的通用特征选择框架，其中包括广泛的一组著名的信息理论方法。在大量真实世界数据集上的实验结果表明，我们的分布式框架能够在短时间内处理超高维数据集以及具有大量样本的数据集，在所有研究的情况下都优于顺序版本。
2016-10-19 cs.AI cs.DC cs.LG
Distributed Streaming Analytics on Large-scale Oceanographic Data using Apache Spark
来自不同领域的真实数据需要实时可扩展的分析。大规模数据处理框架或引擎（如Hadoop）在需要即时结果时会出现不足。Apache Spark的流媒体库越来越成为一个受欢迎的选择，因为它可以流式传输和分析大量数据。本文分析了美国全球海洋数据同化实验（USGODAE）数据目录中收集的大尺度时空数据，展示并评估了Spark流处理的能力。我们通过在流作业的中间添加和删除节点来测量流的延迟并监控可扩展性。我们还验证了容错停止节点在中间的一个工作，并确保该工作被重新调度和完成其他节点。我们设计了一个全栈应用程序，可以自动执行数据汇集、数据处理和结果可视化。我们还使用Google Maps API来可视化结果，方法是使用各种分析的值对世界地图进行颜色编码。
2019-08-01 cs.DB cs.DC cs.IR
Large-Scale Graphs Community Detection using Spark GraphFrames
针对社区检测算法在大规模图上计算密集、性能下降的问题，本文基于 Apache Spark GraphFrames 实现 K-Cliques、Louvain 和 Fast Greedy，并在两个真实数据集上验证其性能、可扩展性与可行性。
2024-08-06 cs.DC cs.SI
Benchmarking Apache Spark and Hadoop MapReduce on Big Data Classification
Istanbul Technical University（伊斯坦布尔理工大学）；ASELSAN A.S.（阿瑟尔桑公司）
大多数流行的大数据分析工具都在不断发展，以适应其工作环境，从大量非结构化数据中提取有价值的信息。数据采掘技术能够从大数据中过滤这些有用的信息，这导致了大数据采掘这个术语。将数据范围从小型、结构化和稳定的数据转变为海量、非结构化和快速变化的数据带来了许多数据管理挑战。不同的工具由于其体系结构的限制，以自己的方式应对这些挑战。在根据手头的任务选择正确的数据管理框架时，需要考虑许多参数。在本文中，我们为两个广泛使用的大数据分析工具，即Apache Spark和Hadoop MapReduce，在一个共同的数据采掘任务上，即，分类.我们采用了几个评估指标来比较基准框架的性能，如执行时间，准确性和可扩展性。这些指标专门用于测量分类任务的性能。据我们所知，在文献中没有以前的研究，采用所有这些指标，同时考虑到特定任务的关注。我们发现Spark在训练模型时比MapReduce快5倍。然而，Spark的性能会随着输入工作负载的增大而降低。通过额外的集群扩展环境可以显著提高Spark的性能。然而，在Hadoop中没有观察到类似的增强。MapReduce的机器学习实用程序往往比Spark具有更好的准确性分数，即使在小规模的数据集中也是如此，大约3%。
2022-09-21 cs.DC cs.LG
A Benchmarking Study to Evaluate Apache Spark on Large-Scale Supercomputers
随着数据集大小的增加，高性能计算（HPC）中的数据分析任务越来越依赖于复杂的并行计算和核外方法来提高系统利用率。此外，随着HPC系统的增长，存储器访问和数据共享正在成为性能瓶颈。云计算采用通常建立在低成本计算节点的松散连接组上而不依赖于共享存储和/或存储器的数据处理范例。Apache Spark是一个流行的云计算大规模数据分析引擎，我们已经通过作业提交脚本成功部署在生产集群上。在本文中，我们描述了消息传递接口（MPI）和基于云的应用程序的常见并行分析流程。我们开发了一个有效的基准来衡量这些任务的性能特征，使用这两种类型的系统，特别是比较MPI/C为基础的分析与火花。基准测试是一个数据处理管道，代表了使用map-reduce实现的典型分析框架。在Spark的例子中，我们还考虑了语言是否通过使用Python和Scala（一种构建在Java虚拟机（JVM）上的语言）编写测试来发挥作用。我们包括来自阿贡国家实验室的两个大型系统的性能结果，其中包括Theta，Cray XC 40超级计算机，我们的实验运行65，536个核心（1024个节点，每个节点64个核心）。我们的实验结果进行了讨论，其适用性的背景下，未来的HPC架构。除了了解性能之外，我们的工作还表明，Spark等技术虽然通常针对基于云的多租户环境，但在传统的集群/超级计算环境中显示出数据分析需求的前景。
2019-09-27 cs.DC cs.SE
Alchemist: An Apache Spark <=> MPI Interface
用于分布式计算的Apache Spark框架由于其易用性而在数据分析社区中很受欢迎，但其MapReduce风格的编程模型在执行不直接映射到该模型的计算时可能会产生显着的开销。减轻这些成本的一种方法是将计算卸载到MPI代码上。在最近的工作中，我们介绍了Alchemist，一个用于分析大规模数据集的系统。Alchemist从Spark应用程序中调用基于MPI的库，它具有最小的编码，通信和内存开销。特别是，Alchemist允许用户保留在Spark软件生态系统中工作的生产力优势，而不会牺牲线性代数，机器学习和其他相关计算的性能效率。在本文中，我们讨论了炼金术士的发展背后的动机，我们提供了一个详细的概述其设计和使用。我们还证明了我们的方法在中型到大型数据集上的效率，使用一些标准的线性代数运算，即矩阵乘法和密集矩阵的截断奇异值分解，我们比较了Spark与Spark+Alchemist的性能。这些计算在NERSC超级计算机Cori Phase 1，Cray XC 40上运行。
2018-06-03 cs.DB cs.DC physics.data-an
Big Data application in congestion detection and classification using Apache spark
Iowa state university（爱荷华州立大学）
随着大数据时代的到来，现在可以获得爆炸性的信息量。学术界和工业界大数据的巨大增长需要大规模的数据处理系统。大量的研究都在优化Spark的性能，使其成为最先进的快速通用数据处理系统。许多科学和工程领域都随着大数据分析而进步，例如生物学，金融和交通运输。智能交通系统（ITS）的普及和直接受益于丰富的信息。其目标是通过减少拥堵和事故来改善交通网络的安全和管理。实现这一目标的第一步是更好地理解、建模和高效地检测网络中的拥塞。在这项研究中，我们引入了一个有效的拥塞检测模型。基础网络由I-35、I-80、I-29和I-380高速公路的3017个路段组成，总长1570英里，平均每段（0.4-0.6）英里。拥塞检测结果表明，该方法的准确率为90%，计算时间减少了99.88%。
2021-01-16 cs.DC cs.LG
A Multi-Dimensional Big Data Storing System for Generated COVID-19 Large-Scale Data using Apache Spark
中国武汉持续爆发新型冠状病毒病（COVID-19），特别是在二零一九年十二月。COVID-19是由一种以前在人类中未发现的新病毒引起的。随后，这一流行病在全世界迅速蔓延。根据这种疾病的症状，确诊病例数量每天都在迅速增加，嫌疑人数量也在增加，不幸的是，死亡人数也在增加。因此，随着世界各地病例数量的增加，很难在不同情况下管理所有这些病例信息;如果患者受伤或怀疑患者出现了哪些症状。因此，迫切需要构建一个多维系统来存储和分析所生成的大规模数据。本文提出了一个基于Apache Spark的COVID-19数据综合存储系统（CSS-COVID），以处理和管理因COVID-19数量每天增加而导致的问题。CSS-COVID有助于减少查询和存储COVID-19每日数据的处理时间。CSS-COVID包括三个阶段，即插入和索引，存储和查询阶段。在插入阶段，数据被划分成子集，然后分别索引每个子集。存储阶段使用一组存储节点来存储数据，查询阶段负责处理查询过程。在CSS-COVID中使用Apache Spark可以充分利用处理每日增加的冠状病毒疾病伤害的大规模数据的性能。使用真实的COVID-19数据集进行了一系列实验，以证明CSS-COVID在索引大规模数据方面的效率。
2020-04-30 cs.DB cs.DC
Scalable Exact Parent Sets Identification in Bayesian Networks Learning with Apache Spark
Department of Computer Science and Engineering University at Buffalo（布法罗大学计算机科学与工程系）；Department of Computer Science and Engineering Department of Biomedical Informatics University at Buffalo（布法罗大学生物医学信息学系计算机科学与工程系（注：此处按原文机构名合并，实际通常以主要系部为准，原文同时列出两个系部，均需提取））；University at Buffalo（布法罗大学（注：经检查，原HTML中作者的Affiliation部分明确包含的机构单位为“Department of Computer Science and Engineering University at Buffalo”和“Department of Computer Science and Engineering Department of Biomedical Informatics University at Buffalo”，但根据提取规则，机构粒度到大学/学院/公司/研究院级别即可，此处“University at Buffalo”为大学，“Department of Computer Science and Engineering”为系部，“Department of Biomedical Informatics”为系部。按要求提取到大学/学院/公司/研究院级别，因此主要机构为“University at Buffalo”，但原文中作者的Affiliation完整内容包含多个系部和大学，需严格按原文提取作者所属机构的英文名称，中文翻译需自然准确。正确提取应为：{）
在机器学习中，父集合识别问题是找到一组随机变量，这些随机变量在给定数据和一些预定义的评分函数的情况下最好地解释所选变量。该问题是贝叶斯网络结构学习和马尔可夫毯发现的关键组成部分，因此具有许多实际应用，从欺诈检测到临床决策支持。在本文中，我们介绍了一个新的分布式记忆方法的精确父集分配问题。为了实现可扩展性，我们推导出理论界来约束搜索空间时，MDL评分函数，我们重新组织底层的动态规划，这样的计算密度增加，细粒度同步被淘汰。然后，我们在Apache Spark平台上设计了我们方法的有效实现。实验结果表明，该方法在500核的独立Spark集群上具有很强的可扩展性，可以有效地处理70个变量的数据集，远远超出了现有解决方案的范围。
2017-10-24 cs.AI cs.DC
Flare: Native Compilation for Heterogeneous Workloads in Apache Spark
现代数据分析需要结合关系、过程和映射-归约风格的功能处理，这一点得到了广泛的认可。像Spark这样的最先进的系统已经添加了SQL前端和关系查询优化，这保证了表达能力和性能的提高。但是这些扩展在从现代硬件平台中提取高性能方面有多好呢？虽然Spark已经取得了令人印象深刻的进步，但我们表明，对于关系型工作负载，与同类最佳查询引擎相比，仍然存在显着差距。当走出关系世界时，如果必须将大部分计算视为用户定义函数（UDF），那么查询优化技术将无效。我们介绍Flare：Spark的一个新后端，使性能更接近最好的SQL引擎，而不会放弃Spark的额外表现力。我们展示了TPC-H等关系工作负载以及结合关系和迭代函数处理的一系列机器学习内核的数量级加速。Flare通过（1）编译为本机代码，（2）替换Spark运行时系统的部分，以及（3）将优化和代码生成的范围扩展到大型UDF类来实现这些结果。
2017-03-23 cs.DB cs.DC cs.PF
Comparative analysis of large data processing in Apache Spark using Java, Python and Scala
本研究基于Apache Spark与Apache Iceberg，对比Java、Python、Scala处理不同规模及复杂度数据的ETL性能，发现小数据量下Python更快，大数据量及复杂操作中Scala、Java更高效，可为数据处理流程优化提供参考。
2025-10-21 cs.DB cs.DC cs.PL
Adaptive filter ordering in Spark
本报告描述了一种使Apache Spark执行引擎自适应的技术方法。它提出了工程解决方案，特别是针对自适应重新排序谓词的数据流与不断变化的统计。开发的系统扩展可作为开源原型提供。指示性的实验结果表明，其开销和调整参数的敏感性。
2019-05-03 cs.DB cs.DC
In-Memory Indexed Caching for Distributed Data Processing
强大的抽象，如嵌入式框架，其效率仅与其底层运行时系统一样高。事实上的分布式数据处理框架Apache Spark不太适合现代基于云的数据科学工作负载，因为它的假设已经过时：使用粗粒度转换分析静态数据集。在本文中，我们介绍了索引数据帧，内存中的高速缓存，支持一个抽象的结构，它结合了索引功能，以支持快速查找和连接操作。此外，它支持多版本并发控制的追加。我们将Indexed DataFrame实现为一个轻量级的独立库，可以以最小的努力集成到现有的Spark程序中。我们使用Apache Spark和Databricks SDK分析了索引数据帧在集群和云部署中的性能，并使用真实的数据集和基准测试。在我们的评估中，我们表明，索引的DataFrame显着加快查询执行相比，非索引的DataFrame，产生适度的内存开销。
2022-02-08 cs.DC
MMLSpark: Unifying Machine Learning Ecosystems at Massive Scales
Microsoft Applied AI（微软应用人工智能部门）；Microsoft Azure Machine Learning（微软Azure机器学习部门）；Microsoft AI Development Acceleration Program（微软人工智能发展加速项目）
我们将介绍Microsoft机器学习for Apache Spark（MMLSpark），这是一个增强生态系统，可扩展Apache Spark分布式计算库，以解决深度学习、微服务演示、梯度提升、模型可解释性和其他现代计算领域的问题。此外，我们提出了一种名为Spark Serving的新系统，允许用户将任何Apache Spark程序作为由现有Spark集群支持的分布式亚毫秒延迟Web服务运行。所有MMLSpark贡献都具有相同的API，可以在静态，弹性或无服务器集群上跨框架进行简单的组合，并在批处理，流式处理和RESTful Web服务场景中使用。我们通过创建一种能够在没有人类标记数据的情况下学习的深度目标检测方法来展示MMLSpark，并展示其对雪豹保护的有效性。
2019-06-21 cs.AI cs.DC cs.LG
OptEx: A Deadline-Aware Cost Optimization Model for Spark
我们提出了OptEx，Apache Spark，一个流行的并行处理引擎上的作业执行的封闭形式的模型。据我们所知，OptEx是第一个在Spark上对作业完成时间进行分析建模的工作。该模型可用于估计云上给定Spark作业的完成时间，包括输入数据集的大小，迭代次数，组成底层集群的节点数量。实验结果表明，OptEx产生的平均相对误差为6%的估计作业完成时间。此外，该模型可以应用于估计在SLO中指定的完成期限下在云上运行给定Spark作业的成本最优集群组成（即，服务水平目标）。我们的实验表明，OptEx是能够正确地估计成本最优的集群组成运行一个给定的Spark作业下的SLO的最后期限的准确性为98%。
2016-03-25 cs.DC
A Data and Model-Parallel, Distributed and Scalable Framework for Training of Deep Networks in Apache Spark
IBM Research India（IBM印度研究院）；CSIR-CEERI（印度科学与工业研究理事会-中央电子工程研究所）；IIT Delhi（印度理工学院德里分校）
训练深度网络既昂贵又耗时，训练周期会随着数据大小和模型参数的增长而增加。在本文中，我们提供了一个在Apache Spark的CPU集群上分布式训练深度网络的框架。该框架实现了数据分类主义和模型分类主义，使其适用于需要大量训练数据和模型参数的深度网络，这些数据和模型参数太大，无法放入单个机器的内存中。它可以很容易地扩展到一个廉价的商品硬件集群上，以实现显着的加速，并获得更好的结果，使其与GPU和超级计算机的农场相比非常经济。我们提出了一种用于训练深度网络的新算法，适用于网络在机器上划分的情况（模型分解），以及详细的成本分析和收敛性证明。我们已经开发了全连接前馈网络，卷积神经网络，递归神经网络和长短期记忆体系结构的实现。我们提出了广泛的模拟结果，展示了我们的框架对于不同大小的数据和模型参数以及工作核心/分区数量的变化所获得的加速和准确性;从而表明我们提出的框架可以实现显着的加速（对于CNN高达11倍），并且也具有相当的可扩展性。
2017-08-19 cs.AI cs.CV cs.DC
Optimizing and accelerating space-time Ripley's K function based on Apache Spark for distributed spatiotemporal point pattern analysis
随着越来越多的兴趣点数据集具有细粒度的空间和时间属性，时空Ripley的K函数被认为是一个强大的方法来分析时空点过程。然而，时空Ripley的K函数是计算密集型的逐点距离比较，边缘校正和模拟的显着性测试。利用OpenMP、MPI和CUDA等并行计算技术对K函数进行了加速，相关实验证明了其显著的加速效果。然而，以前的工作还没有扩大Ripley的K函数的优化从空间维到时空维。如果没有复杂的时空查询和分区机制，额外的计算开销可能是有问题的。同时，这些研究受到并行框架可扩展性受限和相对昂贵的编程成本的限制，阻碍了它们在大型POI数据集和Ripley的K函数变化中的应用。本文在最先进的分布式计算框架Apache Spark上提出了一种加速时空Ripley K函数的分布式计算方法，并分别采用四种策略来简化计算过程和加速分布式计算。在此基础上，开发了一个基于Web的可视化分析框架原型。实验证明了该方法的可行性和时间效率，并对时空Ripley K函数在生态学、地理学、社会学、经济学、城市交通等领域的应用具有推广价值。
2019-12-10 cs.CG cs.DC cs.DS
Large-Scale Network Embedding in Apache Spark
Interactive Entertainment Group, Tencent（腾讯互动娱乐事业群）
针对大规模图网络嵌入单机器难处理、计算效率低的问题，提出基于Apache Spark的递归分图并行分布式算法，线性成本获节点嵌入，性能与速度均优于现有方法，已落地腾讯游戏推荐场景。
2021-06-20 cs.AI cs.DC cs.LG
Nuova frontiera della classificazione testuale: Big data e calcolo distribuito
创建本文档是为了研究短语分类的算法，并使用Apache Spark框架提供的工具对其进行排名。从Laura Anderlucci，Lucia Guastadisegni，Cinzia Viroli的出版物“Classifying textual data：shallow，deep and ensemble methods”中阐述的研究开始，我们希望对使用分布式环境并允许短语分类的解决方案的可能实现进行研究。意大利语Il presente documento persegue l'obiettivo di studiare gli algoritmi per la categorizzione di frasi e classificarle con l'ausilio delle structure messe a disposizione dal framework Apache Spark. Laura Anderlucci，Lucia Guastadisegni和Cinzia Viroli的“Classifying textual data：shallow，deep and ensemble methods”是工作室出版的第一部分，他们意识到一个工作室有可能实现一个解决方案，用于分级分类和环境分布。
2019-06-28 cs.DC
A polynomial expansion line search for large-scale unconstrained minimization of smooth L2-regularized loss functions, with implementation in Apache Spark
在大规模无约束优化算法如有限内存BFGS（LBFGS）中，常见的子问题是沿下降方向最小化损失函数的线搜索。通常使用的线搜索迭代地找到满足Wolfe条件的近似解，通常每次线搜索需要多个函数和梯度评估，由于通信要求，这在并行中是昂贵的。在本文中，我们提出了一种新的线搜索方法的情况下，损失函数是解析的，如在最小二乘回归，逻辑斯谛回归，或低秩矩阵分解。我们近似的损失函数的截断泰勒多项式，其系数可以有效地计算并行与更少的通信比评估的梯度，之后，该多项式可以最小化的扩展点的邻域中的高精度。我们的多项式扩展线搜索（PELS）在Apache Spark框架中实现，并用于加速使用LBFGS和非线性共轭梯度（NCG）方法对来自LIBSVM存储库的二进制分类数据集进行逻辑斯谛回归模型的训练。在一个16节点的集群与256个核心使用URL，KDDA和KDDB数据集并行的大规模数值实验中，PELS方法产生了显着的收敛性改善相比，使用经典的沃尔夫线搜索。例如，为了达到最终的训练标记预测精度，使用PELS的LBFGS比使用Wolfe线搜索的LBFGS具有1.8- 2的加速因子，这是由于线搜索中计算的步长的精度更好，所以通过迭代次数和所需时间来测量的。PELS有潜力显着加速大规模回归和因子分解计算，并适用于连续最优化问题的光滑损失函数。
2016-01-26 cs.DC cs.NA math.NA
Thrill: High-Performance Algorithmic Distributed Batch Data Processing with C++
我们提出的设计和第一个性能评估的Thrill -一个通用的大数据处理框架的原型，一个方便的数据流风格的编程接口。Thrill与Apache Spark和Apache Flink有些相似，但至少有两个主要区别。首先，Thrill基于C++，由于直接的本机代码编译，更友好的缓存内存布局和显式的存储管理，因此具有性能优势。特别是，Thrill使用模板元编程将后续本地操作链编译成单个二进制例程，而无需中间缓冲，并且具有最小的间接性。其次，Thrill使用数组而不是多集作为其主要的数据结构，它支持其他操作，如排序、前缀求和、窗口扫描或组合多个数组的相应字段（压缩）。我们使用HiBench套件中的五个内核将Thrill与Apache Spark和Apache Flink进行了比较。Thrill始终比其他框架快，通常快几倍。同时，源代码具有类似的简单性和抽象性
2016-08-19 cs.DC cs.DS
Real-time predictive maintenance for wind turbines using Big Data frameworks
这项工作展示了大数据环境中预测性维护解决方案的演变。拟议的调整旨在使用部署在云中的数据驱动解决方案预测风力涡轮机的故障，该解决方案由三个主要模块组成。(i)预测模型生成器，其通过随机森林算法为每个被监测的风力涡轮机生成预测模型。(ii)一个监测代理，每10分钟预测一次下一个小时风力涡轮机的故障。最后，（iii）可以可视化给定预测的仪表板。为了实现解决方案Apache Spark，Apache Kafka，Apache Mesos和HDFS已经被使用。因此，我们在数据处理速度，可扩展性和自动化方面改进了以前的工作。此外，我们还通过集中式接入点提供容错功能，从该接入点可以监控公司在全球各地的所有风力涡轮机的状态，从而降低运维成本。
2017-09-21 cs.DC
FAIR: A Hadoop-based Hybrid Model for Faculty Information Retrieval System
在数据和知识不断膨胀的时代，我们缺乏一个集中的系统来映射所有的院系到他们的研究工作。这个问题在过去没有得到解决，学生与他们领域的正确教师联系变得具有挑战性。由于我们有这么多的学院和院系，这属于大数据问题的范畴。在本文中，我们提出了一个模型，该模型工作在分布式计算环境下，以处理大数据。该模型使用apache spark作为执行引擎，hive作为数据库。结果在连接到Apache Hive的Tableau的帮助下可视化，以实现分布式计算。
2017-06-25 cs.DC
Accelerating Large-Scale Data Analysis by Offloading to High-Performance Computing Libraries using Alchemist
Apache Spark是一个流行的系统，旨在分析大型数据集，但最近的研究表明，某些计算-特别是许多线性代数计算，这些计算是解决常见机器学习问题的基础-在Spark中比使用高性能计算框架（如消息传递接口（MPI））编写的库时要慢得多。为了解决这个问题，我们引入了Alchemist，一个旨在从Apache Spark调用基于MPI的库的系统。将Alchemist与Spark结合使用有助于加速线性代数、机器学习和相关计算，同时仍保留在Spark环境中工作的优势。我们讨论背后的动机炼金术士的发展，我们提供了一个简要概述其设计和实现。我们还比较了纯Spark实现与通过Alchemist利用基于MPI的代码的Spark实现的性能。为此，我们使用数据科学案例研究：共轭梯度方法的大规模应用，以解决语音分类问题中出现的非常大的线性系统，我们看到了一个数量级的改进;以及400 GB三维海洋温度数据集的截断奇异值分解（SVD），我们看到了高达7.9倍的加速。我们还说明了截断SVD计算可以很容易地扩展到TB大小的数据，通过将其应用到大小高达17.6TB的数据集。
2018-05-30 cs.DB cs.DC physics.data-an
OneStopTuner: An End to End Architecture for JVM Tuning of Spark Applications
Java是广泛使用的大数据框架的支柱，例如Apache Spark，由于其生产力，基于JVM执行的可移植性以及对丰富库集的支持。但是，这些应用程序的性能可能会有很大的差异，这取决于从所有现有JVM标志中选择的运行时标志。手动调优这些标志既麻烦又容易出错。自动调优方法可以简化任务，但当前的解决方案要么需要相当长的处理时间，要么只针对标志的子集，以避免时间和空间需求。在本文中，我们提出了OneStopTuner，一个基于机器学习的新框架自动调整JVM标志。OneStopTuner通过利用批处理模式主动学习来表征用户应用程序，从而控制数据生成量。根据用户选择的优化指标，OneStopTuner然后通过对生成的数据应用特征选择算法来丢弃不相关的JVM标志。最后，它采用样本有效的方法，如贝叶斯优化和回归引导贝叶斯优化的入围JVM标志，以找到所选的标志集的最佳值。我们在广泛使用的Spark基准测试中评估了OneStopTuner，并将其性能与传统的基于模拟退火的自动调整方法进行了比较。我们证明，为了优化执行时间，OneStopTuner选择的标志提供了高达1.35倍的速度比默认的Spark执行，相比之下，1.15倍的速度通过使用模拟退火提出的标志配置。OneStopTuner能够将数据生成的执行次数减少70%，并且能够比基于标准模拟退火的方法快2.4倍地建议最佳标志配置，不包括数据生成时间。
2020-09-07 cs.DC
BigDL: A Distributed Deep Learning Framework for Big Data
Intel Corporation（英特尔公司）；Tencent Inc.（腾讯公司）；Sequoia Capital（红杉资本）；Alibaba Group（阿里巴巴集团）
本文介绍了BigDL（Apache Spark的分布式深度学习框架），该框架已被业界的各种用户用于在生产大数据平台上构建深度学习应用程序。它允许深度学习应用程序在Apache Hadoop/Spark集群上运行，以便直接处理生产数据，并作为端到端数据分析管道的一部分进行部署和管理。与现有的深度学习框架不同，BigDL直接在Spark的功能计算模型（具有写时复制和粗粒度操作）之上实现分布式数据并行训练。我们还分享了用户采用BigDL来应对挑战的真实经验和“战争故事”（即，如何轻松地为其生产数据构建端到端数据分析和深度学习管道）。
2019-11-05 cs.AI cs.DC cs.LG
Big Data-Driven Fraud Detection Using Machine Learning and Real-Time Stream Processing
本文提出结合 Kafka、Flink、Spark 等大数据实时流处理工具与机器学习模型的反洗钱欺诈检测方案，在合成 AML 数据集上取得超过 99% 的分类准确率。
2025-05-27 cs.DC
