Prink: $k_s$-Anonymization for Streaming Data in Apache Flink
本研究提出流数据匿名化方案Prink，基于CASTLE方案实现非数值流数据的语义感知$k_s$-匿名化，原生集成Apache Flink，在低集成成本下保持可接受的性能开销与信息损失，适用于企业级流处理场景。
2025-05-19 cs.CR cs.DC cs.SE
Solving All-Pairs Shortest-Paths Problem in Large Graphs Using Apache Spark
计算所有对最短路径（APSP）的算法是许多实际应用的关键基础。标准的顺序算法，如Floor-Warshall和Johnson，很快就变得不可行的大型输入图，需要并行的方法。在这项工作中，我们使用Apache Spark对分布式内存集群上的并行APSP性能进行了详细分析。Spark模型允许可移植且易于部署的分布式实现，因此从最终用户的角度来看是有吸引力的。我们为大型无向加权图提出了四种不同的APSP实现，它们在复杂性和对纯Spark API之外的技术的依赖程度上有所不同。我们证明了Spark能够在1024核集群上处理超过200，000个顶点的APSP问题，并且可以与基于幼稚MPI的解决方案竞争。然而，我们的最佳性能求解器需要辅助共享持久存储，并且比优化的基于MPI的求解器慢两倍以上。
2019-08-07 cs.DC
Evaluation of Distributed Data Processing Frameworks in Hybrid Clouds
分布式数据处理框架（例如，Hadoop、Spark和Flink）被广泛用于在云的计算节点之间分发数据。最近，已经有越来越多的努力，旨在评估托管在私有云和公共云中的分布式数据处理框架的性能。然而，关于评估这些托管在混合云中的框架的性能的研究很少，混合云是一种新兴的云模型，它集成了私有云和公共云，以充分利用两者的优势。因此，在本文中，我们从执行时间、资源利用率、水平可扩展性、垂直可扩展性和成本等方面评估了Hadoop、Spark和Flink在混合云中的性能。在这项研究中，我们的混合云由OpenStack（私有云）和MS Azure（公共云）组成。我们使用批处理和迭代工作负载进行评估。我们的研究结果表明，在混合云中，（i）随着私有云从公共云借用更多的节点，执行时间会增加，（ii）Flink的性能优于Spark，而Spark在执行时间方面又优于Hadoop，（iii）Hadoop在工作负载执行期间在节点之间传输的数据量最大，而Spark传输的数据量最少，（iv）与垂直扩展相比，所有三个框架的水平扩展都更好，（v）就数据处理的成本而言，Spark最便宜，而Hadoop最昂贵。
2022-01-06 cs.DC
Matrix Computations and Optimization in Apache Spark
我们描述了集群编程框架Apache Spark中的矩阵计算。Spark开箱即用，为分布式矩阵和使用这些矩阵的优化例程提供了抽象和实现。当将单节点算法转换为在分布式集群上运行时，我们观察到通常一个简单的想法就足够了：将矩阵操作与向量操作分离，并将矩阵操作运送到集群上运行，同时将向量操作保持在驱动程序本地。在奇异值分解的情况下，通过将这个想法发挥到极致，我们能够利用集群的计算能力，同时运行几十年前为单核编写的代码。另一个例子是我们流行的TFOCS优化包的Spark端口，最初是为MATLAB构建的，它允许求解线性规划以及各种其他凸规划。最后，我们总结了一套全面的基准测试，用于从JVM进行硬件加速矩阵计算，这本身就很有趣，因为许多集群编程框架都使用JVM。本文中描述的贡献已经合并到Apache Spark中，默认情况下可在Spark安装中使用，并由一系列提供进一步服务的公司提供商业支持。
2016-07-13 cs.DC
Stark: Fast and Scalable Strassen's Matrix Multiplication using Apache Spark
本文在Strassen矩阵乘法算法的基础上，在Apache Spark平台上提出了一种新的快速、高可扩展的分布式矩阵乘法算法Stark。Stark在分布式环境中保留了Strassen的7乘法方案，从而实现了更快的执行速度。它基于两个新的思想：建立一个计算的递归树，树的每一层对应于弹性分布式数据集（RDD）形式的分布式矩阵块的划分和组合;它并行处理每个除法和合并步骤，并通过智能标记其中的矩阵块来记忆子矩阵。据我们所知，Stark是Strassen在Spark平台上的第一个实现。我们的实验表明，斯塔克具有很强的可扩展性，随着矩阵大小的增加，使我们能够乘以两个（16384 × 16384）矩阵与28%和36%的挂钟时间分别比马林和MLLib，国家的最先进的矩阵乘法方法的基础上火花。
2018-11-22 cs.DC
Large-Scale Learning from Data Streams with Apache SAMOA
Apache SAMOA（Scalable Advanced Massive Online Analysis）是一个用于挖掘大数据流的开源平台。大数据被定义为由于时间和内存的复杂性，其大小超出了典型软件工具捕获、存储、管理和分析能力的数据集。Apache SAMOA为最常见的数据采掘和机器学习任务（如分类、聚类和回归）提供了一组分布式流算法，并提供编程抽象来开发新算法。它具有可插拔架构，允许它在几个分布式流处理引擎上运行，如Apache Flink，Apache Storm和Apache Samza。Apache SAMOA是用Java编写的，可以在https://samoa.incubator.apache.org上获得，并获得Apache软件许可证版本2.0。
2018-05-26 cs.DC
Streaming Temporal Graphs: Subgraph Matching
我们调查的解决方案，子图匹配的时间数据流内。我们提出了一个高级语言用于描述感兴趣的时间子图，流分析语言（SAL）。SAL程序被翻译成C++代码，在集群上并行运行。我们将SAL的这种实现称为流分析机（SAM）。SAL程序简洁，比直接使用SAM库或使用Apache Flink编写实现所需的代码行少20倍。为了对SAM进行基准测试，我们计算在流网络流数据中查找时间三角形。此外，我们将SAM与为Flink编写的实现进行了比较。我们发现SAM能够扩展到128个节点或2560个核心，而Apache Flink的最大吞吐量为32个节点，之后会下降。当三角形很少时，Apache Flink具有优势，Flink在32个节点上的最大总吞吐量大于SAM的最大可实现速率。在我们的实验中，当三角形出现速度超过每个节点每秒5次时，SAM的性能更好。由于网络通信的延迟，这两个框架都可能错过结果。SAM始终报告平均93.7%的预期结果，而Flink随着我们增加到集群的最大大小而从83.7%下降到52.1%。总体而言，SAM每天可以获得918亿个净流量。
2020-04-01 cs.DC cs.DM cs.PL
Apache Spark Streaming, Kafka and HarmonicIO: A Performance Benchmark and Architecture Comparison for Enterprise and Scientific Computing
本文提出了一个流处理吞吐量的基准比较Apache Spark Streaming（基于文件，TCP套接字和Kafka的流集成），与原型P2P流处理框架，HarmonicIO。测量了一系列流处理负载的最大吞吐量，特别是那些具有大消息大小（高达10 MB）和重CPU负载的负载-比企业上下文更典型的科学计算用例（如显微镜）。这些流媒体源的性能特征的详细探索，在不同的负载下，揭示了性能权衡的相互作用，揭示了每个框架和流媒体源集成的良好性能的边界。我们比较了每种情况下的理论界。基于这些结果，我们建议哪些框架和流媒体源可能为给定的负载提供良好的性能。从广义上讲，Spark丰富的功能集的优势是以对消息大小的敏感性为代价的，特别是-常见的流源集成在1 MB-10 MB范围内表现不佳。HarmonicIO的简单性在该区域提供了更强大的性能，特别是在原始CPU利用率方面。
2019-12-19 cs.DC
Parallelizing Convergent Cross Mapping Using Apache Spark
确定主题或变量之间的因果关系仍然是各个科学领域的重要问题。这在复杂系统中尤其重要，但也具有挑战性，例如涉及人类行为、社会技术背景和自然生态系统的系统。收敛交叉映射（CCM）通过对时间序列进行滞后嵌入来重构状态空间，是解决这一问题的重要方法。虽然功能强大，但CCM的计算成本很高;此外，CCM结果对几个参数值高度敏感。虽然最佳做法需要在评估因果关系时探索一系列参数设置，但由此产生的计算负担可能会给实际使用带来障碍，特别是对于因果联系较弱的长时间序列。我们在这里展示了几种通过利用分布式Apache Spark平台来加速CCM的方法。我们的特点和报告的并行化的解决方案，表现出高的可扩展性和能力超过一个数量级的性能改进的基线配置的几个实验的结果。这种计算时间的节约可以加快复杂系统中因果驱动因素的学习和鲁棒识别。
2019-05-02 cs.DC
MPIgnite: An MPI-Like Language and Prototype Implementation for Apache Spark
基于MPI的横向扩展并行处理是一个有25年历史的标准，在高性能计算社区中，至少还有十年的历史。MapReduce、Hadoop和Spark等较新的框架代表了工业可扩展计算解决方案，这些解决方案因其相对简单的使用、对相关问题的适用性以及利用可扩展分布式资源的能力而得到广泛采用。虽然MPI提供了性能和可移植性，但它缺乏生产力和容错能力。同样，Spark是当前一代MapReduce和数据并行计算基础设施的一个具体示例，它可以实现这些目标，但又缺乏对等通信支持，无法实现轻量级、高度可扩展的对等数据并行代码部分。本文的主要贡献是演示如何将MPI的集体和点对点对等通信概念引入Spark环境。这样做是为了产生性能便携，面向对等和面向组的通信服务，同时保留Spark的基本，理想的属性。考虑了容错和生产率的附加概念。这种方法与将MapReduce框架作为上层中间件添加到传统的MPI实现作为基线基础设施相比。
2017-07-15 cs.DC
Performance comparison of Dask and Apache Spark on HPC systems for Neuroimaging
本文在HPC系统上比较了Apache Spark和Dask处理神经影像管线的运行时性能，发现两者性能相当但Spark内存占用更高，数据传输时间是主要瓶颈。
2024-06-03 cs.DC
Real-time Log Query Interface for large datasets using Apache Spark
Log Query Interface是一个交互式Web应用程序，允许用户轻松高效地查询MobileInsight的超大数据日志。有了这个界面，用户不再需要通过命令行查询与数据库对话，也不需要在本地安装MobileInsight客户端来获取数据。用户可以简单地选择/类型的查询消息通过我们的基于Web的系统查询数据库非常有效，并响应用户。在6 GB数据集上测试时，我们的系统响应时间不到1秒，而在传统的MySql数据库上进行类似的查询需要60秒以上。该系统使用户能够使用SQL查询语言执行所有查询。用户可以在非常大的表上执行复杂的连接操作。服务器端的Spark集群极大地提高了查询的响应时间，Spark集群将大数据集存储在分布式系统中，并在多台机器上并行执行查询。
2017-09-23 cs.DC
Evaluation of pilot jobs for Apache Spark applications on HPC clusters
大数据在许多科学领域已经变得非常突出，因此，科学界已经寻求大数据框架来加速处理其日益增长的数据密集型管道。然而，虽然科学界通常依赖高性能计算（HPC）集群来并行化其管道，但许多流行的大数据框架（如Hadoop和Apache Spark）主要设计用于在专用的商品基础设施上执行。本文评估了在HPC集群上Apache Spark的试点作业相对于传统批处理提交的优势。令人惊讶的是，我们的研究结果表明，试点工作批调度提供的速度是温和的不存在（平均0.98），尽管存在长排队时间。此外，试验作业提供了一个额外的调度层，使调试和部署复杂化。我们的结论是，传统的批处理调度应该仍然是在HPC集群上部署Apache Spark应用程序的默认策略。
2019-05-29 cs.DC cs.PF
Mining Area Skyline Objects from Map-based Big Data using Apache Spark Framework
针对大规模地图数据区域天际线计算效率问题，提出基于 Apache Spark 的三阶段分布式算法，通过局部部分天际线提取减少传输量，并在八个数据集上验证其可显著降低数据规模与计算时间。
2024-04-04 cs.DC
A Framework for Energy-aware Evaluation of Distributed Data Processing Platforms in Edge-Cloud Environment
分布式数据处理平台（例如，Hadoop、Spark和Flink）被广泛用于在云的计算节点之间分布数据的存储和处理。云资源的集中化催生了边缘计算，它使数据的处理更接近数据源，而不是将其发送到云端。然而，由于能源限制等资源限制，边缘计算无法用于部署各种应用程序。因此，任务从边缘设备卸载到资源更丰富的云。以前的研究已经评估了隔离云和边缘环境中分布式数据处理平台的能耗。然而，在集成的边缘云环境中评估这些平台的能耗的研究很少，其中任务从资源受限的设备卸载到资源丰富的设备。因此，在本文中，我们首先提出了一个框架的分布式数据处理平台的能量感知评估。然后，我们利用所提出的框架来评估三个最广泛使用的平台（即，Hadoop、Spark和Flink）在由Raspberry Pi、边缘节点、边缘服务器节点、私有云和公共云组成的集成边缘云环境中运行。我们的评估表明，（i）Flink是最节能的，其次是Spark，Hadoop被发现是最不节能的（ii）将任务从资源受限的设备卸载到资源丰富的设备可以减少55.2%的能耗，（iii）带宽和客户端与服务器之间的距离是影响能耗的关键因素。
2022-01-06 cs.DC
SPIN: A Fast and Scalable Matrix Inversion Method in Apache Spark
大数据在诸如地球科学、社交网络、物理科学等领域中的增长导致了对高效且可扩展的线性代数运算（例如，矩阵求逆）的巨大需求。使用大数据平台进行高效和分布式矩阵求逆的现有方法依赖于基于LU分解的块递归算法。然而，这些算法是复杂的，需要大量的边计算，例如矩阵乘法，在各种级别的递归。在本文中，我们提出了一个不同的计划的基础上Strassen的矩阵求逆算法（在Strassen的原始文件在1969年提到），它使用少得多的操作，在每一级的递归。我们实现了所提出的算法，并通过大量的实验，表明它是更有效的比最先进的方法。此外，我们提供了一个详细的理论分析所提出的算法，并推导出理论上的运行时间密切配合的经验观察挂钟运行时间，从而解释了U形行为w.r.t.块大小。
2018-01-15 cs.DC
CMS Analysis and Data Reduction with Apache Spark
几十年来，实验粒子物理学一直处于分析世界上最大数据集的最前沿。HEP社区是最早为这项任务开发合适的软件和计算工具的社区之一。近年来，用于分布式数据处理的新工具包和系统（统称为“大数据”技术）已经从工业和开源项目中出现，以支持工业中的PB和EB数据集的分析。虽然HEP中的数据分析原则没有改变（过滤和转换实验特定的数据格式），但这些新技术使用不同的方法和工具，有望以全新的眼光分析非常大的数据集，这可能会减少物理时间，增加交互性。此外，这些新工具通常由大型社区积极开发，通常利用行业资源，并在开源许可下开发。这些因素促进了工具的采用和成熟，并促进了支持它们的社区，同时有助于降低最终用户的拥有成本。在这次演讲中，我们将介绍使用Apache Spark进行最终用户数据分析的研究。我们正在研究HEP分析工作流程，分为两个重点：集中产生的实验数据集的减少和最终分析到出版图。研究第一个推力，CMS正在与CERN openlab和英特尔合作开发CMS大数据缩减设施。目标是将1 PB的官方CMS数据减少到1 TB的ntuple输出以供分析。我们正在介绍这个为期2年的项目的进展情况，以及基于Spark的HEP分析的初步结果。研究第二个推力，我们正在介绍使用Apache Spark进行CMS暗物质物理搜索的研究，将Spark的可行性，可用性和性能与基于ROOT的分析进行比较。
2017-10-31 cs.DC
Burrows Wheeler Transform on a Large Scale: Algorithms Implemented in Apache Spark
随着下一代测序（NGS）技术的快速发展，每天收集大量的“组学”数据并需要处理。索引和压缩大型序列数据集是这方面最重要的任务之一。在这里，我们提出了依赖于大数据技术的Burrows Wheeler变换的计算算法，即，Apache Spark和Hadoop我们的算法是第一个分发索引计算的算法，而不仅仅是输入数据集，允许充分利用可用的云资源。
2021-07-07 cs.DC cs.DS
FITS Data Source for Apache Spark
我们调查Apache Spark的性能，集群计算框架，用于分析未来LSST类星系调查的数据。Apache Spark解决大数据问题的尝试迄今为止在业界证明是成功的，但它在天文学界的应用仍然有限。我们将展示如何管理复杂的二进制数据结构处理天体物理学实验，如二进制表存储在FITS文件中，在分布式环境中。为此，我们首先设计并实现了一个Spark连接器来处理任意大的FITS文件集，称为spark-fits。用户界面是这样的，一个简单的文件“拖放”到一个集群，充分利用了框架。我们使用LSST快速仿真工具CoLoRe演示了火花拟合的高度可扩展性，并提出了测量和调整工作负载性能瓶颈的方法，在位于巴黎南大学的Cloud@VirtualData上扩展到TB的FITS数据。我们还评估了它的性能Cori，高性能计算系统位于NERSC，并广泛用于科学界。
2018-10-15 astro-ph.IM cs.DC
Thrill: High-Performance Algorithmic Distributed Batch Data Processing with C++
我们提出的设计和第一个性能评估的Thrill -一个通用的大数据处理框架的原型，一个方便的数据流风格的编程接口。Thrill与Apache Spark和Apache Flink有些相似，但至少有两个主要区别。首先，Thrill基于C++，由于直接的本机代码编译，更友好的缓存内存布局和显式的存储管理，因此具有性能优势。特别是，Thrill使用模板元编程将后续本地操作链编译成单个二进制例程，而无需中间缓冲，并且具有最小的间接性。其次，Thrill使用数组而不是多集作为其主要的数据结构，它支持其他操作，如排序、前缀求和、窗口扫描或组合多个数组的相应字段（压缩）。我们使用HiBench套件中的五个内核将Thrill与Apache Spark和Apache Flink进行了比较。Thrill始终比其他框架快，通常快几倍。同时，源代码具有类似的简单性和抽象性
2016-08-19 cs.DC cs.DS
Scalable Manifold Learning for Big Data with Apache Spark
University at Buffalo（布法罗大学）
非线性谱降维方法，如Isomap，仍然是学习流形的重要技术。然而，由于计算复杂性，使用Isomap的精确流形学习目前不可能从大规模数据中进行。本文提出了一种在Apache Spark模型下实现端到端精确Isomap的分布式内存框架。我们展示了Isomap算法的每个关键步骤如何使用基本的Spark模型有效地实现，而不需要在辅存中提供数据。我们展示了如何使用PySpark实现整个方法，将计算密集型线性代数例程卸载到BLAS。通过实验结果，我们证明了我们的方法具有良好的可扩展性，我们表明，它可以处理数据集的数量级大于目前可能的，使用25节点的并行集群。
2018-08-31 cs.DC cs.LG
HetNetAligner: Design and Implementation of an algorithm for heterogeneous network alignment on Apache Spark
使用网络来模拟和分析生物数据以及生物分子相互作用的重要性已得到广泛认可。因此，过去已经开发了许多用于网络的分析和比较的算法（例如对齐算法）。最近，许多不同的方法试图整合到一个单一的模型，不同的分子，如基因，转录因子和microRNA的相互作用。一种可能的形式主义来模拟这种情况来自节点着色网络（或异构网络）实现为节点/边着色图。因此，需要引入能够分析异构网络的对齐算法。据我们所知，所有现有的算法都不能挖掘异构网络。我们提出了一个两步对齐策略，接收作为输入的两个异构网络（节点着色图）和两个网络的节点之间的相似性函数扩展以前的配方。我们首先构建一个单一的对齐图。然后，我们挖掘这个图提取相关的子图。尽管这种方法很简单，但这种网络的分析依赖于图和子图同构，数据的大小仍在增长。因此，需要使用高性能的数据分析框架。HetNetAligner是一个基于Apache Spark的框架。我们还实现了我们的算法，并在一些选定的异构生物网络上进行了测试。初步结果证实，我们的方法可以从生物数据中提取相关的知识，减少计算时间。
2018-06-11 cs.DC
TRANSMUT-SPARK: Transformation Mutation for Apache Spark
我们提出了TRANSMUT-Spark，这是一种自动化Spark程序中大数据处理代码的突变测试过程的工具。Apache Spark是一个大数据处理引擎。它通过内置函数、底层并行流程和数据管理策略隐藏了大数据并行和分布式编程和处理固有的复杂性。尽管如此，程序员必须在程序中巧妙地结合这些功能，并指导引擎使用正确的数据管理策略，以利用大数据处理所需的大量计算资源，避免大量的生产损失。Spark程序中的数据处理代码中的许多编程细节都容易出现错误语句，需要进行正确和自动测试。本文探讨了变异测试在Spark程序中的应用，这是一种基于故障的测试技术，它依赖于故障模拟来评估和设计测试集。本文介绍了用于测试Spark程序的TRANSMUT-Spark解决方案。TRANSMUT-Spark自动化过程中最费力的步骤，并完全执行突变测试过程。本文介绍了该工具如何自动化的突变体生成，测试执行，充分性分析阶段的突变测试与TRANSMUT-Spark。它还讨论了为验证该工具而进行的实验结果，以论证其范围和局限性。
2021-08-05 cs.DC cs.SE
Stage-Level Executor Allocation in Apache Spark with Cost-Performance Trade-offs
IBM；University of Tübingen（蒂宾根大学）
研究在无服务器Apache Spark环境中阶段级执行器分配问题，提出训练树集成模型估计运行时间和成本，据此为各阶段推荐资源的方法，经实验在TPC-DS和SQLStorm基准测试中实现成本节省和性能平衡。
2026-07-14 cs.DC
Comparing Two Different Approaches in Big Data and Business Analysis for Churn Prediction with the Focus on How Apache Spark Employed
University of Oulu（奥卢大学）
由于大数据分析的重要性，特别是在与业务相关的主题，如改善服务，寻找潜在客户，并选择实用的方法来管理收入和支出，许多公司试图与科学家合作，以找到如何，为什么，以及他们应该分析什么。在这项工作中，我们想比较和讨论两种不同的方法，用于大数据中的业务分析主题，更多地考虑他们如何利用Spark。这两项研究都将流失预测作为他们提出的方法的案例研究，因为它是公司识别客户打算离开或停止使用他们的服务的商业分析中的一个重要主题。在这里，我们重点介绍Apache Spark，因为它提供了几种解决方案来有效地处理大量数据。Spark的这一特性使其成为解决大数据问题的最强大的候选工具之一，特别是时间和资源问题。
2021-05-28 cs.AI cs.DC
Large-scale text processing pipeline with Apache Spark
Princeton University（普林斯顿大学）
在本文中，我们评估了Apache Spark的数据密集型机器学习问题。我们的用例重点关注美国各州立法机构随着时间的推移的政策扩散检测。由于计算强度的原因，以前关于政策扩散的工作一直无法在法案之间进行全对比较。作为替代，学者们研究了单一主题领域。我们提供了一个实现这个分析工作流作为一个分布式的文本处理管道与Spark框架和Scala应用程序编程接口。我们讨论了非结构化数据处理的挑战和策略，用于存储和有效访问的数据格式，以及大规模的图形处理。
2019-12-02 cs.CL cs.DC cs.LG
Scientific Computing Meets Big Data Technology: An Astronomy Use Case
科学分析通常将多个单进程程序组合成一个子程序。单进程程序的端到端并行流被称为多任务应用程序。通常，来自HPC软件栈的工具用于并行化这些分析。在这项工作中，我们研究了一种替代方法，该方法使用Apache Spark（一种现代大数据平台）来并行化多任务应用程序。我们提出Kira，一个灵活的分布式天文学图像处理工具包，使用Apache Spark。然后，我们使用Kira工具包来实现天文图像的源提取器应用程序，称为Kira SE。以Kira SE为用例，我们研究了运行在EC2云上的Apache Spark的编程灵活性、底层丰富性、调度能力和性能。通过利用数据局部性，Kira SE在Amazon EC2云上使用512个核心分析1TB数据集时，实现了2.5倍于等效C程序的加速。此外，通过利用最初为大数据基础设施设计的软件，Kira SE实现了与NERSC Edison超级计算机上运行的C实现竞争的性能。我们使用Kira的经验表明，Apache Spark等新兴大数据平台是多任务科学应用程序的高性能替代方案。
2016-03-14 cs.DC
Understanding and Optimizing the Performance of Distributed Machine Learning Applications on Apache Spark
IBM Research Zürich（IBM苏黎世研究院）
在本文中，我们将探讨Apache Spark在机器学习应用中的性能限制。我们首先分析了Spark中实现的最先进的分布式机器学习算法的特性，并将其与使用高性能计算框架MPI的等效参考实现进行了比较。我们确定了Spark框架的关键瓶颈，并仔细研究了它们对算法性能的影响。为了提高Spark的性能，我们提出了一些实用的技术来减轻它的一些开销。然而，优化计算效率和框架相关的开销并不是性能的唯一关键-我们证明，为了获得最佳性能的任何实现，有必要仔细调整算法的计算时间和通信延迟之间的相应权衡。最佳的权衡取决于分布式算法的属性以及基础设施和框架相关的特性。最后，我们将这些技术和算法优化应用于Spark中实现的三种不同的分布式线性机器学习算法。我们使用五个大型数据集展示了结果，并证明通过使用所提出的优化，我们可以将Spark和MPI之间的性能差异从20倍减少到2倍。
2017-12-13 cs.DC cs.LG
System-aware dynamic partitioning for batch and streaming workloads
当处理具有高度偏斜和非平稳密钥分布的数据流时，当哈希分区无法正确平衡数据时，我们经常会观察到过载的分区。为了避免延迟整个计算阶段完成的缓慢任务，有必要应用自适应的动态分区，该分区在给定观察到的密钥分布的情况下连续重新计算最佳分区器。虽然存在用于静态数据集的批处理和无状态流处理的这样的解决方案，但是对于密钥分布随时间改变的长时间运行的有状态流传输作业，该任务是困难的。仔细的检查点和操作员状态迁移对于在操作运行时更改分区是必要的。我们的主要成果是一个轻量级的动态重新分区（DR）模块，用于分布式数据处理系统（DDPS），包括Apache Spark和Flink，它以可忽略的开销提高了性能。DR可以使用我们的Key Isolator Partitioner（KIP）在执行过程中自适应地重新分区数据。在我们对真实工作负载和幂律分布的实验中，对于各种Spark和Flink作业，我们达到了1.5-6的加速比。
2021-05-31 cs.DC
Distributed Record Linkage in Healthcare Data with Apache Spark
Tarbiat Modares University（塔比阿特莫达雷斯大学）
针对医疗数据分散难整合及记录链接任务中的数据不平衡问题，本研究基于Apache Spark机器学习库构建分布式数据匹配模型，经训练数据验证及SVM、回归算法应用，模型无过拟合与欠拟合问题，表现良好。
2024-03-09 cs.DC cs.LG
Failure Transparency in Stateful Dataflow Systems (Technical Report)
本文通过小步操作语义建模 Apache Flink，提出基于观察可解释性的故障透明性新定义，并形式化证明其实现模型满足故障透明性且具有公平执行下的活性，为有状态数据流系统的验证栈奠定基础。
2024-10-18 cs.DC cs.PL
A Utilization Model for Optimization of Checkpoint Intervals in Distributed Stream Processing Systems
最先进的分布式流处理系统，如Apache Flink和Storm，最近包括检查点，为有状态应用程序提供容错。这是一个必要的可能性，因为这些系统的头部到Exascale政权，显然是更有效的比复制状态大小的增长。然而，当前的系统使用检查点间隔的标称值，其指示假设大约每19天1次故障，其没有考虑检查点过程的突出方面，也没有考虑系统规模，这可能容易导致低效的系统操作。为了解决这个缺点，我们提供了一个严格的推导利用率-总时间的一部分，可供系统做有用的工作-，其中包括检查点间隔，故障率，检查点成本，故障检测和重启成本，深度的系统拓扑结构和消息延迟。我们的模型产生了一个优雅的表达式的利用率，并提供了一个最佳的检查点间隔给定这些参数，有趣的是，它只依赖于检查点的成本和故障率。我们通过使用Apache Flink进行实验来确认我们模型的准确性和有效性，在每种情况下，我们都可以提高系统利用率，特别是随着系统大小的增加。我们的模型提供了一个坚实的理论基础，更详细的检查点方法的分析和优化。
2019-11-27 cs.DC
AXS: A framework for fast astronomical data processing based on Apache Spark
我们介绍AXS（Astronomy eXtensions for Spark），这是一个基于Apache Spark的可扩展开源天文数据分析框架，Apache Spark是一个广泛使用的行业标准大数据处理引擎。基于Spark中的功能，AXS旨在使用熟悉的Python/AstroPy概念，DataFrame API和SQL语句查询和分析几乎任意大的天文目录。我们通过i）为Spark添加支持以实现高效的在线位置交叉匹配，ii）提供支持天文数据分析常用操作的Python库。为了支持可扩展的交叉匹配，我们开发了一种ZONES算法（Gray et al. 2004）的变体，能够在分布式、无共享架构中运行。我们将其与数据分区方案相结合，该方案可以实现快速目录交叉匹配，并处理深空数据集中经常出现的数据倾斜。交叉匹配和其他常用功能通过易于使用的Python API向最终用户公开。我们展示了AXS在SDSS、ZTF、Gaia DR 2和AllWise目录上的技术和科学性能。使用AXS，我们能够在大约30秒内对Gaia DR 2（18亿行）和AllWise（9亿行）数据集进行动态交叉匹配。我们将讨论像AXS这样的云就绪分布式系统如何提供一种自然的方式来实现对LSST等大型数据集的全面最终用户分析。
2019-05-24 astro-ph.IM cs.DC
Architectural Impact on Performance of In-memory Data Analytics: Apache Spark Case Study
虽然集群计算框架正在不断发展以提供实时数据分析功能，但Apache Spark已经成为大数据分析的最前沿，成为批量和流数据处理的统一框架。然而，最近的研究在内存中的数据分析的微架构表征仅限于批处理工作负载。我们使用双套接字服务器上的硬件性能计数器比较Apache Spark中批处理和流处理工作负载的微架构性能。在我们的评估实验中，我们已经发现，批处理是流处理工作负载具有类似的微架构特征，并受到频繁的数据访问DRAM的延迟。对于数据访问，我们发现同时多线程可以有效地隐藏数据延迟。我们还观察到，（i）NUMA节点上的数据局部性可以平均提高10%的性能，（ii）禁用下一行L1-D预取器可以减少高达14%的执行时间，（iii）多个小执行器可以提供高达36%的加速比。
2016-04-28 cs.AR cs.DC cs.PF
MLlib: Machine Learning in Apache Spark
Databricks；UC Berkeley（加州大学伯克利分校）；HHMI Janelia Research Campus（霍华德·休斯医学研究所珍妮莉亚研究园区）；Netflix（奈飞）；Origami Logic；Cloudera UK（Cloudera英国）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Stanford（斯坦福大学）；MIT（麻省理工学院）；UCLA（加州大学洛杉矶分校）
Apache Spark是一个流行的大规模数据处理开源平台，非常适合迭代机器学习任务。在本文中，我们介绍了MLlib，Spark的开源分布式机器学习库。MLlib为广泛的学习设置提供了高效的功能，并包括几个基础的统计，优化和线性代数原语。MLlib随Spark一起提供，支持多种语言，并提供高级API，利用Spark丰富的生态系统来简化端到端机器学习管道的开发。MLlib经历了一个快速的增长，由于其充满活力的开源社区超过140贡献者，并包括广泛的文档，以支持进一步的增长，让用户快速上手。
2015-05-26 cs.DC cs.LG cs.MS
Mobile Big Data Analytics Using Deep Learning and Apache Spark
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research（资讯通信研究院）；Singapore University of Technology and Design（新加坡科技设计大学）；Singapore Management University（新加坡管理大学）；University of Houston（休斯顿大学）
诸如智能手机和物联网（IoT）小工具的移动设备的激增导致了最近的移动大数据（MBD）时代。收集MBD是无利可图的，除非使用合适的分析和学习方法从数据中提取有意义的信息和隐藏的模式。本文介绍了MBD分析中的深度学习的概述和简短教程，并讨论了Apache Spark上的可扩展学习框架。具体来说，分布式深度学习在许多Spark工作者上作为迭代MapReduce计算执行。每个Spark worker在整个MBD的分区上学习一个部分深度模型，然后通过平均所有部分模型的参数来构建主深度模型。这个基于Spark的框架加快了由许多隐藏层和数百万个参数组成的深度模型的学习。我们使用一个上下文感知的活动识别应用程序与包含数百万个样本的真实数据集来验证我们的框架并评估其加速效率。
2016-02-23 cs.DC cs.LG cs.NE
Approximate Distributed Joins in Apache Spark
连接操作是并行数据处理的基本构件。不幸的是，在大量数据集上计算equi-join是非常资源密集的。近似计算范式允许用户以精确性和延迟换取昂贵的数据处理操作。因此，等价连接算子是使用近似技术进行优化的自然候选者。虽然基于采样的方法被广泛用于近似，采样连接是一个引人注目的，但具有挑战性的任务，关于输出质量。在数据集样本上执行连接的朴素方法不会保留连接输出的统计属性。为了实现这一潜力，我们交织布鲁姆过滤器草图和分层采样与连接计算在一个新的运营商，近似连接，保留了统计特性的连接输出。ApproxJoin利用Bloom过滤器来避免在网络中混洗不可连接的数据项，然后应用分层采样来获得连接输出的代表性样本。我们的分析表明，ApproxJoin可扩展性很好，并显着减少了数据移动，而不会牺牲最终结果准确性的严格误差范围。我们在Apache Spark中实现了ApproxJoin，并使用微基准测试和真实案例研究对ApproxJoin进行了评估。评估表明，在相同的采样率下，ApproxJoin比未修改的基于Spark的连接实现了6- 9倍的加速。此外，加速还伴随着洗牌数据量的显着减少，这比未修改的基于Spark的连接少5- 82倍。
2018-05-15 cs.DB cs.DC
A performance comparison of Dask and Apache Spark for data-intensive neuroimaging pipelines
在过去的几年里，由于图像分辨率、数据共享和研究规模的共同增加，神经影像学已经进入了大数据时代。然而，在这个领域还没有出现特定的大数据引擎，并且仍然有几种替代方案。我们比较了两个流行的大数据引擎与Python API，Apache Spark和Dask，在处理神经成像管道时的运行时性能。我们的评估使用两个合成管道处理81 GB的BigBrain图像，以及一个真实的管道处理来自1,000多名受试者的解剖数据。我们使用任务持续时间、数据大小和工人数量的各种组合来对这些管道进行基准测试，这些管道部署在8节点（每个节点8个核心）上。Compute Canada的Arbutus云中的计算集群。我们将PySpark的RDD API与Dask's Bag、Delayed和Futures进行对比。结果表明，尽管Spark和Dask之间存在细微差异，但两种引擎都可以执行JavaScript。然而，Dask管道可能会受到Python GIL的限制，这取决于任务类型和集群配置。在所有情况下，主要的限制因素是数据传输。虽然这两种引擎都适用于神经成像管道，但需要更多的努力来减少数据传输时间。
2019-10-05 cs.DC cs.PF
Large-Scale Graphs Community Detection using Spark GraphFrames
针对社区检测算法在大规模图上计算密集、性能下降的问题，本文基于 Apache Spark GraphFrames 实现 K-Cliques、Louvain 和 Fast Greedy，并在两个真实数据集上验证其性能、可扩展性与可行性。
2024-08-06 cs.DC cs.SI
Benchmarking Apache Spark and Hadoop MapReduce on Big Data Classification
Istanbul Technical University（伊斯坦布尔理工大学）；ASELSAN A.S.（阿瑟尔桑公司）
大多数流行的大数据分析工具都在不断发展，以适应其工作环境，从大量非结构化数据中提取有价值的信息。数据采掘技术能够从大数据中过滤这些有用的信息，这导致了大数据采掘这个术语。将数据范围从小型、结构化和稳定的数据转变为海量、非结构化和快速变化的数据带来了许多数据管理挑战。不同的工具由于其体系结构的限制，以自己的方式应对这些挑战。在根据手头的任务选择正确的数据管理框架时，需要考虑许多参数。在本文中，我们为两个广泛使用的大数据分析工具，即Apache Spark和Hadoop MapReduce，在一个共同的数据采掘任务上，即，分类.我们采用了几个评估指标来比较基准框架的性能，如执行时间，准确性和可扩展性。这些指标专门用于测量分类任务的性能。据我们所知，在文献中没有以前的研究，采用所有这些指标，同时考虑到特定任务的关注。我们发现Spark在训练模型时比MapReduce快5倍。然而，Spark的性能会随着输入工作负载的增大而降低。通过额外的集群扩展环境可以显著提高Spark的性能。然而，在Hadoop中没有观察到类似的增强。MapReduce的机器学习实用程序往往比Spark具有更好的准确性分数，即使在小规模的数据集中也是如此，大约3%。
2022-09-21 cs.DC cs.LG
An Information Theoretic Feature Selection Framework for Big Data under Apache Spark
University of Granada（格拉纳达大学）；University of A Coruña（拉科鲁尼亚大学）
随着极高维数据集的出现，降维技术变得势在必行。在众多技术中，特征选择作为在大型数据集上识别相关特征的重要工具--无论是在实例数量还是特征数量上--越来越受到关注。这项工作的目的是证明标准的特征选择方法可以在Apache Spark等大数据平台中并行化，从而提高性能和准确性。因此，我们提出了一个分布式实现的通用特征选择框架，其中包括广泛的一组著名的信息理论方法。在大量真实世界数据集上的实验结果表明，我们的分布式框架能够在短时间内处理超高维数据集以及具有大量样本的数据集，在所有研究的情况下都优于顺序版本。
2016-10-19 cs.AI cs.DC cs.LG
A Benchmarking Study to Evaluate Apache Spark on Large-Scale Supercomputers
随着数据集大小的增加，高性能计算（HPC）中的数据分析任务越来越依赖于复杂的并行计算和核外方法来提高系统利用率。此外，随着HPC系统的增长，存储器访问和数据共享正在成为性能瓶颈。云计算采用通常建立在低成本计算节点的松散连接组上而不依赖于共享存储和/或存储器的数据处理范例。Apache Spark是一个流行的云计算大规模数据分析引擎，我们已经通过作业提交脚本成功部署在生产集群上。在本文中，我们描述了消息传递接口（MPI）和基于云的应用程序的常见并行分析流程。我们开发了一个有效的基准来衡量这些任务的性能特征，使用这两种类型的系统，特别是比较MPI/C为基础的分析与火花。基准测试是一个数据处理管道，代表了使用map-reduce实现的典型分析框架。在Spark的例子中，我们还考虑了语言是否通过使用Python和Scala（一种构建在Java虚拟机（JVM）上的语言）编写测试来发挥作用。我们包括来自阿贡国家实验室的两个大型系统的性能结果，其中包括Theta，Cray XC 40超级计算机，我们的实验运行65，536个核心（1024个节点，每个节点64个核心）。我们的实验结果进行了讨论，其适用性的背景下，未来的HPC架构。除了了解性能之外，我们的工作还表明，Spark等技术虽然通常针对基于云的多租户环境，但在传统的集群/超级计算环境中显示出数据分析需求的前景。
2019-09-27 cs.DC cs.SE
Distributed Streaming Analytics on Large-scale Oceanographic Data using Apache Spark
来自不同领域的真实数据需要实时可扩展的分析。大规模数据处理框架或引擎（如Hadoop）在需要即时结果时会出现不足。Apache Spark的流媒体库越来越成为一个受欢迎的选择，因为它可以流式传输和分析大量数据。本文分析了美国全球海洋数据同化实验（USGODAE）数据目录中收集的大尺度时空数据，展示并评估了Spark流处理的能力。我们通过在流作业的中间添加和删除节点来测量流的延迟并监控可扩展性。我们还验证了容错停止节点在中间的一个工作，并确保该工作被重新调度和完成其他节点。我们设计了一个全栈应用程序，可以自动执行数据汇集、数据处理和结果可视化。我们还使用Google Maps API来可视化结果，方法是使用各种分析的值对世界地图进行颜色编码。
2019-08-01 cs.DB cs.DC cs.IR
Quantitative Impact Evaluation of an Abstraction Layer for Data Stream Processing Systems
随着对处理不断增长的数据量的需求，已经开发了各种新的数据流处理框架。将实现从一个这样的系统移动到另一个这样的系统，例如，出于性能原因，需要使现有应用程序适应新接口。Apache Beam通过提供一个抽象层来解决这些高替代成本，该抽象层允许在任何支持的流框架上执行程序。在本文中，我们提出了一种新的基准架构，用于比较使用Apache Beam对三种流媒体框架的性能影响：Apache Spark Streaming，Apache Flink和Apache Apex。我们发现，在调查的系统中使用Apache Beam进行应用程序开发时，性能会受到显着影响。总的来说，使用Apache Beam进行检查流应用程序会导致查询执行时间的差异很大，与没有抽象层的查询相比，查询执行时间的延迟高达58倍。所有开发的基准工件都是公开的，以确保可重复的结果。
2019-07-18 cs.DC cs.PF
Big Data application in congestion detection and classification using Apache spark
Iowa state university（爱荷华州立大学）
随着大数据时代的到来，现在可以获得爆炸性的信息量。学术界和工业界大数据的巨大增长需要大规模的数据处理系统。大量的研究都在优化Spark的性能，使其成为最先进的快速通用数据处理系统。许多科学和工程领域都随着大数据分析而进步，例如生物学，金融和交通运输。智能交通系统（ITS）的普及和直接受益于丰富的信息。其目标是通过减少拥堵和事故来改善交通网络的安全和管理。实现这一目标的第一步是更好地理解、建模和高效地检测网络中的拥塞。在这项研究中，我们引入了一个有效的拥塞检测模型。基础网络由I-35、I-80、I-29和I-380高速公路的3017个路段组成，总长1570英里，平均每段（0.4-0.6）英里。拥塞检测结果表明，该方法的准确率为90%，计算时间减少了99.88%。
2021-01-16 cs.DC cs.LG
Where Does Streaming State Cost Go? A Reproducible Comparison of Flink and Kafka Streams on Kafka
Indiana University（印第安纳大学）
本文通过受控实验比较 Flink 与 Kafka Streams 在 Kafka 上的恰好一次流处理，揭示状态管理架构对延迟、恢复和正确性的影响，并强调评估容错流系统需综合考量多维度指标。
2026-09-25 cs.DC
A Multi-Dimensional Big Data Storing System for Generated COVID-19 Large-Scale Data using Apache Spark
中国武汉持续爆发新型冠状病毒病（COVID-19），特别是在二零一九年十二月。COVID-19是由一种以前在人类中未发现的新病毒引起的。随后，这一流行病在全世界迅速蔓延。根据这种疾病的症状，确诊病例数量每天都在迅速增加，嫌疑人数量也在增加，不幸的是，死亡人数也在增加。因此，随着世界各地病例数量的增加，很难在不同情况下管理所有这些病例信息;如果患者受伤或怀疑患者出现了哪些症状。因此，迫切需要构建一个多维系统来存储和分析所生成的大规模数据。本文提出了一个基于Apache Spark的COVID-19数据综合存储系统（CSS-COVID），以处理和管理因COVID-19数量每天增加而导致的问题。CSS-COVID有助于减少查询和存储COVID-19每日数据的处理时间。CSS-COVID包括三个阶段，即插入和索引，存储和查询阶段。在插入阶段，数据被划分成子集，然后分别索引每个子集。存储阶段使用一组存储节点来存储数据，查询阶段负责处理查询过程。在CSS-COVID中使用Apache Spark可以充分利用处理每日增加的冠状病毒疾病伤害的大规模数据的性能。使用真实的COVID-19数据集进行了一系列实验，以证明CSS-COVID在索引大规模数据方面的效率。
2020-04-30 cs.DB cs.DC
Scalable Exact Parent Sets Identification in Bayesian Networks Learning with Apache Spark
Department of Computer Science and Engineering University at Buffalo（布法罗大学计算机科学与工程系）；Department of Computer Science and Engineering Department of Biomedical Informatics University at Buffalo（布法罗大学生物医学信息学系计算机科学与工程系（注：此处按原文机构名合并，实际通常以主要系部为准，原文同时列出两个系部，均需提取））；University at Buffalo（布法罗大学（注：经检查，原HTML中作者的Affiliation部分明确包含的机构单位为“Department of Computer Science and Engineering University at Buffalo”和“Department of Computer Science and Engineering Department of Biomedical Informatics University at Buffalo”，但根据提取规则，机构粒度到大学/学院/公司/研究院级别即可，此处“University at Buffalo”为大学，“Department of Computer Science and Engineering”为系部，“Department of Biomedical Informatics”为系部。按要求提取到大学/学院/公司/研究院级别，因此主要机构为“University at Buffalo”，但原文中作者的Affiliation完整内容包含多个系部和大学，需严格按原文提取作者所属机构的英文名称，中文翻译需自然准确。正确提取应为：{）
在机器学习中，父集合识别问题是找到一组随机变量，这些随机变量在给定数据和一些预定义的评分函数的情况下最好地解释所选变量。该问题是贝叶斯网络结构学习和马尔可夫毯发现的关键组成部分，因此具有许多实际应用，从欺诈检测到临床决策支持。在本文中，我们介绍了一个新的分布式记忆方法的精确父集分配问题。为了实现可扩展性，我们推导出理论界来约束搜索空间时，MDL评分函数，我们重新组织底层的动态规划，这样的计算密度增加，细粒度同步被淘汰。然后，我们在Apache Spark平台上设计了我们方法的有效实现。实验结果表明，该方法在500核的独立Spark集群上具有很强的可扩展性，可以有效地处理70个变量的数据集，远远超出了现有解决方案的范围。
2017-10-24 cs.AI cs.DC
Alchemist: An Apache Spark <=> MPI Interface
用于分布式计算的Apache Spark框架由于其易用性而在数据分析社区中很受欢迎，但其MapReduce风格的编程模型在执行不直接映射到该模型的计算时可能会产生显着的开销。减轻这些成本的一种方法是将计算卸载到MPI代码上。在最近的工作中，我们介绍了Alchemist，一个用于分析大规模数据集的系统。Alchemist从Spark应用程序中调用基于MPI的库，它具有最小的编码，通信和内存开销。特别是，Alchemist允许用户保留在Spark软件生态系统中工作的生产力优势，而不会牺牲线性代数，机器学习和其他相关计算的性能效率。在本文中，我们讨论了炼金术士的发展背后的动机，我们提供了一个详细的概述其设计和使用。我们还证明了我们的方法在中型到大型数据集上的效率，使用一些标准的线性代数运算，即矩阵乘法和密集矩阵的截断奇异值分解，我们比较了Spark与Spark+Alchemist的性能。这些计算在NERSC超级计算机Cori Phase 1，Cray XC 40上运行。
2018-06-03 cs.DB cs.DC physics.data-an
Flare: Native Compilation for Heterogeneous Workloads in Apache Spark
现代数据分析需要结合关系、过程和映射-归约风格的功能处理，这一点得到了广泛的认可。像Spark这样的最先进的系统已经添加了SQL前端和关系查询优化，这保证了表达能力和性能的提高。但是这些扩展在从现代硬件平台中提取高性能方面有多好呢？虽然Spark已经取得了令人印象深刻的进步，但我们表明，对于关系型工作负载，与同类最佳查询引擎相比，仍然存在显着差距。当走出关系世界时，如果必须将大部分计算视为用户定义函数（UDF），那么查询优化技术将无效。我们介绍Flare：Spark的一个新后端，使性能更接近最好的SQL引擎，而不会放弃Spark的额外表现力。我们展示了TPC-H等关系工作负载以及结合关系和迭代函数处理的一系列机器学习内核的数量级加速。Flare通过（1）编译为本机代码，（2）替换Spark运行时系统的部分，以及（3）将优化和代码生成的范围扩展到大型UDF类来实现这些结果。
2017-03-23 cs.DB cs.DC cs.PF
In-Memory Indexed Caching for Distributed Data Processing
强大的抽象，如嵌入式框架，其效率仅与其底层运行时系统一样高。事实上的分布式数据处理框架Apache Spark不太适合现代基于云的数据科学工作负载，因为它的假设已经过时：使用粗粒度转换分析静态数据集。在本文中，我们介绍了索引数据帧，内存中的高速缓存，支持一个抽象的结构，它结合了索引功能，以支持快速查找和连接操作。此外，它支持多版本并发控制的追加。我们将Indexed DataFrame实现为一个轻量级的独立库，可以以最小的努力集成到现有的Spark程序中。我们使用Apache Spark和Databricks SDK分析了索引数据帧在集群和云部署中的性能，并使用真实的数据集和基准测试。在我们的评估中，我们表明，索引的DataFrame显着加快查询执行相比，非索引的DataFrame，产生适度的内存开销。
2022-02-08 cs.DC
Big Data-Driven Fraud Detection Using Machine Learning and Real-Time Stream Processing
本文提出结合 Kafka、Flink、Spark 等大数据实时流处理工具与机器学习模型的反洗钱欺诈检测方案，在合成 AML 数据集上取得超过 99% 的分类准确率。
2025-05-27 cs.DC
Adaptive filter ordering in Spark
本报告描述了一种使Apache Spark执行引擎自适应的技术方法。它提出了工程解决方案，特别是针对自适应重新排序谓词的数据流与不断变化的统计。开发的系统扩展可作为开源原型提供。指示性的实验结果表明，其开销和调整参数的敏感性。
2019-05-03 cs.DB cs.DC
Continuous Outlier Mining of Streaming Data in Flink
Department of Informatics, Aristotle University of Thessaloniki, Greece（塞萨洛尼基亚里士多德大学信息学系）；The University of Manchester, UK（曼彻斯特大学）
在这项工作中，我们专注于度量空间中基于距离的离群值，其中实体是否是离群值的状态是基于其邻域中其他实体的数量。近年来，有几种解决方案已经解决了数据流中基于距离的离群值问题，其中离群值必须随着新元素的可用而不断挖掘。一个有趣的研究问题是将流环境与大规模并行系统相结合，以提供可扩展的基于流的算法。然而，先前提出的技术中没有一个涉及大规模并行设置。我们的提案填补了这一空白，并调查了将最先进的技术转移到Apache Flink的挑战，这是一个用于密集流媒体分析的现代平台。我们全面介绍了遇到的技术挑战和可能应用的替代方案。我们显示的速度高达117（分别。2076）倍于一个天真的平行（resp.非并行）解决方案，只使用一个普通的四核机器和一个真实世界的数据集。当迁移到三台机器集群时，由于竞争较少，我们能够在窗口幻灯片大小和数据维度方面实现更好的可扩展性，甚至更高的加速，例如，是510倍总的来说，我们的研究结果表明，oulier挖掘可以以一种高效和可扩展的方式实现。由此产生的技术已作为开源软件公开提供。
2019-02-21 cs.DB cs.DC cs.LG
