arXiv 1710.030402017-10-09cs.DC

大数据迭代ML算法的运行时间预测：KMeans案例研究

Run Time Prediction for Big Data Iterative ML Algorithms: a KMeans case study

Eduardo Rodrigues, Ricardo Morla

摘要：

在大数据基础设施上运行的数据科学和机器学习算法在从商业智能和分析到网络安全、智慧城市管理以及许多科学和工程领域的活动中越来越重要。随着这些算法进一步集成到日常运营中，了解它们在大数据基础设施上运行的时间对于控制成本和交付时间至关重要。在本文中，我们讨论了理解迭代机器学习算法的运行时间所涉及的问题，并提供了这样一个算法的案例研究-包括使用Edward概率程序设计语言的Spark大数据引擎的K-Means实现的运行时间的统计特征和模型。

英文摘要：

Data science and machine learning algorithms running on big data infrastructure are increasingly important in activities ranging from business intelligence and analytics to cybersecurity, smart city management, and many fields of science and engineering. As these algorithms are further integrated into daily operations, understanding how long they take to run on a big data infrastructure is paramount to controlling costs and delivery times. In this paper we discuss the issues involved in understanding the run time of iterative machine learning algorithms and provide a case study of such an algorithm - including a statistical characterization and model of the run time of an implementation of K-Means for the Spark big data engine using the Edward probabilistic programming language.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

Ruya：面向大数据处理的集群并行计算的内存感知迭代优化

Ruya: Memory-Aware Iterative Optimization of Cluster Configurations for Big Data Processing

为大型集群上的数据处理作业选择合适的计算资源是困难的，即使对于像数据工程师这样的专家用户也是如此。选择不足可能导致成本大幅增加，而不会显著改善性能。选择有效资源配置的一个关键方面是避免内存瓶颈。通过预先知道作业所需的内存，可以大大减少用于最优资源配置的搜索空间。因此，我们提出了Ruya，一种基于迭代探索向下扩展的搜索空间的数据处理集群配置的内存感知优化方法。首先，我们只在一台机器上使用数据集的小样本执行作业分析，以模拟作业的内存使用模式。其次，我们优先考虑集群配置与适当的总内存量，并在此减少搜索空间，我们迭代搜索最佳集群配置贝叶斯优化。一旦搜索过程收敛到被认为是给定作业的最佳配置，则该搜索过程停止。在我们对包含1031个Spark和Hadoop作业的数据集进行的评估中，我们看到与基线相比，找到最佳配置的搜索迭代减少了大约一半。

2023-02-03cs.DC

i2MapReduce：用于挖掘不断发展的大数据的增量式MapReduce

i2MapReduce: Incremental MapReduce for Mining Evolving Big Data

随着新数据和更新的不断到来，数据采掘应用程序的结果随着时间的推移变得陈旧过时。增量处理是一种很有前途的刷新挖掘结果的方法。它利用以前保存的状态，以避免从头开始重新计算的费用。在本文中，我们提出了i2 MapReduce，这是MapReduce的一种新型增量处理扩展，MapReduce是挖掘大数据最广泛使用的框架。与Incoop上的最新工作相比，i2 MapReduce（i）执行键值对级别的增量处理而不是任务级别的重新计算，（ii）不仅支持单步计算，而且支持更复杂的迭代计算，这在数据采掘应用中被广泛使用，（iii）结合了一组新颖的技术来减少用于访问保留的细粒度计算状态的I/O开销。我们评估i2 MapReduce使用一步算法和三个迭代算法具有不同的计算特性。Amazon EC2上的实验结果表明，与执行重新计算的普通MapReduce和迭代MapReduce相比，i2 MapReduce的性能有了显著的提高。

2015-01-20cs.DC

大数据处理程序的抽象视图

An Abstract View of Big Data Processing Programs

提出了一种基于数据流的并行数据处理程序的模型，该模型与目标大数据处理框架无关。本文重点研究了非迭代和迭代程序的形式化抽象规范，概括了数据流大数据处理框架所采用的策略。所提出的模型依赖于Monoid AlgebraandPetri Netto在两个级别上抽象大数据处理程序：表示程序数据流的高级别和表示数据转换操作的低级别（例如，过滤、聚合、连接）。我们扩展了[1]中提出的数据处理程序的模型，使迭代程序的使用成为可能。考虑到迭代和贪婪大数据分析算法的民主化，由基于数据流的并行编程模型实现的迭代数据处理程序的通用规范是必不可少的。事实上，这些算法要求重新访问并行编程模型来表达迭代。本文对Apache Spark、DryadLINQ、Apache Beam和Apache Flink提出的迭代策略进行了比较分析。讨论了该模型如何实现对这些策略的推广。

2021-08-05cs.DCcs.SE

通过块迭代凸化和平均实现分布式大数据优化

Distributed Big-Data Optimization via Block-Iterative Convexification and Averaging

Università del Salento（萨莱诺大学）；Purdue University（普渡大学）

本文研究多智能体网络中的分布式大数据非凸优化问题，提出基于块迭代凸化和平均的算法，通过局部优化和通信子集，解决非凸性问题并保证渐近收敛。

2018-05-02cs.DCcs.SYeess.SY

面向交互式、自适应和结果感知的大数据分析

Towards Interactive, Adaptive and Result-aware Big Data Analytics

随着应用程序中数据量的增长，对大量数据的分析变得越来越重要。Apache Hadoop、Apache AsterixDB和Apache Spark等大数据处理框架就是为了满足这一需求而构建的。这些传统的基于集群的大数据处理框架所追求的共同目标是高性能，这通常意味着较低的端到端执行时间或延迟。数据分析的广泛采用导致人们呼吁改进传统的大数据处理方式。人们一直要求使分析过程更具交互性和适应性，特别是对于长时间运行的作业。在数据争论的迭代过程中，初始结果的重要性促使人们采用结果感知的方法来进行大数据分析。本论文的动机是这些要求改进数据处理和经验，在过去的几年里，同时在Texera项目，这是一个协同数据分析服务正在开发的加州大学欧文分校。本文主要由三部分组成。第一部分是关于Amber引擎的设计，它作为Texera服务的后端数据处理框架。第二部分是关于一个自适应和结果感知的偏斜处理框架，称为Reshape。Reshape使用快速控制消息来为各种操作员实现迭代偏斜缓解技术。Reshape中的缓解技术也从其对显示给用户的结果的影响的角度进行了分析。最后一部分介绍了一个基于结果感知的工作流调度框架Maestro。本部分讨论如何在计算集群上调度执行工作流，并在此过程中做出结果感知决策。这项工作通过将交互性，适应性和结果意识引入过程来改进数据分析过程。

2022-12-14cs.DC

Blink：面向大数据应用成本优化的轻量化样本检索

Blink: Lightweight Sample Runs for Cost Optimization of Big Data Applications

分布式内存数据处理引擎通过将大量数据集缓存在内存中而不是在每次迭代中重新计算它们来加速迭代应用程序。选择合适的集群大小来缓存这些数据集在实现最佳性能方面起着至关重要的作用。在实践中，这对于终端用户来说是一项繁琐而艰巨的任务，他们通常不知道集群规范、工作负载语义和中间数据的大小。我们提出了Blink，一个基于自主采样的框架，它预测缓存数据集的大小，并选择最佳的集群大小，而不依赖于历史运行。我们在各种迭代的、真实世界的、机器学习应用上评估Blink。与最佳运行成本相比，平均样本运行成本为4.6%，Blink在16种情况中选择了15种最佳集群大小，与平均成本相比节省了高达47.4%的执行成本。

2022-07-05cs.DBcs.DC

更多相关论文收起更多论文

Reshape：面向大数据探索性分析的自适应结果感知偏斜处理

Reshape: Adaptive Result-aware Skew Handling for Exploratory Analysis on Big Data

数据分析的过程，特别是在基于GUI的分析系统中，是高度探索性的。在到达最终工作流之前，用户迭代地多次细化工作流。在这样的探索性设置中，如果工作流的初始结果代表最终答案，则对于用户是有价值的，使得用户可以细化工作流而无需等待其执行的完成。分区偏斜可能会导致在执行过程中产生误导性的初始结果。在本文中，我们将从显示给用户的结果的角度探讨偏斜及其缓解策略。我们提出了一个新的框架，称为重塑，可以自适应地处理分区倾斜流水线执行。Reshape采用两阶段方法，以微调的方式转移负载，以在执行期间迭代地减轻偏斜，从而使其能够处理输入数据分布中的变化。Reshape具有自适应调整偏斜处理参数的能力，这减轻了用户的技术负担。Reshape支持多种运算符，如HashJoin、Group-by和Sort。我们在Amber和Flink两个大数据引擎上实现了Reshape，以证明其通用性和效率，并使用真实和合成数据集进行了实验评估。

2022-08-28cs.DBcs.DC

BiJuTy: 面向JupyterHub的交互式HPC感知大数据集群生命周期管理器与性能评估工具

BiJuTy: An Interactive HPC-Aware Big Data Cluster Lifecycle Manager and Performance Assessment Utility for JupyterHub

Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据分析和人工智能中心）；Center for Interdisciplinary Digital Sciences (CIDS)（跨学科数字科学中心）；TUD Dresden University of Technology（德累斯顿工业大学）

提出BiJuTy，通过Jupyter交互界面简化HPC上大数据集群的生命周期管理和性能评估，降低使用门槛，支持多集群管理和迭代优化。

2026-06-24cs.DC

大规模机器学习的迭代MapReduce

Iterative MapReduce for Large Scale Machine Learning

University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of California, Irvine（加州大学欧文分校）；Yahoo! Research（雅虎研究院）

大型数据集（“大数据”）正变得无处不在，因为跨广泛的商业和科学应用从数据中获得见解的潜在价值越来越被认识到。特别是，大数据上的机器学习--数据分析、总结和推理的基础学科之一--已经成为大多数运营大型云的组织的常规，这些云通常基于支持MapReduce编程范式的Hadoop等系统。现在人们普遍认识到，虽然MapReduce是高度可扩展的，但它有一个机器学习的关键弱点：它不支持迭代。因此，人们不得不围绕这个限制进行编程，导致脆弱，低效的代码。此外，在多租户的云环境中，对程序员的依赖是固有的缺陷，因为程序员在他或她的程序执行时无法看到系统的状态。先前的工作试图通过开发针对程式化应用程序的专门系统来解决这个问题，或者通过在MapReduce中增加对跨迭代保存状态的特殊支持（由外部循环驱动）。在本文中，我们提倡支持循环作为一个一流的结构，并提出了一个扩展的MapReduce编程范式称为{ \em迭代MapReduce}。然后，我们开发了一类迭代MapReduce程序，涵盖了大多数机器学习技术的优化器，为关键的优化步骤提供理论依据，并实证证明，系统优化的程序显着的机器学习任务与国家的最先进的专业解决方案的竞争力。

2013-03-13cs.DBcs.DCcs.LG

大数据流上的增量查询处理

Incremental Query Processing on Big Data Streams

本文讨论了分布式流处理引擎（DSPE）上的大规模增量数据分析的在线查询处理。我们的目标是将任何类似SQL的查询自动转换为增量DSPE程序。与其他方法相比，我们得到的增量程序返回准确的结果，而不是近似的答案。这是通过在查询计算生存期内保留最小状态，并使用增量计算技术在每个时间间隔（取决于当前状态和最新批次的数据）返回准确的快照答案来实现的。我们的方法可以处理嵌套数据汇集上的多种形式的查询，包括迭代和嵌套查询、具有聚合的分组和等价连接。最后，我们报告了我们的框架的原型实现，称为MRQL流，运行在Spark之上，我们通过实验验证了我们的方法的有效性。

2016-03-06cs.DBcs.DC

分布式加速投影一致性分解

Distributed Accelerated Projection-Based Consensus Decomposition

本文提出一种分布式加速投影一致性分解算法，通过改进APC迭代方法以加速处理大型稀疏矩阵，实验表明收敛加速效果显著。

2023-06-17cs.DC

K-Means算法的并行化及其在大数据聚类中的应用

Parallelization of the K-Means Algorithm with Applications to Big Data Clustering

Indian Institute of Technology Madras（马德拉斯印度理工学院）

针对K-Means串行聚类距离计算开销大的问题，比较OpenMP平面同步与基于OpenACC的GPU并行方案，并通过加速比、效率和耗时评估性能。

2024-05-20cs.DCcs.LG

Perona：强大的基础设施指纹识别，用于资源高效型大数据分析

Perona: Robust Infrastructure Fingerprinting for Resource-Efficient Big Data Analytics

Technische Universität Berlin（柏林工业大学）；University of Glasgow（格拉斯哥大学）

为大数据分析应用程序选择良好的资源配置可能具有挑战性，特别是在云环境中。自动化方法是可取的，因为糟糕的决策会降低性能并增加成本。大多数现有的自动化方法要么从以前的工作负载执行中构建性能模型，要么进行迭代的资源配置分析，直到找到一个接近最优的解决方案。在这样做的过程中，它们只能获得对底层基础设施的隐含理解，这很难转移到替代基础设施，因此，分析和建模见解不能持续到非常特定的情况。我们提出了Perona，这是一种在大数据分析背景下使用的强大基础设施指纹识别的新方法。Perona为目标资源采用了通用的基准测试工具集和配置，这样得到的基准测试指标就可以直接进行比较，并且可以进行排名。通过学习输入度量向量的低维表示来丢弃不重要的基准度量，并且还考虑到先前的基准执行以用于上下文感知，从而允许检测资源退化。我们评估我们的方法收集的数据，从我们自己的实验，以及在相关的工作资源配置优化，证明Perona捕获的特点，从基准测试运行在一个紧凑的方式，并产生表示，可以直接使用。

2023-01-30cs.DCcs.LG

Spark上基于RDD的Apriori算法的数据结构分析

A Data Structure Perspective to the RDD-based Apriori Algorithm on Spark

近年来，许多研究者提出了许多高效、可扩展的大数据频繁项集挖掘算法。首先，提出了Hadoop集群上基于MapReduce的频繁项集挖掘算法。虽然Hadoop已经被开发成一个处理大数据的集群计算系统，但是由于其高I/O以及在磁盘上写入和读取中间结果，Hadoop的性能并不能满足数据采掘迭代算法的期望。因此，Spark被开发为另一种集群计算基础设施，由于其内存计算，它比Hadoop快得多。它非常适合迭代算法，并支持数据的批处理，交互式，迭代和流处理。许多频繁项集挖掘算法在Spark上被重新设计，其中大部分都是基于Apriori的。所有这些基于Spark的Apriori算法都使用Hash Tree作为底层数据结构。本文研究了基于Spark的Apriori的各种数据结构的效率。虽然，以前已经从数据结构的角度进行了研究，但是对于基于MapReduce的Apriori，必须在Spark的分布式计算环境下进行重新研究。所考虑的底层数据结构是哈希树、Trie和哈希表Trie。在基准数据集上的实验结果表明，在Spark的分布式计算环境下，基于Spark的Apriori with Trie和哈希表Trie的性能几乎相当，但都比Hash Tree高出许多倍。

2019-08-04cs.DBcs.DC

一种结构感知的高效图形处理方法

A Structure-aware Approach for Efficient Graph Processing

随着大数据时代的到来，图的处理以迭代的方式进行，在大数据应用中以图的形式递增描述。目前，图形处理方法将底层地图数据视为黑盒。然而，实验结果表明，图的结构往往具有多样性，不同的图处理方法对图的结构非常敏感，对不同的数据集表现出不同的性能。基于此，本文提出了一种用于图结构分析的图处理方法：（1）根据图的入度和出度计算图的顶点活动度，并将相应的顶点划分为热分区或冷分区;（2）根据迭代后部分顶点收敛引起的图结构的变化，本文对划分进行了重新分类，将较低的活动顶点划分为冷分区，减少计算次数，从而降低了缓存丢失率和活动顶点带来的I/O开销;（3）对顶点状态度最高的分区进行优先级计算。详细地说，更明显和更频繁的顶点具有更高的处理优先级。这样，加快了图顶点的收敛速度，减少了图算法在大数据环境下的运行时间。实验结果表明，与最新的系统相比，该方法可以使不同的图算法和数据集的性能提高一倍。

2018-06-04cs.DC

使用深度学习和Apache Spark的移动大数据分析

Mobile Big Data Analytics Using Deep Learning and Apache Spark

Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research（资讯通信研究院）；Singapore University of Technology and Design（新加坡科技设计大学）；Singapore Management University（新加坡管理大学）；University of Houston（休斯顿大学）

诸如智能手机和物联网（IoT）小工具的移动设备的激增导致了最近的移动大数据（MBD）时代。收集MBD是无利可图的，除非使用合适的分析和学习方法从数据中提取有意义的信息和隐藏的模式。本文介绍了MBD分析中的深度学习的概述和简短教程，并讨论了Apache Spark上的可扩展学习框架。具体来说，分布式深度学习在许多Spark工作者上作为迭代MapReduce计算执行。每个Spark worker在整个MBD的分区上学习一个部分深度模型，然后通过平均所有部分模型的参数来构建主深度模型。这个基于Spark的框架加快了由许多隐藏层和数百万个参数组成的深度模型的学习。我们使用一个上下文感知的活动识别应用程序与包含数百万个样本的真实数据集来验证我们的框架并评估其加速效率。

2016-02-23cs.DCcs.LGcs.NE

快速分布式PageRank计算

Fast Distributed PageRank Computation

在过去的十年中，PageRank在广泛的应用程序和领域中获得了重要性，自从它首次被证明可以有效地确定大型图中的节点重要性（并且是Google搜索引擎背后的先驱思想）。在单独的分布式计算中，PageRank向量或更一般地基于随机游走的量已经用于范围从确定重要节点、负载均衡、搜索和识别连接结构的若干不同应用。然而，令人惊讶的是，设计可证明有效的全分布式算法来计算PageRank的工作很少。困难在于，由于通信带宽限制和收敛速率，传统的矩阵-向量乘法风格的迭代法可能并不总是很好地适应分布式设置。在本文中，我们提出了快速的随机行走为基础的分布式算法计算PageRanks在一般的图，并证明了强界轮复杂度。我们首先提出了一种分布式算法，它在任何图（有向或无向）上以高概率进行$O\big(\log n/\eps \big)$轮，其中$n$是网络大小，$\eps$是PageRank计算中使用的重置概率（通常$\eps$是固定常数）。然后，我们提出了一个更快的算法，需要$O\big(\sqrt{\log n}/\eps \big)$轮无向图。上述两种算法都是可缩放的，因为每个节点在每个轮的每个边缘上仅发送少量（$\polylog n$）比特。据我们所知，这是第一个完全分布式的计算PageRank向量的算法，可证明运行时间有效。

2015-11-25cs.DCcs.DS

MapReduce足够好吗？如果你只有一把锤子，扔掉所有不是钉子的东西！

MapReduce is Good Enough? If All You Have is a Hammer, Throw Away Everything That's Not a Nail!

Hadoop目前是大规模数据分析的首选“锤子”，但也有一些算法不是“钉子”，因为它们并不特别适合MapReduce编程模型。为了解决这个问题，研究人员提出了MapReduce扩展或替代编程模型，其中可以优雅地表达这些算法。这篇文章支持一个非常不同的立场：MapReduce是“足够好”的，而不是试图发明螺丝刀，我们应该简单地摆脱一切不是钉子。更具体地说，文献中的许多讨论都围绕着迭代算法不适合MapReduce的事实：简单的解决方案是找到解决相同问题的替代非迭代算法。这篇文章记录了我作为一名学术研究人员和一名软件工程师在“现实世界”生产分析环境中的个人经历。从这个综合的角度，我反思了“大数据”研究的现状和未来。

2012-09-11cs.DBcs.DC

RDD-Eclat：Eclat算法在Spark RDD框架（扩展版）上的实现方法

RDD-Eclat: Approaches to Parallelize Eclat Algorithm on Spark RDD Framework (Extended Version)

Banaras Hindu University（巴纳拉斯印度教大学）；University of Allahabad（阿拉哈巴德大学）

频繁项集挖掘是一种计算量大、数据密集型的挖掘算法。因此，并行和分布式并行算法被设计成在减少的时间内处理大量的数据。近年来，在Hadoop MapReduce（一种分布式大数据处理框架）上设计了许多并行算法。但是，由于大量的磁盘I/O，MapReduce被发现是效率低下的高度迭代的并行算法。因此，Spark，一个更有效的分布式数据处理框架，已经开发了内存计算和弹性分布式数据集（RDD）功能，以支持迭代算法。在此框架下，基于Apriori和FP-Growth的并行算法已经在Spark RDD框架上得到了设计，但基于Eclat的并行算法还没有被研究。本文提出了一种基于Spark RDD框架的并行Eclat算法RDD-Eclat及其五种变体。在各种基准数据集上对所提出的算法进行了评估，实验结果表明，RDD-Eclat的性能比基于Spark的Apriori高出许多倍。实验结果表明，该算法在增加核数和数据集大小方面具有可扩展性。

2021-10-22cs.DBcs.DCcs.LG