arXiv 1203.43672012-03-20cs.DC

论文报告：MapReduce中的资源利用率配置

Thesis Report: Resource Utilization Provisioning in MapReduce

Hamidreza Barati, Nasrin Jaberi

摘要：

在这篇论文中，我们有一个调查国家的最先进的方法来建模MapReduce应用程序的资源利用率方面的配置参数。在文献中的算法之一的实施后，我们试图发现，如果CPU使用率建模的MapReduce应用程序可以用来预测CPU使用率的另一个MapReduce应用程序。

英文摘要：

In this thesis report, we have a survey on state-of-the-art methods for modelling resource utilization of MapReduce applications regard to its configuration parameters. After implementation of one of the algorithms in literature, we tried to find that if CPU usage modelling of a MapReduce application can be used to predict CPU usage of another MapReduce application.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

网络负载分析和MapReduce应用的配置

Network Load Analysis and Provisioning of MapReduce Applications

本文研究了固定大小MapReduce应用程序在shuffle阶段的配置参数与网络负载之间的依赖关系，并提出了一种分析方法来建模这种依赖关系。我们的方法包括三个关键阶段：分析，建模和预测。在第一阶段，应用程序使用不同的MapReduce配置参数（这里是映射器数量和缩减器数量）运行几次，以分析应用程序在给定集群上的shuffle阶段的网络负载。然后，这些参数和网络负载之间的关系，建立了多元线性回归模型。为了进行评估，三个应用程序（WordCount，WARTOM Mainlog解析和TeraSort）被用来评估我们的技术在4节点MapReduce私有集群。

2012-07-27cs.DCcs.PF

云和分布式计算系统中的性能配置和能效

Performance Provisioning and Energy Efficiency in Cloud and Distributed Computing Systems

近年来，高性能计算（HPC）系统中的能耗问题引起了广泛关注。针对这一问题，在HPC系统的不同层（包括硬件层、服务层和系统层）开发了许多能量感知算法。这些算法有两种类型：第一种是直接尝试通过调整频率操作或调度算法来提高能量的算法;第二种是专注于提高系统性能的算法，假设系统的有效运行可以间接节省更多能量。在这篇论文中，我们开发了这两个层的算法。首先，我们介绍了三种算法，直接提高能源调度任务的硬件水平，通过使用动态电压频率缩放（DVFS）。其次，我们提出了两个算法的MapReduce应用程序（一个著名的参数分布式框架，目前使用的谷歌，雅虎，Facebook和LinkedIn）的基础上，其配置参数的建模和资源配置。当然，估计性能（例如，MapReduce应用程序的执行时间或CPU时钟滴答声）可以稍后用于云或集群中的此类应用程序的智能调度。为了评估算法，我们进行了广泛的模拟和真实的实验上的5节点物理集群多达25个虚拟节点，使用合成和现实世界的应用程序。此外，提出的新算法与现有的算法进行了比较，通过实验，实验结果揭示了这些算法的性能，以及MapReduce和DVFS的属性的新信息。最后，通过实验观察揭示了三个有待解决的问题，并说明了它们的重要性。

2014-05-11cs.DCcs.NIcs.PF

MapReduce环境中应用程序的CPU总使用量的建模和预测

On Modelling and Prediction of Total CPU Usage for Applications in MapReduce Environments

最近，企业已经开始使用MapReduce作为一种流行的计算框架来处理大量数据，例如垃圾邮件检测，以及公共云和私有云中的不同数据采掘任务。在这样的环境中，两个具有挑战性的问题是（1）为MapReduce配置参数选择合适的值-例如，映射器的数量、缩减器的数量和DFS块大小，以及（2）预测用户应该从服务提供商租用的资源量。目前，选择配置参数和估计所需资源的任务完全是用户的责任。在本文中，我们提出了一种方法来提供总的CPU使用在MapReduce环境中的作业的时钟周期。对于MapReduce作业，时钟周期中的总CPU使用率的简档是从作业过去的执行中构建的，其中具有两个配置参数的不同值，例如，映射器的数量和缩减器的数量。然后，多项式回归被用来模拟这些配置参数和总的CPU使用的工作的时钟周期之间的关系。我们还简要地研究了输入数据缩放对测量的总CPU使用率在时钟周期的影响。这个导出的模型与缩放结果一起可以用于提供具有不同输入数据大小的相同作业的时钟周期中的总CPU使用率。我们验证我们的模型使用三个现实的应用程序的准确性（WordCount的，WARTOM的主日志解析，和TeraSort）。结果表明，在我们的20个节点的虚拟Hadoop集群中，生成的资源配置选项的时钟周期中的预测总CPU使用率小于时钟周期中的测量总CPU使用率的8%。

2012-07-27cs.DCcs.PF

预测MapReduce作业的CPU总累积使用量的统计回归

Statistical Regression to Predict Total Cumulative CPU Usage of MapReduce Jobs

最近，企业已经开始使用MapReduce作为一种流行的计算框架来处理大量数据，例如垃圾邮件检测，以及公共云和私有云中的不同数据采掘任务。在这种环境中的两个挑战性问题是（1）为MapReduce配置参数选择合适的值，例如，映射器的数量、缩减器的数量和DFS块大小，以及（2）预测用户应该从服务提供商租用的资源量。目前，选择配置参数和估计所需资源的任务完全由用户负责。在本文中，我们提出了一种方法来提供总的CPU使用在MapReduce环境中的作业的时钟周期。对于MapReduce作业，时钟周期中的总CPU使用率的简档是从作业过去的执行中构建的，其中具有两个配置参数的不同值，例如，映射器的数量和缩减器的数量。然后，多项式回归被用来模拟这些配置参数和总的CPU使用的工作的时钟周期之间的关系。我们还简要地研究了输入数据缩放对测量的总CPU使用率在时钟周期的影响。这个导出的模型与缩放结果一起可以用于提供具有不同输入数据大小的相同作业的时钟周期中的总CPU使用率。我们验证我们的模型使用三个现实的应用程序的准确性（WordCount的，WARTOM的主日志解析，和TeraSort）。结果表明，在我们的20个节点的虚拟Hadoop集群中，生成的资源配置选项的时钟周期中的预测总CPU使用率小于时钟周期中的测量总CPU使用率的8%。

2013-03-14cs.DCcs.LGcs.PF