Scheduling Data Intensive Workloads through Virtualization on MapReduce based Clouds
MapReduce已经成为在云上运行数据密集型应用程序的流行编程模型。用户设置的MapReduce作业的完成时间目标或截止日期在现有的基于云的数据处理环境（例如Hadoop）中变得至关重要。在调度MR作业以满足最后期限和“数据局部性”（将任务分配给包含其输入数据的节点）之间存在冲突。为了满足最后期限，可以在没有用于该任务的本地输入数据的节点上调度任务，从而导致从远程节点的昂贵数据传输。在本文中，提出了一种新的调度器，以解决上述问题，主要是基于动态资源重新配置的方法。它有两个组成部分：1）资源预测器：其动态地确定每个作业满足完成时间保证所需的Map/Reduce时隙的数量; 2）资源重新配置器：其通过动态地增加或减少各个VM来调整CPU资源，同时不违反用户的完成时间目标，以最大化数据局部性，并且还最大化活动作业之间的系统内的资源的使用。建议的调度程序已被评估对公平的虚拟集群上建立在一个物理集群的20台机器。结果表明，作业吞吐量增加了约12
2012-08-09 cs.DC
Distributed Log Analysis on the Cloud Using MapReduce
在本文中，我们描述了我们的工作，设计一个基于Web的分布式数据分析系统的基础上流行的MapReduce框架部署在一个小的云，专门用于分析Web服务器日志。该日志分析系统由多个集群节点组成，将大型日志文件拆分到分布式文件系统上，利用MapReduce编程模型进行快速处理。该集群是使用开源云基础设施创建的，这使我们能够通过添加新节点轻松扩展计算能力。这使我们能够根据数据分析要求自动调整集群的大小。我们实现了MapReduce程序，用于基本的日志分析需求，如频率分析，错误检测，繁忙时间检测等，以及需要运行多个作业的更复杂的分析。该系统可以自动识别和分析几种Web服务器日志类型，如Apache，IIS，Squid等。我们使用开源项目来创建云基础设施和运行MapReduce作业。
2018-02-10 cs.DC
Hadoop Performance Models
Hadoop MapReduce现在是执行大规模数据分析的热门选择。本技术报告描述了一组详细的数学性能模型，用于描述Hadoop上MapReduce作业的执行。该模型在图中的阶段的细粒度上描述了成本和成本信息，并减少了作业执行的任务。这些模型可用于估计MapReduce作业的性能，以及找到运行作业时要使用的最佳配置设置。
2011-06-06 cs.DC
Optimization for Speculative Execution of Multiple Jobs in a MapReduce-like Cluster
如今，典型数据中心的计算集群可以轻松地由数十万台商用服务器组成，使组件/机器故障成为常态而不是例外。一个并行处理作业，只要它的许多任务中的一个被分配给一台故障机器，就可以被大大地延迟。为了解决这个所谓的落伍者问题，大多数并行处理框架，如MapReduce，都采用了各种策略，在这些策略下，如果同一任务的进度异常缓慢，或者仅仅是因为有额外的空闲资源可用，系统可能会推测性地启动同一任务的额外副本。在本文中，我们专注于在不同的负载条件下的并行处理集群的推测执行方案的设计。对于轻负载的情况下，我们分析并提出了两个基于优化的计划，即智能克隆算法（SCA），这是基于最大限度地提高作业效用和掉队者检测算法（SDA），最大限度地减少了一个作业的整体资源消耗。我们还推导出SCA或SDA应该用于推测执行的工作负载阈值。我们的模拟结果表明，SCA和SDA可以减少近60%的预测执行策略的Microsoft Mantri相比，作业流时间。对于重负载的情况下，我们提出了增强的推测执行（ESE）算法，这是一个扩展的微软Mantri计划。我们发现，ESE算法可以击败曼特里基线计划的18%，在工作流时间，同时消耗相同数量的资源。
2015-01-05 cs.DC
An Open-Source Project for MapReduce Performance Self-Tuning
许多Hadoop配置参数对在Hadoop上运行MapReduce作业的性能有重大影响。对于一般用户来说，手动调整参数以获得最佳MapReduce性能是耗时且繁琐的。此外，现有的自校正系统大多实现不透明，难以在实际中使用。这项研究提出了一个开源项目，托管开发中的自调系统称为Catla来解决这些问题。Catla集成了多种直接搜索和基于无衍生优化的技术，以提高用户的调优效率。在这项研究中说明了该系统及其使用的概述。我们还报告了一个简单的例子，展示了这个正在进行的项目的好处。虽然这个项目仍在开发中，远未全面，但它致力于在提高大数据分析性能方面为Hadoop生态系统做出贡献。
2019-12-28 cs.DC
On Modelling and Prediction of Total CPU Usage for Applications in MapReduce Environments
最近，企业已经开始使用MapReduce作为一种流行的计算框架来处理大量数据，例如垃圾邮件检测，以及公共云和私有云中的不同数据采掘任务。在这样的环境中，两个具有挑战性的问题是（1）为MapReduce配置参数选择合适的值-例如，映射器的数量、缩减器的数量和DFS块大小，以及（2）预测用户应该从服务提供商租用的资源量。目前，选择配置参数和估计所需资源的任务完全是用户的责任。在本文中，我们提出了一种方法来提供总的CPU使用在MapReduce环境中的作业的时钟周期。对于MapReduce作业，时钟周期中的总CPU使用率的简档是从作业过去的执行中构建的，其中具有两个配置参数的不同值，例如，映射器的数量和缩减器的数量。然后，多项式回归被用来模拟这些配置参数和总的CPU使用的工作的时钟周期之间的关系。我们还简要地研究了输入数据缩放对测量的总CPU使用率在时钟周期的影响。这个导出的模型与缩放结果一起可以用于提供具有不同输入数据大小的相同作业的时钟周期中的总CPU使用率。我们验证我们的模型使用三个现实的应用程序的准确性（WordCount的，WARTOM的主日志解析，和TeraSort）。结果表明，在我们的20个节点的虚拟Hadoop集群中，生成的资源配置选项的时钟周期中的预测总CPU使用率小于时钟周期中的测量总CPU使用率的8%。
2012-07-27 cs.DC cs.PF
Social content matching in MapReduce
匹配问题无处不在。它们发生在经济市场、劳动力市场、互联网广告和其他地方。在本文中，我们专注于社交媒体匹配的应用。我们的目标是将内容从信息提供者分发到信息消费者。我们寻求最大限度地提高从供应商到消费者的匹配内容的整体相关性，同时规范整体活动，例如，确保没有消费者被数据淹没，所有供应商都有机会提供他们的内容。我们提出了两个匹配算法，GreedyMR和StackMR，面向MapReduce范式。这两种算法都有可证明的近似保证，在实践中，它们产生高质量的解决方案。虽然这两种算法的扩展性都非常好，但我们可以证明StackMR只需要多对数的MapReduce步骤，这使得它成为具有非常大数据集的应用程序的一个有吸引力的选择。我们的实验表明，我们的解决方案的质量和效率之间的权衡来自现实世界的社交媒体网站的两个大型数据集。
2011-05-21 cs.DC cs.SI
A Study on Using Uncertain Time Series Matching Algorithms in MapReduce Applications
在本文中，我们研究了几个Map-Reduce应用程序的CPU利用率时间模式。在提取多个应用程序的运行模式后，将模式及其统计信息保存在参考数据库中，以便稍后用于调整系统参数，以便将来有效地执行未知应用程序。为了实现这一目标，将新应用程序的CPU利用率模式及其统计信息与参考数据库中已知的CPU利用率模式进行比较，以找到/预测它们最可能的执行模式。由于不同的模式长度，动态时间规整（DTW）用于这样的比较，然后应用于DTW的结果的统计分析，以选择最合适的候选人。此外，在一个假设下，提出了另一种算法来分类相似的CPU利用率模式下的应用程序。三个广泛使用的文本处理应用程序（WordCount，分布式Grep，和Terasort）和另一个应用程序（CummMainlog解析）被用来评估我们的假设，在执行类似的应用程序中调整系统参数。实验结果表明，该方法在5节点Map-Reduce平台上是有效的
2013-01-18 cs.AI cs.DC cs.LG
Performance Tuning of Hadoop MapReduce: A Noisy Gradient Approach
Hadoop MapReduce是一个分布式存储和处理大型数据集的框架，在大数据分析中非常流行。它具有各种配置参数（旋钮），这些参数在决定性能方面起着重要作用，即，给定大数据处理作业的执行时间。这些参数的默认值并不总是产生良好的性能，因此调整它们很重要。然而，由于两个重要原因，在调整参数方面存在固有的困难-首先，参数搜索空间很大，其次，存在交叉参数相互作用。因此，需要一种无量纲的方法，该方法可以通过考虑跨参数依赖性来自动调整配置参数。在本文中，我们提出了一种新的Hadoop参数调整方法，基于噪声梯度算法称为同时扰动随机近似（SPSA）。SPSA算法通过直接观察Hadoop MapReduce系统的性能来调整参数。所遵循的方法独立于参数维度，并且在调整时每次迭代仅需要$2$观测。我们证明了我们的方法在流行的Hadoop基准测试，即\emph{Grep}，\emph{Bigram}，\emph{Inverted Index}，\emph{Word Co-occurrence}和\emph{Terasort}上实现良好性能的有效性。我们的方法，在25个节点的Hadoop集群上进行测试时显示，与默认配置相比，Hadoop作业的执行时间平均减少了66%。此外，我们还观察到，与以前的方法相比，减少了45%的执行时间。
2016-12-16 cs.DC cs.LG
Hugo: A Cluster Scheduler that Efficiently Learns to Select Complementary Data-Parallel Jobs
MapReduce、Spark和Flink等分布式数据处理系统是分析具有集群资源的大型数据集的流行工具。然而，用户经常为他们的数据处理作业过度提供资源，而这些作业的资源使用通常也会大幅波动。因此，多个作业通常被调度到相同的共享资源上，以提高集群的资源利用率和吞吐量。但是，作业运行时和共享资源的利用率可能会因协同定位作业的特定组合而发生显著变化。本文介绍了雨果，一个集群调度器，不断学习如何有效地共享资源，考虑指标的资源利用率和协同工作之间的干扰。该调度器将离线作业分组与在线强化学习相结合，以提供一种调度机制，该调度机制有效地从特定的监视作业组合中进行归纳，同时还适应工作负载的变化。我们对原型的评估表明，该方法可以将YARN集群上的示例性Spark作业的运行时间减少高达12.5%，同时增加了资源利用率，并且可以限制等待时间。
2021-02-14 cs.DC
QoS-Based Pricing and Scheduling of Batch Jobs in OpenStack Clouds
当前的云基础设施服务（IaaS）市场采用基于资源的销售模式：客户从提供商租用节点并按单位时间按节点付费。这种销售模式使客户承担了预测其作业资源需求和持续时间的负担。客户的不准确预测可能导致资源过度配置，或配置不足和作业性能低下。得益于改进的资源虚拟化和多租户性能隔离，以及MapReduce等批处理作业的通用框架，云提供商可以更准确地预测作业完成时间。我们提供了一个新的定义的QoS水平的作业完成时间，我们提出了一个新的基于QoS的销售机制，批量作业在多租户的OpenStack集群。我们的实验表明，基于QoS的解决方案产生了高达40%的收入提高了更多的标准销售机制的基础上固定的每节点价格在各种需求和供应条件下，在240 VCPU的OpenStack集群。
2015-04-27 cs.DC
Beyond Batch Processing: Towards Real-Time and Streaming Big Data
今天，大数据是从许多来源产生的，并且存在对大数据的存储、管理、处理和查询的巨大需求。MapReduce模型及其对应的开源实现Hadoop已经证明了自己是大数据处理的事实上的解决方案。Hadoop本质上是为批量和高吞吐量处理作业而设计的。虽然Hadoop非常适合批处理作业，但对大数据的非批处理流程的需求越来越大，例如：交互式作业，实时的【形】查询和大数据流。由于Hadoop不适合这些非批处理工作负载，因此针对这些新挑战提出了新的解决方案。在本文中，我们将讨论两类解决方案：实时的【形】处理和大数据流处理。对于每个类别，我们讨论了Hadoop的范式、优势和差异。我们还为每个类别介绍了一些实用的系统和框架。最后，通过一些简单的实验，对比现有的基于Hadoop的解决方案，验证了一些解决方案的有效性。
2014-08-01 cs.DC
Approximating Edit Distance in Truly Subquadratic Time: Quantum and MapReduce
两个字符串之间的编辑距离定义为将一个字符串转换为另一个字符串所需的最小插入、删除和替换次数。在次二次时间内近似编辑距离是“组合模式匹配领域最大的未解决问题之一“。我们的主要结果是一个量子常数近似算法计算的编辑距离在真正的次二次时间。更准确地说，我们给出了一个$O(n^{1.858})$量子算法，近似的编辑距离内的一个因素$7$。我们进一步扩展这一结果的$O(n^{1.781})$量子算法，在一个较大的常数因子内近似的编辑距离。我们的解决方案是基于一个框架，在并行设置近似编辑距离。这个框架需要一个黑盒算法，它可以同时计算几个较小字符串的距离。对于一个量子算法，我们减少了黑盒\textit{metric estimation}，并提供有效的算法来近似它。我们进一步表明，这个框架使我们能够近似编辑距离在分布式设置。为此，我们提供了一个MapReduce算法近似编辑距离内的一个因素$3$，次线性许多机器和次线性内存。此外，我们的算法运行在对数轮数。
2018-04-25 cs.DC cs.DS quant-ph
Efficient Resource Matching in Heterogeneous Grid Using Resource Vector
本文提出了一种在分布式校园网格环境中有效调度作业以获得最佳作业吞吐量的方法。传统的作业调度器根据用户和作业资源属性来确定作业调度。用户属性与当前使用、历史使用、用户优先级和项目访问相关。作业资源属性主要包括软需求（编译器，库）和硬需求，如内存，存储和互连。如果资源满足作业的硬要求和软要求，则作业调度程序将作业分派给资源。在作业执行期间的当前场景中，如果资源变得不可用，则向调度器呈现有限的选项，即重新排队作业或将作业迁移到不同的资源。这两种选择在数据和计算时间方面都很昂贵。如果考虑网格环境中资源的可用时间这一经常被忽略的因素，这些情况就可以避免。我们提出了资源排名的方法，在该方法中，作业被分派到一个资源，其中具有最高的排名之间的所有资源，匹配的作业的要求。结果表明，我们的方法可以提高许多串行/单片作业的吞吐量。
2010-06-07 cs.DC
Predicting Scheduling Failures in the Cloud
云计算已经成为通过互联网交付和管理计算、平台和软件服务的关键技术。任务调度算法的目标是减少任务的周转时间，提高资源利用率，因此对云计算服务的效率起着重要的作用。在文献中已经提出了用于云计算系统的若干任务调度算法，大多数依赖于任务的计算复杂性和资源的分布。然而，由于云环境中不可预见的变化，按照这些算法调度的几个任务仍然失败。在本文中，使用任务执行和资源利用率数据提取的执行痕迹，在现实世界中的应用程序在谷歌，我们探讨了预测调度结果的任务使用统计模型的可能性。如果我们能够成功地预测任务失败，我们就可以通过更早地重新调度失败的任务来减少作业的执行时间（即，在其实际失效时间之前）。我们的研究结果表明，统计模型可以预测任务失败的准确率高达97.4%，召回率高达96.2%。我们使用工具包GSPSSIM模拟了这种预测的潜在好处，发现它们可以将完成任务的数量提高高达40%。我们还使用Amazon Elastic MapReduce（EMR）的Hadoop框架和乳腺癌研究中的基因表达相关性分析研究的工作进行了案例研究。我们发现，当使用我们的预测模型扩展Hadoop的调度器时，失败作业的百分比可以减少高达45%，开销不到5分钟。
2015-07-13 cs.DC cs.SE
String Matching with Wildcards in the Massively Parallel Computation Model
研究了存在通配字符的字符串匹配问题的分布式算法。给定一个字符串T（一个文本），我们寻找另一个字符串P（一个模式）作为字符串T的子串的所有出现。模式中的每个通配字符都根据其类型匹配特定的字符串类。字符串匹配是计算机科学中最基本的问题之一，特别是在生物信息学和机器学习领域。自20世纪60年代以来，经过不懈的努力，已经产生了多种解决该问题的算法。随着大数据的兴起和解决大数据集问题的必然需求，已经有许多尝试将经典算法应用到MPC框架中以获得进一步的效率。MPC是一个新的大数据并行计算框架，旨在捕获类似MapReduce的算法。在本文中，我们研究了字符串匹配问题，使用一组工具转换为MPC模型。我们在字符串匹配中考虑三种类型的通配符：- '？“”模式：在此设置中，模式允许包含特殊“？'字符或与文本的任何字符匹配的无关字符。利用快速卷积可以解决无关字符串的匹配问题，并给出了一种固定循环数的MPC算法，该算法在固定循环数的MPC中利用FFT。- “+”字符：“+”字符是一个专用字符，允许任意重复一个字符。当模式中包含“+”通配字符时，通过子集匹配问题的约简，算法运行在固定的MPC轮数中。- “*”字符串：“*”是一个专用字符，与文本的任何子字符串匹配。当模式中允许使用“*”时，我们在对数轮中解决问题的两种特殊情况。
2021-06-04 cs.DC
