Identifying the potential of Near Data Computing for Apache Spark
虽然集群计算框架正在不断发展以提供实时数据分析功能,但Apache Spark已经成为大数据分析的最前沿,成为批量和流数据处理的统一框架。由于过去十年的技术进步,近数据计算(NDC)也重新引起了人们的兴趣。然而,目前尚不清楚NDC架构是否可以提高Apache Spark等大数据处理框架的性能。在这份立场文件中,我们假设支持NDC架构,包括基于可编程逻辑的混合2D集成处理内存和存储处理Apache Spark,通过对Ivy Bridge Server上基于Apache Spark的工作负载进行广泛分析。
2017-05-09 cs.DC
Analyzing Big Datasets of Genomic Sequences: Fast and Scalable Collection of k-mer Statistics
由于下一代测序技术产生的大量数据,基于映射-缩减编程范式的分布式方法已经开始在生物信息学领域被提出。然而,使用map-reduce和相关的大数据技术和框架(例如,Apache Hadoop和Spark)在效率和有效性方面不一定会产生令人满意的结果。我们讨论了分布式和大数据管理技术的发展如何影响了生物序列的大数据集的分析。此外,我们展示了如何选择不同的参数配置和仔细工程的软件相对于所考虑的特定框架可能是至关重要的,以实现良好的性能,特别是在非常大量的数据。我们选择k-mer计数作为我们分析的案例研究,并Spark作为实现FastKmer的框架,FastKmer是一种从大量生物序列中提取k-mer统计的新方法,具有任意k值。FastKmer最相关的贡献之一是引入了一个模块,用于在计算集群的节点上平衡统计数据聚合工作负载,以克服数据偏斜,同时允许充分利用底层分布式架构。我们还提出了一个比较实验分析的结果,表明我们的方法是目前最快的基于大数据技术,同时表现出非常好的可扩展性。我们提供的证据表明,使用技术,如Hadoop或Spark的生物序列的大数据集的分析是富有成效的,只有当架构的细节和所考虑的框架的特殊方面仔细考虑到的算法设计和实施。
2018-07-04 cs.DC
A Parallel Random Forest Algorithm for Big Data in a Spark Cloud Computing Environment
随着大数据时代的到来,如何从数据集中高效、准确地获取有价值的知识,越来越受到学术界和工业界的关注。在Apache Spark平台上提出了一种面向大数据的并行随机森林(PRF)算法。基于数据并行优化和任务并行优化相结合的混合方法对PRF算法进行了优化。从数据并行优化的角度出发,采用垂直数据划分的方法有效地降低了数据通信的开销,采用数据复用的方法使训练数据集可以重用,减少了数据量。从任务并行优化的角度出发,在RF的训练过程中采用了双重并行的方法,根据PRF的并行训练过程和弹性分布式数据集(RDD)对象的依赖关系,建立了一个任务有向无环图(DAG)。然后,为DAG中的任务调用不同的任务调度器。此外,为了提高算法对大型,高维和噪声数据的准确性,我们在并行化之前的训练过程中执行降维方法和预测过程中的加权投票方法。大量的实验结果表明,与Spark MLlib等相关算法相比,该算法在分类精度、性能和可扩展性等方面具有明显的优势。
2018-10-17 cs.DC
Parallelization of Machine Learning Algorithms Respectively on Single Machine and Spark
本文研究经典机器学习算法在单机与Spark平台上的并行化,通过运行时间和效率对比证明并行化能显著提升大数据分析性能。
2023-04-13 cs.DC
Evaluating Hive and Spark SQL with BigBench
这项工作的目标是利用BigBench [1]作为大数据基准,并评估和比较两个处理引擎:MapReduce [2]和Spark [3]。MapReduce是Hadoop上处理数据的成熟引擎。Spark是一个流行的替代引擎,它承诺比现有的MapReduce引擎更快的处理时间。BigBench之所以被选中进行比较,是因为它是第一个端到端分析大数据基准,目前正作为TPCx-BB接受公众审查[4]。我们的目标之一是通过执行各种可伸缩性测试来评估基准测试,并验证它能够对处理引擎进行压力测试。首先,我们分析了在Spark上执行BigBench [1]的可用MapReduce实现所需的步骤。然后,在MapReduce/Hive上以不同的比例因子执行所有30个BigBench查询,以查看性能如何随着数据大小的增加而变化。接下来,这组HiveQL查询在Spark SQL上执行,并与它们各自的Hive运行时进行比较。本报告详细介绍了如何设置实验性Hadoop集群并在Hive和Spark SQL上执行BigBench。它提供了针对不同比例因子执行的所有实验的绝对时间以及可用于验证正确基准执行的查询结果。此外,在我们的工作中遇到并解决了多个问题和解决方法。代表BigBench查询的一个子集的资源利用率(CPU,内存,磁盘和网络使用)的评估,以说明两个处理引擎上的不同查询组的行为。最后但并非最不重要的一点是,…
2016-01-13 cs.DB cs.DC
SCARFF: a Scalable Framework for Streaming Credit Card Fraud Detection with Spark
电子商务的扩展,以及客户对电子支付的信心的增加,使得欺诈检测成为一个关键因素。在(几乎)实时的设置中检测欺诈需要设计和实施能够摄取和分析大量流数据的可扩展学习技术。分析方面的最新进展以及大数据存储和处理的开源解决方案的可用性为欺诈检测领域开辟了新的视角。在本文中,我们提出了一个SCAlable实时欺诈检测(SCARFF),它集成了大数据工具(Kafka,Spark和Cassandra)与机器学习方法,处理不平衡,非平稳性和反馈延迟。在大量真实信用卡交易数据集上的实验结果表明,该框架在大交易流上具有可扩展性、高效性和准确性。
2017-09-26 cs.DC
Performance comparison of Dask and Apache Spark on HPC systems for Neuroimaging
本文在HPC系统上比较了Apache Spark和Dask处理神经影像管线的运行时性能,发现两者性能相当但Spark内存占用更高,数据传输时间是主要瓶颈。
2024-06-03 cs.DC
Scientific Computing Meets Big Data Technology: An Astronomy Use Case
科学分析通常将多个单进程程序组合成一个子程序。单进程程序的端到端并行流被称为多任务应用程序。通常,来自HPC软件栈的工具用于并行化这些分析。在这项工作中,我们研究了一种替代方法,该方法使用Apache Spark(一种现代大数据平台)来并行化多任务应用程序。我们提出Kira,一个灵活的分布式天文学图像处理工具包,使用Apache Spark。然后,我们使用Kira工具包来实现天文图像的源提取器应用程序,称为Kira SE。以Kira SE为用例,我们研究了运行在EC2云上的Apache Spark的编程灵活性、底层丰富性、调度能力和性能。通过利用数据局部性,Kira SE在Amazon EC2云上使用512个核心分析1TB数据集时,实现了2.5倍于等效C程序的加速。此外,通过利用最初为大数据基础设施设计的软件,Kira SE实现了与NERSC Edison超级计算机上运行的C实现竞争的性能。我们使用Kira的经验表明,Apache Spark等新兴大数据平台是多任务科学应用程序的高性能替代方案。
2016-03-14 cs.DC
Comparing Two Different Approaches in Big Data and Business Analysis for Churn Prediction with the Focus on How Apache Spark Employed
University of Oulu(奥卢大学)
由于大数据分析的重要性,特别是在与业务相关的主题,如改善服务,寻找潜在客户,并选择实用的方法来管理收入和支出,许多公司试图与科学家合作,以找到如何,为什么,以及他们应该分析什么。在这项工作中,我们想比较和讨论两种不同的方法,用于大数据中的业务分析主题,更多地考虑他们如何利用Spark。这两项研究都将流失预测作为他们提出的方法的案例研究,因为它是公司识别客户打算离开或停止使用他们的服务的商业分析中的一个重要主题。在这里,我们重点介绍Apache Spark,因为它提供了几种解决方案来有效地处理大量数据。Spark的这一特性使其成为解决大数据问题的最强大的候选工具之一,特别是时间和资源问题。
2021-05-28 cs.AI cs.DC
TRANSMUT-SPARK: Transformation Mutation for Apache Spark
我们提出了TRANSMUT-Spark,这是一种自动化Spark程序中大数据处理代码的突变测试过程的工具。Apache Spark是一个大数据处理引擎。它通过内置函数、底层并行流程和数据管理策略隐藏了大数据并行和分布式编程和处理固有的复杂性。尽管如此,程序员必须在程序中巧妙地结合这些功能,并指导引擎使用正确的数据管理策略,以利用大数据处理所需的大量计算资源,避免大量的生产损失。Spark程序中的数据处理代码中的许多编程细节都容易出现错误语句,需要进行正确和自动测试。本文探讨了变异测试在Spark程序中的应用,这是一种基于故障的测试技术,它依赖于故障模拟来评估和设计测试集。本文介绍了用于测试Spark程序的TRANSMUT-Spark解决方案。TRANSMUT-Spark自动化过程中最费力的步骤,并完全执行突变测试过程。本文介绍了该工具如何自动化的突变体生成,测试执行,充分性分析阶段的突变测试与TRANSMUT-Spark。它还讨论了为验证该工具而进行的实验结果,以论证其范围和局限性。
2021-08-05 cs.DC cs.SE
Efficient Big Text Data Clustering Algorithms using Hadoop and Spark
文档聚类是一种传统的,高效的,但相当有效的文本挖掘技术,当我们需要得到一个更好的洞察力的文件集合,可以分组在一起。K-Means算法和分层凝聚聚类(HAC)算法是两种最知名和最常用的聚类算法;前者由于其低时间成本,后者由于其准确性。然而,即使在大规模集合的文本聚类中使用K-Means也会导致不可接受的时间成本。在本文中,我们首先解决了一些最有价值的方法,在这样的“大数据”(大规模)集合的文档聚类。然后,我们提出两个非常有希望的替代方案:(a)现有的基于K-Means的快速聚类技术的变体(称为BigKClustering - BKC),使得其可以应用于文档聚类,以及(b)基于Buckshot算法的定制版本的混合聚类方法,它首先对输入数据集的样本应用层次聚类过程,然后将结果用作K-其余文档的基于均值的分配,迭代次数很少。我们还在MapReduce模型中对所提出的技术进行了高效的调整,然后在真实的集群环境中使用Apache Hadoop和Spark进行了实验测试。正如它出来的实验,他们都导致可接受的聚类质量以及显着的时间改进(与K-Means相比,特别是基于Buckshot的算法),从而构成了非常有前途的替代大文档集合。
2021-12-01 cs.DC
Reproducible Experiments for Comparing Apache Flink and Apache Spark on Public Clouds
大数据处理是当今计算机科学界的热门话题。分析大数据以满足许多行业的许多要求的需求很大。Kappa架构的出现对高性能和高效的数据处理引擎提出了强烈的要求。因此,Apache Flink和Apache Spark等数据处理引擎出现在开源世界中,以满足高效和高性能的数据处理需求。有许多可用的基准来评估这两个数据处理引擎。但是,复杂的部署模式和依赖关系使得这些基准测试很难由我们自己重现。该项目有两个主要目标。他们正在制定一些社区接受的基准,这些基准可以在云上轻松复制,并验证这些研究所声称的性能。
2016-10-14 cs.DC
Mining Area Skyline Objects from Map-based Big Data using Apache Spark Framework
针对大规模地图数据区域天际线计算效率问题,提出基于 Apache Spark 的三阶段分布式算法,通过局部部分天际线提取减少传输量,并在八个数据集上验证其可显著降低数据规模与计算时间。
2024-04-04 cs.DC
Scalable Manifold Learning for Big Data with Apache Spark
University at Buffalo(布法罗大学)
非线性谱降维方法,如Isomap,仍然是学习流形的重要技术。然而,由于计算复杂性,使用Isomap的精确流形学习目前不可能从大规模数据中进行。本文提出了一种在Apache Spark模型下实现端到端精确Isomap的分布式内存框架。我们展示了Isomap算法的每个关键步骤如何使用基本的Spark模型有效地实现,而不需要在辅存中提供数据。我们展示了如何使用PySpark实现整个方法,将计算密集型线性代数例程卸载到BLAS。通过实验结果,我们证明了我们的方法具有良好的可扩展性,我们表明,它可以处理数据集的数量级大于目前可能的,使用25节点的并行集群。
2018-08-31 cs.DC cs.LG
Benchmarking Apache Spark and Hadoop MapReduce on Big Data Classification
Istanbul Technical University(伊斯坦布尔理工大学);ASELSAN A.S.(阿瑟尔桑公司)
大多数流行的大数据分析工具都在不断发展,以适应其工作环境,从大量非结构化数据中提取有价值的信息。数据采掘技术能够从大数据中过滤这些有用的信息,这导致了大数据采掘这个术语。将数据范围从小型、结构化和稳定的数据转变为海量、非结构化和快速变化的数据带来了许多数据管理挑战。不同的工具由于其体系结构的限制,以自己的方式应对这些挑战。在根据手头的任务选择正确的数据管理框架时,需要考虑许多参数。在本文中,我们为两个广泛使用的大数据分析工具,即Apache Spark和Hadoop MapReduce,在一个共同的数据采掘任务上,即,分类.我们采用了几个评估指标来比较基准框架的性能,如执行时间,准确性和可扩展性。这些指标专门用于测量分类任务的性能。据我们所知,在文献中没有以前的研究,采用所有这些指标,同时考虑到特定任务的关注。我们发现Spark在训练模型时比MapReduce快5倍。然而,Spark的性能会随着输入工作负载的增大而降低。通过额外的集群扩展环境可以显著提高Spark的性能。然而,在Hadoop中没有观察到类似的增强。MapReduce的机器学习实用程序往往比Spark具有更好的准确性分数,即使在小规模的数据集中也是如此,大约3%。
2022-09-21 cs.DC cs.LG
Performance Benefits of DataMPI: A Case Study with BigDataBench
Apache Hadoop和Spark在大数据处理和分析方面越来越突出。两者都在互联网公司中广泛部署。另一方面,高性能数据分析需求促使学术界和工业界采用HPC中最先进的技术来解决大数据问题。最近,我们提出了一个基于键值对的通信库DataMPI,它扩展了MPI以支持Hadoop/Spark之类的大数据计算作业。本文使用BigDataBench这一大数据基准测试套件,对Hadoop、Spark和DataMPI的性能和资源利用率特征进行了全面的研究。从我们的实验中,我们观察到DataMPI的作业执行时间分别比Hadoop和Spark的作业执行时间提高了55%和39%。大部分好处来自DataMPI中的高效通信机制。我们还注意到,DataMPI的资源(CPU,内存,磁盘和网络I/O)利用率也比其他两个框架更有效。
2014-03-14 cs.DC cs.PF
Big Data application in congestion detection and classification using Apache spark
Iowa state university(爱荷华州立大学)
随着大数据时代的到来,现在可以获得爆炸性的信息量。学术界和工业界大数据的巨大增长需要大规模的数据处理系统。大量的研究都在优化Spark的性能,使其成为最先进的快速通用数据处理系统。许多科学和工程领域都随着大数据分析而进步,例如生物学,金融和交通运输。智能交通系统(ITS)的普及和直接受益于丰富的信息。其目标是通过减少拥堵和事故来改善交通网络的安全和管理。实现这一目标的第一步是更好地理解、建模和高效地检测网络中的拥塞。在这项研究中,我们引入了一个有效的拥塞检测模型。基础网络由I-35、I-80、I-29和I-380高速公路的3017个路段组成,总长1570英里,平均每段(0.4-0.6)英里。拥塞检测结果表明,该方法的准确率为90%,计算时间减少了99.88%。
2021-01-16 cs.DC cs.LG
Big Data Spark Solution for Functional Magnetic Resonance Imaging
近年来,大数据应用迅速扩展到不同的行业。医疗保健也是愿意使用大数据平台的行业之一,因此一些大数据分析工具已在该领域得到一定程度的应用。医学成像是诊断医疗保健的支柱,涉及大量的数据汇集和处理。使用各种医学成像模式以不同的形式和分辨率采集大量的3D和4D图像。成像数据的预处理和分析目前是一个漫长的过程,耗费成本和时间。然而,由于诸如数据格式等一些限制,没有多少大数据平台被提供或重新设计用于医学成像目的。在本文中,我们设计、开发并成功测试了一种新的医学成像数据流水线(特别是功能性磁共振成像- fMRI)在单个节点上使用大数据Spark / PySpark平台,允许我们读取和加载成像数据,将它们转换为弹性分布式数据集,以便在-并行存储器数据处理,并将最终结果转换为成像格式,而流水线提供了以其他格式(例如数据帧)存储结果的选项。使用这种新的解决方案和管道,我们重复了我们以前的工作,其中我们使用模板匹配和平方差和(SSD)方法从fMRI数据中提取大脑网络。最终结果显示,我们基于Spark(PySpark)的解决方案与之前在Python中开发的工作相比,在单个上提高了约4倍的性能(在处理时间方面)。
2016-03-23 cs.CY cs.DC
Evaluation of pilot jobs for Apache Spark applications on HPC clusters
大数据在许多科学领域已经变得非常突出,因此,科学界已经寻求大数据框架来加速处理其日益增长的数据密集型管道。然而,虽然科学界通常依赖高性能计算(HPC)集群来并行化其管道,但许多流行的大数据框架(如Hadoop和Apache Spark)主要设计用于在专用的商品基础设施上执行。本文评估了在HPC集群上Apache Spark的试点作业相对于传统批处理提交的优势。令人惊讶的是,我们的研究结果表明,试点工作批调度提供的速度是温和的不存在(平均0.98),尽管存在长排队时间。此外,试验作业提供了一个额外的调度层,使调试和部署复杂化。我们的结论是,传统的批处理调度应该仍然是在HPC集群上部署Apache Spark应用程序的默认策略。
2019-05-29 cs.DC cs.PF
Technical Report: On the Usability of Hadoop MapReduce, Apache Spark & Apache Flink for Data Science
面向云计算的分布式数据处理平台是大规模数据分析的重要工具。Apache Hadoop MapReduce已经成为这个领域的事实标准,尽管它的编程接口相对较低,即使是简单的分析任务也需要许多实现步骤。这导致了面向Apache的高级平台的开发,最突出的是Apache Spark和Apache Flink。这些平台不仅旨在通过改进内存处理来提高性能,而且特别提供了内置的高级数据处理功能,例如过滤和连接运算符,这应该使数据分析任务比普通的Hadoop MapReduce更容易开发。但事实果真如此吗?本文从可用性的角度比较了三个主要的分布式数据处理平台:Apache Hadoop MapReduce、Apache Spark和Apache Flink。我们报告了一组硕士生的可用性研究的设计,执行和结果,他们正在学习和使用所有三个平台,以解决数据科学背景下的不同用例集。我们的研究结果表明,Spark和Flink是MapReduce的首选平台。在参与者中,Spark和Flink作为面向批量的大数据分析平台之间的感知偏好或开发时间没有显着差异。这项研究开始探索使大数据平台对数据科学用户更有效或更不有效的因素。
2018-03-28 cs.DC
Genomics and Biological Big Data: Facing Current and Future Challenges around Data and Software Sharing and Reproducibility
基因组学中的新技术允许以相对较小的人力和实验室努力来创建艾级维度的数据,因此与十年前的能力相比,资金资源相对较少。虽然这种数据抢救的可用性,以寻找研究问题的答案,这将是不可行的,甚至不可行的问之前,数据量创造了新的挑战,这显然需要新的软件和数据管理系统。这种新的解决方案必须考虑综合方法,不仅考虑数据处理的有效性和效率,而且提高可重用性,可重复性和可用性,特别是针对基因组大数据的目标用户群体。我们认为,目前的解决方案解决了部分挑战,各有优势,但缺乏提供完整的解决方案。我们在本文中提出的关键挑战和特点,尖端的发展应该具备满足用户社区的需求,允许大规模的无缝共享和数据分析。
2015-11-09 cs.CY cs.DC
Mobile Big Data Analytics Using Deep Learning and Apache Spark
Nanyang Technological University(南洋理工大学);Institute for Infocomm Research(资讯通信研究院);Singapore University of Technology and Design(新加坡科技设计大学);Singapore Management University(新加坡管理大学);University of Houston(休斯顿大学)
诸如智能手机和物联网(IoT)小工具的移动设备的激增导致了最近的移动大数据(MBD)时代。收集MBD是无利可图的,除非使用合适的分析和学习方法从数据中提取有意义的信息和隐藏的模式。本文介绍了MBD分析中的深度学习的概述和简短教程,并讨论了Apache Spark上的可扩展学习框架。具体来说,分布式深度学习在许多Spark工作者上作为迭代MapReduce计算执行。每个Spark worker在整个MBD的分区上学习一个部分深度模型,然后通过平均所有部分模型的参数来构建主深度模型。这个基于Spark的框架加快了由许多隐藏层和数百万个参数组成的深度模型的学习。我们使用一个上下文感知的活动识别应用程序与包含数百万个样本的真实数据集来验证我们的框架并评估其加速效率。
2016-02-23 cs.DC cs.LG cs.NE
FASTA/Q Data Compressors for MapReduce-Hadoop Genomics:Space and Time Savings Made Easy -- Version 1
动机:基因组数据的存储是生命科学的主要成本,主要通过专门的数据压缩方法有效地解决。出于数据生产丰富的同样原因,大数据技术的使用被视为基因组数据存储和处理的未来,MapReduce-Hadoop是领导者。令人惊讶的是,Hadoop中没有一个专用的FASTA/Q压缩器。事实上,他们在那里的部署并不是立即的。这样的艺术状态是有问题的。结果:我们提供了两个不同方向的主要进展。方法上,我们提出了两种通用的方法,与相应的软件,这使得很容易部署一个专门的FASTA/Q压缩器内MapReduce-Hadoop处理存储在分布式Hadoop文件系统的文件,Hadoop的知识很少。实际上,我们提供的证据表明,在Hadoop中部署这些专用压缩器(到目前为止还没有)可以节省大量成本,即,在大型植物基因组上,HDFS数据块减少30%(一个数据块= 128 MB),I/O时间至少加快1.5倍,网络通信时间与使用Hadoop中可用的通用压缩器相当或减少。最后,我们观察到这些结果也适用于Apache Spark框架,当用于处理存储在Hadoop文件系统上的FASTA/Q文件时。
2020-07-27 cs.DC
Experimentally Evaluating the Resource Efficiency of Big Data Autoscaling
本文通过实验评估了Spark等大数据系统自动扩展的资源效率,发现其相比静态资源分配无显著优势,并指出节点大小和内存CPU比率的非弹性是根本局限。
2025-01-24 cs.DC
SPIN: A Fast and Scalable Matrix Inversion Method in Apache Spark
大数据在诸如地球科学、社交网络、物理科学等领域中的增长导致了对高效且可扩展的线性代数运算(例如,矩阵求逆)的巨大需求。使用大数据平台进行高效和分布式矩阵求逆的现有方法依赖于基于LU分解的块递归算法。然而,这些算法是复杂的,需要大量的边计算,例如矩阵乘法,在各种级别的递归。在本文中,我们提出了一个不同的计划的基础上Strassen的矩阵求逆算法(在Strassen的原始文件在1969年提到),它使用少得多的操作,在每一级的递归。我们实现了所提出的算法,并通过大量的实验,表明它是更有效的比最先进的方法。此外,我们提供了一个详细的理论分析所提出的算法,并推导出理论上的运行时间密切配合的经验观察挂钟运行时间,从而解释了U形行为w.r.t.块大小。
2018-01-15 cs.DC
An Information Theoretic Feature Selection Framework for Big Data under Apache Spark
University of Granada(格拉纳达大学);University of A Coruña(拉科鲁尼亚大学)
随着极高维数据集的出现,降维技术变得势在必行。在众多技术中,特征选择作为在大型数据集上识别相关特征的重要工具--无论是在实例数量还是特征数量上--越来越受到关注。这项工作的目的是证明标准的特征选择方法可以在Apache Spark等大数据平台中并行化,从而提高性能和准确性。因此,我们提出了一个分布式实现的通用特征选择框架,其中包括广泛的一组著名的信息理论方法。在大量真实世界数据集上的实验结果表明,我们的分布式框架能够在短时间内处理超高维数据集以及具有大量样本的数据集,在所有研究的情况下都优于顺序版本。
2016-10-19 cs.AI cs.DC cs.LG
Scalable Traffic Predictive Analysis using GPU in Big Data
本文利用Spark大数据平台,在CPU和GPU上采用并行计算系统进行预测分析。交通数据集被用来预测洛杉矶县的交通拥堵。它是从美国一个流行的平台收集的,用于使用用户共享的设备信息和报告跟踪道路信息。在这个可扩展的大数据系统中,可以使用GPU和CPU来存储和处理大规模的交通数据集。本文的主要贡献是提高机器学习在基于GPU的分布式并行计算系统中的性能,以预测交通拥堵。我们表明,并行计算可以实现使用GPU和CPU与现有的Apache Spark平台。该方法也适用于不同领域的大规模数据集。过程建模以及结果使用计算时间和指标进行解释:AUC,Precision和Recall。它应该有助于智慧城市的交通管理。
2021-06-29 cs.DC
Nuova frontiera della classificazione testuale: Big data e calcolo distribuito
创建本文档是为了研究短语分类的算法,并使用Apache Spark框架提供的工具对其进行排名。从Laura Anderlucci,Lucia Guastadisegni,Cinzia Viroli的出版物“Classifying textual data:shallow,deep and ensemble methods”中阐述的研究开始,我们希望对使用分布式环境并允许短语分类的解决方案的可能实现进行研究。意大利语Il presente documento persegue l'obiettivo di studiare gli algoritmi per la categorizzione di frasi e classificarle con l'ausilio delle structure messe a disposizione dal framework Apache Spark. Laura Anderlucci,Lucia Guastadisegni和Cinzia Viroli的“Classifying textual data:shallow,deep and ensemble methods”是工作室出版的第一部分,他们意识到一个工作室有可能实现一个解决方案,用于分级分类和环境分布。
2019-06-28 cs.DC
Parallel Computation of PDFs on Big Spatial Data Using Spark
Inria(法国国家信息与自动化研究所);LIRMM, Univ. of Montpelier(蒙彼利埃大学LIRMM实验室);LNCC(巴西国家科学计算实验室)
我们考虑大空间数据,这通常是在地质或地震解释等科学领域产生的。空间数据可以通过观察(例如使用传感器或土壤仪器)或数值模拟程序产生,并对应于代表3D土壤立方体区域的点。然而,信号处理和建模中的误差产生了一些不确定性,并且因此在识别地质或地震现象时缺乏准确性。必须仔细分析这种不确定性。为了分析不确定性,主要的解决方案是计算空间立方体区域中每个点的概率密度函数(PDF)。然而,在大空间数据上计算PDF可能非常耗时(在并行计算机上从几个小时甚至几个月)。在本文中,我们提出了一种新的解决方案,有效地计算这样的PDF并行使用Spark,三种方法:数据分组,机器学习预测和采样。我们评估我们的解决方案,通过广泛的实验,不同的计算机集群使用大数据,从数百GB到几TB。实验结果表明,我们的解决方案的规模非常好,可以减少执行时间的一个因素的33(在秒或分钟的顺序)相比,基线方法。
2018-05-08 cs.AI cs.DB cs.DC
A performance comparison of Dask and Apache Spark for data-intensive neuroimaging pipelines
在过去的几年里,由于图像分辨率、数据共享和研究规模的共同增加,神经影像学已经进入了大数据时代。然而,在这个领域还没有出现特定的大数据引擎,并且仍然有几种替代方案。我们比较了两个流行的大数据引擎与Python API,Apache Spark和Dask,在处理神经成像管道时的运行时性能。我们的评估使用两个合成管道处理81 GB的BigBrain图像,以及一个真实的管道处理来自1,000多名受试者的解剖数据。我们使用任务持续时间、数据大小和工人数量的各种组合来对这些管道进行基准测试,这些管道部署在8节点(每个节点8个核心)上。Compute Canada的Arbutus云中的计算集群。我们将PySpark的RDD API与Dask's Bag、Delayed和Futures进行对比。结果表明,尽管Spark和Dask之间存在细微差异,但两种引擎都可以执行JavaScript。然而,Dask管道可能会受到Python GIL的限制,这取决于任务类型和集群配置。在所有情况下,主要的限制因素是数据传输。虽然这两种引擎都适用于神经成像管道,但需要更多的努力来减少数据传输时间。
2019-10-05 cs.DC cs.PF
Architecture of processing and analysis system for big astronomical data
这项工作探索了使用部署在云中的大数据技术来处理天文数据。我们已经将Hadoop和Spark应用于共同添加天文图像的任务。我们比较了这些框架的开销和执行时间。我们的结论是,这两个框架的性能一般是不相上下。Spark API更灵活,可以轻松构建天文数据处理管道。
2017-03-31 astro-ph.IM cs.DC
Spark-MPI: Approaching the Fifth Paradigm of Cognitive Applications
在过去的十年中,数据密集型科学的第四范式迅速成为多个应用领域的主要驱动概念,包括并产生大型设备,如光源和尖端望远镜。数据密集型项目的成功随后引发了下一代机器学习方法。这些新的人工智能系统清楚地代表了从数据处理管道到复合认知应用的第五范式的范式转变,需要集成大数据处理平台和HPC技术。针对数据密集型生态系统和计算密集型生态系统之间存在的阻抗不匹配问题,提出了基于MPI Exascale Process Management Interface(PMIx)的Spark-MPI方法。该方法在混合MPI/GPU重叠关联图像重建管道和分布式深度学习应用程序的背景下进行了演示。
2018-05-16 cs.DC
Machine Learning for Performance Prediction of Spark Cloud Applications
大数据应用程序和分析在许多领域都被用于各种目标:提高客户满意度,预测市场行为或改善公共卫生流程。这些应用程序由复杂的软件堆栈组成,通常在云系统上运行。预测执行时间对于估计云服务的成本和在运行时有效管理底层资源非常重要。机器学习(ML)提供黑盒解决方案来建模应用性能和系统配置之间的关系,而不需要系统的详细知识,已经成为预测大数据应用性能的流行方式。我们研究了使用监督ML模型预测Spark上应用程序性能的成本效益,Spark是当今最广泛使用的大数据分析框架之一。我们将我们的方法与\textit{Ernest}(Spark发明者在文献中提出的基于ML的技术)在一系列场景,应用程序工作负载和云系统配置上进行比较。我们的实验表明,欧内斯特可以准确地估计性能非常规则的应用程序,但它失败时,应用程序表现出更不规则的模式和/或外推更大的数据集大小。结果表明,我们的模型匹配或超过欧内斯特的性能,有时使我们能够减少预测误差从126-187%到只有5- 19%。
2021-08-27 cs.DC cs.PF
HybridTune: Spatio-temporal Data and Model Driven Performance Diagnosis for Big Data Systems
随着人们对大数据系统的兴趣越来越大,分析和促进其性能改进变得越来越重要。虽然有很多研究工作来提高大数据系统的性能,但有效地分析和诊断这些大规模分布式系统的性能瓶颈仍然是一个重大挑战。本文提出了一种基于大数据应用阶段性和分布性的时空关联分析方法,能够对多层次性能数据进行细粒度关联。在相关数据的基础上,针对不同的性能瓶颈,如工作负载不平衡、数据倾斜、异常节点和离群点度量,定义了一些先验规则,选择特征并对相应的数据集进行向量化。然后,我们利用数据和模型驱动的算法进行瓶颈检测和诊断。此外,我们设计和开发了一个轻量级的,可扩展的工具HybridTune,并验证了我们的工具与BigDataBench的诊断有效性的几个基准实验中,优于国家的最先进的方法。实验结果表明,该算法对异常/离群点的检测准确率达到80%左右。最后,我们给出了几个Spark和Hadoop的应用案例,展示了HybridTune如何支持用户对Spark和Hadoop应用进行高效的性能分析和诊断,并通过实践证明HybridTune可以帮助用户发现性能瓶颈并提供优化建议。
2017-11-21 cs.DC
BigDL: A Distributed Deep Learning Framework for Big Data
Intel Corporation(英特尔公司);Tencent Inc.(腾讯公司);Sequoia Capital(红杉资本);Alibaba Group(阿里巴巴集团)
本文介绍了BigDL(Apache Spark的分布式深度学习框架),该框架已被业界的各种用户用于在生产大数据平台上构建深度学习应用程序。它允许深度学习应用程序在Apache Hadoop/Spark集群上运行,以便直接处理生产数据,并作为端到端数据分析管道的一部分进行部署和管理。与现有的深度学习框架不同,BigDL直接在Spark的功能计算模型(具有写时复制和粗粒度操作)之上实现分布式数据并行训练。我们还分享了用户采用BigDL来应对挑战的真实经验和“战争故事”(即,如何轻松地为其生产数据构建端到端数据分析和深度学习管道)。
2019-11-05 cs.AI cs.DC cs.LG
CMS Analysis and Data Reduction with Apache Spark
几十年来,实验粒子物理学一直处于分析世界上最大数据集的最前沿。HEP社区是最早为这项任务开发合适的软件和计算工具的社区之一。近年来,用于分布式数据处理的新工具包和系统(统称为“大数据”技术)已经从工业和开源项目中出现,以支持工业中的PB和EB数据集的分析。虽然HEP中的数据分析原则没有改变(过滤和转换实验特定的数据格式),但这些新技术使用不同的方法和工具,有望以全新的眼光分析非常大的数据集,这可能会减少物理时间,增加交互性。此外,这些新工具通常由大型社区积极开发,通常利用行业资源,并在开源许可下开发。这些因素促进了工具的采用和成熟,并促进了支持它们的社区,同时有助于降低最终用户的拥有成本。在这次演讲中,我们将介绍使用Apache Spark进行最终用户数据分析的研究。我们正在研究HEP分析工作流程,分为两个重点:集中产生的实验数据集的减少和最终分析到出版图。研究第一个推力,CMS正在与CERN openlab和英特尔合作开发CMS大数据缩减设施。目标是将1 PB的官方CMS数据减少到1 TB的ntuple输出以供分析。我们正在介绍这个为期2年的项目的进展情况,以及基于Spark的HEP分析的初步结果。研究第二个推力,我们正在介绍使用Apache Spark进行CMS暗物质物理搜索的研究,将Spark的可行性,可用性和性能与基于ROOT的分析进行比较。
2017-10-31 cs.DC
Flora: Efficient Cloud Resource Selection for Big Data Processing via Job Classification
针对大数据处理中云资源配置选择困难的问题,提出Flora方法,通过作业分类和测试执行推导配置,在Google Cloud上180次Spark作业中实现成本优化,平均偏差低于6%。
2025-02-28 cs.DC
HPAT: High Performance Analytics with Scripting Ease-of-Use
大数据分析需要在大规模集群上同时实现高程序员生产力和高性能。然而,当前的大数据分析框架(例如Apache Spark)具有令人望而却步的运行时开销,因为它们基于库。我们介绍了一种新的自动并行化编译器的方法,利用数据分析领域的特点,如地图/减少并行模式,是强大的,不像以前的自动并行化方法。使用这种方法,我们建立高性能分析工具包(HPAT),它并行化高级脚本(Julia)程序自动生成高效的MPI/C++代码,并提供弹性。此外,它还为脚本程序提供了自动优化,例如数组操作的融合。因此,HPAT在Cori超级计算机上比Spark快369倍到2033倍,在Amazon AWS上快20倍到256倍。
2017-04-10 cs.DC
Real-time Log Query Interface for large datasets using Apache Spark
Log Query Interface是一个交互式Web应用程序,允许用户轻松高效地查询MobileInsight的超大数据日志。有了这个界面,用户不再需要通过命令行查询与数据库对话,也不需要在本地安装MobileInsight客户端来获取数据。用户可以简单地选择/类型的查询消息通过我们的基于Web的系统查询数据库非常有效,并响应用户。在6 GB数据集上测试时,我们的系统响应时间不到1秒,而在传统的MySql数据库上进行类似的查询需要60秒以上。该系统使用户能够使用SQL查询语言执行所有查询。用户可以在非常大的表上执行复杂的连接操作。服务器端的Spark集群极大地提高了查询的响应时间,Spark集群将大数据集存储在分布式系统中,并在多台机器上并行执行查询。
2017-09-23 cs.DC
A Data Structure Perspective to the RDD-based Apriori Algorithm on Spark
近年来,许多研究者提出了许多高效、可扩展的大数据频繁项集挖掘算法。首先,提出了Hadoop集群上基于MapReduce的频繁项集挖掘算法。虽然Hadoop已经被开发成一个处理大数据的集群计算系统,但是由于其高I/O以及在磁盘上写入和读取中间结果,Hadoop的性能并不能满足数据采掘迭代算法的期望。因此,Spark被开发为另一种集群计算基础设施,由于其内存计算,它比Hadoop快得多。它非常适合迭代算法,并支持数据的批处理,交互式,迭代和流处理。许多频繁项集挖掘算法在Spark上被重新设计,其中大部分都是基于Apriori的。所有这些基于Spark的Apriori算法都使用Hash Tree作为底层数据结构。本文研究了基于Spark的Apriori的各种数据结构的效率。虽然,以前已经从数据结构的角度进行了研究,但是对于基于MapReduce的Apriori,必须在Spark的分布式计算环境下进行重新研究。所考虑的底层数据结构是哈希树、Trie和哈希表Trie。在基准数据集上的实验结果表明,在Spark的分布式计算环境下,基于Spark的Apriori with Trie和哈希表Trie的性能几乎相当,但都比Hash Tree高出许多倍。
2019-08-04 cs.DB cs.DC
A Multi-Dimensional Big Data Storing System for Generated COVID-19 Large-Scale Data using Apache Spark
中国武汉持续爆发新型冠状病毒病(COVID-19),特别是在二零一九年十二月。COVID-19是由一种以前在人类中未发现的新病毒引起的。随后,这一流行病在全世界迅速蔓延。根据这种疾病的症状,确诊病例数量每天都在迅速增加,嫌疑人数量也在增加,不幸的是,死亡人数也在增加。因此,随着世界各地病例数量的增加,很难在不同情况下管理所有这些病例信息;如果患者受伤或怀疑患者出现了哪些症状。因此,迫切需要构建一个多维系统来存储和分析所生成的大规模数据。本文提出了一个基于Apache Spark的COVID-19数据综合存储系统(CSS-COVID),以处理和管理因COVID-19数量每天增加而导致的问题。CSS-COVID有助于减少查询和存储COVID-19每日数据的处理时间。CSS-COVID包括三个阶段,即插入和索引,存储和查询阶段。在插入阶段,数据被划分成子集,然后分别索引每个子集。存储阶段使用一组存储节点来存储数据,查询阶段负责处理查询过程。在CSS-COVID中使用Apache Spark可以充分利用处理每日增加的冠状病毒疾病伤害的大规模数据的性能。使用真实的COVID-19数据集进行了一系列实验,以证明CSS-COVID在索引大规模数据方面的效率。
2020-04-30 cs.DB cs.DC
Big Data Analytic based on Scalable PANFIS for RFID Localization
RFID技术已经得到普及,以解决本地化问题,在制造车间,由于其负担得起的,易于部署。该技术用于跟踪制造对象的位置,以提高生产效率。然而,用于定位任务的数据是不容易分析,因为它是从非平稳环境中产生的。它还随着时间的推移不断到达并产生大量数据。因此,需要先进的大数据分析来克服这个问题。提出了一种基于PANFIS(Scalable PANFIS)的分布式大数据分析框架,其中PANFIS是一种进化算法,具有单遍学习数据流的能力。可扩展的PANFIS可以通过处理数据流的多个块/分区来学习大数据流。可扩展的PANFIS还配备了规则结构合并,以消除规则之间的冗余。可扩展的PANFIS通过测量其与单个PANFIS和其他Spark可扩展机器学习算法的性能来验证。实验结果表明,可扩展的PANFIS的运行时间比单一的PANFIS快20倍以上。Scalable PANFIS中的规则合并过程表明,分类任务的准确率没有显着下降,准确率为96.67%,而单个PANFIS的准确率为98.71%。可扩展的PANFIS通常也优于一些Spark MLib机器学习来分类RFID数据,在运行时间上具有可比的速度。
2018-04-26 cs.DC
Run Time Prediction for Big Data Iterative ML Algorithms: a KMeans case study
在大数据基础设施上运行的数据科学和机器学习算法在从商业智能和分析到网络安全、智慧城市管理以及许多科学和工程领域的活动中越来越重要。随着这些算法进一步集成到日常运营中,了解它们在大数据基础设施上运行的时间对于控制成本和交付时间至关重要。在本文中,我们讨论了理解迭代机器学习算法的运行时间所涉及的问题,并提供了这样一个算法的案例研究-包括使用Edward概率程序设计语言的Spark大数据引擎的K-Means实现的运行时间的统计特征和模型。
2017-10-09 cs.DC
How Data Volume Affects Spark Based Data Analytics on a Scale-up Server
在过去的十年中,数据量的急剧增加引发了对集群计算框架的研究,这些框架使网络企业能够从大数据中提取大见解。虽然Apache Spark因在商用机器上表现出卓越的横向扩展性能而越来越受欢迎,但数据量对基于Spark的数据分析在纵向扩展配置中的性能的影响还没有得到很好的理解。我们对基于Spark的应用程序在大型扩展服务器机器上进行了深入分析。我们的分析表明,基于Spark的数据分析是DRAM绑定的,并且对于执行器使用超过12个核心并没有好处。通过增大输入数据大小,应用程序性能显著降低,这是由于I/O操作和垃圾回收期间的等待时间显著增加,尽管指令引退率提高了10%(由于L1缓存未命中率降低和内核利用率提高)。我们将内存行为与垃圾收集器相匹配,以将应用程序的性能提高1.6倍至3倍。
2015-07-29 cs.AR cs.DC cs.PF
Scalable Genomics with R and Bioconductor
本文回顾了解决大型基因组数据集分析时遇到的问题的策略,并描述了这些策略在R中的实现包从Bioconductor项目。我们处理大基因组数据的可扩展处理,总结和可视化。一般的想法是很好地建立,包括限制性查询,压缩,迭代和并行计算。我们通过将Bioconductor软件包应用于全基因组测序实验中遗传变异的检测和分析来展示策略。
2014-09-09 cs.DC q-bio.GN
Disaggregating Non-Volatile Memory for Throughput-Oriented Genomics Workloads
下一代测序技术的大规模开发需要同时处理这两个问题:大量的数据和复杂的生物信息学管道。计算架构已经发展到可以处理这些问题,实现了几年前不可行的方法:加速器和非易失性存储器(NVM)正在被广泛用于增强最苛刻的工作负载。然而,生物信息学工作负载通常是较大管道的一部分,在资源方面具有不同的动态需求。为数据中心引入软件定义的分布式结构(SDI)为大幅提高基础设施的管理效率提供了基础。SDI支持通过分解来构建硬件资源的新方法,并提供新的硬件可组合性和共享机制,以更灵活的方式部署工作负载。在本文中,我们研究了一个国家的最先进的基因组学应用程序,SMUFIN,旨在解决未来的HPC设施的挑战。
2020-07-06 cs.DC
Using Big Data Technologies for HEP Analysis
粒子加速器在高速率碰撞中的优异性能将迫使实验记录大量信息,这是高能物理界正在进入的一个时代。数据集的规模不断扩大,可能成为限制及时有效地产生科学成果的能力的一个因素。最近,工业界开发了新技术和新方法,以满足尽可能快地检索信息以分析PB和EB数据集的需要。为科学家提供这些现代计算工具将导致重新思考HEP中数据分析的原则,使整个科学过程更快,更顺畅。在本文中,我们介绍了使用Apache Spark进行HEP分析的最新进展和最新结果。该研究旨在通过测量性能来定量评估新工具的应用效率,并定性评估新工具的应用效率,重点关注用户体验。第一个目标是通过开发一个数据简化工具来实现的:CMS与CERN Openlab和英特尔合作,使用基于Spark的技术复制了一个真实的物理搜索,其目标是将CMS实验在5小时内收集的1 PB公共数据减少到1 TB适合物理分析的数据格式。第二个目标是通过在Apache Spark中实现多个物理用例来实现的,这些用例使用来自官方CMS数据和模拟的预处理数据集作为输入。通过在不同的硬件上执行不同的最终分析,将其可行性、可用性和可移植性与传统的基于根的工作流进行比较。
2019-01-22 cs.DC
Oseba: Optimization for Selective Bulk Analysis in Big Data Processing
选择性批量分析,如时间/空间数据的统计学习,是当代数据分析的基础。然而,随着越来越大的数据集,如天气数据和营销交易,数据组织/访问变得更具挑战性的选择性批量数据处理与使用当前的大数据处理框架,如Spark或键值存储。在本文中,我们提出了一种方法来优化大数据处理中的选择性批量分析,称为Oseba。Oseba在内存中为数据组织维护了一个超级索引,以支持通过定位每个选择性分析程序所涉及的数据进行快速查找。与默认的数据处理框架相比,Oseba能够节省内存和计算。
2017-07-12 cs.DC
Burrows Wheeler Transform on a Large Scale: Algorithms Implemented in Apache Spark
随着下一代测序(NGS)技术的快速发展,每天收集大量的“组学”数据并需要处理。索引和压缩大型序列数据集是这方面最重要的任务之一。在这里,我们提出了依赖于大数据技术的Burrows Wheeler变换的计算算法,即,Apache Spark和Hadoop我们的算法是第一个分发索引计算的算法,而不仅仅是输入数据集,允许充分利用可用的云资源。
2021-07-07 cs.DC cs.DS
Performance Evaluation of Distributed Computing Environments with Hadoop and Spark Frameworks
近年来,由于信息和通信技术的快速发展,数据以雪崩的方式产生和消耗。分布式计算通过将计算分布在多个计算节点之间来为分析和处理这样的大数据创建先决条件。在这项工作中,性能的分布式计算环境的Hadoop和Spark框架的基础上估计真实和虚拟版本的集群。作为测试任务,我们选择了在各种大小的文本中进行单词计数的经典用例。结果发现,运行时间随着数据集的大小增长得非常快,甚至比幂函数更快。至于集群实现的真实版本和虚拟版本,Hadoop和Spark框架的这种趋势是相似的。此外,加速值显着降低数据集大小的增长,特别是对于虚拟版本的集群配置。物联网和多模式(视觉、声音、触觉、神经和大脑计算、肌肉和眼动追踪等)产生的数据不断增长的问题互动渠道介绍。在这个问题的背景下,当前对Hadoop和Spark框架在真实和虚拟集群配置中的运行时间和加速的观察对于适当的扩展和有效的作业管理非常有用,特别是对于机器学习和深度学习应用程序,其中大数据广泛存在。
2017-07-16 cs.DC cs.PF
Autonomic Architecture for Big Data Performance Optimization
Carleton University(卡尔顿大学);Toronto Metropolitan University(多伦多都会大学)
本文提出 KERMIT 自主架构,可在线自动调优 Spark/Hadoop,识别多用户与新型工作负载并适应漂移,性能显著优于人工经验调优。
2023-03-17 cs.AI cs.DC
A Tabu Search based clustering algorithm and its parallel implementation on Spark
著名的K-means聚类算法已广泛应用于从数据分析到物流应用的不同应用领域。然而,K-means算法可能会受到诸如初始质心选择等因素的影响,并且很容易陷入局部最优。本文提出了一种改进的K-means聚类算法,该算法通过Tabu搜索策略进行了扩展,更好地适应了大数据应用的需求。我们的设计进一步增强,以利用基于Spark框架的并行处理。计算实验证明了我们的禁忌搜索的聚类算法的优越性,在广泛使用的版本的K-means方法体现在Spark MLlib,比较算法的可扩展性,准确性和有效性。
2017-11-30 cs.DC cs.SI
Machine Learning Pipelines with Modern Big Data Tools for High Energy Physics
European Organization for Nuclear Research (CERN)(欧洲核子研究组织);University of Padova(帕多瓦大学)
HEP用例的复杂机器学习(ML)技术的大规模有效利用带来了几个技术挑战,最重要的是专用端到端数据管道的实际实现。提出了一种解决这些挑战的解决方案,该解决方案允许使用来自大数据和数据科学生态系统的解决方案来训练神经网络分类器,并与HEP环境中常见的工具,软件和平台集成。特别是,Apache Spark被用于数据准备和特征工程,在Apacheyter笔记本上交互式地运行相应的(Python)代码。关键的集成和库,使Spark能够使用ROOT格式存储的数据,并通过XRootD协议访问,描述和讨论。使用Keras API定义的神经网络模型的训练通过使用BigDL和Analytics Zoo以及TensorFlow以分布式方式在Spark集群上执行,特别是用于CPU和GPU资源的分布式训练。在这项工作中详细描述了分布式训练的实施和结果。
2020-06-16 cs.DC cs.LG hep-ex
Algorithmic Acceleration of Parallel ALS for Collaborative Filtering: Speeding up Distributed Big Data Recommendation in Spark
协同过滤算法是许多实际推荐系统的重要组成部分。例如,许多大规模数据处理环境包括协同过滤模型,其中交替最小二乘(ALS)算法用于计算潜在因子矩阵分解。在本文中,我们提出了一种方法来加速收敛的并行ALS为基础的最优化方法的协同过滤使用非线性共轭梯度(NCG)包装周围的ALS迭代。我们还提供了加速ALS-NCG算法在Apache Spark分布式数据处理环境中的并行实现,以及作为ALS-NCG实现的一部分的高效线搜索技术,该技术只需要一次通过分布式数据集上的数据。在Linux工作站上的串行数值实验和具有256个计算核心的16节点集群上的并行数值实验中,我们证明了组合ALS-NCG方法比独立ALS需要更少的迭代和更少的时间来达到MovieLens 20 M数据集上的高精度电影排名。并行地,当需要精确解时,ALS-NCG可以在时钟时间中实现4或更大的加速因子;此外,加速因子随着解中需要更高的数值精度而增加。此外,NCG加速机制并行高效,并在高达近10亿评级的合成数据集上随问题大小线性扩展。该加速机制是通用的,也可以适用于其他协同过滤的最优化方法。
2016-01-10 cs.DC cs.IR cs.NA