大规模Burrows Wheeler变换：在Apache Spark中实现的算法

Burrows Wheeler Transform on a Large Scale: Algorithms Implemented in Apache Spark

Ylenia Galluzzo, Raffaele Giancarlo, Mario Randazzo, Simona E. Rombo

备注：: 11 pages, 2 figures, 2 tables. arXiv admin note: substantial text overlap with arXiv:2007.10095

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

随着下一代测序（NGS）技术的快速发展，每天收集大量的“组学”数据并需要处理。索引和压缩大型序列数据集是这方面最重要的任务之一。在这里，我们提出了依赖于大数据技术的Burrows Wheeler变换的计算算法，即，Apache Spark和Hadoop我们的算法是第一个分发索引计算的算法，而不仅仅是输入数据集，允许充分利用可用的云资源。

英文摘要：

With the rapid growth of Next Generation Sequencing (NGS) technologies, large amounts of "omics" data are daily collected and need to be processed. Indexing and compressing large sequences datasets are some of the most important tasks in this context. Here we propose algorithms for the computation of Burrows Wheeler transform relying on Big Data technologies, i.e., Apache Spark and Hadoop. Our algorithms are the first ones that distribute the index computation and not only the input dataset, allowing to fully benefit of the available cloud resources.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

基于Burrows Wheeler变换的大数据云上序列索引方法

A Big Data Approach for Sequences Indexing on the Cloud via Burrows Wheeler Transform

University of Palermo（巴勒莫大学）

索引序列数据在精准医学的背景下非常重要，每天必须收集和分析大量的“组学”数据，以便对患者进行分类并确定最有效的治疗方法。在这里，我们提出了一种依赖于大数据技术的Burrows Wheeler变换计算算法，即，Apache Spark和Hadoop我们的方法是第一个分发索引计算而不仅仅是输入数据集的方法，允许充分利用可用的云资源。

2020-07-20cs.AIcs.DCcs.DS

Thrill：用C++实现高性能并行分布式批处理数据

Thrill: High-Performance Algorithmic Distributed Batch Data Processing with C++

我们提出的设计和第一个性能评估的Thrill -一个通用的大数据处理框架的原型，一个方便的数据流风格的编程接口。Thrill与Apache Spark和Apache Flink有些相似，但至少有两个主要区别。首先，Thrill基于C++，由于直接的本机代码编译，更友好的缓存内存布局和显式的存储管理，因此具有性能优势。特别是，Thrill使用模板元编程将后续本地操作链编译成单个二进制例程，而无需中间缓冲，并且具有最小的间接性。其次，Thrill使用数组而不是多集作为其主要的数据结构，它支持其他操作，如排序、前缀求和、窗口扫描或组合多个数组的相应字段（压缩）。我们使用HiBench套件中的五个内核将Thrill与Apache Spark和Apache Flink进行了比较。Thrill始终比其他框架快，通常快几倍。同时，源代码具有类似的简单性和抽象性

2016-08-19cs.DCcs.DS

基于Apache Spark的时空Ripley's K函数分布式时空点模式分析优化与加速

Optimizing and accelerating space-time Ripley's K function based on Apache Spark for distributed spatiotemporal point pattern analysis

随着越来越多的兴趣点数据集具有细粒度的空间和时间属性，时空Ripley的K函数被认为是一个强大的方法来分析时空点过程。然而，时空Ripley的K函数是计算密集型的逐点距离比较，边缘校正和模拟的显着性测试。利用OpenMP、MPI和CUDA等并行计算技术对K函数进行了加速，相关实验证明了其显著的加速效果。然而，以前的工作还没有扩大Ripley的K函数的优化从空间维到时空维。如果没有复杂的时空查询和分区机制，额外的计算开销可能是有问题的。同时，这些研究受到并行框架可扩展性受限和相对昂贵的编程成本的限制，阻碍了它们在大型POI数据集和Ripley的K函数变化中的应用。本文在最先进的分布式计算框架Apache Spark上提出了一种加速时空Ripley K函数的分布式计算方法，并分别采用四种策略来简化计算过程和加速分布式计算。在此基础上，开发了一个基于Web的可视化分析框架原型。实验证明了该方法的可行性和时间效率，并对时空Ripley K函数在生态学、地理学、社会学、经济学、城市交通等领域的应用具有推广价值。

2019-12-10cs.CGcs.DCcs.DS

JAMPI：Spark中使用屏障执行模式的高效矩阵乘法

JAMPI: efficient matrix multiplication in Spark using Barrier Execution Mode

Apache Spark中的新屏障模式允许将分布式深度学习训练作为Spark阶段嵌入，以简化分布式训练工作流程。在Spark中，一个阶段中的任务不依赖于同一阶段中的任何其他任务，因此可以独立调度。然而，一些算法需要更复杂的任务间通信，类似于MPI范例。通过结合分布式消息传递（使用异步网络IO），OpenJDK的新自动向量化和Spark的屏障执行模式，我们可以添加非map/reduce算法，例如Cannon的分布式矩阵乘法到Spark。我们记录了一个有效的分布式矩阵乘法使用坎农的算法，显着提高现有的MLlib实现的性能。在屏障任务中使用，本文所述的算法在10，000 × 10，000的方阵上导致高达24%的性能提高，同时显著降低内存占用。高效矩阵乘法的应用包括加速基于深度卷积神经网络的工作负载的训练和实现，因此这种高效算法可以在更快、更高效地执行甚至最复杂的机器学习任务方面发挥开创性的作用。

2020-06-27cs.DCcs.DSstat.ML

分布式Silhouette算法：评估大数据上的聚类

Distributed Silhouette Algorithm: Evaluating Clustering on Big Data

Politecnico di Torino（都灵理工大学）

在大数据时代，每种算法需要具备的关键特征是能够在分布式环境中高效并行运行。不幸的是，用于评估聚类质量的流行的Silhouette度量不具有此属性，并且相对于输入数据集的大小具有二次计算复杂性。出于这个原因，它的执行在大数据场景中受到了阻碍，在这些场景中，必须以其他方式评估聚类。为了填补这一空白，在本文中，我们介绍了第一个算法，计算的轮廓度量线性复杂度，可以很容易地在分布式环境中并行执行。它的实现在Apache Spark ML库中免费提供。

2023-03-24cs.AIcs.DCcs.DS

R*-Grove：大规模数据集的平衡空间划分

R*-Grove: Balanced Spatial Partitioning for Large-scale Datasets

大空间数据的快速增长促使研究界开发了几个大空间数据系统。不管它们的体系结构如何，所有这些系统的基本要求之一就是在机器之间有效地对数据进行空间分区。大空间分区的核心挑战是构建高空间质量分区，同时通过提供负载平衡分区来利用分布式处理模型。以前关于大空间划分的工作是按原样重用现有的索引搜索树，例如，R树家族、STR、Kd树和四叉树，通过为输入的样本构建临时树并使用其叶节点作为分区边界。然而，我们在本文中表明，这些技术都没有完全解决上述挑战。本文提出了一种新的分区方法，称为R*-Grove，它可以划分非常大的空间数据集到高质量的分区具有良好的负载平衡和块利用率。这个吸引人的属性允许R*-Grove在空间查询处理中优于现有技术。R*-Grove可以轻松集成到任何大数据平台，如Apache Spark或Apache Hadoop。我们的实验表明，R*-Grove优于现有的大空间数据系统分区技术。随着所有提议的工作都作为开源公开提供，我们设想R*-Grove将被社区采用，以更好地服务于大空间数据研究。

2020-07-22cs.DBcs.DCcs.DS