Scalable Traffic Predictive Analysis using GPU in Big Data
本文利用Spark大数据平台,在CPU和GPU上采用并行计算系统进行预测分析。交通数据集被用来预测洛杉矶县的交通拥堵。它是从美国一个流行的平台收集的,用于使用用户共享的设备信息和报告跟踪道路信息。在这个可扩展的大数据系统中,可以使用GPU和CPU来存储和处理大规模的交通数据集。本文的主要贡献是提高机器学习在基于GPU的分布式并行计算系统中的性能,以预测交通拥堵。我们表明,并行计算可以实现使用GPU和CPU与现有的Apache Spark平台。该方法也适用于不同领域的大规模数据集。过程建模以及结果使用计算时间和指标进行解释:AUC,Precision和Recall。它应该有助于智慧城市的交通管理。
2021-06-29 cs.DC
Robust and Scalable Entity Alignment in Big Data
实体对齐在众多不同的科学领域中一直有着重要的用途。特别地,随着诸如社交媒体的通信网络在规模和流行度上的扩展,跨网络匹配实体的概念在社会科学领域中的重要性已经增长。随着大数据的出现,提供大规模图形分析的需求越来越大。然而,由于有数百万个节点和数十亿条边,使用从潜在稀疏或不完整的数据集中提取的特征在无数类似规模的图之间进行对齐的想法变得令人生畏。在本文中,我们将提出一个解决方案,以多步管道的形式大规模对齐的问题。在这个管道中,我们引入了可扩展的特征提取强大的时间属性,伴随着新的和有效的聚类算法,以找到跨图形的相似节点的分组。这些特征及其聚类被输入到一个通用的对齐阶段,该阶段可以在数百万个可能的匹配中准确识别合作伙伴节点。我们的研究结果表明,流水线可以处理大的数据集,实现高效的运行时间内的内存限制。
2020-04-19 cs.DC cs.PF cs.SI
GeoRocket: A scalable and cloud-based data store for big geospatial files
我们介绍GeoRocket,一个用于在云中管理非常大的地理空间数据集的软件。GeoRocket采用了一种新的方法来处理任意大的数据集,将它们分成单独处理的块。该软件具有现代反应式架构,并利用现有的服务,包括Elasticsearch和存储后端,如MongoDB或Amazon S3。GeoRocket与模式无关,支持各种异构地理空间文件格式。它也是格式保留的,不会以任何方式更改导入的数据。GeoRocket的主要优点是其性能、可扩展性和可用性,这使其适用于处理非常高的数据量、复杂的数据集和高速度(大数据)的许多科学和商业用例。GeoRocket还为地理空间数据管理领域的进一步研究提供了许多机会。
2020-01-25 cs.DC
Scalable3-BO: Big Data meets HPC - A scalable asynchronous parallel high-dimensional Bayesian optimization framework on supercomputers
Sandia National Laboratories(桑迪亚国家实验室);Xilinx Inc.(赛灵思公司)
贝叶斯优化(BO)是一个灵活而强大的框架,适用于计算昂贵的基于仿真的应用程序,并保证统计收敛到全局最优。虽然仍然是最流行的优化方法之一,但其能力受到数据大小,所考虑问题的维度以及顺序优化的性质的阻碍。这些可伸缩性问题相互交织,必须同时解决。在这项工作中,我们提出了可扩展的$^3$ -BO框架,它采用稀疏GP作为底层的代理模型,以大数据的范围,并配备了一个随机嵌入,以有效地优化高维问题,有效维数低。可扩展的$^3$ -BO框架进一步利用异步并行化特征,其在计算预算内充分利用HPC上的计算资源。因此,所提出的可扩展$^3$ -BO框架在三个独立的方面是可扩展的:关于HPC上的数据大小、维度和计算资源。这项工作的目标是推动BO的前沿超越其众所周知的可扩展性问题,并最大限度地减少挂钟等待时间,以优化高维计算昂贵的应用程序。我们展示了可扩展的$^3$ -BO的能力,在HPC环境中有100万个数据点,10,000维问题,20个并发工作者。
2021-08-12 cs.DC cs.LG math.OC
SCARFF: a Scalable Framework for Streaming Credit Card Fraud Detection with Spark
电子商务的扩展,以及客户对电子支付的信心的增加,使得欺诈检测成为一个关键因素。在(几乎)实时的设置中检测欺诈需要设计和实施能够摄取和分析大量流数据的可扩展学习技术。分析方面的最新进展以及大数据存储和处理的开源解决方案的可用性为欺诈检测领域开辟了新的视角。在本文中,我们提出了一个SCAlable实时欺诈检测(SCARFF),它集成了大数据工具(Kafka,Spark和Cassandra)与机器学习方法,处理不平衡,非平稳性和反馈延迟。在大量真实信用卡交易数据集上的实验结果表明,该框架在大交易流上具有可扩展性、高效性和准确性。
2017-09-26 cs.DC
Scalable Volume Visualization for Big Scientific Data Modeled by Functional Approximation
针对大规模科学数据可视化中MFA模型查询慢的问题,提出分布式可扩展体可视化流水线MFA-DVV,通过分布式架构和压缩模型降低输入延迟,实现高质量交互式渲染。
2023-12-22 cs.DC
Scalable Manifold Learning for Big Data with Apache Spark
University at Buffalo(布法罗大学)
非线性谱降维方法,如Isomap,仍然是学习流形的重要技术。然而,由于计算复杂性,使用Isomap的精确流形学习目前不可能从大规模数据中进行。本文提出了一种在Apache Spark模型下实现端到端精确Isomap的分布式内存框架。我们展示了Isomap算法的每个关键步骤如何使用基本的Spark模型有效地实现,而不需要在辅存中提供数据。我们展示了如何使用PySpark实现整个方法,将计算密集型线性代数例程卸载到BLAS。通过实验结果,我们证明了我们的方法具有良好的可扩展性,我们表明,它可以处理数据集的数量级大于目前可能的,使用25节点的并行集群。
2018-08-31 cs.DC cs.LG
Scalable Analysis for Covid-19 and Vaccine Data
本文解释了用于提取和分析Covid-19疫苗数据的可扩展方法。利用Hadoop和Hive等大数据,我们收集并分析了COVID-19确诊、死亡和疫苗接种数据集的海量数据集。数据大小约为3.2千兆字节。我们表明,使用大数据存储和处理海量数据是可能的。本文进行了时空分析,并通过可视化地图、图表和饼图将调查结果可视化。我们举例说明,接种疫苗越多,确诊病例越少。
2021-08-06 cs.DC
PageRank Pipeline Benchmark: Proposal for a Holistic System Benchmark for Big-Data Platforms
大数据系统的兴起需要基准来衡量和比较这些系统的能力。大数据基准测试带来了独特的可扩展性挑战。超级计算社区几十年来一直在努力应对这些挑战,并开发了用于创建严格的可扩展基准的方法(例如,HPC挑战)。拟议的PageRank管道基准采用超级计算基准方法来创建一个可扩展的基准,反映了许多现实世界的大数据处理系统。PageRank管道基准建立在现有的可扩展基准(Graph500,Sort和PageRank)上,以创建具有多个集成内核的整体基准,这些内核可以一起或独立运行。每个内核都有很好的数学定义,可以在任何编程环境中实现。PageRank的线性代数性质使其非常适合使用GraphBLAS标准实现。计算非常简单,可以基于简单的计算硬件模型进行性能预测。周围的内核为每个内核提供上下文,允许严格定义每个内核的输入和输出。此外,由于所提出的PageRank管道基准在问题大小和硬件方面都是可扩展的,因此它可以用于测量和定量比较当今和未来的各种系统。已经实现了C++,Python,Python with Pandas,Matlab,Octave和Julia的串行实现,并测量了它们的单线程性能。
2016-06-04 astro-ph.IM cs.DC cs.PF
Scalable System Scheduling for HPC and Big Data
在快速扩展的并行处理领域,作业调度器是现代大数据架构和超级计算系统的“操作系统“。作业调度器分配计算资源并控制这些资源上的进程的执行。从历史上看,作业调度器是超级计算机的领域,而作业调度器被设计为在数天或数周内运行大规模、长时间运行的计算。最近,大数据工作负载产生了对一类新计算的需求,这些计算包括许多需要数秒或数分钟的短计算,这些计算处理大量数据。对于超级计算机和大数据系统,作业调度器的效率代表了系统效率的基本限制。详细的测量和建模的性能的集群是至关重要的最大化的大规模计算系统的性能。本文对15个超级计算和大数据集群进行了详细的特征分析。对于大数据工作负载,调度器延迟是调度器最重要的性能特征。这些调度器的延迟的理论模型的开发和用于设计实验,旨在测量调度器延迟。详细的基准测试四个最流行的插件(Slurm,网格引擎之子,Mesos和Hadoop YARN)进行。理论模型与数据进行比较,并表明,调度器的性能可以由两个关键参数:调度器的边际延迟$t_s$和非线性指数$α_s$。对于所有四个计算器,对于仅持续几秒的计算,计算系统的利用率降低到<10%。透明地聚合短计算的多级编译器可以将这些短计算的利用率提高到> 90%,用于测试的所有四个编译器。
2017-05-08 cs.DC
Analyzing Big Datasets of Genomic Sequences: Fast and Scalable Collection of k-mer Statistics
由于下一代测序技术产生的大量数据,基于映射-缩减编程范式的分布式方法已经开始在生物信息学领域被提出。然而,使用map-reduce和相关的大数据技术和框架(例如,Apache Hadoop和Spark)在效率和有效性方面不一定会产生令人满意的结果。我们讨论了分布式和大数据管理技术的发展如何影响了生物序列的大数据集的分析。此外,我们展示了如何选择不同的参数配置和仔细工程的软件相对于所考虑的特定框架可能是至关重要的,以实现良好的性能,特别是在非常大量的数据。我们选择k-mer计数作为我们分析的案例研究,并Spark作为实现FastKmer的框架,FastKmer是一种从大量生物序列中提取k-mer统计的新方法,具有任意k值。FastKmer最相关的贡献之一是引入了一个模块,用于在计算集群的节点上平衡统计数据聚合工作负载,以克服数据偏斜,同时允许充分利用底层分布式架构。我们还提出了一个比较实验分析的结果,表明我们的方法是目前最快的基于大数据技术,同时表现出非常好的可扩展性。我们提供的证据表明,使用技术,如Hadoop或Spark的生物序列的大数据集的分析是富有成效的,只有当架构的细节和所考虑的框架的特殊方面仔细考虑到的算法设计和实施。
2018-07-04 cs.DC
Fast and Scalable Distributed Deep Convolutional Autoencoder for fMRI Big Data Analytics
The University of Georgia(佐治亚大学);Innopolis University(因诺波利斯大学)
近年来,分析基于任务的功能磁共振成像(tfMRI)数据已成为了解大脑功能和网络的重要工具。然而,由于tfMRI数据的庞大规模,其内在的复杂结构,以及缺乏底层神经活动的基础事实,建模tfMRI数据是困难和具有挑战性的。以前提出的数据建模方法,包括独立成分分析(ICA)和稀疏字典学习只提供了一个弱建立模型的基础上盲声源分离的强烈假设下,原始的fMRI信号可以线性分解成时间序列分量与相应的空间映射。与此同时,分析和学习大量的tfMRI数据,从各种主题已被证明是非常苛刻的,但仍然具有挑战性,即使在计算硬件的技术进步。鉴于卷积神经网络(CNN)是一种从tfMRI时间序列等低级数据中学习高级抽象的鲁棒方法,在这项工作中,我们提出了一种快速可扩展的分布式深度卷积自动编码器模型的新框架。该模型旨在学习tfMRI数据的复杂层次结构,并以分布式方式利用多个GPU的处理能力。为了实现这样一个模型,我们在Apache Spark和Tensorflow库之上创建了一个增强的处理管道,利用了一个非常大的GPU机器集群。将该模型应用于人类连接组计划(HCP)的实验数据表明,该模型对tfMRI大数据分析是有效的,可扩展的,从而在未来实现从海量fMRI大数据中数据驱动的层次神经科学信息提取。
2018-03-04 cs.DC cs.LG cs.NE
Big Data Meets HPC Log Analytics: Scalable Approach to Understanding Systems at Extreme Scale
当今的高性能计算(HPC)系统被大量地仪表化,从而生成包含关于异常事件的信息的日志,异常事件诸如关键条件、故障、错误和失败、系统资源利用以及关于用户应用的资源使用。这些日志一旦得到充分分析和关联,就可以生成有关系统健康状况、故障根本原因的详细信息,并分析应用程序与系统的交互,为领域科学家和系统管理员提供有价值的见解。但是,处理HPC日志需要深入了解系统堆栈多个层的硬件和软件组件。此外,大多数日志数据都是非结构化的,并且数量庞大,这使得系统用户和管理员更难以手动检查数据。随着HPC系统规模和复杂性的快速增长,日志数据处理正在成为一个大数据挑战。本文介绍了一种基于分布式NoSQL数据库技术的HPC日志数据分析框架,该框架提供了可扩展性和高可用性,以及用于日志数据快速内存处理的Apache Spark框架。分析框架可以提取有关系统的一系列信息,以便系统管理员和最终用户都可以获得针对其特定需求的必要见解。我们描述了我们的经验,使用这个框架收集的见解,从日志数据的系统行为泰坦超级计算机在橡树岭国家实验室。
2017-08-23 cs.DB cs.DC
SPIN: A Fast and Scalable Matrix Inversion Method in Apache Spark
大数据在诸如地球科学、社交网络、物理科学等领域中的增长导致了对高效且可扩展的线性代数运算(例如,矩阵求逆)的巨大需求。使用大数据平台进行高效和分布式矩阵求逆的现有方法依赖于基于LU分解的块递归算法。然而,这些算法是复杂的,需要大量的边计算,例如矩阵乘法,在各种级别的递归。在本文中,我们提出了一个不同的计划的基础上Strassen的矩阵求逆算法(在Strassen的原始文件在1969年提到),它使用少得多的操作,在每一级的递归。我们实现了所提出的算法,并通过大量的实验,表明它是更有效的比最先进的方法。此外,我们提供了一个详细的理论分析所提出的算法,并推导出理论上的运行时间密切配合的经验观察挂钟运行时间,从而解释了U形行为w.r.t.块大小。
2018-01-15 cs.DC
A Survey on Big Data for Network Traffic Monitoring and Analysis
网络流量监控和分析(NTMA)是网络管理的关键组成部分,特别是为了保证大型网络(如Internet)的正确运行。随着互联网服务的复杂性和业务量的不断增加,设计可扩展的NTMA应用变得越来越困难。流量分类和监管等应用需要实时和可扩展的方法。异常检测和安全机制需要在处理数以百万计的异构事件时快速识别和响应不可预测的事件。最后,系统必须收集、存储和处理大量的历史数据集,以便进行事后分析。这些正是一般大数据方法所面临的挑战:数量,速度,多样性和准确性。这项调查将NTMA和大数据结合在一起。我们对NTMA以前采用大数据方法的工作进行了分类,以了解NTMA在多大程度上探索了大数据的潜力。本调查主要关注管理NTMA大数据的方法和技术,此外还简要讨论了大数据分析(例如,机器学习)。最后,我们为未来的工作提供了指导方针,讨论了经验教训和研究方向。
2020-03-03 cs.DC cs.NI
Distributed rank-1 dictionary learning: Towards fast and scalable solutions for fMRI big data analytics
脑功能成像在研究和诊断中的应用极大地受益于神经成像技术的最新进展,以及fMRI数据的规模和可用性的爆炸性增长。虽然在文献中已经表明,使用多个和大规模的fMRI数据集可以提高再现性并导致新的发现,但支持此类fMRI大数据的分析和可视化的计算和信息学系统非常有限,并且在很大程度上未得到讨论。我们建议在这项工作中解决这些缺点,基于以前的成功使用字典学习方法的功能网络分解研究的功能磁共振成像数据。提出了一种基于稀疏约束秩1矩阵分解的分布式词典学习框架(D-r1 DL框架)。该框架使用Spark分布式计算引擎实现,并部署在三个不同的处理单元上:内部服务器、内部高性能集群和Amazon Elastic Compute Cloud(EC2)服务。整个分析管道与我们的神经信息学系统集成,用于数据管理、用户输入/输出和实时可视化。D-r1 DL在个体和组fMRI人类连接组计划(HCP)数据集上的性能和准确性表明,所提出的框架是高度可扩展的。由此产生的分组功能网络分解是高度准确的,快速的处理时间证实了这一说法。此外,D-r1 DL可以提供实时用户反馈和结果可视化,这对于大规模数据分析至关重要。
2017-08-08 cs.DC cs.DS q-bio.NC
An Integrated (Crop Model, Cloud and Big Data Analytic) Framework to support Agriculture Activity Monitoring System
本文针对农业活动监测面临的海量异构数据处理与实时协作需求,提出一个融合作物模型、云计算和大数据分析的集成地理信息框架,以提供可扩展、透明且高效的系统支持。
2024-11-19 cs.DC
An improved tile-based scalable distributed management model of massive high-resolution satellite images
随着对地观测的快速发展和卫星遥感及传感器技术的发展,遥感数据量以前所未有的速度增长。传统的关系数据库在满足高分辨率、大规模遥感大数据数据管理的需求时,已经出现了自身的局限性。因此,海量遥感数据管理是当前最迫切的课题之一。为了解决这个问题,本文描述了一个分布式架构的大RS数据存储的基础上,统一的元数据文件,金字塔模型和希尔伯特曲线的数据组合和索引使用NoSQL数据库(即Apache Hbase)。本文在AzureInsight云平台上设计了一个基于Hadoop的框架,以并行和分布式的方式管理海量RS数据。实验结果表明,该方法有潜力克服传统方法的弱点。该模型适用于海量高分辨率影像数据管理。
2021-05-11 cs.DC
Graph3S: A Simple, Speedy and Scalable Distributed Graph Processing System
图是一种普遍存在于许多领域的结构。快速增长的数据量要求高效和可扩展的图形数据处理。近年来,设计分布式图处理系统已经成为一个越来越重要的领域,以满足在分布式环境中处理大型图的需求。虽然已经开发了各种分布式图形处理系统,但很少注意在使用简单性,效率和可扩展性方面实现良好的组合系统性能。为了对分布式图形处理系统的研究有所贡献,本文试图通过设计一个简单、快速和可扩展的系统来填补这一空白。我们的观察是,加强系统的通信灵活性,导致系统的效率和可扩展性以及简单的使用收益。我们在系统Graph3S中实现了我们的想法,并在来自不同领域的大图上使用各种算法进行了广泛的实验,以测试其性能。实验结果表明,该系统除了使用简单外,在各种图算法上都有很好的性能表现,在某些算法上的加速比甚至可以达到现有内存系统的两个数量级.此外,它的可扩展性与基于磁盘的系统相比具有竞争力,在使用较少的机器时甚至更好。
2020-03-02 cs.DC
The Big Send-off: Scalable and Performant Collectives for Deep Learning
本文提出PCCL库,通过学习驱动的自适应算法选择,提升深度学习分布式任务中all-gather、reduce-scatter和all-reduce的性能,实现在Frontier系统上reduce-scatter性能提升达168倍,Perlmutter上NCCL性能提升达5.7倍。
2026-03-15 cs.AI cs.DC cs.LG
A Comparative Study of Containers and Virtual Machines in Big Data Environment
容器技术近年来受到越来越多的关注,并已成为传统虚拟机的替代方案。企业采用容器技术的一些主要动机包括其封装和部署应用程序的便利性,轻量级操作以及资源共享的效率和灵活性。然而,对于大数据应用程序(如Spark作业)如何在容器环境和虚拟机环境之间执行,仍然缺乏深入和系统的比较研究。在本文中,通过运行具有不同配置的各种Spark应用程序,我们从许多有趣的方面评估了这两种环境,例如执行环境的设置有多方便,每个设置中运行的不同工作负载的最大完工时间是多少,硬件资源(如CPU和内存)的利用效率如何,以及每个环境的可扩展性如何。结果表明,与虚拟机相比,容器为大数据工作负载提供了更易于部署和可扩展的环境。本文的研究工作可以帮助实践者和研究人员在调整云环境和配置大数据应用程序时做出更明智的决策,从而实现更好的性能和更高的资源利用率。
2018-07-05 cs.DC cs.PF
BigDataSDNSim: A Simulator for Analyzing Big Data Applications in Software-Defined Cloud Data Centers
云数据中心中的大数据和软件定义网络(SDN)的新兴范例已经获得了工业界和学术界的极大关注。需要大数据与SDN的融合和协调,以提高大数据应用的应用和网络性能。虽然大数据和SDN的经验评估和分析可以是观察所提出的解决方案的一种方式,但由于多种原因,例如昂贵的任务,耗时和复杂性,它通常是不切实际或难以应用的;此外,它超出了大多数人的能力范围。因此,仿真工具是以可控、可重复和可配置的方式执行具有成本效益、可扩展的实验的优选选项。为了填补这一空白,我们提出了一个名为BigDataSDNSim的新的独立仿真工具,它可以对大数据管理系统(YARN)、大数据编程模型(MapReduce)和支持SDN的网络进行建模和仿真。云计算环境。为了展示BigDataSDNSim的功效、有效性和功能,我们提供了一个用例,在性能和能耗方面比较了支持SDN的网络与传统网络。
2019-10-10 cs.DC
Alignment-free Genomic Analysis via a Big Data Spark Platform
动机:无比对距离和相似性函数(简称AF函数)是许多基因组、宏基因组和表观基因组任务中两个和多个序列比对的公认替代方案。由于数据密集型应用,AF函数的计算是一个大数据问题,最近的文献表明,快速和可扩展的算法计算AF函数的发展是一个高优先级的任务。有些令人惊讶的是,尽管大数据技术在计算生物学中越来越受欢迎,但针对这些任务的大数据平台的开发尚未得到追求,可能是由于其复杂性。结果如下:我们通过引入FADE填补了这一重要空白,FADE是第一个可扩展,高效和可扩展的Spark平台,用于无比对基因组分析。它支持最近一项标志性基准研究中的18项最佳AF功能。FADE的发展和潜在影响包括感兴趣的新方面。也就是说,(a)分布式算法的相当大的努力,最切实的结果是MASH和FSWM等参考方法的执行时间更快;(b)软件设计,使FADE用户友好,易于Spark非专家扩展;(c)支持数据和计算密集型任务的能力。关于这一点,我们提供了一个新的和急需的分析如何信息和强大的AF功能,在其输出的统计意义。我们的发现自然扩展了备受推崇的基准研究,因为真正可以使用的功能减少到FADE中包含的18个功能中的少数几个。
2021-10-23 cs.DC
Experimental Study of the Cloud Architecture Selection for Effective Big Data Processing
大数据决定了他们对硬件和软件的要求。简单的迁移到云端的数据处理,虽然解决了增加计算能力的问题,但也带来了一些问题:需要确保安全性,需要控制数据传输过程中的质量,需要优化请求。计算云不仅仅提供可扩展的资源,还需要网络基础设施、未知的路由和用户请求数量。此外,在运行过程中可能会出现这样的情况,即您需要更改应用程序的架构-部分数据需要放置在私有云中,部分在公共云中,部分留在客户端上。
2015-07-01 cs.DC
A scalable system for primal-dual optimization
我们提出了一些最广泛使用的大数据架构,\textit{Hadoop}和\textit{Spark},并开发了几个实现利用,每个的优点。我们实现了一个简化版本的原始-对偶优化算法,本文简要介绍,通过选择平滑函数是$\Vert \cdot \Vert^2$与零中心点。假设数据是作为一个稀疏矩阵提供的,我们评估的可扩展性的设计系统的经验,通过运行它们的样本测试。
2015-08-07 cs.DC
Scalable Predictive Time-Series Analysis of COVID-19: Cases and Fatalities
California State University Los Angeles(加州州立大学洛杉矶分校);SoftZen Co. Ltd.(SoftZen有限公司)
COVID 19是一种急性疾病,自2019年12月开始在全球蔓延。它已在全球范围内传播,影响了700多万人,截至2020年10月,已有20万人死于这种感染。本文利用基于时间序列的传统和大数据平台ARIMA和ETS对美国洛杉矶和纽约的死亡人数和确诊病例进行了预测。我们还使用Facebook Prophet API实现了一个更复杂的时间序列预测模型。此外,我们开发了分类模型:Logistic回归和随机森林回归,以表明天气不影响确诊病例数。这些模型在遗留系统(Azure ML Studio)和大数据系统(Oracle Cloud和Databricks)中构建和运行。此外,我们还对模型的精度进行了分析。
2021-04-22 cs.DC cs.LG
Scalable Construction of Text Indexes
后缀数组是有效解决不同应用领域(如数据压缩、数据采掘或生物信息学)中无数字符串处理问题的关键。随着可用数据的快速增长,后缀数组构造算法必须适应高级计算模型,如外部存储器和分布式计算。在这篇文章中,我们提出了五个后缀数组构造算法,利用新的算法大数据批处理框架Thrill,它允许我们处理以前没有考虑过的数量级的输入大小。
2016-10-10 cs.DC cs.DS
BigBird: Big Data Storage and Analytics at Scale in Hybrid Cloud
Twitter Inc.(推特公司)
大规模实施大数据存储是一项复杂而艰巨的任务,需要先进的基础设施。随着公共云计算的兴起,各种大数据管理服务可以很容易地被利用。作为Twitter“部分多云项目”的重要组成部分,冷存储数据和分析系统正在迁移到公共云。本文展示了我们在Google Cloud Platform中使用BigQuery设计可扩展的大数据存储和分析管理框架的方法,同时确保安全性,隐私性和数据保护。本文还讨论了公共云资源的限制,以及在设计大规模数据存储和分析解决方案时如何有效地克服这些限制。虽然本文讨论了Google Cloud Platform中的框架实现,但它可以很容易地应用于所有主要的云提供商。
2022-03-22 cs.DB cs.DC cs.LG
Reproducible and Portable Big Data Analytics in the Cloud
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);DEVCOM Army Research Laboratory(美国陆军作战能力发展司令部陆军研究实验室)
云计算已经成为帮助重现计算实验的主要方法。然而,在云中复制基于批处理的大数据分析(包括描述性和预测性分析)仍然存在两个主要困难。第一个是如何自动化端到端的可扩展分析执行,包括分布式环境配置、分析管道描述、并行执行和资源终止。第二个是为一个云开发的应用程序很难在另一个云中复制,也就是说,供应商锁定问题。为了解决这些问题,我们利用无服务器计算和容器化技术来实现自动化的可扩展执行和可再现性,并利用适配器设计模式来实现跨不同云的应用程序可移植性和可再现性。我们提出并开发了一个开源工具包,该工具包支持1)通过单个命令完全自动化的端到端执行和再现,2)每次执行的自动化数据和配置存储,3)基于用户偏好的灵活客户端模式,4)执行历史查询,以及5)在相同环境或不同环境中简单再现现有执行。我们在AWS和Azure上进行了广泛的实验,使用了四个在虚拟CPU/GPU集群上运行的大数据分析应用程序。实验表明,该工具包能够实现良好的执行性能、可扩展性和高效的可重复性,适用于基于云的大数据分析。
2023-03-10 cs.DC cs.LG cs.NI
OCEP: An Ontology-Based Complex Event Processing Framework for Healthcare Decision Support in Big Data Analytics
针对大数据环境下复杂事件处理面临的语义异构与互操作挑战,提出基于本体的OCEP框架,集成RDF、SPARQL及Hadoop生态,实现医疗事件流推理,检测准确率达85%,支持早期疾病检测与决策。
2025-03-27 cs.DC
Big Data Architecture for Large Organizations
本文提出一个面向大型组织的多层大数据架构框架,融合GenAI和低代码机器学习,并分析三大云平台实现,为大数据战略化利用提供蓝图。
2025-05-07 cs.DC
Distributed and Big Data Storage Management in Grid Computing
大数据存储管理是网格计算环境中最具挑战性的问题之一,因为大量数据密集型应用经常涉及高度的数据访问局部性。网格应用程序通常处理大量数据。在传统的方法中,高性能计算包括用于数据存储和数据复制的专用服务器。在本文中,我们提出了一种新的机制,分布式和大数据存储和资源发现服务。提出了一种网格环境下的动态可扩展存储管理(DSSM)体系结构。这允许在网格计算中不仅共享计算周期,而且共享存储空间。可以从任何网格机器透明地访问存储,从而允许在网格用户和应用程序之间轻松地进行数据共享。允许创建虚拟空间的虚拟ID的概念已经被引入和使用。DSSM将所有面向网格的存储设备(节点)划分为多个地理上分布的域,以促进本地化并简化域内存储管理。采用基于网格服务的存储资源,随着需求的增长,将简单的模块化服务逐块堆叠起来。为此,我们提出了四个定义轴:DSSM架构和算法描述,存储资源和资源发现到网格服务,评估目的原型系统,动态,可扩展性和带宽,并讨论结果。在底层和上层的算法标准化的动态和可扩展的存储管理,以及更高的带宽已经设计。
2012-07-12 cs.DC cs.NI
Scalable Genomics with R and Bioconductor
本文回顾了解决大型基因组数据集分析时遇到的问题的策略,并描述了这些策略在R中的实现包从Bioconductor项目。我们处理大基因组数据的可扩展处理,总结和可视化。一般的想法是很好地建立,包括限制性查询,压缩,迭代和并行计算。我们通过将Bioconductor软件包应用于全基因组测序实验中遗传变异的检测和分析来展示策略。
2014-09-09 cs.DC q-bio.GN
Big Data-Driven Fraud Detection Using Machine Learning and Real-Time Stream Processing
本文提出结合 Kafka、Flink、Spark 等大数据实时流处理工具与机器学习模型的反洗钱欺诈检测方案,在合成 AML 数据集上取得超过 99% 的分类准确率。
2025-05-27 cs.DC
Analysis of Distributed Algorithms for Big-data
本文研究面向大数据的并行与分布式算法及文件系统,在OpenMP本地层面和全局分布式层面评估可扩展性,并通过多种开源应用与系统开展性能分析。
2024-04-09 cs.DC
Superior Parallel Big Data Clustering through Competitive Stochastic Sample Size Optimization in Big-means
Satbayev University(萨塔巴耶夫大学);Institute of Information and Computational Technologies(信息与计算技术研究所);University of Washington(华盛顿大学)
本文提出一种改进的Big-means K-means聚类算法,通过并行处理、随机采样与工作节点间竞争性样本量动态优化,在保证聚类质量的同时提升大数据场景下的计算效率与可扩展性。
2024-03-27 cs.AI cs.DC cs.IR
Constructing Gazetteers from Volunteered Big Geo-Data Based on Hadoop
传统地名录由权威制图机构建立和维护。在大数据时代,通过从Web上挖掘丰富的自愿地理信息(VGI),可以以数据驱动的方式构建地名录。在这项研究中,我们建立了一个可扩展的分布式平台和一个高性能的Hadoop生态系统的基础上,收获众包地名索引条目的工作流程。使用基于Flickr中的地理标记数据集的实验,我们发现,基于MapReduce的工作流上运行的空间启用Hadoop集群可以减少处理时间相比,传统的基于桌面的操作的数量级。我们演示了如何使用这样一个新的空间计算基础设施,以促进地名索引的研究。此外,我们引入了一个基于出处的信任模型的质量保证。这项工作提供了新的见解,丰富未来的地名录与Hadoop集群的使用,并作出贡献,在连接地理信息系统的云计算环境的下一个前沿的大地理数据分析。
2014-02-07 cs.DC
A Scalable Data Science Platform for Healthcare and Precision Medicine Research
目的:(1)展示在大型学术医疗系统中基于开源技术构建的数据科学平台的实现,(2)描述在这样的平台上构建的两个计算医疗应用程序。材料和方法:部署了一个基于多种开源技术的数据科学平台,以支持实时大数据工作负载。Apache Storm和NiFi的数据采集工作流程是用Java和Python开发的,用于捕获患者监测和实验室数据,以进行下游分析。结果如下:使用新兴的数据管理方法以及Hadoop等开源技术可以创建集成的数据湖,以存储大型实时数据集。该基础设施还提供了一个强大的分析平台,可以近实时地分析医疗保健和生物医学研究数据,用于精准医学和计算医疗保健用例。讨论内容:集成数据科学平台的实施和使用为组织提供了将传统数据集(包括电子健康记录数据)与新兴大数据源(如持续患者监测和实时实验室结果)相结合的机会。这些平台可以为信息提供具有成本效益和可扩展的分析,这将是实施精准医疗计划的关键。结论:能够利用数据科学平台技术进步的组织将有机会为计算医疗保健和精准医学研究提供全面的医疗保健数据访问。
2018-08-14 cs.DC
Toward Scalable Machine Learning and Data Mining: the Bioinformatics Case
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);National Institute on Aging, National Institutes of Health(美国国立卫生研究院国家老龄化研究所)
为了克服计算生物学和生物信息学中的数据泛滥,并促进大数据时代的生物信息学研究,我们确定了一些在生物信息学社区中广泛使用的最有影响力的算法。这些顶级的数据采掘和机器学习算法涵盖了分类、聚类、回归、基于图形模型的学习和降维。本研究的目标是引导可扩展计算专家的重点,在努力应用新的存储和可扩展计算设计的生物信息学算法,值得他们的注意,以下工程格言“优化常见的情况下”。
2017-09-29 cs.DC cs.LG stat.ML
A Random Sample Partition Data Model for Big Data Analysis
大数据集必须仔细划分为统计上相似的数据子集,这些子集可以用作大数据分析任务的代表性样本。在本文中,我们提出了随机样本分区(RSP)数据模型来表示一个大数据集作为一组不重叠的数据子集,称为RSP数据块,其中每个RSP数据块具有类似于整个大数据集的概率分布。在该数据模型下,使用高效的块级采样来随机选择RSP数据块,代替昂贵的记录级采样来从计算集群上的大的分布式数据集中选择样本数据。我们展示了如何使用RSP数据块来估计大数据集的统计数据,并构建与从整个大数据集构建的模型等效的模型。在这种方法中,对大数据集的分析变成了对在计算集群上预先生成的少数RSP数据块的分析。因此,基于RSP数据块的数据分析新方法可扩展到大数据。
2018-01-20 cs.DC cs.DS physics.data-an
Big Data Analytics-Enhanced Cloud Computing: Challenges, Architectural Elements, and Future Directions
云计算的出现使得弹性容量的动态配置成为可能。云数据中心包含数千台物理服务器,托管数量级更多的虚拟机,这些虚拟机可以按需分配给按需付费的用户。然而,并非所有系统都能够通过添加更多虚拟机来扩展。因此,即使对于可扩展的系统,也必须提前规划工作负载,而不是使用纯粹的反应式方法。考虑到生成实时的监控信息的现代云基础设施的规模,以及操作系统和应用程序生成的所有信息,这些数据带来了大数据方法所解决的数量、速度和多样性问题。在本文中,我们研究如何利用大数据分析有助于增强云计算环境的操作。我们讨论了大数据分析在云中的各种应用,通过大数据分析增强云操作的开放问题,以及云异常检测和预防的架构以及未来的研究方向。
2015-10-22 cs.DC
ZenLDA: An Efficient and Scalable Topic Model Training System on Distributed Data-Parallel Platform
本文介绍了我们最近的努力,zenLDA,一个有效的和可扩展的Collapsed Gibbs Sampling系统的潜在狄利克雷分配训练,这被认为是具有挑战性的,需要数据并行和模型并行,因为大样本数据高达数十亿的文档和大模型大小高达数万亿的参数。zenLDA结合了算法级改进和系统级优化。首先提出了一种新的CGS算法,该算法平衡了时间复杂度、模型精度和并行化灵活性。zenLDA中的输入语料库表示为有向图,模型参数标注为相应的顶点属性。分布式训练通过划分图来并行化,在每次迭代中,它首先并行地对所有分区应用CGS步骤,然后使计算的模型彼此同步。通过将数据并行和模型并行转化为图并行,实现了数据并行和模型并行。我们重新审视了系统效率和模型精度之间的权衡,并提出了近似方法,如非同步模型,稀疏模型初始化和“收敛”令牌排除。zenLDA基于Spark中的GraphX构建,提供分布式数据抽象(RDD)和富有表现力的API,以简化编程工作,同时隐藏系统复杂性。这使我们能够实现其他CGS算法与几行代码的变化。为了更好地适应分布式数据并行框架,并实现与当代系统相当的性能,我们还提出了几个系统级优化,以推动性能极限。在Web规模语料库上对zenLDA进行了测试,结果表明zenLDA在获得更好的性能的同时,也获得了更高的模型精度。
2015-11-02 cs.DC
AMIC: An Adaptive Information Theoretic Method to Identify Multi-Scale Temporal Correlations in Big Time Series Data -- Accepted Version
最近在计算、传感和众包数据方面的发展导致了定量信息的爆炸式增长。分析这种所谓的大数据来为研究和决策过程提供信息的可能性几乎是无穷无尽的。一般来说,必须在多个数据集上进行分析,以发挥大数据的最大价值。第一个重要步骤是识别数据集之间的时间相关性。鉴于大数据在数量和速度方面的特征,识别相关性的技术不仅需要快速和可扩展,而且还需要帮助用户在时间尺度上对相关性进行排序,以便他们可以专注于重要的关系。本文提出了一种基于互信息的自适应相关方法AMIC(Adaptive互信息-based Correlation),用于识别大时间序列在多个时间尺度上的相关性。所发现的相关性以基于关系强度的顺序被建议给用户。我们的方法支持自适应流技术,最大限度地减少重复计算,并在Apache Spark上实现可扩展性。我们还提供了一个全面的评估AMIC的有效性和可扩展性,使用合成和真实世界的数据集。
2019-07-07 cs.DC
Scalable Analytics over Distributed Time-series Graphs using GoFFish
图表是大数据的一种关键形式,对它们进行可扩展的分析对许多领域都是非常宝贵的。随着我们收集数据的能力的增长,出现了一类新兴的相互关联的数据,这些数据会随着时间的推移而积累或变化,并且需要对网络结构和时变属性值进行新的分析。我们引入了时间序列图分析的概念,并提出了Gopher,一个可扩展的编程抽象来开发算法和分析这些数据集。我们的抽象利用了以子图为中心的编程模型,并使用迭代BSP(批量同步并行)方法将其扩展到时间维度。Gopher是与GoFS共同设计的,GoFS是专门用于时间序列图的分布式存储,是GoFFish分布式分析平台的一部分。我们研究了GoFS的存储优化,在Gopher中设计模式以利用分布式数据布局,并使用商品集群上的时间序列图数据和应用程序评估GoFFish平台。
2014-06-23 cs.DC
MaRe: a MapReduce-Oriented Framework for Processing Big Data with Application Containers
背景生命科学越来越多地受到大数据分析的驱动,MapReduce编程模型已被证明在数据密集型分析中是成功的。然而,目前的MapReduce框架对生物信息学管道中重用现有处理工具的支持很差。此外,这些框架没有对应用程序容器的原生支持,而应用程序容器在科学数据处理中正变得越来越流行。结果在这里,我们介绍了MaRe,一个具有相关开源实现的编程模型,它引入了对MapReduce中应用程序容器的支持。MaRe基于Apache Spark和Docker,MapReduce框架和容器引擎已经收集了最大的开源社区,从而提供与尖端软件生态系统的互操作性。我们在生命科学中的两个数据密集型应用程序上演示了MaRe,显示了易用性和可扩展性。结论. MaRe通过MapReduce和应用程序容器在生命科学中实现可扩展的数据密集型处理。与目前涉及使用工作流系统的最佳做法相比,MaRe具有提供数据本地化、从异构存储系统摄取和交互式处理的优势。MaRe是普遍适用的开源软件。
2019-05-09 cs.DC
SCALPEL3: a scalable open-source library for healthcare claims databases
本文介绍SCALPEL 3,这是一个可扩展的开源框架,用于涉及大型观测数据库(LOD)的研究。它的设计简化了医学观察性研究,这要归功于允许概念提取、高级队列操作和与机器学习库兼容的数据格式的生成的抽象。SCALPEL 3已成功用于SNDS数据库(见Tuppin等人(2017)),这是一个庞大的医疗索赔数据库,处理几乎所有法国公民的报销。SCALPEL 3侧重于可扩展性、简单的交互式分析和数据流分析助手,以加速对LOD执行的研究。它由三个基于Apache Spark的开源库组成。SCALPEL-通过在一个大表中顺序连接表,Flattening允许LOD的反规范化(目前仅限SNDS)。SCALPEL-Extraction提供了从一个大表(如SCALPEL-Flattening产生的表)中快速提取概念的功能。最后,SCALPEL分析允许交互式队列操作,监测队列流的统计数据,并构建与机器学习库一起使用的数据集。前两个提供了Scala API,而最后一个提供了可以在交互式环境中使用的Python API。我们的代码可以在GitHub上找到。SCALPEL 3允许在不到49分钟的时间内在15个节点的小型HDFS集群上成功提取复杂的概念,用于Morel等人(2017年)或三年内观察到的1450万患者的研究(对应于超过150亿次医疗保健事件和大约15万亿次数据)。SCALPEL 3通过清晰的代码提…
2020-08-26 cs.CY cs.DC
BAD to the Bone: Big Active Data at its Core
事实上,今天所有的大数据系统本质上都是被动的,响应用户发布的查询。相反,我们正在努力将大数据平台从被动转向主动。在我们看来,大主动数据(BAD)系统应该持续可靠地捕获大数据,同时能够及时自动地向大量感兴趣的用户提供相关信息,并支持对历史信息的回顾性分析。虽然已经创建了各种可扩展的流式查询引擎,但它们的活动行为仅限于传入数据的(相对)小窗口。为此,我们创建了一个BAD平台,该平台结合了大数据和主动数据的想法和功能(例如,发布/订阅、流引擎)。它支持复杂的订阅,这些订阅不仅考虑新到达的项目,还考虑它们与过去存储的数据的关系。此外,它可以通过使用其他有用数据丰富订阅结果来提供可操作的通知。我们的平台扩展了现有的开源大数据管理系统Apache AsterixDB,并提供了一个活动工具包。该工具包包含快速摄取半结构化数据、在用户之间共享执行管道、管理缩放的用户数据订阅以及主动监视数据状态以为每个用户生成个性化信息的功能。本文描述了我们目前的BAD数据平台的功能和设计,并展示了其扩展能力,而不牺牲查询功能或结果个性化。
2020-05-24 cs.DB cs.DC
Scalable algorithms for physics-informed neural and graph networks
Massachusetts Institute of Technology(麻省理工学院);Sandia National Laboratories(桑迪亚国家实验室)
物理信息机器学习(PIML)已经成为一种很有前途的新方法,用于模拟复杂的物理和生物系统,这些系统由复杂的多尺度过程控制,其中一些数据也是可用的。在某些情况下,目标是从可用的数据中发现隐藏的物理部分,并且PIML已经被证明对于常规方法可能失败的此类问题特别有效。与商业机器学习不同,深度神经网络的训练需要大数据,在PIML中大数据不可用。相反,我们可以通过使用物理定律并在时空域中的随机点上对其进行评估而获得的额外信息来训练这样的网络。这种基于物理学的机器学习将多模态和多保真度数据与数学模型相集成,并使用神经网络或图形网络来实现它们。在这里,我们回顾了将物理学嵌入机器学习的一些流行趋势,使用主要基于前馈神经网络和自动微分的物理信息神经网络(PINN)。对于更复杂的系统或系统和非结构化数据的系统,图神经网络(GNN)呈现出一些明显的优势,在这里,我们回顾了如何使用基于图外部演算的GNN来实现物理信息学习以构建微分算子;我们将这些架构称为物理信息图网络(PIGN)。我们提出了正问题和逆问题的代表性例子,并讨论了扩大PINN,PIGN和更广泛的GNN用于大规模工程问题所需的进展。
2022-05-16 cs.AI cs.DC cs.LG