BigExcel: A Web-Based Framework for Exploring Big Data in Social Sciences
本文认为，有三个基本的挑战，需要克服，以促进大数据技术在非计算机科学相关学科的采用：解决这些技术的非计算机科学家的可访问性问题，支持特设的探索大数据集以最小的努力和轻量级的基于Web的框架的可用性，快速和简单的分析。在本文中，我们解决了上述三个挑战，通过开发的“BigExcel”，一个三层的基于Web的框架，探索大数据，以促进管理用户与大型数据集的交互，查询的建设，探索数据集和管理的基础设施。BigExcel的可行性通过两个Yahoo Sandbox数据集来证明。第一个数据集是我们用于定量预测趋势技术的Yahoo Buzz Score数据集，第二个数据集是我们用于定性推断重要事件覆盖率的Yahoo n-gram语料库。BigExcel框架和源代码的演示可在http://bigdata.cs.st-andrews.ac.uk/projects/bigexcel-exploring-big-data-for-social-sciences/上获得。
2014-11-05 cs.DC
Linking Scientific Instruments and HPC: Patterns, Technologies, Experiences
现代实验设施中的强大探测器通常以多GB/s的速度收集数据。需要在线分析方法，以便能够收集这些大规模数据流中仅感兴趣的子集，例如通过明确丢弃某些数据元素或将仪器引导到实验空间的相关区域。这种在线分析需要配置和运行高性能分布式计算管道（我们称之为流）的方法，连接仪器、HPC（例如，用于分析、模拟、AI模型训练）、边缘计算（用于分析）、数据存储、元数据目录和高速网络。在本文中，我们将回顾与此类流相关的常见模式，并描述实例化这些模式的方法。我们还介绍了将这些方法应用于处理来自五种不同科学仪器的数据的经验，每种仪器都需要HPC资源进行数据反演、机器学习模型训练或其他目的。我们还讨论了这些新方法的操作员和用户的科学设施的影响。
2022-08-22 cs.DC
PABED A Tool for Big Education Data Analysis
云计算和大数据已经成为现代世界最流行的技术。很明显，它们之所以如此受欢迎，是因为它们在感兴趣的领域具有广泛的适用性。教育和研究仍然是最明显和最合适的应用领域之一。本文介绍了一个大数据分析工具，PAPED项目分析大教育数据，为教育部门利用基于云的技术。该工具使用Google BigQuery和R程序设计语言实现，可以比较不同学年的本科入学数据。虽然大数据在教育中的应用有很多，但缺乏可以将概念付诸实践的工具。PABED是朝着这个方向努力的。本文描述了该项目的实现和测试细节。该工具验证了云计算和大数据技术在教育中的使用，并将率先开发更复杂的教育智能工具。
2018-07-31 cs.CY cs.DC
Workflow-Based Big Data Analytics in The Cloud Environment Present Research Status and Future Prospects
工作流是一个常用术语，用于描述需要执行以解决问题的任务的系统分解。这一概念在科学和商业应用中得到了最好的利用，以精简和改善旨在实现成果的基本进程的业绩。大数据分析问题的日益复杂性促使人们使用科学工作流来执行特定领域应用程序的复杂任务。这项研究调查了基于工作流的大数据分析在云环境中的有效性，对该领域已经进行的研究以及该领域未来可能的研究方向提供了见解。
2017-11-04 cs.DC
Scientific Workflow Systems for 21st Century e-Science, New Bottle or New Wine?
随着电子科学的进步和科学分析的日益复杂，越来越多的科学家和研究人员依赖于工作流系统进行过程协调、推导自动化、出处跟踪和簿记。虽然工作流系统已经使用了几十年，但目前还不清楚科学工作流是否可以甚至应该建立在现有的工作流技术上，或者它们需要从根本上新的方法。在本文中，我们分析了科学工作流的现状和挑战，调查了现有的技术和新兴的语言，平台和系统，并确定了在21世纪的电子科学工作流系统必须解决的关键挑战。
2008-08-26 cs.DC cs.SE
Collaborative Cloud Computing Framework for Health Data with Open Source Technologies
传感器技术的扩散和数据汇集方法的进步使得能够积累非常大量的数据。这些数据集越来越多地被考虑用于科学研究。然而，系统体系结构的设计要在并行化、查询处理时间、异构数据类型（例如，时间序列、图像、结构化数据等），以及复制科学研究的困难仍然是一个重大挑战。这对于健康科学研究尤其如此，其中系统必须i）易于使用，具有在最细粒度级别操作数据的灵活性，ii）与程序设计语言内核无关，iii）可扩展，以及iv）符合HIPAA隐私法。在本文中，我们回顾了现有的文献，这种大数据系统在健康科学的科学研究，并确定当前的系统景观的差距。我们提出了一种新的架构，用于软件-硬件-数据生态系统，在分布式环境中使用开源技术，如Apache Hadoop，Kubernetes和ApacheyterHub。我们还使用6900万例患者的大型临床数据集对该系统进行了评估。
2020-07-20 cs.DC
Analyzing Big Datasets of Genomic Sequences: Fast and Scalable Collection of k-mer Statistics
由于下一代测序技术产生的大量数据，基于映射-缩减编程范式的分布式方法已经开始在生物信息学领域被提出。然而，使用map-reduce和相关的大数据技术和框架（例如，Apache Hadoop和Spark）在效率和有效性方面不一定会产生令人满意的结果。我们讨论了分布式和大数据管理技术的发展如何影响了生物序列的大数据集的分析。此外，我们展示了如何选择不同的参数配置和仔细工程的软件相对于所考虑的特定框架可能是至关重要的，以实现良好的性能，特别是在非常大量的数据。我们选择k-mer计数作为我们分析的案例研究，并Spark作为实现FastKmer的框架，FastKmer是一种从大量生物序列中提取k-mer统计的新方法，具有任意k值。FastKmer最相关的贡献之一是引入了一个模块，用于在计算集群的节点上平衡统计数据聚合工作负载，以克服数据偏斜，同时允许充分利用底层分布式架构。我们还提出了一个比较实验分析的结果，表明我们的方法是目前最快的基于大数据技术，同时表现出非常好的可扩展性。我们提供的证据表明，使用技术，如Hadoop或Spark的生物序列的大数据集的分析是富有成效的，只有当架构的细节和所考虑的框架的特殊方面仔细考虑到的算法设计和实施。
2018-07-04 cs.DC
Big Data Technology Literature Review
简要概述了有助于大数据存储和操作的各种算法和技术。包括文章的指针以供进一步阅读，以及在适用的情况下，实现所描述的存储类型的开源项目的指针。
2015-12-02 cs.DB cs.DC
A Technology for BigData Analysis Task Description using Domain-Specific Languages
本文提出了一种基于知识的领域特定语言（DSL）动态构建技术，用于使用大数据技术描述数据密集型科学发现任务。所提出的技术支持任务的分析和模拟部分的高级抽象定义，以及集成到复合科学解决方案中。抽象任务定义的自动转换使单个解决方案中的各种数据源能够实现无缝集成。
2014-04-18 cs.DB cs.DC cs.PL
Video Big Data Analytics in the Cloud: A Reference Architecture, Survey, Opportunities, and Open Research Issues
物联网（IoT）上多媒体设备的激增产生了前所未有的数据量。因此，世界已经进入了大数据时代。近年来，随着分布式计算技术的兴起，云上的视频大数据分析引起了研究者和实践者的关注。当前的技术和市场趋势需要一个高效的视频大数据分析框架。然而，目前的工作过于有限，无法提供一个完整的调查最近的研究工作，视频大数据分析在云中，包括大量的视频数据的管理和分析，所面临的挑战，机遇和有前途的研究方向。为了达到这一目的，我们提出了这项研究，它对云中视频大数据分析的最新文献进行了广泛的概述。它还旨在弥合大规模视频分析挑战、大数据解决方案和云计算之间的差距。在这项研究中，我们澄清了管理视频分析领域的基本术语和视频大数据的特点，同时建立了与云计算的关系。提出了一种面向服务的云智能视频大数据分析分层参考架构。然后，进行了全面而敏锐的审查，以研究视频大数据分析的前沿研究趋势。最后，我们确定并阐明了几个开放的研究问题和挑战，这已经提出了部署大数据技术在云中的视频大数据分析。据我们所知，这是第一项研究，提出了在云中的视频大数据分析的一般视图。本文提供了在大数据和云计算时代推进视频分析的研究和技术。
2020-11-16 cs.DC
Storage Solutions for Big Data Systems: A Qualitative Study and Comparison
大数据系统开发充满了挑战，因为该技术承诺服务于各种应用领域和领域。通常，大数据系统设计中涉及的基本设计决策包括选择适当的存储和计算基础设施。在这个异构系统集成不同技术以优化解决特定现实问题的时代，大数据系统也不例外。就任何大数据系统的存储方面而言，这方面的主要方面是存储基础设施，NoSQL似乎是满足其需求的正确技术。然而，每个大数据应用程序都具有可变的数据特征，因此，相应的数据适合不同的数据模型。本文对面向文档、键值、图和宽列这四种主要数据模型的特点和用例进行了分析和比较。此外，还提供了80个NoSQL解决方案的功能分析，详细说明了开发人员在做出可能的选择时必须考虑的标准和要点。通常，大数据存储需要与执行引擎以及其他处理和可视化技术进行通信，以创建全面的解决方案。这就引出了大数据存储的第二个方面，即大数据文件格式。研究论文的后半部分比较了Hadoop可用的大数据文件格式的优点、缺点和可能的用例，Hadoop是大多数大数据计算技术的基础。分散存储和区块链被视为下一代大数据存储，其挑战和未来前景也被讨论。
2019-04-25 cs.DB cs.DC
Big Data in HEP: A comprehensive use case study
几十年来，实验粒子物理学一直处于分析世界上最大数据集的最前沿。HEP社区是第一个为这项任务开发合适的软件和计算工具的社区。近年来，出现了统称为大数据技术的新工具包和系统，以支持行业中PB和EB数据集的分析。虽然HEP中的数据分析原理没有改变（过滤和转换实验特定的数据格式），但这些新技术使用不同的方法，并承诺对非常大的数据集进行全新的分析，并可能通过增加交互性来减少物理时间。在这次演讲中，我们提出了一个活跃的LHC运行2分析，用CMS探测器寻找暗物质，作为大数据技术的测试平台。我们直接比较了传统的基于NTuple的分析与在Hadoop生态系统上使用Apache Spark的等效分析。在这两种情况下，我们都从官方实验数据格式开始分析，并生成出版物物理图。我们将讨论每种方法的优点和缺点，并对需要进一步研究的问题进行展望。
2017-03-12 cs.DC
SCHeMa: Scheduling Scientific Containers on a Cluster of Heterogeneous Machines
在数据驱动的科学时代，进行涉及使用异构计算集群分析大型数据集的计算实验是许多科学家日常工作的一部分。此外，为了确保他们的结果的可信度，这些分析很容易被其他研究人员重现是非常重要的。虽然近年来已经引入了各种技术，可以促进科学家在这方面的工作，但仍然缺乏将它们结合起来的开源平台。在这项工作中，我们描述和演示SCheMa，一个开源平台，促进异构集群上的计算分析的执行和再现性，利用容器化，实验包装，工作流管理和机器学习技术。
2022-03-22 cs.DC
SnapMode: An Intelligent and Distributed Large-Scale Fashion Image Retrieval Platform Based On Big Data and Deep Generative Adversarial Network Technologies
University of Alzahra（阿尔扎拉大学）
时尚现在是世界上最大的产业之一，因为它代表了人类历史，并有助于讲述世界的故事。随着第四次工业革命的兴起，互联网已经成为越来越重要的时尚信息来源。然而，随着越来越多的网页和社交数据，人类几乎不可能手动跟上该领域的持续发展和不断变化的内容。妥善管理和利用大数据可以为全球经济的大幅增长和公民满意度铺平道路。因此，计算机科学家发现，通过使用大数据和机器学习技术来处理电子商务时尚网站是一项挑战。本文首先提出了一种基于分布式计算平台的可扩展的聚焦式Web爬虫引擎，用于电子商务网站上的时尚数据的提取和处理。然后描述了所提出的平台的作用，通过采用深度卷积生成对抗网络（DCGAN）进行基于内容的图像索引和检索来开发一种解纠缠的特征提取方法。最后，国家的最先进的解决方案进行了比较，所提出的方法的结果进行了分析的标准数据集。为了实现所提出的解决方案，在Apache Storm、Kafka、Solr和Milvus平台上开发了一个基于Web的应用程序，以创建一个名为SnapMode的时尚搜索引擎。
2022-04-08 cs.AI cs.CV cs.DC
Applying Large-Scale Distributed Computing to Structural Bioinformatics -- Bridging Legacy HPC Clusters With Big Data Technologies Using kafka-slurm-agent
Warsaw School of Economics（华沙经济大学）；University of Virginia（弗吉尼亚大学）
KSA通过结合大数据技术与传统HPC集群，为结构生物信息学研究提供了一种新的分布式计算解决方案，用于检测蛋白质结节结构。
2025-03-19 cs.DC
NebulOS: A Big Data Framework for Astrophysics
我们介绍NebulOS，这是一个大数据平台，允许将Linux机器集群视为一台计算机。使用NebulOS，为数据中心编写大规模并行程序的过程并不比为台式计算机编写Python脚本复杂。该平台使大多数预先存在的数据分析软件能够在数据中心中作为规模使用而无需修改。浅的学习曲线和与现有软件的兼容性大大减少了开发分布式数据分析管道所需的时间。该平台基于行业标准的开源大数据技术构建，并继承了多项容错功能。NebulOS通过添加直观的用户界面、自动任务监控和其他可用性功能来增强这些技术。我们提出了一个架构的摘要，提供使用示例，并讨论了系统的性能扩展。
2016-09-14 astro-ph.IM cs.DC
Using Big Data Technologies for HEP Analysis
粒子加速器在高速率碰撞中的优异性能将迫使实验记录大量信息，这是高能物理界正在进入的一个时代。数据集的规模不断扩大，可能成为限制及时有效地产生科学成果的能力的一个因素。最近，工业界开发了新技术和新方法，以满足尽可能快地检索信息以分析PB和EB数据集的需要。为科学家提供这些现代计算工具将导致重新思考HEP中数据分析的原则，使整个科学过程更快，更顺畅。在本文中，我们介绍了使用Apache Spark进行HEP分析的最新进展和最新结果。该研究旨在通过测量性能来定量评估新工具的应用效率，并定性评估新工具的应用效率，重点关注用户体验。第一个目标是通过开发一个数据简化工具来实现的：CMS与CERN Openlab和英特尔合作，使用基于Spark的技术复制了一个真实的物理搜索，其目标是将CMS实验在5小时内收集的1 PB公共数据减少到1 TB适合物理分析的数据格式。第二个目标是通过在Apache Spark中实现多个物理用例来实现的，这些用例使用来自官方CMS数据和模拟的预处理数据集作为输入。通过在不同的硬件上执行不同的最终分析，将其可行性、可用性和可移植性与传统的基于根的工作流进行比较。
2019-01-22 cs.DC
A Taxonomy on Big Data: Survey
大数据是当今最流行的范式，它几乎没有未触及的领域。例如，科学，工程，经济，商业，社会科学和政府。大数据用于使用大量数据集来提高组织性能。数据是组织的资产，这些数据为组织带来收入。因此，大数据到处都是，以提高组织的收入。因此，许多基于大数据的新技术正在涌现。在本文中，我们介绍了大数据的分类。此外，我们对大数据范式提出了深入的见解。
2019-11-25 cs.DC
Real-time intelligent big data processing: technology, platform, and applications
人类利用信息手段不断探索物理空间。直到最近，随着信息技术的飞速发展和数据的不断积累，人类才能用数据驱动的方法更多地了解未知的世界。鉴于数据的及时性，人们越来越意识到实时的【形】数据的重要性。数据处理有两类技术：大数据和流处理，它们没有很好地整合。因此，我们提出了一种创新的增量处理技术命名为流立方体处理大数据和流数据。实现了一个集实时的【形】采集、实时的【形】处理、实时的【形】分析、实时的【形】决策为一体的实时的【形】智能数据处理系统。实时的【形】智能数据处理技术系统配备了可扩展的大数据平台、数据分析工具和机器学习模型。通过实际应用和分析，实时的【形】智能数据处理系统是解决国民经济和社会问题的重要手段。
2021-11-23 cs.DC
Interactive Visualization of Terascale Data in the Browser: Fact or Fiction?
信息可视化应用程序已经变得无处不在，这在很大程度上要归功于Web浏览器使用户能够轻松地广泛分发和部署。依赖于本机代码库和并行处理的科学可视化应用程序不太适合这种广泛的分布，因为浏览器不提供所需的库或计算能力。在本文中，我们将重新审视可视化技术中的这一差距，并探讨如何使用新的Web技术WebAssembly和WebGPU来为浏览器中的大规模科学数据部署强大的可视化解决方案。特别是，我们评估的编程工作，使科学可视化应用程序的浏览器，通过这些技术，并评估其对经典的本地解决方案的竞争力。作为一个主要的例子，我们提出了一种新的GPU驱动的块压缩数据集的等值面提取方法，这是适合于在资源受限的环境中，如浏览器的大容量交互式等值面计算。我们的结论是，Web浏览器即将成为一个有竞争力的平台，即使是最苛刻的科学可视化任务，如交互式可视化等值面从1TB的DNS模拟。我们呼吁研究人员和开发人员考虑投资于社区软件栈，以简化这些即将推出的浏览器功能的使用，从而为浏览器带来可访问的科学可视化。
2020-09-07 cs.DC cs.GR
Evaluation of pilot jobs for Apache Spark applications on HPC clusters
大数据在许多科学领域已经变得非常突出，因此，科学界已经寻求大数据框架来加速处理其日益增长的数据密集型管道。然而，虽然科学界通常依赖高性能计算（HPC）集群来并行化其管道，但许多流行的大数据框架（如Hadoop和Apache Spark）主要设计用于在专用的商品基础设施上执行。本文评估了在HPC集群上Apache Spark的试点作业相对于传统批处理提交的优势。令人惊讶的是，我们的研究结果表明，试点工作批调度提供的速度是温和的不存在（平均0.98），尽管存在长排队时间。此外，试验作业提供了一个额外的调度层，使调试和部署复杂化。我们的结论是，传统的批处理调度应该仍然是在HPC集群上部署Apache Spark应用程序的默认策略。
2019-05-29 cs.DC cs.PF
On Designing a Generic Framework for Cloud-based Big Data Analytics
大数据分析最近引起了广泛的研究关注，因为它能够从大量数据中利用有用的信息。云计算被认为是实施大数据分析的最佳基础设施解决方案之一。这篇研究论文提出了一个基于云的大数据分析的五层模型，该模型使用了dew计算和边缘计算概念。此外，本文还提出了一种基于应用程序识别的数据和计算模型选择技术来创建自定义大数据堆栈的方法
2017-11-04 cs.CY cs.DC
Cloud Big Data Mining and Analytics: Bringing Greenness and Acceleration in the Cloud
自过去十年以来，大数据正在获得压倒性的关注。云计算范式是一种利用计算节点上的大量可用资源进行高效存储的更高效的大数据处理和挖掘模式。云数据采掘引入了利用云资源对云中的海量数据进行数据采掘和分析的概念。但我们能做得更好吗？是的，当然！本章的主要贡献是确定了四种改变游戏规则的技术，用于加速云中数据采掘任务的计算和分析。图形处理单元可用于进一步加速挖掘或分析过程，称为GPU加速分析。此外，近似计算也可以引入大数据分析，通过减少时间和能源来提高过程的效率，从而促进整个计算过程的绿色化。量子计算是近年来发展迅速的一种范式，它还可以在很短的时间内促进高效和快速的大数据分析。我们已经调查了这三种技术，并通过将这三种改变游戏规则的技术与大数据的观点相结合，建立了它们在大数据采掘中的重要性。我们还谈到了另一种未来技术，即，神经处理单元或神经加速器，供研究人员探索各种可能性。这里还简要介绍了大数据和云数据采掘概念。
2021-04-12 cs.DC
Advancements in Big Data Processing in the ATLAS and CMS Experiments
不断增长的科学数据量对分布式计算和网格技术提出了新的挑战。新兴的大数据革命推动了科学领域的探索，包括纳米技术，天体物理学，高能物理学，生物学和医学。新的举措正在改变数据驱动的科学领域，以新的方式进行大规模数据分析。在千万亿次数据处理中，科学家处理的是数据集，而不是单个文件。因此，任务（由许多作业组成）成为网格上千万亿次数据处理的一个单元。将大型数据处理任务拆分为作业可以实现细粒度检查点，类似于在数据传输期间将大型文件拆分为较小的TCP/IP数据包。通过自动重新发送丢弃的TCP/IP数据包，在小数据包中传输大数据可以实现可靠性。类似地，网格上的瞬时作业故障可以通过自动重试来恢复，以在网格上的千万亿次数据处理中实现可靠的六西格玛生产质量。ATLAS和CMS实验的计算经验为可靠性工程提供了基础，将网格技术扩展到千万亿次以上的数据处理。
2013-03-08 cs.DB cs.DC hep-ex
ExaWorks Software Development Kit: A Robust and Scalable Collection of Interoperable Workflow Technologies
为解决高性能计算平台上异构科学工作流软件选择困难的问题，本文开发了ExaWorks SDK，这是一个遵循最佳实践、专门用于HPC平台的工作流技术集合，并详细介绍了其策划、集成、测试、文档等经验，为支持百亿亿次级平台提供了蓝图。
2024-07-23 cs.DC cs.SE
Economic and On Demand Brain Activity Analysis on Global Grids
组织内部缺乏分析科学数据的计算能力，以及知识（科学家）和技术（先进科学设备）的分布是科学学科中常见的两个主要问题。脑科学就是这样一门学科。从MEG（脑磁图）仪器收集的大脑活动数据的分析是医学科学中的一个重要研究课题，因为它有助于医生识别疾病的症状。需要对数据进行详尽的分析，以有效地诊断和分析大脑功能，并需要访问大规模的计算资源。解决这种资源密集型应用的潜在平台是网格。本文介绍了我们开发的脑磁图数据分析系统，利用网格技术，主要是Nimrod-G，Gridbus和Globus。本文介绍了应用经济为基础的网格调度算法的问题域按需处理的分析工作。
2003-02-13 cs.DC
An Experimental Survey on Big Data Frameworks
最近，越来越多的数据是从各种来源生成的。现有的数据处理技术不适合处理大量生成的数据。然而，许多研究工作都集中在大数据上，这是一个时髦的词，指的是处理大量（非结构化）数据。最近提出的大数据应用程序框架有助于存储，分析和处理数据。在本文中，我们讨论了大数据的挑战，并调查了现有的大数据框架。我们还对最流行的大数据框架进行了实验评估和比较研究。本次调查的最后介绍了最佳实践的研究框架的使用在几个应用领域，如机器学习，图形处理和现实世界的应用。
2018-06-06 cs.DC
Writing summary for the state-of-the-art methods for big data clustering in distributed environment
大数据处理系统处理大量的非结构化和结构化数据，通过聚类分析进行存储、处理和分析，这有助于识别看不见的模式，找到它们之间的关系。在大数据技术中，对共享机器进行聚类分析有助于导出关系并使用上下文中的数据做出决策。它可以处理各种形式的原始表格数据以及结构化、半结构化和非结构化数据。数据不必具有线性特性。它可以反映关联和相关的模式和分组。本文的主要贡献和发现是收集和总结最近的大数据聚类技术，以及它们在任何分布式环境中的优点和缺点。
2022-11-10 cs.DC
Workshop Scientific HPC in the pre-Exascale era (part of ITADATA 2024) Proceedings
该论文集收录了2024年ITADATA会议上SHPC研讨会的成果，聚焦前百亿亿次时代HPC在科学应用中的关键问题，涵盖性能可移植性、绿色计算、机器学习、大数据管理及异构与加速器编程等主题。
2025-03-26 cs.DB cs.DC cs.LG
Polypus: a Big Data Self-Deployable Architecture for Microblogging Text Extraction and Real-Time Sentiment Analysis
本文提出了一种基于大数据技术的微博帖子实时的【形】情感分析并行架构。Polypus是一个模块化框架，提供以下功能：（1）从Twitter中提取大量文本，（2）针对时间范围查询优化的分布式非关系存储，（3）基于内存的模块间缓冲，（4）实时的【形】情感分类，（5）时间序列中的近实时的【形】关键词情感聚合，（6）一个HTTP API与Polypus集群进行交互，（7）一个Web界面来可视化地分析结果。整个架构是可自部署的，基于Docker容器。
2018-01-11 cs.DC
Architecture of processing and analysis system for big astronomical data
这项工作探索了使用部署在云中的大数据技术来处理天文数据。我们已经将Hadoop和Spark应用于共同添加天文图像的任务。我们比较了这些框架的开销和执行时间。我们的结论是，这两个框架的性能一般是不相上下。Spark API更灵活，可以轻松构建天文数据处理管道。
2017-03-31 astro-ph.IM cs.DC
Generalized formal model of big data
本文详细介绍了大数据技术的基本特征。分析了现有的“大数据”术语的定义。本文提出并描述了大数据广义形式模型的元素。分析了所提出的模型组件的应用特点。它描述了大数据技术和业务分析之间的根本区别。大数据由分布式文件系统Google文件系统技术、Cassandra、HBase、Lustre和MapReduce以及Hadoop编程结构和许多其他解决方案提供支持。根据麦肯锡研究所等专家的说法，在大数据的影响下，制造业，医疗保健，贸易，个人运动的管理和控制都发生了变化。
2019-05-04 cs.DB cs.DC
The Anatomy of Big Data Computing
信息技术的进步及其在商业、工程、医学和科学研究的几个领域的广泛增长导致信息/数据爆炸。从如此快速增长的海量数据中发现知识和做出决策是数据组织和处理方面的一项具有挑战性的任务，这是一种新兴趋势，称为大数据计算;一种结合大规模计算，新数据密集型技术和数学模型来构建数据分析的新范式。大数据计算需要巨大的存储和计算来进行数据整理和处理，这些数据可以从内部部署或云基础设施提供。本文讨论了大数据计算的发展、传统数据仓库与大数据的区别、大数据计算的分类和支撑技术、大数据与云的集成平台（大数据云）、大数据云的分层架构和组件，最后讨论了开放性技术挑战和未来发展方向。
2015-09-04 cs.DC
ElasticBroker: Combining HPC with Cloud to Provide Realtime Insights into Simulations
对于大规模的科学模拟，存储原始模拟结果以执行后分析是昂贵的。为了最大限度地减少昂贵的I/O，通常使用“原位”分析，其中分析应用程序与科学模拟紧密耦合，并且可以在内存中访问和处理模拟结果。科学领域越来越多地采用大数据方法来分析科学发现的模拟。然而，在两个语义不同的生态系统（HPC和云系统）之间大规模组织、转换和传输数据仍然是一个挑战。为了应对这些挑战，我们设计并实现了ElasticBroker软件框架，该框架将HPC和云应用程序连接起来，形成一个“原位”科学工作流程。ElasticBroker不是将模拟结果写入并行文件系统，而是执行数据过滤、聚合和格式转换，以缩小HPC生态系统和不同云生态系统之间的差距。为了实现这一目标，ElasticBroker将模拟快照重组为连续的数据流，并将其发送到云端。在云中，我们部署分布式流处理服务来执行在线数据分析。在我们的实验中，我们使用ElasticBroker设置和执行跨生态系统的科学工作流，其中包括在超级计算机上运行的并行计算流体动力学（CFD）模拟，以及在云计算平台上运行的并行动态模式分解（DMD）分析应用程序。我们的研究结果表明，使用ElasticBroker在其原生环境中运行由解耦的HPC和大数据作业组成的科学工作流，可以实现高服务质量，良好的可扩展性，并为正在进行的模拟提供高质量的分析。
2020-11-30 cs.DC
Big Data Energy Systems: A Survey of Practices and Associated Challenges
本文综述能源系统大数据管理实践，分析传统及 NoSQL、云平台方案的局限，并探讨数据空间、P2P、区块链等技术在共享与合规中的机遇和挑战。
2025-07-25 cs.DB cs.DC
Document Classification Using Distributed Machine Learning
在本文中，我们研究了朴素贝叶斯分类算法的性能和成功率，用于将土耳其新闻自动分类为预定的类别，如经济，生活，健康等。我们使用Apache大数据技术，如Hadoop，HDFS，Spark和Mahout，并将这些分布式技术应用于机器学习。
2018-02-10 cs.DC cs.IR
A Big Data Approach for Sequences Indexing on the Cloud via Burrows Wheeler Transform
University of Palermo（巴勒莫大学）
索引序列数据在精准医学的背景下非常重要，每天必须收集和分析大量的“组学”数据，以便对患者进行分类并确定最有效的治疗方法。在这里，我们提出了一种依赖于大数据技术的Burrows Wheeler变换计算算法，即，Apache Spark和Hadoop我们的方法是第一个分发索引计算而不仅仅是输入数据集的方法，允许充分利用可用的云资源。
2020-07-20 cs.AI cs.DC cs.DS
AlertMix: A Big Data platform for multi-source streaming data
对流处理的需求正以前所未有的速度增长。大数据不再局限于处理大量数据。在大多数现实场景中，处理流数据的需求只能满足业务需求。交易、欺诈检测、系统监控、产品维护以及Twitter和YouTube视频等社交媒体数据都需要它。在这种情况下，关注于批处理的“太晚架构”无法实现用例。在本文中，我们提出了一个端到端的大数据平台AlertMix，用于处理多源流数据。它的架构以及如何利用各种大数据技术在这项工作中进行了解释。我们展示了我们的平台在目前由平台处理的实时流媒体数据上的性能。
2018-06-18 cs.DC cs.IR
