Big Data and Fog Computing
雾计算作为网络拓扑中位于边缘设备和云之间的计算层。它们的计算能力比边缘更强，但远低于云数据中心。它们通常具有高可靠性和始终在线的Internet连接。利用雾的应用程序可以避免云计算的网络性能限制，同时比边缘计算受到更少的资源约束。因此，它们提供了一种有益的现有模式的平衡。本文探讨了大数据背景下雾计算的各个方面。
2017-12-27 cs.DC
Resource Management and Scheduling for Big Data Applications in Cloud Computing Environments
本章介绍大数据处理平台的软件架构。它将提供在云环境中部署大数据处理系统时所涉及的资源管理技术的深入知识。它从最基本的开始，逐步介绍我们分为多个层次的资源管理的核心组件。它涵盖了国家的最先进的实践和研究，在SLA为基础的资源管理，特别侧重于作业调度机制。
2018-12-31 cs.DC
Big Data Analytics = Machine Learning + Cloud Computing
大数据对不同的人意味着不同的东西。大数据的规模和挑战通常使用三个属性来描述，即数量，速度和多样性（3V），这只反映了数据的某些方面。在本章中，我们回顾了“大数据”一词的历史和相关的分析。我们用大数据的其他属性来增强3V，使其更加全面和相关。我们发现，大数据不仅仅是3V，而是32 V，即9 V，涵盖了大数据背后的根本动机，即基于不同假设或统计模型的商业智能（BI），以便大数据分析（BDA）能够使决策者对一些关键决策或研究结果做出有用的预测。大数据的历史已经证明，执行BDA最具成本效益的方法是在基于云计算（CC）的基础设施上使用机器学习（ML），或者简单地说，ML + CC -> BDA。本章致力于帮助决策者将BDA定义为解决其业务需求的解决方案和机会。
2016-01-13 cs.DC
Big Data Analytics-Enhanced Cloud Computing: Challenges, Architectural Elements, and Future Directions
云计算的出现使得弹性容量的动态配置成为可能。云数据中心包含数千台物理服务器，托管数量级更多的虚拟机，这些虚拟机可以按需分配给按需付费的用户。然而，并非所有系统都能够通过添加更多虚拟机来扩展。因此，即使对于可扩展的系统，也必须提前规划工作负载，而不是使用纯粹的反应式方法。考虑到生成实时的监控信息的现代云基础设施的规模，以及操作系统和应用程序生成的所有信息，这些数据带来了大数据方法所解决的数量、速度和多样性问题。在本文中，我们研究如何利用大数据分析有助于增强云计算环境的操作。我们讨论了大数据分析在云中的各种应用，通过大数据分析增强云操作的开放问题，以及云异常检测和预防的架构以及未来的研究方向。
2015-10-22 cs.DC
Sea: A lightweight data-placement library for Big Data scientific computing
最近大量的开放科学数据促使科学计算从计算密集型向数据密集型转变。虽然存在许多大数据框架，可以最大限度地降低数据传输的成本，但很少有科学应用程序集成这些框架或采用数据放置策略来降低成本。科学应用程序通常依赖于成熟的命令行工具，这些工具需要完整的重新配置才能整合现有的框架。我们开发Sea是为了实现在HPC集群上执行的科学应用程序的数据放置策略，而无需重新编写工作流。Sea利用GNU C库拦截来拦截应用程序进行的符合POSIX的文件系统调用。我们设计了一个性能模型，并评估了Sea在处理代表性神经成像数据集（Big Brain）的合成数据密集型应用程序上的性能。我们的研究结果表明，海显着提高性能，高达3 $\times$的一个因素。
2022-07-04 cs.DC
Cloud Big Data Mining and Analytics: Bringing Greenness and Acceleration in the Cloud
自过去十年以来，大数据正在获得压倒性的关注。云计算范式是一种利用计算节点上的大量可用资源进行高效存储的更高效的大数据处理和挖掘模式。云数据采掘引入了利用云资源对云中的海量数据进行数据采掘和分析的概念。但我们能做得更好吗？是的，当然！本章的主要贡献是确定了四种改变游戏规则的技术，用于加速云中数据采掘任务的计算和分析。图形处理单元可用于进一步加速挖掘或分析过程，称为GPU加速分析。此外，近似计算也可以引入大数据分析，通过减少时间和能源来提高过程的效率，从而促进整个计算过程的绿色化。量子计算是近年来发展迅速的一种范式，它还可以在很短的时间内促进高效和快速的大数据分析。我们已经调查了这三种技术，并通过将这三种改变游戏规则的技术与大数据的观点相结合，建立了它们在大数据采掘中的重要性。我们还谈到了另一种未来技术，即，神经处理单元或神经加速器，供研究人员探索各种可能性。这里还简要介绍了大数据和云数据采掘概念。
2021-04-12 cs.DC
FogGIS: Fog Computing for Geospatial Big Data Analytics
云地理信息系统（GIS）已成为分析、处理和传输地理空间数据的工具。雾计算是一种范例，其中雾设备有助于提高吞吐量并减少客户端边缘的延迟。本文开发了一个基于雾的框架命名为雾地理信息系统从地理空间数据挖掘分析。我们用Intel Edison做了一个原型，一个嵌入式微处理器。我们通过初步分析验证了FogGIS。包括压缩和覆盖分析。结果表明，雾计算在地理空间数据分析方面有很大的潜力。我们使用了几种开源压缩技术来减少向云的传输。
2016-12-10 cs.DC
Autonomic Intrusion Response in Distributed Computing using Big Data
我们介绍了一种基于行为异常和潜在威胁的分类，理解和预测，发布建议，并采取行动来解决突出问题的入侵检测方法。我们的工作旨在通过分析操作过程中生成的大型数据集，在混合分布式计算环境中自动识别和响应网络安全威胁的过程中寻求实用的解决方案。云计算和边缘计算作为商业和社会解决方案的技术的使用增长推动了我们的发展。技术组合和复杂的操作使这些环境成为劫持、中间人、拒绝服务、网络钓鱼等攻击的目标。自主入侵响应系统实现了数据分析和上下文感知推荐系统的创新模型，以响应攻击和自我修复。我们介绍了一个概念验证的实现，并根据基于公共云和私有云的实验场景的数据集进行评估。结果表明，响应效率和扩展到大环境的潜力显着提高。
2018-11-13 cs.DC
On Designing a Generic Framework for Cloud-based Big Data Analytics
大数据分析最近引起了广泛的研究关注，因为它能够从大量数据中利用有用的信息。云计算被认为是实施大数据分析的最佳基础设施解决方案之一。这篇研究论文提出了一个基于云的大数据分析的五层模型，该模型使用了dew计算和边缘计算概念。此外，本文还提出了一种基于应用程序识别的数据和计算模型选择技术来创建自定义大数据堆栈的方法
2017-11-04 cs.CY cs.DC
Scalable Traffic Predictive Analysis using GPU in Big Data
本文利用Spark大数据平台，在CPU和GPU上采用并行计算系统进行预测分析。交通数据集被用来预测洛杉矶县的交通拥堵。它是从美国一个流行的平台收集的，用于使用用户共享的设备信息和报告跟踪道路信息。在这个可扩展的大数据系统中，可以使用GPU和CPU来存储和处理大规模的交通数据集。本文的主要贡献是提高机器学习在基于GPU的分布式并行计算系统中的性能，以预测交通拥堵。我们表明，并行计算可以实现使用GPU和CPU与现有的Apache Spark平台。该方法也适用于不同领域的大规模数据集。过程建模以及结果使用计算时间和指标进行解释：AUC，Precision和Recall。它应该有助于智慧城市的交通管理。
2021-06-29 cs.DC
Evaluating Serverless Architecture for Big Data Enterprise Applications
在本文中，我们研究了使用云原生原语执行大规模数据处理的无服务器计算。
2021-10-26 cs.DC
Video Big Data Analytics in the Cloud: A Reference Architecture, Survey, Opportunities, and Open Research Issues
物联网（IoT）上多媒体设备的激增产生了前所未有的数据量。因此，世界已经进入了大数据时代。近年来，随着分布式计算技术的兴起，云上的视频大数据分析引起了研究者和实践者的关注。当前的技术和市场趋势需要一个高效的视频大数据分析框架。然而，目前的工作过于有限，无法提供一个完整的调查最近的研究工作，视频大数据分析在云中，包括大量的视频数据的管理和分析，所面临的挑战，机遇和有前途的研究方向。为了达到这一目的，我们提出了这项研究，它对云中视频大数据分析的最新文献进行了广泛的概述。它还旨在弥合大规模视频分析挑战、大数据解决方案和云计算之间的差距。在这项研究中，我们澄清了管理视频分析领域的基本术语和视频大数据的特点，同时建立了与云计算的关系。提出了一种面向服务的云智能视频大数据分析分层参考架构。然后，进行了全面而敏锐的审查，以研究视频大数据分析的前沿研究趋势。最后，我们确定并阐明了几个开放的研究问题和挑战，这已经提出了部署大数据技术在云中的视频大数据分析。据我们所知，这是第一项研究，提出了在云中的视频大数据分析的一般视图。本文提供了在大数据和云计算时代推进视频分析的研究和技术。
2020-11-16 cs.DC
Scientific Computing Meets Big Data Technology: An Astronomy Use Case
科学分析通常将多个单进程程序组合成一个子程序。单进程程序的端到端并行流被称为多任务应用程序。通常，来自HPC软件栈的工具用于并行化这些分析。在这项工作中，我们研究了一种替代方法，该方法使用Apache Spark（一种现代大数据平台）来并行化多任务应用程序。我们提出Kira，一个灵活的分布式天文学图像处理工具包，使用Apache Spark。然后，我们使用Kira工具包来实现天文图像的源提取器应用程序，称为Kira SE。以Kira SE为用例，我们研究了运行在EC2云上的Apache Spark的编程灵活性、底层丰富性、调度能力和性能。通过利用数据局部性，Kira SE在Amazon EC2云上使用512个核心分析1TB数据集时，实现了2.5倍于等效C程序的加速。此外，通过利用最初为大数据基础设施设计的软件，Kira SE实现了与NERSC Edison超级计算机上运行的C实现竞争的性能。我们使用Kira的经验表明，Apache Spark等新兴大数据平台是多任务科学应用程序的高性能替代方案。
2016-03-14 cs.DC
Performance Evaluation of Big Data Processing Strategies for Neuroimaging
由于图像采集方法、开放科学和数据共享的进步，神经成像数据集的规模正在迅速增长。然而，神经成像处理引擎对大数据处理策略的采用仍然有限。在这里，我们评估了三个大数据处理策略（存内计算，数据局部性和懒惰评估）的典型神经成像用例，由BigBrain数据集表示。我们使用Apache Spark和Nipype作为Dell EMC 500强集群上的代表性大数据和神经成像处理引擎来对比这些不同的策略。通过比较应用程序的数据写入速率与文件系统带宽和并发进程数，对大数据阈值进行建模。该模型承认Linux内核提供的页面缓存对大数据应用程序的性能至关重要。结果表明，单独的存内计算可将执行速度提高1.6倍，而当与数据局部性相结合时，这一系数可达到5.3。发现惰性评估策略增加了缓存命中的可能性，进一步缩短了处理时间。在对大于75 GB的大小的图像执行的典型图像处理操作上可能观察到这样的重要加速值。从我们的模型的一个大概的推测表明，存内计算单独将不会加快目前的功能性MRI分析，除非加上数据的本地化和处理约280个主题同时进行。此外，我们观察到，使用内存中文件系统（tmpfs）模拟存内计算不会达到内存引擎的性能，可能是由于交换到磁盘和缺乏数据清理。我们的结论是，大数据处理策略是值得开发的神经成像应用。
2019-04-02 cs.DC
SoA-Fog: Secure Service-Oriented Edge Computing Architecture for Smart Health Big Data Analytics
智能健康模式采用互联网连接的可穿戴设备进行远程监测，诊断以提供廉价的医疗保健解决方案。雾计算通过处理身体传感器网络附近的数据来减少延迟并提高吞吐量。在本文中，我们提出了一种安全的面向服务的边缘计算架构，并在最近发布的公共数据集上进行了验证。结果和讨论支持智能健康应用程序的建议架构的适用性。我们提出了SoA-Fog，即使用雾设备有效管理健康数据的三层安全框架。分别从客户层、雾层和云层三个方面讨论了安全问题。采用双赢螺旋模型，结合用例和顺序图设计了原型系统。使用2011年至2014年印度马哈拉施特拉邦疟疾病媒传播疾病阳性地图的拟议框架进行重叠分析。移动客户端作为测试用例。我们提出的安全雾框架和最先进的基于云的框架之间进行了比较分析。
2017-12-25 cs.DC
Performance of Distributed File Systems on Cloud Computing Environment: An Evaluation for Small-File Problem
针对分布式文件系统在小文件及复杂机器学习场景下的性能问题，提出结合高性能计算、大数据与共享存储的架构，并通过实验验证其适用性。
2023-12-29 cs.DC
Video Big Data Analytics in the Cloud: Research Issues and Challenges
随着分布式计算技术的兴起，云端视频大数据分析引起了研究者和实践者的关注。当前的技术和市场趋势需要一个高效的视频大数据分析框架。然而，目前的工作太有限，无法提供一个云计算中视频大数据分析的架构，包括管理和分析视频大数据，挑战和机遇。本文提出了一种面向服务的云智能视频大数据分析分层参考架构。最后，我们确定并阐明了几个开放的研究问题和挑战，这已经提出了部署大数据技术在云中的视频大数据分析。本文提供了在大数据和云计算时代推进视频分析的研究和技术。这是第一项研究，它展示了我们所知的云中视频大数据分析的一般视图。
2020-11-05 cs.DC
Application of cloud computing platform in industrial big data processing
本文研究云计算在工业大数据处理中的应用，分析其原理、工业大数据需求及在多场景的应用效果，探讨落地挑战并提出对策，展望融合趋势与新兴技术前景，为产业应用与学术研究提供支撑。
2024-05-23 cs.DB cs.DC
IOTSim: a Cloud based Simulator for Analysing IoT Applications
一项颠覆性的技术不仅影响着计算模式，也影响着所有其他业务，这就是大数据的兴起。物联网（IoT）应用被认为是大数据的主要来源。这种物联网应用通常通过云来支持，其中数据由大数据处理系统存储和处理。为了提高云基础设施的效率，使其能够有效地支持物联网大数据应用，重要的是要了解这些应用程序和相应的大数据处理系统将如何在云计算环境中执行。然而，考虑到大数据处理系统的可扩展性和复杂要求，对实际云基础设施的经验评估可能会阻碍及时且具有成本效益的物联网解决方案的开发。因此，在云环境中支持物联网应用的模拟器是非常必要的，但此类工作仍处于起步阶段。为了填补这一空白，我们设计并实现了IOTSim，它支持并实现了在云计算环境下使用MapReduce模型模拟物联网大数据处理。一个真实的案例研究验证了模拟器的有效性。
2016-02-21 cs.DC
Analytical Insight of Earth: A Cloud-Platform of Intelligent Computing for Geospatial Big Data
本文介绍AI Earth，一个基于阿里云的遥感智能计算平台，提供公开数据集、计算工具、深度学习模型及大视觉分割模型，支持用户训练和部署模型，以应对海量地球观测数据处理的挑战。
2023-12-27 cs.DC
Big Data Analytics on Traditional HPC Infrastructure Using Two-Level Storage
数据密集型计算已经成为传统高性能计算（HPC）集群的主要工作负载之一。目前，在HPC集群上部署数据密集型计算软件框架仍然面临性能和可扩展性问题。在本文中，我们开发了一个新的两级存储系统，集成Tachyon，一个内存中的文件系统和OrangeFS，一个并行文件系统。我们模拟了四种存储结构的I/O吞吐量：HDFS，OrangeFS，Tachyon和两级存储。我们进行了计算实验来描述两级存储的I/O吞吐量行为，并使用TeraSort基准测试将其性能与HDFS和OrangeFS进行了比较。理论模型和实验测试都表明，两级存储系统可以提高聚合I/O吞吐量。这项工作为将来设计和构建HPC系统奠定了坚实的基础，这些HPC系统可以在保留现有计算资源的情况下为I/O密集型工作负载提供更好的支持。
2015-10-10 cs.DC
Integrating R and Hadoop for Big Data Analysis
使用传统方法（如关系数据库管理系统或用于统计和可视化的桌面软件包）分析和处理大数据可能非常困难。相反，大数据需要具有数百甚至数千个计算节点的大型集群。官方统计越来越多地考虑使用大数据来获得新的统计数据，因为大数据源可以产生比传统来源更相关和更及时的统计数据。Hadoop是一种成功且广泛用于在商品硬件集群上存储和处理大数据集的软件工具。Hadoop框架包含库，分布式文件系统（HDFS），资源管理平台，并实现了用于大规模数据处理的MapReduce编程模型版本。在本文中，我们研究了Hadoop与R集成的可能性，R是一种用于统计计算和数据可视化的流行软件。我们提出了三种集成它们的方法：R与Streaming，Rhipe和RHadoop，并强调了每种解决方案的优点和缺点。
2014-07-18 cs.DC
Fog Computing Architecture: Survey and Challenges
生成大量数据的新兴技术（如物联网（IoT）服务）需要延迟感知计算平台来支持时间关键型应用程序。由于云计算的按需服务和可扩展性特征，大数据应用处理在云基础设施中完成。仅在云中管理大数据应用程序对于与智能交通系统、医疗保健解决方案、应急响应系统和内容交付应用程序相关的延迟敏感型应用程序来说并不是一种有效的解决方案。因此，允许应用程序在云和终端设备之间执行计算操作的雾计算范例已经出现。在雾架构中，物联网设备和传感器连接到位于用户附近的雾设备，它还负责中间计算和存储。大多数计算将通过消除对云资源的完全依赖而在边缘上完成。在这一章中，我们调查和调查雾计算架构已提出在过去几年中。此外，我们还研究了物联网应用程序和平台的要求，以及云系统在执行物联网应用程序时所面临的限制。最后，我们回顾了当前的研究工作，特别是专注于大数据应用程序执行雾和解决几个开放的挑战，以及未来的研究方向。
2018-11-22 cs.DC
Optimizing Distributed Networking with Big Data Scheduling and Cloud Computing
本文研究分布式网络中的大数据调度问题，结合云计算与软件定义网络分析数据管理的机遇和挑战，指出云环境大数据调度及 coflow 调度算法是未来网络优化重点。
2023-11-08 cs.DC cs.NI
Identifying the potential of Near Data Computing for Apache Spark
虽然集群计算框架正在不断发展以提供实时数据分析功能，但Apache Spark已经成为大数据分析的最前沿，成为批量和流数据处理的统一框架。由于过去十年的技术进步，近数据计算（NDC）也重新引起了人们的兴趣。然而，目前尚不清楚NDC架构是否可以提高Apache Spark等大数据处理框架的性能。在这份立场文件中，我们假设支持NDC架构，包括基于可编程逻辑的混合2D集成处理内存和存储处理Apache Spark，通过对Ivy Bridge Server上基于Apache Spark的工作负载进行广泛分析。
2017-05-09 cs.DC
Cloud based Big Data Analytics: A Survey of Current Research and Future Directions
数字时代的到来导致了不同类型的数据与日俱增。事实上，预计到2016年，总数据的一半将在云上。这些数据很复杂，需要存储、处理和分析，以获得可供组织使用的信息。云计算为大数据分析提供了一个合适的平台，以满足后者的存储和计算需求。这使得基于云的分析成为一个可行的研究领域。然而，在实际应用这种协同模式之前，有几个问题需要解决，风险需要减轻。本文探讨了该领域的现有研究、面临的挑战、存在的问题和未来的研究方向。
2015-08-18 cs.DC
A Parallel Random Forest Algorithm for Big Data in a Spark Cloud Computing Environment
随着大数据时代的到来，如何从数据集中高效、准确地获取有价值的知识，越来越受到学术界和工业界的关注。在Apache Spark平台上提出了一种面向大数据的并行随机森林（PRF）算法。基于数据并行优化和任务并行优化相结合的混合方法对PRF算法进行了优化。从数据并行优化的角度出发，采用垂直数据划分的方法有效地降低了数据通信的开销，采用数据复用的方法使训练数据集可以重用，减少了数据量。从任务并行优化的角度出发，在RF的训练过程中采用了双重并行的方法，根据PRF的并行训练过程和弹性分布式数据集（RDD）对象的依赖关系，建立了一个任务有向无环图（DAG）。然后，为DAG中的任务调用不同的任务调度器。此外，为了提高算法对大型，高维和噪声数据的准确性，我们在并行化之前的训练过程中执行降维方法和预测过程中的加权投票方法。大量的实验结果表明，与Spark MLlib等相关算法相比，该算法在分类精度、性能和可扩展性等方面具有明显的优势。
2018-10-17 cs.DC
Towards Confidential Computing: A Secure Cloud Architecture for Big Data Analytics and AI
Leibniz Supercomputing Centre（莱布尼茨超级计算中心）
本文针对生物医学等领域在云环境中面临的数据安全风险，提出一种安全云架构，实现工作流打包与调度，并保障数据、逻辑和计算在传输、使用及静态存储中的安全。
2023-05-28 cs.AI cs.DC
Applying Large-Scale Distributed Computing to Structural Bioinformatics -- Bridging Legacy HPC Clusters With Big Data Technologies Using kafka-slurm-agent
Warsaw School of Economics（华沙经济大学）；University of Virginia（弗吉尼亚大学）
KSA通过结合大数据技术与传统HPC集群，为结构生物信息学研究提供了一种新的分布式计算解决方案，用于检测蛋白质结节结构。
2025-03-19 cs.DC
Analysis of Distributed Algorithms for Big-data
本文研究面向大数据的并行与分布式算法及文件系统，在OpenMP本地层面和全局分布式层面评估可扩展性，并通过多种开源应用与系统开展性能分析。
2024-04-09 cs.DC
Big Memory Servers and Modern Approaches to Disk-Based Computation
大内存解决方案是一种新的计算模式，由当今可用的商品服务器平台提供便利。它向操作系统提供了一个大的RAM子系统，因此为应用程序员提供了许多以前不可用的数据管理选项。此外，某些特定于供应商的解决方案提供了额外的存储管理选项，这将带来更好的数据可靠性和访问速度。
2022-07-23 cs.DC
Constructing Gazetteers from Volunteered Big Geo-Data Based on Hadoop
传统地名录由权威制图机构建立和维护。在大数据时代，通过从Web上挖掘丰富的自愿地理信息（VGI），可以以数据驱动的方式构建地名录。在这项研究中，我们建立了一个可扩展的分布式平台和一个高性能的Hadoop生态系统的基础上，收获众包地名索引条目的工作流程。使用基于Flickr中的地理标记数据集的实验，我们发现，基于MapReduce的工作流上运行的空间启用Hadoop集群可以减少处理时间相比，传统的基于桌面的操作的数量级。我们演示了如何使用这样一个新的空间计算基础设施，以促进地名索引的研究。此外，我们引入了一个基于出处的信任模型的质量保证。这项工作提供了新的见解，丰富未来的地名录与Hadoop集群的使用，并作出贡献，在连接地理信息系统的云计算环境的下一个前沿的大地理数据分析。
2014-02-07 cs.DC
Scalable System Scheduling for HPC and Big Data
在快速扩展的并行处理领域，作业调度器是现代大数据架构和超级计算系统的“操作系统“。作业调度器分配计算资源并控制这些资源上的进程的执行。从历史上看，作业调度器是超级计算机的领域，而作业调度器被设计为在数天或数周内运行大规模、长时间运行的计算。最近，大数据工作负载产生了对一类新计算的需求，这些计算包括许多需要数秒或数分钟的短计算，这些计算处理大量数据。对于超级计算机和大数据系统，作业调度器的效率代表了系统效率的基本限制。详细的测量和建模的性能的集群是至关重要的最大化的大规模计算系统的性能。本文对15个超级计算和大数据集群进行了详细的特征分析。对于大数据工作负载，调度器延迟是调度器最重要的性能特征。这些调度器的延迟的理论模型的开发和用于设计实验，旨在测量调度器延迟。详细的基准测试四个最流行的插件（Slurm，网格引擎之子，Mesos和Hadoop YARN）进行。理论模型与数据进行比较，并表明，调度器的性能可以由两个关键参数：调度器的边际延迟$t_s$和非线性指数$α_s$。对于所有四个计算器，对于仅持续几秒的计算，计算系统的利用率降低到<10%。透明地聚合短计算的多级编译器可以将这些短计算的利用率提高到> 90%，用于测试的所有四个编译器。
2017-05-08 cs.DC
BiJuTy: An Interactive HPC-Aware Big Data Cluster Lifecycle Manager and Performance Assessment Utility for JupyterHub
Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据分析和人工智能中心）；Center for Interdisciplinary Digital Sciences (CIDS)（跨学科数字科学中心）；TUD Dresden University of Technology（德累斯顿工业大学）
提出BiJuTy，通过Jupyter交互界面简化HPC上大数据集群的生命周期管理和性能评估，降低使用门槛，支持多集群管理和迭代优化。
2026-06-24 cs.DC
A Review of CUDA, MapReduce, and Pthreads Parallel Computing Models
高性能计算（HPC）和图形处理单元（GPU）的出现为需要并行处理以进行鲁棒和及时的数据分析的大数据事务（大数据）提供了巨大的计算资源。虽然已经提出了许多HPC框架，但并行编程模型提出了许多挑战，例如，如何充分利用不同编程模型中的功能，通过CPU和GPU中的多线程来实现和管理并行性。在本文中，我们将概述三种并行编程模型，CUDA，MapReduce和Pthreads。目标是探索有关该主题的文献，并提供编程模型中呈现的功能的高级视图，以帮助高性能用户简明地理解并行编程概念，从而使用高性能计算更快地实现大数据项目。
2014-10-16 cs.DC
Distributed and Big Data Storage Management in Grid Computing
大数据存储管理是网格计算环境中最具挑战性的问题之一，因为大量数据密集型应用经常涉及高度的数据访问局部性。网格应用程序通常处理大量数据。在传统的方法中，高性能计算包括用于数据存储和数据复制的专用服务器。在本文中，我们提出了一种新的机制，分布式和大数据存储和资源发现服务。提出了一种网格环境下的动态可扩展存储管理（DSSM）体系结构。这允许在网格计算中不仅共享计算周期，而且共享存储空间。可以从任何网格机器透明地访问存储，从而允许在网格用户和应用程序之间轻松地进行数据共享。允许创建虚拟空间的虚拟ID的概念已经被引入和使用。DSSM将所有面向网格的存储设备（节点）划分为多个地理上分布的域，以促进本地化并简化域内存储管理。采用基于网格服务的存储资源，随着需求的增长，将简单的模块化服务逐块堆叠起来。为此，我们提出了四个定义轴：DSSM架构和算法描述，存储资源和资源发现到网格服务，评估目的原型系统，动态，可扩展性和带宽，并讨论结果。在底层和上层的算法标准化的动态和可扩展的存储管理，以及更高的带宽已经设计。
2012-07-12 cs.DC cs.NI
High-Performance Serverless Computing: A Systematic Literature Review on Serverless for HPC, AI, and Big Data
Department of Computer Science, University of Pisa（帕尔米斯大学计算机科学系）；ISTI – National Research Council（国家研究理事会ISTI）
本文系统综述了122篇论文，提出八个研究方向和九个用例领域，分析了服务器less计算在HPC、AI和大数据中的应用趋势和合作网络。
2026-01-14 cs.DC cs.LG
A Feasible Graph Partition Framework for Random Walks Implemented by Parallel Computing in Big Graph
图划分是大规模图数据并行计算的基本问题。在矩阵计算和PageRank等应用中，已经提出了许多图划分算法来解决这个问题，但没有人注意到随机游动。随机游动是研究图结构的一种广泛应用的方法。随机游动图划分的挑战包括大量的时间之间的通信，大量的顶点的复制，不平衡的分区等，在本文中，我们提出了一个可行的图划分框架的并行计算实现的大图的随机游动。该框架基于两个优化函数，在保证负载均衡的前提下，降低带宽、内存和存储开销。在此框架下，提出了几种贪婪图划分算法。我们还提出了五个指标，从不同的角度来评估这些算法的性能。通过在真实世界的大图数据集上运行算法，实验结果表明，该框架中的算法能够针对不同的需求解决随机游走的图划分问题，在减少通信次数方面最好的结果提高了70倍以上。
2014-12-31 cs.DC cs.SI physics.soc-ph
An Approach for Selecting Cloud Service Adequate to Big Data Case Study: E-health Context
不断扩大的云计算服务为消费者提供了寻找最佳服务和最佳成本的绝佳机会。它提供了计算能力和存储空间，特别适用于大数据处理。然而，它提出了新的挑战，如何选择最好的服务出巨大的游泳池。消费者收集必要的信息并分析所有服务提供商以做出正确的决定是非常耗时的。此外，从计算的角度来看，这是一项要求很高的任务，因为相同的计算可能由具有类似需求的多个消费者重复进行。因此，在本文中，我们提出了一种基于层次分析法（AHP）的方法，该方法根据其参数和标准管理适合大数据的云服务的选择。为了验证该方法的有效性，我们将其应用于一个案例研究。所研究的案例是关于在英国国家卫生服务（NHS）的背景下为大数据选择合适的云服务。
2020-03-31 cs.DC
Efficient and Reliable Hybrid Cloud Architechture for Big Data
本文的目标是提出一个云计算框架，这是可行的，必须处理大量的数据。在我们的原型系统中，我们考虑了孟加拉国的国家ID数据库结构，这是由孟加拉国选举委员会准备。使用这个数据库，我们提出了一个交互式的图形用户界面孟加拉人搜索（BDPS），使用的混合结构的云计算处理的Apache Hadoop的数据库是由HiveQL实现。该基础设施分为两部分：基于Eucalyptus的本地托管云和在知名的Amazon Web Service（AWS）上实现的远程云。孟加拉方面的一些常见问题，其中包括数据流量拥塞，服务器超时和服务器停机问题也进行了讨论。
2014-01-09 cs.DC
FpgaHub: Fpga-centric Hyper-heterogeneous Computing Platform for Big Data Analytics
FpgaHub提出以FPGA为中心的超异构计算平台，利用可重构计算和丰富IO接口作为数据与控制枢纽，协同CPU、GPU、DPU等处理器，以突破专用硬件IO限制并提升大数据分析性能。
2025-03-12 cs.AR cs.DC
Edge Computing for User-Centric Secure Search on Cloud-Based Encrypted Big Data
云服务提供商为托管非结构化数据提供了一种低成本且方便的解决方案。但是，云服务作为第三方解决方案，不向用户提供数据控制。这引发了许多拥有敏感数据的组织（用户）对使用基于云的解决方案的安全和隐私问题的担忧。用户端加密可以通过建立以用户为中心的云服务并将数据控制权授予用户来解决这些问题。尽管如此，用户侧加密限制了处理（例如，搜索）云上的加密数据。因此，在这项研究中，我们提供了一个框架，使加密的多组织（即，多源）大数据，而不向云提供商透露数据。我们的框架利用边缘计算的局部性特征，以实时的方式提供以用户为中心的搜索能力。特别是，边缘系统智能预测用户的搜索模式，对多源大数据搜索空间进行剪枝，减少搜索时间。剪枝系统基于从云上的集群大数据集进行有效采样。对于每个聚类，修剪系统根据用户的搜索倾向动态地采样适当数量的术语，使得聚类被最优地表示。我们开发了一个以用户为中心的搜索系统的原型，并对多个数据集进行了评估。实验结果表明，在修剪质量和搜索精度的27%的提高。
2019-08-10 cs.CR cs.DC
Advanced computing for reproducibility of astronomy Big Data Science, with a showcase of AMIGA and the SKA Science prototype
Instituto de Astrofı́sica de Andalucı́a, CSIC（安达卢西亚天体物理研究所，西班牙高等科学研究委员会）
本文探讨了通过高级计算技术提升天文学大数据可重复性，展示了AMIGA和SKA科学原型的应用与挑战。
2026-01-12 astro-ph.IM cs.DC
A hybrid architecture for astronomical computing
随着一批大型科学仪器的建设和投入使用，天文学已经进入了大数据时代。大数据处理的新方法和基础设施已经成为许多天文学家的新需求。云计算、Map/Reduce、Hadoop、Spark等许多新技术近年来如雨后春笋般涌现。相对于高性能计算（HPC），数据是这些新技术的核心。因此，一个新的计算架构基础设施是必要的，它可以由HPC和大数据处理共享。本文以中国虚拟天文台天文云项目为背景，对混合计算平台进行了优化设计。其中包括硬件体系结构、集群管理、作业和资源调度。
2018-01-19 astro-ph.IM cs.DC
ARM Wrestling with Big Data: A Study of Commodity ARM64 Server for Big Data Workloads
ARM处理器由于其良好的计算能量比在过去十年中主导了移动终端市场。在这个云数据中心和大数据分析的时代，人们越来越关注节能处理，而不仅仅是高吞吐量计算。ARM的第一个商品服务器级处理器是最近的AMD A1100系列处理器，基于64位ARM Cortex A57架构。在本文中，我们研究了基于此ARM64 CPU的服务器的性能和能效，相对于运行AMD Opteron 3300系列x64 CPU的可比服务器，用于大数据工作负载。具体来说，我们在Apache Hadoop v2.7上以伪分布式设置研究了英特尔HiBench Web、查询和机器学习基准套件，数据大小可达$20GB$文件、$5M$网页和$500M$元组。我们的研究结果表明，ARM64服务器的运行时性能与基于整数的工作负载（如Sort和Hive查询）的x64服务器相当，只有在没有充分利用数据并行时，才落后于PageRank等浮点密集型基准测试。我们还看到，ARM 64服务器消耗$\frac{1}{3}^{rd}$能量，并且具有比x64服务器低$50-71\%$的能量延迟积（EDP）。这些结果为托管大数据工作负载的ARM64数据中心提供了降低运营成本的希望，同时为进一步分析提供了机会。
2017-09-09 cs.DC
SAGE: Percipient Storage for Exascale Data Centric Computing
我们的目标是实现一个大数据/极端计算（BDEC）能力的系统基础设施，因为我们走向时代的Exascale计算-称为SAGE（Percipient StorAGe for Exascale Data Centric Computing）。SAGE系统将能够在Exascale范围内存储和处理大量数据，并为Exascale级应用程序提供使用这种存储基础设施的能力。SAGE解决了在下一代以数据为中心的计算时代，大数据分析和HPC之间越来越多的重叠，由于大量数据源的激增，例如大型分散的科学仪器和传感器，其数据需要处理，分析和集成到模拟中，以获得科学和创新的见解。事实上，Exascale I/O作为模拟代码尚未充分处理的问题，已由SAGE平台适当解决。本文的目的是讨论的软件架构的SAGE系统，并期待在早期的结果，我们已经获得了一些关键的方法，系统的不断发展。
2018-05-01 cs.DC
An Integrated (Crop Model, Cloud and Big Data Analytic) Framework to support Agriculture Activity Monitoring System
本文针对农业活动监测面临的海量异构数据处理与实时协作需求，提出一个融合作物模型、云计算和大数据分析的集成地理信息框架，以提供可扩展、透明且高效的系统支持。
2024-11-19 cs.DC
Cloud Template, a Big Data Solution
如今，云计算已成为通过互联网托管和交付大数据解决方案的不同服务的新概念。云计算对小型和企业的不同业务所有者都具有吸引力，因为它消除了用户提前计划供应的要求，并允许企业从小开始，只有在服务需求增加时才增加资源。尽管事实上云计算为IT行业提供了巨大的机会，但云计算技术的发展目前存在几个问题。本研究提出了一个想法，引入云模板，将用于分析，设计，开发和实施云计算系统。我们将提出一个基于模板的设计云计算系统，突出其关键概念，架构原理和最先进的实现，以及研究的挑战和未来的工作要求。这一想法的目的是更好地理解云计算的设计挑战，并确定在这个日益重要的大数据领域的重要研究方向。我们将描述一系列的研究，我们和其他研究人员已经评估了这些技术在实际情况下的有效性。最后，在这项研究中，我们将展示如何在工业中以实用和有用的方式实现这一想法。
2013-08-05 cs.DC cs.NI cs.SE
Memory-Based Multi-Processing Method For Big Data Computation
互联网和计算机应用的发展产生了大量的数据。它们被称为大数据，由大量、高速和可变的数据集组成，需要在正确的时间范围内以正确的速度进行管理，以实现实时数据处理和分析。开发了几种大数据解决方案，但它们都基于分布式计算，有时在构建、管理、故障排除和安全方面成本很高。本文提出了一种基于内存、多处理和单服务器架构的大数据处理新方法。它是基于内存的，因为数据在开始处理之前被加载到内存中。它是多处理的，因为它利用了并行编程的力量，使用共享内存和多个线程以并发方式在多个CPU上运行。它是单服务器的，因为它只需要在非分布式计算环境中运行的单个服务器。所提出的方法的最大优点是高性能、低成本和易于管理。所进行的实验显示了出色的结果，因为所提出的方法优于目前市场上存在的其他传统方法。进一步的研究可以改进所提出的方法，使其支持使用远程过程调用等技术在不同进程之间传递消息。
2019-05-24 cs.DC
PABED A Tool for Big Education Data Analysis
云计算和大数据已经成为现代世界最流行的技术。很明显，它们之所以如此受欢迎，是因为它们在感兴趣的领域具有广泛的适用性。教育和研究仍然是最明显和最合适的应用领域之一。本文介绍了一个大数据分析工具，PAPED项目分析大教育数据，为教育部门利用基于云的技术。该工具使用Google BigQuery和R程序设计语言实现，可以比较不同学年的本科入学数据。虽然大数据在教育中的应用有很多，但缺乏可以将概念付诸实践的工具。PABED是朝着这个方向努力的。本文描述了该项目的实现和测试细节。该工具验证了云计算和大数据技术在教育中的使用，并将率先开发更复杂的教育智能工具。
2018-07-31 cs.CY cs.DC
BigDataSDNSim: A Simulator for Analyzing Big Data Applications in Software-Defined Cloud Data Centers
云数据中心中的大数据和软件定义网络（SDN）的新兴范例已经获得了工业界和学术界的极大关注。需要大数据与SDN的融合和协调，以提高大数据应用的应用和网络性能。虽然大数据和SDN的经验评估和分析可以是观察所提出的解决方案的一种方式，但由于多种原因，例如昂贵的任务，耗时和复杂性，它通常是不切实际或难以应用的;此外，它超出了大多数人的能力范围。因此，仿真工具是以可控、可重复和可配置的方式执行具有成本效益、可扩展的实验的优选选项。为了填补这一空白，我们提出了一个名为BigDataSDNSim的新的独立仿真工具，它可以对大数据管理系统（YARN）、大数据编程模型（MapReduce）和支持SDN的网络进行建模和仿真。云计算环境。为了展示BigDataSDNSim的功效、有效性和功能，我们提供了一个用例，在性能和能耗方面比较了支持SDN的网络与传统网络。
2019-10-10 cs.DC
Towards Persistent Memory based Stateful Serverless Computing for Big Data Applications
本文提出Marvel架构，通过内存缓存和PMEM支持HDFS存储，解决无服务器平台有状态执行和I/O瓶颈，使大数据应用执行时间最多减少86.6%。
2023-09-08 cs.DC cs.PF
Optimization of Energy Consumption Forecasting in Puno using Parallel Computing and ARIMA Models: An Innovative Approach to Big Data Processing
Faculty of Statistics；Informatics Engineering National University of the Altiplano Puno, Perú
本研究利用并行计算与ARIMA模型优化Puno地区能源消费预测，提升计算效率和数据处理能力，为实时预测分析和能源管理提供可靠解决方案。
2024-07-27 cs.DC stat.CO stat.ML
A Survey on Spark Ecosystem for Big Data Processing
随着大数据在工业和学术领域的爆炸式增长，有必要应用大型数据处理系统来分析大数据。可以说，Spark是当今大规模数据计算系统的最新技术，因为它具有良好的特性，包括通用性，容错，内存数据处理的高性能和可扩展性。Spark采用了灵活的驻留分布式数据集（RDD）编程模型，提供了一组转换和动作操作符，用户可以根据应用程序自定义其操作功能。它最初被定位为一个快速和通用的数据处理系统。自引入以来，考虑到各种情况，已经进行了大量的研究工作，使其更有效（更快）和更普遍。在这次调查中，我们的目标是有一个彻底的审查各种优化技术的通用性和性能改进的火花。介绍了Spark编程模型和计算系统，讨论了Spark的优缺点，并对文献中的各种求解技术进行了调查和分类。此外，我们还介绍了Spark支持的各种数据管理和处理系统、机器学习算法和应用。最后，我们讨论了Spark在大规模内存数据处理方面的开放性问题和挑战。
2018-11-18 cs.DC
