Parallelization of Machine Learning Algorithms Respectively on Single Machine and Spark
本文研究经典机器学习算法在单机与Spark平台上的并行化，通过运行时间和效率对比证明并行化能显著提升大数据分析性能。
2023-04-13 cs.DC
Video Big Data Analytics in the Cloud: A Reference Architecture, Survey, Opportunities, and Open Research Issues
物联网（IoT）上多媒体设备的激增产生了前所未有的数据量。因此，世界已经进入了大数据时代。近年来，随着分布式计算技术的兴起，云上的视频大数据分析引起了研究者和实践者的关注。当前的技术和市场趋势需要一个高效的视频大数据分析框架。然而，目前的工作过于有限，无法提供一个完整的调查最近的研究工作，视频大数据分析在云中，包括大量的视频数据的管理和分析，所面临的挑战，机遇和有前途的研究方向。为了达到这一目的，我们提出了这项研究，它对云中视频大数据分析的最新文献进行了广泛的概述。它还旨在弥合大规模视频分析挑战、大数据解决方案和云计算之间的差距。在这项研究中，我们澄清了管理视频分析领域的基本术语和视频大数据的特点，同时建立了与云计算的关系。提出了一种面向服务的云智能视频大数据分析分层参考架构。然后，进行了全面而敏锐的审查，以研究视频大数据分析的前沿研究趋势。最后，我们确定并阐明了几个开放的研究问题和挑战，这已经提出了部署大数据技术在云中的视频大数据分析。据我们所知，这是第一项研究，提出了在云中的视频大数据分析的一般视图。本文提供了在大数据和云计算时代推进视频分析的研究和技术。
2020-11-16 cs.DC
Big Data Analytics in Cloud environment using Hadoop
大数据管理是目前的一个问题。大数据增长非常快。由于其各种特性，管理起来非常困难。本文重点介绍使用Hadoop在云环境中进行大数据分析。我们根据大数据的特征，如数量，价值，多样性和速度进行了分类。我们已经做了各种节点来处理数据的基础上，他们的体积，速度，价值和品种。在这项工作中，我们已经分类的输入数据和路由到各个处理节点。最后对每个节点进行处理后，将所有节点的输出进行合并，得到最终结果。我们使用Hadoop来划分数据并处理它。
2016-09-15 cs.DC
Workflow-Based Big Data Analytics in The Cloud Environment Present Research Status and Future Prospects
工作流是一个常用术语，用于描述需要执行以解决问题的任务的系统分解。这一概念在科学和商业应用中得到了最好的利用，以精简和改善旨在实现成果的基本进程的业绩。大数据分析问题的日益复杂性促使人们使用科学工作流来执行特定领域应用程序的复杂任务。这项研究调查了基于工作流的大数据分析在云环境中的有效性，对该领域已经进行的研究以及该领域未来可能的研究方向提供了见解。
2017-11-04 cs.DC
BigSUMO: A Scalable Framework for Big Data Traffic Analytics and Parallel Simulation
University of Florida（佛罗里达大学）；NVIDIA Corp.（英伟达公司）；FDOT（佛罗里达州交通部）
BigSUMO是一种开源框架，用于大数据交通分析和并行模拟，通过描述性分析和预测性分析优化交通性能。
2026-01-05 cs.DC
Big Data Analytics = Machine Learning + Cloud Computing
大数据对不同的人意味着不同的东西。大数据的规模和挑战通常使用三个属性来描述，即数量，速度和多样性（3V），这只反映了数据的某些方面。在本章中，我们回顾了“大数据”一词的历史和相关的分析。我们用大数据的其他属性来增强3V，使其更加全面和相关。我们发现，大数据不仅仅是3V，而是32 V，即9 V，涵盖了大数据背后的根本动机，即基于不同假设或统计模型的商业智能（BI），以便大数据分析（BDA）能够使决策者对一些关键决策或研究结果做出有用的预测。大数据的历史已经证明，执行BDA最具成本效益的方法是在基于云计算（CC）的基础设施上使用机器学习（ML），或者简单地说，ML + CC -> BDA。本章致力于帮助决策者将BDA定义为解决其业务需求的解决方案和机会。
2016-01-13 cs.DC
Energy-efficient Analytics for Geographically Distributed Big Data
地理上分布的数据集（跨数据中心或集群）的大数据分析已经吸引了学术界和工业界越来越多的兴趣，但也显着复杂的系统和算法设计。在本文中，我们通过分析细粒度范式和关键设计原则，系统地研究了地理分布式大数据分析框架。我们提出了一个动态的全球管理员选择算法（GMSA），以尽量减少能源消耗成本，充分利用系统的地理和变化随时间的变化。该算法通过随机优化方法，根据可测量的系统参数做出实时决策，同时实现能量成本和延迟之间的性能平衡。大量的轨迹驱动仿真验证了该算法的有效性和效率。我们还强调了几个潜在的研究方向，这些方向仍然是开放的，需要在分析地理分布的大数据方面进行进一步的阐述。
2017-08-26 cs.DC
Cloud Big Data Mining and Analytics: Bringing Greenness and Acceleration in the Cloud
自过去十年以来，大数据正在获得压倒性的关注。云计算范式是一种利用计算节点上的大量可用资源进行高效存储的更高效的大数据处理和挖掘模式。云数据采掘引入了利用云资源对云中的海量数据进行数据采掘和分析的概念。但我们能做得更好吗？是的，当然！本章的主要贡献是确定了四种改变游戏规则的技术，用于加速云中数据采掘任务的计算和分析。图形处理单元可用于进一步加速挖掘或分析过程，称为GPU加速分析。此外，近似计算也可以引入大数据分析，通过减少时间和能源来提高过程的效率，从而促进整个计算过程的绿色化。量子计算是近年来发展迅速的一种范式，它还可以在很短的时间内促进高效和快速的大数据分析。我们已经调查了这三种技术，并通过将这三种改变游戏规则的技术与大数据的观点相结合，建立了它们在大数据采掘中的重要性。我们还谈到了另一种未来技术，即，神经处理单元或神经加速器，供研究人员探索各种可能性。这里还简要介绍了大数据和云数据采掘概念。
2021-04-12 cs.DC
Predicting Lakehouse Performance in Clouds: An Empirical Exploration of Query Runtime Variance
University of Glasgow（格拉斯哥大学）；Barclays PLC（巴克莱银行）
本文通过跨云实验量化分布式Lakehouse查询的运行时方差，分析其来源（如数据局部性、共租户负载和缓存效应），并评估方差对查询性能预测模型及低碳调度等负载管理技术的影响。
2026-06-02 cs.DC
Big Data Computing and Clouds: Trends and Future Directions
本文讨论了在大数据应用程序的云上执行分析的方法和环境。它围绕着分析和大数据的四个重要领域，即（i）数据管理和支持架构;（ii）模型开发和评分;（iii）可视化和用户交互;以及（iv）商业模式。通过详细的调查，我们确定了技术上可能存在的差距，并就云支持的大数据计算和分析解决方案的未来方向为研究社区提供了建议。
2014-08-22 cs.DC
Performance comparison of Dask and Apache Spark on HPC systems for Neuroimaging
本文在HPC系统上比较了Apache Spark和Dask处理神经影像管线的运行时性能，发现两者性能相当但Spark内存占用更高，数据传输时间是主要瓶颈。
2024-06-03 cs.DC
GraphH: High Performance Big Graph Analytics in Small Clusters
在实际应用中，通常使用分布式图形处理系统来分析大型图形。流行的内存系统需要大量的资源来处理大型图。虽然已经提出了几种在磁盘上处理大型图形的核心外方法，但高磁盘I/O开销可能会显着降低性能。在本文中，我们提出了GraphH，以在小集群中实现高性能的大图分析。具体来说，我们设计了一个两阶段的图划分方案，均匀划分输入图到分区，并提出了一个GAB（聚集-应用-广播）计算模型，使每个工人处理一个分区在内存中的时间。我们使用边缘缓存机制来减少磁盘I/O开销，并设计了一种混合策略来提高通信性能。GraphH可以在小型集群甚至单个商品服务器中高效地处理大型图。广泛的评估表明，与流行的内存系统相比，GraphH在处理通用图形时可以快7.8倍，例如Pregel+和PowerGraph，并且比最近提出的核心外系统快100倍以上，例如处理大型图形时的GraphD和Chaos。
2017-08-07 cs.DC
A Game-Theoretic Approach for Runtime Capacity Allocation in MapReduce
如今，许多公司都拥有大量的原始非结构化数据。在大数据支持技术中，MapReduce框架占据了中心地位，特别是其开源实现Apache Hadoop。出于成本效益的考虑，一种常见的方法需要在多个用户之间共享服务器集群。底层基础设施应该为每个用户提供公平的计算资源，确保满足服务水平协议（SLA）并避免浪费。在本文中，我们考虑两个数学规划问题，模型的Hadoop 2.x集群中的计算资源的最优分配，目的是开发新的容量分配技术，保证更好的性能在共享数据中心。我们的目标是在遵守SLA中规定的最后期限并避免与作业拒绝相关的处罚的同时大幅降低功耗。这种方法的核心是一个分布式算法的运行时容量分配，基于博弈论模型和技术，模仿MapReduce的动态交互的球员，即中央资源管理器和类管理器。
2017-01-17 cs.DC
Big Data Analytics-Enhanced Cloud Computing: Challenges, Architectural Elements, and Future Directions
云计算的出现使得弹性容量的动态配置成为可能。云数据中心包含数千台物理服务器，托管数量级更多的虚拟机，这些虚拟机可以按需分配给按需付费的用户。然而，并非所有系统都能够通过添加更多虚拟机来扩展。因此，即使对于可扩展的系统，也必须提前规划工作负载，而不是使用纯粹的反应式方法。考虑到生成实时的监控信息的现代云基础设施的规模，以及操作系统和应用程序生成的所有信息，这些数据带来了大数据方法所解决的数量、速度和多样性问题。在本文中，我们研究如何利用大数据分析有助于增强云计算环境的操作。我们讨论了大数据分析在云中的各种应用，通过大数据分析增强云操作的开放问题，以及云异常检测和预防的架构以及未来的研究方向。
2015-10-22 cs.DC
Cloud based Big Data Analytics: A Survey of Current Research and Future Directions
数字时代的到来导致了不同类型的数据与日俱增。事实上，预计到2016年，总数据的一半将在云上。这些数据很复杂，需要存储、处理和分析，以获得可供组织使用的信息。云计算为大数据分析提供了一个合适的平台，以满足后者的存储和计算需求。这使得基于云的分析成为一个可行的研究领域。然而，在实际应用这种协同模式之前，有几个问题需要解决，风险需要减轻。本文探讨了该领域的现有研究、面临的挑战、存在的问题和未来的研究方向。
2015-08-18 cs.DC
Novel Dynamic Load Balancing Algorithm for Cloud-Based Big Data Analytics
云环境中的大数据分析除了安全、隐私和能效之外，还带来了实时负载均衡等挑战。在本文中，我们提出了一种新的负载均衡算法在云环境中，执行资源分配和任务调度效率。所提出的负载均衡器减少了在云上执行的大数据应用程序的执行响应时间。一般来说，调度是一个NP难问题。在我们提出的算法中，我们提供了解决方案，以减少搜索区域，从而降低复杂性的负载均衡。我们推荐两个数学优化模型来执行动态资源分配到虚拟机和任务调度。所提供的解决方案是基于爬山算法来最小化响应时间。我们从响应时间、周转时间、吞吐量指标和请求分布等方面对所提出的算法进行了性能评估，并与一些现有的算法进行了比较
2021-02-01 cs.DC
Towards Interactive, Adaptive and Result-aware Big Data Analytics
随着应用程序中数据量的增长，对大量数据的分析变得越来越重要。Apache Hadoop、Apache AsterixDB和Apache Spark等大数据处理框架就是为了满足这一需求而构建的。这些传统的基于集群的大数据处理框架所追求的共同目标是高性能，这通常意味着较低的端到端执行时间或延迟。数据分析的广泛采用导致人们呼吁改进传统的大数据处理方式。人们一直要求使分析过程更具交互性和适应性，特别是对于长时间运行的作业。在数据争论的迭代过程中，初始结果的重要性促使人们采用结果感知的方法来进行大数据分析。本论文的动机是这些要求改进数据处理和经验，在过去的几年里，同时在Texera项目，这是一个协同数据分析服务正在开发的加州大学欧文分校。本文主要由三部分组成。第一部分是关于Amber引擎的设计，它作为Texera服务的后端数据处理框架。第二部分是关于一个自适应和结果感知的偏斜处理框架，称为Reshape。Reshape使用快速控制消息来为各种操作员实现迭代偏斜缓解技术。Reshape中的缓解技术也从其对显示给用户的结果的影响的角度进行了分析。最后一部分介绍了一个基于结果感知的工作流调度框架Maestro。本部分讨论如何在计算集群上调度执行工作流，并在此过程中做出结果感知决策。这项工作通过将交互性，适应性和结果意识引入过程来改进数据分析过程。
2022-12-14 cs.DC
On Designing a Generic Framework for Cloud-based Big Data Analytics
大数据分析最近引起了广泛的研究关注，因为它能够从大量数据中利用有用的信息。云计算被认为是实施大数据分析的最佳基础设施解决方案之一。这篇研究论文提出了一个基于云的大数据分析的五层模型，该模型使用了dew计算和边缘计算概念。此外，本文还提出了一种基于应用程序识别的数据和计算模型选择技术来创建自定义大数据堆栈的方法
2017-11-04 cs.CY cs.DC
WANify: Gauging and Balancing Runtime WAN Bandwidth for Geo-distributed Data Analytics
University of Nebraska at Omaha（内布拉斯加大学奥马哈分校）
WANify通过动态预测WAN带宽并优化数据传输连接，有效提升地理分布式数据分析系统的性能，减少延迟和成本。
2025-08-18 cs.DC
Big Data Analytics in Future Internet of Things
目前对物联网（IoT）的研究主要集中在如何使一般对象能够自己看到，听到和闻到物理世界，并使它们连接以共享观察结果。在本文中，我们认为，只有连接是不够的，除此之外，一般的对象应该有能力学习，思考，并理解自己的物理世界。另一方面，未来的物联网将由大量异构的联网嵌入式设备组成，这些设备以爆炸性的方式生成海量或大数据。尽管几乎每个人都对物联网中大数据分析的重要性达成了共识，但迄今为止，获得的结果有限，特别是数学基础。这些实际需求促使我们提出一个系统的教程，用于开发未来物联网中大数据分析的有效算法，这些算法分为四类：1）异构数据处理，2）非线性数据处理，3）高维数据处理，以及4）分布式和并行数据处理。我们设想，所提出的研究是作为一个潜在的富有成效的研究方向仅仅是婴儿的一步。我们希望这篇跨学科的文章能够激发更多的兴趣，为特定的物联网应用研究和开发实用有效的算法，以实现智能资源分配，自动网络运营和智能服务提供。
2013-11-17 cs.DC
Cloud Based Big Data DNS Analytics at Turknet
域名系统（DNS）是一种分层分布式命名系统，用于计算机、服务或连接到Internet的任何资源。DNS将URL查询解析为IP地址，以便在全球范围内定位计算机服务和设备。到目前为止，具有大量DNS数据的分析应用程序是一个具有挑战性的问题。由于数据特征的敏感性，从DNS数据中聚类域流量的特征需要更复杂的分析平台和工具。在这项研究中，提出了一个基于云的大数据应用程序，基于Apache Spark，对DNS数据，以及基于流量的周期性趋势模式，以划分众多的域名和地区到不同的组，其查询流量时间序列的特点。初步实验结果的Turknet DNS数据在日常运营中进行了讨论与商业智能应用。
2020-07-08 cs.DC
Building Analytics Pipelines for Querying Big Streams and Data Histories with H-STREAM
本文介绍了H-STREAM，一个大的流/数据处理管道评估引擎，提出流处理操作符作为微服务，以支持来自物联网（物联网）环境的大数据流的分析和可视化。H-STREAM微服务结合了流处理和数据存储技术，这些技术根据产生流的事物的数量、它们产生流的速度以及可用于在线处理流并将其交付给消费者的物理计算资源进行调整。H-STREAM提供安装在云环境中的流处理和可视化微服务。微服务可以被组合用于实现特定的流聚合分析管道作为查询。本文提出了一种实验验证，使用Microsoft Azure作为部署环境，测试H-STREAM在（i）神经科学实验和（i）物联网农场上运行的社交连接分析场景中处理速度和容量挑战的能力。
2021-08-07 cs.DC
An Integrated (Crop Model, Cloud and Big Data Analytic) Framework to support Agriculture Activity Monitoring System
本文针对农业活动监测面临的海量异构数据处理与实时协作需求，提出一个融合作物模型、云计算和大数据分析的集成地理信息框架，以提供可扩展、透明且高效的系统支持。
2024-11-19 cs.DC
Big Data Analytic based on Scalable PANFIS for RFID Localization
RFID技术已经得到普及，以解决本地化问题，在制造车间，由于其负担得起的，易于部署。该技术用于跟踪制造对象的位置，以提高生产效率。然而，用于定位任务的数据是不容易分析，因为它是从非平稳环境中产生的。它还随着时间的推移不断到达并产生大量数据。因此，需要先进的大数据分析来克服这个问题。提出了一种基于PANFIS（Scalable PANFIS）的分布式大数据分析框架，其中PANFIS是一种进化算法，具有单遍学习数据流的能力。可扩展的PANFIS可以通过处理数据流的多个块/分区来学习大数据流。可扩展的PANFIS还配备了规则结构合并，以消除规则之间的冗余。可扩展的PANFIS通过测量其与单个PANFIS和其他Spark可扩展机器学习算法的性能来验证。实验结果表明，可扩展的PANFIS的运行时间比单一的PANFIS快20倍以上。Scalable PANFIS中的规则合并过程表明，分类任务的准确率没有显着下降，准确率为96.67%，而单个PANFIS的准确率为98.71%。可扩展的PANFIS通常也优于一些Spark MLib机器学习来分类RFID数据，在运行时间上具有可比的速度。
2018-04-26 cs.DC
Enabling Big Data Analytics at Manufacturing Fields of Farplas Automotive
数字化和数据驱动的制造过程是当今工业所需要的。工业4.0一词代表当今的工业数字化，它被定义为对产品生存周期的整个价值链进行组织和控制的新水平;它面向日益个性化的客户高质量期望。然而，由于连接设备数量的增加和数据的多样性，使用传统系统存储和分析数据变得困难。本文的动机是提供对大数据管道的理解的概述，在Apache Ha-doop集群上使用Apache Kafka和Apache Spark实现提供实时的内部部署数据采集、数据压缩、数据存储和处理，并确定Farplas制造公司在实现过程中遇到的挑战和问题，该公司是土耳其最大的一级汽车供应商之一，通过工业4.0研究与主题相关的新趋势和流。
2020-04-24 cs.DC
Comparative Analysis of SpatialHadoop and GeoSpark for Geospatial Big Data Analytics
在这个数字化的世界里，每一个信息都被存储，数据呈指数级增长。据估计，数据每两年翻一番。地理空间数据是大数据场景的主要贡献者之一。有许多大数据分析工具。但并不是所有的大数据分析工具都有处理地理空间大数据的能力。本文介绍了目前流行的两种开源地理空间大数据分析工具Spatial- Hadoop和GeoSpark，它们可以有效地对地理空间大数据进行分析和处理。比较了SpatialHadoop和GeoSpark的架构视图。通过体系结构的比较，从执行时间和使用的数据量两个方面总结了这些工具的优缺点。
2017-02-21 cs.CY cs.DC
Single Machine Graph Analytics on Massive Datasets Using Intel Optane DC Persistent Memory
Intel Optane DC Persistent Memory（Optane PMM）是一种比DRAM密度更高、成本更低的新型字节寻址存储器。这使得设计经济实惠的系统能够支持高达6TB的随机访问内存。在本文中，我们提出了关键的运行时和算法的原则，以考虑在这种大内存平台上进行极端规模的图形分析。为了证明这些原则的重要性，我们评估了四个现有的共享内存图框架的大型现实世界的网络抓取，使用机器与6 TB的Optane PMM。我们的研究结果表明，基于本文所倡导的运行时和算法原则的框架（i）表现明显优于其他框架，并且（ii）与运行在大型生产集群上的图分析框架相比具有竞争力。
2020-02-23 cs.DC
FogGIS: Fog Computing for Geospatial Big Data Analytics
云地理信息系统（GIS）已成为分析、处理和传输地理空间数据的工具。雾计算是一种范例，其中雾设备有助于提高吞吐量并减少客户端边缘的延迟。本文开发了一个基于雾的框架命名为雾地理信息系统从地理空间数据挖掘分析。我们用Intel Edison做了一个原型，一个嵌入式微处理器。我们通过初步分析验证了FogGIS。包括压缩和覆盖分析。结果表明，雾计算在地理空间数据分析方面有很大的潜力。我们使用了几种开源压缩技术来减少向云的传输。
2016-12-10 cs.DC
Leveraging cloud based big data analytics in knowledge management for enhanced decision making in organizations
近年来，大数据机会已经获得了很大的动力，以加强组织的知识管理。然而，大数据由于其各种属性，如高容量，多样性和速度，不再能有效地存储和分析与传统的数据管理技术，以产生价值的知识开发。因此，需要新的技术和架构来通过高级数据分析来存储和分析这些大数据，从而为组织的有效决策生成重要的实时知识。更具体地说，有必要拥有一个单一的基础设施，提供知识管理的通用功能，并具有足够的灵活性，以处理不同类型的大数据和大数据分析任务。能够存储和处理大量数据的云计算基础设施可以用于高效的大数据处理，因为它最小化了大数据分析所需的大规模计算基础设施的初始成本。本文旨在探讨大数据分析对知识管理的影响，并提出一个基于云的概念框架，可以实时的分析大数据，以促进旨在获得竞争优势的增强决策。因此，该框架将为组织探索大数据分析和知识管理之间的关系铺平道路，这两种关系通常被视为两个不同的实体。
2017-02-15 cs.CY cs.DC
GraphMP: I/O-Efficient Big Graph Analytics on a Single Commodity Machine
最近的研究表明，单机图形处理系统在大规模问题上可以像基于集群的方法一样具有高度的竞争力。虽然已经提出了几种核外图处理系统和计算模型，但在许多实际情况下，高磁盘I/O开销会显着降低性能。在本文中，我们提出了GraphMP来处理单台机器上的大图分析。GraphMP通过三种技术实现了低磁盘I/O开销。首先，我们设计了一个以顶点为中心的滑动窗口（VSW）计算模型，以避免在磁盘上读取和写入顶点。其次，我们提出了一种选择性的调度方法，跳过加载和处理磁盘上不必要的边缘碎片。第三，我们使用压缩的边缘缓存机制来充分利用机器的可用内存，以减少边缘的磁盘访问量。广泛的评估表明，GraphMP可以比现有的单机核外系统（如GraphChi，X-Stream和GridGraph）高出51倍，并且可以与Pregel+，PowerGraph和Chaos等分布式图形引擎一样具有高度竞争力。
2019-02-18 cs.DC
Big Data Architecture in Czech Republic Healthcare Service: Requirements, TPC-H Benchmarks and Vertica
医疗保健领域的大数据在提高分析能力和降低医疗成本方面发挥了积极作用。除了通过机器学习和数据挖掘算法在支持当前和不久的将来人工智能的平台上提供分析能力外，还需要考虑道德因素，要求采取新的方式来保护隐私，所有这些都是以不断增长的法规和期望为前提的。这项研究的目的是通过为捷克共和国国家卫生服务实施大数据平台来改善现有的临床护理。基于所实现的性能及其对强制性准则的遵守，报告的大数据平台被选为捷克共和国国家招标（招标编号VZ 0036628，编号Z2017-035520）的获胜解决方案。该平台基于用于海量数据处理的Vertica NoSQL分析数据库，符合TPC-H1决策支持基准、欧盟（EU）和捷克共和国的要求，远远超过了定义的系统性能阈值。报告的人工制品和概念可转移到其他国家的医疗保健系统，旨在以具有成本效益，可扩展和高性能的方式从大数据中提供个性化的自主评估。所实施的平台允许：（1）可扩展性;（2）进一步实施新开发的用于分类和预测分析的机器学习算法;（3）通过使用数据加密和解密的自动化功能来改进与电子健康记录（EHR）相关的安全性;以及（4）使用大数据来实现医疗保健中的战略规划。
2020-01-05 cs.DC
Statistical Validity and Consistency of Big Data Analytics: A General Framework
信息学和技术进步引发了大量数据的产生，其管理和分析具有不同的复杂性。大数据分析是揭示数据隐藏的方面并从中进行推理的实践。尽管通过高效的算法和系统开发，大数据的存储、检索和管理似乎是可能的，但鉴于其特定的特点，统计一致性问题仍然需要解决。由于大数据不符合标准分析，我们需要适当修改现有的统计理论和工具。在这里，我们提出了一个通用的统计框架和大数据分析的算法原则，以确保结论的统计准确性。拟议的框架有可能推动大数据分析朝着正确的方向发展。这里提出的划分-重复方法足够广泛，可以涵盖所有实际的数据分析问题。
2018-03-29 cs.DB cs.DC stat.ME
Understanding Big Data Analytic Workloads on Modern Processors
大数据分析应用程序在数据中心中发挥着重要作用，因此了解它们的行为以进一步提高数据中心计算机系统的性能变得越来越重要，其中表征代表性工作负载是关键的实际问题。在本文中，在调查了三个最重要的应用领域的页面浏览量和每日访问量之后，我们选择了11个代表性的数据分析工作负载，并通过使用硬件性能计数器来表征其微架构行为，以了解数据分析工作负载对配备现代超标量乱序处理器的系统的影响和含义。我们的研究表明，大数据分析应用程序本身具有许多固有的特征，这些特征使它们与传统的工作负载和横向扩展服务不同。为了进一步了解大数据分析工作负载的特征，我们对CPI（每指令周期）与其他微架构级别特征进行了相关性分析，并调查了大数据软件堆栈对应用程序行为的影响。我们的相关性分析表明，尽管大数据分析工作负载具有显著的流水线前端停顿，但影响CPI性能的主要因素是长延迟数据访问，而不是前端停顿。我们的软件栈调查发现，典型的大数据软件栈显著地导致前端停滞，并导致更大的工作集。最后，我们给出了几个建议，架构师，程序员和大数据系统设计人员与知识，从本文中获得的。
2015-04-20 cs.DC cs.PF
BigBird: Big Data Storage and Analytics at Scale in Hybrid Cloud
Twitter Inc.（推特公司）
大规模实施大数据存储是一项复杂而艰巨的任务，需要先进的基础设施。随着公共云计算的兴起，各种大数据管理服务可以很容易地被利用。作为Twitter“部分多云项目”的重要组成部分，冷存储数据和分析系统正在迁移到公共云。本文展示了我们在Google Cloud Platform中使用BigQuery设计可扩展的大数据存储和分析管理框架的方法，同时确保安全性，隐私性和数据保护。本文还讨论了公共云资源的限制，以及在设计大规模数据存储和分析解决方案时如何有效地克服这些限制。虽然本文讨论了Google Cloud Platform中的框架实现，但它可以很容易地应用于所有主要的云提供商。
2022-03-22 cs.DB cs.DC cs.LG
Towards Confidential Computing: A Secure Cloud Architecture for Big Data Analytics and AI
Leibniz Supercomputing Centre（莱布尼茨超级计算中心）
本文针对生物医学等领域在云环境中面临的数据安全风险，提出一种安全云架构，实现工作流打包与调度，并保障数据、逻辑和计算在传输、使用及静态存储中的安全。
2023-05-28 cs.AI cs.DC
Reproducible and Portable Big Data Analytics in the Cloud
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）
云计算已经成为帮助重现计算实验的主要方法。然而，在云中复制基于批处理的大数据分析（包括描述性和预测性分析）仍然存在两个主要困难。第一个是如何自动化端到端的可扩展分析执行，包括分布式环境配置、分析管道描述、并行执行和资源终止。第二个是为一个云开发的应用程序很难在另一个云中复制，也就是说，供应商锁定问题。为了解决这些问题，我们利用无服务器计算和容器化技术来实现自动化的可扩展执行和可再现性，并利用适配器设计模式来实现跨不同云的应用程序可移植性和可再现性。我们提出并开发了一个开源工具包，该工具包支持1）通过单个命令完全自动化的端到端执行和再现，2）每次执行的自动化数据和配置存储，3）基于用户偏好的灵活客户端模式，4）执行历史查询，以及5）在相同环境或不同环境中简单再现现有执行。我们在AWS和Azure上进行了广泛的实验，使用了四个在虚拟CPU/GPU集群上运行的大数据分析应用程序。实验表明，该工具包能够实现良好的执行性能、可扩展性和高效的可重复性，适用于基于云的大数据分析。
2023-03-10 cs.DC cs.LG cs.NI
bigMICE: Multiple Imputation of Big Data
Linköping University（林雪平大学）；Göteborg University（哥德堡大学）；Region Västra Götaland（西约塔兰地区）
bigMICE通过Apache Spark实现高效处理大数据集的多重插补方法，提升内存效率和处理速度，适用于大规模缺失数据场景。
2026-01-29 cs.DC stat.CO
Big Data Analytics for Large Scale Wireless Networks: Challenges and Opportunities
Macau University of Science and Technology（澳门科技大学）；Hong Kong University of Science and Technology (HKUST)（香港科技大学）；Norwegian University of Science & Technology（挪威科技大学）；Sun Yat-sen University（中山大学）；Lulea University of Technology（吕勒奥理工大学）
各种无线通信系统和无线设备的广泛扩散导致了大规模无线网络中大数据时代的到来。大规模无线网络中的大数据具有种类繁多、数据量大、实时速度快、价值巨大等特点，这给大数据的研究带来了不同于现有计算系统的独特挑战。在本文中，我们提出了一个国家的最先进的大数据分析（BDA）方法的大规模无线网络的调查。特别是，我们将BDA的生存周期分为四个连续的阶段：数据采集，数据预处理，数据存储和数据分析。然后，我们提出了一个详细的调查的技术解决方案的挑战，在BDA的大规模无线网络，根据每个阶段的BDA的生存周期。此外，我们讨论了开放的研究问题，并概述了未来的方向，在这个充满希望的领域。
2019-09-02 cs.DC cs.LG cs.NI
Perona: Robust Infrastructure Fingerprinting for Resource-Efficient Big Data Analytics
Technische Universität Berlin（柏林工业大学）；University of Glasgow（格拉斯哥大学）
为大数据分析应用程序选择良好的资源配置可能具有挑战性，特别是在云环境中。自动化方法是可取的，因为糟糕的决策会降低性能并增加成本。大多数现有的自动化方法要么从以前的工作负载执行中构建性能模型，要么进行迭代的资源配置分析，直到找到一个接近最优的解决方案。在这样做的过程中，它们只能获得对底层基础设施的隐含理解，这很难转移到替代基础设施，因此，分析和建模见解不能持续到非常特定的情况。我们提出了Perona，这是一种在大数据分析背景下使用的强大基础设施指纹识别的新方法。Perona为目标资源采用了通用的基准测试工具集和配置，这样得到的基准测试指标就可以直接进行比较，并且可以进行排名。通过学习输入度量向量的低维表示来丢弃不重要的基准度量，并且还考虑到先前的基准执行以用于上下文感知，从而允许检测资源退化。我们评估我们的方法收集的数据，从我们自己的实验，以及在相关的工作资源配置优化，证明Perona捕获的特点，从基准测试运行在一个紧凑的方式，并产生表示，可以直接使用。
2023-01-30 cs.DC cs.LG
Enabling performance portability of data-parallel OpenMP applications on asymmetric multicore processors
针对非对称多核处理器上数据并行OpenMP应用的负载不平衡问题，提出新型循环调度方法AID，在libgomp中实现并使性能较传统策略最高提升56%。
2024-02-12 cs.DC cs.OS
ALOJA: A Framework for Benchmarking and Predictive Analytics in Big Data Deployments
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Microsoft Corporation（微软公司）；Microsoft Research（微软研究院）
本文介绍了ALOJA项目及其分析工具，这些工具利用机器学习来解释大数据基准性能数据并进行调优。ALOJA是BSC和微软长期合作的一部分，旨在自动化大数据部署的成本效益特征，目前专注于Hadoop。Hadoop提供了一个复杂的运行时环境，其中成本和性能取决于大量的配置选择。ALOJA项目创建了一个开放的、供应商中立的存储库，包含超过40，000个Hadoop作业执行及其性能详细信息。该存储库配有测试平台和工具，用于部署和评估不同硬件配置、参数和云服务的成本效益。尽管ALOJA的早期成功，一个全面的研究需要自动化的建模过程，以允许大型和资源受限的搜索空间的分析。预测分析扩展ALOJA-ML提供了一个自动化系统，允许通过从观察到的执行中建模环境来进行知识发现。由此产生的模型可以预测执行行为，预测新配置和硬件选择的执行时间。这还可以通过优先执行来实现基于模型的异常检测或有效的基准指导。此外，社区可以从ALOJA数据集和框架中受益，以改进大数据应用程序的设计和部署。
2015-11-06 cs.DC cs.LG
Learning-based Automatic Parameter Tuning for Big Data Analytics Frameworks
大数据分析框架（BDAF）已被广泛用于数据处理应用。这些框架向用户提供了大量的配置参数，这导致了一个困扰用户的调优问题。为了解决这个问题，已经提出了许多自动调谐方法。然而，它仍然是一个关键的挑战，以产生足够的样本在高维参数空间内的时间约束。在本文中，我们提出了AutoTune-一个自动参数调整系统，旨在优化BDAF上的应用程序执行时间。AutoTune首先从生产系统中构建一个较小规模的测试台，以便它可以生成更多样本，从而在给定的时间约束下训练更好的预测模型。此外，AutoTune算法产生一组样本，可以在高维参数空间上提供广泛的覆盖范围，并使用训练的预测模型搜索更有希望的配置。AutoTune是使用Spark框架和HiBench基准部署在公共云上实现和评估的。大量的实验结果表明，AutoTune平均提高了63.70%的默认配置，并在五个国家的最先进的调优算法的6%-23%。
2018-08-17 cs.DC cs.SE
Fraud Analytics Using Machine-learning & Engineering on Big Data (FAME) for Telecom
Indian School of Business（印度商学院）
针对电信欺诈损失严重且模式快速变化的问题，提出融合自适应数据挖掘与大数据技术的FAME工业化方案，在超1TB呼叫详细记录上实现国际收入分成欺诈检测且误报率低于5%。
2023-10-31 cs.AI cs.DC cs.LG
Modern Data Formats for Big Bioinformatics Data Analytics
下一代测序（NGS）技术产生了大量的蛋白质组学和基因组学数据。这些数据如果没有得到适当的分析是没有用的。ETL（Extraction，Transformation，Loading）是设计数据分析应用程序的重要步骤。ETL需要正确理解数据的特性。数据格式在理解数据、表示数据、存储数据所需的空间、数据处理期间的数据I/O、处理的中间结果、数据的内存分析和处理数据所需的总时间方面起着关键作用。不同的数据采掘和机器学习算法需要特定类型和格式的输入数据。本文探讨了不同工具和算法使用的数据格式，并介绍了大数据平台上使用的现代数据格式。它将帮助研究人员和开发人员为特定的工具或算法选择适当的数据格式。
2017-05-05 cs.CY cs.DB cs.DC
Mobile Big Data Analytics Using Deep Learning and Apache Spark
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research（资讯通信研究院）；Singapore University of Technology and Design（新加坡科技设计大学）；Singapore Management University（新加坡管理大学）；University of Houston（休斯顿大学）
诸如智能手机和物联网（IoT）小工具的移动设备的激增导致了最近的移动大数据（MBD）时代。收集MBD是无利可图的，除非使用合适的分析和学习方法从数据中提取有意义的信息和隐藏的模式。本文介绍了MBD分析中的深度学习的概述和简短教程，并讨论了Apache Spark上的可扩展学习框架。具体来说，分布式深度学习在许多Spark工作者上作为迭代MapReduce计算执行。每个Spark worker在整个MBD的分区上学习一个部分深度模型，然后通过平均所有部分模型的参数来构建主深度模型。这个基于Spark的框架加快了由许多隐藏层和数百万个参数组成的深度模型的学习。我们使用一个上下文感知的活动识别应用程序与包含数百万个样本的真实数据集来验证我们的框架并评估其加速效率。
2016-02-23 cs.DC cs.LG cs.NE
Characterization and Architectural Implications of Big Data Workloads
大数据领域正在快速扩展，工作负载和运行时系统不断增加，这种情况对工作负载表征提出了严峻的挑战，而工作负载表征是创新系统和架构设计的基础。以往的大数据基准测试要么提出全面但数量庞大的工作负载，要么只根据所谓的流行度选择少数工作负载，这可能导致部分甚至有偏见的观察。本文在一个全面的大数据基准测试套件BigDataBench的基础上，从微架构的角度将77个工作负载缩减为17个代表性工作负载。在一个典型的实践平台-Intel Xeon E5645上，我们将代表性的大数据工作负载与SPECINT，SPECCFP，PARSEC，CloudSuite和HPCC进行了比较。在全面的工作负载特征描述之后，我们有以下观察结果。首先，大数据工作负载是以数据移动为主的计算，具有更多的分支操作，在指令组合方面占高达92%的百分比，这使它们与桌面（SPEC CPU 2006），CMP（PARSEC），HPC（HPCC）工作负载不同。第二，证实了以前的工作，基于Hadoop和Spark的大数据工作负载具有更高的前端失速。与传统的工作负载相比，e. PARSEC，大数据工作负载具有更大的指令占用空间。但我们也注意到，除了不同的指令级并行之外，不同大数据工作负载之间的前端效率也存在显著差异。第三，我们发现，复杂的软件栈无法有效地使用实践状态的处理器是导致前端停滞的主要因素之一。对于相同的工作负载，L1 I缓存未命中…
2015-06-26 cs.DB cs.DC cs.PF
Tuneful: An Online Significance-Aware Configuration Tuner for Big Data Analytics
Spark等分布式分析引擎是处理超大型数据集的常见选择。然而，为这些系统找到良好的配置仍然具有挑战性，每个工作负载可能需要不同的设置才能最佳运行。使用次优配置会导致显著的额外运行时成本。此外，Spark和类似的平台在数据科学家社区中越来越受欢迎，这些社区对这些问题的认识相对较低。我们提出了Tuneful，一种有效地调整内存中的集群计算系统的配置的方法。Tuneful结合了增量灵敏度分析和贝叶斯优化，使用少量的执行从高维搜索空间中识别接近最优的配置。这种设置允许在线进行调整，而无需任何先前的培训。我们的实验结果表明，Tuneful减少了搜索时间找到接近最佳配置的62%（中位数）相比，现有的国家的最先进的技术。这意味着调优成本的摊销发生得更快，从而能够针对新的工作负载类别进行实际调优。
2020-01-22 cs.DC cs.SY eess.SY
Robust and Scalable Entity Alignment in Big Data
实体对齐在众多不同的科学领域中一直有着重要的用途。特别地，随着诸如社交媒体的通信网络在规模和流行度上的扩展，跨网络匹配实体的概念在社会科学领域中的重要性已经增长。随着大数据的出现，提供大规模图形分析的需求越来越大。然而，由于有数百万个节点和数十亿条边，使用从潜在稀疏或不完整的数据集中提取的特征在无数类似规模的图之间进行对齐的想法变得令人生畏。在本文中，我们将提出一个解决方案，以多步管道的形式大规模对齐的问题。在这个管道中，我们引入了可扩展的特征提取强大的时间属性，伴随着新的和有效的聚类算法，以找到跨图形的相似节点的分组。这些特征及其聚类被输入到一个通用的对齐阶段，该阶段可以在数百万个可能的匹配中准确识别合作伙伴节点。我们的研究结果表明，流水线可以处理大的数据集，实现高效的运行时间内的内存限制。
2020-04-19 cs.DC cs.PF cs.SI
