BigDataBench: A Scalable and Unified Big Data and AI Benchmark Suite
State Key Laboratory of Computer Architecture, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所计算机体系结构国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Baidu(百度);Alibaba(阿里巴巴);Huawei(华为);Tencent(腾讯);Beijing Academy of Frontier Sciences and Technology(北京前沿科学技术研究院)
技术上的一些根本性变化表明,特定领域的硬件和软件协同设计是唯一的出路。在此背景下,架构、系统、数据管理和机器学习社区更加关注创新的大数据和AI算法、架构和系统。不幸的是,复杂性,多样性,频繁变化的工作负载以及大数据和人工智能系统的快速发展带来了巨大的挑战。首先,传统的基准测试方法为每一个可能的工作负载创建一个新的基准或代理,这种方法是不可扩展的,甚至不可能用于大数据和人工智能基准测试。第二,根据一个或多个应用程序的特性或者甚至是应用程序的域来定制体系结构是非常昂贵的。我们将每个大数据和人工智能工作负载视为对不同的初始或中间数据输入执行的一类或多类计算单元的管道,我们将每一类称为数据基元。在我们以前的工作的基础上,确定了八个数据基元占用了各种大数据和人工智能工作负载的大部分运行时间,我们提出了一个可扩展的基准测试方法,使用一个或多个数据基元的组合-来代表大数据和人工智能工作负载的多样性。按照这种方法,我们提出了一个统一的大数据和AI基准套件--BigDataBench 4.0,公开可从~ \url{http://prof.ict.ac.cn/BigDataBench}。这个统一的基准测试套件为特定领域的硬件和软件协同设计提供了新的思路:根据统一的八个数据基元的特征定制系统和架构,而不是根据一个或多个应用程序的具体情况进行定制。此外,我们第一次使用BigDataBench 4.0中的七…
2018-11-22 cs.AI cs.DC cs.PF
ARM Wrestling with Big Data: A Study of Commodity ARM64 Server for Big Data Workloads
ARM处理器由于其良好的计算能量比在过去十年中主导了移动终端市场。在这个云数据中心和大数据分析的时代,人们越来越关注节能处理,而不仅仅是高吞吐量计算。ARM的第一个商品服务器级处理器是最近的AMD A1100系列处理器,基于64位ARM Cortex A57架构。在本文中,我们研究了基于此ARM64 CPU的服务器的性能和能效,相对于运行AMD Opteron 3300系列x64 CPU的可比服务器,用于大数据工作负载。具体来说,我们在Apache Hadoop v2.7上以伪分布式设置研究了英特尔HiBench Web、查询和机器学习基准套件,数据大小可达$20GB$文件、$5M$网页和$500M$元组。我们的研究结果表明,ARM64服务器的运行时性能与基于整数的工作负载(如Sort和Hive查询)的x64服务器相当,只有在没有充分利用数据并行时,才落后于PageRank等浮点密集型基准测试。我们还看到,ARM 64服务器消耗$\frac{1}{3}^{rd}$能量,并且具有比x64服务器低$50-71\%$的能量延迟积(EDP)。这些结果为托管大数据工作负载的ARM64数据中心提供了降低运营成本的希望,同时为进一步分析提供了机会。
2017-09-09 cs.DC
Autonomic Architecture for Big Data Performance Optimization
Carleton University(卡尔顿大学);Toronto Metropolitan University(多伦多都会大学)
本文提出 KERMIT 自主架构,可在线自动调优 Spark/Hadoop,识别多用户与新型工作负载并适应漂移,性能显著优于人工经验调优。
2023-03-17 cs.AI cs.DC
Big Data Workload Profiling for Energy-Aware Cloud Resource Management
Independent Researchers, Senior Members, IEEE(IEEE独立研究者、高级成员)
本文提出一种基于大数据工作负载建模的能耗感知云资源调度框架,通过分析CPU、内存和存储IO行为,实现虚拟机放置的节能优化,实验表明可节省15-20%的能耗并保持性能稳定。
2026-01-17 cs.AI cs.DC cs.SE
Is Big Data Performance Reproducible in Modern Cloud Networks?
十多年来,云计算从业者和性能工程师一直认为性能可变性是一个问题。然而,我们对顶级系统会议的调查显示,研究社区在云中运行实验时经常忽略可变性。以网络为重点,我们通过从主流商业云和私有研究云收集跟踪信息,评估可变性对基于云的大数据工作负载的影响。我们的数据汇集由数百万个数据点组成,同时传输超过9 PB的数据。我们描述了我们的数据中存在的网络可变性,并表明,即使商业云提供商实施服务质量执行机制,可变性仍然会发生,甚至加剧了这种机制和服务提供商的政策。我们展示了大数据工作负载如何受到显着放缓的影响,并且缺乏可预测性和可复制性,即使使用最先进的实验技术。我们为从业者提供指导,以减少大数据性能的波动性,使实验更具可重复性。
2019-12-19 cs.DC cs.PF
Union: An Automatic Workload Manager for Accelerating Network Simulation
本文提出自动工作负载管理器Union,结合CODES在蜻蜓系统上研究科学仿真与机器学习混合负载的网络干扰,发现HPC应用性能更受消息延迟变化影响,而ML应用更依赖通信时间。
2024-04-03 cs.DC
A Comparative Study of Containers and Virtual Machines in Big Data Environment
容器技术近年来受到越来越多的关注,并已成为传统虚拟机的替代方案。企业采用容器技术的一些主要动机包括其封装和部署应用程序的便利性,轻量级操作以及资源共享的效率和灵活性。然而,对于大数据应用程序(如Spark作业)如何在容器环境和虚拟机环境之间执行,仍然缺乏深入和系统的比较研究。在本文中,通过运行具有不同配置的各种Spark应用程序,我们从许多有趣的方面评估了这两种环境,例如执行环境的设置有多方便,每个设置中运行的不同工作负载的最大完工时间是多少,硬件资源(如CPU和内存)的利用效率如何,以及每个环境的可扩展性如何。结果表明,与虚拟机相比,容器为大数据工作负载提供了更易于部署和可扩展的环境。本文的研究工作可以帮助实践者和研究人员在调整云环境和配置大数据应用程序时做出更明智的决策,从而实现更好的性能和更高的资源利用率。
2018-07-05 cs.DC cs.PF
Performance modeling of a distributed file-system
数据中心已经成为大数据处理的中心。在数据中心运行的大多数程序都处理大数据。这样的程序的存储要求不能由数据中心中的单个节点来满足,因此使用分布式文件系统,其中存储资源从多于一个节点汇集在一起并且向外部世界呈现其统一视图。这些分布式文件系统在给定工作负载的情况下的最佳性能是至关重要的,因为磁盘是框架中最慢的组件。由于这一事实,许多大数据处理框架实现了自己的文件系统,通过针对特定工作负载进行微调来获得最佳性能。但是,针对特定工作负载微调文件系统会导致与所需工作负载的配置文件不匹配的工作负载的性能较差。因此,这些文件系统不能用于一般用途,其中工作负载特征显示出高度变化。在本文中,我们的通用文件系统的性能建模和分析的影响,调整文件系统的性能。这些并行文件系统的性能不容易建模,因为性能取决于许多配置参数,如网络,磁盘,底层文件系统,服务器数量,客户端数量,并行文件系统配置等。我们提出了一个多元线性回归模型,可以捕获文件系统的配置参数,硬件配置,工作负载配置(统称为功能)和性能指标。我们用它来排名的功能,根据其重要性,在决定性能的文件系统。
2019-08-27 cs.DC
LENS: Layer Distribution Enabled Neural Architecture Search in Edge-Cloud Hierarchies
University of California, Irvine(加州大学欧文分校)
通过深度神经网络(DNN)采用智能的边缘云分层系统承受着内部工作负载分布的困境。以前的解决方案提出在运行时根据周围环境的状态(如无线条件)分配工作负载。然而,这些条件通常在设计时被忽略。本文通过提出一种新的方法LENS来解决DNN架构设计的这个问题,LENS管理两层系统的多目标神经架构搜索(NAS),其中性能目标被重新设计以考虑无线通信参数。从我们的实验搜索空间,我们表明,LENS提高了传统的解决方案的帕累托集的76.47%和75%的能量和延迟指标,分别。
2021-07-20 cs.DC cs.LG cs.NE
A New Lens on Multi-GPU Communication: API-Level Memory Models for Portable Optimization
AMD(超威半导体)
本文针对多GPU通信优化的兼容性问题,提出API级内存模型,在rocSHMEM中实现后,可通过缓存旁路优化使三类通信工作负载性能提升最高达2.48倍。
2026-10-14 cs.DC
A Dwarf-based Scalable Big Data Benchmarking Methodology
与传统的为每个可能的工作负载创建新的基准或代理的基准测试方法不同,本文提出了一种可扩展的大数据基准测试方法。在各种各样的大数据分析工作负载中,我们确定了八个大数据侏儒,每个都捕捉到了每类计算单元的共同需求,同时与单独的实现合理地分离。我们在不同的软件栈上实现了八个小矮人,例如,OpenMP、MPI、Hadoop作为侏儒组件。为了架构模拟的目的,我们构建和调整大数据代理基准使用有向无环图(DAG)的侏儒组件与不同权重的组合,以模仿BigDataBench中的基准。我们的代理基准测试保留了微体系结构,内存和I/O特性,它们将模拟时间缩短了100秒,同时在X86 64和ARMv 8处理器上保持平均微体系结构数据准确度超过90%。我们将很快开源大数据侏儒组件和代理基准。
2017-11-09 cs.AR cs.DC
Spatio-Temporal Shifting to Reduce Carbon, Water, and Land-Use Footprints of Cloud Workloads
"La Sapienza" University of Rome(罗马大学);University of Glasgow(格拉斯哥大学)
本文提出通过时空迁移优化云工作负载,以减少碳、水和土地使用足迹,实验表明空间迁移效果显著,结合时间调整可进一步提升整体效益。
2026-09-16 cs.DC
Big Data Analytics on Traditional HPC Infrastructure Using Two-Level Storage
数据密集型计算已经成为传统高性能计算(HPC)集群的主要工作负载之一。目前,在HPC集群上部署数据密集型计算软件框架仍然面临性能和可扩展性问题。在本文中,我们开发了一个新的两级存储系统,集成Tachyon,一个内存中的文件系统和OrangeFS,一个并行文件系统。我们模拟了四种存储结构的I/O吞吐量:HDFS,OrangeFS,Tachyon和两级存储。我们进行了计算实验来描述两级存储的I/O吞吐量行为,并使用TeraSort基准测试将其性能与HDFS和OrangeFS进行了比较。理论模型和实验测试都表明,两级存储系统可以提高聚合I/O吞吐量。这项工作为将来设计和构建HPC系统奠定了坚实的基础,这些HPC系统可以在保留现有计算资源的情况下为I/O密集型工作负载提供更好的支持。
2015-10-10 cs.DC
Benchmarking Graph Data Management and Processing Systems: A Survey
为图形数据系统开发可扩展的、有代表性的和广泛采用的基准测试一直是一个问题,几十年来一直在寻找答案。我们进行了深入的研究,现有的文献基准图数据管理和处理,涵盖了20个不同的基准开发在过去的15年。我们将基准分为三个领域,重点关注图处理系统的基准,图数据库基准和具有图处理工作负载的大数据基准。这种系统化的方法允许我们识别该领域中存在的多个问题,包括i)存在很少的基准测试,其可以产生高工作负载场景,ii)在基准测试图流处理以及基于图的机器学习上没有做显著的工作,iii)基准测试倾向于使用传统的度量,尽管新的有意义的度量已经存在多年,iv)越来越多的大数据基准测试出现在图形处理工作负载中。根据这些观察结果,我们通过描述未来图数据系统基准测试研究的关键挑战来结束调查。
2021-09-22 cs.DB cs.DC cs.PF
Does Big Data Require Complex Systems? A Performance Comparison Between Spark and Unicage Shell Scripts
大数据范式的特点是需要收集和处理大量数据集,以各种格式以极快的速度到达系统。Spark是一种广泛使用的大数据处理系统,可以与Hadoop集成,为开发人员提供强大的抽象,例如通过HDFS的分布式存储和通过YARN的资源管理。当所有必需的配置完成后,Spark还可以提供质量属性,如可扩展性、容错和安全性。然而,所有这些好处都是以复杂性为代价的,具有高内存要求和额外的处理延迟。另一种方法是使用精益软件栈,如Unicage,将大部分控制权委托给开发人员。在这项工作中,我们在IBM Cloud托管的集群环境中评估了Spark与Unicage的大数据处理性能。进行了两组实验:非结构化数据集的批处理和结构化数据集的查询处理。输入数据集的大小很大,从64 GB到8192 GB不等。结果表明,对于grep和select等搜索工作负载,Unicage脚本的性能优于Spark,但是Hadoop堆栈中的分布式存储和资源管理的抽象使Spark能够执行具有记录间依赖性的工作负载,例如排序和连接,并具有正确的输出。
2022-12-28 cs.DC
Reimagining RDMA Through the Lens of ML
针对分布式ML集群集合通信尾延迟瓶颈,提出专用RDMA传输协议Celeris,移除重传和按序交付、利用ML数据容错性,结合软件机制与ML流水线恢复丢包,显著降低尾延迟、减少硬件资源占用并提升故障弹性。
2025-10-18 cs.DC cs.NI
Disaggregating Non-Volatile Memory for Throughput-Oriented Genomics Workloads
下一代测序技术的大规模开发需要同时处理这两个问题:大量的数据和复杂的生物信息学管道。计算架构已经发展到可以处理这些问题,实现了几年前不可行的方法:加速器和非易失性存储器(NVM)正在被广泛用于增强最苛刻的工作负载。然而,生物信息学工作负载通常是较大管道的一部分,在资源方面具有不同的动态需求。为数据中心引入软件定义的分布式结构(SDI)为大幅提高基础设施的管理效率提供了基础。SDI支持通过分解来构建硬件资源的新方法,并提供新的硬件可组合性和共享机制,以更灵活的方式部署工作负载。在本文中,我们研究了一个国家的最先进的基因组学应用程序,SMUFIN,旨在解决未来的HPC设施的挑战。
2020-07-06 cs.DC
Scalable System Scheduling for HPC and Big Data
在快速扩展的并行处理领域,作业调度器是现代大数据架构和超级计算系统的“操作系统“。作业调度器分配计算资源并控制这些资源上的进程的执行。从历史上看,作业调度器是超级计算机的领域,而作业调度器被设计为在数天或数周内运行大规模、长时间运行的计算。最近,大数据工作负载产生了对一类新计算的需求,这些计算包括许多需要数秒或数分钟的短计算,这些计算处理大量数据。对于超级计算机和大数据系统,作业调度器的效率代表了系统效率的基本限制。详细的测量和建模的性能的集群是至关重要的最大化的大规模计算系统的性能。本文对15个超级计算和大数据集群进行了详细的特征分析。对于大数据工作负载,调度器延迟是调度器最重要的性能特征。这些调度器的延迟的理论模型的开发和用于设计实验,旨在测量调度器延迟。详细的基准测试四个最流行的插件(Slurm,网格引擎之子,Mesos和Hadoop YARN)进行。理论模型与数据进行比较,并表明,调度器的性能可以由两个关键参数:调度器的边际延迟$t_s$和非线性指数$α_s$。对于所有四个计算器,对于仅持续几秒的计算,计算系统的利用率降低到<10%。透明地聚合短计算的多级编译器可以将这些短计算的利用率提高到> 90%,用于测试的所有四个编译器。
2017-05-08 cs.DC
BigRoots: An Effective Approach for Root-cause Analysis of Stragglers in Big Data System
通常认为,掉队者对大数据系统的性能有很大的影响。然而,造成掉队的原因是复杂的。以往的工作主要集中在掉队者检测、调度级优化和粗粒度原因分析等方面。这些方法无法提供有价值的见解来帮助用户优化他们的程序。在本文中,我们提出了BigRoots,一个通用的方法,结合框架和系统的特点,在大数据系统中的落伍者的根本原因分析。BigRoots考虑了大数据框架的特性,如shuffle读/写字节和JVM垃圾回收时间,以及系统资源利用率,如CPU,I/O和网络,能够检测出掉队者的内部和外部根源。我们通过在不同的系统组件中注入高资源利用率来验证BigRoots,并进行案例研究来分析Hibench中的不同工作负载。实验结果表明,BigRoots算法能够有效地识别出产生掉队的根本原因,为性能优化提供指导。
2018-01-10 cs.DC
The Big Send-off: Scalable and Performant Collectives for Deep Learning
本文提出PCCL库,通过学习驱动的自适应算法选择,提升深度学习分布式任务中all-gather、reduce-scatter和all-reduce的性能,实现在Frontier系统上reduce-scatter性能提升达168倍,Perlmutter上NCCL性能提升达5.7倍。
2026-03-15 cs.AI cs.DC cs.LG
Tuneful: An Online Significance-Aware Configuration Tuner for Big Data Analytics
Spark等分布式分析引擎是处理超大型数据集的常见选择。然而,为这些系统找到良好的配置仍然具有挑战性,每个工作负载可能需要不同的设置才能最佳运行。使用次优配置会导致显著的额外运行时成本。此外,Spark和类似的平台在数据科学家社区中越来越受欢迎,这些社区对这些问题的认识相对较低。我们提出了Tuneful,一种有效地调整内存中的集群计算系统的配置的方法。Tuneful结合了增量灵敏度分析和贝叶斯优化,使用少量的执行从高维搜索空间中识别接近最优的配置。这种设置允许在线进行调整,而无需任何先前的培训。我们的实验结果表明,Tuneful减少了搜索时间找到接近最佳配置的62%(中位数)相比,现有的国家的最先进的技术。这意味着调优成本的摊销发生得更快,从而能够针对新的工作负载类别进行实际调优。
2020-01-22 cs.DC cs.SY eess.SY
Beyond Batch Processing: Towards Real-Time and Streaming Big Data
今天,大数据是从许多来源产生的,并且存在对大数据的存储、管理、处理和查询的巨大需求。MapReduce模型及其对应的开源实现Hadoop已经证明了自己是大数据处理的事实上的解决方案。Hadoop本质上是为批量和高吞吐量处理作业而设计的。虽然Hadoop非常适合批处理作业,但对大数据的非批处理流程的需求越来越大,例如:交互式作业,实时的【形】查询和大数据流。由于Hadoop不适合这些非批处理工作负载,因此针对这些新挑战提出了新的解决方案。在本文中,我们将讨论两类解决方案:实时的【形】处理和大数据流处理。对于每个类别,我们讨论了Hadoop的范式、优势和差异。我们还为每个类别介绍了一些实用的系统和框架。最后,通过一些简单的实验,对比现有的基于Hadoop的解决方案,验证了一些解决方案的有效性。
2014-08-01 cs.DC
Storage and Memory Characterization of Data Intensive Workloads for Bare Metal Cloud
随着存储系统的每字节成本大幅下降,SSD正在新兴的云基础设施中找到自己的方式。类似的趋势也发生在主存子系统上,因为具有更高容量、频率和通道数量的先进DRAM技术正在部署用于云规模解决方案,特别是用于非虚拟化环境,在非虚拟化环境中,云用户可以准确指定底层硬件的配置。考虑到标准工作负载对存储层次结构参数的性能敏感性,了解内存和存储在数据密集型工作负载中的作用非常重要。在本文中,我们研究了DRAM(高端与低端)的选择如何影响基于Hadoop,Spark和MPI的大数据工作负载在裸金属云上存在不同存储类型时的性能。通过有条不紊的实验设置,我们分析了DRAM容量,工作频率,通道数量,存储类型和横向扩展因素对这些流行的框架的性能的影响。基于微架构分析,我们将数据密集型工作负载分为三组,即I/O绑定、计算绑定和内存绑定。表征结果表明,无论是DRAM容量,频率,还是通道的数量都对所有研究的Hadoop工作负载的性能起着重要的作用,因为它们大多是I/O绑定的。另一方面,我们的研究结果表明,Spark和MPI中的迭代任务(例如机器学习)受益于高端DRAM,特别是高频率和大量通道,因为它们是内存或计算限制的。我们的研究结果表明,使用SSD PCIe不能将瓶颈从存储转移到内存,而它可以将工作负载行为从I/O绑定改变为计算绑定。
2018-08-15 cs.DC
Scheduler Technologies in Support of High Performance Data Analysis
作业调度器是可伸缩计算基础设施的关键组件。它们协调在计算基础设施上执行的所有工作,并直接影响系统的有效性。最近,工作负载已经多样化,从长时间运行,同步并行模拟,包括短时间,独立并行高性能数据分析(HPDA)的工作。这些作业类型中的每一种都需要不同的功能和调度程序调优才能有效运行。已经开发了许多并行计算器来解决作业工作负载和计算系统异构性。高性能计算(HPC)调度器被设计为在超级计算机上调度大规模科学建模和模拟。大数据调度器旨在在集群上调度数据处理和分析工作。本白皮书比较和对比了HPC和大数据处理器的功能,重点是同时适应科学计算和高性能数据分析工作负载。作业延迟对于可扩展计算基础设施的有效利用至关重要,本文介绍了几个当前集群的作业启动基准测试结果:Slurm,网格引擎之子,Mesos和Yarn。我们发现,所有这些调度器都具有较低的短期运行作业的利用率。此外,采用多级调度显着提高了利用率在所有的集群。
2016-07-22 cs.DC
A Frequency Scaling based Performance Indicator Framework for Big Data Systems
对于大数据系统来说,识别其性能瓶颈非常重要。然而,诸如资源利用等流行的指标往往具有误导性,并且彼此之间不可比。本文提出了一种新的指标框架,可以直接比较不同的指标相互之间的影响,有效地识别和分析的性能瓶颈。一种方法,它可以构造的指标,从性能变化与CPU频率缩放。以Spark作为大数据系统的实例,以两个典型的SQL基准测试作为工作负载,对所提方法进行了评估。实验结果表明,与资源利用率方法相比,该方法具有较高的准确性,与白盒方法相比,该方法易于实现。同时,通过对指标的分析,得出了一些有趣的结论,并为大数据系统的性能优化提供了有价值的建议。
2018-11-27 cs.DB cs.DC
Big Data at HPC Wales
本文介绍了一种在HPC系统上处理大数据工作负载的自动化方法。我们描述了一种解决方案,该解决方案在HPC环境中动态创建基于YARN的统一集群,而无需配置和分配专用的Hadoop集群。最终用户可以选择在支持的框架的任意组合中编写解决方案,该解决方案可以从几个核心无缝扩展到数千个核心。这种环境的耦合为应用程序创建了一个平台,以利用本地HPC解决方案以及大数据框架。用户将获得多种语言的HPC Wales API,这将使他们能够将此流集成到他们的环境中,从而确保HPC访问的传统方式不会成为瓶颈。我们描述的行为的集群创建和性能结果Terasort。
2015-06-30 cs.DC
ROBUS: Fair Cache Allocation for Multi-tenant Data-parallel Workloads
处理大数据的系统-例如,Hadoop、Spark和大规模并行数据库需要同时代表多个租户运行工作负载。这些系统中丰富的基于磁盘的存储通常由更小但速度更快的{ \em缓存}来补充。缓存是一种宝贵的资源:使用缓存的租户可以看到两个数量级的性能提升。缓存也是一种有限的、因此是共享资源:与一次只能由一个租户使用的CPU核心等资源不同,缓存的数据项可以由多个租户同时访问。因此,缓存必须由多租户感知策略跨租户共享,每个租户都有一组唯一的优先级和工作负载特征。在本文中,我们开发的缓存分配策略,加快整体工作负载,同时对每个租户{ \em公平}。我们建立了一个新的公平性模型,针对共享资源设置,不仅采用了更标准的帕累托效率和共享激励的概念,但也定义了嫉妒自由度的概念,通过{ \em核心}从合作博弈论。我们的缓存管理平台,ROBUS,使用随机化在小的时间批次,我们开发了一个按比例公平分配机制,满足预期的核心属性。我们证明了该算法和相关的公平算法可以在多项式时间内逼近到任意精度。我们评估这些算法的ROBUS原型上实现的火花RDD存储作为缓存。我们的综合生成的行业标准的工作负载的评估表明,我们的算法提供了一个加速接近性能最优算法,同时保证租户之间的公平性。
2015-09-03 cs.DC
Towards Persistent Memory based Stateful Serverless Computing for Big Data Applications
本文提出Marvel架构,通过内存缓存和PMEM支持HDFS存储,解决无服务器平台有状态执行和I/O瓶颈,使大数据应用执行时间最多减少86.6%。
2023-09-08 cs.DC cs.PF
A Taxonomy of Schedulers -- Operating Systems, Clusters and Big Data Frameworks
AXIS APPLICATIONS LTD(AXIS应用有限公司)
本文分析了已部署的负载调度器解决方案,提出一种基于架构和设计的分类法,重点关注影响吞吐量与可扩展性的关键设计因素及渐进式改进,并特别考察了 Google 的 Borg 系统。
2025-09-23 cs.DC
Scheduling Data-Intensive Workloads in Large-Scale Distributed Systems: Trends and Challenges
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
该研究针对大数据背景下数据密集型工作负载的调度挑战,提出了负载分类方法,梳理了大规模分布式系统中的常用调度策略与新型方案,并指明了开放挑战与未来方向。
2025-10-29 cs.DC
Karasu: A Collaborative Approach to Efficient Cluster Configuration for Big Data Analytics
Technische Universität Berlin(柏林工业大学);University of Glasgow(格拉斯哥大学)
针对大数据分析作业资源配置的冷启动问题,提出Karuas方法,通过共享相似用户的性能分析数据训练轻量级集成模型,显著提升了配置搜索的性能、时间与成本效率。
2023-11-23 cs.DC cs.LG
Efficient Orchestration of Host and Remote Shared Memory for Memory Intensive Workloads
由于很少的贡献,一个统一的内存编排框架,有效地管理主机和远程空闲内存的发展,我们提出代客,一个有效的方法来编排主机和远程共享内存,以提高内存密集型工作负载的性能。本文有三个原创性的贡献。首先,我们重新设计的关键路线中的数据流,通过引入一个主机协调的内存池,作为本地缓存,以减少主机和远程内存编排的关键路线中的延迟。其次,Valet通过Valet主机协调内存池管理本地内存,跨容器利用未使用的本地内存,这允许容器根据工作负载需求动态扩展和收缩其内存分配。第三,Valet基于两个优化在远程对等体上提供了有效的远程存储器回收技术:(1)基于活动的牺牲者选择方案,以允许选择最不活跃的数据块来服务驱逐请求,以及(2)迁移协议,以将最不活跃的数据块移动到存储器压力较小的远程节点。因此,Valet可以有效地降低本地节点上的性能影响和迁移开销。我们在NoSQL系统和机器学习(ML)工作负载上的广泛实验表明,Valet优于现有的代表性远程分页系统,与传统的操作系统交换设施相比,大数据和ML工作负载的吞吐量提高了226倍,延迟降低了98%,与最先进的远程分页系统相比,吞吐量提高了5.5倍,延迟降低了78.4%。Valet在https://github.com/git-disl/Valet上开源。
2020-08-28 cs.DC
Big Data Analytics-Enhanced Cloud Computing: Challenges, Architectural Elements, and Future Directions
云计算的出现使得弹性容量的动态配置成为可能。云数据中心包含数千台物理服务器,托管数量级更多的虚拟机,这些虚拟机可以按需分配给按需付费的用户。然而,并非所有系统都能够通过添加更多虚拟机来扩展。因此,即使对于可扩展的系统,也必须提前规划工作负载,而不是使用纯粹的反应式方法。考虑到生成实时的监控信息的现代云基础设施的规模,以及操作系统和应用程序生成的所有信息,这些数据带来了大数据方法所解决的数量、速度和多样性问题。在本文中,我们研究如何利用大数据分析有助于增强云计算环境的操作。我们讨论了大数据分析在云中的各种应用,通过大数据分析增强云操作的开放问题,以及云异常检测和预防的架构以及未来的研究方向。
2015-10-22 cs.DC
Architectural Impact on Performance of In-memory Data Analytics: Apache Spark Case Study
虽然集群计算框架正在不断发展以提供实时数据分析功能,但Apache Spark已经成为大数据分析的最前沿,成为批量和流数据处理的统一框架。然而,最近的研究在内存中的数据分析的微架构表征仅限于批处理工作负载。我们使用双套接字服务器上的硬件性能计数器比较Apache Spark中批处理和流处理工作负载的微架构性能。在我们的评估实验中,我们已经发现,批处理是流处理工作负载具有类似的微架构特征,并受到频繁的数据访问DRAM的延迟。对于数据访问,我们发现同时多线程可以有效地隐藏数据延迟。我们还观察到,(i)NUMA节点上的数据局部性可以平均提高10%的性能,(ii)禁用下一行L1-D预取器可以减少高达14%的执行时间,(iii)多个小执行器可以提供高达36%的加速比。
2016-04-28 cs.AR cs.DC cs.PF
A unified framework to improve the interoperability between HPC and Big Data languages and programming models
本文提出统一计算框架IgnisHPC,以MPI为骨干,在同一框架中融合HPC与大数据任务,支持JVM及非JVM多语言应用,实验表明其在性能和生产力上优于Apache Spark。
2021-12-01 cs.DC
HybridTune: Spatio-temporal Data and Model Driven Performance Diagnosis for Big Data Systems
随着人们对大数据系统的兴趣越来越大,分析和促进其性能改进变得越来越重要。虽然有很多研究工作来提高大数据系统的性能,但有效地分析和诊断这些大规模分布式系统的性能瓶颈仍然是一个重大挑战。本文提出了一种基于大数据应用阶段性和分布性的时空关联分析方法,能够对多层次性能数据进行细粒度关联。在相关数据的基础上,针对不同的性能瓶颈,如工作负载不平衡、数据倾斜、异常节点和离群点度量,定义了一些先验规则,选择特征并对相应的数据集进行向量化。然后,我们利用数据和模型驱动的算法进行瓶颈检测和诊断。此外,我们设计和开发了一个轻量级的,可扩展的工具HybridTune,并验证了我们的工具与BigDataBench的诊断有效性的几个基准实验中,优于国家的最先进的方法。实验结果表明,该算法对异常/离群点的检测准确率达到80%左右。最后,我们给出了几个Spark和Hadoop的应用案例,展示了HybridTune如何支持用户对Spark和Hadoop应用进行高效的性能分析和诊断,并通过实践证明HybridTune可以帮助用户发现性能瓶颈并提供优化建议。
2017-11-21 cs.DC
Plug and Play Bench: Simplifying Big Data Benchmarking Using Containers
最近大数据的蓬勃发展,加上其处理和存储的挑战,引发了分布式数据处理和存储范式的发展,如MapReduce,Spark和NoSQL数据库。随着云计算的出现,在机器集群上处理和存储如此庞大的数据集现在是容易可行的。但是,用户可以依靠有限的工具和方法来衡量和理解本地部署在集群或云中的大数据应用程序的性能。研究人员已经开始通过提供适合大数据应用程序的基准测试套件来探索这一领域。然而,这些工具中的许多是分散的,部署和管理复杂的,并且不提供关于对应用程序进行基准测试的货币成本的透明度。在本文中,我们提出了Plug And Play Bench,这是一种基础设施感知抽象,旨在集成和简化机器集群上大数据基准测试工具的部署。PAPB通过基于底层集群部署框架将工具和设置容器化,自动化安装、配置和执行常见大数据基准工作负载的繁琐过程。我们的概念验证实施利用HiBench作为基准套件,HDP作为集群部署框架,Azure作为云平台。本文进一步说明了基于底层Microsoft Azure云平台的成本指标。
2017-11-29 cs.DC
Blink: Lightweight Sample Runs for Cost Optimization of Big Data Applications
分布式内存数据处理引擎通过将大量数据集缓存在内存中而不是在每次迭代中重新计算它们来加速迭代应用程序。选择合适的集群大小来缓存这些数据集在实现最佳性能方面起着至关重要的作用。在实践中,这对于终端用户来说是一项繁琐而艰巨的任务,他们通常不知道集群规范、工作负载语义和中间数据的大小。我们提出了Blink,一个基于自主采样的框架,它预测缓存数据集的大小,并选择最佳的集群大小,而不依赖于历史运行。我们在各种迭代的、真实世界的、机器学习应用上评估Blink。与最佳运行成本相比,平均样本运行成本为4.6%,Blink在16种情况中选择了15种最佳集群大小,与平均成本相比节省了高达47.4%的执行成本。
2022-07-05 cs.DB cs.DC
Artificial Intelligence for Cost-Aware Resource Prediction in Big Data Pipelines
BITS Pilani(比斯·帕利尼大学)
本文提出基于随机森林回归的AI方法,利用Google Borg跟踪数据预测大数据管道资源利用率,实现高精度(R²=0.99),支持成本感知的云自动伸缩。
2025-09-30 cs.AI cs.DC
Identifying the potential of Near Data Computing for Apache Spark
虽然集群计算框架正在不断发展以提供实时数据分析功能,但Apache Spark已经成为大数据分析的最前沿,成为批量和流数据处理的统一框架。由于过去十年的技术进步,近数据计算(NDC)也重新引起了人们的兴趣。然而,目前尚不清楚NDC架构是否可以提高Apache Spark等大数据处理框架的性能。在这份立场文件中,我们假设支持NDC架构,包括基于可编程逻辑的混合2D集成处理内存和存储处理Apache Spark,通过对Ivy Bridge Server上基于Apache Spark的工作负载进行广泛分析。
2017-05-09 cs.DC
ACTS in Need: Automatic Configuration Tuning with Scalability Guarantees
为了支持各种大数据用例,许多大数据相关系统公开了大量用户可指定的配置参数。在我们的实验中突出显示,具有良好调优的配置参数的MySQL部署实现的峰值吞吐量是默认设置的12倍。然而,对于普通用户来说,为数十或数百个配置参数找到最佳设置是不可能的任务。更糟糕的是,许多大数据应用程序需要在同一集群中共同部署的多个系统的支持。由于这些协同部署的系统可以相互作用以影响整体性能,因此必须一起对它们进行调优。需要具有可伸缩性保证(Scalability Guarantee,缩写为SVM)的自动配置调优来帮助系统用户。可扩展性解决方案必须可扩展到各种系统、工作负载、部署、参数和资源限制。提出并实施了一个可扩展的解决方案,我们证明,可扩展的用户不仅有利于提高系统性能和资源利用率,而且在节省成本,使更公平的基准测试。
2017-08-07 cs.DC
Hydra: Hybrid Server Power Model
University of California Merced(加州大学默塞德分校);San Jose State University(圣何塞州立大学)
随着需要大量数据和计算的大数据工作负载日益复杂,数据中心每天消耗大量电力。为了最大限度地减少数据中心的功耗,一些研究开发了可用于作业调度的功率模型,可以减少活动服务器的数量,也可以在服务器的峰值能效点平衡服务器上的工作负载。由于软件和硬件异构性的增加,我们观察到没有一个单一的功率模型可以在所有服务器条件下都发挥最佳作用。一些复杂的机器学习模型本身会导致性能和功率开销,因此不希望频繁使用它们。没有考虑容器化工作负载执行的功率模型。在本文中,我们提出了一个混合服务器功率模型,Hydra,同时考虑预测精度和性能开销。Hydra会根据给定的服务器条件动态选择最佳的功耗模型。与最先进的解决方案相比,Hydra在异构服务器上的所有计算强度级别上都表现出色。
2022-07-20 cs.DC cs.LG
Optimisation of ATLAS computing resource usage through a modern HEP Benchmark Suite via HammerCloud and Big PanDA
本文利用HammerCloud和PanDA在136个站点部署增强型HEP Benchmark Suite,系统评估HEPScore23基准下ATLAS计算资源的实际性能与声明能力差异,识别配置问题并优化资源使用效率。
2025-02-07 cs.DC hep-ex
Lachesis: Automatic Partitioning for UDF-Centric Analytics
持久分区在避免昂贵的混洗操作方面是有效的。然而,对于广泛使用用户定义函数(UDF)的大数据分析工作负载,自动化此过程仍然是一个重大挑战,与关系应用程序相比,子计算很难重新用于分区。此外,在以UDF为中心的分析中普遍存在的非结构化数据中,广泛用于分区选择的函数依赖性通常不可用。我们提出了Lachesis系统,它代表了UDF为中心的工作负载的可分析和可重用的子计算的工作流程。Lachesis进一步采用深度强化学习模型来推断哪些子计算应该用于划分底层数据。然后应用此分析来自动优化跨应用程序的数据存储,以提高性能和用户的工作效率。
2021-02-22 cs.DB cs.DC
Analyzing Big Datasets of Genomic Sequences: Fast and Scalable Collection of k-mer Statistics
由于下一代测序技术产生的大量数据,基于映射-缩减编程范式的分布式方法已经开始在生物信息学领域被提出。然而,使用map-reduce和相关的大数据技术和框架(例如,Apache Hadoop和Spark)在效率和有效性方面不一定会产生令人满意的结果。我们讨论了分布式和大数据管理技术的发展如何影响了生物序列的大数据集的分析。此外,我们展示了如何选择不同的参数配置和仔细工程的软件相对于所考虑的特定框架可能是至关重要的,以实现良好的性能,特别是在非常大量的数据。我们选择k-mer计数作为我们分析的案例研究,并Spark作为实现FastKmer的框架,FastKmer是一种从大量生物序列中提取k-mer统计的新方法,具有任意k值。FastKmer最相关的贡献之一是引入了一个模块,用于在计算集群的节点上平衡统计数据聚合工作负载,以克服数据偏斜,同时允许充分利用底层分布式架构。我们还提出了一个比较实验分析的结果,表明我们的方法是目前最快的基于大数据技术,同时表现出非常好的可扩展性。我们提供的证据表明,使用技术,如Hadoop或Spark的生物序列的大数据集的分析是富有成效的,只有当架构的细节和所考虑的框架的特殊方面仔细考虑到的算法设计和实施。
2018-07-04 cs.DC
LLMapReduce: Multi-Level Map-Reduce for High Performance Data Analysis
map-reduce并行编程模型在大数据社区中非常流行。许多大数据工作负载可以从超级计算机提供的增强性能中受益。LLMapReduce为运行在超级计算机上的大数据用户提供了熟悉的映射-缩减并行编程模型。LLMapReduce通过在一行代码中提供简单的并行编程能力,极大地简化了map-reduce编程。LLMapReduce支持所有程序设计语言和许多调度器。LLMapReduce可以与任何应用程序一起工作,而无需修改应用程序。此外,LLMapReduce可以通过允许用户切换到更高效的单程序多数据(SPMD)并行编程模型的选项来克服map-reduce并行编程模型中的缩放限制。这些特性使用户能够将计算开销减少到某些应用程序的标准map-reduce的10倍以上。LLMapReduce被MIT的数百名用户广泛使用。目前LLMapReduce可以与几个编译器一起工作,例如SLURM,Grid Engine和LSF。
2016-07-22 cs.DC
Perona: Robust Infrastructure Fingerprinting for Resource-Efficient Big Data Analytics
Technische Universität Berlin(柏林工业大学);University of Glasgow(格拉斯哥大学)
为大数据分析应用程序选择良好的资源配置可能具有挑战性,特别是在云环境中。自动化方法是可取的,因为糟糕的决策会降低性能并增加成本。大多数现有的自动化方法要么从以前的工作负载执行中构建性能模型,要么进行迭代的资源配置分析,直到找到一个接近最优的解决方案。在这样做的过程中,它们只能获得对底层基础设施的隐含理解,这很难转移到替代基础设施,因此,分析和建模见解不能持续到非常特定的情况。我们提出了Perona,这是一种在大数据分析背景下使用的强大基础设施指纹识别的新方法。Perona为目标资源采用了通用的基准测试工具集和配置,这样得到的基准测试指标就可以直接进行比较,并且可以进行排名。通过学习输入度量向量的低维表示来丢弃不重要的基准度量,并且还考虑到先前的基准执行以用于上下文感知,从而允许检测资源退化。我们评估我们的方法收集的数据,从我们自己的实验,以及在相关的工作资源配置优化,证明Perona捕获的特点,从基准测试运行在一个紧凑的方式,并产生表示,可以直接使用。
2023-01-30 cs.DC cs.LG
Fine-Grained Modeling and Optimization for Intelligent Resource Management in Big Data Processing
本文提出基于MaxCompute的细粒度实例级建模与分层多目标优化系统,分解资源优化问题,在生产负载下同时降低37-72%延迟和43-78%成本。
2022-07-09 cs.DB cs.DC
Benchmarking Apache Spark and Hadoop MapReduce on Big Data Classification
Istanbul Technical University(伊斯坦布尔理工大学);ASELSAN A.S.(阿瑟尔桑公司)
大多数流行的大数据分析工具都在不断发展,以适应其工作环境,从大量非结构化数据中提取有价值的信息。数据采掘技术能够从大数据中过滤这些有用的信息,这导致了大数据采掘这个术语。将数据范围从小型、结构化和稳定的数据转变为海量、非结构化和快速变化的数据带来了许多数据管理挑战。不同的工具由于其体系结构的限制,以自己的方式应对这些挑战。在根据手头的任务选择正确的数据管理框架时,需要考虑许多参数。在本文中,我们为两个广泛使用的大数据分析工具,即Apache Spark和Hadoop MapReduce,在一个共同的数据采掘任务上,即,分类.我们采用了几个评估指标来比较基准框架的性能,如执行时间,准确性和可扩展性。这些指标专门用于测量分类任务的性能。据我们所知,在文献中没有以前的研究,采用所有这些指标,同时考虑到特定任务的关注。我们发现Spark在训练模型时比MapReduce快5倍。然而,Spark的性能会随着输入工作负载的增大而降低。通过额外的集群扩展环境可以显著提高Spark的性能。然而,在Hadoop中没有观察到类似的增强。MapReduce的机器学习实用程序往往比Spark具有更好的准确性分数,即使在小规模的数据集中也是如此,大约3%。
2022-09-21 cs.DC cs.LG
High-Performance Serverless Computing: A Systematic Literature Review on Serverless for HPC, AI, and Big Data
Department of Computer Science, University of Pisa(帕尔米斯大学计算机科学系);ISTI – National Research Council(国家研究理事会ISTI)
本文系统综述了122篇论文,提出八个研究方向和九个用例领域,分析了服务器less计算在HPC、AI和大数据中的应用趋势和合作网络。
2026-01-14 cs.DC cs.LG
Authenticated Key-Value Stores with Hardware Enclaves
在不受信任的平台上进行身份验证的数据存储是云应用程序的重要计算范例,从大数据外包到加密货币和证书透明度日志。这些现代应用越来越多地以更新密集型工作负载为特征,而设计有就地更新的现有认证数据结构(ADS)对于处理此类工作负载是低效的。在本文中,我们解决了这个问题,并提出了一种新的基于认证日志结构合并树(eLSM)的键值存储,该存储利用英特尔SGX安全区。我们提出了一个系统设计,运行的代码eLSM存储在飞地。为了规避有限的安全区内存(最新的Intel CPU为128 MB),我们建议将eLSM存储的内存缓冲区放置在安全区之外,并通过消化各个LSM树级别,使用新的经过身份验证的数据结构来保护缓冲区。我们设计的协议,以支持查询认证的数据完整性,完整性(范围内的查询),和新鲜度。在我们的协议中的证明是通过只包括选择性水平的Merkle证明来实现的。我们在Google LevelDB和Facebook RocksDB之上实现了eLSM,代码更改和性能干扰最小。我们在YCSB工作负载基准测试下评估了eLSM的性能,并显示出高达4.5倍加速的性能优势。
2019-11-06 cs.CR cs.DB cs.DC