ROLP: Runtime Object Lifetime Profiling for Big Data Memory Management
信用卡欺诈检测和网站定向广告等低延迟服务依赖于大数据平台（例如，Lucene，Graphchi，Cassandra），它们运行在内存管理的运行时之上，例如JVM。然而，由于不充分的存储管理决策（例如，将具有非常不同的生存期的对象分配到彼此相邻的位置，从而导致内存碎片）。这会导致长时间且频繁的应用程序暂停时间，从而破坏服务级别协议（SLA）。这个问题之前已经被识别，并且结果表明，当前的存储管理技术不适合于在存储器中保存大量的中期到长期对象的应用（这是大数据应用的广泛范围的情况）。以前的工作试图通过在堆外或特殊分配区域/代中分配对象来减少这种应用程序暂停，从而减轻存储管理的压力。然而，所有这些解决方案都需要程序员的努力和知识、源代码访问或离线分析的组合，对程序员的生产力和/或应用程序性能有明显的负面影响。本文介绍了ROLP，一个运行时对象生命周期分析系统。ROLP在运行时分析应用程序代码，以便识别哪些分配上下文创建具有中到长生命期的对象，因为这些对象需要以不同的方式处理（关于短生命期的对象）。这些分析信息极大地改善了存储管理决策，导致Lucene的长尾延迟减少了51%，GraphChi减少了85%，Cassandra减少了60%，而吞吐量和内存开销可以忽略不计。ROLP是为OpenJDK 8 HotSpot JVM实现的，它不需要任何程序员的努力或源代码访问。
2018-03-09 cs.DC
Experimental Study of the Cloud Architecture Selection for Effective Big Data Processing
大数据决定了他们对硬件和软件的要求。简单的迁移到云端的数据处理，虽然解决了增加计算能力的问题，但也带来了一些问题：需要确保安全性，需要控制数据传输过程中的质量，需要优化请求。计算云不仅仅提供可扩展的资源，还需要网络基础设施、未知的路由和用户请求数量。此外，在运行过程中可能会出现这样的情况，即您需要更改应用程序的架构-部分数据需要放置在私有云中，部分在公共云中，部分留在客户端上。
2015-07-01 cs.DC
Distributed-Memory Parallel Algorithms for Counting and Listing Triangles in Big Graphs
在许多应用领域中出现的大图（网络）对图分析师提出了重大挑战，因为这些图增长到数十亿个节点和边，并且大到无法容纳在主内存中。求图中三角形个数是图挖掘和分析中的一个重要问题。在本文中，我们提出了两个有效的基于MPI的分布式内存并行算法计数三角形的大图。第一个算法采用重叠分区和有效的负载均衡计划，以提供一个非常快的并行算法。该算法可以很好地扩展到具有数十亿个节点的网络，并且可以在16分钟内计算出具有100亿条边的网络中三角形的确切数量。第二种算法将网络划分为不重叠的分区，从而产生空间有效的算法。我们在人工和真实世界的网络上的结果表明，该算法显着节省空间。我们还提出了一种新的方法，大大降低了通信成本，导致算法的空间和运行时高效的算法。此外，我们演示了我们的算法可以用来列出所有的三角形在一个图形和计算聚类系数的节点。我们的算法也可以适用于并行近似算法使用边缘稀疏化方法。
2017-06-16 cs.DC
DyAdHyTM: A Low Overhead Dynamically Adaptive Hybrid Transactional Memory on Big Data Graphs
大数据是一个流行词，用于描述大量数据，这些数据提供了通过数据分析探索新见解的机会。然而，大数据大多是结构化的，但可以是半结构化或非结构化的。它通常是如此之大，以至于使用传统的计算系统处理它不仅困难而且缓慢。解决方案之一是将数据格式化为图形数据结构，并在共享内存架构上处理它们，以使用快速和新颖的策略，例如事务内存。在生物信息学、社交网络和网络安全等大数据类型问题中的大多数图形应用中，图形本质上是稀疏的。由于这种稀疏性，我们有机会使用Transmitted Memory（TM）作为关键部分的同步策略，以加速应用程序。在低冲突概率TM执行优于大多数同步策略，由于其固有的非阻塞特性。TM可以用软件、硬件或两者的组合来实现。然而，硬件TM实现是快速的，但受限于稀缺的硬件资源，而软件实现具有高的开销，这会降低性能。在本文中，我们开发了一个低开销，但简单，动态自适应（即在运行时）的混合（即结合硬件和软件）TM（DyAdHyTM）计划，结合了硬件TM（HTM）和软件TM（STM）的最佳功能，同时适应应用程序的要求。对于在具有大共享内存的多核机器上运行的SSCA2图形基准测试，它的性能比粗粒度锁高出8.12倍，比低开销STM高出2.68倍，比HTM的几个实现高出2.59倍，比其他HyTM高出1.55倍。
2017-03-02 cs.DC
Energy Efficiency in Cloud-Based Big Data Processing for Earth Observation: Gap Analysis and Future Directions
针对云基地球观测大数据处理能效受关注不足的问题，分析现有平台在能源监测、数据管理等方面的差距，提出能源感知框架、基础设施优化等方向，以降本减碳且尽量不影响性能。
2025-10-03 cs.DC
An Experimental Survey on Big Data Frameworks
最近，越来越多的数据是从各种来源生成的。现有的数据处理技术不适合处理大量生成的数据。然而，许多研究工作都集中在大数据上，这是一个时髦的词，指的是处理大量（非结构化）数据。最近提出的大数据应用程序框架有助于存储，分析和处理数据。在本文中，我们讨论了大数据的挑战，并调查了现有的大数据框架。我们还对最流行的大数据框架进行了实验评估和比较研究。本次调查的最后介绍了最佳实践的研究框架的使用在几个应用领域，如机器学习，图形处理和现实世界的应用。
2018-06-06 cs.DC
Advancing Polyglot Big Data Processing using the Hadoop ecosystem
本文探讨Hadoop生态系统作为多语言大数据处理平台的集成优势，涵盖架构基础、智慧城市与社交网络用例，并展望未来研究方向。
2025-04-19 cs.DC
DV-ARPA: Data Variety Aware Resource Provisioning for Big Data Processing in Accumulative Applications
在云计算中，所使用的资源配置方式对处理成本有很大的影响，特别是在用于大数据处理时。由于数据的多样性，虚拟机（VM）的性能可能基于数据块的内容而不同。数据多样性无关分配导致虚拟机的性能降低，并增加了处理成本。因此，可以通过将VM与给定数据块匹配来降低作业的总成本。我们使用一种数据多样性感知的资源分配方法来降低所考虑的作业的处理成本。针对这个问题，我们将输入数据划分为若干数据块。我们定义每个数据块的重要性，并根据它选择合适的虚拟机以降低成本。为了检测每个数据部分的显著性，我们使用特定的采样方法。此方法适用于累积应用程序。我们使用一些著名的基准测试和配置的服务器进行评估。基于结果，我们的供应方法提高了处理成本，与其他方法相比高达35%。
2020-08-11 cs.DC
Building Analytics Pipelines for Querying Big Streams and Data Histories with H-STREAM
本文介绍了H-STREAM，一个大的流/数据处理管道评估引擎，提出流处理操作符作为微服务，以支持来自物联网（物联网）环境的大数据流的分析和可视化。H-STREAM微服务结合了流处理和数据存储技术，这些技术根据产生流的事物的数量、它们产生流的速度以及可用于在线处理流并将其交付给消费者的物理计算资源进行调整。H-STREAM提供安装在云环境中的流处理和可视化微服务。微服务可以被组合用于实现特定的流聚合分析管道作为查询。本文提出了一种实验验证，使用Microsoft Azure作为部署环境，测试H-STREAM在（i）神经科学实验和（i）物联网农场上运行的社交连接分析场景中处理速度和容量挑战的能力。
2021-08-07 cs.DC
Memory-Disaggregated In-Memory Object Store Framework for Big Data Applications
最近，记忆分解的概念在研究中越来越受到关注。通过存储器分解，数据中心计算节点可以直接访问相邻节点上的存储器，因此能够克服本地存储器限制，从而为分布式计算引入新的数据管理范例。本文提出并演示了一个内存分解内存对象存储框架的大数据应用程序，利用新引入的ThymesisFlow内存分解系统。该框架将现有Apache Arrow Plasma对象存储框架的功能扩展到分布式系统，使客户端能够轻松高效地跨多个计算节点生成和使用数据对象。这使得大数据应用程序能够以更低的开发成本越来越多地利用并行处理。此外，本文还包括延迟和吞吐量测量，这些测量表明，与本地相比，远程分散内存访问只会带来适度的性能损失（约6.5 vs约5.75 GiB/s）。研究结果可用于指导未来系统的设计，利用内存分解以及新提出的框架。这项工作是开源的，可在https://doi.org/10.5281/zenodo.6368998上公开访问。
2022-04-27 cs.AR cs.DC
Big Data-Driven Fraud Detection Using Machine Learning and Real-Time Stream Processing
本文提出结合 Kafka、Flink、Spark 等大数据实时流处理工具与机器学习模型的反洗钱欺诈检测方案，在合成 AML 数据集上取得超过 99% 的分类准确率。
2025-05-27 cs.DC
MaRe: a MapReduce-Oriented Framework for Processing Big Data with Application Containers
背景生命科学越来越多地受到大数据分析的驱动，MapReduce编程模型已被证明在数据密集型分析中是成功的。然而，目前的MapReduce框架对生物信息学管道中重用现有处理工具的支持很差。此外，这些框架没有对应用程序容器的原生支持，而应用程序容器在科学数据处理中正变得越来越流行。结果在这里，我们介绍了MaRe，一个具有相关开源实现的编程模型，它引入了对MapReduce中应用程序容器的支持。MaRe基于Apache Spark和Docker，MapReduce框架和容器引擎已经收集了最大的开源社区，从而提供与尖端软件生态系统的互操作性。我们在生命科学中的两个数据密集型应用程序上演示了MaRe，显示了易用性和可扩展性。结论. MaRe通过MapReduce和应用程序容器在生命科学中实现可扩展的数据密集型处理。与目前涉及使用工作流系统的最佳做法相比，MaRe具有提供数据本地化、从异构存储系统摄取和交互式处理的优势。MaRe是普遍适用的开源软件。
2019-05-09 cs.DC
GraphMP: An Efficient Semi-External-Memory Big Graph Processing System on a Single Machine
最近的研究表明，单机图形处理系统在大规模问题上可以像基于集群的方法一样具有高度的竞争力。虽然已经提出了几种核外图处理系统和计算模型，但在许多实际情况下，高磁盘I/O开销会显着降低性能。在本文中，我们提出了GraphMP来处理单台机器上的大图分析。GraphMP通过三种技术实现了低磁盘I/O开销。首先，我们设计了一个以顶点为中心的滑动窗口（VSW）计算模型，以避免在磁盘上读取和写入顶点。其次，我们提出了一种选择性的调度方法，跳过加载和处理磁盘上不必要的边缘碎片。第三，我们使用压缩的边缘缓存机制来充分利用机器的可用内存，以减少边缘的磁盘访问量。广泛的评估表明，GraphMP在十亿顶点图上运行流行的图形应用程序时，性能分别比GraphChi，X-Stream和GridGraph等最先进的系统高出31.6倍，54.5倍和23.1倍。
2017-07-09 cs.DC
GraphH: High Performance Big Graph Analytics in Small Clusters
在实际应用中，通常使用分布式图形处理系统来分析大型图形。流行的内存系统需要大量的资源来处理大型图。虽然已经提出了几种在磁盘上处理大型图形的核心外方法，但高磁盘I/O开销可能会显着降低性能。在本文中，我们提出了GraphH，以在小集群中实现高性能的大图分析。具体来说，我们设计了一个两阶段的图划分方案，均匀划分输入图到分区，并提出了一个GAB（聚集-应用-广播）计算模型，使每个工人处理一个分区在内存中的时间。我们使用边缘缓存机制来减少磁盘I/O开销，并设计了一种混合策略来提高通信性能。GraphH可以在小型集群甚至单个商品服务器中高效地处理大型图。广泛的评估表明，与流行的内存系统相比，GraphH在处理通用图形时可以快7.8倍，例如Pregel+和PowerGraph，并且比最近提出的核心外系统快100倍以上，例如处理大型图形时的GraphD和Chaos。
2017-08-07 cs.DC
A Survey on Spark Ecosystem for Big Data Processing
随着大数据在工业和学术领域的爆炸式增长，有必要应用大型数据处理系统来分析大数据。可以说，Spark是当今大规模数据计算系统的最新技术，因为它具有良好的特性，包括通用性，容错，内存数据处理的高性能和可扩展性。Spark采用了灵活的驻留分布式数据集（RDD）编程模型，提供了一组转换和动作操作符，用户可以根据应用程序自定义其操作功能。它最初被定位为一个快速和通用的数据处理系统。自引入以来，考虑到各种情况，已经进行了大量的研究工作，使其更有效（更快）和更普遍。在这次调查中，我们的目标是有一个彻底的审查各种优化技术的通用性和性能改进的火花。介绍了Spark编程模型和计算系统，讨论了Spark的优缺点，并对文献中的各种求解技术进行了调查和分类。此外，我们还介绍了Spark支持的各种数据管理和处理系统、机器学习算法和应用。最后，我们讨论了Spark在大规模内存数据处理方面的开放性问题和挑战。
2018-11-18 cs.DC
A Migratory Near Memory Processing Architecture Applied to Big Data Problems
主流供应商生产的服务器在处理大数据查询时效率低下，因为这些系统的基本架构中存在固有的瓶颈。当前的服务器刀片包含通过互连芯片组连接到DRAM存储器和磁盘的多核处理器。多核处理器芯片执行所有计算，而DRAM和磁盘存储数据，但没有处理能力。要执行数据库查询，数据必须在DRAM和小型缓存之间以及DRAM和磁盘之间来回移动。对于大数据应用程序来说，这种数据移动是繁重的。迁移近内存服务器通过将大量轻量级处理器直接放置到内存系统中来解决这个瓶颈。这些处理器直接在大数据应用程序的关系、顶点和边缘上运行，而无需在DRAM、缓存和重量级多核处理器之间来回穿梭大量数据。本文讨论了这种体系结构在关系数据库SELECT和JOIN查询中的应用。初步结果表明，端到端的数量级加速。
2020-03-20 cs.DB cs.DC
Ruya: Memory-Aware Iterative Optimization of Cluster Configurations for Big Data Processing
为大型集群上的数据处理作业选择合适的计算资源是困难的，即使对于像数据工程师这样的专家用户也是如此。选择不足可能导致成本大幅增加，而不会显著改善性能。选择有效资源配置的一个关键方面是避免内存瓶颈。通过预先知道作业所需的内存，可以大大减少用于最优资源配置的搜索空间。因此，我们提出了Ruya，一种基于迭代探索向下扩展的搜索空间的数据处理集群配置的内存感知优化方法。首先，我们只在一台机器上使用数据集的小样本执行作业分析，以模拟作业的内存使用模式。其次，我们优先考虑集群配置与适当的总内存量，并在此减少搜索空间，我们迭代搜索最佳集群配置贝叶斯优化。一旦搜索过程收敛到被认为是给定作业的最佳配置，则该搜索过程停止。在我们对包含1031个Spark和Hadoop作业的数据集进行的评估中，我们看到与基线相比，找到最佳配置的搜索迭代减少了大约一半。
2023-02-03 cs.DC
Resource Management and Scheduling for Big Data Applications in Cloud Computing Environments
本章介绍大数据处理平台的软件架构。它将提供在云环境中部署大数据处理系统时所涉及的资源管理技术的深入知识。它从最基本的开始，逐步介绍我们分为多个层次的资源管理的核心组件。它涵盖了国家的最先进的实践和研究，在SLA为基础的资源管理，特别侧重于作业调度机制。
2018-12-31 cs.DC
IOTSim: a Cloud based Simulator for Analysing IoT Applications
一项颠覆性的技术不仅影响着计算模式，也影响着所有其他业务，这就是大数据的兴起。物联网（IoT）应用被认为是大数据的主要来源。这种物联网应用通常通过云来支持，其中数据由大数据处理系统存储和处理。为了提高云基础设施的效率，使其能够有效地支持物联网大数据应用，重要的是要了解这些应用程序和相应的大数据处理系统将如何在云计算环境中执行。然而，考虑到大数据处理系统的可扩展性和复杂要求，对实际云基础设施的经验评估可能会阻碍及时且具有成本效益的物联网解决方案的开发。因此，在云环境中支持物联网应用的模拟器是非常必要的，但此类工作仍处于起步阶段。为了填补这一空白，我们设计并实现了IOTSim，它支持并实现了在云计算环境下使用MapReduce模型模拟物联网大数据处理。一个真实的案例研究验证了模拟器的有效性。
2016-02-21 cs.DC
Analysis of Server Throughput For Managed Big Data Analytics Frameworks
本文系统分析托管大数据框架的服务器吞吐量，研究通过 TeraHeap 降低 GC 和序列化开销对 CPU 利用率的影响，并在 Spark 和 Giraph 上验证不同内存分配策略的效果。
2025-06-04 cs.DC
Architecture of processing and analysis system for big astronomical data
这项工作探索了使用部署在云中的大数据技术来处理天文数据。我们已经将Hadoop和Spark应用于共同添加天文图像的任务。我们比较了这些框架的开销和执行时间。我们的结论是，这两个框架的性能一般是不相上下。Spark API更灵活，可以轻松构建天文数据处理管道。
2017-03-31 astro-ph.IM cs.DC
Real-time Text Analytics Pipeline Using Open-source Big Data Tools
在许多领域中需要实时的文本处理系统来快速识别模式、趋势、情绪和见解。如今，社交网络、电子商务商店、博客、科学实验和服务器日志是产生大量文本数据的主要来源。然而，要实时的处理庞大的文本数据，需要构建数据处理管道。构建这种管道的主要挑战是最大限度地减少处理高吞吐量数据的延迟。在本文中，我们使用开源大数据工具解释和评估我们提出的实时的文本处理管道，这些工具可以最大限度地减少处理数据流的延迟。我们提出的数据处理管道基于Apache Kafka进行数据摄取，Apache Spark用于内存中数据处理，Apache Cassandra用于存储处理结果，D3 JavaScript库用于可视化。我们评估的有效性，建议的管道在不同的部署方案下执行情感分析使用Twitter数据集。我们的实验评估表明，当三个虚拟机分配给建议的管道时，在$10.7$分钟内处理$466,700$推文的延迟不到一分钟。
2017-12-12 cs.DC
Flora: Efficient Cloud Resource Selection for Big Data Processing via Job Classification
针对大数据处理中云资源配置选择困难的问题，提出Flora方法，通过作业分类和测试执行推导配置，在Google Cloud上180次Spark作业中实现成本优化，平均偏差低于6%。
2025-02-28 cs.DC
Evaluating Serverless Architecture for Big Data Enterprise Applications
在本文中，我们研究了使用云原生原语执行大规模数据处理的无服务器计算。
2021-10-26 cs.DC
An Abstract View of Big Data Processing Programs
提出了一种基于数据流的并行数据处理程序的模型，该模型与目标大数据处理框架无关。本文重点研究了非迭代和迭代程序的形式化抽象规范，概括了数据流大数据处理框架所采用的策略。所提出的模型依赖于Monoid AlgebraandPetri Netto在两个级别上抽象大数据处理程序：表示程序数据流的高级别和表示数据转换操作的低级别（例如，过滤、聚合、连接）。我们扩展了[1]中提出的数据处理程序的模型，使迭代程序的使用成为可能。考虑到迭代和贪婪大数据分析算法的民主化，由基于数据流的并行编程模型实现的迭代数据处理程序的通用规范是必不可少的。事实上，这些算法要求重新访问并行编程模型来表达迭代。本文对Apache Spark、DryadLINQ、Apache Beam和Apache Flink提出的迭代策略进行了比较分析。讨论了该模型如何实现对这些策略的推广。
2021-08-05 cs.DC cs.SE
Big Data Analytics in Cloud environment using Hadoop
大数据管理是目前的一个问题。大数据增长非常快。由于其各种特性，管理起来非常困难。本文重点介绍使用Hadoop在云环境中进行大数据分析。我们根据大数据的特征，如数量，价值，多样性和速度进行了分类。我们已经做了各种节点来处理数据的基础上，他们的体积，速度，价值和品种。在这项工作中，我们已经分类的输入数据和路由到各个处理节点。最后对每个节点进行处理后，将所有节点的输出进行合并，得到最终结果。我们使用Hadoop来划分数据并处理它。
2016-09-15 cs.DC
OCEP: An Ontology-Based Complex Event Processing Framework for Healthcare Decision Support in Big Data Analytics
针对大数据环境下复杂事件处理面临的语义异构与互操作挑战，提出基于本体的OCEP框架，集成RDF、SPARQL及Hadoop生态，实现医疗事件流推理，检测准确率达85%，支持早期疾病检测与决策。
2025-03-27 cs.DC
Does Big Data Require Complex Systems? A Performance Comparison Between Spark and Unicage Shell Scripts
大数据范式的特点是需要收集和处理大量数据集，以各种格式以极快的速度到达系统。Spark是一种广泛使用的大数据处理系统，可以与Hadoop集成，为开发人员提供强大的抽象，例如通过HDFS的分布式存储和通过YARN的资源管理。当所有必需的配置完成后，Spark还可以提供质量属性，如可扩展性、容错和安全性。然而，所有这些好处都是以复杂性为代价的，具有高内存要求和额外的处理延迟。另一种方法是使用精益软件栈，如Unicage，将大部分控制权委托给开发人员。在这项工作中，我们在IBM Cloud托管的集群环境中评估了Spark与Unicage的大数据处理性能。进行了两组实验：非结构化数据集的批处理和结构化数据集的查询处理。输入数据集的大小很大，从64 GB到8192 GB不等。结果表明，对于grep和select等搜索工作负载，Unicage脚本的性能优于Spark，但是Hadoop堆栈中的分布式存储和资源管理的抽象使Spark能够执行具有记录间依赖性的工作负载，例如排序和连接，并具有正确的输出。
2022-12-28 cs.DC
Distributed Data Processing Frameworks for Big Graph Data
最近，我们创建了如此多的数据（每天2.5兆字节），以至于当今世界90%的数据都是在过去两年中创建的。这些数据来自用于收集交通或气候信息的传感器，社交媒体网站的帖子，照片，视频，电子邮件，购买交易记录，蜂窝网络的通话记录等。在本报告中，我们首先简要讨论了用于大数据处理的编程模型，并重点关注图数据，并对用于解决超大规模图问题的编程模型/框架进行了调查研究。在第2节中，我们介绍了不是专门设计用于处理图数据的编程模型，但我们将它们包括在本调查中，因为我们相信这些是重要的框架和/或已经有研究来定制它们以实现更有效的图处理。在第3节中，我们讨论了一些技术，这些技术在应用于Hadoop时，可以为某些图形问题提供高达1340倍的加速。在第4节中，我们讨论了基于顶点的编程模型，它被简单地设计为处理大型图和适应它的框架。在第5节中，我们实现了两个基本的图算法（页面排名和权重二分匹配），并将它们作为基线方法在单个节点上运行，以查看它们对于大型数据集的速度以及是否值得对其进行分区。
2016-12-18 cs.DC
AlertMix: A Big Data platform for multi-source streaming data
对流处理的需求正以前所未有的速度增长。大数据不再局限于处理大量数据。在大多数现实场景中，处理流数据的需求只能满足业务需求。交易、欺诈检测、系统监控、产品维护以及Twitter和YouTube视频等社交媒体数据都需要它。在这种情况下，关注于批处理的“太晚架构”无法实现用例。在本文中，我们提出了一个端到端的大数据平台AlertMix，用于处理多源流数据。它的架构以及如何利用各种大数据技术在这项工作中进行了解释。我们展示了我们的平台在目前由平台处理的实时流媒体数据上的性能。
2018-06-18 cs.DC cs.IR
MURS: Mitigating Memory Pressure in Service-oriented Data Processing Systems
虽然数据处理系统通常作为批处理系统工作，但许多企业将这样的系统部署为服务，我们称之为面向服务的数据处理系统。已经表明，内存数据处理系统遭受严重的内存压力。由于各种原因，面向服务的数据处理系统的情况变得更糟。例如，在面向服务的系统中，多个提交的任务被同时启动，并在资源的同一上下文中执行，而不是批处理模式中的任务被逐个处理。因此，内存压力会影响所有提交的任务，包括那些单独运行时只会产生轻微内存压力的任务。在本文中，我们发现，内存压力产生的原因是因为运行的任务在有限的内存空间中产生大量的长寿数据对象。我们的研究进一步揭示了长寿命数据对象是由内存处理框架调用的API函数生成的。基于这些发现，我们提出了一种方法来分类的API函数的基础上的内存使用率。此外，我们设计了一个调度器称为MURS，以减轻内存压力。我们在Spark中实现了MURS，并进行了实验来评估MURS的性能。结果表明，与Spark相比，MURS可以1）将提交作业的执行时间减少65.8%，2）通过将垃圾回收时间减少81%来减轻服务器中的内存压力，3）将数据溢出减少约90%，从而减少磁盘I/O。
2017-03-29 cs.DC
Big Data Analytics in Future Internet of Things
目前对物联网（IoT）的研究主要集中在如何使一般对象能够自己看到，听到和闻到物理世界，并使它们连接以共享观察结果。在本文中，我们认为，只有连接是不够的，除此之外，一般的对象应该有能力学习，思考，并理解自己的物理世界。另一方面，未来的物联网将由大量异构的联网嵌入式设备组成，这些设备以爆炸性的方式生成海量或大数据。尽管几乎每个人都对物联网中大数据分析的重要性达成了共识，但迄今为止，获得的结果有限，特别是数学基础。这些实际需求促使我们提出一个系统的教程，用于开发未来物联网中大数据分析的有效算法，这些算法分为四类：1）异构数据处理，2）非线性数据处理，3）高维数据处理，以及4）分布式和并行数据处理。我们设想，所提出的研究是作为一个潜在的富有成效的研究方向仅仅是婴儿的一步。我们希望这篇跨学科的文章能够激发更多的兴趣，为特定的物联网应用研究和开发实用有效的算法，以实现智能资源分配，自动网络运营和智能服务提供。
2013-11-17 cs.DC
PRIMEBALL: a Parallel Processing Framework Benchmark for Big Data Applications in the Cloud
在本文中，我们绘制了一个新的基准的规格比较并行处理框架的大数据应用程序托管在云中。我们的目标是填补现有云数据处理基准中的几个空白，这些基准缺乏其流程的真实环境，因此在尝试评估真实应用程序的性能时失去了相关性。因此，我们提出了一个虚拟的新闻网站托管在云中，这是由框架进行管理分析，连同几个客观的用例场景和系统性能评估的措施。我们的基准测试的主要优势是支持云功能和大数据属性的并行化功能。
2013-12-21 cs.DB cs.DC
The Anatomy of Big Data Computing
信息技术的进步及其在商业、工程、医学和科学研究的几个领域的广泛增长导致信息/数据爆炸。从如此快速增长的海量数据中发现知识和做出决策是数据组织和处理方面的一项具有挑战性的任务，这是一种新兴趋势，称为大数据计算;一种结合大规模计算，新数据密集型技术和数学模型来构建数据分析的新范式。大数据计算需要巨大的存储和计算来进行数据整理和处理，这些数据可以从内部部署或云基础设施提供。本文讨论了大数据计算的发展、传统数据仓库与大数据的区别、大数据计算的分类和支撑技术、大数据与云的集成平台（大数据云）、大数据云的分层架构和组件，最后讨论了开放性技术挑战和未来发展方向。
2015-09-04 cs.DC
Application of cloud computing platform in industrial big data processing
本文研究云计算在工业大数据处理中的应用，分析其原理、工业大数据需求及在多场景的应用效果，探讨落地挑战并提出对策，展望融合趋势与新兴技术前景，为产业应用与学术研究提供支撑。
2024-05-23 cs.DB cs.DC
A Survey on Geographically Distributed Big-Data Processing using MapReduce
Hadoop和Spark是广泛使用的分布式处理框架，用于在私有云或公共云上以高效和容错的方式进行大规模数据处理。这些大数据处理系统被许多行业广泛使用，例如，谷歌、Facebook和亚马逊，用于解决一大类问题，例如，搜索、聚类、日志分析、不同类型的连接操作、矩阵乘法、模式匹配和社会网络分析。然而，所有这些流行的系统在本地分布式计算方面都有一个主要缺点，这阻止了它们实现地理上分布式的数据处理。越来越多的地理分布的海量数据正在推动行业和学术界重新思考当前的大数据处理系统。这些新框架将超越当前系统所涉及的最先进的架构和技术，预计将在其位置处理地理上分布的数据，而无需将整个原始数据集移动到单个位置。在本文中，我们调查和讨论的挑战和要求，在设计地理分布的数据处理框架和协议。我们分类和研究批处理（基于MapReduce的系统），流处理（基于Spark的系统），SQL风格的处理地理分布的框架，模型和算法，其开销问题。
2017-07-06 cs.DB cs.DC
bigMICE: Multiple Imputation of Big Data
Linköping University（林雪平大学）；Göteborg University（哥德堡大学）；Region Västra Götaland（西约塔兰地区）
bigMICE通过Apache Spark实现高效处理大数据集的多重插补方法，提升内存效率和处理速度，适用于大规模缺失数据场景。
2026-01-29 cs.DC stat.CO
Towards Interactive, Adaptive and Result-aware Big Data Analytics
随着应用程序中数据量的增长，对大量数据的分析变得越来越重要。Apache Hadoop、Apache AsterixDB和Apache Spark等大数据处理框架就是为了满足这一需求而构建的。这些传统的基于集群的大数据处理框架所追求的共同目标是高性能，这通常意味着较低的端到端执行时间或延迟。数据分析的广泛采用导致人们呼吁改进传统的大数据处理方式。人们一直要求使分析过程更具交互性和适应性，特别是对于长时间运行的作业。在数据争论的迭代过程中，初始结果的重要性促使人们采用结果感知的方法来进行大数据分析。本论文的动机是这些要求改进数据处理和经验，在过去的几年里，同时在Texera项目，这是一个协同数据分析服务正在开发的加州大学欧文分校。本文主要由三部分组成。第一部分是关于Amber引擎的设计，它作为Texera服务的后端数据处理框架。第二部分是关于一个自适应和结果感知的偏斜处理框架，称为Reshape。Reshape使用快速控制消息来为各种操作员实现迭代偏斜缓解技术。Reshape中的缓解技术也从其对显示给用户的结果的影响的角度进行了分析。最后一部分介绍了一个基于结果感知的工作流调度框架Maestro。本部分讨论如何在计算集群上调度执行工作流，并在此过程中做出结果感知决策。这项工作通过将交互性，适应性和结果意识引入过程来改进数据分析过程。
2022-12-14 cs.DC
Big Data in Cloud Computing Review and Opportunities
大数据用于决策过程，以获得隐藏在数据中的有用见解，用于业务和工程。同时，它在处理方面提出了挑战，云计算通过提供计算、网络和存储能力帮助推进了大数据。本文介绍了使用云计算资源转换大数据的回顾、机遇和挑战。
2019-12-17 cs.DC
Towards Serverless Processing of Spatiotemporal Big Data Queries
Technische Universität Berlin（柏林工业大学）
本文提出了一种原生无服务器数据处理方法，通过将查询分解为小子查询，利用函数即服务平台的近实时扩展能力实现并行执行，以解决大规模空间时间数据处理的可扩展性问题。
2026-05-20 cs.DB cs.DC
Big Data Computing Using Cloud-Based Technologies, Challenges and Future Perspectives
设备和基于互联网的来源定期生成的大量数据构成了大数据。这些数据可以被处理和分析，为特定领域开发有用的应用程序。一些数学和数据分析技术在这一领域得到了应用。这导致了大数据计算的计算模型和工具的发展。然而，对于传统系统和技术来说，存储和处理要求是压倒性的。因此，需要能够根据变化的数据维度来调整存储和处理能力的基础设施。云计算是解决这一问题的一个潜在方案。然而，云中的大数据计算有其自身的一系列挑战和研究问题。本章概述了大数据的概念，讨论了可用于大数据的数学和数据分析技术，并对现有的工具、框架和平台进行了分类，这些工具、框架和平台可用于不同的大数据计算模型。此外，它还评估了基于云的大数据计算的可行性，研究了现有的挑战和机遇，并提供了该领域未来的研究方向。
2017-11-24 cs.DC
Plug and Play Bench: Simplifying Big Data Benchmarking Using Containers
最近大数据的蓬勃发展，加上其处理和存储的挑战，引发了分布式数据处理和存储范式的发展，如MapReduce，Spark和NoSQL数据库。随着云计算的出现，在机器集群上处理和存储如此庞大的数据集现在是容易可行的。但是，用户可以依靠有限的工具和方法来衡量和理解本地部署在集群或云中的大数据应用程序的性能。研究人员已经开始通过提供适合大数据应用程序的基准测试套件来探索这一领域。然而，这些工具中的许多是分散的，部署和管理复杂的，并且不提供关于对应用程序进行基准测试的货币成本的透明度。在本文中，我们提出了Plug And Play Bench，这是一种基础设施感知抽象，旨在集成和简化机器集群上大数据基准测试工具的部署。PAPB通过基于底层集群部署框架将工具和设置容器化，自动化安装、配置和执行常见大数据基准工作负载的繁琐过程。我们的概念验证实施利用HiBench作为基准套件，HDP作为集群部署框架，Azure作为云平台。本文进一步说明了基于底层Microsoft Azure云平台的成本指标。
2017-11-29 cs.DC
Cloud Big Data Mining and Analytics: Bringing Greenness and Acceleration in the Cloud
自过去十年以来，大数据正在获得压倒性的关注。云计算范式是一种利用计算节点上的大量可用资源进行高效存储的更高效的大数据处理和挖掘模式。云数据采掘引入了利用云资源对云中的海量数据进行数据采掘和分析的概念。但我们能做得更好吗？是的，当然！本章的主要贡献是确定了四种改变游戏规则的技术，用于加速云中数据采掘任务的计算和分析。图形处理单元可用于进一步加速挖掘或分析过程，称为GPU加速分析。此外，近似计算也可以引入大数据分析，通过减少时间和能源来提高过程的效率，从而促进整个计算过程的绿色化。量子计算是近年来发展迅速的一种范式，它还可以在很短的时间内促进高效和快速的大数据分析。我们已经调查了这三种技术，并通过将这三种改变游戏规则的技术与大数据的观点相结合，建立了它们在大数据采掘中的重要性。我们还谈到了另一种未来技术，即，神经处理单元或神经加速器，供研究人员探索各种可能性。这里还简要介绍了大数据和云数据采掘概念。
2021-04-12 cs.DC
BiJuTy: An Interactive HPC-Aware Big Data Cluster Lifecycle Manager and Performance Assessment Utility for JupyterHub
Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据分析和人工智能中心）；Center for Interdisciplinary Digital Sciences (CIDS)（跨学科数字科学中心）；TUD Dresden University of Technology（德累斯顿工业大学）
提出BiJuTy，通过Jupyter交互界面简化HPC上大数据集群的生命周期管理和性能评估，降低使用门槛，支持多集群管理和迭代优化。
2026-06-24 cs.DC
Call Trace and Memory Access Pattern based Runtime Insider Threat Detection for Big Data Platforms
Hadoop和Spark等大数据平台正在被学术界和工业界广泛采用。在本文中，我们提出了一个运行时入侵检测技术，了解和工作根据这样的分布式计算平台的属性。所提出的方法是基于运行时分析的系统和库调用和内存访问模式的任务上运行的datanode（奴隶）。首先，大数据系统的主数据阳极为它执行的每个任务创建行为配置文件。行为配置文件包括（a）所进行的系统和库调用的跟踪，以及（b）表示在任务执行期间进行的私有和共享内存访问的大小的序列。然后，进程行为配置文件与其他副本数据节点共享，这些副本数据节点被调度在相同数据的副本上执行相同的任务。接下来，这些副本数据节点在嵌入在接收到的行为配置文件中的信息的帮助下验证其本地任务。这通过两个步骤实现：（i）比较系统和库调用元数据，以及（ii）内存访问模式的统计匹配。最后，datanode分享他们的观察结果以达成共识，如果发现任何差异，则向namenode（主节点）报告入侵。在一个小型Hadoop集群上使用默认的MapReduce示例对所提出的解决方案进行了测试，结果表明，我们的方法可以检测到传统分析指标无法检测到的内部攻击。
2016-11-22 cs.CR cs.DC
i2MapReduce: Incremental MapReduce for Mining Evolving Big Data
随着新数据和更新的不断到来，数据采掘应用程序的结果随着时间的推移变得陈旧过时。增量处理是一种很有前途的刷新挖掘结果的方法。它利用以前保存的状态，以避免从头开始重新计算的费用。在本文中，我们提出了i2 MapReduce，这是MapReduce的一种新型增量处理扩展，MapReduce是挖掘大数据最广泛使用的框架。与Incoop上的最新工作相比，i2 MapReduce（i）执行键值对级别的增量处理而不是任务级别的重新计算，（ii）不仅支持单步计算，而且支持更复杂的迭代计算，这在数据采掘应用中被广泛使用，（iii）结合了一组新颖的技术来减少用于访问保留的细粒度计算状态的I/O开销。我们评估i2 MapReduce使用一步算法和三个迭代算法具有不同的计算特性。Amazon EC2上的实验结果表明，与执行重新计算的普通MapReduce和迭代MapReduce相比，i2 MapReduce的性能有了显著的提高。
2015-01-20 cs.DC
Integrating R and Hadoop for Big Data Analysis
使用传统方法（如关系数据库管理系统或用于统计和可视化的桌面软件包）分析和处理大数据可能非常困难。相反，大数据需要具有数百甚至数千个计算节点的大型集群。官方统计越来越多地考虑使用大数据来获得新的统计数据，因为大数据源可以产生比传统来源更相关和更及时的统计数据。Hadoop是一种成功且广泛用于在商品硬件集群上存储和处理大数据集的软件工具。Hadoop框架包含库，分布式文件系统（HDFS），资源管理平台，并实现了用于大规模数据处理的MapReduce编程模型版本。在本文中，我们研究了Hadoop与R集成的可能性，R是一种用于统计计算和数据可视化的流行软件。我们提出了三种集成它们的方法：R与Streaming，Rhipe和RHadoop，并强调了每种解决方案的优点和缺点。
2014-07-18 cs.DC
SecureCloud: Secure Big Data Processing in Untrusted Clouds
我们提出了SecureCloud EU Horizon 2020项目，其目标是启用新的大数据应用程序，这些应用程序使用云中的敏感数据，而不会影响数据安全和隐私。为此，SecureCloud设计和开发了一个分层架构，允许（i）安全创建和部署安全微服务;（ii）将单个微服务安全集成到成熟的大数据应用程序;以及（iii）在不受信任的云环境中安全执行这些应用程序。为了提供安全保证，SecureCloud利用了最近商品CPU中存在的新颖安全机制，特别是英特尔的Software Guard Extensions（SGX）。SecureCloud将此架构应用于智能电网环境中的大数据应用程序。我们描述了SecureCloud方法、初步结果和考虑的用例。
2018-05-04 cs.CR cs.DC
A GPU Based Memory Optimized Parallel Method For FFT Implementation
快速傅立叶变换（FFT）在数字信号处理、数字图像处理等领域有着非常重要的作用，但在实际应用中，FFT成为影响处理效率的一个因素，特别是在遥感领域，需要对大量的数据进行FFT处理。因此缩短FFT计算时间显得尤为重要。GPU（图形处理单元）已应用于许多常见领域，与CPU（中央处理单元）平台相比，其加速效果非常明显。本文提出了一种新的在GPU上并行执行FFT的方法。基于GPU存储系统和硬件处理流水线，改进了数据存储方式。根据数据的大小对数据进行合理的划分，充分利用GPU的特点。提出了基于共享内存和纹理内存的内存优化方法，减少了全局内存访问次数，提高了效率。结果表明，基于GPU的内存优化FFT实现不仅比CPU平台上的FFTW库提高了100%以上，而且比GPU平台上的CUFFT库提高了30%以上。
2017-07-23 cs.DC
A Framework for High-throughput Sequence Alignment using Real Processing-in-Memory Systems
序列比对是一个内存受限的计算，其在现代系统中的性能受到内存带宽瓶颈的限制。内存处理架构通过为内存提供计算能力来缓解这一瓶颈。我们提出了内存对齐（AIM），一个框架，用于高通量序列比对使用内存处理，并评估它的UPMEM，第一个公开的通用可编程内存处理系统。我们的评估表明，一个真正的内存处理系统可以大大优于服务器级的多线程CPU系统运行在满量程时，执行序列比对的各种算法，读取长度和编辑距离阈值。我们希望我们的发现能激发更多的工作，为这种真正的内存处理系统创建和加速生物信息学算法。我们的代码可在https://github.com/safaad/aim上获得。
2023-03-27 cs.AR cs.DC
Incremental Query Processing on Big Data Streams
本文讨论了分布式流处理引擎（DSPE）上的大规模增量数据分析的在线查询处理。我们的目标是将任何类似SQL的查询自动转换为增量DSPE程序。与其他方法相比，我们得到的增量程序返回准确的结果，而不是近似的答案。这是通过在查询计算生存期内保留最小状态，并使用增量计算技术在每个时间间隔（取决于当前状态和最新批次的数据）返回准确的快照答案来实现的。我们的方法可以处理嵌套数据汇集上的多种形式的查询，包括迭代和嵌套查询、具有聚合的分组和等价连接。最后，我们报告了我们的框架的原型实现，称为MRQL流，运行在Spark之上，我们通过实验验证了我们的方法的有效性。
2016-03-06 cs.DB cs.DC
Towards Persistent Memory based Stateful Serverless Computing for Big Data Applications
本文提出Marvel架构，通过内存缓存和PMEM支持HDFS存储，解决无服务器平台有状态执行和I/O瓶颈，使大数据应用执行时间最多减少86.6%。
2023-09-08 cs.DC cs.PF
BigOP: Generating Comprehensive Big Data Workloads as a Benchmarking Framework
大数据被认为是公司、组织甚至国家的专有资产。把大数据变成真正的宝藏，需要大数据系统的支撑。各种商业和开源产品已经被释放用于大数据存储和处理。当大数据用户面临选择最适合他们需求的系统时，大数据系统开发人员面临的问题是如何根据一般大数据处理需求评估他们的系统。系统基准测试是满足上述需求的经典方法。然而，现有的大数据基准测试要么无法代表各种大数据处理需求，要么只针对一个特定的平台，例如Hadoop。在本文中，与我们的工业合作伙伴，我们提出了BigOP，一个端到端的系统基准测试框架，具有代表性的操作集，工作负载模式和规定的测试的抽象。BigOP是开源大数据基准测试项目BigDataBench的一部分。BigOP的抽象模型不仅指导了BigDataBench的开发，还支持自动生成具有全面工作负载的测试。我们通过实现一个自动测试生成工具和对三个广泛使用的大数据处理系统，即Hadoop，Spark和MySQL集群进行基准测试来说明BigOP的可行性。针对三种不同的应用场景规定了三个测试。测试涉及关系数据、文本数据和图形数据，以及所有操作和工作负载模式。我们按照测试规范报告结果。
2017-12-27 cs.DB cs.DC cs.PF
Evaluating Hive and Spark SQL with BigBench
这项工作的目标是利用BigBench [1]作为大数据基准，并评估和比较两个处理引擎：MapReduce [2]和Spark [3]。MapReduce是Hadoop上处理数据的成熟引擎。Spark是一个流行的替代引擎，它承诺比现有的MapReduce引擎更快的处理时间。BigBench之所以被选中进行比较，是因为它是第一个端到端分析大数据基准，目前正作为TPCx-BB接受公众审查[4]。我们的目标之一是通过执行各种可伸缩性测试来评估基准测试，并验证它能够对处理引擎进行压力测试。首先，我们分析了在Spark上执行BigBench [1]的可用MapReduce实现所需的步骤。然后，在MapReduce/Hive上以不同的比例因子执行所有30个BigBench查询，以查看性能如何随着数据大小的增加而变化。接下来，这组HiveQL查询在Spark SQL上执行，并与它们各自的Hive运行时进行比较。本报告详细介绍了如何设置实验性Hadoop集群并在Hive和Spark SQL上执行BigBench。它提供了针对不同比例因子执行的所有实验的绝对时间以及可用于验证正确基准执行的查询结果。此外，在我们的工作中遇到并解决了多个问题和解决方法。代表BigBench查询的一个子集的资源利用率（CPU，内存，磁盘和网络使用）的评估，以说明两个处理引擎上的不同查询组的行为。最后但并非最不重要的一点是，…
2016-01-13 cs.DB cs.DC
