arXiv 1505.030602015-05-12cs.DC

Actors vs Shared Memory：大数据应用框架中的两种模型

Actors vs Shared Memory: two models at work on Big Data application frameworks

Silvia Crafa, Luca Tronchin

摘要：

这项工作的目的是分析两种不同的并发模型，即共享内存模型和演员模型，可以影响管理大量数据的应用程序的开发，大数据应用程序的独特之处。本文通过对MapReduce和Bulk Synchronous Parallel两种算法方案的具体工程分析，对两种模型进行了比较。这两个项目都在两个具体的平台上双重实现：Akka Cluster和Managed X10。其结果既是大数据分析场景中模型的概念比较，也是基于集群平台上的具体执行的实验分析。

英文摘要：

This work aims at analyzing how two different concurrency models, namely the shared memory model and the actor model, can influence the development of applications that manage huge masses of data, distinctive of Big Data applications. The paper compares the two models by analyzing a couple of concrete projects based on the MapReduce and Bulk Synchronous Parallel algorithmic schemes. Both projects are doubly implemented on two concrete platforms: Akka Cluster and Managed X10. The result is both a conceptual comparison of models in the Big Data Analytics scenario, and an experimental analysis based on concrete executions on a cluster platform.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

使用 Actor 进行图处理的 COST

COST of Graph Processing Using Actors

针对大数据图处理系统开销可能超过扩展性收益的问题，本文评估 actor 模型实现并发图计算，证明简单 actor 方案可优于专用系统和串行基准。

2023-04-22cs.DCcs.PF

事务存储器中的稳定调度

Stable Scheduling in Transactional Memory

我们研究在一组共享对象上执行事务的计算机系统。事务不断到达，受到约束，这些约束被构建为对抗模型，并对事务生成的平均速率和事务使用的对象数量施加限制。我们发现，没有确定性的分布式调度的无障碍模型的事务自治可以提供稳定的任何积极的交易生成率。假设一个系统由$m$共享对象组成，并且对手被约束，使得每个事务最多可以访问$k$共享对象。我们证明，没有调度程序可以是稳定的，如果生成率大于$\max\bigl\{\frac{2}{k+1},\frac{2}{\lfloor \sqrt{2m} \rfloor}\bigr\}$。我们开发了一个集中式调度器，是稳定的，如果事务生成率是最多$\max\bigl\{\frac{1}{4k}, \frac{1}{4\lceil\sqrt{m}\rceil} \bigr\}$。我们设计了一个分布式调度器的基于事务自治模型，其中一个事务被分配给一个单独的处理器，保证稳定性，如果事务生成的速率小于$\max\bigl\{ \frac{1}{6k},\frac{1}{6\lceil\sqrt{m}\rceil}\bigr\}$。对于每一个调度器，我们给出了在事务生成速率范围内的队列大小和事务延迟的上限，对于该调度器是稳定的。

2022-08-15cs.DC

通过网络内经验采样加速分布式深度强化学习

Accelerating Distributed Deep Reinforcement Learning by In-Network Experience Sampling

Keio University（庆应义塾大学）

将多个计算节点互连的计算集群用于加速基于DQN（Deep Q-Network）的分布式强化学习。在分布式强化学习中，Actor节点通过与给定环境交互来获取经验，而Learner节点优化其DQN模型。由于Actor和Learner节点之间的数据传输会根据Actor节点的数量及其经验大小而增加，因此它们之间的通信开销是主要的性能瓶颈之一。本文通过基于DPDK的网络优化来加速它们的通信，并在Actor和Learner节点之间部署基于DPDK的低延迟体验回放存储服务器，该服务器通过40 GbE（40 Gbit Ethernet）网络互连。评估结果表明，作为一种网络优化技术，内核绕过DPDK减少了32.7%至58.9%的网络访问延迟到共享内存服务器。作为另一种网络优化技术，行动者和学习者节点之间的网络内经验重放存储器服务器将对经验重放存储器的访问延迟减少了11.7%至28.1%，并且将用于优先化经验采样的通信延迟减少了21.9%至29.1%。

2023-03-10cs.DCcs.LG

分布式环境下大数据聚类的最新方法撰写总结

Writing summary for the state-of-the-art methods for big data clustering in distributed environment

大数据处理系统处理大量的非结构化和结构化数据，通过聚类分析进行存储、处理和分析，这有助于识别看不见的模式，找到它们之间的关系。在大数据技术中，对共享机器进行聚类分析有助于导出关系并使用上下文中的数据做出决策。它可以处理各种形式的原始表格数据以及结构化、半结构化和非结构化数据。数据不必具有线性特性。它可以反映关联和相关的模式和分组。本文的主要贡献和发现是收集和总结最近的大数据聚类技术，以及它们在任何分布式环境中的优点和缺点。

2022-11-10cs.DC

数据流网络映射到异构众核系统时探索多读者缓冲区与通道放置

Exploring Multi-Reader Buffers and Channel Placement during Dataflow Network Mapping to Heterogeneous Many-core Systems

本文针对数据流应用在众核平台上的内存开销与执行周期权衡问题，提出选择性使用多读者缓冲区并联合探索执行单元与通道映射的多目标设计空间探索方法，实验表明其Pareto前沿质量显著优于参考方法。

2023-11-29cs.DC

分布式文件系统在云计算环境中的性能：针对小文件问题的评估

Performance of Distributed File Systems on Cloud Computing Environment: An Evaluation for Small-File Problem

针对分布式文件系统在小文件及复杂机器学习场景下的性能问题，提出结合高性能计算、大数据与共享存储的架构，并通过实验验证其适用性。

2023-12-29cs.DC

更多相关论文收起更多论文

DyAdHyTM：一种低开销的大数据图动态自适应混合存储器

DyAdHyTM: A Low Overhead Dynamically Adaptive Hybrid Transactional Memory on Big Data Graphs

大数据是一个流行词，用于描述大量数据，这些数据提供了通过数据分析探索新见解的机会。然而，大数据大多是结构化的，但可以是半结构化或非结构化的。它通常是如此之大，以至于使用传统的计算系统处理它不仅困难而且缓慢。解决方案之一是将数据格式化为图形数据结构，并在共享内存架构上处理它们，以使用快速和新颖的策略，例如事务内存。在生物信息学、社交网络和网络安全等大数据类型问题中的大多数图形应用中，图形本质上是稀疏的。由于这种稀疏性，我们有机会使用Transmitted Memory（TM）作为关键部分的同步策略，以加速应用程序。在低冲突概率TM执行优于大多数同步策略，由于其固有的非阻塞特性。TM可以用软件、硬件或两者的组合来实现。然而，硬件TM实现是快速的，但受限于稀缺的硬件资源，而软件实现具有高的开销，这会降低性能。在本文中，我们开发了一个低开销，但简单，动态自适应（即在运行时）的混合（即结合硬件和软件）TM（DyAdHyTM）计划，结合了硬件TM（HTM）和软件TM（STM）的最佳功能，同时适应应用程序的要求。对于在具有大共享内存的多核机器上运行的SSCA2图形基准测试，它的性能比粗粒度锁高出8.12倍，比低开销STM高出2.68倍，比HTM的几个实现高出2.59倍，比其他HyTM高出1.55倍。

2017-03-02cs.DC

使用分布式深度神经网络的大数据智能

Big Data Intelligence Using Distributed Deep Neural Networks

本文提出一种分布式深度神经网络训练算法，通过仅共享模型表示而非原始数据，在保护隐私的同时实现多数据源协同训练，并在医疗数据上验证了其性能接近集中式训练。

2019-09-04cs.DC

在大数据中使用GPU进行可扩展的流量预测分析

Scalable Traffic Predictive Analysis using GPU in Big Data

本文利用Spark大数据平台，在CPU和GPU上采用并行计算系统进行预测分析。交通数据集被用来预测洛杉矶县的交通拥堵。它是从美国一个流行的平台收集的，用于使用用户共享的设备信息和报告跟踪道路信息。在这个可扩展的大数据系统中，可以使用GPU和CPU来存储和处理大规模的交通数据集。本文的主要贡献是提高机器学习在基于GPU的分布式并行计算系统中的性能，以预测交通拥堵。我们表明，并行计算可以实现使用GPU和CPU与现有的Apache Spark平台。该方法也适用于不同领域的大规模数据集。过程建模以及结果使用计算时间和指标进行解释：AUC，Precision和Recall。它应该有助于智慧城市的交通管理。

2021-06-29cs.DC

使用TPCx-HS评估Hadoop集群

Evaluating Hadoop Clusters with TPCx-HS

大数据平台的复杂性和多样性不断增加，使得所有系统用户正确设置和操作系统变得既困难又耗时。另一个挑战是比较平台，以便为特定应用选择最合适的平台。所有这些因素都促使人们需要一个标准化的大数据基准，以帮助用户进行平台评估。就在最近，TPCx-HS [1][2]作为第一个标准化的大数据基准被发布，旨在对Hadoop集群进行压力测试。本研究的目的是评估和比较网络设置如何影响Hadoop集群的性能。特别是，实验是使用由相同的Cloudera Hadoop Distribution（CDH）集群设置使用的共享和专用1Gbit网络进行的。TPCx-HS基准测试是非常网络密集型的，用于压力测试和比较两种集群设置。所有呈现的结果都是通过使用官方可用的基准版本[1]获得的，但它们与官方报告的结果不具有可比性，并且是作为实验评估，未经任何外部组织审核。正如预期的那样，专用1Gbit网络设置的执行速度比共享1Gbit设置快得多。然而，令人惊讶的是，这两种集群设置之间的价格差异可以忽略不计，这带来了成倍的性能回报。

2015-10-27cs.DC

基于呼叫跟踪和内存访问模式的大数据平台的恶意软件威胁检测

Call Trace and Memory Access Pattern based Runtime Insider Threat Detection for Big Data Platforms

Hadoop和Spark等大数据平台正在被学术界和工业界广泛采用。在本文中，我们提出了一个运行时入侵检测技术，了解和工作根据这样的分布式计算平台的属性。所提出的方法是基于运行时分析的系统和库调用和内存访问模式的任务上运行的datanode（奴隶）。首先，大数据系统的主数据阳极为它执行的每个任务创建行为配置文件。行为配置文件包括（a）所进行的系统和库调用的跟踪，以及（b）表示在任务执行期间进行的私有和共享内存访问的大小的序列。然后，进程行为配置文件与其他副本数据节点共享，这些副本数据节点被调度在相同数据的副本上执行相同的任务。接下来，这些副本数据节点在嵌入在接收到的行为配置文件中的信息的帮助下验证其本地任务。这通过两个步骤实现：（i）比较系统和库调用元数据，以及（ii）内存访问模式的统计匹配。最后，datanode分享他们的观察结果以达成共识，如果发现任何差异，则向namenode（主节点）报告入侵。在一个小型Hadoop集群上使用默认的MapReduce示例对所提出的解决方案进行了测试，结果表明，我们的方法可以检测到传统分析指标无法检测到的内部攻击。

2016-11-22cs.CRcs.DC

FT-LADS：使用布局感知数据调度的基于对象日志的容错大数据传输系统

FT-LADS: Fault-Tolerant Object-Logging based Big Data Transfer System using Layout-Aware Data Scheduling

LADS（Layout-Aware Data Acquisition）数据传输工具，识别并解决了在太比特网络环境中导致端到端数据传输路径拥塞的问题。它利用每个端点的底层存储布局来最大化吞吐量，而不会对其他用户的共享存储资源的性能产生负面影响。LADS可以避免共享存储资源内的拥塞存储元件，从而提高输入/输出带宽，并因此提高高速网络上的数据传送率。然而，在LADS中缺乏FT（容错）支持导致数据重传开销以及错误时可能的完整性问题。在本文中，我们提出了基于对象的日志记录方法，以避免传输的对象，这是成功地写入并行文件系统（PFS）在汇端。根据创建的日志文件的数量，对于整个数据集，我们将我们的容错机制分为三个不同的类别：文件日志，事务日志和通用日志。此外，为了解决这些基于对象的日志记录机制的空间开销，我们提出了不同的方法来填充日志记录器文件与完成的对象的信息。我们已经评估了LADS数据传输工具的数据传输性能和恢复时间开销的建议基于对象的日志容错机制。我们的实验结果表明，LADS结合提出的基于对象的容错机制表现出小于1%的开销相对于数据传输时间和总恢复时间开销是在任何故障点的总数据传输时间的10%左右。

2018-05-16cs.DC

一个大数据分析器，用于大型跟踪分析

A Big Data Analyzer for Large Trace Logs

当前一代基于互联网的服务通常托管在大型数据中心上，这些数据中心采用容纳数万台服务器的仓库大小的结构的形式。现代数据中心的持续可用性是许多内部和外部参与者之间复杂协调的结果，包括计算硬件，多层复杂软件，网络和存储设备，电力和冷却设备。在运行过程中，许多组件会以事件和错误日志的形式产生大量数据，这些数据不仅对于识别和解决问题至关重要，而且对于提高数据中心的效率和管理也至关重要。这些活动中的大多数将从数据分析技术中受益匪浅，以利用数据中可能存在的隐藏统计模式和相关性。要分析的数据量之大使得揭示这些相关性和模式成为一项具有挑战性的任务。本文介绍了BiDAl，一个用于日志数据分析的原型Java工具，它结合了几种大数据技术，以简化从大型集群和服务器农场产生的数据跟踪中提取信息的任务。BiDAl为用户提供了几种分析语言（SQL，R和Hadoop MapReduce）和存储后端（HDFS和SQLite），可以自由混合和匹配，以便可以轻松构建用于特定任务的自定义工具。BiDAl具有模块化架构，因此将来可以使用其他后端和分析语言进行扩展。在本文中，我们介绍了BiDAl的设计，并描述了我们使用它来分析来自Google数据集群的公共可用跟踪的经验，其目标是构建一个复杂数据中心的现实模型。

2015-09-02cs.DC

共享和分布式存储器的高性能并行排序算法MIMD

High Performance Parallel Sort for Shared and Distributed Memory MIMD

我们提出了四种高性能的混合排序方法开发的各种并行平台：共享内存多处理器，分布式多处理器，集群利用共享和分布式内存的存在。合并排序以其稳定性而闻名，被用于设计我们的几个算法。我们通过将其与快速排序相结合来提高其并行性能。我们提出了两个模型设计的共享内存MIMD（OpenMP）：（a）一个非递归的合并排序和（b）混合快速排序和合并排序。第三个模型是设计用于分布式内存MIMD（MPI）使用混合快速排序和合并排序。我们的第四个模型的目的是利用共享内存的各个节点的今天的集群系统，并消除所有的内部数据传输之间的不同节点，我们的模型实现了一个一步MSD-Radix分发数据在10个包（MPI），而每个节点的并行核心使用Quicksort排序他们的数据分区顺序，然后合并和排序他们在并行采用OpenMp。所有开发的模型的性能优于基线性能。在对小数据进行排序时，混合快速排序和合并排序的性能优于集群平台中使用混合MSD-Radix和快速排序的混合内存并行合并排序，但对于较大的数据，集群平台中使用混合MSD-Radix和快速排序的混合内存并行合并排序的加速比变得更大并且不断改进。其中分布存储并行混合快速排序和归并排序的加速比最好。

2020-03-02cs.DC

一种基于内存的大数据多处理方法

Memory-Based Multi-Processing Method For Big Data Computation

互联网和计算机应用的发展产生了大量的数据。它们被称为大数据，由大量、高速和可变的数据集组成，需要在正确的时间范围内以正确的速度进行管理，以实现实时数据处理和分析。开发了几种大数据解决方案，但它们都基于分布式计算，有时在构建、管理、故障排除和安全方面成本很高。本文提出了一种基于内存、多处理和单服务器架构的大数据处理新方法。它是基于内存的，因为数据在开始处理之前被加载到内存中。它是多处理的，因为它利用了并行编程的力量，使用共享内存和多个线程以并发方式在多个CPU上运行。它是单服务器的，因为它只需要在非分布式计算环境中运行的单个服务器。所提出的方法的最大优点是高性能、低成本和易于管理。所进行的实验显示了出色的结果，因为所提出的方法优于目前市场上存在的其他传统方法。进一步的研究可以改进所提出的方法，使其支持使用远程过程调用等技术在不同进程之间传递消息。

2019-05-24cs.DC

网络分析背景下大图框架的实证比较

An Empirical Comparison of Big Graph Frameworks in the Context of Network Analysis

复杂网络是通常表示为图的关系数据集。对它们复杂结构的分析与科学和商业的许多领域有关，数据集可能达到需要分布式存储和处理的大小。我们描述和比较编程模型的分布式计算的重点是大规模复杂网络分析的图形算法。四个框架- GraphLab，Apache GitHub，GitHub ++和Apache Flink -被用来实现算法的代表性问题连接组件，社区发现，PageRank和聚类系数。在计算机集群上执行的实现，以评估在实践中的框架的适用性，并比较其性能的单机，共享内存的并行网络分析包NetworkKit。在分布式框架中，GraphLab和Apache GitHub通常表现出最好的性能。在我们的实验中，一个由八台运行Apache GitHub的计算机组成的集群可以分析一个大约有20亿条边的网络，这对于同一类型的单机来说太大了。然而，对于适合一台机器的内存的网络，共享内存并行实现的性能远远优于分布式的。该研究为根据任务和数据量选择适当的框架提供了实验证据。

2016-01-03cs.DCcs.SI

高性能的星-M SVD用于大数据压缩

High-Performance Star-M SVD for Big Data Compression

Wake Forest University（维克森林大学）；Argonne National Laboratory（阿贡国家实验室）；Indian Institute of Science（印度科学学院）

本文提出一种高效的共享内存并行解决方案，实现星-M SVD算法，提升大规模数据集的压缩性能和分析能力。

2026-05-15cs.DCcs.MS