An Alternative C++ based HPC system for Hadoop MapReduce
MapReduce是一种用于极大地改进数据的分布式处理的技术，可以大大加快计算速度。Hadoop及其MapReduce依赖于JVM和Java，这对内存来说是昂贵的。可以使用基于高性能计算的MapReduce框架，它可以执行比标准MapReduce更高效和更快的内存。本文探讨了一种完全基于C++的MapReduce方法，并从开发人员友好性、部署接口、效率和可扩展性等多个方面对其可行性进行了分析。本文还介绍了延迟缩减和部署技术，可以在编译环境中加速MapReduce。
2020-06-26 cs.DC
FAIR: A Hadoop-based Hybrid Model for Faculty Information Retrieval System
在数据和知识不断膨胀的时代，我们缺乏一个集中的系统来映射所有的院系到他们的研究工作。这个问题在过去没有得到解决，学生与他们领域的正确教师联系变得具有挑战性。由于我们有这么多的学院和院系，这属于大数据问题的范畴。在本文中，我们提出了一个模型，该模型工作在分布式计算环境下，以处理大数据。该模型使用apache spark作为执行引擎，hive作为数据库。结果在连接到Apache Hive的Tableau的帮助下可视化，以实现分布式计算。
2017-06-25 cs.DC
Performance Evaluation of Distributed Computing Environments with Hadoop and Spark Frameworks
近年来，由于信息和通信技术的快速发展，数据以雪崩的方式产生和消耗。分布式计算通过将计算分布在多个计算节点之间来为分析和处理这样的大数据创建先决条件。在这项工作中，性能的分布式计算环境的Hadoop和Spark框架的基础上估计真实和虚拟版本的集群。作为测试任务，我们选择了在各种大小的文本中进行单词计数的经典用例。结果发现，运行时间随着数据集的大小增长得非常快，甚至比幂函数更快。至于集群实现的真实版本和虚拟版本，Hadoop和Spark框架的这种趋势是相似的。此外，加速值显着降低数据集大小的增长，特别是对于虚拟版本的集群配置。物联网和多模式（视觉、声音、触觉、神经和大脑计算、肌肉和眼动追踪等）产生的数据不断增长的问题互动渠道介绍。在这个问题的背景下，当前对Hadoop和Spark框架在真实和虚拟集群配置中的运行时间和加速的观察对于适当的扩展和有效的作业管理非常有用，特别是对于机器学习和深度学习应用程序，其中大数据广泛存在。
2017-07-16 cs.DC cs.PF
Technical Report: On the Usability of Hadoop MapReduce, Apache Spark & Apache Flink for Data Science
面向云计算的分布式数据处理平台是大规模数据分析的重要工具。Apache Hadoop MapReduce已经成为这个领域的事实标准，尽管它的编程接口相对较低，即使是简单的分析任务也需要许多实现步骤。这导致了面向Apache的高级平台的开发，最突出的是Apache Spark和Apache Flink。这些平台不仅旨在通过改进内存处理来提高性能，而且特别提供了内置的高级数据处理功能，例如过滤和连接运算符，这应该使数据分析任务比普通的Hadoop MapReduce更容易开发。但事实果真如此吗？本文从可用性的角度比较了三个主要的分布式数据处理平台：Apache Hadoop MapReduce、Apache Spark和Apache Flink。我们报告了一组硕士生的可用性研究的设计，执行和结果，他们正在学习和使用所有三个平台，以解决数据科学背景下的不同用例集。我们的研究结果表明，Spark和Flink是MapReduce的首选平台。在参与者中，Spark和Flink作为面向批量的大数据分析平台之间的感知偏好或开发时间没有显着差异。这项研究开始探索使大数据平台对数据科学用户更有效或更不有效的因素。
2018-03-28 cs.DC
Overview of Caching Mechanisms to Improve Hadoop Performance
本文全面概述了改进Hadoop性能的缓存策略，提出基于缓存利用的新型分类法，并设计了结合H-SVM-LRU和CLQLMRS的混合缓存方法HIC，使作业执行时间平均缩短31.2%。
2023-10-23 cs.DC
The Implementation of Hadoop-based Crawler System and Graphlite-based PageRank-Calculation In Search Engine
如今，互联网的规模正在快速增长。截至2014年12月，全球互联网网站数量已超过10亿个，各种信息资源在互联网上整合在一起，而搜索引擎则是所有用户从海量网络数据中检索有用信息的必备工具。一般来说，一个完整的搜索引擎包括爬虫系统、索引建立系统、排序系统和检索系统。目前有很多搜索引擎的开源实现，如lucene、solr、katta、elasticsearch、solandra等，爬虫系统和排序系统对于任何一种搜索引擎都是必不可少的，为了保证其效率，前者需要更新抓取的海量数据，后者需要真实的时间来建立新抓取的网页索引，并计算其相应的PageRank值。依靠单一的硬件实现爬虫系统和排序系统是不可能完成如此庞大的计算任务的，因此分布式集群技术被提上了议事日程。本文利用hadoop Map-Reduce计算框架实现了一个分布式爬虫系统，并利用分布式同步图计算框架GraphLite实现了抓取新网页PageRank值的实时计算。
2015-05-30 cs.DC
The Two Quadrillionth Bit of Pi is 0! Distributed Computation of Pi with Apache Hadoop
我们提出了一个新的记录，计算特定位的圆周率，数学常数，并讨论执行这样的计算在Apache Hadoop集群。以十六进制表示的特定位为0 E6 C1294 AED 40403 F56 D2 D 76 4026265 B CA 98511 D 0 FCFFAA 1 0 F4 D28 B1 BB 5392 B8。这256位结束于第2，000，000，000，252位的位置，这是先前已知记录的两倍位置和四倍精度。第一位的位置是1，999，999，999，999，997，第二个千万亿位的值是0。计算是由一个名为DistBbp的MapReduce程序执行的。为了有效地利用可用的集群资源，而不垄断整个集群，我们开发了一个弹性的计算框架，自动调度计算切片，每个DistBbp作业，无论是地图侧或减少侧计算的基础上不断变化的集群负载条件。我们在不同的位位置和精度上计算了Pi，其中一个最大的计算在1000个节点的集群上花费了23天的挂钟时间和503年的CPU时间。
2010-10-07 cs.DC math.NT
Advancing Polyglot Big Data Processing using the Hadoop ecosystem
本文探讨Hadoop生态系统作为多语言大数据处理平台的集成优势，涵盖架构基础、智慧城市与社交网络用例，并展望未来研究方向。
2025-04-19 cs.DC
Sector and Sphere: Towards Simplified Storage and Processing of Large Scale Distributed Data
云计算已经证明，只要给出正确的编程模型和基础设施，就可以在商品集群上处理非常大的数据集。在本文中，我们描述了Sector存储云和Sphere计算云的设计和实现。与现有的存储和计算云相比，Sector不仅可以在数据中心内管理数据，还可以跨地理分布的数据中心管理数据。同样，Sphere计算云支持数据中心内和跨数据中心的用户定义函数（UDF）。作为一种特殊情况，MapReduce风格的编程可以在Sphere中通过使用Map UDF和Reduce UDF来实现。我们描述了一些实验研究比较部门/球体和Hadoop使用Terasort基准。在这些研究中，Sector的速度大约是Hadoop的两倍。Sector/Sphere是开源的。
2009-01-17 cs.DC
Distributed data processing platforms (e.g., Hadoop, Spark, and Flink) are widely used to distribute the storage and processing of data among computing nodes of a cloud. The centralization of cloud resources has given birth to edge computing, which enables the processing of data closer to the data source instead of sending it to the cloud. However, due to resource constraints such as energy limitations, edge computing cannot be used for deploying all kinds of applications. Therefore, tasks are offloaded from an edge device to the more resourceful cloud. Previous research has evaluated the ener…
2022-01-06 cs.DC
High Performance Risk Aggregation: Addressing the Data Processing Challenge the Hadoop MapReduce Way
蒙特卡罗模拟用于巨灾风险投资组合分析需要处理大量的数据。通常情况下，这些模拟不是在实时场景中执行的，因为它们很慢并且消耗大量数据。这样的模拟可以受益于利用并行性来解决计算挑战并促进分布式文件系统来解决数据挑战的框架。为此，Apache Hadoop框架被选择用于本文中报告的模拟，以便可以使用MapReduce模型来解决计算挑战，并且可以使用Hadoop分布式文件系统来解决数据挑战。本文提出了一种基于MapReduce模型的聚合风险分析并行算法。对算法性能的评估表明，Hadoop MapReduce模型为在聚合风险分析中处理大数据提供了一个框架。在多个工作节点上，在不到6分钟的时间内，对典型的暴露集和合同结构进行了100，000次试验，每次试验有1000个灾难性事件。结果表明，MapReduce的范围和可行性，以解决实时使用的聚合风险分析的计算和数据的挑战。
2013-11-22 cs.CE cs.DC
Towards Polyglot Data Processing in Social Networks using the Hadoop-Spark ecosystem
本文探索Hadoop-Spark生态系统在社交网络数据处理中的应用，采用多语言方法整合多种技术，通过实证评估分析工具性能，为该领域研究提供定量参考。
2025-04-19 cs.DC
Large-scale Data Modelling in Hive and Distributed Query Processing using MapReduce and Tez
人类、组织和机器的数字互联系统不断生成大量数据。数据以各种格式出现，包括结构化，非结构化和半结构化，这使得不可能应用相同的标准方法，技术和算法来管理和处理这些数据。幸运的是，企业级分布式平台Hadoop生态系统已经存在。本文从数据定义、数据操作和数据处理三个方面探讨了Apache Hive组件提供的全栈数据管理功能。Hive是一个数据仓库系统，它处理存储在表中的结构化数据。由于Hive工作在Hadoop HDSFS之上，它受益于HDFS的非凡特性，包括容错性，可靠性，高可用性，可扩展性等。此外，Hive可以通过将作业分配给MapReduce，Tez和Spark引擎来运行复杂查询，从而利用集群的分布式计算能力。本文重点研究了Hive数据模型，并对MapReduce和Tez的处理性能进行了分析。
2023-01-29 cs.DC
Accelerating Fast Fourier Transforms Using Hadoop and CUDA
已经有相当多的研究通过并行化和优化专用硬件来提高快速傅立叶变换（FFT）的性能。然而，即使有了这些进步，处理超过1TB的超大文件仍然非常缓慢。执行信号处理的分析师被迫等待数小时或数天的结果，这导致其工作流程中断和生产力下降。在本文中，我们提出了一种独特的方法，不仅并行的工作负载在多核，但分布在一个集群的图形处理单元（GPU）配备的服务器的问题。通过使用Hadoop和CUDA，我们可以利用廉价的服务器，同时仍然超过专用超级计算机的处理能力，正如我们使用Amazon EC2的结果所示。
2014-07-25 cs.DC
Parallel Genetic Algorithm to Solve Traveling Salesman Problem on MapReduce Framework using Hadoop Cluster
旅行商问题（TSP）是组合优化中最常研究的问题之一。给定城市列表和它们之间的距离，问题是找到最短的旅行可能访问列表中的所有城市一次，并在它开始的城市结束。尽管旅行商问题是一个NP难问题，但人们已经提出了很多方法和解决方案。遗传算法就是其中之一。遗传算法是求解旅行商问题的一种简单而有效的探试法。在本文中，我们将展示一个并行的遗传算法的MapReduce框架的实现，以解决旅行商问题。MapReduce是一个用于支持计算机集群上的分布式计算的框架。我们使用免费许可的Hadoop实现作为MapReduce框架。
2014-01-24 cs.DC cs.NE
Co-Tuning of Cloud Infrastructure and Distributed Data Processing Platforms
本文研究云基础设施与分布式数据处理平台配置间的影响关系，提出结合机器学习与优化的协同调优方法，在 OpenStack 上为 Hadoop、Spark 和 Flink 推荐最优配置，显著降低执行时间与成本。
2023-12-07 cs.DC
Distributed NLP
Firat University（菲拉特大学）
在本文中，我们提出了并行文本处理与地图减少云平台上的性能。土耳其语的科学论文使用Zemerek NLP库进行处理。在Hadoop集群上进行了实验，并与单机性能进行了比较。
2018-02-10 cs.CL cs.DC
S2RDF: RDF Querying with SPARQL on Spark
RDF以其灵活、通用的类图数据模型成为语义数据发布的主流。然而，RDF数据汇集的规模不断增加，使得在一台机器上存储和处理它们变得越来越不可行，从而提高了对分布式方法的需求。我们不构建独立但封闭的分布式RDF存储，而是支持使用现有的基础设施进行大数据处理，例如Hadoop。然而，SPARQL查询性能是一个主要的挑战，因为这些平台不是为地面RDF处理而设计的。因此，现有的基于Hadoop的方法通常倾向于某些查询模式形状，而其他形状的性能显着下降。在本文中，我们描述了一种新的RDF数据的关系分区模式称为ExtVP，使用半连接为基础的预处理，类似于连接索引的概念，在关系数据库，有效地减少查询输入的大小，无论其模式的形状和直径。我们的原型系统S2RDF构建在Spark之上，并使用其关系接口在ExtVP上执行SPARQL查询。我们使用最近的WatDiv测试套件，与最先进的SPARQL on Hadoop方法相比，展示了其卓越的性能。S2RDF在十亿个三元组RDF图上实现了大多数查询的次秒运行时间。
2016-01-27 cs.DB cs.DC
Development of a Big Data Framework for Connectomic Research
本文概述了一种新的基于Hadoop架构的分布式处理和脑电子显微镜分析的研究和开发。我们展示了一个新的C++库的开发，用于实现3D图像分析技术，并部署在分布式地图/减少框架。我们在Open Connectome Project的Kasthuri 11数据集的一个子集上展示了我们的新框架。
2015-01-25 cs.CE cs.DC
Distributed Readability Analysis Of Turkish Elementary School Textbooks
Firat University（菲拉特大学）
可读性评估是评估阅读文本的难度。许多可读性测试并不表明执行效率，而是应用于特定的文本，以衡量科学教科书的阅读水平。在本文中，我们分析了小学土耳其教科书中所涵盖的内容，采用分布式并行处理框架的基础上流行的MapReduce范式。我们概述了一个分布式大数据处理系统的架构，该系统使用Hadoop进行全文可读性分析。文中还给出了教材的可读性评分和系统性能指标。
2018-02-11 cs.CL cs.DC
Distributed Edge Partitioning for Graph Processing
越来越大的图形数据集的可用性，多年来呈指数级增长，已经产生了几个新的算法挑战。顺序的方法已经变得不可行，而对并行和分布式算法的兴趣大大增加。对图进行适当的划分作为预处理步骤，可以提高分析的并行度。许多启发式算法已经被开发来解决这个问题，但他们中的许多人细分的图的顶点集，从而获得一个顶点划分图。本文的目的是探索一种完全不同的方法，基于边缘划分，在边缘，而不是顶点，划分成不相交的子集。本文的贡献是双重的：首先，我们介绍了一个图形处理框架的基础上，边缘分区，这是足够灵活，适用于几个不同的图形问题。其次，我们提出了一个分布式的边缘分割算法，称为d-fep的这些想法的可行性。我们的框架进行了彻底的评估，使用模拟和Hadoop实现在亚马逊EC2云上运行。实验结果表明，d-fep算法是有效的，可扩展的，并获得一致的好分区。得到的边划分图可以被利用来获得更有效的图分析算法的实现。
2014-03-25 cs.DC
A Meta-graph Approach to Analyze Subgraph-centric Distributed Programming Models
使用批量同步并行（BSP）编程模型的以数据为中心的分布式图形处理平台已经获得了牵引力。这些解决了大数据抽象/平台（如MapReduce/Hadoop）用于大规模图形处理的缺点。然而，对于不同的图、图划分和图算法，这些以组件为中心的抽象的行为的基本方面的文献有限。在这里，我们提出了一个分析方法的基础上的元图草图，以检查以组件为中心的图形编程模型的特点，在一个粗粒度。特别是，我们将此草图应用于以子图和块为中心的抽象，并与以顶点为中心的模型（如Google的Pregel）进行比较。首先，我们探讨了各种图分区技术对元图的影响，然后考虑元图对图算法的影响。这消除了笨重的大型图及其算法分析中的分区特定工件。我们使用5个空间和幂律图作为范例，四种不同的分区策略，和PageRank和广度优先搜索作为规范算法。这些元图的分析提供了一个可靠的措施的预期数量的超步骤，通信和计算复杂性的算法为各种图形，和相对的优点，以子图为中心的顶点为中心的模型。
2016-10-31 cs.DC
Maiter: An Asynchronous Graph Processing Framework for Delta-based Accumulative Iterative Computation
机器学习和数据采掘中的大量基于图的算法需要迭代地解析关系数据。这些算法在大规模分布式环境中实现，以扩展到海量数据集。为了加速这些大规模的基于图的迭代计算，我们提出了基于增量的累积迭代计算（DAIC）。与传统的迭代计算（根据上一次迭代的结果迭代更新结果）不同，DAIC通过累积迭代之间的“变化”来更新结果。通过DAIC，我们可以只处理“更改”，以避免可忽略不计的更新。此外，我们可以异步执行DAIC，以绕过异构分布式环境中的高成本同步障碍。在DAIC模型的基础上，设计并实现了一个异步图处理框架Maiter。我们在本地集群和Amazon EC2 Cloud上评估Maiter。结果表明，Maiter实现了Hadoop的60倍加速，并且优于其他最先进的框架。
2017-10-16 cs.DC
Enumerating Maximal Bicliques from a Large Graph using MapReduce
我们认为最大的二分集团（bicliques）从一个大的图，一个任务的核心，许多实际的数据采掘问题，在社会网络分析和生物信息学的枚举。我们提出了新的并行算法的MapReduce平台，并使用Hadoop MapReduce的实验评估。我们的算法是基于聚类的输入图成较小尺寸的子图，然后并行处理不同的子图。我们的算法使用两个想法，使其能够扩展到大型图：（1）通过仔细修剪的搜索空间，不同的子图探索之间的工作冗余最小化，和（2）不同的约简器上的负载是通过使用一个适当的总阶之间的顶点平衡。我们的评估表明，该算法的规模与数百万的边缘和数千万的最大bicliques大型图。据我们所知，这是第一个工作的最大biclique枚举图的这种规模。
2014-04-19 cs.DC
GeoFlink: A Distributed and Scalable Framework for the Real-time Processing of Spatial Streams
Apache Flink是一个开源系统，用于批量和流数据的可扩展处理。Flink本身并不支持空间数据流的高效处理，这是许多处理空间数据的应用程序的要求。除了Flink之外，其他可扩展的空间数据处理平台，包括GeoSpark、Spatial Hadoop等，都不支持流式工作负载，只能处理静态/批量工作负载。为了填补这一空白，我们提出了GeoFlink，它扩展了Apache Flink，以支持空间数据类型，索引和连续查询空间数据流。为了能够有效地处理空间连续查询，并在Flink集群节点之间进行有效的数据分布，引入了基于网格的索引。GeoFlink目前支持点数据类型上的空间范围、空间$k$ NN和空间连接查询。对真实空间数据流的广泛实验研究表明，GeoFlink实现了显着更高的查询吞吐量比普通Flink处理。
2020-08-03 cs.DB cs.DC
A Survey on Geographically Distributed Big-Data Processing using MapReduce
Hadoop和Spark是广泛使用的分布式处理框架，用于在私有云或公共云上以高效和容错的方式进行大规模数据处理。这些大数据处理系统被许多行业广泛使用，例如，谷歌、Facebook和亚马逊，用于解决一大类问题，例如，搜索、聚类、日志分析、不同类型的连接操作、矩阵乘法、模式匹配和社会网络分析。然而，所有这些流行的系统在本地分布式计算方面都有一个主要缺点，这阻止了它们实现地理上分布式的数据处理。越来越多的地理分布的海量数据正在推动行业和学术界重新思考当前的大数据处理系统。这些新框架将超越当前系统所涉及的最先进的架构和技术，预计将在其位置处理地理上分布的数据，而无需将整个原始数据集移动到单个位置。在本文中，我们调查和讨论的挑战和要求，在设计地理分布的数据处理框架和协议。我们分类和研究批处理（基于MapReduce的系统），流处理（基于Spark的系统），SQL风格的处理地理分布的框架，模型和算法，其开销问题。
2017-07-06 cs.DB cs.DC
Distributed Data Processing Frameworks for Big Graph Data
最近，我们创建了如此多的数据（每天2.5兆字节），以至于当今世界90%的数据都是在过去两年中创建的。这些数据来自用于收集交通或气候信息的传感器，社交媒体网站的帖子，照片，视频，电子邮件，购买交易记录，蜂窝网络的通话记录等。在本报告中，我们首先简要讨论了用于大数据处理的编程模型，并重点关注图数据，并对用于解决超大规模图问题的编程模型/框架进行了调查研究。在第2节中，我们介绍了不是专门设计用于处理图数据的编程模型，但我们将它们包括在本调查中，因为我们相信这些是重要的框架和/或已经有研究来定制它们以实现更有效的图处理。在第3节中，我们讨论了一些技术，这些技术在应用于Hadoop时，可以为某些图形问题提供高达1340倍的加速。在第4节中，我们讨论了基于顶点的编程模型，它被简单地设计为处理大型图和适应它的框架。在第5节中，我们实现了两个基本的图算法（页面排名和权重二分匹配），并将它们作为基线方法在单个节点上运行，以查看它们对于大型数据集的速度以及是否值得对其进行分区。
2016-12-18 cs.DC
A High-Performance Parallel Algorithm for Nonnegative Matrix Factorization
非负矩阵分解（NMF）是针对给定的输入矩阵$A$确定两个非负低秩因子$W$和$H$的问题，使得$A \approx W H$。NMF在文本挖掘中的主题建模、视频分析中的背景分离、社交网络中的社区发现等领域有着广泛的应用。尽管它在数据采掘社区中很受欢迎，但缺乏有效的并行软件来解决大数据集的问题。现有的分布式内存算法在性能和适用性方面受到限制，因为它们是使用Hadoop实现的，并且仅针对稀疏矩阵设计。我们提出了一个分布式存储器并行算法，通过迭代求解交替的非负最小二乘（NLS）子问题的$W$和$H$的因式分解计算。据我们所知，我们的算法是第一个高性能的并行算法NMF。它在内存中维护数据和因子矩阵（分布在处理器中），使用MPI进行处理器间通信，并且在密集的情况下，可以证明最小化通信成本（在温和的假设下）。与以前的实现相反，我们的算法也很灵活：（1）它对密集和稀疏矩阵都有很好的表现，（2）它允许用户从多个算法中选择，用于在交替迭代中解决局部NLS子问题。我们展示了我们的算法的可扩展性，并将其与基线实现进行比较，显示出显着的性能改进。
2015-09-30 cs.DC
Parallel Graph Algorithms in Constant Adaptive Rounds: Theory meets Practice
我们研究基本的图形问题，如图的连通性，最小生成森林（MSF），和近似最大（重量）匹配在分布式设置。特别是，我们专注于自适应大规模并行计算（AMPC）模型，这是一个理论模型，捕获MapReduce的计算与分布式哈希表增强。我们展示了第一个AMPC算法的所有研究的问题，运行在一个恒定的轮数，并只使用$O(n^ε)$空间每台机器，其中$0 < ε< 1$。我们的研究结果改进了AMPC模型中的先前结果，以及MPC模型中最知名的结果，MPC模型是支撑许多流行的分布式计算框架（如MapReduce，Hadoop，Beam，Pregel和GitHub）的理论模型。最后，我们提供了一个经验比较的算法在MPC和AMPC模型中的容错分布式计算环境。我们经验评估我们的算法上的一组大型现实世界的图形，并表明，我们的AMPC算法可以实现优化MPC基线的运行时间和轮的复杂性的改善。
2020-09-24 cs.DC cs.DS
Building Graphs at a Large Scale: Union Find Shuffle
使用分布式计算框架的大规模图形处理在工业中变得普遍和高效。在这项工作中，我们提出了一个高度可扩展和可配置的分布式算法，用于构建连接组件，称为联合查找洗牌（UFS）与路径压缩。该算法的规模和复杂度是数据最初被划分成的分区的数量以及连通分量的大小的函数。我们讨论的复杂性和基准相比，类似的方法。我们还介绍了我们的生产系统的当前基准，运行在商品开箱即用的云Hadoop基础设施上，该算法在一年多前部署，扩展到约750亿个节点和600亿个链接（并且还在增长）。我们强调了我们算法的关键方面，即使在存在具有100亿个节点大小的大型连接组件的偏斜数据的情况下，也可以实现无缝扩展和性能。
2021-01-25 cs.DC cs.DS
High-Level Programming Abstractions for Distributed Graph Processing
近年来，分布式环境下大规模图的高效处理已经成为一个越来越热门的研究课题。可以被建模为图的互连数据出现在诸如机器学习、推荐、web搜索和社会网络分析的应用领域中。编写分布式图应用程序本质上是困难的，并且需要能够覆盖各种问题域的编程模型，包括迭代精化算法、图转换、图聚合、模式匹配、自我网络分析和图遍历。分布式图处理系统和大数据平台已经提出并采用了几种高级编程抽象。尽管已经做了大量的工作来实验性地比较分布式图处理框架，但是还没有对图编程抽象进行定性研究和比较。在这次调查中，我们回顾和分析了最流行的分布式图处理高级编程模型，在它们的语义和适用性。我们确定的类图的应用程序，可以自然地表示每个抽象，我们也给出了应用程序的例子，很难或不可能表达。我们回顾了34个分布式图处理系统的编程抽象，执行模型和通信机制。最后，我们讨论的趋势和开放的研究问题，在该地区的分布式图形处理。
2016-07-09 cs.DC
A Survey of Distributed Graph Algorithms on Massive Graphs
本文综述大规模图分布式处理的并行性、负载均衡、通信开销与带宽等挑战，梳理现有通用解决方案及最新论文策略，并展望研究趋势。
2024-10-28 cs.DC
FastSample: Accelerating Distributed Graph Neural Network Training for Billion-Scale Graphs
FastSample通过新的图划分方法和优化的采样内核减少分布式采样开销，在不损失准确率的情况下将大规模图GNN训练速度提升最高2倍。
2023-11-29 cs.DC
On the Complexity of Processing Massive, Unordered, Distributed Data
处理海量数据集的现有方法是在几个通道中对输入进行流式传输，并使用次线性资源执行计算。这种方法不适用于真正的海量数据，即使用处理器对数据进行单次传递也是禁止的。在实践中成功的日志处理系统，如Google的MapReduce和Apache的Hadoop使用多台机器。它们有效地执行由本地计算定义的某类高度可分布的计算，这些计算可以以任何顺序应用于输入。这些系统的成功的动机，我们介绍了一个简单的算法模型，大规模的，无序的，分布式（泥浆）计算。我们开始了对其计算复杂性的理解研究。我们的主要结果是一个积极的：任何无序的功能，可以计算的流算法也可以计算的泥浆算法，具有可比的空间和通信复杂性。我们将这个结果扩展到一些有用的类的近似和随机流算法。我们也给出了负面的结果，使用通信复杂性参数证明，私人随机性，承诺问题和不确定的功能扩展是不可能的。我们相信，我们在本文中介绍的研究路线有可能产生巨大的影响。激励我们工作的分布式系统以前所未有的规模成功地处理数据，分布在数百甚至数千台机器上，每天执行数百次此类分析。泥浆模型（及其推广）激发了一系列复杂性理论问题，这些问题是它们的核心。
2007-05-22 cs.CC cs.DC
Round Compression for Parallel Graph Algorithms in Strongly Sublinear Space
大规模并行计算（MPC）模型是流行的并行和分布式平台（如MapReduce，Hadoop或Spark）的理论框架。我们考虑在这个模型中计算一个大的匹配或小的顶点覆盖的任务时，每台机器的空间是$n^δ$为$δ\in (0,1)$，其中$n$是在输入图中的顶点数。对经典PRAM和20世纪80年代的分布式算法的直接模拟导致至少需要对数数量的MPC轮的算法。我们给出了第一个算法，打破了这个对数障碍，并运行在$\tilde O(\sqrt{\log n})$轮，只要总空间的顶点数至少稍微超线性。通过将自然剥离算法的若干轮重复压缩到在数学上更小数量的MPC轮来获得结果。每次我们表明，它足以考虑一个低程度的子图，其中局部邻域可以探索指数加速。我们的技术是相对简单的，也可以用来加速有界度图的分布式算法的模拟，并找到一个最大的独立集在有界荫度图。
2018-07-23 cs.DC cs.DS
Graph Sampling with Distributed In-Memory Dataflow Systems
给定一个大图，图样本确定一个子图，该子图对于原始图的某些度量具有相似的特征。样本更小，从而加速和简化了大型图形的分析和可视化。我们专注于为大数据框架和内存中的分布式图采样系统（如Apache Spark或Apache Flink）实现分布式图采样。我们评估新的实现的可扩展性，并分析在何种程度上的采样方法保留某些图形的度量相比，原来的图。后一种分析也使用比较图形可视化。所提出的方法将是开源的，并集成到Gradoop中，Gradoop是一个分布式图形分析系统。
2019-10-10 cs.DC
Distributed Streaming Analytics on Large-scale Oceanographic Data using Apache Spark
来自不同领域的真实数据需要实时可扩展的分析。大规模数据处理框架或引擎（如Hadoop）在需要即时结果时会出现不足。Apache Spark的流媒体库越来越成为一个受欢迎的选择，因为它可以流式传输和分析大量数据。本文分析了美国全球海洋数据同化实验（USGODAE）数据目录中收集的大尺度时空数据，展示并评估了Spark流处理的能力。我们通过在流作业的中间添加和删除节点来测量流的延迟并监控可扩展性。我们还验证了容错停止节点在中间的一个工作，并确保该工作被重新调度和完成其他节点。我们设计了一个全栈应用程序，可以自动执行数据汇集、数据处理和结果可视化。我们还使用Google Maps API来可视化结果，方法是使用各种分析的值对世界地图进行颜色编码。
2019-08-01 cs.DB cs.DC cs.IR
UniGPS: A Unified Programming Framework for Distributed Graph Processing
工业界和学术界提出了许多分布式图处理系统。然而，现有的系统对数据分析师和算法工程师等用户不够友好。一方面，现有系统中的编程模型和接口差异很大，导致较高的学习成本和程序迁移成本。另一方面，这些图形处理系统与底层的分布式计算平台紧密绑定，要求用户熟悉分布式计算。为了提高分布式图处理的可用性，提出了一个统一的分布式图编程框架UniGPS。首先，我们提出了一个统一的跨平台图形编程模型VCProg的UniGPS。VCProg对用户隐藏了分布式计算的细节。它与流行的图形编程模型Pregel，GAS和Push-Pull兼容。VCProg程序可以在兼容的分布式图处理系统上执行，无需修改，减少了用户的学习开销。其次，UniGPS支持Python作为程序设计语言。我们提出了一个基于进程间通信的执行环境隔离机制，使Java/C++为基础的系统调用用户定义的方法写在Python中。实验结果表明，UniGPS使用户能够在不牺牲可用性的情况下处理超出单机内存容量的大图形。UniGPS显示出接近线性的数据可扩展性和机器可扩展性。
2021-08-04 cs.DC
Distributed ReliefF based Feature Selection in Spark
National Autonomous University of Honduras（洪都拉斯国立自治大学）；University of Alcala（阿尔卡拉大学）
特征选择是机器学习和数据采掘领域的一个关键研究领域，去除不相关和冗余的特征通常有助于减少处理数据集所需的工作量，同时保持甚至提高处理算法的准确性。然而，设计用于在单个机器上执行的传统算法缺乏可扩展性，无法处理当前大数据时代可用的日益增加的数据量。ReliefF是一个重要的FS算法，在许多FS应用中得到了成功的实现。在本文中，我们提出了一个完全重新设计的分布式版本的流行的ReliefF算法的基础上的新的火花集群计算模型，我们已经被称为DiReliefF。Spark越来越受欢迎，因为它的处理时间比Hadoop的MapReduce模型实现快得多。在四个公开可用的数据集上测试了我们的建议的有效性，所有这些数据集都具有大量的实例，其中两个数据集也具有大量的特征。这些数据集的子集也被用来比较结果的非分布式算法的实现。结果表明，非分布式的实现是无法处理这么大的数据量没有专门的硬件，而我们的设计可以处理它们在一个可扩展的方式，更好的处理时间和内存使用。
2018-11-01 cs.DC cs.LG stat.ML
Distributed Algorithms for Subgraph-Centric Graph Platforms
近年来，大规模图的图分析引起了人们的兴趣。许多图算法已经被设计用于以顶点为中心的分布式图处理框架，以使用商品集群和云来操作具有100 M顶点和边的大型图。以子图为中心的编程模型已经显示出比以顶点为中心的模型更多的性能优势。但是直接将顶点中心和共享内存算法映射到以子图为中心的框架是不可能的，或者导致低效的算法。在本文中，我们提出了三个子图为中心的分布式图算法三角形计数，聚类和最小生成森林，使用共享和顶点为中心的模型的变化。这些增强现有的子图为中心的算法，存在于文献中，并允许更广泛的评估这三类图处理算法和平台。
2019-05-20 cs.DC
DRONE: a Distributed Subgraph-Centric Framework for Processing Large Scale Power-law Graphs
如今，在大数据时代，社交网络、图形数据库、知识图谱、电子商务等需要高效且可扩展的能力来处理不断增加的图形结构数据量。为了应对这一挑战，提出了两种主流的分布式编程模型：以顶点为中心的模型（VC）和以子图为中心的模型（SC）。与VC模型相比，SC模型在划分良好的图上收敛更快，通信开销更少，并且由于“像图一样思考”的哲学而易于编程。边割方法被认为是子图为中心的图划分模型的自然选择，并已被GitHub ++，Blogel和GRAPE采用。然而，切边方法在处理大规模幂律图时会产生显著的性能瓶颈。因此，供应链模式在实践中竞争力较低。在本文中，我们提出了一个创新的分布式图计算框架，DRONE（分布式gRaph computiNg引擎）。它结合了以子图为中心的模型和顶点切割图划分策略。实验表明，DRONE优于最先进的分布式图形计算引擎在现实世界的图形和合成的幂律图。DRONE能够扩展到处理一万亿边的合成幂律图，这比现有的基于SC的框架之前报道的要大几个数量级。
2019-01-09 cs.DC
Kudu: An Efficient and Scalable Distributed Graph Pattern Mining Engine
本文提出了Kudu，这是一个分布式执行引擎，具有定义良好的抽象，可以与现有的单机图形模式挖掘（GPM）系统集成，同时提供效率和可扩展性。关键的新颖性是可扩展的嵌入抽象，它可以表达模式枚举算法，允许细粒度的任务调度，并使低成本的特定于GPM的数据重用，以降低通信成本。有效的BFSDFS混合探索产生足够的通信计算重叠的并发任务与有限的内存消耗。通过在Kudu上移植Automine和GraphPi实现了两个可扩展的分布式GPM系统。我们的评估表明，基于Kudu的系统显著优于最先进的分布式GPM系统，分区图高达75.5倍（平均19.0倍），与最快的分布式GPM系统相比，复制图实现了类似甚至更好的性能，并可扩展到具有超过1000亿条边的大型图形。
2022-11-11 cs.DC
Start Late or Finish Early: A Distributed Graph Processing System with Redundancy Reduction
图形处理系统在大数据领域非常重要。然而，在现有的算法和模型中，并行处理图通常会引入冗余计算。先前的工作已经提出了技术，以优化冗余的核心外的图形系统，而不是分布式图形系统。在本文中，我们研究了各种最先进的分布式图形系统，并观察这些普遍存在的冗余的根本原因。为了在不牺牲并行性的情况下减少冗余，我们进一步提出了一个分布式图形处理系统SLFE，它是按照“晚开始或早完成”的原则设计的。SLFE采用了一种新的预处理阶段，以获得一个图的拓扑知识，可以忽略不计的开销。SLFE的冗余感知顶点为中心的计算模型，然后可以利用这些知识，以减少在运行时的冗余计算。SLFE还提供了一组API来提高可编程性。我们在一个8节点高性能集群上的实验表明，SLFE在真实世界的图形上优于所有知名的分布式图形处理系统（加速比高达74.8倍）。SLFE的冗余减少方案通常适用于其他以顶点为中心的图形处理系统。
2018-05-31 cs.DC
Graph3S: A Simple, Speedy and Scalable Distributed Graph Processing System
图是一种普遍存在于许多领域的结构。快速增长的数据量要求高效和可扩展的图形数据处理。近年来，设计分布式图处理系统已经成为一个越来越重要的领域，以满足在分布式环境中处理大型图的需求。虽然已经开发了各种分布式图形处理系统，但很少注意在使用简单性，效率和可扩展性方面实现良好的组合系统性能。为了对分布式图形处理系统的研究有所贡献，本文试图通过设计一个简单、快速和可扩展的系统来填补这一空白。我们的观察是，加强系统的通信灵活性，导致系统的效率和可扩展性以及简单的使用收益。我们在系统Graph3S中实现了我们的想法，并在来自不同领域的大图上使用各种算法进行了广泛的实验，以测试其性能。实验结果表明，该系统除了使用简单外，在各种图算法上都有很好的性能表现，在某些算法上的加速比甚至可以达到现有内存系统的两个数量级.此外，它的可扩展性与基于磁盘的系统相比具有竞争力，在使用较少的机器时甚至更好。
2020-03-02 cs.DC
Distributed recoloring of interval and chordal graphs
网络上分布式计算的一个基本的和研究最多的算法问题是图着色，包括有界度图和一般图。近年来，对这一问题的研究已扩展到两个方向。首先，已被认为是一个有用的子程序的着色，即计算两个给定的着色之间的有效变换（而不是计算一个新的着色）的问题，无论是建模无线电网络更新，并作为着色。其次，由于一般图和有界度图似乎不能很好地模拟真实网络（分别具有病态的最坏情况拓扑和太强的假设），着色已经在更具体的图类中进行了研究。在本文中，我们研究了这两个方向的交集：在两个相关的图类，区间和弦图的分布包围。
2021-09-13 cs.DC
Distributed Interactive Proofs for the Recognition of Some Geometric Intersection Graph Classes
一个图$G=(V,E)$是一个几何求交图，如果每个节点$v \in V$都被标识为某种特定类型的几何对象，并且如果相应的对象相交，则两个节点相邻。本文从理论和实践两个方面对几何求交图类进行了研究。一方面，当输入图被限制为一类几何求交图时，许多困难的问题可以被有效地求解或近似。另一方面，这些图自然出现在许多应用中，如传感器网络，调度问题等。最近，在分布式认证和分布式交互证明的背景下，图类的识别开始得到深入研究。不同的结果涉及到树、二分图、有界直径图、无三角形图、平面图、有界亏格图、$H$ -次自由图等的识别，已经获得。本工作的目标是设计有效的分布式协议，识别相关的几何求交图类，即置换图，梯形图，圆图，和双圆图。更确切地说，对于前两个类，我们给出了证明标签方案，用数字大小的证书来识别它们。对于其他两个类，我们给出了三轮分布式交互协议，使用大小为$\mathcal{O}(\log n)$的消息和证书。最后，我们提供了对数下限的大小上的证书的证明标签计划的任何上述几何求交图形类的识别。
2021-12-06 cs.DC
Storing and Querying Large-Scale Spatio-Temporal Graphs with High-Throughput Edge Insertions
真实世界的图通常包含时空信息，并随着时间的推移而演变。与静态图相比，时空图具有非常不同的特性，在数据量、数据速度和查询处理方面提出了更大的挑战。在本文中，我们描述了三个代表性的应用程序来了解时空图的功能。基于应用的共性，我们定义了一个正式的时空图模型，其中一个图由位置顶点，对象顶点，和事件边。然后，我们讨论了一组设计目标，以满足应用程序的要求：（i）支持高达100亿个对象顶点，1000万个位置顶点，和100万亿条边的图形，（ii）支持高达1万亿条新的边，每天流，和（iii）最大限度地减少跨机器通信的查询处理。我们提出并评估PAST，一个有效的分区和查询处理的时空图的框架。实验结果表明，PAST成功地实现了上述目标。与最先进的解决方案（包括JanusGraph、Greenplum、Spark和ST-Hadoop）相比，它将查询性能提高了几个数量级。
2020-10-20 cs.DB cs.DC
Connected Components at Scale via Local Contractions
作为层次图聚类的基本工具，连通分量的计算一直是大规模数据采掘的核心问题。虽然许多已知的算法已经开发了这个问题，他们要么是不可扩展的，在实践中或缺乏强有力的理论保证的并行运行时间，即，通信轮数。到目前为止，经过验证的最好的保证是$\Oh(\log n)$，它与PRAM模型中的运行时间相匹配。在本文中，我们的目标是设计一个分布式算法，这个问题，以及在理论和实践中。特别是，我们提出了一个简单的算法的基础上收缩，并提供了一个可扩展的实现它在MapReduce。在理论方面，除了显示$\Oh(\log n)$收敛的所有图，我们证明了一个$\Oh(\log \log n)$并行运行时间具有高概率的某一类随机图。我们在MPC模型中工作，该模型捕获流行的并行计算框架，如MapReduce，Hadoop或Spark。在实践方面，我们表明，我们的算法优于最先进的MapReduce算法。为了证实其可扩展性，我们报告的经验结果图与数万亿的边缘。
2018-07-27 cs.DC cs.DS
Abstract message passing and distributed graph signal processing
图信号处理是处理图结构化数据的框架。其基本概念是图形移位算子，从而产生了图形傅里叶变换。虽然图形傅里叶变换是一个集中式过程，但需要分布式图形信号处理算法来解决诸如可扩展性和隐私等挑战。在本文中，我们开发了一个理论的分布式图信号处理的消息传递的经典概念的基础上。然而，我们概括了消息的定义，以允许更抽象的数学对象。该框架提供了一种替代的观点，避免了现有的分布式图信号处理方法的迭代性质。此外，我们的框架有利于研究理论问题，如分布式问题的解决方案。
2022-06-09 cs.DC eess.SP
Distributed Deep Multilevel Graph Partitioning
我们描述的分布式内存多级图分区dKaMinPar的工程。它可以扩展到（至少）8192个核心，同时实现与广泛使用的顺序和共享内存图形分区器相当的分区质量。相比之下，以前的分布式图分区器仅在更受限制的情况下扩展，并且与非分布式分区器相比，通常会导致相当大的质量损失。当划分成大量块时，它们甚至产生违反平衡约束的不可行解。dKaMinPar实现其鲁棒性的可扩展的分布式实施的深多级计划图分区。至关重要的是，这包括在细化和粗化过程中进行平衡的新算法。
2023-03-03 cs.DC cs.DS
Decentralized Distributed Graph Coloring: Cluster Graphs
本研究针对分布式计算中的簇图着色问题，提出首个亚对数级分布式算法，以O(log* n)轮实现对多重对数度以上簇图的(Δ+1)着色，优于此前poly(log n)的最优结果，推广了CONGEST模型结论。
2025-06-14 cs.DC cs.DS
On Distributed Model Checking of MSO on Graphs
我们认为分布式模型检查的一元二阶逻辑（MSO）的图构成的通信网络的拓扑结构。因此，图既是被检查的结构，也是执行分布式计算的系统。我们证明了MSO可以分布式模型检查，只有一个常数的消息发送到每个链接的平面网络有界直径，以及网络有界度和有界树长。分布式算法依赖于非平凡变换的线性时间顺序算法有界树宽图的树分解。
2009-04-13 cs.DC cs.LO
Processing SPARQL Queries Over Distributed RDF Graphs
我们提出了在分布式环境中处理大型RDF图上的SPARQL查询的技术。我们采用“部分评估和组装”框架。查询SPARQL查询Q等价于在RDF图G上找到查询图Q的子图匹配。基于分布式图上子图匹配的性质，我们在RDF图G的每个片段中引入局部部分匹配作为部分答案。对于组装，我们提出了两种方法：集中式组装和分布式组装。我们从理论和实验两方面分析了我们的算法。大量的实验在真实的和基准RDF存储库的数十亿个三元组证实，我们的方法是优于国家的最先进的方法在系统的性能和可扩展性。
2016-03-21 cs.DB cs.DC
Distributed Triangle Counting in the Graphulo Matrix Math Library
三角形计数是大型图分析的关键算法。Graphulo库为在Apache Accumulo分布式数据库上实现图形算法提供了一个框架。在这项工作中，我们将两种计算三角形的算法，一种使用邻接矩阵，另一种也使用关联矩阵，用于Accumulo内部的服务器端处理的Graphulo库。基于云的实验显示，这些不同的方法在幂律Graph500图形家族上具有相似的性能特征，其中数据偏斜越来越成为瓶颈。这些结果激发了我们为未来工作提出的偏斜感知混合算法的设计。
2017-09-05 cs.DC cs.MS
