n-Level Hypergraph Partitioning
我们开发了一个多层次的超图分区算法,合同的顶点一次一个,从而允许非常高的质量。这包括一个评级功能,避免不均匀的顶点权重,一个有效的“半动态”超图数据结构,一个非常快速的粗化算法,和两个新的局部搜索算法。一个是Fiduccia-Mattheyses局部搜索的$k$ -路超图适应,并以合理的成本提供高质量。另一个是一个适应的大小受限的标签传播超图。与hMetis和PaToH的比较表明,新算法在几个基准集上产生更好的质量,并且具有与hMetis相当的运行时间。使用标签传播本地搜索比hMetis快几倍,并且对于VLSI基准测试集提供比PaToH更好的质量。
2015-05-04 cs.DS
Advanced Flow-Based Multilevel Hypergraph Partitioning
超图的平衡划分问题是将超图划分为大小有界的不相交块$k$,使得每个超边所连接的块的数目之和最小。我们提出了一个改进的基于流的细化框架KaHyPar-MF,目前国家的最先进的多级$k$方式超图划分算法的高质量的解决方案。我们的改进是基于最近提出的HyperFlowCutter算法,通过解决一系列增量最大流问题来计算未加权超图的二分划。由于顶点和超边是在粗化阶段聚合的,因此在多级设置中采用的细化算法必须能够处理加权超边和加权顶点-即使初始输入超图是未加权的。因此,我们增强了HyperFlowCutter处理加权实例,并提出了一种直接在加权超图上计算最大流的技术。我们比较了我们的新算法的两种配置的性能与KaHyPar-MF和其他七个分区算法在一个全面的基准集与应用领域,如VLSI设计,科学计算,SAT求解的实例。我们的第一个配置,KaHyPar-HFC,计算略好于KaHyPar-MF使用显着更少的运行时间的解决方案。第二种配置KaHyPar-HFC* 计算的解质量明显更好,但仍略快于KaHyPar-MF。此外,在解决方案质量方面,这两种配置也优于所有其他竞争的分区。
2020-03-26 cs.DS
Multilevel Hypergraph Partitioning with Vertex Weights Revisited
平衡超图划分问题(HGP)是将超图的顶点集划分为k个不相交的有界权块,同时极小化定义在超边上的目标函数。现实世界的应用程序通常使用顶点和边的权重来准确地建模底层问题,而HGP研究社区通常使用未加权的实例。在本文中,我们认为,在顶点权重的存在下,目前的平衡约束定义要么产生不可行的分割问题,或允许不必要的大的不平衡,并提出了一个新的定义,克服了这些问题。我们表明,国家的最先进的超图分区往往斗争相当加权实例和紧平衡约束(即使与我们的新的平衡定义)。因此,我们提出了一个递归二分技术,能够可靠地计算平衡(因此可行)的解决方案。所提出的方法通过预先分配最重顶点的一个小子集到每个bipartition的两个块(使用最初为作业调度问题开发的算法)来平衡分区,并优化剩余顶点上的实际分区目标。我们将我们的算法集成到多级超图分区KaHyPar,并表明我们的方法是能够计算高质量的平衡分区上的一组不同的基准实例。
2021-02-02 cs.DS
Hypergraph Partitioning through Vertex Separators on Graphs
超图提供的建模灵活性已经引起了组合科学界的极大兴趣,导致了新的模型和算法,它们的应用以及相关工具的开发。超图现在是组合科学计算中的标准工具。然而,超图的建模灵活性是有代价的:超图上的算法本质上比图上的算法更复杂,这有时会转化为处理时间的非平凡增加。超图的建模灵活性和图算法的运行效率都不容忽视。因此,新的研究重点应该是如何在两者之间巧妙地权衡。这项工作解决了一种方法,这种权衡解决超图分区问题,找到顶点分离器的图形。具体来说,我们研究如何解决超图的划分问题,寻求一个顶点分离器在其网络交叉图(NIG),其中每个网络的超图是由一个顶点,和两个顶点共享一条边,如果他们的网络有一个共同的顶点。由于NIG模型不能保持节点平衡信息,我们提出了一种顶点加权方案来获得良好的节点平衡超图。顶点删除和顶点分裂技术被描述为优化割网和连通性指标,分别在递归二分范式。我们还通过采用和修改最先进的GPVS工具onmetis,开发了基于GPVS的HP公式的实现。大量的稀疏矩阵上进行的实验证实了我们所提出的技术的有效性。
2011-03-01 cs.DS
HYPE: Massive Hypergraph Partitioning with Neighborhood Expansion
许多重要的现实世界的应用程序,如社交网络或分布式数据库,可以建模为超图。在这样的模型中,顶点代表实体(比如用户或数据记录),而超边则对顶点的组成员关系(比如特定主题的作者身份或特定复制分片中数据记录的成员关系)进行建模。为了优化这样的应用,我们需要一个高效和有效的解决方案,NP-硬平衡k路超图划分问题。然而,现有的超图划分器,规模非常大的图不有效地利用超图结构时,执行分区决策。我们提出了HYPE,超图partitionier,利用超图中的顶点之间的邻域关系,使用一个有效的实现邻域扩展。与流式分区相比,HYPE将分区质量提高了95%,并将运行时间减少了39%。
2018-11-14 cs.DC cs.DS cs.SI
Deterministic Parallel Hypergraph Partitioning
超图的平衡划分是一个经典的NP-难优化问题,在VLSI设计、量子电路仿真、分布式数据库的数据布局优化、高性能计算中的通信量最小化等领域有着广泛的应用。工程并行算法是近年来的研究热点。但大多数都是非确定性的。在这项工作中,我们设计和实现了一个高度可扩展的确定性算法在国家的最先进的并行分区框架Mt-KaHyPar。在我们广泛的基准测试实例集上,它实现了与Mt-KaHyPar相当但不确定的配置类似的分区质量和性能,并且在分区质量,运行时间和并行加速方面优于唯一的其他现有并行确定性算法BiPart。
2021-12-23 cs.DC cs.DS
Submodular Hypergraph Partitioning: Metric Relaxations and Fast Algorithms via an Improved Cut-Matching Game
本文提出统一有向与无向超图划分的通用模型,引入多态拟阵割函数,通过负型度量松弛实现$O(\sqrt{\log n})$近似,并推广割匹配游戏得到近线性时间$O(\log n)$近似算法。
2023-07-26 cs.DM cs.DS
Hypergraph Partitioning With Embeddings
Clemson University(克莱姆森大学)
科学计算中的问题,例如分配大型稀疏矩阵运算,具有与超图划分问题类似的公式。超图是传统图的推广,其中“超边”可以连接任何数量的节点。因此,超图划分是一个NP难问题,无论是解决或近似。解决这个问题的最先进的算法遵循多级范式,该范式首先将输入超图迭代地“粗化”为共享关键结构特征的较小问题实例。一旦确定了一个足够小的近似问题,可以直接求解,该解决方案可以插值和细化到原始问题。虽然这种策略在质量和运行时间之间进行了很好的权衡,但它对粗化策略很敏感。在这项工作中,我们建议使用初始超图的图嵌入,以确保粗化的问题实例重新训练关键的结构特征。我们的方法优先考虑输入图中自相似区域内的粗化,并在一系列考虑的超图中显着提高解决方案的质量。重现性:所有源代码、图和实验数据均可在https://sybrandt.com/2019/partition上获得。
2020-08-25 cs.DS cs.LG
Parallel Flow-Based Hypergraph Partitioning
我们提出了一个共享内存并行化的基于流的细化,这被认为是目前最强大的迭代改进超图分区技术。基于流的细化工作在二分区上,因此当前的顺序分区器将其调度在不同的块对上,以改进$k$路分区。我们调查两个不同的来源的并行性:并行调度方案和并行最大流算法的基础上著名的推重新标记算法。除了彻底的工程实现之外,我们还提出了几种优化方法,这些优化方法在实践中大大加速了算法,从而能够在非常大的超图(高达10亿个引脚)上使用。我们将我们的方法集成到最先进的并行多级框架Mt-KaHyPar中,并在500多个真实超图的基准集上进行了广泛的实验,以表明我们代码的分区质量与最高质量的顺序代码(KaHyPar)相当,而10个线程的速度要快一个数量级。
2022-01-05 cs.DC cs.DS
Multilevel Acyclic Hypergraph Partitioning
有向无环超图是有向无环图的一个推广概念,其中每个超边可以包含任意数量的头和尾。有向超图可用于对流应用中的数据流和执行依赖性进行建模。因此,超图分割算法可以用来获得有效的多处理器架构的并行化。然而,分区上的非循环约束是必要的映射流应用程序时,嵌入式多处理器由于这种类型的硬件资源限制。无环超图划分问题是将有向无环超图的超节点划分为给定数量的大小大致相等的块,使得相应的商图是无环的,同时最小化分区上的目标函数。在这里,我们贡献的第一个n级算法的无圈超图划分问题。我们的重点是无圈超图的超边可以有一个头和任意多个尾巴。在此基础上,我们设计了一个模因算法,以进一步降低通信成本,以及提高嵌入式多处理器架构上的调度最大完工时间。实验表明,我们的算法优于以前的算法,专注于有向无环图的情况下,以前已在应用领域。此外,我们的实验表明,这种类型的应用程序使用有向超图模型产生一个显着较小的完工时间。
2020-10-15 cs.DC cs.DS cs.NE
Scalable Shared-Memory Hypergraph Partitioning
超图划分是高性能计算应用中优化数据布局和最小化通信量的重要预处理步骤。为了应对日益增长的问题规模,它已成为越来越重要的是开发快速并行分割算法的解决方案的质量是有竞争力的现有的顺序算法。为此,我们提出了Mt-KaHyPar,第一个共享内存多级超图分区器,并行实现了顺序,高质量分区系统所使用的许多技术:使用并行社区发现作为指导的并行粗化算法,通过具有工作窃取的并行递归二分区的初始分区,可缩放标签传播细化算法,以及经典FM算法的第一个完全并行的直接$k$路公式。在不同应用领域的大量基准测试实例集上进行的实验表明了该方法的可扩展性和有效性。在64个核心的情况下,我们观察到高达51的自相关加速比和23.5的谐波平均加速比。在解决方案质量方面,我们在95%的实例上优于分布式超图分区器Zoltan,同时也快了2.1倍。只有四个核心,Mt-KaHyPar也比最快的顺序多级分区器PaToH稍快,同时在所有实例的83%上产生更好的解决方案。顺序高质量分区器KaHyPar仍然比我们的并行方法找到更好的解决方案,特别是在使用基于最大流的细化时。然而,这是以相当长的运行时间为代价的。
2020-10-21 cs.DC cs.DS
Co-clustering Vertices and Hyperedges via Spectral Hypergraph Partitioning
Rice University(莱斯大学)
提出了一种新的边依赖顶点权重超图顶点和超边的共聚类方法。在该超图模型中,每个顶点对其每个关联超边的贡献通过边依赖权重来表示,赋予模型比经典超图更高的表达能力。在我们的方法中,我们利用随机游走与EDVW构建一个超图拉普拉斯算子,并使用其频谱特性嵌入顶点和超边在一个共同的空间。然后,我们聚类这些嵌入,以获得我们提出的共同聚类方法,在应用程序中需要同时聚类的数据实体和功能,特别相关。使用真实世界的数据的数值实验表明,我们所提出的方法相比,国家的最先进的替代品的有效性。
2021-02-19 cs.DS cs.LG cs.SI
Experimental Study of A Novel Variant of Fiduccia Mattheyses(FM) Partitioning Algorithm
划分是VLSI物理设计自动化领域的一个研究热点。在这个问题中,输入是一个集成电路,输出是一组几乎相等的不相交块。分区的主要目标是将电路的组件分配给块,以最大限度地减少块间连接的数量。Fiduccia和Mattheyses提出了一种基于超图的线性时间复杂度划分算法,即FM算法。文献中提出的大多数基于超图的划分算法都是FM算法的变体。在本文中,我们提出了一种新的变形FM算法,通过使用成对交换技术。我们已经进行了比较实验研究FM算法和我们提出的算法使用两个数据集,如ISPD98和ISPD99。实验结果表明,我们提出的算法的性能优于FM算法使用上述数据集。
2014-03-02 cs.DS
Counting and enumerating optimum cut sets for hypergraph $k$-partitioning problems for fixed $k$
本文研究了两个超图$k$ -划分问题--超图- $k$ -割和超图-极小-超图- $k$ -划分的最优解的计数问题。超图$k$ -划分问题的输入是一个超图$G=(V, E)$,它具有正的超边代价以及一个固定的正整数$k$。目标是找到$V$到$k$非空部分$(V_1, V_2, \ldots, V_k)$的划分--称为$k$划分--以便最小化感兴趣的目标。1.如果目标函数是各部分的最大割值,则该问题称为最小超图- $k$ -划分问题。如果一个超边子集是极小极大超图-$k$-划分的最优$k$-划分的超边子集,则它是极小极大- $k$-割集. 2.如果目标是通过$k$ -划分的超边的总代价,则该问题称为Hypergraph- $k$ -Cut。超边子集是一个最小$k$割集,如果它是通过超图- $k$ -割的最优$k$ -划分的超边子集.本文给出了超图中minmax- $k$ -割集个数的第一多项式界,并给出了一个多项式时间算法来计算每一个固定的$k$的超图中所有的minmax-$k$-割集。我们的技术是强大的,也使$n^{O(k)}p$时间确定性算法,以枚举所有的最小$k$ -割集超图,从而提高了以前已知的$n^{O(k^2)}p$时间确定性算法,其中$n$是顶点的数量和$p$是超图的大小。我们的枚举方法的正确性分析依赖于一个结构的结果,这是一个强大的和统一的推广超图- $k$ -割和最…
2023-03-07 cs.DM cs.DS
Shared-Memory n-level Hypergraph Partitioning
我们提出了一个共享内存算法来计算高质量的平衡$k$ -路超图划分问题的解决方案。该问题要求将顶点集划分为最小化连通性度量的有界大小的$k$不相交块(即,由每个超边连接的不同块的数目的总和)。高质量的解决方案是通过并行化的核心技术,目前最好的顺序分区KaHyPar:最极端的$n$级版本的广泛使用的多级范例,其中只有一个顶点是收缩在每个级别。这种方法通过侵入式算法和数据结构实现快速和可伸缩性,这些算法和数据结构允许通过原子操作和细粒度锁定精确控制并行性。我们进行了广泛的实验,超过500现实世界的超图高达$140$百万顶点和20亿针(超边大小的总和)。我们发现,我们的算法计算的解决方案,相当于一个可比的配置KaHyPar,而平均速度快一个数量级。此外,我们表明,最近的非多级算法专门设计用于划分大型实例有相当大的质量处罚,并没有明显的优势,在运行时间。
2021-04-16 cs.DC cs.DS
Hypergraph partitions
我们建议将超图划分的组合问题简化为一个连续优化问题。
2019-09-18 cs.DS math.OC
Streaming Hypergraph Partitioning Algorithms on Limited Memory Environments
许多众所周知的现实世界的问题都涉及到描述实体之间关系的动态数据。超图是一种强大的组合结构,经常用于对此类数据进行建模。对于今天的许多以数据为中心的应用程序来说,这些数据是流式的;新的项目不断到达,数据随着时间的推移而增长。随着物联网和边缘计算等范例的出现,这些应用变得更加自然和实用。在这项工作中,我们假设一个流模型,其中数据被建模为一个超图,这是在边缘生成的。然后,这些数据被分区,并通过在内存受限的设备(如单板的计算机)上运行的算法发送到远程节点。这种划分通常通过考虑连接性度量来执行,以最小化将以分布式方式执行的后续分析的通信成本。虽然有许多离线工具可以很好地划分静态超图,但用于流设置的算法很少。我们分析了一个著名的算法从文献中,并显着提高其运行时间,通过改变其内部数据结构。例如,在一个中等规模的超图上,新算法将运行时间从17800秒减少到10秒。然后,我们提出了基于草图和散列的算法,以及那些可以利用额外的内存来存储一小部分数据,以便在可能的情况下细化分区的算法。我们实验分析这些算法的性能,并报告其运行时间,连接度量分数,和内存使用的高端服务器和四个不同的单板计算机体系结构。
2021-03-09 cs.DC cs.DS
High-Quality Multi-Constraint Hypergraph Partitioning via Greedy Rebalancing
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对多约束超图划分问题,提出基于贪婪局部搜索的再平衡算法,在保证平衡性的同时最小化超边连接度,集成到Mt-KaHyPar后相比Metis连接度降低11.5%。
2026-07-16 cs.DC cs.DS
Distributed Matrix Tiling Using A Hypergraph Labeling Formulation
划分大矩阵是分布式线性代数计算中的一个重要问题(用于ML等)。简而言之,我们的目标是在这些大矩阵上以分布式方式(只要可能)执行一系列矩阵代数运算。然而,并不是所有的划分方案都能很好地与不同的矩阵代数运算及其实现(算法)一起工作。这是一种数据平铺问题。在这项工作中,我们考虑一个理论模型的一个版本的矩阵平铺问题的设置超图标签。我们证明了一些硬度的结果,并给出了其复杂性的随机情况下的理论表征。此外,我们开发了一个贪心算法,并通过实验证明了它的有效性。
2021-06-29 cs.DC cs.DS
Evaluation of a Flow-Based Hypergraph Bipartitioning Algorithm
在本文中,我们提出了HyperFlowCutter,平衡超图二分算法。它基于最小S-T超边割和最大流。它计算一个序列的二分区,优化切割大小和平衡在帕累托意义上,能够贸易的一个。HyperFlowCutter基于FlowCutter算法构建,用于分割图形。我们提出了额外的功能,如处理断开超图,新的方法来获得启动S,T对,以及一种方法来完善一个给定的分区与HyperFlowCutter。我们的主要贡献是ReBaHFC,一个新的算法,获得一个初始分区的快速多级超图分区PaToH,然后改进它使用HyperFlowCutter作为一个细化算法。ReBaHFC能够显著提高PaToH的溶液质量,且只需很少的额外运行时间。解决方案的质量只比性能最好的超图分区器KaHyPar和hMETIS略差,同时快一个数量级。因此,ReBaHFC在超图划分器的当前频谱中提供了新的时间质量权衡。对于完全平衡的二分区的特殊情况,只有速度慢得多的普通HyperFlowCutter比ReBaHFC产生稍微好一点的解决方案,而只有PaToH比ReBaHFC快。
2019-07-03 cs.DS
High-Quality Shared-Memory Graph Partitioning
将图划分为大致相等大小的块,使得块之间的边很少,这是处理图中经常需要的操作。最近,这些网络的规模,种类和结构复杂性急剧增长。不幸的是,以前的方法并行图分区在这种情况下有问题,因为他们往往表现出速度和质量之间的负面权衡。我们提出了一种多层次共享内存并行图分区的方法,保证平衡的解决方案,显示各种大型图形的高加速,并产生非常好的质量独立于所使用的核心数量。例如,在31个核心上,我们的算法将我们最大的测试实例划分为16个块,当两种算法都有相同的时间时,比我们的主要竞争对手切割的边数少一半。重要的成分包括并行标签传播的粗化和改进,并行初始分区,一个简单而有效的方法来并行本地化的本地搜索,和快速局部保持哈希表。
2018-10-15 cs.DS
Deep Multilevel Graph Partitioning
将一个图划分成“大致相等”的块,同时只切割很少的边,这是计算机科学中的一个基本问题,有着广泛的应用。特别地,该问题是需要并行处理的应用程序中的构建块。虽然近年来并行架构中可用核的数量显著增加,但是如果输入需要被划分为大量块,则最先进的图划分算法不能很好地工作。通常,目前可用的算法计算高度不平衡的解决方案,低质量的解决方案,或者在这种情况下具有过多的运行时间。这是因为大多数高质量的通用图划分器是多级算法,其执行图粗化以构建图的层次结构,初始划分以计算初始解,以及局部改进以改进整个层次结构的解。然而,对于大量的块,用于初始分区的层次结构中的最小图仍然必须很大。在这项工作中,我们大大减轻了这些问题,通过引入深多级图分区和共享内存实现。我们的方案继续深入到初始分区的多级方法-将其集成到一个框架中,其中递归二分区和直接k路分区相结合,使它们可以以高性能和高质量运行。我们的方法更强大,更灵活,可以说更优雅,并减少了瓶颈的并行化相比,其他多级方法。例如,对于大量的块,我们的算法平均比竞争算法快一个数量级,同时计算具有可比解决方案质量的平衡分区。对于少量的块,我们的算法是最快的竞争系统具有可比的质量。
2021-05-05 cs.DS
A Geometric Approach to Matrix Ordering
我们提出了一种递归的方法来划分超图,创建和利用超图几何,适用于众核并行架构。这样的划分然后被用于以递归的有界块对角形式(用于处理器无关的并行LU分解)或递归的分离块对角形式(用于高速缓存无关的稀疏矩阵向量乘法)来带来稀疏矩阵。我们表明,所获得的分区和排序的质量是有竞争力的,通过比较所获得的填充LU分解与SuperLU(具有更好的结果为28个测试矩阵中的8个)和比较切割的大小稀疏矩阵向量乘法与蒙德里安(具有更好的结果为12个测试矩阵中的4个)。新方法的主要优点是其速度:它平均比Mondriaan快21.6倍。
2011-05-23 cs.DC cs.DS
KaHIP v3.00 -- Karlsruhe High Quality Partitioning -- User Guide
本文作为一个用户指南图划分框架KaHIP(卡尔斯鲁厄高质量分区)。我们给出了一个粗略的概述框架内使用的技术,并描述了用户界面以及使用的文件格式。此外,我们提供了一个简短的描述框架内提供的当前库函数。从3.00版开始,我们支持多级分区,模因算法,分布式和共享内存并行算法,节点分隔符和排序算法,边缘分区算法以及ILP求解器。
2020-08-05 cs.DC cs.DS
Partitioning Trillion Edge Graphs on Edge Devices
针对大规模图划分内存开销高的问题,提出StreamCPI框架,通过游程压缩降低流式划分器内存,改进LA-vector支持追加,实现边缘设备上万亿边图的高质量划分。
2024-10-10 cs.DS
Four-set Hypergraphlets for Characterization of Directed Hypergraphs
本研究针对有向超图局部结构未被探索的问题,定义了91个有向超图元(DHGs)并开发了精确与近似计数算法,揭示了现实有向超图的局部结构模式,在超图聚类和超弧预测任务上性能提升达12%和33%,且近似算法快达32倍。
2023-11-24 cs.DS
Distributed Deep Multilevel Graph Partitioning
我们描述的分布式内存多级图分区dKaMinPar的工程。它可以扩展到(至少)8192个核心,同时实现与广泛使用的顺序和共享内存图形分区器相当的分区质量。相比之下,以前的分布式图分区器仅在更受限制的情况下扩展,并且与非分布式分区器相比,通常会导致相当大的质量损失。当划分成大量块时,它们甚至产生违反平衡约束的不可行解。dKaMinPar实现其鲁棒性的可扩展的分布式实施的深多级计划图分区。至关重要的是,这包括在细化和粗化过程中进行平衡的新算法。
2023-03-03 cs.DC cs.DS
Engineering a Scalable High Quality Graph Partitioner
我们描述了一种并行图分区的方法,可扩展到数百个处理器,并产生高质量的解决方案。例如,对于Walshaw的基准集合中的许多实例,我们改进了最知名的分区。我们使用众所周知的多级图分区的框架。所有组件都是由可扩展的并行算法实现的。与以前的系统相比,质量的提高是由于更好的优先级的边缘收缩,更好的近似算法识别匹配,更好的本地搜索算法,也许最值得注意的是,FM本地搜索算法的并行化,工作更本地比以前的方法。
2010-04-07 cs.DC cs.DS
Time-Efficient and High-Quality Graph Partitioning for Graph Dynamic Scaling
分布式计算的动态扩展在弹性计算资源(如云)的利用中起着重要作用。它支持资源的配置和取消配置,以匹配动态的资源可用性和需求。在分布式图处理的情况下,改变图分区的数量,同时保持高分区质量强加了严重的计算开销,因为通常每次需要重新分区时都需要执行耗时的图分区算法。在本文中,我们提出了一个动态缩放方法,可以有效地改变图的分区数量,同时保持其质量高。我们的想法是基于两种技术:预处理和非常快速的边缘分割,称为图边缘排序和基于块的边缘分割,分别。前者将图数据转换为有序的边列表,使得具有高局部性的边彼此更接近。后者立即将有序边缘列表划分为任意数量的高质量分区。与现实世界的十亿规模的图的评估表明,我们提出的方法显着减少了重新分区的时间,而分区的质量,它达到了与现有的最好的静态方法。
2021-01-18 cs.DB cs.DC cs.DM
Distributed Edge Partitioning for Trillion-edge Graphs
我们提出了分布式邻居扩展(分布式NE),一个并行和分布式的图形分区方法,可以扩展到万亿边的图形,同时提供高的分区质量。分布式NE是基于一种新的启发式算法,称为并行扩展,其中每个分区是并行构造的grecampus扩展其边缘集从一个单一的顶点,这样的方式,增加的顶点切割成为当地最小。我们从理论上证明了所提出的方法具有上界的分割质量。各种图形的经验评估表明,所提出的方法产生更高质量的分区比国家的最先进的分布式图分割算法。性能评估表明,该方法的空间效率是一个数量级优于现有的算法,保持其时间效率相当。因此,分布式网元可以在70分钟内使用256台机器划分万亿边图。
2019-09-21 cs.DB cs.DC cs.DS
Scalable Edge Partitioning
以边为中心的分布式计算是近年来出现的一种新技术,它可以改善大型无标度网络上像顶点一样思考算法的缺点。为了提高这种模型的并行性,边缘分区(将边缘划分为大小大致相等的块)已经成为传统(基于节点的)图分区的替代方案。在这项工作中,我们给出了一个分布式内存并行算法,以计算高质量的边缘分区在一个可扩展的方式。我们的算法可扩展到具有数十亿条边的网络,并在数千个PE上高效运行。我们的技术是基于一个快速并行化的分裂图建设和使用先进的节点划分算法。我们广泛的实验表明,我们的算法具有高质量的大型现实世界的网络和大型双曲随机图,其中有一个幂律度分布,因此专门针对边缘划分
2018-10-11 cs.DC cs.DM cs.DS
Brief Announcement: Distributed Unconstrained Local Search for Multilevel Graph Partitioning
本文提出一种适合分布式划分器的无约束局部搜索算法,并将其集成到分布式多层次图划分器中,大幅缩小了分布式与顺序划分器间的质量差距,且在扩展至数千个PE的同时实现了更小的切割和更快的速度。
2024-06-05 cs.DC cs.DS
ILP-based Local Search for Graph Partitioning
计算高质量的图划分是一个具有挑战性的问题,有许多应用。在本文中,我们提出了一种新的元启发式的平衡图划分问题。我们的方法是基于整数线性规划,解决分区问题的最优性。然而,由于这些程序通常不会扩展到大的输入,我们调整它们来优化给定的分区。我们通过定义一个小得多的模型来实现这一点,该模型允许我们使用对称性破缺和其他技术,使该方法具有可扩展性。例如,在Walshaw著名的基准测试表中,当块的数量很高时,我们能够改进大约一半的条目。
2018-02-20 cs.DC cs.DS
Parallel Graph Partitioning for Complex Networks
处理大型复杂网络,如社交网络或网络图,最近吸引了相当大的兴趣。为了并行执行此操作,我们需要将它们划分为大小大致相等的块。不幸的是,以前的并行图划分最初开发的更规则的网状网络不适合这些网络。本文通过并行化和适应最初为图聚类开发的标签传播技术来解决这个问题。通过引入大小约束,标签传播变得适用于多级图划分的粗化和细化阶段。我们获得了非常高的质量,通过应用高度并行的进化算法的粗化图。与ParMetis或PT-Scotch等最先进的系统相比,所产生的系统更具可扩展性,并实现更高的质量。对于大型复杂网络,性能差异非常大。例如,我们的算法可以在不到16秒的时间内使用高性能集群的512个核心对具有33亿条边的Web图进行分区,同时产生高质量的分区-没有竞争系统可以在我们的系统上处理此图。
2015-01-26 cs.DC cs.DS cs.NE