k-way Hypergraph Partitioning via n-Level Recursive Bisection
我们开发了一个多层次的超图划分算法,合同的顶点一次。在粗化和细化过程中使用几种缓存和延迟评估技术,我们将运行时间减少了两个数量级相比,一个天真的$n$级算法,这将是足够的普通图分区。整体性能甚至优于广泛使用的hMetis超图分割器,它使用了一个经典的多级算法与几个级别。借助于基于投资组合的方法来初始划分和自适应预算的不平衡递归bipartitioning内,我们实现了非常高的质量。我们组装了一个大型的基准测试集,其中包含310个来自VLSI、SAT求解、社交网络和科学计算等应用领域的超图。我们实现了比hMetis和PaToH小得多的切割,同时比hMetis更快。对于某些实例类(如社交网络)、对分区和允许不平衡度为10%的分区,观察到了相当大的改进。在这项工作中提出的算法形成了我们的超图划分框架KaHyPar(卡尔斯鲁厄超图划分)的基础。
2015-11-10 cs.DS
FREIGHT: Fast Streaming Hypergraph Partitioning
将一个超图的顶点划分成k个大致平衡的块,使得块之间的超边很少,这是大规模分布式处理的一个关键问题。使用低计算资源划分巨大(超)图的当前趋势是流式算法。在这项工作中,我们提出FREIGHT:一个快速stREamInG超图分割算法,这是一个适应的广为人知的基于图的算法茴香。通过使用一种高效的数据结构,使FREIGHT的整体运行与超图的管脚数成线性关系,内存消耗与网络和块的数量成线性关系。我们广泛的实验结果展示了FREIGHT作为一种高效和有效的流超图分割解决方案的良好性能。我们的算法演示了具有竞争力的运行时间与散列算法,与四分之三的实例上观察到的最大因子4的差异。值得注意的是,我们的研究结果突出了所有现有的(缓冲)流媒体算法,甚至内存中的算法HYPE的优势,无论是割网和连接措施的运费。这表明,我们提出的算法是一个很有前途的超图分割工具,以应对大规模和动态数据处理所带来的挑战。
2023-02-13 cs.DS
n-Level Hypergraph Partitioning
我们开发了一个多层次的超图分区算法,合同的顶点一次一个,从而允许非常高的质量。这包括一个评级功能,避免不均匀的顶点权重,一个有效的“半动态”超图数据结构,一个非常快速的粗化算法,和两个新的局部搜索算法。一个是Fiduccia-Mattheyses局部搜索的$k$ -路超图适应,并以合理的成本提供高质量。另一个是一个适应的大小受限的标签传播超图。与hMetis和PaToH的比较表明,新算法在几个基准集上产生更好的质量,并且具有与hMetis相当的运行时间。使用标签传播本地搜索比hMetis快几倍,并且对于VLSI基准测试集提供比PaToH更好的质量。
2015-05-04 cs.DS
Linear-Time Multilevel Graph Partitioning via Edge Sparsification
本文提出一种线性时间多级图划分算法,通过边稀疏化保证几何缩减,集成到KaMinPar中,实现平均1.49倍加速且质量损失仅1%。
2025-04-24 cs.DS
Distributed Deep Multilevel Graph Partitioning
我们描述的分布式内存多级图分区dKaMinPar的工程。它可以扩展到(至少)8192个核心,同时实现与广泛使用的顺序和共享内存图形分区器相当的分区质量。相比之下,以前的分布式图分区器仅在更受限制的情况下扩展,并且与非分布式分区器相比,通常会导致相当大的质量损失。当划分成大量块时,它们甚至产生违反平衡约束的不可行解。dKaMinPar实现其鲁棒性的可扩展的分布式实施的深多级计划图分区。至关重要的是,这包括在细化和粗化过程中进行平衡的新算法。
2023-03-03 cs.DC cs.DS
Hypergraph Partitioning through Vertex Separators on Graphs
超图提供的建模灵活性已经引起了组合科学界的极大兴趣,导致了新的模型和算法,它们的应用以及相关工具的开发。超图现在是组合科学计算中的标准工具。然而,超图的建模灵活性是有代价的:超图上的算法本质上比图上的算法更复杂,这有时会转化为处理时间的非平凡增加。超图的建模灵活性和图算法的运行效率都不容忽视。因此,新的研究重点应该是如何在两者之间巧妙地权衡。这项工作解决了一种方法,这种权衡解决超图分区问题,找到顶点分离器的图形。具体来说,我们研究如何解决超图的划分问题,寻求一个顶点分离器在其网络交叉图(NIG),其中每个网络的超图是由一个顶点,和两个顶点共享一条边,如果他们的网络有一个共同的顶点。由于NIG模型不能保持节点平衡信息,我们提出了一种顶点加权方案来获得良好的节点平衡超图。顶点删除和顶点分裂技术被描述为优化割网和连通性指标,分别在递归二分范式。我们还通过采用和修改最先进的GPVS工具onmetis,开发了基于GPVS的HP公式的实现。大量的稀疏矩阵上进行的实验证实了我们所提出的技术的有效性。
2011-03-01 cs.DS
High-Quality Hypergraph Partitioning
本文研究了超图的平衡划分问题,该问题要求将超图的顶点划分成大小有界的$k$不相交块,同时最小化超边上的目标函数.在这里,我们考虑最常用的连接度量。我们描述了我们的开源超图分区器KaHyPar,它基于成功的多级方法-将其推向(几乎)每个顶点的一个级别的极端。使用精心设计的数据结构和动态更新技术,这种方法提供了一个非常好的时间质量折衷。我们提出了两种预处理技术--使用局部敏感哈希的引脚稀疏化和基于Louvain算法的社区发现。社区结构用于指导逐渐收缩顶点的粗化过程。基于投资组合划分的收缩超图已经取得了良好的初始解决方案。在反转收缩的同时,高度本地化的直接$k$方式本地搜索和基于流的技术的组合采取更全局的观点,细化分区以实现高质量。可选地,模因算法演化解决方案候选池以获得甚至更高的质量。我们评估KaHyPar在一个大的实例集从广泛的应用领域。在质量方面,KaHyPar优于所有以前考虑过的可以处理大型超图的系统,如hMETIS,PaToH,Mondriaan或Zoltan。KaHyPar也比大多数这些系统更快,除了PaToH,它代表了不同的速度-质量权衡。结果甚至扩展到特殊情况下的图分区,专门的系统,如KaHIP应该有优势。
2021-06-16 cs.DS
Engineering Multilevel Graph Partitioning Algorithms
我们提出了一个多级图划分算法,采用新的局部改进算法和全局搜索策略从多网格社区。局部改进算法基于最大流最小割计算和更局部化的FM搜索。通过结合这些技术,我们得到了一个算法,一方面是快速的,另一方面是能够提高许多输入的最佳已知的分区结果。例如,在Walshaw著名的基准表中,我们针对表1%、3%和5%的不平衡实现了317项改进。此外,在另外118个案例中,我们已经能够重现本基准中的最佳切割。
2011-04-04 cs.DC cs.DS
Tera-Scale Multilevel Graph Partitioning
本文提出内存高效的多级图划分方法 TeraPart,通过 O(n) 并行聚类与收缩、压缩图表示及 O(m) FM 搜索,支撑单机万亿边、分布式 16 万亿边划分。
2024-10-24 cs.DS
HYPE: Massive Hypergraph Partitioning with Neighborhood Expansion
许多重要的现实世界的应用程序,如社交网络或分布式数据库,可以建模为超图。在这样的模型中,顶点代表实体(比如用户或数据记录),而超边则对顶点的组成员关系(比如特定主题的作者身份或特定复制分片中数据记录的成员关系)进行建模。为了优化这样的应用,我们需要一个高效和有效的解决方案,NP-硬平衡k路超图划分问题。然而,现有的超图划分器,规模非常大的图不有效地利用超图结构时,执行分区决策。我们提出了HYPE,超图partitionier,利用超图中的顶点之间的邻域关系,使用一个有效的实现邻域扩展。与流式分区相比,HYPE将分区质量提高了95%,并将运行时间减少了39%。
2018-11-14 cs.DC cs.DS cs.SI
Deterministic Parallel Hypergraph Partitioning
超图的平衡划分是一个经典的NP-难优化问题,在VLSI设计、量子电路仿真、分布式数据库的数据布局优化、高性能计算中的通信量最小化等领域有着广泛的应用。工程并行算法是近年来的研究热点。但大多数都是非确定性的。在这项工作中,我们设计和实现了一个高度可扩展的确定性算法在国家的最先进的并行分区框架Mt-KaHyPar。在我们广泛的基准测试实例集上,它实现了与Mt-KaHyPar相当但不确定的配置类似的分区质量和性能,并且在分区质量,运行时间和并行加速方面优于唯一的其他现有并行确定性算法BiPart。
2021-12-23 cs.DC cs.DS
Submodular Hypergraph Partitioning: Metric Relaxations and Fast Algorithms via an Improved Cut-Matching Game
本文提出统一有向与无向超图划分的通用模型,引入多态拟阵割函数,通过负型度量松弛实现$O(\sqrt{\log n})$近似,并推广割匹配游戏得到近线性时间$O(\log n)$近似算法。
2023-07-26 cs.DM cs.DS
Hypergraph Partitioning With Embeddings
Clemson University(克莱姆森大学)
科学计算中的问题,例如分配大型稀疏矩阵运算,具有与超图划分问题类似的公式。超图是传统图的推广,其中“超边”可以连接任何数量的节点。因此,超图划分是一个NP难问题,无论是解决或近似。解决这个问题的最先进的算法遵循多级范式,该范式首先将输入超图迭代地“粗化”为共享关键结构特征的较小问题实例。一旦确定了一个足够小的近似问题,可以直接求解,该解决方案可以插值和细化到原始问题。虽然这种策略在质量和运行时间之间进行了很好的权衡,但它对粗化策略很敏感。在这项工作中,我们建议使用初始超图的图嵌入,以确保粗化的问题实例重新训练关键的结构特征。我们的方法优先考虑输入图中自相似区域内的粗化,并在一系列考虑的超图中显着提高解决方案的质量。重现性:所有源代码、图和实验数据均可在https://sybrandt.com/2019/partition上获得。
2020-08-25 cs.DS cs.LG
Brief Announcement: Distributed Unconstrained Local Search for Multilevel Graph Partitioning
本文提出一种适合分布式划分器的无约束局部搜索算法,并将其集成到分布式多层次图划分器中,大幅缩小了分布式与顺序划分器间的质量差距,且在扩展至数千个PE的同时实现了更小的切割和更快的速度。
2024-06-05 cs.DC cs.DS
Multilevel Acyclic Hypergraph Partitioning
有向无环超图是有向无环图的一个推广概念,其中每个超边可以包含任意数量的头和尾。有向超图可用于对流应用中的数据流和执行依赖性进行建模。因此,超图分割算法可以用来获得有效的多处理器架构的并行化。然而,分区上的非循环约束是必要的映射流应用程序时,嵌入式多处理器由于这种类型的硬件资源限制。无环超图划分问题是将有向无环超图的超节点划分为给定数量的大小大致相等的块,使得相应的商图是无环的,同时最小化分区上的目标函数。在这里,我们贡献的第一个n级算法的无圈超图划分问题。我们的重点是无圈超图的超边可以有一个头和任意多个尾巴。在此基础上,我们设计了一个模因算法,以进一步降低通信成本,以及提高嵌入式多处理器架构上的调度最大完工时间。实验表明,我们的算法优于以前的算法,专注于有向无环图的情况下,以前已在应用领域。此外,我们的实验表明,这种类型的应用程序使用有向超图模型产生一个显着较小的完工时间。
2020-10-15 cs.DC cs.DS cs.NE
Parallel Flow-Based Hypergraph Partitioning
我们提出了一个共享内存并行化的基于流的细化,这被认为是目前最强大的迭代改进超图分区技术。基于流的细化工作在二分区上,因此当前的顺序分区器将其调度在不同的块对上,以改进$k$路分区。我们调查两个不同的来源的并行性:并行调度方案和并行最大流算法的基础上著名的推重新标记算法。除了彻底的工程实现之外,我们还提出了几种优化方法,这些优化方法在实践中大大加速了算法,从而能够在非常大的超图(高达10亿个引脚)上使用。我们将我们的方法集成到最先进的并行多级框架Mt-KaHyPar中,并在500多个真实超图的基准集上进行了广泛的实验,以表明我们代码的分区质量与最高质量的顺序代码(KaHyPar)相当,而10个线程的速度要快一个数量级。
2022-01-05 cs.DC cs.DS
Scalable Shared-Memory Hypergraph Partitioning
超图划分是高性能计算应用中优化数据布局和最小化通信量的重要预处理步骤。为了应对日益增长的问题规模,它已成为越来越重要的是开发快速并行分割算法的解决方案的质量是有竞争力的现有的顺序算法。为此,我们提出了Mt-KaHyPar,第一个共享内存多级超图分区器,并行实现了顺序,高质量分区系统所使用的许多技术:使用并行社区发现作为指导的并行粗化算法,通过具有工作窃取的并行递归二分区的初始分区,可缩放标签传播细化算法,以及经典FM算法的第一个完全并行的直接$k$路公式。在不同应用领域的大量基准测试实例集上进行的实验表明了该方法的可扩展性和有效性。在64个核心的情况下,我们观察到高达51的自相关加速比和23.5的谐波平均加速比。在解决方案质量方面,我们在95%的实例上优于分布式超图分区器Zoltan,同时也快了2.1倍。只有四个核心,Mt-KaHyPar也比最快的顺序多级分区器PaToH稍快,同时在所有实例的83%上产生更好的解决方案。顺序高质量分区器KaHyPar仍然比我们的并行方法找到更好的解决方案,特别是在使用基于最大流的细化时。然而,这是以相当长的运行时间为代价的。
2020-10-21 cs.DC cs.DS
Experimental Study of A Novel Variant of Fiduccia Mattheyses(FM) Partitioning Algorithm
划分是VLSI物理设计自动化领域的一个研究热点。在这个问题中,输入是一个集成电路,输出是一组几乎相等的不相交块。分区的主要目标是将电路的组件分配给块,以最大限度地减少块间连接的数量。Fiduccia和Mattheyses提出了一种基于超图的线性时间复杂度划分算法,即FM算法。文献中提出的大多数基于超图的划分算法都是FM算法的变体。在本文中,我们提出了一种新的变形FM算法,通过使用成对交换技术。我们已经进行了比较实验研究FM算法和我们提出的算法使用两个数据集,如ISPD98和ISPD99。实验结果表明,我们提出的算法的性能优于FM算法使用上述数据集。
2014-03-02 cs.DS
Co-clustering Vertices and Hyperedges via Spectral Hypergraph Partitioning
Rice University(莱斯大学)
提出了一种新的边依赖顶点权重超图顶点和超边的共聚类方法。在该超图模型中,每个顶点对其每个关联超边的贡献通过边依赖权重来表示,赋予模型比经典超图更高的表达能力。在我们的方法中,我们利用随机游走与EDVW构建一个超图拉普拉斯算子,并使用其频谱特性嵌入顶点和超边在一个共同的空间。然后,我们聚类这些嵌入,以获得我们提出的共同聚类方法,在应用程序中需要同时聚类的数据实体和功能,特别相关。使用真实世界的数据的数值实验表明,我们所提出的方法相比,国家的最先进的替代品的有效性。
2021-02-19 cs.DS cs.LG cs.SI
Tree-based Coarsening and Partitioning of Complex Networks
许多应用程序会产生大型复杂网络,其分析将受益于并行处理。并行算法,反过来,往往需要一个合适的网络分区。对于解决大型网络上的图划分等优化任务,多级方法在实践中是首选。然而,复杂网络提出了挑战,建立多级算法,特别是其粗化阶段。指定图的(递归)粗化的一种方式是对其边进行评级,然后按照评级的优先级收缩边。在本文中,我们(i)定义权重的边缘的网络,表示边缘的重要性的连接,(ii)计算一个最小的重量生成树$T^m$关于这些权重,和(iii)率的基础上的电导值的$T^m$的基本切割的网络边缘。为此,我们还(iv)开发了第一个最佳线性时间算法来计算给定生成树的\emph{all}基本切割的电导值。我们将新的边缘评级集成到一个领先的多级图划分器中,并为后者配备了一个新的贪婪后处理,用于优化最大通信量(MCV)。在二分常用的基准网络上的实验表明,后处理已经将MCV降低了11.3%。与之前的最佳评级相比,我们的新边缘评级进一步降低了10.3%的MCV,两个评级都进行了后处理。总的来说,在运行时间适度增加的情况下,我们的新方法将复杂网络分区的MCV降低了20.4%。
2014-02-13 cs.DS
Advanced Coarsening Schemes for Graph Partitioning
图划分问题在许多实际和理论应用中得到了广泛的应用和研究。多层次的战略代表今天的一个最有效和高效的通用框架,解决这个问题的大规模图。在设计多级分区框架时,大部分注意力都集中在细化阶段。在这项工作中,我们专注于粗化阶段,这是负责创建结构上类似于原来的,但更小的图。我们比较不同的匹配和AMG为基础的粗化方案,实验与节点之间的代数距离,并证明计算结果的几个类的图形,强调不同粗化的运行时间和质量优势。
2012-04-03 cs.DC cs.DS
Counting and enumerating optimum cut sets for hypergraph $k$-partitioning problems for fixed $k$
本文研究了两个超图$k$ -划分问题--超图- $k$ -割和超图-极小-超图- $k$ -划分的最优解的计数问题。超图$k$ -划分问题的输入是一个超图$G=(V, E)$,它具有正的超边代价以及一个固定的正整数$k$。目标是找到$V$到$k$非空部分$(V_1, V_2, \ldots, V_k)$的划分--称为$k$划分--以便最小化感兴趣的目标。1.如果目标函数是各部分的最大割值,则该问题称为最小超图- $k$ -划分问题。如果一个超边子集是极小极大超图-$k$-划分的最优$k$-划分的超边子集,则它是极小极大- $k$-割集. 2.如果目标是通过$k$ -划分的超边的总代价,则该问题称为Hypergraph- $k$ -Cut。超边子集是一个最小$k$割集,如果它是通过超图- $k$ -割的最优$k$ -划分的超边子集.本文给出了超图中minmax- $k$ -割集个数的第一多项式界,并给出了一个多项式时间算法来计算每一个固定的$k$的超图中所有的minmax-$k$-割集。我们的技术是强大的,也使$n^{O(k)}p$时间确定性算法,以枚举所有的最小$k$ -割集超图,从而提高了以前已知的$n^{O(k^2)}p$时间确定性算法,其中$n$是顶点的数量和$p$是超图的大小。我们的枚举方法的正确性分析依赖于一个结构的结果,这是一个强大的和统一的推广超图- $k$ -割和最…
2023-03-07 cs.DM cs.DS
Shared-Memory n-level Hypergraph Partitioning
我们提出了一个共享内存算法来计算高质量的平衡$k$ -路超图划分问题的解决方案。该问题要求将顶点集划分为最小化连通性度量的有界大小的$k$不相交块(即,由每个超边连接的不同块的数目的总和)。高质量的解决方案是通过并行化的核心技术,目前最好的顺序分区KaHyPar:最极端的$n$级版本的广泛使用的多级范例,其中只有一个顶点是收缩在每个级别。这种方法通过侵入式算法和数据结构实现快速和可伸缩性,这些算法和数据结构允许通过原子操作和细粒度锁定精确控制并行性。我们进行了广泛的实验,超过500现实世界的超图高达$140$百万顶点和20亿针(超边大小的总和)。我们发现,我们的算法计算的解决方案,相当于一个可比的配置KaHyPar,而平均速度快一个数量级。此外,我们表明,最近的非多级算法专门设计用于划分大型实例有相当大的质量处罚,并没有明显的优势,在运行时间。
2021-04-16 cs.DC cs.DS
Hypergraph partitions
我们建议将超图划分的组合问题简化为一个连续优化问题。
2019-09-18 cs.DS math.OC
Streaming Hypergraph Partitioning Algorithms on Limited Memory Environments
许多众所周知的现实世界的问题都涉及到描述实体之间关系的动态数据。超图是一种强大的组合结构,经常用于对此类数据进行建模。对于今天的许多以数据为中心的应用程序来说,这些数据是流式的;新的项目不断到达,数据随着时间的推移而增长。随着物联网和边缘计算等范例的出现,这些应用变得更加自然和实用。在这项工作中,我们假设一个流模型,其中数据被建模为一个超图,这是在边缘生成的。然后,这些数据被分区,并通过在内存受限的设备(如单板的计算机)上运行的算法发送到远程节点。这种划分通常通过考虑连接性度量来执行,以最小化将以分布式方式执行的后续分析的通信成本。虽然有许多离线工具可以很好地划分静态超图,但用于流设置的算法很少。我们分析了一个著名的算法从文献中,并显着提高其运行时间,通过改变其内部数据结构。例如,在一个中等规模的超图上,新算法将运行时间从17800秒减少到10秒。然后,我们提出了基于草图和散列的算法,以及那些可以利用额外的内存来存储一小部分数据,以便在可能的情况下细化分区的算法。我们实验分析这些算法的性能,并报告其运行时间,连接度量分数,和内存使用的高端服务器和四个不同的单板计算机体系结构。
2021-03-09 cs.DC cs.DS
High-Quality Multi-Constraint Hypergraph Partitioning via Greedy Rebalancing
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对多约束超图划分问题,提出基于贪婪局部搜索的再平衡算法,在保证平衡性的同时最小化超边连接度,集成到Mt-KaHyPar后相比Metis连接度降低11.5%。
2026-07-16 cs.DC cs.DS
Buffered Streaming Graph Partitioning
在处理大型图形时,广泛使用将图形划分为大小大致相等的块。目前,在可用的分区算法的空间中存在差距。一方面,有一些流算法已经被采用来在小型机器上划分大量的图数据。在流模型中,顶点一次到达一个,包括它们的邻域,然后必须直接分配给一个块。这些算法可以用很少的内存快速划分大型图,但它们产生的分区的解决方案质量较低。另一方面,有离线(共享内存)多级算法,产生高质量的分区,但也需要有足够内存的机器。我们提出了一种算法,使用一台机器在流媒体设置中使用很少的内存来计算巨大图形的显着改进的分区,从而迈出了缩小这一差距的第一步。首先,我们采用了缓冲流模型,这是一个更合理的方法在实践中。在此模型中,处理元素可以在做出分配决策之前存储一个缓冲区或一批节点。当我们的算法接收到一批节点时,我们构建一个模型图,表示该批节点和已经存在的分区结构。这个模型使我们能够应用多级算法,并反过来计算出更高质量的解决方案,巨大的图形在廉价的机器上比以前可能的。为了划分模型,我们开发了一个多层次的算法,优化的目标函数,以前已被证明是有效的流设置。这也消除了依赖于块k的数量从运行时间相比,以前的国家的最先进的。总体而言,我们的算法计算,平均而言,75.9%更好的解决方案比茴香使用一个非常小的缓冲区大小。此外,对于k的大值,我们的算法变得比Fennel更快。
2021-12-22 cs.DS
Dynamic Shortest Path Algorithms for Hypergraphs
超图是顶点的集合V和V的非空子集的集合,称为超边。与图不同,超图可以捕捉社交和通信网络中的高阶交互,而不仅仅是两两关系的简单结合。本文研究超图中的最短路问题。我们开发了两个算法,在一个动态网络的重量和拓扑变化的最短超路径的发现和维护。这两个算法是第一个解决一般超图中全动态最短路问题的算法。它们通过基于变化动态的性质和超图的类型划分应用程序空间来相互补充。
2012-02-01 cs.DS
Advanced Multilevel Node Separator Algorithms
图的节点分隔符是节点的子集S,使得移除S及其关联边将图分成两个大小大致相等的不连通分量。在这项工作中,我们引入了新的算法来寻找大型图中的小节点分隔符。重点解决方案的质量,我们引入了新的基于流的局部搜索算法,集成在一个多层次的框架。此外,我们转移技术成功地用于图分区领域。这包括使用针对我们的问题定制的边缘评级来指导图粗化算法,以及高度本地化的局部搜索和迭代的多级循环来进一步提高解决方案的质量。实验表明,基于流的局部搜索算法本身在多级框架中已经具有很强的竞争力,在分离器的质量。添加额外的局部搜索算法进一步提高解决方案的质量。我们最强的配置几乎总是优于竞争系统,同时平均计算分离器分别比Metis和Scotch小10%和62%。
2015-09-03 cs.DS
Distributed Matrix Tiling Using A Hypergraph Labeling Formulation
划分大矩阵是分布式线性代数计算中的一个重要问题(用于ML等)。简而言之,我们的目标是在这些大矩阵上以分布式方式(只要可能)执行一系列矩阵代数运算。然而,并不是所有的划分方案都能很好地与不同的矩阵代数运算及其实现(算法)一起工作。这是一种数据平铺问题。在这项工作中,我们考虑一个理论模型的一个版本的矩阵平铺问题的设置超图标签。我们证明了一些硬度的结果,并给出了其复杂性的随机情况下的理论表征。此外,我们开发了一个贪心算法,并通过实验证明了它的有效性。
2021-06-29 cs.DC cs.DS
KaHIP v3.00 -- Karlsruhe High Quality Partitioning -- User Guide
本文作为一个用户指南图划分框架KaHIP(卡尔斯鲁厄高质量分区)。我们给出了一个粗略的概述框架内使用的技术,并描述了用户界面以及使用的文件格式。此外,我们提供了一个简短的描述框架内提供的当前库函数。从3.00版开始,我们支持多级分区,模因算法,分布式和共享内存并行算法,节点分隔符和排序算法,边缘分区算法以及ILP求解器。
2020-08-05 cs.DC cs.DS
High-Quality Hierarchical Process Mapping
当在并行计算机上处理图形时,将图形划分为大小大致相等的块,使得块之间的边很少,这是经常需要的操作。当一个分布式系统的拓扑结构是已知的,一个重要的任务,然后将分区的块映射到处理器上,从而降低整体通信成本。我们提出了新的多级算法,集成图分区和进程映射。我们的算法的重要组成部分包括快速标签传播,更本地化的本地搜索,初始分区,以及一个压缩的数据结构计算处理器的距离,而无需存储的距离矩阵。实验表明,我们的算法加快了整体的映射过程,由于集成的多级方法,在实践中也找到了更好的解决方案。例如,我们的算法的一个配置产生更好的解决方案比以前的国家的最先进的映射质量方面,同时是一个因素62更快。目前最快的迭代多级映射算法苏格兰相比,我们获得了16%的更好的解决方案,而投资略多的运行时间。
2020-01-22 cs.DC cs.DS
Scalable Algorithms for Bicriterion Trip-Based Transit Routing
本文提出了多种扩展流行的双基准公交路线的方法-基于行程的公交路线(TBTR)。具体来说,建立在HypRAPTOR算法的前提下,我们首先将TBTR扩展到其分区变体- HypTBTR。然而,HyTBTR在查询时间上的改进是以增加预处理为代价的。为了解决这个问题,提出了两种新的技术-一个一对多的TBTR和多级分区的变体。我们的一对多算法可以快速解决配置文件查询,这不仅减少了HypTBTR的预处理时间,但也可以帮助其他流行的方法,如HypRAPTOR。接下来,我们在HypTBTR和HypRAPTOR中集成了一个多级图分区范例,以减少填充计算。所提出的算法的有效性进行了广泛的测试,在现实世界的大规模数据集。还提出了研究超图划分工具(hMETIS,KaHyPar和整数程序)以及不同加权方案的效果的其他分析。
2022-02-26 cs.DS math.OC
Streaming, Local, and Multi-Level (Hyper)Graph Decomposition
本论文研究(超)图分解问题,提出流式、局部和多级算法,分别用于图/超图划分、局部社区检测及进程映射和符号图聚类,实验证明优于现有方法。
2023-08-29 cs.DS
Evaluation of a Flow-Based Hypergraph Bipartitioning Algorithm
在本文中,我们提出了HyperFlowCutter,平衡超图二分算法。它基于最小S-T超边割和最大流。它计算一个序列的二分区,优化切割大小和平衡在帕累托意义上,能够贸易的一个。HyperFlowCutter基于FlowCutter算法构建,用于分割图形。我们提出了额外的功能,如处理断开超图,新的方法来获得启动S,T对,以及一种方法来完善一个给定的分区与HyperFlowCutter。我们的主要贡献是ReBaHFC,一个新的算法,获得一个初始分区的快速多级超图分区PaToH,然后改进它使用HyperFlowCutter作为一个细化算法。ReBaHFC能够显著提高PaToH的溶液质量,且只需很少的额外运行时间。解决方案的质量只比性能最好的超图分区器KaHyPar和hMETIS略差,同时快一个数量级。因此,ReBaHFC在超图划分器的当前频谱中提供了新的时间质量权衡。对于完全平衡的二分区的特殊情况,只有速度慢得多的普通HyperFlowCutter比ReBaHFC产生稍微好一点的解决方案,而只有PaToH比ReBaHFC快。
2019-07-03 cs.DS
Hypergraph Diffusions and Resolvents for Norm-Based Hypergraph Laplacians
针对超图热扩散模拟与基本对象计算缺乏高效数值算法的问题,提出离散时间热扩散和镜像下降计算预解式两种基元,推导出首个近线性时间的超图拉普拉斯预解式近似算法,复杂度匹配图上同类算法。
2023-07-20 cs.DS
Multilevel polynomial partitions and simplified range searching
Guth和Katz [arXiv:1011.4105]的多项式分割方法在离散和计算几何中有许多应用。它使用合适的$d$变量多项式$f$的零集$Z(f)$来划分给定的$n$点集$P\subset\mathbb{R}^d$。这一结果的应用往往是复杂的问题,应该做什么与点的$P$躺在$Z(f)$?一种自然的方法是用另一个多项式划分这些点,并以类似的方式继续下去。到目前为止,它一直在追求有限的成功-几位作者设法构建和应用第二个分区多项式,但进一步的进展一直受到技术障碍的阻碍。我们提供了一个多项式分区方法与$d$多项式的尺寸$d$,它允许一个完整的分解给定的点集。我们应用它得到了一个新的算法的半代数范围搜索问题。我们的算法具有类似于Agarwal,Sharir和第一作者[SIAM~J.~ Comput. 42(2013)2039--2062],但它在概念上和技术上都更简单。虽然本文已在准备中,巴苏和松布拉,以及福克斯,帕奇,谢弗,苏克,和Zahl,获得的结果多项式分区与我们的重叠在一定程度上。
2015-07-17 cs.DS math.AG
Buffered Streaming Edge Partitioning
提出两种缓冲流式边划分算法HeiStreamE和FreightE,通过改进的图模型与超图表示,在保证划分质量的同时实现时间与内存的线性复杂度,优于现有流式及再流式算法。
2024-02-19 cs.DS
Partitioning Complex Networks via Size-constrained Clustering
在实践中,最常用的方法来解决图划分问题是多层次的方法。在粗化阶段期间,多级图划分算法通过迭代地收缩节点和边来减小图的大小,直到图足够小以被某个其他算法划分为止。然后,通过连续地将解转移到下一个更精细的图并应用局部搜索算法来改进当前解来构造输入图的分区。在本文中,我们描述了一种新的方法来有效地划分图,特别是如果网络具有高度不规则的结构。更确切地说,我们的算法提供了图形粗化迭代收缩使用标签传播算法计算的大小受限的聚类。提供大小受限聚类的相同算法也可以在粗化期间用作快速且简单的局部搜索算法。根据算法的配置,我们能够计算出性能优于所有竞争对手的非常高质量的分区,或者在质量方面与最佳竞争对手hMetis相当的分区,同时平均快了近一个数量级。最快的配置使用一台机器在大约10分钟内分割出我们可用的最大图,其中有33亿条边,而切割的边不到最快的竞争对手kMetis的一半。
2014-03-25 cs.DC cs.DS cs.SI
More Recent Advances in (Hyper)Graph Partitioning
Georgia Institute of Technology(佐治亚理工学院);Sandia National Laboratories(桑迪亚国家实验室);Heidelberg University(海德堡大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Humboldt-Universität zu Berlin(柏林洪堡大学);Apple Inc.(苹果公司)
近年来,在平衡(超)图划分算法的设计和评估方面取得了重大进展。我们调查的趋势,在过去十年中的实际算法平衡(超)图分割与未来的研究方向。我们的工作是对以前关于这一主题的调查的更新。特别是,该调查扩展了以前的调查,还包括超图分区和流算法,并有一个额外的重点放在并行算法。
2022-06-30 cs.DS cs.LG
(Semi-)External Algorithms for Graph Partitioning and Clustering
在本文中,我们开发了半外部和外部存储器算法的图划分和聚类问题。图划分和聚类是处理和分析大型复杂网络的关键工具。我们解决这两个问题的(半)外部模型,通过调整大小约束的标签传播技术。我们的(半)外部尺寸约束的标签传播算法可以用来计算图聚类,是(半)外部图划分算法的先决条件。然后,该算法用于粗化和细化阶段的多级算法计算图分区。我们的算法能够在廉价的商品机器上划分和聚类具有数十亿条边的巨大复杂网络。实验表明,半外部图划分算法是可扩展的,可以计算高质量的分区的时间是一个有效的内部存储器实现的运行时间相媲美。半外部模型中的算法的并行化进一步减少了运行时间。
2014-09-22 cs.DS cs.SI
Contiguous Graph Partitioning For Optimal Total Or Bottleneck Communication
针对连续图划分问题,提出首批近线性时间的总代价与瓶颈代价划分算法,在42个测试矩阵上验证了高效性与高质量,显著优于原有算法。
2021-06-21 cs.DS
Social Hash Partitioner: A Scalable Distributed Hypergraph Partitioner
我们设计并实现了一个分布式算法平衡$k$ -路超图分区,最大限度地减少扇出,一个基本的超图数量也被称为通信量和($k-1$)切割度量,通过优化一个新的目标称为概率扇出。这种选择允许一个简单的局部搜索启发式算法实现与现有最佳超图划分器相当的解决方案质量。我们的算法是任意可扩展的,由于精心设计,控制计算复杂性,空间复杂度,和通信。在实践中,我们通常在几个小时内处理具有数十亿个顶点和超边的超图。我们解释了算法的可扩展性,无论是在超图的大小和桶数,是有限的,只有可用的机器的数量。我们进行了广泛的比较,现有的分布式超图分区,并发现我们的方法是能够优化超图大致$100$倍以上的同一组机器。我们称之为社会哈希分区工具(SHP),并伴随着这篇论文,我们开源的最可扩展的版本的基础上递归二分法。
2017-07-20 cs.DC cs.DS
A Geometric Approach to Matrix Ordering
我们提出了一种递归的方法来划分超图,创建和利用超图几何,适用于众核并行架构。这样的划分然后被用于以递归的有界块对角形式(用于处理器无关的并行LU分解)或递归的分离块对角形式(用于高速缓存无关的稀疏矩阵向量乘法)来带来稀疏矩阵。我们表明,所获得的分区和排序的质量是有竞争力的,通过比较所获得的填充LU分解与SuperLU(具有更好的结果为28个测试矩阵中的8个)和比较切割的大小稀疏矩阵向量乘法与蒙德里安(具有更好的结果为12个测试矩阵中的4个)。新方法的主要优点是其速度:它平均比Mondriaan快21.6倍。
2011-05-23 cs.DC cs.DS
Multilevel Combinatorial Optimization Across Quantum Architectures
新兴的量子处理器为探索解决后摩尔定律超级计算时代传统问题的新方法提供了机会。然而,量子比特数量有限,使得在不久的将来直接处理大量真实世界的数据集是不可行的,这导致了将这些量子处理器用于实际目的的新挑战。利用量子和经典类型的设备的混合量子-经典算法被认为是将量子计算应用于大规模问题的主要策略之一。在本文中,我们主张使用多级框架的组合优化作为一个有前途的一般范式设计混合量子经典算法。为了证明这种方法,我们将这种方法应用到两个著名的组合优化问题,即图划分问题和社区检测问题。我们在D-Wave的量子退火器和IBM的基于门模型的量子处理器上开发了具有量子局部搜索的混合多级求解器。我们在比当前量子硬件大小大几个数量级的图上进行实验,我们观察到的结果在解决方案的质量方面与最先进的求解器相当。
2020-09-22 cs.DS physics.comp-ph quant-ph
Fast Algorithms for Directed Graph Partitioning Using Flows and Reweighted Eigenvalues
University of Waterloo(滑铁卢大学)
该研究提出加入三角不等式的有向边扩展半定规划松弛,结合矩阵乘法权重更新得到近似线性时间的近似算法与改进割匹配博弈,构建了有向图划分的最优流框架,且可推广至顶点扩展与超图问题。
2023-06-15 cs.DM cs.DS cs.LG
Partitioning a Graph into Small Pieces with Applications to Path Transversal
给定一个图$G = (V, E)$和一个整数$k$,我们分别研究了$k$ -顶点分离器. $k$ -边分隔符),其中的目标是删除最小数量的顶点(分别为边),使得所得图中的每个连通分量最多具有PDMATHAMN顶点。我们主要关注$k$是$n$的常数或缓慢增长函数(例如$O(\log n)$或$n^{o(1)}$)的情况。我们的问题可以被解释为一个特殊的情况下,已分别研究的三个一般类的问题(平衡图分区,超图顶点覆盖(HVC),固定参数易处理性(FPT))。我们的主要结果是一个$O(\log k)$ -近似算法的$k$ -顶点分离器,运行在时间$2^{O(k)} n^{O(1)}$,和一个$O(\log k)$ -近似算法的$k$ -边缘分离器,运行在时间$n^{O(1)}$。我们的$k$ -边缘分离器的结果改进了以前最好的小$k$图分割算法。我们在$k$ -顶点分离器上的结果改进了HVC的简单$(k+1)$ -近似.当$OPT > k$时,运行时间$2^{O(k)} n^{O(1)}$快于假设指数时间假设的精确算法的下限$k^{Ω(OPT)} n^{Ω(1)}$。虽然运行时间的$2^{O(k)} n^{O(1)}$的$k$ -顶点分离器似乎不令人满意,我们表明,超多项式依赖$k$可能需要实现多对数近似比,基于硬度的Denmark $k$ -子图。我们还研究了$k$ -路径transmi…
2016-07-18 cs.DS
Quadratic Decomposable Submodular Function Minimization: Theory and Practice (Computation and Analysis of PageRank over Hypergraphs)
Purdue University(普渡大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们引入了一个新的凸优化问题,称为二次可分解子模块函数最小化(QDSFM),它允许模拟一些学习任务的图形和超图。该问题与可分解次模函数最小化(DSFM)有着密切的联系,但解决起来更具挑战性。我们通过一个新的对偶策略来解决这个问题,并制定了一个目标,可以通过一些双环算法进行优化。外循环使用随机坐标下降(RCD)或替代投影(AP)方法,我们证明这两种方法的线性收敛速度。内循环通过修改的最小范数点或Frank-Wolfe算法计算子模函数的基多面体生成的锥上的投影。我们还描述了两个新的应用QDSFM:超图适应PageRank和半监督学习。所提出的基于超图的PageRank算法可用于局部超图划分,并具有可证明的性能保证。对于超图适应的半监督学习,我们提供了数值实验,证明了我们的QDSFM求解器的效率和预测精度的显着改善时,与国家的最先进的方法。
2020-10-26 cs.DS cs.LG cs.SI
Parallel Graph Partitioning for Complex Networks
处理大型复杂网络,如社交网络或网络图,最近吸引了相当大的兴趣。为了并行执行此操作,我们需要将它们划分为大小大致相等的块。不幸的是,以前的并行图划分最初开发的更规则的网状网络不适合这些网络。本文通过并行化和适应最初为图聚类开发的标签传播技术来解决这个问题。通过引入大小约束,标签传播变得适用于多级图划分的粗化和细化阶段。我们获得了非常高的质量,通过应用高度并行的进化算法的粗化图。与ParMetis或PT-Scotch等最先进的系统相比,所产生的系统更具可扩展性,并实现更高的质量。对于大型复杂网络,性能差异非常大。例如,我们的算法可以在不到16秒的时间内使用高性能集群的512个核心对具有33亿条边的Web图进行分区,同时产生高质量的分区-没有竞争系统可以在我们的系统上处理此图。
2015-01-26 cs.DC cs.DS cs.NE
Nearly-Linear Time Spectral Graph Reduction for Scalable Graph Partitioning and Data Visualization
Michigan Technological University(密歇根理工大学)
本文提出了一种可扩展的谱图缩减算法框架,用于大规模无向图的谱缩减。该方法能够在保持原始图的关键谱(结构)特性的同时,计算出远小的图。框架基于两个关键组件:一种保持谱的节点聚合(缩减)方案,以及一种具有迭代边权缩放的谱图稀疏化框架。我们证明,所得到的谱缩减图能够稳健地保持原始图拉普拉斯算子的前几个非平凡特征值和特征向量。此外,谱图缩减方法还被用来开发更快的多级谱图划分算法以及大规模数据集的t-分布随机邻居嵌入(t-SNE)可视化算法。我们使用各种大型图和数据集进行了广泛的实验,并获得了非常有希望的结果。例如,我们能够将具有0.43百万个节点和16百万条边的“coPapersCiteseer”图缩减为一个只有13K(32倍更少)个节点和17K(950倍更少)条边的更小图,耗时约16秒;谱缩减图还允许我们在谱图划分中实现高达1100倍的速度提升,在大规模数据集的t-SNE可视化中实现高达60倍的速度提升。
2018-12-21 cs.DS cs.NA math.NA
Better Process Mapping and Sparse Quadratic Assignment
通信和拓扑感知进程映射是一种有效的方法,可以减少大型分布式内存系统上具有已知通信模式的并行应用程序的通信时间。我们解决的问题,作为一个二次分配问题(QAP),并提出算法来构建初始映射的进程处理器,快速局部搜索算法,以进一步提高映射。通过利用假设,通常持有的应用程序和现代超级计算机系统,如稀疏的通信模式和分层组织的通信系统,我们获得这些特殊的QAP更强大的算法。我们的多级构造算法采用完全平衡的图划分技术,并利用给定的通信系统层次结构的显着方式。我们对Brandfass等人(2013)的局部搜索算法进行了改进,并通过减少分配中执行交换所需的时间以及仔细约束局部搜索邻域来进一步减少运行时间。我们还研究了不同的算法来创建映射到处理器网络的通信图。实验表明,我们的算法不仅大大加快了局部搜索,但由于多级方法也找到更好的解决方案在实践中。
2019-07-22 cs.DC cs.DS