超图划分
Hypergraph partitions
摘要:
我们建议将超图划分的组合问题简化为一个连续优化问题。
英文摘要:
We suggest a reduction of the combinatorial problem of hypergraph partitioning to a continuous optimization problem.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。
Hypergraph partitions
Alexander Mishchenko, Vladimir Manuilov, Chao You, Han Yang
我们建议将超图划分的组合问题简化为一个连续优化问题。
We suggest a reduction of the combinatorial problem of hypergraph partitioning to a continuous optimization problem.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。
继续探索
Aggregative Coarsening for Multilevel Hypergraph Partitioning
许多超图问题的算法,包括分区,利用多级框架来实现性能和结果质量之间的良好权衡。在本文中,我们介绍了两种新的聚合粗化方案,并将它们纳入国家的最先进的超图分区佐尔坦。我们的粗化方案的灵感来自代数多重网格和稳定的匹配方法。我们证明了开发计划的有效性,作为一个多层次超图划分框架的一部分,在广泛的问题。
A Serial Multilevel Hypergraph Partitioning Algorithm
图划分问题在科学计算中有着广泛的应用,如计算机辅助设计、数据采掘、图像压缩等。在许多情况下,使用超图是有利的,因为与图相比,超图具有更一般的结构,并且可以用于对对象组之间的更复杂的关系进行建模。这促使我们关注研究较少的超图划分问题。在本文中,我们提出了一个串行多级二分算法。聚类是当前超图划分算法中的一个重要步骤,在聚类过程中必须识别相似的顶点。这在顶点度和超边大小变化很大的不规则超图中可能特别困难;依赖于局部顶点聚类决策的算法通常会产生很差的分区质量。该算法的一个新特点是使用粗糙集聚类技术来解决这个问题。我们表明,我们提出的算法平均提供了18.8%和71.1%之间的质量更好的这些不规则超图进行比较,以国家的最先进的超图分区算法从实际应用中采取的基准。
Network Flow-Based Refinement for Multilevel Hypergraph Partitioning
我们提出了一个改进的框架,使用最大流计算对块的多级超图分区,以提高解决方案的质量的$k$路分区。该框架将KaFFPa基于流的改进算法从图推广到超图,并集成到超图划分器KaHyPar中。通过减小超图流网络的大小,改进KaFFPa中使用的流模型,并开发技术来提高算法的运行时间,我们获得了一个分区器,该分区器可以计算来自不同应用领域的各种基准超图的最佳解决方案,同时仍然具有与hMetis相当的运行时间。
Memetic Multilevel Hypergraph Partitioning
超图划分具有广泛的重要应用,例如超大规模集成电路设计或科学计算。我们专注于解决方案的质量,我们开发了第一个多级模因算法来解决这个问题。我们的贡献的关键组成部分是新的有效的多级重组和突变操作,提供了大量的多样性。我们进行了广泛的实验基准集包含的应用领域,如超大规模集成电路,SAT求解,社交网络,和科学计算的实例。与最先进的超图划分工具hMetis,PaToH和KaHyPar相比,我们的新算法几乎在所有实例上都能计算出最佳结果。
k-way Hypergraph Partitioning via n-Level Recursive Bisection
我们开发了一个多层次的超图划分算法,合同的顶点一次。在粗化和细化过程中使用几种缓存和延迟评估技术,我们将运行时间减少了两个数量级相比,一个天真的$n$级算法,这将是足够的普通图分区。整体性能甚至优于广泛使用的hMetis超图分割器,它使用了一个经典的多级算法与几个级别。借助于基于投资组合的方法来初始划分和自适应预算的不平衡递归bipartitioning内,我们实现了非常高的质量。我们组装了一个大型的基准测试集,其中包含310个来自VLSI、SAT求解、社交网络和科学计算等应用领域的超图。我们实现了比hMetis和PaToH小得多的切割,同时比hMetis更快。对于某些实例类(如社交网络)、对分区和允许不平衡度为10%的分区,观察到了相当大的改进。在这项工作中提出的算法形成了我们的超图划分框架KaHyPar(卡尔斯鲁厄超图划分)的基础。
FREIGHT: Fast Streaming Hypergraph Partitioning
将一个超图的顶点划分成k个大致平衡的块,使得块之间的超边很少,这是大规模分布式处理的一个关键问题。使用低计算资源划分巨大(超)图的当前趋势是流式算法。在这项工作中,我们提出FREIGHT:一个快速stREamInG超图分割算法,这是一个适应的广为人知的基于图的算法茴香。通过使用一种高效的数据结构,使FREIGHT的整体运行与超图的管脚数成线性关系,内存消耗与网络和块的数量成线性关系。我们广泛的实验结果展示了FREIGHT作为一种高效和有效的流超图分割解决方案的良好性能。我们的算法演示了具有竞争力的运行时间与散列算法,与四分之三的实例上观察到的最大因子4的差异。值得注意的是,我们的研究结果突出了所有现有的(缓冲)流媒体算法,甚至内存中的算法HYPE的优势,无论是割网和连接措施的运费。这表明,我们提出的算法是一个很有前途的超图分割工具,以应对大规模和动态数据处理所带来的挑战。
n-Level Hypergraph Partitioning
我们开发了一个多层次的超图分区算法,合同的顶点一次一个,从而允许非常高的质量。这包括一个评级功能,避免不均匀的顶点权重,一个有效的“半动态”超图数据结构,一个非常快速的粗化算法,和两个新的局部搜索算法。一个是Fiduccia-Mattheyses局部搜索的$k$ -路超图适应,并以合理的成本提供高质量。另一个是一个适应的大小受限的标签传播超图。与hMetis和PaToH的比较表明,新算法在几个基准集上产生更好的质量,并且具有与hMetis相当的运行时间。使用标签传播本地搜索比hMetis快几倍,并且对于VLSI基准测试集提供比PaToH更好的质量。
HYPE: Massive Hypergraph Partitioning with Neighborhood Expansion
许多重要的现实世界的应用程序,如社交网络或分布式数据库,可以建模为超图。在这样的模型中,顶点代表实体(比如用户或数据记录),而超边则对顶点的组成员关系(比如特定主题的作者身份或特定复制分片中数据记录的成员关系)进行建模。为了优化这样的应用,我们需要一个高效和有效的解决方案,NP-硬平衡k路超图划分问题。然而,现有的超图划分器,规模非常大的图不有效地利用超图结构时,执行分区决策。我们提出了HYPE,超图partitionier,利用超图中的顶点之间的邻域关系,使用一个有效的实现邻域扩展。与流式分区相比,HYPE将分区质量提高了95%,并将运行时间减少了39%。
Advanced Flow-Based Multilevel Hypergraph Partitioning
超图的平衡划分问题是将超图划分为大小有界的不相交块$k$,使得每个超边所连接的块的数目之和最小。我们提出了一个改进的基于流的细化框架KaHyPar-MF,目前国家的最先进的多级$k$方式超图划分算法的高质量的解决方案。我们的改进是基于最近提出的HyperFlowCutter算法,通过解决一系列增量最大流问题来计算未加权超图的二分划。由于顶点和超边是在粗化阶段聚合的,因此在多级设置中采用的细化算法必须能够处理加权超边和加权顶点-即使初始输入超图是未加权的。因此,我们增强了HyperFlowCutter处理加权实例,并提出了一种直接在加权超图上计算最大流的技术。我们比较了我们的新算法的两种配置的性能与KaHyPar-MF和其他七个分区算法在一个全面的基准集与应用领域,如VLSI设计,科学计算,SAT求解的实例。我们的第一个配置,KaHyPar-HFC,计算略好于KaHyPar-MF使用显着更少的运行时间的解决方案。第二种配置KaHyPar-HFC* 计算的解质量明显更好,但仍略快于KaHyPar-MF。此外,在解决方案质量方面,这两种配置也优于所有其他竞争的分区。
Multilevel Hypergraph Partitioning with Vertex Weights Revisited
平衡超图划分问题(HGP)是将超图的顶点集划分为k个不相交的有界权块,同时极小化定义在超边上的目标函数。现实世界的应用程序通常使用顶点和边的权重来准确地建模底层问题,而HGP研究社区通常使用未加权的实例。在本文中,我们认为,在顶点权重的存在下,目前的平衡约束定义要么产生不可行的分割问题,或允许不必要的大的不平衡,并提出了一个新的定义,克服了这些问题。我们表明,国家的最先进的超图分区往往斗争相当加权实例和紧平衡约束(即使与我们的新的平衡定义)。因此,我们提出了一个递归二分技术,能够可靠地计算平衡(因此可行)的解决方案。所提出的方法通过预先分配最重顶点的一个小子集到每个bipartition的两个块(使用最初为作业调度问题开发的算法)来平衡分区,并优化剩余顶点上的实际分区目标。我们将我们的算法集成到多级超图分区KaHyPar,并表明我们的方法是能够计算高质量的平衡分区上的一组不同的基准实例。
Hypergraph Partitioning through Vertex Separators on Graphs
超图提供的建模灵活性已经引起了组合科学界的极大兴趣,导致了新的模型和算法,它们的应用以及相关工具的开发。超图现在是组合科学计算中的标准工具。然而,超图的建模灵活性是有代价的:超图上的算法本质上比图上的算法更复杂,这有时会转化为处理时间的非平凡增加。超图的建模灵活性和图算法的运行效率都不容忽视。因此,新的研究重点应该是如何在两者之间巧妙地权衡。这项工作解决了一种方法,这种权衡解决超图分区问题,找到顶点分离器的图形。具体来说,我们研究如何解决超图的划分问题,寻求一个顶点分离器在其网络交叉图(NIG),其中每个网络的超图是由一个顶点,和两个顶点共享一条边,如果他们的网络有一个共同的顶点。由于NIG模型不能保持节点平衡信息,我们提出了一种顶点加权方案来获得良好的节点平衡超图。顶点删除和顶点分裂技术被描述为优化割网和连通性指标,分别在递归二分范式。我们还通过采用和修改最先进的GPVS工具onmetis,开发了基于GPVS的HP公式的实现。大量的稀疏矩阵上进行的实验证实了我们所提出的技术的有效性。
High-Quality Hypergraph Partitioning
本文研究了超图的平衡划分问题,该问题要求将超图的顶点划分成大小有界的$k$不相交块,同时最小化超边上的目标函数.在这里,我们考虑最常用的连接度量。我们描述了我们的开源超图分区器KaHyPar,它基于成功的多级方法-将其推向(几乎)每个顶点的一个级别的极端。使用精心设计的数据结构和动态更新技术,这种方法提供了一个非常好的时间质量折衷。我们提出了两种预处理技术--使用局部敏感哈希的引脚稀疏化和基于Louvain算法的社区发现。社区结构用于指导逐渐收缩顶点的粗化过程。基于投资组合划分的收缩超图已经取得了良好的初始解决方案。在反转收缩的同时,高度本地化的直接$k$方式本地搜索和基于流的技术的组合采取更全局的观点,细化分区以实现高质量。可选地,模因算法演化解决方案候选池以获得甚至更高的质量。我们评估KaHyPar在一个大的实例集从广泛的应用领域。在质量方面,KaHyPar优于所有以前考虑过的可以处理大型超图的系统,如hMETIS,PaToH,Mondriaan或Zoltan。KaHyPar也比大多数这些系统更快,除了PaToH,它代表了不同的速度-质量权衡。结果甚至扩展到特殊情况下的图分区,专门的系统,如KaHIP应该有优势。
Deterministic Parallel Hypergraph Partitioning
超图的平衡划分是一个经典的NP-难优化问题,在VLSI设计、量子电路仿真、分布式数据库的数据布局优化、高性能计算中的通信量最小化等领域有着广泛的应用。工程并行算法是近年来的研究热点。但大多数都是非确定性的。在这项工作中,我们设计和实现了一个高度可扩展的确定性算法在国家的最先进的并行分区框架Mt-KaHyPar。在我们广泛的基准测试实例集上,它实现了与Mt-KaHyPar相当但不确定的配置类似的分区质量和性能,并且在分区质量,运行时间和并行加速方面优于唯一的其他现有并行确定性算法BiPart。
Submodular Hypergraph Partitioning: Metric Relaxations and Fast Algorithms via an Improved Cut-Matching Game
本文提出统一有向与无向超图划分的通用模型,引入多态拟阵割函数,通过负型度量松弛实现$O(\sqrt{\log n})$近似,并推广割匹配游戏得到近线性时间$O(\log n)$近似算法。
Multilevel Acyclic Hypergraph Partitioning
有向无环超图是有向无环图的一个推广概念,其中每个超边可以包含任意数量的头和尾。有向超图可用于对流应用中的数据流和执行依赖性进行建模。因此,超图分割算法可以用来获得有效的多处理器架构的并行化。然而,分区上的非循环约束是必要的映射流应用程序时,嵌入式多处理器由于这种类型的硬件资源限制。无环超图划分问题是将有向无环超图的超节点划分为给定数量的大小大致相等的块,使得相应的商图是无环的,同时最小化分区上的目标函数。在这里,我们贡献的第一个n级算法的无圈超图划分问题。我们的重点是无圈超图的超边可以有一个头和任意多个尾巴。在此基础上,我们设计了一个模因算法,以进一步降低通信成本,以及提高嵌入式多处理器架构上的调度最大完工时间。实验表明,我们的算法优于以前的算法,专注于有向无环图的情况下,以前已在应用领域。此外,我们的实验表明,这种类型的应用程序使用有向超图模型产生一个显着较小的完工时间。
Hypergraph Partitioning With Embeddings
科学计算中的问题,例如分配大型稀疏矩阵运算,具有与超图划分问题类似的公式。超图是传统图的推广,其中“超边”可以连接任何数量的节点。因此,超图划分是一个NP难问题,无论是解决或近似。解决这个问题的最先进的算法遵循多级范式,该范式首先将输入超图迭代地“粗化”为共享关键结构特征的较小问题实例。一旦确定了一个足够小的近似问题,可以直接求解,该解决方案可以插值和细化到原始问题。虽然这种策略在质量和运行时间之间进行了很好的权衡,但它对粗化策略很敏感。在这项工作中,我们建议使用初始超图的图嵌入,以确保粗化的问题实例重新训练关键的结构特征。我们的方法优先考虑输入图中自相似区域内的粗化,并在一系列考虑的超图中显着提高解决方案的质量。重现性:所有源代码、图和实验数据均可在https://sybrandt.com/2019/partition上获得。
Parallel Flow-Based Hypergraph Partitioning
我们提出了一个共享内存并行化的基于流的细化,这被认为是目前最强大的迭代改进超图分区技术。基于流的细化工作在二分区上,因此当前的顺序分区器将其调度在不同的块对上,以改进$k$路分区。我们调查两个不同的来源的并行性:并行调度方案和并行最大流算法的基础上著名的推重新标记算法。除了彻底的工程实现之外,我们还提出了几种优化方法,这些优化方法在实践中大大加速了算法,从而能够在非常大的超图(高达10亿个引脚)上使用。我们将我们的方法集成到最先进的并行多级框架Mt-KaHyPar中,并在500多个真实超图的基准集上进行了广泛的实验,以表明我们代码的分区质量与最高质量的顺序代码(KaHyPar)相当,而10个线程的速度要快一个数量级。
Co-clustering Vertices and Hyperedges via Spectral Hypergraph Partitioning
提出了一种新的边依赖顶点权重超图顶点和超边的共聚类方法。在该超图模型中,每个顶点对其每个关联超边的贡献通过边依赖权重来表示,赋予模型比经典超图更高的表达能力。在我们的方法中,我们利用随机游走与EDVW构建一个超图拉普拉斯算子,并使用其频谱特性嵌入顶点和超边在一个共同的空间。然后,我们聚类这些嵌入,以获得我们提出的共同聚类方法,在应用程序中需要同时聚类的数据实体和功能,特别相关。使用真实世界的数据的数值实验表明,我们所提出的方法相比,国家的最先进的替代品的有效性。
Scalable Shared-Memory Hypergraph Partitioning
超图划分是高性能计算应用中优化数据布局和最小化通信量的重要预处理步骤。为了应对日益增长的问题规模,它已成为越来越重要的是开发快速并行分割算法的解决方案的质量是有竞争力的现有的顺序算法。为此,我们提出了Mt-KaHyPar,第一个共享内存多级超图分区器,并行实现了顺序,高质量分区系统所使用的许多技术:使用并行社区发现作为指导的并行粗化算法,通过具有工作窃取的并行递归二分区的初始分区,可缩放标签传播细化算法,以及经典FM算法的第一个完全并行的直接$k$路公式。在不同应用领域的大量基准测试实例集上进行的实验表明了该方法的可扩展性和有效性。在64个核心的情况下,我们观察到高达51的自相关加速比和23.5的谐波平均加速比。在解决方案质量方面,我们在95%的实例上优于分布式超图分区器Zoltan,同时也快了2.1倍。只有四个核心,Mt-KaHyPar也比最快的顺序多级分区器PaToH稍快,同时在所有实例的83%上产生更好的解决方案。顺序高质量分区器KaHyPar仍然比我们的并行方法找到更好的解决方案,特别是在使用基于最大流的细化时。然而,这是以相当长的运行时间为代价的。
Counting and enumerating optimum cut sets for hypergraph $k$-partitioning problems for fixed $k$
本文研究了两个超图$k$ -划分问题--超图- $k$ -割和超图-极小-超图- $k$ -划分的最优解的计数问题。超图$k$ -划分问题的输入是一个超图$G=(V, E)$,它具有正的超边代价以及一个固定的正整数$k$。目标是找到$V$到$k$非空部分$(V_1, V_2, \ldots, V_k)$的划分--称为$k$划分--以便最小化感兴趣的目标。1.如果目标函数是各部分的最大割值,则该问题称为最小超图- $k$ -划分问题。如果一个超边子集是极小极大超图-$k$-划分的最优$k$-划分的超边子集,则它是极小极大- $k$-割集. 2.如果目标是通过$k$ -划分的超边的总代价,则该问题称为Hypergraph- $k$ -Cut。超边子集是一个最小$k$割集,如果它是通过超图- $k$ -割的最优$k$ -划分的超边子集.本文给出了超图中minmax- $k$ -割集个数的第一多项式界,并给出了一个多项式时间算法来计算每一个固定的$k$的超图中所有的minmax-$k$-割集。我们的技术是强大的,也使$n^{O(k)}p$时间确定性算法,以枚举所有的最小$k$ -割集超图,从而提高了以前已知的$n^{O(k^2)}p$时间确定性算法,其中$n$是顶点的数量和$p$是超图的大小。我们的枚举方法的正确性分析依赖于一个结构的结果,这是一个强大的和统一的推广超图- $k$ -割和最…
Shared-Memory n-level Hypergraph Partitioning
我们提出了一个共享内存算法来计算高质量的平衡$k$ -路超图划分问题的解决方案。该问题要求将顶点集划分为最小化连通性度量的有界大小的$k$不相交块(即,由每个超边连接的不同块的数目的总和)。高质量的解决方案是通过并行化的核心技术,目前最好的顺序分区KaHyPar:最极端的$n$级版本的广泛使用的多级范例,其中只有一个顶点是收缩在每个级别。这种方法通过侵入式算法和数据结构实现快速和可伸缩性,这些算法和数据结构允许通过原子操作和细粒度锁定精确控制并行性。我们进行了广泛的实验,超过500现实世界的超图高达$140$百万顶点和20亿针(超边大小的总和)。我们发现,我们的算法计算的解决方案,相当于一个可比的配置KaHyPar,而平均速度快一个数量级。此外,我们表明,最近的非多级算法专门设计用于划分大型实例有相当大的质量处罚,并没有明显的优势,在运行时间。
Streaming Hypergraph Partitioning Algorithms on Limited Memory Environments
许多众所周知的现实世界的问题都涉及到描述实体之间关系的动态数据。超图是一种强大的组合结构,经常用于对此类数据进行建模。对于今天的许多以数据为中心的应用程序来说,这些数据是流式的;新的项目不断到达,数据随着时间的推移而增长。随着物联网和边缘计算等范例的出现,这些应用变得更加自然和实用。在这项工作中,我们假设一个流模型,其中数据被建模为一个超图,这是在边缘生成的。然后,这些数据被分区,并通过在内存受限的设备(如单板的计算机)上运行的算法发送到远程节点。这种划分通常通过考虑连接性度量来执行,以最小化将以分布式方式执行的后续分析的通信成本。虽然有许多离线工具可以很好地划分静态超图,但用于流设置的算法很少。我们分析了一个著名的算法从文献中,并显着提高其运行时间,通过改变其内部数据结构。例如,在一个中等规模的超图上,新算法将运行时间从17800秒减少到10秒。然后,我们提出了基于草图和散列的算法,以及那些可以利用额外的内存来存储一小部分数据,以便在可能的情况下细化分区的算法。我们实验分析这些算法的性能,并报告其运行时间,连接度量分数,和内存使用的高端服务器和四个不同的单板计算机体系结构。
High-Quality Multi-Constraint Hypergraph Partitioning via Greedy Rebalancing
针对多约束超图划分问题,提出基于贪婪局部搜索的再平衡算法,在保证平衡性的同时最小化超边连接度,集成到Mt-KaHyPar后相比Metis连接度降低11.5%。
Erdös-Szekeres Partitioning Problem
在这份说明中,我们提出了一个实质性的改进的计算复杂性的Erdös-Szekeres分区问题和审查最近的工作动态\textsf{LIS}。
Window-based Streaming Graph Partitioning Algorithm
近年来,图形数据集的规模已经增加到这样的程度,以至于单个机器不能有效地处理大型图形。因此,有效的图划分是必要的,这些大型图的应用。传统的图分区通常在执行分区之前将整个图数据加载到内存中;这不仅是一项耗时的任务,而且还会产生内存瓶颈。这些问题的内存限制和巨大的时间复杂度可以解决使用基于流的图形分区。流图分区算法读取顶点一次,并相应地将该顶点分配给分区。这也被称为一次通过算法。本文提出了一种高效的基于窗口的流图分割算法WStream。WStream算法是一种边切割分区算法,它将顶点分布在分区之间。我们的研究结果表明,WStream算法能够有效地划分大型图形数据,同时保持不同分区之间的负载平衡,并将通信降至最低。真实负载下的测试结果也证明了该算法的有效性,在不同的数据集范围内,该算法都能显著降低负载不平衡和边切割。
Experimental Study of A Novel Variant of Fiduccia Mattheyses(FM) Partitioning Algorithm
划分是VLSI物理设计自动化领域的一个研究热点。在这个问题中,输入是一个集成电路,输出是一组几乎相等的不相交块。分区的主要目标是将电路的组件分配给块,以最大限度地减少块间连接的数量。Fiduccia和Mattheyses提出了一种基于超图的线性时间复杂度划分算法,即FM算法。文献中提出的大多数基于超图的划分算法都是FM算法的变体。在本文中,我们提出了一种新的变形FM算法,通过使用成对交换技术。我们已经进行了比较实验研究FM算法和我们提出的算法使用两个数据集,如ISPD98和ISPD99。实验结果表明,我们提出的算法的性能优于FM算法使用上述数据集。
Heuristics for Symmetric Rectilinear Matrix Partitioning
稀疏矩阵和图的划分是许多科学和图分析应用中常见且重要的问题。在这项工作中,我们关注的是稀疏矩阵的空间分区,称为直线分区(也称为广义块分布),这是稀疏矩阵和图形分析内核的平铺(或{ \em块})执行所需的。更具体地说,在这项工作中,我们解决的问题,对称直线分割的方阵。所谓对称,我们的意思是在矩阵的行和列上具有相同的分区,从而产生一种特殊的平铺,其中对角瓦片(块)将是正方形。我们提出了五个算法来解决这个问题的两个不同的变种,并提出了一个彻底的实验评估所提出的算法的有效性。
Distributed Matrix Tiling Using A Hypergraph Labeling Formulation
划分大矩阵是分布式线性代数计算中的一个重要问题(用于ML等)。简而言之,我们的目标是在这些大矩阵上以分布式方式(只要可能)执行一系列矩阵代数运算。然而,并不是所有的划分方案都能很好地与不同的矩阵代数运算及其实现(算法)一起工作。这是一种数据平铺问题。在这项工作中,我们考虑一个理论模型的一个版本的矩阵平铺问题的设置超图标签。我们证明了一些硬度的结果,并给出了其复杂性的随机情况下的理论表征。此外,我们开发了一个贪心算法,并通过实验证明了它的有效性。
Graph Partitioning With Limited Moves
本文研究在预算限制下仅允许移动少量节点的图划分优化问题,提出 $r$-移动 $k$-划分问题,并给出多项式时间 $3(r+1)$ 近似算法,同时证明其 $W[1]$-难性及小常数 $r$ 下的 FPTAS。
(Semi-)External Algorithms for Graph Partitioning and Clustering
在本文中,我们开发了半外部和外部存储器算法的图划分和聚类问题。图划分和聚类是处理和分析大型复杂网络的关键工具。我们解决这两个问题的(半)外部模型,通过调整大小约束的标签传播技术。我们的(半)外部尺寸约束的标签传播算法可以用来计算图聚类,是(半)外部图划分算法的先决条件。然后,该算法用于粗化和细化阶段的多级算法计算图分区。我们的算法能够在廉价的商品机器上划分和聚类具有数十亿条边的巨大复杂网络。实验表明,半外部图划分算法是可扩展的,可以计算高质量的分区的时间是一个有效的内部存储器实现的运行时间相媲美。半外部模型中的算法的并行化进一步减少了运行时间。
Evolutionary Acyclic Graph Partitioning
有向图被广泛用于流应用中的数据流和执行依赖性建模。这使得利用图分区算法的问题,并行计算的多处理器架构。然而,由于资源的限制,分区上的非循环约束是必要的映射流应用程序时,嵌入式多处理器。在这里,我们贡献了一个多级算法的无环图划分问题。在此基础上,我们设计了一个进化算法,以进一步降低通信成本,以及改善负载均衡和调度的最大完工时间的嵌入式多处理器架构。
Streaming Graph Partitioning in the Planted Partition Model
图数据规模的急剧增加已经引起了人们对开发高效的分布式图处理框架的极大兴趣。流行的现有框架,如Graphlab和Pregel依赖于平衡图分区,以最大限度地减少通信并实现工作平衡。在这项工作中,我们有助于流图分区\cite{stantonstreaming,stanton,fennel}计算一个近似平衡的$k$ -分区的顶点集的图形流使用度为基础的标准,使用一个单一的通过最近的研究线。这个图划分框架非常适合处理大规模和动态图。在这项工作中,我们介绍了使用更长的步行流图分区,并表明,它们的使用会产生一个小的计算成本,可以显着提高图形分区的质量。我们使用种植分区模型\cite{condon2001algorithms,mcsherry2001spectral}对我们的算法进行平均情况分析。我们补充斯坦顿\cite{stantonstreaming}的最近结果表明,我们提出的方法恢复真正的分区具有很高的概率,即使当差距的模型趋于零的大小的图形的增长。此外,在众多的选择中,我们发现建议的长度是最佳的。最后,我们进行了实验,验证了所提出的方法的价值。
Search Result Clustering via Randomized Partitioning of Query-Induced Subgraphs
在本文中,我们提出了一种方法来搜索结果聚类,使用分区的基础链接图。我们定义了“查询诱导子图”的概念,并将搜索结果聚类问题转化为将给定子图有效划分为主题相关聚类的问题。此外,我们提出了一种新的算法,这种图的近似分区,这导致在集群质量相媲美的确定性算法获得的,同时在更有效的计算时间,适合于实际应用。最后,我们提出了一个实用的聚类搜索引擎开发作为本研究的一部分,并使用它来获得有关所提出的概念的现实世界中的性能的结果。
ILP-based Local Search for Graph Partitioning
计算高质量的图划分是一个具有挑战性的问题,有许多应用。在本文中,我们提出了一种新的元启发式的平衡图划分问题。我们的方法是基于整数线性规划,解决分区问题的最优性。然而,由于这些程序通常不会扩展到大的输入,我们调整它们来优化给定的分区。我们通过定义一个小得多的模型来实现这一点,该模型允许我们使用对称性破缺和其他技术,使该方法具有可扩展性。例如,在Walshaw著名的基准测试表中,当块的数量很高时,我们能够改进大约一半的条目。
Distributed Edge Partitioning for Trillion-edge Graphs
我们提出了分布式邻居扩展(分布式NE),一个并行和分布式的图形分区方法,可以扩展到万亿边的图形,同时提供高的分区质量。分布式NE是基于一种新的启发式算法,称为并行扩展,其中每个分区是并行构造的grecampus扩展其边缘集从一个单一的顶点,这样的方式,增加的顶点切割成为当地最小。我们从理论上证明了所提出的方法具有上界的分割质量。各种图形的经验评估表明,所提出的方法产生更高质量的分区比国家的最先进的分布式图分割算法。性能评估表明,该方法的空间效率是一个数量级优于现有的算法,保持其时间效率相当。因此,分布式网元可以在70分钟内使用256台机器划分万亿边图。
Belief propagation for graph partitioning
研究了图二分问题的置信传播算法,即在固定磁化强度下铁磁伊辛模型的基态问题。应用程序的消息传递计划与一个固定的全球参数的模型是不平凡的,我们表明,磁化强度实际上可以固定在一个本地的方式内的信念传播方程。我们的方法提供了完整的相图的随机图上的二分区问题,以及一个有效的启发式求解器,我们预计是有用的分区问题的广泛应用。
扫码添加微信好友,提出您的宝贵建议 👇
💡 备注请填写:网站反馈
发表机构由 AI 从论文文本抽取,如发现错误,欢迎反馈修正建议。