We present a novel method for graph partitioning, based on reinforcement learning and graph convolutional neural networks. Our approach is to recursively partition coarser representations of a given graph. The neural network is implemented using SAGE graph convolution layers, and trained using an advantage actor critic (A2C) agent. We present two variants, one for finding an edge separator that minimizes the normalized cut or quotient cut, and one that finds a small vertex separator. The vertex separators are then used to construct a nested dissection ordering to permute a sparse matrix so that its triangular factorization will incur less fill-in. The partitioning quality is compared with partitions obtained using METIS and SCOTCH, and the nested dissection ordering is evaluated in the sparse solver SuperLU. Our results show that the proposed method achieves similar partitioning quality as METIS and SCOTCH. Furthermore, the method generalizes across different classes of graphs, and works well on a variety of graphs from the SuiteSparse sparse matrix collection.
Interpretable Neural Networks with Frank-Wolfe: Sparse Relevance Maps and Relevance Orderings
Institut für Mathematik, Technische Universität Berlin（柏林工业大学数学研究所）；Department for AI in Society, Science, and Technology, Zuse Institute Berlin（柏林楚泽研究所社会、科学与技术人工智能系）
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
图表示学习在节点分类、链接预测、社区发现等许多基于图的应用中取得了显著的成功。这些模型通常被设计为在不同的粒度上保留顶点信息，并将离散空间中的问题简化为连续空间中的一些机器学习任务。然而，尽管取得了丰硕的成果，但对于某些图的应用，如图压缩和边划分，很难将其归结为一些图的表示学习任务。此外，这些问题是密切相关的重新制定一个特定的图，这是一个重要的NP-难的组合优化问题的全局布局：图排序。在本文中，我们提出了一种新的学习方法来攻击这些应用程序背后的图排序问题。与基于预定义规则的贪心算法不同，本文提出了一种神经网络模型：深度有序网络（Deep Order Network，DON），用于从部分顶点序集中捕捉隐藏的局部结构。在抽样偏序的监督下，DON具有推断未知组合的能力。此外，为了缓解DON训练空间的组合爆炸问题，实现高效的偏序采样，我们采用了一种强化学习模型--策略网络，在DON训练阶段自动调整偏序采样概率。为此，政策网络可以提高培训效率，并引导DON向更有效的模型自动进化。综合实验的合成和真实数据验证，DON-RL优于目前最先进的启发式算法一致。两个关于图压缩和边划分的案例研究证明了DON-RL在实际应用中的潜在能力。
