The graph coloring problem asks for an assignment of the minimum number of distinct colors to vertices in an undirected graph with the constraint that no pair of adjacent vertices share the same color. The problem is a thoroughly studied NP-hard combinatorial problem with several real-world applications. As such, a number of greedy heuristics have been suggested that strike a good balance between coloring quality, execution time, and also parallel scalability. In this work, we introduce a graph neural network (GNN) based ordering heuristic and demonstrate that it outperforms existing greedy ordering heuristics both on quality and performance. Previous results have demonstrated that GNNs can produce high-quality colorings but at the expense of excessive running time. The current paper is the first that brings the execution time down to compete with existing greedy heuristics. Our GNN model is trained using both supervised and unsupervised techniques. The experimental results show that a 2-layer GNN model can achieve execution times between the largest degree first (LF) and smallest degree last (SL) ordering heuristics while outperforming both on coloring quality. Increasing the number of layers improves the coloring quality further, and it is only at four layers that SL becomes faster than the GNN. Finally, our GNN-based coloring heuristic achieves superior scaling in the parallel setting compared to both SL and LF.
Rethinking Graph Neural Networks for the Graph Coloring Problem
Carnegie Mellon University（卡内基梅隆大学）；The Chinese University of Hong Kong（香港中文大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
图表示学习在节点分类、链接预测、社区发现等许多基于图的应用中取得了显著的成功。这些模型通常被设计为在不同的粒度上保留顶点信息，并将离散空间中的问题简化为连续空间中的一些机器学习任务。然而，尽管取得了丰硕的成果，但对于某些图的应用，如图压缩和边划分，很难将其归结为一些图的表示学习任务。此外，这些问题是密切相关的重新制定一个特定的图，这是一个重要的NP-难的组合优化问题的全局布局：图排序。在本文中，我们提出了一种新的学习方法来攻击这些应用程序背后的图排序问题。与基于预定义规则的贪心算法不同，本文提出了一种神经网络模型：深度有序网络（Deep Order Network，DON），用于从部分顶点序集中捕捉隐藏的局部结构。在抽样偏序的监督下，DON具有推断未知组合的能力。此外，为了缓解DON训练空间的组合爆炸问题，实现高效的偏序采样，我们采用了一种强化学习模型--策略网络，在DON训练阶段自动调整偏序采样概率。为此，政策网络可以提高培训效率，并引导DON向更有效的模型自动进化。综合实验的合成和真实数据验证，DON-RL优于目前最先进的启发式算法一致。两个关于图压缩和边划分的案例研究证明了DON-RL在实际应用中的潜在能力。
Learning Variable Ordering Heuristics for Solving Constraint Satisfaction Problems
Shandong University（山东大学）；Singapore Institute of Manufacturing Technology（新加坡制造技术研究院）；Nanyang Technological University（南洋理工大学）；Southwest Jiaotong University（西南交通大学）
Rethinking Parameter Sharing as Graph Coloring for Structured Compression
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）
Deep Learning-based Hybrid Graph-Coloring Algorithm for Register Allocation
AMD（超威半导体公司）
寄存器分配是优秀优化编译器的关键阶段，它依赖于图着色。因此，一个有效的图着色算法是至关重要的。在这项工作中，我们试图学习一个很好的启发式着色干扰图中使用的寄存器分配阶段。我们的目标是处理具有100个或更少节点的中等大小的干扰图。对于这样的图，我们可以得到节点的最佳颜色分配。然后，这种最佳着色用于训练我们的深度学习网络，该网络基于几层LSTM，为图的每个节点输出颜色。然而，当前网络可能会为边连接的节点分配相同的颜色，导致干扰图的着色无效。由于很难在LSTM中对约束进行编码以避免无效着色，因此我们在深度学习网络中增加了一个颜色校正阶段，该阶段在网络分配颜色后运行。因此，我们的算法本质上是混合的，由深度学习算法和更传统的校正阶段的混合组成。我们使用数千个不同稀疏度的随机图来训练我们的网络。在我们的混合算法的各种流行的图在文献中发现的应用，我们看到，我们的算法做得很好，当这些图的最佳着色相比。我们还针对几个SPEC CPU 2017基准测试对LLVM流行的贪婪寄存器分配器运行了我们的算法，并注意到混合算法在大多数基准测试中的性能与这种经过良好调整的分配器相当或更好。
Learning Fast Monomial Orders for Gröbner Basis Computations
Georgia Institute of Technology（佐治亚理工学院）；The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；San Diego State University（圣地亚哥州立大学）；Emory University（埃默里大学）；University of Michigan–Dearborn（密歇根大学迪尔伯恩分校）
Reinforcement Learning Based Query Vertex Ordering Model for Subgraph Matching
Zhejiang Gongshang University（浙江工商大学）；University of New South Wales（新南威尔士大学）；University of Technology Sydney（悉尼科技大学）；Hong Kong University of Science and Technology（香港科技大学）
Technical University of Berlin（柏林工业大学）；University of Siegen（锡根大学）；Clemson University（克莱姆森大学）；Massachusetts Institute of Technology（麻省理工学院）；University of New South Wales（新南威尔士大学）
