Clustering Binary Data by Application of Combinatorial Optimization Heuristics
University of Costa Rica（哥斯达黎加大学）；Costa Rica Institute of Technology（哥斯达黎加理工学院）
我们研究二进制数据的聚类方法，首先定义聚集标准，衡量集群的紧凑性。介绍了五种新颖的基于邻域和群体行为的组合优化方法：模拟退火、阈值接受和禁忌搜索，遗传算法和蚁群算法。实施的方法，执行适当的校准参数的情况下，化学，以确保良好的结果。从一组由准蒙特卡罗实验生成的16个数据表中，使用L1相异度，分层聚类和一个版本的k均值：围绕中心点或PAM分区，对其中一个聚合进行比较。模拟退火的性能非常好，特别是与经典方法相比。
2020-01-06 cs.LG stat.ML
DeepACO: Neural-enhanced Ant Systems for Combinatorial Optimization
Soochow University（苏州大学）；Singapore Management University（新加坡管理大学）；Tsinghua University（清华大学）
针对传统蚁群优化需人工设计问题特定启发式规则的痛点，提出通用神经增强框架DeepACO，用深度强化学习自动化启发式设计，在多类组合优化问题上取得优于或对标现有方法的表现。
2023-11-04 cs.AI cs.LG cs.NE
Efficient Meta Neural Heuristic for Multi-Objective Combinatorial Optimization
Sun Yat-sen University（中山大学）；Singapore Management University（新加坡管理大学）
本文提出高效元神经启发式算法EMNH，通过架构共享多任务模型并行训练元模型并采用缩放对称采样稳定训练，再以分层方法微调求解子问题，在MOTSP、MOCVRP和MOKP上实现了优于现有神经启发式的解质量与学习效率。
2023-10-22 cs.AI cs.LG
Inability of a graph neural network heuristic to outperform greedy algorithms in solving combinatorial optimization problems like Max-Cut
Emory University（埃默里大学）
在Nature Machine Intelligence 4，367（2022）中，Schuetz等人提供了一种采用图神经网络（GNN）作为启发式算法来解决各种经典的NP难组合优化问题的方案。它描述了如何在样本实例上训练网络，并使用广泛使用的技术评估生成的GNN启发式算法，以确定其成功的能力。显然，利用这种网络的强大能力，以这种不干涉的方式“学习”复杂的多模式能源景观的错综复杂，这一想法似乎很诱人。并且基于观察到的性能，该启发式算法有望具有高度可扩展性，其计算成本与输入大小$n$成线性关系，尽管由于GNN本身的原因，前因子中可能存在显著的开销。然而，更仔细的检查表明，该GNN的报告结果仅比梯度下降的结果好一点点，并且被贪婪算法（例如Max-Cut）超越。讨论还强调了我认为是一些常见的误解，在评估的竞争力。
2022-10-02 cond-mat.dis-nn cs.AI cs.LG
Learning Combinatorial Node Labeling Algorithms
ETH Zurich（苏黎世联邦理工学院）
我们提出了一种新的神经架构来解决图优化问题，其中解决方案由任意节点标签组成，使我们能够解决像图着色这样的难题。我们使用强化学习来训练我们的模型，特别是策略梯度，它为我们提供了一个贪婪和概率策略。我们的架构建立在一个图形注意力网络，并使用几个归纳偏见，以提高解决方案的质量。我们学习的图着色的确定性算法比经典的基于度的贪婪算法给出了更好的解决方案，并且只需要几秒钟就可以应用于具有数万个顶点的图。此外，我们的概率策略优于所有贪婪的最先进的着色基线和机器学习基线。最后，我们表明，我们的方法也推广到其他问题，通过评估它的最小顶点覆盖和优于两个贪婪算法。
2022-05-10 cs.LG
N(CO)$^2$: Neural Combinatorial Optimization with Chance Constraints to Solve Stochastic Orienteering
Department of Computer Science and Engineering, University of California, Merced（加州大学默塞德分校计算机科学与工程系）
提出N(CO)$^2$框架，结合强化学习求解随机定向问题，无需手工启发式，在不确定环境下优化路径选择，性能媲美MILP。
2026-06-18 cs.LG cs.RO
Learning to Perform Local Rewriting for Combinatorial Optimization
UC Berkeley（加州大学伯克利分校）；Facebook AI Research（脸书人工智能研究院）
硬组合优化的基于搜索的方法通常是由逻辑学指导的。在不同的条件和情况下调整算法通常是耗时的。在本文中，我们提出了NeuRewriter，它学习一种策略来选择算法并重写当前解决方案的局部组件，以迭代地改进它，直到收敛。该策略分解为区域选择和规则选择组件，每个组件由强化学习中的演员-评论家方法训练的神经网络参数化。NeuRewriter捕捉了组合问题的一般结构，并在三个通用任务中表现出强大的性能：表达式简化，在线作业调度和车辆路径问题。NeuRewriter优于Z3中的表达式简化组件;在在线作业调度方面优于DeepRM和Google OR工具;在车辆路径问题方面优于最近的神经基线和Google OR工具。
2019-10-30 cs.AI cs.LG stat.ML
Reinforcement Learning for Combinatorial Optimization: A Survey
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Zyfra（兹夫特拉）；Criteo AI Lab（Criteo人工智能实验室）
解决组合优化问题的许多传统算法涉及使用顺序构造解决方案的手工构造算法。这样的算法是由领域专家设计的，并且由于问题的困难性质，通常可能是次优的。强化学习（RL）通过以监督或自我监督的方式训练代理，提出了一种很好的替代方案来自动搜索这些算法。在本调查中，我们探讨了将RL框架应用于硬组合问题的最新进展。我们的调查为运筹学和机器学习社区提供了必要的背景，并展示了推动该领域向前发展的工作。我们并列最近提出的RL方法，布局的时间轴的改进，为每个问题，以及我们与传统的算法进行比较，表明RL模型可以成为一个有前途的方向解决组合问题。
2020-12-24 cs.LG math.CO math.OC
A Benchmark for Maximum Cut: Towards Standardization of the Evaluation of Learned Heuristics for Combinatorial Optimization
Texas A&M University（德克萨斯农工大学）
针对组合优化学习启发式算法评估不一致的问题，本文提出面向最大割问题的开源基准MaxCut-Bench，通过统一接口和多维度测试复现主流方法，发现多数学习算法未优于传统启发式，且ECO-DQN替换GNN为线性回归性能不变甚至提升。
2024-06-14 cs.AI cs.LG math.OC
Deep Symbolic Optimization for Combinatorial Optimization: Accelerating Node Selection by Discovering Potential Heuristics
University of Science and Technology of China（中国科学技术大学）
针对传统组合优化求解器依赖人工调优、深度学习方法成本高且可解释性差的问题，提出融合二者优势的Dso4NS框架，通过数据驱动搜索符号表达式优化B&B节点选择，在CPU上实现了媲美GPU顶尖方法的性能。
2024-07-10 cs.LG
LeNSE: Learning To Navigate Subgraph Embeddings for Large-Scale Combinatorial Optimisation
University of Warwick（华威大学）
组合优化问题出现在几个应用领域中，并且通常用图来表示。这些问题中有许多是NP难的，但并不总是需要精确的解决方案。已经开发了几种算法来提供接近最优的解决方案;然而，它们通常不能很好地随图的大小扩展。我们提出了一种低复杂度的方法，用于识别原始图的子图（可能小得多），其中，可以在合理的时间内运行，并且很有可能找到全局接近最优的解决方案。我们的方法的核心组件是LeNSE，这是一种强化学习算法，它学习如何使用欧几里得子图嵌入作为其映射来导航可能的子图空间。为了解决CO问题，LeNSE提供了一个判别式嵌入，该嵌入使用任何现有的算法进行训练，仅使用原始图的一小部分。当测试的三个问题（顶点覆盖，最大切割和影响最大化）使用真正的图形与多达$10$万边，LeNSE确定小的子图产生的解决方案，通过运行在整个图形上的算法，但在一小部分的总运行时间。
2022-05-20 cs.AI cs.LG
ML-Guided Primal Heuristics for Mixed Binary Quadratic Programs
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出基于机器学习的混合二元二次规划求解启发式方法，通过改进神经网络架构和损失函数，提升求解效率和泛化能力。
2026-07-07 cs.LG math.OC
HeuriGym: An Agentic Benchmark for LLM-Crafted Heuristics in Combinatorial Optimization
Cornell University（康奈尔大学）；Harvard University（哈佛大学）；NVIDIA（英伟达）
HeuriGym是一个用于评估LLM生成启发式算法的代理基准，通过代码执行反馈和迭代改进，揭示了LLM在组合优化中的局限性。
2026-01-28 cs.AI cs.CL cs.LG
Graph neural networks and the energetic cavity method for combinatorial optimization
University of Cambridge（剑桥大学）
本研究通过将平均场启发式融入图神经网络，提升其求解伊辛模型基态的性能，但发现同等计算成本下模拟退火仍具竞争力。
2026-09-09 cond-mat.dis-nn cs.LG
The Transformer Network for the Traveling Salesman Problem
School of Computer Science and Engineering（计算机科学与工程学院）；NTU, Singapore（新加坡南洋理工大学）；Department of Mathematics（数学系）；Loyola Marymount University（洛约拉马利蒙特大学）
旅行商问题（TSP）是最流行和研究最多的组合问题，始于1951年的冯·诺依曼。它推动了几种优化技术的发现，如切割平面，分支定界，局部搜索，拉格朗日松弛和模拟退火。在过去的五年里，出现了一些有前途的技术，其中（图）神经网络已经能够学习新的组合算法。主要的问题是，深度学习是否可以从数据中学习更好的算法，即取代人类工程算法？这很有吸引力，因为开发有效解决NP难题的算法可能需要多年的研究，而许多工业问题本质上是组合的。在这项工作中，我们建议适应最近成功的Transformer架构最初开发的自然语言处理的组合TSP。训练通过强化学习完成，因此没有TSP训练解决方案，并且解码使用束搜索。我们报告了最近学到的改进性能，TSP 50的最佳差距为0.004%，TSP 100的最佳差距为0.39%。
2021-03-04 cs.LG
Enhancing Column Generation by Reinforcement Learning-Based Hyper-Heuristic for Vehicle Routing and Scheduling Problems
University of Science and Technology of China（中国科学技术大学）；JD EXPLORE ACADEMY（京东探索研究院）
提出基于强化学习的超启发式框架RLHH嵌入列生成中，通过选择低级启发式构建缩减网络加速收敛，在VRPTW和BDSP上分别降低最多27.9%和15.4%的总成本，是首个在解质量上超越传统方法的RL-based CG方法。
2023-10-15 cs.LG
Solving Dynamic Graph Problems with Multi-Attention Deep Reinforcement Learning
University of Melbourne（墨尔本大学）
图问题（例如旅行推销员问题或寻找最小斯坦纳树）在数据工程和计算机科学中得到了广泛的研究和应用。通常，在现实世界的应用中，图的特征往往会随着时间的推移而变化，因此，找到问题的解决方案变得具有挑战性。许多图问题的动态版本是交通、电信和社交网络中大量现实问题的关键。近年来，使用深度学习技术来寻找NP难图组合问题的启发式解决方案已经引起了人们的极大兴趣，因为这些学习的启发式可以有效地找到接近最优的解决方案。然而，大多数现有的学习算法的方法集中在静态图的问题。图的动态特性使得NP难问题的学习更具挑战性，现有的方法无法找到合理的解决方案。在本文中，我们提出了一种新的架构命名为图时间注意力与强化学习（GTA-RL）学习启发式解决方案的基于图的动态组合优化问题。GTA-RL架构由能够嵌入组合问题实例的时间特征的编码器和能够动态关注嵌入特征以找到给定组合问题实例的解决方案的解码器组成。然后，我们扩展我们的体系结构，学习算法的实时版本的组合优化问题，一个问题的所有输入功能是不知道的先验，而是学习实时。我们对几个国家的最先进的学习为基础的算法和最优解算器的实验结果表明，我们的方法优于国家的最先进的学习为基础的方法的有效性和最优解算器的效率方面的动态和实时图组合优化。
2022-01-13 cs.AI cs.LG
Learning Heuristics over Large Graphs via Deep Reinforcement Learning
Indian Institute of Technology Delhi（德里印度理工学院）；Northwestern University（西北大学）；University of California Santa Barbara（加州大学圣巴巴拉分校）
通过机器学习发现图上的组合问题的算法的兴趣越来越大。虽然现有技术主要集中在获得高质量的解决方案上，但数十亿大小的图的可扩展性尚未得到充分解决。此外，许多实际场景所需的约束条件的影响仍有待研究。在本文中，我们提出了一个称为GCOMB的框架来弥合这些差距。GCOMB训练一个图卷积网络（GCN）使用一种新的概率贪婪机制来预测一个节点的质量。为了进一步促进问题的组合性质，GCOMB利用Q学习框架，这是通过重要性采样的效率。我们在真实的图上进行了大量的实验，以衡量GCOMB的效率和功效。我们的研究结果表明，GCOMB是100倍的速度和质量略好于国家的最先进的学习组合算法的算法。通过对实际组合问题影响力最大化（IM）的实例分析表明，GCOMB算法在性能相近的情况下，比专用IM算法IMM快150倍.
2020-12-03 cs.AI cs.LG stat.ML
An Amortized Efficiency Threshold for Comparing Neural and Heuristic Solvers in Combinatorial Optimization
Univ. Artois（阿劳斯大学）
本文研究了神经求解器在组合优化中的能耗问题，提出平均效率阈值框架，通过实验显示神经求解器在部署量超过阈值后能耗低于启发式方法，提供了新的评估方法。
2026-05-15 cs.AI cs.LG cs.NE
Constrained Combinatorial Optimization with Reinforcement Learning
University of the Basque Country（巴斯克大学）；Lehigh University（理海大学）
本文提出了一种使用深度强化学习（RL）解决约束组合优化问题的框架。为此，我们扩展了神经组合优化（NCO）理论，以处理其制定的约束。值得注意的是，我们建议定义约束组合问题作为完全可观察的约束马尔可夫决策过程（CMDP）。在该上下文中，基于与环境的交互迭代地构造解决方案。该模型，除了奖励信号，依赖于从约束不满产生的惩罚信号来推断作为启发式算法的政策。此外，在优化过程中访问完整的状态表示允许我们依赖于无内存架构，增强了以前的序列到序列方法中获得的结果。约束车间和资源分配问题进行的实验证明了计算快速解决方案的建议相比，经典的启发式，元启发式，约束编程（CP）求解器的优越性。
2020-06-22 cs.LG stat.ML
Simulation-guided Beam Search for Neural Combinatorial Optimization
Samsung SDS（三星SDS）；Bielefeld University（比勒费尔德大学）
组合优化（CO）的神经方法配备了一个学习机制，以发现解决复杂现实世界问题的强大算法。虽然能够在Single Shot中获得高质量解决方案的神经方法正在出现，但最先进的方法通常无法充分利用可用的求解时间。相比之下，手工构造的算法可以很好地执行高效搜索，并利用给定的计算时间，但包含难以适应正在求解的数据集的算法。为了给神经CO方法提供一个强大的搜索过程，我们提出了模拟引导的束搜索（SGBS），它在一个固定宽度的树搜索中检查候选解决方案，神经网络学习的策略和模拟（推出）识别为有前途的。我们进一步杂交SGBS与有效的主动搜索（EAS），其中SGBS提高了EAS中反向传播的解决方案的质量，EAS提高了SGBS中使用的政策的质量。我们评估我们的方法在著名的CO基准测试，并表明SGBS显着提高了合理的运行时间假设下找到的解决方案的质量。
2022-11-17 cs.AI cs.LG
Unveiling the Limits of Learned Local Search Heuristics: Are You the Mightiest of the Meek?
Texas A&M University（德克萨斯A&M大学）
本文揭示学习型局部搜索启发式评估中的三大局限，并通过实验证明基于禁忌搜索的简单学习型启发式在性能和泛化性上超越现有SOTA方法，挑战了该领域的普遍假设。
2023-10-30 cs.AI cs.LG
Reply to: Inability of a graph neural network heuristic to outperform greedy algorithms in solving combinatorial optimization problems
Amazon Quantum Solutions Lab（亚马逊量子解决方案实验室）；AWS Center for Quantum Computing（AWS量子计算中心）
我们对Stefan Boettcher [arXiv：2210.00623]撰写的评论提供了全面的回复，并认为该评论挑出了一个特定的非代表性示例问题，完全集中在稀疏图上的最大割问题（MaxCut）上，预计贪心算法将表现良好。相反，我们强调了我们原始工作背后更广泛的算法开发，并（在我们原始的框架内）提供了额外的数值结果，显示了我们原始数据的显著改进，从而反驳了评论的原始性能陈述。此外，已经证明物理启发的图神经网络（PI-GNN）可以胜过贪心算法，特别是在硬的、密集的实例上。我们还认为，图神经网络的内部（并行）解剖是非常不同的贪心算法的（顺序）性质，并（基于他们的使用在现实世界的社交网络的规模）指出，图神经网络已经证明了他们的潜力，优越的可扩展性相比，现有的算法，如极值优化。最后，我们得出结论，强调我们的工作的概念新颖性，并概述了一些潜在的扩展。
2023-02-03 cond-mat.dis-nn cs.AI cs.LG
Moco: A Learnable Meta Optimizer for Combinatorial Optimization
Institute of Computer Science, University of Hildesheim（计算机科学研究所，希尔德斯海姆大学）
针对组合优化问题推理时难以基于已构造解优化的局限，提出完全可学习的元优化器Moco，通过热图引导的轻量构造流程与状态特征驱动的参数更新实现优化，在TSP和MIS上性能优于同类热图方法。
2025-09-04 cs.LG
Heuristics for Combinatorial Optimization via Value-based Reinforcement Learning: A Unified Framework and Analysis
IBM Research（IBM研究院）；Technion – Israel Institute of Technology（以色列理工学院）
本文提出统一框架，通过马尔可夫决策过程建模组合优化问题，并利用价值强化学习技术解决，提供收敛分析和最优性保证。
2026-01-19 cs.LG math.OC stat.ML
A Bi-Level Framework for Learning to Solve Combinatorial Optimization on Graphs
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
组合优化是一个长期存在的具有挑战性的研究课题，其特点是NP难。传统上，这类问题近似求解的启发式算法，通常是快速的，但可能会牺牲解决方案的质量。目前，面向组合优化的机器学习（MLCO）已成为一个热门的研究课题，但现有的大多数MLCO方法都是通过直接学习端到端的解来进行单级优化，难以扩展，并且由于CO的高复杂性，大多受到ML模型容量的限制。其中，开发了具有上层学习方法的双层框架以优化图（例如，添加、删除或修改图中的边），该上层学习方法与在优化图上求解的下层启发式算法融合。这种双层方法简化了对原始硬CO的学习，并且可以有效地减轻对模型容量的需求。在有向无环图调度、图编辑距离和汉密尔顿循环问题等几个流行的协同优化问题上的实验和结果表明，它比手动设计的启发式算法和单级学习方法更有效。
2021-10-25 cs.LG math.CO
Multi-objective Pointer Network for Combinatorial Optimization
Anhui University（安徽大学）；National University of Defense Technology（国防科技大学）
多目标组合优化问题是一类复杂优化问题，广泛存在于各种实际应用中。虽然元算法已经成功地应用于解决MOCOP问题，但计算时间往往要长得多。最近，已经提出了许多深度强化学习（DRL）方法来生成组合优化问题的近似最优解。然而，现有的研究DRL很少集中在MOCOPs。该研究提出了一种单模型深度强化学习框架，称为多目标指针网络（MOPN），其中PN的输入结构得到有效改进，使得单个PN能够解决MOCOPs。此外，分别提出了基于代表模型和迁移学习的两种训练策略，以进一步提高MOPN在不同应用场景下的性能。此外，与经典的元分析相比，MOPN只消耗更少的时间在向前传播，以获得帕累托前沿。同时，MOPN对问题规模不敏感，这意味着经过训练的MOPN能够解决具有不同规模的MOCOP。为了验证MOPN的性能，进行了广泛的实验上的三个多目标旅行商问题，与一个国家的最先进的模型DRL-MOA和三个经典的多目标元算法进行比较。实验结果表明，该模型的训练时间仅为DRL MOA训练时间的20 ~ 40%，性能优于所有比较方法.
2022-04-25 cs.AI cs.LG
Graph Neural Networks are Heuristics
Department of Computer Science（计算机科学系）；Cornell University（康奈尔大学）；Ithaca, NY, USA（纽约州伊萨卡市）
研究表明图神经网络在组合优化中辅助角色非固有，可自身作启发式算法。以欧几里得旅行商问题为例，训练无标签等的非自回归图神经网络，仅用可微哈密顿循环目标监督，模型能快速生成完整路线且多样，优于贪心基线。
2026-07-07 cs.AI cs.LG
Deep Reinforcement Learning for Exact Combinatorial Optimization: Learning to Branch
University of Alberta（阿尔伯塔大学）；Huawei Technologies Canada Co., Ltd.（华为技术加拿大有限公司）
分支定界法是求解组合优化的一种系统枚举方法，其性能高度依赖于变量选择策略。最先进的手工制作的启发式策略遭受每个选择的相对较慢的推理时间，而当前的机器学习方法需要大量的标记数据。提出了一种基于强化学习（RL）范式的组合优化中数据标记和推理延迟问题的解决方法。我们使用模仿学习来引导RL代理，然后使用近端策略优化（PPO）来进一步探索全局最优动作。然后，使用价值网络运行蒙特卡罗树搜索（MCTS）来增强策略网络。我们评估了我们的方法在四个不同类别的组合优化问题的性能，并表明我们的方法相比，最先进的机器学习和基于数学的方法表现强劲。
2022-06-14 cs.AI cs.LG cs.RO
Graph Convolutional Policy for Solving Tree Decomposition via Reinforcement Learning Heuristics
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
我们提出了一个基于强化学习的方法来近似解决树分解（TD）问题。TD是一个组合问题，它是分析图的次结构和计算复杂性的核心，也是概率推理、寄存器分配和其他实际任务算法的核心。最近，它已被证明，组合问题可以成功地解决学习算法。然而，大多数现有的作品不解决的问题，基于学习的解决方案的泛化。我们的模型是基于图卷积神经网络（GCN）的学习图形表示。我们表明，智能体构建在GCN上，并使用Actor-Critic方法在单个图上进行训练，可以有效地推广到现实世界的TD问题实例。我们确定，我们的方法成功地推广从小图，TD可以找到精确的算法，大的实际利益的情况下，同时仍然具有非常低的时间解决方案。另一方面，基于代理的方法通过解决方案的质量超越了所有贪婪算法。
2020-02-20 cs.LG stat.ML
Approximation Ratios of Graph Neural Networks for Combinatorial Problems
Kyoto University（京都大学）；RIKEN AIP（理化学研究所人工智能中心）
在本文中，从理论的角度来看，我们研究如何强大的图神经网络（GNNs）可以学习组合问题的近似算法。为此，我们首先建立了一类新的GNN，它可以解决比现有GNN更广泛的问题。然后，我们弥合了GNN理论和分布式局部算法理论之间的差距。我们从理论上证明了最强大的GNN可以学习近似算法的最小支配集问题和最小顶点覆盖问题的一些近似比的分布式局部算法的理论的帮助。我们还表明，大多数现有的GNN，如GIN，GAT，GCN和GraphSAGE不能比这些比率更好地执行。本文是第一个阐明的GNNs的组合问题的逼近比。此外，我们证明了添加着色或弱着色到每个节点的功能，提高这些近似比。这表明预处理和特征工程理论上增强了模型的能力。
2019-11-08 cs.LG stat.ML
Planning in Branch-and-Bound: Model-Based Reinforcement Learning for Exact Combinatorial Optimization
本文提出PlanB&B，一种基于模型的强化学习方法，用于改进分支定界中的分支策略，通过在四个标准MILP基准上优于现有方法的实验验证其有效性。
2026-04-02 cs.LG
Reinforcement Learning-based Heuristics to Guide Domain-Independent Dynamic Programming
University of Toronto（多伦多大学）；National Institute of Informatics（日本信息处理学会）
针对DIDP依赖用户定义对偶界的问题，提出用DQN价值引导和PPO策略引导学习搜索启发式，在相同节点扩展下显著优于标准DIDP及贪婪方法。
2025-05-13 cs.AI cs.LG
Neural Algorithmic Reasoning for Combinatorial Optimisation
University of Cambridge（剑桥大学）；Università di Pisa（比萨大学）
本文提出利用神经算法推理改进组合优化问题的学习，通过在训练模型求解CO实例前先基于相关算法进行预训练，使模型超越未利用算法信息的深度学习模型，实现更优性能。
2024-02-13 cs.LG cs.NE
The Combinatorial Brain Surgeon: Pruning Weights That Cancel One Another in Neural Networks
University of Utah（犹他大学）；Bucknell University（巴克内尔大学）；Google Research（谷歌研究院）
如果神经网络更大，那么它们在训练时往往会达到更好的准确性--即使最终的模型是过度参数化的。然而，在训练之前、期间或之后小心地去除这些多余的参数也可以产生具有类似甚至更高精度的模型。在许多情况下，奇怪的是，这可以通过简单的删除具有最小绝对值的权重的百分比来实现-即使幅度不是权重相关性的完美代理。在从修剪中获得显着更好的性能取决于考虑去除多个权重的组合效果的前提下，我们重新审视了基于影响的修剪的经典方法之一：最佳脑外科医生（OBS）。我们提出了一个易于处理的启发式解决的组合扩展的OBS，在其中我们选择的权重同时删除，以及系统更新的剩余权重。我们的选择方法在高稀疏性下优于其他方法，并且即使与其他方法结合，权重更新也是有利的。
2022-06-19 cs.CV cs.LG
Learning Combinatorial Optimization Algorithms over Graphs
Georgia Institute of Technology（佐治亚理工学院）；Ant Financial（蚂蚁金融）
为NP难的组合优化问题设计好的算法或近似算法通常需要大量的专业知识和试错。我们能不能自动化这个具有挑战性的，乏味的过程，并学习算法？在许多现实世界的应用中，通常情况下，同一个优化问题会被一次又一次地定期求解，保持相同的问题结构，但数据不同。这提供了一个机会，学习启发式算法，利用这种反复出现的问题的结构。在本文中，我们提出了强化学习和图嵌入的独特组合来应对这一挑战。学习的贪婪策略表现得像一个增量构造解决方案的元算法，并且动作由捕获解决方案的当前状态的图嵌入网络的输出确定。我们表明，我们的框架可以应用于各种各样的优化问题的图，并学习有效的算法的最小顶点覆盖，最大割和旅行商的问题。
2018-02-21 cs.LG stat.ML
Data-driven Prediction of Relevant Scenarios for Robust Combinatorial Optimization
University of Siegen（锡根大学）；University of Amsterdam（阿姆斯特丹大学）
研究了离散不确定性组合最优化问题的迭代法。我们提出了一种基于机器学习的启发式方法来确定提供强下界的起始场景。为此，我们设计维度无关的功能和训练随机森林分类器上的小尺寸的情况下。实验表明，我们的方法提高了解决方案的过程中包含在训练集中的更大的实例，也提供了一个功能的重要性分数，让洞察场景属性的作用。
2022-12-23 cs.LG math.OC
SOLO: Search Online, Learn Offline for Combinatorial Optimization Problems
Bosch Center for AI（博世人工智能中心）；Technion – Israel Institute of Technology（以色列理工学院）
我们研究现实世界应用中的组合问题，例如机器调度、路线和分配。我们提出了一种结合强化学习（RL）和规划的方法。该方法同样可以应用于组合问题的离线以及在线变体，其中问题组件（例如，调度问题中的作业）不是事先知道的，而是在决策过程中到达的。我们的解决方案是相当通用的，可扩展的，并利用分布式知识的问题参数。我们将解决方案过程构建为MDP，并采用深度Q学习方法，其中状态表示为图形，从而允许我们训练的策略以原则性的方式处理任意变化。虽然学习策略在预期中工作良好，但在组合设置中，小的偏差可能会产生实质性的负面影响。我们通过在兼容的搜索算法蒙特卡罗树搜索中采用我们的图卷积策略作为非最优策略来减轻这些缺点，以显着提高整体性能。我们证明了我们的方法上的两个问题：机器调度和容量限制的车辆路径。我们表明，我们的方法在计算时间和性能方面都优于定制的数学求解器，最先进的基于学习的算法和常见的算法。
2021-05-18 cs.LG math.OC
Structure As Search: Unsupervised Permutation Learning for Combinatorial Optimization
Cornell University（康奈尔大学）
提出非自回归无监督排列学习框架，直接学习排列矩阵解决旅行商问题，无需显式搜索，性能媲美经典启发式，证明神经网络可捕获组合结构。
2025-09-24 cs.AI cs.LG
Combinatorial Learning of Graph Edit Distance via Dynamic Embedding
Shanghai Jiao Tong University（上海交通大学）；Arizona State University（亚利桑那州立大学）
图编辑距离（Graph Edit Distance，GED）是一种常用的两两图的相似性度量，它也指从源图到目标图的编辑路径的恢复。传统的A* 算法由于其穷举性质而存在可扩展性问题，其搜索算法严重依赖于人类的先验知识。本文提出了一种混合方法，通过结合传统的基于搜索的技术的可解释性，用于产生编辑路径，以及深度嵌入模型的效率和自适应性，以实现具有成本效益的GED求解器。受动态规划的启发，节点级嵌入以动态重用的方式指定，并鼓励修剪次优分支。为此，我们的方法可以很容易地集成到A* 过程中的一个动态的方式，以及显着减少计算负担与学习的启发式。在不同的图数据集上的实验结果表明，我们的方法可以显着简化A* 的搜索过程，而不会牺牲太多的准确性。据我们所知，这项工作也是第一个基于深度学习的GED方法，用于恢复编辑路径。
2020-12-01 cs.LG
Learning Differentiable Programs with Admissible Neural Heuristics
UC Berkeley（加州大学伯克利分校）；Caltech（加州理工学院）；UT Austin（德克萨斯大学奥斯汀分校）
我们研究的问题，学习微分函数表示为程序在特定领域的语言。这样的编程模型可以提供诸如可组合性和可解释性的好处;然而，学习它们需要在程序“架构”的组合空间上进行优化。我们将此优化问题视为加权图中的搜索，其路径编码程序语法的自上而下的派生。我们的主要创新是将各种类型的神经网络视为程序空间上的连续松弛，然后可以用于完成任何部分程序。这种放松的程序是可微的，可以端到端地训练，并且由此产生的训练损失是可以指导组合搜索的近似可容许启发式。我们实例化我们的方法上的A-star算法和迭代深化的分支定界搜索，并使用这些算法来学习程序分类器在三个序列分类任务。我们的实验表明，这些算法的性能优于最先进的程序学习方法，并且它们发现了产生自然解释并实现有竞争力的准确性的程序分类器。
2021-03-28 cs.AI cs.LG cs.PL
Combinatorial Optimization with Graph Convolutional Networks and Guided Tree Search
Intel Labs（英特尔实验室）；HKUST（香港科技大学）
我们提出了一种基于学习的方法来计算某些NP难问题的解决方案。我们的方法结合了深度学习技术和经典算法中有用的算法元素。中心组件是一个图卷积网络，它被训练来估计图中每个顶点是否是最优解的一部分的可能性。该网络的设计和训练是为了合成一组不同的解决方案，从而通过树搜索快速探索解决方案空间。所提出的方法进行了评估，在四个典型的NP难问题和五个数据集，其中包括基准可满足性问题和真正的社会网络图与多达十万个节点。实验结果表明，所提出的方法大大优于最近的深度学习工作，并表现出与高度优化的最先进的启发式求解器的一些NP难问题。实验表明，我们的方法可以在数据集上进行推广，并且可以扩展到比训练过程中使用的图形大几个数量级的图形。
2018-10-25 cs.AI cs.LG stat.ML
Accelerating Exact Combinatorial Optimization via RL-based Initialization -- A Case Study in Scheduling
University of Utah（犹他大学）
针对数据流图调度这一NP难问题，提出两阶段RL到ILP的调度框架，结合RL粗粒度调度、解松弛与ILP精确求解，在保证最优性的同时实现最高128倍加速，性能优于商用EdgeTPU编译器。
2023-08-19 cs.AR cs.LG
Natural evolution strategies and variational Monte Carlo
University of Michigan（密歇根大学）；EPFL（洛桑联邦理工学院）；Flatiron Institute（弗莱提伦研究所）
量子自然进化策略的概念被引入，它提供了一个几何合成的一些已知的量子/经典算法进行经典的黑箱优化。Gomes等人最近的工作。[2019]在这种情况下，从教学角度回顾了使用神经量子态的启发式组合优化，强调了与自然进化策略的联系。算法框架的说明近似组合优化问题，并发现一个系统的战略，以提高近似比。特别是它被发现，自然进化策略可以实现近似比竞争力与广泛使用的启发式算法的最大切割，在增加计算时间的代价。
2020-11-20 cond-mat.dis-nn cs.LG quant-ph
Curriculum learning for multilevel budgeted combinatorial problems
CIRRELT（企业网络、物流与运输跨大学研究中心）；Université de Montréal（蒙特利尔大学）
针对图上两人零和的多层级预算组合优化问题，提出基于价值的多智能体强化学习与预算递增课程训练方法，在百节点图上接近最优，并较最快精确求解器平均加速185倍。
2020-10-26 cs.GT cs.LG stat.ML
MIP-GNN: A Data-Driven Framework for Guiding Combinatorial Solvers
University of Toronto（多伦多大学）；Mila – Quebec AI Institute（Mila-魁北克人工智能研究所）；McGill University（麦吉尔大学）；RWTH Aachen University（亚琛工业大学）；Jacobs Technion-Cornell Institute（雅各布斯特里昂-康奈尔研究所）；Cornell Tech（康奈尔理工学院）；Technion – IIT（以色列理工学院）
混合整数规划（MIP）技术提供了一种通用的方式制定和解决组合优化问题。虽然通常是可靠的，但最先进的MIP求解器将许多关键决策建立在手工制作的算法上，在很大程度上忽略了感兴趣问题的给定实例分布中的常见模式。在这里，我们提出了MIP-GNN，这是一个通用框架，用于通过数据驱动的见解来增强此类求解器。通过将给定混合整数线性规划（MILP）的变量约束交互编码为二分图，我们利用最先进的图神经网络架构来预测变量偏差，即，（近）最优解的分量平均值，指示变量在二进制MILP的（近）最优解中被设置为0或1的可能性。反过来，来自单个、一次训练的模型的预测偏差用于指导求解器，取代启发式组件。我们将MIP-GNN集成到最先进的MIP求解器中，将其应用于节点选择和热启动等任务，与两类具有挑战性的二进制MILP上的求解器默认设置相比，显示出显着的改进。
2022-05-27 cs.LG cs.NE math.OC
