Physics-constrained Unsupervised Learning of Partial Differential Equations using Meshes
ETH Zurich(苏黎世联邦理工学院)
用物理方程的知识增强神经网络已经成为解决从流体流动到电磁学的各种物理问题的有效方法。图神经网络在准确表示不规则网格对象和学习它们的动态方面显示出希望,但到目前为止需要通过大型数据集进行监督。在这项工作中,我们将网格自然地表示为图形,使用图形网络处理这些网格,并制定基于物理的损失,为偏微分方程(PDE)提供一个无监督学习框架。我们定量比较我们的结果,一个经典的数值偏微分方程求解器,并表明,我们的计算效率的方法可以用作一个交互式偏微分方程求解器,实时调整边界条件,并保持足够接近的基线解决方案。我们固有的可微框架将使PDE求解器能够在交互式设置中应用,例如基于模型的软体变形控制,或需要完全可微管道的基于梯度的优化方法。
2022-03-30 cs.LG
CycleFormer : TSP Solver Based on Language Modeling
针对TSP节点集合动态无限的特点,提出融合二维位置编码、循环位置编码及编解码器特殊连接方式的CycleFormer模型,在多规模TSP上性能超越现有SOTA,TSP-500最优性差距缩小约2.8倍。
2024-10-05 cs.LG
Improving Generalization of Deep Reinforcement Learning-based TSP Solvers
Shanghai Jiao Tong University(上海交通大学);University of Michigan(密歇根大学)
最近的工作应用深度强化学习(DRL)来解决旅行商问题(TSP)已经表明,基于DRL的求解器可以快速且具有竞争力的小实例TSP算法,但不能很好地推广到较大的实例。在这项工作中,我们提出了一种名为MAGIC的新方法,其中包括一个深度学习架构和DRL训练方法。我们的架构,它集成了一个多层感知器,一个图神经网络,和一个注意力模型,定义了一个随机的政策,顺序生成一个TSP解决方案。我们的训练方法包括几个创新:(1)我们将DRL策略梯度更新与局部搜索(使用新的局部搜索技术)交织在一起,(2)我们使用新的简单基线,(3)我们应用课程学习。最后,我们的经验表明,MAGIC是优于其他基于DRL的方法随机TSP的情况下,无论是在性能和推广。此外,我们的方法相比有利的TSP算法和其他国家的最先进的方法在性能和计算时间。
2021-10-06 cs.AI cs.LG
Graph Neural Networks are Heuristics
Department of Computer Science(计算机科学系);Cornell University(康奈尔大学);Ithaca, NY, USA(纽约州伊萨卡市)
研究表明图神经网络在组合优化中辅助角色非固有,可自身作启发式算法。以欧几里得旅行商问题为例,训练无标签等的非自回归图神经网络,仅用可微哈密顿循环目标监督,模型能快速生成完整路线且多样,优于贪心基线。
2026-07-07 cs.AI cs.LG
Neural combinatorial optimization beyond the TSP: Existing architectures under-represent graph structure
Huawei Technologies France SASU(华为技术法国公司);Politecnico di Torino(都灵理工大学)
近年来,强化学习与图神经网络(GNN)架构相结合,可以学习解决困难的组合优化问题:给定原始输入数据和评估器来指导过程,其想法是自动学习能够返回可行和高质量输出的策略。最近的工作已经显示出有前途的结果,但后者主要是评估旅行推销员问题(TSP)和类似的抽象变体,如拆分交付车辆路径问题(SDVRP)。在本文中,我们分析了最近的神经架构如何以及是否可以应用于具有实际意义的图形问题。因此,我们开始系统地将这些架构“转移”到功率和信道分配问题(PCAP),该问题对于例如以下具有实际意义:无线网络中的无线电资源分配。我们的实验结果表明,现有的架构(i)仍然无法捕捉图的结构特征和(ii)是不适合的问题,图上的动作改变图的属性。在一个积极的方面,我们表明,用距离编码增强问题的结构表示是朝着学习多用途自主求解器这一雄心勃勃的目标迈出的有希望的一步。
2022-01-03 cs.AI cs.LG cs.NI
LocalEscaper: A Weakly-supervised Framework with Regional Reconstruction for Scalable Neural TSP Solvers
School of Computer Science, Huazhong University of Science and Technology, China(华中科技大学计算机学院);Department of Computer Science, Cornell University, United States(康奈尔大学计算机系)
针对神经TSP求解器中SL依赖高质量标注与RL效率低的问题,提出弱监督框架LocalEscaper,结合SL与RL优势在低质量标签上训练,并引入区域重建策略缓解局部最优问题,显著提升求解质量。
2025-09-17 cs.AI cs.LG
Beyond the Heatmap: A Rigorous Evaluation of Component Impact in MCTS-Based TSP Solvers
School of Data Science, The Chinese University of Hong Kong, Shenzhen, China(数据科学学院,香港中文大学(深圳));Shenzhen Research Institute of Big Data, Shenzhen, China(深圳大数据研究院)
该研究针对“热图+MCTS”求解TSP的范式,通过多场景实证发现MCTS配置对性能影响显著,基础无参数热图搭配调优MCTS可媲美复杂学习热图,并提出标准化调参流程,挑战了热图复杂度决定性能的固有认知。
2025-05-16 cs.LG
DIFUSCO: Graph-based Diffusion Solvers for Combinatorial Optimization
Carnegie Mellon University(卡内基梅隆大学)
本文提出基于图的扩散框架DIFUSCO,将NPC问题建模为离散向量优化问题,利用高斯和伯努利去噪扩散模型生成高质量解,在TSP和MIS上显著超越先前神经求解器。
2023-12-02 cs.LG
Purity Law for Generalizable Neural TSP Solvers
针对神经 TSP 求解器跨规模与分布泛化难题,论文发现最优解的 PuLa 结构规律,并提出 PUPO 训练范式,在不增加推理开销的情况下提升主流求解器泛化性能。
2025-05-10 cs.AI cs.LG
Learning-Based TSP-Solvers Tend to Be Overly Greedy
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);School of Mathematics Sciences, University of Chinese Academy of Sciences(中国科学院大学数学科学学院)
本研究通过构建最近邻密度统计度量,揭示了基于学习的TSP求解器过于贪婪的局限性,并开发了可解释的数据增强方法以提升其OOD泛化能力。
2025-02-02 cs.AI cs.DS cs.LG
An Unsupervised Learning Framework Combined with Heuristics for the Maximum Minimal Cut Problem
Harbin Institute of Technology(哈尔滨工业大学)
针对最大最小割这一NP难组合优化问题缺乏关注且无标注下机器学习求解困难的问题,提出结合启发式的无监督学习框架,通过图神经网络参数化解、启发式树变换修复解,在保证解一致的同时简化图提速,实验验证其优于现有两种技术。
2024-08-16 cs.AI cs.LG
GeoRouteNet: A Geometry-Aware Non-Autoregressive Neural Solver for the Euclidean Traveling Salesman Problem
College of Computer Science, Yangtze University(长江大学计算机科学学院)
提出GeoRouteNet,通过几何增强编码和多候选自比较强化学习,在TSP问题上实现跨尺度泛化,TSP50最优性差距0.32%,TSP100为1.26%,TSPLIB实例差距降至3.60%。
2026-07-20 cs.AI cs.LG
Hierarchical Neural Constructive Solver for Real-world TSP Scenarios
Grabtaxi Holdings Pte Ltd(GrabTaxi控股有限公司);National University of Singapore(新加坡国立大学);Singapore Management University(新加坡管理大学)
本文针对真实工业TSP场景,提出融合Hypernetworks启发选择层与EM启发聚类算法的分层神经构造求解器,通过局部邻域与中间节点表示学习显著提升求解性能。
2024-08-07 cs.AI cs.LG
Learning to Solve Travelling Salesman Problem with Hardness-adaptive Curriculum
Tsinghua University(清华大学)
已经提出了各种神经网络模型来解决组合优化问题,例如旅行商问题(TSP)。现有的基于学习的TSP方法采用简单的设置,即训练和测试数据是独立同分布的。然而,现有的文献未能解决TSP的情况下,训练和测试数据具有不同的分布。具体地说,我们发现不同的训练和测试分布将导致更困难的TSP实例,即,模型得到的解与最优解有较大差距。为了解决这个问题,在这项工作中,我们研究了基于学习的TSP方法时,训练和测试数据具有不同的分布使用自适应硬度,即,TSP实例对于求解器来说有多困难。这个问题是具有挑战性的,因为它是不平凡的(1)定量定义硬度测量;(2)在模型训练时有效地和连续地生成足够硬的TSP实例;(3)充分利用具有不同硬度水平的实例来学习更强大的TSP求解器。为了解决这些挑战,我们首先提出了一个原则性的硬度测量来量化TSP实例的硬度。然后,我们提出了一个硬度自适应生成器来生成不同硬度的实例。我们进一步提出了一个课程学习者充分利用这些实例训练TSP求解器。实验表明,我们的硬度自适应生成器可以生成的实例比现有的方法难十倍,我们提出的方法实现了显着的改进,最先进的模型在最优性差距。
2022-04-07 cs.AI cs.LG
Assessing and Enhancing Graph Neural Networks for Combinatorial Optimization: Novel Approaches and Application in Maximum Independent Set Problems
Brandeis University(布兰迪斯大学)
本研究针对图神经网络(GNNs)在解决最大独立集(MIS)问题中的有效性进行评估与增强,提出将Schuetz的QUBO无监督方法与监督学习相结合,利用模型预测的节点概率作为初始特征并辅以QUBO改进,从而在非自回归框架下显著提升求解性能。
2024-11-06 cs.LG math.OC
Generative Modeling for Robust Deep Reinforcement Learning on the Traveling Salesman Problem
University of Washington(华盛顿大学)
针对神经网络求解TSP时存在的分布鲁棒性问题,提出COGS方法从生成式TSP模型采样训练数据以提升数据覆盖与插值,并构建TSPLib50数据集,实验证明该方法显著增强了分布鲁棒性,尤其在最坏情况场景下性能提升明显。
2025-08-12 cs.AI cs.LG
ASP: Learn a Universal Neural Solver!
the Chinese University of Hongkong, Shenzhen(香港中文大学(深圳));Carnegie Mellon University(卡内基梅隆大学);Peking University(北京大学)
将机器学习应用于组合优化问题具有提高效率和准确性的潜力。然而,现有的基于学习的求解器在面对问题分布和规模的变化时,往往难以泛化。在本文中,我们提出了一种名为ASP:Adaptive Staircase Policy Space Response Oracle的新方法来解决这些泛化问题并学习通用神经求解器。ASP由两个组件组成:分布式探索,它增强了求解器使用策略空间响应Oracle处理未知分布的能力,以及持久规模适应,它通过课程学习提高了可伸缩性。我们已经在几个具有挑战性的COP上测试了ASP,包括旅行推销员问题,车辆路径问题和奖品收集TSP,以及来自TSPLib和CVRPLib的真实实例。我们的研究结果表明,即使模型大小相同,训练信号较弱,ASP也可以帮助神经求解器探索和适应未知的分布和不同的尺度,从而实现卓越的性能。特别是,与标准训练管道下的相同神经求解器相比,ASP在TSP的生成实例和真实实例上的最优性差距显著降低,分别为90.9%和47.43%,CVRP降低了19%和45.57%。
2023-03-01 cs.AI cs.LG math.OC
Unsupervised Optimal Power Flow Using Graph Neural Networks
Rice University(莱斯大学)
最优潮流(OPF)是一个关键的优化问题,它将功率分配给发电机,以便以最小的成本满足需求。在一般情况下,精确地解决这个问题在计算上是不可行的。在这项工作中,我们建议利用图信号处理和机器学习。更具体地说,我们使用图神经网络来学习所需功率和相应分配之间的非线性参数化。我们以无监督的方式学习解决方案,直接最小化成本。为了考虑到电网的电气约束,我们提出了一种新的障碍方法,是可微的,工作在最初的不可行点。我们通过模拟表明,在这种无监督学习环境中使用GNN可以产生与标准求解器相当的解决方案,同时计算效率高,并且大多数时候避免了违反约束。
2022-10-17 cs.LG cs.SY eess.SP
Boosting Cross-problem Generalization in Diffusion-Based Neural Combinatorial Solver via Inference Time Adaptation
Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程系);Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出DIFU-Ada框架,通过推理时间适应提升基于扩散的神经组合求解器在跨问题和跨尺度上的泛化能力。
2026-03-11 cs.AI cs.LG
An Efficient Diffusion-based Non-Autoregressive Solver for Traveling Salesman Problem
Jilin University(吉林大学);Singapore Management University(新加坡管理大学);Heriot-Watt University(赫瑞瓦特大学);Nanyang Technological University(南洋理工大学)
提出DEITSP,一种高效迭代的非自回归扩散模型,通过一步扩散、双模态图变换器和交替噪声策略,在保持快速推理的同时提升TSP求解质量,实验验证其优越性。
2025-01-23 cs.LG
Unsupervised Diffusion Solver for Combinatorial Optimization via Combinatorial Adjoint Matching
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出组合伴随匹配(CAM)框架,利用离散伴随动力学和随机控制公式,实现无监督训练离散扩散求解器,在多种组合优化问题上达到与监督方法竞争的性能。
2026-06-18 cs.LG
FrontierCO: Real-World and Large-Scale Evaluation of Machine Learning Solvers for Combinatorial Optimization
School of Computer Science, Carnegie Mellon University(计算机科学系,卡内基梅隆大学)
FrontierCO通过现实世界结构和大规模实例评估,揭示了机器学习求解器在组合优化中的性能差距及优势。
2026-03-09 cs.LG
PDP: A General Neural Framework for Learning Constraint Satisfaction Solvers
Microsoft(微软)
最近,人们努力将图神经网络模型用于学习约束满足问题(CSP),特别是布尔可满足性(SAT)的全栈求解器。尽管这些神经嵌入模型具有独特的代表性,但尚不清楚学习模型中的搜索策略实际上是如何工作的。另一方面,通过固定搜索策略(例如贪婪搜索),我们将有效地剥夺神经模型学习比给定策略更好的策略。在本文中,我们提出了一个通用的神经框架学习CSP求解器,可以描述的概率推理,但学习搜索策略超越贪婪搜索。我们的框架基于图形模型中的传播,抽取和预测(因此命名为PDP)的思想,并且可以通过能量最小化以完全无监督的方式直接训练解决CSP,如本文所示。我们的实验结果证明了我们的SAT解决框架的有效性相比,神经和国家的最先进的基线。
2019-03-05 cs.LG cs.LO cs.NE
Probability estimation and structured output prediction for learning preferences in last mile delivery
Vrije Universiteit Brussel(布鲁塞尔自由大学);Universidad de O’Higgins(奥希金斯大学);KU Leuven(鲁汶大学)
我们研究的问题,学习司机和规划者的偏好的背景下,最后一英里交付。给定一个包含历史决策和交付位置的数据集,目标是捕获决策者的隐式偏好。我们考虑两种使用历史数据的方法:一种是通过概率估计方法,学习停止(或区域)之间的转移概率。这是一种快速准确的方法,最近在VRP设置中进行了研究。此外,我们探索使用机器学习来推断如何最好地平衡多个目标,如距离,概率和惩罚。具体来说,我们将学习问题转换为结构化的输出预测问题,其中通过重复调用TSP求解器来完成训练。我们考虑的另一个重要方面是,对于最后一英里交付,每个地址都是潜在的客户端,因此数据非常稀疏。因此,我们提出了一个两阶段的方法,首先学习偏好在区域一级,以计算区域路由,之后,基于惩罚的TSP计算停止路由。结果表明,区域转移概率估计性能良好,结构化输出预测学习可以进一步改善结果。因此,我们展示了概率估计和机器学习的成功组合,同时使用标准TSP求解器,无论是在学习过程中还是在计算最终解时;这意味着该方法适用于其他现实生活中的TSP变体或专有求解器。
2022-01-25 cs.AI cs.LG
Learning the Multiple Traveling Salesmen Problem with Permutation Invariant Pooling Networks
The School of Computer Science(计算机科学学院);Tel Aviv University(特拉维夫大学);Facebook AI Research(脸书人工智能研究院)
虽然有最佳的TSP求解器,以及最近的学习为基础的方法,推广的TSP多个旅行商问题的研究少得多。在这里,我们设计了一个神经网络解决方案,将销售人员,城市和仓库视为三组不同的基数。我们采用了一种新的技术,结合元素,从最近的架构,开发集,以及元素从图形网络。再加上新的约束执行输出层,一个专用的损失,和搜索方法,我们的解决方案被证明优于所有的元算法的领先求解器在该领域。
2019-02-15 cs.LG stat.ML
A First Guess Is Rarely the Final Answer: Learned Local Search That Generalizes to Larger Routing Problems
University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
本文提出NICO-TSP,一种针对TSP的2-opt改进框架,通过两阶段训练提升搜索效率和鲁棒性,优于现有方法。
2026-10-30 cs.AI cs.LG
INViT: A Generalizable Routing Problem Solver with Invariant Nested View Transformer
Joint Institute of Michigan, Shanghai Jiao Tong University(上海交通大学密歇根联合研究院);Duke Kunshan University(昆山杜克大学)
针对路由问题求解器泛化能力不足的问题,本文提出INViT架构,通过编码器内的嵌套设计与不变视图增强泛化,并采用改进策略梯度算法,在TSP和CVRP上取得领先的跨分布与跨规模性能。
2024-05-26 cs.LG
POMO: Policy Optimization with Multiple Optima for Reinforcement Learning
Samsung SDS(三星SDS)
在神经组合优化(CO)中,强化学习(RL)可以将深度神经网络转化为NP难题的快速、强大的启发式求解器。这种方法在实际应用中有很大的潜力,因为它允许接近最优的解决方案,而不需要专家指导与大量的领域知识。我们介绍了多个最优策略优化(POMO),端到端的方法来建立这样一个启发式求解器。POMO适用于广泛的CO问题。它的目的是利用对称性的CO解决方案的表示。POMO使用修改后的REINFORCE算法,强制对所有最佳解决方案进行不同的部署。从经验上讲,POMO的低方差基线使RL训练快速而稳定,与以前的方法相比,它更能抵抗局部极小值。我们还介绍了一个新的增广推理方法,伴随POMO很好。我们证明了POMO的有效性,通过解决三个流行的NP难问题,即旅行商(TSP),有能力的车辆路径(CVRP),和0-1背包(KP)。对于所有这三个,我们的求解器的基础上POMO表现出显着的性能改善,所有最近学到的算法。特别是,我们使用TSP 100实现了0.14%的最优性差距,同时将推理时间减少了一个数量级以上。
2021-07-13 cs.LG
Learning to Optimise General TSP Instances
旅行商问题(TSP)是一个经典的组合优化问题。深度学习已成功扩展到元学习,其中之前的解决工作有助于学习如何优化未来的优化实例。近年来,学习优化方法在解决TSP问题方面取得了成功。然而,他们专注于一种类型的TSP问题,即点均匀分布在欧几里得空间中的问题,并且在推广到其他嵌入空间时存在问题,例如,球形距离空间,以及点以非均匀方式分布的TSP实例。学习优化的一个目的是训练一次,并解决广泛的(TSP)问题。虽然监督学习方法已经显示出比无监督方法实现更优的解决方案,但是它们确实需要生成训练数据并运行求解器以获得要学习的解决方案,这可能是耗时的并且难以为较难的TSP实例找到合理的解决方案。因此,本文介绍了一种新的学习为基础的方法来解决各种不同的和常见的TSP问题,训练更容易的情况下,更快的训练,更容易获得更好的解决方案。我们将这种方法命名为非欧几里德TSP网络(NETSP-Net)。使用基准TSPLIB数据集和流行的实例生成器在文献中使用的各种TSP实例的方法进行评估。我们进行了大量的实验,表明我们的方法可以推广到许多类型的实例,并且可以扩展到比训练过程中使用的实例更大的实例。
2020-11-03 cs.AI cs.LG math.OC
Neural Solver Selection for Combinatorial Optimization
本文提出首个通用框架,通过特征提取、选择模型和选择策略在实例层面协调多个神经求解器,以提升组合优化性能,在TSP和CVRP上显著降低最优性差距。
2025-05-24 cs.AI cs.LG math.OC
Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness
Technical University of Munich(慕尼黑工业大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
端到端(几何)深度学习在近似解决组合优化问题方面取得了第一次成功。然而,在NP难/完全任务领域生成数据带来了实践和理论挑战,导致评估协议过于乐观。具体来说,大多数数据集只捕获一个更简单的子问题,并可能遭受虚假特征。我们通过研究对抗鲁棒性(一种局部泛化特性)来研究这些影响,以揭示硬的、特定于模型的实例和虚假特征。为此,我们推导出SAT和TSP的扰动模型。与其他应用程序不同,扰动模型是围绕主观的不可感知性概念设计的,我们的扰动模型是有效的和健全的,使我们能够确定扰动样本的真实标签,而无需求解器。令人惊讶的是,在这样的扰动下,一个足够有表现力的神经求解器不会受到监督学习中常见的准确性-鲁棒性权衡的限制。虽然这样强大的求解器存在,我们经验表明,评估神经求解器不概括以及w.r.t.问题实例的小扰动。
2022-03-21 cs.LG
Solving the QAP by Two-Stage Graph Pointer Networks and Reinforcement Learning
Kyoto University(京都大学)
本文提出两阶段图指针网络(GPN)深度强化学习模型求解NP难的二次分配问题(QAP),通过扩展GPN至一般TSP并添加新算法,在TSPlib和QAPLIB基准上取得半最优解。
2024-03-31 cs.LG
Deep Learning as a Competitive Feature-Free Approach for Automated Algorithm Selection on the Traveling Salesperson Problem
University of Münster(明斯特大学);The University of Adelaide(阿德莱德大学)
在这项工作中,我们专注于著名的欧几里德旅行推销员问题(TSP)和两个高度竞争的不精确的启发式TSP求解器,EAX和LKH,在每实例算法选择(AS)的上下文中。我们进化了1,000个节点的实例,其中求解器显示出强烈不同的性能配置文件。这些实例作为一个探索性研究的基础上,识别良好的区分问题的特点(功能)。我们的结果概括如下:我们表明,即使(1)存在有希望的特征,(2)这些特征与文献中先前的结果一致,以及(3)用这些特征训练的模型比采用复杂的特征选择方法的模型更准确,但就惩罚平均运行时间而言,该优势并不接近虚拟最佳求解器,并且相对于单个最佳求解器的性能增益也是如此。然而,我们发现,一个无特征的深度神经网络为基础的方法完全基于视觉表示的实例已经匹配经典的AS模型的结果,从而显示出巨大的潜力,为未来的研究。
2020-06-29 cs.LG stat.ML
RsGCN: Subgraph-Based Rescaling Enhances Generalization of GCNs for Solving Traveling Salesman Problems
School of Computer Science, South China Normal University(华南师范大学计算机科学学院);College of Artificial Intelligence, Nankai University(南开大学人工智能学院)
针对GCN求解TSP的跨尺度泛化差和训练成本高问题,提出基于子图重缩放的RsGCN与重构搜索RBS,仅训练3轮即可泛化至万节点实例,性能优异且参数最少。
2025-09-26 cs.LG cs.NE
Sym-NCO: Leveraging Symmetricity for Neural Combinatorial Optimization
Korea Advanced Institute of Science and Technology (KAIST)(韩国高等科学技术研究院(KAIST))
基于深度强化学习(DRL)的组合优化(CO)方法(即,DRL-NCO)已经显示出优于常规CO求解器的显著优点,因为DRL-NCO能够较少地依赖于特定于问题的专家领域知识(探试法)和监督标记数据(监督学习方法)来学习CO求解器。本文提出了一种新的训练方案Sym-NCO,这是一种基于正则化器的训练方案,它利用了各种CO问题和解决方案的通用性。利用旋转和反射不变性等并行性可以大大提高DRL-NCO的泛化能力,因为它允许学习的求解器利用相同CO问题类中的共同共享并行性。我们的实验结果表明,我们的Sym-NCO大大提高了性能的DRL-NCO方法在四个CO任务,包括旅行商问题(TSP),有能力的车辆路径问题(CVRP),奖品收集TSP(PCTSP),和定向越野赛问题(OP),没有利用特定问题的专家领域知识。值得注意的是,Sym-NCO不仅优于现有的DRL-NCO方法,而且还优于有竞争力的传统求解器,迭代局部搜索(ILS),在PCTSP中,速度快240。我们的源代码可在https://github.com/alstn12088/Sym-NCO上获得。
2023-01-04 cs.LG stat.ML
Compute Time Scaling with Recursive Models for Combinatorial Optimization
Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学)
我们提出微型递归模型(Tiny Recursive Models)用于组合优化,通过扩展递归深度和并行采样宽度,在TSP和MIS问题上实现更优的质量-速度平衡,并探索自我重新标记实现自监督训练。
2026-09-29 cs.LG
Towards Unsupervised Training of Matching-based Graph Edit Distance Solver via Preference-aware GAN
University of New South Wales(新南威尔士大学);University of Technology Sydney(技术与科学大学);Shanghai Jiaotong University(上海交通大学)
本文提出GEDRanker,一种基于GAN的无监督框架,通过引入偏好感知判别器利用编辑路径长度的偏好信号,引导匹配型GED求解器在无真实监督下生成高质量节点匹配,实现接近最优的解质量。
2025-10-13 cs.AI cs.LG
GLOP: Learning Global Partition and Local Construction for Solving Large-scale Routing Problems in Real-time
Soochow University(苏州大学);Singapore Management University(新加坡管理大学);Tsinghua University(清华大学)
提出GLOP分层框架,通过非自回归与自回归神经启发式混合,实现大规模路由问题的实时高效求解,并在TSP、ATSP、CVRP、PCTSP上达到最先进性能。
2024-07-21 cs.AI cs.LG
An Efficient Graph Convolutional Network Technique for the Travelling Salesman Problem
Nanyang Technological University(南洋理工大学);Loyola Marymount University(洛约拉马利蒙特大学)
本文介绍了一种新的基于学习的方法近似解决旅行商问题的二维欧几里德图。我们使用深度图卷积网络来构建高效的TSP图表示,并通过高度并行化的束搜索以非自回归方式输出旅游。我们的方法在解决方案质量、推理速度和固定图大小的问题实例的样本效率方面优于所有最近提出的自回归深度学习技术。特别是,对于50个节点,我们将平均最优性差距从0.52%减少到0.01%,对于100个节点,我们将平均最优性差距从2.26%减少到1.39%。最后,尽管对TSP的其他基于学习的方法进行了改进,但我们的方法与标准的运筹学求解器相比仍有差距。
2019-10-14 cs.LG stat.ML
UniHetCO: A Unified Heterogeneous Representation for Multi-Problem Learning in Unsupervised Neural Combinatorial Optimization
UniHetCO通过统一的异构图表示,实现多问题学习中的跨类别优化,提升稳定性与适应性。
2026-03-12 cs.LG
Towards Generalizable Neural Solvers for Vehicle Routing Problems via Ensemble with Transferrable Local Policy
Nanjing University(南京大学);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对神经VRP求解器在真实大规模、未知分布问题上泛化差的问题,本文提出将学习局部可迁移拓扑特征的局部策略与全局构造策略集成的联合训练方法,在TSPLIB和CVRPLIB上显著提升了跨分布和跨规模泛化性能。
2024-05-05 cs.LG
Learning to Sparsify Travelling Salesman Problem Instances
University College Dublin(都柏林大学学院)
为了应对NP难组合优化问题的精确和近似算法的高开发时间以及精确求解器的高运行时间,近年来已使用深度学习技术作为端到端方法来寻找解决方案。然而,使用深度学习技术存在表示、泛化、复杂架构、数学分析模型的可解释性等问题。作为一种折衷方案,机器学习可以用于提高数学框架中精确算法的运行时间性能。在本文中,我们使用一个修剪启发式利用机器学习作为预处理步骤,其次是一个精确的可编程方法。我们应用这种方法来稀疏的经典旅行推销员问题的例子。我们的方法学习底层图中的哪些边不太可能属于最优解,并将其删除,从而使图稀疏化并显着减少决策变量的数量。我们使用精心挑选的功能来自线性规划放松,切割平面探索,最小重量生成树算法和各种其他本地和统计分析的图形。我们的学习方法只需要很少的训练数据,并且易于进行数学分析。我们证明,我们的方法可以可靠地修剪大部分的变量在TSP实例从TSPLIB/MATILDA(> 85%$),同时保留最佳的旅游边缘。我们的方法可以成功地修剪问题实例,即使它们位于训练分布之外,在大多数情况下,修剪和原始问题之间的最优性差距很小。使用我们的学习技术,我们发现了新的稀疏TSP的实例,这可能是独立的兴趣的车辆路径问题的变体。
2021-04-19 cs.LG
Bridging Synthetic and Real Routing Problems via LLM-Guided Instance Generation and Progressive Adaptation
A*STAR(新加坡科技研究局)
通过LLM引导的实例生成和渐进适应方法,提升神经求解器在现实路由问题中的泛化能力。
2026-01-29 cs.AI cs.LG cs.NE
Learning the Travelling Salesperson Problem Requires Rethinking Generalization
University of Cambridge(剑桥大学);Ecole Polytechnique de Montréal(蒙特利尔理工学院);Loyola Marymount University(洛约拉马利蒙特大学)
最近,针对图组合优化问题(如旅行推销员问题(TSP))的神经网络求解器的端到端训练引起了人们的极大兴趣,但在具有数百个节点的图之外仍然是棘手和低效的。虽然最先进的学习驱动的TSP方法在训练微不足道的小尺寸时表现得与经典求解器接近,但它们无法将学习到的策略推广到实际规模的更大实例。这项工作提出了一个端到端的神经组合优化管道,它统一了最近的几篇论文,以确定归纳偏差,模型架构和学习算法,促进泛化到比训练中看到的更大的实例。我们的对照实验提供了对这种zero-shot泛化的第一个原则性研究,揭示了在训练数据之外进行外推需要重新思考神经组合优化管道,从网络层和学习范式到评估协议。此外,我们通过管道的镜头分析了路由问题的深度学习的最新进展,并提供了新的方向来刺激未来的研究。
2022-05-25 cs.LG stat.ML
A Helmholtz equation solver using unsupervised learning: Application to transcranial ultrasound
University College of London(伦敦大学学院)
经颅超声治疗越来越多地用于脑部疾病的非侵入性治疗。然而,传统的数值波求解器目前在计算上太昂贵而不能在治疗期间在线使用以预测穿过颅骨的声场(例如,以说明受试者特异性剂量和靶向变化)。作为实现实时预测的一步,在目前的工作中,使用完全学习的优化器开发了2D异质亥姆霍兹方程的快速迭代求解器。轻量级网络架构是基于一个修改的UNet,其中包括一个学习的隐藏状态。该网络使用基于物理的损失函数和一组理想化的声速分布进行训练,完全无监督训练(不需要了解真正的解决方案)。学习的优化器在测试集上显示出优异的性能,并且能够在训练示例之外很好地泛化,包括更大的计算域以及更复杂的源和声速分布,例如,从颅骨的X射线计算机断层成像图像导出的那些。
2021-06-18 cs.LG eess.IV physics.comp-ph
Efficient Alternating Minimization Solvers for Wyner Multi-View Unsupervised Learning
University of Sydney(悉尼大学)
本文基于Wyner公共信息框架提出两种多视图无监督学习形式,并分别设计高效交替最小化与定制ADMM求解器,给出收敛保证且实验性能优越。
2023-04-26 cs.IT cs.LG math.IT
QROSS: QUBO Relaxation Parameter Optimisation via Learning Solver Surrogates
Institute of High Performance Computing, Agency for Science Technology and Research(新加坡科技研究局高性能计算研究所);School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院)
解决约束组合优化问题的一种越来越流行的方法是首先将其转换为二次无约束二进制优化(QUBO)问题,并使用标准QUBO求解器求解。然而,这种放松引入了平衡约束的目标和惩罚项的超参数,它们的选择值会显著影响性能。因此,调整这些参数是一个重要的问题。现有的通用超参数调整方法需要多次昂贵的调用QUBO求解器,使得它们不切实际的性能关键的应用程序时,需要重复解决类似的组合优化问题。在本文中,我们提出了QROSS方法,其中我们建立代理模型的QUBO求解器通过学习求解器数据的一个问题的实例的集合。通过这种方式,我们能够捕获实例的常见结构及其与求解器的交互,并以较少的QUBO求解器调用次数产生良好的惩罚参数选择。我们以旅行商问题(TSP)为例进行了研究,在那里我们证明了我们的方法可以找到更好的解决方案,与传统的超参数调整技术相比,更少的调用QUBO求解器。此外,通过简单的自适应方法,QROSS可以很好地推广到分布数据集和不同类型的QUBO求解器。
2021-03-19 cs.LG math.OC
Leader Reward for POMO-Based Neural Combinatorial Optimization
Fudan University(复旦大学)
本文提出领导者奖励方法,通过在POMO模型的两个训练阶段应用,提升模型生成最优解的能力,尤其在TSP100上显著缩小了与最优解的差距。
2026-06-29 cs.LG
Efficient Training of Multi-task Neural Solver for Combinatorial Optimization
School of Data Science, The Chinese University of Hong Kong, Shenzhen(数据科学学院,香港中文大学(深圳));Shenzhen Research Institute of Big Data(大数据研究所以);School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen(科学与工程学院,香港中文大学(深圳));Shenzhen Institute of Artificial Intelligence and Robotics for Society(人工智能与社会机器人研究所);Shanghai University of Finance and Economics(上海金融学院)
本文提出一种基于理论损失分解与bandit任务采样的高效训练范式,用于统一组合优化多任务神经求解器,在TSPLib和CVRPLib上取得最优性能。
2025-05-25 cs.LG
Supervised and Unsupervised Neural Network Solver for First Order Hyperbolic Nonlinear PDEs
University of California, Berkeley(加州大学伯克利分校);Rutgers University–Camden(罗格斯大学卡姆登分校)
本文提出了一种基于神经网络的求解器,用于高效求解一阶超几何非线性偏微分方程,并在交通预测任务中展示了其优越性。
2026-01-10 cs.LG cs.NA math.NA
An unsupervised machine-learning-based shock sensor for high-order supersonic flow solvers
Universidad Politécnica de Madrid(马德里理工大学)
本研究提出一种基于高斯混合模型的无监督机器学习激波传感器,集成于高阶间断伽辽金求解器中,经多类算例验证其激波检测精度高、参数调优少、鲁棒性强,可提升先进CFD代码的效率与可靠性。
2023-10-09 cs.LG physics.comp-ph physics.flu-dyn
TauRieL: Targeting Traveling Salesman Problem with a deep reinforcement learning inspired architecture
Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心(BSC))
在本文中,我们提出了TauRieL和目标旅行商问题(TSP),因为它在理论和应用科学中具有广泛的适用性。TauRieL利用一个演员-评论家启发的架构,采用普通的前馈网络,以获得一个策略更新向量$v$。然后,我们使用$v$来改进状态转移矩阵,我们从生成的政策。此外,状态转移矩阵允许求解器从预先计算的解(例如最近邻)进行初始化。在在线学习设置中,TauRieL将训练和搜索统一起来,可以在几秒钟内生成接近最佳的结果。Actor-Critic架构中神经网络的输入是原始的2-D输入,这一决定背后的设计思想是保持神经网络比具有宽嵌入的架构相对较小,同时省略嵌入的任何分布式表示。因此,与最先进的离线技术相比,TauRieL在每个TSP实例中生成TSP解决方案的速度快两个数量级,在最坏情况下性能影响为6.1%。
2019-05-14 cs.AI cs.LG cs.NE
DIMES: A Differentiable Meta Solver for Combinatorial Optimization Problems
University of Illinois Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学)
最近,深度强化学习(DRL)模型在解决NP难组合优化(CO)问题方面表现出了很好的效果。然而,对于图上的组合优化问题,例如旅行商问题(TSP),大多数DRL求解器只能扩展到几百个节点。针对大规模组合优化中的可扩展性问题,提出了一种新的求解方法DIMES。与以前的DRL方法,遭受昂贵的自回归解码或迭代细化的离散解决方案,DIMES引入了一个紧凑的连续空间参数化的潜在分布的候选解决方案。这样一个连续的空间允许通过大规模并行采样进行稳定的基于REINFORCE的训练和微调。我们进一步提出了一个元学习框架,使有效的初始化模型参数的微调阶段。大量的实验表明,DIMES优于最近的DRL为基础的方法在大型基准数据集的旅行商问题和最大独立集问题。
2022-10-25 cs.AI cs.LG math.OC
PICore: Physics-Informed Unsupervised Coreset Selection for Data Efficient Neural Operator Training
Department of Computer Science(计算机科学系);University of Maryland, College Park(马里兰大学学院公园分校);Georgia Institute of Technology(佐治亚理工学院);Department of Mathematics(数学系);Center for Scientific Computation and Mathematical Modeling(科学计算与数学建模中心)
PICore提出无监督核心集选择框架,利用物理信息损失挑选最具信息量的未标注训练样本,仅模拟所选子集以降低标注和训练成本,在四个PDE基准上平均训练效率提升达78%且精度损失极小。
2025-10-25 cs.LG