Learning to Sparsify Travelling Salesman Problem Instances
University College Dublin(都柏林大学学院)
为了应对NP难组合优化问题的精确和近似算法的高开发时间以及精确求解器的高运行时间,近年来已使用深度学习技术作为端到端方法来寻找解决方案。然而,使用深度学习技术存在表示、泛化、复杂架构、数学分析模型的可解释性等问题。作为一种折衷方案,机器学习可以用于提高数学框架中精确算法的运行时间性能。在本文中,我们使用一个修剪启发式利用机器学习作为预处理步骤,其次是一个精确的可编程方法。我们应用这种方法来稀疏的经典旅行推销员问题的例子。我们的方法学习底层图中的哪些边不太可能属于最优解,并将其删除,从而使图稀疏化并显着减少决策变量的数量。我们使用精心挑选的功能来自线性规划放松,切割平面探索,最小重量生成树算法和各种其他本地和统计分析的图形。我们的学习方法只需要很少的训练数据,并且易于进行数学分析。我们证明,我们的方法可以可靠地修剪大部分的变量在TSP实例从TSPLIB/MATILDA(> 85%$),同时保留最佳的旅游边缘。我们的方法可以成功地修剪问题实例,即使它们位于训练分布之外,在大多数情况下,修剪和原始问题之间的最优性差距很小。使用我们的学习技术,我们发现了新的稀疏TSP的实例,这可能是独立的兴趣的车辆路径问题的变体。
2021-04-19 cs.LG
Learning Lagrangian Multipliers for the Travelling Salesman Problem
University of Southern California(南加州大学)
提出一种基于图神经网络的无监督学习方法,用于高效预测Held-Karp拉格朗日乘子,以加速旅行商问题的最优性证明,实验显示可减少最优性差距和求解时间。
2023-12-22 cs.AI cs.LG math.OC
Learning to Solve Travelling Salesman Problem with Hardness-adaptive Curriculum
Tsinghua University(清华大学)
已经提出了各种神经网络模型来解决组合优化问题,例如旅行商问题(TSP)。现有的基于学习的TSP方法采用简单的设置,即训练和测试数据是独立同分布的。然而,现有的文献未能解决TSP的情况下,训练和测试数据具有不同的分布。具体地说,我们发现不同的训练和测试分布将导致更困难的TSP实例,即,模型得到的解与最优解有较大差距。为了解决这个问题,在这项工作中,我们研究了基于学习的TSP方法时,训练和测试数据具有不同的分布使用自适应硬度,即,TSP实例对于求解器来说有多困难。这个问题是具有挑战性的,因为它是不平凡的(1)定量定义硬度测量;(2)在模型训练时有效地和连续地生成足够硬的TSP实例;(3)充分利用具有不同硬度水平的实例来学习更强大的TSP求解器。为了解决这些挑战,我们首先提出了一个原则性的硬度测量来量化TSP实例的硬度。然后,我们提出了一个硬度自适应生成器来生成不同硬度的实例。我们进一步提出了一个课程学习者充分利用这些实例训练TSP求解器。实验表明,我们的硬度自适应生成器可以生成的实例比现有的方法难十倍,我们提出的方法实现了显着的改进,最先进的模型在最优性差距。
2022-04-07 cs.AI cs.LG
How to Evaluate Machine Learning Approaches for Combinatorial Optimization: Application to the Travelling Salesman Problem
Ecole Polytechnique de Montréal(蒙特利尔综合理工学院);Ecole des Ponts Paristech(巴黎高科桥路学校);Element AI(元素人工智能公司)
组合优化是致力于研究和实践解决NP难题的算法的领域。随着机器学习(ML)和深度学习的普及,一些研究小组已经开始使用ML来解决组合优化问题,例如著名的旅行商问题(TSP)。基于深度(强化)学习,TSP的新模型和体系结构已经相继开发,并获得了越来越多的性能。在撰写本文时,最先进的模型为100个城市的TSP实例提供了近似1.33%的最优解。然而,尽管这些显然是积极的结果,性能仍然远离那些可以实现使用专门的搜索程序。在本文中,我们解决了ML方法解决TSP的局限性,并研究了两个基本问题:(1)我们如何衡量这种方法的纯ML组件的准确性水平;(2)插入ML模型内部的搜索过程对性能有什么影响?为了回答这些问题,我们提出了一个新的指标,最优决策率(ROD),基于与参数化Oracle的公平比较,以受控的准确性模仿ML模型。所有的实验都是在四种最先进的ML方法上进行的,这些方法致力于解决TSP问题。最后,我们将ROD开源,以方便该领域未来的研究。
2019-09-28 cs.AI cs.LG
Solving Optimization Problems through Fully Convolutional Networks: an Application to the Travelling Salesman Problem
在新一轮人工智能浪潮中,深度学习正在冲击着各个行业。作为一个密切相关的领域,优化算法极大地促进了深度学习的发展。但反向应用仍显不足。有没有什么有效的方法可以通过深度学习来解决某些优化问题?关键是将优化转换为适合深度学习的表示。研究了一类旅行商问题(TSP)。考虑到深度学习擅长图像处理,提出了一种图像表示方法,将TSP转化为图像。基于10个城市TSP的样本,使用全卷积网络(FCN)来学习从可行域到最优解的映射。培训过程分阶段进行分析和解释。提出了一种可视化方法来显示FCN如何理解TSP的训练任务。一旦训练完成,不需要大量的工作来解决一个新的TSP,并且在毫秒级上获得预测。结果表明,在寻找全局最优解的良好性能。此外,开发的FCN模型已被证明在TSP的不同的城市数量,证明了良好的泛化性能。
2019-10-27 cs.CV cs.LG math.OC
Adaptation and Fine-tuning with TabPFN for Travelling Salesman Problem
Simon Fraser University(西蒙弗雷泽大学)
本文首次将TabPFN适配微调后用于求解旅行商问题,采用基于节点的节点预测策略构建路径,实验证实其训练量小、泛化性好、训练耗时短,解质量优异,为资源受限下的组合优化问题求解提供了新方案。
2025-11-08 cs.AI cs.LG math.CO
HeatACO: A Heatmap-Guided Max--Min Ant System for Large-Scale Travelling Salesman Problems
Centre for Data Science;Artificial Intelligence \& the School of Engineering;Computer Science, Victoria University of Wellington, Wellington, 6140, New Zealand
HEATACO通过结合热图与蚁群算法,有效解决大规模旅行商问题,在质量与时间之间取得更好的权衡。
2026-07-29 cs.LG cs.NE
Approximating Optimisation Solutions for Travelling Officer Problem with Customised Deep Learning Network
RMIT University(皇家墨尔本理工大学)
深度学习已经扩展到许多新的领域,并取得了巨大的成功,尽管一些传统的定向问题,如旅行推销员问题(TSP)及其变体,通常并不使用这些技术来解决。深度神经网络(DNN)由于其强大的函数逼近能力和快速的前馈计算,是解决这些问题的潜在有前途和未开发的解决方案。在本文中,我们概述了一种将定向运动问题转化为分类问题的方法,并设计了一个定制的多层深度学习网络来近似传统的优化解决方案。我们在真实世界的停车违规数据集上测试了网络的性能,并进行了一项通用研究,以经验为基础展示了影响网络性能的关键架构组件。
2019-03-08 cs.LG stat.ML
Machine Learning-based Two-Stage Graph Sparsification for the Travelling Salesman Problem
Centre for Data Science and Artificial Intelligence(数据科学与人工智能中心);School of Engineering and Computer Science(工程与计算机科学学院);Victoria University of Wellington(惠灵顿维多利亚大学)
提出两阶段方法,先结合α-Nearest和POPMUSIC得到近完美召回率的候选图,再用轻量级分类器修剪单源边,在保持≥99.69%最优边的同时降低37%-47%密度。
2026-06-12 cs.LG
Approximating Permutations with Neural Network Components for Travelling Photographer Problem
Tsinghua University(清华大学);Institute for Interdisciplinary Information Sciences(交叉信息研究院)
目前的大多数推理技术依赖于贝叶斯推理的概率图模型的观察和预测和分类的观察。然而,有很少的文献中挖掘的观测之间的关系,并建立模型的观测集之间的关系或生成的上下文的观测。此外,具有观察输入的机器的事件理解需要理解观察之间的关系。因此,迫切需要建立模型和开发有效的数据结构,以积累和组织观测之间的关系。给定一个PGM模型,本文试图将一个状态的排列拟合到一个观察标记序列(旅行摄影师问题)。我们已经设计了一个机器学习启发架构的随机近似的状态排列,促进并行化的启发式搜索的排列。因此,我们的算法可以解决旅行摄影师问题,以最小的误差。此外,我们证明,通过模仿机器学习组件,如规范化,辍学,和lambda层与随机算法,我们可以设计一个架构,解决TPP,置换NP难问题。除了TPP,我们还可以提供一个2-本地改进启发式旅行推销员问题(TSP)类似的想法。
2022-05-23 cs.LG
Hybrid Pointer Networks for Traveling Salesman Problems Optimization
Minya University(明亚大学);Queensland University of Technology(昆士兰科技大学)
在这项工作中,提出了一种新的想法,组合优化问题,一个混合网络,这将导致在一个优越的结果。我们将这种方法应用于图指针网络[1],将其功能扩展到更高的水平。提出了一种混合指针网络(HPN)来解决由强化学习训练的旅行商问题。此外,HPN建立在图指针网络的基础上,图指针网络是指针网络的扩展,具有额外的图嵌入层。由于混合编码器,HPN在解决方案质量方面优于图指针网络,这为我们的模型提供了一个verity编码类型,使我们的模型能够收敛到更好的策略。我们的网络在小规模和大规模问题上的表现明显优于原始的图指针网络,将其TSP50的性能从5.959提高到5.706,而不使用2opt,指针网络,注意力模型和各种模型,产生的结果与高度调整和专业化的算法相当。我们公开我们的数据、模型和代码[2]。
2021-10-13 cs.AI cs.LG math.OC
Permutation Picture of Graph Combinatorial Optimization Problems
Cornell University(康奈尔大学)
本文提出一种基于置换表示的框架,用于统一建模旅行商问题、最大独立集、最大割等图组合优化问题,为神经组合优化连接离散与连续方法开辟新路径。
2024-10-22 cs.AI cs.LG
DeepCO: Offline Combinatorial Optimization Framework Utilizing Deep Learning
Hitachi, Ltd.(株式会社日立)
组合优化在许多现代工业应用中起着重要作用。由于安全和/或成本问题,大量的问题是离线设置。虽然基于模拟的方法似乎很难实现复杂的系统,在这项研究中,我们提出了DeepCO,一个利用深度学习的离线组合优化框架。我们也设计了旅行商问题(TSP)的离线变化模型仓库操作序列优化问题进行评估。在历史数据有限的情况下,本文提出的分布正则化优化方法在离线TSP实验中的性能优于现有的基线方法,平均减少路径长度5.7%,在现实问题中显示出巨大的潜力。
2020-07-20 cs.LG math.OC stat.ML
Deep Policy Dynamic Programming for Vehicle Routing Problems
University of Amsterdam(阿姆斯特丹大学);ORTEC
路由问题是一类有着广泛应用的组合优化问题。最近,已经提出了端到端的深度学习方法来学习这些问题的近似解算法。相比之下,经典的动态规划(DP)算法保证最优解,但规模与问题的大小。我们提出了深度策略动态规划(DPDP),其目的是结合学习神经网络与DP算法的优势。DPDP使用从深度神经网络导出的策略对DP状态空间进行优先级排序和限制,该深度神经网络被训练为从示例解决方案预测边缘。我们评估我们的框架上的旅行商问题(TSP),车辆路径问题(VRP)和TSP与时间窗口(TSPTW),并表明,神经政策提高了性能(限制)DP算法,使他们有竞争力的强有力的替代品,如LKH,同时也优于大多数其他的“神经方法”解决TSP,VRP和TSPTW与100个节点。
2021-12-02 cs.LG stat.ML
Structure As Search: Unsupervised Permutation Learning for Combinatorial Optimization
Cornell University(康奈尔大学)
提出非自回归无监督排列学习框架,直接学习排列矩阵解决旅行商问题,无需显式搜索,性能媲美经典启发式,证明神经网络可捕获组合结构。
2025-09-24 cs.AI cs.LG
Attention, Learn to Solve Routing Problems!
University of Amsterdam(阿姆斯特丹大学);ORTEC(奥泰克公司);CIFAR(加拿大高级研究所)
最近提出的学习组合优化问题的算法的想法是有前途的,因为它可以节省昂贵的开发。然而,为了将这一想法推向实际实施,我们需要更好的模式和更好的培训方法。我们在两个方向上都有贡献:我们提出了一个基于注意力层的模型,该模型比指针网络具有优势,我们展示了如何使用REINFORCE训练这个模型,该模型具有基于确定性贪婪卷展的简单基线,我们发现这比使用值函数更有效。我们显着改善最近学到的旅行推销员问题(TSP),接近最佳结果的问题多达100个节点。使用相同的超参数,我们学习了车辆路径问题(VRP)的两个变体,定向问题(OP)和奖品收集TSP(PCTSP)(的随机变体)的强大算法,优于广泛的基线,并获得接近高度优化和专业算法的结果。
2019-02-07 cs.LG stat.ML
RsGCN: Subgraph-Based Rescaling Enhances Generalization of GCNs for Solving Traveling Salesman Problems
School of Computer Science, South China Normal University(华南师范大学计算机科学学院);College of Artificial Intelligence, Nankai University(南开大学人工智能学院)
针对GCN求解TSP的跨尺度泛化差和训练成本高问题,提出基于子图重缩放的RsGCN与重构搜索RBS,仅训练3轮即可泛化至万节点实例,性能优异且参数最少。
2025-09-26 cs.LG cs.NE
Estimating the stability number of a random graph using convolutional neural networks
Rice University(莱斯大学);RelationalAI(RelationalAI公司)
本文探索使用卷积神经网络基于随机图的图像表示预测其稳定数,证明了深度学习在组合优化问题中的可行性。
2024-07-19 cs.LG math.CO
Deep-Steiner: Learning to Solve the Euclidean Steiner Tree Problem
University of Delaware(特拉华大学)
欧几里德斯坦纳树问题寻求最小成本网络连接的目标位置的集合,它是许多无线网络应用的基础。在本文中,我们提出了一个研究解决欧几里德斯坦纳树问题,使用强化学习增强图表示学习。不同于通常研究的连通性问题,如旅行商问题或车辆路径问题,其中搜索空间是有限的,欧几里德Steiner树问题需要在整个欧几里德空间上搜索,从而使现有的方法不适用。在本文中,我们设计的离散化方法,利用Steiner树的独特特性,并提出了新的训练方案,用于处理动态Steiner点出现在增量建设。我们的设计是通过一个健全的检查,使用一组数据集上的实验进行检查,与令人鼓舞的结果表明,我们的方法作为一种替代经典的组合方法的实用性。
2022-09-20 cs.LG
MODRL/D-AM: Multiobjective Deep Reinforcement Learning Algorithm Using Decomposition and Attention Model for Multiobjective Optimization
Department of Computer Science, Sun Yat-sen University(中山大学计算机科学系);Sun Yat-sen University(中山大学)
近年来,提出了一种用于求解多目标优化问题的深度强化学习方法。该方法将多目标优化问题分解为多个单目标优化子问题,并以协同的方式对所有子问题进行优化。每个子问题用指针网络建模,并用强化学习训练模型。然而,指针网络在提取实例的特征时,忽略了输入节点的底层结构信息。因此,本文提出了一种基于分解和注意力模型的多目标深度强化学习方法来求解多目标优化问题。在我们的方法中,每个子问题是解决一个注意力模型,它可以利用结构特征以及输入节点的节点特征。对多目标旅行商问题的实验结果表明,该算法与已有的方法相比,具有更好的性能。
2020-02-13 cs.LG cs.NE
Learning Improvement Heuristics for Solving Routing Problems
最近使用深度学习来解决路由问题的研究集中在构造算法上,其解决方案仍然远离最优。改进算法有很大的潜力通过迭代地改进解决方案来缩小这一差距。然而,经典的改进算法都是由手工制定的规则指导的,这可能会限制它们的性能。在本文中,我们提出了一个深度强化学习框架来学习路由问题的改进算法。我们设计了一个基于自注意力的深度架构作为策略网络来指导下一个解决方案的选择。我们将我们的方法应用到两个重要的路由问题,即旅行商问题(TSP)和容量限制的车辆路由问题(CVRP)。实验表明,我们的方法优于最先进的基于深度学习的方法。学习的政策比传统的手工制作的更有效,并可以通过简单的多样化战略进一步加强。此外,这些策略可以很好地推广到不同的问题大小,初始解决方案甚至真实世界的数据集。
2020-05-10 cs.AI cs.LG
Unsupervised Training for Neural TSP Solver
University of Latvia(拉脱维亚大学);Institute of Mathematics and Computer Science at University of Latvia(拉脱维亚大学数学与计算机科学研究所);Institute of Electronics and Computer Science(电子与计算机科学研究所)
已经有越来越多的机器学习方法来近似解决旅行商问题。然而,这些方法通常需要解决的训练实例或使用复杂的强化学习方法,需要大量的调整。为了避免这些问题,我们引入了一种新的无监督学习方法。我们使用一个整数线性规划的TSP松弛构造一个损失函数,不需要正确的实例标签。在变量离散化的情况下,其最小值与最优解或近似最优解一致。此外,该损失函数是可微的,因此可以直接用于训练神经网络。我们使用我们的损失函数与图神经网络和设计控制实验上的欧几里德和非对称TSP。与监督学习相比,我们的方法具有不需要大型标记数据集的优势。此外,我们的方法的性能超过强化学习的非对称TSP和欧几里德实例的强化学习。我们的方法也比强化学习更稳定,更容易训练。
2022-07-27 cs.LG
Supplementary Materials to Graph Convolutional Branch and Bound
Department of Mathematics, University of Turin(都灵大学数学系);Department of Computer Science, University of Turin(都灵大学计算机科学系)
本文提出利用神经网络学习启发式方法,结合图卷积神经网络提升旅行商问题求解效率,减少分支限界节点数量和计算时间。
2026-04-03 cs.LG math.OC
Graph Neural Networks are Heuristics
Department of Computer Science(计算机科学系);Cornell University(康奈尔大学);Ithaca, NY, USA(纽约州伊萨卡市)
研究表明图神经网络在组合优化中辅助角色非固有,可自身作启发式算法。以欧几里得旅行商问题为例,训练无标签等的非自回归图神经网络,仅用可微哈密顿循环目标监督,模型能快速生成完整路线且多样,优于贪心基线。
2026-07-07 cs.AI cs.LG
Learning to Solve Multiple-TSP with Time Window and Rejections via Deep Reinforcement Learning
Nanyang Technological University(南洋理工大学);Singapore Institute of Manufacturing Technology (SIMTech)(新加坡制造技术研究院(SIMTech));Agency for Science Technology and Research (A*STAR)(科学、技术与研究局(A*STAR));Shandong University(山东大学);Technische Universiteit Delft(代尔夫特理工大学)
我们提出了一个基于深度强化学习的管理者-工作者框架,以解决旅行推销员问题(TSP)的一个困难而又不平凡的变体,\ie ~具有时间窗口和拒绝的多车辆TSP(mTSPTWR),其中无法在截止日期前提供服务的客户会被拒绝。特别是,在所提出的框架中,经理代理学习划分mTSPTWR到子路由任务通过分配客户到每个车辆通过图同构网络(GIN)基于策略网络。一个工人代理学习解决子路由任务,通过最小化成本的旅游长度和拒绝率为每辆车,其中最大的,然后反馈给经理代理学习更好的分配。实验结果表明,所提出的框架优于强基线在更高的解决方案的质量和更短的计算时间。更重要的是,经过训练的代理还可以在解决看不见的大型实例方面取得有竞争力的性能。
2022-09-13 cs.AI cs.LG