Travel the Same Path: A Novel TSP Solving Strategy
University of Michigan(密歇根大学)
本文提出了一种求解旅行商问题的新策略,这是一个著名的组合优化问题。特别是,我们考虑了模仿学习框架,它有助于确定性算法在需要时做出正确的选择,从而在保持解决方案的准确性的同时加快速度,而不会受到不可预测性和潜在的大偏差的影响。此外,我们证明了一个强大的泛化能力的图神经网络下训练的模仿学习框架。具体来说,该模型能够比基线更快地解决大型TSP实例,而在训练时只看到小型TSP实例。
2022-10-12 cs.AI cs.LG math.OC
Generalize a Small Pre-trained Model to Arbitrarily Large TSP Instances
Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);Institute of Robotics and Intelligent Manufacturing, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)机器人与智能制造研究院);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院)
对于旅行商问题(TSP),现有的基于监督学习的算法普遍存在泛化能力不足的问题。为了克服这一缺点,本文尝试通过图采样、图转换和热图合并等技术,以监督的方式训练一个小规模的模型,该模型可以重复用于构建任意大规模TSP实例的热图。此外,热图被馈送到强化学习方法(蒙特卡罗树搜索)中,以指导高质量解决方案的搜索。基于大量实例(最多10,000个顶点)的实验结果表明,该方法明显优于现有的基于机器学习的TSP算法,并显著提高了训练模型的泛化能力。
2021-02-24 cs.LG
Boosting Cross-problem Generalization in Diffusion-Based Neural Combinatorial Solver via Inference Time Adaptation
Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程系);Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出DIFU-Ada框架,通过推理时间适应提升基于扩散的神经组合求解器在跨问题和跨尺度上的泛化能力。
2026-03-11 cs.AI cs.LG
Position Paper: Generalized grammar rules and structure-based generalization beyond classical equivariance for lexical tasks and transduction
PUC Chile(智利天主教大学);CSAIL(计算机科学与人工智能实验室)
针对神经网络组合泛化能力弱于人类词汇学习的问题,提出基于广义语法规则(GGRs)的通用建模框架,将其作为转导任务中等变性的对应物,可涵盖现有研究并关联强化学习等领域。
2024-02-02 cs.CL cs.LG stat.ML
Understanding the Nature of Depth-1 Equivariant Quantum Circuit
School of Computing and Information Systems(计算与信息系统学院)
针对等变量子电路(EQC)难以扩展到大规模旅行商问题的挑战,提出尺寸不变网格搜索(SIGS)优化方法,可高效仿真350节点规模的深度1 EQC,大幅缩短仿真时间并保持性能,还提出尺寸不变特性理论解释其原理。
2025-11-19 cs.AI quant-ph
Learning-Based TSP-Solvers Tend to Be Overly Greedy
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);School of Mathematics Sciences, University of Chinese Academy of Sciences(中国科学院大学数学科学学院)
本研究通过构建最近邻密度统计度量,揭示了基于学习的TSP求解器过于贪婪的局限性,并开发了可解释的数据增强方法以提升其OOD泛化能力。
2025-02-02 cs.AI cs.DS cs.LG
Generative Modeling for Robust Deep Reinforcement Learning on the Traveling Salesman Problem
University of Washington(华盛顿大学)
针对神经网络求解TSP时存在的分布鲁棒性问题,提出COGS方法从生成式TSP模型采样训练数据以提升数据覆盖与插值,并构建TSPLib50数据集,实验证明该方法显著增强了分布鲁棒性,尤其在最坏情况场景下性能提升明显。
2025-08-12 cs.AI cs.LG
EDISCO: Equivariant DIScrete Diffusion for Euclidean Combinatorial Optimization
University of Alberta(阿尔伯塔大学)
EDISCO是首个具有精确E(2)不变生成分布的离散扩散模型,通过等变边得分网络和连续时间马尔可夫链,在TSP和CVRP上以更少数据超越现有方法,并具鲁棒性。
2026-10-21 cs.AI cs.LG
ASAP: Exploiting the Satisficing Generalization Edge in Neural Combinatorial Optimization
针对神经组合优化模型在分布偏移下的脆弱性,提出ASAP框架,通过将决策分解为提案和选择两阶段,并利用MAML增强在线适应能力,在3D-BPP、TSP和CVRP上提升了泛化性能。
2026-06-02 cs.AI cs.LG
ASP: Learn a Universal Neural Solver!
the Chinese University of Hongkong, Shenzhen(香港中文大学(深圳));Carnegie Mellon University(卡内基梅隆大学);Peking University(北京大学)
将机器学习应用于组合优化问题具有提高效率和准确性的潜力。然而,现有的基于学习的求解器在面对问题分布和规模的变化时,往往难以泛化。在本文中,我们提出了一种名为ASP:Adaptive Staircase Policy Space Response Oracle的新方法来解决这些泛化问题并学习通用神经求解器。ASP由两个组件组成:分布式探索,它增强了求解器使用策略空间响应Oracle处理未知分布的能力,以及持久规模适应,它通过课程学习提高了可伸缩性。我们已经在几个具有挑战性的COP上测试了ASP,包括旅行推销员问题,车辆路径问题和奖品收集TSP,以及来自TSPLib和CVRPLib的真实实例。我们的研究结果表明,即使模型大小相同,训练信号较弱,ASP也可以帮助神经求解器探索和适应未知的分布和不同的尺度,从而实现卓越的性能。特别是,与标准训练管道下的相同神经求解器相比,ASP在TSP的生成实例和真实实例上的最优性差距显著降低,分别为90.9%和47.43%,CVRP降低了19%和45.57%。
2023-03-01 cs.AI cs.LG math.OC
DualOpt: A Dual Divide-and-Optimize Algorithm for the Large-scale Traveling Salesman Problem
School of Computer Science, Huazhong University of Science and Technology(华中科技大学计算机学院);School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院)
针对大规模旅行商问题,本文提出结合网格分治与路径分治优化的DualOpt算法,在多类基准上取得优于现有算法的效果与效率。
2025-01-15 cs.AI
VAGPO: Vision-augmented Asymmetric Group Preference Optimization for Graph Routing Problems
Huazhong University of Science and Technology(华中科技大学);Singapore Management University(新加坡管理学院)
本文提出视觉增强非对称群组偏好优化方法(VAGPO),结合ResNet和Transformer捕获图路由问题的时空特征,通过非对称群组偏好优化加速收敛,在TSP和CVRP上实现高质量求解并具备大规模泛化能力。
2025-10-10 cs.AI cs.LG
Approximate Equivariance in Reinforcement Learning
Northeastern University(东北大学);J.P.Morgan AI Research(摩根大通AI研究)
本研究提出强化学习中的近似等变算法,定义近似等变MDP,用松弛群和可转向卷积构建网络,在连续控制和股票交易中验证,性能优于精确等变网络且更鲁棒。
2025-04-22 cs.LG
GELD: A Unified Neural Model for Efficiently Solving Traveling Salesman Problems Across Different Scales
Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, College of Computer Science and Technology, Jilin University(教育部符号计算与知识工程重点实验室、计算机科学与技术学院、吉林大学);Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly, Nanyang Technological University(老年人积极生活卓越研究中 心(NTU-UBC合作)、南洋理工大学);College of Computing and Data Science, Nanyang Technological University(计算与数据科学学院、南洋理工大学)
本文提出统一神经TSP求解器GELD,通过全局视图编码器、局部视图解码器和两阶段跨规模训练,兼顾不同规模TSP的求解质量、速度与泛化能力。
2025-06-07 cs.AI
Size Generalization for Diffusion Routing Solvers
Bar-Ilan University(巴伊兰大学);NVIDIA(英伟达)
ResizeCO是一种无标签规模泛化方法,通过适配GRPO、将k-opt建模为GPU束搜索,在节点达10000的TSP、CVRP实例上实现最优性能,成为新的最优求解器。
2026-10-14 cs.AI
Reinforcement Learning-based Non-Autoregressive Solver for Traveling Salesman Problems
College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);Nanyang Technological University(南洋理工大学);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);School of Computer Science, University of Science & Technology of China(中国科学技术大学计算机学院);School of Mathematical and Computer Sciences, Heriot-Watt University(赫瑞瓦特大学数学与计算机科学学院);College of Computer, National University of Defense Technology(国防科技大学计算机学院)
针对TSP问题,提出首个结合强化学习与非自回归网络的求解器NAR4TSP,通过将NAR解码纳入训练过程并有效表示奖励,在保持序列约束的同时显著提升了求解质量、推理速度及泛化能力。
2024-10-16 cs.AI
Adaptation and Fine-tuning with TabPFN for Travelling Salesman Problem
Simon Fraser University(西蒙弗雷泽大学)
本文首次将TabPFN适配微调后用于求解旅行商问题,采用基于节点的节点预测策略构建路径,实验证实其训练量小、泛化性好、训练耗时短,解质量优异,为资源受限下的组合优化问题求解提供了新方案。
2025-11-08 cs.AI cs.LG math.CO
A New Constructive Heuristic driven by Machine Learning for the Traveling Salesman Problem
Dalle Molle Institute for Artificial Intelligence(达尔莫尔人工智能研究所);Università della Svizzera Italiana(提契诺大学);University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学)
最近的系统应用机器学习(ML)来解决旅行推销员问题(TSP)时,他们试图扩大到实际情况下的数百个顶点的问题。使用候选列表(CL)已被提出来应对这些问题。该程序允许在创建解的过程中限制搜索空间,从而减少求解器的计算负担。到目前为止,ML参与创建CL和这些CL边缘上的值,这些CL在解决方案插入时表达ML偏好。虽然这些系统很有前途,但它们并没有明确限制ML学习和创建解决方案的内容,从而带来了一些泛化问题。因此,出于探索性和统计研究的动机,在这项工作中,我们使用机器学习模型来确认解决方案中仅针对高概率边缘的添加。采用高概率边缘的CL作为输入,ML负责区分这些边缘处于最优解的情况和不处于最优解的情况。.这种策略能够更好地泛化,并在机器学习和搜索技术之间建立有效的平衡。我们的ML-构造性启发式算法是在小实例上训练的。然后,它能够在不损失质量的情况下为大问题提供解决方案。我们将我们的结果与经典的建设性算法进行了比较,在多达1748个城市的TSPLIB实例中表现出良好的性能。虽然我们的启发式算法表现出昂贵的常数时间操作,但我们证明了在最坏情况下,训练后的解决方案构建的计算复杂性为$O(n^2 \log n^2)$,即$n$是TSP实例中的顶点数。
2021-08-17 cs.AI cs.DM cs.LG
Destroy and Repair Using Hyper Graphs for Routing
Southern University of Science and Technology(南方科技大学);City University of Hong Kong(香港城市大学)
针对现有迭代路由方法邻域搜索受限的问题,提出基于超图的摧毁与修复框架(DRHG),通过将完整边缩减为超边扩大搜索邻域,在TSP上达最先进性能并泛化至真实世界问题。
2025-02-22 cs.AI cs.LG cs.NE
Enhancing Large-scale UAV Route Planing with Global and Local Features via Reinforcement Graph Fusion
School of Informatics Xiamen University(厦门大学信息学院);Marine Design and Research Institute of China(中国船舶及海洋工程设计研究院)
针对大规模无人机路径规划扩展难的问题,提出基于Delaunay三角剖分和图融合的无训练泛化框架,通过子图提取与定制化解码策略,使现有TSP求解器高效扩展至万点规模并优于SOTA方法。
2024-12-20 cs.AI cs.RO
What Do You Need for Compositional Generalization in Diffusion Planning?
Department of Computer Science, University of Toronto(计算机科学系,多伦多大学)
本文提出Eq-Net架构,通过位移等变性、局部感受野和推断选择实现扩散规划的组合泛化,展示其在导航和操作任务中的有效性。
2026-02-09 cs.LG cs.RO
ViTSP: A Vision Language Models Guided Framework for Solving Large-Scale Traveling Salesman Problems
Purdue University(普渡大学)
ViTSP利用预训练视觉语言模型指导大规模TSP求解,通过识别子问题提升全局解的质量,实验表明其在大规模实例上优于现有方法。
2026-03-01 cs.AI
Evolving Parallel Algorithm Portfolios via Potential-Aware Instance Generation with LLMs
Southern University of Science and Technology(南方科技大学);Zhongguancun Academy(中关村学院)
该研究针对LLM-ACP在少样本组合优化问题中泛化差的问题,提出PIAC框架,通过无需参考解的潜在增益指标和大语言模型生成多样实例,在TSP、CVRP上较基线实现显著性能提升。
2026-08-10 cs.AI
Multi-armed Bandit and Backbone boost Lin-Kernighan-Helsgaun Algorithm for the Traveling Salesman Problems
School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院)
针对 LKH 中 α 值未利用历史信息且引导单一的问题,本文提出动态骨干信息,并通过多臂老虎机自适应组合骨干、α 值与距离,显著提升 LKH/LKH-3 在 TSP、CTSP 和 CVRPTW 上的性能与泛化性。
2025-01-07 cs.AI cs.DS
Solve routing problems with a residual edge-graph attention neural network
Southwest Jiaotong University(西南交通大学);Technology and Equipment of Rail Transit Operation and Maintenance Key Laboratory of Sichuan Province(四川省轨道交通运维技术与装备重点实验室);Auburn University at Montgomery(奥本大学蒙哥马利分校)
对于NP难的组合优化问题,通常很难在多项式时间内找到高质量的解。这些问题的精确算法或近似算法的设计通常需要非常专业的知识。最近,深度学习方法为解决此类问题提供了新的方向。本文提出了一种端到端的深度强化学习框架来解决这类组合优化问题。该框架可以应用于不同的问题,只有轻微的变化的输入(例如,对于旅行商问题(TSP),输入是二维坐标的节点;而对于容量受限的车辆路径问题(CVRP),输入简单地改变为三维向量,包括二维坐标和客户需求的节点),掩码和解码器上下文向量。该框架的目的是在神经网络模型和训练算法方面提高模型的读写能力。通过我们的框架,TSP和CVRP高达100个节点的解决方案的质量显着提高。具体而言,当使用贪心解码策略时,对于100个节点的TSP,平均最优性差距从4.53%(报告的最佳\cite{R22})减小到3.67%,对于100个节点的CVRP,平均最优性差距从7.34%(报告的最佳\cite{R22})减小到6.68%.此外,我们的框架使用约1/3 $\sim$ 3/4的训练样本相比,其他现有的学习方法,同时取得更好的效果。在随机生成的实例和TSPLIB和CVRPLIB的基准实例上进行的测试结果证实,我们的框架在测试阶段具有线性运行时间的问题大小(节点数),并具有良好的泛化性能,从随机实例训练到真实世界的实例测试。
2021-05-06 cs.LG
Geometric Self-Supervised Pre-training for Neural Combinatorial Optimization
Universidad Politécnica de Madrid(马德里理工大学);Information Processing and Telecomunications Center(信息处理与通信中心);ETSI Telecomunicación(电信高等技术工程学院);Grupo de Tratamiento de Imágenes(图像处理组)
针对神经组合优化模型高维泛化差的问题,提出几何自监督预训练框架,在TSP1000零样本外推中路径长度提升7.23%,且比Concorde提速最高两个数量级。
2026-08-18 cs.AI
Two-Phase Bilevel Search for the Moving-Target Traveling Salesman Problem with Moving Obstacles
Texas A&M University(德克萨斯A&M大学);Carnegie Mellon University(卡内基梅隆大学)
针对带移动障碍物的移动目标旅行商问题,提出混合整数锥规划公式和两阶段双层搜索算法,显著优于基线方法。
2026-06-18 cs.AI cs.RO math.CO
Hybrid-Balance GFlowNet for Solving Vehicle Routing Problems
School of Computing and Information Systems, Singapore Management University(计算与信息系统学院,新加坡管理大学)
针对现有GFlowNet方法在VRP中忽视局部优化的问题,提出HBG框架,自适应整合TB与DB,并设计仓库中心推理策略,在CVRP和TSP上显著提升求解质量与泛化能力。
2025-10-06 cs.AI
A Measure-Theoretic Analysis of Reasoning in Transformers: Structural Generalization and Approximation Limits
McGill University(麦吉尔大学);Mila - Quebec AI Institute(魁北克AI研究所);Université de Montréal(蒙特利尔大学)
本文通过最优传输理论分析推理过程,揭示了结构泛化和近似限制的理论机制,发现位置依赖注意力机制和Transformer电路深度对推理性能有显著影响。
2026-10-20 cs.AI cs.CC cs.CL
A Game-Theoretic Approach for Improving Generalization Ability of TSP Solvers
University of Chinese Academy of Sciences(中国科学院大学);King’s College London(伦敦国王学院);University College London(伦敦大学学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
在本文中,我们在可训练的\emph{Solver}和\emph{Data Generator}之间引入了一个两人零和框架,以提高基于深度学习的TSP求解器的泛化能力。基于\textsl{Policy Space Response Oracle}(PSRO)方法,我们的两人框架输出了一个最佳响应的求解器群体,我们可以混合并输出一个组合模型,该模型实现了对生成器的最小可利用性,从而在不同的TSP任务上实现了最具普遍性的性能。我们对不同类型和大小的TSP实例进行了实验。结果表明,我们的求解器即使在求解器从未遇到的任务上也能实现最先进的性能,而其他基于深度学习的求解器的性能由于过度拟合而急剧下降。为了证明我们的框架的原理,我们研究了所提出的两人游戏的学习结果,并证明了在训练过程中求解器种群的可利用性降低,并且它最终与生成器一起接近纳什均衡。
2022-05-04 cs.LG
Sym-NCO: Leveraging Symmetricity for Neural Combinatorial Optimization
Korea Advanced Institute of Science and Technology (KAIST)(韩国高等科学技术研究院(KAIST))
基于深度强化学习(DRL)的组合优化(CO)方法(即,DRL-NCO)已经显示出优于常规CO求解器的显著优点,因为DRL-NCO能够较少地依赖于特定于问题的专家领域知识(探试法)和监督标记数据(监督学习方法)来学习CO求解器。本文提出了一种新的训练方案Sym-NCO,这是一种基于正则化器的训练方案,它利用了各种CO问题和解决方案的通用性。利用旋转和反射不变性等并行性可以大大提高DRL-NCO的泛化能力,因为它允许学习的求解器利用相同CO问题类中的共同共享并行性。我们的实验结果表明,我们的Sym-NCO大大提高了性能的DRL-NCO方法在四个CO任务,包括旅行商问题(TSP),有能力的车辆路径问题(CVRP),奖品收集TSP(PCTSP),和定向越野赛问题(OP),没有利用特定问题的专家领域知识。值得注意的是,Sym-NCO不仅优于现有的DRL-NCO方法,而且还优于有竞争力的传统求解器,迭代局部搜索(ILS),在PCTSP中,速度快240。我们的源代码可在https://github.com/alstn12088/Sym-NCO上获得。
2023-01-04 cs.LG stat.ML
On the Generalization of Equivariance and Convolution in Neural Networks to the Action of Compact Groups
The University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
卷积神经网络在图像识别领域非常成功,因为它们确保了平移的等方差。最近有许多尝试将这个框架推广到其他领域,包括图形和数据躺在流形上。在本文中,我们给出了一个严格的,在神经网络中的卷积和等方差的理论处理,不只是平移,但任何紧凑组的行动。我们的主要结果是证明(给定一些自然约束)卷积结构不仅是一个充分的,而且是一个必要条件,一个紧凑的群的作用等变性。我们的论述利用表示论和非交换调和分析的概念,推导出新的广义卷积公式。
2018-11-10 cs.LG stat.ML
Approximation-Generalization Trade-offs under (Approximate) Group Equivariance
UC Chile(智利大学);Inst. de Ingeniería Matematica y Computacional(数学与计算工程研究所);CSAIL(计算机科学与人工智能实验室)
本文对群等变模型的近似-泛化权衡进行正式统一研究,提出定量界限,连接模型与数据的等变误差,确定最优模型等变误差条件,为高性能模型设计提供理论支撑。
2025-04-18 cs.LG stat.ML
Empowering Networks With Scale and Rotation Equivariance Using A Similarity Convolution
The Chinese University of Hong Kong(香港中文大学)
卷积神经网络(CNN)的平移等变性质是其在计算机视觉中取得巨大成功的原因。然而,网络不具有更一般的等方差特性,如旋转或缩放,最终限制了它们的泛化性能。为了解决这一限制,我们设计了一种方法,赋予CNN关于平移,旋转和缩放的同时等方差。我们的方法定义了一个类似卷积的操作,并确保基于我们提出的可扩展傅立叶-阿冈表示的等方差。该方法保持了与传统网络相似的效率,并且几乎不引入任何额外的可学习参数,因为它不面临群卷积算子中经常出现的计算问题。我们验证了我们的方法在图像分类任务中的有效性,证明了它对缩放和旋转输入的鲁棒性和泛化能力。
2023-03-01 cs.CV cs.LG
Equivariance and generalization in neural networks
Institute for Theoretical Physics, TU Wien(维也纳工业大学理论物理研究所)
高能物理学和格点场论的基本对称性所起的关键作用要求在应用于所考虑的物理系统的神经网络架构中实现这种对称性。在这些程序中,我们专注于将平移等方差网络属性之间的后果,特别是在性能和泛化方面。通过研究复杂的标量场理论,研究了各种回归和分类任务,证明了等变网络的好处。为了进行有意义的比较,通过系统搜索确定有前途的等变和非等变架构。结果表明,在大多数任务中,我们最好的等变架构可以执行和推广显着优于其非等变对应物,这不仅适用于训练集中表示的物理参数,而且适用于不同的晶格尺寸。
2021-12-23 cs.LG hep-lat hep-ph
Equivariant Disentangled Transformation for Domain Generalization under Combination Shift
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心);Microsoft Research Asia(微软亚洲研究院)
当部署环境中的数据分布发生变化时,机器学习系统可能会遇到意想不到的问题。一个主要原因是,某些域和标签的组合在训练过程中没有观察到,但在测试环境中出现了。虽然各种基于不变性的算法可以应用,我们发现,性能增益往往是边际。为了正式分析这个问题,我们提供了一个独特的代数公式的组合移位问题的基础上的概念,同态,等方差,和一个精致的定义解开。代数要求自然衍生出一种简单而有效的方法,称为等变解纠缠变换(EDT),该方法基于标记的代数结构来增加数据,并使变换满足等变和解纠缠要求。实验结果表明,不变性可能是不够的,它是重要的,以利用组合移位问题的等方差结构。
2022-08-03 cs.LG
RsGCN: Subgraph-Based Rescaling Enhances Generalization of GCNs for Solving Traveling Salesman Problems
School of Computer Science, South China Normal University(华南师范大学计算机科学学院);College of Artificial Intelligence, Nankai University(南开大学人工智能学院)
针对GCN求解TSP的跨尺度泛化差和训练成本高问题,提出基于子图重缩放的RsGCN与重构搜索RBS,仅训练3轮即可泛化至万节点实例,性能优异且参数最少。
2025-09-26 cs.LG cs.NE
Relaxed Equivariance via Multitask Learning
University of Oxford(牛津大学);ELLIS Institute(ELLIS研究所);Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所);Tübingen AI Center(图宾根人工智能中心);AITHYRA
本文提出REMUL方法,通过多任务学习在无约束网络中学习近似等变性,实现对称性的有效利用,提升模型性能并减少计算开销。
2026-01-04 cs.LG
Improved Generalization Bounds of Group Invariant / Equivariant Deep Networks via Quotient Feature Spaces
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Keio University(庆应义塾大学);The University of Tokyo(东京大学)
许多不变(或等变)神经网络已经成功地处理不变的数据,如点云和图形。然而,神经网络的推广理论还没有得到很好的发展,因为该理论的几个基本因素,如网络大小和边缘分布,没有深入联系的不变性和等变性。在这项研究中,我们开发了一个新的泛化误差界不变和等变深度神经网络。为了描述不变性和等变性对推广的影响,我们提出了一个\textit{quotient feature space}的概念,它度量了群作用对性质的影响。我们的主要结果证明了商特征空间的体积可以描述泛化误差。此外,该界表明,不变性和等变性显着改善的领先项的界。我们将我们的结果应用于特定的不变和等变网络,例如DeepSets(Zaheer et al.(2017)),并表明它们的泛化界被$\sqrt{n!}$大大提高,其中$n!$是排列的数量。我们还讨论了不变DNN的表达能力,并表明它们可以实现最佳近似率。我们的实验结果支持了我们的理论主张。
2021-06-19 cs.LG stat.ML
On the Sample Complexity of One Hidden Layer Networks with Equivariance, Locality and Weight Sharing
Qualcomm AI Research(高通人工智能研究部门);Qualcomm Technologies, Inc.(高通技术公司)
本文通过统计学习理论,分析了单隐层网络中权重共享、等变性和局部性对样本复杂度的影响,给出了维度无关的界,并指出局部性与表达力存在权衡。
2025-01-23 cs.LG math.ST stat.ML
Generalization of Machine Learning for Problem Reduction: A Case Study on Travelling Salesman Problems
RMIT University(皇家墨尔本理工大学);Monash University(蒙纳士大学)
组合优化在实际问题求解中起着重要的作用。在大数据时代,组合优化问题的维数通常非常大,这对现有的求解方法提出了重大挑战。在本文中,我们研究的推广能力的机器学习模型的问题约简的经典旅行商问题(TSP)。我们证明,我们的方法可以greenly删除决策变量的优化问题,预测不是最优解的一部分。更具体地说,我们研究了模型在训练阶段没有看到的测试实例上进行泛化的能力。我们考虑三种情况,其中训练和测试实例在以下方面不同:1)问题特征; 2)问题大小; 3)问题类型。我们的实验表明,这种基于机器学习的技术可以推广到广泛的TSP测试实例具有不同的特性或大小。虽然预测未使用变量的准确性会随着测试实例远离训练集而自然恶化,但我们观察到,即使在不同的TSP问题变体上进行测试,机器学习模型仍然可以对哪些变量可以被消除而不会显着影响解决方案质量进行有用的预测。
2020-09-08 cs.LG stat.ML
Deep Scale-spaces: Equivariance Over Scale
AMLAB, Philips Lab(飞利浦实验室 AMLAB);University of Amsterdam(阿姆斯特丹大学)
我们介绍了深度尺度空间(DSS),卷积神经网络的推广,利用传统的图像识别任务的尺度对称结构。简单地说,图像的类别不随观看的尺度而变化。我们构建规模等变互相关的基础上的卷积的原则性扩展,接地的理论的尺度空间和半群。作为一个非常基本的操作,这些互相关可以以即插即用的方式用于几乎任何现代深度学习架构中。我们在Patch Camelyon和Cityscapes数据集上展示了我们的网络,以证明它们的实用性,并进行内省研究以进一步了解它们的属性。
2019-05-28 cs.CV cs.LG stat.ML
An Edge-Aware Graph Autoencoder Trained on Scale-Imbalanced Data for Traveling Salesman Problems
Bielefeld University(比勒费尔德大学);Guangdong University of Foreign Studies(广东外语外贸大学);University of Surrey(萨里大学)
本文提出EdgeGAE边感知图自编码器,将TSP建模为链接预测,并利用规模不平衡数据与主动采样训练,从而泛化求解50至500个城市的多规模TSP。
2024-03-02 cs.LG
Pulmonary Disease Classification Using Globally Correlated Maximum Likelihood: an Auxiliary Attention mechanism for Convolutional Neural Networks
卷积神经网络(CNN)现在被广泛用于分类和检测胸部X线照片中的肺部异常。CNN的两个互补的泛化特性,平移不变性和等变性,在检测与肺部疾病相关的明显异常时特别有用,无论它们在图像中的空间位置如何。然而,这些属性也伴随着在局部区域中检测到的异常的精确空间信息和全局相对位置的丢失。这些异常的全球相对位置可能有助于区分类似的情况,如COVID-19和病毒性肺炎。在这种情况下,需要一种全局注意力机制,而CNN在其传统架构中不支持这种机制,这些架构旨在通过平移不变性和等变性提供泛化。视觉Transformer提供了一种全局注意力机制,但缺乏平移不变性和等变性,需要更多的训练数据样本来匹配CNN的泛化。为了解决空间信息的丢失和特征之间的全局关系,同时保留CNN的归纳偏差,我们提出了一种新的技术,作为现有CNN架构的辅助注意力机制,以提取显着特征之间的全局相关性。
2021-09-01 cs.CV cs.LG
Solving Optimization Problems through Fully Convolutional Networks: an Application to the Travelling Salesman Problem
在新一轮人工智能浪潮中,深度学习正在冲击着各个行业。作为一个密切相关的领域,优化算法极大地促进了深度学习的发展。但反向应用仍显不足。有没有什么有效的方法可以通过深度学习来解决某些优化问题?关键是将优化转换为适合深度学习的表示。研究了一类旅行商问题(TSP)。考虑到深度学习擅长图像处理,提出了一种图像表示方法,将TSP转化为图像。基于10个城市TSP的样本,使用全卷积网络(FCN)来学习从可行域到最优解的映射。培训过程分阶段进行分析和解释。提出了一种可视化方法来显示FCN如何理解TSP的训练任务。一旦训练完成,不需要大量的工作来解决一个新的TSP,并且在毫秒级上获得预测。结果表明,在寻找全局最优解的良好性能。此外,开发的FCN模型已被证明在TSP的不同的城市数量,证明了良好的泛化性能。
2019-10-27 cs.CV cs.LG math.OC
RoCoDA: Counterfactual Data Augmentation for Data-Efficient Robot Learning from Demonstrations
Georgia Institute of Technology(佐治亚理工学院);Apptronik, Inc.(Apptronik公司)
针对机器人模仿学习泛化难、数据成本高的问题,提出融合因果不变性与SE(3)等变性的RoCoDA反事实数据增强框架,在五项操作任务上实现了优于现有方法的策略性能、泛化性与样本效率。
2025-05-20 cs.AI cs.CV cs.LG
Learning the Travelling Salesperson Problem Requires Rethinking Generalization
University of Cambridge(剑桥大学);Ecole Polytechnique de Montréal(蒙特利尔理工学院);Loyola Marymount University(洛约拉马利蒙特大学)
最近,针对图组合优化问题(如旅行推销员问题(TSP))的神经网络求解器的端到端训练引起了人们的极大兴趣,但在具有数百个节点的图之外仍然是棘手和低效的。虽然最先进的学习驱动的TSP方法在训练微不足道的小尺寸时表现得与经典求解器接近,但它们无法将学习到的策略推广到实际规模的更大实例。这项工作提出了一个端到端的神经组合优化管道,它统一了最近的几篇论文,以确定归纳偏差,模型架构和学习算法,促进泛化到比训练中看到的更大的实例。我们的对照实验提供了对这种zero-shot泛化的第一个原则性研究,揭示了在训练数据之外进行外推需要重新思考神经组合优化管道,从网络层和学习范式到评估协议。此外,我们通过管道的镜头分析了路由问题的深度学习的最新进展,并提供了新的方向来刺激未来的研究。
2022-05-25 cs.LG stat.ML
Learning the Multiple Traveling Salesmen Problem with Permutation Invariant Pooling Networks
The School of Computer Science(计算机科学学院);Tel Aviv University(特拉维夫大学);Facebook AI Research(脸书人工智能研究院)
虽然有最佳的TSP求解器,以及最近的学习为基础的方法,推广的TSP多个旅行商问题的研究少得多。在这里,我们设计了一个神经网络解决方案,将销售人员,城市和仓库视为三组不同的基数。我们采用了一种新的技术,结合元素,从最近的架构,开发集,以及元素从图形网络。再加上新的约束执行输出层,一个专用的损失,和搜索方法,我们的解决方案被证明优于所有的元算法的领先求解器在该领域。
2019-02-15 cs.LG stat.ML
Learning to Solve Routing Problems via Distributionally Robust Optimization
Nanyang Technological University(南洋理工大学);Singapore Institute of Manufacturing Technology, A*STAR(新加坡科技研究局新加坡制造技术研究院)
目前求解路由问题的深度模型通常假设节点的分布是单一的,这严重影响了模型的跨分布泛化能力。在本文中,我们利用组分布鲁棒优化(group DRO)来解决这个问题,在训练过程中,我们以交错的方式联合优化不同分布组的权重和深度模型的参数。我们还设计了一个基于卷积神经网络的模块,它允许深度模型在节点之间学习更多信息的潜在模式。我们评估了两种类型的知名的深度模型,包括GCN和POMO所提出的方法。在随机合成的实例和来自两个基准数据集(即,TSPLib和CVRPLib)表明,我们的方法可以显着提高跨分布泛化性能的原始模型。
2022-02-15 cs.AI cs.LG
Bridging Synthetic and Real Routing Problems via LLM-Guided Instance Generation and Progressive Adaptation
A*STAR(新加坡科技研究局)
通过LLM引导的实例生成和渐进适应方法,提升神经求解器在现实路由问题中的泛化能力。
2026-01-29 cs.AI cs.LG cs.NE
Neural Combinatorial Optimization with Heavy Decoder: Toward Large Scale Generalization
Southern University of Science and Technology(南方科技大学);City University of Hong Kong(香港城市大学)
本文提出轻编码器与重解码器(LEHD)模型,通过动态捕捉节点关系及高效训练与灵活解构建机制,在小规模实例上训练即可泛化求解千节点级TSP和CVRP,显著提升构造式神经组合优化性能。
2024-01-13 cs.LG cs.NE math.OC
Relative Positions Generalize, Absolute Positions Memorize: An Implicit-Bias Account of Length Generalization in Attention
Mississippi State University(密西西比州立大学)
研究Transformer中长度泛化现象,通过优化解释,证明旋转编码使注意力逻辑仅与相对偏移有关,绝对编码则不然,还将相关现象和特性转移到多层多头Transformer,联系了注意力隐式偏差等多方面内容。
2026-07-22 cs.LG
PAC-Bayes Compression Bounds So Tight That They Can Explain Generalization
New York University(纽约大学)
虽然在为深度神经网络开发非空泛化边界方面已经取得了进展,但这些边界往往无法说明深度学习为什么有效。在本文中,我们开发了一种基于线性子空间中量化神经网络参数的压缩方法,对以前的结果进行了深刻的改进,为各种任务提供了最先进的泛化范围,包括迁移学习。我们使用这些严格的界限来更好地理解模型大小,等方差和优化的隐式偏差的作用,以便在深度学习中推广。值得注意的是,我们发现大型模型可以被压缩到比以前更大的程度,封装奥卡姆剃刀。我们还认为,在解释泛化的数据独立的界限。
2022-11-24 cs.LG stat.ML
Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness
Technical University of Munich(慕尼黑工业大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
端到端(几何)深度学习在近似解决组合优化问题方面取得了第一次成功。然而,在NP难/完全任务领域生成数据带来了实践和理论挑战,导致评估协议过于乐观。具体来说,大多数数据集只捕获一个更简单的子问题,并可能遭受虚假特征。我们通过研究对抗鲁棒性(一种局部泛化特性)来研究这些影响,以揭示硬的、特定于模型的实例和虚假特征。为此,我们推导出SAT和TSP的扰动模型。与其他应用程序不同,扰动模型是围绕主观的不可感知性概念设计的,我们的扰动模型是有效的和健全的,使我们能够确定扰动样本的真实标签,而无需求解器。令人惊讶的是,在这样的扰动下,一个足够有表现力的神经求解器不会受到监督学习中常见的准确性-鲁棒性权衡的限制。虽然这样强大的求解器存在,我们经验表明,评估神经求解器不概括以及w.r.t.问题实例的小扰动。
2022-03-21 cs.LG