Combinatorial Optimization by Learning and Simulation of Bayesian Networks
University of the Basque Country（巴斯克大学）
本文展示了如何贝叶斯网络范式可以用来解决组合优化问题。为此，在分布估计算法（EDA）中插入了一些从数据中学习结构和贝叶斯网络模拟的方法。EDA是一种新的演化计算工具，其中通过估计和模拟所选个体的联合概率分布来创建个体群体。提出了基于概率图模型理论的组合优化EDA新方法。实验结果也被提出。
2013-01-16 cs.AI cs.DS
Combinatorial optimization and reasoning with graph neural networks
Polytechnique Montréal（蒙特利尔综合理工学院）；University of Toronto（多伦多大学）；Jacobs Technion-Cornell Institute（雅各布斯特克尼恩-康奈尔研究所）；Cornell Tech（康奈尔科技校区）；Technion - IIT（以色列理工学院）；RWTH Aachen University（亚琛工业大学）；DeepMind（深度思维）
本文综述了利用图神经网络（GNNs）作为求解器或增强精确求解器来处理组合优化问题的新兴方法，强调了GNNs的归纳偏置优势，并面向优化与机器学习研究者总结关键进展。
2022-09-23 cs.DS cs.LG cs.NE
Permutation Picture of Graph Combinatorial Optimization Problems
Cornell University（康奈尔大学）
本文提出一种基于置换表示的框架，用于统一建模旅行商问题、最大独立集、最大割等图组合优化问题，为神经组合优化连接离散与连续方法开辟新路径。
2024-10-22 cs.AI cs.LG
Automated quantum programming via reinforcement learning for combinatorial optimization
Stanford University（斯坦福大学）；Rigetti Computing（里盖蒂计算公司）
我们开发了一种基于激励的混合量子经典计算系统的编程方法，使用强化学习，并将其应用于解决模拟和真实的基于门的量子计算机上的组合优化问题。相对于一组随机生成的问题实例，通过强化学习技术训练的智能体能够生成短量子程序，这些程序在两种类型的量子资源上生成高质量的解决方案。我们观察到泛化到训练集之外的问题，以及从模拟量子资源到物理量子资源的泛化。
2019-08-21 cs.LG quant-ph
Structure As Search: Unsupervised Permutation Learning for Combinatorial Optimization
Cornell University（康奈尔大学）
提出非自回归无监督排列学习框架，直接学习排列矩阵解决旅行商问题，无需显式搜索，性能媲美经典启发式，证明神经网络可捕获组合结构。
2025-09-24 cs.AI cs.LG
Smoothed Online Combinatorial Optimization Using Imperfect Predictions
Adobe Research（奥多比研究院）
平滑在线组合优化考虑重复选择组合决策以最小化未知变化成本函数的学习者，并在连续轮中对切换决策进行惩罚。研究了不完全预测模型下的平滑在线组合优化问题，其中模型可以预测未来成本函数的不确定性。我们表明，使用预测计划在有限的时间范围内导致后悔依赖于总预测的不确定性和额外的切换成本。这一观察表明，选择一个合适的规划窗口，以平衡不确定性和切换成本，这导致了一个在线算法与保证的上限和下限的累积遗憾。从经验上讲，我们的算法显示了显着的改善，累积遗憾相比，其他基线合成在线分布式流媒体问题。
2023-01-13 cs.AI cs.LG
Mercer Features for Efficient Combinatorial Bayesian Optimization
School of EECS, Washington State University（华盛顿州立大学电气工程与计算机科学学院）
贝叶斯优化（BO）是一个有效的框架，用于解决黑盒优化问题与昂贵的功能评估。本文讨论了组合空间的BO问题设置（例如，序列和图形），这在科学和工程应用中自然发生。一个典型的例子是由昂贵的实验指导的分子优化。关键的挑战是平衡统计模型的复杂性和搜索的易处理性，以选择组合结构进行评估。在本文中，我们提出了一种有效的方法称为Mercer特征组合贝叶斯优化（MerCBO）。MerCBO背后的关键思想是通过利用离散对象的组合图表示的结构，为离散对象上的扩散核提供显式特征映射。这些美世功能结合汤普森采样作为采集功能，使我们能够采用易于处理的求解器来找到下一个结构进行评估。不同的现实世界的基准实验表明，MerCBO执行类似或优于以前的方法。源代码可在https://github.com/aryandeshwal/MerCBO上获得。
2020-12-14 cs.AI cs.LG
Tree-Structured Parzen Estimator Can Solve Black-Box Combinatorial Optimization More Efficiently
Preferred Networks Inc.（Preferred Networks公司）
针对树状Parzen估计器（TPE）在黑盒组合优化中应用不足的问题，提出通过泛化分类核与数值核引入距离结构并优化核计算复杂度的高效算法，实验证明其能以更少评估次数找到更优解。
2025-07-15 cs.AI cs.LG
Bridging Visualization and Optimization: Multimodal Large Language Models on Graph-Structured Combinatorial Optimization
本研究提出将图转换为图像，结合多模态大语言模型与简单搜索技术，以解决图结构组合优化问题，实验表明该方法具备卓越空间智能，可高效处理多种图任务。
2025-01-21 cs.AI cs.LG
Learning Self-Game-Play Agents for Combinatorial Optimization Problems
Northeastern University（东北大学）
使用自我游戏的强化学习（RL）的最新进展已经在几种棋盘游戏（例如，国际象棋和围棋）以及视频游戏（例如，Atari游戏和Dota 2）。我们可以认为，强化学习从零知识开始，经过一定量的训练后，可能会逐渐接近一个获胜的策略。在本文中，我们探索了神经Monte-Carlo-Tree-Search（神经MCTS），这是一种RL算法，已被DeepMind成功应用于以超人的水平玩围棋和国际象棋。我们试图利用神经MCTS的计算能力来解决一类组合优化问题。根据Hintikka的博弈论语义学思想，提出Zermelo博弈化（ZG）方法，将特定的组合优化问题转化为Zermelo博弈，其获胜策略对应于原优化问题的解。ZG还提供了一个专门设计的神经MCTS。我们使用的组合规划问题的地面实况政策是有效的计算证明ZG是有前途的。
2019-05-09 cs.AI cs.LG
Self-Improved Learning for Scalable Neural Combinatorial Optimization
Southern University of Science and Technology（南方科技大学）；City University of Hong Kong（香港城市大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出自改进学习（SIL）方法，通过自生成伪标签和线性复杂度注意力机制，在无标注数据下高效训练神经组合优化模型，并在多达10万节点的TSP和CVRP上验证了其优越的可扩展性。
2024-05-02 cs.AI cs.LG
Combining Reinforcement Learning and Constraint Programming for Combinatorial Optimization
Ecole Polytechnique de Montréal（蒙特利尔综合理工学院）；Element AI（Element AI公司）；University of Toronto Scarborough（多伦多大学士嘉堡分校）
组合优化在航空航天、交通规划和经济学等众多领域都有应用。目标是在有限的可能性集合中找到最优解。组合优化面临的著名挑战是状态空间爆炸问题：可能性的数量随着问题的规模呈指数级增长，这使得解决大型问题变得棘手。在过去的几年中，深度强化学习（DRL）已经显示出其设计良好的算法来解决NP难组合优化问题的前景。然而，目前的方法有两个缺点：（1）他们主要集中在标准的旅行商问题，他们不能很容易地扩展到其他问题，（2）他们只提供一个近似的解决方案，没有系统的方法来改善它或证明最优性。在另一个上下文中，约束编程（CP）是解决组合优化问题的通用工具。基于一个完整的搜索过程，如果我们允许足够长的执行时间，它总是会找到最优解。一个关键的设计选择，使CP非平凡的使用在实践中，是分支的决定，指导如何探索搜索空间。在这项工作中，我们提出了一个通用的和混合的方法，DRL和CP的基础上，解决组合优化问题。我们的方法的核心是基于一个动态规划制定，作为两种技术之间的桥梁。我们的实验表明，我们的求解器是有效的，以解决两个具有挑战性的问题：旅行商问题的时间窗口，和4-矩投资组合优化问题。结果表明，引入的框架优于独立的RL和CP解决方案，同时与工业求解器竞争。
2020-06-02 cs.AI cs.LG
ACCORD: Autoregressive Constraint-satisfying Generation for COmbinatorial Optimization with Routing and Dynamic attention
LAMSADE, Université Paris Dauphine-PSL（LAMSADE，巴黎Dauphine-PSL大学）
本研究针对LLM在NP难组合优化问题中应用不足的问题，提出结合自回归约束满足、注意力路由与LoRA的ACCORD框架，构建90k规模数据集，实验证明其性能超越多种方法及更大规模模型，为LLM应用于组合优化提供了首个大规模端到端方案。
2025-05-22 cs.AI cs.LG
On the Generalization of Neural Combinatorial Optimization Heuristics
NAVER LABS Europe（NAVER LABS欧洲）
神经组合优化方法最近利用深度神经网络的表达能力和灵活性来学习用于困难组合优化（CO）问题的有效算法。然而，目前的大多数方法缺乏泛化能力：对于给定的CO问题，在具有某些特征的实例上训练的算法在具有不同特征的实例上测试时表现不佳。虽然以前的一些工作集中在改变训练实例的属性，但我们假设一个一刀切的模型是遥不可及的。相反，我们将在给定的实例分布上解决CO问题形式化为一个单独的学习任务，并研究元学习技术来学习各种任务的模型，以优化其适应新任务的能力。通过大量的实验，在两个CO问题上，使用合成和现实的实例，我们表明，我们提出的元学习方法显着提高了两个国家的最先进的模型的泛化。
2022-10-03 cs.AI cs.LG
Sample Complexity of Automated Mechanism Design
Carnegie Mellon University（卡内基梅隆大学）
收入最大化组合拍卖的设计，即多商品拍卖，是计算经济学中最基本的问题之一，甚至对于两个投标人和两个待售商品也没有解决。在传统的经济模型中，假设投标人的估价来自一个潜在的分布，并且拍卖设计者对这个分布有很好的了解。尽管这个强大的，往往是不切实际的假设，这是值得注意的是，收入最大化的组合拍卖仍然是未知的。近年来，自动化机制设计已成为设计高收益组合拍卖的最实用和最有前途的方法之一。最具可扩展性的自动化机制设计算法从投标人的估价分布中获取输入样本，然后在丰富的拍卖类别中搜索高收入拍卖。在这项工作中，我们提供了第一个样本的复杂性分析的标准层次结构的确定性组合拍卖类中使用的自动机制设计。特别是，我们提供了严格的样本复杂性界限的样本数量需要保证的经验收入的设计机制的样本接近其预期收入的基础上，未知的分布在投标人的估值，每个拍卖类的层次结构。除了帮助建立自动化机制设计的坚实基础，我们的研究结果也推动了学习理论的边界。特别地，在我们的上下文中使用的假设函数是通过多阶段组合优化过程定义的，而不是简单的决策边界，如在机器学习中常见的。
2016-06-13 cs.GT cs.LG
PolyNet: Learning Diverse Solution Strategies for Neural Combinatorial Optimization
Bielefeld University（比勒菲尔德大学）；Boston University（波士顿大学）
针对组合优化现有手工规则强制探索会损害解质量的问题，提出仅用单解码器、无手工强制规则的PolyNet方法，通过学习互补策略实现隐式多样性，在4类问题上效果优于显式强制多样化的方法。
2025-10-06 cs.AI cs.LG
Unsupervised Diffusion Solver for Combinatorial Optimization via Combinatorial Adjoint Matching
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出组合伴随匹配（CAM）框架，利用离散伴随动力学和随机控制公式，实现无监督训练离散扩散求解器，在多种组合优化问题上达到与监督方法竞争的性能。
2026-06-18 cs.LG
Learning Combinatorial Optimization on Graphs: A Survey with Applications to Networking
Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰瑞尔公司）
解决图上的组合优化问题的现有方法需要在算法上设计每个问题，在许多情况下会出现实际问题。理论计算机科学的实践方面，如计算复杂性，需要解决。为此目的，在图的机器学习研究的相关发展进行了调查。我们组织和比较结构涉及学习解决组合优化问题，特别着眼于电信领域及其不断发展的生活和研究网络。
2020-07-13 cs.AI cs.LG stat.ML
DIMES: A Differentiable Meta Solver for Combinatorial Optimization Problems
University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
最近，深度强化学习（DRL）模型在解决NP难组合优化（CO）问题方面表现出了很好的效果。然而，对于图上的组合优化问题，例如旅行商问题（TSP），大多数DRL求解器只能扩展到几百个节点。针对大规模组合优化中的可扩展性问题，提出了一种新的求解方法DIMES。与以前的DRL方法，遭受昂贵的自回归解码或迭代细化的离散解决方案，DIMES引入了一个紧凑的连续空间参数化的潜在分布的候选解决方案。这样一个连续的空间允许通过大规模并行采样进行稳定的基于REINFORCE的训练和微调。我们进一步提出了一个元学习框架，使有效的初始化模型参数的微调阶段。大量的实验表明，DIMES优于最近的DRL为基础的方法在大型基准数据集的旅行商问题和最大独立集问题。
2022-10-25 cs.AI cs.LG math.OC
MathConstraint: Automated Generation of Verified Combinatorial Reasoning Instances for LLMs
Georgia Institute of Technology, USA（佐治亚理工学院）；KNOWIDEA Technologies（KNOWIDEA技术公司）
MathConstraint是一个用于评估LLMs组合推理能力的严格适应性基准，通过结合约束满足问题和严格求解器验证，生成持续具有挑战性的实例，展示基准生成器对LLM推理能力进步的鲁棒性。
2026-05-08 cs.AI cs.LG cs.LO
USCO-Solver: Solving Undetermined Stochastic Combinatorial Optimization Problems
University of Delaware（特拉华大学）
现实世界的决策系统经常受到不确定性的影响，这些不确定性必须通过观测数据来解决。因此，我们经常面临的组合优化问题的目标函数是未知的，因此必须揭穿经验证据。与依赖于学习和优化策略的常见做法相反，我们考虑组合空间之间的回归，旨在从输入解决方案对的样本中推断出高质量的优化解决方案-而无需学习目标函数。我们的主要交付成果是一个通用的求解器，能够处理抽象的不确定随机组合优化问题。对于学习的基础，我们提出了学习错误分析下的PAC贝叶斯框架使用新的边缘为基础的分析。在实证研究中，我们使用概念验证实验来证明我们的设计，并将其与其他可能适用的方法进行比较。总体而言，我们获得了非常令人鼓舞的实验结果，几个经典的组合问题的合成和现实世界的数据集。
2022-03-28 cs.LG
Neural Combinatorial Optimization with Reinforcement Learning
Google Brain（谷歌大脑）
本文提出了一种利用神经网络和强化学习解决组合优化问题的框架。我们专注于旅行商问题（TSP）和训练一个经常性的网络，给定一组城市坐标，预测分布在不同的城市排列。以负游程长度作为反馈信号，采用策略梯度法对递归网络的参数进行优化。我们比较了在一组训练图上学习网络参数和在单个测试图上学习网络参数。尽管计算开销很大，但无需太多工程和启发式设计，神经组合优化在多达100个节点的2D欧几里得图上实现了接近最优的结果。应用于KnapSack，另一个NP难问题，相同的方法获得了最多200个项目的实例的最优解。
2017-01-12 cs.AI cs.LG stat.ML
Learning to Perform Local Rewriting for Combinatorial Optimization
UC Berkeley（加州大学伯克利分校）；Facebook AI Research（脸书人工智能研究院）
硬组合优化的基于搜索的方法通常是由逻辑学指导的。在不同的条件和情况下调整算法通常是耗时的。在本文中，我们提出了NeuRewriter，它学习一种策略来选择算法并重写当前解决方案的局部组件，以迭代地改进它，直到收敛。该策略分解为区域选择和规则选择组件，每个组件由强化学习中的演员-评论家方法训练的神经网络参数化。NeuRewriter捕捉了组合问题的一般结构，并在三个通用任务中表现出强大的性能：表达式简化，在线作业调度和车辆路径问题。NeuRewriter优于Z3中的表达式简化组件;在在线作业调度方面优于DeepRM和Google OR工具;在车辆路径问题方面优于最近的神经基线和Google OR工具。
2019-10-30 cs.AI cs.LG stat.ML
Online Combinatorial Linear Optimization via a Frank-Wolfe-based Metarounding Algorithm
Kyushu University（九州大学）；RIKEN AIP（理化学研究所先进智能项目）
本文提出了一种基于Frank-Wolfe的全新metarounding算法，在存在基于松弛的近似算法假设下，将组合线性优化近似算法转化为在线优化算法，并在理论和实践上均显著提升了效率。
2023-11-19 cs.DS cs.LG
Deep Reinforcement Learning for Exact Combinatorial Optimization: Learning to Branch
University of Alberta（阿尔伯塔大学）；Huawei Technologies Canada Co., Ltd.（华为技术加拿大有限公司）
分支定界法是求解组合优化的一种系统枚举方法，其性能高度依赖于变量选择策略。最先进的手工制作的启发式策略遭受每个选择的相对较慢的推理时间，而当前的机器学习方法需要大量的标记数据。提出了一种基于强化学习（RL）范式的组合优化中数据标记和推理延迟问题的解决方法。我们使用模仿学习来引导RL代理，然后使用近端策略优化（PPO）来进一步探索全局最优动作。然后，使用价值网络运行蒙特卡罗树搜索（MCTS）来增强策略网络。我们评估了我们的方法在四个不同类别的组合优化问题的性能，并表明我们的方法相比，最先进的机器学习和基于数学的方法表现强劲。
2022-06-14 cs.AI cs.LG cs.RO
AntBO: Towards Real-World Automated Antibody Design with Combinatorial Bayesian Optimisation
University of Edinburgh（爱丁堡大学）；Technische Universität Darmstadt（达姆施塔特工业大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Oslo（奥斯陆大学）；American University of Beirut Medical Centre（贝鲁特美国大学医学中心）；University College London（伦敦大学学院）
抗体是能够高度特异性分子识别的典型Y形多聚体蛋白。位于抗体可变链末端的CDRH 3区主导抗原结合特异性。因此，设计最佳的抗原特异性CDRH 3区以开发治疗性抗体是优先考虑的。然而，CDRH 3序列空间的组合性质使得不可能使用计算方法彻底且有效地搜索最佳结合序列。在这里，我们提出了\texttt{AntBO}：一个组合贝叶斯优化框架，使有效的\textit{in silico}设计的CDRH 3区。理想情况下，预期抗体具有高靶标特异性和可开发性。我们引入了CDRH 3信任区，将搜索限制在具有有利可开发性评分的序列中，以实现这一目标。对于基准测试，\texttt{AntBO}使用\texttt{Absolut!}软件套件作为黑盒预言机，以不受约束的方式~ \citep{robert2021one}对设计的抗体\textit{in silico}的靶特异性和亲和力进行评分。对\texttt{Absolut!}中使用的$159$离散抗原进行的实验证明了\texttt{AntBO}在设计具有不同生物物理特性的CDRH 3区中的益处。在$200$下调用黑盒oracle时，\texttt{AntBO}可以建议优于从690万个实验获得的CDRH 3和常用的遗传算法基线中得出的最佳结合序列的抗体序列。此外，\texttt{AntBO}仅在38种蛋白质设计中发现了非常高亲和力的CDRH 3序列，同时不…
2022-10-14 cs.AI cs.LG cs.NE
Smart Predict-and-Optimize for Hard Combinatorial Optimization Problems
Vrije Universiteit Brussel（布鲁塞尔自由大学）；University of Melbourne（墨尔本大学）
组合优化假设优化问题的所有参数，例如目标函数中的权重是固定的。通常，这些权重仅仅是估计值，并且越来越多地使用机器学习技术来进行估计。最近，智能预测和优化（SPO）已经提出了一个线性目标函数的预测问题，更具体地说，线性规划问题。它考虑了线性问题的预测的遗憾，通过在学习过程中反复解决它。我们研究使用SPO来解决更现实的离散优化问题。主要的挑战是重复求解优化问题。为此，我们研究了放松问题的方法，以及开始学习和解决问题的方法。我们的研究结果表明，即使是离散的问题，它往往足以训练通过解决松弛的SPO损失。此外，在大多数情况下，这种方法优于Wilder，Dilkina和Tambe的最先进方法。我们的实验加权背包问题以及复杂的调度问题，并首次表明，预测和优化方法可以成功地用于大规模的组合优化问题。
2019-11-22 cs.AI cs.LG math.OC
DeepACO: Neural-enhanced Ant Systems for Combinatorial Optimization
Soochow University（苏州大学）；Singapore Management University（新加坡管理大学）；Tsinghua University（清华大学）
针对传统蚁群优化需人工设计问题特定启发式规则的痛点，提出通用神经增强框架DeepACO，用深度强化学习自动化启发式设计，在多类组合优化问题上取得优于或对标现有方法的表现。
2023-11-04 cs.AI cs.LG cs.NE
Combinatorial Bayesian Optimization with Random Mapping Functions to Convex Polytopes
POSTECH（浦项科技大学）；Intellicode
贝叶斯优化是求解费用高的黑箱函数全局优化问题的一种常用方法。它依赖于目标函数的概率代理模型，在此基础上建立获取函数以确定下一步在哪里评估目标函数。通常，具有高斯过程回归的贝叶斯优化在连续空间上操作。当输入变量是分类变量或离散变量时，需要格外小心。一种常见的方法是使用独热编码或布尔表示的分类变量，这可能会产生组合爆炸问题。本文提出了一种在组合空间中求解贝叶斯优化的方法，该方法能在较大的组合空间中很好地工作。其主要思想是利用一个随机映射将组合空间嵌入到连续空间的凸多面体中，在此基础上进行所有必要的处理以确定组合空间中黑箱优化的解。我们描述了我们的组合贝叶斯优化算法，并提出其遗憾分析。数值实验表明，我们的方法显示出令人满意的性能相比，现有的方法。
2022-06-20 cs.LG stat.ML
BOPO: Neural Combinatorial Optimization via Best-anchored and Objective-guided Preference Optimization
Sun Yat-sen University（中山大学）
本文提出BOPO训练范式，通过最佳锚定偏好对构建和目标引导的成对损失函数，利用解的目标值差异提升神经组合优化的样本效率与推理性能，在JSP、TSP和FJSP上显著缩小最优性差距。
2025-06-02 cs.LG
Bayesian Optimization of Combinatorial Structures
Massachusetts Institute of Technology（麻省理工学院）；The University of Arizona（亚利桑那大学）
在组合结构上优化代价高的黑箱函数是机器学习、工程和自然科学中普遍存在的任务。搜索空间的组合爆炸和昂贵的评估对离散优化和机器学习中的当前技术提出了挑战，并且迫切需要新的算法思想。本文提出，据我们所知，第一个算法来克服这些挑战，基于自适应，可扩展的模型，即使在数据稀缺的情况下，也能识别有用的组合结构。我们的采集功能率先使用半定编程来实现效率和可扩展性。实验结果表明，该算法在组合优化和贝叶斯优化方面均优于其他方法。
2018-10-10 cs.LG math.OC stat.ML
Tight Bounds for Bandit Combinatorial Optimization
Technion—Israel Institute of Technology（以色列理工学院）；Google Brain（谷歌大脑）
我们重新研究的最优后悔率在强盗组合优化-一个基本框架，顺序决策下的不确定性，抽象出许多组合预测问题。我们证明，在这种情况下，可达到的遗憾增长为$\widetildeΘ(k^{3/2}\sqrt{dT})$，其中$d$是问题的维数，$k$是最大瞬时损失的界，反驳了Audibert，Bubeck和Lugosi（2013）的猜想，他们认为最佳速率应该是$\widetildeΘ(k\sqrt{dT})$的形式。我们的界限适用于几个重要的情况下的框架，特别是，意味着一个严格的约束研究的强盗最短路径问题。这样，我们也解决了Cesa-Bianchi和Lugosi（2012）提出的一个开放问题。
2017-02-24 cs.LG
DeepCO: Offline Combinatorial Optimization Framework Utilizing Deep Learning
Hitachi, Ltd.（株式会社日立）
组合优化在许多现代工业应用中起着重要作用。由于安全和/或成本问题，大量的问题是离线设置。虽然基于模拟的方法似乎很难实现复杂的系统，在这项研究中，我们提出了DeepCO，一个利用深度学习的离线组合优化框架。我们也设计了旅行商问题（TSP）的离线变化模型仓库操作序列优化问题进行评估。在历史数据有限的情况下，本文提出的分布正则化优化方法在离线TSP实验中的性能优于现有的基线方法，平均减少路径长度5.7%，在现实问题中显示出巨大的潜力。
2020-07-20 cs.LG math.OC stat.ML
Automated Hyperparameter Optimization Challenge at CIKM 2021 AnalyticCup
Peking University（北京大学）
在本文中，我们描述了我们在QQ浏览器2021 AI算法竞赛（ACM CIKM 2021 AnalyticCup Track 2）中解决自动超参数优化挑战的方法。竞赛组织者提供匿名的现实工业任务和数据集，用于黑盒优化。基于我们的开源软件包OpenBox，我们采用贝叶斯优化框架的配置采样和启发式提前停止策略。我们在初赛和决赛中都获得了第一名，成绩分别为0.938291和0.918753。
2021-10-31 cs.LG
Ecole: A Gym-like Library for Machine Learning in Combinatorial Optimization Solvers
Mila（米拉）；Polytechnique Montréal（蒙特利尔理工学院）；Technische Universiteit Delft（代尔夫特理工大学）
我们提出了Ecole，一个新的库，以简化组合优化的机器学习研究。Ecole揭示了在通用组合优化求解器中出现的几个关键决策任务，作为马尔可夫决策过程的控制问题。它的界面模仿了流行的OpenAI Gym库，可扩展且使用直观。我们的目标是使这个图书馆成为一个标准化的平台，降低进入门槛，加速该领域的创新。文档和代码可以在https://www.ecole.ai上找到。
2020-11-24 cs.LG math.OC
Data-driven Prediction of Relevant Scenarios for Robust Combinatorial Optimization
University of Siegen（锡根大学）；University of Amsterdam（阿姆斯特丹大学）
研究了离散不确定性组合最优化问题的迭代法。我们提出了一种基于机器学习的启发式方法来确定提供强下界的起始场景。为此，我们设计维度无关的功能和训练随机森林分类器上的小尺寸的情况下。实验表明，我们的方法提高了解决方案的过程中包含在训练集中的更大的实例，也提供了一个功能的重要性分数，让洞察场景属性的作用。
2022-12-23 cs.LG math.OC
Constrained Combinatorial Optimization with Reinforcement Learning
University of the Basque Country（巴斯克大学）；Lehigh University（理海大学）
本文提出了一种使用深度强化学习（RL）解决约束组合优化问题的框架。为此，我们扩展了神经组合优化（NCO）理论，以处理其制定的约束。值得注意的是，我们建议定义约束组合问题作为完全可观察的约束马尔可夫决策过程（CMDP）。在该上下文中，基于与环境的交互迭代地构造解决方案。该模型，除了奖励信号，依赖于从约束不满产生的惩罚信号来推断作为启发式算法的政策。此外，在优化过程中访问完整的状态表示允许我们依赖于无内存架构，增强了以前的序列到序列方法中获得的结果。约束车间和资源分配问题进行的实验证明了计算快速解决方案的建议相比，经典的启发式，元启发式，约束编程（CP）求解器的优越性。
2020-06-22 cs.LG stat.ML
Bayesian Variational Optimization for Combinatorial Spaces
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
本文主要研究组合空间中的贝叶斯优化问题。在自然科学的许多应用中。广泛的应用包括分子，蛋白质，DNA，器件结构和量子电路设计的研究，需要在组合分类空间上进行优化以找到最优或帕累托最优解。然而，只有有限数量的方法被提出来解决这个问题。其中许多算法依赖于高斯过程的组合贝叶斯优化。高斯过程遭受大数据大小的可扩展性问题，因为它们的缩放相对于数据点的数量是立方的。这对于优化大的搜索空间通常是不切实际的。在这里，我们介绍了变分贝叶斯优化方法，结合变分优化和连续松弛的贝叶斯优化的采集功能的优化。重要的是，该方法允许基于梯度的优化，并具有优化大数据大小和数据维度的问题的能力。我们已经表明，我们的方法的性能是最先进的方法相媲美，同时保持其可扩展性的优势。我们还将我们的方法应用于分子优化。
2020-11-03 cs.LG math.OC stat.ML
A General Framework for Evaluating Robustness of Combinatorial Optimization Solvers on Graphs
Shanghai Jiao Tong University（上海交通大学）
求解图上的组合优化问题是数据挖掘、机器学习和运筹学等上游应用的基本任务之一。尽管固有的NP难的挑战，CO，启发式，分支定界，基于学习的求解器的开发，以解决CO的问题，尽可能准确地给定有限的时间预算。然而，一氧化碳溶剂的灵敏度的实用度量仍然在很大程度上未被探索。现有的理论度量需要不可行的最优解，并且来自深度学习的基于梯度的对抗性攻击度量与通常不可微的非学习求解器不兼容。在本文中，我们开发了第一个实际可行的鲁棒性度量一般组合优化求解器。我们开发了一个没有更差的最优成本保证，因此不需要最优解，我们通过诉诸黑盒对抗攻击方法来解决不可微的挑战。广泛的实验进行了14个独特的组合的求解器和CO问题，我们证明了国家的最先进的求解器，如Guesthouse的性能可以退化超过20%，根据我们的鲁棒性度量发现的硬实例上的给定的时间限制，提高关注组合优化求解器的鲁棒性。
2022-06-04 cs.AI cs.CR cs.LG
SequentialAttention++ for Block Sparsification: Differentiable Pruning Meets Combinatorial Optimization
Google Research（谷歌研究院）
该研究结合可微分剪枝与组合优化，提出SequentialAttention++框架，理论证明其非凸正则化特性与近似最优性，在ImageNet和Criteo数据集上实现块剪枝任务的SOTA性能。
2025-02-10 cs.LG
Ant Colony Sampling with GFlowNets for Combinatorial Optimization
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；KAIST（韩国科学技术院）；Omelet（欧姆莱特公司）
提出GFACS，结合GFlowNets摊销多模态先验与蚁群优化并行搜索，在七个组合优化问题上表现优异。
2025-02-28 cs.LG cs.NE
Machine Learning for Combinatorial Optimization: a Methodological Tour d'Horizon
Université de Montréal（蒙特利尔大学）；Mila, Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；École Polytechnique de Montréal（蒙特利尔综合理工学院）
本文调查了最近的尝试，无论是从机器学习和运筹学社区，在利用机器学习解决组合优化问题。鉴于这些问题的困难性质，最先进的算法依赖于手工制作的算法来做出决策，否则计算成本太高或数学上没有很好的定义。因此，机器学习看起来像是以更有原则和优化的方式做出此类决策的自然候选者。我们主张进一步推动机器学习和组合优化的集成，并详细介绍了这样做的方法。本文的一个主要观点是将通用优化问题视为数据点，并询问在给定任务上用于学习的问题的相关分布是什么。
2020-03-12 cs.LG stat.ML
A Diffusion Model Framework for Unsupervised Neural Combinatorial Optimization
Institute for Machine Learning, Johannes Kepler University, Linz, Austria（机器学习研究所，约翰尼斯·凯普大学，林茨，奥地利）；NXAI GmbH（NXAI公司）
本文提出一种基于扩散模型的无监督神经组合优化框架，通过反向KL散度上界损失规避精确样本似然限制，在多个基准问题上取得新的最优性能。
2025-08-22 cs.AI cs.DM cs.LG
Power of human-algorithm collaboration in solving combinatorial optimization problems
University of Eastern Finland（东芬兰大学）
许多组合优化问题通常被认为难以精确求解或近似求解。这样的问题的一个例子是最大团-在复杂性理论的标准假设下-不能在次指数时间内解决或在多项式因子内有效地近似。我们表明，如果一个多项式时间算法可以查询信息高斯先验从专家$poly(n)$倍，然后一类组合优化问题可以有效地解决预期的乘法因子$ε$，其中$ε$是任意常数。虽然我们提出的方法仅仅是理论上的，但它们为如何解决这些通常被认为是棘手的问题提供了新的思路。
2021-07-25 cs.CC cs.DS cs.LG
Learning for Robust Combinatorial Optimization: Algorithm and Application
UC Riverside（加州大学河滨分校）；University of Virginia（弗吉尼亚大学）
学习优化（L2 O）最近已经成为一种很有前途的方法来解决优化问题，通过利用强大的预测能力的神经网络，并提供较低的运行时复杂性比传统的求解器。虽然L2 O已被应用于各种问题，但一类关键但具有挑战性的问题-以极大极小优化形式的鲁棒组合优化-在很大程度上仍然未被探索。除了决策空间呈指数增长外，鲁棒组合优化的一个关键挑战在于内部优化问题，该问题通常是非凸的，并且与外部优化纠缠在一起。在本文中，我们研究了鲁棒组合优化，并提出了一种新的学习为基础的优化，称为LRCO（学习鲁棒组合优化），快速输出一个强大的解决方案，在不确定的情况下。LRCO利用了一对基于学习的优化器--一个用于最小化器，另一个用于最大化器--它们使用各自的目标函数作为损失，并且可以在不需要标签的情况下训练问题实例。为了评估LRCO的性能，我们对车辆边缘计算中的任务卸载问题进行了模拟。我们的研究结果表明，LRCO可以大大降低最坏情况下的成本，提高鲁棒性，同时具有非常低的运行时复杂度。
2021-12-20 cs.LG eess.SP math.OC
N(CO)$^2$: Neural Combinatorial Optimization with Chance Constraints to Solve Stochastic Orienteering
Department of Computer Science and Engineering, University of California, Merced（加州大学默塞德分校计算机科学与工程系）
提出N(CO)$^2$框架，结合强化学习求解随机定向问题，无需手工启发式，在不确定环境下优化路径选择，性能媲美MILP。
2026-06-18 cs.LG cs.RO
Combining Learned Representations for Combinatorial Optimization
University of California, Berkeley（加州大学伯克利分校）
本文提出了一种新的方法来结合限制玻尔兹曼机（RBM），可以用来解决组合优化问题。这允许从已经预训练的较小RBM合成较大的模型，从而有效地绕过了大型RBM中的学习问题，并创建了一个能够对大型复杂多模态空间建模的系统。我们验证了这种方法，通过使用学习表示创建"可逆布尔逻辑“，在那里我们可以使用马尔可夫链蒙特卡罗（MCMC）的方法来找到大规模的布尔可满足性问题的解决方案，并显示对其他组合优化问题的可行性。使用这种方法，我们能够解决基于64位加法的问题，以及分解16位数字。我们发现，与完全训练的模型相比，这些组合表示可以为相同的样本量提供更准确的结果。
2019-09-09 cs.LG stat.ML
Black-box Combinatorial Optimization using Models with Integer-valued Minima
Delft University of Technology（代尔夫特理工大学）
当一个黑盒优化目标只能用昂贵的或有噪声的测量来评估时，大多数标准优化算法都不适合找到最优解。专门处理这种情况的算法使用了代理模型。这些模型通常是连续和光滑的，这对连续优化问题是有利的，但不一定对组合问题。然而，通过以某种方式选择代理模型的基函数，我们证明了可以保证代理模型的最优解是整数。在求解带噪声干扰的旅行商基准问题的鲁棒路径时，该方法的性能优于随机搜索、模拟退火和贝叶斯优化算法，与贝叶斯优化算法的性能相当;在求解具有大量变量的凸二元优化问题时，该方法的性能优于所有比较算法.
2019-11-20 cs.LG stat.ML
Hamiltonian-based Quantum Reinforcement Learning for Neural Combinatorial Optimization
Fraunhofer IISB（弗劳恩霍夫集成电路技术研究所）；Technical University Munich（慕尼黑工业大学）；Fraunhofer IKS（弗劳恩霍夫软件和系统创新研究所）；Ludwig Maximilian University Munich（慕尼黑大学）
本研究提出基于哈密顿量的量子强化学习方法，融合量子计算与神经组合优化，依托问题哈密顿量构建拟设，兼具优可训练性与广适用性，在多类组合优化问题上验证性能并与QAOA对比。
2024-05-13 cs.LG quant-ph
Erdos Goes Neural: an Unsupervised Learning Framework for Combinatorial Optimization on Graphs
EPFL（洛桑联邦理工学院）
组合优化问题对于神经网络来说是非常具有挑战性的，特别是在没有标记实例的情况下。这项工作提出了一个无监督学习框架CO问题的图，可以提供认证质量的整体解决方案。受Erdos概率方法的启发，我们使用神经网络来参数化集合上的概率分布。至关重要的是，我们表明，当网络优化w.r.t.一个适当选择的损失，学习的分布包含，具有受控的概率，低成本的整体解决方案，服从组合问题的约束。存在的概率证明，然后去随机化解码所需的解决方案。我们证明了这种方法的有效性，以获得有效的解决方案的最大集团问题，并进行局部图聚类。我们的方法在真实数据集和合成硬实例上都取得了有竞争力的结果。
2021-03-07 cs.LG stat.ML
Combinatorial Optimization Augmented Machine Learning
School of Management, Technical University of Munich, Germany（慕尼黑技术大学管理学院）；Munich Data Science Institute, Technical University of Munich, Germany（慕尼黑数据科学研究所）；Inria, Université de Lille, France（法国里尔大学Inria）；CERMICS, Ecole Nationale des Ponts et Chaussées, Institut Polytechnique Paris, France（巴黎高等理工学院CERMICS）
本文介绍了组合优化增强的机器学习，探讨了其方法论框架、应用领域及未来研究方向。
2026-01-15 cs.LG math.OC
Estimation of the yield curve for Costa Rica using combinatorial optimization metaheuristics applied to nonlinear regression
University of Costa Rica（哥斯达黎加大学）
利率期限结构或称收益率曲线是利率与其期限之间的函数关系。采用Nelson-Siegel和Svensson的非线性回归模型，利用哥斯达黎加国家证券交易所提供的历史数据样本估算收益率曲线。在模型参数估计过程中涉及的优化问题，解决了使用四个著名的组合优化元算法：蚁群优化，遗传算法，粒子群优化和模拟退火。该研究的目的是改善局部极小值的经典拟牛顿优化方法使用下降方向。至少有两个元算法，粒子群优化和模拟退火取得了良好的效果。关键词：收益率曲线，非线性回归，Nelson-
2019-11-20 cs.LG math.OC q-fin.GN
Combinatorial Pure Exploration with Full-bandit Feedback and Beyond: Solving Combinatorial Optimization under Uncertainty with Limited Observation
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）；CENTAI Institute（CENTAI研究所）；Kyoto University（京都大学）；RIKEN（理化学研究所）
本文回顾了有限反馈下组合纯探索（CPE）问题的最新方法，该问题旨在解决输入参数不确定时的组合优化，并讨论了半臂反馈受限场景下的技术进展。
2023-08-29 cs.DM cs.DS cs.LG
Hardness of Online Sleeping Combinatorial Optimization Problems
Google Research（谷歌研究院）；Yahoo Research（雅虎研究院）；Univ. of Michigan, Ann Arbor（密歇根大学安娜堡分校）
我们发现，几个在线组合优化的问题，承认有效的无悔算法成为计算困难的睡眠设置中的一个子集的行动变得不可用，在每一轮。具体来说，我们表明，这些问题的睡眠版本至少像PAC学习DNF表达式一样困难，这是一个长期存在的开放问题。我们显示了在线最短路径，在线最小生成树，在线$k$ -子集，在线$k$ -截断排列，在线最小割，在线二分匹配的睡眠版本的硬度。在线最短路径问题的睡眠版本的硬度结果解决了COLT 2015上提出的一个开放问题（Koolen等人，2015年）。
2016-12-19 cs.DS cs.LG
