Bayesian preference elicitation for multiobjective combinatorial optimization
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（巴黎第六大学计算机实验室）
我们引入了一个新的增量式偏好诱导过程，能够处理噪声的决策者（DM）的反应。独创性的贡献是提出一个贝叶斯方法来确定一个优选的解决方案，在多目标决策问题涉及一组组合的替代品。我们假设DM的偏好由参数未知的聚集函数表示，并且关于它们的不确定性由参数空间上的密度函数表示。成对比较查询用于减少这种不确定性（通过贝叶斯修正）。查询选择策略是基于一个混合整数线性规划的解决方案与一组组合的变量和约束，这需要使用列和约束生成方法。数值试验表明，该方法的实用性。
2020-07-29 cs.AI
A Bayesian Clearing Mechanism for Combinatorial Auctions
University of Zurich（苏黎世大学）；Google Research（谷歌研究院）
我们投在贝叶斯框架的组合拍卖设计的问题，以将先验信息纳入拍卖过程中，并尽量减少收敛轮数。我们首先开发了一个生成模型的代理人估值和市场价格，使清算价格成为最大的后验估计观察到的代理人估值。然后，生成模型形成了拍卖过程的基础，该过程在细化代理估值的估计和计算候选清算价格之间交替。我们提供了一个实现的拍卖使用假设密度过滤估计估值和期望最大化计算价格。在一系列的估值域的实证评估表明，我们的贝叶斯拍卖机制是高度竞争力的组合时钟拍卖方面的回合收敛，即使在最有利的选择价格增量为这个基线。
2018-11-16 cs.AI cs.GT
Mercer Features for Efficient Combinatorial Bayesian Optimization
School of EECS, Washington State University（华盛顿州立大学电气工程与计算机科学学院）
贝叶斯优化（BO）是一个有效的框架，用于解决黑盒优化问题与昂贵的功能评估。本文讨论了组合空间的BO问题设置（例如，序列和图形），这在科学和工程应用中自然发生。一个典型的例子是由昂贵的实验指导的分子优化。关键的挑战是平衡统计模型的复杂性和搜索的易处理性，以选择组合结构进行评估。在本文中，我们提出了一种有效的方法称为Mercer特征组合贝叶斯优化（MerCBO）。MerCBO背后的关键思想是通过利用离散对象的组合图表示的结构，为离散对象上的扩散核提供显式特征映射。这些美世功能结合汤普森采样作为采集功能，使我们能够采用易于处理的求解器来找到下一个结构进行评估。不同的现实世界的基准实验表明，MerCBO执行类似或优于以前的方法。源代码可在https://github.com/aryandeshwal/MerCBO上获得。
2020-12-14 cs.AI cs.LG
Bayesian Analysis of Combinatorial Gaussian Process Bandits
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）；Volvo Car Corporation（沃尔沃汽车公司）
针对组合挥发性高斯过程半老虎机问题，研究贝叶斯设置并为GP-UCB、GP-BayesUCB和GP-TS提供新贝叶斯累积遗憾界，扩展现有结果至无限、挥发性和组合场景，首次给出GP-BayesUCB的界，并在在线节能导航中验证有效性。
2025-02-12 cs.AI cs.LG
Combining Latent Space and Structured Kernels for Bayesian Optimization over Combinatorial Spaces
Washington State University（华盛顿州立大学）
我们考虑优化组合空间的问题（例如，序列、树和图）使用昂贵的黑盒函数求值。例如，使用物理实验室实验优化药物设计的分子。贝叶斯优化（BO）是一个有效的框架，解决这类问题的智能选择高效用的输入引导学习代理模型。组合空间的最近BO方法是通过使用深度生成模型（DGMs）学习结构的潜在表示来在连续空间上减少BO。从连续空间中选择的输入被解码成离散结构，用于执行函数求值。然而，潜在空间上的代理模型仅使用由DGM学习的信息，其可能不具有期望的归纳偏差来近似目标黑盒函数。为了克服这个缺点，本文提出了一种称为LADDER的原则性方法。其关键思想是定义一个新的结构耦合内核，明确集成的结构信息解码结构与学习的潜在空间表示更好的代理建模。我们在真实世界的基准测试中的实验表明，LADDER显着改善了潜在空间上的BO方法，并且表现得更好或类似于最先进的方法。
2021-11-01 cs.AI cs.LG
Equilibrium Learning in Combinatorial Auctions: Computing Approximate Bayesian Nash Equilibria via Pseudogradient Dynamics
Technical University of Munich（慕尼黑工业大学）
组合拍卖作为一种市场机制在实践中得到了广泛的应用，但其贝叶斯纳什均衡（BNE）仍然知之甚少。仅在少数情况下才知道解析解，其中该问题可以重新表示为易于处理的偏微分方程（PDE）。在一般情况下，发现BNE是已知的计算困难。以前的工作，BNE拍卖的数值计算依赖于明确解决这样的偏微分方程，计算逐点最佳反应的策略空间，或迭代求解限制子博弈。在这项研究中，我们提出了一个通用的，但可扩展的替代多智能体均衡学习方法，代表战略作为神经网络，并适用于政策迭代的基础上梯度动态自我发挥。大多数拍卖是事后不可微的，因此梯度可能不可用或误导，我们依赖于合适的伪梯度估计。虽然众所周知，梯度动力学不能保证收敛到NE一般，我们观察到快速和鲁棒的收敛近似BNE在各种各样的拍卖，并提出了一个充分条件收敛
2021-02-06 cs.AI cs.GT
Restructuring in Combinatorial Optimization
Inst. for Information Transmission Problems, Russian Acad. of Sci.（俄罗斯科学院信息传输问题研究所）
本文讨论了一类新的组合优化问题，即组合优化中解的重构问题。两个主要特点的重组过程中进行检查：（一）重组的成本，（二）接近一个目标的解决方案。这个问题对应于模块化系统或解决方案的重新设计（改进、升级）。对以下组合优化问题：背包问题、多项选择问题、指派问题、生成树问题进行了描述和说明。举例说明了重组过程。
2011-02-08 cs.AI cs.DS math.CO
On combinatorial optimization for dominating sets (literature survey, new models)
本文主要讨论连通支配集问题的几种形式：基本问题和多准则问题。一个文献调查的基本问题配方和解决方法。用简化的数值例子说明了基本的连通支配集问题。提出了一种新的支配集问题的整数规划公式（具有多集估计）。
2020-09-19 cs.AI cs.DS math.OC
Permutation Picture of Graph Combinatorial Optimization Problems
Cornell University（康奈尔大学）
本文提出一种基于置换表示的框架，用于统一建模旅行商问题、最大独立集、最大割等图组合优化问题，为神经组合优化连接离散与连续方法开辟新路径。
2024-10-22 cs.AI cs.LG
Optimistic Games for Combinatorial Bayesian Optimization with Application to Protein Design
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google DeepMind（谷歌DeepMind）；ETH Zürich（苏黎世联邦理工学院）
针对组合贝叶斯优化中采集函数最大化不可行的问题，提出博弈论方法GameOpt，通过建立变量间合作博弈并选取上置信界采集函数的均衡点，高效分解组合空间，在蛋白质设计上快速发现高活性变体。
2025-02-24 cs.AI cs.LG cs.NE
Max-Product Belief Propagation for Linear Programming: Applications to Combinatorial Optimization
Korea Advanced Institute of Science & Technology（韩国科学技术院）
最大乘积{置信传播}（BP）是一种流行的消息传递启发式算法，用于近似由图模型（GM）表示的联合分布中的最大后验（MAP）分配。在过去的几年里，人们已经证明BP可以解决几类线性规划（LP）公式的组合优化问题，包括最大权重匹配、最短路径和网络流，即，BP可以用作某些组合优化的消息传递求解器。然而，这些LP和相应的BP分析对潜在的问题设置非常敏感，并且还不清楚这些结果可以推广到什么程度。本文给出了BP算法收敛于线性规划最优解的一般判据，并证明了它在许多经典的组合优化问题（包括最大权完美匹配、最短路、旅行商、圈包装、点/边覆盖和网络流）的线性规划公式中都是满足的。
2017-06-28 cs.AI
Neural Combinatorial Optimization: a New Player in the Field
神经组合优化试图学习好的算法，以使用神经网络模型和强化学习来解决一系列问题。最近，它的良好性能鼓励了许多从业者开发用于各种组合问题的神经架构。然而，这种算法在传统的优化框架中的结合，提出了许多问题，其性能和实验比较与其他方法，如精确的算法，算法和metallogistics。本文提出了一个批判性的分析，将基于神经网络的算法纳入经典的组合优化框架。随后，进行了全面的研究，分析这些算法的基本方面，包括性能，可移植性，计算成本和推广到更大规模的实例。为此，我们选择线性排序问题作为研究的案例，一个NP难的问题，并开发了一个神经组合优化模型来优化它。最后，我们讨论了如何分析方面适用于一般的学习框架，并建议在该领域的神经组合优化算法的未来工作的新方向。
2022-05-03 cs.AI cs.DM
VN-Solver: Vision-based Neural Solver for Combinatorial Optimization over Graphs
University of Delaware（特拉华大学）
本文提出VN-Solver，探索以视觉方式直接观察图模式来求解组合优化问题，实验表明其性能可与最先进的矩阵方法相媲美，开辟了数据驱动优化求解器的新方向。
2023-08-06 cs.AI
Structure As Search: Unsupervised Permutation Learning for Combinatorial Optimization
Cornell University（康奈尔大学）
提出非自回归无监督排列学习框架，直接学习排列矩阵解决旅行商问题，无需显式搜索，性能媲美经典启发式，证明神经网络可捕获组合结构。
2025-09-24 cs.AI cs.LG
Smoothed Online Combinatorial Optimization Using Imperfect Predictions
Adobe Research（奥多比研究院）
平滑在线组合优化考虑重复选择组合决策以最小化未知变化成本函数的学习者，并在连续轮中对切换决策进行惩罚。研究了不完全预测模型下的平滑在线组合优化问题，其中模型可以预测未来成本函数的不确定性。我们表明，使用预测计划在有限的时间范围内导致后悔依赖于总预测的不确定性和额外的切换成本。这一观察表明，选择一个合适的规划窗口，以平衡不确定性和切换成本，这导致了一个在线算法与保证的上限和下限的累积遗憾。从经验上讲，我们的算法显示了显着的改善，累积遗憾相比，其他基线合成在线分布式流媒体问题。
2023-01-13 cs.AI cs.LG
Practical Transfer Learning for Bayesian Optimization
University of Freiburg（弗莱堡大学）；Meta；Bosch Center for Artificial Intelligence（博世人工智能中心）
当针对多个数据集重复机器学习算法的超参数优化时，可以将知识转移到在新数据集上运行的优化。我们开发了一种新的无超参数集成模型用于贝叶斯优化，该模型是现有的两种迁移学习扩展到贝叶斯优化的推广，并与普通贝叶斯优化相比建立了最坏情况下的界限。使用大量的超参数优化基准问题，我们证明了我们的贡献大大减少了优化时间相比，标准的高斯过程为基础的贝叶斯优化，并提高了目前的最先进的转移超参数优化。
2022-10-24 cs.AI stat.ML
Multi-rules mining algorithm for combinatorially exploded decision trees with modified Aitchison-Aitken function-based Bayesian optimization
College of Industrial Technology, Nihon University（日本大学工业技术学院）
针对决策树规则提取受组合爆炸、随机搜索及冗余不可靠规则限制的问题，提出 MAABO-MT 与 GS-MRM，以低计算成本构建高性能树并提取可靠、非相似规则。
2023-10-04 cs.AI cs.LG
Tree-Structured Parzen Estimator Can Solve Black-Box Combinatorial Optimization More Efficiently
Preferred Networks Inc.（Preferred Networks公司）
针对树状Parzen估计器（TPE）在黑盒组合优化中应用不足的问题，提出通过泛化分类核与数值核引入距离结构并优化核计算复杂度的高效算法，实验证明其能以更少评估次数找到更优解。
2025-07-15 cs.AI cs.LG
Bayesian Optimization -- Multi-Armed Bandit Problem
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
在这份报告中，我们调查贝叶斯优化方法集中在多臂强盗问题。我们采取的帮助文件“贝叶斯优化的投资组合分配”。我们报告了一个小的文献调查的收购功能和类型的投资组合策略中使用的论文讨论贝叶斯优化。我们还重复了实验，并报告了我们的发现，并将其与论文中的结果进行了比较。代码链接：https://colab.research.google.com/drive/1GZ14klEDoe3dcBeZKo5l8qqrKf_GmBDn? usp=sharing#scrollTo=XgIBau3O45_V。
2020-12-14 cs.AI cs.LG
Bridging Visualization and Optimization: Multimodal Large Language Models on Graph-Structured Combinatorial Optimization
本研究提出将图转换为图像，结合多模态大语言模型与简单搜索技术，以解决图结构组合优化问题，实验表明该方法具备卓越空间智能，可高效处理多种图任务。
2025-01-21 cs.AI cs.LG
Learning Combinatorial Optimization on Graphs: A Survey with Applications to Networking
Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰瑞尔公司）
解决图上的组合优化问题的现有方法需要在算法上设计每个问题，在许多情况下会出现实际问题。理论计算机科学的实践方面，如计算复杂性，需要解决。为此目的，在图的机器学习研究的相关发展进行了调查。我们组织和比较结构涉及学习解决组合优化问题，特别着眼于电信领域及其不断发展的生活和研究网络。
2020-07-13 cs.AI cs.LG stat.ML
Learning Self-Game-Play Agents for Combinatorial Optimization Problems
Northeastern University（东北大学）
使用自我游戏的强化学习（RL）的最新进展已经在几种棋盘游戏（例如，国际象棋和围棋）以及视频游戏（例如，Atari游戏和Dota 2）。我们可以认为，强化学习从零知识开始，经过一定量的训练后，可能会逐渐接近一个获胜的策略。在本文中，我们探索了神经Monte-Carlo-Tree-Search（神经MCTS），这是一种RL算法，已被DeepMind成功应用于以超人的水平玩围棋和国际象棋。我们试图利用神经MCTS的计算能力来解决一类组合优化问题。根据Hintikka的博弈论语义学思想，提出Zermelo博弈化（ZG）方法，将特定的组合优化问题转化为Zermelo博弈，其获胜策略对应于原优化问题的解。ZG还提供了一个专门设计的神经MCTS。我们使用的组合规划问题的地面实况政策是有效的计算证明ZG是有前途的。
2019-05-09 cs.AI cs.LG
AntBO: Towards Real-World Automated Antibody Design with Combinatorial Bayesian Optimisation
University of Edinburgh（爱丁堡大学）；Technische Universität Darmstadt（达姆施塔特工业大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Oslo（奥斯陆大学）；American University of Beirut Medical Centre（贝鲁特美国大学医学中心）；University College London（伦敦大学学院）
抗体是能够高度特异性分子识别的典型Y形多聚体蛋白。位于抗体可变链末端的CDRH 3区主导抗原结合特异性。因此，设计最佳的抗原特异性CDRH 3区以开发治疗性抗体是优先考虑的。然而，CDRH 3序列空间的组合性质使得不可能使用计算方法彻底且有效地搜索最佳结合序列。在这里，我们提出了\texttt{AntBO}：一个组合贝叶斯优化框架，使有效的\textit{in silico}设计的CDRH 3区。理想情况下，预期抗体具有高靶标特异性和可开发性。我们引入了CDRH 3信任区，将搜索限制在具有有利可开发性评分的序列中，以实现这一目标。对于基准测试，\texttt{AntBO}使用\texttt{Absolut!}软件套件作为黑盒预言机，以不受约束的方式~ \citep{robert2021one}对设计的抗体\textit{in silico}的靶特异性和亲和力进行评分。对\texttt{Absolut!}中使用的$159$离散抗原进行的实验证明了\texttt{AntBO}在设计具有不同生物物理特性的CDRH 3区中的益处。在$200$下调用黑盒oracle时，\texttt{AntBO}可以建议优于从690万个实验获得的CDRH 3和常用的遗传算法基线中得出的最佳结合序列的抗体序列。此外，\texttt{AntBO}仅在38种蛋白质设计中发现了非常高亲和力的CDRH 3序列，同时不…
2022-10-14 cs.AI cs.LG cs.NE
DIMES: A Differentiable Meta Solver for Combinatorial Optimization Problems
University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
最近，深度强化学习（DRL）模型在解决NP难组合优化（CO）问题方面表现出了很好的效果。然而，对于图上的组合优化问题，例如旅行商问题（TSP），大多数DRL求解器只能扩展到几百个节点。针对大规模组合优化中的可扩展性问题，提出了一种新的求解方法DIMES。与以前的DRL方法，遭受昂贵的自回归解码或迭代细化的离散解决方案，DIMES引入了一个紧凑的连续空间参数化的潜在分布的候选解决方案。这样一个连续的空间允许通过大规模并行采样进行稳定的基于REINFORCE的训练和微调。我们进一步提出了一个元学习框架，使有效的初始化模型参数的微调阶段。大量的实验表明，DIMES优于最近的DRL为基础的方法在大型基准数据集的旅行商问题和最大独立集问题。
2022-10-25 cs.AI cs.LG math.OC
Deep Reinforcement Learning for Exact Combinatorial Optimization: Learning to Branch
University of Alberta（阿尔伯塔大学）；Huawei Technologies Canada Co., Ltd.（华为技术加拿大有限公司）
分支定界法是求解组合优化的一种系统枚举方法，其性能高度依赖于变量选择策略。最先进的手工制作的启发式策略遭受每个选择的相对较慢的推理时间，而当前的机器学习方法需要大量的标记数据。提出了一种基于强化学习（RL）范式的组合优化中数据标记和推理延迟问题的解决方法。我们使用模仿学习来引导RL代理，然后使用近端策略优化（PPO）来进一步探索全局最优动作。然后，使用价值网络运行蒙特卡罗树搜索（MCTS）来增强策略网络。我们评估了我们的方法在四个不同类别的组合优化问题的性能，并表明我们的方法相比，最先进的机器学习和基于数学的方法表现强劲。
2022-06-14 cs.AI cs.LG cs.RO
BOAH: A Tool Suite for Multi-Fidelity Bayesian Optimization & Analysis of Hyperparameters
University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
超参数优化和神经架构搜索对于常规的黑盒贝叶斯优化来说可能变得过于昂贵，因为单个模型的训练和评估可能很容易花费几个小时。为了克服这一点，我们引入了一个全面的工具套件，用于有效的多保真度贝叶斯优化及其运行分析。该套件使用Python编写，提供了一种简单的方法来指定复杂的设计空间，将贝叶斯优化和HyperBand进行了强大而有效的组合，并对优化过程及其结果进行了全面的分析。
2019-08-16 cs.AI cs.LG stat.ML
Neural Combinatorial Optimization with Reinforcement Learning
Google Brain（谷歌大脑）
本文提出了一种利用神经网络和强化学习解决组合优化问题的框架。我们专注于旅行商问题（TSP）和训练一个经常性的网络，给定一组城市坐标，预测分布在不同的城市排列。以负游程长度作为反馈信号，采用策略梯度法对递归网络的参数进行优化。我们比较了在一组训练图上学习网络参数和在单个测试图上学习网络参数。尽管计算开销很大，但无需太多工程和启发式设计，神经组合优化在多达100个节点的2D欧几里得图上实现了接近最优的结果。应用于KnapSack，另一个NP难问题，相同的方法获得了最多200个项目的实例的最优解。
2017-01-12 cs.AI cs.LG stat.ML
A Robust Multi-Objective Bayesian Optimization Framework Considering Input Uncertainty
Ghent University（根特大学）；imec（比利时微电子研究中心）
贝叶斯优化是一种流行的工具，用于对昂贵的目标函数进行数据有效的优化。在工程设计等实际应用中，设计人员通常希望考虑多个目标以及输入的不确定性，以找到一组鲁棒的解决方案。虽然这在单目标贝叶斯优化中是一个活跃的话题，但在多目标情况下研究较少。我们引入了一种新的贝叶斯优化框架，有效地执行多目标优化考虑输入的不确定性。我们提出了一个强大的高斯过程模型来推断贝叶斯风险标准来量化鲁棒性，我们开发了一个两阶段的贝叶斯优化过程来搜索一个强大的帕累托前沿。完整的框架支持各种分布的输入不确定性，并充分利用并行计算。我们证明了框架的有效性，通过数值基准。
2022-02-25 cs.AI cs.CE stat.ML
Exploring search space trees using an adapted version of Monte Carlo tree search for combinatorial optimization problems
KU Leuven（鲁汶大学）；Ghent University（根特大学）；Flanders Make（法兰德斯制造研究院）
在这篇文章中，我们提出了一个启发式算法，探索搜索空间树与组合优化问题的情况。该算法是基于蒙特卡罗树搜索，一个流行的算法，在玩游戏，是用来探索游戏树，并代表了国家的最先进的算法，为一些游戏。提出了几种改进的蒙特卡罗树搜索算法，使算法更适合于组合优化的上下文中。这些增强利用组合结构的问题，并旨在有效地探索搜索空间树修剪子树，使用启发式模拟策略，减少域的变量，通过消除占主导地位的值分配和使用波束宽度。该算法的实现与其组件专门定制两个组合优化问题：码头起重机调度问题与非交叉约束和0-1背包问题。对于第一个问题，我们的算法超越了国家的最先进的结果，并找到了几个新的最佳解决方案的基准集的实例。对于第二个问题，我们的算法通常会产生接近最优的解决方案，比最先进的结果略差，但它只需要一小部分的时间来做到这一点。这些结果表明，该算法是具有竞争力的国家的最先进的两个完全不同的组合优化问题。
2022-11-16 cs.AI cs.DM math.OC
Fully Distributed Bayesian Optimization with Stochastic Policies
Instituto de Investigacion en Ingenieria de Aragon（阿拉贡工程研究院）；University of Zaragoza（萨拉戈萨大学）；Centro Universitario de la Defensa（国防大学中心）
贝叶斯优化已经成为高通量计算的流行方法，如计算机实验设计或昂贵模型的超参数调整，其中样本效率是强制性的。在这些应用程序中，分布式和可扩展的架构是必要的。然而，贝叶斯优化主要是顺序的。即使是并行变体也需要在样本之间进行某些计算，从而限制了并行化带宽。汤普森抽样以前已被应用于分布式贝叶斯优化。但是，当与顺序设置中的其他采集功能相比时，已知汤普森采样的性能次优。在本文中，我们提出了一种新的方法，完全分布式贝叶斯优化，它可以结合任何采集功能。我们的方法认为贝叶斯优化作为一个部分可观察的马尔可夫决策过程。在这种情况下，随机政策，如玻尔兹曼政策，有一些有趣的性质，也可以研究贝叶斯优化。此外，玻尔兹曼政策平凡地允许分布式贝叶斯优化实现具有高水平的并行性和可扩展性。我们目前的结果在几个基准和应用程序，显示我们的方法的性能。
2019-07-05 cs.AI cs.DC cs.LG
