arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2406.01661cs.LGcs.AIcs.DMstat.ML
收藏

一种用于无监督神经组合优化的扩散模型框架

A Diffusion Model Framework for Unsupervised Neural Combinatorial Optimization

Institute for Machine Learning, Johannes Kepler University, Linz, Austria(机器学习研究所,约翰尼斯·凯普大学,林茨,奥地利);NXAI GmbH(NXAI公司)

Sebastian Sanokowski, Sepp Hochreiter, Sebastian Lehner

AI总结:

本文提出一种基于扩散模型的无监督神经组合优化框架,通过反向KL散度上界损失规避精确样本似然限制,在多个基准问题上取得新的最优性能。

摘要:

在不依赖相应训练数据的情况下,学习从离散集合上的难解分布中进行采样,是包括组合优化在内的众多领域中的一个核心问题。目前,流行的基于深度学习的方法主要依赖于能够给出精确样本似然的生成模型。本工作引入了一种方法,解除了这一限制,并为采用扩散模型等高表达力的隐变量模型开辟了可能性。我们的方法在概念上基于一个损失函数,该损失函数是反向Kullback-Leibler散度的上界,并规避了对精确样本似然的要求。我们在无数据组合优化中通过实验验证了我们的方法,并证明我们的方法在广泛的基准问题上取得了新的最先进性能。

英文摘要:

Learning to sample from intractable distributions over discrete sets without relying on corresponding training data is a central problem in a wide range of fields, including Combinatorial Optimization. Currently, popular deep learning-based approaches rely primarily on generative models that yield exact sample likelihoods. This work introduces a method that lifts this restriction and opens the possibility to employ highly expressive latent variable models like diffusion models. Our approach is conceptually based on a loss that upper bounds the reverse Kullback-Leibler divergence and evades the requirement of exact sample likelihoods. We experimentally validate our approach in data-free Combinatorial Optimization and demonstrate that our method achieves a new state-of-the-art on a wide range of benchmark problems.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑