arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2412.03312cs.LGcs.AIstat.ML
收藏

路径引导的基于粒子的采样

Path-Guided Particle-based Sampling

Texas A&M University（德克萨斯农工大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Brookhaven National Laboratory（布鲁克海文国家实验室）

Mingzhou Fan, Ruida Zhou, Chao Tian, Xiaoning Qian

阅读 PDF
arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出 PGPS-LwS 粒子采样方法，通过连接初始与目标分布的 LwS 密度路径及神经网络学习向量场，实现更准确、校准更好的贝叶斯推断。

摘要：

通过从无需划分的目标（后验）分布中采样来实现的基于粒子的贝叶斯推断方法，例如 Stein 变分梯度下降（Stein variational gradient descent，SVGD），已经引起了广泛关注。我们提出一种路径引导的基于粒子的采样（path-guided particle-based sampling，PGPS）方法，该方法基于一种新颖的对数加权收缩（Log-weighted Shrinkage，LwS）密度路径，将初始分布与目标分布连接起来。我们建议利用神经网络来学习一个向量场，其动机来自所设计密度路径的 Fokker–Planck 方程。从初始分布出发的粒子按照由该向量场定义的常微分方程演化。这些粒子的分布沿着密度路径被引导，从初始分布走向目标分布。所提出的 LwS 密度路径能够高效搜索目标分布的模态，而传统方法在这方面会失败。由于近似误差和离散化误差，我们从理论上分析了 PGPS 生成样本的分布与目标分布之间的 Wasserstein 距离。在实践中，在合成和真实世界贝叶斯学习任务上进行的实验表明，与 SVGD 和 Langevin 动力学等基线相比，所提出的 PGPS-LwS 方法展现出更高的贝叶斯推断精度和更好的校准能力。

英文摘要：

Particle-based Bayesian inference methods by sampling from a partition-free target (posterior) distribution, e.g., Stein variational gradient descent (SVGD), have attracted significant attention. We propose a path-guided particle-based sampling~(PGPS) method based on a novel Log-weighted Shrinkage (LwS) density path linking an initial distribution to the target distribution. We propose to utilize a Neural network to learn a vector field motivated by the Fokker-Planck equation of the designed density path. Particles, initiated from the initial distribution, evolve according to the ordinary differential equation defined by the vector field. The distribution of these particles is guided along a density path from the initial distribution to the target distribution. The proposed LwS density path allows for an efficient search of modes of the target distribution while canonical methods fail. We theoretically analyze the Wasserstein distance of the distribution of the PGPS-generated samples and the target distribution due to approximation and discretization errors. Practically, the proposed PGPS-LwS method demonstrates higher Bayesian inference accuracy and better calibration ability in experiments conducted on both synthetic and real-world Bayesian learning tasks, compared to baselines, such as SVGD and Langevin dynamics, etc.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

↑