通过高效线性求解器从多面体上的对数凹密度更快采样
Faster Sampling from Log-Concave Densities over Polytopes via Efficient Linear Solvers
AI总结：
针对多面体约束对数凹分布采样，本文利用 Dikin walk 矩阵的缓变性、高效线性求解器和随机 Taylor 行列式估计，将每步复杂度降至约约束矩阵非零元数且不增加链步数。
摘要：
我们考虑从约束在多面体 $K:=\{\theta\in \mathbb{R}^d:A\theta\leq b\}$ 上的对数凹分布 $\pi(\theta) \propto e^{-f(\theta)}$ 采样的问题，其中 $A\in \mathbb{R}^{m\times d}$、$b \in \mathbb{R}^m$。在 $f$ 为 $O(1)$-Lipschitz 或 $O(1)$-smooth 的情形下，已知最快算法 \cite{mangoubi2022faster} 的运行时间约为 $O(md \times md^{\omega-1})$ 次算术运算，其中 $md^{\omega-1}$ 项源于每个马尔可夫链步骤都需要计算矩阵求逆和行列式（这里 $\omega\approx 2.37$ 是矩阵乘法常数）。我们提出该马尔可夫链的一种近最优实现，其每步复杂度约为 $A$ 的非零元素数量，而马尔可夫链步数保持不变。关键技术要素为：1）证明这种 Dikin walk 中出现的矩阵变化缓慢；2）部署高效线性求解器，利用这种缓慢变化，通过使用先前步骤计算的信息来加速矩阵求逆；3）通过基于随机 Taylor 级数的估计器，加速 Metropolis 过滤步骤中行列式项的计算。
英文摘要：
We consider the problem of sampling from a log-concave distribution $π(θ) \propto e^{-f(θ)}$ constrained to a polytope $K:=\{θ\in \mathbb{R}^d: Aθ\leq b\}$, where $A\in \mathbb{R}^{m\times d}$ and $b \in \mathbb{R}^m$.The fastest-known algorithm \cite{mangoubi2022faster} for the setting when $f$ is $O(1)$-Lipschitz or $O(1)$-smooth runs in roughly $O(md \times md^{ω-1})$ arithmetic operations, where the $md^{ω-1}$ term arises because each Markov chain step requires computing a matrix inversion and determinant (here $ω\approx 2.37$ is the matrix multiplication constant). We present a nearly-optimal implementation of this Markov chain with per-step complexity which is roughly the number of non-zero entries of $A$ while the number of Markov chain steps remains the same. The key technical ingredients are 1) to show that the matrices that arise in this Dikin walk change slowly, 2) to deploy efficient linear solvers that can leverage this slow change to speed up matrix inversion by using information computed in previous steps, and 3) to speed up the computation of the determinantal term in the Metropolis filter step via a randomized Taylor series-based estimator.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
