Markov chain Monte Carlo (MCMC) sampling of densities restricted to linearly constrained domains is an important task arising in Bayesian treatment of inverse problems in the natural sciences. While efficient algorithms for uniform polytope sampling exist, much less work has dealt with more complex constrained densities. In particular, gradient information as used in unconstrained MCMC is not necessarily helpful in the constrained case, where the gradient may push the proposal's density out of the polytope. In this work, we propose a novel constrained sampling algorithm, which combines strengths of higher-order information, like the target's log-density's gradients and curvature, with the Hit-&-Run proposal, a simple mechanism which guarantees the generation of feasible proposals, fulfilling the linear constraints. Our extensive experiments demonstrate improved sampling efficiency on complex constrained densities over various constrained and unconstrained samplers.
Non-reversible, tuning- and rejection-free Markov chain Monte Carlo via iterated random functions
在这项工作中，我们提出了一个不可逆的，调整和拒绝免费的马尔可夫链蒙特卡罗，自然适合在打了就跑的框架。采样器只需要访问对数密度函数的梯度，因此不需要归一化常数。我们证明了所提出的马尔可夫链是不变的目标分布，并说明其适用性，通过广泛的例子。我们表明，本文中介绍的采样器与Peters and de With（2012），Bouchard-Cote et al.（2017）的连续采样器密切相关。特别是，计算是非常相似的，在这个意义上，都是围绕模拟一个非均匀泊松过程。当对数密度的梯度允许将计算有效的方向分解为两个单调函数之和时，计算可以被简化。我们将我们的采样器应用于选择性推理，比以前使用的采样器有了显著的改进（Tian et al. 2016）。
Blocking Strategies and Stability of Particle Gibbs Samplers
在马尔可夫链蒙特卡罗方法的背景下，从隐马尔可夫模型的潜在状态的条件（或后验）概率分布中采样，给定所观察的过程的实现，是一个非平凡的问题。为此，Andrieu et al.（2010）构建了一个马尔可夫核，使用粒子滤波器保持这个条件分布不变。从从业者的角度来看，这个马尔可夫内核试图模拟的行为采样所有的潜在状态变量作为一个块从后验分布，但模型的精确模拟是不可能的。有一些最近的理论结果，建立了均匀遍历的马尔可夫核，混合率不会减少提供的粒子数至少线性增长的数量在后的潜在状态。这导致了内核的每次应用的成本，即潜在状态的数量是二次的，这对于长观测序列来说可能是禁止的。我们试图回答一个明显但重要的问题：是否有一个不同的实现，其每次迭代的成本随潜在状态的数量线性增长，但在这个意义上仍然是稳定的，它的混合率不会恶化？我们解决这个问题，使用阻塞策略，这是很容易并行化，并证明稳定的采样器。
Scalable Discrete Diffusion Samplers: Combinatorial Optimization and Statistical Physics
ELLIS Unit Linz, LIT AI Lab, Johannes Kepler University Linz, Austria（林茨ELLIS单元、LIT AI实验室、林茨约瑟夫·冯·海德里希大学，奥地利）；Department of Electrical & Computer Engineering, Georgia Institute of Technology（电气与计算机工程系，佐治亚理工学院）；NXAI Lab & NXAI GmbH, Linz, Austria（NXAI实验室及NXAI GmbH，林茨，奥地利）
