Black-box sampling for weakly smooth Langevin Monte Carlo using p-generalized Gaussian smoothing
连续时间扩散过程的离散化是一种被广泛认可的采样方法。然而，朗之万扩散过程的经典欧拉-丸山离散化，也称为朗之万蒙特卡罗（LMC），主要是在光滑（梯度-Lipschitz）和强对数凹密度的背景下研究的，这是其在许多科学中部署的重要限制，包括计算统计和统计学习。在本文中，我们建立了几个理论贡献的文献，这样的抽样方法。特别地，我们推广了高斯平滑，使用p-广义高斯平滑来近似梯度，并在黑箱采样的情况下利用它。我们首先提出了一个非强凹和弱光滑的黑盒LMC算法，理想的采样挑战在一般设置的实际适用性。
2020-10-05 stat.CO
Exploring Pareto smoothing in sequential Monte Carlo
University of Warwick（华威大学）；Centre for Environment, Fisheries and Aquaculture Science（环境、渔业和水产养殖科学中心）
研究在序贯蒙特卡洛采样器中应用帕累托平滑以减少重要性权重方差，发现其效果有限，因序列目标带来的方差降低主导了权重调整的影响。
2026-06-25 stat.CO stat.ME
Multivariate Smoothing via the Fourier Integral Theorem and Fourier Kernel
从傅里叶积分定理出发，给出了多元函数的自然蒙特卡罗估计，包括密度、混合密度、转移密度、回归函数，以及多元密度函数的模式搜索（模式回归）.收敛速率被建立，并且在许多情况下，提供优于当前标准估计器的速率，诸如基于核的那些，包括核密度估计器和核回归函数。数值例子。
2020-12-28 math.ST stat.ME stat.ML
Laplacian Smoothing Stochastic Gradient Markov Chain Monte Carlo
University of California, Los Angeles（加州大学洛杉矶分校）
随机梯度朗之万动力学（SGLD）算法作为一种重要的马尔可夫链蒙特卡罗（MCMC）方法，在贝叶斯学习和后验抽样方面取得了巨大的成功。然而，SGLD通常遭受缓慢的收敛速度，由于其由随机梯度引起的大方差。为了缓解这些缺点，我们利用最近开发的拉普拉斯平滑（LS）技术，并提出了一个拉普拉斯平滑随机梯度朗之万动力学（LS-SGLD）算法。我们证明，从对数凹和非对数凹密度采样，LS-SGLD实现严格较小的离散误差在$2$ -Wasserstein距离，虽然它的混合速度可以稍微慢。在人工和真实数据集上的实验验证了我们的理论结果，并证明了LS-SGLD在不同机器学习任务上的优越性能，包括后验采样、贝叶斯逻辑回归和训练贝叶斯卷积神经网络。代码可在\url{https://github.com/BaoWangMath/LS-MCMC}上获得。
2019-11-02 cs.LG cs.NA math.NA
Particle rejuvenation of Rao-Blackwellized Sequential Monte Carlo smoothers for Conditionally Linear and Gaussian models
本文主要研究条件线性和高斯状态空间中光滑分布的序贯蒙特卡罗近似。为了减少平滑器的蒙特卡罗方差，在这些模型中通常使用Rao-Blackwellization：粒子近似用于对隐藏状态的序列进行采样，而高斯状态使用卡尔曼滤波器/平滑器的变体根据状态和观测的序列进行显式积分。第一次成功的尝试，使用Rao-Blackwellization平滑扩展的Bryson-Frazier平滑高斯线性状态空间模型，使用广义的两个过滤器公式与卡尔曼滤波器/平滑。最近，一个向前向后分解的平滑分布模仿的Rauch-Tung-Striebel平滑的制度结合向后卡尔曼更新已经推出。本文研究了在所有这些算法中引入额外的再生步骤的好处，以在每个时刻对向前和向后粒子的新政权进行采样。这定义了平滑分布的基于粒子的近似，其支持不限于前向或后向滤波器中采样的粒子集。这些程序适用于商品市场，这是使用两个因素模型的基础上，现货价格和原油数据的便利收益率。
2017-07-05 stat.AP stat.ME
Variance estimation for Sequential Monte Carlo Algorithms: a backward sampling approach
针对粒子滤波和平滑的在线渐近方差估计问题，提出基于后向权重的新估计器及受PaRIS算法启发的高效估计器，提升了稳定性并降低了方差。
2023-01-02 stat.ME
Multilevel Monte Carlo for Smoothing via Transport Methods
在这篇文章中，我们考虑递归近似的平滑分布与部分可观察的随机微分方程（SDEs），这是离散的时间观察。这种模型出现在各种各样的应用，包括计量经济学，金融和工程。这个问题是非常具有挑战性的，因为平滑器不能解析地获得，因此需要数值近似。这通常包括通过应用时间离散化的平滑，例如欧拉方法，然后应用数值（例如蒙特卡罗）方法来近似平滑。这导致了大量关于解决这些问题的方法的文献，其中最流行的可能是基于粒子滤波器（PF）的，例如[9]。在这类问题的过滤的上下文中，众所周知，粒子滤波器可以在成本方面进行改进，以实现用于估计的给定的均方误差（MSE）。这在某种意义上说，通过使用多级（ML）方法[12，13，18]，经由多级粒子滤波器（MLPF）[16，20，21]，可以减少计算工作量以实现该目标MSE。例如，为了在近似与具有恒定扩散系数的欧拉离散化扩散相关联的滤波分布时获得某些$ε> 0$的$\mathcal{O}(ε^2)$的MSE，PF的成本是$\mathcal{O}(ε^{-3})$，而MLPF的成本是$\mathcal{O}(ε^{-2}\log(ε)^2)$。在这篇文章中，我们考虑一种新的方法来取代粒子滤波器，使用[27]中的传输方法。在过滤的上下文中，期望所提出的方法通过在假设下以$\mathcal{O}(ε^{-2})$的成本产生$\mathcal{O}(ε^2)$的MSE来改进MLPF。…
2018-05-14 stat.ME
Smoothing Out Sticking Points: Sampling from Discrete-Continuous Mixtures with Dynamical Monte Carlo by Mapping Discrete Mass into a Latent Universe
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出通过将离散质量映射到潜在宇宙，改进动态蒙特卡洛方法以高效处理spike-and-slab先验下的后验推断。
2026-03-04 stat.CO stat.ME
Pathwise Representation of the Smoothing Distribution in Continuous-Time Linear Gaussian Models
Graduate School of Mathematical Sciences, the University of Tokyo（东京大学大学院数理科学研究科）
本文提出连续时间线性高斯模型中平滑分布的路径表示，推导了布里森-弗里泽平滑器的数学严谨推导，并为蒙特卡罗方法提供了路径采样的可能性。
2026-01-05 eess.SP math.PR math.ST
Marginal Likelihood Computation for Hidden Markov Models via Generalized Two-Filter Smoothing
在这篇文章中，我们介绍了一个估计的边际似然相关的隐马尔可夫模型（HALF）使用序贯蒙特卡罗（SMC）近似的广义两个过滤器平滑分解（Briers，2010）。证明了该估计是无偏的，并建立了中心极限定理（CLT）。这后一个CLT也允许证明一个CLT相关的期望w.r.t.估计。联合平滑分布的边际，这些形式的一些第一理论结果与SMC近似的广义两个过滤器平滑分解。新的估计和它的应用研究从数值的角度来看。
2012-09-02 stat.CO stat.ME
Approximate Bayesian Computation for Smoothing
我们考虑隐马尔可夫模型（HMRM）的近似推理方法。该方法避免了需要评估的条件密度的观察给定的隐藏状态。它可以被认为是近似贝叶斯计算（ABC）的一个实例，它涉及到在与观测值相同的空间中引入辅助变量。近似的质量可以通过参数ε>0控制到任意精度。我们提供的理论结果量化，在ε，ABC误差近似的期望的添加剂泛函相对于平滑分布。在正则性假设下，该误差为O（nε），其中n是执行平滑的时间步长数。对于数值实现，我们采用[16]的仅向前序贯蒙特卡罗（SMC）方案，并量化ABC和SMC近似的组合误差。这形成了ABC方法的一些第一个定量结果，该方法用有限数量的数据和模拟样本共同处理ABC和模拟误差。当隐马尔可夫模型具有未知的静态参数时，我们考虑粒子马尔可夫链蒙特卡罗[2]（PMCMC）方法进行批量统计推断。
2012-06-22 stat.CO stat.ME
Guided smoothing and control for diffusion processes
针对扩散过程平滑分布采样困难的问题，基于滤波扩张理论推导出引导漂移项，结合启发式与重要性权重构建MCMC和SMC算法，并从最优控制角度评估了该启发式。
2025-03-06 math.PR stat.CO
On Large Lag Smoothing for Hidden Markov Models
在这篇文章中，我们考虑隐马尔可夫模型（HMM）的平滑问题。给定一个隐马尔可夫链$\{X_n\}_{n\geq 0}$和观测$\{Y_n\}_{n\geq 0}$，我们的目标是计算$\mathbb{E}[φ(X_0,\dots,X_k)|y_{0},\dots,y_n]$为一些实值，可积功能$φ$和$k$固定，$k \ll n$和一些实现$(y_0,\dots,y_n)$的$(Y_0,\dots,Y_n)$ .我们介绍了一种新的应用程序的多层蒙特卡罗（MLMC）方法与耦合的基础上的Knothe-Rosenblatt重排。我们证明了这种方法可以近似上述数量的均方误差（MSE）的$\mathcal{O}(ε^2)$，对于任意的$ε>0$的成本为$\mathcal{O}(ε^{-2})$。这与相同的直接蒙特卡罗方法相反，该方法对于相同的MSE需要$\mathcal{O}(nε^{-2})$的成本。我们建议的方法通常无法实施，因此使用了\cite{span}的最佳运输方法，该方法直接接近我们的策略。我们表明，我们的理论改进，即使在近似下，在几个数值例子。
2018-04-19 stat.ME
Inference without smoothing for large panels with cross-sectional and temporal dependence
本文讨论了在大面板数据模型中，同时存在未知形式的横截面和时间相关的推断问题。我们有兴趣作出推论，不依赖于任何平滑参数的选择，因为是经常采用的“HAC”估计的协方差矩阵的情况下。为此，我们提出了一个集群估计的渐近协方差的估计和有效的自助方案，不需要选择的带宽或平滑参数，并容纳非参数性质的时间和横截面的依赖。我们的方法是基于这样的观察，即固定效应面板数据模型的谱表示是这样的，误差变得近似时间不相关。我们提出的自举方案可以被视为在频域中的野生自举。我们提出了一些蒙特卡罗模拟，以阐明我们的推理过程的小样本性能。
2020-06-25 econ.EM math.ST stat.TH
Approximate Smoothing and Parameter Estimation in High-Dimensional State-Space Models
我们提出了一种近似算法，通过序贯蒙特卡罗方法（“粒子滤波器“）在一类高维状态空间模型进行平滑。在高维中，通常需要大量的蒙特卡罗样本（“粒子”）-在状态空间的维度上呈指数增长-以获得有用的平滑器。使用Rebeschini和Van Handel（2015）中的阻塞策略（以及早期关于阻塞的开创性工作），我们利用模型的空间遍历性来规避这种维数灾难。因此，我们得到近似平滑，可以在时间上和空间上并行递归计算。首先，我们证明了我们的阻塞平滑的偏差是有界的时间范围内，在模型的尺寸一致。然后，我们用粒子近似阻塞平滑器，并推导出阻塞粒子平滑器的理想化版本的渐近方差，以表明方差不再受到模型维度的不利影响。最后，我们采用我们的方法成功地执行极大似然估计通过随机梯度上升和随机期望-最大化算法在100维状态空间模型。
2017-09-20 stat.CO stat.ME
Tests for circular symmetry of complex-valued random vectors
我们提出了测试的原假设，法律的复值随机向量是循环对称的。基于经验特征函数，将测试准则制定为$L^2$型准则，从计算的角度来看，它们是方便的。渐近以及蒙特卡罗结果。实际数据上的应用也报告。作者提供了一个名为CircSymTest的R软件包。
2021-03-19 math.ST stat.TH
Variational Inference for the Smoothing Distribution in Dynamic Probit Models
最近，Fasano，Rebaudo，Durante和Petrone（2019）利用统一的偏态正态分布特性，为多变量动态概率模型的过滤，预测和平滑分布提供了封闭形式的表达式。这允许开发算法来从这样的分布中提取独立和相同分布的样本，以及用于过滤和预测分布的序贯蒙特卡罗过程，从而允许克服大样本量可能出现的计算瓶颈。在本文中，我们简要回顾了上述封闭形式的表达式，主要集中在一元动态概率单位的光滑分布。我们开发了一种变分贝叶斯方法，将Fasano，Durante和Zanella（2019）为静态二元概率模型引入的部分因子化平均场变分近似扩展到动态设置。结果显示了一个金融应用程序。
2021-04-18 stat.CO stat.ME
A closed-form filter for binary time series
非高斯状态空间模型出现在几个应用中，在这个框架内，二进制时间序列设置提供了一个相关的例子。然而，与高斯状态空间模型不同--在高斯状态空间模型中，滤波、预测和平滑分布以封闭形式可用--二元状态空间模型需要近似或序贯蒙特卡罗策略来进行推断和预测。这是由于高斯状态和二进制数据的观测方程引起的似然性之间明显缺乏共轭性。在这篇文章中，我们证明了高斯状态变量的动态概率模型的过滤，预测和平滑分布，事实上，是可用的，属于一类统一的偏态法线（SUN），其参数可以通过解析表达式在时间上递归更新。此外，这些分布的关键泛函原则上是可用的，但它们的计算需要多变量高斯累积分布函数的评估。利用SUN属性，我们通过基于平滑分布的独立样本的新型Monte Carlo方法来解决这个问题，该方法可以很容易地适应过滤和预测情况，从而提高了最先进的近似和序贯蒙特卡罗推断在小到中等维度的研究。新的序贯蒙特卡罗程序，利用太阳的属性也被开发来处理在线推理在高维。在财务应用程序中概述了相对于竞争对手的性能增益。
2021-05-18 stat.ME
Unbiased Smoothing using Particle Independent Metropolis-Hastings
我们考虑的期望值的近似分布的潜在马尔可夫过程噪声测量。这被称为平滑问题，通常使用粒子和马尔可夫链蒙特卡罗（MCMC）方法来处理。这些方法在有限时间内运行时提供一致但有偏的估计。我们提出了一种简单的方法耦合两个MCMC链使用粒子独立的Metropolis-Hastings（PIMH）生成无偏平滑估计。无偏估计量在并行计算的背景下是有吸引力的，并且便于构造置信区间。该方案只需要访问现成的粒子滤波器（PF），因此更容易实现比最近提出的无偏平滑。该方法证明了一个Lévy驱动的随机波动率模型和随机动力学模型。
2019-02-05 stat.CO stat.ME stat.ML
Solving Dynamic Discrete Choice Models Using Smoothing and Sieve Methods
我们建议结合平滑，模拟和筛分近似解决集成或期望价值函数在一般类的动态离散选择（DDC）模型。我们使用重要性抽样来近似定义这两个函数的Bellman算子。随机Bellman算子以及相应的解通常是非光滑的，这是不期望的。为了避免这个问题，我们引入了一个平滑版本的随机贝尔曼算子和解决相应的平滑价值函数使用筛子的方法。我们表明，可以避免使用筛子的推广和适应的“自我逼近”方法的鲁斯特（1997年），我们的设置。我们提供了一个渐近理论的近似解决方案，并表明他们收敛的根N率，其中$N$是蒙特卡罗提请，朝高斯过程。我们通过一组数值实验研究了它们在实践中的表现，发现这两种方法都表现良好，其中筛法在计算速度和精度方面特别有吸引力。
2020-02-28 econ.EM math.ST stat.TH
Tree-based Particle Smoothing Algorithms in a Hidden Markov Model
我们提供了一种基于Lindsten et al.（2017）的分治方法的新策略，以研究隐马尔可夫模型中的平滑问题。我们采用这种方法将隐马尔可夫模型分解为子模型，基于辅助树结构的中间目标分布，并从叶节点的子模型向根处的原始感兴趣模型产生独立样本。我们回顾了Lindsten等人提出的子模型中的目标分布，并提出了两类新的目标分布，即（联合）滤波分布和（联合）平滑分布的估计。第一种类型可以通过预先运行过滤算法直接构造。使用第二类目标分布的算法的优点是，在预先近似边缘平滑分布的代价下，粗略地保持所有随机变量的边缘在树的所有水平不变。我们进一步提出了使用预先生成的蒙特卡罗样本的这些目标分布的建设。我们的经验表明，建议的中间目标分布的算法给出稳定的和可比的结果，作为传统的平滑方法在线性高斯模型和非线性模型。
2018-08-25 stat.ME
Particle Smoothing Variational Objectives
Columbia University（哥伦比亚大学）；Cornell University（康奈尔大学）
最近的一个机构的工作集中在使用序贯蒙特卡罗（SMC）构建一个变分家庭的过滤分布。受这项工作的启发，我们引入粒子平滑变分目标（SVO），一种新的向后模拟技术和平滑近似后验定义通过一个子采样过程。SVO增强了对该提案的支持，并提高了粒子多样性。最近的文献认为，增加样本的数量K，以获得更严格的变分界限可能会损害建议学习，由于梯度估计的信噪比（SNR）下降的速率$\mathcal{O}(1/\sqrt{K})$。作为第二个贡献，我们开发的SNR滤波SMC，这促使我们选择有偏梯度估计的理论和实证分析。我们证明了通过从梯度估计中删除分类项或使用Gumbel-Softmax来引入偏差可以减轻对SNR的不利影响。我们将SVO应用于三个非线性潜在动力学任务，并提供统计数据来严格量化过滤和平滑目标的预测。SVO一贯优于过滤目标时，给予更少的蒙特卡罗样本的三个非线性系统的复杂性增加。
2019-09-20 cs.LG stat.ML
Nonlinear state space smoothing using the conditional particle filter
Uppsala University（乌普萨拉大学）；Linköping University（林雪平大学）
本文提出一种基于条件粒子滤波的非线性状态空间平滑方法，通过马尔可夫链蒙特卡洛方式迭代计算，具有渐近收敛性，应用于超宽带与加速度计/陀螺仪传感器融合的室内定位问题。
2015-09-16 cs.SY eess.SY math.OC
Sequential Quasi-Monte Carlo
本文推导并研究了在粒子滤波中引入序列拟蒙特卡罗点集而得到的一类算法SQMC（Sequential Quasi- Monte Carlo）。SQMC与L 'Ecuyer等人（2006）的阵列-RQMC算法相关，并且可以被视为其扩展。SQMC的复杂度为$O(N \log N)$，其中$N$是每次迭代的模拟次数，其错误率小于蒙特卡罗率$O_P(N^{-1/2})$。实现SQMC的唯一要求是能够编写粒子$x_t^n$的模拟，给定$x_{t-1}^n$作为$x_{t-1}^n$和固定数量的均匀变量的确定性函数。我们证明了SQMC与标准SMC具有相同的扩展，如前向平滑、后向平滑、无偏似然估计等，特别是SQMC可以在PMCMC（particle马尔可夫链蒙特卡罗）算法中取代SMC.我们建立了几个收敛结果。我们提供的数值证据表明，SQMC可能会显着优于SMC在实际情况下。
2014-11-28 stat.CO
Bivariate first-order random coefficient integer-valued autoregressive processes based on modified negative binomial operator
本文提出一种基于修正负二项算子且带相依新息的双变量一阶随机系数整值自回归过程，推导了其统计性质与估计量的渐近性质，通过多种方法估计参数并经蒙特卡洛模拟评估，最后应用于月度犯罪数据集验证了模型有效性。
2024-04-27 math.ST stat.TH
Smoothing with Couplings of Conditional Particle Filters
在状态空间模型中，平滑是指在给定与过程相关的噪声测量的情况下估计潜在的随机过程的任务。我们提出了一个平滑期望的无偏估计量。无偏属性具有方法上的优势：可以并行生成独立估计量，并且可以根据中心极限定理构建置信区间以量化近似误差。为了设计无偏估计量，我们结合了一个通用的去偏技术的马尔可夫链与马尔可夫链蒙特卡罗算法平滑。由此产生的程序是广泛适用的，我们在数值实验中表明，去除的偏见是在一个可控的方差增加。我们建立了温和的假设下提出的估计的有效性。玩具模型，包括一组高信息量的观察，和一个现实的Lotka-Volterra模型与一个棘手的过渡密度提供了数值实验。
2018-09-05 stat.CO stat.ME
Efficient Monte Carlo sampling by parallel marginalization
提出利用快速平衡的粗粒度马尔可夫链与全链交换以克服自相关时间长的问题，并通过随机微分方程的桥采样和滤波/平滑问题数值测试验证。
2007-01-20 cs.NA math.NA math.ST
An integrated quasi-Monte Carlo method for handling high dimensional problems with discontinuities in financial engineering
本文提出了一种集成准蒙特卡洛方法，通过平滑方法消除金融工程中典型函数的不连续性，并设计新的路径生成方法以降低目标函数的有效维度，从而提高高维和不连续问题的计算效率。
2019-02-26 cs.NA math.NA stat.AP
Metropolising forward particle filtering backward sampling and Rao-Blackwellisation of Metropolised particle smoothers
状态空间模型中的平滑相当于计算潜在状态轨迹的条件分布，给定观测值，或状态轨迹关于该分布的泛函的期望。对于非线性高斯或具有有限状态空间的模型，平滑分布通常无法计算，因为它们涉及至少等于观测数的维度空间上的积分。近年来，人们对基于蒙特卡罗的平滑方法越来越感兴趣，通常涉及粒子滤波器。一种这样的方法是用粒子滤波器来近似滤波器分布，然后使用后向核在粒子网格上进行后向模拟。我们表明，通过补充这个过程与大都会黑斯廷斯步骤决定是否接受一个建议的轨迹或没有，得到一个马尔可夫链蒙特卡罗计划的平稳分布是精确的平滑分布。我们还表明，在这个过程中，向后采样可以取代向后平滑，这有效地意味着平均所有可能的轨迹。在一个例子中，我们将这些方法与最近由Andrieu，Doucet和Holenstein提出的类似方法进行比较，并表明新方法在每计算时间的精度（逆方差）方面可以更有效。
2010-11-09 stat.CO
Continuous-discrete smoothing of diffusions
本文针对离散观测扩散过程的平滑问题，提出 BFFG 算法从精确平滑分布采样，并扩展支持参数估计，在多个挑战性问题中验证了其高效性。
2021-06-22 stat.CO
Simple conditions for convergence of sequential Monte Carlo genealogies with applications
我们提出了简单的条件下，限制系谱过程与一类相互作用的粒子系统与非中性的选择机制，随着粒子数量的增长，是一个时间重新缩放的金曼合并。序贯蒙特卡罗算法是在诸如非线性滤波和平滑等问题中近似积分的流行方法，这些问题采用这种类型的粒子系统。它们的表现强烈依赖于诱导谱系过程的性质。我们验证了我们的主要结果的标准序贯蒙特卡罗算法与广泛的一类低方差reservation计划，以及有条件的序贯蒙特卡罗与多项式reservation的条件。
2020-12-07 math.PR stat.CO stat.ME
Parallel marginalization Monte Carlo with applications to conditional path sampling
蒙特卡罗采样方法经常遭受长的相关时间。因此，这些方法必须运行多个步骤以生成独立样本。在本文中，提出了一种方法来克服这个困难。该方法利用来自对整个系统的边缘分布进行采样的快速平衡粗马尔可夫链的信息。这是通过全链条和辅助粗链之间的交换来实现的。给出了随机微分方程的桥式采样和滤波/光滑问题的数值试验结果。
2007-09-11 stat.CO
Non-asymptotic analysis of Langevin-type Monte Carlo algorithms
本文利用Liptser–Shiryaev理论与Poincaré不等式建立Langevin型采样算法与Gibbs分布间2-Wasserstein距离的非渐近上界，并提出适用于非凸、非光滑势函数的球形平滑算法。
2024-02-29 math.PR math.ST stat.ML
Fluctuations of Interacting Markov Chain Monte Carlo Methods
本文给出了求解非线性测度值方程的一类相互作用的马尔可夫链Monte Carlo算法的多元中心极限定理。这些算法产生的随机过程，属于类的非线性马尔可夫链与他们的经验占领措施相互作用。我们开发了一个原始的理论分析的基础上，预解算子和半群技术来分析他们的占领措施的波动在其极限值。
2012-01-02 math.PR math.ST stat.CO
Adaptive Smoothing Spline Estimator for the Function-on-Function Linear Regression Model
针对函数对函数线性回归模型，提出带双空间自适应惩罚项的AdaSS估计量及配套进化调参算法，模拟和真实数据实验显示其估计与预测精度多优于现有方法。
2020-11-24 stat.CO stat.ME
Vector-Valued Control Variates
针对多个相关 Monte Carlo 积分需重复使用大量样本的问题，本文提出基于核插值、广义 Stein 恒等式和矩阵值 Stein 再生核的向量值控制变量，以联合缩减方差并跨任务迁移信息。
2023-06-07 stat.ME
Bayesian Inference for Jump-Diffusion Approximations of Biochemical Reaction Networks
本文针对生化反应网络的多尺度特性，提出基于跳-扩散近似和分块Gibbs粒子平滑的贝叶斯推断算法，通过序贯Monte Carlo状态推断与参数推断，实现对隐藏状态和参数的联合估计。
2023-04-13 q-bio.MN q-bio.QM stat.ME
A Partially Separable Model for Dynamic Valued Networks
针对动态赋值网络的ERGM框架发展尚不成熟的问题，提出部分可分离时序ERGM，采用基于前序网络的MCMC采样实现最大似然近似，经真实数据验证可有效解释网络动态、预测时序趋势。
2023-06-16 stat.ME
Fast and numerically stable particle-based online additive smoothing: the AdaSmooth algorithm
我们提出了一种新的序贯蒙特卡罗方法在线平滑的添加剂泛函在一个非常一般的一类路径空间模型。然而，在文献中提出的解决方案遭受长期的数值不稳定性，由于粒子路径退化，或在退化是补救的情况下，通过粒子近似的所谓的向后内核，高的计算需求。为了最佳地平衡计算速度对数值稳定性，我们建议提供一个（快速）天真的粒子平滑，递归地传播粒子和相关的平滑统计样本，与自适应向后采样为基础的更新规则，允许（昂贵的）向后样本的数量保持在最低限度。这产生了一个新的，特定于功能的加法平滑算法，AdaSmooth，这是计算速度快，数值稳定，易于实现。该算法提供了严格的理论结果，保证其一致性，渐近正态性和长期稳定性，以及数值结果表明经验的AdaSmooth现有算法的明显优势。
2022-10-21 stat.CO
Fast Conservative Monte Carlo Confidence Intervals
本文提出通用方法，通过反转蒙特卡洛检验构建保守置信集，适用于任意检验统计量，并实现O(n)时间复杂度的快速算法，提供Python和R实现。
2025-02-25 stat.CO
A copula-based bivariate integer-valued autoregressive process with application
研究了一类具有Copula联合新息的二元一阶整值自回归过程（BINAR（1））.通过蒙特卡罗模拟，分析和比较了不同的参数估计方法，重点是copula依赖参数的估计。在违约和非违约贷款数据上的实证应用是使用Copula函数和边际分布函数的不同组合进行的，涵盖了两个边缘分布来自同一族的情况，以及它们来自不同分布族的情况。
2019-06-05 stat.ME
Amortized backward variational inference in nonlinear state-space models
本文研究了一般状态空间模型中的状态估计问题，采用变分推断。对于一个通用的变分家庭定义使用相同的向后分解作为实际的联合平滑分布，我们建立的第一次，在混合假设下，期望的加性状态泛函的变分近似引起的错误，最多线性增长的观测数。这种保证是一致的平滑分布的近似使用标准的蒙特卡罗方法与已知的上限。此外，我们提出了一个摊销的推理框架，其中一个神经网络共享所有时间的步骤输出的变分内核的参数。我们还研究了经验参数化，允许分析边缘化的变分分布，从而导致有效的平滑算法。显着的改进是最先进的变分解决方案，特别是当生成模型依赖于一个强非线性和非内射混合函数。
2022-06-01 stat.ME stat.ML
Importance sampling for online variational learning
本文提出一种结合蒙特卡洛重要性采样的在线变分算法，用于高效估计状态空间模型中的平滑分布及ELBO梯度，适用于流式数据场景。
2024-02-05 stat.AP stat.ME stat.ML
Maximum likelihood smoothing estimation in state-space models: An incomplete-information based approach
Victoria University of Wellington（惠灵顿维多利亚大学）
本文回顾了Rauch（1963，et al.1965）的经典工作，提出了一种新的基于不完全信息/数据的随机状态空间系统的极大似然（ML）平滑估计方法。引入了不完全数据的评分函数和条件观测信息矩阵，建立了它们的分布恒等式。利用这些恒等式，给出了ML平滑器$\widehat{x}_{k\vert n}^s =\argmax_{x_k} \log f(x_k,\widehat{x}_{k+1\vert n}^s, y_{0:n}\vertθ)$，$k\leq n-1$.结果表明，ML平滑器比ML状态估计器$x_k$具有更好的对数似然性和更小的标准误差，并具有$\widehat{x}_{n\vert n}^s=\widehat{x}_n$ .递归估计的EM梯度粒子算法，扩展了工作的\cite{Lange} ML平滑估计。该算法有一个显式的迭代更新，缺乏（\cite{Ramadan}）EM算法的平滑。一个序贯蒙特卡罗方法的评分函数和观察到的信息矩阵的估值。推导了估计误差协方差矩阵的递推公式，用于计算标准误差。在线性系统的情况下，该方法表明，Rauch-Tung-Striebel（RTS）平滑器是一个完全有效的平滑状态估计，其协方差矩阵符合Cramér-Rao下界，期望信息矩阵的逆。此外，RTS平滑器与具有较少协方差矩阵的卡尔曼滤波器一致。进行数值研究，确认的主要结果的准确性。
2023-03-29 cs.IT cs.LG cs.SY
Convergence Bounds for Sequential Monte Carlo on Multimodal Distributions using Soft Decomposition
Department of Applied Mathematics \& Statistics, Johns Hopkins University e1,e2
本文研究了序贯蒙特卡洛算法在多模分布上的收敛性界，通过软分解方法，利用局部马尔可夫链混合动态而非全局混合动态，提出新的收敛性界分析方法。
2026-03-17 cs.LG math.PR math.ST
Reduction of wind power variability through geographic diversity
风力发电的可变性可以通过聚集分布在大的地理区域上的风力发电厂的输出来减少。在本章中，我们利用蒙特卡罗模拟来研究可实现的平滑程度的上限，并阐明平滑程度如何取决于植物的数量和它们分布的地理区域的大小。
2016-08-22 physics.ao-ph stat.AP
Efficient estimation for a smoothing thin plate spline in a two-dimensional space
针对二维空间平滑薄板样条插值中的稠密矩阵计算问题，本文提出用分层矩阵压缩并结合共轭梯度法高效求解，并通过模拟、敏感性分析和与R包mgcv的比较验证了其计算效率与插值精度。
2024-04-02 stat.CO stat.OT
The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing
Foxstream（福克斯崔姆公司）；Miles Team, LAMSADE, Université Paris-Dauphine, PSL University（迈尔斯团队、兰萨德实验室、巴黎多芬大学、PSL大学）；ECE, New York University（纽约大学电气与计算机工程系）；ESPCI PSL（巴黎高等物理化工学院 PSL大学）
本文提出一种增强随机平滑的方法，通过利用Lipschitz常数与方差-间隔权衡，结合Bernstein不等式和增强Lipschitz界，显著提升认证精度，并支持零样本使用预训练模型。
2024-03-18 cs.LG stat.ML
Online Rolling Controlled Sequential Monte Carlo
本研究提出ORCSMC算法，通过滚动窗口将受控序贯蒙特卡洛扩展至在线场景，用双粒子系统同步估计扭曲函数与滤波，在多模型实验中验证了其高维下更优的估计精度与鲁棒性，为复杂隐变量模型实时推断提供高效方案。
2025-08-01 stat.CO
Particle Filtering and Smoothing Using Windowed Rejection Sampling
“粒子方法”是序贯蒙特卡罗算法，通常涉及重要性抽样，用于估计和抽样联合和边际密度从一个集合，大概增加，随机变量的数量。特别地，粒子滤波器旨在通过估计后验分布$π(x_{n}|y_{1},y_{2}, \ldots, y_{n})$来估计不可直接观察的随机系统的当前状态$X_{n}$，其中$\{Y_{n}\}$是通过某种测量模型$π(y_{n}|x_{n})$与$\{X_{n}\}$相关的观测。粒子平滑器旨在估计$1 \leq i < n$的边缘分布$π(x_{i}|y_{1},y_{2}, \ldots, y_{n})$。粒子方法广泛用于隐马尔可夫模型，其中$\{X_{n}\}$是马尔可夫链，以及用于更一般的状态空间模型。现有的粒子滤波算法速度非常快，易于实现。虽然它们遭受退化和“样本退化”的问题，但可以采取措施来最大限度地减少这些问题，总体而言，它们是推理的优秀工具。然而，如果希望从感兴趣的后验分布中采样，则粒子滤波器仅能够产生相关绘制。粒子平滑算法是复杂的，并且远没有那么鲁棒，通常需要繁琐的后处理、“向前-向后”递归和多次通过子例程。在本文中，我们介绍了一种替代算法的滤波和平滑，是基于拒绝抽样“窗口”。我们比较了传统的粒子滤波器和这种“窗口拒绝采样器”（WRS）的速度和精度的几个例子，并显示出良好的估计平滑分布，在没有额外的成本。
2014-07-16 stat.CO
Accelerating Reinforcement Learning with a Directional-Gaussian-Smoothing Evolution Strategy
Oak Ridge National Laboratory（橡树岭国家实验室）
演化策略（ES）在许多具有挑战性的强化学习（RL）任务中表现出了巨大的潜力，可以与其他最先进的深度RL方法相媲美。然而，在目前的ES实践中有两个限制，可能会阻碍其进一步的能力。首先，大多数当前的方法依赖于蒙特卡罗类型的梯度估计建议搜索方向，其中的政策参数，一般来说，随机抽样。由于这种估计器的低精度，RL训练可能会收敛缓慢，并且需要更多的迭代才能达到最优解。其次，奖励函数的景观可能具有欺骗性，并且包含许多局部最大值，导致ES算法过早收敛，并且无法探索具有潜在更大奖励的参数空间的其他部分。在这项工作中，我们采用了方向高斯平滑进化策略（DGS-ES）来加速RL训练，它非常适合解决这两个挑战，因为它能够i）提供高精度的梯度估计，ii）找到非局部搜索方向，强调奖励函数的大规模变化并忽略局部波动。通过几个基准RL任务在这里演示，我们表明DGS-ES是高度可扩展的，具有优越的挂钟时间，并实现竞争力的奖励分数，其他流行的策略梯度和ES方法。
2020-02-21 cs.AI cs.LG math.OC
Optimal allocation of Monte Carlo simulations to multiple hypothesis tests
在实践中，多个假设检验通常使用自举或排列检验获得的p值估计值进行，因为所有假设的分析p值通常是未知的。本文考虑分配预先指定总数的蒙特卡罗模拟$K \in \mathbb{N}$（即，排列或从自举分布中抽取）到给定数目的$m \in \mathbb{N}$假设，以便以最佳方式近似它们的p值$p \in [0,1]^m$，在这种意义上，分配使错误分类的假设的总预期数目最小化。如果用近似p值获得的单个假设的决策与其p值通过分析已知时获得的决策不同，则会发生错误分类。本文的贡献有三个方面：在已知$p$和$K \in \mathbb{R}$的假设下，并使用二项分布的正态近似，当使用Bonferroni校正校正多重性时，计算有或没有伪计数的p值估计值时，推导出$K$模拟到$m$假设的最佳实值分配。在前一种情况下产生的计算微妙之处将被讨论。第二，在基于模拟退火算法的帮助下，经验证据表明，最优整数分配可能与最优实值分配具有相同的形式，并且两者似乎是一致的。第三，对模拟和真实数据的实证研究表明，最近提出的基于Thompson采样的采样算法，当p值未知时，可以近似地模拟最优（实值）分配，从而在运行时进行估计。
2019-10-05 stat.CO
Langevin Monte Carlo without smoothness
University of California, Berkeley（加利福尼亚大学伯克利分校）；University of Wisconsin, Madison（威斯康星大学麦迪逊分校）
朗之万蒙特卡罗（LMC）是一种迭代算法，用于从仅已知到归一化常数的分布中生成样本。它的混合时间的尺寸和目标精度的非渐近依赖性主要是在光滑（梯度Lipschitz）的对数密度，在机器学习中的应用程序的严重限制的设置理解。在本文中，我们消除了这一限制，提供多项式时间收敛保证的一个变种的LMC在非光滑的对数凹分布的设置。在高水平上，我们的结果是通过利用对数密度的隐式平滑来实现的，该对数密度来自我们添加到算法迭代中的小高斯扰动，并控制由该扰动引起的偏差和方差。
2020-02-24 cs.LG stat.CO stat.ML
Unbiased Multi-index Monte Carlo
我们引入了一类新的基于蒙特卡罗的近似期望的随机变量，使他们的法律只能通过某些离散化。从这些定律的离散化版本中采样通常会引入偏差。在本文中，我们展示了如何消除这种偏见，通过引入一个新版本的多指标蒙特卡罗（MIMC），具有减少计算工作量的额外优势，相对于i.i.d.对于给定的误差水平，从最精确的离散化中采样。我们涵盖了新方法的方差和最优性标准的结果的扩展。我们应用的方法来计算一个随机系数的偏微分方程的解的无偏软化版本的问题。第二个应用程序涉及的贝叶斯推断（平滑问题）的无限维信号建模的随机偏微分方程的解决方案，观察到离散空间网格和离散时间。这两个应用程序都辅以数值模拟。
2017-10-16 stat.CO
