Stochastic Variational Inference for GARCH Models
针对异方差时间序列模型拟合问题，提出基于高斯变分近似、结合控制变量或重参数化技巧的GARCH模型随机变分推断方法，还给出序贯更新版本，可快速准确替代MCMC，适用于投资组合构建与动态资产配置。
2023-08-29 econ.EM stat.AP stat.CO
Coupling stochastic EM and Approximate Bayesian Computation for parameter inference in state-space models
研究了一类状态空间模型，并对模型参数进行了极大似然估计。我们考虑一个随机逼近期望最大化（SAEM）算法，以最大化的似然函数的新颖性，使用近似贝叶斯计算（ABC）内SAEM。我们的任务是提供每个迭代的SAEM与系统的过滤状态，这是实现使用ABC采样器的隐藏状态，基于序贯蒙特卡罗（SMC）方法。结果表明，由此产生的SAEM-ABC算法可以被校准，以返回准确的推理，在某些情况下，它可以优于一个版本的SAEM纳入自举滤波器。两个模拟研究，首先是一个非线性高斯状态空间模型，然后一个状态空间模型具有动态表示的随机微分方程。与迭代滤波的极大似然推断，和吉布斯抽样和粒子边际方法的贝叶斯推断的比较。
2017-10-24 stat.CO stat.ME
Accelerating Stochastic Probabilistic Inference
Amazon（亚马逊）
近年来，随机变分推理（SVI）由于能够找到概率模型的良好后验近似而越来越受到关注。它根据自然梯度的噪声估计，通过随机优化来优化变分目标。然而，几乎所有的最先进的SVI算法是基于一阶优化算法，往往受到收敛速度差。在本文中，我们提出了一个基于二阶的随机变分推理方法，弥补了二阶方法和随机变分推理之间的差距。特别地，我们首先推导出变分目标的Hessian矩阵。然后，我们设计了两个数值方案，有效地实现二阶SVI。在合成数据集和真实数据集上进行了全面的经验评估，以支持所提出的方法的有效性和效率。
2022-03-15 cs.AI cs.LG stat.ML
A trust-region method for stochastic variational inference with applications to streaming data
随机变分推断允许在复杂贝叶斯模型中进行快速后验推理。然而，该算法容易陷入局部最优，这会使后验近似的质量对超参数的选择和初始化敏感。我们解决这个问题，取代自然梯度步骤的随机变分推理与信赖域更新。我们表明，这通常会导致更好的结果，并降低对超参数的敏感性。我们还描述了一种新的策略，变分推断流数据，并表明，在这里我们的信任区域的方法是至关重要的获得良好的性能。
2015-05-28 stat.AP stat.ML
Sparse Stochastic Inference for Latent Dirichlet allocation
我们提出了一个混合算法的贝叶斯主题模型，结合稀疏吉布斯抽样的效率与在线随机推理的可扩展性。我们使用我们的算法分析了120万本书（330亿字）的语料库，其中包含数千个主题。我们的方法减少了变分推理的偏差，并推广到许多贝叶斯隐变量模型。
2012-06-27 cs.LG stat.ML
Importance Sampled Stochastic Optimization for Variational Inference
变分推断通过最大化模型证据的下限来近似具有参数化密度的概率模型的后验分布。现代的解决方案适合一个灵活的近似与随机梯度下降，使用蒙特卡罗近似的梯度。这使得变分推断的任意可微的概率模型，从而使变分推断的概率编程语言的可行性。在这项工作中，我们开发了更有效的推理算法的任务，考虑重要性抽样估计的梯度。我们展示了如何在不需要重新计算模型本身的梯度的情况下，通常可以有效地评估近似参数的梯度，然后继续推导出使用重要性采样估计来加速计算的实用算法。我们提出了重要性采样随机梯度下降，它在一系列模型中明显优于标准随机梯度下降，并为变分推断提供了随机平均梯度的合理变体。
2017-07-12 stat.ML
Inference for stochastic volatility models using time change transformations
利用马尔可夫链蒙特卡罗（MCMC）方法研究了扩散驱动随机波动模型的参数估计问题。为了避免退化问题，我们引入了一个创新的reparametrisation定义通过转换操作的时间尺度上的扩散。提出了一种新的MCMC方案，克服了时变变换的固有困难。该算法实现速度快，适用于具有随机波动率的模型。该方法通过模拟实验进行了测试，并说明了美国国债利率组成的数据。
2007-11-10 math.ST q-fin.CP stat.CO
Differentiable Antithetic Sampling for Variance Reduction in Stochastic Variational Inference
Stanford University（斯坦福大学）
随机优化技术在变分推理算法中是标准的。这些方法通过用独立的Monte Carlo样本近似期望来估计梯度。在本文中，我们探讨了一种技术，使用相关的，但更有代表性的样本，以减少估计方差。具体来说，我们将展示如何生成对偶样本，匹配样本矩与潜在的重要性分布的真实时刻。将可微对偶采样器与现代随机变分推理相结合，我们展示了这种方法学习深度生成模型的有效性。
2019-08-14 cs.LG stat.ML
Stochastic Variational Inference with Gradient Linearization
TU Darmstadt（达姆施塔特工业大学）
变分推理经历了最近的流行，由于随机方法，这已经产生了广泛的模型类的实用工具激增。一个关键的好处是，随机变分推理避免了繁琐的过程，推导出解析表达式的封闭形式的变量更新。相反，人们只需要导出对数后验的梯度，这通常要容易得多。然而，对于某些模型类别，对数后验本身很难使用标准梯度技术进行优化。一个这样的例子是随机场模型，其中基于梯度线性化的优化已被证明是流行的，因为它显著地加速收敛并且可以避免差的局部最优。本文提出了梯度线性化随机变分推理（SVIGL）。它与标准随机变分推理一样方便-所需的只是能量梯度的局部线性化。它的好处是随机变分推理与传统的梯度方法是一个明显的改善收敛速度，同时产生可比的，甚至更好的变分近似的KL发散。我们展示了SVIGL在三个应用中的好处：光流估计，泊松-高斯去噪和3D表面重建。
2018-03-28 cs.CV cs.LG stat.ML
Fast Black-box Variational Inference through Stochastic Trust-Region Optimization
我们介绍TrustVI，一个快速的二阶算法的黑盒变分推理的信赖域优化和重新参数化技巧的基础上。在每次迭代中，TrustVI基于从变分分布中提取的小批量来建议和评估步骤。该算法可证明收敛到一个稳定点。我们在Stan框架中实现了TrustVI，并将其与两种替代方案进行了比较：自动微分变分推理（ADVI）和无Hessian-free随机梯度变分推理（HFSGVI）。前者是基于随机一阶优化。后者使用二阶信息，但缺乏收敛保证。TrustVI通常比ADVI收敛至少快一个数量级，证明了随机二阶信息的价值。TrustVI经常发现比HFSGVI更好的变分分布，这表明我们的收敛理论在实践中很重要。
2017-11-05 cs.LG stat.ML
Stochastic Collapsed Variational Inference for Hidden Markov Models
塌陷模型的随机变分推断最近已成功地应用于大规模主题建模。在本文中，我们提出了一个随机折叠变分推断算法的隐马尔可夫模型，在一个序列数据设置。给定一个崩溃的隐马尔可夫模型，我们将它的长马尔可夫链分解成一组短的子链。我们提出了一种新的和积算法来更新子链的后验，考虑到它们的边界过渡，由于顺序依赖。我们在两个离散数据集上的实验表明，我们的折叠算法是可扩展的非常大的数据集，内存效率和显着更准确的比现有的uncollapsed算法。
2015-12-05 stat.ML
Understanding Stochastic Natural Gradient Variational Inference
University of Pennsylvania（宾夕法尼亚大学）
本文研究了随机自然梯度变分推断（NGVI）的非渐近收敛速率，证明了共轭似然下首个O(1/T)收敛速率，并揭示了非共轭似然下优化非凸目标的挑战。
2024-06-04 cs.LG stat.ML
Stochastic variational inference for large-scale discrete choice models using adaptive batch sizes
离散选择模型描述了决策者在多个备选方案中的选择，在交通规划、市场研究等应用中发挥着重要作用。混合多项罗吉特（MMNL）模型是一种流行的离散选择模型，通过随机系数捕捉决策者偏好的异质性。虽然马尔可夫链蒙特卡罗方法为估计MMNL模型的经典过程提供了贝叶斯模拟，但对于大型数据集，计算可能过于昂贵。用变分方法可以得到近似推理，计算量小，精度高。在本文中，我们开发了变分方法估计MMNL模型，允许随机系数在后验相关，可以很容易地扩展到大规模的数据集。我们探索了三种替代方案：（1）拉普拉斯变分推断，（2）非共轭变分消息传递和（3）随机线性回归。他们的表现进行了比较，使用真实和模拟数据。为了加速大数据集的收敛，我们开发了随机变分推断MMNL模型使用上述每一种替代方案。随机变分推断通过使用随机梯度近似来优化全局变分参数，从而允许在小批量中处理数据。提出了一种在随机变分推断中自适应增加小批量的新策略。
2015-10-08 stat.AP
Approximate Inference for Stochastic Planning in Factored Spaces
Indiana University Bloomington（印第安纳大学伯明顿分校）
随机规划可以减少到大的离散图形模型的概率推理，但推理的硬度需要使用近似方案。在本文中，我们认为，这样的应用程序可以解开沿两个维度。第一个是理想化精确优化目标中的信息流方向，即，前向和后向推理。第二个是用于计算此目标的近似类型，例如，置信传播（BP）与平均场变分推理（MFVI）。这种新的分类使我们能够统一以前工作中大量孤立的工作，解释它们的联系和差异以及潜在的改进。大量的随机规划问题的实验评估表明，前向BP的优势，基于MFVI的几种算法。MFVI的实际局限性的分析激发了一种新的算法，折叠状态变分推理（CSVI），它提供了一个更紧密的近似，并实现了可比的规划性能与前向BP。
2022-09-02 cs.AI stat.CO
Pseudo-Encoded Stochastic Variational Inference
Carnegie Mellon University（卡内基梅隆大学）
有向图模型中的后验推理通常使用以输入为条件的概率编码器（也称为推理模型）来完成。通常，这种推理模型与概率解码器（也称为生成器模型）联合训练。如果概率编码器在训练过程中遇到复杂性（例如次优复杂性或参数化），那么学习达到次优目标;通常称为推理次优的现象。在变分推理（VI）中，使用随机变分推理（SVI）优化ELBo可以消除推理次优性（如本文所示），但是，当需要在新数据点上进行推理时，这种解决方案会产生大量的计算成本。本质上，需要一个长的梯度更新序列链来完全优化近似后验。在本文中，我们提出了一种方法称为伪编码随机变分推理（PE-SVI），以减少在测试时间的SVI的推理复杂度。我们的方法依赖于为梯度操作找到一个合适的初始起点，这自然会减少所需的梯度步骤。此外，该初始化允许采用更大的步长（与SVI中使用的随机初始化相比），这进一步降低了推断时间复杂度。PE-SVI达到与SVI相同的ELBo目标，平均使用不到1%的所需步骤。
2019-12-19 cs.LG cs.NE stat.ML
Scaling Factorial Hidden Markov Models: Stochastic Variational Inference without Messages
阶乘隐马尔可夫模型（FHMM）是序列数据的强大模型，但它们不能很好地扩展长序列。我们提出了一个可扩展的推理和学习算法的FHSTIM，借鉴了随机变分推断，神经网络和copula文献的想法。与现有方法不同，该算法不需要隐变量之间的消息传递过程，并且可以分布到计算机网络中以加快学习速度。我们的实验证实，该算法不引入进一步的近似偏置相比，已被证明的结构化平均场算法，并实现更好的性能与长序列和大的FHH。
2016-10-28 stat.ML
Local Expectation Gradients for Doubly Stochastic Variational Inference
我们介绍了当地的期望梯度，这是一个通用的随机变分推断算法，通过从变分分布采样构建随机梯度。该算法将估计多个变分参数的随机梯度的问题划分为较小的子任务，使得每个子任务智能地利用来自变分分布的最相关部分的信息。这是通过对主要与感兴趣的变分参数相关的单个随机变量执行精确期望来实现的，从而产生具有低方差并且可以有效地用于连续和离散随机变量的Rao-Blackwellized估计。此外，该算法与吉布斯抽样有有趣的相似之处，但与此同时，不像吉布斯抽样，它可以平凡地并行化。
2015-03-04 stat.ML
Training Variational Autoencoders with Buffered Stochastic Variational Inference
Stanford University（斯坦福大学）；VinAI（越南人工智能研究所）
深度潜变量模型（如变分自编码器（VAE））中的识别网络依赖于摊销推理，以实现有效的后验近似，可以扩展到大型数据集。然而，这种技术也被证明是选择次优的变分参数，往往会导致相当大的额外的错误称为摊销差距。为了缩小摊销差距并改进生成模型的训练，最近的工作已经引入了一个附加的细化步骤，该步骤应用随机变分推断（SVI）来改进由摊销推理模型返回的变分参数。在本文中，我们提出了缓冲随机变分推断（BSVI），一个新的细化过程，利用SVI的序列的中间变分建议分布和相应的重要性权重，以构建一个新的广义重要性加权下界。我们的经验表明，训练变分自动编码器与BSVI一贯优于SVI，产生一个改进的训练过程VAE。
2019-02-27 cs.LG stat.ML
On the Convergence of Stochastic Variational Inference in Bayesian Networks
我们强调了一个陷阱时，随机变分推断一般贝叶斯网络。对于由指数族分布近似的全局随机变量，通常从单位长度步长开始的自然梯度步长被平均以收敛。当近似在一般贝叶斯网络上进行因子分解时，这种对初始步长缩放的有用见解就会丢失，必须小心确保实际收敛。我们实验性地研究了有多少婴儿（比例良好的步骤）与洗澡水（精确的梯度）一起被抛出。
2015-07-16 stat.ML
Stochastic Variational Inference for Hidden Markov Models
变分推断算法已被证明是成功的贝叶斯分析在大数据设置，最近的进展使用随机变分推断（SVI）。然而，这些方法在很大程度上是在独立或可交换的数据环境中研究的。我们开发了一个SVI算法来学习隐马尔可夫模型（HHALF）的参数在一个时间依赖的数据设置。在这种情况下，应用随机最优化的挑战来自于链中的依赖关系，必须打破这种依赖关系才能考虑小批量的观测。我们提出了一种算法，利用记忆衰减的链自适应边界所产生的边缘效应的错误。我们证明了我们的算法的有效性合成实验和一个大的基因组数据集，其中一个批处理算法是计算上不可行的。
2014-11-06 stat.ML
Stochastically Differentiable Probabilistic Programs
University of Oxford（牛津大学）
具有混合支持（连续和离散潜随机变量）的概率规划通常出现在许多概率规划系统（PPS）中。然而，离散随机变量的存在禁止了许多基本的基于梯度的推理引擎，这使得在这样的模型上的推理过程特别具有挑战性。现有的PPS要么需要用户手动边缘化的离散变量，或通过运行独立的离散和连续变量的推理来执行合成推理。前者在大多数情况下是不可行的，而后者有一些根本性的缺点。我们提出了一种新的方法来运行推理的有效性和鲁棒性，在这样的程序使用随机梯度马尔可夫链蒙特卡罗算法家族。我们比较我们的随机基于梯度的推理算法对传统的基线在几个重要的情况下，概率程序与混合支持，并证明它优于现有的构成推理基线和工程几乎以及推理边缘化版本的程序，但较少的编程工作量和较低的计算成本。
2020-03-05 cs.LG stat.ML
Beta Process Non-negative Matrix Factorization with Stochastic Structured Mean-Field Variational Inference
Columbia University（哥伦比亚大学）；Adobe Research（Adobe研究院）；Adobe Systems Incorporated（奥多比系统公司）
Beta过程是潜在因子模型的标准非参数贝叶斯先验。本文对具有Poisson似然的Beta过程非负矩阵分解（NMF）模型给出了一个结构化的平均场变分推断算法。与非参数贝叶斯文献中研究较多的线性高斯模型不同，具有beta过程先验的NMF模型不具有共轭性。我们利用最近发展的随机结构平均场变分推断放松共轭约束，恢复近似变分分布中隐变量之间的依赖关系。仿真和实际算例的初步结果表明，该推理算法能够合理地恢复数据的隐藏结构。
2014-12-02 cs.LG stat.ML
Asynchronous Stochastic Variational Inference
Bournemouth University（伯恩茅斯大学）；IMT Lille Douai（IMT里尔杜埃）
随机变分推断（SVI）采用随机最优化将贝叶斯计算扩展到海量数据。由于SVI的核心是一种基于随机梯度的算法，因此可以利用水平并行来进行更大规模的推理。我们提出了一个无锁的并行实现SVI，它允许分布式计算在多个奴隶在异步风格。我们表明，我们的实现导致线性加速，同时保证渐近遍历收敛速度（$O(1/\sqrt(T)$）给定的奴隶的数量是有界的$\sqrt(T)$（$T$是迭代的总次数）。该实现是在高性能计算（HPC）环境中使用Python的消息传递接口（MPI）（MPI4py）完成的。大量的实证评估表明，我们的并行SVI是无损的，表现良好，其对应的串行SVI与线性加速。
2018-01-12 cs.DC cs.LG stat.ML
Variational inference for neural network matrix factorization and its application to stochastic blockmodeling
Goldman Sachs（高盛集团）
我们考虑了神经网络矩阵因子分解的概率模拟（Dziugaite & Roy，2015），我们用贝叶斯神经网络构建，并用变分推断拟合。我们发现，一个线性模型与变分推断可以达到相同的预测性能的常规神经网络变体上的Movielens数据集。我们讨论了这一结果的影响，其中包括一些建议的利弊使用神经网络建设，以及变分推理方法。这样的概率方法是必需的，但是，当考虑到重要的一类随机块模型。我们描述了一个变分推断算法的神经网络矩阵分解模型与非参数块结构，并评估其性能的NIPS合著数据集。
2019-08-15 cs.LG stat.ML
Smoothed Gradients for Stochastic Variational Inference
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
随机变分推断（SVI）使我们能够将贝叶斯计算扩展到海量数据。它使用随机最优化来拟合变分分布，遵循易于计算的噪声自然梯度。与大多数传统的随机最优化方法一样，SVI采取预防措施，使用无偏随机梯度，其期望值等于真实梯度。在本文中，我们探讨的想法，以下有偏随机梯度SVI。我们的方法将自然梯度替换为类似构造的向量，该向量使用其先前项的固定窗口移动平均值。我们将展示这种技术的许多优点。首先，它的计算成本与SVI相同，存储需求仅乘以一个常数因子。第二，它享有显着的方差减少比无偏估计，更小的偏差比平均梯度，并导致更小的均方误差对全梯度。我们测试我们的方法上的潜在狄利克雷分配与三个大型语料库。
2014-11-18 cs.LG stat.ML
Fast Second-Order Stochastic Backpropagation for Variational Inference
我们提出了一个基于二阶（Hessian或Hessian-free）的优化方法，用于受高斯反向传播启发的变分推断，并认为可以开发拟牛顿优化。这是通过一个较低复杂度的重新参数化技巧，在随机反向传播中推广梯度计算来实现的。作为一个说明性的例子，我们将这种方法应用到贝叶斯逻辑斯谛回归和变分自动编码器（VAE）的问题。此外，我们计算的估计方差的难以处理的期望的家庭Lipschitz连续函数的界限。我们的方法是实用的，可扩展的和无模型的。我们在几个真实世界的数据集上展示了我们的方法，并与其他随机梯度方法进行了比较，以显示收敛速度的大幅提高。
2017-03-28 stat.ML
Efficient stochastic optimisation by unadjusted Langevin Monte Carlo. Application to maximum marginal likelihood and empirical Bayesian estimation
随机逼近方法在涉及棘手的似然函数的极大似然估计问题中起着核心作用，例如在缺失或不完整数据的问题中产生的边际似然，以及在参数经验贝叶斯估计中。结合马尔可夫链蒙特卡罗算法，这些随机优化方法已成功地应用于科学和工业中的广泛问题。然而，这种策略的规模差，大的问题，因为方法和理论上的困难，使用高维马尔可夫链蒙特卡罗算法内的随机逼近计划。本文提出了解决这些困难，通过使用未调整的朗之万算法构造的随机逼近。这导致了一个高效的随机优化方法，具有良好的收敛性能，可以明确量化，易于检查。所提出的方法证明了三个实验，包括一个具有挑战性的应用程序，高维统计音频分析和稀疏贝叶斯逻辑斯谛回归与随机效应的问题。
2020-05-30 stat.CO
Simulation and inference methods for non-Markovian stochastic biochemical reaction networks
Queensland University of Technology（昆士兰科技大学）
本文提出了一种高效方法，用于模拟和推断具有延迟的非马尔可夫随机生化反应网络，通过改进的随机模拟算法和耦合方案，显著提升了计算效率和推断准确性。
2026-08-20 cs.NA math.NA q-bio.MN
Scalable inference for a full multivariate stochastic volatility model
我们引入了一个多变量随机波动率模型的资产收益率，不施加任何限制的波动率矩阵的结构，并把它的所有元素作为潜在的随机过程的功能。当资产数量过大时，我们提出了一个因子多变量随机波动模型，其中因子的方差和相关性随时间随机演化。推理是通过一个精心设计的可行的和可扩展的马尔可夫链蒙特卡罗算法，结合了两个计算上重要的成分：它利用不变的前大都会建议密度同时更新所有潜在的路径，并具有二次，而不是立方，计算复杂性时，评估所需的多元正常密度。我们应用我们的建模和计算方法，以$571$股票每日收益率的欧洲STOXX指数的数据在一段时间的$10$年。本文的MATLAB软件可在http://www.aueb.gr/users/mtitsias/code/msv.zip上获得。
2017-01-06 stat.ML
Perturbative estimation of stochastic gradients
在本文中，我们介绍了一个家庭的随机梯度估计技术的基础上的扰动展开周围的平均抽样分布。我们的特点的偏差和方差泰勒校正估计使用拉格朗日误差公式。此外，我们介绍了一个家庭的方差减少技术，可以应用到其他梯度估计。最后，我们表明，这些新的微扰方法可以扩展到离散函数使用解析延拓。使用这种技术，我们得到了一个新的梯度下降法训练随机网络与二进制权重。在我们的实验中，我们表明，扰动校正提高了收敛的随机变分推断在连续和离散的情况下。
2019-11-15 cs.LG stat.ML
Extreme Stochastic Variational Inference: Distributed and Asynchronous
随机变分推断（SVI）是一种面向大数据集的变分变分推断算法，具有串行性。此外，它要求参数适合单个处理器的内存;当参数的数量以十亿计时，这是有问题的。在本文中，我们提出了极端随机变分推断（ESVI），一个异步的和无锁的算法执行混合模型的变分推断在大量的现实世界的数据集。ESVI通过要求每个处理器仅访问数据的子集和参数的子集来克服SVI的限制，从而同时提供数据和模型并行性。我们通过在UMBC-3B上运行潜在狄利克雷分配（LDA）来证明ESVI的有效性，UMBC-3B是一个词汇量为300万，令牌大小为30亿的数据集。在我们的实验中，我们发现ESVI不仅在wallclock时间上优于VI和SVI，而且还获得了更好的质量解决方案。此外，我们提出了一种策略，以加快计算和节省内存时，适合大量的主题。
2018-08-03 stat.ML
Inference in Deep Gaussian Processes using Stochastic Gradient Hamiltonian Monte Carlo
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）；Alan Turing Institute（艾伦·图灵研究所）；University of Sevilla（塞维利亚大学）
深度高斯过程（DGP）是高斯过程的分层概括，它将校准良好的不确定性估计与多层模型的高度灵活性相结合。这些模型面临的最大挑战之一是精确的推理是棘手的。目前最先进的推理方法，变分推断（VI），采用高斯近似的后验分布。这可能是通常多模态后验的潜在不良单峰近似。在这项工作中，我们提供的非高斯性质的后验的证据，我们采用随机梯度哈密顿蒙特卡罗方法来生成样本。为了有效地优化超参数，我们引入了移动窗口MCEM算法。这导致在一个更低的计算成本比VI对应的显着更好的预测。因此，我们的方法建立了一个新的国家的最先进的DGP推理。
2018-11-12 cs.LG stat.ML
Black-box Variational Inference for Stochastic Differential Equations
随机微分方程的参数推断是具有挑战性的，由于潜在的扩散过程的存在。与欧拉-丸山离散的扩散，我们使用变分推断，共同学习的参数和扩散路径。我们使用一个标准的平均场变分近似的参数后验，并引入一个经常性的神经网络近似后验的扩散路径条件的参数。该神经网络学习如何提供高斯状态转换，该转换以与条件扩散过程非常相似的方式在观测之间桥接。由此产生的黑盒推理方法可以应用于任何光调谐要求的MEMS系统。我们说明了一个Lotka-Volterra系统和流行病模型的方法，在几个小时内产生准确的参数估计。
2018-05-14 stat.CO stat.ML
Efficient Bayesian inference for stochastic volatility models with ensemble MCMC methods
本文介绍了一种有效的集成马尔可夫链蒙特卡罗（MCMC）抽样方法，用于单变量随机波动率模型的贝叶斯计算。我们将我们的集合MCMC方法的性能与Kastner和Fruadith-Schnatter（2014）最近采样器的改进版本进行了比较。我们表明，合奏采样器是更有效的比这个国家的最先进的采样器的一个因素约3.1，从随机波动模型模拟的数据集。这种性能增益是在不依赖于潜在过程是线性和高斯的假设的集合MCMC采样器的情况下实现的，这与Kastner和Fruwett-Schnatter的采样器不同。
2014-12-09 stat.CO
Stochastic Variational Inference via Upper Bound
Kuang-Chi Institute of Advanced Technology（光启高等理工研究院）；ZenRhyme Consulting Services（ZenRhyme咨询服务公司）
随机变分推理（SVI）在贝叶斯深度学习中起着关键作用。最近，各种分歧已被提出来设计变分推理的替代损失。我们提出了一个简单的上限的证据作为替代损失。该证据上限（EUBO）等于对数边际似然加上后验和建议之间的KL-分歧。我们表明，建议的EUBO是紧比以前的上限引入$χ$ -发散或$α$ -发散。为了便于可扩展的推理，我们提出了数值近似的梯度的EUBO和应用SGD算法迭代优化变分参数。贝叶斯逻辑回归的模拟研究表明，上界和下界很好地夹在证据和建议的上限是有利的紧。对于贝叶斯神经网络，所提出的EUBO-VI算法优于国家的最先进的各种例子的结果。
2019-12-02 cs.LG stat.ML
Estimation and inference in models with multiple behavioural equilibria
Erasmus University（伊拉斯姆斯大学）；Tinbergen Institute（蒂尔堡研究所）
本文提出了一种用于具有多重行为均衡的宏观经济模型的估计与推断方法，通过固定增益学习规则分析均衡的收敛性及非线性最小二乘估计的渐近正态性，并通过模拟和实证验证方法的稳健性。
2026-09-09 econ.EM
Almost Dominance: Inference and Application
Guanghua School of Management, Peking University（北京大学光华管理学院）；University of Melbourne（墨尔本大学）
本文提出一个一般性框架，用于对几乎Lorenz占优、几乎逆随机占优和几乎随机占优进行推断，通过自助法程序验证了估计量的有限样本性质，并应用于英国不平等增长分析。
2025-10-14 econ.EM
Inference by Stochastic Optimization: A Free-Lunch Bootstrap
当渐近方差不容易解析时，评估极值估计中的采样不确定性可能具有挑战性。Bootstrap推理提供了一个可行的解决方案，但计算成本很高，特别是当模型很复杂时。本文使用一个专门设计的随机优化算法的迭代作为借鉴，从点估计和自助标准误差可以计算在一个单一的运行。绘制是由梯度和Hessian生成的，这些梯度和Hessian是从每次迭代时重新采样的数据批次中计算出来的。我们表明，这些提请产生一致的估计和渐近有效的频率论推理的一大类经常性问题。该算法提供了准确的标准误差在模拟的例子和经验的应用，在低计算成本。从算法中得出的结论也提供了一种方便的方法来检测数据的不规则性。
2020-09-14 econ.EM math.ST stat.TH
From interpretability to inference: an estimation framework for universal approximators
Bank of England（英格兰银行）
本文提出基于 Shapley 值分解的通用逼近器估计与推断框架，通过 Shapley 回归从含噪数据识别数据生成过程，并用于异质性处理效应估计。
2024-12-05 cs.LG econ.EM stat.ML
