Asymptotic properties of parallel Bayesian kernel density estimators
在这篇文章中，我们对Neiswanger，Wang和Xing（2014）引入的贝叶斯并行核密度估计进行了渐近分析。我们推导了全数据后验估计的均方误差的渐近展开，并研究了渐近最优带宽参数的性质。我们的分析表明，分区数据到子集需要一个非平凡的选择带宽参数，优化估计误差。
2017-03-26 math.ST stat.TH
Asymptotic Behaviour of Approximate Bayesian Estimators
虽然近似贝叶斯计算（ABC）已成为一种流行的技术，用于执行参数估计时，似然函数是解析难处理的，尚未有一个完整的调查的理论性质的估计。本文对隐马尔可夫模型的ABC基参数估计的渐近性质进行了理论分析，证明了ABC基估计满足统计文献中标准结果的渐近有偏版本。
2011-05-18 math.ST stat.TH
Nonparametric Bayesian inference for stochastic processes with piecewise constant priors
本文综述了多种随机过程的贝叶斯非参数推断方法，其核心在于采用分段常数或分段线性函数作为先验分布，并证明了估计量的后验一致性与收缩速率，辅以数值研究验证。
2023-05-17 math.ST stat.TH
Bayesian inference for Stable Levy driven Stochastic Differential Equations with high-frequency data
在这篇文章中，我们考虑了由纯跳稳定Levy过程驱动的随机微分方程（SDE）的参数贝叶斯推断，该过程在高频下被观察到。在实际感兴趣的大多数情况下，似然函数是不可用的，所以我们使用准似然，并在未知参数上放置相关的先验。在正则性条件下证明了后验存在Bernstein-von Mises定理。然后，我们开发了一个马尔可夫链蒙特卡罗（MCMC）算法贝叶斯推理和辅助我们的理论结果，我们展示了如何规模大都会黑斯廷斯建议时，数据的频率增长，以防止接受率为零的大数据限制。我们的算法的数值例子，有助于验证我们的理论研究结果。
2017-07-27 math.ST stat.TH
Optimal Bayesian estimation in stochastic block models
随着社交网络、遗传电路和蛋白质相互作用网络形式的结构化数据的出现，网络的统计分析近年来变得流行。随机块模型是一种经典的网络簇随机图模型。有大量的文献致力于提出估计和推断模型参数的策略，从经典和贝叶斯的观点。与经典的对应，但是，有一个缺乏的理论结果的准确性估计在贝叶斯设置。本文对随机区组模型中参数的后验分布进行了理论研究。特别是，我们表明，获得最佳的后验收敛率与常规使用的多项式Dirichlet先验的聚类指标和均匀先验的随机边缘指标的概率。途中，我们开发的几何嵌入技术，利用低维结构的参数空间，这可能是独立的利益。
2015-05-26 math.ST stat.TH
Non-asymptotic Bayesian Minimax Adaptation
研究了非参数估计中非渐近极小极大自适应的贝叶斯方法。讨论了在高斯白噪声模型中基于输出函数估计输入函数的问题。假设输入函数位于具有未知光滑度和未知半径的Sobolev椭球中。我们在本文中的目的是提出一种贝叶斯方法，实现minimaxity到一个普遍的常数，没有任何知识的光滑度和半径。我们的贝叶斯方法不仅提供了一个率精确的极大极小自适应估计在大样本渐近性，但也量化的平滑度和平方半径的噪声方差的比率的影响，其中的平滑度和比率的贝叶斯估计的风险界是描述在这个模型中的极大极小风险的关键参数。非参数回归模型的应用也进行了讨论。
2018-08-29 math.ST stat.TH
Bayesian MISE convergence rates of Polya urn based density estimators: asymptotic comparisons and choice of prior parameters
混合模型以其通用性而闻名，贝叶斯范式是混合分析的合适平台，特别是当组分数量未知时。Bhattacharya（2008）介绍了一种基于狄利克雷过程的混合模型，其中需要指定组分的未知数的上界。在这里，我们考虑一个贝叶斯渐近框架，客观地指定的上界，我们假设依赖于样本量。特别是，我们定义了一个贝叶斯模拟的平均积分平方误差（贝叶斯MISE），并选择该形式的上界，以及该形式的精度参数的基础狄利克雷过程，贝叶斯MISE的一个特定的密度估计，这是一个合适的修改的Polya-urn基于先验预测模型，收敛在所需的速率。作为我们方法的副产品，我们研究了传统Dirichlet过程混合模型精度参数的渐近选择;我们在这里考虑的密度估计是Escobar & West（1995）与Polya瓮模型相关的先验预测分布的修改。与上述两种混合物有关的各种渐近问题，包括比较性能，也进行了研究。
2018-11-13 math.ST stat.TH
Local asymptotics of selection models with applications in Bayesian selective inference
CUNEF Universidad（CUNEF大学）；Imperial College London（伦敦帝国学院）
本文研究了独立同分布观测基础上的选择模型的渐近性质，证明其渐近行为类似于高斯选择模型，为局部渐近正态性框架提供了扩展，并探讨了贝叶斯选择推断中的方法论影响。
2026-03-13 math.ST stat.TH
Asymptotic equivalence of empirical likelihood and Bayesian MAP
在本文中，我们感兴趣的经验似然（EL）作为一种估计方法，我们解决了以下两个问题：（1）选择在EL框架中的各种经验差异和（2）证明，EL有一个定义良好的概率解释，将证明其使用在贝叶斯上下文中。使用大偏差的方法，贝叶斯大数定律的发展，这意味着EL和贝叶斯最大后验概率（MAP）估计是一致的误设定和EL可以被看作是一个渐近形式的MAP。基于其他经验差异的估计，在一般情况下，不一致的误指定。
2009-08-24 math.ST stat.TH
Asymptotic Bayesian Theory of Quickest Change Detection for Hidden Markov Models
在20世纪60年代，Shiryaev发展了贝叶斯理论的变化点检测在i.i.d.在21世纪初由Tartakovsky和Veeravalli推广的一般随机模型，假设对数似然比过程具有一定的稳定性。隐马尔可夫模型代表了一类广泛的随机过程，在各种应用中非常有用。本文研究了隐马尔可夫模型的贝叶斯Shiryaev变点检测规则的性能。我们提出了一组规律性条件下的Shiryaev过程是一阶渐近最优的贝叶斯上下文中，最小化的时刻的检测延迟到一定的顺序渐近的虚警的概率为零。隐马尔可夫模型的发展理论基于似然比的马尔可夫链表示和马尔可夫随机游动的r-快速收敛。此外，应用马尔可夫非线性更新理论，我们提出了一个高阶渐近近似的Shiryaev检测规则的期望延迟检测。另一个流行的变化检测规则，Shiryaev{Roberts规则，以及研究的渐近性质。文中给出了一些有趣的例子。
2016-07-03 math.ST stat.TH
Asymptotic comparison of two-stage selection procedures under quasi-Bayesian framework
本文回顾了Dudewicz和Dalal（1975）以及Rinott（1978）提出的方法，这些方法是为了在方差未知且可能不同的独立高斯总体中选择均值最高的总体而设计的。在之前的一篇论文中，Repubbovic和Zuk（2017）提出了一个猜想，即这些程序的相对渐近效率等于两个特定序列的比率。这项工作提出了一个准贝叶斯模型的问题下，这一猜想是有效的。此外，本文还提出了一个开放的问题，关于三角形阵列的独立学生-t随机变量的最大值的极值分布的自由度增加。
2018-12-27 math.ST stat.TH
Stochastic Optimal Control with Side Information and Bayesian Learning
Georgia Institute of Technology（佐治亚理工学院）
本文提出了一种基于参数密度模型和后验预测动力学的贝叶斯方法，用于解决具有未知上下文条件随机分布的无限时间 horizon 随机最优控制问题，并证明了后验一致性和渐近正态性。
2026-07-22 math.OC math.ST stat.TH
Bayesian Fixed-domain Asymptotics for Covariance Parameters in a Gaussian Process Model
高斯过程模型通常在需要从数据估计的协方差函数中包含有限维参数。研究了具有各向同性Matern协方差函数的泛克立格模型中协方差参数的贝叶斯固定域渐近性，该模型在空间统计中有着广泛的应用.证明了当区域维数小于或等于3时，微遍历参数和极差参数的联合后验分布在固定区域渐近下可以独立地分解为它们的边际后验的乘积.微各态历经参数的后验分布在全变差距离上渐近接近于方差收缩的正态分布，而极差参数的后验分布一般不收敛于任何点质量分布.我们的理论允许一个无界的先验支持的范围参数和灵活的设计采样点。我们进一步研究了协方差参数随机抽取于其后验分布的贝叶斯克里金预测器的后验预测的渐近效率和收敛速度。在一维Ornstein-Uhlenbeck过程的特殊情况下，我们明确地导出了极差参数的极限后验和后验预测的渐近有效性的后验收敛速度.我们在数值实验中验证了这些渐近结果。
2022-09-25 math.ST stat.TH
Corrected Bayesian information criterion for stochastic block models
社区数目的估计是社区发现的基本问题之一。我们重新研究了随机块模型的贝叶斯范式，提出了一个“校正贝叶斯信息准则”，以确定社区的数量，并表明所提出的估计是一致的，在温和的条件下。拟议的标准改进了Wang和Bickel（2016）和Saldana等人（2017）中使用的标准，这些标准分别倾向于低估和高估社区的数量。在此过程中，我们建立了随机块模型的Wilks定理。此外，我们表明，要获得的一致性模型选择的随机块模型，我们需要一个所谓的“一致性条件”。我们还提供了充分条件，均质网络和非均质网络。将所得结果进一步推广到度修正随机块体模型。数值研究证明了我们的理论结果。
2019-09-17 math.ST stat.ME stat.TH
Nonparametric Bayesian volatility estimation for gamma-driven stochastic differential equations
针对伽马过程驱动的随机微分方程，提出一种基于分段常数先验和伽马先验的非参数贝叶斯波动率估计方法，通过MCMC进行后验推断，并给出收缩率理论保证及实验验证。
2021-08-26 math.ST stat.ME stat.TH
PAC-Bayesian-Like Error Bound for a Class of Linear Time-Invariant Stochastic State-Space Models
Aalborg University（奥尔堡大学）；Laboratoire Signal et Automatique de Lille (CRIStAL)（里尔信号与自动化实验室（CRIStAL））
本文给出了一类带输入的随机动力系统，即线性时不变随机状态空间模型（简称随机LTI系统）的PAC-Bayesian-Like误差界。这类系统广泛应用于控制工程和计量经济学，特别是，它们代表了递归神经网络的一种特殊情况。本文1）形式化了带输入的随机LTI系统的学习问题，2）导出了此类系统的PAC-Bayesian-Like误差界，3）讨论了该误差界的各种结果。
2022-12-30 cs.LG math.DS math.ST
Bayesian Approach for Parameter Estimation of Continuous-Time Stochastic Volatility Models using Fourier Transform Methods
我们提出了一个两阶段的过程中相当普遍的，连续时间的随机波动率的参数估计。所提出的方法的一个重要组成部分是Cuchiero-Teichmann波动估计，这是基于傅里叶变换，并提供了一个连续的时间估计的潜在过程。然后，该估计用于构造感兴趣的参数的近似似然，其限制通过先验分布考虑。该程序被证明是非常成功的构造后验分布的参数的赫斯顿模型，而有限的成功时，实现了高度参数化的指数-奥恩斯坦-乌伦贝克。
2018-12-10 math.ST stat.ME stat.TH
Convergence and asymptotic normality of variational Bayesian approximations for exponential family models with missing values
研究了缺失值指数族模型变分Bayes逼近的性质。证明了当样本量变大时，变分贝叶斯估计的迭代算法以概率1局部收敛于真值。证明了变分后验分布是渐近正态的。
2012-07-11 math.ST stat.CO stat.ME
Nonparametric Bayesian Inference for Stochastic Reaction-Diffusion Equations
本文针对反应-扩散随机偏微分方程，提出基于高斯小波先验的非参数贝叶斯估计方法，证明后验收缩达到极小极大最优速率，并辅以半参数Bernstein-von Mises定理。
2025-07-09 math.PR math.ST stat.TH
Stochastic Zeroth-order Discretizations of Langevin Diffusions for Bayesian Inference
朗之万扩散的离散化为抽样和贝叶斯推理提供了一种强有力的方法。然而，这样的离散化需要评估的势函数的梯度。在几个现实世界的场景中，获得梯度评估可能是计算昂贵的，或者根本不可能。在这项工作中，我们提出并分析了随机零阶采样算法离散过阻尼和欠阻尼朗之万扩散。我们的方法是基于估计的梯度，高斯斯坦的身份，广泛用于随机最优化文献的基础上。我们提供了一个全面的样本复杂性分析-数量嘈杂的功能评估，以获得一个$ε$ -近似样本Wasserstein距离-随机零阶离散的过阻尼和欠阻尼Langevin扩散，在各种噪声模型。我们还提出了一个基于零阶梯度估计的变量选择技术，并建立其理论保证。我们的理论贡献扩展了采样算法的实际适用性的噪声黑箱和高维设置。
2021-01-17 math.OC math.ST stat.ML
Asymptotic Properties of Approximate Bayesian Computation
近似贝叶斯计算允许在具有棘手可能性的模型中进行统计分析。本文考虑用这种方法得到的后验分布的渐近性质。我们给出了一般结果的速度后验分布集中在集包含真正的参数，它的限制形状，和渐近分布的后验均值。这些结果在方法中使用的公差的给定比率、汇总统计量的温和正则条件以及与真实参数识别相关的条件下保持不变。从业人员的影响进行了讨论。
2018-05-08 math.ST stat.CO stat.ME
Asymptotic Properties for Bayesian Neural Network in Besov Space
Seoul National University（首尔国立大学）
神经网络在处理图像和自然语言等各种非结构化数据时显示出强大的预测能力。贝叶斯神经网络通过为模型的参数设置先验分布并计算后验分布来捕获预测的不确定性。本文证明了当真实回归函数在Besov空间中时，采用尖峰-板先验的贝叶斯神经网络具有近似极小极大收敛速度的一致性。即使当回归函数的平滑度未知时，相同的后验收敛速率保持，并且因此尖峰和平板先验适应于回归函数的平滑度。我们还考虑了收缩先验，这是更可行的比其他先验，并表明它具有相同的收敛速度。换句话说，我们提出了一个实用的贝叶斯神经网络保证渐近性质。
2022-11-25 cs.LG math.ST stat.ML
Calibrated Bayesian Inference for Stochastic Intervention Effects
University of Iowa（爱荷华大学）
本研究针对随机干预效应的贝叶斯推断，提出一种不改变先验或拟合算法的后处理校正方法，经理论与模拟验证可提升推断的校准度与性能，并通过他汀类药物对LDL胆固醇影响的实例说明其应用。
2026-08-05 math.ST stat.ME stat.ML
Sequential Bayesian Inference in Hidden Markov Stochastic Kinetic Models with Application to Detection and Response to Seasonal Epidemics
研究了含潜在因子的随机动力学模型中的序贯贝叶斯推断。假设连续观察所有的反应，我们的重点是联合推理的未知反应速率和动态的潜在状态，建模为一个隐马尔可夫因子。利用连续时间跳马尔可夫过程的非线性滤波的见解，我们开发了一种新的序贯蒙特卡罗算法。我们的方法应用粒子学习的思想，以最大限度地减少粒子退化，并利用分析跳跃马尔可夫结构。我们的方法的一个激励应用是通过一个房室流行病模型表示的季节性传染病暴发的建模。我们证明了在这样的模型中的推理与几个数值说明，并讨论了预测分析的流行病对策，使用顺序贝叶斯估计。
2013-01-16 math.PR math.ST stat.CO
Bayesian analysis of multivariate stochastic volatility with skew distribution
提出了具有斜分布的多变量随机波动率模型。利用Cholesky随机波动模型，将具有杠杆效应的单变量随机波动过程和广义双曲斜t分布嵌入到具有时变相关性的多变量分析中.贝叶斯先验工作允许这种方法提供简约的斜结构，并很容易扩展到高维问题。每日股票收益的分析说明。实证结果表明，时变相关性和稀疏偏斜结构有助于提高预测性能和VaR预测。
2012-12-20 stat.AP stat.ME
Context-tree weighting and Bayesian Context Trees: Asymptotic and non-asymptotic justifications
本文为贝叶斯上下文树框架提供理论论证，证明其先验预测似然逐点和极小极大最优，后验及后验预测分布渐近一致且后验渐近高斯。
2023-09-05 cs.IT math.IT math.ST
Do Bayesian Neural Networks Need To Be Fully Stochastic?
University of Oxford（牛津大学）；University of Amsterdam（阿姆斯特丹大学）
我们研究了贝叶斯神经网络随机过程中处理所有参数的好处，并发现了令人信服的理论和经验证据，表明这种标准结构可能是不必要的。为此，我们证明了表达预测分布只需要少量的随机性。特别是，部分随机网络只有$n$随机偏差是通用的概率预测$n$维预测问题。在实证研究中，我们发现在四种不同的推理模式和八个数据集上，完全随机性没有系统性的好处;部分随机网络可以匹配，有时甚至优于完全随机网络，尽管它们的内存成本降低了。
2023-02-20 cs.AI cs.LG stat.ML
Stochastic Bayesian Neural Networks
贝叶斯神经网络执行变分推理的权重，但后验分布的计算仍然是一个挑战。我们的工作建立在变分推理技术的baidu神经网络使用原来的证据下限。本文提出了一个随机贝叶斯神经网络，在该网络中，我们使用一个新的目标函数，我们命名为随机证据下限最大化的证据下限。我们使用测试RMSE和对数似然作为评估指标，在5个公开可用的UCI数据集上评估我们的网络。我们证明，我们的工作不仅击败了以前的最先进的算法，但也可扩展到更大的数据集。
2021-06-21 cs.LG stat.ML
A Bayesian Stochastic Approximation Method
为了提高小样本设计的效率，提出了一种新的贝叶斯随机逼近方法来估计回归函数的根。该方法具有自适应局部建模和非递归迭代的特点。得到了Bayes估计的强相合性。仿真研究表明，我们的方法是优越的有限样本性能Robbins-Monro型程序。给出了极值搜索的扩展和广义多元分位数的一种形式。
2017-05-05 stat.ME
Designing over uncertain outcomes with stochastic sampling Bayesian optimization
National Institute of Standards and Technology（美国国家标准与技术研究院）
优化在科学和工程领域变得越来越普遍。通常，这些问题涉及各种程度的随机性或不确定性，在产生建议的解决方案。因此，在这些情况下的优化必须考虑这种随机性，以正确指导未来实验的设计。在这里，我们适应贝叶斯优化来处理不确定的结果，提出了一个新的框架，称为随机抽样贝叶斯优化（SSBO）。我们发现，在SSBO的置信上限搜索的预期遗憾的界限类似于早期的贝叶斯优化方法，由于随机生成的输入增加了处罚。此外，我们适应现有的批处理优化技术，以适当地限制近视决策时，可能会出现选择多个实例反馈之前。最后，我们表明，SSBO技术适当地优化了一组标准的优化问题，以及生物工程启发的应用问题。
2020-06-03 cs.LG stat.ML
Bayesian posterior approximation with stochastic ensembles
Stockholm University（斯德哥尔摩大学）；University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
提出将 dropout 等随机方法与深度集成的随机神经网络集成，通过变分推断近似 Bayesian 后验，在玩具问题和 CIFAR 上比常用基线提供更准确的后验估计。
2024-01-03 cs.CV cs.LG stat.ML
Infinitely Deep Bayesian Neural Networks with Stochastic Differential Equations
University of Toronto（多伦多大学）；Stanford Unviersity（斯坦福大学）
我们在连续深度贝叶斯神经网络中进行可扩展的近似推理。在这个模型类中，每个层中单独权重的不确定性给出了遵循随机微分方程的隐藏单元。我们证明了基于梯度的随机变分推断在这个无限参数设置，产生任意灵活的近似后验。我们还得到了一个新的梯度估计，接近零方差的近似后验权重接近真正的后验。这种方法将连续深度贝叶斯神经网络与离散深度替代方案进行了竞争性比较，同时继承了神经ODE的内存高效训练和可调精度。
2022-01-30 cs.LG stat.ML
PAC-Bayesian theory for stochastic LTI systems
Aalborg University（奥尔堡大学）；Laboratoire Signal et Automatique de Lille (CRIStAL)（里尔信号与自动化实验室（CRIStAL））
在本文中，我们得到了一个PAC贝叶斯误差界自治随机LTI状态空间模型。推导这种误差界的动机是，它们将允许推导更一般的动力系统，包括递归神经网络类似的误差界。反过来，PACBayesian误差界已知对于分析机器学习算法和导出新算法是有用的。
2021-03-25 cs.LG stat.ML
Bayesian nonparametrics for stochastic epidemic models
绝大多数传染病传播的模型本质上是参数化的，涉及关于疾病如何在人群中传播的基本假设。在这篇文章中，我们考虑使用贝叶斯非参数方法来分析疾病暴发的数据。具体来说，我们专注于简单模型的假设下，这个过程具有显式的时间依赖性的感染过程的估计方法。
2017-06-09 stat.AP stat.CO stat.ME
Bayesian Model Selection of Stochastic Block Models
Indiana University Network Science Institute（印第安纳大学网络科学研究所）
分析网络的一个核心问题是将它们划分为模块或社区。其中一个最好的工具是随机块模型，它将顶点聚集到具有统计上均匀的链接模式的块中。尽管它的灵活性和流行性，一直缺乏原则性的统计模型选择标准的随机块模型。在这里，我们提出了一个贝叶斯框架，用于选择块的数量以及将其与更精细的度校正块模型进行比较，最终导致一个能够比较多个建模组合的通用模型选择框架。我们还将研究它与最小描述长度原则的联系。
2016-05-23 cs.LG cs.SI stat.ML
Wide stochastic networks: Gaussian limit and PAC-Bayesian training
University of Oxford（牛津大学）
无限宽度的限制允许在过参数化神经网络的分析研究中进行实质性的简化。通过适当的随机初始化，一个非常大的网络表现出近似高斯的行为。在目前的工作中，我们建立了一个简单的随机结构，其参数是随机变量，在训练前和训练过程中保持类似的结果。输出分布的显式评估允许PAC-贝叶斯训练过程直接优化泛化边界。对于一个大型但有限宽度的网络，我们在MNIST上凭经验证明，这种训练方法可以优于标准的PAC-Bayesian方法。
2023-02-13 cs.LG stat.ML
Solving Bayesian Risk Optimization via Nested Stochastic Gradient Estimation
在本文中，我们的目标是解决贝叶斯风险优化（BRO），这是最近提出的框架，制定输入不确定性下的模拟优化。为了有效地解决BRO问题，我们推导了嵌套随机梯度估计，并提出了相应的随机逼近算法。我们证明了我们的梯度估计是渐近无偏的和一致的，并且算法是渐近收敛的。我们证明了双边市场模型的算法的实证表现。我们的估计是独立的兴趣，随机梯度估计的情况下，嵌套的风险函数的文献。
2020-07-16 math.OC stat.CO
Hierarchical Stochastic Model in Bayesian Inference: Theoretical Implications and Efficient Approximation
本文将文献中的多层贝叶斯模型分为两类，即多层先验模型（HPM）和多层随机模型（HSM）。然后，我们重点研究了高速模型的理论含义。使用多项式函数的例子，我们表明，HSM是能够分离系统中不同类型的不确定性和量化的降阶模型的不确定性下的贝叶斯模型类选择框架。针对高速模型分析计算量大的问题，提出了一种基于重要性抽样和经验插值方法的高速模型逼近方法。我们用两个例子来说明我们的方法-氪的分子动力学模拟和抗癌药物的药代动力学/药效学模型。
2016-11-09 stat.AP
Bayesian equation selection on sparse data for discovery of stochastic dynamical systems
通常，驱动随机动力系统的微分方程的基本系统被假设为已知的，推理以这个假设为条件。我们提出了一个贝叶斯框架，发现这个系统的微分方程的假设下，与现实生活中的场景，包括相对稀疏的数据的可用性。此外，我们讨论了对于梳理动力系统的重要细节至关重要的计算策略和算法创新，以解决在缺乏丰富数据的情况下严重的参数相互依赖性。这给出了一个完整的贝叶斯路径模型识别通过一个变量选择范例和参数估计的相应模型，只使用观察到的数据。我们提出了详细的计算和分析的Lorenz-96，Lorenz-63，和Orstein-Uhlenbeck系统使用贝叶斯框架，我们建议。
2021-01-12 stat.CO stat.ME
High-Order Stochastic Gradient Thermostats for Bayesian Learning of Deep Models
使用贝叶斯方法在深度模型中进行学习最近引起了极大的关注。这在很大程度上是因为现代贝叶斯方法的可行性，可以产生可扩展的学习和推理，同时保持模型参数的不确定性。随机梯度MCMC算法（SG-MCMC）是一系列用于大规模贝叶斯学习的基于扩散的采样方法。在SG-MCMC中，多变量随机梯度恒温器（mSGNHT）增加每个感兴趣的参数，动量和恒温器变量，以保持稳定的分布作为目标后验分布。随着连续时间扩散中变量数目的增加，其数值逼近误差成为实际的瓶颈，因此需要更好地使用数值积分器。为此，我们建议使用一个有效的对称分裂积分mSGNHT，而不是传统的欧拉积分。我们证明，该计划是更准确，鲁棒性，收敛速度更快。这些属性在贝叶斯深度学习中被证明是可取的。在两个典型模型及其深度扩展上的大量实验表明，该方案改进了一般贝叶斯后验抽样，特别是对于深度模型。
2015-12-23 stat.ML
Evolutionary Stochastic Search for Bayesian model exploration
在高维数据集的线性高斯回归模型中实现贝叶斯变量选择是当前许多领域的研究热点。为了使这样的分析操作，我们提出了一个新的采样算法的基础上进化蒙特卡罗和设计工作下的“大p，小n”的范例，从而使完全贝叶斯多变量分析可行，例如，在遗传学/基因组学实验。基因组学中的两个真实数据的例子，展示了该算法在高达10,000协变量的空间中的性能。最后，该方法与最近提出的搜索算法进行了广泛的仿真研究。
2010-02-13 stat.CO stat.ME
Bayesian multi-objective optimization for stochastic simulators: an extension of the Pareto Active Learning method
本文主要研究具有高输出方差的随机模拟器的多目标最优化问题，其中输入空间是有限的，目标函数的计算是昂贵的。我们依靠贝叶斯优化算法，它使用概率模型来预测要优化的函数。所提出的方法是一个扩展的Pareto主动学习（PAL）算法估计的Pareto-最优解，使其适用于随机设置。我们将其命名为随机模拟器的帕累托主动学习（Pareto Active Learning for Stochastic Simulators，PALS）。PALS的性能进行了评估，通过一组二维，双目标测试问题的数值实验。与其他基于标量化和随机搜索的方法相比，PALS具有更好的性能。
2022-07-20 math.OC stat.ML
Bayesian Posterior Sampling via Stochastic Gradient Fisher Scoring
UC Irvine（加州大学尔湾分校）
在本文中，我们解决了以下问题：如果我们只允许接触我们生成的每个样本的一小部分数据项，我们可以近似地从贝叶斯后验分布中采样吗？以前提出了一种基于随机梯度的Langevin方程（SGLD）的算法来解决这个问题，但其混合速度很慢。通过利用贝叶斯中心极限定理，我们扩展了SGLD算法，以便在高混合速率下，它将从后验的正态近似进行采样，而对于低混合速率，它将用预处理矩阵模仿SGLD的行为。作为奖励，所提出的算法是让人想起费舍尔评分（随机梯度），并作为这样一个有效的优化器在老化。
2012-06-27 cs.LG stat.CO stat.ML
Stochastic Normalizations as Bayesian Learning
Czech Technical University in Prague（布拉格捷克理工大学）
在这项工作中，我们研究了批量归一化（BN）提高深度网络泛化性能的原因。我们认为，一个主要的原因，区别于数据无关的归一化方法，是随机性的批量统计。这种随机性出现在参数中，而不是在激活中，并承认作为一个实际的贝叶斯学习的解释。我们将这个想法应用到其他（确定性）规范化技术，这些技术不考虑批量大小。我们表明，他们的泛化性能可以显着提高贝叶斯学习的相同形式。我们获得了与BN相当的测试性能，同时，通过近似贝叶斯后验，更好的验证损失适合于随后的输出不确定性估计。
2018-11-01 cs.LG cs.NE stat.ML
Bayesian Inference for Optimal Transport with Stochastic Cost
Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）
在机器学习和计算机视觉中，最优传输在学习生成模型和定义结构化和随机数据对象之间的度量距离方面取得了重大成功，可以将其转换为概率度量。最佳传输的关键要素是所谓的提升\emph{exact}成本（距离）函数，定义在样本空间上，在样本空间上的概率测量之间的成本（距离）。然而，在许多实际应用中，成本是\emph{stochastic}：例如，不可预测的交通流量影响工厂和销售点之间的运输成本。要考虑到这种随机性，我们引入贝叶斯框架来推断由随机成本引起的最优运输计划分布，允许一个原则性的方法来包括先验信息和模型的诱导随机性的运输计划。此外，我们量身定制的HMC方法，从产生的运输计划后验分布的样本。
2020-10-19 cs.LG stat.ML
Structured Partial Stochasticity in Bayesian Neural Networks
针对贝叶斯神经网络因神经元置换对称性产生冗余后验模态的问题，提出结构化选择确定权重子集的方法，以简化后验并显著提升现有近似推断方案的性能。
2024-07-02 cs.LG stat.ML
A Tractable Fully Bayesian Method for the Stochastic Block Model
National Institute of Informatics（国立信息学研究所）；Tokyo Institute of Technology（东京工业大学）
随机块模型（SBM）是一个生成模型，揭示了图的宏观结构。贝叶斯方法用于（i）聚类分配推断和（ii）聚类数的模型选择。本文研究了大样本极限下SBM中贝叶斯推理的行为。结合变分逼近和拉普拉斯方法，建立了完全边缘化对数似然的一致性判据。在此基础上，我们导出了一个易于处理的算法，可以同时解决任务（i）和（ii），从而避免了需要外部循环来检查所有候选模型。我们的经验和理论结果表明，我们的方法是可扩展的计算，准确的近似，和简洁的模型选择。
2016-02-06 cs.LG stat.ML
Bayesian stochastic volatility models for high-frequency data
我们制定了一个离散时间贝叶斯随机波动模型的高频股票市场数据，直接占微观结构噪声，并概述了马尔可夫链蒙特卡罗算法的参数估计。本文中描述的方法被设计为在所有采样时间尺度上是一致的，其目标是从在任意短的采样周期收集的数据中估计潜在的对数波动率信号。为了实现这一目标，我们仔细地开发了一种方法来引出先验知识。来自模拟和真实数据的实证结果表明，直接占微观结构的状态空间制定允许良好校准的估计的对数波动率过程驱动的价格。
2016-01-31 stat.AP stat.ME
Fully Distributed Bayesian Optimization with Stochastic Policies
Instituto de Investigacion en Ingenieria de Aragon（阿拉贡工程研究院）；University of Zaragoza（萨拉戈萨大学）；Centro Universitario de la Defensa（国防大学中心）
贝叶斯优化已经成为高通量计算的流行方法，如计算机实验设计或昂贵模型的超参数调整，其中样本效率是强制性的。在这些应用程序中，分布式和可扩展的架构是必要的。然而，贝叶斯优化主要是顺序的。即使是并行变体也需要在样本之间进行某些计算，从而限制了并行化带宽。汤普森抽样以前已被应用于分布式贝叶斯优化。但是，当与顺序设置中的其他采集功能相比时，已知汤普森采样的性能次优。在本文中，我们提出了一种新的方法，完全分布式贝叶斯优化，它可以结合任何采集功能。我们的方法认为贝叶斯优化作为一个部分可观察的马尔可夫决策过程。在这种情况下，随机政策，如玻尔兹曼政策，有一些有趣的性质，也可以研究贝叶斯优化。此外，玻尔兹曼政策平凡地允许分布式贝叶斯优化实现具有高水平的并行性和可扩展性。我们目前的结果在几个基准和应用程序，显示我们的方法的性能。
2019-07-05 cs.AI cs.DC cs.LG
Discriminative Bayesian filtering lends momentum to the stochastic Newton method for minimizing log-convex functions
University of Cambridge（剑桥大学）
该研究将最小化对数凸函数平均值的随机牛顿优化问题转化为判别式观测的潜状态空间序列贝叶斯推断问题，提出结合梯度与海森矩阵历史的贝叶斯滤波优化算法，推导了类重球动量的旧观测衰减条件，并辅以示例阐释。
2023-08-21 cs.LG math.OC stat.ML
Stochastic Convergence Rates and Applications of Adaptive Quadrature in Bayesian Inference
我们提供了第一个随机收敛速度的家庭自适应正交规则用于规范化的后验分布贝叶斯模型。我们的结果适用于一致的相对误差的近似后验密度，覆盖概率的近似可信集，近似的时刻和分位数，从而保证快速渐近收敛的近似汇总统计量在实践中使用。该系列的积分规则包括自适应高斯-厄米特积分，我们将这一规则在两个具有挑战性的低维的例子。此外，我们演示了如何自适应正交可以作为一个重要组成部分的现代近似贝叶斯推断过程的高维添加剂模型。该方法在R语言的aghq包中实现并公开提供，可在CRAN上获得。
2022-10-25 stat.ME
An Asymptotically Efficient Metropolis-Hastings Sampler for Bayesian Inference in Large-Scale Educational Measuremen
本文讨论了由\citeA{MarsmanIsing}提出的梅特罗波利斯-黑斯廷斯算法。该算法是从第一性原理推导出来的，并证明了该算法随着数据量的增加而变得更有效，并满足大规模教育测量日益增长的需求。
2018-08-12 stat.CO
Building fast Bayesian computing machines out of intentionally stochastic, digital parts
MIT（麻省理工学院）
大脑使用比逻辑门更慢、更不可靠的神经元，比现代计算机更快、更可靠地解释模糊的感官信息。但是，贝叶斯推理是感知和认知的许多计算模型的基础，即使考虑到现代晶体管的速度和能量预算，它在计算上也具有挑战性。缩小这一差距所需的计算原理和结构是未知的。在这里，我们将展示如何使用有意随机的数字部件来构建快速的贝叶斯计算机器，从而将这种效率差距缩小多个数量级。我们发现，通过连接随机数字组件根据简单的数学规则，可以建立大规模并行，低精度的电路，解决贝叶斯推理问题，并与皮质神经元的泊松放电统计兼容。我们评估电路的深度和运动感知、感知学习和因果推理，每个电路都能实时的对10，000多个潜在变量进行推理-比商品微处理器的速度快1，000倍。这些结果表明，在智能计算的工程和逆向工程的随机性的一个新的角色。
2014-02-20 cs.AI cs.AR stat.CO
Learning and Policy Search in Stochastic Dynamical Systems with Bayesian Neural Networks
Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）；University of Cambridge（剑桥大学）；Harvard University（哈佛大学）
我们提出了一种基于模型的强化学习算法，该算法将贝叶斯神经网络（BNN）与随机推出和随机最优化策略学习相结合。BNN通过最小化$α$ -分歧来训练，使我们能够捕获过渡动态中的复杂统计模式，例如多模态和异方差性，这些通常被其他常见的建模方法所遗漏。我们通过解决一个具有挑战性的基准来说明我们的方法的性能，其中基于模型的方法通常会失败，并通过在现实世界的情况下获得有希望的结果来控制燃气轮机。
2017-03-08 cs.LG stat.ML
