Bayesian Inference for Optimal Transport with Stochastic Cost
Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）
在机器学习和计算机视觉中，最优传输在学习生成模型和定义结构化和随机数据对象之间的度量距离方面取得了重大成功，可以将其转换为概率度量。最佳传输的关键要素是所谓的提升\emph{exact}成本（距离）函数，定义在样本空间上，在样本空间上的概率测量之间的成本（距离）。然而，在许多实际应用中，成本是\emph{stochastic}：例如，不可预测的交通流量影响工厂和销售点之间的运输成本。要考虑到这种随机性，我们引入贝叶斯框架来推断由随机成本引起的最优运输计划分布，允许一个原则性的方法来包括先验信息和模型的诱导随机性的运输计划。此外，我们量身定制的HMC方法，从产生的运输计划后验分布的样本。
2020-10-19 cs.LG stat.ML
Structured Partial Stochasticity in Bayesian Neural Networks
针对贝叶斯神经网络因神经元置换对称性产生冗余后验模态的问题，提出结构化选择确定权重子集的方法，以简化后验并显著提升现有近似推断方案的性能。
2024-07-02 cs.LG stat.ML
A Tractable Fully Bayesian Method for the Stochastic Block Model
National Institute of Informatics（国立信息学研究所）；Tokyo Institute of Technology（东京工业大学）
随机块模型（SBM）是一个生成模型，揭示了图的宏观结构。贝叶斯方法用于（i）聚类分配推断和（ii）聚类数的模型选择。本文研究了大样本极限下SBM中贝叶斯推理的行为。结合变分逼近和拉普拉斯方法，建立了完全边缘化对数似然的一致性判据。在此基础上，我们导出了一个易于处理的算法，可以同时解决任务（i）和（ii），从而避免了需要外部循环来检查所有候选模型。我们的经验和理论结果表明，我们的方法是可扩展的计算，准确的近似，和简洁的模型选择。
2016-02-06 cs.LG stat.ML
Well-posed Bayesian Inverse Problems with Infinitely-Divisible and Heavy-Tailed Prior Measures
Department of mathematics, Simon Fraser University（西蒙菲莎大学数学系）
本文提出基于广义伽马分布的新的先验测度，用于p∈(0,1)的ℓp正则化技术，展示其厚尾、非凸和无限可分性质，并探讨无限可分先验测度的尾行为与莱维测度的联系，定义新的函数空间先验测度，解决贝叶斯逆问题的良定性。
2017-02-21 cs.NA math.NA math.PR
Learning and Policy Search in Stochastic Dynamical Systems with Bayesian Neural Networks
Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）；University of Cambridge（剑桥大学）；Harvard University（哈佛大学）
我们提出了一种基于模型的强化学习算法，该算法将贝叶斯神经网络（BNN）与随机推出和随机最优化策略学习相结合。BNN通过最小化$α$ -分歧来训练，使我们能够捕获过渡动态中的复杂统计模式，例如多模态和异方差性，这些通常被其他常见的建模方法所遗漏。我们通过解决一个具有挑战性的基准来说明我们的方法的性能，其中基于模型的方法通常会失败，并通过在现实世界的情况下获得有希望的结果来控制燃气轮机。
2017-03-08 cs.LG stat.ML
Tuning the Scheduling of Distributed Stochastic Gradient Descent with Bayesian Optimization
University of Cambridge（剑桥大学）
提出了一种利用贝叶斯优化来调整分布式随机梯度下降（SGD）系统参数的优化器。给定特定的上下文，我们的目标是快速找到有效的配置，适当地平衡可用机器之间的负载，以最小化平均SGD迭代时间。我们的实验考虑设置超过三十个参数。传统的贝叶斯优化使用高斯过程作为模型，不太适合这种高维域。为了减少收敛时间，我们利用现有的结构。我们设计了一个概率模型，模拟分布式SGD的行为，并使用它在贝叶斯优化。我们的模型可以利用许多运行时的测量推断每个评估的目标函数。实验结果表明，该优化算法在10次迭代内收敛到有效的配置，优化后的配置性能比一般优化算法在30次迭代中得到的配置性能高出2倍。
2016-12-01 cs.LG stat.ML
The nested Chinese restaurant process and Bayesian nonparametric inference of topic hierarchies
我们提出了嵌套中国餐馆过程（nCRP），一个随机过程，分配概率分布的无限深，无限分支的树。我们展示了如何这个随机过程可以被用来作为一个先验分布的贝叶斯非参数模型的文档集合。具体来说，我们提出了一个应用程序的信息检索中，文件被建模为路径下的随机树，优先附件动态的nCRP导致聚类的文件，根据共享的主题在多个层次的抽象。给定文档的语料库，后验推理算法找到树、主题和词到树的级别的分配上的后验分布的近似。我们证明了这种算法的科学摘要从几种期刊的集合。该模型体现了统计机器学习的一个最新趋势--使用贝叶斯非参数方法来推断灵活数据结构上的分布。
2009-08-27 stat.ML
On the disintegration of the stochastic majority vote: From PAC-Bayesian bounds to a self-bounding algorithm
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Institut Universitaire de France（法国大学研究院）；Univ Rennes（雷恩大学）
本文提出去随机化框架，利用分解PAC-贝叶斯理论将随机多数投票的保证转化为确定性多数投票的证书，推导两类泛化界并引出自界学习算法。
2026-09-16 cs.LG stat.ML
A theory of data variability in Neural Network Bayesian inference
Jülich Research Center（于利希研究中心）；RWTH Aachen University（亚琛工业大学）
该研究针对无穷宽神经网络泛化特性分析问题，提出基于输入统计性质的场论形式体系，揭示数据变异性的影响，在合成任务与MNIST上验证了其可估计泛化特性并给出学习曲线边界精确结果。
2023-11-09 cond-mat.dis-nn cs.LG stat.ML
Linear Noise Approximation Assisted Bayesian Inference on Mechanistic Model of Partially Observed Stochastic Reaction Network
Northeastern University（东北大学）
本文针对部分观测的酶催化随机反应网络，提出融合机理模型结构的贝叶斯更新线性噪声近似元模型来近似观测似然，并利用似然梯度加速MCMC后验采样，为生物制造数字孪生提供高效贝叶斯推断方法。
2024-06-28 cs.LG stat.ML
A Stochastic Variance-Reduced Coordinate Descent Algorithm for Learning Sparse Bayesian Network from Discrete High-Dimensional Data
K. N. Toosi University of Technology（K.N.托西理工大学）；Polytechnique Montréal（蒙特利尔理工学院）
研究了从高维离散数据中学习稀疏结构贝叶斯网络的问题。与连续贝叶斯网络相比，离散贝叶斯网络的学习是一个具有挑战性的问题，由于大的参数空间。虽然已经开发了许多方法来学习连续贝叶斯网络，很少有方法已经提出了离散的。在本文中，我们解决学习贝叶斯网络作为一个优化问题，并提出了一个得分函数，保证学习的结构是一个稀疏的有向无环图。此外，我们还实现了一个分块随机坐标下降算法来优化得分函数。具体来说，我们在优化算法中使用了方差减少方法，使算法有效地处理高维数据。所提出的方法适用于合成数据从著名的基准网络。所构建的网络的质量，可扩展性和鲁棒性进行测量。与一些有竞争力的方法相比，结果表明，我们的算法优于一些众所周知的方法。
2022-09-24 cs.LG stat.ML
Stochastic Variational Inference for Bayesian Sparse Gaussian Process Regression
National University of Singapore（新加坡国立大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；MIT（麻省理工学院）
本文提出了一种新的变分推理框架，推导出一个家庭的贝叶斯稀疏高斯过程回归（SGPR）模型的近似是变分最优的满秩GPR模型丰富的各种相应的相关结构的观察噪声。我们的变分贝叶斯SGPR（VBSGPR）模型共同对待的诱导变量和超参数的分布作为变分参数，这使得变分下限，反过来可以利用随机优化的可分解性。这样的随机优化涉及迭代地遵循变分下界的随机梯度，以改进我们的VBSGPR模型的诱导变量和超参数（以及预测分布）的最优变分分布的估计，并保证实现渐近收敛。我们证明了随机梯度是精确梯度的无偏估计，并且可以在每次迭代的恒定时间内计算，从而实现对大数据的可扩展性。我们在两个真实世界的大规模数据集上实证评估了我们提出的框架的性能。
2019-03-22 cs.LG stat.ML
Stochastic complexity of Bayesian networks
Tokyo Institute of Technology（东京工业大学）
贝叶斯网络在系统诊断、数据采掘、聚类分析等领域有着广泛的应用，但由于其模型的不可识别性和非规则性，其统计特性尚未得到明确。在贝叶斯网络中，较小模型的参数集是大模型空间中具有奇点的解析集。由于这些奇异性，Fisher信息矩阵不是正定的。换句话说，学习的数学基础没有建立起来。然而，近年来，我们已经开发出一种方法来分析非正规模型使用代数几何。该方法揭示了模型奇异性与统计性质之间的关系。本文将该方法应用于具有潜变量的贝叶斯网络，阐明了其随机复杂性的阶，并证明了其随机复杂性的上界小于参数空间的维数。这意味着贝叶斯网络的泛化误差也远小于常规模型，同时Schwarzs模型选择准则BIC需要改进。
2012-10-19 cs.LG stat.ML
Do Bayesian Neural Networks Need To Be Fully Stochastic?
University of Oxford（牛津大学）；University of Amsterdam（阿姆斯特丹大学）
我们研究了贝叶斯神经网络随机过程中处理所有参数的好处，并发现了令人信服的理论和经验证据，表明这种标准结构可能是不必要的。为此，我们证明了表达预测分布只需要少量的随机性。特别是，部分随机网络只有$n$随机偏差是通用的概率预测$n$维预测问题。在实证研究中，我们发现在四种不同的推理模式和八个数据集上，完全随机性没有系统性的好处;部分随机网络可以匹配，有时甚至优于完全随机网络，尽管它们的内存成本降低了。
2023-02-20 cs.AI cs.LG stat.ML
Bayesian Learning via Neural Schrödinger-Föllmer Flows
Cambridge University（剑桥大学）；University of Potsdam（波茨坦大学）；University Of Bath（巴斯大学）
在这项工作中，我们探索了一个新的框架，近似贝叶斯推断在大型数据集的基础上随机控制（即薛定谔桥）。我们提倡随机控制作为一个有限的时间和低方差替代流行的稳态方法，如随机梯度Langevin动力学（SGLD）。此外，我们讨论和适应这个框架的现有理论保证，并建立连接到现有的VI例程在基于PDE的模型。
2022-10-25 cs.LG stat.ML
Bayesian posterior approximation with stochastic ensembles
Stockholm University（斯德哥尔摩大学）；University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
提出将 dropout 等随机方法与深度集成的随机神经网络集成，通过变分推断近似 Bayesian 后验，在玩具问题和 CIFAR 上比常用基线提供更准确的后验估计。
2024-01-03 cs.CV cs.LG stat.ML
Stochastic Gradient Descent as Approximate Bayesian Inference
Data Science Institute（数据科学研究所）；Columbia University（哥伦比亚大学）；Adobe Research（Adobe 研究院）；Adobe Systems Incorporated（Adobe 系统公司）
具有恒定学习率（恒定SGD）的随机梯度下降模拟具有平稳分布的马尔可夫链。从这个角度来看，我们得到了一些新的结果。(1)我们表明，常数SGD可以作为一个近似的贝叶斯后验推理算法。具体来说，我们将展示如何调整调整参数的恒定SGD最佳匹配的平稳分布的后验，最大限度地减少这两个分布之间的库尔贝克-莱布勒散度。(2)我们证明，恒定SGD产生一个新的变分期望最大化算法，优化超参数在复杂的概率模型。(3)我们还提出了SGD与动量采样，并显示如何相应地调整阻尼系数。(4)我们分析MCMC算法。对于Langevin动力学和随机梯度Fisher评分，我们量化了由于有限学习率而导致的近似误差。最后（5），我们使用随机过程的观点来给出为什么Polyak平均是最优的简短证明。基于这一思想，我们提出了一个可扩展的近似MCMC算法，平均随机梯度采样。
2018-01-19 cs.LG stat.ML
Bayesian Model Selection of Stochastic Block Models
Indiana University Network Science Institute（印第安纳大学网络科学研究所）
分析网络的一个核心问题是将它们划分为模块或社区。其中一个最好的工具是随机块模型，它将顶点聚集到具有统计上均匀的链接模式的块中。尽管它的灵活性和流行性，一直缺乏原则性的统计模型选择标准的随机块模型。在这里，我们提出了一个贝叶斯框架，用于选择块的数量以及将其与更精细的度校正块模型进行比较，最终导致一个能够比较多个建模组合的通用模型选择框架。我们还将研究它与最小描述长度原则的联系。
2016-05-23 cs.LG cs.SI stat.ML
Bayesian Posterior Sampling via Stochastic Gradient Fisher Scoring
UC Irvine（加州大学尔湾分校）
在本文中，我们解决了以下问题：如果我们只允许接触我们生成的每个样本的一小部分数据项，我们可以近似地从贝叶斯后验分布中采样吗？以前提出了一种基于随机梯度的Langevin方程（SGLD）的算法来解决这个问题，但其混合速度很慢。通过利用贝叶斯中心极限定理，我们扩展了SGLD算法，以便在高混合速率下，它将从后验的正态近似进行采样，而对于低混合速率，它将用预处理矩阵模仿SGLD的行为。作为奖励，所提出的算法是让人想起费舍尔评分（随机梯度），并作为这样一个有效的优化器在老化。
2012-06-27 cs.LG stat.CO stat.ML
Stochastic Normalizations as Bayesian Learning
Czech Technical University in Prague（布拉格捷克理工大学）
在这项工作中，我们研究了批量归一化（BN）提高深度网络泛化性能的原因。我们认为，一个主要的原因，区别于数据无关的归一化方法，是随机性的批量统计。这种随机性出现在参数中，而不是在激活中，并承认作为一个实际的贝叶斯学习的解释。我们将这个想法应用到其他（确定性）规范化技术，这些技术不考虑批量大小。我们表明，他们的泛化性能可以显着提高贝叶斯学习的相同形式。我们获得了与BN相当的测试性能，同时，通过近似贝叶斯后验，更好的验证损失适合于随后的输出不确定性估计。
2018-11-01 cs.LG cs.NE stat.ML
Discriminative Bayesian filtering lends momentum to the stochastic Newton method for minimizing log-convex functions
University of Cambridge（剑桥大学）
该研究将最小化对数凸函数平均值的随机牛顿优化问题转化为判别式观测的潜状态空间序列贝叶斯推断问题，提出结合梯度与海森矩阵历史的贝叶斯滤波优化算法，推导了类重球动量的旧观测衰减条件，并辅以示例阐释。
2023-08-21 cs.LG math.OC stat.ML
PAC-Bayesian-Like Error Bound for a Class of Linear Time-Invariant Stochastic State-Space Models
Aalborg University（奥尔堡大学）；Laboratoire Signal et Automatique de Lille (CRIStAL)（里尔信号与自动化实验室（CRIStAL））
本文给出了一类带输入的随机动力系统，即线性时不变随机状态空间模型（简称随机LTI系统）的PAC-Bayesian-Like误差界。这类系统广泛应用于控制工程和计量经济学，特别是，它们代表了递归神经网络的一种特殊情况。本文1）形式化了带输入的随机LTI系统的学习问题，2）导出了此类系统的PAC-Bayesian-Like误差界，3）讨论了该误差界的各种结果。
2022-12-30 cs.LG math.DS math.ST
A Unified Stochastic Gradient Approach to Designing Bayesian-Optimal Experiments
University of Oxford（牛津大学）；Uber AI（优步人工智能实验室）；University of Michigan（密歇根大学）
介绍了一种基于完全随机梯度的贝叶斯最优试验设计（BOED）方法.我们的方法利用变分的预期信息增益（EIG）的实验，可以同时优化的变分和设计参数的下限。这使得设计过程可以通过一个单一的统一的随机梯度上升过程进行，与现有的方法，通常构建一个逐点EIG估计，然后通过这个估计到一个单独的优化。我们提供了一些不同的变分目标，包括新的自适应对比估计（ACE）界。最后，我们表明，我们的基于梯度的方法能够提供有效的设计优化，在更高的维度设置比现有的方法。
2020-02-27 cs.LG stat.CO stat.ML
Variational Bayesian Inference with Stochastic Search
UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
平均场变分推理是一种近似贝叶斯后验推理方法。它通过最大化边缘似然的下限来近似具有分解的分布集的完整后验分布。这需要能够使用该因子分解分布将对数联合似然中的项的总和积分。通常不是所有的积分都是封闭形式的，这通常通过使用下限来处理。我们提出了一种替代算法的基础上随机优化，允许直接优化的变分下限。该方法使用控制变量来减小随机搜索梯度的方差，其中现有的下界可以发挥重要作用。我们证明了两个非共轭模型的方法：逻辑回归和近似的HDP。
2012-06-27 cs.LG stat.CO stat.ML
Batched Stochastic Bayesian Optimization via Combinatorial Constraints Design
Caltech（加州理工学院）
在许多高通量实验设计设置中，例如生化工程中常见的那些，批量查询比一个接一个的顺序查询更具成本效益。此外，通常不可能直接选择要查询的项目。相反，实验者指定一组约束，生成一个可能的项目库，然后随机选择。出于这些考虑，我们调查\emph{Batched Stochastic Bayesian Optimization}（BSBO），一种新的贝叶斯优化方案选择的约束，以指导探索项目具有更大的效用。我们专注于\emph{site-saturation mutagenesis}，生物化学工程中的BSBO的原型设置，并提出了一个自然的目标函数，这个问题。重要的是，我们表明，我们的目标函数可以有效地分解为子模函数（DS）的差异，这使我们能够采用DS优化工具来greenly确定一组约束，增加了找到高效用项目的可能性。我们的实验结果表明，我们的算法优于普通的算法在合成和两个真实的蛋白质数据集。
2019-04-17 cs.LG q-bio.QM stat.ML
Distributed Learning with Infinitely Many Hypotheses
University of Illinois（伊利诺伊大学）
我们考虑一个分布式的学习设置，代理网络顺序访问实现的一组随机变量与未知的分布。网络的目标是找到一个参数化的分布，最好地描述他们的联合观察的意义上的Kullback-Leibler分歧。除了最近的努力，在文献中，我们分析了可数多个假设的情况下，假设的连续性。我们提供了非渐近边界的代理人的信念围绕正确的假设，代理人的数量，网络参数和代理人的学习能力的集中率。此外，我们提供了一个新的动机一般的分布式非贝叶斯更新规则的分布式随机镜像下降算法的实例。
2016-05-06 cs.LG math.OC stat.ML
High-Order Stochastic Gradient Thermostats for Bayesian Learning of Deep Models
使用贝叶斯方法在深度模型中进行学习最近引起了极大的关注。这在很大程度上是因为现代贝叶斯方法的可行性，可以产生可扩展的学习和推理，同时保持模型参数的不确定性。随机梯度MCMC算法（SG-MCMC）是一系列用于大规模贝叶斯学习的基于扩散的采样方法。在SG-MCMC中，多变量随机梯度恒温器（mSGNHT）增加每个感兴趣的参数，动量和恒温器变量，以保持稳定的分布作为目标后验分布。随着连续时间扩散中变量数目的增加，其数值逼近误差成为实际的瓶颈，因此需要更好地使用数值积分器。为此，我们建议使用一个有效的对称分裂积分mSGNHT，而不是传统的欧拉积分。我们证明，该计划是更准确，鲁棒性，收敛速度更快。这些属性在贝叶斯深度学习中被证明是可取的。在两个典型模型及其深度扩展上的大量实验表明，该方案改进了一般贝叶斯后验抽样，特别是对于深度模型。
2015-12-23 stat.ML
Stochastic Gradient Line Bayesian Optimization for Efficient Noise-Robust Optimization of Parameterized Quantum Circuits
The University of Tokyo（东京大学）；Austrian Academy of Sciences（奥地利科学院）；Technische Universität Wien（维也纳工业大学）
优化参数化量子线路是使用近期量子器件的关键步骤。然而，现有的算法，这样的优化需要大量的量子测量拍摄估计的期望值的可观测量和重复多次迭代，其成本已经成为一个关键的障碍，实际使用。我们开发了一个有效的替代优化算法，随机梯度线贝叶斯优化（SGLBO），来解决这个问题。SGLBO通过基于随机梯度下降（SGD）估计更新电路参数的适当方向并进一步利用贝叶斯优化（BO）来估计SGD中每次迭代的最佳步长来降低测量发射成本。此外，我们制定了一个自适应的测量拍摄策略，并介绍了后缀平均技术，以减少统计和硬件噪声的影响。我们的数值模拟表明，与这些技术增强的SGLBO可以大大减少测量拍摄成本，提高精度，并使优化噪声鲁棒性。
2022-08-03 cs.LG quant-ph stat.ML
Bridging GANs and Bayesian Neural Networks via Partial Stochasticity
本文通过将GANs视为具有部分随机性的贝叶斯神经网络，提出平滑损失景观和最小描述长度方法，以提升GANs的性能和理解。
2026-02-01 cs.CV cs.LG stat.ML
End-to-End Learning for Stochastic Optimization: A Bayesian Perspective
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of Konstanz（康斯坦茨大学）
该研究从贝叶斯视角解读标准端到端学习算法，提出训练对应经验风险最小化与分布鲁棒优化解的决策映射的新算法，并通过合成与真实数据实验验证了方案差异与架构影响。
2023-06-11 cs.LG math.OC stat.ML
Fully Distributed Bayesian Optimization with Stochastic Policies
Instituto de Investigacion en Ingenieria de Aragon（阿拉贡工程研究院）；University of Zaragoza（萨拉戈萨大学）；Centro Universitario de la Defensa（国防大学中心）
贝叶斯优化已经成为高通量计算的流行方法，如计算机实验设计或昂贵模型的超参数调整，其中样本效率是强制性的。在这些应用程序中，分布式和可扩展的架构是必要的。然而，贝叶斯优化主要是顺序的。即使是并行变体也需要在样本之间进行某些计算，从而限制了并行化带宽。汤普森抽样以前已被应用于分布式贝叶斯优化。但是，当与顺序设置中的其他采集功能相比时，已知汤普森采样的性能次优。在本文中，我们提出了一种新的方法，完全分布式贝叶斯优化，它可以结合任何采集功能。我们的方法认为贝叶斯优化作为一个部分可观察的马尔可夫决策过程。在这种情况下，随机政策，如玻尔兹曼政策，有一些有趣的性质，也可以研究贝叶斯优化。此外，玻尔兹曼政策平凡地允许分布式贝叶斯优化实现具有高水平的并行性和可扩展性。我们目前的结果在几个基准和应用程序，显示我们的方法的性能。
2019-07-05 cs.AI cs.DC cs.LG
Infinite-dimensional optimization and Bayesian nonparametric learning of stochastic differential equations
Louisiana State University（路易斯安那州立大学）
该文件有两大主题。本文的第一部分建立了Hilbert空间上无限维优化问题的某些一般性结果。这些结果涵盖了经典的表示定理和它的许多变种作为特殊情况，并提供了更广泛的应用范围。本文的第二部分，然后开发了一个系统的方法，学习随机微分方程的漂移函数，通过整合第一部分的结果与贝叶斯分层框架。重要的是，我们的贝叶斯方法通过适当使用收缩先验，同时允许通过后验分布适当量化不确定性，从而实现低成本稀疏学习。最后的几个例子说明了我们的学习计划的准确性。
2022-05-30 cs.LG math.OC math.PR
Bayesian multi-objective optimization for stochastic simulators: an extension of the Pareto Active Learning method
本文主要研究具有高输出方差的随机模拟器的多目标最优化问题，其中输入空间是有限的，目标函数的计算是昂贵的。我们依靠贝叶斯优化算法，它使用概率模型来预测要优化的函数。所提出的方法是一个扩展的Pareto主动学习（PAL）算法估计的Pareto-最优解，使其适用于随机设置。我们将其命名为随机模拟器的帕累托主动学习（Pareto Active Learning for Stochastic Simulators，PALS）。PALS的性能进行了评估，通过一组二维，双目标测试问题的数值实验。与其他基于标量化和随机搜索的方法相比，PALS具有更好的性能。
2022-07-20 math.OC stat.ML
Posterior contraction rate for non-parametric Bayesian estimation of the dispersion coefficient of a stochastic differential equation
本文给出了线性随机微分方程确定性离差系数的非参数贝叶斯估计的后误差收缩率。
2014-09-09 math.ST stat.TH
Cyclical Stochastic Gradient MCMC for Bayesian Deep Learning
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）；Duke University（杜克大学）；University at Buffalo, SUNY（纽约州立大学布法罗分校）；New York University（纽约大学）
神经网络权值的后验是高维多模态的。每种模式通常表征数据的有意义的不同表示。我们开发了循环随机梯度MCMC（SG-MCMC）来自动探索这种分布。特别是，我们提出了一个周期性的步长时间表，其中较大的步骤发现新的模式，和较小的步骤表征每个模式。我们还证明了我们提出的算法的非渐近收敛性。此外，我们提供了广泛的实验结果，包括ImageNet，以证明循环SG-MCMC在学习复杂多模态分布方面的可扩展性和有效性，特别是对于现代深度神经网络的完全贝叶斯推理。
2020-05-11 cs.AI cs.CV cs.LG
Infinitely exchangeable random graphs generated from a Poisson point process on monotone sets and applications to cluster analysis for networks
通过在$\mathbb{N}$的幂集上具有平均测度$Λ$的Poisson点过程，构造了自然数$\mathbb{N}$的幂集子集的集合$\cate$上的一个无限可交换过程.每个$E\in\cate$在$\cate$的单调子集的集合$\catf$中具有最小单调覆盖，并且每个单调子集映射到无向图$G\in\catg$，即具有顶点集$\mathbb{N}$的无向图空间。我们证明了一个自然映射$\cate\rightarrow\catf\rightarrow\catg$，它诱导一个无限可交换的措施的投影系统$\catg^{\rest}$的图$\catg$下的置换和限制映射的子集的投影系统$\cate^{\rest}$上的一个无限可交换的措施。我们展示了这个过程在聚类分析、机器学习、分类和贝叶斯推理中的应用的潜在联系。
2011-10-24 math.ST stat.ML stat.TH
QLSD: Quantised Langevin stochastic dynamics for Bayesian federated learning
Criteo AI Lab（科韬人工智能实验室）；École Polytechnique（巴黎综合理工学院）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；Centre Borelli（博雷利中心）
联邦学习（FL）的目标是对分散存储在网络客户端上的数据进行统计推断。FL提出了许多限制，包括隐私和数据所有权，通信开销，统计异质性，部分客户端参与。在本文中，我们解决这些问题的贝叶斯范式的框架。为此，我们提出了一种新型的联邦马尔可夫链蒙特卡罗算法，称为量化朗之万随机动力学，它可以被视为随机梯度朗之万动力学FL设置的扩展，它使用梯度压缩来处理通信瓶颈。为了提高性能，我们然后引入方差减少技术，这导致两个改进的版本创造\texttt{QLSD} $^{\star}$和\texttt{QLSD} $^{++}$。我们给出了所提出的算法的非渐近和渐近收敛保证。我们使用各种贝叶斯联邦学习基准来说明它们的性能。
2022-05-31 cs.AI cs.LG stat.CO
Bayesian estimation of the latent dimension and communities in stochastic blockmodels
Imperial College London（帝国理工学院）
无向图的邻接矩阵或拉普拉斯矩阵的谱嵌入是在低维潜在空间中表示网络的常用技术，具有最佳理论保证。嵌入可以用来估计网络的社区结构，在随机块模型框架下具有强一致性结果。用于从谱嵌入进行社区发现的标准算法的主要实际限制之一是必须预先指定社区的数目和嵌入的潜在维度。在这篇文章中，提出了一种新的贝叶斯模型，同时和自动选择适当的尺寸的潜在空间和块的数量。扩展到有向图和二分图进行了讨论。该模型进行了测试模拟和真实世界的网络数据，表现出良好的性能恢复潜在的社区结构。
2020-05-28 cs.LG cs.SI stat.AP
Bayesian prediction for stochastic processes. Theory and applications
在本文中，我们采用贝叶斯的观点来预测真实的连续时间过程。给出了贝叶斯预测的两个等价定义，并研究了贝叶斯预测的一些性质：可容许性、预测充分性、无偏性、与有效预测的比较。讨论了连续和抽样情形下的泊松过程预测和Ornstein-Uhlenbeck过程预测。各种模拟说明与非贝叶斯预测的比较。
2013-12-28 math.ST stat.TH
Bayesian analysis of multivariate stochastic volatility with skew distribution
提出了具有斜分布的多变量随机波动率模型。利用Cholesky随机波动模型，将具有杠杆效应的单变量随机波动过程和广义双曲斜t分布嵌入到具有时变相关性的多变量分析中.贝叶斯先验工作允许这种方法提供简约的斜结构，并很容易扩展到高维问题。每日股票收益的分析说明。实证结果表明，时变相关性和稀疏偏斜结构有助于提高预测性能和VaR预测。
2012-12-20 stat.AP stat.ME
A Bayesian Stochastic Approximation Method
为了提高小样本设计的效率，提出了一种新的贝叶斯随机逼近方法来估计回归函数的根。该方法具有自适应局部建模和非递归迭代的特点。得到了Bayes估计的强相合性。仿真研究表明，我们的方法是优越的有限样本性能Robbins-Monro型程序。给出了极值搜索的扩展和广义多元分位数的一种形式。
2017-05-05 stat.ME
Stochastic Variational Bayesian Inference for a Nonlinear Forward Model
变分贝叶斯（VB）已被用来方便计算后验分布的贝叶斯推断的非线性模型的参数从数据的背景下。以前的VB的分析配方已经推导出非线性模型推断数据与加性高斯噪声作为替代非线性最小二乘。在这里，一个随机的解决方案，避免了一些分析公式所需的近似，提供了一个解决方案，可以更灵活地部署非线性模型推理问题。随机VB解决方案用于推理的双指数玩具的情况下，算法的参数空间探索，被部署在实际数据的磁共振成像研究灌注之前。新的方法被发现，以实现可比的参数恢复的解析解和竞争力的计算速度，尽管依赖于采样。
2020-07-03 eess.SP stat.AP stat.ML
Stochastic Optimal Control with Side Information and Bayesian Learning
Georgia Institute of Technology（佐治亚理工学院）
本文提出了一种基于参数密度模型和后验预测动力学的贝叶斯方法，用于解决具有未知上下文条件随机分布的无限时间 horizon 随机最优控制问题，并证明了后验一致性和渐近正态性。
2026-07-22 math.OC math.ST stat.TH
Bayesian nonparametrics for stochastic epidemic models
绝大多数传染病传播的模型本质上是参数化的，涉及关于疾病如何在人群中传播的基本假设。在这篇文章中，我们考虑使用贝叶斯非参数方法来分析疾病暴发的数据。具体来说，我们专注于简单模型的假设下，这个过程具有显式的时间依赖性的感染过程的估计方法。
2017-06-09 stat.AP stat.CO stat.ME
Non-parametric Bayesian drift estimation for stochastic differential equations
本文考虑一维随机微分方程漂移系数的非参数贝叶斯估计问题。在适当的正则性条件下，弱于文献中先前提出的，我们建立后验一致性在这种情况下。此外，我们表明，后验一致性扩展到多维设置，以及，据我们所知，这是一个新的结果，在这种设置。
2013-02-25 math.ST stat.TH
Stochastic Zeroth-order Discretizations of Langevin Diffusions for Bayesian Inference
朗之万扩散的离散化为抽样和贝叶斯推理提供了一种强有力的方法。然而，这样的离散化需要评估的势函数的梯度。在几个现实世界的场景中，获得梯度评估可能是计算昂贵的，或者根本不可能。在这项工作中，我们提出并分析了随机零阶采样算法离散过阻尼和欠阻尼朗之万扩散。我们的方法是基于估计的梯度，高斯斯坦的身份，广泛用于随机最优化文献的基础上。我们提供了一个全面的样本复杂性分析-数量嘈杂的功能评估，以获得一个$ε$ -近似样本Wasserstein距离-随机零阶离散的过阻尼和欠阻尼Langevin扩散，在各种噪声模型。我们还提出了一个基于零阶梯度估计的变量选择技术，并建立其理论保证。我们的理论贡献扩展了采样算法的实际适用性的噪声黑箱和高维设置。
2021-01-17 math.OC math.ST stat.ML
On Bayesian Asymptotics in Stochastic Differential Equations with Random Effects
Delattre等人（2013）研究了与n个独立随机微分方程（SDEs）相关的随机效应总体参数的最大似然估计的渐近性质，假设SDEs是独立和相同的（iid）。在这篇文章中，我们考虑的贝叶斯方法来学习的总体参数，并证明了一致性和渐近正态性的相应的后验分布在iid设置以及当SDES是独立的，但不相同的。
2016-05-11 math.ST stat.TH
Corrected Bayesian information criterion for stochastic block models
社区数目的估计是社区发现的基本问题之一。我们重新研究了随机块模型的贝叶斯范式，提出了一个“校正贝叶斯信息准则”，以确定社区的数量，并表明所提出的估计是一致的，在温和的条件下。拟议的标准改进了Wang和Bickel（2016）和Saldana等人（2017）中使用的标准，这些标准分别倾向于低估和高估社区的数量。在此过程中，我们建立了随机块模型的Wilks定理。此外，我们表明，要获得的一致性模型选择的随机块模型，我们需要一个所谓的“一致性条件”。我们还提供了充分条件，均质网络和非均质网络。将所得结果进一步推广到度修正随机块体模型。数值研究证明了我们的理论结果。
2019-09-17 math.ST stat.ME stat.TH
Nonparametric Bayesian volatility estimation for gamma-driven stochastic differential equations
针对伽马过程驱动的随机微分方程，提出一种基于分段常数先验和伽马先验的非参数贝叶斯波动率估计方法，通过MCMC进行后验推断，并给出收缩率理论保证及实验验证。
2021-08-26 math.ST stat.ME stat.TH
Solving Bayesian Risk Optimization via Nested Stochastic Gradient Estimation
在本文中，我们的目标是解决贝叶斯风险优化（BRO），这是最近提出的框架，制定输入不确定性下的模拟优化。为了有效地解决BRO问题，我们推导了嵌套随机梯度估计，并提出了相应的随机逼近算法。我们证明了我们的梯度估计是渐近无偏的和一致的，并且算法是渐近收敛的。我们证明了双边市场模型的算法的实证表现。我们的估计是独立的兴趣，随机梯度估计的情况下，嵌套的风险函数的文献。
2020-07-16 math.OC stat.CO
Hierarchical Stochastic Model in Bayesian Inference: Theoretical Implications and Efficient Approximation
本文将文献中的多层贝叶斯模型分为两类，即多层先验模型（HPM）和多层随机模型（HSM）。然后，我们重点研究了高速模型的理论含义。使用多项式函数的例子，我们表明，HSM是能够分离系统中不同类型的不确定性和量化的降阶模型的不确定性下的贝叶斯模型类选择框架。针对高速模型分析计算量大的问题，提出了一种基于重要性抽样和经验插值方法的高速模型逼近方法。我们用两个例子来说明我们的方法-氪的分子动力学模拟和抗癌药物的药代动力学/药效学模型。
2016-11-09 stat.AP
Calibrated Bayesian Inference for Stochastic Intervention Effects
University of Iowa（爱荷华大学）
本研究针对随机干预效应的贝叶斯推断，提出一种不改变先验或拟合算法的后处理校正方法，经理论与模拟验证可提升推断的校准度与性能，并通过他汀类药物对LDL胆固醇影响的实例说明其应用。
2026-08-05 math.ST stat.ME stat.ML
Bayesian equation selection on sparse data for discovery of stochastic dynamical systems
通常，驱动随机动力系统的微分方程的基本系统被假设为已知的，推理以这个假设为条件。我们提出了一个贝叶斯框架，发现这个系统的微分方程的假设下，与现实生活中的场景，包括相对稀疏的数据的可用性。此外，我们讨论了对于梳理动力系统的重要细节至关重要的计算策略和算法创新，以解决在缺乏丰富数据的情况下严重的参数相互依赖性。这给出了一个完整的贝叶斯路径模型识别通过一个变量选择范例和参数估计的相应模型，只使用观察到的数据。我们提出了详细的计算和分析的Lorenz-96，Lorenz-63，和Orstein-Uhlenbeck系统使用贝叶斯框架，我们建议。
2021-01-12 stat.CO stat.ME
Evolutionary Stochastic Search for Bayesian model exploration
在高维数据集的线性高斯回归模型中实现贝叶斯变量选择是当前许多领域的研究热点。为了使这样的分析操作，我们提出了一个新的采样算法的基础上进化蒙特卡罗和设计工作下的“大p，小n”的范例，从而使完全贝叶斯多变量分析可行，例如，在遗传学/基因组学实验。基因组学中的两个真实数据的例子，展示了该算法在高达10,000协变量的空间中的性能。最后，该方法与最近提出的搜索算法进行了广泛的仿真研究。
2010-02-13 stat.CO stat.ME
