Constrained Bayesian Optimization Under Partial Observations: Balanced Improvements and Provable Convergence
University of Electronic Science and Technology of China（电子科技大学）；University of Exeter（埃克塞特大学）
针对部分可观测约束优化问题，提出一种结合改进采集函数与嵌入不同似然的高斯过程代理模型的约束贝叶斯优化方法，实现平衡探索并证明收敛性，在合成和实际问题上表现优异。
2023-12-23 cs.LG stat.ML
On Improved Regret Bounds In Bayesian Optimization with Gaussian Noise
Center for Applied Scientific Computing, Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室应用科学计算中心）；National University of Singapore（新加坡国立大学）
本文在高斯噪声的频率学派设定下建立了高斯过程预测误差的新逐点界，并据此证明了GP-UCB和GP-TS累积遗憾界具有改进的收敛速率，该误差界还可推广到一般贝叶斯优化算法的收敛分析。
2024-12-25 cs.LG stat.ML
On the Consistency of Optimal Bayesian Feature Selection in the Presence of Correlations
The Ohio State University（俄亥俄州立大学）
最佳贝叶斯特征选择（OBFS）是一种多变量监督筛选方法，旨在从根本上发现生物标志物。在这项工作中，我们证明了高斯OBFS是强一致的温和的条件下，并提供关键后验的收敛速度的框架。这些结果是非常重要的，因为他们准确地确定了OBFS渐近选择的功能，表征不同类型的功能的后验的相对收敛速度，提供条件，保证收敛，证明使用OBFS时，其内部假设是无效的，并设置为理解基于OBFS框架的其他算法的渐近行为的阶段。
2020-02-01 cs.CV cs.LG stat.ML
Accelerating Convergence of Stein Variational Gradient Descent via Deep Unfolding
Tokyo Institute of Technology（东京工业大学）
本文提出将深度展开技术融入 Stein 变分梯度下降，通过可训练方式学习其内部参数以加速收敛，并在高斯混合采样、贝叶斯逻辑回归和贝叶斯神经网络任务中验证了其优于传统 SVGD 变体的收敛性能。
2024-02-23 cs.LG stat.ML
Asymptotic Properties for Bayesian Neural Network in Besov Space
Seoul National University（首尔国立大学）
神经网络在处理图像和自然语言等各种非结构化数据时显示出强大的预测能力。贝叶斯神经网络通过为模型的参数设置先验分布并计算后验分布来捕获预测的不确定性。本文证明了当真实回归函数在Besov空间中时，采用尖峰-板先验的贝叶斯神经网络具有近似极小极大收敛速度的一致性。即使当回归函数的平滑度未知时，相同的后验收敛速率保持，并且因此尖峰和平板先验适应于回归函数的平滑度。我们还考虑了收缩先验，这是更可行的比其他先验，并表明它具有相同的收敛速度。换句话说，我们提出了一个实用的贝叶斯神经网络保证渐近性质。
2022-11-25 cs.LG math.ST stat.ML
Pseudo-Bayesian Optimization
Columbia University（哥伦比亚大学）
本文提出伪贝叶斯优化公理化框架，提炼黑箱优化收敛的最小要求，并利用局部回归与随机先验构造出在合成实验、超参数调优和机器人应用中均优于现有基准的算法。
2025-02-04 cs.LG stat.ML
PAC-Bayesian Learning of Optimization Algorithms
University of Tübingen（蒂宾根大学）
我们将PAC-Bayes理论应用于学习优化的设置。据我们所知，我们提出了第一个框架来学习优化算法与可证明的泛化保证（PAC界）和明确的高概率收敛和高收敛速度之间的权衡。即使在极限的情况下，收敛性得到保证，我们学到的优化算法证明优于相关算法的基础上（确定性）的最坏情况分析。我们的研究结果依赖于PAC贝叶斯界一般，无界损失函数的指数家庭的基础上。通过推广现有的想法，我们重新制定的学习过程成一个一维的最小化问题，并研究的可能性，找到一个全局最小值，这使得算法实现的学习过程。作为概念验证，我们学习标准优化算法的超参数，以经验方式强调我们的理论。
2023-02-15 cs.LG stat.ML
A Bayesian approach for initialization of weights in backpropagation neural net with application to character recognition
University of Turin（都灵大学）
权值的初始化严重影响神经网络训练算法的收敛速度。本文提出了一种新颖的反向传播神经网络权值初始化算法，并将其应用于字符识别。初始化方法主要基于卡尔曼滤波器的定制，将其转换为贝叶斯统计术语。在这种情况下，考虑权重作为相互依赖的正态随机变量建模的测量值，使用一种新的方法。算法的性能证明了报告和讨论的模拟试验的结果。并与随机权值初始化等方法进行了比较。所提出的方法显示了一个改进的收敛速度的反向传播训练算法。
2020-04-04 cs.LG stat.ML
Posterior concentration and fast convergence rates for generalized Bayesian learning
Dalhousie University（达尔豪斯大学）；University of Science（理大学）；Vietnam National University（越南国立大学）；AISIA Research Lab（AISIA研究实验室）；University of Delaware（特拉华大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究了一般情形下广义Bayes估计的学习率，其中假设类可以是不可数的且形状不规则，损失函数可以有重尾，最优假设可能不唯一.证明了在多尺度Bernstein条件下，广义后验分布集中在最优假设集附近，广义Bayes估计具有较快的学习速度.我们的结果表明，标准的贝叶斯线性回归是强大的重尾分布。
2021-11-19 cs.LG math.ST stat.TH
Probably approximate Bayesian computation: nonasymptotic convergence of ABC under misspecification
CFM
近似贝叶斯计算（ABC）是贝叶斯统计中广泛使用的一种推理方法，可以绕过逐点计算似然。在本文中，我们开发的理论界限之间的距离，在ABC的统计。我们表明，ABC的某些版本是固有的强大的误指定。在有限样本量下，以Oracle不等式的形式给出了其界.明确了对参数空间的维数和统计量的依赖性。结果表明，在参数空间中，所得结果服从预言不等式。我们将我们的理论结果应用于给定的先验分布和数据生成过程，包括非参数回归模型。在本文的第二部分中，我们提出了一个顺序蒙特卡罗（SMC）从伪后验采样，改进了最先进的采样器。
2019-01-01 cs.LG math.ST stat.CO
Projected Wasserstein gradient descent for high-dimensional Bayesian inference
Stanford University（斯坦福大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of South Carolina（南卡罗来纳大学）
提出了一种求解高维贝叶斯推理问题的投影Wasserstein梯度下降方法（pWGD）。WGD的粒子系统的底层密度函数近似的核密度估计（KDE），它面临着长期存在的灾难的维数。我们克服了这一挑战，利用内在的低秩结构之间的差异后验分布和先验分布。将参数投影到一个低维子空间，以减轻KDE在高维空间的近似误差。我们制定了一个投影Wasserstein梯度流，并分析其收敛性在温和的假设。几个数值实验说明的准确性，收敛性和复杂性的可扩展性pWGD相对于参数尺寸，样本大小和处理器内核。
2021-02-15 cs.LG stat.ML
A Tutorial on Distributed (Non-Bayesian) Learning: Problem, Algorithms and Results
Arizona State University（亚利桑那州立大学）；Boston University（波士顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们概述了分布式学习的一些结果，重点是最近提出的一系列算法，称为非贝叶斯社会学习。我们考虑分布式学习问题的不同方法及其在有限多个假设的情况下的算法解决方案。最初的集中式问题进行了讨论，然后由一个概括的分布式设置。收敛性和收敛速度的结果给出了渐近和有限时间制度。各种扩展进行了讨论，如处理定向时变网络，Nesterov的加速技术和连续集的假设。
2016-09-23 cs.LG cs.MA cs.SI
Convergence of Regression Adjusted Approximate Bayesian Computation
我们给出了Beaumont（2002）引入的近似贝叶斯计算的回归调整版本的渐近结果。我们表明，对于一个适当的选择的带宽，回归调整将导致后，渐近，正确量化的不确定性。此外，对于这样的带宽选择，我们可以实现重要性采样算法来从后验中采样，其接受概率随着数据样本量的增加而趋于统一。这与标准近似贝叶斯计算的结果相比是有利的，在标准近似贝叶斯计算中，获得正确量化不确定性的后验的唯一方法是选择小得多的带宽;对于该带宽，接受概率趋于零，因此蒙特卡洛误差将占主导地位。
2017-11-28 math.ST stat.CO stat.TH
Bayesian Compressed Regression
作为高维回归中变量选择或收缩的替代方案，我们建议在分析之前随机压缩预测因子。这极大地减少了存储和计算瓶颈，当预测器可以投影到低维线性子空间时表现良好，并且关于响应的信息损失最小。与现有的贝叶斯降维方法相反，压缩数据的精确后验分布条件是分析可用的，加速了许多数量级的计算，同时还绕过了由于MCMC的收敛和混合问题而引起的鲁棒性问题。模型平均用于降低对随机投影矩阵的敏感性，同时适应子空间维度中的不确定性。强有力的理论支持的方法显示近参数收敛速度的预测密度在大p小n渐近范例。在模拟和实际数据应用中说明了相对于竞争对手的实际性能。
2013-03-22 cs.LG stat.ML
Bayesian Federated Learning with Hamiltonian Monte Carlo: Algorithm and Theory
ByteDance Inc（字节跳动公司）；Purdue University（普渡大学）；Morgan Stanley（摩根士丹利）
该研究提出贝叶斯联邦学习新算法FA-HMC，在非独立同分布数据下建立严格收敛保证并验证分析紧致性，实验证明其性能优于现有FA-LD算法。
2024-07-09 cs.LG stat.CO stat.ML
Parameter estimation in dynamical systems via Statistical Learning: a reinterpretation of Approximate Bayesian Computation applied to COVID-19 spread
提出了一种基于统计学习技术的动态系统鲁棒参数估计方法，该方法的目的是估计出一组与动态系统相适应的参数，以获得关于其轨迹定性行为的鲁棒证据.该方法是相当通用和灵活的，因为它不依赖于任何特定的动力系统的属性，并代表了近似贝叶斯计算方法通过统计学习的镜头重新解释。该方法特别适用于流行病学房室模型中的参数估计，以获得疾病演变的定性性质。我们将其应用于美国COVID-19传播的模拟和真实数据，以定性评估其随时间的演变，显示如何评估为减缓传播而实施的措施的有效性以及疾病当前和未来演变的一些定性特征。
2021-02-25 q-bio.PE stat.ME stat.ML
Client Selection for Federated Bayesian Learning
South China University of Technology（华南理工大学）；King’s College London（伦敦国王学院）
Distributed Stein Variational梯度下降（DSVGD）是一种用于联邦贝叶斯学习的非参数分布式学习框架，其中多个客户端通过与服务器通信许多非随机和交互粒子来联合训练机器学习模型。由于通信资源有限，选择具有最多信息的局部学习更新的客户端可以提高模型收敛性和通信效率。本文提出了两种基于核Stein离散（KSD）和Hilbert内积（HIP）的DSVGD选择方案。我们推导出了这两种方案的每次迭代的全局自由能减少的上界，然后将其最小化以加快模型收敛。我们使用各种学习任务和数据集，在模型精度、收敛速度和稳定性方面对我们的方案与传统方案进行评估和比较。
2023-03-13 cs.LG eess.SP
Decentralized Joint-Sparse Signal Recovery: A Sparse Bayesian Learning Approach
Indian Institute of Science（印度科学院）
这项工作提出了一种分散的，迭代的，贝叶斯算法称为CB-DSBL的多个联合稀疏向量的网络估计的网络节点，使用噪声和欠定线性测量。所提出的算法利用未知稀疏向量的网络范围联合稀疏性，与独立稀疏信号恢复方案相比，从数量显著较少的本地测量中恢复未知稀疏向量。为了减少节点间通信量和相关开销，节点仅与其单跳邻居的一小部分交换消息。在这种通信方案下，我们分别分析了我们所提出的算法中使用的交替方向乘法（ADMM）迭代的收敛性，并建立了其线性收敛速度。从分散ADMM的收敛性分析的结果被用来加速所提出的CB-DSBL算法的收敛性。使用Monte Carlo模拟，我们证明了优越的信号重建，以及支持恢复性能相比，我们提出的算法现有的分散式算法：DRL-1，DCOMP和DCSP。
2015-12-18 cs.IT cs.LG math.IT
Convergence Rates of Variational Inference in Sparse Deep Learning
CREST（CREST（经济与统计研究中心））；ENSAE（ENSAE（国立统计与经济管理学院））；Institut Polytechnique de Paris（巴黎理工学院）
变分推理在贝叶斯统计和机器学习中越来越多地用于逼近难以处理的后验分布。与此同时，最近的一些工作为深度神经网络提供了理论依据和新的见解，用于在非参数回归等通常设置中估计平滑函数。在本文中，我们证明了稀疏深度学习的变分推理保留了与精确贝叶斯推理相同的泛化特性。特别是，我们强调估计和逼近论之间的连接，通过经典的偏差方差权衡，并表明它导致近极小极大的收敛速度的Hölder光滑函数。此外，我们表明，通过ELBO最大化的神经网络架构的模型选择框架不会过拟合，并自适应地实现了最佳的收敛速率。
2019-09-05 cs.LG math.ST stat.ML
Approximate Bayesian computation scheme for parameter inference and model selection in dynamical systems
近似贝叶斯计算方法可用于评估后验分布，而不必计算似然。本文讨论并应用基于序贯蒙特卡罗（SMC）的近似贝叶斯计算（ABC）方法估计动力学模型的参数。我们发现，ABC SMC提供了有关参数的可推断性和模型对参数变化的敏感性的信息，并且往往比其他ABC方法表现得更好。该算法被应用到几个著名的生物系统，其中参数和它们的可信区间的推断。此外，我们开发的ABC SMC作为模型选择的工具，给出了一系列不同的数学描述，ABC SMC能够选择最好的模型，使用标准的贝叶斯模型选择装置。
2009-01-14 stat.CO stat.ME
Bayesian Joint Chance Constrained Optimization: Approximations and Statistical Consistency
Texas A& M University（得克萨斯农工大学）；Purdue University（普渡大学）
本文研究贝叶斯框架下机会约束随机优化问题，证明使用近似后验分布所得最优值具有频率学派统计一致性并给出概率收敛速率，同时证明问题的凸可行性，并在M/M/c排队模型上验证了方法有效性。
2022-10-01 cs.LG math.OC math.ST
Dynamical versus Bayesian Phase Transitions in a Toy Model of Superposition
University of Melbourne（墨尔本大学）
利用奇异学习理论研究叠加玩具模型中的相变，推导理论损失闭式公式，发现正k边形临界点，其局部学习系数决定贝叶斯与SGD训练的相变，学习过程表现为从高损失低复杂度到低损失高复杂度的参数空间之旅。
2023-10-10 cs.AI cs.LG
Dynamic Priors in Bayesian Optimization for Hyperparameter Optimization
Leibniz University Hannover（莱比锡大学汉诺威分校）；L3S Research Center（L3S研究所以）
DynaBO通过动态整合用户先验实现高效协同贝叶斯优化，提升超参数优化的可靠性和效率。
2026-08-03 cs.LG
Convergence of uncertainty estimates in Ensemble and Bayesian sparse model discovery
University of Washington（华盛顿大学）；Imperial College（帝国理工学院）
本文理论分析基于bootstrap的序贯阈值最小二乘集成稀疏模型发现，证明其变量选择错误率指数收敛，并能高效实现趋近真实值的不确定性量化。
2023-04-26 cs.LG math.DS stat.ME
Parameter inference and model selection in deterministic and stochastic dynamical models via approximate Bayesian computation: modeling a wildlife epidemic
我们考虑的问题，选择确定性或随机模型的生物，生态或环境的动态过程。在大多数情况下，人们更喜欢确定性或随机模型作为候选模型的基础上的经验或主观判断。由于大多数动力学模型的似然性复杂或难以处理，基于似然性的模型选择方法并不适用。我们使用近似贝叶斯计算的参数估计和模型选择，以获得进一步了解的动态的两个流行病的慢性消耗性疾病在骡鹿。这项工作的主要新颖的贡献是，在一个层次模型框架下，我们比较了三种类型的动力学模型：常微分方程，连续时间马尔可夫链，和随机微分方程模型。据我们所知，这些类型的模型之间的模型选择以前没有出现过。由于将动态模型合并到数据模型中的实践变得越来越普遍，因此所提出的方法在各种应用中可能非常有用。
2015-09-08 stat.AP stat.CO
Designing MacPherson Suspension Architectures using Bayesian Optimization
ESAT-PSI, KU Leuven（KU莱顿大学ESAT-PSI研究所）；Ford Greenfield Labs（福特绿色田实验室）
本文提出了一种贝叶斯优化系统，通过直接优化设计参数与目标规范的合规性来部分自动化工程设计流程，并在车辆底盘设计问题中验证了其通用性、可扩展性和高效性。
2022-06-17 cs.AI cs.CE cs.LG
On the Convergence of the Laplace Approximation and Noise-Level-Robustness of Laplace-based Monte Carlo Methods for Bayesian Inverse Problems
逆问题的贝叶斯方法为测量、参数和模型中的不确定性的合并和量化提供了一个严格的框架。我们感兴趣的是设计数值方法，这是强大的w.r.t.观测噪声的大小，即，在集中后验测度的情况下表现良好的方法。在实践中，后验概率的集中是非常理想的情况，因为它涉及信息量大的数据。然而，它可能会对基于先验或参考测量的数值方法构成计算挑战。我们建议在这种情况下，采用拉普拉斯近似的后验作为数值积分的基本措施。拉普拉斯近似是以最大后验估计为中心的高斯度量，其协方差阵取决于对数后验密度。讨论了Laplace近似的收敛性，分析了基于Laplace近似的蒙特卡罗方法的有效性，特别指出了基于Laplace近似的重要抽样方法和基于Laplace近似的拟蒙特卡罗方法是鲁棒的。对于大类的后验分布和被积函数，后验的集中度是很大的，而基于先验的重要性抽样和普通的拟蒙特卡罗方法则不是。数值实验来说明理论研究结果。
2020-06-26 cs.NA math.NA stat.CO
Efficient Bayesian computation by proximal Markov chain Monte Carlo: when Langevin meets Moreau
现代成像方法强烈依赖于贝叶斯推断技术来解决具有挑战性的成像问题。目前，主要的贝叶斯计算方法是凸优化，它非常有效地扩展到高维图像模型，并提供准确的点估计结果。然而，为了执行更复杂的分析，例如图像不确定性量化或模型选择，有必要使用计算更密集的贝叶斯计算技术，例如马尔可夫链蒙特卡罗方法。本文提出了一种新的和高效的马尔可夫链蒙特卡罗方法来执行贝叶斯计算的高维模型，是对数凹和非光滑，一类模型，是在成像科学的中心。该方法是基于一个正规化的未调整的Langevin算法，利用凸分析工具，即Moreau-Yoshida信封和邻近的运营商，构建马尔可夫链具有良好的收敛性能。除了有效地扩展到高维，该方法是直接适用于模型，目前解决了使用近似优化算法。我们提供了一个详细的理论分析，所提出的方法，包括渐近和非渐近收敛结果，易于验证的条件，并明确界定的收敛速度。所提出的方法证明了与四个实验相关的图像反卷积和断层重建与全变差和$\ell_1$先验，在那里我们进行了一系列具有挑战性的贝叶斯分析相关的不确定性量化，假设检验，和模型选择在地面真理的情况下。
2016-12-22 stat.CO stat.ME
Dynamically rescaled Hamiltonian Monte Carlo for Bayesian Hierarchical Models
动态重标度的哈密顿蒙特卡罗（DRHMC）是一种计算速度快，易于实现的方法进行全面的贝叶斯分析分层统计模型。该方法依赖于引入修改的参数化，使得重新参数化的目标分布具有接近恒定的缩放特性，并且因此使用标准（欧几里得度量）哈密顿蒙特卡罗容易地采样。如果指定分层模型的条件分布的参数化是“恒定信息参数化”（CIP），则修改后的参数化和原始参数化之间的关系是双射的，明确计算的，并且允许利用所涉及的数值线性代数中的稀疏性。CIP的一个大的目录的统计模型，并从目录中，很明显，许多CIP是目前经常使用的统计计算。讨论了该方法与一类显式积分Riemann流形哈密顿蒙特卡罗方法之间的关系。该方法说明了几个示例模型，包括一个模型的通货膨胀率与多个层次的非线性相关的潜变量。
2018-10-22 stat.CO stat.ME
Loss convergence in a causal Bayesian neural network of retail firm performance
我们通过将有向无环图实现为因果贝叶斯神经网络来扩展结构方程模型（SEM）的实证结果，该模型发表在《零售购买、零售商店运营和企业绩效的产品组合规划》一文中。神经网络的收敛性，以改善与最弱的SEM路径的节点的删除时，变分推断提供扰动权重与Flipout层，而结果从扰动权重在输出与Vadam优化器是不确定的。
2020-08-29 cs.LG stat.ML
Nonlinear MCMC for Bayesian Machine Learning
我们探讨了在[1]中首次引入的非线性MCMC技术在贝叶斯机器学习问题中的应用。我们提供了一个收敛保证总变分，使用新的结果，长时间收敛和大粒子（“混沌传播”）收敛。我们应用这种非线性MCMC技术的采样问题，包括贝叶斯神经网络CIFAR10。
2022-11-24 cs.LG math.PR stat.ML
Accelerating Convergence in Bayesian Few-Shot Classification
Center for Applied Statistics（应用统计中心）；School of Statistics, Renmin University of China（中国人民大学统计学院）；Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing（北京未来区块链与隐私计算高精尖创新中心）
本文提出将镜像下降变分推断集成到高斯过程少样本分类中，利用非欧几何实现加速收敛并改善不确定性量化，实验验证了其优于基线模型的性能。
2024-05-07 cs.LG stat.ML
Convergence of Bayesian Control Rule
University of Cambridge（剑桥大学）
最近，自适应控制的新方法试图将问题重新表述为相对熵准则的最小化，以获得易于处理的解决方案。特别是，它已被证明，最大限度地减少预期偏差的因果输入-输出依赖的真实工厂导致一个新的有前途的随机控制规则称为贝叶斯控制规则。这项工作证明了收敛的贝叶斯控制规则下两个充分的假设：有界性，这是一个遍历性条件;和一致性，这是一个实例的肯定的事情原则。
2010-02-16 cs.AI cs.LG
On the Convergence of the Shapley Value in Parametric Bayesian Learning Games
National University of Singapore（新加坡国立大学）
贡献度量是合作博弈论中的一个经典问题，Shapley值是最著名的解概念。本文建立了参数贝叶斯学习博弈中Shapley值的收敛性，其中博弈者使用他们的组合数据进行贝叶斯推理，后验先验KL散度被用作特征函数。我们表明，对于任何两个球员，在一定的规律性条件下，他们的Shapley值的差异收敛于概率的Shapley值的差异的限制游戏，其特征函数是成比例的联合Fisher信息的对数行列式。作为一个应用，我们提出了一个在线协作学习框架，是渐近Shapley公平的。我们的结果使这一点能够实现，而无需任何昂贵的计算后验先验KL分歧。只需要Fisher信息的一致估计量。我们的框架的有效性证明了使用真实世界的数据与实验。
2022-06-14 cs.GT cs.LG stat.ML
Physics-Informed Machine Learning of Dynamical Systems for Efficient Bayesian Inference
Idaho National Laboratory（爱达荷国家实验室）；Johns Hopkins University（约翰斯·霍普金斯大学）
虽然无U形转弯采样器（NUTS）是用于执行贝叶斯推断的广泛采用的方法，但是它需要大量的后验梯度，这在实践中可能是昂贵的。近年来，人们对基于物理的动态（或哈密顿）系统的机器学习产生了极大的兴趣，而哈密顿神经网络（HNN）是一种值得注意的体系结构。但是这些类型的架构还没有被应用于有效地解决贝叶斯推断问题。我们建议使用HNN进行贝叶斯推断有效地，而不需要大量的后验梯度。我们将潜在变量输出引入HNN（L-HNN），以提高表达能力并减少集成错误。我们将L-HNN集成到NUTS中，并进一步提出了一种在线错误监控方案，以防止L-HNN可能具有很少训练数据的区域的采样退化。我们证明了L-HNNs在NUTS与在线错误监控考虑几个复杂的高维后验密度，并比较其性能NUTS。
2022-09-19 cs.LG stat.ML
Exponential Convergence of CAVI for Bayesian PCA
Department of Mathematics and Statistics（数学与统计学系）；Université de Montréal（蒙特利尔大学）
本文首次证明了贝叶斯主成分分析中坐标上升变分推断（CAVI）的指数收敛性，通过连接幂迭代算法及引入新的KL散度下界，填补了理论空白。
2025-05-22 cs.LG stat.ML
Learning and Policy Search in Stochastic Dynamical Systems with Bayesian Neural Networks
Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）；University of Cambridge（剑桥大学）；Harvard University（哈佛大学）
我们提出了一种基于模型的强化学习算法，该算法将贝叶斯神经网络（BNN）与随机推出和随机最优化策略学习相结合。BNN通过最小化$α$ -分歧来训练，使我们能够捕获过渡动态中的复杂统计模式，例如多模态和异方差性，这些通常被其他常见的建模方法所遗漏。我们通过解决一个具有挑战性的基准来说明我们的方法的性能，其中基于模型的方法通常会失败，并通过在现实世界的情况下获得有希望的结果来控制燃气轮机。
2017-03-08 cs.LG stat.ML
On the Convergence of Locally Adaptive and Scalable Diffusion-Based Sampling Methods for Deep Bayesian Neural Network Posteriors
本文研究深度贝叶斯神经网络后验采样的局部自适应扩散方法，证明即使步长趋零且全批处理，这些方法仍可能采样到有偏分布，不收敛于正确后验。
2024-03-14 cs.LG stat.ML
Probabilistic solution of chaotic dynamical system inverse problems using Bayesian Artificial Neural Networks
The Alan Turing Institute（艾伦·图灵研究所）；University of Warwick（华威大学）
介绍了贝叶斯人工神经网络在常微分方程反问题中的应用。我们考虑的情况下，估计一个未知的混沌动力系统的过渡模型，从状态观测数据。混沌系统的逆问题在数值上具有挑战性，因为模型参数的小扰动可能导致估计的前向轨迹发生非常大的变化。贝叶斯人工神经网络可用于同时拟合模型和估计模型参数不确定性。模型参数不确定性的知识，然后可以被纳入到推断系统的前向时间演化的概率估计。通过对Sprott B混沌系统的数值分析，证明了该方法的有效性.系统的观测值被用来估计参数多项式核人工神经网络的权值的后验预测分布。结果表明，所提出的方法是能够执行准确的时间预测。此外，所提出的方法是能够正确地考虑模型的不确定性，并提供有用的预测不确定性界。
2020-05-26 cs.LG stat.ML
Bayesian Inference in Recurrent Explicit Duration Switching Linear Dynamical Systems
University of Wroclaw（弗罗茨瓦夫大学）
本文提出REDSLDS模型，通过引入循环显式持续时间变量并采用Pólya-gamma增广进行推断，在三个基准数据集上提升了分割能力。
2024-11-06 cs.AI cs.LG math.DS
From Shallow Bayesian Neural Networks to Gaussian Processes: General Convergence, Identifiability and Scalable Inference
Universidade do Estado de Minas Gerais (UEMG)（巴西米纳斯戈亚斯州大学）；Universidade Federal de Minas Gerais (UFMG)（巴西联邦大学矿务学院）
本文研究了浅层贝叶斯神经网络到高斯过程的收敛性，提出了一种新的协方差函数，并通过实验验证了其在可扩展推断中的有效性。
2026-02-26 cs.AI cs.LG stat.ML
A Bayesian framework for discovering interpretable Lagrangian of dynamical systems from data
Indian Institute of Technology Delhi（德里印度理工学院）
提出一种稀疏贝叶斯框架，从有限数据中学习可解释的拉格朗日量，并自动推导哈密顿量，支持ODE和PDE描述，经六个离散与连续系统验证有效。
2023-10-10 cs.LG stat.ML
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University（迪肯大学）
该研究围绕贝叶斯优化，提出结合导数信息与可扩展稀疏高斯过程，以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
Analysis of Bayesian Inference Algorithms by the Dynamical Functional Approach
Technische Universität Berlin（柏林工业大学）
我们分析了一个算法的动态近似推理与大高斯潜变量模型在学生-教师的情况。为了对潜在变量之间的非平凡依赖关系进行建模，我们假设从旋转不变集合中提取随机协方差矩阵。对于完美的数据模型匹配的情况下，来自副本方法的静态顺序参数的知识，使我们能够获得有效的算法更新的矩阵向量乘法与一个固定的矩阵。利用动力泛函方法，我们得到了一个精确的有效随机过程的热力学极限为一个单一的节点。由此，我们得到了收敛速度的封闭形式表达式。分析结果与大型模型的单实例模拟结果吻合良好。
2020-01-14 cond-mat.dis-nn cs.LG stat.ML
Fast Bayesian Non-Negative Matrix Factorisation and Tri-Factorisation
University of Cambridge（剑桥大学）
本文提出一种快速变分贝叶斯算法，用于非负矩阵分解和三因子分解，相比Gibbs采样和非概率方法，该方法在迭代和时间步收敛速度更快，且无需额外样本估计后验。
2016-10-26 cs.AI cs.LG cs.NA
A Bayesian Approach To Graph Partitioning
提出了一种基于高斯过程（GP）的局部图电导学习算法，该算法利用MCMC的收敛思想，构造了一种可扩展的、快速收敛到平稳分布的算法，用于学习无向加权图中电导的最小值.第一个度量嵌入用于表示图的顶点。然后，计算训练点的均匀诱导电导。最后，在学习步骤中，使用高斯过程来近似均匀诱导电导。MCMC用于度量估计超参数的不确定性。
2022-04-24 cs.LG
Fast Parallel SAME Gibbs Sampling on General Discrete Bayesian Networks
University of California, Berkeley（加州大学伯克利分校）
在机器学习和相关领域中的基本任务是在贝叶斯网络上执行推理。由于精确推理通常需要指数时间，因此使用了各种近似方法。吉布斯抽样是最准确的方法之一，并提供无偏样本的后验，但它历来是太昂贵的大型模型。在本文中，我们提出了一个优化的，并行吉布斯采样增强状态复制（或状态增强边际估计），以减少收敛时间。我们发现，改进的参数估计的质量，同时加速收敛。合成和真实数据的实验表明，我们的吉布斯采样器是大大快于最先进的采样器，JAGS，而不牺牲精度。我们的最终目标是向许多领域的研究人员介绍吉布斯采样器，以扩大他们可行推理问题的范围。
2015-11-19 cs.LG stat.ML
Learning Dynamical Systems from Multiple Sparse Datasets: A Hierarchical Bayesian Modeling Approach
SUPSI, Dalle Molle Institute for Artificial Intelligence (IDSIA USI-SUPSI), Lugano, Switzerland（瑞士南方应用科技大学，达勒莫尔人工智能研究所（IDSIA USI-SUPSI），卢加诺，瑞士）
提出层次贝叶斯框架，通过共享种群分布建模多个稀疏、含噪、不规则采样数据集，结合ODE求解器和梯度MCMC实现高效后验推断，提升预测性能。
2026-06-25 cs.LG
Bayesian Nonparametric Dynamical Clustering of Time Series
本文提出一种贝叶斯非参数方法，通过层次狄利克雷过程和高斯过程先验建模无限聚类的时间序列动态切换，实现高效聚类并避免过度增殖，在心电图分析中验证有效性。
2026-10-21 cs.AI cs.LG stat.AP
Flow-based Bayesian filtering for high-dimensional nonlinear stochastic dynamical systems
School of Mathematical Sciences, Tongji University（同济大学数学科学学院）；Department of Mathematics, Shanghai Normal University（上海师范大学数学系）
针对高维非线性随机动力系统的贝叶斯滤波问题，提出基于流的贝叶斯滤波器（FBF），利用归一化流构建具有高斯滤波分布的潜在线性状态空间模型，实现高效数据驱动的滤波。
2025-03-05 cs.LG cs.NA math.NA
Extracting Signal out of Chaos: Advancements on MAGI for Bayesian Analysis of Dynamical Systems
Harvard University（哈佛大学）
本文提出pMAGI和PMSP两种新方法，改进MAGI框架以在稀疏噪声数据下实现ODE动力系统的贝叶斯参数推断、轨迹重建、稳定性分类与多步预测，并显著优于PINN方法。
2024-08-20 cs.LG math.DS stat.CO
Probabilistic Digital Twin for Misspecified Structural Dynamical Systems via Latent Force Modeling and Bayesian Neural Networks
Department of Applied Mechanics, Indian Institute of Technology Delhi（印度理工学院德里分校应用力学系）
本文提出一种基于潜在力建模和贝叶斯神经网络的概率数字孪生框架，用于误指定结构动力学系统的响应预测，通过联合估计模型误差和系统状态以提升预测准确性与鲁棒性。
2025-11-27 cs.LG stat.AP stat.ML
Online Bayesian Experimental Design for Partially Observed Dynamical Systems
Department of Electrical Engineering and Automation, Aalto University, Espoo, Finland（电气工程与自动化系，阿alto大学，埃斯波，芬兰）
本文提出了一种在线贝叶斯实验设计方法，通过边缘化潜在状态来解决部分可观测动力学系统中的信息增益估计问题，并在SIR模型和移动源定位任务中验证了其有效性。
2026-01-29 cs.LG stat.CO stat.ML
Convergence and Loss Bounds for Bayesian Sequence Prediction
如果序列$x_1x_2x_3...$的真实生成分布$μ$已知，则可以用贝叶斯规则计算在给定过去观测值$x_1...x_{t-1}$的情况下在时间$t$观测到$x_t$的概率。如果$μ$是未知的，但已知属于类$M$，则可以将预测基于贝叶斯混合$ξ$，该贝叶斯混合$ξ$定义为分布的加权和$ν\in M$。各种收敛结果的混合后$ξ_t$真正的后$μ_t$。特别是一个新的（初等）推导的收敛$ξ_t/μ_t\to 1$提供，它另外给出了收敛速度。允许通用序列预测器基于$x_1...x_{t-1}$选择动作$y_t$，并且如果$x_t$是序列的下一个符号，则接收丢失$\ell_{x_t y_t}$。对$\ell$（除了有界）和$M$的结构没有任何假设。定义了基于混合$ξ$的贝叶斯最优预测方案$Λ_ξ$和贝叶斯最优有信预测方案$Λ_μ$，并证明了$Λ_ξ$的总损失$L_ξ$关于$Λ_μ$的总损失$L_μ$有界.证明了$L_ξ$对于有界$L_μ$是有界的，$L_ξ/L_μ\to 1$对于$L_μ\to \infty$是有界的.瞬时损失的收敛性也被证明。
2003-01-16 cs.AI cs.LG math.PR
