Asymptotics for power posterior mean estimation
本文研究幂后验的渐近矩性质,证明其矩收敛于 Bernstein-von Mises 极限正态分布,并据此说明幂后验均值与最大似然估计量渐近等价。
2024-01-18 math.ST stat.TH
Pareto Set Identification With Posterior Sampling
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院);EPFL(洛桑联邦理工学院)
本文提出 PSIPS 算法,利用后验采样在转导线性设置中解决 Pareto 集合识别问题,兼顾结构相关性与计算效率,并证明其渐近最优性及实证优势。
2024-11-07 cs.LG stat.ML
Bayesian Fixed-domain Asymptotics for Covariance Parameters in a Gaussian Process Model
高斯过程模型通常在需要从数据估计的协方差函数中包含有限维参数。研究了具有各向同性Matern协方差函数的泛克立格模型中协方差参数的贝叶斯固定域渐近性,该模型在空间统计中有着广泛的应用.证明了当区域维数小于或等于3时,微遍历参数和极差参数的联合后验分布在固定区域渐近下可以独立地分解为它们的边际后验的乘积.微各态历经参数的后验分布在全变差距离上渐近接近于方差收缩的正态分布,而极差参数的后验分布一般不收敛于任何点质量分布.我们的理论允许一个无界的先验支持的范围参数和灵活的设计采样点。我们进一步研究了协方差参数随机抽取于其后验分布的贝叶斯克里金预测器的后验预测的渐近效率和收敛速度。在一维Ornstein-Uhlenbeck过程的特殊情况下,我们明确地导出了极差参数的极限后验和后验预测的渐近有效性的后验收敛速度.我们在数值实验中验证了这些渐近结果。
2022-09-25 math.ST stat.TH
On Bayesian Oracle Properties
当模型的不确定性由贝叶斯模型平均(BMA)或贝叶斯模型选择(BMS)处理时,如果对于足够大的数据,后验分布几乎与预言后验分布一样好,则它具有用于参数推断的理想的“预言属性”,预言后验分布是通过不切实际地假设真实模型是已知的并且仅使用真实模型而获得的。我们在一个非常一般的拟后验情形下研究预言机的性质,它可以适应具有立方根渐近性和部分可辨识性的非正则模型。我们的方法证明的预言属性是基于一个统一的治疗,边界模型误选择的后验概率。这个理论框架可能会引起贝叶斯统计学家的兴趣,他们除了实证结果之外,还希望从理论上证明他们的新模型选择或模型平均方法的合理性。此外,对于非正则模型,我们得到了关于先验惩罚对模型复杂性的影响、拟后验的温度参数以及BMA优于BMS的非平凡结论。
2018-02-02 math.ST stat.TH
On the Robustness to Misspecification of $α$-Posteriors and Their Variational Approximations
Columbia University(哥伦比亚大学);Northwestern University(西北大学)
$α$ -后验和它们的变分近似通过降低似然的权重和引入变分近似误差来扭曲标准后验推断。我们表明,这种扭曲,如果调整适当,减少Kullback-Leibler(KL)偏离真实的,但也许是不可行的,后验分布时,有潜在的参数模型误设定。为了使这一点,我们推导出一个Bernstein-von Mises定理,显示收敛的全变差距离的$α$后验和他们的变分近似极限高斯分布。我们使用这些分布来评估真实和报告后验之间的库尔贝克-莱布勒散度。我们表明,这种分歧是最小化的选择严格小于一个$α$,假设有一个消失的小概率模型误设定。当错误设定变得更严重时,优化值变得更小。优化后的库尔贝克-莱布勒散度在错误指定的程度上线性增加,而不是像通常的后验那样线性增加。
2021-04-16 cs.LG math.ST stat.ML
Conditional Dirichlet Processes and Functional Condition Models
本文研究条件狄利克雷过程在泛函条件模型中的应用,推导参数与分布的后验及两个极限定理,提出计算算法,并证明杰弗里斯替代似然为边际后验极限。
2025-06-19 math.ST stat.TH
Characterizing Finite-Dimensional Posterior Marginals in High-Dimensional GLMs via Leave-One-Out
Universidad de San Andres(圣安德烈斯大学);Harvard University(哈佛大学)
本文通过留一验证法研究了高维GLMs中后验边缘分布的极限行为,证明后验不收缩且收敛于先验的高斯倾斜分布,并展示了后验均值在均方误差上的优势。
2025-12-31 math.ST stat.ME stat.TH
Multiscale Bayesian Survival Analysis
我们考虑贝叶斯非参数推断的右删失生存模型,其中建模是在风险率的水平。我们推导出后验极限分布的线性泛函的危害,然后为“许多”泛函同时在适当的多尺度空间。作为一个应用程序,我们推导出Bernstein-von Mises定理的累积风险和生存函数,这导致这些数量的渐近有效的置信带。此外,我们展示了最佳后验收缩率的上确界范数的危险。在医学研究中,一种流行的方法是先验地将危险建模为具有可能相关高度的随机直方图。这类和更一般的任意光滑的先验分布被认为是我们的理论的应用。为可能相关的直方图后验提供了采样器。它的有限样本性质进行了研究模拟和真实数据实验。
2021-05-31 math.ST stat.TH
Exact Bayes Regret and Asymptotic Optimality in High-Dimensional Gaussian Bandits
Abstract Math Institute(抽象数学研究所)
研究高维高斯线性老虎机,推导汤普森采样与贪心选择的精确贝叶斯遗憾,证明贪心策略渐近最优而汤普森采样遗憾更大。
2026-09-25 cs.LG math.ST stat.ML
Gibbs posterior convergence and the thermodynamic formalism
在本文中,我们考虑了贝叶斯框架的推断动力系统遍历观测。建议的贝叶斯过程是基于吉布斯后验,标准贝叶斯推理的决策理论概括。我们把一个先验模型类组成的参数化家庭的吉布斯措施的混合移位的有限型。这个模型类通过允许长范围依赖性来概括(隐藏)马尔可夫链模型,包括任意大阶的马尔可夫链。我们刻画了当观测值个数趋于无穷大时,Gibbs后验分布在参数空间上的渐近行为。特别是,我们定义了一个有限的变分问题的空间上的连接的模型系统与观察到的系统,我们表明,吉布斯后验分布集中在这个变分问题的解决方案。在适当指定的模型的情况下,我们的收敛结果可以用来建立后验一致性。这项工作建立了吉布斯后验推理和热力学形式主义之间的紧密联系,这可能会激发新的证明技术在相依过程的贝叶斯后验一致性的研究。
2019-01-24 math.DS math.PR math.ST
High-Dimensional Bernstein Von-Mises Theorems for Covariance and Precision Matrices
Florida State University(佛罗里达州立大学);University of Florida(佛罗里达大学);University of Technology Sydney(悉尼科技大学)
本文研究了高维情况下协方差与精度矩阵后验分布的渐近正态性,提出在特定增长限制下,其极限分布为对称矩阵正态分布,并适用于广泛先验分布。
2026-01-30 math.ST stat.TH
Identification of Gaussian Process State Space Models
高斯过程状态空间模型(GPSSM)是一个非线性动力学系统,其中未知的转移和/或测量映射由GP描述。GPSSM中的大多数研究集中在状态估计问题上,即,在给定所述模型的情况下计算所述潜在状态的后验。然而,GPSSM中的关键挑战尚未得到令人满意的解决:系统识别,即,学习模型。为了解决这一挑战,我们施加一个结构化的高斯变分后验分布的潜在状态,这是一个双向递归神经网络的形式的识别模型参数化。这种结构的推理使我们能够恢复一个后验平滑的数据序列。我们提供了一个实用的算法,有效地计算上的边缘似然使用reparameterisation技巧的下限。这进一步允许在GPSSM内使用任意内核。我们证明,学习的GPSSM可以有效地产生合理的未来轨迹的识别系统后,只观察少量的情节从真正的系统。
2017-11-07 stat.ML
Variational message passing for online polynomial NARMAX identification
TU Eindhoven(埃因霍温理工大学)
提出了一种在线非线性系统辨识的变分贝叶斯推断方法。对于每个输出观测,更新一组参数后验分布,然后将其用于形成未来输出的后验预测分布。我们专注于一类多项式NARMAX模型,我们铸造成概率的形式,并表示在Forney风格的因子图。在这个图中的推理是有效地执行的变分消息传递算法。我们的经验表明,我们的变分贝叶斯估计优于在线递归最小二乘估计,最明显的是在小样本量设置和低噪声制度,并执行与离线训练的迭代最小二乘估计。
2022-04-02 cs.LG cs.SY eess.SP
A Theory of Bootstrap Coverage Calibration for Generalized Posterior Credible Sets
Faculty of Economics, Fukuoka University(福冈大学经济学部)
针对广义后验可信集缺乏频率覆盖渐近保证的问题,提出通过Bootstrap估计覆盖并选择标量学习率进行校准,利用Edgeworth展开分析覆盖误差来源,证明校准的一致性。
2026-06-25 math.ST stat.CO stat.ME
Asymptotic Properties of Approximate Bayesian Computation
近似贝叶斯计算允许在具有棘手可能性的模型中进行统计分析。本文考虑用这种方法得到的后验分布的渐近性质。我们给出了一般结果的速度后验分布集中在集包含真正的参数,它的限制形状,和渐近分布的后验均值。这些结果在方法中使用的公差的给定比率、汇总统计量的温和正则条件以及与真实参数识别相关的条件下保持不变。从业人员的影响进行了讨论。
2018-05-08 math.ST stat.CO stat.ME
Posterior Covariance Structures in Gaussian Processes
Southern Methodist University(南卫理公会大学);Georgia Institute of Technology(佐治亚理工学院);Emory University(埃默里大学)
本文全面分析了高斯过程中的后验协方差场,揭示带宽参数和观测分布对协方差矩阵的影响,并借鉴自适应有限元方法提出高效估计器用于协方差矩阵近似与预处理。
2025-04-01 cs.LG cs.NA math.NA
Bayesian System Identification based on Hierarchical Sparse Bayesian Learning and Gibbs Sampling with Application to Structural Damage Assessment
本文的重点是贝叶斯系统识别噪声不完整的模态数据的基础上,我们可以在更新结构模型时施加空间稀疏刚度的变化。为此,基于我们以前的工作类似的层次稀疏贝叶斯学习模型,我们提出了两个吉布斯抽样算法。这两种算法处理方程误差精度参数后验不确定性的策略不同,但都是从结构刚度参数和系统模态参数的条件后验概率密度函数(PDF)中采样。吉布斯抽样的有效维数较低,因为迭代采样仅从对应于三个参数组的三个条件后验PDF中完成,同时从其中一个算法中的另一个条件后验PDF中对方程误差精度参数进行采样,其中方程误差精度参数未被整合为“滋扰”参数。从计算的角度来看,一个很好的特点是,它是没有必要解决一个结构模型的非线性特征值问题。所提出的算法的有效性和鲁棒性说明将它们应用到IASE ASCE第二阶段的模拟和实验基准研究。我们的目标是使用不完整的模态数据识别之前和之后可能的损害,以检测和评估空间稀疏的刚度降低引起的任何损害。我们过去和现在的重点是满足所产生的挑战,从贝叶斯推断的结构刚度服务,以加强基于振动的结构系统识别的能力,但我们的方法也有更广泛的适用性,在科学和技术的逆问题,系统矩阵是从噪声的部分信息推断其特征量。
2017-01-13 stat.AP stat.ME stat.ML
Bayesian Subspace Identification in the MIMO Case
FEDERAL UNIVERSITY OF MINAS GERAIS(米纳斯吉拉斯联邦大学)
本文提出了一种适用于多输入多输出系统的贝叶斯子空间识别方法,并通过实验验证其有效性。
2025-12-30 cs.SY eess.SY stat.AP
Error Bounds for Kernel-Based Linear System Identification with Unknown Hyperparameters
基于核的方法已成功地应用于线性系统的识别使用稳定的核设计。从高斯过程的角度来看,它自动提供概率误差界的后验协方差,这是有用的鲁棒性和随机控制的识别模型。然而,误差界需要在内核设计的真正的超参数的知识,并证明是不准确的轻阻尼系统的超参数估计或存在高噪声。在这项工作中,我们提供了可靠的量化的超参数未知时的估计误差。通过首先从边缘似然函数中构造真实超参数的高概率集合,然后在集合中找到最坏情况的后验协方差,来获得边界。数值模拟结果验证了该界的有效性。
2023-03-17 cs.SY eess.SY stat.ML
Stabilities of Shape Identification Inverse Problems in a Bayesian Framework
在贝叶斯框架下研究了一般形状识别反问题。这个问题需要从有限维观测数据中确定欧几里得空间中一个域的未知形状,这些观测数据带有一些高斯随机噪声。然后,对观测数据的后验稳定性进行了研究。对于空间的每个点,考虑该点被包括在给定观测数据的未知域中的条件概率。并对这种概率分布的稳定性进行了研究。作为我们的反问题的模型问题,热反问题被认为是。这个问题需要从热导体表面的某个部分的温度数据来确定热导体中的空腔的未知形状。为了将上述稳定性结果应用于该模型问题,需要前向算子的可测性和有界性。显示了这些属性。
2020-02-18 math.AP math.ST stat.TH
Bayesian Parameter Identification for Jump Markov Linear Systems
本文提出了一种跳变马尔可夫线性系统参数辨识的贝叶斯方法。一个主要的动机是提供准确的量化参数的不确定性,而不依赖于渐近的数据长度参数。为了实现这一点,本文详细介绍了粒子吉布斯抽样方法,提供所需的后验分布的样本。这些样本是通过利用修改后的离散粒子滤波器和精心选择的共轭先验。
2021-02-10 cs.SY eess.SY stat.AP
The Impact of Likelihood Tempering on the Limiting Predictive Moments of Variational Bayesian Linear Neural Networks
University of Toronto(多伦多大学);Dunlap Institute for Astronomy and Astrophysics(邓拉普天文学与天体物理研究所)
本文研究变分贝叶斯线性神经网络中似然温度调节对极限预测矩的影响,发现预测期望和方差在不同温度衰减尺度下发生相变,并可通过调节温度参数恢复NNGP后验的期望或方差。
2026-10-08 cs.LG stat.ML
Dynamical System Identification, Model Selection and Model Uncertainty Quantification by Bayesian Inference
本研究提出了一种用于动力学系统辨识的贝叶斯MAP框架,等价于广义Tikhonov正则化,并证明其后验高斯范数为不同系统和噪声模型下的定量模型选择提供了稳健度量。
2024-07-22 nlin.CD stat.ME stat.ML
MCMC with Adaptive Principal-Component Transformation: Rotation-Invariant Universal Samplers for Bayesian Structural System Identification
Harbin Institute of Technology(哈尔滨工业大学);California Institute of Technology(加州理工学院)
本文提出APM-SGHMC算法,通过自适应旋转坐标轴对齐当前后验样本的主成分方向,实现旋转不变的采样性能,提升贝叶斯结构系统识别的通用性和效率。
2026-04-25 stat.AP stat.ME stat.ML
Parameterizations for Large-Scale Variational System Identification Using Unconstrained Optimization
该研究提出三种状态路径后验分布参数化方式,实现可无约束优化的变分系统辨识估计器,其中卷积平滑器结合小批量随机优化可处理大规模系统与数据,线性场景下GPU并行性能匹配序列预测误差法,适用于系统控制领域的深度模型辨识。
2024-09-24 stat.AP
A Bayesian partial identification approach to inferring the prevalence of accounting misconduct
本文介绍了使用灵活的贝叶斯回归模型估计部分确定的概率函数。我们的方法允许有效的敏感性分析关于先验对回归模型的部分确定的组成部分的后验影响。新的方法说明了一个重要的问题,只有部分观察到的数据是可用的-推断的普遍存在的会计不当行为之间的公开交易的美国企业。
2015-03-06 stat.ME
A Bayesian framework for molecular strain identification from mixed diagnostic samples
School of Computer Science, Reykjavik University(雷克雅未克大学计算机学院)
本文提出了一种贝叶斯框架,用于从混合DNA样本中识别多种微生物菌株,通过逆问题建模同时估计菌株突变矩阵和混合比例向量,以解决疾病爆发监测中的路径菌株识别问题。
2018-07-08 cs.NA math.NA q-bio.QM
Inferential models: A framework for prior-free posterior probabilistic inference
没有先验信息的后验概率统计推断是一个重要但至今难以实现的目标。Fisher的信念推断、Dempster-Shafer信念函数理论和具有默认先验的贝叶斯推理都试图实现这一目标,但迄今为止,没有一个给出完全令人满意的画面。本文提出了一种新的概率推理框架,推理模型(IMs)的基础上,它不仅提供了数据相关的概率测量的未知参数的不确定性,但这样做的自动长期运行的频率校准属性。这种新方法的关键是识别与可观测数据和未知参数相关联的不可观测辅助变量,并在对数据进行调节之前用随机集预测该辅助变量。在这里,我们提出了一个三步IM建设,并证明了IM的信度函数在温和的条件下的频率校准属性。相应的最优性理论的发展,这有助于解决的非唯一性问题。几个例子来说明这种新的方法。
2013-03-23 math.ST stat.ME stat.TH
Constraint residuals, graph posteriors, and determinant-corrected full-space targets in Bayesian inverse problems
University of Amsterdam(阿姆斯特丹大学);Advanced Research Center for Nanolithography(纳米光刻高级研究中心)
针对等式约束贝叶斯逆问题,证明了残差惩罚与约化后验不等价,并推导了行列式校正项以实现图提升约化后验的硬约束极限。
2026-06-08 cond-mat.stat-mech cs.NA math-ph
Posterior uncertainty for kernel density estimates
Norwegian Defence Research Establishment (FFI)(挪威国防研究所);Department of Mathematics, University of Oslo(奥斯陆大学数学系);BI Norwegian Business School, Oslo(BI挪威商学院)
研究预测贝叶斯框架下经典核密度估计,证明预测测度几乎必然弱收敛,给出极限随机概率测度矩的估计,表明重采样序列不满足标准假设,还为高斯核导出可信区间并用于真实数据集。
2026-07-07 stat.ME
Variations of Power-Expected-Posterior Priors in Normal Regression Models
功率期望后验(PEP)先验是高斯线性模型的一种客观先验,在M-闭情形下,PEP先验导致一致的模型选择推理,并倾向于简约模型.最近,提出了两种新形式的PEP先验,将其适用性推广到更广泛的模型。这两个PEP变量的正常线性模型的上下文中的属性进行了彻底的检查,集中在先前的分散和诱导模型选择过程的一致性。结果表明,这两个PEP的变种有更大的方差比单位信息g先验,他们是M-封闭一致的限制行为的相应的边际似然匹配的BIC。在M-开的情况下,使用三种不同的模型误设定的情况下的一致性进一步研究。
2019-11-21 stat.ME
Canonical Bayesian Linear System Identification
Massachusetts Institute of Technology(麻省理工学院);Broad Institute of MIT and Harvard(MIT和哈佛大学Broad研究所);Basis Research Institute(Basis研究机构);Eric and Wendy Schmidt Center(埃里克和温迪·施密特中心);BCAM (Basque Center for Applied Mathematics)(BCAM(巴斯克应用数学中心));Ikerbasque (Basque Foundation for Science)(Ikerbasque(巴斯克科学基金会))
针对LTI系统贝叶斯辨识中的参数不可辨识与多模态后验问题,提出将规范形式嵌入贝叶斯框架,实现可辨识推断、结构先验与渐近理论保证,并通过MCMC实验验证其效率和不确定性估计优势。
2025-08-28 cs.LG cs.SY eess.SY
Identification of the parameters of complex constitutive models: Least squares minimization vs. Bayesian updating
本文针对复杂本构模型的材料参数识别,比较最小二乘最小化与基于 MCMC 的贝叶斯更新,并讨论似然函数高效近似方法以降低计算成本。
2024-08-09 math.PR math.ST physics.data-an
BINDy -- Bayesian identification of nonlinear dynamics with reversible-jump Markov-chain Monte-Carlo
Dynamics Research Group University of Sheffield(动力学研究组谢菲尔德大学)
针对非线性动力学稀疏识别易过拟合的问题,提出基于可逆跳跃马尔可夫链蒙特卡洛的贝叶斯方法BINDy,通过联合后验分布推断在模型空间生成稀疏模型,在基准案例中表现优于ensemble SINDy。
2025-06-25 cs.LG math.DS stat.ML
Maximum likelihood versus likelihood-free quantum system identification in the atom maser
我们考虑的系统识别问题估计的马尔可夫量子开放系统(原子脉泽)的动力学参数,通过执行连续时间测量系统的输出(传出的原子)。两种估计方法进行了研究和比较。一方面,极大似然估计(MLE)考虑了全部测量数据,并且就其均方误差而言是渐近最优的。另一方面,近似贝叶斯计算的“无可能性”方法通过在不同参数值下对轨迹进行采样并通过选定的统计数据将其与测量数据进行比较,为给定的一组汇总统计数据产生后验分布的近似值。我们的分析是在原子脉泽模型上进行的,它表现出有趣的特征,如双稳态和动态相变,并与隐马尔可夫过程的经典理论有联系。建立在以前的结果表明,原子计数是穷人的统计拉比角的某些值,我们应用极大似然估计的完整的测量数据,并估计其Fisher信息。然后,我们选择几个相关的统计,如等待时间,连续相同的检测分布,并使用它们作为输入的ABC算法。由此产生的后验分布密切遵循的数据可能性,显示所选的统计包含“最”的拉比角的统计信息。
2013-11-16 quant-ph stat.ME
Bayesian parameter identification in Cahn-Hilliard models for biological growth
Technische Universität München(慕尼黑工业大学);The Chinese University of Hong Kong(香港中文大学)
本文研究了在肿瘤生长的扩散界面模型中参数估计的反问题,采用贝叶斯框架构建似然函数和噪声,通过两种典型观测设置分析后验测度的well-posedness,并利用合成数据进行数值示例,采用退火序贯蒙特卡洛方法近似后验测度。
2019-02-15 cs.NA math.AP math.NA
Gaussian Processes and Limiting Linear Models
高斯过程保留线性模型作为特殊情况,或在极限。我们展示了如何利用这种关系时,数据至少部分线性。然而,从贝叶斯后验的角度来看,对线性模型进行编码的高斯过程具有接近零的概率,或者在没有考虑到限制性线性模型的先验的明确构造的情况下是无法达到的。我们开发了这样一个先验,并表明其实际好处远远超出了计算和概念简单的线性模型。例如,线性度可以在每个维度的基础上提取,或者可以与树状分区模型组合以产生高效的非平稳模型。我们的方法是证明在不同的线性和维数的合成和真实的数据集。
2008-07-13 stat.ME stat.ML
Notes on the Reward Representation of Posterior Updates
Daios Technologies(达伊奥斯技术)
研究探讨了后验更新如何通过证据重新加权确定相对激励信号,同时指出绝对奖励的上下文依赖性及跨更新方向的连贯性约束。
2026-02-02 cs.AI cs.LG stat.ML
System identification using Bayesian neural networks with nonparametric noise models
系统辨识在科学和工程中具有特殊的意义。本文研究随机动态系统中的系统辨识问题,其目的是估计系统的参数及其未知噪声过程。特别是,我们提出了一个贝叶斯非参数方法的系统识别离散时间非线性随机动力系统假设只有马尔可夫过程的顺序是已知的。该方法取代了高斯分布的误差分量的假设与一个高度灵活的家庭的概率密度函数的基础上贝叶斯非参数先验。此外,利用贝叶斯神经网络估计系统的函数形式,这也导致灵活的不确定性量化。在隐层神经元个数上,该模型渐近收敛于完全非参数贝叶斯回归模型。提出了一种用于后验推理的Gibbs采样器,并在模拟和真实时间序列上说明了其有效性。
2022-01-25 stat.ME stat.ML
Bayesian System ID: Optimal management of parameter, model, and measurement uncertainty
University of Michigan(密歇根大学)
我们评估的系统识别(ID)的概率公式的鲁棒性稀疏,嘈杂,和间接的数据。具体地说,我们比较了来自学习问题的贝叶斯后验的未来系统行为的估计量与几种常用的最小二乘,我们的比较表明,与传统方法的目标函数表面相比,对数后验具有改进的几何特性,传统方法包括离散时间步长的差分约束最小二乘和最小二乘重建,如动态模式分解(DMD)。这些属性使它对新数据更敏感,受多个最小值的影响更小-总体上产生了一种更鲁棒的方法。我们的理论结果表明,最小二乘和正则化最小二乘方法,如动态模式分解和稀疏识别的非线性动力学(SINDy),可以从概率公式假设无噪声测量。我们还分析了高斯滤波器为基础的近似边缘马尔可夫链蒙特卡罗计划,我们用来获得线性和非线性问题的贝叶斯后验的计算复杂性。然后,我们经验性地证明,获得参数动态的边际后验并通过提取最佳估计量(例如,平均值、中位数、众数)比上述方法产生了数量级的改进。我们将这种性能归因于贝叶斯方法捕获参数,模型和测量不确定性,而其他方法通常忽略至少一种类型的不确定性。
2020-03-04 cs.LG math.DS physics.data-an
On the Sequentially Semiseparable Structure of SDE-Induced Kernels and Efficient Algorithms for Kernel-Based Estimation Problems
Technical University of Denmark(丹麦技术大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文研究LTI SDE诱导核的SSS结构,提出线性复杂度递归算法用于GP回归及系统辨识中的核估计,涵盖分解、求解、梯度与采样,并经数值实验验证。
2026-10-06 cs.NA math.NA stat.ML
Richer priors for infinitely wide multi-layer perceptrons
The University of Queensland(昆士兰大学)
多层感知器(MLP)参数的零均值iid先验分布所诱导的函数的分布在较弱的条件下收敛于高斯过程(GP)。我们首先将这一结果扩展到具有一般零或非零均值的独立先验,其次扩展到一个部分可交换先验族,该族概括了iid先验。我们讨论了如何自然产生的第二个先验时,考虑等价类的功能在MLP和通过训练过程,如随机梯度下降。由部分可交换先验得到的模型是GP,在先验和后验预测分布需要超参数边缘化的意义上具有额外的推断水平。我们推导出的内核的限制GP在深MLP,经验表明,这些内核避免某些病理存在于先前研究的先验。我们凭经验评估我们的索赔收敛测量有限宽度模型和限制模型之间的最大平均差异。我们比较我们的新的限制模型的性能,一些以前讨论过的模型合成回归问题。我们观察到随着模型深度的增加,边际似然和超后验的病态越来越严重,与有限宽度网络相似,这需要众所周知的优化技巧。
2019-11-29 cs.LG stat.ML
Online Bayesian system identification in multivariate autoregressive models via message passing
Eindhoven Artificial Intelligence Systems Institute(埃因霍温人工智能系统研究所);Department of Electrical Engineering, Eindhoven University of Technology(电子工程系,埃因霍温理工大学)
本文提出基于因子图消息传递的多元自回归模型递归贝叶斯辨识方法,可同时估计自回归系数与噪声精度的完整后验分布,并支持在线模型证据计算,在合成与机械系统上验证了收敛性和竞争力。
2025-06-03 cs.LG eess.SP stat.ML
Active pooling design in group testing based on Bayesian posterior prediction
Institute of Statistical Mathematics(统计数学研究所);The Graduate University for Advanced Science (SOKENDAI)(综合研究大学院大学(SOKENDAI))
在确定人群中的感染患者时,群体测试是减少测试次数和纠正测试错误的有效方法。在分组检测程序中,对从患者采集的样本池进行检测,样本池数量低于患者数量。群体测试的性能在很大程度上取决于池的设计和用于从测试结果推断感染患者的算法。本文在贝叶斯推断的框架下,提出了一种基于预测分布的自适应水池设计方法。所提出的方法执行使用的信念传播算法的结果在更准确地识别感染的患者,相比提前确定的随机池进行的组测试。
2020-08-19 cond-mat.stat-mech cs.LG stat.ML
Bayesian differential programming for robust systems identification under uncertainty
University of Pennsylvania(宾夕法尼亚大学)
本文提出了一个机器学习框架,用于从噪声、稀疏和不规则的非线性动态系统的观测中识别贝叶斯系统。该方法利用微分编程的最新发展,通过常微分方程求解器传播梯度信息,并使用Hamilton Monte Carlo对未知模型参数进行贝叶斯推断。这使我们能够有效地推断后验分布与量化的不确定性的似是而非的模型,而稀疏促进先验的使用,使潜在的潜在动态的可解释的和简约的表示发现。一系列的数值研究表明,所提出的方法的有效性,包括非线性振子,捕食-食饵系统,混沌动力学和系统生物学。总之,我们的研究结果提出了一个新的,灵活的和强大的工作流程,数据驱动的模型发现下的不确定性。
2020-04-18 cs.LG stat.ML
Bayesian identification of nonseparable Hamiltonians with multiplicative noise using deep learning and reduced-order modeling
University of Michigan(密歇根大学);University of California San Diego(加利福尼亚大学圣迭戈分校)
本文提出一种保持结构不变的贝叶斯方法,用于辨识含乘性噪声的不可分离哈密顿系统,通过高斯滤波和降阶建模实现高效高维参数估计,显著提升预测精度。
2024-07-20 cs.LG math.DS physics.data-an
Input design for Bayesian identification of non-linear state-space models
提出了一种随机非线性状态空间模型在线贝叶斯辨识的最优输入设计算法。所提出的方法依赖于最小化的后Cramér Rao下界导出的模型参数,相对于输入序列。为了使优化问题在计算上易于处理,将输入参数化为输入空间中的多维马尔可夫链。所提出的方法是通过一个仿真例子来说明。
2013-07-23 stat.AP stat.CO stat.ME
Power-Expected-Posterior Priors for Generalized Linear Models
功率期望后验(PEP)先验提供了一个客观的,自动的,一致的和简约的模型选择过程。同时,它解决了概念和计算问题,由于使用虚构的数据。也就是说,(i)它不需要在所有可能的最小虚样本中进行选择和平均,以及(ii)它减少了虚数据对后验分布的影响。这些属性允许在需要时进行大样本近似,以减少更复杂模型下的计算负担。在这项工作中,我们概括的PEP方法的适用性,侧重于框架的广义线性模型(GLM),通过引入两个新的PEP定义,这是在任何一般的模型设置有效。超先验扩展的功率参数,调节的贡献的虚数据的介绍。我们进一步研究了预测匹配和模型选择一致性的有效性,为前者提供了分析证据,为后者提供了经验证据。对于后验模型和包含概率的估计,我们引入了一个免调谐的吉布斯变量选择采样器。考虑了几种模拟场景和一个现实生活示例,以评估所提出的方法与其他基于g先验混合的常用方法相比的性能。结果表明,GLM-PEP先验更有效地识别稀疏和简约的模型配方。
2017-09-29 stat.CO stat.ME
Error analysis in Bayesian identification of non-linear state-space models
在过去的二十年中,基于序贯蒙特卡罗(SMC)和马尔可夫链蒙特卡罗(MCMC)的随机非线性状态空间模型(SSM)的贝叶斯辨识方法已经被提出。众所周知,这些基于仿真的识别方法的性能取决于其设计中使用的数值近似。我们建议使用后验Cramér-Rao下界(PCRLB)作为均方误差(MSE)界。使用PCRLB,一个系统的程序来分析贝叶斯识别方法提供的估计偏差,MSE和效率。所提出的方法的有效性和实用性说明通过一个数值例子。
2013-07-23 stat.AP stat.CO stat.ME
An Efficient Spatial Branch-and-Bound Algorithm for Global Optimization of Gaussian Process Posterior Mean Functions
Department of Chemical and Biological Engineering, University of Wisconsin-Madison(威斯康星大学麦迪逊分校化学与生物工程系);Department of Chemical and Biomolecular Engineering, The Ohio State University(俄亥俄州立大学化学与生物分子工程系);Department of Computing, Imperial College London(伦敦帝国理工学院计算系)
本文提出PALM-Mean算法,通过空域分支定界与分段解析下界结合,提升高斯过程后验均值函数全局优化的可扩展性。
2026-04-21 cs.LG math.OC stat.ML
Bayesian Error-in-Variables Models for the Identification of Power Networks
间歇性可再生能源发电的日益一体化,特别是在配电水平,需要先进的规划和优化方法,取决于电网的知识,特别是导纳矩阵捕获的拓扑结构和线路参数的electricnetwork。然而,一个可靠的估计导纳矩阵可能会丢失或迅速成为过时的时间变化的网格。在这项工作中,我们提出了一个数据驱动的identificationmethod利用从微型PMU收集的电压和电流测量。更确切地说,我们首先提出了一个最大似然方法,然后转向贝叶斯框架,利用最大后验估计的原则。与大多数现有的contributions相比,我们的方法不仅在电压和电流数据的测量噪声的因素,但也能够利用现有的先验信息,如稀疏模式和knownline参数。在基准案例上进行的仿真表明,与其他算法相比,我们的方法可以实现更高的精度。
2021-12-19 cs.SY eess.SY stat.ML
Bayesian Inference and the Principle of Maximum Entropy
本文阐明贝叶斯定理与最大熵原理的关系,指出最大熵推理是贝叶斯推断在受约束且偏好熵的先验下的特例,并简化了统计平衡下的后验计算。
2024-07-17 stat.ME
Depth induces scale-averaging in overparameterized linear Bayesian neural networks
Harvard University(哈佛大学)
深度贝叶斯神经网络中的推理只有在无限宽度限制下才能得到充分理解,其中深度增加所提供的后验灵活性消失,后验预测崩溃为浅高斯过程。在这里,我们将有限深度线性贝叶斯神经网络解释为跨输出通道的高斯过程预测器的数据依赖尺度混合。我们利用这一观察来研究这些网络中的表示学习,使我们能够在一个统一的框架内连接以前研究中获得的有限结果。总的来说,这些结果推进了我们对深度如何影响简单贝叶斯神经网络中的推理的分析理解。
2021-11-23 cs.LG stat.ML
Robust Neural Posterior Estimation and Statistical Model Criticism
Bristol University(布里斯托大学);Improbable(Improbable公司);Durham University(杜伦大学)
计算机模拟已被证明是理解跨学科复杂现象的宝贵工具。然而,模拟器用于建模和预测目的的效用往往受到低数据质量以及模型保真度的实际限制的限制。为了规避这些困难,我们认为,建模者必须把模拟器作为真实数据生成过程的理想化表示,因此应该深思熟虑地考虑模型错误指定的风险。在这项工作中,我们重新审视神经后验估计(NPE),一类算法,使黑盒参数推断仿真模型,并考虑模拟现实差距的影响。虽然最近的工作已经证明了这些方法的可靠性能,分析已经使用模拟器模型本身生成的合成数据进行,因此只解决了指定的情况。在本文中,我们发现,相比之下,当天真地使用NPE时,错误指定的存在会导致不可靠的推理。作为一种补救措施,我们认为,原则性的科学调查与模拟器应纳入模型的批评组件,以促进可解释的识别错误和强大的推理组件,以适应“错误但有用的”模型。我们提出了鲁棒神经后验估计(RNPE),NPE的扩展,同时实现这两个目标,通过明确建模模拟和观测数据之间的差异。我们评估了一系列人为错误指定的例子的方法,并发现RNPE在整个任务中表现良好,而天真地使用NPE会导致误导和不稳定的后验。
2022-10-12 cs.LG stat.ME stat.ML