Asymptotic Bayesian Theory of Quickest Change Detection for Hidden Markov Models
在20世纪60年代，Shiryaev发展了贝叶斯理论的变化点检测在i.i.d.在21世纪初由Tartakovsky和Veeravalli推广的一般随机模型，假设对数似然比过程具有一定的稳定性。隐马尔可夫模型代表了一类广泛的随机过程，在各种应用中非常有用。本文研究了隐马尔可夫模型的贝叶斯Shiryaev变点检测规则的性能。我们提出了一组规律性条件下的Shiryaev过程是一阶渐近最优的贝叶斯上下文中，最小化的时刻的检测延迟到一定的顺序渐近的虚警的概率为零。隐马尔可夫模型的发展理论基于似然比的马尔可夫链表示和马尔可夫随机游动的r-快速收敛。此外，应用马尔可夫非线性更新理论，我们提出了一个高阶渐近近似的Shiryaev检测规则的期望延迟检测。另一个流行的变化检测规则，Shiryaev{Roberts规则，以及研究的渐近性质。文中给出了一些有趣的例子。
2016-07-03 math.ST stat.TH
Sequential Bayesian Inference in Hidden Markov Stochastic Kinetic Models with Application to Detection and Response to Seasonal Epidemics
研究了含潜在因子的随机动力学模型中的序贯贝叶斯推断。假设连续观察所有的反应，我们的重点是联合推理的未知反应速率和动态的潜在状态，建模为一个隐马尔可夫因子。利用连续时间跳马尔可夫过程的非线性滤波的见解，我们开发了一种新的序贯蒙特卡罗算法。我们的方法应用粒子学习的思想，以最大限度地减少粒子退化，并利用分析跳跃马尔可夫结构。我们的方法的一个激励应用是通过一个房室流行病模型表示的季节性传染病暴发的建模。我们证明了在这样的模型中的推理与几个数值说明，并讨论了预测分析的流行病对策，使用顺序贝叶斯估计。
2013-01-16 math.PR math.ST stat.CO
Bayesian analysis of variable-order, reversible Markov chains
定义了$r$阶可逆马尔可夫链的共轭先验。先验分布来自于部分可交换的强化随机游动，就像β分布来自于可交换的Polyáurn一样。变阶马尔可夫链的一个扩展。我们展示了这一先验在测试可逆马尔可夫模型的阶数和参数估计中的实用性。
2011-05-13 math.ST stat.TH
Optimal approximating Markov chains for Bayesian inference
马尔可夫链蒙特卡罗方法是贝叶斯分析中后验计算的主要范例。通常通过对马尔可夫转移核进行近似来控制计算时间。相对较少的注意力已经支付给这些近似马尔可夫链的计算最优性，或者当这样的近似是合理的相对于获得更短的路径从确切的内核。我们给出了一致混合马尔可夫链的一致逼近的简单、精确的界。然后，我们提出了一个最优性的概念，将计算时间和近似误差，并使用我们的界限，使泛化的均匀混合设置中的良好近似的属性。这些属性的相关性证明在应用程序的一个小批量为基础的近似MCMC算法的大$n$逻辑斯谛回归和低秩近似高斯过程。
2017-08-29 math.ST stat.CO stat.TH
Bayesian nonparametric analysis of reversible Markov chains
我们引入了一个三参数随机游动与加强，称为$(θ,α,β)$计划，它推广了线性边缘加强随机游动不可数空间。参数$β$在该边缘增强随机游动和经典的可交换双参数Hoppe urn方案之间平滑地调谐$(θ,α,β)$方案，而参数$α$和$θ$调制通常访问多少个状态。借助于de Finetti关于马尔可夫链的定理，我们利用$(θ,α,β)$方法定义了可逆马尔可夫链贝叶斯分析的非参数先验.将先验知识应用于贝叶斯非参数推断中，研究了由具有未知转移核的可逆马尔可夫链生成的数据的物种抽样问题。作为一个真实的例子，我们分析了蛋白质折叠的分子动力学模拟数据。
2013-06-06 math.ST stat.TH
Bayesian model choice and information criteria in sparse generalized linear models
我们考虑高维广义线性模型中的贝叶斯模型选择，协变量p的数量相对于样本量n较大，但稀疏的是，与p相比，活动协变量的数量较小。将协变量视为随机变量，并采用p随n增加的渐近情景，我们表明，贝叶斯模型选择使用一定的先验模型的集合是渐近等价的选择模型使用扩展的贝叶斯信息准则。此外，我们证明了最小的真模型是由这两种方法的概率趋于1。在解决了随机协变量后，我们还能够为高维稀疏图形建模的伪似然方法给出一致性结果。真实数据的实验表明，良好的性能的扩展贝叶斯信息准则的回归和图形模型。
2011-12-23 math.ST stat.TH
Unified Bayesian theory of sparse linear regression with nuisance parameters
研究了高维高斯稀疏回归中含有未知冗余参数时贝叶斯过程的频率论渐近性质。冗余参数可以是有限维、高维或无限维的。零点质量和连续分布的混合用于稀疏回归系数的先验分布，并将适当的先验分布用于冗余参数。稀疏回归系数的最佳后验收缩，阻碍了冗余参数的存在，也检查和讨论。结果表明，该过程产生强大的模型选择的一致性。稀疏回归系数的Bernstein-vonMises型定理也得到了不确定性量化通过可信集与保证频率覆盖。许多例子的渐近性质进行了研究，使用本研究中开发的理论。
2021-02-17 math.ST stat.TH
Inferring Markov Chains: Bayesian Estimation, Model Comparison, Entropy Rate, and Out-of-class Modeling
马尔可夫链是描述时间或空间中的一维模式的自然且易于理解的工具。我们展示了如何推断$k$阶马尔可夫链，任意$k$，从有限的数据，通过应用贝叶斯方法的参数估计和模型阶数的选择。扩展现有的离散数据的多项式模型的结果，我们连接到统计力学通过信息理论（类型理论）技术的推断。我们建立了贝叶斯证据和分拆函数之间的直接关系，它允许直接计算的期望和方差的条件相对熵和源熵率。最后，我们介绍了一种新的方法，使用有限的数据大小缩放模型阶比较推断的结构的类外进程。
2007-03-24 math.DS math.ST stat.TH
Structure-Based Bayesian Sparse Reconstruction
稀疏信号重构算法因其在各个领域的广泛应用而受到研究者的关注。在本文中，我们提出了一个简单的贝叶斯方法，利用稀疏约束和先验统计信息（高斯或其他），以获得接近最优的估计。此外，我们利用在许多信号处理应用中遇到的感测矩阵的丰富结构来开发一个快速稀疏恢复算法。该算法的计算复杂性相对较低，与广泛使用的凸松弛法以及贪婪匹配追踪技术相比，特别是在低稀疏率。
2012-07-16 math.ST stat.TH
PAC-Bayesian Estimation and Prediction in Sparse Additive Models
本文研究稀疏性假设下高维可加模型的估计和预测问题（$p\gg n$范式）。研究了一种PAC-Bayesian策略，给出了概率上的预言不等式.通过最近的成果在高维MCMC算法的实施，我们的方法的性能进行评估模拟数据。
2013-02-01 math.ST stat.ME stat.TH
Bayesian analysis for reversible Markov chains
本文对可逆马尔可夫链的转移阵引入一个自然共轭先验。这允许估计和测试。先验来自于强化的随机游动，就像狄利克雷先验来自于波利亚瓮。我们给出了封闭形式的正规化常数，一个简单的模拟方法，从后验和沿W。E. Johnson对Dirichlet先验的刻画。
2006-08-01 math.ST stat.TH
Effectiveness of sparse Bayesian algorithm for MVAR coefficient estimation in MEG/EEG source-space causality analysis
Tokyo Metropolitan University（东京都立大学）；Golden Metallic Inc.（金色金属公司）；University of California, San Francisco（旧金山加利福尼亚大学）
本文通过计算机实验评估稀疏贝叶斯算法在强背景干扰下估计多元自回归系数的有效性，发现其虽对干扰不敏感但会降低真实因果关系的可检测性。
2012-11-14 cs.NA math.NA stat.AP
Structural Markov graph laws for Bayesian model uncertainty
本文考虑了在图结构上定义分布的问题。我们提出了一个扩展的超马尔可夫性的Dawid和Lauritzen [安统计。21（1993）1272-1317]，我们称之为结构马尔可夫性，用于无向可分解图和有向无圈图，它要求图的不同分量的结构在给定分离分量存在的情况下是条件独立的。这允许分析和比较多个图形结构，同时能够利用常见的条件独立约束。此外，我们表明，这些属性的指数族，形成共轭先验下从兼容的马尔可夫分布采样。
2015-07-30 math.ST stat.TH
On high-dimensional classification by sparse generalized Bayesian logistic regression
本文针对高维分类问题，提出稀疏广义贝叶斯逻辑回归方法，利用分数似然后验，推导了分数后验的集中结果及误分类超额风险界，并扩展到模型误设情形。
2024-03-19 math.ST stat.TH
Multi Snapshot Sparse Bayesian Learning for DOA Estimation
利用稀疏贝叶斯学习（SBL）方法，从多快拍传感器阵列数据中估计平面波的到达方向（DOA）。先验源振幅假设为独立的零均值复高斯分布，超参数为未知方差（即源功率）。对于超参数为未知噪声方差的复高斯似然，导出了相应的高斯后验分布。对于给定数量的DOA，通过最大化证据自动选择超参数，并促进稀疏DOA估计。讨论了SBL DOA估计方法，并与LASSO（$\ell_1$ -正则化）、常规波束形成和MUSIC方法进行了比较
2016-02-29 cs.IT math.IT math.ST
Bayesian Nonparametric Hidden Semi-Markov Models
层次狄利克雷过程隐马尔可夫模型（HDP-HMM）作为无处不在的隐马尔可夫模型的自然贝叶斯非参数扩展，用于从序列和时间序列数据中学习，引起了人们的极大兴趣。然而，在许多设置中，HDP-HMM的严格马尔可夫约束是不可取的，特别是如果我们希望学习或编码非几何状态持续时间。我们可以扩展的HDP-HMM捕捉这样的结构，利用显式持续时间的半马尔可夫，这主要是在参数频率论的设置，允许建设高度可解释的模型，承认自然的先验信息状态持续时间。在本文中，我们介绍了显式持续时间层次狄利克雷过程隐半马尔可夫模型（HDP-HSMM），并开发了有效的后验推理的采样算法。我们介绍的方法也提供了新的方法在有限贝叶斯HSMM抽样推断。我们的模块化吉布斯抽样方法可以嵌入到更大的分层贝叶斯模型的采样器中，在贝叶斯推断工具箱中添加半马尔可夫链建模作为另一种工具。我们证明了HDP-HSMM和我们的推理方法在合成和真实实验上的实用性。
2012-09-07 stat.AP stat.ME stat.ML
A Bayesian Approach to Sparse plus Low rank Network Identification
研究了用稀疏动态贝叶斯网络模型对多元时间序列进行建模的问题。这种结构转化为稀疏加低秩模型。在本文中，我们提出了一个高斯回归方法来识别这样的模型。
2015-09-26 math.OC stat.ML
Bayesian Parameter Identification for Jump Markov Linear Systems
本文提出了一种跳变马尔可夫线性系统参数辨识的贝叶斯方法。一个主要的动机是提供准确的量化参数的不确定性，而不依赖于渐近的数据长度参数。为了实现这一点，本文详细介绍了粒子吉布斯抽样方法，提供所需的后验分布的样本。这些样本是通过利用修改后的离散粒子滤波器和精心选择的共轭先验。
2021-02-10 cs.SY eess.SY stat.AP
Fast MCMC sampling for Markov jump processes and continuous time Bayesian networks
Gatsby Computational Neuroscience Unit（盖比计算神经科学单元）；University College London（伦敦大学学院）
马尔可夫跳过程和连续时间贝叶斯网络是一类重要的连续时间动态系统。在本文中，我们通过引入一个快速辅助变量吉布斯采样器来解决这些模型中未观测路径的推断问题。我们的方法是基于均匀化的思想，并建立了一个马尔可夫链的路径通过采样一组有限的虚拟跳跃时间，然后运行一个标准的隐马尔可夫模型的前向滤波-后向采样算法的状态在现有的和虚拟的跳跃时间。我们证明了显着的计算效益超过一个国家的最先进的吉布斯采样器上的一些连续时间贝叶斯网络。
2012-02-14 cs.LG stat.ME stat.ML
Adaptive Bayesian Inference of Markov Transition Rates
最优设计最大限度地减少了准确估计模型参数所需的实验运行（样本）数量，从而产生了有效地最小化参数估计方差的算法。受过去观测的知识支配，自适应方法在线调整采样约束，因为模型参数估计被细化，不断最大化获得的期望信息或方差减小。我们应用自适应贝叶斯推断估计的马尔可夫链，一类常见的模型，自然随机过程的转移率。与大多数以前的研究不同，我们的序贯贝叶斯最优设计随着每次观察而更新，并且可以简单地扩展到两状态模型之外的生灭过程和多状态模型。通过迭代地找到获得每个样本的最佳时间，我们的自适应算法最大限度地降低了方差，从而降低了在广泛的马尔可夫链参数化和构象的地面真实参数估计的总体误差。
2023-02-01 math.OC math.PR stat.ME
Exact Bayesian inference for discretely observed Markov Jump Processes using finite rate matrices
提出了一种新的方法，用于对具有可数无限状态空间的离散观测连续时间Markov跳过程的速率参数进行贝叶斯推断。通常选择的推理方法，粒子马尔可夫链蒙特卡罗（粒子MCMC），挣扎时，观察噪声很小。我们认为最具挑战性的制度的精确观测，并提供了两种新的推理方法，在这种情况下：最小扩展状态空间算法（MESA）和几乎最小扩展状态空间算法（nMESA）。通过扩展马尔可夫链蒙特卡罗状态空间，MESA和nMESA都使用有限速率矩阵的取幂来对马尔可夫跳跃过程执行精确的贝叶斯推断，即使其状态空间是可数无限的。数值实验表明，粒子MCMC之间的一个因素的三个和几个数量级的改进。
2022-06-21 stat.CO stat.ME stat.OT
Bayesian Markov Blanket Estimation
University of Basel（巴塞尔大学）
本文考虑了一个贝叶斯观点估计一个子网络在马尔可夫随机场。子网络对应于一组查询变量的马尔可夫毯，其中潜在邻居的集合很大。我们因式分解后验，使马尔可夫毯有条件地独立于网络的潜在邻居。通过利用这种分块解耦，我们推导出后验条件的解析表达式。随后，我们开发了一个推理方案，利用因式分解。结果，可以在不推断整个网络的情况下估计子网络。由于得到的吉布斯采样器与变量的数量呈线性关系，因此它可以处理相对较大的邻域。所提出的方案的结果更快的收敛速度和优越的混合比现有的贝叶斯网络估计技术的马尔可夫链。
2015-10-06 cs.LG stat.ML
Linear-Time Algorithm in Bayesian Image Denoising based on Gaussian Markov Random Field
Yamagata University（山形大学）；Tohoku University（东北大学）
在本文中，我们考虑贝叶斯图像去噪的高斯马尔可夫随机场（GMRF）模型的基础上，我们提出了一种新的算法。我们的方法可以解决贝叶斯图像去噪问题，包括超参数估计，在$O(n)$时间，其中$n$是在给定的图像中的像素的数量。从计算时间的顺序的角度来看，这是一个国家的最先进的算法，目前的问题设置。此外，我们的数值实验结果表明我们的方法在实践中是有效的。
2020-03-03 cond-mat.dis-nn cs.CV stat.ML
A Bayesian Lasso based Sparse Learning Model
University of Bergen（卑尔根大学）
贝叶斯套索是在线性回归框架下构造的，并应用吉布斯抽样来估计回归参数。本文提出了一种新的稀疏学习模型，命名为贝叶斯套索稀疏（BLS）模型，它采取了贝叶斯套索的分层模型公式。与原始贝叶斯套索的主要区别在于估计过程; BLS方法使用基于类型II极大似然过程的学习算法。与贝叶斯套索相反，BLS提供了回归参数的稀疏估计。通过引入核函数，得到了非线性监督学习问题的BLS方法。我们比较了BLS模型，众所周知的相关向量机，快速拉普拉斯方法，BLS套索，套索，模拟和真实数据。数值结果表明，该算法具有稀疏性和精确性，特别是在处理噪声和不规则数据集时。
2022-07-14 cs.LG stat.ML
Infinite Structured Hidden Semi-Markov Models
本文综述了贝叶斯非参数技术在无穷隐马尔可夫模型中构造和推理的最新进展。我们专注于贝叶斯非参数隐马尔可夫模型，特别是增强后验状态持久性的变种。本文还介绍了一种新的贝叶斯非参数框架，用于生成从左到右和其他结构化的，显式持续时间的无限隐马尔可夫模型，我们称之为无限结构化隐半马尔可夫模型。
2014-06-30 stat.AP stat.ME stat.ML
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University（迪肯大学）
该研究围绕贝叶斯优化，提出结合导数信息与可扩展稀疏高斯过程，以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
Optimal sparse phase retrieval via a quasi-Bayesian approach
Norwegian Institute of Public Health（挪威公共卫生研究院）
针对需仅用变换幅度重建信号的稀疏相位恢复问题，提出新型稀疏准贝叶斯方法，以缩放Student分布为收缩先验，通过PAC-贝叶斯框架分析，实现极小极大最优收敛率，为噪声环境下的该问题提供有原则的替代方案。
2025-04-13 cs.LG math.ST stat.ME
Bayesian Markov Switching Tensor Regression for Time-varying Networks
提出了一种新的二值时间序列多维数组（张量）贝叶斯马尔可夫切换回归模型。我们假设一个零膨胀logit回归与时变参数，并将其应用到多层时间网络。原来的贡献是三重的。首先，为了避免过度拟合，我们提出了一个简约的参数化的基础上的低秩分解的张量的回归系数。其次，我们假设参数是由一个隐藏的马尔可夫链，从而允许在网络拓扑结构的变化。我们遵循贝叶斯推理方法，并提供了一个有效的吉布斯采样后验近似。我们将该方法应用于一个真实的金融网络数据集，研究了几个风险因素对边缘概率的影响。本文的补充材料可在网上查阅。
2019-07-03 stat.ME
MAP segmentation in Bayesian hidden Markov models: a case study
University of Tartu（塔尔图大学）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
考虑了贝叶斯环境下有限状态和有限发射字母表隐马尔可夫模型（HMM）的最大后验概率（MAP）状态序列的估计问题，其中发射矩阵和转移矩阵都具有Dirichlet先验.我们研究了由数千个蛋白质比对对组成的训练集。训练数据用于设置贝叶斯MAP分割的先验超参数。由于Viterbi算法不再适用，没有简单的过程来找到MAP路径，并考虑和比较几种迭代算法。本文的主要目标是测试贝叶斯设置对频率论，其中的参数估计使用的训练数据。
2020-04-17 cs.LG stat.CO stat.ML
A Bayesian Beta Markov Random Field Calibration of the Term Structure of Implied Risk Neutral Densities
我们在Fackler和King（1990）的工作基础上，提出了一个更一般的隐含风险中性密度的校准模型。我们的模型允许通过贝叶斯动态贝塔马尔可夫随机场联合校准的一组密度在不同的到期日和日期。我们的方法允许具有相同成熟度的密度之间可能的时间依赖性，以及在同一时间点跨成熟度的依赖性。这种解决问题的方法包括模型灵活性，参数简约性，更重要的是，跨密度的信息池。
2014-09-05 q-fin.CP stat.AP
Enhancing Off-Grid One-Bit DOA Estimation with Learning-Based Sparse Bayesian Approach for Non-Uniform Sparse Array
本文提出一种学习型稀疏贝叶斯框架，利用展开神经网络自主学习超参数，在单快照一比特离网DOA估计中兼顾精度与效率，适用于均匀及非均匀稀疏阵列。
2024-12-14 eess.SP stat.ML
A Fast Non-Gaussian Bayesian Matching Pursuit Method for Sparse Reconstruction
提出了一种基于贝叶斯方法的快速匹配追踪稀疏信号恢复方法。该方法被称为nGpFBMP，即使当信号先验是非高斯或未知时，也执行稀疏信号的贝叶斯估计。它是不可知的信号统计，并利用先验统计的加性噪声和稀疏率的信号，这是很容易估计的数据，如果没有。nGpFBMP利用一个贪婪的方法和顺序递归更新的度量，找到最主要的稀疏支持，以确定近似的最小均方误差（MMSE）估计的稀疏信号。仿真结果表明，我们提出的估计的权力和鲁棒性。
2012-06-19 stat.OT
Bayesian sparse convex clustering via global-local shrinkage priors
NTT Advanced Technology Corporation（NTT先进技术公司）；The University of Electro-Communications（电气通信大学）
稀疏凸聚类是在凸聚类框架下对观测值进行聚类的同时进行变量选择。虽然加权$L_1$范数通常用于稀疏凸聚类中的正则化项，但如果样本量不足，则其使用增加了对数据的依赖性并降低了估计精度。针对这些问题，本文提出了一种基于贝叶斯套索和全局-局部收缩先验的贝叶斯稀疏凸聚类方法。我们引入吉布斯抽样算法，我们的方法使用的比例混合正态分布。仿真研究和实际数据分析表明了所提出方法的有效性。
2020-05-26 cs.LG stat.ME stat.ML
Sparse Functional Data Classification via Bayesian Aggregation
针对稀疏函数型数据分类难题，提出融合 FPCA、bootstrap 概率聚合与 Bayesian GLM 贝叶斯校准的方法，模拟和三项真实数据分析均验证其准确率优于传统方法。
2025-03-13 stat.CO
A Fast Iterative Bayesian Inference Algorithm for Sparse Channel Estimation
本文提出了一种基于导频符号观测值的多载波贝叶斯信道估计算法。利用无线多径信道固有的稀疏性，通过建模多径分量的增益的先验分布与Bessel K概率密度函数的分层表示，然后将一种高效，快速的迭代贝叶斯推断方法应用于所提出的模型。由此产生的估计优于其他国家的最先进的贝叶斯和非贝叶斯估计，无论是通过产生较低的均方估计误差或通过达到相同的精度与改进的收敛速度，如我们的数值评估。
2013-03-06 cs.IT math.IT stat.ML
Enhanced Bayesian Model Updating with Incomplete Modal Information Using Parallel, Interactive and Adaptive Markov Chains
有限元模型更新是具有挑战性的，因为1）当测量有限和/或不完整时，问题通常是欠定的; 2）参数的许多组合可能产生与实际测量类似的响应;以及3）不可避免地存在不确定性。本研究的目的是利用计算智能通过统计推断，以促进增强，概率有限元模型更新使用不完整的模态响应测量。这个新的框架是建立在有效的逆识别通过优化，而贝叶斯推断是用来考虑不确定性的影响。为了克服计算成本的障碍，我们采用马尔可夫链蒙特卡罗（MCMC）来表征目标函数/分布。在传统的贝叶斯方法中，我们不是使用单一的马尔可夫链，而是发展了一种新的抽样论，它包含多个并行的、交互的和自适应的马尔可夫链，并将其融入到贝叶斯推断中。这可以利用这些马尔可夫链的集体力量来实现多个局部最优的并发搜索。通过基于蒙特卡罗模拟的样本预筛选，然后进行K均值聚类分析，自动确定所需马尔可夫链的数量及其各自的初始模型参数。这些改进可以有效地解决有限元模型更新中的上述挑战。该框架的有效性是通过案例研究系统地证明。
2020-09-29 physics.data-an stat.AP
Bayesian Higher Order Hidden Markov Models
我们考虑的问题，灵活的建模高阶隐马尔可夫模型时的潜在状态的数量和串行依赖的性质，包括真正的顺序，是未知的。我们提出了贝叶斯非参数方法的基础上张量因式分解技术，可以表征任何转移概率与指定的最大顺序，允许自动选择的重要滞后和捕捉更高阶的滞后之间的相互作用。理论结果提供了洞察的可识别性的发射分布和渐近行为的后验。我们设计了有效的马尔可夫链蒙特卡罗算法的后验计算。在模拟实验中，该方法大大优于其一阶和高阶竞争对手，不仅在高阶设置，但值得注意的是，也在一阶的情况下。使用现实世界的应用程序说明了实用程序。
2019-02-05 stat.ME
Bayesian Masking: Sparse Bayesian Estimation with Weaker Shrinkage Bias
Kyoto University（京都大学）；National Institute of Informatics（国立信息学研究所）
稀疏线性回归的一个常见策略是引入正则化，通过使相应的权重为零来消除不相关的特征。然而，正则化经常缩小相关特征的估计量，这导致不正确的特征选择。出于上述问题，我们提出了贝叶斯掩蔽（BM），稀疏估计方法，不施加正则化的权重。BM的关键概念是引入随机屏蔽特征的二进制潜变量。估计掩蔽率自动确定特征的相关性。我们推导出一个变分贝叶斯推断算法，最大限度地提高了下界的因子分解信息准则（FIC），这是最近开发的渐近标准，用于评估边际对数似然。此外，我们提出了重新参数化，以加速收敛的派生算法。最后，我们表明，BM优于Lasso和自动相关性确定（ARD）的稀疏收缩权衡。
2015-10-06 cs.LG stat.ML
Bayesian Nonparametric Modeling of Higher Order Markov Chains
我们考虑了高阶马尔可夫链的灵活建模问题时，链的顺序上界是已知的，但真正的顺序和串行依赖的性质是未知的。提出了一种基于条件张量分解的贝叶斯非参数方法，该方法可以刻画任意转移概率的最大阶数。该方法选择了重要的滞后，并捕捉滞后之间的高阶相互作用，同时也便于计算各种假设的贝叶斯因子。我们设计了有效的马尔可夫链蒙特卡罗算法的后验计算，允许不确定性的一组重要的滞后被包括在内，并在性质和顺序的串行依赖。使用模拟实验和现实世界的应用程序的方法进行说明。
2015-10-20 stat.ME
A numerically stable algorithm for integrating Bayesian models using Markov melding
当统计分析考虑多个数据源时，马尔可夫融合提供了一种用于组合特定于源的贝叶斯模型的方法。马尔可夫融合将具有公共量的子模型连接在一起。一个挑战是这个量的先验可能是隐含的，并且必须估计其先验密度。我们表明，在这个密度估计的误差，使两阶段的马尔可夫链蒙特卡罗抽样马尔可夫融合不稳定和不可靠。我们提出了一个强大的两阶段算法，估计所需的先验边缘自密度比使用加权样本，大大提高了精度的分布的尾部。该算法的稳定版本是务实的，并提供可靠的推理。我们展示了我们的方法，使用证据合成推断艾滋病毒的流行，和证据合成的A/H1N1流感。
2021-09-23 stat.AP stat.CO stat.ME
Fully Bayesian Autoencoders with Latent Sparse Gaussian Processes
EURECOM（欧洲通信研究院）；University of California, Irvine（加州大学欧文分校）
自动编码器及其变体是表示学习和生成建模中使用最广泛的模型之一。然而，基于自动编码器的模型通常假设学习的表示是i.i.d.。并且不能捕获数据样本之间的相关性。为了解决这个问题，我们提出了一种新的稀疏高斯过程贝叶斯自动编码器（SGPAE）模型，在该模型中，我们对贝叶斯自动编码器的潜在空间施加完全贝叶斯稀疏高斯过程先验。我们通过随机梯度Hamilton Monte Carlo对该模型进行后验估计。我们在广泛的表示学习和生成建模任务上定性和定量地评估了我们的方法，并表明我们的方法始终优于依赖于变分自编码器的多个替代方案。
2023-02-09 cs.LG stat.ML
Sequential Bayesian Learning for Hidden Semi-Markov Models
在本文中，我们探讨类的隐半马尔可夫模型（HSMM），一个灵活的扩展流行的隐马尔可夫模型（HMM），允许潜在的随机过程是一个半马尔可夫链。由于在评估似然函数时增加的计算挑战，HSMM通常比它们的基本HMM对应物使用得不那么频繁。此外，虽然两个模型本质上都是序贯的，但参数估计主要通过批估计方法进行。因此，本文的一个主要动机是提供方法来估计HSMM（1）在计算上可行的时间，（2）在一个精确的方式，即只受蒙特卡罗误差，（3）在一个连续的设置。我们提供并验证了一个高效的计算方案贝叶斯参数估计的HSMM。此外，我们探讨了自回归（AR）模型与隐半马尔可夫状态的波动率指数时间序列的HSMM的性能，并演示了如何使用该算法可以用于政权切换，模型选择和聚类的目的。
2023-01-25 econ.EM stat.AP stat.CO
Nonparametric Bayesian Approaches to Non-homogeneous Hidden Markov Models
针对非齐次隐马尔可夫模型，提出了一种灵活的贝叶斯非参数模型。该模型是通过融合隐马尔可夫模型和预测器相关的棒断裂过程的想法。使用辅助变量表示的模型，使我们能够执行精确的MCMC采样后进行计算。此外，该模型被扩展到的情况下，预测可以同时在影响的隐态的跃迁动力学以及发射分布。估计提前几步的条件预测分布的响应已被用作这些模型的性能诊断。所提出的方法说明，通过模拟实验以及分析的一个真正的数据集与降雨引起的疟疾流行的预测。
2012-05-08 stat.ME
Bayesian inference in non-Markovian state-space models with applications to fractional order systems
电池阻抗谱模型由分数阶（FO）微分方程给出。在离散时域中，它们产生状态空间模型，其中潜在过程不是马尔可夫的。因此，这些模型的参数估计具有挑战性，特别是对于非相称FO模型。在本文中，我们提出了一个贝叶斯方法来识别一般FO系统的参数。粒子马尔可夫链蒙特卡罗方法，专门设计的非马尔可夫设置的实施解决了计算的挑战。然后，该方法被应用到估计的电池非相称FO等效电路模型的参数。提供了大量的模拟研究的实际可识别性的模型参数和它们的灵敏度的选择的先验分布，观测的数量，输入信号的大小和测量噪声。
2016-01-28 math.OC stat.CO
Bayesian learning of noisy Markov decision processes
University of Cambridge（剑桥大学）；CREST—ENSAE（法国国家统计与经济研究所-国立统计与经济管理学院）；HEC Paris（巴黎高等商学院）；University of Bristol（布里斯托大学）
我们考虑逆强化学习问题，也就是说，学习的问题，然后预测或模仿基于状态/动作数据的控制器。我们提出了一个统计模型，这样的数据，来自结构的马尔可夫决策过程。采用贝叶斯推理方法，我们展示了如何估计模型的潜在变量，以及如何在一个统一的框架中预测行动。设计了一种新的基于后验分布的马尔可夫链蒙特卡罗（MCMC）采样器。这一步包括一个参数扩展步骤，这是必不可少的良好的收敛性能的MCMC采样器。作为示例，该方法被应用于学习人类控制器。
2012-11-26 cs.LG stat.CO stat.ML
Factorized Asymptotic Bayesian Inference for Factorial Hidden Markov Models
阶乘隐马尔可夫模型是对序列数据建模的有力工具。学习FHH产生具有挑战性的同时模型选择问题，即，选择多个马尔可夫链的数目和每个链的维数。我们的主要贡献是解决这个模型选择的问题，通过扩展因子分解渐近贝叶斯（FAB）推理FHSTUDIO。首先，我们提供了一个更好的近似边际对数似然比以前的FAB推理。我们的关键思想是积分出转移概率，但仍然应用拉普拉斯近似的发射概率。其次，我们证明了如果在FHMM中有两个非常相似的隐藏状态，即一个是冗余的，那么FAB几乎肯定会缩小并消除其中一个，使模型简约。实验结果表明，FAB算法在模型选择精度上明显优于现有的非参数贝叶斯iFHMM和变分FHMM，并具有较强的抗困惑能力.
2015-06-26 stat.ML
Scalable Bayesian Inference for Population Markov Jump Processes
马尔可夫跳变过程（MJPs）的贝叶斯推断通常依赖于数据增强马尔可夫链蒙特卡罗，其中可用的观测值与系统状态或跳变相关。最先进的发展涉及表示MJP路径与辅助候选跳转时间，后来细化。然而，这些算法i）在涉及大容量或无限容量系统的情况下是不可行的，并且ii）不适合于所有观测类型。在本文中，我们建立并提出了一个通用的数据增强框架的基础上统一表示的潜在的非平稳跳跃过程的人口MJPs。这导致多个新的MCMC采样器，使精确的（在蒙特卡罗意义上）推理任务的模型参数。我们表明，建议的采样优于现有的流行的方法，并提供了大量的效率增益的应用部分观察到的随机流行病，移民过程和捕食者-猎物动力系统。
2019-04-17 stat.CO stat.ME
On The Sparse Bayesian Learning Of Linear Models
本文对Tipping（2001）的线性回归模型的稀疏贝叶斯学习（SBL）在高维环境下进行了重新检验。我们提出了一个硬阈值版本的SBL估计，实现，正交设计矩阵，非渐近估计误差率的$σ\sqrt{s\log p}/\sqrt{n}$，其中$n$是样本量，$p$回归变量的数量，$σ$是回归模型的标准差，和$s$的非零回归系数的数量。我们还建立了高概率的估计识别非零回归系数。在我们的模拟中，我们发现当要恢复的信号很强时，稀疏贝叶斯学习回归的性能优于套索（Tibshirani（1996））。
2015-02-11 stat.ME
Thermodynamic Cyclic Processes with Markov Samplers in Bayesian Inference
Universität Heidelberg（海德堡大学）；University of Tübingen（蒂宾根大学）；ELLIS Institute Tübingen（蒂宾根ELLIS研究所）；Zuse School ELIZA（祖塞ELIZA学院）
本文提出马尔可夫链蒙特卡洛循环类比热机循环，通过自适应集成调度器实现参数调整，发现非高斯模型可产生非零净功，并作为非高斯性度量应用于超新星宇宙学。
2026-09-09 cond-mat.stat-mech cs.AI stat.CO
Bayesian inference for a class of latent Markov models for categorical longitudinal data
针对一类隐马尔可夫模型提出了一种贝叶斯推断方法。这些模型被广泛用于纵向分类数据的分析，当感兴趣的是在研究一个人的不可观察的特征的演变。我们认为，特别是，基本的潜在马尔可夫，它不占个别协变量，其版本，包括这样的协变量的测量模型。所提出的推理方法是基于一个系统的先验制定的初始和转移概率的潜在马尔可夫链的转换。这个先验系统等价于基于狄利克雷分布的先验系统。为了从参数和潜在状态数的联合后验分布中抽取样本，我们实现了一个可逆的跳跃算法，该算法将Metropolis-Hastings类型的移动与分裂/合并和出生/死亡类型的移动交替进行。所提出的方法说明通过两个应用程序的基础上纵向数据集。
2011-01-04 stat.ME
Factorized Asymptotic Bayesian Hidden Markov Models
NEC Laboratories America（美国 NEC 实验室）；University of Tokyo（东京大学）
本文讨论了隐马尔可夫模型（HMM）的模型选择问题。我们推广了因子分解渐近贝叶斯推断（FAB），这是最近开发的独立隐变量模型选择（即，混合模型），用于时间依赖的隐变量。与混合模型中的FAB算法一样，本文推导出了基于因子分解信息准则（FIC）的混合模型中的FAB算法。它继承了混合模型的FAB，学习障碍的几个理想的属性，如FIC与边际对数似然的渐近一致性，隐藏状态选择的收缩效应，通过迭代优化的FIC下限的单调增加。此外，它没有可调的超参数，因此其模型选择过程可以完全自动化。实验结果表明，FAB优于国家的最先进的变分贝叶斯HMM和非参数贝叶斯HMM的模型选择精度和计算效率。
2012-06-18 cs.LG stat.ML
Bayesian Sparse Global-Local Shrinkage Regression for Selection of Grouped Variables
惩罚线性回归的大多数估计可以被视为适当选择先验分布的后验模式。贝叶斯收缩方法，特别是马蹄估计，近年来在估计稀疏、高维线性模型的问题中引起了极大的关注。本文扩展了这些想法，并提出了一个贝叶斯分组模型与连续的全局-局部收缩先验来处理复杂的组层次结构，包括重叠和多级组结构。由于后验均值从来不是线性模型系数的稀疏估计，我们将最近提出的解耦收缩和选择（DSS）技术的问题，从后验样本中选择变量组。为了选择一个最终的，稀疏的模型，我们还适应广义信息标准的方法的DSS框架。为了确保稀疏组，其中只有少数预测是活跃的，可以有效地识别，我们提供了一个替代度的自由估计稀疏贝叶斯线性模型，考虑到收缩的影响模型系数。模拟和实际数据分析，使用我们提出的方法显示出良好的性能，在正确识别的活动和不活动的群体，预测，与贝叶斯分组板和穗的方法相比。
2017-11-03 stat.ME
Unbiased Bayesian Inference for Population Markov Jump Processes via Random Truncations
我们考虑连续时间马尔可夫过程中的人口的个体代理相互作用随机根据动力学规则。尽管这些模型在从生物学到智能城市等领域越来越突出，但此类系统的贝叶斯推断仍然具有挑战性，因为这些是具有潜在无限状态空间的连续时间离散状态系统。在这里，我们提出了一种新的有效的算法，联合状态/参数后验抽样人口马尔可夫跳跃过程。我们介绍了一类伪边缘采样算法的基础上的随机截断方法，使无限状态空间的原则性治疗。大量的基准模型的广泛评估表明，这种方法实现了相当大的节省相比，最先进的方法，保持精度和快速收敛。我们还介绍了合成生物学数据集的结果，显示了我们的工作的实际用途的潜力。
2016-05-13 stat.ML
A Bayesian Penalized Hidden Markov Model for Ant Interactions
社会动物之间的相互作用提供了对营养物质，疾病和社会接触的交换和流动的见解。我们认为，木蚁（\textit{Camponotus pennsylvanicus}）之间的trophaltaxis的相互作用超过4小时的每秒的观察室水平的分析。数据显示了快速和缓慢模式之间的明显切换。然而，拟合标准隐马尔可夫模型（HMM）会导致估计的隐藏状态过程过拟合此高分辨率数据，因为状态过程的波动速度比生物学上合理的要快一个数量级。我们提出了一种新的方法，通过贝叶斯岭之前的状态转换率，同时也将生物动机的协变量的惩罚估计的障碍。这种惩罚诱导平滑，限制状态切换的速率，结合群体内的适当协变量，以确保更生物可行的结果。我们开发了一个马尔可夫链蒙特卡罗算法进行贝叶斯推断的基础上离散化的接触网络的观察。
2018-06-04 stat.AP
