Linear-Time Algorithm in Bayesian Image Denoising based on Gaussian Markov Random Field
Yamagata University(山形大学);Tohoku University(东北大学)
在本文中,我们考虑贝叶斯图像去噪的高斯马尔可夫随机场(GMRF)模型的基础上,我们提出了一种新的算法。我们的方法可以解决贝叶斯图像去噪问题,包括超参数估计,在$O(n)$时间,其中$n$是在给定的图像中的像素的数量。从计算时间的顺序的角度来看,这是一个国家的最先进的算法,目前的问题设置。此外,我们的数值实验结果表明我们的方法在实践中是有效的。
2020-03-03 cond-mat.dis-nn cs.CV stat.ML
Inference of collective Gaussian hidden Markov models
Georgia Institute of Technology(佐治亚理工学院)
我们考虑一类连续状态集体隐马尔可夫模型的推理问题,其中数据记录在聚合(集体)的形式产生的一个大的人口的个人遵循相同的动态。我们提出了一个聚合推理算法称为集体高斯前向-后向算法,最近提出的Sinkhorn信念传播算法的高斯密度为特征的模型。我们的算法享有收敛保证。此外,当观测值由单个个体生成时,它简化为标准卡尔曼滤波器。通过多次实验证明了该算法的有效性。
2021-07-24 cs.LG cs.SY eess.SP
Efficient methods for Gaussian Markov random fields under sparse linear constraints
线性约束高斯马尔可夫随机场(GMRF)的推理和模拟方法在约束数量很大时计算量很大。在某些情况下,例如对于固有GMRF,它们甚至可能是不可行的。我们提出了一类新的方法来克服这些挑战,在常见的情况下稀疏的约束,其中一个有大量的约束,每个只涉及几个元素。我们的方法依赖于一个基础上的转换成块的约束与非约束子空间,我们表明,该方法大大优于现有的替代方案的计算成本。通过将所提出的方法与高斯随机场的随机偏微分方程方法相结合,我们还展示了如何在GMRF设置中制定具有线性约束的高斯过程回归以降低计算成本。这在两个具有模拟数据的应用中说明。
2021-06-03 stat.CO stat.ME stat.ML
Variational Bayesian Inference for Hidden Markov Models With Multivariate Gaussian Output Distributions
University of Kassel(卡塞尔大学)
隐马尔可夫模型(HMM)已被用于许多时间序列分析或模式识别任务多年。HMM通常通过Baum-Welch算法进行训练,该算法可以被视为期望最大化(EM)算法的特殊变体。二阶训练技术,如概率模型的变分贝叶斯推理(VI),将概率模型的参数视为随机变量,并定义这些分布参数的分布,因此该技术的名称。VI也可以被视为EM算法的特殊情况。在本文中,我们将两者结合起来,并使用VI训练具有多元高斯输出分布的HMM。本文定义了HMM的新训练技术。基于一些案例研究的评价和与相关方法的比较是我们正在进行的工作的一部分。
2016-05-27 cs.LG stat.ML
A Semi-Markov Switching Linear Gaussian Model for Censored Physiological Data
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
普通病房中的重症患者容易发生意外的临床恶化,需要及时转移到重症监护室(ICU)。为了在这样的环境中进行风险评分和患者监测,我们开发了一种新的用于住院患者生理的半马尔可夫切换线性高斯模型(SSLGM)。该模型捕获患者的潜在临床状态及其相应的可观察实验室测试和生命体征。我们提出了一种有效的无监督学习算法,该算法利用电子健康记录(EHR)中的信息审查数据来学习SSLGM的参数;然后使用学习的模型以在线方式评估新住院患者的临床恶化风险,从而及时进入ICU。在一个大型学术医疗中心收治的6,094名患者的异质性队列中进行的实验表明,所提出的模型显著优于目前部署的风险评分,如Rothman指数,MEWS,SOFA和APACHE。
2016-11-16 cs.LG stat.ML
Learning Time-Varying Multi-Region Brain Communications via Scalable Markovian Gaussian Processes
School of Computational Science \& Engineering, Georgia Institute of Technology, Atlanta, USA
提出基于马尔可夫高斯过程的 Adaptive Delay Model (ADM),通过结合状态空间模型与并行扫描算法,从多区域神经记录中高效学习具有时变延迟的大脑通信,揭示了神经交互的方向性与时间动态。
2025-08-10 cs.LG stat.ML
The Gaussian-Linear Hidden Markov model: a Python package
本文提出高斯-线性隐马尔可夫模型(GLHMM)及其Python工具箱,通过线性回归参数化高斯状态分布,结合随机变分推断实现大规模神经科学数据的统计检验与样本外预测,用于发现大脑-行为关联。
2024-09-30 q-bio.NC stat.ML
On the Kullback-Leibler divergence between pairwise isotropic Gaussian-Markov random fields
Kullback-Leibler散度或相对熵是统计模型之间的信息论度量,在测量随机变量之间的距离方面起着重要作用。在复杂系统的研究中,随机场是一种数学结构,它通过逆温度参数来模拟这些变量之间的相互作用,负责控制沿场的空间依赖结构。在本文中,我们推导出封闭形式的表达式之间的两个成对各向同性高斯马尔可夫随机场的Kullback-Leibler分歧在单变量和多变量的情况下。所提出的方程允许在图像处理和机器学习应用中开发新的相似性度量,例如图像去噪和无监督度量学习。
2022-03-24 cs.IT math.IT nlin.AO
Structure Learning of Gaussian Markov Random Fields with False Discovery Rate Control
Hanyang University ERICA(汉阳大学ERICA校区);Wroclaw University of Science and Technology(弗罗茨瓦夫理工大学);University of Wroclaw(弗罗茨瓦夫大学)
在本文中,我们提出了一个新的估计过程发现的高斯马尔可夫随机场(MRF)的结构与错误发现率(FDR)的控制,利用排序的l1-范数(SL 1)正则化。高斯MRF是表示多变量高斯分布的非循环图,其中节点是随机变量,并且边表示连接节点之间的条件依赖性。由于可以直接从数据中学习高斯MRF的边缘结构,因此高斯MRF通过揭示许多输入特征(如基因,传感器,用户,文档等)之间的依赖结构,为理解复杂数据提供了一种极好的方法。在学习高斯MRF的图形结构时,期望发现潜在的但未知的概率图形模型的实际边-当随机变量的数量与数据点的数量n相比,(特征)p增加。特别地,当p >> n时,任何估计过程在统计上不可避免地包括假边缘。因此,已经有许多尝试来减少边缘的错误检测,特别是,使用不同类型的正则化的学习参数。我们的方法利用SL 1正则化,最近推出的模型选择线性回归。我们专注于SL 1正则化的好处,它可以用来控制检测重要的随机变量的FDR。将SL 1用于概率图形模型,我们表明SL 1可以用于高斯MRF的结构学习,使用我们建议的过程nsSLOPE(邻域选择排序L-One惩罚估计),控制检测边缘的FDR。
2019-10-24 cs.LG stat.ML
Estimation of positive definite M-matrices and structure learning for attractive Gaussian Markov Random fields
考虑一个二阶矩有限的随机向量。如果其精度矩阵是M矩阵,则所有偏相关是非负的。如果该随机向量另外是高斯的,则对应的马尔可夫随机场(GMRF)被称为吸引的。本文研究了利用符号约束对数行列式发散最小化方法估计M-矩阵的逆二阶矩或精度矩阵。我们还处理高维的情况下,变量的数量超过样本量。额外的符号约束大大简化了估计问题:我们提供的证据表明,显式正则化不再需要。为了解决由此产生的凸优化问题,我们提出了一种基于块坐标下降的算法,其中每个子问题可以转化为非负最小二乘问题。提供了模拟和真实世界数据的插图。
2014-04-26 math.ST stat.ML stat.TH
Deep Gaussian Markov Random Fields
Linköping University(林雪平大学)
高斯马尔可夫随机场(GMRF)是广泛用于空间统计学及相关领域的概率图模型,用于对空间结构的依赖性进行建模。我们建立了GMRF和卷积神经网络(CNN)之间的正式连接。常见的GMRF是生成模型的特殊情况,其中从数据到潜在变量的逆映射由1层线性CNN给出。这种连接允许我们将GMRF推广到多层CNN架构,以具有有利的计算缩放的方式有效地增加相应GMRF的阶数。我们描述了如何完善的工具,如autodiff和变分推断,可以用于简单有效的推理和学习的深度GMRF。我们证明了所提出的模型的灵活性,并表明它优于国家的最先进的卫星温度数据集,在预测和预测的不确定性。
2020-08-10 cs.LG stat.CO stat.ME
Scalable Deep Gaussian Markov Random Fields for General Graphs
Linköping University(林雪平大学);Arriver Software AB(Arriver软件公司)
图上的机器学习方法由于其处理一般结构化数据的能力而在许多应用中被证明是有用的。高斯马尔可夫随机场(GMRF)的框架提供了一个原则性的方法来定义高斯模型的图,利用其稀疏结构。我们提出了一个灵活的GMRF模型的一般图建立在多层结构的深GMRF,最初提出的格图。通过设计一种新型的层,我们使模型能够扩展到大型图形。该层被构造为允许使用图神经网络的变分推断和现有软件框架进行有效训练。对于高斯似然,接近精确的贝叶斯推断可用于潜在场。这允许进行伴随不确定性估计的预测。该模型的有效性通过在一些合成和真实世界数据集上的实验进行了验证,与其他贝叶斯和深度学习方法相比,它具有优势。
2022-06-10 cs.LG cs.SI stat.CO
A Uniformly Consistent Estimator of non-Gaussian Causal Effects Under the k-Triangle-Faithfulness Assumption
Kalisch and Bühlmann(2007)证明了对于线性高斯模型,在因果马尔可夫假设、强因果忠实性假设和因果充分性假设下,PC算法是线性高斯模型真实因果DAG的马尔可夫等价类的一致相合估计量;由此得出,对于马尔可夫等价类中可识别的因果效应,也存在因果效应的一致相合估计量。$k$ -三角忠诚假设是一个严格较弱的假设,它避免了强因果忠诚假设的一些不可信的含义,也允许马尔可夫等价类(在弱意义上)和可识别因果效应的一致相合估计。然而,这两个假设都局限于线性高斯模型。我们提出了广义$k$ -三角形可信度,它可以应用于任何光滑分布。此外,在广义$k$ -三角形可信度假设下,我们描述了边缘估计算法,该算法在某些情况下提供因果效应的一致估计(否则输出“无法分辨”),以及\textit{Very Conservative } $SGS$算法,该算法(在稍弱的意义上)是真实DAG的马尔可夫等价类的一致相合估计量。
2021-08-01 cs.LG stat.ME stat.ML
Gaussian Invariant Markov Chain Monte Carlo
Google DeepMind, UK(谷歌深Mind公司,英国);Athens University of Economics and Business, Greece(雅典经济与商业大学,希腊);UCL, UK(UCL大学,英国)
研究开发高斯不变版本的随机游走Metropolis、Metropolis调整朗之万算法等采样方法,利用高斯不变性特性构建控制变量降低估计量方差,通过示例展示新方法并取得最优结果,还给出相关理论分析。
2026-07-14 cs.LG stat.ME stat.ML
Adaptive Mean Estimation in the Hidden Markov sub-Gaussian Mixture Model
针对标签具隐马尔可夫依赖的高维二元次高斯混合模型,本文提出极小极大最优且自适应的中心估计程序,将速率改进至 $\sqrt{δd/n}+d/n$。
2024-06-18 math.ST stat.ML stat.TH
Autoregressive Asymmetric Linear Gaussian Hidden Markov Models
Universidad Politécnica de Madrid(马德里理工大学);Aingura IIoT(Aingura工业物联网公司)
本文提出一种带非对称自回归成分的隐马尔可夫模型,能自适应选择自回归阶数以最大化惩罚似然,并适配推理、解码与学习,实验验证其有效性。
2020-10-27 cs.LG stat.AP stat.ME