Linear-Time Algorithm in Bayesian Image Denoising based on Gaussian Markov Random Field
Yamagata University(山形大学);Tohoku University(东北大学)
在本文中,我们考虑贝叶斯图像去噪的高斯马尔可夫随机场(GMRF)模型的基础上,我们提出了一种新的算法。我们的方法可以解决贝叶斯图像去噪问题,包括超参数估计,在$O(n)$时间,其中$n$是在给定的图像中的像素的数量。从计算时间的顺序的角度来看,这是一个国家的最先进的算法,目前的问题设置。此外,我们的数值实验结果表明我们的方法在实践中是有效的。
2020-03-03 cond-mat.dis-nn cs.CV stat.ML
Learning Time-Varying Multi-Region Brain Communications via Scalable Markovian Gaussian Processes
School of Computational Science \& Engineering, Georgia Institute of Technology, Atlanta, USA
提出基于马尔可夫高斯过程的 Adaptive Delay Model (ADM),通过结合状态空间模型与并行扫描算法,从多区域神经记录中高效学习具有时变延迟的大脑通信,揭示了神经交互的方向性与时间动态。
2025-08-10 cs.LG stat.ML
High-dimensional modeling of spatial and spatio-temporal conditional extremes using INLA and Gaussian Markov random fields
本文提出基于 INLA 和高斯马尔可夫随机场的条件极值模型,用于高效处理大型空间与时空数据集的贝叶斯推断,并应用于红海温度极值分析。
2022-05-13 stat.CO stat.ME
Structure Learning of Gaussian Markov Random Fields with False Discovery Rate Control
Hanyang University ERICA(汉阳大学ERICA校区);Wroclaw University of Science and Technology(弗罗茨瓦夫理工大学);University of Wroclaw(弗罗茨瓦夫大学)
在本文中,我们提出了一个新的估计过程发现的高斯马尔可夫随机场(MRF)的结构与错误发现率(FDR)的控制,利用排序的l1-范数(SL 1)正则化。高斯MRF是表示多变量高斯分布的非循环图,其中节点是随机变量,并且边表示连接节点之间的条件依赖性。由于可以直接从数据中学习高斯MRF的边缘结构,因此高斯MRF通过揭示许多输入特征(如基因,传感器,用户,文档等)之间的依赖结构,为理解复杂数据提供了一种极好的方法。在学习高斯MRF的图形结构时,期望发现潜在的但未知的概率图形模型的实际边-当随机变量的数量与数据点的数量n相比,(特征)p增加。特别地,当p >> n时,任何估计过程在统计上不可避免地包括假边缘。因此,已经有许多尝试来减少边缘的错误检测,特别是,使用不同类型的正则化的学习参数。我们的方法利用SL 1正则化,最近推出的模型选择线性回归。我们专注于SL 1正则化的好处,它可以用来控制检测重要的随机变量的FDR。将SL 1用于概率图形模型,我们表明SL 1可以用于高斯MRF的结构学习,使用我们建议的过程nsSLOPE(邻域选择排序L-One惩罚估计),控制检测边缘的FDR。
2019-10-24 cs.LG stat.ML
Markovian Gaussian Process Variational Autoencoders
Imperial College London(帝国理工学院)
针对 GPVAE 的三次方计算成本问题,本文利用马尔可夫 GP 的离散状态空间表示及 Kalman 滤波平滑,提出线性时间可扩展的 MGPVAE,并在多类高维时序任务上验证其性能。
2023-08-16 cs.CV cs.LG stat.ML
Gaussian process priors with Markov properties for effective reproduction number inference
Department of Statistics, University of California, Irvine(加州大学尔湾分校统计学系)
本文提出了一种基于马尔可夫过程的高斯先验用于有效再生数推断,通过整合布朗运动实现高效计算,并在模拟数据中验证其在流行病学上的有效性。
2025-11-24 stat.ME
p-Markov Gaussian Processes for Scalable and Expressive Online Bayesian Nonparametric Time Series Forecasting
在本文中,我们介绍了一种新的在线时间序列预测模型,我们称之为pM-GP滤波器。我们证明了我们的模型等价于高斯过程回归,其优点是超参数的在线预测和在线学习都具有恒定的(而不是立方的)时间复杂度和恒定的(而不是平方的)观测数量的内存要求,而无需采用近似。此外,所提出的模型是表达的,家庭的协方差函数的隐含的潜在过程,即谱Matern内核,最近被证明是能够近似任意以及任何非线性不变的协方差函数。与竞争模型相比,我们的方法的好处是使用几个现实生活中的数据集上的实验证明。
2015-10-09 stat.ML
Parallel Markov Chain Monte Carlo for Non-Gaussian Posterior Distributions
大数据和分析研究的最新发展产生了大量的大型数据集,由于计算机内存或存储容量的限制,这些数据集太大而无法进行整体分析。为了解决这些问题,已经开发了用于大数据的贝叶斯分析的无通信并行马尔可夫链蒙特卡罗(MCMC)方法。这些方法将数据划分为可管理的子集,对每个子集执行独立的贝叶斯MCMC分析,并结合子集后验样本来估计完整的数据后验。目前的方法组合子集后验样本包括样本平均,加权平均,和内核平滑技术。虽然这些方法对于高斯后验分布效果很好,但是对于非高斯后验分布,它们并不十分适合。在这里,我们开发了一个新的直接密度乘积方法,结合子集的边缘后验样本估计全数据的边缘后验密度。使用一个常用的实现距离度量,我们在模拟研究的贝叶斯模型与非高斯后验,我们的方法优于现有的方法在近似的完整数据的边缘后验。由于我们的方法只估计边缘密度,因此对分析的模型参数数量没有限制。我们的方法适用于连续参数空间中具有固定维数的未知参数的贝叶斯模型。
2015-06-10 stat.ME
Mean Estimation in High-Dimensional Binary Markov Gaussian Mixture Models
Institute of Science and Technology, Austria(奥地利科学技术研究所);Technion - Israel Institute of Technology(以色列理工学院)
我们考虑一个高维均值估计问题的二进制隐马尔可夫模型,它阐明了记忆数据,样本大小,尺寸和信号强度之间的相互作用,在统计推断。在该模型中,估计器观测$d$维参数向量$θ_{*}\in\mathbb{R}^{d}$的$n$样本,乘以随机符号$ S_i $($1\le i\le n$),并被各向同性标准高斯噪声破坏.符号序列$\{S_{i}\}_{i\in[n]}\in\{-1,1\}^{n}$是从具有翻转概率$δ\in[0,1/2]$的平稳齐次马尔可夫链中得出的。当$δ$变化时,该模型平滑地内插两个充分研究的模型:$δ=0$的高斯位置模型和$δ=1/2$的高斯混合模型。假设估计器知道$δ$,我们建立了一个近似极小极大最优(对数因子)估计误差率,作为$\|θ_{*}\|,δ,d,n$的函数。然后,我们提供了一个上限的情况下估计$δ$,假设(可能不准确)的知识$θ_{*}$。当$θ_{*}$是一个精确已知的常数时,证明了该界是紧的.这些结果,然后结合到一个算法,估计$θ_{*}$与$δ$未知的先验,其误差的理论保证。
2022-10-12 cs.IT cs.LG math.IT
Adaptive Mean Estimation in the Hidden Markov sub-Gaussian Mixture Model
针对标签具隐马尔可夫依赖的高维二元次高斯混合模型,本文提出极小极大最优且自适应的中心估计程序,将速率改进至 $\sqrt{δd/n}+d/n$。
2024-06-18 math.ST stat.ML stat.TH
Approximations and bounds for binary Markov random fields
离散马尔可夫随机场形成了一种自然的模型来表示图像和空间数据集。然而,这种模型的使用受到计算上难以处理的归一化常数的阻碍。这使得离散马尔可夫随机场的参数估计和完全贝叶斯处理困难。我们应用近似理论的伪布尔函数的二进制马尔可夫随机场和构造的近似和上下界的相关计算难处理的归一化常数。作为这个过程的副产品,我们还得到了二进制马尔可夫随机场的偏序马尔可夫模型近似。我们提出的数值例子与成对的相互作用伊辛模型和高阶相互作用模型,显示我们的近似和边界的质量。我们还提出了模拟的例子和一个真实的数据的例子,演示如何的近似和界限可以应用于参数估计和处理一个完全贝叶斯模型计算。
2015-05-22 stat.CO
Subset Selection for Gaussian Markov Random Fields
University of Rochester(罗切斯特大学)
给定一个高斯马尔可夫随机场,我们考虑的问题,选择一个子集的变量来观察,最大限度地减少未观察到的变量的总期望平方预测误差。我们首先表明,找到一个精确的解决方案是NP难的,即使是一个有限的类高斯马尔可夫随机场,称为高斯自由场,这出现在半监督学习和计算机视觉。然后,我们给出了任意图上高斯自由场的一个简单的贪婪近似算法。最后,我们给出了有界树宽图上一般高斯马尔可夫随机场的消息传递算法。
2012-09-26 cs.LG stat.ML
A review of Gaussian Markov models for conditional independence
Universidad Politécnica de Madrid(马德里理工大学)
马尔可夫模型位于概率分布中的统计独立性和图分离属性之间的界面。我们回顾了高斯参数化的有向和无向马尔可夫模型的模型选择和估计,强调了主要的相似性和差异。这两个模型类相似但不等同,尽管它们共享一个公共交集。我们从历史的角度提出了现有的结果,考虑到现有的文献量从人工智能和统计研究社区,这些模型的起源。我们涵盖了经典的主题,如极大似然估计和模型选择通过假设检验,但也更现代的方法,如正则化和贝叶斯方法。我们还讨论了如何马尔可夫模型审查适合在丰富的层次结构的其他,更高层次的马尔可夫模型类。最后,我们关闭的文件概述放宽高斯假设,并指出这些马尔可夫模型现在使用的主要应用领域。
2019-10-02 cs.AI stat.ME stat.ML
A Uniformly Consistent Estimator of non-Gaussian Causal Effects Under the k-Triangle-Faithfulness Assumption
Kalisch and Bühlmann(2007)证明了对于线性高斯模型,在因果马尔可夫假设、强因果忠实性假设和因果充分性假设下,PC算法是线性高斯模型真实因果DAG的马尔可夫等价类的一致相合估计量;由此得出,对于马尔可夫等价类中可识别的因果效应,也存在因果效应的一致相合估计量。$k$ -三角忠诚假设是一个严格较弱的假设,它避免了强因果忠诚假设的一些不可信的含义,也允许马尔可夫等价类(在弱意义上)和可识别因果效应的一致相合估计。然而,这两个假设都局限于线性高斯模型。我们提出了广义$k$ -三角形可信度,它可以应用于任何光滑分布。此外,在广义$k$ -三角形可信度假设下,我们描述了边缘估计算法,该算法在某些情况下提供因果效应的一致估计(否则输出“无法分辨”),以及\textit{Very Conservative } $SGS$算法,该算法(在稍弱的意义上)是真实DAG的马尔可夫等价类的一致相合估计量。
2021-08-01 cs.LG stat.ME stat.ML
Gaussian Invariant Markov Chain Monte Carlo
Google DeepMind, UK(谷歌深Mind公司,英国);Athens University of Economics and Business, Greece(雅典经济与商业大学,希腊);UCL, UK(UCL大学,英国)
研究开发高斯不变版本的随机游走Metropolis、Metropolis调整朗之万算法等采样方法,利用高斯不变性特性构建控制变量降低估计量方差,通过示例展示新方法并取得最优结果,还给出相关理论分析。
2026-07-14 cs.LG stat.ME stat.ML
Inference of collective Gaussian hidden Markov models
Georgia Institute of Technology(佐治亚理工学院)
我们考虑一类连续状态集体隐马尔可夫模型的推理问题,其中数据记录在聚合(集体)的形式产生的一个大的人口的个人遵循相同的动态。我们提出了一个聚合推理算法称为集体高斯前向-后向算法,最近提出的Sinkhorn信念传播算法的高斯密度为特征的模型。我们的算法享有收敛保证。此外,当观测值由单个个体生成时,它简化为标准卡尔曼滤波器。通过多次实验证明了该算法的有效性。
2021-07-24 cs.LG cs.SY eess.SP
Scalable Deep Gaussian Markov Random Fields for General Graphs
Linköping University(林雪平大学);Arriver Software AB(Arriver软件公司)
图上的机器学习方法由于其处理一般结构化数据的能力而在许多应用中被证明是有用的。高斯马尔可夫随机场(GMRF)的框架提供了一个原则性的方法来定义高斯模型的图,利用其稀疏结构。我们提出了一个灵活的GMRF模型的一般图建立在多层结构的深GMRF,最初提出的格图。通过设计一种新型的层,我们使模型能够扩展到大型图形。该层被构造为允许使用图神经网络的变分推断和现有软件框架进行有效训练。对于高斯似然,接近精确的贝叶斯推断可用于潜在场。这允许进行伴随不确定性估计的预测。该模型的有效性通过在一些合成和真实世界数据集上的实验进行了验证,与其他贝叶斯和深度学习方法相比,它具有优势。
2022-06-10 cs.LG cs.SI stat.CO
On Convergence Rate of the Gaussian Belief Propagation Algorithm for Markov Networks
高斯置信传播(Gaussian Belief Propagation,BP)算法是信号处理和涉及马尔可夫网络的统计学习中最重要的分布式算法之一。众所周知,当高斯图是非循环图时,该算法在有限次迭代中从马尔可夫网络上的高维联合密度函数正确地计算边缘密度函数。最近还知道,该算法产生正确的边际平均值的循环高斯图的行走可和的条件下渐近。本文进一步推广了这一收敛结果,证明了在行走可和条件下,收敛是指数收敛的,并给出了一个简单的收敛速度界。
2019-03-06 eess.SP stat.ML
Accurate Kernel Learning for Linear Gaussian Markov Processes using a Scalable Likelihood Computation
ExxonMobil Research and Engineering Company(埃克森美孚研究与工程公司)
我们报告了一个精确的似然计算线性高斯马尔可夫过程,是更可扩展的复杂模型和稀疏采样信号比现有的算法。通过消除卡尔曼似然中的重复计算,并通过使用状态转移方程的对角化形式,实现了更好的缩放。使用这种有效的计算,我们研究了核学习的准确性,使用极大似然和后验均值在模拟实验中。具有参考先验的后验均值对于复杂模型和稀疏采样更准确。由于其较低的计算负荷,极大似然估计是一个有吸引力的选择,更密集的采样信号和低阶模型。我们确认估计行为的实验数据,通过他们的应用洞穴数据。
2018-05-18 cs.LG stat.ML
Autoregressive Asymmetric Linear Gaussian Hidden Markov Models
Universidad Politécnica de Madrid(马德里理工大学);Aingura IIoT(Aingura工业物联网公司)
本文提出一种带非对称自回归成分的隐马尔可夫模型,能自适应选择自回归阶数以最大化惩罚似然,并适配推理、解码与学习,实验验证其有效性。
2020-10-27 cs.LG stat.AP stat.ME
A Semi-Markov Switching Linear Gaussian Model for Censored Physiological Data
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
普通病房中的重症患者容易发生意外的临床恶化,需要及时转移到重症监护室(ICU)。为了在这样的环境中进行风险评分和患者监测,我们开发了一种新的用于住院患者生理的半马尔可夫切换线性高斯模型(SSLGM)。该模型捕获患者的潜在临床状态及其相应的可观察实验室测试和生命体征。我们提出了一种有效的无监督学习算法,该算法利用电子健康记录(EHR)中的信息审查数据来学习SSLGM的参数;然后使用学习的模型以在线方式评估新住院患者的临床恶化风险,从而及时进入ICU。在一个大型学术医疗中心收治的6,094名患者的异质性队列中进行的实验表明,所提出的模型显著优于目前部署的风险评分,如Rothman指数,MEWS,SOFA和APACHE。
2016-11-16 cs.LG stat.ML
On the Kullback-Leibler divergence between pairwise isotropic Gaussian-Markov random fields
Kullback-Leibler散度或相对熵是统计模型之间的信息论度量,在测量随机变量之间的距离方面起着重要作用。在复杂系统的研究中,随机场是一种数学结构,它通过逆温度参数来模拟这些变量之间的相互作用,负责控制沿场的空间依赖结构。在本文中,我们推导出封闭形式的表达式之间的两个成对各向同性高斯马尔可夫随机场的Kullback-Leibler分歧在单变量和多变量的情况下。所提出的方程允许在图像处理和机器学习应用中开发新的相似性度量,例如图像去噪和无监督度量学习。
2022-03-24 cs.IT math.IT nlin.AO
Region Detection in Markov Random Fields: Gaussian Case
研究了样本不足情形下高斯马尔可夫场中的模型选择问题。在d-正则图的情况下,基准信息理论的结果要求样本的数量至少与顶点数量的对数成比例,以允许一致的图恢复。当样本的数量小于该数量时,不可能可靠地检测所有边缘。在许多应用中,学习网络上边(耦合)参数的分布比边的具体位置更重要。假设整个图可以被划分成一些空间区域具有相似的边缘参数和合理的规则边界,我们开发了新的信息理论的样本复杂性的界限,并表明,有限数量的样本可以是足够的一致恢复这些地区。最后,我们介绍和分析了一个有效的区域生长算法,能够恢复区域的高精度。我们表明,它是一致的,并证明其性能优势,在合成模拟。
2018-03-29 stat.ML
Estimation of positive definite M-matrices and structure learning for attractive Gaussian Markov Random fields
考虑一个二阶矩有限的随机向量。如果其精度矩阵是M矩阵,则所有偏相关是非负的。如果该随机向量另外是高斯的,则对应的马尔可夫随机场(GMRF)被称为吸引的。本文研究了利用符号约束对数行列式发散最小化方法估计M-矩阵的逆二阶矩或精度矩阵。我们还处理高维的情况下,变量的数量超过样本量。额外的符号约束大大简化了估计问题:我们提供的证据表明,显式正则化不再需要。为了解决由此产生的凸优化问题,我们提出了一种基于块坐标下降的算法,其中每个子问题可以转化为非负最小二乘问题。提供了模拟和真实世界数据的插图。
2014-04-26 math.ST stat.ML stat.TH
The Gaussian-Linear Hidden Markov model: a Python package
本文提出高斯-线性隐马尔可夫模型(GLHMM)及其Python工具箱,通过线性回归参数化高斯状态分布,结合随机变分推断实现大规模神经科学数据的统计检验与样本外预测,用于发现大脑-行为关联。
2024-09-30 q-bio.NC stat.ML