SpaMHMM: Sparse Mixture of Hidden Markov Models for Graph Connected Entities
INESC TEC(INESC TEC(葡萄牙系统与计算机工程研究所));University of Porto(波尔图大学)
我们提出了一个框架来模拟分布的顺序数据来自一组实体连接在一个已知的拓扑图。该方法是基于共享的隐马尔可夫模型的混合物(HALGOR),这是联合训练,以利用图形结构的知识,并在这样一种方式,获得的混合物往往是稀疏的。在不同应用领域的实验表明了该方法的有效性和通用性。
2019-03-31 cs.LG stat.ML
Sparse Markov Decision Processes with Causal Sparse Tsallis Entropy Regularization for Reinforcement Learning
Seoul National University(首尔大学)
本文提出了一种新的因果稀疏Tsallis熵正则化的稀疏马尔可夫决策过程(MDP),该策略正则化可使稀疏MDP的最优策略分布具有稀疏性和多峰性。本文首先分析了稀疏MDP的最优性条件,然后给出了稀疏MDP的最优性条件。然后,我们提出了一个稀疏值迭代方法,解决了稀疏MDP,然后证明了收敛性和最优性稀疏值迭代使用Banach不动点定理。建议的稀疏MDP相比,软MDP利用因果熵正则化。我们表明,稀疏MDP的性能误差有一个恒定的界限,而软MDP的错误增加相对于动作的数量,其中这种性能误差是由引入的正则化项。在实验中,我们将稀疏MDP应用于强化学习问题。所提出的方法优于现有的方法在收敛速度和性能。
2017-10-13 cs.AI cs.LG stat.ML
Sparse Interaction Neighborhood Selection for Markov Random Fields via Reversible Jump and Pseudoposteriors
本文针对二维格点马尔可夫随机场,提出可逆跳转MCMC算法在最大邻域子集间跳转,利用边缘伪后验分布实现稀疏交互邻域选择,并通过模拟与真实纹理图像数据验证方法有效性。
2024-04-30 stat.CO stat.ML
The Complexity of Morality: Checking Markov Blanket Consistency with DAGs via Morality
Monash University(莫纳什大学)
一类忠实贝叶斯网络中的马尔可夫毯满足对称性和一致性。在本文中,我们画了一个双射家庭之间的一致马尔可夫毯和道德图。我们定义了弱递归单纯性和完全消去套件的新概念。我们证明它们等价于图道德。另外,我们证明了对于最大度小于$5$的图,道德问题可以在多项式时间内得到判定,而对于最大度更高的图,道德问题是NP-完全的.
2019-03-05 cs.CC cs.DM cs.LG
High-Dimensional Covariance Decomposition into Sparse Markov and Independence Models
拟合高维数据涉及到忠实表示和稀疏模型的使用之间的微妙权衡。通常,拟合模型上的稀疏性假设过于严格,无法提供观测数据的忠实表示。本文提出了一种在不同领域结合稀疏性的新框架,将观测到的协方差阵分解为稀疏高斯马尔可夫模型(具有稀疏精度矩阵)和稀疏独立模型(具有稀疏协方差阵)。我们的框架将稀疏协方差和稀疏精度估计作为特例,从而引入了更丰富的高维模型。我们刻画了两个模型,\viz马尔可夫模型和独立模型的可识别性的充分条件。我们提出了一种有效的分解方法的基础上修改流行的$\ell_1$惩罚最大似然估计($\ell_1$ -MLE)。我们确定我们的估计量在两个域中是一致的,即,当样本数$n$为$n = Ω(d^2 \log p)$时,它成功地恢复了马尔可夫模型和独立模型的支持度,其中$p$是马尔可夫模型中的变量数,$d$是马尔可夫模型中的最大节点度.我们的实验验证了这些结果,也表明我们的模型有更好的推理精度下简单的算法,如循环的信念传播。
2013-12-14 math.ST stat.ML stat.TH
Reversible MCMC on Markov equivalence classes of sparse directed acyclic graphs
图形模型是一种流行的统计工具,用于表示相关或因果的复杂系统。统计等价的因果或有向图模型被称为属于马尔可夫等价类。描述和理解这些类的空间是非常有趣的。然而,与目前已知的算法,在这样的类的采样是唯一可行的图形与少于约20个顶点。在本文中,我们设计可逆的不可约马尔可夫链的马尔可夫等价类的空间,提出了一个完美的运营商,确定的马尔可夫链的转移。本文提出的马尔可夫链的平稳分布具有封闭形式,易于计算。具体来说,我们构造了一个具体的完美集稀疏马尔可夫等价类的运营商通过引入适当的条件,对每个可能的运营商。给出了有效生成马尔可夫链的算法及其加速版本,并研究了具有数千个顶点的稀疏有向无环图(DAG)的马尔可夫等价类的性质.我们通过实验发现,在大多数稀疏DAG的马尔可夫等价类中,(1)大多数边是有向的,(2)大多数无向子图是小的,(3)这些无向子图的数量随着顶点的数量近似线性地增长。本文包含补充arXiv:1303.0632,http://dx.doi.org/10.1214/13-AOS1125SUPP
2014-01-27 cs.DM stat.ME stat.ML
Stochastic Learning for Sparse Discrete Markov Random Fields with Controlled Gradient Approximation Error
UW-Madison(威斯康星大学麦迪逊分校);University of Washington(华盛顿大学)
我们研究了离散马尔可夫随机场(MRF)的$L_1$正则化最大似然估计/估计(MLE)问题,其中高效和可扩展的学习需要稀疏正则化和近似推理。为了解决这些挑战,我们考虑了一种称为随机邻近梯度的随机学习框架(SPG; Honorio 2012 a,Atchade et al. 2014,Miasojedow and Rejchel 2016)。SPG是一种不精确的近端梯度算法[Schmidtet等人,2011年],其不精确性源于梯度近似的随机预言(吉布斯采样)-由于离散MRF的NP难推理问题,精确梯度评估通常是不可行的[Koller和Friedman,2009年]。在理论上,我们提供了新的可验证的边界来检查和控制梯度逼近的质量。在实验上,我们提出了基于可验证边界的收紧渐近(TAY)学习策略,以提高SPG的性能。
2020-05-12 cs.LG stat.ML
Fitting Sparse Markov Models to Categorical Time Series Using Convex Clustering
本文提出一种基于凸聚类和正则化的稀疏马尔可夫模型拟合方法,通过BIC选择正则化参数,并证明其模型选择一致性,模拟和疾病亚型分类实证验证了方法的有效性。
2025-07-02 stat.ME stat.ML
Collaborative filtering via sparse Markov random fields
Center for Pattern Recognition and Data Analytics(模式识别与数据分析中心);Deakin University(迪肯大学)
推荐系统在提供个性化的信息和服务方面发挥着核心作用。本文重点介绍了协同过滤,一种方法,利用共享结构之间的头脑喜欢的用户和类似的项目。特别是,我们专注于一个正式的概率框架称为马尔可夫随机场(MRF)。我们解决了结构学习的开放问题,并引入了稀疏诱导算法来自动估计用户之间和项目之间的交互结构。项目-项目和用户-用户相关网络作为副产品获得。在电影推荐和日期匹配数据集上的大规模实验证明了该方法的有效性。
2016-02-09 cs.IR cs.LG stat.ML
Efficient methods for Gaussian Markov random fields under sparse linear constraints
线性约束高斯马尔可夫随机场(GMRF)的推理和模拟方法在约束数量很大时计算量很大。在某些情况下,例如对于固有GMRF,它们甚至可能是不可行的。我们提出了一类新的方法来克服这些挑战,在常见的情况下稀疏的约束,其中一个有大量的约束,每个只涉及几个元素。我们的方法依赖于一个基础上的转换成块的约束与非约束子空间,我们表明,该方法大大优于现有的替代方案的计算成本。通过将所提出的方法与高斯随机场的随机偏微分方程方法相结合,我们还展示了如何在GMRF设置中制定具有线性约束的高斯过程回归以降低计算成本。这在两个具有模拟数据的应用中说明。
2021-06-03 stat.CO stat.ME stat.ML
Sparse Nested Markov models with Log-linear Parameters
University of Southampton(南安普顿大学);Cambridge University(剑桥大学);University of Washington(华盛顿大学);Harvard University(哈佛大学)
隐变量在实际数据分析中无处不在,因此对边际密度进行建模并使用所得模型进行推断是统计学、机器学习和因果推断中的重要问题。最近,一种新型的图形模型,称为嵌套马尔可夫模型,它捕获的有向无环图(DAG)模型的边缘发现的等式约束。其中一些约束,如所谓的“Verma约束”,严格地概括了条件独立性。为了使用嵌套马尔可夫模型进行建模和推理,有必要限制模型中参数的数量,同时仍然正确捕获DAG模型边缘的约束。设置这样的限制在精神上类似于无向图模型和回归模型的稀疏方法。在本文中,我们给出了一个对数线性参数化,允许稀疏建模嵌套马尔可夫模型。我们说明了这种参数化的优点与模拟研究。
2013-09-26 cs.AI cs.LG stat.ML
Consistent Sparse Deep Learning: Theory and Computation
Purdue University(普渡大学)
深度学习一直是推动数据科学取得许多成功的引擎。然而,深度神经网络(DNN)作为深度学习的基础模型,往往过度参数化,造成训练、预测和解释的诸多困难。我们提出了一种学习稀疏DNN的类频率论方法,并在贝叶斯框架下证明了其一致性:所提出的方法可以学习最多$O(n/\log(n))$连接的稀疏DNN,并具有良好的理论保证,如后验一致性,变量选择一致性和渐近最优泛化界。特别是,我们建立后验一致性的稀疏DNN与混合高斯先验,表明稀疏DNN的结构可以一致地确定使用基于拉普拉斯近似的边缘后验包含概率的方法,并使用贝叶斯证据,以引起稀疏DNN的学习优化方法,如随机梯度下降在多个运行不同的初始化。对于大规模稀疏DNN,所提出的方法在计算上比标准贝叶斯方法更有效。数值结果表明,该方法在大规模网络压缩和高维非线性变量选择方面都有很好的表现,都推进了可解释的机器学习.
2021-03-08 cs.LG stat.ML
Path Consistency Learning in Tsallis Entropy Regularized MDPs
Google Brain(谷歌大脑);Google DeepMind(谷歌DeepMind)
研究了稀疏熵正则化强化学习(ERL)问题,其中熵项是Tsallis熵的一种特殊形式.该公式的最优策略是稀疏的,即,~在每个状态下,只有少数动作具有非零概率。这解决了标准香农熵正则化RL(软ERL)公式的主要缺点,其中最佳策略是softmax,因此可能会将不可忽略的概率质量分配给非最佳动作。随着行动数量的增加,这一问题更加严重。在本文中,我们遵循Nachum等人的工作。(2017)在软ERL设置中,提出了一类新的路径一致性学习(PCL)算法,称为{ \em sparse PCL},用于稀疏ERL问题,可以使用策略和策略外数据。我们首先推导出一个{ \em稀疏一致性}方程,该方程指定了沿任意系统轨迹的稀疏ERL的最优价值函数和策略之间的关系。至关重要的是,一个弱形式的逆也是真的,我们量化的次优的政策,满足稀疏一致性,并表明,随着我们的行动的数量增加,这种次优是优于软ERL最优的政策。然后,我们使用这个结果来推导稀疏PCL算法。我们经验比较稀疏PCL与其软对应,并显示其优势,特别是在大量的行动的问题。
2018-02-10 cs.AI cs.LG stat.ML
Deep Stochastic Processes via Functional Markov Transition Operators
University of Oxford(牛津大学);Google DeepMind(谷歌DeepMind)
本文提出马尔可夫神经过程(MNPs),通过在函数空间堆叠神经网络参数化的马尔可夫转移算子,在保持可交换性和一致性的前提下增强神经过程的灵活性与表达能力,并在多种任务上验证了其优势。
2023-05-24 cs.LG stat.ML
A Max-Product EM Algorithm for Reconstructing Markov-tree Sparse Signals from Compressive Samples
提出了一种基于置信传播的马尔可夫树稀疏信号重构的贝叶斯期望最大化算法。测量遵循欠定线性模型,其中回归系数向量是未知的近似稀疏信号和具有未知方差的零均值高斯白噪声的和。该信号由二进制状态变量识别的大小分量组成,其概率依赖结构由马尔可夫树描述。高斯先验被分配给给定其状态变量的信号系数,Jeffreys的无信息先验被分配给噪声方差。我们的信号重建方案是基于EM迭代,其目的是最大化的后验分布的信号和它的状态变量给定的噪声方差。我们构造EM迭代的缺失数据,使得完整数据的后验分布对应于不包含循环的隐马尔可夫树(HMT)概率图模型,并通过最大乘积算法实现其最大化(M)步骤。该期望最大化算法估计状态变量的向量,以及迭代地求解线性方程组以获得相应的信号估计。我们选择噪声方差,使得EM迭代收敛后得到的相应估计信号和状态变量具有最大的边缘后验分布。我们通过信号和图像重建实验比较了建议和现有的最先进的重建方法。
2013-08-25 cs.IT math.IT stat.ML
On Sparse variational methods and the Kullback-Leibler divergence between stochastic processes
学习诱导变量的变分框架(Titsias,2009 a)对高斯过程文献产生了很大的影响。该框架可以被解释为最小化近似和后突之间严格定义的库尔贝克-莱布勒散度。据我们所知,这种联系迄今为止在文献中还没有被注意到。在本文中,我们对这一主题的文献进行了大量的概括。我们给出了一个新的证明结果的无限指数集,它允许诱导点,不是数据点和依赖于所有函数值的似然。然后,我们讨论了增广指数集,并表明,与以前的作品,边际一致性的增强是不足以保证一致的变分推断与原模型。然后,我们描述了一个额外的条件,这样的保证是可获得的。最后,我们展示了我们的框架如何揭示域间稀疏近似和稀疏近似Cox过程。
2015-12-04 stat.ML
Nonlinear Markov Clustering by Minimum Curvilinear Sparse Similarity
基于非线性聚类的无监督模式识别算法的研究是数据科学中的一个重要问题。马尔可夫聚类(MCL)是一个著名的算法,它模拟样本相似性网络上的随机流,以检测数据中簇的结构组织,但它从来没有被推广到处理数据的非线性。最小曲线线性(MC)是一种用曲线距离来近似高维特征空间中的非线性样本距离的原则,曲线距离被计算为其最小生成树上的横向路径,然后存储在核中。在这里,我们提出了MC-MCL,这是第一个非线性内核扩展的MCL,并利用最小曲线性,以提高性能的真实和合成数据与潜在的非线性模式的MCL。将MC-MCL与DBSCAN、K-means和affinity propagation等基本聚类方法进行了比较。我们发现,最小Curvilinearity提供了一个有价值的框架,估计非线性距离时,其内核与MCL相结合。事实上,MC-MCL克服了经典的MCL,甚至基线聚类算法在不同的非线性数据集。
2019-12-27 cs.LG stat.ML
Identifying Sparse Low-Dimensional Structures in Markov Chains: A Nonnegative Matrix Factorization Approach
University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们考虑学习大规模马尔可夫链的低维表示的问题。我们将表示学习的任务表述为将模型的状态空间映射到低维状态空间,称为核空间。内核空间包含一组Meta状态,这些元状态仅代表原始状态的一个小子集。为了促进这一结构属性,我们约束状态空间和核空间之间的映射的非零条目的数量。通过施加所需的特性的表示,我们投的问题作为一个约束的非负矩阵分解。为了计算解,我们提出了一种有效的块坐标梯度下降算法,并从理论上分析了其收敛性。
2020-04-07 cs.LG cs.SY eess.SY
Strong Consistency and Rate of Convergence of Switched Least Squares System Identification for Autonomous Markov Jump Linear Systems
McGill University(麦吉尔大学)
本文研究了具有完全状态观测的自治Markov跳变线性系统的系统辨识问题。我们提出了切换最小二乘方法识别MJS,证明了这种方法是强相容的,并推导出数据依赖和数据无关的收敛速度。特别是,我们的数据独立收敛速度表明,几乎可以肯定,系统辨识误差为$\mathcal{O}\big(\sqrt{\log(T)/T} \big)$,其中$T$是时间范围。这些结果表明,切换最小二乘方法的MJS具有相同的收敛速度的最小二乘方法的自治线性系统。我们得到我们的结果施加一个一般的稳定性假设的模型称为稳定的平均意义。我们表明,在平均意义上的稳定性是一种较弱的形式的稳定性相比,通常在文献中施加的稳定性假设。我们提出的数值例子来说明所提出的方法的性能。
2023-02-04 cs.LG math.DS stat.ML
Hardness of Independent Learning and Sparse Equilibrium Computation in Markov Games
Microsoft(微软)
我们考虑马尔可夫博弈中的分散式多智能体强化学习问题。一个基本的问题是,是否存在这样的算法,当所有的智能体都采用这种算法,并以分散的方式独立运行时,每个玩家都不会后悔,类似于标准形式游戏中著名的收敛结果。虽然最近的工作表明,这种算法存在的限制设置(特别是,当后悔的定义相对于偏差马尔可夫政策),独立的无遗憾学习是否可以实现在标准的马尔可夫博弈框架的问题是开放的。我们提供了一个决定性的消极解决这个问题,无论是从计算和统计的角度来看。我们证明:- 在普遍认为PPAD困难问题不能在多项式时间内解决的假设下,没有多项式时间算法可以在所有参与者独立执行时在一般和马尔可夫博弈中获得无遗憾,即使算法设计者知道博弈并且参与者的数量是一个小常数。- 当游戏是未知的,没有算法,不管计算效率如何,可以实现无遗憾,而不观察到的事件数量是指数的球员。也许令人惊讶的是,我们的下限甚至适用于看似更容易的设置,其中所有代理都由集中式算法控制。他们证明通过一个更简单的问题,我们称之为SparseCCE,其中的目标是计算一个粗略的相关均衡,稀疏的意义上说,它可以表示为一个混合物的一小部分产品政策的下限。我们的方法的关键是一个新的应用程序的聚合技术从在线学习,从而我们表明,任何算法的SparseCCE问题可以用来计算近似纳什均衡的非零和正规形式的游戏。
2023-03-22 cs.AI cs.GT cs.LG
Bayesian Structure Learning for Markov Random Fields with a Spike and Slab Prior
University of California, Irvine(加州大学欧文分校)
近年来,已经开发了许多方法来自动学习马尔可夫随机场的(稀疏)连接结构。这些方法大多基于L1正则化优化,其具有许多缺点,例如无法评估模型的不确定性和昂贵的交叉验证以找到最佳正则化参数。此外,模型的预测性能可能会随着正则化参数的次优值(有时需要引入稀疏性)而急剧下降。我们提出了一个完全贝叶斯方法的基础上的“尖峰和板坯”前(类似于L0正则化),不受这些缺点。我们开发了一个近似MCMC方法结合朗之万动力学和可逆跳MCMC进行推断在这个模型。实验表明,该模型学习的结构和参数值的良好组合,而不需要单独的超参数调整。此外,该模型的预测性能比基于L1的方法更鲁棒,超参数设置会导致高度稀疏的模型结构。
2012-06-23 cs.LG stat.ML
Bayesian Structure Learning for Markov Random Fields with a Spike and Slab Prior
University of California, Irvine(加州大学欧文分校)
近年来,已经开发了许多方法来自动学习马尔可夫随机场的(稀疏)连接结构。这些方法大多基于L1正则化优化,其具有许多缺点,例如无法评估模型的不确定性和昂贵的交叉验证以找到最佳正则化参数。此外,模型的预测性能可能会随着正则化参数的次优值(有时需要引入稀疏性)而急剧下降。我们提出了一个完全贝叶斯方法的基础上的“尖峰和板坯”前(类似于L0正则化),不受这些缺点。我们开发了一个近似MCMC方法结合朗之万动力学和可逆跳MCMC进行推断在这个模型。实验表明,该模型学习的结构和参数值的良好组合,而不需要单独的超参数调整。此外,该模型的预测性能比基于L1的方法更鲁棒,超参数设置会导致高度稀疏的模型结构。
2014-08-09 cs.LG stat.ML
On Learning Continuous Pairwise Markov Random Fields
Massachusetts Institute of Technology(麻省理工学院)
我们考虑从i.i.d样本中学习具有连续值变量的稀疏成对马尔可夫随机场(MRF)。我们调整了Vuffray等人的算法。(2019)在这种情况下,并提供有限样本分析,揭示样本复杂性随变量数量的变化规律,如离散和高斯设置。我们的方法是适用于一个大类的成对MRF连续变量,也有理想的渐近性质,包括在温和的条件下的一致性和正态性。此外,我们确定Vuffray等人(2019)中采用的优化标准的群体版本可以解释为局部最大似然估计(MLE)。作为我们分析的一部分,我们引入了稀疏线性回归a` la Lasso的稳健变化,这可能本身就很有趣。
2020-10-28 cs.LG stat.ML
On the inconsistency of $\ell_1$-penalised sparse precision matrix estimation
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所(HIIT));University of Helsinki(赫尔辛基大学)
各种$\ell_1$惩罚估计方法,如图形套索和CLIME广泛用于稀疏精度矩阵估计。许多这些方法已被证明是一致的,在各种定量假设的基础上真正的协方差矩阵。直觉上,这些条件与惩罚项将主导优化的情况有关。在本文中,我们探讨了基于$\ell_1$的方法对一类稀疏潜变量类模型的一致性,这类模型受到几种类型的应用的强烈激励。我们发现,所有基于$\ell_1$的方法显着失败的模型与变量之间的线性依赖关系。我们还研究了来自真实基因表达数据的模型的一致性,并注意到即使对于中等规模的基因网络,一致性所需的假设也从未成立,并且基于$\ell_1$的方法在实践中对于较大的网络也变得不可靠。
2016-03-08 cs.LG stat.CO stat.ML
Markov Equivalence and Consistency in Differentiable Structure Learning
Booth School of Business, The University of Chicago(芝加哥大学布斯商学院);Machine Learning Department, Carnegie Mellon University(卡内基梅隆大学机器学习系)
针对现有DAG可微结构学习依赖强可识别性假设及优化器易利用损失伪影的问题,通过正则化似然识别马尔可夫等价类中最稀疏模型,推广至一般模型并经实验验证,为通用场景下的可微结构学习提供理论与方法支持。
2024-11-27 cs.LG math.ST stat.ME
Non-negative least squares for high-dimensional linear models: consistency and sparse recovery without regularization
最小二乘拟合通常不适用于高维线性模型,其中预测变量的数量与样本的样本个数具有相同或甚至更大的数量级。近年来发展起来的理论创造了一种范式,根据这种范式,稀疏促进正则化被认为是在这种情况下的必要性。偏离这种模式,我们表明,非负约束的回归系数可能是同样有效的显式正则化,如果设计矩阵有额外的属性,这是满足在几个应用程序的非负最小二乘(NNLS)。我们表明,对于这些设计,NNLS的预测和估计方面的性能是可比的套索。我们认为,在特定情况下,NNLS可能有一个更好的$\ell_{\infty}$率估计,因此也支持恢复时,结合阈值的优势。从实际的角度来看,NNLS不依赖于正则化参数,因此更容易使用。
2014-02-12 math.ST stat.ML stat.TH
Markov Random Fields for Collaborative Filtering
Netflix(网飞)
在本文中,我们通过高斯马尔可夫随机场(MRF)的项目之间的依赖关系,推荐给用户的协作过滤问题。我们建立在Besag的自正态参数化和伪似然的基础上,这不仅可以实现计算效率的学习,而且还将MRF和稀疏逆协方差估计与自动编码器和邻域模型(协作过滤中的两种成功方法)连接起来。我们提出了一种新的近似学习稀疏的MRF,其中的权衡精度和训练时间可以控制。与各种基线(包括深度非线性模型)相比,仅用一小部分训练时间,所提出的方法就在我们实验中使用的所有三个众所周知的数据集上实现了具有竞争力的排名准确性,特别是在具有最多项目的数据集上的准确性提高了20%。
2019-10-21 cs.IR cs.LG stat.ML
Parallel Gaussian Process Regression for Big Data: Low-Rank Representation Meets Markov Approximation
National University of Singapore(新加坡国立大学);Singapore-MIT Alliance for Research and Technology(新加坡-麻省理工学院研究与技术联盟);Massachusetts Institute of Technology(麻省理工学院)
高斯过程(GP)模型的表达能力是以数据大小的可伸缩性差为代价的。为了提高其可扩展性,本文提出了一种低秩和马尔可夫近似(LMA)的GP模型,这是新颖的,利用双重计算优势,来自补充的低秩近似表示的满秩GP的基础上的支持集的输入与马尔可夫近似的结果产生的残差过程;后一种近似在受到某种约束的Kullback-Leibler距离准则中保证是最接近的,并且比利用低-秩表示由于其更宽松的条件独立性假设(特别是对于较大的数据)。因此,我们的LMA方法可以在支持集的大小和马尔可夫性的阶数之间进行权衡,以(a)产生比这种稀疏GP模型更低的计算成本,同时实现与它们相当的预测性能,以及(b)准确地表示任何尺度的特征/模式。有趣的是,改变马尔可夫阶数会产生一个在两个极端具有PIC近似和满秩GP的LMA谱。我们的LMA方法的一个优点是,它是服从多个机器/核心上的并行化,从而获得更大的可扩展性。在多达32个计算节点的集群中对三个真实世界数据集的实证评估表明,我们的集中式和并行LMA方法比最先进的稀疏和满秩GP回归方法具有更高的时间效率和可扩展性,同时实现了相当的预测性能。
2014-11-17 cs.DC cs.LG stat.ML
A fast asynchronous MCMC sampler for sparse Bayesian inference
我们提出了一个非常快速的近似马尔可夫链蒙特卡罗(MCMC)采样框架,适用于一大类稀疏的贝叶斯推断问题,在几个模型中,每次迭代的计算成本是为了$O(ns)$,其中$n$是样本量,和$s$的基本稀疏模型。当采用随机梯度朗之万动力学时,通过数据子采样可以进一步降低该成本。该算法是Johnson等人(2013)的异步Gibbs采样器的扩展,但可以从统计学角度视为贝叶斯迭代确定独立筛选的一种形式(Fan等人(2009))。我们表明,在高维线性回归问题,所提出的算法产生的马尔可夫链承认一个不变的分布,正确地恢复主信号的概率高,在一些统计假设。此外,我们表明,它的混合时间是最多的线性回归的数量。我们用几个模型来说明该算法。
2021-08-14 math.ST stat.CO stat.ML