High dimensional Sparse Gaussian Graphical Mixture Model
University of Groningen（格罗宁根大学）
本文研究了基于高斯混合图模型（GGMM）的异构数据网络重构问题。众所周知，由于大量的变量与可能性的简并性，在这种情况下的参数估计是具有挑战性的。作为一种解决方案，我们提出了一个惩罚的极大似然技术施加$l_{1}$罚款的精度矩阵。我们的方法缩小了参数，从而导致更好的可识别性和变量选择。我们使用的期望最大化（EM）算法，其中包括图形LASSO估计的混合系数和精度矩阵。证明了在一定的正则条件下，惩罚极大似然（PML）估计是相容的.我们通过模拟展示了PML估计的性能，并展示了我们的方法在基因组应用中用于高维数据分析的实用性。
2013-10-05 cs.LG stat.ML
Objective Bayes Covariate-Adjusted Sparse Graphical Model Selection
提出了一种用于高斯多元回归模型中协方差选择的客观贝叶斯方法，该模型的误差项具有关于有向无环图（DAG）的马尔可夫协方差结构。范围是协变量调整稀疏图形模型选择，一个日益重要的主题，特别是在遗传基因组学（eQTL分析）领域。具体来说，我们提供了一个封闭形式的表达的边缘可能性的任何DAG（与小的父集），其计算几乎不需要主观的启发由用户，只涉及共轭矩阵正常Wishart分布。这是通过一种特定形式的先验分配来实现的，根据分数贝叶斯因子的概念，在完整的DAG模型下只需要指定一个先验。其他DAG模型下的所有先验都是使用Geiger & Heckerman（2002）的术语中的先验模块性和全局参数独立性导出的。由于我们获得的边际似然是恒定的每一类马尔可夫等价的DAG，我们的方法自然专门协变量调整可分解的图形模型。
2015-10-08 stat.ME
Bayesian sparse graphical models and their mixtures using lasso selection priors
我们提出了高斯图形模型的贝叶斯方法，导致稀疏和自适应收缩的精度（逆协方差）矩阵的估计。我们的方法是基于套索型正则化先验导致简约的参数化的精度矩阵，这是必不可少的几个应用程序，涉及学习变量之间的关系。在这种情况下，我们引入了一种新类型的选择之前，开发一个稀疏结构的精度矩阵，使大多数元素正好为零，除了确保正定性-从而进行模型选择和估计同时进行。我们将这些方法扩展到有限和无限混合高斯图形模型的聚类数据使用Dirichlet过程先验。我们讨论了适当的后验模拟方案，以实现后验推理在所提出的模型，包括评估的归一化常数，这是感兴趣的参数的功能，从而导致相关矩阵的限制。我们评估我们的方法的操作特性，通过几个模拟和应用到真实的数据集。
2013-10-03 stat.ME
Bayesian model selection approach for colored graphical Gaussian models
我们考虑了一类有色图形高斯模型，通过在贝叶斯框架下对精度矩阵施加对称性约束而得到。精度矩阵上的先验分布是着色的$G$ -Wishart先验，其是Diaconis-Ylvisaker共轭先验。在本文中，我们开发了一个计算效率高的模型搜索算法，结合线性回归与双可逆跳马尔可夫链蒙特卡罗（MCMC）方法。后者是估计表示为两个竞争模型的后验概率之比的Bayes因子。我们还建立了基于贝叶斯因子的模型选择过程的渐近一致性。我们的程序避免了计算上不可能的穷举搜索。我们的方法与模拟和现实世界中的应用程序与蛋白质信号数据集。
2020-04-02 stat.ME
Robust Bayesian Model Selection for Variable Clustering with the Gaussian Graphical Model
变量聚类对于解释性分析很重要。然而，只有少数专门的方法与高斯图形模型的变量聚类已经提出。甚至更严重的是，由于噪声导致的微小的不显著的偏相关性可以在例如使用贝叶斯信息准则（BIC）进行评估时显著地改变聚类结果。在这项工作中，我们试图解决这个问题，提出了一个贝叶斯模型，占可以忽略不计的小，但不一定为零，偏相关。基于我们的模型，我们建议使用边际似然来评估变量聚类结果。为了解决棘手的计算的边际似然，我们提出了两种解决方案：一个基于变分近似，另一个基于MCMC。仿真数据的实验表明，该方法是类似的准确BIC在无噪声设置，但有噪声的偏相关时，准确得多。此外，在真实数据上，所提出的方法提供了直观合理的聚类结果，这在使用BIC或其扩展时并不总是如此。
2018-06-15 stat.AP stat.CO stat.ML
An Expectation Conditional Maximization approach for Gaussian graphical models
贝叶斯图模型是理解许多变量之间依赖关系的有用工具，特别是在具有外部先验信息的情况下。在高维环境中，可能的图的空间变得巨大，使得即使是最先进的贝叶斯随机搜索在计算上也不可行。我们提出了一个确定性的替代估计高斯和高斯copula图形模型使用期望条件最大化（ECM）算法，扩展EM方法从贝叶斯变量选择图形模型估计。我们表明，ECM方法可以快速后验探索下的混合先验序列，并可以将多个信息源。
2019-02-06 stat.ML
Bayesian Estimation of Gaussian Graphical Models with Predictive Covariance Selection
高斯图形模型用于确定变量之间的条件关系。这是通过识别逆协方差阵中非零的非对角元素来实现的。当变量（p）与观测值（n）之比接近1时，协方差阵的极大似然估计量变得不稳定，需要收缩估计。虽然已经引入了几种经典（频率论）方法来解决这个问题，但完全贝叶斯方法在实践和方法学文献中仍然相对罕见。在这里，我们介绍了一种估计稀疏矩阵的贝叶斯方法，其中的条件关系确定与投影预测选择。该方法利用库尔贝克-莱布勒散度和交叉验证进行邻域选择，在低维和高维环境下重建逆协方差阵。通过模拟和应用示例，我们将性能与几种贝叶斯方法和图形套索以及TIGER进行了比较，TIGER类似地使用回归估计逆协方差阵。我们的研究结果表明，投影预测选择不仅具有优越的性能相比，选择最可能的模型和贝叶斯模型平均，特别是对于高维数据，而且相比贝叶斯和经典glasso方法。此外，我们表明，估计逆协方差阵与多元回归往往是更准确的，相对于各种损失函数，和效率比直接估计。在低维环境中，我们证明了投影预测选择也提供了有竞争力的性能。我们在R软件包GGMprojpred中实现了协方差选择的投影预测方法
2018-08-04 stat.AP stat.ME
The EAS approach for graphical selection consistency in vector autoregression models
正如频率论文献中的各种最近和重要的论文所证明的那样，以及在宏观经济学，基因组学和神经科学中的许多应用，仍然有大量的兴趣来理解高维向量自回归（VAR）模型的理论估计特性。然而，迄今为止，虽然贝叶斯VAR（BVAR）模型已经开发和研究经验（主要是在计量经济学文献）存在很少的理论研究的重复抽样性质的BVAR模型在文献中。在这个方向上，我们通过$\varepsilon$ - $admissible$子集（EAS）方法构建方法，基于VAR转换矩阵的所有活动/非活动组件（图形）的相对模型概率的广义信念分布进行后验推理。我们给出了稳定VAR（1）模型EAS方法的$pairwise$和$strong$图形选择一致性的数学证明，该方法对模型误设定具有鲁棒性，并通过数值计算证明了它在高维环境下是一种有效的策略.
2019-06-11 stat.ME
Probabilistic Graphical Models for Credibility Analysis in Evolving Online Communities
Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）；Universität des Saarlandes（萨尔大学）
妨碍充分利用在线社区信息的主要障碍之一是对用户贡献内容的质量和可信度的普遍关切。该领域的先前工作基于社区的静态快照进行操作，对数据的结构做出强有力的假设（例如，关系表），或者仅考虑用于文本分类的浅特征。为了解决上述局限性，我们提出了概率图形模型，可以利用在线社区中的多个因素之间的联合相互作用-如用户交互，社区动态和文本内容-自动评估用户贡献的在线内容的可信度，以及用户的专业知识及其演变与用户可解释的解释。为此，我们设计了基于条件随机场的新模型，用于不同的设置，如将部分专家知识用于半监督学习，并处理离散标签以及细粒度分析的数字评级。这使得应用程序能够从健康论坛中的用户贡献的帖子中提取可靠的药物副作用，并识别新闻社区中的可信内容。在线社区是动态的，随着用户的加入和离开，适应不断变化的趋势，并随着时间的推移而成熟。为了捕捉这种动态，我们提出了基于隐马尔可夫模型，潜在狄利克雷分配和布朗运动的生成模型，以跟踪用户专业知识及其语言模型随时间的不断演变。这使我们能够识别专家用户和可信的内容随着时间的推移，提高国家的最先进的推荐系统，明确考虑用户的成熟度。这也使应用程序，如识别有用的产品评论，并检测虚假和异常评论与有限的信息。
2017-07-26 cs.AI cs.CL cs.IR
Graphical Gaussian models associated to a homogeneous graph with permutation symmetries
我们考虑随机向量$(Z^1,\ldots, Z^p)$的多元中心高斯模型，其条件结构由齐次图描述，并且在置换子群的作用下是不变的。下面的文章关注的是当底层的条件依赖图已知时，有色图形高斯模型中的模型选择。我们推导出的精度参数的Diaconis-Ylvisaker共轭先验的归一化常数的解析表达式，并进行贝叶斯模型选择类的图形高斯模型不变的置换子群的行动。我们说明我们的结果与玩具的尺寸$5$的例子。
2022-09-21 math.RT math.ST stat.TH
An empirical Bayes procedure for the selection of Gaussian graphical models
提出了一种新的可分解图高斯模型的模型确定方法。贝叶斯范式的使用，并为每个给定的图形，超逆Wishart先验分布的协方差阵被认为是。这种先验分布依赖于超参数。众所周知，模型的后验分布对这些超参数的规格是敏感的，并且没有完全令人满意的方法被注册。为了避免这个问题，我们建议采用经验贝叶斯策略，即使用数据确定超参数值的策略。通常，超参数被固定到它们的极大似然估计。为了计算这些极大似然估计，我们提出了一个马尔可夫链蒙特卡罗版本的随机逼近期望最大化算法。此外，我们在图空间中引入了一个新的采样方案，改进了Armstrong等人（2009）的添加和删除建议。我们说明了这种新方案的效率在模拟和真实数据集。
2011-05-23 stat.CO
A scalable quasi-Bayesian framework for Gaussian graphical models
本文研究了高维高斯图模型的贝叶斯估计。我们开发了Meinshausen和Buhlmann（2006）的邻域选择方法的准贝叶斯实现，用于估计高斯图模型。该方法产生的产品形式的准后验分布，可以有效地探索并行计算。我们推导出了拟后验分布的收缩率的非渐近界。结果表明，所提出的准后验分布以邻域选择中涉及的线性回归的最差收缩率的速率向真精度矩阵收缩.我们开发了一个用于近似计算的马尔可夫链蒙特卡罗算法，遵循Atchade（2015）的方法。我们说明了模拟研究的方法。结果表明，该方法可以拟合高斯图模型的规模与其他贝叶斯方法的图模型。
2015-12-25 math.ST stat.TH
Entry Dependent Expert Selection in Distributed Gaussian Processes Using Multilabel Classification
University of Tübingen（蒂宾根大学）
本文提出一种基于输入数据点特征的灵活专家选择方法，将专家选择建模为多标签分类问题，以降低分布式高斯过程中集成聚合的计算成本并保持预测质量。
2024-01-08 cs.DC cs.LG
Structure Learning in Graphical Modeling
图形模型是与节点对应于感兴趣变量的图相关联的统计模型。图的边缘反映变量之间允许的条件依赖性。图形模型承认计算方便的因式分解属性，长期以来一直是一个有价值的工具，易于处理的多元分布建模。最近，从基因表达数据重建基因调控网络等应用推动了结构学习的重大进展，即估计模型的图形。我们回顾了其中的一些进展，并讨论了方法，如无向图形模型（或马尔可夫随机场）的图形套索和邻域选择，以及PC算法和基于分数的搜索方法有向图形模型（或贝叶斯网络）。我们进一步审查扩展，考虑到潜在变量和异构数据源的影响。
2016-06-07 stat.ME stat.ML
Model Uncertainty and Correctability for Directed Graphical Models
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
概率图模型是概率建模、机器学习和人工智能的基本工具。它们使我们能够以自然的方式集成专家知识，物理建模，异构和相关数据以及感兴趣的数量。正是由于这个原因，模型不确定性的多个来源是图形模型的模块化结构中固有的。在本文中，我们开发了信息理论，强大的不确定性量化方法和非参数压力测试有向图模型，以评估多源模型的不确定性的影响和传播通过图感兴趣的数量。这些方法使我们能够对不同的不确定性来源进行排名，并通过针对感兴趣的数量来校正图形模型中最具影响力的组件。因此，从机器学习的角度来看，我们提供了一个数学上严格的方法来纠正，保证系统的选择，以改善组件的图形模型，同时控制潜在的新的错误，在该过程中创建的其他部分的模型。我们证明了我们的方法在两个物理化学的例子，即量子尺度通知化学动力学和材料筛选，以提高燃料电池的效率。
2021-07-17 cs.IT cs.LG math.IT
Equivalence class selection of categorical graphical models
学习变量之间的依赖关系的结构是统计文献中普遍存在的问题。有向无环图（DAG）可以表示一组条件独立性，但不同的DAG可能编码同一组关系，并且使用观察数据无法区分。等价的DAG可以被收集到类中，每个类由称为基本图（EG）的部分有向图表示。结构学习直接在EG空间上进行，而不是在DAG的联合空间上进行，导致理论和计算上的好处。尽管如此，文献中的大多数努力都致力于高斯数据，较少关注为多变量分类数据设计的方法。然后，我们提出了一个贝叶斯方法的结构学习的分类EGs。结合一个建设性的参数先验启发与图驱动的似然分解，我们得到了一个封闭形式的表达分类EG模型的边际似然。渐近性质进行了研究，和MCMC采样方案的近似后验推理。我们评估我们的方法在模拟场景和真实数据，与国家的最先进的方法相比，具有可观的性能。
2021-02-12 stat.ME
DCEDesignSA: A MATLAB-based Graphical User Interface for Discrete Choice Experiment Design Using Simulated Annealing
Maastricht University（马斯特里赫特大学）；University of Calgary（卡尔加里大学）
研究利用DCEDesignSA包生成贝叶斯D最优离散选择实验设计，用模拟退火搜索设计空间，贡献是有交互图形界面，非编程人员也能操作，还支持多种效应。
2026-07-07 stat.CO
Bayes Regularized Graphical Model Estimation in High Dimensions
在过去的十年中，贝叶斯图模型估计方法得到了很大的发展-然而，大多数现有的方法仅限于中等尺寸。我们提出了一种新的方法，适用于高维设置，通过解耦模型拟合和协方差选择。首先，基于完全图的完整模型在精度矩阵元素上的新型连续收缩先验下拟合，这在与基于Cholesky的正则化等价的情况下引起收缩，同时实现整个精度矩阵的共轭更新。随后，我们提出了一个后拟合的图形模型估计步骤，该步骤使用惩罚联合可信区域进行邻域选择顺序为每个节点。后验计算使用直接的完全吉布斯抽样进行，并且该方法可扩展到高维。所提出的方法被证明是渐近一致的估计固定$p$的图形结构时，真相是一个高斯图形模型。仿真结果表明，我们的方法相比，无论是在图形模型估计和计算效率方面的贝叶斯竞争对手。我们将我们的方法应用于癌症基因组学中的高维基因表达和microRNA数据集。
2013-08-19 stat.ME
A Bayesian approach for partial Gaussian graphical models with sparsity
我们探索各种贝叶斯方法来估计部分高斯图形模型。我们的分层结构能够处理单输出以及多输出线性回归，在小或高维，通过预测和响应之间的部分相关性（直接链接），通过与每个设置对应的尖峰和板先验，强制执行无稀疏性，稀疏性，组稀疏性或甚至稀疏组稀疏性的双水平选择。适应性和全球收缩也纳入贝叶斯建模的直接联系。现有的模型选择一致性的结果是重新制定坚持我们的稀疏和组稀疏设置，提供了理论保证下的一些技术假设。吉布斯采样器的开发和仿真研究表明，我们的模型，这给非常有竞争力的结果，特别是在支持恢复的效率。最后，研究了一个真实的数据集。
2021-12-13 math.ST stat.ME stat.TH
Bayesian Analysis of High-dimensional Discrete Graphical Models
这项工作介绍了一种贝叶斯方法来拟合大型离散图形模型与尖峰和板先验编码稀疏。我们考虑一个准似然方法，使节点并行计算，从而降低计算复杂度。我们引入了一个可扩展的Langevin MCMC算法的采样从准后验分布，使变量的选择和估计同时进行。我们提出了广泛的仿真结果，以证明该方法的可扩展性和准确性。我们还分析了16个人格因素（PF）数据集，以说明该方法的性能。
2019-10-17 stat.CO stat.ME
On the Sample Complexity of Graphical Model Selection for Non-Stationary Processes
Aalto University（阿尔托大学）
我们描述了从非平稳样本中准确选择图形模型所需的样本量。观测数据被建模为一个向量值零均值高斯随机过程，其样本是不相关的，但有不同的协方差矩阵。该模型包含作为特殊情况的i.i.d.的标准设置。样本以及样本形成平稳或欠扩展（非平稳）过程的情况。更一般地说，我们的模型适用于任何过程模型，可以获得一个有效的去相关。通过分析一种特殊的模型选择方法，我们得到了一个充分条件，所需的样本容量的准确的图形模型选择的基础上，非平稳数据。
2019-06-27 cs.LG stat.ML
Inference of multiple high-dimensional networks with the Graphical Horseshoe prior
我们开发了一种新的全贝叶斯方法多个相关的精度矩阵，称为多个图形马蹄铁（mGHS）。所提出的方法依赖于一种新的多变量收缩先验的基础上马蹄事先借用的强度和共享稀疏模式的群体，提高后边缘选择时，精度矩阵是相似的。另一方面，当组是独立的时，没有性能损失。此外，mGHS提供了一个相似性矩阵估计，有助于理解跨组的网络相似性。我们实现了一个有效的Metropolis-within-Gibbs后验推理，具体而言，局部方差参数更新通过一种新的和有效的修改拒绝抽样算法，从三参数Γ分布的样本。该方法的规模以及相对于变量的数量，并提供了一个最快的全贝叶斯方法估计多个精度矩阵。最后，边缘选择是一种新的方法，基于模型切割。我们的经验表明，mGHS优于竞争的方法，通过模拟研究和应用程序的自行车共享数据集。
2023-02-13 stat.CO stat.ME
Stratified Gaussian Graphical Models
高斯图形模型代表了分析连续多变量系统的统计工具箱的支柱。然而，由于多元正态分布的内在属性，使用该模型族可能隐藏某些形式的上下文特定的独立性，这些独立性从应用的角度来看是自然考虑的。这种独立性在早期已经被引入，以将离散图形模型和贝叶斯网络推广到更灵活的模型族中。在这里，我们通过引入欧几里得空间的分层来适应高斯图形模型的上下文特定的独立性的想法，使得条件独立性可以在某些部分中保持，但在其他地方不存在。它表明，分层模型定义了一个弯曲的指数族，它保留了相当大的易处理的参数估计和模型选择。
2014-09-08 math.ST stat.TH
Reciprocal Graphical Models for Integrative Gene Regulatory Network Analysis
构建基因调控网络是系统生物学的一项基本任务。我们引入了一个高斯倒易图形模型，通过整合mRNA基因表达和DNA水平信息（包括拷贝数和甲基化）来推断基因调控关系。数据集成允许对某些监管关系的方向性进行推断，否则由于马尔可夫等价性而无法区分。有效的推理是基于联立方程模型。采用贝叶斯模型选择技术来估计图的结构。我们通过模拟和两个应用程序在ZODIAC成对基因相互作用分析和结肠腺癌途径分析说明我们的方法。
2016-07-22 stat.ME
Score and Information for Recursive Exponential Models with Incomplete Data
Aalborg University（奥尔堡大学）；Microsoft Research（微软研究院）
递归图模型通常是基于贝叶斯网络的概率专家系统统计建模的基础。本文定义了这些模型的一个版本，表示为递归指数模型，这已经演变的愿望，施加复杂的领域知识的局部片段的模型。除了由给定模型指定的结构知识之外，统计建模还可以包括关于模型中的参数值的专家意见。它示出了如何翻译成近似共轭先验分布的不精确的专家知识。基于可能不完整的数据，这些模型的得分和观察到的信息。这说明了传统得分和观测信息（作为对数似然的导数导出）以及后验得分和观测信息（作为对数后验分布的导数导出）。在整个文件的递归图形模型的专业化占一个简单的例子。
2013-02-06 cs.AI stat.ME
On Joint Estimation of Gaussian Graphical Models for Spatial and Temporal Data
在本文中，我们首先提出了一个贝叶斯邻域选择方法来估计高斯图模型（GGM）。我们证明了这种方法在真实模型的后验概率收敛于1的意义上的图选择一致性。当存在多个可用数据组时，代替针对每个组独立地估计网络，网络的联合估计可以利用组之间的共享信息并且导致针对每个单独网络的改进的估计。我们的方法被扩展到联合估计GGM在多组数据具有复杂的结构，包括空间数据，时间数据和数据的空间和时间结构。马尔可夫随机场（MRF）模型被用来有效地将复杂的数据结构。我们开发并实现了一个有效的算法，统计推断，使并行计算。仿真研究表明，我们的方法实现了更好的准确性，在网络估计相比，不纳入空间和时间的依赖关系时，有共享的网络结构之间的方法，否则，它表现良好。最后，我们使用人脑基因表达微阵列数据集来说明我们的方法，其中在多个时间段内测量不同大脑区域中基因的表达水平。
2015-07-07 stat.AP stat.ME
Bayesian Covariance Matrix Estimation using a Mixture of Decomposable Graphical Models
贝叶斯方法用于估计高斯数据的协方差阵。从高斯图形模型和模型选择的想法被用来构建一个先验的协方差阵，是一个混合在所有可分解的图。对于该先验，每个图大小的概率由用户指定，并且相同大小的图被分配相同的概率。大多数以前的方法假设所有的图都是同样可能的。我们的经验表明，分配相等的概率在图形大小的先验优于分配相等的概率在所有图形的先验，无论是在识别正确的可分解图，并在更有效地估计的协方差阵。
2007-06-09 stat.ME
Extended Bayesian Information Criteria for Gaussian Graphical Models
在逆协方差阵中具有稀疏性的高斯图模型在许多现代应用中具有重要意义。对于恢复的图形结构的问题，信息标准提供了有用的优化目标的算法搜索通过组的图形或其他方法，如图形套索，这是一种可能性惩罚技术的调整参数的选择。在本文中，我们建立了一个扩展的贝叶斯信息准则的一致性高斯图模型的情况下，变量的数量p和样本量n增长。与早期的工作相比，回归的情况下，我们的治疗允许增长的非零参数的数量在真正的模型，这是必要的，以覆盖连通图。我们证明了这个标准的性能与图形套索一起使用时，模拟数据，并验证该标准确实比交叉验证或普通贝叶斯信息标准时，p和非零参数q的数量都与n的规模更好。
2010-11-30 math.ST stat.TH
Pattern graphs: a graphical approach to nonmonotone missing data
我们引入了模式图的概念--有向无环图表示响应模式是如何关联的。模式图表示非参数识别/饱和的识别限制，并且通常是非随机缺失限制。我们介绍了选择模型和模式混合模型配方使用的模式图，并表明它们是等价的。模式图导致逆概率加权估计以及基于估算的估计。我们还研究了半参数有效性理论，并利用模式图得到了一个多重稳健估计。
2020-12-03 math.ST stat.ME stat.TH
Model Selection With Graphical Neighbour Information
准确的模型选择是统计分析的基本要求。在图形建模的许多实际应用中，正确的模型结构识别是最终目标。标准的模型验证程序，如信息论得分和交叉验证已被证明在高维设置的性能差。专门的方法，如EBIC，StARS和RIC已经开发了明确的目的，高维高斯图形模型选择。我们提出了一种新的模型评分标准，图形邻域信息。该方法在高维模型选择中展示了Oracle性能，在我们的模拟中优于当前最先进的技术。图形邻域信息准则具有高效、封闭形式的可计算性的额外优点，节省了对数据子样本的多个模型的昂贵推断。我们提供了一个理论分析的方法和基准模拟与当前的最先进的。
2019-08-27 cs.LG cs.SI stat.ML
Efficient Neighborhood Selection for Gaussian Graphical Models
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文讨论了高斯图模型的邻域选择问题。我们提出了两个启发式算法：一个基于互信息检验的一般高斯图模型的前向-后向贪婪算法，和一个基于阈值的算法行走可求和高斯图模型。这两种算法被证明是结构上一致的，和有效的。数值结果表明，这两种算法都能很好地工作。
2015-09-22 cs.IT cs.LG math.IT
Discussion: Latent variable graphical model selection via convex optimization
Georgia Institute of Technology（佐治亚理工学院）
讨论“通过凸优化进行潜变量图形模型选择“，Venkat Jenrasekaran，Pablo A. Parrilo和Alan S. Willsky [arXiv：1008.1290].
2012-11-05 cs.LG math.ST stat.ML
Discussion: Latent variable graphical model selection via convex optimization
Stanford University（斯坦福大学）
讨论“通过凸优化进行潜变量图形模型选择“，Venkat Jenrasekaran，Pablo A. Parrilo和Alan S. Willsky [arXiv：1008.1290].
2012-11-05 cs.LG math.ST stat.ML
Discussion: Latent variable graphical model selection via convex optimization
University of Oxford（牛津大学）
讨论“通过凸优化进行潜变量图形模型选择“，Venkat Jenrasekaran，Pablo A. Parrilo和Alan S. Willsky [arXiv：1008.1290].
2012-11-05 cs.LG math.ST stat.ML
Discussion: Latent variable graphical model selection via convex optimization
University of California at Berkeley（加州大学伯克利分校）
讨论“通过凸优化进行潜变量图形模型选择“，Venkat Jenrasekaran，Pablo A. Parrilo和Alan S. Willsky [arXiv：1008.1290].
2012-11-05 cs.LG math.ST stat.ML
The Best Path Algorithm automatic variables selection via High Dimensional Graphical Models
Università Cattolica del Sacro Cuore（圣心天主教大学）；Università degli Studi di Torino（都灵大学）
本文提出了一种新的算法，自动变量选择过程中的高维图形模型。该算法基于互信息为感兴趣的节点选择相关变量。文献中的一些贡献已经研究了在大型数据集中选择适当数量的相关特征时使用互信息，但其中大多数都集中在二进制结果或需要高计算量。本文提出的算法克服了这些缺点，因为它是周和刘的算法的扩展。一旦通过所述算法确定了高维图形模型的概率结构，则通过计算确定的熵系数来确定最佳路径步骤，该最佳路径步骤包括对于感兴趣的变量具有最大解释/预测能力的变量。后者，是基于（对称）库尔贝克-莱布勒散度的概念，原来是密切相关的变量的互信息。该算法的应用范围广泛的真实世界和公开的数据集突出了其潜力和更大的有效性相比，现有的替代方法。
2022-12-06 cs.LG stat.ML
Rejoinder: Latent variable graphical model selection via convex optimization
California Institute of Technology（加州理工学院）；Massachusetts Institute of Technology（麻省理工学院）
对“通过凸优化进行潜变量图形模型选择“一文的反驳。Parrilo和Alan S. Willsky [arXiv：1008.1290].
2012-11-05 cs.LG math.ST stat.ML
Efficient Latent Variable Graphical Model Selection via Split Bregman Method
University of California Irvine（加州大学欧文分校）
本文考虑潜变量存在时的协方差阵估计问题。在适当的条件下，可以通过一个易于处理的凸规划来学习观测变量的边际协方差阵，其中观测变量的集中矩阵被分解为稀疏矩阵（表示观测变量的图形结构）和低秩矩阵（表示潜在变量的边际效应）。我们提出了一个有效的基于分裂Bregman的一阶方法来解决凸问题。该算法在温和的条件下保证收敛。我们表明，我们的算法是显着的速度比最先进的算法在人工和真实世界的数据。将该算法应用于涉及数千个基因的基因表达数据，我们表明，观测变量之间的大部分相关性可以解释只有几十个潜在的因素。
2011-10-13 cs.LG stat.ML
Stationary Geometric Graphical Model Selection
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）；Department of Electrical and Computer Engineering, Duke University（杜克大学电气与计算机工程系）
研究了样本不足情形下高斯马尔可夫场中的模型选择问题。在许多实际重要的情况下，底层网络嵌入到欧几里得空间中。利用自然的几何结构，我们引入了几何图上的空间平稳分布的概念。这直接将平稳时间序列的概念推广到没有时间轴的多维环境。我们发现，空间平稳性的想法导致显着降低的样本复杂性的模型选择相比，具有相同水平的稀疏性的抽象图。对于几何图形的随机传播的顶点和边缘的有界长度，我们开发严格的信息理论界的样本复杂性，并表明，有限数量的独立样本是足够的一致恢复。最后，我们开发了一种有效的技术，能够可靠和一致地重建图形与有限数量的测量。
2018-10-29 cs.LG stat.ML
Selective Inference and Learning Mixed Graphical Models
Stanford University（斯坦福大学）
本文研究了现代统计学中的两个问题。首先，我们研究选择性推理，或在查看数据后选择的假设推理。激励应用是对套索选择的回归系数的推断。我们提出的条件选择方法，允许有效的选择性推理，并研究其应用的套索，和其他几个选择算法。在第二部分中，我们考虑了连续变量和离散变量上的成对图模型的结构学习问题。我们提出了一个新的成对模型的图形模型，连续和离散变量，是服从结构学习。在以前的工作中，作者考虑了高斯图模型的结构学习和离散模型的结构学习。我们的方法是这两条线的工作的混合情况下的一个自然的概括。惩罚计划涉及一种新的对称使用组套索规范，并遵循自然从一个特定的参数化模型。我们提供的条件下，我们的估计是模型选择一致的高维制度。
2015-06-30 cs.LG stat.ML
Thresholded Graphical Lasso Adjusts for Latent Variables: Application to Functional Neural Connectivity
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
在神经科学中，研究人员试图从大规模的神经记录或成像中揭示神经元的连通性;人们经常使用图形模型选择和估计技术来实现这一目的。但是，现有的技术只能记录一小部分神经元，这导致了在存在大量潜在变量的情况下图选择的挑战性问题。Anglasekaran et al.（2012）提出了一个凸规划来解决这个问题，从计算和统计的角度提出了挑战。为了解决这个问题，我们提出了一个非常简单的解决方案：将硬阈值算子应用于现有的图选择方法。概念上简单，计算上有吸引力，我们证明，阈值的图形套索，邻域选择，或CLIME估计具有优越的理论特性，在图形选择的一致性，以及更强的实证结果比现有的方法的潜在变量图形模型问题。我们还证明了我们的方法的适用性，通过神经科学案例研究钙成像数据来估计功能性神经连接。
2021-04-13 cs.LG stat.ME stat.ML
Gaussian Graphical Model exploration and selection in high dimension low sample size setting
CMAP, CNRS, École polytechnique（应用数学中心、法国国家科学研究中心、巴黎综合理工学院）；Aramis project-team, Inria（Aramis项目组、法国国家信息与自动化研究所）；Institut du Cerveau et de la Moelle épinière, Sorbonne University, Inserm U1127, CNRS UMR 7225（脑与脊髓研究所、索邦大学、法国国家健康与医学研究院U1127、法国国家科学研究中心UMR 7225）；Hôpital Européen Georges-Pompidou AP-HP（乔治·蓬皮杜欧洲医院（巴黎公立医院集团））；Centre de Recherche des Cordeliers, Université de Paris, INSERM, Sorbonne Université（科德利耶研究中心、巴黎大学、法国国家健康与医学研究院、索邦大学）
高斯图模型（GGM）通常用于描述随机向量分量之间的条件相关性。在这篇文章中，我们比较了两个家庭的GGM推理方法：节点边缘选择和惩罚似然最大化。我们证明了合成数据，当样本量很小，这两种方法产生的图形，要么太少或太多的边缘相比，真正的。因此，我们提出了一个复合过程，探讨了一个家庭的图与nodewise数值方案，并选择其中的候选人与整体的可能性标准。我们证明，当观察的数量是小的，这种选择方法产生的图形更接近真相，并对应于更好的KL发散关于真正的分布比其他两个分布。最后，我们展示了我们的算法在两个具体案例上的兴趣：首先是脑成像数据，然后是生物肾脏学数据。在这两种情况下，我们的结果更符合每个领域的现有知识。
2020-03-11 cs.LG stat.ML
Graphical Models for Financial Time Series and Portfolio Selection
Carnegie Mellon University（卡内基梅隆大学）
我们研究了各种图形模型来构建最优投资组合。PCA-K均值、自动编码器、动态聚类和结构学习等图形模型可以捕获协方差矩阵中的时变模式，并允许创建最佳和鲁棒的投资组合。我们比较了不同模型的投资组合与基线方法。在许多情况下，我们的图形策略以低风险产生稳定增长的回报，并超越了标准普尔500指数。这项工作表明，图形模型可以有效地学习时间序列数据中的时间依赖关系，并被证明是有用的资产管理。
2021-01-22 cs.LG q-fin.CP
Local and Mixing-Based Algorithms for Gaussian Graphical Model Selection from Glauber Dynamics
Arizona State University（亚利桑那州立大学）
本文研究了从Glauber动力学单轨迹中学习图结构，提出局部边测试估计器和预热/稀释方法，通过总变差界证明子采样轨迹接近独立样本，提供有限样本恢复保证和信息论下限。
2026-05-12 cs.LG stat.ML
Graph Coding for Model Selection and Anomaly Detection in Gaussian Graphical Models
University of Hawaii（夏威夷大学）；John A. Burns School of Medicine（约翰·A·伯恩斯医学院）
描述长度的一个经典应用是使用最小描述长度（MDL）原则进行模型选择。本文的重点是扩展描述长度的数据分析超越简单的模型选择和序列的标量。更具体地说，我们扩展了高斯图形模型中数据分析的描述长度。这些都是强大的工具，可以以图形的形式对i.i.d高斯数据序列中变量之间的相互作用进行建模。我们的方法使用通用的图编码方法，以准确地考虑模型的复杂性，因此提供了一个更严格的方法图模型的选择。所开发的方法进行了测试，与合成和心电图（ECG）数据，以找到高斯图形模型的图形模型和异常。实验表明，我们的方法相比，常用的方法提供了更好的性能。
2021-02-04 cs.IT cs.LG math.IT
False Discovery Rate Control for Gaussian Graphical Models via Neighborhood Screening
本文提出一种无需调参的逐节点变量选择图学习方法，通过邻域融合控制高斯图模型边选择的错误发现率，并在多种图拓扑实验中显著优于现有方法。
2024-01-18 cs.LG stat.ML
High-dimensional Functional Graphical Model Structure Learning via Neighborhood Selection Approach
Booth School of Business, The University of Chicago（芝加哥大学布斯商学院）；Department of Statistics and Data Science, Cornell University（康奈尔大学统计与数据科学系）；Department of Data Sciences and Operations, Marshall School of Business, University of Southern California（南加州大学马歇尔商学院数据科学与运营系）
针对高维函数型数据的条件独立结构建模需求，提出基于函数对函数回归的邻域选择法估计高斯函数图模型结构，兼具计算效率与统计一致性，还给出了降维用函数基的选择准则与实用方案。
2024-01-26 cs.LG stat.ME stat.ML
Block-diagonal covariance selection for high-dimensional Gaussian graphical models
KU Leuven（鲁汶大学）；Leuven Statistics Research Center (LStat)（鲁汶统计研究中心）；Université Paris Descartes（巴黎笛卡尔大学）；CNRS（法国国家科学研究中心）；Université Paris-Sud（巴黎南大学）；INRA（法国国家农业研究院）
高斯图形模型被广泛用于推断和可视化连续变量之间的依赖关系网络。然而，当样本量与变量数量相比较小时，很难推断该图。为了减少模型中需要估计的参数数量，我们提出了一种基于预言不等式和极大极小下界的强理论保证的非渐近模型选择方法。该模型的协方差阵近似为一个分块对角矩阵。通过对样本协方差阵进行阈值化来检测该矩阵的结构，其中使用斜率试探法来选择阈值。基于协方差阵的块对角结构，将估计问题分解为若干个独立的问题：然后在每个块中使用图形套索算法推断变量之间的依赖关系网络。该程序的性能示出了模拟数据。一个真正的基因表达数据集有限的样本量的应用程序也提出：降维允许注意力客观地集中在较小的基因子集之间的相互作用，导致更简约和可解释的模块化网络。
2016-09-29 cs.LG math.ST stat.ML
High-Dimensional Gaussian Graphical Model Selection: Walk Summability and Local Separation Criterion
Center for Pervasive Communications and Computing（普适通信与计算中心）；University of California, Irvine（加利福尼亚大学欧文分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Laboratory for Information and Decision Systems（信息与决策系统实验室）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑高维高斯图模型选择问题。我们确定了一组图，其中存在一个有效的估计算法，该算法是基于阈值的经验条件协方差。在一组透明条件下，当样本数n=omega（J_{min} ^{-2} log p）时，我们建立了算法的结构一致性（或稀疏性），其中p是变量数，J_{min}是图形模型的最小（绝对）边势.稀疏性的充分条件是基于模型的行走可求和性的概念和基础图中稀疏的局部顶点分离器的存在。我们还得到了新的非渐近的必要条件所需的稀疏样本的数量。
2012-03-04 cs.LG math.ST stat.TH
Robust Model Selection of Gaussian Graphical Models
Arizona State University（亚利桑那州立大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩分校）
本文研究噪声污染下高斯图模型的稳健结构选择，刻画一般图不可避免的等价类，提出可恢复局部聚类与全局连接的算法，并给出高维有限样本保证与仿真验证。
2024-05-08 cs.LG math.ST stat.ML
Optimization Methods for Sparse Pseudo-Likelihood Graphical Model Selection
Lawrence Berkeley National Lab（劳伦斯伯克利国家实验室）；Stanford University（斯坦福大学）；University of Florida（佛罗里达大学）
稀疏高维图模型选择是当代机器学习的一个热门课题。为此，已经提出了各种有用的方法的上下文中的$\ell_1$惩罚估计的高斯框架。虽然这些逆协方差估计方法中的许多是可扩展的，并且利用了凸优化的最新进展，但它们仍然依赖于高斯函数形式。为了解决这一问题，最近提出了一种基于凸伪似然的部分相关图估计方法（CONCORD）。该方法使用基于伪似然的回归的坐标最小化，并且与高斯方法相比已被证明具有鲁棒的模型选择特性。然而，与高斯设置中的并行工作形成直接对比的是，这种新的凸伪似然框架没有利用机器学习文献中提出的用于凸优化的广泛的方法阵列。在本文中，我们提出了两个最接近的梯度方法（CONCORD-ISTA和CONCORD-FISTA）执行$\ell_1$正则化逆协方差阵估计的伪似然框架，以解决这个关键的差距。我们提出的时间比较与坐标明智的最小化，并证明我们的方法产生巨大的回报$\ell_1$惩罚部分相关图估计高斯设置之外，从而产生最快，最具可扩展性的方法，这样的问题。我们对我们的方法进行理论分析，并严格证明收敛性，并得出其速度。
2014-09-12 cs.LG stat.CO stat.ML
Distributionally Robust Formulation and Model Selection for the Graphical Lasso
University of California, Santa Barbara（加州大学圣巴巴拉分校）
建立在最近的框架分布鲁棒优化，我们考虑估计的逆协方差阵的多元数据。我们提供了一个新的概念Wasserstein模糊集专门针对这个估计问题，导致一个易于处理的一类正规化估计。特殊情况包括高斯数据的惩罚似然估计，特别是图形套索估计。作为该公式的结果，Wasserstein模糊度集的半径与估计问题中的正则化参数直接相关。使用这种关系，估计过程的鲁棒性水平可以被示出为对应于模糊度集合包含具有总体协方差的分布的置信水平。此外，我们的配方的一个独特的功能是，半径可以表示为一个普通的样本协方差阵的函数的封闭形式。利用这一发现，我们开发了一个简单的算法来确定图形套索的正则化参数，只使用自举的样本协方差阵，这意味着计算昂贵的图形套索算法的重复评估是没有必要的。或者，如果使用现成的方法（如交叉验证），则分布鲁棒公式也可以量化相应估计量的鲁棒性。最后，我们数值研究得到的正则化准则和分析的鲁棒性的其他自动调整程序在实践中使用。
2019-10-05 cs.LG math.ST stat.ML
Active Learning Algorithms for Graphical Model Selection
Carnegie Mellon University（卡内基梅隆大学）
近年来，从数据中学习高维图模型的结构的问题受到了相当大的关注。在许多应用中，如传感器网络和蛋白质组学，同时从所有涉及的变量中获取样本通常是昂贵的。例如，这可能涉及大量传感器的同步或大量蛋白质的标记。为了解决这个重要的问题，我们开始研究一个新的图形模型选择问题，其目标是优化的标量样本的总数，通过允许收集的样本，只有子集的变量。我们提出了一个通用的图形化模型选择的反馈是用来指导采样的程度高的顶点，而获得的低程度的只有很少的样本的范例。我们实例化这个框架与两个特定的主动学习算法，其中一个使温和的假设，但计算昂贵，而另一个是计算效率更高，但需要更强的（但标准）的假设。而被动算法的样本复杂性通常是图的最大程度的函数，我们表明，我们的算法的样本复杂性是可证明的较小，它取决于一个新的本地复杂性的措施，这是类似于图的平均程度。最后，我们通过模拟证明了我们的框架的有效性。
2016-04-07 cs.IT cs.LG math.IT
Robust Graphical Modeling with t-Distributions
The University of Chicago（芝加哥大学）
事实证明，图形高斯模型是探索基于多元数据的网络结构的有用工具。基因表达研究的应用程序已经产生了很大的兴趣，在这些模型，并由此产生的最新进展包括拟合方法的发展，涉及惩罚的似然函数。在本文中，我们提倡使用的多元t和相关的分布图更强大的推理。特别是，我们证明了惩罚似然推断结合EM算法的应用提供了一个简单的和计算效率高的方法来选择模型的t分布的情况下。
2014-08-09 cs.LG stat.ML
