Spatio-Temporal Graphical Model Selection
University of Michigan（密歇根大学）
我们考虑的问题，估计在一个离散状态，离散时间时空图形模型中的空间相互作用的拓扑结构的相互作用影响的时间演变的每个代理在网络中。在其他模型中，用于相互作用事件的易感、感染、恢复（$SIR$）模型属于该框架。我们提出的问题作为一个结构学习问题，并解决它使用$\ell_1$惩罚似然凸规划。我们评估的解决方案在一个复杂的网络上的传染病的模拟传播。我们的拓扑估计优于那些标准的空间马尔可夫随机场图形模型选择使用$\ell_1$正则化逻辑斯谛回归。
2010-04-14 cs.AI stat.ML
Compressive Nonparametric Graphical Model Selection For Time Series
本文提出了一种从有限长观测值推断高维离散高斯向量随机过程的条件独立图的方法。我们的方法不依赖于参数模型（例如，自回归模型）;相反，它仅假设某些谱平滑特性。所提出的推理方案是压缩的，因为它适用于比标量过程组件的数量（远）小的样本量。我们提供的分析条件，我们的方法，以正确识别的CIG与高概率。
2014-03-08 stat.ML
Graphical LASSO Based Model Selection for Time Series
提出面向高维平稳时间序列的非参数 gLASSO 图模型选择方法，用 ADMM 求解 l1 正则化近似似然，并给出高斯过程下错误识别 CIG 的概率界与实验验证。
2014-10-28 stat.ML
Optimization Methods for Sparse Pseudo-Likelihood Graphical Model Selection
Lawrence Berkeley National Lab（劳伦斯伯克利国家实验室）；Stanford University（斯坦福大学）；University of Florida（佛罗里达大学）
稀疏高维图模型选择是当代机器学习的一个热门课题。为此，已经提出了各种有用的方法的上下文中的$\ell_1$惩罚估计的高斯框架。虽然这些逆协方差估计方法中的许多是可扩展的，并且利用了凸优化的最新进展，但它们仍然依赖于高斯函数形式。为了解决这一问题，最近提出了一种基于凸伪似然的部分相关图估计方法（CONCORD）。该方法使用基于伪似然的回归的坐标最小化，并且与高斯方法相比已被证明具有鲁棒的模型选择特性。然而，与高斯设置中的并行工作形成直接对比的是，这种新的凸伪似然框架没有利用机器学习文献中提出的用于凸优化的广泛的方法阵列。在本文中，我们提出了两个最接近的梯度方法（CONCORD-ISTA和CONCORD-FISTA）执行$\ell_1$正则化逆协方差阵估计的伪似然框架，以解决这个关键的差距。我们提出的时间比较与坐标明智的最小化，并证明我们的方法产生巨大的回报$\ell_1$惩罚部分相关图估计高斯设置之外，从而产生最快，最具可扩展性的方法，这样的问题。我们对我们的方法进行理论分析，并严格证明收敛性，并得出其速度。
2014-09-12 cs.LG stat.CO stat.ML
Active Learning Algorithms for Graphical Model Selection
Carnegie Mellon University（卡内基梅隆大学）
近年来，从数据中学习高维图模型的结构的问题受到了相当大的关注。在许多应用中，如传感器网络和蛋白质组学，同时从所有涉及的变量中获取样本通常是昂贵的。例如，这可能涉及大量传感器的同步或大量蛋白质的标记。为了解决这个重要的问题，我们开始研究一个新的图形模型选择问题，其目标是优化的标量样本的总数，通过允许收集的样本，只有子集的变量。我们提出了一个通用的图形化模型选择的反馈是用来指导采样的程度高的顶点，而获得的低程度的只有很少的样本的范例。我们实例化这个框架与两个特定的主动学习算法，其中一个使温和的假设，但计算昂贵，而另一个是计算效率更高，但需要更强的（但标准）的假设。而被动算法的样本复杂性通常是图的最大程度的函数，我们表明，我们的算法的样本复杂性是可证明的较小，它取决于一个新的本地复杂性的措施，这是类似于图的平均程度。最后，我们通过模拟证明了我们的框架的有效性。
2016-04-07 cs.IT cs.LG math.IT
Inferring Latent Graphs from Stationary Signals Using a Graphical Autoregressive Model
本文提出图自回归模型GAR，将逆协方差表示为潜在图归一化拉普拉斯的二阶多项式，并用惩罚最大似然三步法推断潜在图，在模拟和S&P 500数据中优于高斯图模型。
2024-10-24 stat.ME
On Sufficient Graphical Models
Pennsylvania State University（宾夕法尼亚州立大学）；Ewha Womans University（梨花女子大学）
本文提出一种基于非线性充分降维的充分图模型，用低维充分预测变量刻画条件独立性以避免维数灾难，并在非高斯高维场景下优于现有方法。
2023-07-10 cs.LG stat.ML
Selection of multiple donor gauges via Graphical Lasso for estimation of daily streamflow time series
日径流量时间序列的估计中的一个基本挑战是如何有效地和高效地选择参考或捐赠从现有的仪表网络推断的缺失数据。虽然研究估计丢失的流量时间序列不是新的，现有的方法要么使用一个单一的参考流量计或采用一组“特设”的参考仪表，留下一个系统的选择参考仪表作为一个长期悬而未决的问题。在这项工作中，介绍了一种新的方法，便于系统地选择多个参考仪表从任何给定的流量网络。其思想是通过图形马尔可夫模型的流量网络的网络的相关结构的数学特征，并进一步转换为一个稀疏连接的密集网络。从图形模型得到的底层稀疏图编码的条件独立性条件之间的所有参考仪表从流量网络，允许确定的供体仪表的最佳子集。稀疏性通过使用具有L1范数正则化参数和阈值参数的图形Lasso算法来发现。这两个参数由多目标优化过程确定。此外，图形建模方法被用来解决另一个开放的问题，在限界删除规划决策（例如，由于操作预算限制）：删除哪些仪表将在统计上保证剩余仪表的估计信息损失最少？我们的图形模型为基础的方法证明与每日径流数据从网络的34个仪表在俄亥俄河流域。
2020-12-17 stat.AP
Conditionally specified graphical modeling of stationary multivariate time series
针对非高斯或混合型多元时间序列，本文提出CEStGM，用指数族条件分布和交互核编码过程级条件独立性，并建立Markov性质、几何混合性及近似Gibbs采样方法。
2025-08-28 math.ST stat.TH
On the Information-theoretic Limits of Graphical Model Selection for Gaussian Time Series
考虑了基于有限长观测值的多元平稳离散时间高斯随机过程的条件独立图的推断问题。使用信息论的方法，我们推导出一个下界的错误概率的任何学习计划的底层进程CIG。这个界限，反过来，产生一个最小的所需的样本大小，这是必要的任何算法，无论其计算复杂性，可靠地选择真正的基础CIG。此外，通过分析一个简单的选择方案，我们表明，信息理论的限制可以实现的一个子类的过程具有稀疏CIG。我们不假设所观察到的过程的参数模型，但要求它有一个足够光滑的谱密度矩阵（SDM）。
2014-03-05 math.ST stat.TH
Fitting Graphical Interaction Models to Multivariate Time Series
图形交互作用模型已成为分析多变量时间序列的重要工具。在这些模型中，一个时间序列的组件之间的相互关系被描述的无向图中的顶点描绘的组件，而边缘指示组件之间可能的依赖关系。目前的图形结构识别方法是基于非参数谱估计，这妨碍了常用的模型选择策略的应用。本文提出了一种多元平稳时间序列图形交互建模的参数化方法。所提出的模型将协方差选择模型推广到时间序列设置，并在逆协方差方面制定。我们表明，这些模型对应于向量自回归模型的条件独立约束下编码的无向图。进一步讨论了基于Whittle近似的对数似然函数的极大似然估计，并提出了求解所得到的似然方程的迭代方法.通过一个例子说明了这些概念。
2012-06-27 stat.ME
Network Estimation for Stationary Time Series
本文提出了一种基于小波域的新型技术，用于估计高维平稳多元时间序列的稀疏条件独立图，通过局部平稳小波建模框架和图拉索斯方法，提升时间序列依赖结构识别的准确性与适用性。
2025-12-12 stat.ME
Graphical models for nonstationary time series
我们提出了NonStGM，一个通用的非参数图形建模框架，用于研究非平稳多元时间序列的组成部分之间的动态关联。它建立在高斯图模型（GGM）和平稳时间序列高斯图模型（StGM）的框架上，并补充了现有的基于变点向量自回归（VAR）的参数图模型的工作。类似于StGM，所提出的框架捕获条件的非相关性（跨期和同期）的形式的无向图。此外，为了描述时间序列的组件之间的更细微的非平稳关系，我们引入了新的概念，条件非平稳性/平稳性，并将其纳入图形架构。这使得人们能够区分系统组件之间的直接和间接非平稳关系，并可用于搜索作为大型系统中非平稳性的“源”的小型子网。条件非相关性和非平稳性/平稳性这两个概念共同提供了对时间序列的依赖结构的简洁描述。
2022-03-20 math.ST stat.TH
High-dimensional Gaussian Graphical Model Testing for Long-Memory Time Series
University of Chicago（芝加哥大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
针对长记忆高维时间序列，提出数据自适应的条件独立性检验统计量，建立有限样本高斯近似界，采用块自助法，并应用于fMRI数据分析脑功能连接。
2026-11-06 math.ST stat.ME stat.ML
An Efficient Approach to Graphical Modelling of Time Series
针对Matsuda提出的高维平稳高斯时间序列图模型后向选择算法计算成本过高的问题，本研究通过多重假设检验重构方法，将计算复杂度降低$O(p^2)$，检验功效不逊原方法且易并行加速。
2015-02-10 stat.AP stat.CO
Model Selection With Graphical Neighbour Information
准确的模型选择是统计分析的基本要求。在图形建模的许多实际应用中，正确的模型结构识别是最终目标。标准的模型验证程序，如信息论得分和交叉验证已被证明在高维设置的性能差。专门的方法，如EBIC，StARS和RIC已经开发了明确的目的，高维高斯图形模型选择。我们提出了一种新的模型评分标准，图形邻域信息。该方法在高维模型选择中展示了Oracle性能，在我们的模拟中优于当前最先进的技术。图形邻域信息准则具有高效、封闭形式的可计算性的额外优点，节省了对数据子样本的多个模型的昂贵推断。我们提供了一个理论分析的方法和基准模拟与当前的最先进的。
2019-08-27 cs.LG cs.SI stat.ML
Efficient Neighborhood Selection for Gaussian Graphical Models
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文讨论了高斯图模型的邻域选择问题。我们提出了两个启发式算法：一个基于互信息检验的一般高斯图模型的前向-后向贪婪算法，和一个基于阈值的算法行走可求和高斯图模型。这两种算法被证明是结构上一致的，和有效的。数值结果表明，这两种算法都能很好地工作。
2015-09-22 cs.IT cs.LG math.IT
Gaussian Experts Selection using Graphical Models
University of Tuebingen（图宾根大学）
局部近似是将高斯过程（GP）扩展到大数据的流行方法。局部近似通过将原始数据集划分为子集并在每个子集上训练局部专家来降低时间复杂度。假设专家之间的条件依赖性或独立性，聚合专家的预测。在专家之间施加\emph{conditional independence assumption}（CI）使得不同专家预测的聚合具有时间效率，但代价是不确定性量化较差。另一方面，建模依赖专家可以提供精确的预测和不确定性量化的代价不切实际的高计算成本。通过消除弱专家通过理论指导的专家选择步骤，我们大大降低了计算成本的聚集依赖的专家，同时确保校准的不确定性量化。我们利用无向图模型的文献中的技术，使用稀疏精度矩阵编码专家之间的条件依赖关系，以选择最重要的专家。莫列奥夫
2021-08-31 cs.LG stat.ML
The Best Path Algorithm automatic variables selection via High Dimensional Graphical Models
Università Cattolica del Sacro Cuore（圣心天主教大学）；Università degli Studi di Torino（都灵大学）
本文提出了一种新的算法，自动变量选择过程中的高维图形模型。该算法基于互信息为感兴趣的节点选择相关变量。文献中的一些贡献已经研究了在大型数据集中选择适当数量的相关特征时使用互信息，但其中大多数都集中在二进制结果或需要高计算量。本文提出的算法克服了这些缺点，因为它是周和刘的算法的扩展。一旦通过所述算法确定了高维图形模型的概率结构，则通过计算确定的熵系数来确定最佳路径步骤，该最佳路径步骤包括对于感兴趣的变量具有最大解释/预测能力的变量。后者，是基于（对称）库尔贝克-莱布勒散度的概念，原来是密切相关的变量的互信息。该算法的应用范围广泛的真实世界和公开的数据集突出了其潜力和更大的有效性相比，现有的替代方法。
2022-12-06 cs.LG stat.ML
Efficient Latent Variable Graphical Model Selection via Split Bregman Method
University of California Irvine（加州大学欧文分校）
本文考虑潜变量存在时的协方差阵估计问题。在适当的条件下，可以通过一个易于处理的凸规划来学习观测变量的边际协方差阵，其中观测变量的集中矩阵被分解为稀疏矩阵（表示观测变量的图形结构）和低秩矩阵（表示潜在变量的边际效应）。我们提出了一个有效的基于分裂Bregman的一阶方法来解决凸问题。该算法在温和的条件下保证收敛。我们表明，我们的算法是显着的速度比最先进的算法在人工和真实世界的数据。将该算法应用于涉及数千个基因的基因表达数据，我们表明，观测变量之间的大部分相关性可以解释只有几十个潜在的因素。
2011-10-13 cs.LG stat.ML
Optimal statistical decision for Gaussian graphical model selection
高斯图模型是高斯随机向量的依赖结构的图形表示。它被认为是生物信息学、差错控制码、语音语言、信息检索等不同应用领域的有力工具。高斯图模型选择是从给定大小的样本中识别高斯图模型的统计问题。文献中提出了不同的高斯图形模型选择方法。其中之一是基于考虑家庭的个人条件独立性测试。这种方法的应用导致了各种建设的多重检验统计过程的高斯图形模型选择。这些程序的一个重要特征是其对于给定样本量的误差率。在现有的文献中，非常注意控制错误的边缘包含（第一类错误）的错误率。然而，在图形模型选择中，考虑不正确边缘排除（第二类错误）的错误率也很重要。为了处理这个问题，我们考虑图形的模型选择问题的多重决策理论的框架。统计过程的质量是通过具有附加损失的风险函数来衡量的。附加损失允许考虑两种类型的误差。我们构建了一个奈曼结构的测试为个人的假设，并将它们结合起来，以获得一个多决策统计过程。我们表明，所得到的程序是最优的意义上，它最小化的线性组合的期望数量的I型和第二类错误的类无偏多个决策程序。
2017-01-09 stat.ML
Selective Inference and Learning Mixed Graphical Models
Stanford University（斯坦福大学）
本文研究了现代统计学中的两个问题。首先，我们研究选择性推理，或在查看数据后选择的假设推理。激励应用是对套索选择的回归系数的推断。我们提出的条件选择方法，允许有效的选择性推理，并研究其应用的套索，和其他几个选择算法。在第二部分中，我们考虑了连续变量和离散变量上的成对图模型的结构学习问题。我们提出了一个新的成对模型的图形模型，连续和离散变量，是服从结构学习。在以前的工作中，作者考虑了高斯图模型的结构学习和离散模型的结构学习。我们的方法是这两条线的工作的混合情况下的一个自然的概括。惩罚计划涉及一种新的对称使用组套索规范，并遵循自然从一个特定的参数化模型。我们提供的条件下，我们的估计是模型选择一致的高维制度。
2015-06-30 cs.LG stat.ML
Thresholded Graphical Lasso Adjusts for Latent Variables: Application to Functional Neural Connectivity
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
在神经科学中，研究人员试图从大规模的神经记录或成像中揭示神经元的连通性;人们经常使用图形模型选择和估计技术来实现这一目的。但是，现有的技术只能记录一小部分神经元，这导致了在存在大量潜在变量的情况下图选择的挑战性问题。Anglasekaran et al.（2012）提出了一个凸规划来解决这个问题，从计算和统计的角度提出了挑战。为了解决这个问题，我们提出了一个非常简单的解决方案：将硬阈值算子应用于现有的图选择方法。概念上简单，计算上有吸引力，我们证明，阈值的图形套索，邻域选择，或CLIME估计具有优越的理论特性，在图形选择的一致性，以及更强的实证结果比现有的方法的潜在变量图形模型问题。我们还证明了我们的方法的适用性，通过神经科学案例研究钙成像数据来估计功能性神经连接。
2021-04-13 cs.LG stat.ME stat.ML
Gaussian Graphical Model exploration and selection in high dimension low sample size setting
CMAP, CNRS, École polytechnique（应用数学中心、法国国家科学研究中心、巴黎综合理工学院）；Aramis project-team, Inria（Aramis项目组、法国国家信息与自动化研究所）；Institut du Cerveau et de la Moelle épinière, Sorbonne University, Inserm U1127, CNRS UMR 7225（脑与脊髓研究所、索邦大学、法国国家健康与医学研究院U1127、法国国家科学研究中心UMR 7225）；Hôpital Européen Georges-Pompidou AP-HP（乔治·蓬皮杜欧洲医院（巴黎公立医院集团））；Centre de Recherche des Cordeliers, Université de Paris, INSERM, Sorbonne Université（科德利耶研究中心、巴黎大学、法国国家健康与医学研究院、索邦大学）
高斯图模型（GGM）通常用于描述随机向量分量之间的条件相关性。在这篇文章中，我们比较了两个家庭的GGM推理方法：节点边缘选择和惩罚似然最大化。我们证明了合成数据，当样本量很小，这两种方法产生的图形，要么太少或太多的边缘相比，真正的。因此，我们提出了一个复合过程，探讨了一个家庭的图与nodewise数值方案，并选择其中的候选人与整体的可能性标准。我们证明，当观察的数量是小的，这种选择方法产生的图形更接近真相，并对应于更好的KL发散关于真正的分布比其他两个分布。最后，我们展示了我们的算法在两个具体案例上的兴趣：首先是脑成像数据，然后是生物肾脏学数据。在这两种情况下，我们的结果更符合每个领域的现有知识。
2020-03-11 cs.LG stat.ML
Learning Directed Graphical Models from Gaussian Data
Technical University of Munich（慕尼黑工业大学）
在本文中，我们介绍了一个新的有向图模型从高斯数据：高斯图形交互模型（GGIM）。该模型的发展来自于考虑图上的平稳高斯过程，并利用所得到的稳态协方差矩阵和表示相互作用图的拉普拉斯矩阵之间的方程。通过介绍概念上简单的理论，我们开发了新的模型，并提供解释的边缘在图形模型的统计措施。我们表明，当限制到无向图，代表GGIM的拉普拉斯矩阵是等价的标准逆协方差矩阵编码的条件依赖关系。此外，我们的方法导致一个自然的定义，在平稳高斯过程中的两个元素的定向条件独立。我们证明了学习稀疏GGIMs为给定的观察集的问题可以被框定为一个LASSO问题。通过与逆协方差估计问题的比较，我们证明了稀疏GGIM对应的协方差矩阵与$l_1$ -范数惩罚最大对数似然估计对应的协方差矩阵之差的一个界.最后，我们考虑了与稀疏有向条件依赖关系相关的GGIM学习问题。总之，新模型提出了一个新的角度对变量之间的直接关系，并显着扩展了最先进的高斯图形建模。
2020-11-18 cs.LG stat.ML
Local and Mixing-Based Algorithms for Gaussian Graphical Model Selection from Glauber Dynamics
Arizona State University（亚利桑那州立大学）
本文研究了从Glauber动力学单轨迹中学习图结构，提出局部边测试估计器和预热/稀释方法，通过总变差界证明子采样轨迹接近独立样本，提供有限样本恢复保证和信息论下限。
2026-05-12 cs.LG stat.ML
Nonparametric undirected graphical model selection using diffusion models
National University of Singapore（新加坡国立大学）；Pohang University of Science and Technology (POSTECH)（浦项科技大学）
提出一种基于扩散模型的非参数方法用于无向图模型选择，证明了模型选择一致性，并通过模拟和实际数据分析验证了有效性。
2026-06-07 math.ST stat.ME stat.ML
False Discovery Rate Control for Gaussian Graphical Models via Neighborhood Screening
本文提出一种无需调参的逐节点变量选择图学习方法，通过邻域融合控制高斯图模型边选择的错误发现率，并在多种图拓扑实验中显著优于现有方法。
2024-01-18 cs.LG stat.ML
High-dimensional Functional Graphical Model Structure Learning via Neighborhood Selection Approach
Booth School of Business, The University of Chicago（芝加哥大学布斯商学院）；Department of Statistics and Data Science, Cornell University（康奈尔大学统计与数据科学系）；Department of Data Sciences and Operations, Marshall School of Business, University of Southern California（南加州大学马歇尔商学院数据科学与运营系）
针对高维函数型数据的条件独立结构建模需求，提出基于函数对函数回归的邻域选择法估计高斯函数图模型结构，兼具计算效率与统计一致性，还给出了降维用函数基的选择准则与实用方案。
2024-01-26 cs.LG stat.ME stat.ML
Active Learning for Undirected Graphical Model Selection
本文研究了图形化的模型选择，估计一组随机变量之间的统计关系图的问题。传统的图形模型选择算法是被动的，即，它们要求在处理开始之前已经收集了所有的测量。我们提出了一种主动学习算法，使用连接树表示，以适应未来的测量从以前的测量收集的信息的基础上。我们证明，在一定条件下，我们的主动学习算法需要更少的标量测量比任何被动算法可靠地估计一个图。一系列的数值结果验证了我们的理论，并证明了主动学习的好处。
2014-04-13 cs.IT math.IT math.ST
Block-diagonal covariance selection for high-dimensional Gaussian graphical models
KU Leuven（鲁汶大学）；Leuven Statistics Research Center (LStat)（鲁汶统计研究中心）；Université Paris Descartes（巴黎笛卡尔大学）；CNRS（法国国家科学研究中心）；Université Paris-Sud（巴黎南大学）；INRA（法国国家农业研究院）
高斯图形模型被广泛用于推断和可视化连续变量之间的依赖关系网络。然而，当样本量与变量数量相比较小时，很难推断该图。为了减少模型中需要估计的参数数量，我们提出了一种基于预言不等式和极大极小下界的强理论保证的非渐近模型选择方法。该模型的协方差阵近似为一个分块对角矩阵。通过对样本协方差阵进行阈值化来检测该矩阵的结构，其中使用斜率试探法来选择阈值。基于协方差阵的块对角结构，将估计问题分解为若干个独立的问题：然后在每个块中使用图形套索算法推断变量之间的依赖关系网络。该程序的性能示出了模拟数据。一个真正的基因表达数据集有限的样本量的应用程序也提出：降维允许注意力客观地集中在较小的基因子集之间的相互作用，导致更简约和可解释的模块化网络。
2016-09-29 cs.LG math.ST stat.ML
Stability Approach to Regularization Selection (StARS) for High Dimensional Graphical Models
估计高维图模型的一个挑战性问题是以数据依赖的方式选择正则化参数。标准技术包括$K$ -折交叉验证（$K$ -CV）、赤池信息准则（AIC）和贝叶斯信息准则（BIC）。虽然这些方法在低维问题上效果很好，但它们不适合高维环境。在本文中，我们提出了StARS：一个新的基于稳定性的方法来选择正则化参数的高维推理无向图。该方法有一个明确的解释：我们使用最少的正则化，同时使图稀疏和随机采样下的可复制。这种解释基本上不需要任何条件。在温和的条件下，我们表明，StARS是部分稀疏的图估计：即具有高概率，所有的真正的边缘将被包括在选定的模型，即使当图的大小与样本量发散。从经验上讲，StARS的性能进行了比较与国家的最先进的模型选择程序，包括$K$ -CV，AIC和BIC，在合成数据和一个真正的微阵列数据集。StARS优于所有这些竞争程序。
2010-06-16 stat.ML
Robust Model Selection of Gaussian Graphical Models
Arizona State University（亚利桑那州立大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩分校）
本文研究噪声污染下高斯图模型的稳健结构选择，刻画一般图不可避免的等价类，提出可恢复局部聚类与全局连接的算法，并给出高维有限样本保证与仿真验证。
2024-05-08 cs.LG math.ST stat.ML
Model Selection in Undirected Graphical Models with the Elastic Net
随机场中的结构学习由于其在遥感、计算生物学、自然语言处理、蛋白质网络和社会网络分析等领域的难度和重要性而引起了相当大的关注。我们考虑的问题估计的概率图结构与高斯马尔可夫随机场（GMRF），伊辛模型和Potts模型，通过扩展以前的工作$l_1$正则化邻域估计，包括弹性网$l_1+l_2$罚款。此外，我们展示了数值证据，边缘密度在图形恢复过程中发挥了作用。最后，我们介绍了一种新的方法，通过利用成对邻域联合估计来增强邻域估计。
2011-11-02 stat.ML stat.OT
Distributionally Robust Formulation and Model Selection for the Graphical Lasso
University of California, Santa Barbara（加州大学圣巴巴拉分校）
建立在最近的框架分布鲁棒优化，我们考虑估计的逆协方差阵的多元数据。我们提供了一个新的概念Wasserstein模糊集专门针对这个估计问题，导致一个易于处理的一类正规化估计。特殊情况包括高斯数据的惩罚似然估计，特别是图形套索估计。作为该公式的结果，Wasserstein模糊度集的半径与估计问题中的正则化参数直接相关。使用这种关系，估计过程的鲁棒性水平可以被示出为对应于模糊度集合包含具有总体协方差的分布的置信水平。此外，我们的配方的一个独特的功能是，半径可以表示为一个普通的样本协方差阵的函数的封闭形式。利用这一发现，我们开发了一个简单的算法来确定图形套索的正则化参数，只使用自举的样本协方差阵，这意味着计算昂贵的图形套索算法的重复评估是没有必要的。或者，如果使用现成的方法（如交叉验证），则分布鲁棒公式也可以量化相应估计量的鲁棒性。最后，我们数值研究得到的正则化准则和分析的鲁棒性的其他自动调整程序在实践中使用。
2019-10-05 cs.LG math.ST stat.ML
Alternating Direction Methods for Latent Variable Gaussian Graphical Model Selection
Aprasekaran，Parrilo and Willsky（2010）提出了一个凸优化问题来描述存在不可观测变量时的图形模型选择。这个凸优化问题的目的是估计一个逆协方差阵，可以分解成一个稀疏矩阵减去低秩矩阵从样本数据。解决这个凸优化问题是非常具有挑战性的，特别是对于大型问题。在本文中，我们提出了两个交替方向法解决这个问题。第一种方法是应用经典的乘子交替方向法将问题作为共识问题来解决。第二种方法是基于最接近梯度的乘子交替方向法。我们的方法开发和利用问题的特殊结构，从而可以非常有效地解决大型问题。证明了该方法的整体收敛结果。对合成数据和基因表达数据的数值结果表明，我们的方法通常在一到两分钟内解决一百万个变量的问题，并且通常比最先进的Newton-CG邻近点法快五到三十五倍。
2012-09-26 math.OC stat.ML
Learning population and subject-specific brain connectivity networks via Mixed Neighborhood Selection
在神经成像数据分析中，高斯图形模型通常用于对空间上遥远的大脑区域（称为功能连接）的统计依赖性进行建模。通常情况下，数据是在一组受试者中收集的，科学目标包括估计人群和受试者特定的图形模型。第三个经常被忽视的目标是量化受试者间的变异性，从而确定表现出受试者异质性的区域或子网络。这些信息对于彻底了解人类连接体至关重要。我们提出混合邻域选择，以同时解决上述三个目标。通过将协方差选择问题转化为邻域选择问题，我们能够有效地学习每个节点的拓扑结构。我们引入了一个额外的混合效应组件的邻域选择，以同时估计一个图形模型的受试者的人口，以及为每个单独的主题。所提出的方法是通过一系列的模拟经验验证，并适用于休息状态数据的健康受试者从ABIDE财团。
2015-12-07 stat.ML
Robust Bayesian Model Selection for Variable Clustering with the Gaussian Graphical Model
变量聚类对于解释性分析很重要。然而，只有少数专门的方法与高斯图形模型的变量聚类已经提出。甚至更严重的是，由于噪声导致的微小的不显著的偏相关性可以在例如使用贝叶斯信息准则（BIC）进行评估时显著地改变聚类结果。在这项工作中，我们试图解决这个问题，提出了一个贝叶斯模型，占可以忽略不计的小，但不一定为零，偏相关。基于我们的模型，我们建议使用边际似然来评估变量聚类结果。为了解决棘手的计算的边际似然，我们提出了两种解决方案：一个基于变分近似，另一个基于MCMC。仿真数据的实验表明，该方法是类似的准确BIC在无噪声设置，但有噪声的偏相关时，准确得多。此外，在真实数据上，所提出的方法提供了直观合理的聚类结果，这在使用BIC或其扩展时并不总是如此。
2018-06-15 stat.AP stat.CO stat.ML
Lower Bounds on Active Learning for Graphical Model Selection
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院 (EPFL)）
我们考虑估计与马尔可夫随机场相关的底层图的问题，增加的扭曲，解码算法可以迭代地选择哪些节点的子集根据以前的样本进行采样，从而导致主动学习设置。考虑到伊辛和高斯模型，我们提供了算法独立的下界内的类度有界图的高概率恢复。我们的主要结果是极小极大的下限的主动设置相匹配的最佳已知的下限的被动设置，这反过来又被称为紧在几种情况下的利益。我们的分析是基于Fano的不等式，随着新的互信息界的主动学习设置，和限制图集成的应用。虽然我们认为合奏是类似或相同的被动设置中使用的，我们需要不同的分析技术，一个关键的挑战是绑定的互信息量与观察到的节点子集，而不是完整的意见。
2017-02-07 cs.IT cs.LG cs.SI
A Junction Tree Framework for Undirected Graphical Model Selection
Rice University（莱斯大学）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
无向图模型是在无向图G* 上定义的联合概率分布，其中图中的顶点索引了随机变量的集合，而边对随机变量之间的条件独立关系进行编码。无向图模型选择（UGMS）问题是在给定无向图模型的观测值的情况下，对图G* 进行估计。本文提出了一个框架，用于将UGMS问题分解为多个子问题的集群和子集的分离器在一个联合树。使用包含G* 中的边的超集的图来构造连接树。我们强调了UGMS使用连接树的三个主要特性。首先，可以使用不同的正则化参数或不同的UGMS算法来学习图的不同部分。这是可能的，因为我们识别的子问题可以相互独立地解决。第二，在一定条件下，基于联合树的UGMS算法可以产生一致的结果与较少的观察比现有算法的通常要求。第三，我们的理论和实验结果都表明，连接树框架在寻找图中的最弱边方面比现有方法做得更好。该性质是第一和第二性质两者的结果。最后，我们注意到，我们的框架是独立的UGMS算法的选择，可以用作包装周围的标准UGMS算法更准确的图估计。
2013-12-02 cs.AI cs.IT math.IT
Tuning parameter selection for penalized likelihood estimation of inverse covariance matrix
在高斯图模型中，两个变量之间的条件独立性由逆协方差阵中相应的零元素来表征。文献中已经提出了使用平滑剪切绝对偏差（SCAD）惩罚（Fan和Li，2001）和自适应LASSO惩罚（Zou，2006）的极大似然方法。在这篇文章中，我们建立的结果，使用贝叶斯信息准则（BIC）选择调整参数的惩罚似然估计与两种类型的惩罚可以导致一致的图形模型选择。我们比较了BIC与交叉验证方法的经验性能，并通过仿真研究证明了BIC准则在调整参数选择方面的优越性能。
2009-09-04 stat.ME stat.ML
High-dimensional Graphical Model Search with gRapHD R Package
本文介绍了R包gRapHD的高维无向图形模型的有效选择。该软件包提供了用于选择树、森林和可分解模型的工具，这些工具最小化了AIC或BIC等信息标准，并显示了模型的独立图。它也有一些有用的工具来分析图形结构。它支持使用离散、连续或同时使用两种类型的变量。
2010-09-22 stat.CO stat.ML
Inconsistency of cross-validation for structure learning in Gaussian graphical models
University of Chicago（芝加哥大学）
本文指出交叉验证在高斯图模型结构学习中存在固有局限性，通过有限样本界限证明其不一致性，并经模拟实验对比其他信息准则，强调超参数精确校准的重要性。
2023-12-28 cs.LG math.ST stat.ME
Learning graphical models from the Glauber dynamics
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们考虑的问题，学习无向图形模型的数据生成的根据Glauber动力学。Glauber动力学是一个马尔可夫链，它顺序地更新图形模型中的各个节点（变量），并且经常用于从平稳分布（给定足够的时间，它会收敛到平稳分布）中进行采样。此外，Glauber动力学是各种设置中的自然动力学模型。这项工作偏离了文献中图形模型学习的标准公式，其中假设可以访问i.i.d.。分布的样本。许多关于图形模型学习的研究都是针对寻找低计算成本的算法。作为这项工作的主要结果，我们建立的问题，重建二进制成对图形模型是计算易处理的，当我们观察到的Glauber动力学。具体来说，我们表明，一个二进制成对图形模型$p$节点的最大程度$d$可以学习的时间$f(d)p^2\log p$，为一个功能$f(d)$，使用几乎信息理论的最小样本数。
2014-11-29 cs.IT cs.LG math.IT
Structure Learning in Graphical Modeling
图形模型是与节点对应于感兴趣变量的图相关联的统计模型。图的边缘反映变量之间允许的条件依赖性。图形模型承认计算方便的因式分解属性，长期以来一直是一个有价值的工具，易于处理的多元分布建模。最近，从基因表达数据重建基因调控网络等应用推动了结构学习的重大进展，即估计模型的图形。我们回顾了其中的一些进展，并讨论了方法，如无向图形模型（或马尔可夫随机场）的图形套索和邻域选择，以及PC算法和基于分数的搜索方法有向图形模型（或贝叶斯网络）。我们进一步审查扩展，考虑到潜在变量和异构数据源的影响。
2016-06-07 stat.ME stat.ML
The Quality of the Covariance Selection Through Detection Problem and AUC Bounds
我们考虑的问题量化的质量的模型选择问题的图形模型。我们讨论这个问题作为一个检测问题。模型选择问题通常最小化原始分布和模型分布之间的距离。对于高斯分布的特殊情况，模型选择问题简化为Dempster [2]在文献中广泛讨论的协方差选择问题，其中似然准则最大化或等效地Kullback-Leibler（KL）散度最小化以计算模型协方差矩阵。虽然这种解决方案在KL分歧的意义上对高斯分布是最佳的，但与其他信息分歧和标准（如曲线下面积（AUC））相比，它不是最佳的。在本文中，我们分析计算的AUC的上限和下限，并讨论了使用的AUC和它的边界作为检测问题的准确性度量的模型选择问题的质量。我们定义的相关近似矩阵（CAM），并表明，解析计算的KL分歧，AUC和它的界限只依赖于CAM的特征值。我们还显示了AUC，KL分歧和ROC曲线之间的关系，通过优化相对于ROC曲线。在提供的示例中，我们选择树结构作为最简单的图形模型。我们在全连通图上进行模拟，并通过应用广泛使用的Chow-Liu算法[3]计算树结构模型。实例表明，当图模型中的节点数较大时，基于信息分歧、AUC及其界限的树近似模型的质量一般不好。我们通过分析和模拟表明，随着图模型维度的增加，树逼近模型的1-AUC呈指数衰减。
2017-10-18 cs.IT math.IT stat.ML
Joint Estimation of Multiple Dependent Gaussian Graphical Models with Applications to Mouse Genomics
高斯图模型被广泛用于表示随机变量之间的条件依赖关系。在本文中，我们提出了一种新的估计数据所产生的一组高斯图形模型，本身是依赖的。一个激励性的例子是对来自同一个体的多个组织上收集的基因表达进行建模：在这里，多变量结果不仅受到特定组织水平上的依赖性的影响，而且还受到整个身体水平上的依赖性的影响;假设图之间独立的现有方法在这种情况下不适用。为了估计多个依赖图，我们将问题分解为两个图形层：系统层，其影响所有结果，从而诱导交叉图依赖，以及类别特定层，其表示图特定的变化。我们提出了一个图形EM技术，估计两层联合，建立估计的一致性和选择稀疏性的估计，并通过模拟确认EM方法优于一个简单的一步方法。我们将我们的技术应用于小鼠基因组学数据，并获得生物学上合理的结果。
2016-08-30 stat.ML
Dependence model assessment and selection with DecoupleNets
University of Waterloo（滑铁卢大学）
神经网络建议学习从$d$维样本与任何潜在的依赖结构的多变量均匀性在$d'$维度的映射。该映射称为DecoupleNet，用于依赖模型评估和选择。如果数据生成依赖模型是已知的，并且它是少数几个易于分析的模型之一，那么$d'=d$的一个这样的变换就是Rosenblatt变换。DecoupleNets具有多种优势。例如，它们只需要一个可用的样品，并且适用于$d'<d$，特别是$d'=2$。这允许更简单的模型评估和选择，无论是数字和，因为$d'=2$，特别是图形。图形评估方法具有能够识别候选模型为什么或在域的哪个区域中没有提供足够的拟合的优点，从而导致在特定的感兴趣区域中的模型选择或在这样的区域中的改进的模型构建策略。通过对不同Copula函数数据的仿真研究，验证了该方法的可行性和有效性。现实世界的数据的应用程序说明其有用的模型评估和选择。
2022-10-05 cs.LG q-fin.CP q-fin.RM
