Speeding Up Latent Variable Gaussian Graphical Model Estimation via Nonconvex Optimizations
University of Virginia（弗吉尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
研究了隐变量高斯图模型（LVGGM）的估计问题，其中精度矩阵是稀疏矩阵和低秩矩阵的叠加。为了提高稀疏和低秩分量的估计速度，提出了一种基于矩阵分解的稀疏约束极大似然估计方法和一种有效的硬阈值交替梯度下降算法，该算法比基于凸松弛的LVGGM估计方法快几个数量级.此外，我们证明了我们的算法是保证线性收敛到未知的稀疏和低秩组件的最佳统计精度。在合成数据和基因组数据上的实验证明了该算法的优越性，并证实了我们的理论。
2017-02-28 cs.LG stat.ML
Robust estimation of tree structured Gaussian Graphical Model
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
联合考虑高斯随机变量，其条件独立结构由图模型指定。如果我们观察变量的实现，我们可以计算协方差阵，众所周知，逆协方差阵的支持对应于图形模型的边缘。相反，假设我们只有噪声观测。如果每个节点上的噪声是独立的，我们可以计算协方差阵和一个未知对角线的和。这个和的逆（一般来说）是稠密的。我们要问：原来的独立结构还能恢复吗？我们解决这个问题的树结构的图形模型。我们证明了这个问题是不可识别的，但这种不可识别性仅限于一类候选树。我们进一步提出了额外的限制下，这个问题是可以识别的。最后，我们提供了一个O（n^3）算法来找到这个等价类的树。
2019-01-25 cs.LG stat.ML
Private Adaptive Covariance Estimation via Gaussian Graphical Models
Manning College of Information and Computer Sciences（信息与计算机科学学院）
提出PACE-GGM，一种数据自适应的差分隐私协方差估计方法，通过将隐私预算集中在经验协方差矩阵信息量最大的条目上，并在每轮中选择近似差的条目进行高斯机制测量，然后通过最大熵重建目标重构完整协方差矩阵，从而在高维和低到中等隐私预算下显著降低估计误差。
2026-05-22 cs.LG stat.ML
Fairness-Aware Estimation of Graphical Models
University of Pennsylvania（宾夕法尼亚大学）
本文提出一个公平性感知框架，通过将成对图差异误差与定制损失函数融入非光滑多目标优化，在保持图形模型性能的同时减少受保护属性相关的估计偏差。
2024-11-08 cs.LG stat.ML
Estimation of partially known Gaussian graphical models with score-based structural priors
Rice University（莱斯大学）；King Juan Carlos University（胡安·卡洛斯国王大学）
本文提出一种融合图上先验信息的部分已知高斯图模型支持估计算法，利用退火朗之万扩散和图神经网络估计分数函数，从后验分布采样以提升估计性能。
2024-02-23 cs.LG stat.ML
Direct Estimation of Differential Functional Graphical Models
考虑了两个具有共享结构的泛函无向图模型之间的差异估计问题。在许多应用中，数据通常被视为高维随机函数向量而不是多元标量。例如，脑电图（EEG）数据更适合作为时间的函数来处理。在这些问题中，不仅每个样本测量的函数数量很大，而且每个函数本身就是一个无限维的对象，这使得模型参数的估计具有挑战性。我们开发了一种方法，直接估计图的差异，避免单独估计每个图，并显示它是一致的，在某些高维设置。我们通过仿真研究说明了我们的方法的有限样本性质。最后，我们将我们的方法应用于EEG数据，以揭示酗酒者和对照组之间的功能性大脑连接的差异。
2019-11-16 cs.LG stat.ME stat.ML
Robust estimation of latent tree graphical models: Inferring hidden states with inexact parameters
Weizmann Institute（魏茨曼研究所）；UC Berkeley（加州大学伯克利分校）；UCLA（加州大学洛杉矶分校）
隐树图模型广泛应用于计算生物学、信号和图像处理以及网络断层扫描。在这里，我们设计了一个新的有效的，潜在的树模型，包括高斯和离散，可逆的模型，显着提高了以前的样本要求范围的估计过程。我们的技术是基于一个新的隐藏的状态估计器，这是强大的估计参数的不准确性。更准确地说，我们证明了潜在树模型可以估计高概率在所谓的Kesten-Stigum制度与$O(log^2 n)$样本，其中$n$是节点的数量。
2011-09-21 cs.LG math.PR math.ST
Joint Gaussian Graphical Model Estimation: A Survey
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The University of Chicago Booth School of Business（芝加哥大学布斯商学院）
来自复杂系统的图通常在域之间共享部分底层结构，同时保留单独的特征。因此，识别共同结构可以揭示潜在的信号，例如，当应用于科学发现或临床诊断时。此外，越来越多的证据表明，跨域的共享结构提高了图的估计能力，特别是对于高维数据。然而，构建一个联合估计器来提取公共结构可能比看起来更复杂，这通常是由于数据源之间的数据异质性。这份手稿调查最近的工作联合高斯图形模型的统计推断，确定模型结构，适合各种数据生成过程。在不同的数据生成过程下的仿真实现与模型的选择进行了详细的讨论。
2022-04-04 cs.LG stat.ME stat.ML
Marginal Likelihoods for Distributed Parameter Estimation of Gaussian Graphical Models
University of Michigan（密歇根大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
我们考虑分布估计的逆协方差阵，也称为浓度或精度矩阵，在高斯图形模型。传统的集中估计通常需要对协方差阵进行全局推断，这在大维度上可能是计算密集的。另一方面，基于消息传递算法的近似推理可能导致循环图模型中的不稳定和有偏估计。在本文中，我们提出了一个分布式估计的最大边际似然（MML）方法的基础上的一般框架。这种方法通过最大化从局部邻域收集的数据定义的边际似然来计算局部参数估计。由于MML问题的非凸性，我们引入并解决了凸松弛。然后将局部估计组合成全局估计，而不需要在邻域之间进行迭代消息传递。所提出的算法是自然的并行化和计算效率，从而使其适合于高维问题。在经典的制度，其中变量的数量$p$是固定的，样本的数量$T$增加到无穷大，所提出的估计被证明是渐近一致的，并改善单调的局部邻域大小的增加。在高维缩放制度，其中$p$和$T$增加到无穷大，收敛速度的真实参数的推导和被认为是可比的集中式极大似然估计。大量的数值实验表明，改进的性能的两跳版本的建议的估计，这足以几乎关闭的差距，集中式极大似然估计，以减少计算成本。
2014-08-13 cs.LG stat.ML
Data-Driven Causal Effect Estimation Based on Graphical Causal Modelling: A Survey
University of South Australia（南澳大学）
本文综述了在观测数据中利用图因果建模和搜索策略进行数据驱动因果效应估计的方法，梳理其基本概念、假设、挑战及各类方法的优缺点，并通过实证评估为后续研究提供参考。
2023-12-03 cs.AI cs.LG
Joint estimation of sparse multivariate regression and conditional graphical models
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
多元回归模型是对经典的一元回归模型的自然推广，用于拟合多个响应.在本文中，我们提出了一个高维多元条件回归模型，用于构造多元回归系数矩阵的稀疏估计，该矩阵考虑了多个响应之间的依赖结构。所提出的方法分解成一系列的惩罚条件对数似然的协变量和其他响应的条件下的每个响应的多元回归问题。它允许同时估计稀疏回归系数矩阵和稀疏逆协方差阵。针对协变量的发散维度和响应数量建立了渐进选择一致性和正态性。所提出的方法的有效性也证明了在各种模拟的例子，以及应用程序的多形性胶质母细胞瘤癌症数据。
2013-06-19 cs.LG stat.ML
Nonparametric Density Estimation under Distribution Drift
Brown University（布朗大学）
本文研究分布随时间漂移时的非参数密度估计，针对离散和连续光滑密度证明紧致极小极大风险界，并推广了漂移下不可知学习的已有结果。
2023-10-27 cs.LG stat.ML
Drift Estimation for Stochastic Differential Equations with Denoising Diffusion Models
本文提出利用去噪扩散模型估计随机微分方程中的漂移函数，该方法在不同维度下均表现出竞争力，且优势不受架构设计限制。
2026-02-19 cs.LG stat.ML
Adaptive Estimation of Graphical Models under Total Positivity
The Hong Kong University of Science and Technology（香港科技大学）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（港科大深港协同创新研究院）
针对全正性下高斯图模型的M矩阵及对角占优M矩阵精度矩阵估计问题，提出自适应多阶段估计方法，构建梯度投影统一求解框架并给出误差分析，在精度估计与边识别上优于现有方法。
2023-06-08 cs.LG eess.SP stat.ML
Efficient adjustment sets for population average treatment effect estimation in non-parametric causal graphical models
Universidad Torcuato Di Tella（托尔夸托·迪·特利亚大学）；CONICET（阿根廷国家科学与技术研究理事会）；Harvard T. H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）
在观察性研究中，常采用协变量调整法估计群体平均治疗效应。从假定的因果图模型确定所有有效协变量调整集的图形规则是众所周知的。限制注意因果线性模型，最近的一篇文章推导出两个新的图形标准：一个是比较控制某些不同的调整集的线性回归治疗效果估计量的渐近方差，另一个是确定最佳调整集，该调整集产生最小二乘治疗效果估计量，在一致的调整最小二乘估计量中具有最小的渐近方差。在本文中，我们表明，相同的图形标准可以用于非参数因果图形模型时，治疗效果估计的对比，涉及非参数调整估计的干预手段。我们还提供了一个图形的标准来确定最佳调整集之间的最小调整集，这是有效的线性和非参数估计。我们提供了一个新的图形标准，比较不定常调整集，即，由协变量，调整为未来的治疗，本身受到早期治疗的影响。我们通过例子表明，一致最优的不定常调整集并不总是存在。此外，对于点干预，我们提供了一个健全的和完整的图形标准，用于确定当一个非参数的最佳调整估计的干预手段，或干预手段的对比度，是一样有效的，利用信息的条件独立编码的非参数因果图模型的相同参数的有效估计。
2019-12-16 cs.LG math.ST stat.ML
Transferable Graphical MARL for Real-Time Estimation in Dynamic Wireless Networks
Department of Electrical and Computer Engineering, Rutgers University（罗格斯大学电气与计算机工程系）；Department of Biostatistics and Bioinformatics, Duke University（杜克大学生物统计与生物信息学系）；Department of Electrical and Systems Engineering, University of Pennsylvania（宾夕法尼亚大学电气与系统工程系）
本文提出了一种可迁移的图形MARL框架，用于动态无线网络中的实时估计，通过统一的多智能体强化学习方法，实现去中心化策略下的估计误差和信息年龄最小化，同时具备良好的迁移性和鲁棒性。
2026-01-19 cs.LG eess.SP
Covariate-dependent Graphical Model Estimation via Neural Networks with Statistical Guarantees
Machine Learning Research, Morgan Stanley（摩根大通机器学习研究部）；Department of Statistics and Data Science, UCLA（UCLA统计与数据科学系）
本文提出一种基于深度神经网络的协变量相关图模型估计方法，具备PAC统计保证，在合成与真实数据上优于现有方法。
2025-04-23 cs.LG stat.ME stat.ML
Network-based clustering with mixtures of L1-penalized Gaussian graphical models: an empirical investigation
University of Warwick（华威大学）；The Netherlands Cancer Institute（荷兰癌症研究所）
在许多应用中，多元样本可能在条件独立性或网络结构水平上隐藏先前未被识别的异质性。例如，在癌症生物学中，疾病亚型可能在分子组分之间的亚型特异性相互作用方面不同。然后，子类型发现和估计的子类型特定的网络提出了重要的和相关的挑战。为了实现这样的分析，我们提出了一个混合模型，其组成部分是稀疏高斯图形模型。这将基于模型的聚类和图形化建模结合在一起，可以同时估计集群分配和集群特定的网络。我们进行估计的L1处罚的框架内，并调查了几个具体的处罚制度。我们提出了经验的模拟数据的结果，并提供了一般的建议，制定和使用的L1处罚高斯图形模型的混合物。
2013-01-10 cs.LG stat.ME stat.ML
Graphical Convergence of Subgradients in Nonconvex Optimization and Learning
Cornell University（康奈尔大学）；University of Washington（华盛顿大学）
本文研究了最小化种群风险的随机最优化问题，其中定义风险的损失假设是弱凸的。具有光滑映射的Lipschitz凸函数的合成是这种损失的主要例子。我们分析了估计质量的非光滑和非凸的问题，他们的样本平均近似。我们的主要结果建立了完全一般性的次梯度估计的维数依赖率和损失为广义线性模型时的维数无关率。作为所开发技术的应用，我们分析了鲁棒非线性回归问题的非光滑景观。
2018-12-17 cs.LG math.OC
Structure Learning and Parameter Estimation for Graphical Models via Penalized Maximum Likelihood Methods
Maria Curie-Skłodowska University in Lublin（卢布林居里夫人大学）；Faculty of Mathematics, Physics and Computer Science（数学、物理与计算机科学学院）；Institute of Mathematics（数学研究所）；University of Maria Curie-Sklodowska（居里夫人大学）
概率图模型（PGMs）提供了一个紧凑而灵活的框架来模拟非常复杂的现实生活中的现象。他们结合了概率论，它处理不确定性和逻辑结构表示的一个图形，使人们能够应付计算的复杂性，也解释和沟通所获得的知识。在论文中，我们考虑两种不同类型的PGMs：贝叶斯网络（BN）是静态的，和连续时间贝叶斯网络，顾名思义，有一个时间组件。我们有兴趣恢复它们的真实结构，这是学习任何PGM的第一步。这是一项具有挑战性的任务，从因果的角度来看，对于解释模型和决策过程来说，这本身就很有趣。本文中的所有结构学习方法都是基于相同的极大似然估计和LASSO惩罚的思想。将结构学习问题归结为寻找广义线性模型的LASSO估计中的非零系数的问题。在CTBN的情况下，我们考虑完整和不完整的数据的问题。我们支持的理论结果与实验。
2023-01-30 cs.LG stat.ML
On resampling vs. adjusting probabilistic graphical models in estimation of distribution algorithms
Federal University of Technology - Paraná (UTFPR)（联邦理工大学-巴拉那州（UTFPR））；The University of Adelaide（阿德莱德大学）；Aalborg University（奥尔堡大学）
贝叶斯优化算法（BOA）是一种使用贝叶斯网络作为概率图模型（PGM）的分布估计算法（EDA）。在给定解样本的情况下，确定最优贝叶斯网络结构是一个NP难问题。这个步骤应该在BOA的每次迭代中完成，这是一个非常耗时的过程。出于这个原因，大多数实现使用贪婪估计算法，如K2。然而，我们在本文中表明，PGM结构的显着变化并不经常发生，并且在进化结束时可能特别稀疏。因此，BOA的统计研究提出了一种模式的PGM调整，可以作为一个指导，以减少在进化过程中的PGM更新的频率。这是通过提出一种新的基于BOA的优化方法（FBOA），其PGM在每次迭代时都不更新来实现的。这种新方法避免了标准BOA中通常存在的计算负担。结果比较两种算法的性能NK景观优化问题使用的耐用性和预期的运行时间之间的相关性枚举的实例。实验表明，FBOA提出了竞争力的结果，同时显着节省计算时间。
2019-02-15 cs.AI cs.LG stat.ML
Distributionally Robust Formulation and Model Selection for the Graphical Lasso
University of California, Santa Barbara（加州大学圣巴巴拉分校）
建立在最近的框架分布鲁棒优化，我们考虑估计的逆协方差阵的多元数据。我们提供了一个新的概念Wasserstein模糊集专门针对这个估计问题，导致一个易于处理的一类正规化估计。特殊情况包括高斯数据的惩罚似然估计，特别是图形套索估计。作为该公式的结果，Wasserstein模糊度集的半径与估计问题中的正则化参数直接相关。使用这种关系，估计过程的鲁棒性水平可以被示出为对应于模糊度集合包含具有总体协方差的分布的置信水平。此外，我们的配方的一个独特的功能是，半径可以表示为一个普通的样本协方差阵的函数的封闭形式。利用这一发现，我们开发了一个简单的算法来确定图形套索的正则化参数，只使用自举的样本协方差阵，这意味着计算昂贵的图形套索算法的重复评估是没有必要的。或者，如果使用现成的方法（如交叉验证），则分布鲁棒公式也可以量化相应估计量的鲁棒性。最后，我们数值研究得到的正则化准则和分析的鲁棒性的其他自动调整程序在实践中使用。
2019-10-05 cs.LG math.ST stat.ML
Physics-Informed Graphical Neural Network for Parameter & State Estimations in Power Systems
University of Arizona（亚利桑那大学）
参数估计（PE）和状态估计（SE）是系统工程中最广泛的任务。它们需要在测量到达时自动、快速和频繁地完成。深度学习（DL）有望解决这一挑战，但就电力系统中的PE和SE而言，（a）由于缺乏基于电力的物理解释，DL没有赢得系统运营商的信任，（b）DL在数据稀缺的运营机制中仍然是虚幻的。为了解决这个问题，我们提出了一种混合方案，它嵌入到图形神经网络（GNN）的电力系统的物理建模，从而使系统运营商与一个可靠的和可解释的实时预测，然后可以用来控制关键的基础设施。为了实现PE和SE的可信DL，我们建立了一个物理信息方法，名为Power-GNN，该方法重建了有效潮流（EPF）模型中的物理参数，从而可解释参数，例如有效电力线的导纳和NN参数，这些参数代表了系统中隐含的未观察到的元素。在我们的实验中，我们在不同的现实电网上测试了Power-GNN，包括具有数千个负载和数百个发电机的电网。我们表明，Power-GNN优于不知道EPF物理的香草NN方案。
2021-02-12 cs.LG cs.SY eess.SY
