An Inverse-free Truncated Rayleigh-Ritz Method for Sparse Generalized Eigenvalue Problem
Baidu Research（百度研究院）
本文研究了稀疏广义特征值问题（SGEP），其目标是寻找最多具有$k$非零元素的首特征向量。SGEP自然出现在机器学习、统计学和科学计算中的许多应用中，例如，稀疏主成分分析（SPCA）、稀疏判别分析（SDA）和稀疏典型相关分析（SCCA）。在本文中，我们专注于开发一个三阶段的算法命名为{ \em逆自由截断瑞利-里兹方法}（{ \em IFTRR}），以有效地解决SGEP。在IFTRR的每次迭代中，只需要少量的矩阵向量乘积。这使得IFTRR非常适合大规模的问题。特别地，提出了一种新的截断策略，该策略能够有效地找到前导特征向量的支持集。理论结果的发展，以解释为什么IFTRR工作良好。数值仿真验证了IFTRR的优点。
2020-03-24 cs.LG stat.ML
Tree-based Node Aggregation in Sparse Graphical Models
高维图形模型通常使用正则化来估计，其目的是减少网络中的边数。在这项工作中，我们展示了如何通过聚合图形模型的节点来生成更简单的网络。我们开发了一种新的凸正则化方法，称为树聚合图形套索或标签套索，估计图形模型，边缘稀疏和节点聚合。通过利用树形式的边信息以数据驱动的方式执行聚合，该边信息编码节点相似性并促进对所得聚合节点的解释。我们提供了一个有效的实现的标签套索，通过使用局部自适应交替方向方法的乘数，并说明我们的建议的实际优势，在模拟和金融和生物学中的应用。
2021-01-29 econ.EM stat.ME stat.ML
High dimensional Sparse Gaussian Graphical Mixture Model
University of Groningen（格罗宁根大学）
本文研究了基于高斯混合图模型（GGMM）的异构数据网络重构问题。众所周知，由于大量的变量与可能性的简并性，在这种情况下的参数估计是具有挑战性的。作为一种解决方案，我们提出了一个惩罚的极大似然技术施加$l_{1}$罚款的精度矩阵。我们的方法缩小了参数，从而导致更好的可识别性和变量选择。我们使用的期望最大化（EM）算法，其中包括图形LASSO估计的混合系数和精度矩阵。证明了在一定的正则条件下，惩罚极大似然（PML）估计是相容的.我们通过模拟展示了PML估计的性能，并展示了我们的方法在基因组应用中用于高维数据分析的实用性。
2013-10-05 cs.LG stat.ML
From Behavior to Sparse Graphical Games: Efficient Recovery of Equilibria
Purdue University（普渡大学）
在本文中，我们研究的纯策略纳什均衡（PSNE）集的图形游戏从嘈杂的观察单独的球员的联合行动的精确恢复的问题。我们考虑稀疏线性影响博弈-一类具有线性收益的图形博弈，用n个节点（参与者）的有向图表示，且入度至多为k。我们提出了一个基于$\ell_1$正则化逻辑回归的算法，用于精确地恢复PSNE集，该算法在计算上是高效的-即在多项式时间内运行-并且在统计上是高效的-即具有对数样本复杂度。具体而言，我们表明，足够数量的样本所需的确切PSNE恢复规模为$\mathcal{O}(\mathrm{poly}(k) \log n)$。我们还验证了我们的理论结果，使用合成实验。
2016-10-19 cs.GT cs.LG stat.ML
Sparse Nonparametric Graphical Models
University of Chicago（芝加哥大学）；Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一些非参数的方法，图形建模。在离散情况下，数据是二进制的或从有限字母表中提取的，马尔可夫随机场已经基本上是非参数的，因为集团只能取有限数量的值。连续数据是不同的。高斯图模型是连续数据的标准参数模型，但它的分布假设往往是不切实际的。我们讨论了两种构建更灵活的图形模型的方法。一个允许任意图形和高斯的非参数扩展;另一个使用核密度估计并将图形限制为树和森林。这两种方法的例子。我们还讨论了非参数图形建模未来可能的研究方向。
2013-01-07 cs.LG stat.ME stat.ML
A Truncated EM Approach for Spike-and-Slab Sparse Coding
我们研究的推理和学习的基础上稀疏编码模型与“尖峰和板坯”先验。与标准稀疏编码一样，所使用的模型假设独立的潜在源线性组合以生成数据点。然而，而不是使用一个标准的稀疏先验，如拉普拉斯分布，我们研究了一个更灵活的“钉和板”分布模型的存在或不存在的源的贡献独立于其强度，如果它有助于应用。我们研究了两种方法来优化参数的尖峰和板稀疏编码：一种新的截断EM方法，并进行比较，一种基于标准因子变分分布的方法。截断方法可以被看作是一种变分方法，截断后验作为变分分布。在源分离的应用中，我们发现这两种方法都提高了一些标准基准测试的最新水平，这就要求使用相应数据域的“尖峰和厚板”先验。此外，我们发现，截断EM方法改进了标准的因子化方法在源分离任务$-$，这暗示了偏见，假设后独立的因子化变分方法。同样，在图像去噪的标准基准上，我们发现截断EM方法改进了因子变分方法。虽然因子分解方法的性能随着隐藏维数的增加而饱和，但截断方法的性能提高了更高噪声水平的最新技术水平。
2014-09-03 stat.ML
Joint estimation of sparse multivariate regression and conditional graphical models
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
多元回归模型是对经典的一元回归模型的自然推广，用于拟合多个响应.在本文中，我们提出了一个高维多元条件回归模型，用于构造多元回归系数矩阵的稀疏估计，该矩阵考虑了多个响应之间的依赖结构。所提出的方法分解成一系列的惩罚条件对数似然的协变量和其他响应的条件下的每个响应的多元回归问题。它允许同时估计稀疏回归系数矩阵和稀疏逆协方差阵。针对协变量的发散维度和响应数量建立了渐进选择一致性和正态性。所提出的方法的有效性也证明了在各种模拟的例子，以及应用程序的多形性胶质母细胞瘤癌症数据。
2013-06-19 cs.LG stat.ML
Estimation of sparse Gaussian graphical models with hidden clustering structure
高斯图模型的估计在自然科学中以图的形式建模变量之间的统计关系时是重要的。该算法通过对集中矩阵的稀疏性和聚类性进行增强，降低了模型的复杂度，并有效地描述了模型的内在缺陷。我们提出了一个模型来估计稀疏高斯图模型与隐藏的聚类结构，这也允许额外的线性约束施加在浓度矩阵。我们设计了一个有效的两阶段算法来求解所提出的模型。我们开发了一种基于对称高斯-赛德尔的乘子交替方向法（sGS-ADMM）来产生一个初始点来热启动第二阶段算法，这是一种近似增广拉格朗日方法（pALM），以获得高精度的解。模拟数据和真实数据的数值实验表明，我们的模型，以及我们提出的算法的效率和鲁棒性的良好性能。
2020-04-17 math.OC stat.AP stat.CO
Beyond normality: Learning sparse probabilistic graphical models in the non-Gaussian setting
MIT（麻省理工学院）
我们提出了一个算法来识别稀疏依赖结构在连续和非高斯概率分布，给定相应的数据集。任意分布的条件独立结构可以表示为无向图（或马尔可夫随机场），但大多数学习这种结构的算法仅限于离散或高斯情况。我们的新方法可以更真实和准确地描述所讨论的分布，从而更好地估计其稀疏马尔可夫结构。图中的稀疏性是有趣的，因为它可以加速推理，改进采样方法，并揭示变量之间的重要依赖关系。该算法依赖于利用图的稀疏性和运输地图的稀疏性之间的连接，确定性地将一个概率度量耦合到另一个概率度量。
2017-11-06 cs.LG stat.ML
Large-Scale Optimization Algorithms for Sparse Conditional Gaussian Graphical Models
研究了L1正则化条件高斯图模型的可扩展优化问题。条件高斯图模型是将高斯图模型推广到条件分布的一种模型，它可以对受条件输入变量影响的输出网络进行建模。虽然存在用于稀疏高斯图形模型估计的高度可扩展的优化方法，但是用于条件高斯图形模型的现有技术方法不够有效，并且更重要的是，由于非常大的问题的存储器约束而失败。在本文中，我们提出了一个新的优化过程的基础上，牛顿法，有效地迭代两个子问题，导致大幅改善计算时间相比，以前的方法。然后，我们将我们的方法扩展到内存约束下的大型问题，使用块坐标下降来限制内存使用，同时实现快速收敛。使用合成和基因组数据，我们证明了我们的方法可以在一台机器上在一天多一点的时间内高精度地解决一百万维的问题。
2015-12-26 stat.ML
Fast and Scalable Learning of Sparse Changes in High-Dimensional Gaussian Graphical Model Structure
University of Virginia（弗吉尼亚大学）
我们专注于两个$p$维高斯图模型（GGM）的依赖结构的变化估计的问题。以前的研究稀疏变化估计GGM涉及昂贵和困难的非光滑优化。我们提出了一种新的方法DIFFEE，用于在高维情况下通过基本估计器估计DIFFerential网络。通过一个更快的封闭式解决方案来解决EEE，使其能够在大规模环境中工作。我们进行了严格的统计分析表明，令人惊讶的是，ESTEE实现了相同的渐近收敛速度的国家的最先进的估计，更难以计算。我们在多个合成数据集和一个关于大脑连接的真实数据上的实验结果显示，与基线相比，性能有了很大的提高，并且具有显著的计算优势。
2018-05-23 cs.AI cs.LG stat.ML
Learning Sparse High-Dimensional Matrix-Valued Graphical Models From Dependent Data
Auburn University（奥本大学）
本文针对相依观测下的稀疏高维矩阵值高斯时间序列，提出基于稀疏组套索和ADMM的频域方法估计条件独立图，并给出局部收敛条件与收敛速率。
2024-04-29 cs.LG eess.SP stat.ML
Learning Some Popular Gaussian Graphical Models without Condition Number Bounds
MIT（麻省理工学院）；UCLA（加州大学洛杉矶分校）
高斯图模型在机器学习、自然科学和社会科学中有着广泛的应用。在应用它们的大多数设置中，观察到的样本数量远远小于维度，并且它们被假设为稀疏的。虽然有各种算法（例如Graphical Lasso，CLIME）可以证明用对数数量的样本恢复图结构，但它们假设各种条件，要求精度矩阵在某种意义上是良好条件的。在这里，我们给出了第一个多项式时间算法学习有吸引力的GGMs和行走可求和的GGMs与对数数量的样本，没有任何这样的假设。特别是，我们的算法可以容忍变量之间的强依赖关系。我们的结构恢复行走可求和GGM的结果是来自一个更一般的结果，有效的稀疏线性回归行走可求和模型，没有任何规范的依赖关系。我们补充我们的结果与实验表明，许多现有的算法失败，即使在一些简单的设置，有很长的依赖链，而我们没有。
2020-03-09 cs.DS cs.LG math.ST
Bayesian Regularization for Graphical Models with Unequal Shrinkage
Department of Statistics, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校统计学系）
我们考虑一个贝叶斯框架估计高维稀疏精度矩阵，其中自适应收缩和稀疏性诱导的拉普拉斯先验的混合物。除了讨论我们的配方从贝叶斯的角度来看，我们调查的MAP（最大后验概率）估计从惩罚的可能性的角度来看，产生了一个新的非凸罚款近似的$\ell_0$罚款。最佳的误差率估计一致性的各种矩阵范数以及稀疏结构恢复的选择一致性的唯一MAP估计在温和的条件下。为了快速有效地计算，提出了一种期望最大化算法来计算精度矩阵的MAP估计和底层稀疏结构边缘上的（近似）后验概率。通过广泛的模拟研究和实际应用的呼叫中心数据，我们已经证明了我们的方法与现有的替代品相比，优良的性能。
2018-05-20 cs.LG math.ST stat.CO
Simultaneous Identification of Sparse Structures and Communities in Heterogeneous Graphical Models
Shanghai Center for Mathematical Sciences, Fudan University（复旦大学上海数学中心）；Columbia University（哥伦比亚大学）
该研究在高斯图模型框架下提出将图结构分解为稀疏部分与低秩非重叠社区的新方法，构建三阶段估计算法，给出理论保障，实验及股票数据应用验证了其在图结构估计与社区识别上的优越性。
2024-05-16 cs.LG stat.ML
Concentration of a sparse Bayesian model with Horseshoe prior in estimating high-dimensional precision matrix
本文针对高维稀疏精度矩阵估计，提出基于Horseshoe先验的回火后验集中性理论，并给出模型误设下的oracle不等式，通过模拟验证了方法的有效性。
2024-09-13 math.ST stat.ML stat.TH
Accelerating Bayesian Structure Learning in Sparse Gaussian Graphical Models
高斯图模型是学习变量之间条件独立结构的相关工具。在这类模型中，贝叶斯结构学习通常通过图空间上的搜索算法来完成。满足图形约束的精度矩阵的共轭先验是著名的G-Wishart。有了这个先验，搜索算法中的转移概率需要评估G-Wishart的先验归一化常数的比率。在中到高维中，这个比率通常使用基于采样的方法来近似，作为搜索算法中计算昂贵的更新。到目前为止，计算这个比率一直是一个主要的计算瓶颈。我们克服了这个问题，表示一个搜索算法，在该算法中，归一化常数的比例进行了显式的封闭形式近似。在我们的搜索算法中使用这种近似，在不牺牲结构学习精度的情况下，显著提高了结构学习的可扩展性。我们研究的条件下，近似是有效的。我们还评估了我们的方法与模拟研究的有效性。我们表明，新的搜索算法与我们的近似优于国家的最先进的方法在计算效率和准确性。我们工作的实现可以在R包BDgraph中找到。
2021-07-16 math.ST stat.ME stat.ML
A constrained L1 minimization approach for estimating multiple Sparse Gaussian or Nonparanormal Graphical Models
University of Virginia（弗吉尼亚大学）
从聚合数据中识别特定于上下文的实体网络是一项重要的任务，经常出现在生物信息学和神经成像中。在计算上，这个任务可以被公式化为联合估计多个不同的，但相关的，稀疏的无向图形模型（UGM）从聚合样本在几个上下文中。之前的联合UGM研究主要集中在稀疏高斯图形模型（sGGM）上，并且无法直接识别特定于上下文的边缘模式。因此，我们提出了一种新的方法，SIMULE（检测共享和单个部分的MULtiple图解释）通过约束L1最小化学习多UGM。SIMULE自动推断每个上下文唯一的特定边缘模式和所有上下文之间保留的共享交互。通过L1约束公式，该问题被转换为多个独立的子任务的线性规划，可以有效地并行求解。除了高斯数据之外，SIMULE还可以处理多元非超常数据，这些数据极大地放松了许多现实世界应用程序不遵循的正态性假设。我们提供了一个新的理论证明，SIMULE实现了一致的结果，在速率O（log（Kp）/ n_{tot}）。在多个合成数据集和两个生物医学数据集上，SIMULE显示出比最先进的多sGGM和单UGM基线有显着改善。
2017-09-18 cs.AI cs.LG stat.ML
Sparse Generalized Eigenvalue Problem: Optimal Statistical Rates via Truncated Rayleigh Flow
稀疏广义特征值问题（GEP）是一类重要的高维统计模型，包括稀疏Fisher判别分析、典型相关分析和充分降维等。稀疏GEP涉及解决非凸优化问题。大多数现有的方法和理论的背景下，特定的统计模型的特殊情况下的稀疏GEP需要限制性的结构假设的输入矩阵。在本文中，我们提出了一个两阶段的计算框架来解决稀疏GEP。在第一阶段，我们解决了稀疏GEP的凸松弛。以解为初始值，然后利用非凸优化的角度，提出截断瑞利流方法（步枪）来估计领先的广义特征向量。我们证明了Rifle对于许多统计模型线性收敛到一个具有最优统计收敛速度的解。从理论上讲，我们的方法显着改善了现有的文献，通过消除结构假设的输入矩阵的两个阶段。为了实现这一点，我们的分析涉及两个关键组成部分：（i）一个新的分析的梯度为基础的方法上的非凸目标函数，和（ii）细粒度的表征稀疏模式的演变沿solutionpath.Thoroughnumericalstudies提供验证的理论结果。
2018-08-31 stat.ML
G-AMA: Sparse Gaussian graphical model estimation via alternating minimization
最近已经提出了几种方法来估计稀疏高斯图形模型，使用逆协方差阵上的$\ell_{1}$正则化。尽管最近的进展，当代的应用程序需要的方法，甚至更快，以处理病态的高维现代数据集。在本文中，我们提出了一种新的方法，G-AMA，解决稀疏逆协方差估计问题使用交替最小化算法（AMA），有效地作为一个近似梯度算法的对偶问题。我们的方法比现有的方法有几个新的优势。首先，我们证明了G-AMA比以前的最佳算法快了许多数量级，因此是现代高吞吐量应用的理想方法。其次，严格证明了G-AMA的全局线性收敛性，强调了其良好的理论性质。第三，对偶算法在协方差阵上操作，并且因此容易地促进基于领域特定知识对特征对之间的成对/边缘关系并入附加约束。除了估计稀疏逆协方差阵之外，我们还说明了如何（1）结合对（二元）相关性的约束，以及（2）结合各个逆协方差元素之间的相等（等稀疏性）或线性约束。第四，我们还表明，G-AMA是更好地善于处理极端病态的问题，往往是真实数据的情况下。该方法在模拟和真实数据集上进行了演示，以说明其优于最近提出的方法的性能。
2014-05-14 stat.CO stat.ML
Sequential change-point detection in high-dimensional Gaussian graphical models
Institute for Mathematics and its Applications, University of Minnesota（明尼苏达大学数学及其应用研究所）；University of Florida（佛罗里达大学）；University of Michigan（密歇根大学）
高维分段平稳图模型代表了一个通用的类建模时变网络出现在不同的应用领域，包括生物学，经济学和社会科学。最近的工作是离线检测和估计稀疏图形模型的拓扑结构中的状态变化。然而，在线设置仍然在很大程度上未被开发，尽管其高度相关的传感器网络和其他工程监控系统，以及金融市场的应用。为此，这项工作介绍了一种新的可扩展的在线算法检测未知数量的突变的逆协方差阵的稀疏高斯图形模型的小延迟。该算法是基于监测网络中的所有节点的条件对数似然，并可以扩展到一个大类的连续和离散的图形模型。我们还研究了我们的程序在一定的温和的正则条件下的图的大小，稀疏水平，样本数，和前和后的网络拓扑结构的变化的渐近性质。合成和真实数据的数值工作说明了所提出的方法在众多实验设置的计算和统计效率方面的良好性能。
2018-06-20 cs.LG math.ST stat.ML
Adaptive Lasso for High Dimensional Regression and Gaussian Graphical Modeling
我们证明了两阶段自适应Lasso过程（Zou，2006）对于线性和高斯图模型中的高维模型选择是一致的。我们的一致性条件比以前的工作中所完成的条件覆盖了更一般的情况：我们证明了限制特征值条件（Bickel等人，2008）对于稀疏结构估计也是足够的。
2009-03-13 math.ST stat.ML stat.TH
Feature Grouping and Sparse Principal Component Analysis with Truncated Regularization
在本文中，我们考虑了一个新的变种的主成分分析（PCA），旨在捕捉分组和/或稀疏结构的因素负荷的同时。为了实现这些目标，我们采用了自然可调稀疏性和分组效果的非凸截断正则化，并提出了特征抽取和稀疏主成分分析（FGSPCA）。FGSPCA方法鼓励具有相似值的因子载荷折叠成不相交的同质组用于特征分组或折叠成特殊的零值组用于特征选择，这反过来又有助于降低模型复杂度和增加模型解释。通常，现有的结构化PCA方法需要先验知识来构造正则化项。然而，建议的FGSPCA可以同时捕获的分组和/或稀疏结构的因素负载没有任何先验信息。为了解决由此产生的非凸优化问题，我们提出了一个交替算法，结合凸规划的差异，增广拉格朗日方法和坐标下降法。实验结果表明，有前途的性能和效率的新方法在合成和真实世界的数据集。FGSPCA的R实现可以在github {https：//github.com/higeeks/FGSPCA}上找到。
2022-09-13 stat.ME stat.ML
Sparse Graphical Memory for Robust Planning
Berkeley AI Research（伯克利人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
为了在现实世界中有效地运作，智能体应该能够从高维原始感官输入（如图像）中采取行动，并在长时间范围内实现不同的目标。目前的深度强化和模仿学习方法可以直接从高维输入中学习，但不能很好地扩展到长时间任务。相比之下，像A* 搜索这样的经典图形方法能够解决长期任务，但假设状态空间是从原始感官输入中抽象出来的。最近的研究试图将深度学习和经典规划的优势结合起来;然而，该领域的主流方法仍然非常脆弱，并且随着环境的大小而扩展性很差。我们介绍了稀疏图形存储器（SGM），一个新的数据结构，存储状态和可行的转移在一个稀疏的内存。SGM根据一种新的双向一致性目标聚合状态，将经典的状态聚合标准适应于目标条件强化学习：当两个状态作为目标和起始状态都可互换时，它们是冗余的。从理论上讲，我们证明了合并节点根据双向一致性导致最短路径长度的增加，仅与合并阈值呈线性关系。在实验中，我们表明，SGM显着优于目前最先进的方法在长时间，稀疏奖励的视觉导航任务。项目视频和代码可在https://mishalaskin.github.io/sgm/上获得
2020-11-12 cs.AI cs.CV cs.LG
Speeding Up Latent Variable Gaussian Graphical Model Estimation via Nonconvex Optimizations
University of Virginia（弗吉尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
研究了隐变量高斯图模型（LVGGM）的估计问题，其中精度矩阵是稀疏矩阵和低秩矩阵的叠加。为了提高稀疏和低秩分量的估计速度，提出了一种基于矩阵分解的稀疏约束极大似然估计方法和一种有效的硬阈值交替梯度下降算法，该算法比基于凸松弛的LVGGM估计方法快几个数量级.此外，我们证明了我们的算法是保证线性收敛到未知的稀疏和低秩组件的最佳统计精度。在合成数据和基因组数据上的实验证明了该算法的优越性，并证实了我们的理论。
2017-02-28 cs.LG stat.ML
On Sparse High-Dimensional Graphical Model Learning For Dependent Time Series
Auburn University（奥本大学）
本文针对高维平稳高斯时间序列，提出基于频域稀疏组 lasso 和 ADMM 的条件独立图学习方法，并给出联合所有频率的收敛条件与速率。
2024-06-04 cs.LG eess.SP stat.ML
A Fast and Scalable Joint Estimator for Learning Multiple Related Sparse Gaussian Graphical Models
University of Virginia（弗吉尼亚大学）
在高维（大$p$）环境下，针对多个相关任务（大$K$）联合估计多个稀疏高斯图模型（sGGM）是一项重要的任务.大多数以前的研究多个sGGM的联合估计依赖于惩罚对数似然估计，涉及昂贵和困难的非光滑优化。我们提出了一种新的方法，FASJEM为\underline{fa} st和\underline{s}可伸缩的\underline{j}点结构- \underline{e}估计的\underline{m}多sGGM在大规模。作为第一个使用Elementary Estimate框架的联合sGGM研究，我们的工作有三个主要贡献：（1）我们通过可并行的入口方式求解FASJEM。(2)我们选择了一个近似算法来优化FASJEM。这提高了从$O(Kp^3)$到$O(Kp^2)$的计算效率，并减少了从$O(Kp^2)$到$O(K)$的存储器需求。(3)我们从理论上证明了FASJEM实现了一致的估计与$O(\log(Kp)/n_{tot})$的收敛速度。在几个合成数据集和四个真实世界的数据集上，FASJEM在准确性、计算复杂性和内存成本方面比基线有了显着的改进。
2018-03-20 cs.LG cs.PF stat.ML
Robust Gaussian Graphical Modeling with the Trimmed Graphical Lasso
高斯图形模型（GGM）是研究网络结构的常用工具。然而，许多现代应用，如基因网络发现和社会互动分析，往往涉及高维噪声数据与离群值或重尾比高斯分布。在本文中，我们提出了修剪图形套索的稳健估计的稀疏GGM。我们的方法通过隐式修剪机制来防止离群值，该机制类似于用于线性回归的流行的最小二乘修剪方法。我们提供了一个严格的统计分析，我们的估计在高维设置。相比之下，现有的方法用于鲁棒稀疏GGM估计缺乏统计保证。我们的理论结果得到了仿真和真实基因表达数据实验的补充，进一步证明了我们的方法的价值。
2015-10-28 stat.ML
Optimization Methods for Sparse Pseudo-Likelihood Graphical Model Selection
Lawrence Berkeley National Lab（劳伦斯伯克利国家实验室）；Stanford University（斯坦福大学）；University of Florida（佛罗里达大学）
稀疏高维图模型选择是当代机器学习的一个热门课题。为此，已经提出了各种有用的方法的上下文中的$\ell_1$惩罚估计的高斯框架。虽然这些逆协方差估计方法中的许多是可扩展的，并且利用了凸优化的最新进展，但它们仍然依赖于高斯函数形式。为了解决这一问题，最近提出了一种基于凸伪似然的部分相关图估计方法（CONCORD）。该方法使用基于伪似然的回归的坐标最小化，并且与高斯方法相比已被证明具有鲁棒的模型选择特性。然而，与高斯设置中的并行工作形成直接对比的是，这种新的凸伪似然框架没有利用机器学习文献中提出的用于凸优化的广泛的方法阵列。在本文中，我们提出了两个最接近的梯度方法（CONCORD-ISTA和CONCORD-FISTA）执行$\ell_1$正则化逆协方差阵估计的伪似然框架，以解决这个关键的差距。我们提出的时间比较与坐标明智的最小化，并证明我们的方法产生巨大的回报$\ell_1$惩罚部分相关图估计高斯设置之外，从而产生最快，最具可扩展性的方法，这样的问题。我们对我们的方法进行理论分析，并严格证明收敛性，并得出其速度。
2014-09-12 cs.LG stat.CO stat.ML
Sparse Gaussian Graphical Models with Discrete Optimization: Computational and Statistical Perspectives
Operations Research Center, Massachusetts Institute of Technology（麻省理工学院运筹学研究中心）；Sloan School of Management, Massachusetts Institute of Technology（麻省理工学院斯隆管理学院）
本文提出基于ℓ0惩罚伪似然函数的GraphL0BnB估计器，通过混合整数规划解决稀疏高斯图模型学习问题，提供新的统计保证并优于现有方法。
2026-04-04 cs.LG stat.ME stat.ML
Sparse-Group Log-Sum Penalized Graphical Model Learning For Time Series
研究了高维平稳多元高斯时间序列的条件独立图的推断问题。在文献中已经考虑了基于稀疏群套索的频域公式的问题，其目标是估计数据的稀疏逆功率谱密度（PSD）。然后从估计的逆PSD推断CIG。在本文中，我们研究使用稀疏群对数和惩罚（LSP），而不是稀疏群套索惩罚。提出了一种求解非凸问题迭代优化的交替方向乘子法。我们提供了充分条件的Frobenius范数的逆PSD估计的真值的局部收敛。这个结果也产生了收敛速度。我们说明了我们的方法，利用合成和真实数据的数值例子。
2022-04-29 eess.SP stat.ML
Regularized Estimation of Piecewise Constant Gaussian Graphical Models: The Group-Fused Graphical Lasso
分段常数高斯图模型的时间演化精度矩阵编码了多变量时间序列的动态条件依赖结构。传统上，图形模型是在假设数据是从生成分布中相同提取的情况下估计的。引入稀疏性和稀疏差分诱导先验，我们放松这些假设，并提出了一种新的正则化M-估计，共同估计的图形和变点结构。由此产生的估计拥有的能力，因此有利于稀疏依赖结构和/或平滑地演变的图形结构，根据需要。此外，我们的方法扩展了目前的方法，允许估计的变化点，在系统中的多个依赖关系分组。提出了一种有效的结构估计算法。我们研究的经验恢复性能在一个合成的设置。分组变点估计的定性效果，然后证明通过应用该方法在两个现实世界的数据集。
2017-10-31 stat.CO stat.ME stat.ML
A Fast and Scalable Joint Estimator for Integrating Additional Knowledge in Learning Multiple Related Sparse Gaussian Graphical Models
University of Virginia（弗吉尼亚大学）
我们考虑的问题，包括额外的知识估计稀疏高斯图形模型（sGGM）从聚集的样本，经常出现在生物信息学和神经成像应用。先前的联合sGGM估计器或者不能使用现有的知识，或者不能在高维（大$p$）情况下扩展到许多任务（大$K$）。在本文中，我们提出了一种新的\underline{J}点\underline{E}基本\underline{E} stiffening结合额外的\underline{K} noprony（JEEK）推断多个相关的稀疏高斯图模型从大规模异构数据。使用领域知识作为权重，我们设计了一种新的混合范数作为最小化目标，以执行两个加权稀疏约束的叠加，一个是共享的相互作用，另一个是特定于任务的结构模式。这使得JEEK能够根据手头的领域优雅地考虑各种形式的现有知识，并避免设计特定于知识的优化。JEEK是通过一个快速和条目式并行解决方案，大大提高了最先进的$O(p^5K^4)$到$O(p^2K^4)$的计算效率。我们进行了严格的统计分析表明，JEEK实现了相同的收敛速度$O(\log(Kp)/n_{tot})$的最先进的估计，更难以计算。从经验上讲，在多个合成数据集和两个真实数据上，JEEK在实现相同水平的预测准确度的同时，显著优于最先进的速度。R http://jointnets.org/
2019-04-16 cs.LG stat.ML
Learning Directed Graphical Models from Gaussian Data
Technical University of Munich（慕尼黑工业大学）
在本文中，我们介绍了一个新的有向图模型从高斯数据：高斯图形交互模型（GGIM）。该模型的发展来自于考虑图上的平稳高斯过程，并利用所得到的稳态协方差矩阵和表示相互作用图的拉普拉斯矩阵之间的方程。通过介绍概念上简单的理论，我们开发了新的模型，并提供解释的边缘在图形模型的统计措施。我们表明，当限制到无向图，代表GGIM的拉普拉斯矩阵是等价的标准逆协方差矩阵编码的条件依赖关系。此外，我们的方法导致一个自然的定义，在平稳高斯过程中的两个元素的定向条件独立。我们证明了学习稀疏GGIMs为给定的观察集的问题可以被框定为一个LASSO问题。通过与逆协方差估计问题的比较，我们证明了稀疏GGIM对应的协方差矩阵与$l_1$ -范数惩罚最大对数似然估计对应的协方差矩阵之差的一个界.最后，我们考虑了与稀疏有向条件依赖关系相关的GGIM学习问题。总之，新模型提出了一个新的角度对变量之间的直接关系，并显着扩展了最先进的高斯图形建模。
2020-11-18 cs.LG stat.ML
The Exact Determinant of a Specific Class of Sparse Positive Definite Matrices
Universitat Pompeu Fabra（庞培法布拉大学）
针对一类稀疏高斯图模型，通过傅里叶变换和矩阵行列式引理，推导出协方差矩阵行列式的闭式解，并定义了图模型间的等价性。
2023-11-11 cs.LG cs.NA math.NA
Delta-AI: Local objectives for amortized inference in sparse graphical models
Mila – Québec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
研究人员提出Δ-AI算法，利用PGM稀疏性实现局部信用分配，基于GFlowNets风格损失实现离策略训练且加速，在合成PGM和稀疏因子结构隐变量模型上验证其有效性。
2026-09-01 cs.LG stat.ML
Learning the Structure of Deep Sparse Graphical Models
深度信念网络是对复杂概率分布建模的一种强大方式。然而，学习一个信念网络的结构，特别是一个隐藏的单位，是困难的。印度自助餐过程已被用作一个单一的无限宽的隐藏层的信念网络的有向结构的非参数贝叶斯先验。在本文中，我们介绍了级联印度自助餐过程（CIBP），它提供了一个非参数先验的分层，有向信念网络的结构，是无界的深度和宽度，但允许听话的推理。我们使用CIBP先验与非线性高斯信念网络，因此每个单元可以在离散和连续表示之间改变其行为。我们提供了马尔可夫链蒙特卡罗算法在这些信念网络的推理，并探讨在几个图像数据集上学习的结构。
2010-08-19 stat.ML
A note on the lack of symmetry in the graphical lasso
图形套索（glasso）是一种广泛使用的估计稀疏逆协方差阵的快速算法。glasso解决了L1惩罚极大似然问题，并可作为CRAN上的R库使用。glasso的输出是一个正则化的协方差阵估计稀疏逆协方差阵估计，不仅可以识别图形模型，还可以作为多变量过程（如PCA、LDA、MANOVA等）的中间输入。glasso确实产生了一个协方差阵估计，它解决了L1惩罚优化问题的双重意义上，然而，在此优化后产生逆协方差阵估计的方法是不精确的，可能会产生不对称的估计。当应用的L1正则化的量很小时，这个问题会加剧，如果真正的底层逆协方差阵不是稀疏的，则更有可能发生这种情况。缺乏对称性可能会产生潜在的后果。首先，它意味着协方差和逆协方差估计不是彼此的数值逆，第二，不对称可能导致负的或复杂的特征值，从而使许多可能依赖于逆协方差估计的多变量过程不可用。我们展示这个问题，解释其原因，并提出可能的补救措施。
2012-07-23 stat.CO stat.ML
Does the $\ell_1$-norm Learn a Sparse Graph under Laplacian Constrained Graphical Models?
The Hong Kong University of Science and Technology（香港科技大学）
针对拉普拉斯约束高斯图模型，发现$\ell_1$范数正则化无法促进稀疏性，反而导致完全图；提出基于非凸惩罚和加权$\ell_1$子问题的估计器，并开发线性收敛的投影梯度算法及秩约束扩展，实验验证有效。
2023-09-05 cs.LG stat.ML
Zero-Truncated Poisson Regression for Sparse Multiway Count Data Corrupted by False Zeros
针对受假零污染的多路稀疏计数数据，提出零截断泊松回归方法，通过张量补全估计低秩泊松参数，理论保证在欠定场景下实现准确回归。
2023-04-12 cs.MS cs.NA math.NA
Partial Separability and Functional Graphical Models for Multivariate Gaussian Processes
多元函数数据的协方差结构可能非常复杂，特别是如果多元维度很大，这使得将标准多元数据的统计方法扩展到函数数据设置具有挑战性。例如，高斯图形模型最近已被扩展到设置多元函数数据，通过应用多元方法截断基展开的系数。然而，与多变量数据相比，一个关键的困难是协方差算子是紧凑的，因此不可逆。在本文中的方法解决了一般问题的协方差建模的多元函数数据，特别是功能高斯图形模型。作为第一步，提出了一个新的概念的多元函数数据的协方差算子的可分性，称为部分可分性，导致一个新的Karhunen-Loève型扩展这样的数据。接下来，部分可分性结构被证明是特别有用的，以提供一个定义良好的功能高斯图形模型，可以确定与一系列的有限维图形模型，每个相同的固定尺寸。这促使一个简单而有效的估计程序，通过联合图形套索的应用。通过模拟和分析运动任务期间的功能性大脑连接来评估图形模型估计方法的经验性能。通过模拟和分析运动任务期间的功能性大脑连接来评估用于图形模型估计的方法的经验性能。
2022-01-04 math.ST stat.ME stat.ML
On the Sample Complexity of Learning Graphical Games
Purdue University（普渡大学）
我们分析了从纯行为数据学习图形游戏的样本复杂性。我们假设我们只能观察参与人的联合行动，而不能观察他们的收益。我们分析了正确恢复的纯策略纳什均衡（PSNE）的真实游戏集的样本的充分和必要的数量。我们的分析集中在有向图与$n$节点和最多$k$父母每个节点。稀疏图对应于关于$n$的${k \in O(1)}$，而密集图对应于${k \in O(n)}$。通过使用VC维参数，我们表明，如果样本数大于${O(k n \log^2{n})}$的稀疏图或${O(n^2 \log{n})}$的密集图，那么最大似然估计正确恢复PSNE的概率很高。通过使用信息理论的参数，我们表明，如果样本的数量小于${Ω(k n \log^2{n})}$稀疏图或${Ω(n^2 \log{n})}$密集图，那么任何可能的方法都无法恢复PSNE任意概率。
2017-02-20 cs.GT cs.LG stat.ML
Scalable Inference of Sparsely-changing Markov Random Fields with Strong Statistical Guarantees
University of Michigan（密歇根大学）；University of Southern California（南加州大学）
在本文中，我们研究的问题，推断时变马尔可夫随机场（MRF），其中底层的图形模型是稀疏的，随着时间的推移变化稀疏。大多数用于推断时变MRF的现有方法依赖于正则化最大似然估计（MLE），其通常遭受弱统计保证和高计算时间。相反，我们引入了一类新的约束优化问题的推理稀疏变化的MRF。提出的优化问题是制定基于精确的$\ell_0$正则化，并可以解决在近线性的时间和内存。此外，我们表明，该估计享有可证明的小估计误差。作为一个特殊的情况下，我们推导出尖锐的统计保证稀疏变化的高斯MRF（GMRF）在高维制度的推断，表明这样的问题可以学习少到一个样本每一次。我们提出的方法在实践中非常有效：它可以在不到一个小时的时间内准确地估计具有超过5亿个变量的稀疏变化的图形模型。
2021-02-06 cs.LG stat.CO stat.ML
Learning to Discover Sparse Graphical Models
我们考虑从观测数据中发现无向图模型的结构。从少数例子中推断可能的结构是一项复杂的任务，通常需要制定先验知识和复杂的推理程序。流行的方法依赖于估计精度矩阵的惩罚极大似然。然而，在这些方法中，结构恢复是数据拟合项的间接结果，惩罚可能难以适应特定领域的知识，并且推理在计算上要求很高。相比之下，生成从具有期望结构属性的图产生的数据的训练样本可能更容易。我们在这里建议利用后一种信息源作为训练数据来学习一个函数，该函数由神经网络参数化，该神经网络将经验协方差阵映射到估计的图结构。学习这个函数有两个好处：它隐式地对所需的结构或稀疏性属性进行建模，以形成合适的先验，并且它可以针对边缘结构发现的特定问题进行定制，而不是最大化数据可能性。应用这个框架，我们发现我们在合成数据上训练的可学习的图发现方法推广得很好：识别合成数据和真实数据中的相关边缘，在训练时完全未知。我们发现，在遗传学，脑成像和模拟数据，我们获得的性能一般优于分析方法。
2017-08-03 stat.ML
Testing for Differences in Gaussian Graphical Models: Applications to Brain Connectivity
功能性大脑网络是很好地描述和估计的数据与高斯图形模型（GGM），例如使用稀疏逆协方差估计。比较两个人群中受试者的功能连接需要比较这些估计的GGM。我们的目标是确定已知具有相似结构的GGM的差异。我们用稀疏估计参数的参数分布得到的置信区间来表征差异的不确定性。稀疏罚分使得即使在高维和低样本设置中也能够实现统计保证和可解释的模型。描述稀疏模型的分布本质上是具有挑战性的，因为惩罚会产生有偏估计。最近的工作调用稀疏性假设，有效地消除了稀疏估计，如套索的偏见。这些分布可用于给出GGM中边缘的置信区间，并通过扩展给出它们的差异。然而，在比较GGM的情况下，这些估计器不使用GGM之间的任何假定的联合结构。从大脑功能连接的先验知识的启发，我们得出的联合惩罚下的参数差异的分布时，已知是稀疏的差异。这导致我们引入去偏置多任务融合套索，其分布可以以有效的方式表征。然后，我们展示了如何去偏套索和多任务融合套索可以用来获得GGM的边缘差异的置信区间。我们验证了一组合成的例子，以及为自闭症的研究创建的神经成像数据集提出的技术。
2016-11-18 stat.ML
Two New Algorithms for Solving Covariance Graphical Lasso Based on Coordinate Descent and ECM
协方差图形套索对协方差阵的元素应用套索惩罚。该方法不仅能产生协方差阵的稀疏估计，而且能通过在协方差阵中生成零点来发现边缘独立结构。我们提出并探索两个新的算法解决协方差图形套索问题。我们的新算法是基于坐标下降和ECM。我们表明，这两个算法比Bien和Tibshirani（2011）的唯一现有的竞争算法在简单性，速度和稳定性方面更有吸引力。我们还讨论了算法的收敛性。
2012-05-18 stat.CO stat.ML
Large-Scale Sparse Inverse Covariance Estimation via Thresholding and Max-Det Matrix Completion
University of California, Berkeley（加利福尼亚大学伯克利分校）
稀疏逆协方差估计问题通常使用被称为“图形套索”的$\ell_{1}$正则化高斯极大似然估计器来解决，但其计算成本对于大数据集变得过高。最近的一系列结果表明-在温和的假设下-图形套索估计可以通过软阈值的样本协方差阵和解决最大行列式矩阵完成（MDMC）问题。本文证明了这一结果的推广，并描述了一个牛顿CG算法，有效地解决MDMC问题。假设阈值化样本协方差阵是稀疏的，并具有稀疏的Cholesky分解，我们证明了该算法在$O(n\log(1/ε))$时间和$O(n)$内存下收敛到$ε$ -精确解.该算法在实践中是非常有效的：我们解决了相关的MDMC问题，多达200，000个变量，7-9位数的精度在不到一个小时的标准笔记本电脑上运行MATLAB。
2018-06-07 cs.LG math.OC stat.CO
Split Bregman Method for Sparse Inverse Covariance Estimation with Matrix Iteration Acceleration
University of California, Irvine（加利福尼亚大学欧文分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们考虑通过最大化似然函数来估计逆协方差矩阵的问题，并增加惩罚以鼓励所得矩阵的稀疏性。提出了一种基于分裂Bregman方法的正则化极大似然估计问题的新方法。我们表明，我们的方法是显着快于广泛使用的图形套索方法，这是基于块坐标下降，人工和真实世界的数据。更重要的是，与图套索不同，基于分裂Bregman的方法更一般，并且可以应用于除了$\ell_1$范数之外的一类正则化项
2010-12-23 cs.LG stat.ML
Exact covariance thresholding into connected components for large-scale Graphical Lasso
我们考虑稀疏逆协方差正则化问题或具有正则化参数$ρ$的图形套索。假设通过在$ρ$处对样本协方差阵的条目进行阈值化而形成的协方差图被分解成连通分量。我们表明，阈值协方差图诱导的顶点划分是完全相等的估计浓度图诱导。这个简单的规则，当被用作现有算法的包装时，会带来巨大的性能提升。对于大值的$ρ$，我们的建议分裂成较小的易处理的问题，一个大的图形套索问题，使之有可能解决，否则不可行的大规模图形套索问题。
2011-09-15 stat.CO stat.ML
Learning High-Dimensional Mixtures of Graphical Models
UC Irvine（加州大学欧文分校）；Microsoft Research New England（微软新英格兰研究院）
我们考虑离散图形模型的混合物的无监督估计，其中对应于混合物成分的类变量是隐藏的，并且观察到的变量上的每个混合物成分可以具有潜在的不同的马尔可夫图结构和参数。我们提出了一种新的方法来估计的混合物成分，我们的输出是一个树混合模型，作为一个很好的近似底层图形模型的混合物。我们的方法是有效的，当联合图，这是混合成分的马尔可夫图的联合，有稀疏的顶点之间的任何一对观察变量的分离器。这包括树混合和有界度图的混合。对于这样的模型，我们证明了我们的方法正确地恢复联盟图结构和树结构对应的混合成分的最大似然树近似。对于$p$ -变量图形模型的$r$ -组分混合物，我们的方法的样本和计算复杂度为$\poly(p, r)$。我们进一步扩展我们的结果的情况下，工会图有稀疏的本地分离器之间的任何一对观察到的变量，如混合物的局部树状图，和混合物成分的相关性衰减的制度。
2012-06-30 cs.AI cs.LG stat.ML
Graphical model for factorization and completion of relatively high rank tensors by sparse sampling
D3 Center, Osaka University（大阪大学D3中心）；Department of Physics, Graduate School of Science, Osaka University（大阪大学理学研究生院物理学科）；Department of Systems Science, Graduate School of Informatics, Kyoto University（京都大学信息学研究生院系统科学学科）；RIKEN center for AIP（RIKEN AIP研究中心）
本文提出基于稀疏测量的张量分解方法，利用随机图结构进行信息交互，在高维极限下构建信息传递算法并发展复制理论以评估统计推断性能。
2026-02-18 cond-mat.dis-nn cond-mat.stat-mech cs.IT
Inference for Individual Mediation Effects and Interventional Effects in Sparse High-Dimensional Causal Graphical Models
我们考虑的问题，确定中间变量（或介质），调节治疗的效果对反应变量。虽然已经有了显着的研究，这个经典的话题，很少的工作已经做了一套潜在的调解人是高维（HD）。当这些介质相互关联（具有未知的依赖性）时，会出现进一步的复杂性。特别是，我们假设治疗的因果结构，混杂因素，潜在的介质和反应是一个（可能是未知的）有向无环图（DAG）。HD DAG模型以前曾用于估计观测数据的因果效应。特别是，称为IDA和联合IDA的方法已经分别开发用于估计单一和多个同时干预的效果。在本文中，我们提出了一个IDA型的方法，称为MIDA的估计所谓的个人中介作用，从HD观测数据。虽然IDA和联合IDA估计已被证明是一致的，在某些稀疏HD设置，其渐近性质，如依分布收敛和推理工具，在这样的设置仍然未知。本文证明了具有亚高斯误差的线性结构方程模型的MIDA的HD相合性。更重要的是，我们得出分布收敛结果MIDA在类似的HD设置，这是适用于IDA和联合IDA估计以及。据我们所知，这是第一个这样的分布收敛的结果，便于推断IDA型估计。这些都是建立在我们的新的理论结果，关于统一的界限线性回归估计在不同的子集HD协变量，这可能是独立的利益。最后，我们经验验证我们的渐近理论MIDA，并通过模拟和实际数据的应用证明其实用性。
2021-07-28 math.ST stat.ME stat.ML
Anomaly Detection via Graphical Lasso
Worcester Polytechnic Institute（伍斯特理工学院）
异常和离群值在真实世界的数据中很常见，它们可能来自许多来源，例如传感器故障。因此，异常检测对于分析异常本身和清理数据以进一步分析其周围结构都是重要的。尽管如此，异常的精确定义是重要的自动检测，在这里，我们从检测稀疏的潜在影响嵌入在大量的噪声数据的角度来处理这些问题。基于标准图形拉索的技术可以基于随机变量的样本协方差阵来识别随机变量集合的条件依赖结构。但是，经典图形Lasso对样本协方差阵中的离群值敏感。特别地，样本协方差阵中的几个离群值可以破坏其逆矩阵的稀疏性。因此，我们提出了一种新的优化问题，在精神上类似于鲁棒主成分分析（RPCA）和分裂的样本协方差阵$M$分为两个部分，$M=F+S$，其中$F$是清洁的样本协方差，其逆是稀疏的，可计算的图形套索，和$S$包含离群值在$M$。我们通过在经典的图形套索中添加额外的$ \ell_1$惩罚来完成这种分解，并将其命名为“鲁棒图形套索（Rglasso）"。此外，我们提出了一个交替方向乘法（ADMM）的解决方案的优化问题，规模大的未知数。我们在真实和合成数据集上评估我们的算法，获得可解释的结果，并在准确性和速度方面优于标准的鲁棒最小协方差行列式（MCD）方法和鲁棒主成分分析（RPCA）。
2018-11-10 cs.LG stat.ML
High-dimensional covariance estimation based on Gaussian graphical models
无向图通常用于描述高维分布。在稀疏性条件下，可以使用$\ell_1$ -惩罚方法来估计图。我们提出并研究了以下方法。我们结合了多元回归方法的阈值和改装的想法：首先，我们推断一个稀疏的无向图形模型结构，通过阈值之间的许多$\ell_1$ -范数惩罚回归函数，然后我们估计协方差阵和它的逆使用极大似然估计。我们证明了在适当的条件下，这种方法产生一致的估计的图形结构和快速收敛速度的操作和Frobenius范数的协方差阵及其逆。我们还得到了一个明确的界的库尔贝克-莱布勒散度。
2011-06-22 math.ST stat.ML stat.TH
