A constrained L1 minimization approach for estimating multiple Sparse Gaussian or Nonparanormal Graphical Models
University of Virginia（弗吉尼亚大学）
从聚合数据中识别特定于上下文的实体网络是一项重要的任务，经常出现在生物信息学和神经成像中。在计算上，这个任务可以被公式化为联合估计多个不同的，但相关的，稀疏的无向图形模型（UGM）从聚合样本在几个上下文中。之前的联合UGM研究主要集中在稀疏高斯图形模型（sGGM）上，并且无法直接识别特定于上下文的边缘模式。因此，我们提出了一种新的方法，SIMULE（检测共享和单个部分的MULtiple图解释）通过约束L1最小化学习多UGM。SIMULE自动推断每个上下文唯一的特定边缘模式和所有上下文之间保留的共享交互。通过L1约束公式，该问题被转换为多个独立的子任务的线性规划，可以有效地并行求解。除了高斯数据之外，SIMULE还可以处理多元非超常数据，这些数据极大地放松了许多现实世界应用程序不遵循的正态性假设。我们提供了一个新的理论证明，SIMULE实现了一致的结果，在速率O（log（Kp）/ n_{tot}）。在多个合成数据集和两个生物医学数据集上，SIMULE显示出比最先进的多sGGM和单UGM基线有显着改善。
2017-09-18 cs.AI cs.LG stat.ML
High dimensional Sparse Gaussian Graphical Mixture Model
University of Groningen（格罗宁根大学）
本文研究了基于高斯混合图模型（GGMM）的异构数据网络重构问题。众所周知，由于大量的变量与可能性的简并性，在这种情况下的参数估计是具有挑战性的。作为一种解决方案，我们提出了一个惩罚的极大似然技术施加$l_{1}$罚款的精度矩阵。我们的方法缩小了参数，从而导致更好的可识别性和变量选择。我们使用的期望最大化（EM）算法，其中包括图形LASSO估计的混合系数和精度矩阵。证明了在一定的正则条件下，惩罚极大似然（PML）估计是相容的.我们通过模拟展示了PML估计的性能，并展示了我们的方法在基因组应用中用于高维数据分析的实用性。
2013-10-05 cs.LG stat.ML
From Behavior to Sparse Graphical Games: Efficient Recovery of Equilibria
Purdue University（普渡大学）
在本文中，我们研究的纯策略纳什均衡（PSNE）集的图形游戏从嘈杂的观察单独的球员的联合行动的精确恢复的问题。我们考虑稀疏线性影响博弈-一类具有线性收益的图形博弈，用n个节点（参与者）的有向图表示，且入度至多为k。我们提出了一个基于$\ell_1$正则化逻辑回归的算法，用于精确地恢复PSNE集，该算法在计算上是高效的-即在多项式时间内运行-并且在统计上是高效的-即具有对数样本复杂度。具体而言，我们表明，足够数量的样本所需的确切PSNE恢复规模为$\mathcal{O}(\mathrm{poly}(k) \log n)$。我们还验证了我们的理论结果，使用合成实验。
2016-10-19 cs.GT cs.LG stat.ML
Sparse Nonparametric Graphical Models
University of Chicago（芝加哥大学）；Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一些非参数的方法，图形建模。在离散情况下，数据是二进制的或从有限字母表中提取的，马尔可夫随机场已经基本上是非参数的，因为集团只能取有限数量的值。连续数据是不同的。高斯图模型是连续数据的标准参数模型，但它的分布假设往往是不切实际的。我们讨论了两种构建更灵活的图形模型的方法。一个允许任意图形和高斯的非参数扩展;另一个使用核密度估计并将图形限制为树和森林。这两种方法的例子。我们还讨论了非参数图形建模未来可能的研究方向。
2013-01-07 cs.LG stat.ME stat.ML
Joint estimation of sparse multivariate regression and conditional graphical models
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
多元回归模型是对经典的一元回归模型的自然推广，用于拟合多个响应.在本文中，我们提出了一个高维多元条件回归模型，用于构造多元回归系数矩阵的稀疏估计，该矩阵考虑了多个响应之间的依赖结构。所提出的方法分解成一系列的惩罚条件对数似然的协变量和其他响应的条件下的每个响应的多元回归问题。它允许同时估计稀疏回归系数矩阵和稀疏逆协方差阵。针对协变量的发散维度和响应数量建立了渐进选择一致性和正态性。所提出的方法的有效性也证明了在各种模拟的例子，以及应用程序的多形性胶质母细胞瘤癌症数据。
2013-06-19 cs.LG stat.ML
Beyond normality: Learning sparse probabilistic graphical models in the non-Gaussian setting
MIT（麻省理工学院）
我们提出了一个算法来识别稀疏依赖结构在连续和非高斯概率分布，给定相应的数据集。任意分布的条件独立结构可以表示为无向图（或马尔可夫随机场），但大多数学习这种结构的算法仅限于离散或高斯情况。我们的新方法可以更真实和准确地描述所讨论的分布，从而更好地估计其稀疏马尔可夫结构。图中的稀疏性是有趣的，因为它可以加速推理，改进采样方法，并揭示变量之间的重要依赖关系。该算法依赖于利用图的稀疏性和运输地图的稀疏性之间的连接，确定性地将一个概率度量耦合到另一个概率度量。
2017-11-06 cs.LG stat.ML
Learning Latent Variable Gaussian Graphical Models
University of Michigan（密歇根大学）；Technicolor Research Center（特艺集团研究中心）
高斯图模型（GGM）已经广泛应用于从生物和金融数据到推荐系统的许多高维应用中。GGM中的稀疏性在统计和计算上都起着核心作用。不幸的是，真实世界的数据往往不适合稀疏的图形模型。在本文中，我们专注于一个家庭的潜变量高斯图形模型（LVGGM），该模型是有条件的稀疏给定的潜变量，但在一定程度上非稀疏。在LVGGM中，逆协方差矩阵具有低秩加稀疏结构，并且可以在正则化的极大似然框架中学习。在高维环境下，我们在温和的条件下得到了新的LVGGM的参数估计误差界。这些结果补充了现有的结构学习理论，并开辟了新的可能性，使用LVGGM的统计推断。
2014-06-10 cs.LG math.ST stat.ML
TextLap: Customizing Language Models for Text-to-Layout Planning
University at Buffalo（布法罗大学）；Adobe Research（奥多比研究院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文提出 TextLap 方法，利用基于指令的布局规划数据集 InsLap 定制大型语言模型，使其能根据文本指令自动生成图形布局，并在图像生成与图形设计基准上优于包括 GPT-4 在内的基线方法。
2024-10-09 cs.CL cs.LG
Learning Sparse High-Dimensional Matrix-Valued Graphical Models From Dependent Data
Auburn University（奥本大学）
本文针对相依观测下的稀疏高维矩阵值高斯时间序列，提出基于稀疏组套索和ADMM的频域方法估计条件独立图，并给出局部收敛条件与收敛速率。
2024-04-29 cs.LG eess.SP stat.ML
Simultaneous Identification of Sparse Structures and Communities in Heterogeneous Graphical Models
Shanghai Center for Mathematical Sciences, Fudan University（复旦大学上海数学中心）；Columbia University（哥伦比亚大学）
该研究在高斯图模型框架下提出将图结构分解为稀疏部分与低秩非重叠社区的新方法，构建三阶段估计算法，给出理论保障，实验及股票数据应用验证了其在图结构估计与社区识别上的优越性。
2024-05-16 cs.LG stat.ML
Informative Planning and Online Learning with Sparse Gaussian Processes
University of Southern California（南加州大学）
环境监测的一大挑战是要观察的现象的时空变化。为了在这样的设置中实现持续感测和估计，具有时变的底层环境模型是有益的。在这里，我们提出了一种规划和学习方法，使自主海洋车辆执行持久的海洋监测任务，通过学习和完善的环境模型。为了缓解大规模数据积累所造成的计算瓶颈，我们提出了一个框架，该框架在旨在收集信息最丰富的数据的规划组件和稀疏高斯过程学习组件之间进行迭代，其中环境模型和超参数通过利用仅提供最大贡献的数据子集在线学习。我们的模拟与地面实况海洋数据表明，该方法是准确和有效的。
2016-09-24 cs.AI cs.LG cs.RO
Speeding Up Latent Variable Gaussian Graphical Model Estimation via Nonconvex Optimizations
University of Virginia（弗吉尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
研究了隐变量高斯图模型（LVGGM）的估计问题，其中精度矩阵是稀疏矩阵和低秩矩阵的叠加。为了提高稀疏和低秩分量的估计速度，提出了一种基于矩阵分解的稀疏约束极大似然估计方法和一种有效的硬阈值交替梯度下降算法，该算法比基于凸松弛的LVGGM估计方法快几个数量级.此外，我们证明了我们的算法是保证线性收敛到未知的稀疏和低秩组件的最佳统计精度。在合成数据和基因组数据上的实验证明了该算法的优越性，并证实了我们的理论。
2017-02-28 cs.LG stat.ML
DC Algorithm for Estimation of Sparse Gaussian Graphical Models
Graduate School of Science and Technology, University of Tsukuba（筑波大学理工学研究科）；Faculty of Engineering, Information and Systems, University of Tsukuba（筑波大学工学部信息系统学科）
本文针对高斯图模型稀疏估计问题，提出用$\ell_0$范数直接作为正则化项，并将其转化为最大$K$范数约束后利用DC算法结合图形lasso高效求解，实验表明该方法在真实边选择上优于现有方法。
2024-08-08 cs.LG
On Sparse High-Dimensional Graphical Model Learning For Dependent Time Series
Auburn University（奥本大学）
本文针对高维平稳高斯时间序列，提出基于频域稀疏组 lasso 和 ADMM 的条件独立图学习方法，并给出联合所有频率的收敛条件与速率。
2024-06-04 cs.LG eess.SP stat.ML
A Fast and Scalable Joint Estimator for Learning Multiple Related Sparse Gaussian Graphical Models
University of Virginia（弗吉尼亚大学）
在高维（大$p$）环境下，针对多个相关任务（大$K$）联合估计多个稀疏高斯图模型（sGGM）是一项重要的任务.大多数以前的研究多个sGGM的联合估计依赖于惩罚对数似然估计，涉及昂贵和困难的非光滑优化。我们提出了一种新的方法，FASJEM为\underline{fa} st和\underline{s}可伸缩的\underline{j}点结构- \underline{e}估计的\underline{m}多sGGM在大规模。作为第一个使用Elementary Estimate框架的联合sGGM研究，我们的工作有三个主要贡献：（1）我们通过可并行的入口方式求解FASJEM。(2)我们选择了一个近似算法来优化FASJEM。这提高了从$O(Kp^3)$到$O(Kp^2)$的计算效率，并减少了从$O(Kp^2)$到$O(K)$的存储器需求。(3)我们从理论上证明了FASJEM实现了一致的估计与$O(\log(Kp)/n_{tot})$的收敛速度。在几个合成数据集和四个真实世界的数据集上，FASJEM在准确性、计算复杂性和内存成本方面比基线有了显着的改进。
2018-03-20 cs.LG cs.PF stat.ML
Sparse Gaussian Graphical Models with Discrete Optimization: Computational and Statistical Perspectives
Operations Research Center, Massachusetts Institute of Technology（麻省理工学院运筹学研究中心）；Sloan School of Management, Massachusetts Institute of Technology（麻省理工学院斯隆管理学院）
本文提出基于ℓ0惩罚伪似然函数的GraphL0BnB估计器，通过混合整数规划解决稀疏高斯图模型学习问题，提供新的统计保证并优于现有方法。
2026-04-04 cs.LG stat.ME stat.ML
A Fast and Scalable Joint Estimator for Integrating Additional Knowledge in Learning Multiple Related Sparse Gaussian Graphical Models
University of Virginia（弗吉尼亚大学）
我们考虑的问题，包括额外的知识估计稀疏高斯图形模型（sGGM）从聚集的样本，经常出现在生物信息学和神经成像应用。先前的联合sGGM估计器或者不能使用现有的知识，或者不能在高维（大$p$）情况下扩展到许多任务（大$K$）。在本文中，我们提出了一种新的\underline{J}点\underline{E}基本\underline{E} stiffening结合额外的\underline{K} noprony（JEEK）推断多个相关的稀疏高斯图模型从大规模异构数据。使用领域知识作为权重，我们设计了一种新的混合范数作为最小化目标，以执行两个加权稀疏约束的叠加，一个是共享的相互作用，另一个是特定于任务的结构模式。这使得JEEK能够根据手头的领域优雅地考虑各种形式的现有知识，并避免设计特定于知识的优化。JEEK是通过一个快速和条目式并行解决方案，大大提高了最先进的$O(p^5K^4)$到$O(p^2K^4)$的计算效率。我们进行了严格的统计分析表明，JEEK实现了相同的收敛速度$O(\log(Kp)/n_{tot})$的最先进的估计，更难以计算。从经验上讲，在多个合成数据集和两个真实数据上，JEEK在实现相同水平的预测准确度的同时，显著优于最先进的速度。R http://jointnets.org/
2019-04-16 cs.LG stat.ML
Delta-AI: Local objectives for amortized inference in sparse graphical models
Mila – Québec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
研究人员提出Δ-AI算法，利用PGM稀疏性实现局部信用分配，基于GFlowNets风格损失实现离策略训练且加速，在合成PGM和稀疏因子结构隐变量模型上验证其有效性。
2026-09-01 cs.LG stat.ML
Efficient Statistics for Sparse Graphical Models from Truncated Samples
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文研究截尾样本下的高维估计。我们专注于两个基本和经典的问题：（i）稀疏高斯图形模型的推理和（ii）支持稀疏线性模型的恢复。(i)对于高斯图形模型，假设$d$维样本${\bf x}$是从高斯$N(μ,Σ)$生成的，并且仅当它们属于子集$S \subseteq \mathbb{R}^d$时才被观察到。我们发现，$μ$和$Σ$可以估计错误$ε$在Frobenius范数，使用$\tilde{O}\left(\frac{\textrm{nz}(Σ^{-1})}{ε^2}\right)$样本从截断$\mathcal{N}(μ,Σ)$和访问$S$的成员预言。集合$S$被假定为在未知分布下具有非平凡测度，但在其他方面是任意的。(ii)对于稀疏线性回归，假设生成样本$({\bf x},y)$，其中仅当$y$属于截断集$S \subseteq \mathbb{R}$时才看到$y = {\bf x}^\top{Ω^*} + \mathcal{N}(0,1)$和$({\bf x}, y)$。我们考虑$Ω^*$是稀疏的情况下，支持集的大小$k$。我们的主要结果是建立精确的条件上的问题尺寸$d$，支持大小$k$，观测$n$的数量，和属性的样本和截断，足以恢复$Ω^*$的支持。具体而言，我们表明，在一些温和的假设下，只有$O(k^2 \log d)$样本需要估计$Ω^*$在$\ell_\infty$ -范数有…
2020-06-17 cs.DS cs.LG math.ST
The Exact Determinant of a Specific Class of Sparse Positive Definite Matrices
Universitat Pompeu Fabra（庞培法布拉大学）
针对一类稀疏高斯图模型，通过傅里叶变换和矩阵行列式引理，推导出协方差矩阵行列式的闭式解，并定义了图模型间的等价性。
2023-11-11 cs.LG cs.NA math.NA
Sparse Graphical Linear Dynamical Systems
Inria, University Paris Saclay（法国国立计算机与自动化研究院，巴黎萨克雷大学）；University of Edinburgh（爱丁堡大学）
针对线性高斯SSM缺乏静态与动态图联合建模的问题，提出融合graphical Lasso与因果图的框架及DGLASSO推断算法，并验证其收敛性和有效性。
2024-06-14 cs.LG math.OC stat.CO
Sparse Logistic Regression Learns All Discrete Pairwise Graphical Models
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们描述了一个经典的算法的有效性恢复马尔可夫图的一般离散成对图形模型从独立同分布。样品该算法是（适当正则化的）最大条件对数似然，它涉及到为每个节点求解凸规划;对于伊辛模型，这是$\ell_1$约束逻辑回归，而对于更一般的字母表，需要使用$\ell_{2,1}$组范数约束。我们表明，该算法可以恢复任何任意离散的成对图形模型，也表征其样本的复杂性作为一个函数的模型宽度，字母表大小，边缘参数的准确性，和变量的数量。我们表明，沿着这些轴的每一个，它匹配或改进所有现有的结果和算法，这个问题。当权重向量具有$\ell_1$约束（或$\ell_{2,1}$约束）并且样本向量具有$\ell_{\infty}$约束（或$\ell_{2, \infty}$约束）时，我们的分析对逻辑回归应用了尖锐的泛化误差界。我们还表明，所提出的凸规划可以有效地解决在$\tilde{O}(n^2)$运行时间（其中$n$是变量的数量）在相同的统计保证。我们提供实验结果来支持我们的分析。
2019-06-18 cs.DS cs.LG math.ST
Does the $\ell_1$-norm Learn a Sparse Graph under Laplacian Constrained Graphical Models?
The Hong Kong University of Science and Technology（香港科技大学）
针对拉普拉斯约束高斯图模型，发现$\ell_1$范数正则化无法促进稀疏性，反而导致完全图；提出基于非凸惩罚和加权$\ell_1$子问题的估计器，并开发线性收敛的投影梯度算法及秩约束扩展，实验验证有效。
2023-09-05 cs.LG stat.ML
Informative Planning for Worst-Case Error Minimisation in Sparse Gaussian Process Regression
University of Technology Sydney（悉尼科技大学）
我们提出了一个规划框架，最大限度地减少稀疏高斯过程（GP）回归的确定性最坏情况下的错误。首先，我们推导出一个普遍的最坏情况下的误差界稀疏GP回归有界噪声再生核希尔伯特空间（RKHS）的插值理论。通过利用条件独立（CI）假设中央稀疏GP回归，我们表明，最坏情况下的误差最小化可以通过解决后验熵最小化问题。反过来，使用高斯置信空间规划算法解决后验熵最小化问题。我们证实了建议的最坏情况下的误差范围在一个简单的一维例子，并测试规划框架在模拟中的二维车辆在一个复杂的流场。我们的研究结果表明，所提出的后验熵最小化方法是有效的确定性误差最小化，并优于传统的测量熵最大化制定时，诱导点是固定的。
2022-03-08 cs.LG cs.RO
On the Sample Complexity of Learning Graphical Games
Purdue University（普渡大学）
我们分析了从纯行为数据学习图形游戏的样本复杂性。我们假设我们只能观察参与人的联合行动，而不能观察他们的收益。我们分析了正确恢复的纯策略纳什均衡（PSNE）的真实游戏集的样本的充分和必要的数量。我们的分析集中在有向图与$n$节点和最多$k$父母每个节点。稀疏图对应于关于$n$的${k \in O(1)}$，而密集图对应于${k \in O(n)}$。通过使用VC维参数，我们表明，如果样本数大于${O(k n \log^2{n})}$的稀疏图或${O(n^2 \log{n})}$的密集图，那么最大似然估计正确恢复PSNE的概率很高。通过使用信息理论的参数，我们表明，如果样本的数量小于${Ω(k n \log^2{n})}$稀疏图或${Ω(n^2 \log{n})}$密集图，那么任何可能的方法都无法恢复PSNE任意概率。
2017-02-20 cs.GT cs.LG stat.ML
Optimization Methods for Sparse Pseudo-Likelihood Graphical Model Selection
Lawrence Berkeley National Lab（劳伦斯伯克利国家实验室）；Stanford University（斯坦福大学）；University of Florida（佛罗里达大学）
稀疏高维图模型选择是当代机器学习的一个热门课题。为此，已经提出了各种有用的方法的上下文中的$\ell_1$惩罚估计的高斯框架。虽然这些逆协方差估计方法中的许多是可扩展的，并且利用了凸优化的最新进展，但它们仍然依赖于高斯函数形式。为了解决这一问题，最近提出了一种基于凸伪似然的部分相关图估计方法（CONCORD）。该方法使用基于伪似然的回归的坐标最小化，并且与高斯方法相比已被证明具有鲁棒的模型选择特性。然而，与高斯设置中的并行工作形成直接对比的是，这种新的凸伪似然框架没有利用机器学习文献中提出的用于凸优化的广泛的方法阵列。在本文中，我们提出了两个最接近的梯度方法（CONCORD-ISTA和CONCORD-FISTA）执行$\ell_1$正则化逆协方差阵估计的伪似然框架，以解决这个关键的差距。我们提出的时间比较与坐标明智的最小化，并证明我们的方法产生巨大的回报$\ell_1$惩罚部分相关图估计高斯设置之外，从而产生最快，最具可扩展性的方法，这样的问题。我们对我们的方法进行理论分析，并严格证明收敛性，并得出其速度。
2014-09-12 cs.LG stat.CO stat.ML
Bayesian Sparse Covariance Structure Analysis for Correlated Count Data
The University of Electro-Communications（电气通信大学）；National Police Agency Info-Communications Bureau（警察厅信息通信局）
在本文中，我们提出了一个贝叶斯图LASSO相关的可数数据，并将其应用于空间犯罪数据。在所提出的模型中，我们假设一个高斯图形模型的潜变量，占主导地位的潜在犯罪风险。为了评估所提出的模型，我们确定了更好地代表样本的最佳超参数。我们应用所提出的模型估计的稀疏逆协方差的潜在变量和评估的部分相关系数。最后，我们说明了犯罪现场数据的结果，并考虑估计的潜在变量和部分相关系数的稀疏逆协方差。
2020-06-05 cs.LG stat.ME
Split Bregman Method for Sparse Inverse Covariance Estimation with Matrix Iteration Acceleration
University of California, Irvine（加利福尼亚大学欧文分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们考虑通过最大化似然函数来估计逆协方差矩阵的问题，并增加惩罚以鼓励所得矩阵的稀疏性。提出了一种基于分裂Bregman方法的正则化极大似然估计问题的新方法。我们表明，我们的方法是显着快于广泛使用的图形套索方法，这是基于块坐标下降，人工和真实世界的数据。更重要的是，与图套索不同，基于分裂Bregman的方法更一般，并且可以应用于除了$\ell_1$范数之外的一类正则化项
2010-12-23 cs.LG stat.ML
Bayesian Joint Spike-and-Slab Graphical Lasso
Yale School of Public Health（耶鲁大学公共卫生学院）；University of Washington（华盛顿大学）；Ohio State University（俄亥俄州立大学）
在这篇文章中，我们提出了一个新的类的先验贝叶斯推断与多高斯图形模型。我们完全引入贝叶斯处理两个流行的程序，组图形套索和融合图形套索，并将其扩展到一个连续的钉和板的框架，允许自适应收缩和模型选择同时进行。我们开发了一个期望最大化算法，执行快速和动态的探索后验模式。我们的方法有效地选择稀疏模型，其偏差比其他正则化程序所引起的偏差小得多。所提出的方法的性能通过仿真和两个实际数据的例子证明。
2019-05-09 cs.LG stat.ML
Bayesian Regularization for Graphical Models with Unequal Shrinkage
Department of Statistics, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校统计学系）
我们考虑一个贝叶斯框架估计高维稀疏精度矩阵，其中自适应收缩和稀疏性诱导的拉普拉斯先验的混合物。除了讨论我们的配方从贝叶斯的角度来看，我们调查的MAP（最大后验概率）估计从惩罚的可能性的角度来看，产生了一个新的非凸罚款近似的$\ell_0$罚款。最佳的误差率估计一致性的各种矩阵范数以及稀疏结构恢复的选择一致性的唯一MAP估计在温和的条件下。为了快速有效地计算，提出了一种期望最大化算法来计算精度矩阵的MAP估计和底层稀疏结构边缘上的（近似）后验概率。通过广泛的模拟研究和实际应用的呼叫中心数据，我们已经证明了我们的方法与现有的替代品相比，优良的性能。
2018-05-20 cs.LG math.ST stat.CO
Sequential change-point detection in high-dimensional Gaussian graphical models
Institute for Mathematics and its Applications, University of Minnesota（明尼苏达大学数学及其应用研究所）；University of Florida（佛罗里达大学）；University of Michigan（密歇根大学）
高维分段平稳图模型代表了一个通用的类建模时变网络出现在不同的应用领域，包括生物学，经济学和社会科学。最近的工作是离线检测和估计稀疏图形模型的拓扑结构中的状态变化。然而，在线设置仍然在很大程度上未被开发，尽管其高度相关的传感器网络和其他工程监控系统，以及金融市场的应用。为此，这项工作介绍了一种新的可扩展的在线算法检测未知数量的突变的逆协方差阵的稀疏高斯图形模型的小延迟。该算法是基于监测网络中的所有节点的条件对数似然，并可以扩展到一个大类的连续和离散的图形模型。我们还研究了我们的程序在一定的温和的正则条件下的图的大小，稀疏水平，样本数，和前和后的网络拓扑结构的变化的渐近性质。合成和真实数据的数值工作说明了所提出的方法在众多实验设置的计算和统计效率方面的良好性能。
2018-06-20 cs.LG math.ST stat.ML
Anomaly Detection via Graphical Lasso
Worcester Polytechnic Institute（伍斯特理工学院）
异常和离群值在真实世界的数据中很常见，它们可能来自许多来源，例如传感器故障。因此，异常检测对于分析异常本身和清理数据以进一步分析其周围结构都是重要的。尽管如此，异常的精确定义是重要的自动检测，在这里，我们从检测稀疏的潜在影响嵌入在大量的噪声数据的角度来处理这些问题。基于标准图形拉索的技术可以基于随机变量的样本协方差阵来识别随机变量集合的条件依赖结构。但是，经典图形Lasso对样本协方差阵中的离群值敏感。特别地，样本协方差阵中的几个离群值可以破坏其逆矩阵的稀疏性。因此，我们提出了一种新的优化问题，在精神上类似于鲁棒主成分分析（RPCA）和分裂的样本协方差阵$M$分为两个部分，$M=F+S$，其中$F$是清洁的样本协方差，其逆是稀疏的，可计算的图形套索，和$S$包含离群值在$M$。我们通过在经典的图形套索中添加额外的$ \ell_1$惩罚来完成这种分解，并将其命名为“鲁棒图形套索（Rglasso）"。此外，我们提出了一个交替方向乘法（ADMM）的解决方案的优化问题，规模大的未知数。我们在真实和合成数据集上评估我们的算法，获得可解释的结果，并在准确性和速度方面优于标准的鲁棒最小协方差行列式（MCD）方法和鲁棒主成分分析（RPCA）。
2018-11-10 cs.LG stat.ML
Graphical model for factorization and completion of relatively high rank tensors by sparse sampling
D3 Center, Osaka University（大阪大学D3中心）；Department of Physics, Graduate School of Science, Osaka University（大阪大学理学研究生院物理学科）；Department of Systems Science, Graduate School of Informatics, Kyoto University（京都大学信息学研究生院系统科学学科）；RIKEN center for AIP（RIKEN AIP研究中心）
本文提出基于稀疏测量的张量分解方法，利用随机图结构进行信息交互，在高维极限下构建信息传递算法并发展复制理论以评估统计推断性能。
2026-02-18 cond-mat.dis-nn cond-mat.stat-mech cs.IT
Sparse Nested Markov models with Log-linear Parameters
University of Southampton（南安普顿大学）；Cambridge University（剑桥大学）；University of Washington（华盛顿大学）；Harvard University（哈佛大学）
隐变量在实际数据分析中无处不在，因此对边际密度进行建模并使用所得模型进行推断是统计学、机器学习和因果推断中的重要问题。最近，一种新型的图形模型，称为嵌套马尔可夫模型，它捕获的有向无环图（DAG）模型的边缘发现的等式约束。其中一些约束，如所谓的“Verma约束”，严格地概括了条件独立性。为了使用嵌套马尔可夫模型进行建模和推理，有必要限制模型中参数的数量，同时仍然正确捕获DAG模型边缘的约束。设置这样的限制在精神上类似于无向图模型和回归模型的稀疏方法。在本文中，我们给出了一个对数线性参数化，允许稀疏建模嵌套马尔可夫模型。我们说明了这种参数化的优点与模拟研究。
2013-09-26 cs.AI cs.LG stat.ML
Sparse Planning in Visual World Models via Cost Gradients
University College London（伦敦大学学院）
本文提出COSTGRAD，一种无需训练的令牌选择器，基于规划代价梯度范数筛选关键令牌，在50%稀疏度下实现与全令牌规划相当或更优的性能，并带来2.6倍至5倍的加速，同时揭示了选择器与架构兼容性的重要性。
2026-10-08 cs.LG
Distributed Estimation of Sparse Inverse Covariances
Purdue University（普渡大学）
从时间序列数据中学习各种实体之间的关系在许多应用中是必不可少的。已经研究了高斯图形模型来推断这些关系。然而，现有的算法在一个中心位置批量处理数据，限制了它们在不同代理收集数据的场景中的应用。在本文中，我们提出了一种分布式稀疏逆协方差算法来学习网络结构（即，观察到的实体之间的依赖性）。我们的方法是建立在一个在线的图形交替最小化算法，增加了一个共识项，允许代理合作学习所需的结构。我们允许系统设计人员选择每个数据点的通信轮数和优化步骤。我们描述了我们的算法的收敛速度，并提供模拟合成数据集。
2021-09-30 cs.LG cs.MA cs.SY
Efficient learning of differential network in multi-source non-paranormal graphical models
Sharif University of Technology（谢里夫理工大学）
本文针对多源非超高斯图模型，提出一种基于 lasso 惩罚 D-trace 损失的高效差分网络学习方法，可输出精确解路径，在合成与癌症耐药性数据上均展现出更高的速度、精度和有效性。
2024-10-03 cs.LG
