Joint estimation of sparse multivariate regression and conditional graphical models
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
多元回归模型是对经典的一元回归模型的自然推广,用于拟合多个响应.在本文中,我们提出了一个高维多元条件回归模型,用于构造多元回归系数矩阵的稀疏估计,该矩阵考虑了多个响应之间的依赖结构。所提出的方法分解成一系列的惩罚条件对数似然的协变量和其他响应的条件下的每个响应的多元回归问题。它允许同时估计稀疏回归系数矩阵和稀疏逆协方差阵。针对协变量的发散维度和响应数量建立了渐进选择一致性和正态性。所提出的方法的有效性也证明了在各种模拟的例子,以及应用程序的多形性胶质母细胞瘤癌症数据。
2013-06-19 cs.LG stat.ML
Beyond normality: Learning sparse probabilistic graphical models in the non-Gaussian setting
MIT(麻省理工学院)
我们提出了一个算法来识别稀疏依赖结构在连续和非高斯概率分布,给定相应的数据集。任意分布的条件独立结构可以表示为无向图(或马尔可夫随机场),但大多数学习这种结构的算法仅限于离散或高斯情况。我们的新方法可以更真实和准确地描述所讨论的分布,从而更好地估计其稀疏马尔可夫结构。图中的稀疏性是有趣的,因为它可以加速推理,改进采样方法,并揭示变量之间的重要依赖关系。该算法依赖于利用图的稀疏性和运输地图的稀疏性之间的连接,确定性地将一个概率度量耦合到另一个概率度量。
2017-11-06 cs.LG stat.ML
From Behavior to Sparse Graphical Games: Efficient Recovery of Equilibria
Purdue University(普渡大学)
在本文中,我们研究的纯策略纳什均衡(PSNE)集的图形游戏从嘈杂的观察单独的球员的联合行动的精确恢复的问题。我们考虑稀疏线性影响博弈-一类具有线性收益的图形博弈,用n个节点(参与者)的有向图表示,且入度至多为k。我们提出了一个基于$\ell_1$正则化逻辑回归的算法,用于精确地恢复PSNE集,该算法在计算上是高效的-即在多项式时间内运行-并且在统计上是高效的-即具有对数样本复杂度。具体而言,我们表明,足够数量的样本所需的确切PSNE恢复规模为$\mathcal{O}(\mathrm{poly}(k) \log n)$。我们还验证了我们的理论结果,使用合成实验。
2016-10-19 cs.GT cs.LG stat.ML
Sparse Nonparametric Graphical Models
University of Chicago(芝加哥大学);Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一些非参数的方法,图形建模。在离散情况下,数据是二进制的或从有限字母表中提取的,马尔可夫随机场已经基本上是非参数的,因为集团只能取有限数量的值。连续数据是不同的。高斯图模型是连续数据的标准参数模型,但它的分布假设往往是不切实际的。我们讨论了两种构建更灵活的图形模型的方法。一个允许任意图形和高斯的非参数扩展;另一个使用核密度估计并将图形限制为树和森林。这两种方法的例子。我们还讨论了非参数图形建模未来可能的研究方向。
2013-01-07 cs.LG stat.ME stat.ML
Sparse-Group Log-Sum Penalized Graphical Model Learning For Time Series
研究了高维平稳多元高斯时间序列的条件独立图的推断问题。在文献中已经考虑了基于稀疏群套索的频域公式的问题,其目标是估计数据的稀疏逆功率谱密度(PSD)。然后从估计的逆PSD推断CIG。在本文中,我们研究使用稀疏群对数和惩罚(LSP),而不是稀疏群套索惩罚。提出了一种求解非凸问题迭代优化的交替方向乘子法。我们提供了充分条件的Frobenius范数的逆PSD估计的真值的局部收敛。这个结果也产生了收敛速度。我们说明了我们的方法,利用合成和真实数据的数值例子。
2022-04-29 eess.SP stat.ML
Simultaneous Identification of Sparse Structures and Communities in Heterogeneous Graphical Models
Shanghai Center for Mathematical Sciences, Fudan University(复旦大学上海数学中心);Columbia University(哥伦比亚大学)
该研究在高斯图模型框架下提出将图结构分解为稀疏部分与低秩非重叠社区的新方法,构建三阶段估计算法,给出理论保障,实验及股票数据应用验证了其在图结构估计与社区识别上的优越性。
2024-05-16 cs.LG stat.ML
Fast and Scalable Learning of Sparse Changes in High-Dimensional Gaussian Graphical Model Structure
University of Virginia(弗吉尼亚大学)
我们专注于两个$p$维高斯图模型(GGM)的依赖结构的变化估计的问题。以前的研究稀疏变化估计GGM涉及昂贵和困难的非光滑优化。我们提出了一种新的方法DIFFEE,用于在高维情况下通过基本估计器估计DIFFerential网络。通过一个更快的封闭式解决方案来解决EEE,使其能够在大规模环境中工作。我们进行了严格的统计分析表明,令人惊讶的是,ESTEE实现了相同的渐近收敛速度的国家的最先进的估计,更难以计算。我们在多个合成数据集和一个关于大脑连接的真实数据上的实验结果显示,与基线相比,性能有了很大的提高,并且具有显著的计算优势。
2018-05-23 cs.AI cs.LG stat.ML
Estimation of sparse Gaussian graphical models with hidden clustering structure
高斯图模型的估计在自然科学中以图的形式建模变量之间的统计关系时是重要的。该算法通过对集中矩阵的稀疏性和聚类性进行增强,降低了模型的复杂度,并有效地描述了模型的内在缺陷。我们提出了一个模型来估计稀疏高斯图模型与隐藏的聚类结构,这也允许额外的线性约束施加在浓度矩阵。我们设计了一个有效的两阶段算法来求解所提出的模型。我们开发了一种基于对称高斯-赛德尔的乘子交替方向法(sGS-ADMM)来产生一个初始点来热启动第二阶段算法,这是一种近似增广拉格朗日方法(pALM),以获得高精度的解。模拟数据和真实数据的数值实验表明,我们的模型,以及我们提出的算法的效率和鲁棒性的良好性能。
2020-04-17 math.OC stat.AP stat.CO
Learning Latent Variable Gaussian Graphical Models
University of Michigan(密歇根大学);Technicolor Research Center(特艺集团研究中心)
高斯图模型(GGM)已经广泛应用于从生物和金融数据到推荐系统的许多高维应用中。GGM中的稀疏性在统计和计算上都起着核心作用。不幸的是,真实世界的数据往往不适合稀疏的图形模型。在本文中,我们专注于一个家庭的潜变量高斯图形模型(LVGGM),该模型是有条件的稀疏给定的潜变量,但在一定程度上非稀疏。在LVGGM中,逆协方差矩阵具有低秩加稀疏结构,并且可以在正则化的极大似然框架中学习。在高维环境下,我们在温和的条件下得到了新的LVGGM的参数估计误差界。这些结果补充了现有的结构学习理论,并开辟了新的可能性,使用LVGGM的统计推断。
2014-06-10 cs.LG math.ST stat.ML
Learning Sparse High-Dimensional Matrix-Valued Graphical Models From Dependent Data
Auburn University(奥本大学)
本文针对相依观测下的稀疏高维矩阵值高斯时间序列,提出基于稀疏组套索和ADMM的频域方法估计条件独立图,并给出局部收敛条件与收敛速率。
2024-04-29 cs.LG eess.SP stat.ML
G-AMA: Sparse Gaussian graphical model estimation via alternating minimization
最近已经提出了几种方法来估计稀疏高斯图形模型,使用逆协方差阵上的$\ell_{1}$正则化。尽管最近的进展,当代的应用程序需要的方法,甚至更快,以处理病态的高维现代数据集。在本文中,我们提出了一种新的方法,G-AMA,解决稀疏逆协方差估计问题使用交替最小化算法(AMA),有效地作为一个近似梯度算法的对偶问题。我们的方法比现有的方法有几个新的优势。首先,我们证明了G-AMA比以前的最佳算法快了许多数量级,因此是现代高吞吐量应用的理想方法。其次,严格证明了G-AMA的全局线性收敛性,强调了其良好的理论性质。第三,对偶算法在协方差阵上操作,并且因此容易地促进基于领域特定知识对特征对之间的成对/边缘关系并入附加约束。除了估计稀疏逆协方差阵之外,我们还说明了如何(1)结合对(二元)相关性的约束,以及(2)结合各个逆协方差元素之间的相等(等稀疏性)或线性约束。第四,我们还表明,G-AMA是更好地善于处理极端病态的问题,往往是真实数据的情况下。该方法在模拟和真实数据集上进行了演示,以说明其优于最近提出的方法的性能。
2014-05-14 stat.CO stat.ML
A constrained L1 minimization approach for estimating multiple Sparse Gaussian or Nonparanormal Graphical Models
University of Virginia(弗吉尼亚大学)
从聚合数据中识别特定于上下文的实体网络是一项重要的任务,经常出现在生物信息学和神经成像中。在计算上,这个任务可以被公式化为联合估计多个不同的,但相关的,稀疏的无向图形模型(UGM)从聚合样本在几个上下文中。之前的联合UGM研究主要集中在稀疏高斯图形模型(sGGM)上,并且无法直接识别特定于上下文的边缘模式。因此,我们提出了一种新的方法,SIMULE(检测共享和单个部分的MULtiple图解释)通过约束L1最小化学习多UGM。SIMULE自动推断每个上下文唯一的特定边缘模式和所有上下文之间保留的共享交互。通过L1约束公式,该问题被转换为多个独立的子任务的线性规划,可以有效地并行求解。除了高斯数据之外,SIMULE还可以处理多元非超常数据,这些数据极大地放松了许多现实世界应用程序不遵循的正态性假设。我们提供了一个新的理论证明,SIMULE实现了一致的结果,在速率O(log(Kp)/ n_{tot})。在多个合成数据集和两个生物医学数据集上,SIMULE显示出比最先进的多sGGM和单UGM基线有显着改善。
2017-09-18 cs.AI cs.LG stat.ML
Speeding Up Latent Variable Gaussian Graphical Model Estimation via Nonconvex Optimizations
University of Virginia(弗吉尼亚大学);Carnegie Mellon University(卡内基梅隆大学)
研究了隐变量高斯图模型(LVGGM)的估计问题,其中精度矩阵是稀疏矩阵和低秩矩阵的叠加。为了提高稀疏和低秩分量的估计速度,提出了一种基于矩阵分解的稀疏约束极大似然估计方法和一种有效的硬阈值交替梯度下降算法,该算法比基于凸松弛的LVGGM估计方法快几个数量级.此外,我们证明了我们的算法是保证线性收敛到未知的稀疏和低秩组件的最佳统计精度。在合成数据和基因组数据上的实验证明了该算法的优越性,并证实了我们的理论。
2017-02-28 cs.LG stat.ML
False Discovery Rate Control for Gaussian Graphical Models via Neighborhood Screening
本文提出一种无需调参的逐节点变量选择图学习方法,通过邻域融合控制高斯图模型边选择的错误发现率,并在多种图拓扑实验中显著优于现有方法。
2024-01-18 cs.LG stat.ML
A Fast and Scalable Joint Estimator for Integrating Additional Knowledge in Learning Multiple Related Sparse Gaussian Graphical Models
University of Virginia(弗吉尼亚大学)
我们考虑的问题,包括额外的知识估计稀疏高斯图形模型(sGGM)从聚集的样本,经常出现在生物信息学和神经成像应用。先前的联合sGGM估计器或者不能使用现有的知识,或者不能在高维(大$p$)情况下扩展到许多任务(大$K$)。在本文中,我们提出了一种新的\underline{J}点\underline{E}基本\underline{E} stiffening结合额外的\underline{K} noprony(JEEK)推断多个相关的稀疏高斯图模型从大规模异构数据。使用领域知识作为权重,我们设计了一种新的混合范数作为最小化目标,以执行两个加权稀疏约束的叠加,一个是共享的相互作用,另一个是特定于任务的结构模式。这使得JEEK能够根据手头的领域优雅地考虑各种形式的现有知识,并避免设计特定于知识的优化。JEEK是通过一个快速和条目式并行解决方案,大大提高了最先进的$O(p^5K^4)$到$O(p^2K^4)$的计算效率。我们进行了严格的统计分析表明,JEEK实现了相同的收敛速度$O(\log(Kp)/n_{tot})$的最先进的估计,更难以计算。从经验上讲,在多个合成数据集和两个真实数据上,JEEK在实现相同水平的预测准确度的同时,显著优于最先进的速度。R http://jointnets.org/
2019-04-16 cs.LG stat.ML
Learning Directed Graphical Models from Gaussian Data
Technical University of Munich(慕尼黑工业大学)
在本文中,我们介绍了一个新的有向图模型从高斯数据:高斯图形交互模型(GGIM)。该模型的发展来自于考虑图上的平稳高斯过程,并利用所得到的稳态协方差矩阵和表示相互作用图的拉普拉斯矩阵之间的方程。通过介绍概念上简单的理论,我们开发了新的模型,并提供解释的边缘在图形模型的统计措施。我们表明,当限制到无向图,代表GGIM的拉普拉斯矩阵是等价的标准逆协方差矩阵编码的条件依赖关系。此外,我们的方法导致一个自然的定义,在平稳高斯过程中的两个元素的定向条件独立。我们证明了学习稀疏GGIMs为给定的观察集的问题可以被框定为一个LASSO问题。通过与逆协方差估计问题的比较,我们证明了稀疏GGIM对应的协方差矩阵与$l_1$ -范数惩罚最大对数似然估计对应的协方差矩阵之差的一个界.最后,我们考虑了与稀疏有向条件依赖关系相关的GGIM学习问题。总之,新模型提出了一个新的角度对变量之间的直接关系,并显着扩展了最先进的高斯图形建模。
2020-11-18 cs.LG stat.ML
Delta-AI: Local objectives for amortized inference in sparse graphical models
Mila – Québec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
研究人员提出Δ-AI算法,利用PGM稀疏性实现局部信用分配,基于GFlowNets风格损失实现离策略训练且加速,在合成PGM和稀疏因子结构隐变量模型上验证其有效性。
2026-09-01 cs.LG stat.ML
On Sparse High-Dimensional Graphical Model Learning For Dependent Time Series
Auburn University(奥本大学)
本文针对高维平稳高斯时间序列,提出基于频域稀疏组 lasso 和 ADMM 的条件独立图学习方法,并给出联合所有频率的收敛条件与速率。
2024-06-04 cs.LG eess.SP stat.ML
A Fast and Scalable Joint Estimator for Learning Multiple Related Sparse Gaussian Graphical Models
University of Virginia(弗吉尼亚大学)
在高维(大$p$)环境下,针对多个相关任务(大$K$)联合估计多个稀疏高斯图模型(sGGM)是一项重要的任务.大多数以前的研究多个sGGM的联合估计依赖于惩罚对数似然估计,涉及昂贵和困难的非光滑优化。我们提出了一种新的方法,FASJEM为\underline{fa} st和\underline{s}可伸缩的\underline{j}点结构- \underline{e}估计的\underline{m}多sGGM在大规模。作为第一个使用Elementary Estimate框架的联合sGGM研究,我们的工作有三个主要贡献:(1)我们通过可并行的入口方式求解FASJEM。(2)我们选择了一个近似算法来优化FASJEM。这提高了从$O(Kp^3)$到$O(Kp^2)$的计算效率,并减少了从$O(Kp^2)$到$O(K)$的存储器需求。(3)我们从理论上证明了FASJEM实现了一致的估计与$O(\log(Kp)/n_{tot})$的收敛速度。在几个合成数据集和四个真实世界的数据集上,FASJEM在准确性、计算复杂性和内存成本方面比基线有了显着的改进。
2018-03-20 cs.LG cs.PF stat.ML
On Different Notions of Redundancy in Conditional-Independence-Based Discovery of Graphical Models
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Amazon Research(亚马逊研究院)
本文探讨了基于条件独立性发现图形模型中冗余测试的作用,指出冗余测试可能修正学习模型的错误,但并非所有测试都具备此能力。
2026-04-20 cs.LG stat.ML
Sparse Gaussian Graphical Models with Discrete Optimization: Computational and Statistical Perspectives
Operations Research Center, Massachusetts Institute of Technology(麻省理工学院运筹学研究中心);Sloan School of Management, Massachusetts Institute of Technology(麻省理工学院斯隆管理学院)
本文提出基于ℓ0惩罚伪似然函数的GraphL0BnB估计器,通过混合整数规划解决稀疏高斯图模型学习问题,提供新的统计保证并优于现有方法。
2026-04-04 cs.LG stat.ME stat.ML
Sparse Graphical Memory for Robust Planning
Berkeley AI Research(伯克利人工智能研究院);Carnegie Mellon University(卡内基梅隆大学)
为了在现实世界中有效地运作,智能体应该能够从高维原始感官输入(如图像)中采取行动,并在长时间范围内实现不同的目标。目前的深度强化和模仿学习方法可以直接从高维输入中学习,但不能很好地扩展到长时间任务。相比之下,像A* 搜索这样的经典图形方法能够解决长期任务,但假设状态空间是从原始感官输入中抽象出来的。最近的研究试图将深度学习和经典规划的优势结合起来;然而,该领域的主流方法仍然非常脆弱,并且随着环境的大小而扩展性很差。我们介绍了稀疏图形存储器(SGM),一个新的数据结构,存储状态和可行的转移在一个稀疏的内存。SGM根据一种新的双向一致性目标聚合状态,将经典的状态聚合标准适应于目标条件强化学习:当两个状态作为目标和起始状态都可互换时,它们是冗余的。从理论上讲,我们证明了合并节点根据双向一致性导致最短路径长度的增加,仅与合并阈值呈线性关系。在实验中,我们表明,SGM显着优于目前最先进的方法在长时间,稀疏奖励的视觉导航任务。项目视频和代码可在https://mishalaskin.github.io/sgm/上获得
2020-11-12 cs.AI cs.CV cs.LG
Regularized Estimation of Piecewise Constant Gaussian Graphical Models: The Group-Fused Graphical Lasso
分段常数高斯图模型的时间演化精度矩阵编码了多变量时间序列的动态条件依赖结构。传统上,图形模型是在假设数据是从生成分布中相同提取的情况下估计的。引入稀疏性和稀疏差分诱导先验,我们放松这些假设,并提出了一种新的正则化M-估计,共同估计的图形和变点结构。由此产生的估计拥有的能力,因此有利于稀疏依赖结构和/或平滑地演变的图形结构,根据需要。此外,我们的方法扩展了目前的方法,允许估计的变化点,在系统中的多个依赖关系分组。提出了一种有效的结构估计算法。我们研究的经验恢复性能在一个合成的设置。分组变点估计的定性效果,然后证明通过应用该方法在两个现实世界的数据集。
2017-10-31 stat.CO stat.ME stat.ML
A note on the lack of symmetry in the graphical lasso
图形套索(glasso)是一种广泛使用的估计稀疏逆协方差阵的快速算法。glasso解决了L1惩罚极大似然问题,并可作为CRAN上的R库使用。glasso的输出是一个正则化的协方差阵估计稀疏逆协方差阵估计,不仅可以识别图形模型,还可以作为多变量过程(如PCA、LDA、MANOVA等)的中间输入。glasso确实产生了一个协方差阵估计,它解决了L1惩罚优化问题的双重意义上,然而,在此优化后产生逆协方差阵估计的方法是不精确的,可能会产生不对称的估计。当应用的L1正则化的量很小时,这个问题会加剧,如果真正的底层逆协方差阵不是稀疏的,则更有可能发生这种情况。缺乏对称性可能会产生潜在的后果。首先,它意味着协方差和逆协方差估计不是彼此的数值逆,第二,不对称可能导致负的或复杂的特征值,从而使许多可能依赖于逆协方差估计的多变量过程不可用。我们展示这个问题,解释其原因,并提出可能的补救措施。
2012-07-23 stat.CO stat.ML
Transfer Learning in Large-scale Gaussian Graphical Models with False Discovery Rate Control
研究了高维高斯图模型(GGM)的迁移学习,目的是利用相似和相关辅助研究的数据来估计目标GGM。目标图和每个辅助图之间的相似性由发散矩阵的稀疏性来表征。一种估计算法,跨CLIME,提出并证明,以达到更快的收敛速度比最小最大速率在单一的研究设置。此外,一个去偏的trans-CLIME估计被引入,并证明是逐元素渐近正态的。它被用来构建一个多重检验过程的边缘检测与错误发现率控制。所提出的估计和多重检验程序在模拟中表现出优越的数值性能,并通过利用来自多个其他脑组织的基因表达来推断目标脑组织中的基因网络。观察到预测误差的显著减少和链路检测功率的显著增加。
2020-10-21 stat.ME stat.ML
Does the $\ell_1$-norm Learn a Sparse Graph under Laplacian Constrained Graphical Models?
The Hong Kong University of Science and Technology(香港科技大学)
针对拉普拉斯约束高斯图模型,发现$\ell_1$范数正则化无法促进稀疏性,反而导致完全图;提出基于非凸惩罚和加权$\ell_1$子问题的估计器,并开发线性收敛的投影梯度算法及秩约束扩展,实验验证有效。
2023-09-05 cs.LG stat.ML
Concentration of a sparse Bayesian model with Horseshoe prior in estimating high-dimensional precision matrix
本文针对高维稀疏精度矩阵估计,提出基于Horseshoe先验的回火后验集中性理论,并给出模型误设下的oracle不等式,通过模拟验证了方法的有效性。
2024-09-13 math.ST stat.ML stat.TH
Accelerating Bayesian Structure Learning in Sparse Gaussian Graphical Models
高斯图模型是学习变量之间条件独立结构的相关工具。在这类模型中,贝叶斯结构学习通常通过图空间上的搜索算法来完成。满足图形约束的精度矩阵的共轭先验是著名的G-Wishart。有了这个先验,搜索算法中的转移概率需要评估G-Wishart的先验归一化常数的比率。在中到高维中,这个比率通常使用基于采样的方法来近似,作为搜索算法中计算昂贵的更新。到目前为止,计算这个比率一直是一个主要的计算瓶颈。我们克服了这个问题,表示一个搜索算法,在该算法中,归一化常数的比例进行了显式的封闭形式近似。在我们的搜索算法中使用这种近似,在不牺牲结构学习精度的情况下,显著提高了结构学习的可扩展性。我们研究的条件下,近似是有效的。我们还评估了我们的方法与模拟研究的有效性。我们表明,新的搜索算法与我们的近似优于国家的最先进的方法在计算效率和准确性。我们工作的实现可以在R包BDgraph中找到。
2021-07-16 math.ST stat.ME stat.ML
The Exact Determinant of a Specific Class of Sparse Positive Definite Matrices
Universitat Pompeu Fabra(庞培法布拉大学)
针对一类稀疏高斯图模型,通过傅里叶变换和矩阵行列式引理,推导出协方差矩阵行列式的闭式解,并定义了图模型间的等价性。
2023-11-11 cs.LG cs.NA math.NA
Efficient Statistics for Sparse Graphical Models from Truncated Samples
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学)
本文研究截尾样本下的高维估计。我们专注于两个基本和经典的问题:(i)稀疏高斯图形模型的推理和(ii)支持稀疏线性模型的恢复。(i)对于高斯图形模型,假设$d$维样本${\bf x}$是从高斯$N(μ,Σ)$生成的,并且仅当它们属于子集$S \subseteq \mathbb{R}^d$时才被观察到。我们发现,$μ$和$Σ$可以估计错误$ε$在Frobenius范数,使用$\tilde{O}\left(\frac{\textrm{nz}(Σ^{-1})}{ε^2}\right)$样本从截断$\mathcal{N}(μ,Σ)$和访问$S$的成员预言。集合$S$被假定为在未知分布下具有非平凡测度,但在其他方面是任意的。(ii)对于稀疏线性回归,假设生成样本$({\bf x},y)$,其中仅当$y$属于截断集$S \subseteq \mathbb{R}$时才看到$y = {\bf x}^\top{Ω^*} + \mathcal{N}(0,1)$和$({\bf x}, y)$。我们考虑$Ω^*$是稀疏的情况下,支持集的大小$k$。我们的主要结果是建立精确的条件上的问题尺寸$d$,支持大小$k$,观测$n$的数量,和属性的样本和截断,足以恢复$Ω^*$的支持。具体而言,我们表明,在一些温和的假设下,只有$O(k^2 \log d)$样本需要估计$Ω^*$在$\ell_\infty$ -范数有…
2020-06-17 cs.DS cs.LG math.ST
Sparse Logistic Regression Learns All Discrete Pairwise Graphical Models
University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们描述了一个经典的算法的有效性恢复马尔可夫图的一般离散成对图形模型从独立同分布。样品该算法是(适当正则化的)最大条件对数似然,它涉及到为每个节点求解凸规划;对于伊辛模型,这是$\ell_1$约束逻辑回归,而对于更一般的字母表,需要使用$\ell_{2,1}$组范数约束。我们表明,该算法可以恢复任何任意离散的成对图形模型,也表征其样本的复杂性作为一个函数的模型宽度,字母表大小,边缘参数的准确性,和变量的数量。我们表明,沿着这些轴的每一个,它匹配或改进所有现有的结果和算法,这个问题。当权重向量具有$\ell_1$约束(或$\ell_{2,1}$约束)并且样本向量具有$\ell_{\infty}$约束(或$\ell_{2, \infty}$约束)时,我们的分析对逻辑回归应用了尖锐的泛化误差界。我们还表明,所提出的凸规划可以有效地解决在$\tilde{O}(n^2)$运行时间(其中$n$是变量的数量)在相同的统计保证。我们提供实验结果来支持我们的分析。
2019-06-18 cs.DS cs.LG math.ST
On the Sample Complexity of Learning Graphical Games
Purdue University(普渡大学)
我们分析了从纯行为数据学习图形游戏的样本复杂性。我们假设我们只能观察参与人的联合行动,而不能观察他们的收益。我们分析了正确恢复的纯策略纳什均衡(PSNE)的真实游戏集的样本的充分和必要的数量。我们的分析集中在有向图与$n$节点和最多$k$父母每个节点。稀疏图对应于关于$n$的${k \in O(1)}$,而密集图对应于${k \in O(n)}$。通过使用VC维参数,我们表明,如果样本数大于${O(k n \log^2{n})}$的稀疏图或${O(n^2 \log{n})}$的密集图,那么最大似然估计正确恢复PSNE的概率很高。通过使用信息理论的参数,我们表明,如果样本的数量小于${Ω(k n \log^2{n})}$稀疏图或${Ω(n^2 \log{n})}$密集图,那么任何可能的方法都无法恢复PSNE任意概率。
2017-02-20 cs.GT cs.LG stat.ML
Optimization Methods for Sparse Pseudo-Likelihood Graphical Model Selection
Lawrence Berkeley National Lab(劳伦斯伯克利国家实验室);Stanford University(斯坦福大学);University of Florida(佛罗里达大学)
稀疏高维图模型选择是当代机器学习的一个热门课题。为此,已经提出了各种有用的方法的上下文中的$\ell_1$惩罚估计的高斯框架。虽然这些逆协方差估计方法中的许多是可扩展的,并且利用了凸优化的最新进展,但它们仍然依赖于高斯函数形式。为了解决这一问题,最近提出了一种基于凸伪似然的部分相关图估计方法(CONCORD)。该方法使用基于伪似然的回归的坐标最小化,并且与高斯方法相比已被证明具有鲁棒的模型选择特性。然而,与高斯设置中的并行工作形成直接对比的是,这种新的凸伪似然框架没有利用机器学习文献中提出的用于凸优化的广泛的方法阵列。在本文中,我们提出了两个最接近的梯度方法(CONCORD-ISTA和CONCORD-FISTA)执行$\ell_1$正则化逆协方差阵估计的伪似然框架,以解决这个关键的差距。我们提出的时间比较与坐标明智的最小化,并证明我们的方法产生巨大的回报$\ell_1$惩罚部分相关图估计高斯设置之外,从而产生最快,最具可扩展性的方法,这样的问题。我们对我们的方法进行理论分析,并严格证明收敛性,并得出其速度。
2014-09-12 cs.LG stat.CO stat.ML
Split Bregman Method for Sparse Inverse Covariance Estimation with Matrix Iteration Acceleration
University of California, Irvine(加利福尼亚大学欧文分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们考虑通过最大化似然函数来估计逆协方差矩阵的问题,并增加惩罚以鼓励所得矩阵的稀疏性。提出了一种基于分裂Bregman方法的正则化极大似然估计问题的新方法。我们表明,我们的方法是显着快于广泛使用的图形套索方法,这是基于块坐标下降,人工和真实世界的数据。更重要的是,与图套索不同,基于分裂Bregman的方法更一般,并且可以应用于除了$\ell_1$范数之外的一类正则化项
2010-12-23 cs.LG stat.ML
Efficient proximal gradient algorithms for joint graphical lasso
我们考虑从稀疏数据中学习无向图模型。虽然已经提出了几种有效的算法,图形套索(GL),交替方向法的乘法器(ADMM)是主要的方法,采取有关联合图形套索(JGL)。我们提出了近端梯度程序,有和没有一个回溯选项的JGL。这些程序是一阶的,相对简单,子问题的解决有效地在封闭的形式。进一步证明了JGL问题解的有界性和算法中的迭代次数。数值结果表明,所提出的算法可以达到较高的精度和准确度,其效率是竞争的最先进的算法。
2021-07-16 math.OC stat.ML
Exact covariance thresholding into connected components for large-scale Graphical Lasso
我们考虑稀疏逆协方差正则化问题或具有正则化参数$ρ$的图形套索。假设通过在$ρ$处对样本协方差阵的条目进行阈值化而形成的协方差图被分解成连通分量。我们表明,阈值协方差图诱导的顶点划分是完全相等的估计浓度图诱导。这个简单的规则,当被用作现有算法的包装时,会带来巨大的性能提升。对于大值的$ρ$,我们的建议分裂成较小的易处理的问题,一个大的图形套索问题,使之有可能解决,否则不可行的大规模图形套索问题。
2011-09-15 stat.CO stat.ML
Bayesian Joint Spike-and-Slab Graphical Lasso
Yale School of Public Health(耶鲁大学公共卫生学院);University of Washington(华盛顿大学);Ohio State University(俄亥俄州立大学)
在这篇文章中,我们提出了一个新的类的先验贝叶斯推断与多高斯图形模型。我们完全引入贝叶斯处理两个流行的程序,组图形套索和融合图形套索,并将其扩展到一个连续的钉和板的框架,允许自适应收缩和模型选择同时进行。我们开发了一个期望最大化算法,执行快速和动态的探索后验模式。我们的方法有效地选择稀疏模型,其偏差比其他正则化程序所引起的偏差小得多。所提出的方法的性能通过仿真和两个实际数据的例子证明。
2019-05-09 cs.LG stat.ML
Discovering Graphical Granger Causality Using the Truncating Lasso Penalty
生物系统的组成部分相互作用,以执行重要的细胞功能。这些信息可用于改善估计和推断,并获得对潜在细胞机制的更好见解。因此,发现基因间的调控相互作用是系统生物学中的一个重要问题。随着时间的推移,全基因组表达数据提供了一个机会,以确定基因的表达水平如何受到其他基因转录水平变化的影响,因此可以用来发现基因之间的调控相互作用。在本文中,我们提出了一种新的惩罚方法,称为截断套索,估计因果关系的时间过程基因表达数据。该惩罚函数能正确地确定潜在时间序列的阶数,提高了Lasso型估计器的性能。此外,由此产生的估计提供了关于转录因子的激活与其对受调控基因的影响之间的时滞的信息。我们提供了一个有效的算法估计模型参数,并表明,该方法可以始终发现因果关系的大$p$,小$n$设置。所提出的模型的性能进行了评估有利的模拟,以及真正的,数据的例子。所提出的截断套索方法在R包grangerTlasso中实现,并且可在http://www.stat.lsa.umich.edu/~shojaie上获得。
2010-07-03 q-bio.MN stat.ML
Learning High-Dimensional Mixtures of Graphical Models
UC Irvine(加州大学欧文分校);Microsoft Research New England(微软新英格兰研究院)
我们考虑离散图形模型的混合物的无监督估计,其中对应于混合物成分的类变量是隐藏的,并且观察到的变量上的每个混合物成分可以具有潜在的不同的马尔可夫图结构和参数。我们提出了一种新的方法来估计的混合物成分,我们的输出是一个树混合模型,作为一个很好的近似底层图形模型的混合物。我们的方法是有效的,当联合图,这是混合成分的马尔可夫图的联合,有稀疏的顶点之间的任何一对观察变量的分离器。这包括树混合和有界度图的混合。对于这样的模型,我们证明了我们的方法正确地恢复联盟图结构和树结构对应的混合成分的最大似然树近似。对于$p$ -变量图形模型的$r$ -组分混合物,我们的方法的样本和计算复杂度为$\poly(p, r)$。我们进一步扩展我们的结果的情况下,工会图有稀疏的本地分离器之间的任何一对观察到的变量,如混合物的局部树状图,和混合物成分的相关性衰减的制度。
2012-06-30 cs.AI cs.LG stat.ML
Unifying Sparse Estimation of Precision and Covariance Matrices
StataCorp LLC(Stata公司)
本文提出一种基于精度矩阵最后一列新参数化的块坐标下降算法,将正则化对数似然分解为两个凸函数,实现与DP-GLasso相当的稀疏精度矩阵估计性能。
2026-10-28 stat.CO stat.ML
Sequential change-point detection in high-dimensional Gaussian graphical models
Institute for Mathematics and its Applications, University of Minnesota(明尼苏达大学数学及其应用研究所);University of Florida(佛罗里达大学);University of Michigan(密歇根大学)
高维分段平稳图模型代表了一个通用的类建模时变网络出现在不同的应用领域,包括生物学,经济学和社会科学。最近的工作是离线检测和估计稀疏图形模型的拓扑结构中的状态变化。然而,在线设置仍然在很大程度上未被开发,尽管其高度相关的传感器网络和其他工程监控系统,以及金融市场的应用。为此,这项工作介绍了一种新的可扩展的在线算法检测未知数量的突变的逆协方差阵的稀疏高斯图形模型的小延迟。该算法是基于监测网络中的所有节点的条件对数似然,并可以扩展到一个大类的连续和离散的图形模型。我们还研究了我们的程序在一定的温和的正则条件下的图的大小,稀疏水平,样本数,和前和后的网络拓扑结构的变化的渐近性质。合成和真实数据的数值工作说明了所提出的方法在众多实验设置的计算和统计效率方面的良好性能。
2018-06-20 cs.LG math.ST stat.ML
Interventional Causal Structure Discovery over Graphical Models with Convergence and Optimality Guarantees
Tongji University(同济大学)
针对观测与干预数据融合及集中式因果发现的通信、隐私问题,提出带收敛与最优性保证的Bloom双层多项式优化框架,并扩展至分布式场景,实验显示其性能优于主流算法。
2024-08-09 cs.LG stat.ML
Bayesian Regularization for Graphical Models with Unequal Shrinkage
Department of Statistics, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校统计学系)
我们考虑一个贝叶斯框架估计高维稀疏精度矩阵,其中自适应收缩和稀疏性诱导的拉普拉斯先验的混合物。除了讨论我们的配方从贝叶斯的角度来看,我们调查的MAP(最大后验概率)估计从惩罚的可能性的角度来看,产生了一个新的非凸罚款近似的$\ell_0$罚款。最佳的误差率估计一致性的各种矩阵范数以及稀疏结构恢复的选择一致性的唯一MAP估计在温和的条件下。为了快速有效地计算,提出了一种期望最大化算法来计算精度矩阵的MAP估计和底层稀疏结构边缘上的(近似)后验概率。通过广泛的模拟研究和实际应用的呼叫中心数据,我们已经证明了我们的方法与现有的替代品相比,优良的性能。
2018-05-20 cs.LG math.ST stat.CO
Variational Inference for Sparse and Undirected Models
无向图模型应用于基因组学、蛋白质结构预测和神经科学,以识别离散数据下的稀疏相互作用。虽然贝叶斯推理方法在这些情况下是有利的,但它们很少使用,因为它们需要双重棘手的蒙特卡罗采样。在这里,我们开发了一个框架,可扩展的贝叶斯推断的离散无向模型的基础上两个新的方法。第一个是持久VI,离散无向模型的变分推断算法,避免了双重棘手的MCMC和近似的分区函数。第二个是淡出,一个重新参数化方法的变分推断稀疏诱导先验,捕捉参数和超参数与非中心参数化之间的后验相关性。我们发现,这些变分推断方法大大提高了稀疏无向图形模型在物理和生物学模拟和真实问题的学习。
2017-06-14 cond-mat.dis-nn physics.data-an q-bio.QM
Graphical model for factorization and completion of relatively high rank tensors by sparse sampling
D3 Center, Osaka University(大阪大学D3中心);Department of Physics, Graduate School of Science, Osaka University(大阪大学理学研究生院物理学科);Department of Systems Science, Graduate School of Informatics, Kyoto University(京都大学信息学研究生院系统科学学科);RIKEN center for AIP(RIKEN AIP研究中心)
本文提出基于稀疏测量的张量分解方法,利用随机图结构进行信息交互,在高维极限下构建信息传递算法并发展复制理论以评估统计推断性能。
2026-02-18 cond-mat.dis-nn cond-mat.stat-mech cs.IT
Scalable Inference of Sparsely-changing Markov Random Fields with Strong Statistical Guarantees
University of Michigan(密歇根大学);University of Southern California(南加州大学)
在本文中,我们研究的问题,推断时变马尔可夫随机场(MRF),其中底层的图形模型是稀疏的,随着时间的推移变化稀疏。大多数用于推断时变MRF的现有方法依赖于正则化最大似然估计(MLE),其通常遭受弱统计保证和高计算时间。相反,我们引入了一类新的约束优化问题的推理稀疏变化的MRF。提出的优化问题是制定基于精确的$\ell_0$正则化,并可以解决在近线性的时间和内存。此外,我们表明,该估计享有可证明的小估计误差。作为一个特殊的情况下,我们推导出尖锐的统计保证稀疏变化的高斯MRF(GMRF)在高维制度的推断,表明这样的问题可以学习少到一个样本每一次。我们提出的方法在实践中非常有效:它可以在不到一个小时的时间内准确地估计具有超过5亿个变量的稀疏变化的图形模型。
2021-02-06 cs.LG stat.CO stat.ML
Tensor Graphical Model: Non-convex Optimization and Statistical Inference
我们考虑的估计和推理的图形模型,其特征在于高维张量值数据的依赖结构。为了便于估计与张量的每种方式相对应的精度矩阵,我们假设数据服从张量正态分布,其协方差具有Kronecker乘积结构。在这个模型的估计和推理的一个关键挑战是,它的惩罚极大似然估计涉及最小化非凸目标函数的事实。为了解决这个问题,本文做了两个贡献:(i)尽管这个估计问题的非凸性,我们证明了交替最小化算法,迭代估计每个稀疏精度矩阵,同时固定其他,达到一个最佳的统计收敛速度的估计。(ii)我们提出了一个去偏的统计推断程序来测试的真实支持的稀疏精度矩阵的假设,并采用它来测试越来越多的假设与错误发现率(FDR)的控制。建立了检验统计量的渐近正态性和FDR控制程序的一致性。我们的理论结果得到了全面的数值研究的支持,我们在自闭症谱系障碍的神经成像研究和用户广告点击分析方面的实际应用带来了新的科学发现和商业见解。所提出的方法被编码到一个公开可用的R包Tlasso。
2019-02-25 stat.ME stat.ML
Learning Large-Scale Bayesian Networks with the sparsebn Package
University of California Los Angeles(加州大学洛杉矶分校)
从数据中学习图形模型是一个重要的问题,具有广泛的应用,从基因组学到社会科学。如今的数据集通常有上千个--有时是数万或数十万个--变量和更少的样本。为了应对这一挑战,我们开发了一个新的R包,称为sparsebn,用于学习大型稀疏图形模型的结构,重点是贝叶斯网络。虽然有许多现有的软件包用于此任务,但此软件包侧重于从高维数据中学习大型网络的独特设置,可能需要干预。因此,所提供的方法在高维环境中重视可伸缩性和一致性。此外,在存在干预措施的情况下,这里实施的方法实现了从数据中学习因果网络的目标。此外,sparsebn软件包与现有的网络分析软件包完全兼容。
2018-03-10 cs.LG stat.CO stat.ME
High-dimensional Mixed Graphical Models
虽然连续数据(高斯图形模型)和离散数据(伊辛模型)的图形模型已经得到了广泛的研究,但在许多科学应用中常见的连接连续和离散变量(混合数据)的图形模型方面的工作很少。我们提出了一种新的混合数据的图形模型,这是足够简单,适合高维数据,但足够灵活,以表示所有可能的图形结构。我们开发了一种基于回归的计算效率高的算法,通过专注于每个变量的条件对数似然来拟合模型。的参数有一个自然的组结构,并在拟合图的稀疏性是通过将一个组套索惩罚,近似的加权$\ell_1$罚款计算效率。我们通过广泛的模拟研究证明了我们的方法的有效性,并将其应用于音乐注释数据集(CAL 500),获得一个稀疏和可解释的图形模型,将音频信号的连续特征与特定歌曲相关的类别变量(如流派,情感和使用)相关联。虽然我们专注于二进制离散变量,我们也表明,所提出的方法可以很容易地扩展到一般的离散变量。
2016-08-19 stat.ME stat.ML
Learning Gaussian Graphical Models under Total Positivity via Spectral Graph Sparsification
Eindhoven University of Technology(埃因霍温理工大学);University of Twente(特文特大学)
本文提出了一种基于谱图稀疏化的高斯图模型学习方法Spectral-MTP2,通过总正性约束在保持模型准确性的同时生成更稀疏可解释的图结构。
2026-05-16 stat.ME stat.ML
Learning the effect of latent variables in Gaussian Graphical models with unobserved variables
Université Paris-Est(巴黎东大学);Ecole des Ponts(国立桥路学校)
定义无向图模型的图的边结构精确地描述了图中变量之间的依赖结构。在许多应用中,依赖结构是未知的,并且期望从数据中学习它,通常因为这是能够确定因果效应的初步步骤。这个问题被称为结构学习,一般来说很难,但对于高斯图模型来说,它稍微容易一些,因为图的结构是由联合分布的精度矩阵的稀疏模式给出的,并且因为独立性与去相关性一致。结构学习中经常被忽视的一个主要困难是,如果某些变量未被观察到,则观察到的变量的边缘依赖图可能会显着更加复杂,并且不再反映可能与因果效应相关的直接依赖关系。在这项工作中,我们考虑了一个家庭的潜变量高斯图模型中的观察和未观察变量之间的联合分布的图形是稀疏的,和未观察变量是条件独立的其他。以前的工作是能够恢复观测变量之间的连接,但只能确定未观测变量所跨越的子空间,而我们提出了一个凸优化公式的基础上结构化矩阵稀疏估计完整的连接完整的图形,包括未观测的变量,给定的知识的数量缺失的变量,和先验知识的连接水平。我们的配方是支持的潜在的依赖结构的稀疏图在无限的数据限制的可识别性的理论结果。我们提出了一个算法,利用最近的活动集方法,在合成数据的实验中表现良好。
2018-07-31 cs.LG stat.ML
Neural Graph Revealers
Microsoft Research(微软研究院)
本文提出神经图揭示器(NGRs),通过图约束路径范数将稀疏图恢复与概率图模型融合,实现从多模态数据中联合学习稀疏依赖图和概率分布。
2024-10-22 cs.LG stat.ML
Inference for Individual Mediation Effects and Interventional Effects in Sparse High-Dimensional Causal Graphical Models
我们考虑的问题,确定中间变量(或介质),调节治疗的效果对反应变量。虽然已经有了显着的研究,这个经典的话题,很少的工作已经做了一套潜在的调解人是高维(HD)。当这些介质相互关联(具有未知的依赖性)时,会出现进一步的复杂性。特别是,我们假设治疗的因果结构,混杂因素,潜在的介质和反应是一个(可能是未知的)有向无环图(DAG)。HD DAG模型以前曾用于估计观测数据的因果效应。特别是,称为IDA和联合IDA的方法已经分别开发用于估计单一和多个同时干预的效果。在本文中,我们提出了一个IDA型的方法,称为MIDA的估计所谓的个人中介作用,从HD观测数据。虽然IDA和联合IDA估计已被证明是一致的,在某些稀疏HD设置,其渐近性质,如依分布收敛和推理工具,在这样的设置仍然未知。本文证明了具有亚高斯误差的线性结构方程模型的MIDA的HD相合性。更重要的是,我们得出分布收敛结果MIDA在类似的HD设置,这是适用于IDA和联合IDA估计以及。据我们所知,这是第一个这样的分布收敛的结果,便于推断IDA型估计。这些都是建立在我们的新的理论结果,关于统一的界限线性回归估计在不同的子集HD协变量,这可能是独立的利益。最后,我们经验验证我们的渐近理论MIDA,并通过模拟和实际数据的应用证明其实用性。
2021-07-28 math.ST stat.ME stat.ML
OpenGM: A C++ Library for Discrete Graphical Models
University of Heidelberg(海德堡大学)
OpenGM是一个C++模板库,用于定义离散图形模型并使用各种最先进的算法对这些模型进行推理。因子图上没有任何限制,允许高阶因子和任意邻域结构。具有重复结构的大型模型可以有效地处理,因为(i)重复出现的函数只需要存储一次,(ii)不同的函数可以不同地实现,在同一模型中使用不同的编码。提供了几个参数函数(例如度量),稀疏和密集值表,以及自定义C++代码的接口。算法通过设计与图形模型的表示分离,并且易于交换。OpenGM,它的算法,HDF5文件格式和命令行工具是模块化的和可扩展的。
2012-06-01 cs.AI cs.MS stat.ML