Marginal Likelihoods for Distributed Parameter Estimation of Gaussian Graphical Models
University of Michigan（密歇根大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
我们考虑分布估计的逆协方差阵，也称为浓度或精度矩阵，在高斯图形模型。传统的集中估计通常需要对协方差阵进行全局推断，这在大维度上可能是计算密集的。另一方面，基于消息传递算法的近似推理可能导致循环图模型中的不稳定和有偏估计。在本文中，我们提出了一个分布式估计的最大边际似然（MML）方法的基础上的一般框架。这种方法通过最大化从局部邻域收集的数据定义的边际似然来计算局部参数估计。由于MML问题的非凸性，我们引入并解决了凸松弛。然后将局部估计组合成全局估计，而不需要在邻域之间进行迭代消息传递。所提出的算法是自然的并行化和计算效率，从而使其适合于高维问题。在经典的制度，其中变量的数量$p$是固定的，样本的数量$T$增加到无穷大，所提出的估计被证明是渐近一致的，并改善单调的局部邻域大小的增加。在高维缩放制度，其中$p$和$T$增加到无穷大，收敛速度的真实参数的推导和被认为是可比的集中式极大似然估计。大量的数值实验表明，改进的性能的两跳版本的建议的估计，这足以几乎关闭的差距，集中式极大似然估计，以减少计算成本。
2014-08-13 cs.LG stat.ML
Generative Modeling via Tree Tensor Network States
University of Chicago（芝加哥大学）
在本文中，我们提出了一个密度估计框架的基础上树张量网络状态。所提出的方法包括确定树的拓扑结构与Chow-Liu算法，并获得一个线性方程组，通过素描技术定义的张量网络组件。为了考虑包含循环的图形模型，开发了草图功能的新选择。样本的复杂性保证，并进一步证实了数值实验。
2022-09-03 cs.LG quant-ph stat.ML
Speeding Up Latent Variable Gaussian Graphical Model Estimation via Nonconvex Optimizations
University of Virginia（弗吉尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
研究了隐变量高斯图模型（LVGGM）的估计问题，其中精度矩阵是稀疏矩阵和低秩矩阵的叠加。为了提高稀疏和低秩分量的估计速度，提出了一种基于矩阵分解的稀疏约束极大似然估计方法和一种有效的硬阈值交替梯度下降算法，该算法比基于凸松弛的LVGGM估计方法快几个数量级.此外，我们证明了我们的算法是保证线性收敛到未知的稀疏和低秩组件的最佳统计精度。在合成数据和基因组数据上的实验证明了该算法的优越性，并证实了我们的理论。
2017-02-28 cs.LG stat.ML
Near-optimal sample complexity for convex tensor completion
University of British Columbia（不列颠哥伦比亚大学）
我们分析低秩张量完成（TC）使用噪声测量的张量的子集。假设秩为- $r$，阶为- $d$，$N \times N \times \cdots \times N$张量，其中$r=O(1)$，所实现的最佳采样复杂度为$O(N^{\frac{d}{2}})$，其通过求解张量核范数最小化问题来获得。然而，这个界限是显着大于自由变量的数量在一个低秩张量是$O(dN)$。在本文中，我们表明，通过使用一个原子范数的原子秩$1$符号张量，可以得到一个样本复杂度为$O(dN)$。此外，我们推广矩阵最大范数的定义张量，这将导致一个最大准范数（max-qnorm）的单位球具有小的Rademacher复杂度。我们证明，解决约束最小二乘估计使用凸原子范数或非凸max-qnorm结果在低秩张量完成问题的最佳样本复杂度。此外，我们表明，这些界限是近极大极小率最优的。我们还提供了有前途的数值结果最大qnorm约束张量完成，显示出改善的恢复结果相比，矩阵化和交替最小二乘。
2017-11-14 cs.LG math.OC stat.ML
Convex Regularization for High-Dimensional Multi-Response Tensor Regression
在本文中，我们提出了一个通用的凸优化方法来解决高维多响应张量回归问题的低维结构假设。我们考虑使用凸的和弱可分解的正则化假设的基础张量位于一个未知的低维子空间。在我们的框架内，我们得到了一般的风险界的估计相当一般的协变量之间的依赖结构。我们的框架导致两个非常简单的量，张量空间中的凸集的\emph{Gaussian width}和低维张量子空间的\emph{intrinsic dimension}的上界。据我们所知，这是第一个适用于多重响应问题的通用框架。这些一般界限提供了有用的上界收敛速度的基本统计模型的利益，包括多响应回归，向量自回归模型，低秩张量模型和成对相互作用模型。此外，在许多这些设置中，我们证明了由此产生的估计是最小最大最优的。我们还提供了一个数值研究，既验证了我们的理论保证，并证明了我们的框架的广度。
2017-04-13 math.ST stat.TH
On some algorithms for estimation in Gaussian graphical models
本文研究高斯图模型似然方程的迭代求解，比较避免大矩阵求逆的迭代比例缩放与零惩罚 graphical lasso 的邻域坐标下降算法，并为低色数图构造正定初值及简化 MLE 存在性证明。
2023-12-11 stat.CO
Convex Estimation of Gaussian Graphical Regression Models with Covariates
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
本文提出了一种凸框架，用于同时估计协变量调整后的均值和精度矩阵，通过多元高斯似然的自然参数化，改进了高维情况下理论保证。
2026-06-04 stat.ME stat.ML
Clustered Gaussian Graphical Model via Symmetric Convex Clustering
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
神经元功能分组的知识可以揭示神经回路的结构，并且在许多类型的神经影像学研究中是有价值的。然而，通过受控实验准确确定哪些神经元执行类似的神经学任务既劳动密集型又大规模昂贵。因此，以数据驱动的方式将具有相似连接性配置文件的神经元聚类为功能一致的组是非常有趣的。在这项工作中，我们提出了聚类高斯图形模型（GGM）和一个新的对称凸聚类惩罚在一个统一的凸优化框架推断神经元之间的功能集群从神经活动数据。采用可并行化的多块交替方向乘子法（ADMM）算法求解相应的凸优化问题。此外，我们建立的ADMM算法的收敛保证。在合成数据和真实世界神经科学数据上的实验结果证明了我们方法的有效性。
2019-05-30 cs.LG stat.ME stat.ML
Duality of Graphical Models and Tensor Networks
在这篇文章中，我们展示了张量网络和离散变量无向图模型之间的对偶性。我们研究超图上的张量网络，我们称之为张量超网络。我们证明了超图上的张量超网络与对偶超图给出的图模型完全对应。我们在二元性下翻译各种概念。例如，图模型中的边缘化与张量网络中的收缩是对偶的。算法在对偶性下也是平移的。我们证明了置信传播对应于张量网络收缩的已知算法。本文提醒人们，图形模型和张量网络的研究领域可以从交互中受益。
2017-10-04 cs.AI math.ST quant-ph
Discussion: Latent variable graphical model selection via convex optimization
Georgia Institute of Technology（佐治亚理工学院）
讨论“通过凸优化进行潜变量图形模型选择“，Venkat Jenrasekaran，Pablo A. Parrilo和Alan S. Willsky [arXiv：1008.1290].
2012-11-05 cs.LG math.ST stat.ML
Very Basics of Tensors with Graphical Notations: Unfolding, Calculations, and Decompositions
Nagoya Institute of Technology（名古屋工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文以图形记号讲解张量的基础概念、展开、计算与分解，帮助读者理解张量乘积本质并补充论文中常被省略的定义与解释。
2024-11-25 cs.CV cs.LG eess.SP
Discussion: Latent variable graphical model selection via convex optimization
Stanford University（斯坦福大学）
讨论“通过凸优化进行潜变量图形模型选择“，Venkat Jenrasekaran，Pablo A. Parrilo和Alan S. Willsky [arXiv：1008.1290].
2012-11-05 cs.LG math.ST stat.ML
Discussion: Latent variable graphical model selection via convex optimization
University of Oxford（牛津大学）
讨论“通过凸优化进行潜变量图形模型选择“，Venkat Jenrasekaran，Pablo A. Parrilo和Alan S. Willsky [arXiv：1008.1290].
2012-11-05 cs.LG math.ST stat.ML
Discussion: Latent variable graphical model selection via convex optimization
University of California at Berkeley（加州大学伯克利分校）
讨论“通过凸优化进行潜变量图形模型选择“，Venkat Jenrasekaran，Pablo A. Parrilo和Alan S. Willsky [arXiv：1008.1290].
2012-11-05 cs.LG math.ST stat.ML
Rejoinder: Latent variable graphical model selection via convex optimization
California Institute of Technology（加州理工学院）；Massachusetts Institute of Technology（麻省理工学院）
对“通过凸优化进行潜变量图形模型选择“一文的反驳。Parrilo和Alan S. Willsky [arXiv：1008.1290].
2012-11-05 cs.LG math.ST stat.ML
Extremal graphical modeling with latent variables via convex optimization
本文针对含潜变量的极值图模型学习问题，提出可求解的凸规划方法 eglatent，通过将 Hüsler-Reiss 精度矩阵分解为稀疏与低秩分量，一致恢复条件图和潜变量数量，并在合成与真实数据上验证了性能提升。
2025-04-11 math.ST stat.ME stat.ML
Transfer learning for tensor Gaussian graphical models
The Chinese University of Hong Kong（香港中文大学）；City University of Hong Kong（香港城市大学）
张量高斯图模型（GGM），解释张量数据中的条件独立结构，在许多领域有重要的应用。然而，由于高昂的获取成本，单个研究中可用的张量数据往往有限。虽然相关研究可以提供更多的数据，但如何汇集这些异构数据仍然是一个悬而未决的问题。在本文中，我们提出了一个张量GGM的迁移学习框架，它充分利用了信息辅助域，即使存在非信息辅助域，受益于精心设计的数据自适应权重。我们的理论分析表明，大幅改善估计误差和变量选择一致性的目标域在更宽松的条件下，利用辅助域的信息。在合成张量图和脑功能连接网络数据上进行了大量的数值实验，结果表明所提出的方法具有令人满意的性能。
2022-11-17 cs.LG stat.ML
SG-PALM: a Fast Physically Interpretable Tensor Graphical Model
University of Michigan（密歇根大学）
我们提出了一个新的图形模型推理过程，称为SG-PALM，用于学习高维张量变量数据的条件依赖结构。与大多数其他张量图形模型不同，该模型是可解释的，并且在计算上可扩展到高维。物理可解释性来自SG-PALM所基于的Sylvester生成（SG）模型：该模型对于任何作为泊松型偏微分方程解的观测过程都是精确的。可扩展性来自SG-PALM在训练期间使用的快速近端交替线性化最小化（PALM）程序。我们建立SG-PALM线性收敛（即，几何收敛速度）到其目标函数的全局最优。我们证明了SG-PALM的可扩展性和准确性的一个重要的，但具有挑战性的气候预测问题：时空预测太阳耀斑的多模态成像数据。
2021-05-26 cs.LG stat.AP stat.CO
Learning Graphical Models With Hubs
我们考虑学习一个高维图形模型的问题，其中某些枢纽节点高度连接到许多其他节点。许多作者已经研究了使用l1惩罚来学习高维环境中的稀疏图。然而，l1惩罚隐含地假设每条边的可能性相等，并且独立于所有其他边。我们提出了一个通用的框架，以适应更现实的网络与枢纽节点，使用凸公式，涉及行列重叠范数处罚。我们将这个一般框架应用于三个广泛使用的概率图形模型：高斯图形模型，协方差图模型和二进制伊辛模型。采用交替方向乘子法求解相应的凸优化问题。在合成数据上，我们证明了我们提出的框架优于没有明确建模枢纽节点的竞争对手。我们说明我们的建议上的网页数据集和基因表达数据集。
2014-08-09 stat.CO stat.ME stat.ML
The Sylvester Graphical Lasso (SyGlasso)
University of Michigan（密歇根大学）
本文介绍了Sylvester图形套索（SyGlasso），它可以捕获张量值数据中存在的多路依赖关系。该模型基于定义生成模型的Sylvester方程。所提出的模型补充了张量图形套索（Greenewald等人，2019），其通过提供可生成且可解释的替代Kronecker和模型来对逆协方差阵施加Kronecker和模型。采用逐点回归方法估计变量之间的条件独立关系。建立了该方法的统计收敛性，并提供了实证研究，以证明有意义的条件依赖图的恢复。我们将SyGlasso应用于脑电图（EEG）研究，以比较酒精和非酒精受试者的大脑连接。我们证明了我们的模型可以同时估计大脑的连接性和时间依赖性。
2020-02-01 cs.LG stat.ME stat.ML
Graphical Nonconvex Optimization for Optimal Estimation in Gaussian Graphical Models
我们考虑学习高维高斯图模型的问题。图形套索是估计高斯图模型的最流行的方法之一。然而，它没有达到预言的收敛速度。本文提出了高斯图模型中最优估计的图非凸优化问题，并将其近似为一列凸规划。我们的建议是计算易处理的，并产生一个估计，实现了甲骨文的收敛速度。通过一个收缩性质，清楚地证明了使用凸规划的序列逼近引入的统计误差。使用稀疏模式的概念可以进一步提高收敛速度。所提出的方法，然后扩展到半参数图形模型。我们通过数值研究表明，所提出的估计优于其他流行的方法估计高斯图形模型。
2017-06-04 math.ST stat.ML stat.TH
Modeling Discrete Interventional Data using Directed Cyclic Graphical Models
University of British Columbia（不列颠哥伦比亚大学）
我们概述了一个表示离散多元分布的干预潜在的功能，是全球标准化。该表示可用于对干预的效果进行建模，并且在该模型中编码的独立性属性可表示为允许循环的有向图。除了讨论这种表示的推理和采样，我们给出了一个指数族参数化，允许参数估计被称为凸优化问题，我们还给出了一个凸松弛的任务，同时参数和结构学习使用组L1-正则化。该模型的模拟数据和细胞内流式细胞术数据进行评估。
2012-05-09 cs.LG stat.ME stat.ML
Adaptive Variational Inference in Probabilistic Graphical Models: Beyond Bethe, Tree-Reweighted, and Convex Free Energies
Graz University of Technology（格拉茨工业大学）
本文分析了两类包含Bethe近似、树重加权和凸自由能作为特例的近似方法，据此提出能够自动适应给定模型的自由能近似，并在多个困难问题上验证了其有效性。
2025-02-05 cs.AI cs.LG stat.ML
From probabilistic graphical models to generalized tensor networks for supervised learning
Max-Planck-Institut für Quantenoptik（马克斯·普朗克量子光学研究所）；Munich Center for Quantum Science and Technology (MCQST)（慕尼黑量子科学与技术中心（MCQST））
张量网络在物理学和计算机科学的各种应用中得到了广泛的应用，最近导致了机器学习中的理论见解和实用算法。在这项工作中，我们探索张量网络和概率图形模型之间的联系，并表明它激发了广义张量网络的定义，其中张量的信息可以在网络的其他部分复制和重用。我们讨论了量子物理中使用的广义张量网络架构（如弦键态）与机器学习中常用的架构之间的关系。我们提供了一个算法，训练这些网络在监督学习的背景下，并表明他们克服了常规张量网络在更高的维度的局限性，同时保持计算效率。还介绍了一种将神经网络和张量网络结合起来作为通用深度学习架构的一部分的方法。我们基准测试我们的算法的几个广义张量网络架构的分类图像和声音的任务，并表明它们优于以前介绍的张量网络算法。我们考虑的模型也可以在量子计算机上自然实现，并可能指导近期量子机器学习架构的开发。
2019-12-03 cond-mat.str-el cs.LG quant-ph
Non-approximate Inference for Collective Graphical Models on Path Graphs via Discrete Difference of Convex Algorithm
NTT Service Evolution Laboratories（NTT服务进化研究所）；NTT Communication Science Laboratories（NTT通信科学研究所）
根据多个人的数据计算的汇总计数数据的重要性继续增加。集体图模型（CGM）是一种分析聚合数据的概率方法。CGM中最重要的操作之一是在给定观测值下对未观测变量的最大后验概率（MAP）推断。由于一般CGM的MAP推理问题已被证明是NP困难的，已经提出了一种解决近似问题的方法。然而，这种方法有两个主要缺点。首先，当计数表中的值很小时，解的质量会恶化，因为近似变得不准确。其次，由于连续松弛被应用，输出的完整性约束被违反。为了解决这些问题，本文提出了一种新的方法，地图推理的路径图上的CGM。首先，我们表明，MAP推理问题可以制定为一个（非线性）最小成本流问题。然后，我们应用凸差分算法（DCA），这是一种通用的方法来最小化表示为凸函数和凹函数之和的函数。在我们的算法中，DCA中的重要子程序可以有效地计算最小凸成本流算法。实验结果表明，该方法比传统的方法输出更高的质量的解决方案。
2021-02-18 cs.LG stat.ML
Probabilistic Graphical Models and Tensor Networks: A Hybrid Framework
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Princeton University（普林斯顿大学）；X - The Moonshot Factory（X——登月工厂）
我们研究了离散概率建模的两种形式主义之间的对应关系：概率图模型（PGMs）和张量网络（TN），一个强大的模拟复杂量子系统的建模框架。PGM和TN的图形演算表现出许多相似之处，离散无向图形模型（UGM）是TN的特殊情况。然而，更一般的概率TN模型，如玻恩机（BM）采用复值隐藏状态，以产生新形式的概率之间的相关性。虽然表示用于捕获离散概率分布中的结构的新的建模资源，但是这种行为也使得标准PGM工具的直接应用不可能。我们的目标是通过引入一个混合PGM-TN形式主义，集成到PGM模型中的量子相关性的原则性的方式，使用物理动机的概念退相干弥合这一差距。我们首先证明，将退相干应用到整个BM模型将其转换为离散UGM，相反，离散UGM的任何子图都可以表示为退相干BM。这种方法允许一个广泛的家庭的概率TN模型被编码为部分decorescent BM，事实上，我们利用这两个模型家族的代表性的优势相结合。我们通过实验验证了这种混合模型在顺序建模任务中的性能，并确定了我们的方法在现有图形模型应用程序的背景下有前途的用途。
2021-06-29 cs.LG quant-ph stat.ML
Nonparametric mixture of Gaussian graphical models
图模型已被广泛用于研究高维数据的复杂依赖结构，通常假设观测数据遵循齐次图模型。然而，观察通常来自不同的资源，并在现实世界的应用中具有异构隐藏的共性。因此，估计异质依赖关系，发现具有一定共性的子总体是非常重要的。在这项工作中，我们介绍了一种新的正则化估计方案学习非参数混合高斯图形模型，扩展了高斯图形模型和混合模型的方法和适用性。我们提出了一个统一的惩罚似然方法来有效地估计非参数函数参数和异构图形参数。我们进一步设计了一个有效的广义有效的期望最大化算法，以解决三个重大挑战：高维，非凸性，标签切换。在理论上，我们研究了我们提出的算法的算法收敛性和我们提出的估计的渐近性质。在数值上，我们展示了我们的方法在模拟研究和实际应用中的性能，以估计人类大脑功能的连接从ADHD成像数据，其中两个异质条件依赖性解释通过分析人口统计变量和现有的科学研究结果的支持。
2015-12-31 stat.ME stat.ML
Alternating Direction Methods for Latent Variable Gaussian Graphical Model Selection
Aprasekaran，Parrilo and Willsky（2010）提出了一个凸优化问题来描述存在不可观测变量时的图形模型选择。这个凸优化问题的目的是估计一个逆协方差阵，可以分解成一个稀疏矩阵减去低秩矩阵从样本数据。解决这个凸优化问题是非常具有挑战性的，特别是对于大型问题。在本文中，我们提出了两个交替方向法解决这个问题。第一种方法是应用经典的乘子交替方向法将问题作为共识问题来解决。第二种方法是基于最接近梯度的乘子交替方向法。我们的方法开发和利用问题的特殊结构，从而可以非常有效地解决大型问题。证明了该方法的整体收敛结果。对合成数据和基因表达数据的数值结果表明，我们的方法通常在一到两分钟内解决一百万个变量的问题，并且通常比最先进的Newton-CG邻近点法快五到三十五倍。
2012-09-26 math.OC stat.ML
Interpretable Dynamic Network Modeling of Tensor Time Series via Kronecker Time-Varying Graphical Lasso
SANKEN, The University of Osaka（SANKEN大学）
本文提出KTVGL方法，通过Kronecker积形式建模张量时间序列，实现动态网络的可解释性建模，提升边估计精度并降低计算成本。
2026-02-09 cs.LG stat.ML
Efficient Latent Variable Graphical Model Selection via Split Bregman Method
University of California Irvine（加州大学欧文分校）
本文考虑潜变量存在时的协方差阵估计问题。在适当的条件下，可以通过一个易于处理的凸规划来学习观测变量的边际协方差阵，其中观测变量的集中矩阵被分解为稀疏矩阵（表示观测变量的图形结构）和低秩矩阵（表示潜在变量的边际效应）。我们提出了一个有效的基于分裂Bregman的一阶方法来解决凸问题。该算法在温和的条件下保证收敛。我们表明，我们的算法是显着的速度比最先进的算法在人工和真实世界的数据。将该算法应用于涉及数千个基因的基因表达数据，我们表明，观测变量之间的大部分相关性可以解释只有几十个潜在的因素。
2011-10-13 cs.LG stat.ML
Convex recovery of tensors using nuclear norm penalization
实矩阵奇异谱的凸函数的次微分在矩阵分析、最优化和自动控制理论中有着广泛的研究。张量空间上的凸分析和优化由于其在信号处理、统计和工程中的潜在应用而引起人们的广泛兴趣。本文的目的是将Tropp的结果推广到张量设置，给出了一个基于线性随机测量的低秩张量恢复问题的应用。
2015-06-08 stat.ML
GmGM: a Fast Multi-Axis Gaussian Graphical Model
University of Leeds（利兹大学）
本文提出GmGM模型，通过每轴仅一次特征分解同时学习共享轴的多张量稀疏图表示，实现数量级加速，适用于单细胞多组学等大型多模态数据。
2024-02-27 cs.LG stat.ML
Convex Coupled Matrix and Tensor Completion
我们提出了一组凸低秩诱导范数的耦合矩阵和张量（以下耦合张量），通过共同的模式共享矩阵和张量之间的信息。更具体地说，我们提出了一个混合的重叠迹范数和潜在的范数与矩阵迹范数，然后，我们提出了一个新的完成算法的基础上提出的规范。所提出的规范的一个关键优点是，它是凸的，可以找到一个全局最优解，而现有的耦合学习方法是非凸的。此外，我们分析了我们提出的规范，这表明我们提出的规范可以利用耦合张量的低秩导致更好的界限相比，非耦合规范的完备模型的超额风险界。通过合成和真实世界的数据实验，我们表明，所提出的完成算法相比，毫不逊色于现有的完成算法。
2018-06-14 stat.ML
Convergent Message-Passing Algorithms for Inference over General Graphs with Convex Free Energies
图模型中的推理问题可以表示为自由能函数的约束优化。当使用Bethe自由能时，置信传播（BP）算法的不动点对应于自由能的局部极小值。然而，BP在许多感兴趣的情况下未能收敛。此外，Bethe自由能是非凸的图形模型与周期，从而引入了很大的困难，推导出有效的算法，寻找局部极小的自由能一般图。在本文中，我们介绍了两个有效的BP算法，一个顺序和其他并行，保证收敛到全局最小值，对于任何图形，在一类能量称为“凸自由能”。此外，我们提出了一个有效的启发式设置的凸自由能的参数的基础上的图的结构。
2012-06-13 cs.LG stat.ML
Optimization Methods for Sparse Pseudo-Likelihood Graphical Model Selection
Lawrence Berkeley National Lab（劳伦斯伯克利国家实验室）；Stanford University（斯坦福大学）；University of Florida（佛罗里达大学）
稀疏高维图模型选择是当代机器学习的一个热门课题。为此，已经提出了各种有用的方法的上下文中的$\ell_1$惩罚估计的高斯框架。虽然这些逆协方差估计方法中的许多是可扩展的，并且利用了凸优化的最新进展，但它们仍然依赖于高斯函数形式。为了解决这一问题，最近提出了一种基于凸伪似然的部分相关图估计方法（CONCORD）。该方法使用基于伪似然的回归的坐标最小化，并且与高斯方法相比已被证明具有鲁棒的模型选择特性。然而，与高斯设置中的并行工作形成直接对比的是，这种新的凸伪似然框架没有利用机器学习文献中提出的用于凸优化的广泛的方法阵列。在本文中，我们提出了两个最接近的梯度方法（CONCORD-ISTA和CONCORD-FISTA）执行$\ell_1$正则化逆协方差阵估计的伪似然框架，以解决这个关键的差距。我们提出的时间比较与坐标明智的最小化，并证明我们的方法产生巨大的回报$\ell_1$惩罚部分相关图估计高斯设置之外，从而产生最快，最具可扩展性的方法，这样的问题。我们对我们的方法进行理论分析，并严格证明收敛性，并得出其速度。
2014-09-12 cs.LG stat.CO stat.ML
On Learning Discrete Graphical Models Using Greedy Methods
University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们解决的问题，学习的成对图形模型的结构，从样本中的高维设置。我们的第一个主要结果研究的稀疏性，或一致性稀疏模式恢复，性能的向前向后贪心算法适用于一般的统计模型。作为一个特殊的情况下，我们然后应用该算法通过邻域估计来学习离散图模型的结构。作为我们的一般结果的推论，我们推导出样本数n，最大节点度d和问题大小p的充分条件，以及模型参数的其他条件，使算法恢复所有的边缘具有高概率。我们的结果保证了样本缩放为n = Omega（d^2 log（p））的图选择，与现有的基于凸优化的算法相比，这些算法需要Ω（d^3 log（p））的样本复杂度。此外，贪心算法只需要一个受限制的强凸性条件，这通常比不可表示性假设更温和。最后，我们用数值模拟证实了这些结果。
2011-07-16 cs.LG math.ST stat.ML
A convex pseudo-likelihood framework for high dimensional partial correlation estimation with convergence guarantees
稀疏高维图形模型选择是现代统计学中一个非常有趣的话题。一种流行的方法是将l1-罚分应用于（1）参数似然，或者（2）正则化回归/伪似然，后者具有明显的优势，即它们不显式地假设高斯性。由于没有一个流行的方法提出解决伪似然为基础的目标函数具有可证明的收敛保证，这是不清楚，如果相应的估计存在或甚至是可计算的，或者如果他们实际上产生正确的偏相关图。本文提出了一种新的基于伪似然的图形化模型选择方法，旨在克服现有方法的一些缺点，但在同一时间保留各自的优点。特别是，我们引入了一个新的框架，导致凸制定的偏协方差回归图的问题，导致在一个目标函数组成的二次型。然后通过坐标方式优化目标。目标函数的特定函数形式便于进行严格的收敛性分析，从而保证收敛性;当维数大于样本量时，这是一个无法使用标准结果建立的重要属性，这在高维应用中经常发生。这些收敛保证确保估计量在非常一般的条件下是定义良好的，并且总是可计算的。此外，该方法产生的估计，具有良好的大样本特性，也尊重对称性。此外，模拟/真实数据，时序比较和数值收敛的应用程序被证明。我们还提出了一个新颖的统一框架，该框架将所有图形伪似然方法作为更一般公式的特殊情况，从而获得重要的见解。
2014-08-14 stat.CO stat.ME stat.ML
Non-Convex Projected Gradient Descent for Generalized Low-Rank Tensor Regression
本文研究了具有低秩结构的高维张量回归问题的学习问题。与学习高维模型相关的核心挑战之一是计算，因为底层优化问题通常是非凸的。虽然凸松弛可以导致多项式时间算法，但它们在实践中通常很慢。另一方面，非凸方法的理论保证有限。在本文中，我们提供了一个一般的框架，提供了理论保证学习高维张量回归模型在不同的低秩结构的假设下，使用投影梯度下降算法应用到一个潜在的非凸约束集$Θ$在其\emph{localized Gaussian width}。我们并列我们的理论结果，非凸投影梯度下降算法与以前的结果，正则化凸的方法。凸和非凸方法之间的两个主要区别是：（i）从计算的角度来看，非凸投影算子是否可计算以及投影是否具有期望的收缩性质，以及（ii）从统计上界的角度来看，非凸方法对于许多示例具有优越的速率。我们提供了三个具体的低维结构的例子，解决这些问题，并解释了非凸和凸的方法的优点和缺点。我们补充我们的理论结果与模拟表明，在几个常见的设置下的广义低秩张量回归，投影梯度下降方法是优越的统计误差和运行时间提供的投影下降算法的步长是适当选择。
2016-11-30 stat.ML
Provable Convex Co-clustering of Tensors
聚类分析是复杂异构数据模式发现的基本工具。流行的聚类方法主要集中在向量或矩阵变量数据，不适用于一般阶张量，这在现代科学和商业应用中经常出现。此外，由于其非凸公式的性质，现有的张量聚类解决方案的统计保证和计算效率之间存在差距。在这项工作中，我们通过开发一个可证明的张量共聚类凸公式来弥合这一差距。我们的凸共聚类（CoCo）估计享有稳定性保证，其计算和存储成本是多项式的数据的大小。我们进一步建立了一个非渐近误差界的CoCo估计，这揭示了一个令人惊讶的“祝福的维度”的现象，不存在于向量或矩阵变量聚类分析。我们的理论研究结果得到了广泛的模拟研究的支持。最后，我们将CoCo估计应用于一家大型在线公司的广告点击张量数据的聚类分析。我们的聚类结果提供了有意义的商业见解，以提高广告效果。
2020-10-23 stat.AP stat.CO stat.ME
Global sensitivity analysis in probabilistic graphical models
School of Human Sciences & Technology, IE University（IE大学人文科学与技术学院）
我们展示了如何应用Sobol的全局敏感性分析方法来衡量一组节点的证据对贝叶斯网络所表达的兴趣量的影响。该方法利用网络结构，将Sobol指数估计问题转化为边缘化推理问题。通过这种方式，我们可以有效地计算网络的指数，其中基于方差的敏感性分析的基于蛮力或蒙特卡罗的估计量需要数百万个昂贵的样本。此外，我们的方法给出了精确的结果时，使用精确的推理，也支持相关输入的情况下。该算法的灵感来自于张量网络领域，并将早期的张量灵敏度技术从非循环推广到循环情况。我们展示了三个中型到大型贝叶斯网络，涵盖项目风险管理和可靠性工程领域的方法。
2021-10-07 cs.AI cs.LG stat.ML
Exact Partitioning of High-order Models with a Novel Convex Tensor Cone Relaxation
Purdue University（普渡大学）
在本文中，我们提出了一个算法的精确划分的高阶模型。我们定义了一类一般的$m$ -度齐次多项式模型，它包含了几个例子，从以前的文献动机。精确划分可以用公式表示为张量优化问题。我们放松这个高阶组合问题的凸圆锥形问题。为此，我们仔细定义了Carathéodory对称张量锥，并证明了它的凸性，以及它的对偶锥的凸性。这使我们能够构建一个原始-对偶证书来表明凸松弛的解是正确的（等于未观察到的真实群分配），并分析精确划分的统计上限。
2021-07-15 cs.LG stat.ML
T-SVD Based Non-convex Tensor Completion and Robust Principal Component Analysis
Peking University（北京大学）
张量完备化和鲁棒主元分析在机器学习中得到了广泛的应用，但其关键问题是如何最小化张量秩，这是一个非常具有挑战性的问题。解决这一问题的一种常用方法是基于张量奇异值分解（T-SVD），用奇异值的$\ell_1-$范数来近似张量秩。此外，张量的稀疏性也可以用它的$\ell_1-$范数来度量。然而，$\ell_1$罚分本质上是有偏差的，因此结果将偏离。为了避免这种偏差，我们提出了一种新的非凸张量秩代理函数和一种新的非凸稀疏性度量。在这种新的设置中，通过使用的凸性，而不是一个优化最小化算法进一步设计张量完成和鲁棒的主成分分析。此外，我们分析了它的理论性质。最后，自然和高光谱图像上的实验证明了我们提出的方法的有效性和效率。
2021-05-25 cs.CV cs.LG stat.ML
Hinge-loss Markov Random Fields: Convex Inference for Structured Prediction
University of Maryland（马里兰大学）
结构域的图形模型是强大的工具，但组合预测空间的计算复杂性可能会对模型施加限制，或者需要近似推理才能处理。我们使用铰链损失马尔可夫随机场（HL-MRF），而不是在组合空间中工作，这是一类具有连续变量上的对数凹密度函数的图形模型，可以表示离散预测的置信度。本文证明了HL-MRF是快速准确的结构化预测的通用工具。我们介绍了第一个推理算法，这是可扩展的，适用于整个类的HL-MRF，并展示了如何训练HL-MRF与几个学习算法。我们的实验表明，HL-MRFs匹配或超过最先进的方法，包括离散模型，在四个应用领域的预测性能。
2013-09-26 cs.LG stat.ML
Probabilistic Discriminative Learning with Layered Graphical Models
Technical University of Munich（慕尼黑工业大学）；Bosch Center for Artificial intelligence（博世人工智能中心）
概率图模型传统上以其在生成建模中的成功而闻名。在这项工作中，我们提倡分层图形模型（LGM）的概率判别学习。为此，我们设计了与神经网络（NN）非常相似的LGM，也就是说，它们具有深层的层次结构和层之间的卷积或局部连接。配备了张量化截断变分推理，我们的LGM可以通过主流深度学习框架（如PyTorch）上的反向传播进行有效训练。为了处理连续值输入，我们使用一个简单而有效的软箝位策略进行有效的推理。通过对MNIST和FashionMNIST数据集上的图像分类进行广泛的实验，我们证明了LGM能够实现与类似架构的NN相当的竞争结果，同时保持透明的概率建模。
2019-01-31 cs.LG stat.ML
Robust Low-rank Tensor Recovery: Models and Algorithms
鲁棒张量恢复在鲁棒张量分解中起着重要作用，用于多线性数据分析，以防止异常值，严重损坏和缺失值，并具有多种应用。在本文中，我们研究了鲁棒的低秩张量恢复问题的凸优化框架，鲁棒主成分分析和张量完成的最新进展。我们提出了定制的优化算法与全局收敛的保证，解决约束和拉格朗日公式的问题。这些算法是基于高效的交替方向增广拉格朗日和加速邻近梯度方法。我们还提出了一个非凸模型，往往可以改善凸模型的恢复结果。我们调查的经验可恢复性的凸和非凸的配方和模拟数据上的算法的计算性能进行比较。我们通过一些实际应用证明了这种凸优化框架的鲁棒低秩张量恢复的实际有效性。
2013-11-24 stat.ML
Convergence rate of Bayesian tensor estimator: Optimal rate without restricted strong convexity
Tokyo Institute of Technology（东京工业大学）
本文研究了贝叶斯低秩张量估计的统计收敛速度。我们的问题设置是回归问题，其中估计数据的张量结构。这种问题设置在许多实际应用中出现，例如协同过滤、多任务学习和时空数据分析。的收敛速度进行了分析，在样本内和样本外的预测精度。它示出了一个接近最优的速率实现没有任何强凸性的观察。此外，我们表明，该方法具有自适应的真实张量的未知秩，也就是说，接近最优的速度取决于真实的秩，即使它是不知道的先验。
2014-08-13 cs.LG stat.ML
A New Convex Relaxation for Tensor Completion
University College London（伦敦大学学院）
我们研究了从一组线性测量中学习张量的问题。这个问题的一个突出的方法是基于迹范数正则化的推广，它已被广泛用于学习低秩矩阵，张量设置。在本文中，我们强调了这种方法的一些局限性，并提出了另一种凸松弛的欧几里德球。然后，我们描述了一种技术来解决相关的正则化问题，这是建立在交替方向的方法的乘数。在一个合成数据集和两个真实数据集上的实验表明，该方法在估计误差方面明显优于张量迹范数正则化，同时保持计算易处理。
2013-07-17 cs.LG math.OC stat.ML
Interpolating Convex and Non-Convex Tensor Decompositions via the Subspace Norm
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们考虑的问题，恢复低秩张量从其噪声观测。先前的工作已经示出了用于通过递归展开恢复大小为$n\times \cdots \times n$的$K$阶秩一张量的具有信噪比$O(n^{\lceil K/2 \rceil /2})$的恢复保证。在本文中，我们首先通过一个更简单的方法，但更仔细的分析，将这个界限改进为$O(n^{K/4})$。然后，我们提出了一个新的范数称为子空间范数，这是基于所提出的简单估计得到的因子的克罗内克积。强加的Kronecker结构使我们能够显示出一个近乎理想的$O(\sqrt{n}+\sqrt{H^{K-1}})$界，其中参数$H$控制从非凸估计到模式核范数最小化的混合。此外，我们的经验表明，子空间范数达到接近理想的去噪性能，即使与$H=O(1)$。
2015-10-27 cs.AI cs.LG stat.ML
MAP Estimation, Linear Programming and Belief Propagation with Convex Free Energies
在一般的图形模型中找到最可能的分配（MAP）是NP困难的，但是用最大乘积置信传播（BP）及其变体已经获得了很好的近似。特别是，它是已知的，使用BP单圈图或树加权BP上的任意图将给MAP解决方案，如果信念没有领带。在本文中，我们扩展的设置下，BP可以用来证明提取MAP。我们定义凸BP BP算法的基础上凸自由能近似，并表明这类包括普通BP单循环，树重BP和许多其他BP变种。我们表明，当没有领带，凸最大乘积BP的不动点将证明给MAP解决方案。我们还表明，凸和产品BP在足够小的温度下，可以用来解决线性规划所产生的放松MAP问题。最后，我们推导出一个新的条件，使我们能够推导出MAP解决方案，即使一些凸BP信念有联系。在实验中，我们表明，我们的定理使我们能够找到地图在许多现实世界中的图形模型的情况下，使用连接树的精确推理是不可能的。
2012-06-20 cs.AI cs.LG stat.ML
Beyond Unfolding: Exact Recovery of Latent Convex Tensor Decomposition under Reshuffling
RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）；Guangdong University of Technology（广东工业大学）
张量分解（TD）方法的精确恢复在无监督学习和科学数据分析中都是一个理想的性质。然而，TD方法的数值缺陷限制了它们在实际数据中的应用。作为替代方案，凸张量分解（CTD）被提出来缓解这些问题，但它的精确恢复属性没有得到适当的解决。为此，我们专注于潜在的凸张量分解（LCTD），一个实际上广泛使用的CTD模型，并严格证明了其精确恢复性质的充分条件。此外，我们表明，这样的属性也可以实现一个更一般的模型比LCTD。在新的模型中，我们将经典的张量折叠（反折叠）推广为重排操作，这是一种更灵活的映射，可以将矩阵的元素重新定位到张量中。利用重排操作和精确恢复特性，我们探索了（广义）LCTD的一个全新应用，即，图像隐写在合成数据上的实验结果验证了我们的理论，在图像隐写上的实验结果表明，我们的方法优于现有的方法。
2020-01-28 cs.LG stat.ML
Fair Community Detection and Structure Learning in Heterogeneous Graphical Models
Department of Electrical Engineering and Computer Science, University of Michigan（电气工程与计算机科学系，密歇根大学）
本文提出了一种基于ℓ₁正则化的伪似然方法，用于在异质图模型中实现公平的社区检测和结构学习。
2026-02-20 cs.LG stat.ML
Exact Tensor Completion from Sparsely Corrupted Observations via Convex Optimization
Hong Kong Baptist University（香港浸会大学）
本文对多维数组，特别是三阶张量的可证明估计进行了严格的分析，从其损坏项的随机子集。我们的研究很大程度上依赖于最近提出的张量代数框架，在该框架中，我们可以获得张量奇异值分解（t-SVD），这是类似于矩阵的SVD，并定义了一个新的概念张量秩称为管秩。我们证明，通过简单地解决一个凸规划，它最小化的加权组合的管核范数，凸代理管秩，和$\ell_1$ -范数，可以恢复一个不相干的张量完全压倒性的概率，只要它的管秩不是太大，腐败是合理的稀疏。有趣的是，我们的结果包括恢复保证的问题，张量完成（TC）和张量主成分分析（TRPCA）在相同的代数设置的特殊情况下。提出了一种交替方向乘子法（ADMM）算法来求解该优化问题。数值实验验证了我们的理论和实际应用证明了我们的算法的有效性。
2017-08-02 cs.CV cs.IT cs.LG
Convex Tensor Decomposition via Structured Schatten Norm Regularization
本文研究用于凸优化张量分解的结构化Schatten范数，从理论上证明“潜在”方法优于“重叠”方法，并建立对偶性、一致性和可识别性结果。
2013-03-26 cs.LG cs.NA math.NA
Spectral norm of random tensors
我们证明了随机$n_1\times n_2\times \cdots \times n_K$张量（或高阶数组）的谱范数在某些次高斯假设下的尺度为$O\left(\sqrt{(\sum_{k=1}^{K}n_k)\log(K)}\right)$。证明是基于一个覆盖数参数。由于谱范数与张量核范数（秩为1的张量集合中最紧的凸松弛）是对偶的，因此该界意味着凸松弛产生的样本复杂度在维数（和）上是线性的，这比最近提出的其他使用展开的张量秩凸松弛小小于。
2014-07-07 math.ST stat.ML stat.TH
