Introduction to Tensor Decompositions and their Applications in Machine Learning
Technical University of Munich（慕尼黑工业大学）
张量是数值的多维数组，因此将矩阵推广到多维。虽然张量在$20^{\text{th}}$世纪首次出现在心理测量学社区，但从那时起，它们已经传播到许多其他学科，包括机器学习。张量及其分解在无监督学习环境中特别有益，但在其他子学科中也越来越受欢迎，如时态和多关系数据分析。本文的范围是对张量、它们的分解以及它们如何在机器学习中使用进行广泛的概述。作为其中的一部分，我们将介绍基本的张量概念，讨论为什么张量在分解的唯一性方面可以被认为比矩阵更严格，解释最重要的因式分解算法及其属性，提供张量分解在机器学习中应用的具体示例，对基于张量的混合模型估计进行案例研究，讨论研究现状，并提供对可用软件库的引用。
2017-11-29 cs.LG stat.ML
Time-Aware Tensor Decomposition for Missing Entry Prediction
Seoul National University（首尔大学）
给定一个带有缺失项的时间演化张量，我们如何有效地对其进行因式分解以精确预测缺失项？张量分解已经被广泛用于分析各种多维真实世界数据。然而，现有的张量分解模型忽略了张量分解的时间属性，而大多数现实世界的数据是密切相关的时间。此外，它们没有解决由于时间片的稀疏性而导致的精度降低。如何利用张量分解的时间特性以及如何考虑时间片的稀疏性等关键问题尚未解决。在本文中，我们提出了TATD（时间感知张量分解），一种新的张量分解方法，真实世界的时间张量。TATD的目的是利用时间依赖性和随时间变化的稀疏性的真实世界的时间张量。我们提出了一种新的平滑正则化高斯核建模时间依赖。此外，我们通过考虑时变稀疏性来提高TATD的性能。我们设计了一个交替的优化方案，适合时间张量因式分解与我们的平滑正则化。大量的实验表明，TATD提供了国家的最先进的时间张量分解的准确性。
2020-12-16 cs.LG stat.ML
Fast and Guaranteed Tensor Decomposition via Sketching
Carnegie Mellon University（卡内基梅隆大学）；University of California Irvine（加州大学欧文分校）
张量CANDECOMP/PARAFAC（CP）分解在隐变量模型的统计学习和数据挖掘中有着广泛的应用。本文提出了一种基于草图的快速随机张量CP分解算法。我们建立在计数草图的想法，但引入了许多新颖的想法，这是唯一的张量。我们开发了新的方法，通过FFT的张量收缩的随机计算，没有明确形成的张量。这种张量收缩在分解方法中遇到，例如张量幂迭代和交替最小二乘法。我们还为对称张量设计了新颖的碰撞哈希，以进一步节省计算草图的时间。然后，我们将这些草图的想法与现有的白化和张量幂迭代技术，以获得最快的算法在稀疏和密集张量。根据我们的方法近似的质量不依赖于属性，如稀疏性，均匀性的元素，等，我们应用主题建模的方法，并获得有竞争力的结果。
2015-10-20 cs.LG stat.ML
VecHGrad for Solving Accurately Complex Tensor Decomposition
National Bank of Canada（加拿大国家银行）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）
张量分解是多维数组的因子分解技术的集合，是科学分析中最通用和最强大的工具之一。然而，由于其不断增加的大小，今天的数据集需要更复杂的张量分解，涉及多个矩阵和对角张量的因子分解，如DEDICOM或PARATUCK2。传统的张量分解算法，如随机梯度下降（SGD）、非线性共轭梯度下降（NCG）或交替最小二乘法（ALS），不能很容易地应用于复张量分解，或者经常导致收敛精度差。我们提出了一个新的分辨率算法，称为VechHGrad，在所有现有的张量分解，专门为复杂的分解，准确和高效的随机分辨率。VecHGrad依靠梯度、海森矢量积和自适应线搜索来确保优化过程中的收敛性。我们使用最先进的深度学习梯度优化模型对五个真实数据集进行了实验，结果表明VechHGrad能够更快地收敛，因为它的每步理论收敛速度都很高。因此，VechHGrad也针对深度学习优化器算法。对CP、DEDICOM和PARATUCK2等张量分解进行了实验。尽管VecHGrad涉及稍微复杂的更新规则，但它的运行时实际上与SGD、Adam或RMSProp等梯度方法的运行时类似。
2020-03-10 cs.LG stat.ML
Dictionary-based Tensor Canonical Polyadic Decomposition
为了确保张量分解中提取的源的可解释性，本文介绍了一种基于字典的张量正则多元分解，该分解强制一个因子完全属于已知字典。提出了一种新的稀疏编码公式，使高维张量字典为基础的规范polyadic分解。在张量分解模型中使用字典的好处是探索参数可识别性和估计精度。通过对模拟数据的分解和高光谱图像的解混，对算法的性能进行了评价。
2017-11-08 stat.ML
Tensor Decompositions via Two-Mode Higher-Order SVD (HOSVD)
University of Pennsylvania（宾夕法尼亚大学）；University of California, Berkeley（加州大学伯克利分校）
张量分解在统计学和机器学习中有着广泛的应用，近年来，研究有效、精确的张量分解算法受到广泛关注。在这里，我们提出了一种新的方法建立在Kruskal的唯一性定理分解对称，近正交可分解张量。与经典的高阶奇异值分解展开张量沿单一的模式，我们考虑沿两个模式的展开，并使用秩-1的约束来表征底层组件。与以前的方法相比，这种张量分解方法可证明处理更大级别的噪声，并实现高估计精度。数值结果表明，我们的算法是强大的各种噪声分布，它的表现特别有利的阶数增加。
2017-04-19 cs.LG stat.ML
Orthogonalized ALS: A Theoretically Principled Tensor Decomposition Algorithm for Practical Use
Stanford University（斯坦福大学）
流行的交替最小二乘（ALS）算法张量分解是有效的，易于实现，但往往收敛到穷人的局部最优-特别是当权重的因素是不均匀的。我们提出了一种修改的ALS方法，是有效的标准ALS，但可证明恢复真实的因素与随机初始化下的张量的因素的标准不相干假设。我们证明了显着的实际优势，我们的方法比传统的ALS的各种任务的合成数据-包括张量因式分解的准确，嘈杂和过完整的张量，以及张量完成-和计算词嵌入从三阶词三次出现张量。
2017-09-23 cs.LG stat.ML
Max vs Min: Tensor Decomposition and ICA with nearly Linear Sample Complexity
Georgia Tech（佐治亚理工学院）
我们提出了一个简单的，通用的技术，用于降低样本的复杂性矩阵和张量分解算法应用于分布。我们使用的技术，给一个多项式时间算法的标准ICA的样本复杂度接近线性的维度，从而大大提高了以前的界限。分析是基于随机多项式的属性，即多项式的合奏的间距。我们的技术也适用于张量分解的其他应用，包括球面高斯混合模型。
2015-06-19 cs.DS cs.LG stat.ML
Upper Bound of Real Log Canonical Threshold of Tensor Decomposition and its Application to Bayesian Inference
Tokyo Institute of Technology（东京工业大学）
本文针对奇异学习机张量分解数学性质未明的问题，利用代数几何方法推导其实对数规范阈值上界，理论计算贝叶斯泛化误差，并通过数值实验探讨其数学性质。
2023-04-03 cs.LG math.ST stat.ML
Statistical mechanics of low-rank tensor decomposition
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
通常，跨多个模式收集的大型高维数据集可以组织为更高阶张量。低秩张量分解作为一种强大而广泛使用的工具，可以发现这些数据背后的简单低维结构。然而，我们目前缺乏对低秩张量分解的算法行为的理论理解。我们推导出贝叶斯近似消息传递（AMP）算法恢复任意形状的低秩张量埋在噪声中，我们采用动态平均场理论来精确地表征其性能。我们的理论揭示了容易，困难和不可能的推理制度之间的相变的存在，并显示出良好的匹配与模拟。此外，它揭示了几个定性的惊喜相比，对称，立方张量分解的行为。最后，我们比较我们的AMP算法最常用的算法，交替最小二乘（ALS），并证明AMP显着优于ALS的存在噪声。
2018-10-23 cs.LG q-bio.NC stat.ML
Tensor Ring Decomposition with Rank Minimization on Latent Space: An Efficient Approach for Tensor Completion
Saitama Institute of Technology（埼玉工业大学）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）；Imperial College London（帝国理工学院）；Hangzhou Dianzi University（杭州电子科技大学）；Guangdong University of Technology（广东工业大学）
传统的低秩张量分解模型在张量补全任务中，由于模型敏感性高，存在模型选择困难的问题。特别地，对于张量环（TR）分解，模型可能性的数量随着张量阶数呈指数增长，这使得找到最佳TR分解变得相当具有挑战性。在本文中，通过利用TR潜在空间的低秩结构，我们提出了一种新的张量完成方法，这是强大的模型选择。与对数据空间施加低秩约束不同，我们在潜在TR因子上引入核范数正则化，从而在更小的尺度上执行使用奇异值分解（SVD）的优化步骤。利用交替方向乘子法（ADMM）方案，可以同时获得具有最佳秩的潜在TR因子和恢复张量。我们提出的算法被证明可以有效地减轻TR秩选择的负担，从而大大降低了计算成本。在合成数据和真实数据上的大量实验结果表明，所提出的方法对最先进的算法具有优越的性能和效率。
2018-11-30 cs.CV cs.LG stat.ML
Tensor Decomposition via Variational Auto-Encoder
张量分解是一种捕捉多路数据间高阶相互作用的重要技术。多线性张量合成方法，如Tucker分解和CANDECOMP/PARAFAC（CP），假设对象之间的复杂相互作用是多线性的，因此不足以表示数据中的非线性关系。这些方法的另一个假设是，预定义的排名应该是已知的。然而，张量的秩很难估计，特别是对于缺失值的情况。为了解决这些问题，我们设计了张量分解的贝叶斯生成模型。与传统的贝叶斯方法不同，本文采用变分自动编码器对张量项间的高阶相互作用进行建模。该模型综合了神经网络和非参数贝叶斯模型的优点，通过一个复杂的非线性函数（通过神经网络）代替传统贝叶斯张量分解中的多线性乘积，其参数可以从数据中学习。对合成数据和真实世界化学计量学张量数据的实验结果表明，我们的新模型可以实现比最先进的张量分解方法显着更高的预测性能。
2016-11-03 stat.ML
Exact nuclear norm, completion and decomposition for random overcomplete tensors via degree-4 SOS
The University of Chicago（芝加哥大学）
在本文中，我们表明，简单的半定程序的启发程度$4$ SOS可以精确地解决张量的核模，张量分解，张量完成问题的张量随机非对称组件。更确切地说，对于张量核范数和张量分解，我们证明了w. h. p.这些半定程序可以精确地找到具有$m\leq n^{3/2}/polylog(n)$随机非对称分量的$(n\times n\times n)$ -张量$\mathcal{T}$的核范数和分量。与大多数以前的算法不同，我们的算法提供了一个证书的分解，不需要了解分解中的组件的数量，也不做任何假设的分解中的系数的大小。作为一个副产品，我们表明，w. h. p.核范数分解正好符合最低秩分解张量与$m\leq n^{3/2}/polylog(n)$随机不对称组件。对于张量完备化，我们证明了Potechin & Steurer（2017）为具有正交分量的张量引入的半定程序w. h. p.可以仅从$n^{3/2}m polylog(n)$随机观察到的条目中精确地恢复具有$m$随机非对称分量的$(n\times n\times n)$ -张量$\mathcal{T}$。对于非正交张量，这提高了依赖于$m$的条目的数量所需的精确恢复在所有以前已知的算法，并提供了第一个理论保证，在过完备制度的精确张量完成。
2021-10-28 cs.CC cs.DS cs.LG
Tensor vs Matrix Methods: Robust Tensor Decomposition under Block Sparse Perturbations
University of California, Irvine（加州大学欧文分校）；Microsoft Research, India（微软研究院印度分院）
鲁棒张量CP分解涉及将张量分解为低秩和稀疏分量。提出了一种新的保证恢复的非凸迭代算法。它在通过梯度上升（张量幂方法的变体）的低秩CP分解和残差的硬阈值之间交替。我们证明了收敛到全局最优解的自然不相干条件下的低秩分量，和有界水平的稀疏扰动。我们比较我们的方法与自然基线，适用于强大的矩阵PCA的{ \em扁平}张量，或张量的矩阵切片。当稀疏张量是块结构时，我们的方法可以证明处理更大程度的扰动。这在许多应用中自然发生，例如视频中的活动检测任务。我们的实验验证了这些发现。因此，我们建立了张量方法可以容忍更高水平的总腐败相比，矩阵方法。
2016-04-27 cs.IT cs.LG math.IT
Supervised tensor decomposition with features on multiple modes
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
高阶张量在科学和工程领域受到越来越多的关注。虽然大多数张量分解方法都是针对单个张量观测而开发的，但科学研究通常会收集边信息，这些边信息以节点特征及其相互作用的形式与张量数据一起收集。这种数据问题在神经成像、网络分析和时空建模中很常见。识别高维张量和边信息之间的关系是重要但具有挑战性的。在这里，我们开发了一种张量分解方法，将多个特征矩阵作为边信息。与无监督张量分解不同，我们的监督分解捕获了局限于感兴趣的特征空间的数据张量的有效降维。进一步发展了一个有效的交替优化算法，具有可证明的谱初始化。我们的建议处理广泛的数据类型，包括连续，计数和二进制观测。我们将该方法应用于人类连接体计划的扩散张量成像数据和多关系政治网络数据。我们确定了关键的全球连接模式，并查明与可用功能相关的局部区域。我们的模拟代码，R-package tensorregress和论文中使用的数据集可以在https://CRAN.R-project.org/package=tensorregress上找到。
2021-08-18 cs.LG math.ST stat.ME
Tensor decomposition for learning Gaussian mixtures from moments
在数据处理和机器学习中，一个重要的挑战是恢复和利用能够准确表示数据的模型。我们考虑从数据集恢复高斯混合模型的问题。我们研究了对称张量分解方法来解决这个问题，其中张量是从数据分布的经验矩建立的。我们认为，可识别的张量，有一个独特的分解，表明时刻张量建立从球面高斯混合有这个属性。我们证明了插值度严格小于其阶数一半的对称张量是可识别的，并提出了一种基于简单线性代数运算的算法来计算其分解。说明性的实验表明，张量分解方法恢复高斯混合的影响，与其他国家的最先进的方法相比。
2022-06-21 math.AG stat.ML
Tensor Decompositions for Modeling Inverse Dynamics
Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学）
本文提出利用张量分解方法建模逆动力学，通过处理位置、速度和加速度的三重交互，实现对高非线性函数的近似，并在SARCOS机械臂数据集上验证了其优越性。
2017-11-13 cs.LG cs.RO cs.SY
Tensor decomposition with generalized lasso penalties
我们提出了一种惩罚张量分解（PTD）的方法，估计多路数据中平滑变化的潜在因素。这概括了现有的工作稀疏张量分解和惩罚矩阵分解，在回归和平滑问题的广义套索平行的方式。我们的方法提出了许多不平凡的挑战，在建模和计算的交叉点，这是详细研究。提出了一种求解（PTD）问题的有效坐标优化算法，并给出了其收敛性质。该方法适用于模拟数据和真实数据在得克萨斯州的流感住院治疗。这些结果表明，我们的惩罚张量分解可以提供现有的方法进行分析，表现出平滑的空间或时间特征的多路数据的重大改进。
2016-05-13 stat.CO stat.ME stat.ML
Provable Sparse Tensor Decomposition
提出了一种新的稀疏张量分解方法，即张量截断功率（TTP）方法，它将变量选择纳入分解分量的估计中。稀疏性是通过嵌入在张量幂迭代中的有效截断步骤来实现的。我们的方法适用于一个广泛的家庭的高维潜变量模型，包括高维高斯混合和稀疏回归的混合。进一步进行了深入的理论研究。特别是，我们证明了最终的分解估计是保证实现局部统计率，并通过引入适当的初始化过程进一步加强它的全局统计率。在高维制度，所获得的统计率显着改善现有的非稀疏分解方法中所示。在大量的模拟结果和点击率预测和高维基因聚类的两个实际应用中，TTP的经验优势得到了证实。
2016-05-02 stat.ML
ADMM-MM Algorithm for General Tensor Decomposition
Nagoya Institute of Technology（名古屋工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能研究中心）
本文提出一种面向通用张量分解的统一ADMM-MM优化算法，支持多种损失函数与CP、Tucker、TT、TR等低秩模型，可即插即用扩展至各类张量分解应用。
2023-12-19 cs.CV eess.SP stat.ML
Sparse Logistic Tensor Decomposition for Binary Data
张量数据在许多应用领域中越来越可用。我们开发了几种张量分解方法的二进制张量数据。不同于经典的张量分解的连续值数据的平方误差损失，我们制定的逻辑张量分解的二进制数据与伯努利似然。为了提高估计因子的可解释性和进一步提高其稳定性，我们提出了考虑$\ell_{1}$ -范数和$\ell_{0}$ -范数正则似然的Logistic张量分解的稀疏公式。为了处理由此产生的优化问题，我们开发了计算算法，结合张量幂方法和优化最小化（MM）算法的优势。通过模拟研究，我们证明了我们的方法在分析二进制张量数据的效用。为了说明所提出的方法的有效性，我们分析了一个关于国家和他们的政治关系的数据集，并进行估计因素的共聚类，以找到国家和政治关系之间的关联。
2021-06-27 stat.AP stat.CO
Cramer-Rao-Induced Bounds for CANDECOMP/PARAFAC tensor decomposition
本文给出了噪声观测张量的正则多进（CP）或CANDECOMP/PARAFAC（CP）分解中因子矩阵的无偏估计方差的Cramer-Rao下界（CRLB），张量加上随机高斯独立同分布张量）。一个新的表达式推导出的约束上的均方角误差的因素沿选定的尺寸的张量的任意尺寸。该表达式需要更少的运算来计算边界，O（NR^6），比现有最好的最先进的算法，O（N^3R^6）操作，其中N和R是张量阶和张量秩。有见地的表达式推导出张量的秩1和秩2的任意尺寸和张量的任意尺寸和秩，其中两个因子矩阵有正交列。这些结果可以用来衡量不同近似CP分解算法的性能，预测其精度，并检查张量的给定分解的稳定性（条件是否CRLB是有限的或不）。推导了求解含缺失元素张量CP分解的阻尼Gauss-Newton方法所需的Hessian矩阵的新表达式。除了计算这些张量的CRLB外，该表达式还可用于设计分解的阻尼高斯-牛顿算法。
2012-12-04 math.ST stat.OT stat.TH
Tensor decompositions and sparse log-linear models
列联表分析通常依赖于对数线性模型，潜在结构分析提供了一种常见的替代方法。潜在结构模型导致多变量分类数据的概率质量函数的低秩张量因子分解，而对数线性模型通过稀疏性实现降维。很少有人知道这两种范式中的降维概念之间的关系。我们得到了几个结果有关的支持的对数线性模型的非负秩相关的概率张量。受这些发现的启发，我们提出了一个新的折叠Tucker类张量分解，桥接现有的PARAFAC和Tucker分解，提供了一个更灵活的框架，吝啬地表征多元分类数据。以贝叶斯推理方法，我们说明了新的分解在模拟和应用程序的功能残疾数据的优势。
2014-04-01 math.ST stat.TH
Legendre Decomposition for Tensors
National Institute of Informatics（国立信息学研究所）；JST, PRESTO（日本科学技术振兴机构先驱研究项目）；RIKEN Center for Brain Science（理化学研究所脑科学中心）；The University of Tokyo（东京大学）；NIMS（日本物质材料研究机构）；RIKEN AIP（理化学研究所先进智能项目中心）
我们提出了一种新的非负张量分解方法，称为勒让德分解，它将输入张量分解为参数的乘法组合。由于信息几何理论的发展，重建张量是唯一的，总是最小化输入张量的库尔贝克-莱布勒散度。我们的经验表明，勒让德分解可以更准确地重建张量比其他非负张量分解方法。
2018-10-29 cs.LG stat.ML
Scalable and Robust Tensor Ring Decomposition for Large-scale Data
University of Central Florida（中佛罗里达大学）
针对大规模张量数据中缺失条目与异常值损坏问题，提出一种可扩展且鲁棒的TR分解算法，通过自适应加权最速下降法填补缺失并识别异常值，结合快速Gram矩阵计算和随机子张量素描策略降低复杂度，在精度和速度上均优于现有方法。
2023-05-15 cs.LG stat.ML
Efficient Orthogonal Tensor Decomposition, with an Application to Latent Variable Model Learning
University College London（伦敦大学学院）
将张量分解成正交因子是统计学、机器学习和信号处理中的众所周知的任务。我们研究正交的外积分解，其中分解中的被加数的因子需要在被加数之间正交，通过将这种正交分解与奇异值分解相关联。我们表明，这是一个非平凡的假设，张量有这样的正交分解，我们表明，它是唯一的（自然对称性）的情况下，它存在，在这种情况下，我们还演示了如何可以有效地和可靠地获得一系列奇异值分解。我们演示了如何因式分解算法可以应用于潜变量和混合模型的参数识别。
2013-09-12 cs.LG math.ST stat.ML
Streaming data recovery via Bayesian tensor train decomposition
School of Information Science and Technology（信息科学与技术学院）；ShanghaiTech University（上海科技大学）
本文提出结合流式变分贝叶斯与TT格式的SPTT算法，通过建模TT核心后验恢复高阶、不完整且含噪的流式数据，并在合成与真实数据集上验证其优于现有方法。
2024-02-28 cs.LG math.ST stat.ML
