Analyzing Tensor Power Method Dynamics in Overcomplete Regime
University of California, Irvine（加州大学欧文分校）；Duke University（杜克大学）
我们提出了一种新的分析动力学的张量幂迭代的过完备制度，张量CP秩大于输入尺寸。求过完备张量的CP分解一般是NP-困难的。我们考虑的情况下，张量分量是随机绘制的，并表明，简单的电源迭代恢复组件有界误差在温和的初始化条件下。我们将我们的分析应用于潜变量模型的无监督学习，如多视图混合模型和球形高斯混合模型。给定三阶矩张量，我们使用张量幂迭代来学习参数。我们证明了当隐元数$k$远大于数据维数$d$，直到$k = o(d^{1.5})$时，它可以正确地学习模型参数。我们用数据样本初始化幂迭代，并在样本信噪比的温和条件下证明了它的成功。我们的分析显着扩展了类的潜变量模型，谱方法是适用的。我们的分析还处理了输入张量中的噪声，导致样本复杂性，从而应用于学习潜变量模型。
2015-09-14 cs.LG stat.ML
Sample Complexity Analysis for Learning Overcomplete Latent Variable Models through Tensor Methods
University of California, Irvine（加州大学欧文分校）；Microsoft Research, New England（微软研究院新英格兰分院）
我们提供了学习隐变量模型的保证，强调过完备制度，其中潜在空间的维数可以超过观察到的维数。特别是，我们考虑多视图混合，球形高斯混合，ICA和稀疏编码模型。我们提供了严格的浓度范围内的经验时刻，通过新的覆盖参数。我们通过一个简单的张量功率更新算法分析参数恢复。在半监督环境下，我们利用标签或先验信息来获得模型参数的粗略估计，然后使用张量方法对未标记样本进行细化。我们建立了学习是可能的，当组件的数量尺度为$k=o(d^{p/2})$，其中$d$是观察到的维度，和$p$是张量方法中采用的观察到的时刻的顺序。我们的浓度界限分析也导致极大极小样本复杂性的半监督学习的球形高斯混合。在无监督设置中，我们使用一个简单的初始化算法的基础上SVD的张量切片，并提供更严格的条件下，$k\le βd$（其中常数$β$可以大于$1$），其中张量方法恢复多项式运行时间下的组件（和指数在$β$）的保证。我们的分析表明，通过张量分解方法，可以有效地学习各种过完备隐变量模型，并且计算和样本复杂度都很低。
2014-12-16 cs.LG math.PR stat.ML
Exact nuclear norm, completion and decomposition for random overcomplete tensors via degree-4 SOS
The University of Chicago（芝加哥大学）
在本文中，我们表明，简单的半定程序的启发程度$4$ SOS可以精确地解决张量的核模，张量分解，张量完成问题的张量随机非对称组件。更确切地说，对于张量核范数和张量分解，我们证明了w. h. p.这些半定程序可以精确地找到具有$m\leq n^{3/2}/polylog(n)$随机非对称分量的$(n\times n\times n)$ -张量$\mathcal{T}$的核范数和分量。与大多数以前的算法不同，我们的算法提供了一个证书的分解，不需要了解分解中的组件的数量，也不做任何假设的分解中的系数的大小。作为一个副产品，我们表明，w. h. p.核范数分解正好符合最低秩分解张量与$m\leq n^{3/2}/polylog(n)$随机不对称组件。对于张量完备化，我们证明了Potechin & Steurer（2017）为具有正交分量的张量引入的半定程序w. h. p.可以仅从$n^{3/2}m polylog(n)$随机观察到的条目中精确地恢复具有$m$随机非对称分量的$(n\times n\times n)$ -张量$\mathcal{T}$。对于非正交张量，这提高了依赖于$m$的条目的数量所需的精确恢复在所有以前已知的算法，并提供了第一个理论保证，在过完备制度的精确张量完成。
2021-10-28 cs.CC cs.DS cs.LG
Overcomplete Tensor Decomposition via Koszul-Young Flattenings
Computer Science Department, Princeton（普林斯顿大学计算机科学系）；Department of Mathematics, MIT（麻省理工学院数学系）；Computer Science and Artificial Intelligence Lab, MIT（麻省理工学院计算机科学与人工智能实验室）；Department of Mathematics, UC Davis（加州大学戴维斯分校数学系）
本文提出基于Koszul-Young展平的张量分解算法，在过完备条件下实现秩上界改进，并证明展平方法的局限性。
2025-10-23 cs.DS cs.LG
Smoothed Analysis of Tensor Decompositions
Google Research NYC（谷歌纽约研究中心）；Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）
低秩张量分解是学习生成模型的一个强大工具，唯一性结果使它们比矩阵分解方法具有显着优势。然而，张量提出了重大的算法挑战和张量模拟的矩阵代数工具包是不太可能存在的，因为硬度的结果。在过完备情况下（秩超过维数）的有效分解特别具有挑战性。我们引入了一个平滑的分析模型来研究这些问题，并开发了一个高效的算法，张量分解的高度过完备的情况下（秩多项式的尺寸）。在这种情况下，我们表明，我们的算法是强大的逆多项式错误-一个重要的属性，因为我们只允许一个多项式数量的样本在学习中的应用。虽然算法是已知的精确张量分解在一些过完备的设置，我们的主要贡献是在平滑分析的框架中分析其稳定性。我们的主要技术贡献是证明了扰动向量的张量积在鲁棒意义上是线性无关的（即相关矩阵具有至少是逆多项式的奇异值）。这一关键结果为将张量方法应用于平滑设置中的学习问题铺平了道路。特别是，我们使用它来获得学习多视图模型和轴对齐高斯混合的结果，其中有更多的“组件”比尺寸。这里的假设是，该模型是不对立的选择，形式化的扰动模型参数。我们相信这是一个有吸引力的方式来分析学习问题的现实情况，因为这个框架使我们能够克服许多通常使用张量方法的限制。
2014-01-20 cs.DS cs.LG stat.ML
Fast and Accurate Randomized Algorithms for Low-rank Tensor Decompositions
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
低秩Tucker和CP张量分解是数据分析中的强大工具。广泛使用的交替最小二乘（ALS）方法，它解决了一系列超定最小二乘子问题，是昂贵的大型和稀疏张量。我们提出了一个快速，准确的草图ALS算法的塔克分解，解决了一系列的草图秩约束线性最小二乘法子问题。理论草图大小上界提供实现$O(ε)$相对误差的每个子问题与两个草图技术，TensorSketch和杠杆得分采样。实验结果表明，这种新的ALS算法，结合一个新的初始化方案的基础上随机测距仪，产量高达$22.0\%$相对分解残留的改善相比，国家的最先进的草图随机算法的各种合成和真实数据集的塔克分解。该Tucker-ALS算法进一步用于加速CP分解，通过使用随机化Tucker压缩，然后对Tucker核心张量进行CP分解。实验结果表明，该算法不仅收敛速度快，而且CP分解精度高。
2021-08-25 cs.DS cs.LG cs.NA
Sampling-Based Decomposition Algorithms for Arbitrary Tensor Networks
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；UC Berkeley（加州大学伯克利分校）
我们将展示如何开发基于采样的交替最小二乘（ALS）算法，用于将张量分解为任何张量网络（TN）格式。如果TN格式满足某些温和的假设，则所得到的算法将具有输入次线性每次迭代成本。与以往大多数基于采样的张量分解ALS方法的工作不同，在我们的框架中的采样是根据ALS子问题中的设计矩阵的精确杠杆分数分布来完成的。我们实现和测试两个张量分解算法，使用我们的采样框架在特征提取实验中，我们将它们与其他一些分解算法进行比较。
2022-10-07 cs.LG cs.NA math.NA
More Efficient Sampling for Tensor Decomposition With Worst-Case Guarantees
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
最近的论文已经开发了交替最小二乘（ALS）的CP和张量环分解的每次迭代的成本是次线性的低秩分解的输入张量条目的数量的方法。然而，这些方法的每次迭代的成本仍然具有指数依赖于张量模式的数量时，选择参数，以实现某些最坏情况下的保证。在本文中，我们提出了基于采样的ALS方法的CP和张量环分解，其成本不具有这种指数依赖性，从而显着提高了以前的国家的最先进的。我们提供了详细的理论分析，并在特征提取实验中应用的方法。
2022-06-17 cs.LG cs.NA math.NA
Guaranteed Non-Orthogonal Tensor Decomposition via Alternating Rank-$1$ Updates
University of California, Irvine（加州大学欧文分校）；Microsoft Research, New England（微软新英格兰研究院）
本文提供了一种保证CP张量分解的局部和全局收敛性，通过交替秩-1更新方法，适用于非对称张量，证明了在特定秩条件下可恢复过完备分解。
2015-03-04 cs.LG cs.NA math.NA
Smoothed Analysis in Unsupervised Learning via Decoupling
University of Utah（犹他大学）；Northwestern University（西北大学）
平滑分析是克服无监督学习和高维数据分析中最坏情况棘手性的强大范例。虽然多项式时间平滑的分析保证已经获得了最坏情况下棘手的问题，如张量分解和学习混合高斯，这样的保证已经很难获得其他几个重要的问题，在无监督学习。分析算法的一个核心技术挑战是获得具有相关项的随机矩阵集合的最小奇异值的下界，这些最小奇异值由一些基本随机变量的低次多项式给出。在这项工作中，我们解决这一挑战，通过获得高置信下限的最小奇异值的新类别的结构化随机矩阵合奏的上述种类。然后，我们使用这些界限设计算法的多项式时间平滑的分析保证以下三个重要问题的无监督学习：1。鲁棒子空间恢复，当d维子空间$T \subset \mathbb{R}^n$中的内点的分数$α$对于任何常数整数$\ell>0$至少为$α> (d/n)^\ell$时。这与使用$α< d/n$时已知的最差情况棘手性以及之前需要$α> d/n$的平滑分析结果形成对比（Hardt和Moitra，2013）。2.学习过完备隐马尔可夫模型，其中状态空间的大小是观测值维度上的任何多项式。这给出了在平滑分析模型中学习过完备Hacker的第一个多项式时间保证。3.高阶张量分解，其中我们推广了所谓的FOOBI算法的Cardoso找到阶$\ell$秩一张量的子空间。这使我们能够获得多项式强大的分解算法的$2\ell$ '阶张量秩$O(n^{\ell})$。
2019-04-24 cs.DS cs.LG stat.ML
Stochastic Gradients for Large-Scale Tensor Decomposition
Sandia National Laboratories（桑迪亚国家实验室）；University of Michigan（密歇根大学）
张量分解是一个著名的多路数据分析工具。这项工作提出了使用随机梯度有效的广义正则多元（GCP）张量分解的大规模张量。GCP张量分解是最近提出的张量分解的一个版本，它允许各种损失函数，例如用于二进制数据的Bernoulli损失或用于鲁棒估计的Huber损失。随机梯度由张量的随机采样元素形成，并且是有效的，因为它可以使用稀疏矩阵化张量乘以Khatri-Rao乘积（MTTKRP）张量核来计算。对于稠密张量，我们简单地使用均匀采样。对于稀疏张量，我们提出了两种类型的分层抽样，优先考虑采样非零。数值结果表明，所提出的方法和其可扩展性的大规模问题的优势。
2020-07-08 cs.LG cs.NA math.NA
Mode-wise Tensor Decompositions: Multi-dimensional Generalizations of CUR Decompositions
University of California, Los Angeles（加州大学洛杉矶分校）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
低阶张量近似是现代机器学习和数据科学中的基本工具。在本文中，我们研究了两个主要的张量CUR近似，即Chidori和纤维CUR的特征，扰动分析，和一个有效的采样策略。我们刻画了低多线性秩张量的精确张量CUR分解。我们还提出了理论误差界的张量CUR近似（对抗或高斯）噪声出现时。此外，我们表明，低成本的均匀采样是足够的张量CUR近似，如果张量有一个不相干的结构。经验性能评估，与合成和真实世界的数据集，建立张量CUR近似的速度优势，比其他国家的最先进的低多线性秩张量近似。
2021-06-25 cs.IT cs.LG cs.NA
Latent Matrices for Tensor Network Decomposition and to Tensor Completion
Guangdong University of Technology（广东工业大学）；RIKEN（理化学研究所）
目前流行的全连接张量网络（FCTN）在数据压缩方面取得了很好的效果。然而，FCTN分解在面对高阶和大规模数据时存在计算速度慢的问题。很自然地，会出现一个有趣的问题：是否可以提出一个新的模型，将张量分解为更小的张量，并加快算法的计算速度？这项工作给出了一个积极的答案，制定了一个新的高阶张量分解模型，利用基于张量网络结构的潜在矩阵，它可以将张量分解成比FCTN分解更小规模的数据，因此我们将其命名为张量网络分解的潜在矩阵（LMTN）。此外，三个优化算法，LMTN-PAM，LMTN-SVD和LMTN-AR，已被开发并应用于张量完成任务。此外，我们提供了理论上的收敛性证明和复杂性分析这些算法。实验结果表明，该算法在深度学习数据集压缩和高阶张量补全方面均具有较好的效果，LMTN-SVD算法比FCTN-PAM算法快3-6倍，精度仅下降1.8点。
2022-10-19 cs.DS cs.LG
Tensor Decompositions: A New Concept in Brain Data Analysis?
RIKEN BSI（理化学研究所脑科学综合研究中心）
本文综述了张量分解在多向BSS/ICA、特征提取、分类和多向PLS回归中的新模型与方法，涵盖约束Tucker和CP模型及惩罚张量分解。
2013-05-02 cs.LG cs.NA math.NA
Efficient Tensor Decomposition
Northwestern University（西北大学）
本章研究将一个张量分解为一个组成秩为1的张量之和的问题。虽然张量分解在设计学习算法和数据分析中非常有用，但它们在最坏情况下是NP困难的。我们将看到如何在温和的假设下设计具有可证明保证的有效算法，并使用超越最坏情况的框架，如平滑分析。
2020-07-30 cs.DS cs.LG
Max vs Min: Tensor Decomposition and ICA with nearly Linear Sample Complexity
Georgia Tech（佐治亚理工学院）
我们提出了一个简单的，通用的技术，用于降低样本的复杂性矩阵和张量分解算法应用于分布。我们使用的技术，给一个多项式时间算法的标准ICA的样本复杂度接近线性的维度，从而大大提高了以前的界限。分析是基于随机多项式的属性，即多项式的合奏的间距。我们的技术也适用于张量分解的其他应用，包括球面高斯混合模型。
2015-06-19 cs.DS cs.LG stat.ML
Legendre Decomposition for Tensors
National Institute of Informatics（国立信息学研究所）；JST, PRESTO（日本科学技术振兴机构先驱研究项目）；RIKEN Center for Brain Science（理化学研究所脑科学中心）；The University of Tokyo（东京大学）；NIMS（日本物质材料研究机构）；RIKEN AIP（理化学研究所先进智能项目中心）
我们提出了一种新的非负张量分解方法，称为勒让德分解，它将输入张量分解为参数的乘法组合。由于信息几何理论的发展，重建张量是唯一的，总是最小化输入张量的库尔贝克-莱布勒散度。我们的经验表明，勒让德分解可以更准确地重建张量比其他非负张量分解方法。
2018-10-29 cs.LG stat.ML
Mitigating Heterogeneity among Factor Tensors via Lie Group Manifolds for Tensor Decomposition Based Temporal Knowledge Graph Embedding
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）；National & Local Joint Engineering Research Center of Intelligent Information Processing Technology for Mongolian（蒙古智能信息处理技术国家地方联合工程研究中心）
针对时序知识图谱嵌入中因子张量异质性损害融合与链接预测的问题，本文提出将因子张量映射至统一光滑李群流形，给出理论证明并无额外参数地增强现有张量分解模型。
2025-02-19 cs.AI cs.CL cs.LG
Understanding Deflation Process in Over-parametrized Tensor Decomposition
Duke University（杜克大学）；Shanghai Jiao Tong University（上海交通大学）
本文研究了过参数化张量分解问题上梯度流的训练动力学。从经验上讲，这种训练过程通常首先拟合较大的分量，然后发现较小的分量，这类似于张量分解算法中常用的张量收缩过程。我们证明，对于正交可分解的张量，稍微修改的版本的梯度流将遵循张量收缩过程，并恢复所有的张量分量。我们的证明表明，对于正交张量，梯度流动力学的工作原理类似于矩阵设置中的贪婪低秩学习，这是理解低秩张量过参数化模型的隐式正则化效应的第一步。
2021-10-24 cs.LG stat.ML
E-commerce Anomaly Detection: A Bayesian Semi-Supervised Tensor Decomposition Approach using Natural Gradients
India ML - Amazon.com（亚马逊印度机器学习部门）；Microsoft（微软）
异常检测有几个重要的应用。在本文中，我们的重点是使用张量分解检测异常的卖方审查数据。虽然张量分解大多是无监督的，但我们制定了贝叶斯半监督张量分解，以利用稀疏标记数据。此外，我们使用Polya-Gamma数据增强的半监督贝叶斯张量分解。最后，我们证明了Pólya-Gamma公式简化了部分自然梯度学习的Fisher信息矩阵的计算。我们的实验结果表明，我们的半监督方法优于最先进的无监督基线。部分自然梯度学习优于随机梯度学习和Online-EM，具有充分的统计量。
2018-05-29 cs.LG stat.ML
Tensor Decompositions in Deep Learning
University of Pisa（比萨大学）；Imperial College（帝国理工学院）
本文综述了张量分解在现代机器学习应用中的主题。它侧重于三个积极的研究课题，对社会具有重要意义。在简要回顾了多路数据分析的综合工作之后，我们考虑使用张量分解来压缩深度学习模型的参数空间。最后，我们将讨论如何利用张量方法来产生复杂数据（包括结构化信息）的更丰富的自适应表示。本文最后讨论了有趣的开放式研究的挑战。
2020-02-26 cs.LG stat.ML
A Multi-resolution Low-rank Tensor Decomposition
King Juan Carlos University（胡安·卡洛斯国王大学）
针对高阶张量分解的基础问题，受PARAFAC启发提出一种多分辨率低秩张量分解方法，通过将张量重塑为多个低维张量以分层利用不同分辨率结构，并讨论了交替最小二乘算法，初步仿真验证了其潜在实用性。
2024-05-27 cs.LG math.GM
Introduction to Tensor Decompositions and their Applications in Machine Learning
Technical University of Munich（慕尼黑工业大学）
张量是数值的多维数组，因此将矩阵推广到多维。虽然张量在$20^{\text{th}}$世纪首次出现在心理测量学社区，但从那时起，它们已经传播到许多其他学科，包括机器学习。张量及其分解在无监督学习环境中特别有益，但在其他子学科中也越来越受欢迎，如时态和多关系数据分析。本文的范围是对张量、它们的分解以及它们如何在机器学习中使用进行广泛的概述。作为其中的一部分，我们将介绍基本的张量概念，讨论为什么张量在分解的唯一性方面可以被认为比矩阵更严格，解释最重要的因式分解算法及其属性，提供张量分解在机器学习中应用的具体示例，对基于张量的混合模型估计进行案例研究，讨论研究现状，并提供对可用软件库的引用。
2017-11-29 cs.LG stat.ML
Empirical Evaluation of Four Tensor Decomposition Algorithms
Institute for Information Technology（信息技术研究所）；National Research Council of Canada（加拿大国家研究委员会）
高阶张量分解类似于熟悉的奇异值分解（SVD），但它们超越了矩阵（二阶张量）的限制。奇异值分解是一个强大的工具，在信息检索、协同过滤、计算语言学、计算视觉等领域取得了令人瞩目的成果。然而，SVD仅限于二维数据阵列（两种模式），许多潜在的应用程序具有三种或更多种模式，这需要高阶张量分解。本文评估了高阶张量分解的四种算法：高阶奇异值分解（HO-SVD），高阶正交迭代（HOOI），切片投影（SP）和多层投影（MP）。我们在各种条件下测量四种算法的时间（经过的运行时间）、空间（RAM和磁盘空间要求）和拟合（张量重建精度）。我们发现，HO-SVD和HOOI的标准实现不能扩展到更大的张量，由于RAM的要求越来越高。我们建议HOOI用于足够小的张量，以提供可用的RAM和MP用于较大的张量。
2007-11-13 cs.CL cs.IR cs.LG
TedNet: A Pytorch Toolkit for Tensor Decomposition Networks
Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；University of Electronic Science and Technology of China（电子科技大学）；Pengcheng Lab（鹏城实验室）
张量分解网络（Tensor Decomposition Networks，TDNs）因其固有的紧凑架构而流行。为了让更多研究人员能够灵活地利用TDNS，我们推出了一个名为TedNet的Pytorch工具包。TedNet实现了5种张量分解（即，CANDECOMP/PARAFAC（CP）、Block-Term Tucker（BTT）、Tucker-2、Tensor训练（TT）和Tensor Ring（TR）在传统的深度神经层、卷积层和全连接层上。通过利用基本层，可以简单地构造各种TDNs。TedNet可在https://github.com/tnbar/tednet上查阅。
2021-11-21 cs.AI cs.LG
Time-Aware Tensor Decomposition for Missing Entry Prediction
Seoul National University（首尔大学）
给定一个带有缺失项的时间演化张量，我们如何有效地对其进行因式分解以精确预测缺失项？张量分解已经被广泛用于分析各种多维真实世界数据。然而，现有的张量分解模型忽略了张量分解的时间属性，而大多数现实世界的数据是密切相关的时间。此外，它们没有解决由于时间片的稀疏性而导致的精度降低。如何利用张量分解的时间特性以及如何考虑时间片的稀疏性等关键问题尚未解决。在本文中，我们提出了TATD（时间感知张量分解），一种新的张量分解方法，真实世界的时间张量。TATD的目的是利用时间依赖性和随时间变化的稀疏性的真实世界的时间张量。我们提出了一种新的平滑正则化高斯核建模时间依赖。此外，我们通过考虑时变稀疏性来提高TATD的性能。我们设计了一个交替的优化方案，适合时间张量因式分解与我们的平滑正则化。大量的实验表明，TATD提供了国家的最先进的时间张量分解的准确性。
2020-12-16 cs.LG stat.ML
Fast and Guaranteed Tensor Decomposition via Sketching
Carnegie Mellon University（卡内基梅隆大学）；University of California Irvine（加州大学欧文分校）
张量CANDECOMP/PARAFAC（CP）分解在隐变量模型的统计学习和数据挖掘中有着广泛的应用。本文提出了一种基于草图的快速随机张量CP分解算法。我们建立在计数草图的想法，但引入了许多新颖的想法，这是唯一的张量。我们开发了新的方法，通过FFT的张量收缩的随机计算，没有明确形成的张量。这种张量收缩在分解方法中遇到，例如张量幂迭代和交替最小二乘法。我们还为对称张量设计了新颖的碰撞哈希，以进一步节省计算草图的时间。然后，我们将这些草图的想法与现有的白化和张量幂迭代技术，以获得最快的算法在稀疏和密集张量。根据我们的方法近似的质量不依赖于属性，如稀疏性，均匀性的元素，等，我们应用主题建模的方法，并获得有竞争力的结果。
2015-10-20 cs.LG stat.ML
VecHGrad for Solving Accurately Complex Tensor Decomposition
National Bank of Canada（加拿大国家银行）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）
张量分解是多维数组的因子分解技术的集合，是科学分析中最通用和最强大的工具之一。然而，由于其不断增加的大小，今天的数据集需要更复杂的张量分解，涉及多个矩阵和对角张量的因子分解，如DEDICOM或PARATUCK2。传统的张量分解算法，如随机梯度下降（SGD）、非线性共轭梯度下降（NCG）或交替最小二乘法（ALS），不能很容易地应用于复张量分解，或者经常导致收敛精度差。我们提出了一个新的分辨率算法，称为VechHGrad，在所有现有的张量分解，专门为复杂的分解，准确和高效的随机分辨率。VecHGrad依靠梯度、海森矢量积和自适应线搜索来确保优化过程中的收敛性。我们使用最先进的深度学习梯度优化模型对五个真实数据集进行了实验，结果表明VechHGrad能够更快地收敛，因为它的每步理论收敛速度都很高。因此，VechHGrad也针对深度学习优化器算法。对CP、DEDICOM和PARATUCK2等张量分解进行了实验。尽管VecHGrad涉及稍微复杂的更新规则，但它的运行时实际上与SGD、Adam或RMSProp等梯度方法的运行时类似。
2020-03-10 cs.LG stat.ML
Towards Programmable Memory Controller for Tensor Decomposition
University of Southern California（南加州大学）；US Army Research Lab（美国陆军研究实验室）
张量分解已经成为许多数据科学应用中的重要工具。稀疏矩阵化张量乘Khatri-Rao积（MTTKRP）是张量分解算法的核心，它将高阶真实世界的大张量分解为多个矩阵。加速MTTKRP可以极大地加快张量分解过程。稀疏MTTKRP是一个具有挑战性的内核加速，由于其不规则的内存访问特性。由于FPGA的能量效率和固有的并行性，在现场可编程门阵列（FPGA）上实现用于诸如MTTKRP的内核的加速器是有吸引力的。本文探讨了机会，关键的挑战，并在FPGA上设计一个自定义的存储器控制器MTTKRP的方法，同时探索这样一个自定义的存储器控制器的参数空间。
2022-07-17 cs.AR cs.DC cs.LG
Tensor Shape Search for Optimum Data Compression
University of California Santa Barbara（加州大学圣巴巴拉分校）
已经提出了各种张量分解方法用于数据压缩。在张量分解的现实应用中，为给定数据选择张量形状是一个挑战，张量的形状可能会影响误差和压缩比。在这项工作中，我们研究了张量的形状对张量分解的影响，并提出了一个优化模型，以找到一个最佳的张量训练（TT）分解的形状。所提出的优化模型最大化的TT分解的压缩比给定的误差界。我们实现了遗传算法（GA）与TT-SVD算法求解优化模型。我们将所提出的方法用于RGB图像的压缩。结果表明，建议的进化张量形状搜索的TT分解的有效性。
2022-05-21 cs.LG cs.NE eess.IV
Upper Bound of Real Log Canonical Threshold of Tensor Decomposition and its Application to Bayesian Inference
Tokyo Institute of Technology（东京工业大学）
本文针对奇异学习机张量分解数学性质未明的问题，利用代数几何方法推导其实对数规范阈值上界，理论计算贝叶斯泛化误差，并通过数值实验探讨其数学性质。
2023-04-03 cs.LG math.ST stat.ML
DPar2: Fast and Scalable PARAFAC2 Decomposition for Irregular Dense Tensors
Seoul National University（首尔国立大学）
给定一个不规则的稠密张量，我们如何有效地分析它？不规则张量是矩阵的集合，其列具有相同的大小，而行具有彼此不同的大小。PARAFAC2分解是处理表型发现和趋势分析等应用中的不规则张量的基本工具。虽然存在几种PARAFAC2分解方法，但由于张量涉及昂贵的计算，因此它们的效率对于不规则稠密张量是有限的。在本文中，我们提出了DPar2，一个快速和可扩展的PARAFAC2不规则稠密张量分解方法。DPar2通过有效地压缩给定不规则张量的每个切片矩阵，使用压缩结果仔细重新排序计算，并利用张量的不规则性来实现高效率。大量的实验表明，DPar2在真实世界的不规则张量上比竞争对手快6.0倍，同时达到相当的精度。此外，DPar2在张量大小和目标秩方面是可伸缩的。
2022-06-02 cs.DB cs.LG cs.MS
Efficient Orthogonal Tensor Decomposition, with an Application to Latent Variable Model Learning
University College London（伦敦大学学院）
将张量分解成正交因子是统计学、机器学习和信号处理中的众所周知的任务。我们研究正交的外积分解，其中分解中的被加数的因子需要在被加数之间正交，通过将这种正交分解与奇异值分解相关联。我们表明，这是一个非平凡的假设，张量有这样的正交分解，我们表明，它是唯一的（自然对称性）的情况下，它存在，在这种情况下，我们还演示了如何可以有效地和可靠地获得一系列奇异值分解。我们演示了如何因式分解算法可以应用于潜变量和混合模型的参数识别。
2013-09-12 cs.LG math.ST stat.ML
Scalable CP Decomposition for Tensor Learning using GPU Tensor Cores
University of Rochester（罗切斯特大学）；Huazhong University of Science and Technology（华中科技大学）
提出基于压缩的 Exascale-Tensor 张量分解框架，利用固有并行性提升计算效率，支持百亿亿级张量分解，规模扩大 8,000 倍且加速达 6.95 倍，并在基因分析和神经网络中验证其有效性。
2023-11-22 cs.AI cs.DC cs.LG
Tensor vs Matrix Methods: Robust Tensor Decomposition under Block Sparse Perturbations
University of California, Irvine（加州大学欧文分校）；Microsoft Research, India（微软研究院印度分院）
鲁棒张量CP分解涉及将张量分解为低秩和稀疏分量。提出了一种新的保证恢复的非凸迭代算法。它在通过梯度上升（张量幂方法的变体）的低秩CP分解和残差的硬阈值之间交替。我们证明了收敛到全局最优解的自然不相干条件下的低秩分量，和有界水平的稀疏扰动。我们比较我们的方法与自然基线，适用于强大的矩阵PCA的{ \em扁平}张量，或张量的矩阵切片。当稀疏张量是块结构时，我们的方法可以证明处理更大程度的扰动。这在许多应用中自然发生，例如视频中的活动检测任务。我们的实验验证了这些发现。因此，我们建立了张量方法可以容忍更高水平的总腐败相比，矩阵方法。
2016-04-27 cs.IT cs.LG math.IT
Supervised tensor decomposition with features on multiple modes
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
高阶张量在科学和工程领域受到越来越多的关注。虽然大多数张量分解方法都是针对单个张量观测而开发的，但科学研究通常会收集边信息，这些边信息以节点特征及其相互作用的形式与张量数据一起收集。这种数据问题在神经成像、网络分析和时空建模中很常见。识别高维张量和边信息之间的关系是重要但具有挑战性的。在这里，我们开发了一种张量分解方法，将多个特征矩阵作为边信息。与无监督张量分解不同，我们的监督分解捕获了局限于感兴趣的特征空间的数据张量的有效降维。进一步发展了一个有效的交替优化算法，具有可证明的谱初始化。我们的建议处理广泛的数据类型，包括连续，计数和二进制观测。我们将该方法应用于人类连接体计划的扩散张量成像数据和多关系政治网络数据。我们确定了关键的全球连接模式，并查明与可用功能相关的局部区域。我们的模拟代码，R-package tensorregress和论文中使用的数据集可以在https://CRAN.R-project.org/package=tensorregress上找到。
2021-08-18 cs.LG math.ST stat.ME
Tensor Decompositions for Modeling Inverse Dynamics
Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学）
本文提出利用张量分解方法建模逆动力学，通过处理位置、速度和加速度的三重交互，实现对高非线性函数的近似，并在SARCOS机械臂数据集上验证了其优越性。
2017-11-13 cs.LG cs.RO cs.SY
