Provable Sparse Tensor Decomposition
提出了一种新的稀疏张量分解方法，即张量截断功率（TTP）方法，它将变量选择纳入分解分量的估计中。稀疏性是通过嵌入在张量幂迭代中的有效截断步骤来实现的。我们的方法适用于一个广泛的家庭的高维潜变量模型，包括高维高斯混合和稀疏回归的混合。进一步进行了深入的理论研究。特别是，我们证明了最终的分解估计是保证实现局部统计率，并通过引入适当的初始化过程进一步加强它的全局统计率。在高维制度，所获得的统计率显着改善现有的非稀疏分解方法中所示。在大量的模拟结果和点击率预测和高维基因聚类的两个实际应用中，TTP的经验优势得到了证实。
2016-05-02 stat.ML
Tensor decomposition for learning Gaussian mixtures from moments
在数据处理和机器学习中，一个重要的挑战是恢复和利用能够准确表示数据的模型。我们考虑从数据集恢复高斯混合模型的问题。我们研究了对称张量分解方法来解决这个问题，其中张量是从数据分布的经验矩建立的。我们认为，可识别的张量，有一个独特的分解，表明时刻张量建立从球面高斯混合有这个属性。我们证明了插值度严格小于其阶数一半的对称张量是可识别的，并提出了一种基于简单线性代数运算的算法来计算其分解。说明性的实验表明，张量分解方法恢复高斯混合的影响，与其他国家的最先进的方法相比。
2022-06-21 math.AG stat.ML
Tensor Decomposition via Variational Auto-Encoder
张量分解是一种捕捉多路数据间高阶相互作用的重要技术。多线性张量合成方法，如Tucker分解和CANDECOMP/PARAFAC（CP），假设对象之间的复杂相互作用是多线性的，因此不足以表示数据中的非线性关系。这些方法的另一个假设是，预定义的排名应该是已知的。然而，张量的秩很难估计，特别是对于缺失值的情况。为了解决这些问题，我们设计了张量分解的贝叶斯生成模型。与传统的贝叶斯方法不同，本文采用变分自动编码器对张量项间的高阶相互作用进行建模。该模型综合了神经网络和非参数贝叶斯模型的优点，通过一个复杂的非线性函数（通过神经网络）代替传统贝叶斯张量分解中的多线性乘积，其参数可以从数据中学习。对合成数据和真实世界化学计量学张量数据的实验结果表明，我们的新模型可以实现比最先进的张量分解方法显着更高的预测性能。
2016-11-03 stat.ML
Sparse Nonnegative CANDECOMP/PARAFAC Decomposition in Block Coordinate Descent Framework: A Comparison Study
Dalian University of Technology（大连理工大学）
非负CANDECOMP/PARAFAC（NCP）分解是处理非负张量的重要工具。有时，需要额外的稀疏正则化来提取有意义的非负和稀疏分量。因此，需要一种可以有效地施加稀疏性的NCP优化方法。本文利用l1-范数构造了稀疏正则化的NCP（sparse NCP）。采用块坐标下降框架中的几种常用优化方法求解稀疏NCP，并对它们进行了深入的分析，给出了数学解。我们比较这些方法的实验合成和真实的张量数据，这两个都包含三阶和四阶的情况下。通过比较，总结出计算速度快、效果好的稀疏化方法。此外，提出了一种计算稀疏NCP目标函数和相对误差的加速方法，显著提高了张量分解的计算量，尤其是高阶张量的计算量。
2018-12-27 cs.LG eess.SP stat.ML
Understanding Deflation Process in Over-parametrized Tensor Decomposition
Duke University（杜克大学）；Shanghai Jiao Tong University（上海交通大学）
本文研究了过参数化张量分解问题上梯度流的训练动力学。从经验上讲，这种训练过程通常首先拟合较大的分量，然后发现较小的分量，这类似于张量分解算法中常用的张量收缩过程。我们证明，对于正交可分解的张量，稍微修改的版本的梯度流将遵循张量收缩过程，并恢复所有的张量分量。我们的证明表明，对于正交张量，梯度流动力学的工作原理类似于矩阵设置中的贪婪低秩学习，这是理解低秩张量过参数化模型的隐式正则化效应的第一步。
2021-10-24 cs.LG stat.ML
E-commerce Anomaly Detection: A Bayesian Semi-Supervised Tensor Decomposition Approach using Natural Gradients
India ML - Amazon.com（亚马逊印度机器学习部门）；Microsoft（微软）
异常检测有几个重要的应用。在本文中，我们的重点是使用张量分解检测异常的卖方审查数据。虽然张量分解大多是无监督的，但我们制定了贝叶斯半监督张量分解，以利用稀疏标记数据。此外，我们使用Polya-Gamma数据增强的半监督贝叶斯张量分解。最后，我们证明了Pólya-Gamma公式简化了部分自然梯度学习的Fisher信息矩阵的计算。我们的实验结果表明，我们的半监督方法优于最先进的无监督基线。部分自然梯度学习优于随机梯度学习和Online-EM，具有充分的统计量。
2018-05-29 cs.LG stat.ML
Tensor Decompositions in Deep Learning
University of Pisa（比萨大学）；Imperial College（帝国理工学院）
本文综述了张量分解在现代机器学习应用中的主题。它侧重于三个积极的研究课题，对社会具有重要意义。在简要回顾了多路数据分析的综合工作之后，我们考虑使用张量分解来压缩深度学习模型的参数空间。最后，我们将讨论如何利用张量方法来产生复杂数据（包括结构化信息）的更丰富的自适应表示。本文最后讨论了有趣的开放式研究的挑战。
2020-02-26 cs.LG stat.ML
Upper Bound of Real Log Canonical Threshold of Tensor Decomposition and its Application to Bayesian Inference
Tokyo Institute of Technology（东京工业大学）
本文针对奇异学习机张量分解数学性质未明的问题，利用代数几何方法推导其实对数规范阈值上界，理论计算贝叶斯泛化误差，并通过数值实验探讨其数学性质。
2023-04-03 cs.LG math.ST stat.ML
Introduction to Tensor Decompositions and their Applications in Machine Learning
Technical University of Munich（慕尼黑工业大学）
张量是数值的多维数组，因此将矩阵推广到多维。虽然张量在$20^{\text{th}}$世纪首次出现在心理测量学社区，但从那时起，它们已经传播到许多其他学科，包括机器学习。张量及其分解在无监督学习环境中特别有益，但在其他子学科中也越来越受欢迎，如时态和多关系数据分析。本文的范围是对张量、它们的分解以及它们如何在机器学习中使用进行广泛的概述。作为其中的一部分，我们将介绍基本的张量概念，讨论为什么张量在分解的唯一性方面可以被认为比矩阵更严格，解释最重要的因式分解算法及其属性，提供张量分解在机器学习中应用的具体示例，对基于张量的混合模型估计进行案例研究，讨论研究现状，并提供对可用软件库的引用。
2017-11-29 cs.LG stat.ML
Exact nuclear norm, completion and decomposition for random overcomplete tensors via degree-4 SOS
The University of Chicago（芝加哥大学）
在本文中，我们表明，简单的半定程序的启发程度$4$ SOS可以精确地解决张量的核模，张量分解，张量完成问题的张量随机非对称组件。更确切地说，对于张量核范数和张量分解，我们证明了w. h. p.这些半定程序可以精确地找到具有$m\leq n^{3/2}/polylog(n)$随机非对称分量的$(n\times n\times n)$ -张量$\mathcal{T}$的核范数和分量。与大多数以前的算法不同，我们的算法提供了一个证书的分解，不需要了解分解中的组件的数量，也不做任何假设的分解中的系数的大小。作为一个副产品，我们表明，w. h. p.核范数分解正好符合最低秩分解张量与$m\leq n^{3/2}/polylog(n)$随机不对称组件。对于张量完备化，我们证明了Potechin & Steurer（2017）为具有正交分量的张量引入的半定程序w. h. p.可以仅从$n^{3/2}m polylog(n)$随机观察到的条目中精确地恢复具有$m$随机非对称分量的$(n\times n\times n)$ -张量$\mathcal{T}$。对于非正交张量，这提高了依赖于$m$的条目的数量所需的精确恢复在所有以前已知的算法，并提供了第一个理论保证，在过完备制度的精确张量完成。
2021-10-28 cs.CC cs.DS cs.LG
Max vs Min: Tensor Decomposition and ICA with nearly Linear Sample Complexity
Georgia Tech（佐治亚理工学院）
我们提出了一个简单的，通用的技术，用于降低样本的复杂性矩阵和张量分解算法应用于分布。我们使用的技术，给一个多项式时间算法的标准ICA的样本复杂度接近线性的维度，从而大大提高了以前的界限。分析是基于随机多项式的属性，即多项式的合奏的间距。我们的技术也适用于张量分解的其他应用，包括球面高斯混合模型。
2015-06-19 cs.DS cs.LG stat.ML
Several Approximation Algorithms for Sparse Best Rank-1 Approximation to Higher-Order Tensors
Guangxi University（广西大学）
稀疏张量最佳秩1近似（BR1Approx）是稠密张量BR1Approx的稀疏推广，是稀疏矩阵BR1Approx的高阶扩展，是稀疏张量分解及相关统计和机器学习问题中的重要问题之一.利用问题的多重线性和稀疏结构，提出了四种易于实现、计算复杂性低、可作为迭代算法初始化步骤的近似算法。此外，理论上保证最坏情况下的近似下界证明了所有的算法。我们提供了数值实验的合成和真实的数据来说明所提出的算法的有效性。
2022-07-14 cs.LG cs.NA math.NA
Tensor Decompositions: A New Concept in Brain Data Analysis?
RIKEN BSI（理化学研究所脑科学综合研究中心）
本文综述了张量分解在多向BSS/ICA、特征提取、分类和多向PLS回归中的新模型与方法，涵盖约束Tucker和CP模型及惩罚张量分解。
2013-05-02 cs.LG cs.NA math.NA
Sparse and Low-rank Tensor Estimation via Cubic Sketchings
在本文中，我们提出了一个通用的框架稀疏和低秩张量估计从立方草图。基于稀疏张量分解和阈值梯度下降，提出了一种两阶段的非凸实现方法，保证了无噪声情况下的精确恢复和噪声情况下的稳定恢复。非渐近分析揭示了优化误差和统计误差之间的相互作用。所提出的方法被证明是在一定条件下的速率最优。作为一个技术副产品，新的高阶浓度不等式的研究高矩亚高斯张量。一个有趣的张量公式说明了在高维线性回归中高阶相互作用追踪的潜在应用。
2020-03-15 math.ST stat.ML stat.TH
Time-Aware Tensor Decomposition for Missing Entry Prediction
Seoul National University（首尔大学）
给定一个带有缺失项的时间演化张量，我们如何有效地对其进行因式分解以精确预测缺失项？张量分解已经被广泛用于分析各种多维真实世界数据。然而，现有的张量分解模型忽略了张量分解的时间属性，而大多数现实世界的数据是密切相关的时间。此外，它们没有解决由于时间片的稀疏性而导致的精度降低。如何利用张量分解的时间特性以及如何考虑时间片的稀疏性等关键问题尚未解决。在本文中，我们提出了TATD（时间感知张量分解），一种新的张量分解方法，真实世界的时间张量。TATD的目的是利用时间依赖性和随时间变化的稀疏性的真实世界的时间张量。我们提出了一种新的平滑正则化高斯核建模时间依赖。此外，我们通过考虑时变稀疏性来提高TATD的性能。我们设计了一个交替的优化方案，适合时间张量因式分解与我们的平滑正则化。大量的实验表明，TATD提供了国家的最先进的时间张量分解的准确性。
2020-12-16 cs.LG stat.ML
Covariate-assisted Sparse Tensor Completion
Purdue University（普渡大学）
我们的目标是在沿着张量模式存在协变量信息的情况下，可证明地完成稀疏且高度缺失的张量。我们的动机来自在线广告，其中用户在各种设备上对广告的点击率（CTR）形成了一个CTR张量，该张量具有约96%的缺失条目，并且在非缺失条目上具有许多零，这使得独立张量完成方法不能令人满意。除了CTR张量之外，通常还可以使用其他广告功能或用户特征。在本文中，我们提出了协变量辅助稀疏张量完成（COSTCO），将协变量信息的稀疏张量的恢复。关键思想是从张量和协变量矩阵中联合提取潜在分量，以学习合成表示。从理论上讲，我们推导出恢复张量分量的误差界，并明确量化由于协变量的揭示概率条件和张量恢复精度的改进。最后，我们将COSTCO应用于由CTR张量和协变量矩阵组成的广告数据集，导致比基线提高了23%的准确性。一个重要的副产品是，来自COSTCO的广告潜在成分揭示了有趣的广告集群，这对更好的广告定位很有用。
2022-04-07 cs.LG math.ST stat.ME
