E-commerce Anomaly Detection: A Bayesian Semi-Supervised Tensor Decomposition Approach using Natural Gradients
India ML - Amazon.com（亚马逊印度机器学习部门）；Microsoft（微软）
异常检测有几个重要的应用。在本文中，我们的重点是使用张量分解检测异常的卖方审查数据。虽然张量分解大多是无监督的，但我们制定了贝叶斯半监督张量分解，以利用稀疏标记数据。此外，我们使用Polya-Gamma数据增强的半监督贝叶斯张量分解。最后，我们证明了Pólya-Gamma公式简化了部分自然梯度学习的Fisher信息矩阵的计算。我们的实验结果表明，我们的半监督方法优于最先进的无监督基线。部分自然梯度学习优于随机梯度学习和Online-EM，具有充分的统计量。
2018-05-29 cs.LG stat.ML
Tensor Decompositions in Deep Learning
University of Pisa（比萨大学）；Imperial College（帝国理工学院）
本文综述了张量分解在现代机器学习应用中的主题。它侧重于三个积极的研究课题，对社会具有重要意义。在简要回顾了多路数据分析的综合工作之后，我们考虑使用张量分解来压缩深度学习模型的参数空间。最后，我们将讨论如何利用张量方法来产生复杂数据（包括结构化信息）的更丰富的自适应表示。本文最后讨论了有趣的开放式研究的挑战。
2020-02-26 cs.LG stat.ML
A Multi-resolution Low-rank Tensor Decomposition
King Juan Carlos University（胡安·卡洛斯国王大学）
针对高阶张量分解的基础问题，受PARAFAC启发提出一种多分辨率低秩张量分解方法，通过将张量重塑为多个低维张量以分层利用不同分辨率结构，并讨论了交替最小二乘算法，初步仿真验证了其潜在实用性。
2024-05-27 cs.LG math.GM
Introduction to Tensor Decompositions and their Applications in Machine Learning
Technical University of Munich（慕尼黑工业大学）
张量是数值的多维数组，因此将矩阵推广到多维。虽然张量在$20^{\text{th}}$世纪首次出现在心理测量学社区，但从那时起，它们已经传播到许多其他学科，包括机器学习。张量及其分解在无监督学习环境中特别有益，但在其他子学科中也越来越受欢迎，如时态和多关系数据分析。本文的范围是对张量、它们的分解以及它们如何在机器学习中使用进行广泛的概述。作为其中的一部分，我们将介绍基本的张量概念，讨论为什么张量在分解的唯一性方面可以被认为比矩阵更严格，解释最重要的因式分解算法及其属性，提供张量分解在机器学习中应用的具体示例，对基于张量的混合模型估计进行案例研究，讨论研究现状，并提供对可用软件库的引用。
2017-11-29 cs.LG stat.ML
Mitigating Heterogeneity among Factor Tensors via Lie Group Manifolds for Tensor Decomposition Based Temporal Knowledge Graph Embedding
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）；National & Local Joint Engineering Research Center of Intelligent Information Processing Technology for Mongolian（蒙古智能信息处理技术国家地方联合工程研究中心）
针对时序知识图谱嵌入中因子张量异质性损害融合与链接预测的问题，本文提出将因子张量映射至统一光滑李群流形，给出理论证明并无额外参数地增强现有张量分解模型。
2025-02-19 cs.AI cs.CL cs.LG
TedNet: A Pytorch Toolkit for Tensor Decomposition Networks
Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；University of Electronic Science and Technology of China（电子科技大学）；Pengcheng Lab（鹏城实验室）
张量分解网络（Tensor Decomposition Networks，TDNs）因其固有的紧凑架构而流行。为了让更多研究人员能够灵活地利用TDNS，我们推出了一个名为TedNet的Pytorch工具包。TedNet实现了5种张量分解（即，CANDECOMP/PARAFAC（CP）、Block-Term Tucker（BTT）、Tucker-2、Tensor训练（TT）和Tensor Ring（TR）在传统的深度神经层、卷积层和全连接层上。通过利用基本层，可以简单地构造各种TDNs。TedNet可在https://github.com/tnbar/tednet上查阅。
2021-11-21 cs.AI cs.LG
Patch Tracking-based Streaming Tensor Ring Completion for Visual Data Recovery
University of Central Florida（中佛罗里达大学）
张量完备化的目的是通过利用部分观测张量的低秩结构来恢复其丢失的条目，并已被应用于视觉数据恢复。在数据顺序到达的应用中，例如流式视频完成，张量的丢失条目需要以流式方式动态恢复。传统的流张量补全算法将整个视觉数据视为张量，当张量子空间沿时间维度发生较大变化（例如由于视频帧之间的强烈运动）时，这种算法可能无法令人满意地工作。在本文中，我们开发了一种新的补丁跟踪为基础的流张量环完成框架的视觉数据恢复。给定新传入的帧，从先前帧跟踪小块。同时，对于每一个跟踪补丁，补丁张量构造从新的帧堆叠相似的补丁。然后使用流式张量环完成算法完成补丁张量，并使用完成的补丁张量恢复传入帧。我们提出了一种新的补丁跟踪策略，可以准确，有效地跟踪补丁丢失的数据。此外，提出了一种新的流张量环补齐算法，该算法能够高效准确地更新潜在核张量，补齐补丁张量中缺失的条目。大量的实验结果表明，所提出的算法相比，批处理和流式状态的最先进的张量完成方法的优越性能。
2022-08-12 cs.CV cs.LG
Fast and Guaranteed Tensor Decomposition via Sketching
Carnegie Mellon University（卡内基梅隆大学）；University of California Irvine（加州大学欧文分校）
张量CANDECOMP/PARAFAC（CP）分解在隐变量模型的统计学习和数据挖掘中有着广泛的应用。本文提出了一种基于草图的快速随机张量CP分解算法。我们建立在计数草图的想法，但引入了许多新颖的想法，这是唯一的张量。我们开发了新的方法，通过FFT的张量收缩的随机计算，没有明确形成的张量。这种张量收缩在分解方法中遇到，例如张量幂迭代和交替最小二乘法。我们还为对称张量设计了新颖的碰撞哈希，以进一步节省计算草图的时间。然后，我们将这些草图的想法与现有的白化和张量幂迭代技术，以获得最快的算法在稀疏和密集张量。根据我们的方法近似的质量不依赖于属性，如稀疏性，均匀性的元素，等，我们应用主题建模的方法，并获得有竞争力的结果。
2015-10-20 cs.LG stat.ML
VecHGrad for Solving Accurately Complex Tensor Decomposition
National Bank of Canada（加拿大国家银行）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）
张量分解是多维数组的因子分解技术的集合，是科学分析中最通用和最强大的工具之一。然而，由于其不断增加的大小，今天的数据集需要更复杂的张量分解，涉及多个矩阵和对角张量的因子分解，如DEDICOM或PARATUCK2。传统的张量分解算法，如随机梯度下降（SGD）、非线性共轭梯度下降（NCG）或交替最小二乘法（ALS），不能很容易地应用于复张量分解，或者经常导致收敛精度差。我们提出了一个新的分辨率算法，称为VechHGrad，在所有现有的张量分解，专门为复杂的分解，准确和高效的随机分辨率。VecHGrad依靠梯度、海森矢量积和自适应线搜索来确保优化过程中的收敛性。我们使用最先进的深度学习梯度优化模型对五个真实数据集进行了实验，结果表明VechHGrad能够更快地收敛，因为它的每步理论收敛速度都很高。因此，VechHGrad也针对深度学习优化器算法。对CP、DEDICOM和PARATUCK2等张量分解进行了实验。尽管VecHGrad涉及稍微复杂的更新规则，但它的运行时实际上与SGD、Adam或RMSProp等梯度方法的运行时类似。
2020-03-10 cs.LG stat.ML
Sampling-Based Decomposition Algorithms for Arbitrary Tensor Networks
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；UC Berkeley（加州大学伯克利分校）
我们将展示如何开发基于采样的交替最小二乘（ALS）算法，用于将张量分解为任何张量网络（TN）格式。如果TN格式满足某些温和的假设，则所得到的算法将具有输入次线性每次迭代成本。与以往大多数基于采样的张量分解ALS方法的工作不同，在我们的框架中的采样是根据ALS子问题中的设计矩阵的精确杠杆分数分布来完成的。我们实现和测试两个张量分解算法，使用我们的采样框架在特征提取实验中，我们将它们与其他一些分解算法进行比较。
2022-10-07 cs.LG cs.NA math.NA
Efficient Low Rank Tensor Ring Completion
Purdue University（普渡大学）；Tufts University（塔夫茨大学）
使用最近提出的张量环分解的矩阵乘积状态（MPS）表示，在本文中，我们提出了一个张量完成算法，这是一个交替的最小化算法，交替在MPS表示的因素。这种发展的动机部分是由矩阵完成算法的成功，交替（低秩）的因素。本文提出了张量环完备化算法的谱初始化方法，并分析了该算法的计算复杂性。我们数值比较它与现有的方法，采用低秩张量训练近似数据完成，并表明我们的方法优于现有的各种真正的计算机视觉设置，从而证明了张量环的表达能力的改善相比，张量训练。
2017-07-23 cs.IT cs.LG math.IT
Empirical Evaluation of Four Tensor Decomposition Algorithms
Institute for Information Technology（信息技术研究所）；National Research Council of Canada（加拿大国家研究委员会）
高阶张量分解类似于熟悉的奇异值分解（SVD），但它们超越了矩阵（二阶张量）的限制。奇异值分解是一个强大的工具，在信息检索、协同过滤、计算语言学、计算视觉等领域取得了令人瞩目的成果。然而，SVD仅限于二维数据阵列（两种模式），许多潜在的应用程序具有三种或更多种模式，这需要高阶张量分解。本文评估了高阶张量分解的四种算法：高阶奇异值分解（HO-SVD），高阶正交迭代（HOOI），切片投影（SP）和多层投影（MP）。我们在各种条件下测量四种算法的时间（经过的运行时间）、空间（RAM和磁盘空间要求）和拟合（张量重建精度）。我们发现，HO-SVD和HOOI的标准实现不能扩展到更大的张量，由于RAM的要求越来越高。我们建议HOOI用于足够小的张量，以提供可用的RAM和MP用于较大的张量。
2007-11-13 cs.CL cs.IR cs.LG
Stochastic Gradients for Large-Scale Tensor Decomposition
Sandia National Laboratories（桑迪亚国家实验室）；University of Michigan（密歇根大学）
张量分解是一个著名的多路数据分析工具。这项工作提出了使用随机梯度有效的广义正则多元（GCP）张量分解的大规模张量。GCP张量分解是最近提出的张量分解的一个版本，它允许各种损失函数，例如用于二进制数据的Bernoulli损失或用于鲁棒估计的Huber损失。随机梯度由张量的随机采样元素形成，并且是有效的，因为它可以使用稀疏矩阵化张量乘以Khatri-Rao乘积（MTTKRP）张量核来计算。对于稠密张量，我们简单地使用均匀采样。对于稀疏张量，我们提出了两种类型的分层抽样，优先考虑采样非零。数值结果表明，所提出的方法和其可扩展性的大规模问题的优势。
2020-07-08 cs.LG cs.NA math.NA
Rank Minimization on Tensor Ring: A New Paradigm in Scalable Tensor Decomposition and Completion
Graduate School of Engineering, Saitama Institute of Technology, Japan（日本萨它马工学院工程研究生院）；Tensor Learning Unit, RIKEN Center for Advanced Intelligence Project (AIP), Japan（日本RIKEN高级智能项目（AIP）张量学习单元）；School of Automation, Guangdong University of Technology, China（中国广东技术大学自动化学院）；School of Computer Science and Technology, Hangzhou Dianzi University, China（中国杭州电子科技大学计算机科学与技术学院）；Department of Electrical and Electronic Engineering, Imperial College London, United Kingdom（英国伦敦帝国理工学院电子与电气工程系）
本文提出基于张量环的秩最小化方法，通过引入凸替代项解决传统方法的高计算成本和模型复杂度敏感问题，提出两种算法以不同结构的Schatten范数优化张量环因子，实验显示其高效性与高性能。
2018-05-22 cs.LG cs.NA math.NA
More Efficient Sampling for Tensor Decomposition With Worst-Case Guarantees
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
最近的论文已经开发了交替最小二乘（ALS）的CP和张量环分解的每次迭代的成本是次线性的低秩分解的输入张量条目的数量的方法。然而，这些方法的每次迭代的成本仍然具有指数依赖于张量模式的数量时，选择参数，以实现某些最坏情况下的保证。在本文中，我们提出了基于采样的ALS方法的CP和张量环分解，其成本不具有这种指数依赖性，从而显着提高了以前的国家的最先进的。我们提供了详细的理论分析，并在特征提取实验中应用的方法。
2022-06-17 cs.LG cs.NA math.NA
Towards Programmable Memory Controller for Tensor Decomposition
University of Southern California（南加州大学）；US Army Research Lab（美国陆军研究实验室）
张量分解已经成为许多数据科学应用中的重要工具。稀疏矩阵化张量乘Khatri-Rao积（MTTKRP）是张量分解算法的核心，它将高阶真实世界的大张量分解为多个矩阵。加速MTTKRP可以极大地加快张量分解过程。稀疏MTTKRP是一个具有挑战性的内核加速，由于其不规则的内存访问特性。由于FPGA的能量效率和固有的并行性，在现场可编程门阵列（FPGA）上实现用于诸如MTTKRP的内核的加速器是有吸引力的。本文探讨了机会，关键的挑战，并在FPGA上设计一个自定义的存储器控制器MTTKRP的方法，同时探索这样一个自定义的存储器控制器的参数空间。
2022-07-17 cs.AR cs.DC cs.LG
Mode-wise Tensor Decompositions: Multi-dimensional Generalizations of CUR Decompositions
University of California, Los Angeles（加州大学洛杉矶分校）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
低阶张量近似是现代机器学习和数据科学中的基本工具。在本文中，我们研究了两个主要的张量CUR近似，即Chidori和纤维CUR的特征，扰动分析，和一个有效的采样策略。我们刻画了低多线性秩张量的精确张量CUR分解。我们还提出了理论误差界的张量CUR近似（对抗或高斯）噪声出现时。此外，我们表明，低成本的均匀采样是足够的张量CUR近似，如果张量有一个不相干的结构。经验性能评估，与合成和真实世界的数据集，建立张量CUR近似的速度优势，比其他国家的最先进的低多线性秩张量近似。
2021-06-25 cs.IT cs.LG cs.NA
Max vs Min: Tensor Decomposition and ICA with nearly Linear Sample Complexity
Georgia Tech（佐治亚理工学院）
我们提出了一个简单的，通用的技术，用于降低样本的复杂性矩阵和张量分解算法应用于分布。我们使用的技术，给一个多项式时间算法的标准ICA的样本复杂度接近线性的维度，从而大大提高了以前的界限。分析是基于随机多项式的属性，即多项式的合奏的间距。我们的技术也适用于张量分解的其他应用，包括球面高斯混合模型。
2015-06-19 cs.DS cs.LG stat.ML
Tensor Shape Search for Optimum Data Compression
University of California Santa Barbara（加州大学圣巴巴拉分校）
已经提出了各种张量分解方法用于数据压缩。在张量分解的现实应用中，为给定数据选择张量形状是一个挑战，张量的形状可能会影响误差和压缩比。在这项工作中，我们研究了张量的形状对张量分解的影响，并提出了一个优化模型，以找到一个最佳的张量训练（TT）分解的形状。所提出的优化模型最大化的TT分解的压缩比给定的误差界。我们实现了遗传算法（GA）与TT-SVD算法求解优化模型。我们将所提出的方法用于RGB图像的压缩。结果表明，建议的进化张量形状搜索的TT分解的有效性。
2022-05-21 cs.LG cs.NE eess.IV
DPar2: Fast and Scalable PARAFAC2 Decomposition for Irregular Dense Tensors
Seoul National University（首尔国立大学）
给定一个不规则的稠密张量，我们如何有效地分析它？不规则张量是矩阵的集合，其列具有相同的大小，而行具有彼此不同的大小。PARAFAC2分解是处理表型发现和趋势分析等应用中的不规则张量的基本工具。虽然存在几种PARAFAC2分解方法，但由于张量涉及昂贵的计算，因此它们的效率对于不规则稠密张量是有限的。在本文中，我们提出了DPar2，一个快速和可扩展的PARAFAC2不规则稠密张量分解方法。DPar2通过有效地压缩给定不规则张量的每个切片矩阵，使用压缩结果仔细重新排序计算，并利用张量的不规则性来实现高效率。大量的实验表明，DPar2在真实世界的不规则张量上比竞争对手快6.0倍，同时达到相当的精度。此外，DPar2在张量大小和目标秩方面是可伸缩的。
2022-06-02 cs.DB cs.LG cs.MS
Upper Bound of Real Log Canonical Threshold of Tensor Decomposition and its Application to Bayesian Inference
Tokyo Institute of Technology（东京工业大学）
本文针对奇异学习机张量分解数学性质未明的问题，利用代数几何方法推导其实对数规范阈值上界，理论计算贝叶斯泛化误差，并通过数值实验探讨其数学性质。
2023-04-03 cs.LG math.ST stat.ML
Efficient Orthogonal Tensor Decomposition, with an Application to Latent Variable Model Learning
University College London（伦敦大学学院）
将张量分解成正交因子是统计学、机器学习和信号处理中的众所周知的任务。我们研究正交的外积分解，其中分解中的被加数的因子需要在被加数之间正交，通过将这种正交分解与奇异值分解相关联。我们表明，这是一个非平凡的假设，张量有这样的正交分解，我们表明，它是唯一的（自然对称性）的情况下，它存在，在这种情况下，我们还演示了如何可以有效地和可靠地获得一系列奇异值分解。我们演示了如何因式分解算法可以应用于潜变量和混合模型的参数识别。
2013-09-12 cs.LG math.ST stat.ML
Fast and Accurate Randomized Algorithms for Low-rank Tensor Decompositions
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
低秩Tucker和CP张量分解是数据分析中的强大工具。广泛使用的交替最小二乘（ALS）方法，它解决了一系列超定最小二乘子问题，是昂贵的大型和稀疏张量。我们提出了一个快速，准确的草图ALS算法的塔克分解，解决了一系列的草图秩约束线性最小二乘法子问题。理论草图大小上界提供实现$O(ε)$相对误差的每个子问题与两个草图技术，TensorSketch和杠杆得分采样。实验结果表明，这种新的ALS算法，结合一个新的初始化方案的基础上随机测距仪，产量高达$22.0\%$相对分解残留的改善相比，国家的最先进的草图随机算法的各种合成和真实数据集的塔克分解。该Tucker-ALS算法进一步用于加速CP分解，通过使用随机化Tucker压缩，然后对Tucker核心张量进行CP分解。实验结果表明，该算法不仅收敛速度快，而且CP分解精度高。
2021-08-25 cs.DS cs.LG cs.NA
Exact nuclear norm, completion and decomposition for random overcomplete tensors via degree-4 SOS
The University of Chicago（芝加哥大学）
在本文中，我们表明，简单的半定程序的启发程度$4$ SOS可以精确地解决张量的核模，张量分解，张量完成问题的张量随机非对称组件。更确切地说，对于张量核范数和张量分解，我们证明了w. h. p.这些半定程序可以精确地找到具有$m\leq n^{3/2}/polylog(n)$随机非对称分量的$(n\times n\times n)$ -张量$\mathcal{T}$的核范数和分量。与大多数以前的算法不同，我们的算法提供了一个证书的分解，不需要了解分解中的组件的数量，也不做任何假设的分解中的系数的大小。作为一个副产品，我们表明，w. h. p.核范数分解正好符合最低秩分解张量与$m\leq n^{3/2}/polylog(n)$随机不对称组件。对于张量完备化，我们证明了Potechin & Steurer（2017）为具有正交分量的张量引入的半定程序w. h. p.可以仅从$n^{3/2}m polylog(n)$随机观察到的条目中精确地恢复具有$m$随机非对称分量的$(n\times n\times n)$ -张量$\mathcal{T}$。对于非正交张量，这提高了依赖于$m$的条目的数量所需的精确恢复在所有以前已知的算法，并提供了第一个理论保证，在过完备制度的精确张量完成。
2021-10-28 cs.CC cs.DS cs.LG
Supervised tensor decomposition with features on multiple modes
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
高阶张量在科学和工程领域受到越来越多的关注。虽然大多数张量分解方法都是针对单个张量观测而开发的，但科学研究通常会收集边信息，这些边信息以节点特征及其相互作用的形式与张量数据一起收集。这种数据问题在神经成像、网络分析和时空建模中很常见。识别高维张量和边信息之间的关系是重要但具有挑战性的。在这里，我们开发了一种张量分解方法，将多个特征矩阵作为边信息。与无监督张量分解不同，我们的监督分解捕获了局限于感兴趣的特征空间的数据张量的有效降维。进一步发展了一个有效的交替优化算法，具有可证明的谱初始化。我们的建议处理广泛的数据类型，包括连续，计数和二进制观测。我们将该方法应用于人类连接体计划的扩散张量成像数据和多关系政治网络数据。我们确定了关键的全球连接模式，并查明与可用功能相关的局部区域。我们的模拟代码，R-package tensorregress和论文中使用的数据集可以在https://CRAN.R-project.org/package=tensorregress上找到。
2021-08-18 cs.LG math.ST stat.ME
