Sampling-Based Decomposition Algorithms for Arbitrary Tensor Networks
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);UC Berkeley(加州大学伯克利分校)
我们将展示如何开发基于采样的交替最小二乘(ALS)算法,用于将张量分解为任何张量网络(TN)格式。如果TN格式满足某些温和的假设,则所得到的算法将具有输入次线性每次迭代成本。与以往大多数基于采样的张量分解ALS方法的工作不同,在我们的框架中的采样是根据ALS子问题中的设计矩阵的精确杠杆分数分布来完成的。我们实现和测试两个张量分解算法,使用我们的采样框架在特征提取实验中,我们将它们与其他一些分解算法进行比较。
2022-10-07 cs.LG cs.NA math.NA
D-CDLF: Decomposition of Common and Distinctive Latent Factors for Multi-view High-dimensional Data
New York University(纽约大学)
本文提出D-CDLF分解方法,在双视图高维数据中同时实现共同潜在因子与独特潜在因子之间、以及不同视图独特潜在因子之间的不相关性,并讨论其高维估计。
2024-08-01 cs.LG stat.ML
Tensor Decompositions: A New Concept in Brain Data Analysis?
RIKEN BSI(理化学研究所脑科学综合研究中心)
本文综述了张量分解在多向BSS/ICA、特征提取、分类和多向PLS回归中的新模型与方法,涵盖约束Tucker和CP模型及惩罚张量分解。
2013-05-02 cs.LG cs.NA math.NA
More Efficient Sampling for Tensor Decomposition With Worst-Case Guarantees
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
最近的论文已经开发了交替最小二乘(ALS)的CP和张量环分解的每次迭代的成本是次线性的低秩分解的输入张量条目的数量的方法。然而,这些方法的每次迭代的成本仍然具有指数依赖于张量模式的数量时,选择参数,以实现某些最坏情况下的保证。在本文中,我们提出了基于采样的ALS方法的CP和张量环分解,其成本不具有这种指数依赖性,从而显着提高了以前的国家的最先进的。我们提供了详细的理论分析,并在特征提取实验中应用的方法。
2022-06-17 cs.LG cs.NA math.NA
Legendre Decomposition for Tensors
National Institute of Informatics(国立信息学研究所);JST, PRESTO(日本科学技术振兴机构先驱研究项目);RIKEN Center for Brain Science(理化学研究所脑科学中心);The University of Tokyo(东京大学);NIMS(日本物质材料研究机构);RIKEN AIP(理化学研究所先进智能项目中心)
我们提出了一种新的非负张量分解方法,称为勒让德分解,它将输入张量分解为参数的乘法组合。由于信息几何理论的发展,重建张量是唯一的,总是最小化输入张量的库尔贝克-莱布勒散度。我们的经验表明,勒让德分解可以更准确地重建张量比其他非负张量分解方法。
2018-10-29 cs.LG stat.ML
Latent Sequence Decompositions
Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院);Google Brain
我们提出了潜在序列分解(LSD)框架。LSD将序列分解为具有作为输入序列和输出序列两者的函数的可变量化输出单元。我们提出了一个训练算法,样本有效的扩展和近似解码算法。我们用华尔街日报的语音识别任务进行实验。我们的LSD模型实现了12.9%的WER,而字符基线为14.8%。当与编码器上的卷积网络相结合时,我们实现了9.6%的WER。
2017-02-07 cs.CL cs.LG stat.ML
Mode-wise Tensor Decompositions: Multi-dimensional Generalizations of CUR Decompositions
University of California, Los Angeles(加州大学洛杉矶分校);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
低阶张量近似是现代机器学习和数据科学中的基本工具。在本文中,我们研究了两个主要的张量CUR近似,即Chidori和纤维CUR的特征,扰动分析,和一个有效的采样策略。我们刻画了低多线性秩张量的精确张量CUR分解。我们还提出了理论误差界的张量CUR近似(对抗或高斯)噪声出现时。此外,我们表明,低成本的均匀采样是足够的张量CUR近似,如果张量有一个不相干的结构。经验性能评估,与合成和真实世界的数据集,建立张量CUR近似的速度优势,比其他国家的最先进的低多线性秩张量近似。
2021-06-25 cs.IT cs.LG cs.NA
Fast and Accurate Randomized Algorithms for Low-rank Tensor Decompositions
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
低秩Tucker和CP张量分解是数据分析中的强大工具。广泛使用的交替最小二乘(ALS)方法,它解决了一系列超定最小二乘子问题,是昂贵的大型和稀疏张量。我们提出了一个快速,准确的草图ALS算法的塔克分解,解决了一系列的草图秩约束线性最小二乘法子问题。理论草图大小上界提供实现$O(ε)$相对误差的每个子问题与两个草图技术,TensorSketch和杠杆得分采样。实验结果表明,这种新的ALS算法,结合一个新的初始化方案的基础上随机测距仪,产量高达$22.0\%$相对分解残留的改善相比,国家的最先进的草图随机算法的各种合成和真实数据集的塔克分解。该Tucker-ALS算法进一步用于加速CP分解,通过使用随机化Tucker压缩,然后对Tucker核心张量进行CP分解。实验结果表明,该算法不仅收敛速度快,而且CP分解精度高。
2021-08-25 cs.DS cs.LG cs.NA
Understanding Deflation Process in Over-parametrized Tensor Decomposition
Duke University(杜克大学);Shanghai Jiao Tong University(上海交通大学)
本文研究了过参数化张量分解问题上梯度流的训练动力学。从经验上讲,这种训练过程通常首先拟合较大的分量,然后发现较小的分量,这类似于张量分解算法中常用的张量收缩过程。我们证明,对于正交可分解的张量,稍微修改的版本的梯度流将遵循张量收缩过程,并恢复所有的张量分量。我们的证明表明,对于正交张量,梯度流动力学的工作原理类似于矩阵设置中的贪婪低秩学习,这是理解低秩张量过参数化模型的隐式正则化效应的第一步。
2021-10-24 cs.LG stat.ML
E-commerce Anomaly Detection: A Bayesian Semi-Supervised Tensor Decomposition Approach using Natural Gradients
India ML - Amazon.com(亚马逊印度机器学习部门);Microsoft(微软)
异常检测有几个重要的应用。在本文中,我们的重点是使用张量分解检测异常的卖方审查数据。虽然张量分解大多是无监督的,但我们制定了贝叶斯半监督张量分解,以利用稀疏标记数据。此外,我们使用Polya-Gamma数据增强的半监督贝叶斯张量分解。最后,我们证明了Pólya-Gamma公式简化了部分自然梯度学习的Fisher信息矩阵的计算。我们的实验结果表明,我们的半监督方法优于最先进的无监督基线。部分自然梯度学习优于随机梯度学习和Online-EM,具有充分的统计量。
2018-05-29 cs.LG stat.ML
Latent Diffeomorphic Dynamic Mode Decomposition
本研究提出结合DMD可解释性与RNN预测能力的LDDMD数据降维方法,在保持简洁可解释的同时可精准预测带记忆的复杂非线性系统,已成功应用于流量预测。
2025-08-01 cs.LG math.DS
Tensor Decompositions in Deep Learning
University of Pisa(比萨大学);Imperial College(帝国理工学院)
本文综述了张量分解在现代机器学习应用中的主题。它侧重于三个积极的研究课题,对社会具有重要意义。在简要回顾了多路数据分析的综合工作之后,我们考虑使用张量分解来压缩深度学习模型的参数空间。最后,我们将讨论如何利用张量方法来产生复杂数据(包括结构化信息)的更丰富的自适应表示。本文最后讨论了有趣的开放式研究的挑战。
2020-02-26 cs.LG stat.ML
Tensor Ring Decomposition with Rank Minimization on Latent Space: An Efficient Approach for Tensor Completion
Saitama Institute of Technology(埼玉工业大学);RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所先进智能项目中心);Imperial College London(帝国理工学院);Hangzhou Dianzi University(杭州电子科技大学);Guangdong University of Technology(广东工业大学)
传统的低秩张量分解模型在张量补全任务中,由于模型敏感性高,存在模型选择困难的问题。特别地,对于张量环(TR)分解,模型可能性的数量随着张量阶数呈指数增长,这使得找到最佳TR分解变得相当具有挑战性。在本文中,通过利用TR潜在空间的低秩结构,我们提出了一种新的张量完成方法,这是强大的模型选择。与对数据空间施加低秩约束不同,我们在潜在TR因子上引入核范数正则化,从而在更小的尺度上执行使用奇异值分解(SVD)的优化步骤。利用交替方向乘子法(ADMM)方案,可以同时获得具有最佳秩的潜在TR因子和恢复张量。我们提出的算法被证明可以有效地减轻TR秩选择的负担,从而大大降低了计算成本。在合成数据和真实数据上的大量实验结果表明,所提出的方法对最先进的算法具有优越的性能和效率。
2018-11-30 cs.CV cs.LG stat.ML
Introduction to Tensor Decompositions and their Applications in Machine Learning
Technical University of Munich(慕尼黑工业大学)
张量是数值的多维数组,因此将矩阵推广到多维。虽然张量在$20^{\text{th}}$世纪首次出现在心理测量学社区,但从那时起,它们已经传播到许多其他学科,包括机器学习。张量及其分解在无监督学习环境中特别有益,但在其他子学科中也越来越受欢迎,如时态和多关系数据分析。本文的范围是对张量、它们的分解以及它们如何在机器学习中使用进行广泛的概述。作为其中的一部分,我们将介绍基本的张量概念,讨论为什么张量在分解的唯一性方面可以被认为比矩阵更严格,解释最重要的因式分解算法及其属性,提供张量分解在机器学习中应用的具体示例,对基于张量的混合模型估计进行案例研究,讨论研究现状,并提供对可用软件库的引用。
2017-11-29 cs.LG stat.ML
Latent Mode Decomposition
Department of Electrical and Computer Engineering, Aarhus University(电气与计算机工程系,奥胡斯大学)
提出变分潜变量模态分解(VLMD),基于潜变量模态分解(LMD)模型,通过稀疏编码与模态分解结合,在低维潜空间求解约束变分优化,以高效、鲁棒且可解释的方式从多变量信号中提取振荡模态及连接结构,实验优于现有MMD方法。
2025-05-23 cs.LG
Time-Aware Tensor Decomposition for Missing Entry Prediction
Seoul National University(首尔大学)
给定一个带有缺失项的时间演化张量,我们如何有效地对其进行因式分解以精确预测缺失项?张量分解已经被广泛用于分析各种多维真实世界数据。然而,现有的张量分解模型忽略了张量分解的时间属性,而大多数现实世界的数据是密切相关的时间。此外,它们没有解决由于时间片的稀疏性而导致的精度降低。如何利用张量分解的时间特性以及如何考虑时间片的稀疏性等关键问题尚未解决。在本文中,我们提出了TATD(时间感知张量分解),一种新的张量分解方法,真实世界的时间张量。TATD的目的是利用时间依赖性和随时间变化的稀疏性的真实世界的时间张量。我们提出了一种新的平滑正则化高斯核建模时间依赖。此外,我们通过考虑时变稀疏性来提高TATD的性能。我们设计了一个交替的优化方案,适合时间张量因式分解与我们的平滑正则化。大量的实验表明,TATD提供了国家的最先进的时间张量分解的准确性。
2020-12-16 cs.LG stat.ML
Fast and Guaranteed Tensor Decomposition via Sketching
Carnegie Mellon University(卡内基梅隆大学);University of California Irvine(加州大学欧文分校)
张量CANDECOMP/PARAFAC(CP)分解在隐变量模型的统计学习和数据挖掘中有着广泛的应用。本文提出了一种基于草图的快速随机张量CP分解算法。我们建立在计数草图的想法,但引入了许多新颖的想法,这是唯一的张量。我们开发了新的方法,通过FFT的张量收缩的随机计算,没有明确形成的张量。这种张量收缩在分解方法中遇到,例如张量幂迭代和交替最小二乘法。我们还为对称张量设计了新颖的碰撞哈希,以进一步节省计算草图的时间。然后,我们将这些草图的想法与现有的白化和张量幂迭代技术,以获得最快的算法在稀疏和密集张量。根据我们的方法近似的质量不依赖于属性,如稀疏性,均匀性的元素,等,我们应用主题建模的方法,并获得有竞争力的结果。
2015-10-20 cs.LG stat.ML
VecHGrad for Solving Accurately Complex Tensor Decomposition
National Bank of Canada(加拿大国家银行);Université du Québec à Montréal(魁北克大学蒙特利尔分校)
张量分解是多维数组的因子分解技术的集合,是科学分析中最通用和最强大的工具之一。然而,由于其不断增加的大小,今天的数据集需要更复杂的张量分解,涉及多个矩阵和对角张量的因子分解,如DEDICOM或PARATUCK2。传统的张量分解算法,如随机梯度下降(SGD)、非线性共轭梯度下降(NCG)或交替最小二乘法(ALS),不能很容易地应用于复张量分解,或者经常导致收敛精度差。我们提出了一个新的分辨率算法,称为VechHGrad,在所有现有的张量分解,专门为复杂的分解,准确和高效的随机分辨率。VecHGrad依靠梯度、海森矢量积和自适应线搜索来确保优化过程中的收敛性。我们使用最先进的深度学习梯度优化模型对五个真实数据集进行了实验,结果表明VechHGrad能够更快地收敛,因为它的每步理论收敛速度都很高。因此,VechHGrad也针对深度学习优化器算法。对CP、DEDICOM和PARATUCK2等张量分解进行了实验。尽管VecHGrad涉及稍微复杂的更新规则,但它的运行时实际上与SGD、Adam或RMSProp等梯度方法的运行时类似。
2020-03-10 cs.LG stat.ML
Unfolding Latent Tree Structures using 4th Order Tensors
Georgia Institute of Technology(佐治亚理工学院)
从许多观察到的变量中发现潜在的结构是一项重要而又具有挑战性的学习任务。现有的发现潜在结构的方法通常需要未知数量的隐藏状态作为输入。在本文中,我们提出了一种基于四元组的方法,这是\emph{agnostic}这个数字。的关键贡献是一个新的秩表征的张量与边缘分布的四重峰。这种特性使我们能够设计一个基于\emph{nuclear norm}的测试来解决四重关系。然后,我们使用四重测试作为一个子程序,在一个分而治之的算法恢复潜在的树结构。在较弱的条件下,该算法是相容的,其错误概率随样本量的增加呈指数衰减。我们证明,所提出的方法相比,有利的替代品。在真实世界的股票数据集中,它还发现有意义的变量分组,并生成更好地拟合数据的模型。
2012-10-03 cs.LG stat.ML
Max vs Min: Tensor Decomposition and ICA with nearly Linear Sample Complexity
Georgia Tech(佐治亚理工学院)
我们提出了一个简单的,通用的技术,用于降低样本的复杂性矩阵和张量分解算法应用于分布。我们使用的技术,给一个多项式时间算法的标准ICA的样本复杂度接近线性的维度,从而大大提高了以前的界限。分析是基于随机多项式的属性,即多项式的合奏的间距。我们的技术也适用于张量分解的其他应用,包括球面高斯混合模型。
2015-06-19 cs.DS cs.LG stat.ML
Decoder Decomposition for the Analysis of the Latent Space of Nonlinear Autoencoders With Wind-Tunnel Experimental Data
Imperial College London(帝国理工学院);The Alan Turing Institute(阿兰·图灵研究所);Politecnico di Torino(都灵理工大学)
针对非线性自编码器难以解释的问题,提出解码器分解后处理方法,通过合成数据与风洞实验验证其可关联潜变量与流动相干结构、实现潜变量排序选择,助力自编码器的设计与解释。
2024-04-25 cs.LG physics.flu-dyn
Latent Matrices for Tensor Network Decomposition and to Tensor Completion
Guangdong University of Technology(广东工业大学);RIKEN(理化学研究所)
目前流行的全连接张量网络(FCTN)在数据压缩方面取得了很好的效果。然而,FCTN分解在面对高阶和大规模数据时存在计算速度慢的问题。很自然地,会出现一个有趣的问题:是否可以提出一个新的模型,将张量分解为更小的张量,并加快算法的计算速度?这项工作给出了一个积极的答案,制定了一个新的高阶张量分解模型,利用基于张量网络结构的潜在矩阵,它可以将张量分解成比FCTN分解更小规模的数据,因此我们将其命名为张量网络分解的潜在矩阵(LMTN)。此外,三个优化算法,LMTN-PAM,LMTN-SVD和LMTN-AR,已被开发并应用于张量完成任务。此外,我们提供了理论上的收敛性证明和复杂性分析这些算法。实验结果表明,该算法在深度学习数据集压缩和高阶张量补全方面均具有较好的效果,LMTN-SVD算法比FCTN-PAM算法快3-6倍,精度仅下降1.8点。
2022-10-19 cs.DS cs.LG
Upper Bound of Real Log Canonical Threshold of Tensor Decomposition and its Application to Bayesian Inference
Tokyo Institute of Technology(东京工业大学)
本文针对奇异学习机张量分解数学性质未明的问题,利用代数几何方法推导其实对数规范阈值上界,理论计算贝叶斯泛化误差,并通过数值实验探讨其数学性质。
2023-04-03 cs.LG math.ST stat.ML
Mitigating Heterogeneity among Factor Tensors via Lie Group Manifolds for Tensor Decomposition Based Temporal Knowledge Graph Embedding
College of Computer Science, Inner Mongolia University(内蒙古大学计算机学院);National & Local Joint Engineering Research Center of Intelligent Information Processing Technology for Mongolian(蒙古智能信息处理技术国家地方联合工程研究中心)
针对时序知识图谱嵌入中因子张量异质性损害融合与链接预测的问题,本文提出将因子张量映射至统一光滑李群流形,给出理论证明并无额外参数地增强现有张量分解模型。
2025-02-19 cs.AI cs.CL cs.LG
Exact nuclear norm, completion and decomposition for random overcomplete tensors via degree-4 SOS
The University of Chicago(芝加哥大学)
在本文中,我们表明,简单的半定程序的启发程度$4$ SOS可以精确地解决张量的核模,张量分解,张量完成问题的张量随机非对称组件。更确切地说,对于张量核范数和张量分解,我们证明了w. h. p.这些半定程序可以精确地找到具有$m\leq n^{3/2}/polylog(n)$随机非对称分量的$(n\times n\times n)$ -张量$\mathcal{T}$的核范数和分量。与大多数以前的算法不同,我们的算法提供了一个证书的分解,不需要了解分解中的组件的数量,也不做任何假设的分解中的系数的大小。作为一个副产品,我们表明,w. h. p.核范数分解正好符合最低秩分解张量与$m\leq n^{3/2}/polylog(n)$随机不对称组件。对于张量完备化,我们证明了Potechin & Steurer(2017)为具有正交分量的张量引入的半定程序w. h. p.可以仅从$n^{3/2}m polylog(n)$随机观察到的条目中精确地恢复具有$m$随机非对称分量的$(n\times n\times n)$ -张量$\mathcal{T}$。对于非正交张量,这提高了依赖于$m$的条目的数量所需的精确恢复在所有以前已知的算法,并提供了第一个理论保证,在过完备制度的精确张量完成。
2021-10-28 cs.CC cs.DS cs.LG
Tensor vs Matrix Methods: Robust Tensor Decomposition under Block Sparse Perturbations
University of California, Irvine(加州大学欧文分校);Microsoft Research, India(微软研究院印度分院)
鲁棒张量CP分解涉及将张量分解为低秩和稀疏分量。提出了一种新的保证恢复的非凸迭代算法。它在通过梯度上升(张量幂方法的变体)的低秩CP分解和残差的硬阈值之间交替。我们证明了收敛到全局最优解的自然不相干条件下的低秩分量,和有界水平的稀疏扰动。我们比较我们的方法与自然基线,适用于强大的矩阵PCA的{ \em扁平}张量,或张量的矩阵切片。当稀疏张量是块结构时,我们的方法可以证明处理更大程度的扰动。这在许多应用中自然发生,例如视频中的活动检测任务。我们的实验验证了这些发现。因此,我们建立了张量方法可以容忍更高水平的总腐败相比,矩阵方法。
2016-04-27 cs.IT cs.LG math.IT
Supervised tensor decomposition with features on multiple modes
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
高阶张量在科学和工程领域受到越来越多的关注。虽然大多数张量分解方法都是针对单个张量观测而开发的,但科学研究通常会收集边信息,这些边信息以节点特征及其相互作用的形式与张量数据一起收集。这种数据问题在神经成像、网络分析和时空建模中很常见。识别高维张量和边信息之间的关系是重要但具有挑战性的。在这里,我们开发了一种张量分解方法,将多个特征矩阵作为边信息。与无监督张量分解不同,我们的监督分解捕获了局限于感兴趣的特征空间的数据张量的有效降维。进一步发展了一个有效的交替优化算法,具有可证明的谱初始化。我们的建议处理广泛的数据类型,包括连续,计数和二进制观测。我们将该方法应用于人类连接体计划的扩散张量成像数据和多关系政治网络数据。我们确定了关键的全球连接模式,并查明与可用功能相关的局部区域。我们的模拟代码,R-package tensorregress和论文中使用的数据集可以在https://CRAN.R-project.org/package=tensorregress上找到。
2021-08-18 cs.LG math.ST stat.ME
On interpretability and proper latent decomposition of autoencoders
Imperial College London(帝国理工学院);The Alan Turing Institute(艾伦·图灵研究所);Delft University of Technology(代尔夫特理工大学)
湍流的动力学倾向于在统计稳定状态下仅占据相空间的一部分。从动力系统的观点来看,这部分是吸引子。湍流吸引子的知识至少有两个目的:(i)我们可以获得对湍流的物理洞察(吸引子的形状和几何形状是什么?),以及(ii)它提供了最小数量的自由度以精确地描述湍流动力学。自动编码器能够计算最佳潜在空间,这是动态的低阶表示。如果经过适当的训练和正确的设计,自动编码器可以学习湍流吸引子的近似,如Doan,Racha和Magri(2022)所示。在本文中,我们从理论上解释了自动编码器的变换。首先,我们注意到潜空间是一个曲线坐标的弯曲流形,可以用黎曼几何的简单工具进行分析。其次,我们刻画了隐空间的几何性质。我们从数学上推导出度量张量,它提供了流形的数学描述。第三,我们提出了一种方法-适当的潜在分解(PLD)-推广适当的正交分解的湍流的autocoder潜在空间。这种分解在弯曲的潜在空间中找到主导方向。这项理论工作为解释自动编码器和创建湍流的降阶模型提供了计算机会。
2022-12-02 cs.LG physics.flu-dyn
TwinTURBO: Semi-Supervised Fine-Tuning of Foundation Models via Mutual Information Decompositions for Downstream Task and Latent Spaces
Dept. of Computer Science University of Geneva(计算机科学系日内瓦大学);NVIDIA
该研究提出名为TwinTURBO的基础模型半监督微调框架,通过互信息分解分别优化下游任务空间与潜在空间,仅修改小型投影器模块,在少标记数据的分类任务上实现了显著性能提升。
2025-05-16 cs.CV cs.IT cs.LG
STELAR: Spatio-temporal Tensor Factorization with Latent Epidemiological Regularization
University of Minnesota(明尼苏达大学);IQVIA(艾昆纬);University of Virginia(弗吉尼亚大学);Temple University(天普大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
准确预测COVID-19等流行病的传播对实施有效的缓解措施至关重要。在这项工作中,我们开发了一个张量方法来预测多个地区同时流行趋势的演变。我们构造了一个3向时空张量(位置,属性,时间)的情况下计数,并提出了一个非负张量分解与潜在的流行病学模型正则化命名为STELAR。与标准的张量分解方法,不能预测板坯提前,STELAR使长期预测,通过一个系统的离散时间差分方程的广泛采用的流行病学模型,将潜在的时间正则化。我们使用潜在的而不是位置/属性级别的流行病学动态来捕获常见的流行病学特征子类型,并改善协作学习和预测。我们使用县级和州级COVID-19数据进行实验,并表明我们的模型可以识别流行病的有趣潜在模式。最后,我们评估了我们的方法的预测能力,与基线相比表现出优越的性能,县级预测的均方根误差降低了21%,平均绝对误差降低了25%。
2021-03-17 cs.LG q-bio.PE
A Multi-resolution Low-rank Tensor Decomposition
King Juan Carlos University(胡安·卡洛斯国王大学)
针对高阶张量分解的基础问题,受PARAFAC启发提出一种多分辨率低秩张量分解方法,通过将张量重塑为多个低维张量以分层利用不同分辨率结构,并讨论了交替最小二乘算法,初步仿真验证了其潜在实用性。
2024-05-27 cs.LG math.GM
Tensor Decompositions for Modeling Inverse Dynamics
Ludwig Maximilian University of Munich(慕尼黑路德维希-马克西米利安大学)
本文提出利用张量分解方法建模逆动力学,通过处理位置、速度和加速度的三重交互,实现对高非线性函数的近似,并在SARCOS机械臂数据集上验证了其优越性。
2017-11-13 cs.LG cs.RO cs.SY
Empirical Evaluation of Four Tensor Decomposition Algorithms
Institute for Information Technology(信息技术研究所);National Research Council of Canada(加拿大国家研究委员会)
高阶张量分解类似于熟悉的奇异值分解(SVD),但它们超越了矩阵(二阶张量)的限制。奇异值分解是一个强大的工具,在信息检索、协同过滤、计算语言学、计算视觉等领域取得了令人瞩目的成果。然而,SVD仅限于二维数据阵列(两种模式),许多潜在的应用程序具有三种或更多种模式,这需要高阶张量分解。本文评估了高阶张量分解的四种算法:高阶奇异值分解(HO-SVD),高阶正交迭代(HOOI),切片投影(SP)和多层投影(MP)。我们在各种条件下测量四种算法的时间(经过的运行时间)、空间(RAM和磁盘空间要求)和拟合(张量重建精度)。我们发现,HO-SVD和HOOI的标准实现不能扩展到更大的张量,由于RAM的要求越来越高。我们建议HOOI用于足够小的张量,以提供可用的RAM和MP用于较大的张量。
2007-11-13 cs.CL cs.IR cs.LG
LatentLLM: Attention-Aware Joint Tensor Compression
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
针对LLM/LMM资源消耗大的问题,提出注意力感知的联合张量分解框架,将模型转为降维潜在结构,在降低维度时显著提升压缩模型的准确性,并在多模态推理等基准上验证了优势。
2025-05-23 cs.AI cs.CL cs.CV
Tensor Network for Anomaly Detection in the Latent Space of Proton Collision Events at the LHC
Barcelona Supercomputing Center(巴塞罗那超级计算中心);European Organization for Nuclear Research (CERN)(欧洲核子研究中心)
本文提出一种基于张量网络(参数化矩阵乘积态)的LHC异常检测策略,处理自编码器生成的潜在表示,其在识别新现象上优于现有量子方法,展现出增强新物理发现的潜力。
2025-05-30 cond-mat.stat-mech cs.LG hep-ex
TedNet: A Pytorch Toolkit for Tensor Decomposition Networks
Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳));University of Electronic Science and Technology of China(电子科技大学);Pengcheng Lab(鹏城实验室)
张量分解网络(Tensor Decomposition Networks,TDNs)因其固有的紧凑架构而流行。为了让更多研究人员能够灵活地利用TDNS,我们推出了一个名为TedNet的Pytorch工具包。TedNet实现了5种张量分解(即,CANDECOMP/PARAFAC(CP)、Block-Term Tucker(BTT)、Tucker-2、Tensor训练(TT)和Tensor Ring(TR)在传统的深度神经层、卷积层和全连接层上。通过利用基本层,可以简单地构造各种TDNs。TedNet可在https://github.com/tnbar/tednet上查阅。
2021-11-21 cs.AI cs.LG
Proper Latent Decomposition
The Alan Turing Institute(阿兰·图灵研究所)
本文提出流形上POD的推广技术PLD,通过自编码器推断流形隐空间,结合微分几何工具开发数值框架,在层流和Kolmogorov湍流案例中验证了其在降阶建模与物理结构识别上的优势。
2024-12-01 cs.LG physics.flu-dyn
Towards Programmable Memory Controller for Tensor Decomposition
University of Southern California(南加州大学);US Army Research Lab(美国陆军研究实验室)
张量分解已经成为许多数据科学应用中的重要工具。稀疏矩阵化张量乘Khatri-Rao积(MTTKRP)是张量分解算法的核心,它将高阶真实世界的大张量分解为多个矩阵。加速MTTKRP可以极大地加快张量分解过程。稀疏MTTKRP是一个具有挑战性的内核加速,由于其不规则的内存访问特性。由于FPGA的能量效率和固有的并行性,在现场可编程门阵列(FPGA)上实现用于诸如MTTKRP的内核的加速器是有吸引力的。本文探讨了机会,关键的挑战,并在FPGA上设计一个自定义的存储器控制器MTTKRP的方法,同时探索这样一个自定义的存储器控制器的参数空间。
2022-07-17 cs.AR cs.DC cs.LG
Tensor Shape Search for Optimum Data Compression
University of California Santa Barbara(加州大学圣巴巴拉分校)
已经提出了各种张量分解方法用于数据压缩。在张量分解的现实应用中,为给定数据选择张量形状是一个挑战,张量的形状可能会影响误差和压缩比。在这项工作中,我们研究了张量的形状对张量分解的影响,并提出了一个优化模型,以找到一个最佳的张量训练(TT)分解的形状。所提出的优化模型最大化的TT分解的压缩比给定的误差界。我们实现了遗传算法(GA)与TT-SVD算法求解优化模型。我们将所提出的方法用于RGB图像的压缩。结果表明,建议的进化张量形状搜索的TT分解的有效性。
2022-05-21 cs.LG cs.NE eess.IV
DPar2: Fast and Scalable PARAFAC2 Decomposition for Irregular Dense Tensors
Seoul National University(首尔国立大学)
给定一个不规则的稠密张量,我们如何有效地分析它?不规则张量是矩阵的集合,其列具有相同的大小,而行具有彼此不同的大小。PARAFAC2分解是处理表型发现和趋势分析等应用中的不规则张量的基本工具。虽然存在几种PARAFAC2分解方法,但由于张量涉及昂贵的计算,因此它们的效率对于不规则稠密张量是有限的。在本文中,我们提出了DPar2,一个快速和可扩展的PARAFAC2不规则稠密张量分解方法。DPar2通过有效地压缩给定不规则张量的每个切片矩阵,使用压缩结果仔细重新排序计算,并利用张量的不规则性来实现高效率。大量的实验表明,DPar2在真实世界的不规则张量上比竞争对手快6.0倍,同时达到相当的精度。此外,DPar2在张量大小和目标秩方面是可伸缩的。
2022-06-02 cs.DB cs.LG cs.MS
A Simple and Scalable Tensor Completion Algorithm via Latent Invariant Constraint for Recommendation System
University of Missouri - Columbia(密苏里大学哥伦比亚分校);Stanford University(斯坦福大学)
在本文中,我们提供了一个潜在的变量制定和解决方案的推荐系统(RS)问题的基本属性,任何合理的解决方案应该满足。具体来说,我们研究了一种新的张量完成方法,以有效和准确地学习模型参数的不可观察的个人偏好,用户评级的基础。通过正则化张量分解与一个单一的潜在不变,我们实现了可靠的推荐系统的三个属性:(1)张量完成结果的唯一性与最小的假设,(2)单位的一致性,是独立于用户的任意偏好,和(3)共识排序保证,提供一致的排名之间的观察和未观察到的评分。我们的算法导致一个简单而优雅的推荐框架,具有线性计算复杂性,没有超参数调整。我们提供的实证结果表明,该方法显着优于目前最先进的方法。
2022-07-03 cs.HC cs.IR cs.LG
Efficient Tensor Decomposition
Northwestern University(西北大学)
本章研究将一个张量分解为一个组成秩为1的张量之和的问题。虽然张量分解在设计学习算法和数据分析中非常有用,但它们在最坏情况下是NP困难的。我们将看到如何在温和的假设下设计具有可证明保证的有效算法,并使用超越最坏情况的框架,如平滑分析。
2020-07-30 cs.DS cs.LG
Scalable CP Decomposition for Tensor Learning using GPU Tensor Cores
University of Rochester(罗切斯特大学);Huazhong University of Science and Technology(华中科技大学)
提出基于压缩的 Exascale-Tensor 张量分解框架,利用固有并行性提升计算效率,支持百亿亿级张量分解,规模扩大 8,000 倍且加速达 6.95 倍,并在基因分析和神经网络中验证其有效性。
2023-11-22 cs.AI cs.DC cs.LG