Efficient Tensor Robust PCA under Hybrid Model of Tucker and Tensor Train
Guangdong University of Technology(广东工业大学);RIKEN(理化学研究所)
张量鲁棒主元分析(TRPCA)是机器学习和计算机视觉中的一个基本模型。最近,张量训练(TT)分解已被证明有效地捕捉全球低秩相关的张量恢复任务。然而,由于实际应用中张量数据的规模较大,以往的TRPCA模型往往存在较高的计算复杂性。在这封信中,我们提出了一个有效的TRPCA下的混合模型的Tucker和TT。具体来说,在理论上,我们揭示了TT核范数(TTNN)的原始大张量可以等价地转换为一个更小的张量通过塔克压缩格式,从而显着降低奇异值分解(SVD)的计算成本。人工和真实世界张量数据的数值实验验证了所提出的模型的优越性。
2021-12-20 cs.LG
LORA-CRAFT: Cross-layer Rank Adaptation via Frozen Tucker Decomposition of Pre-trained Attention Weights
University of Central Florida(中央佛罗里达大学)
LORA-CRAFT通过冻结预训练注意力权重的Tucker分解实现跨层秩适应,以轻量级可训练变换调整模型,在GLUE基准测试中达到与现有方法相当的性能,仅需41K参数。
2026-09-24 cs.AI cs.LG
Personalized Tucker Decomposition: Modeling Commonality and Peculiarity on Tensor Data
Arizona State University(亚利桑那州立大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
本文提出个性化Tucker分解(perTucker),通过将张量数据分解为共享全局成分与个性化局部成分,并引入模式正交性假设和保证收敛的近端梯度正则化块坐标下降算法,有效建模跨数据集异质性,在异常检测、客户分类和聚类任务中验证了其有效性。
2023-09-07 cs.LG stat.ME
TuckER: Tensor Factorization for Knowledge Graph Completion
University of Edinburgh(爱丁堡大学);Samsung AI Centre(三星人工智能中心)
知识图谱是现实世界事实的结构化表示。然而,它们通常只包含所有可能事实的一小部分。链接预测是基于现有事实推断缺失事实的任务。我们提出了TuckER,一个相对简单,但功能强大的线性模型的基础上塔克分解的二进制张量表示的知识图谱三元组。TuckER在标准链接预测数据集上的表现优于以前最先进的模型,为更精细的模型提供了强大的基线。我们表明,TuckER是一个充分表达的模型,推导出其嵌入维数的足够的界限,并表明,以前介绍的几个线性模型可以被视为特殊情况下的TuckER。
2019-08-24 cs.LG stat.ML
Functional Bayesian Tucker Decomposition for Continuous-indexed Tensor Data
University of Utah(犹他大学)
针对连续索引张量数据,提出函数贝叶斯 Tucker 分解(FunBaT),用高斯过程建模潜在函数并转化为状态空间先验,结合高效消息传递推理,在合成和真实数据上验证了有效性。
2024-03-19 cs.LG stat.ML
Black-Box Approximation and Optimization with Hierarchical Tucker Decomposition
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Artificial Intelligence Research Institute (AIRI)(人工智能研究院(AIRI))
提出基于层级 Tucker 分解与 MaxVol 索引选择的黑盒逼近及无梯度优化方法 HTBB,在高达 1000 维的 14 个复杂问题上鲁棒且精度优于经典方法和张量列分解方法。
2024-02-05 cs.LG math.OC
Unsupervised feature selection using Bayesian Tucker decomposition
Department of Physics, Chuo University(筑波大学物理系);Graduate School of Social Data Science, Hitotsubashi University(早稻田大学社会数据科学研究生院)
本文提出贝叶斯塔克分解(BTuD)用于无监督特征选择,通过高阶正交迭代实现,适用于多种数据集,展示了其在基因表达等领域的应用潜力。
2026-04-18 cs.LG stat.ML
Compressing Recurrent Neural Networks Using Hierarchical Tucker Tensor Decomposition
Rutgers University(罗格斯大学);Columbia University(哥伦比亚大学)
循环神经网络(Recurrent Neural Network,RNN)在序列分析和建模中得到了广泛的应用。然而,在处理高维数据时,RNN通常需要非常大的模型大小,从而带来一系列部署挑战。虽然现有的张量分解方法可以提供良好的模型压缩性能,但这些方法仍然存在一些固有的局限性,如有限的表示能力和模型复杂度降低不足。为了克服这些限制,在本文中,我们提出使用分层塔克(HT)分解来开发紧凑的RNN模型。HT分解使分解后的RNN模型具有较强的层次结构,这对于提高RNN模型的表示能力是非常有用和重要的。同时,HT分解提供了更高的存储和计算成本降低比现有的张量分解方法的RNN压缩。我们的实验结果表明,与最先进的压缩RNN模型(如TT-LSTM,TR-LSTM和BT-LSTM)相比,我们提出的基于HT的LSTM(HT-LSTM)在不同数据集上实现了压缩比和测试精度的同时和显着提高。
2020-05-09 cs.LG stat.ML
A rank-adaptive higher-order orthogonal iteration algorithm for truncated Tucker decomposition
Peking University(北京大学)
提出了一种新的秩自适应高阶正交迭代(HOOI)算法,在给定的误差容限下计算高阶张量的截断Tucker分解,并证明了该算法是局部最优的和单调收敛的.一系列的数值实验进行了相关的合成和现实世界的张量,以表明所提出的秩自适应HOOI算法是在精度和效率方面的优势。对HOOI算法和经典的交替最小二乘法进行了进一步的分析,以进一步理解为什么可以将秩自适应引入HOOI算法以及它是如何工作的。
2021-10-25 cs.LG cs.NA math.NA
The Exact Solution to Rank-1 L1-norm TUCKER2 Decomposition
Rochester Institute of Technology(罗切斯特理工学院);University of California Riverside(加州大学河滨分校)
我们研究秩1 {L1-norm为基础的TUCKER 2}(L1-TUCKER 2)分解的3路张量,作为一个集合的$N$ $D \times M$矩阵被联合分解。我们的贡献如下。i)证明了该问题等价于$N$对映二元变量的组合优化问题。ii)我们推导了文献中的前两个算法的精确解。第一个算法在$N$中具有成本指数,第二个算法在$N$中具有成本多项式(在温和的假设下)。我们的算法是伴随着正式的复杂性分析。iii)我们进行了数值研究,以比较精确的L1-TUCKER 2(建议)与标准HOSVD,HOOI,GLRAM,PCA,L1-PCA和TPCA-L1的性能。我们的研究表明,L1-TUCKER 2优于(在张量近似)所有上述同行时,处理的数据是离群损坏。
2017-10-31 cs.DS cs.LG stat.ML
HOTCAKE: Higher Order Tucker Articulated Kernels for Deeper CNN Compression
Institute for Clarity in Documentation(清晰度文献研究所);Inria Paris-Rocquencourt(法国国家信息与自动化研究所巴黎-罗康库尔中心);Rajiv Gandhi University(拉吉夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕尔默研究实验室)
新兴的边缘计算促进了在不牺牲太多准确性的情况下压缩神经网络的巨大兴趣。在这方面,低秩张量分解构成了一个强大的工具,通过将4路核张量分解为多级较小的张量来压缩卷积神经网络(CNN)。在Tucker-2分解的基础上,提出了一种广义高阶Tucker关节核(HOTCAKE)方法,该方法包括四个步骤:输入通道分解、引导Tucker秩选择、高阶Tucker分解和微调。通过对每个CONV层进行HOTCAKE,获得了具有适度精度折衷的高度压缩的CNN模型。实验表明,HOTCAKE甚至可以压缩预压缩的模型,并产生最先进的轻量级网络。
2020-02-28 cs.CV cs.LG stat.ML
Fast and Accurate Randomized Algorithms for Low-rank Tensor Decompositions
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
低秩Tucker和CP张量分解是数据分析中的强大工具。广泛使用的交替最小二乘(ALS)方法,它解决了一系列超定最小二乘子问题,是昂贵的大型和稀疏张量。我们提出了一个快速,准确的草图ALS算法的塔克分解,解决了一系列的草图秩约束线性最小二乘法子问题。理论草图大小上界提供实现$O(ε)$相对误差的每个子问题与两个草图技术,TensorSketch和杠杆得分采样。实验结果表明,这种新的ALS算法,结合一个新的初始化方案的基础上随机测距仪,产量高达$22.0\%$相对分解残留的改善相比,国家的最先进的草图随机算法的各种合成和真实数据集的塔克分解。该Tucker-ALS算法进一步用于加速CP分解,通过使用随机化Tucker压缩,然后对Tucker核心张量进行CP分解。实验结果表明,该算法不仅收敛速度快,而且CP分解精度高。
2021-08-25 cs.DS cs.LG cs.NA
Spatiotemporal Regularized Tucker Decomposition Approach for Traffic Data Imputation
Southern University of Science and Technology(南方科技大学)
本文提出一种时空正则化Tucker分解方法用于交通数据插补,通过核心张量$l_1$范数刻画低秩性,结合流形正则化和时间约束捕获时空相关性,在真实数据集上优于矩阵和张量基线方法。
2023-10-31 cs.LG stat.ML
Adaptive regularization parameter selection for high-dimensional inverse problems: A Bayesian approach with Tucker low-rank constraints
School of Science, University of Science and Technology Liaoning(辽宁科技大学科学学院)
本文提出一种结合Tucker分解的变分贝叶斯方法,通过降低维度核心张量空间减少计算复杂度,引入每模式精度参数实现对各向异性结构的自适应正则化,实验显示在图像去模糊、热传导和Fredholm积分方程中均优于传统方法。
2026-03-17 cs.LG
Infinite Tucker Decomposition: Nonparametric Bayesian Models for Multiway Data Analysis
Purdue University(普渡大学)
提出基于非参数贝叶斯的无限Tucker分解模型(InfTucker),通过潜在高斯/t过程和非线性协方差函数,在概率框架下处理连续和二元数据,并开发高效变分推理方法,显著提升预测精度。
2012-01-14 cs.LG cs.NA math.NA
Bayesian Poisson Tucker Decomposition for Learning the Structure of International Relations
我们引入贝叶斯泊松塔克分解(BPTD)建模国家-国家互动事件数据。这些数据由交互事件组成,其形式为“国家$i$在时间$t$对国家$j$采取行动$a$”。“BPTD发现重叠的国家-社区成员,包括潜在社区的数量。此外,它还发现了有向社区-社区互动网络,这些网络是特定于行动类型和时间“制度”的“主题”。“我们表明,BPTD产生了一个有效的MCMC推理算法,并实现了比相关模型更好的预测性能。我们还表明,它发现了可解释的潜在结构,符合我们的知识的国际关系。
2016-06-06 cs.AI cs.LG cs.SI
Post-Training Network Compression for 3D Medical Image Segmentation: Reducing Computational Efforts via Tucker Decomposition
University Hospital, LMU Munich(慕尼黑大学医院);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出一种基于Tucker分解的训练后网络压缩方法,应用于TotalSegmentator模型,在保持分割精度的同时大幅减少参数和计算量,促进深度学习在临床的部署。
2024-04-18 cs.CV cs.LG eess.IV
An Iterative Reweighted Method for Tucker Decomposition of Incomplete Multiway Tensors
Stevens Institute of Technology(史蒂文斯理工学院)
本文提出一种基于组log-sum惩罚函数的迭代加权方法,用于处理不完整多维张量的低秩分解,通过多线性操作实现紧凑表示,并自动确定多线性秩。
2015-11-15 cs.LG cs.NA math.NA
Low-Rank and Sparse Enhanced Tucker Decomposition for Tensor Completion
Hangzhou Dianzi University(杭州电子科技大学);Ningbo University(宁波大学);The Hong Kong Polytechnic University(香港理工大学);Huawei Tech. Investment Co., Ltd(华为技术投资有限公司)
张量补全是指从不完整的测量或观察中估计缺失数据的任务,这是大数据分析、计算机视觉和网络工程领域经常出现的核心问题。由于高阶张量的多维性质,矩阵方法,例如,矩阵分解和张量的直接矩阵化,对于张量的完成和恢复来说往往不是理想的。本文提出了一种统一的低秩稀疏增强Tucker分解张量完备模型。我们的模型具有稀疏的正则化项,以促进稀疏的核心张量的Tucker分解,这是有益的张量数据压缩。此外,我们对Tucker分解的因子矩阵施加低秩正则化项,以廉价的计算成本诱导张量的低秩性。在数值上,我们提出了一个定制的ADMM足够容易的子问题来解决底层模型。值得注意的是,我们的模型能够处理不同类型的现实世界的数据集,因为它利用了潜在的周期性和内在的相关性出现在张量。一系列的计算实验对现实世界的数据集,包括互联网流量数据集,彩色图像,人脸识别,表明我们的模型比许多现有的最先进的矩阵化和张量化方法在实现更高的恢复精度方面表现得更好。
2021-05-20 cs.LG math.OC stat.ML
Conditional Hierarchical Bayesian Tucker Decomposition for Genetic Data Analysis
Engineering Sciences and Applied Mathematics(应用数学与工程科学);Industrial Engineering and Management Sciences(工业工程与管理科学);Preventive Medicine (Health and Biomedical Informatics)(预防医学(健康与生物医学信息学))
提出条件分层贝叶斯 Tucker 分解,将 LDA 扩展至多维稀疏遗传计数数据,以识别癌症与孤独症的共同风险因素,并取得优于基线的主题一致性。
2025-08-29 cs.LG stat.ME stat.ML
Efficient Nonnegative Tucker Decompositions: Algorithms and Uniqueness
Guangdong University of Technology(广东工业大学);RIKEN Brain Science Institute(理化学研究所脑科学研究所);Systems Research Institute, Polish Academy of Science(波兰科学院系统研究所)
非负Tucker分解(NTD)是从高维张量数据中提取基于非负部分和物理上有意义的潜在分量的有力工具,同时保留数据的自然多线性结构。然而,由于数据张量往往具有多模态和大规模的特点,现有的NTD算法在存储和计算时间方面都存在很高的计算复杂性,这已经成为NTD实际应用的主要障碍。为了克服这些缺点,我们展示了张量的低(多线性)秩近似(LRA)能够显着简化成本函数的梯度的计算,在此基础上开发了一系列高效的一阶NTD算法。除了大大降低存储复杂度和运行时间,新的算法是非常灵活的和强大的噪声,因为任何成熟的LRA方法可以应用。我们还展示了如何将稀疏性的非负性大大提高了独特性和部分的灾难的塔克分解的维数。仿真实验结果表明了所提算法的有效性和高效性。
2015-09-16 cs.CV cs.LG stat.ML
Uncovering audio patterns in music with Nonnegative Tucker Decomposition for structural segmentation
Univ Rennes, Inria, CNRS, IRISA(雷恩大学、法国国家信息与自动化研究所、法国国家科学研究中心、布列塔尼大西洋信息与信号技术研究实验室)
最近的工作提出了使用张量分解来模拟重复和分离基于循环的电子音乐中的轨道。本研究进一步探讨非负塔克分解(NTD)的能力,以揭示音乐模式和结构的流行歌曲在其音频形式。利用NTD倾向于将酒吧的内容表达为几种模式的线性组合的事实,我们说明了分解捕获和挑选出相应的压缩空间中的重复图案的能力,这可以从音乐的角度来解释。由此产生的功能也被证明是有效的结构分割,导致实验结果的RWC Pop数据集,这是潜在的挑战性国家的最先进的方法,依赖于广泛的基于示例的学习计划。
2021-04-17 cs.LG cs.SD eess.AS
Robust Tensor CUR Decompositions: Rapid Low-Tucker-Rank Tensor Recovery with Sparse Corruption
University of Central Florida(中佛罗里达大学);University of California Los Angeles(加州大学洛杉矶分校);Michigan State University(密歇根州立大学)
针对张量鲁棒主成分分析问题,提出基于交替投影框架的快速鲁棒张量CUR分解算法,利用张量CUR分解降低计算复杂度,开发四种变体,在合成与真实数据集上验证了其有效性与计算优势。
2023-10-10 cs.LG cs.NA math.NA
Noisy Nonnegative Tucker Decomposition with Sparse Factors and Missing Data
Department of Mathematics, Hong Kong Baptist University(香港浸会大学数学系)
针对含噪且不完整的多维非负数据,提出利用 ℓ0 稀疏因子的非负 Tucker 分解与补全方法,并建立匹配极小极大下界的误差界。
2024-12-02 cs.LG stat.ML
Nonnegative Tucker Decomposition with Beta-divergence for Music Structure Analysis of Audio Signals
Univ. Rennes 1(雷恩第一大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(法国雷恩信息系统与随机过程研究所);Center for Artificial Intelligence Technology (CAIT), Skoltech(斯科尔科沃科学技术研究院人工智能技术中心);Univ Lyon(里昂大学);INSA-Lyon(里昂国立应用科学学院);UCBL(里昂第一大学);UJM-Saint Etienne(圣艾蒂安让·莫内大学);Inserm(法国国家健康与医学研究院);CREATIS UMR 5220(法国国家科学研究中心5220联合研究单元(影像与脑科学实验室))
非负Tucker分解(NTD)是一种张量分解模型,由于其能够盲提取有意义的模式,特别是在音乐信息检索中,近年来受到越来越多的关注。然而,现有的计算NTD的算法大多是针对欧几里得损失设计的。这项工作提出了一种乘法更新算法来计算NTD与β发散损失,通常被认为是一个更好的音频处理损失。我们特别展示了如何使用张量代数有效地实现乘法规则。最后,我们在一个音乐结构分析任务中表明,无监督的NTD与β发散损失相匹配,优于早期的结果与欧几里得损失。
2022-08-02 cs.LG cs.NA cs.SD
Identifiability of Nonnegative Tucker Decompositions -- Part I: Theory
University of Mons(蒙斯大学)
本文针对Tucker分解通常不可辨识的问题,通过扩展非负矩阵分解的可辨识性结果,在因子矩阵满足稀疏性条件、核心张量部分结构满秩的前提下,推导了通过最小化核心张量相关结构体积得到可辨识非负Tucker分解的方法。
2025-05-19 cs.LG cs.NA eess.SP
A Hybrid Tucker-LSTM Tensor Network Model for SOC Prediction in Electric Vehicles
College of Computer and Information Science(计算机与信息科学学院);School of Culture Tourism(文化旅游学院);Digital Intelligence Center(数字智能中心);China Automotive Engineering Research Institute Co., Ltd.(中国汽车工程研究院股份有限公司)
本文提出一种结合Tucker张量分解与LSTM网络的混合模型,通过全生命周期电动汽车数据提升SOC预测精度,实验表明该模型在多个指标上均优于基线方法。
2026-05-13 cs.ET cs.LG
TedNet: A Pytorch Toolkit for Tensor Decomposition Networks
Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳));University of Electronic Science and Technology of China(电子科技大学);Pengcheng Lab(鹏城实验室)
张量分解网络(Tensor Decomposition Networks,TDNs)因其固有的紧凑架构而流行。为了让更多研究人员能够灵活地利用TDNS,我们推出了一个名为TedNet的Pytorch工具包。TedNet实现了5种张量分解(即,CANDECOMP/PARAFAC(CP)、Block-Term Tucker(BTT)、Tucker-2、Tensor训练(TT)和Tensor Ring(TR)在传统的深度神经层、卷积层和全连接层上。通过利用基本层,可以简单地构造各种TDNs。TedNet可在https://github.com/tnbar/tednet上查阅。
2021-11-21 cs.AI cs.LG
Probabilistic Block Term Decomposition for the Modelling of Higher-Order Arrays
University of Copenhagen(哥本哈根大学);Technical University of Denmark(丹麦技术大学)
针对高阶张量分解问题,提出一种基于von-Mises Fisher矩阵分布的变分贝叶斯概率块项分解方法pBTD,可在含噪数据上实现鲁棒的模式推理与模型阶数量化。
2023-10-04 cs.LG stat.AP stat.ML
Expressive power of recurrent neural networks
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所);Institute of Numerical Mathematics RAS(俄罗斯科学院数值数学研究所)
深度神经网络在解决实际任务方面的效率令人惊讶,但这一现象背后的理论才刚刚开始赶上实践。大量的工作表明,深度是这种效率的关键。某一类深度卷积网络--即对应于分层塔克(HT)张量分解的网络--已被证明具有比浅层网络更高的表达能力。即,需要指数宽度的浅网络来实现与深度架构计算的相同的得分函数。在本文中,我们证明了表达能力定理(指数下界的宽度等效浅网络)的一类循环神经网络-对应于张量训练(TT)分解。这意味着,即使用RNN逐块处理图像,也可以比具有一个隐藏层的(浅)卷积网络以指数方式更有效。使用张量分解之间的关系的理论结果,我们比较HT和TT网络的表达能力。我们还实现了经常性的TT网络,并提供了它们的表现力的数值证据。
2018-02-07 cs.LG
A weighted subspace exponential kernel for support tensor machines
Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所);University of Bath(巴斯大学);TU Chemnitz(开姆尼茨工业大学)
张量形式的高维数据对于核分类方法是具有挑战性的。为了降低计算复杂度并提取信息特征,已经提出了基于低秩张量分解的核。然而,这些内核利用张量的哪些决定性特征通常是不清楚的。在本文中,我们提出了一种新的内核,是基于塔克分解。对于这个内核的塔克因子计算的基础上重新加权的塔克矩阵与可调功率的奇异值从HOSVD分解。这提供了一种平衡Tucker核心的贡献和数据因子的机制。我们在几个数据集上使用这个新内核对支持张量机器进行了基准测试。首先,我们生成合成数据,其中两个类在Tucker因子或核心方面不同,并比较我们的新内核和以前存在的内核。我们展示了新内核的鲁棒性,这两个分类方案。我们进一步在真实世界的数据集上测试了新方法。所提出的核已被证明比最先进的张量训练多路多级核具有更高的测试精度,并且计算时间显著降低。
2023-02-16 cs.LG stat.ML
Compressing CNN Kernels for Videos Using Tucker Decompositions: Towards Lightweight CNN Applications
Technical University of Denmark(丹麦技术大学)
卷积神经网络(CNN)是视觉计算领域的前沿技术。然而,CNN的一个主要问题是需要大量的浮点运算(FLOP)来执行大输入的卷积。当考虑将CNN应用于视频数据时,由于额外的时间维度,卷积滤波器变得更加复杂。这导致当相应的应用要被部署在移动设备(诸如智能电话、平板电脑、微控制器或类似物)上时的问题,指示较少的计算能力。Kim等人(2016)提出使用Tucker分解来压缩图像预训练网络的卷积核,以降低网络的复杂性,即FLOP的数量。在本文中,我们将上述方法推广到视频(和其他3D信号),并在THETIS数据集的修改版本上评估所提出的方法,该数据集包含个人进行网球拍摄的视频。我们表明,压缩的网络达到相当的精度,同时表明内存压缩的一个因素51。然而,实际的计算加速(因子1.4)并不符合我们理论上的预期(因子6)。
2022-03-10 cs.AI cs.CV cs.LG
Structure-Preserving Margin Distribution Learning for High-Order Tensor Data with Low-Rank Decomposition
Engineering Research Center of the Ministry of Education for Intelligent Control System and Intelligent Equipment(教育部智能控制与智能装备工程研究中心)
针对LMDM处理高阶张量需展平破坏结构的问题,提出SPMD-LRT方法,直接在张量上操作并利用低秩分解与间隔分布优化,实验证明其在多类数据集上分类准确率优于现有方法。
2025-09-18 cs.LG
The AL$\ell_0$CORE Tensor Decomposition for Sparse Count Data
University of Chicago(芝加哥大学)
本文提出AL$\ell_0$CORE,一种约束核心张量非零元素数量的概率非负Tucker分解,兼具CP分解的计算效率与Tucker的潜在结构,实验表明仅需约1%核心即可达到完整Tucker分解的效果。
2024-03-12 cs.LG stat.ML
SNeCT: Scalable network constrained Tucker decomposition for integrative multi-platform data analysis
Seoul National University(首尔大学);The State University of New York (SUNY) Korea(纽约州立大学韩国分校)
动机:我们如何集成地分析高维和稀疏的大规模多平台基因组数据?此外,我们如何将基因之间的关联等先验知识系统地纳入分析?方法:针对这一问题,提出了一种可扩展的网络约束Tucker分解方法SNeCT。SNeCT采用并行随机梯度下降方法对提出的可并行网络约束优化函数进行优化。将SNeCT分解应用于由大规模多平台多队列癌症数据PanCan 12构建的张量,该张量约束在由PathwayCommons数据库构建的网络上。结果如下:分解的因子矩阵被应用于分层癌症,搜索前k个相似的患者,并说明如何矩阵可以用于个性化的解释。在分层测试中,将组合的12个队列数据聚类以形成13个子类。除了其他有趣的观察结果外,13个亚类与起源组织具有高度相关性,例如OV癌症明确分为两组,以及在BRCA和UCEC队列中形成的亚群内具有高度临床相关性。在top-k搜索中,生成新患者的基因组谱,并基于因子矩阵针对现有患者进行搜索。top-k患者与查询的23个临床特征的相似性较高,包括BRCA患者的雌激素/孕激素受体状态,平均精度值分别为0.72至0.86和0.68至0.86。我们还提供了一个例子,说明如何因子矩阵可以用于每个病人的可解释的个性化分析。
2017-11-26 cs.LG q-bio.QM stat.ML
Semi-tensor Product-based TensorDecomposition for Neural Network Compression
University of Electronic Science and Technology of China(电子科技大学);Shanghai Jiao Tong University(上海交通大学)
现有的张量网络采用传统的矩阵积进行连接。经典的矩阵乘积要求因子之间具有严格的维数一致性,这会导致数据表示的冗余。本文利用半张量积将经典的基于矩阵积的模积推广到半张量积。由于它允许连接两个不同维度的因子,因此可以用较小的因子获得更灵活和紧凑的张量分解。Tucker分解、张量训练(TT)和张量环(TR)是深度神经网络低秩压缩的常用分解。将半张量积应用于这些张量分解以获得它们的广义版本,即,半张量Tucker分解(STTu)、半张量训练(STT)和半张量环(STR)。实验结果表明,STTu,STT和STR实现更高的压缩因子比传统的张量分解具有相同的精度,但更少的训练时间在ResNet和WideResNet压缩。在2%精度下降的情况下,TT-RN(rank = 14)和TR-WRN(rank = 16)仅获得3倍和99 t倍的压缩因子,而STT-RN(rank = 14)和STR-WRN(rank = 16)分别获得9倍和179倍的压缩因子。
2021-09-30 cs.LG
Mode-Aware Non-Linear Tucker Autoencoder for Tensor-based Unsupervised Learning
针对高阶张量数据自监督学习中MLP自编码器维度灾难及现有张量网络难以学习非线性关系的问题,提出模式感知非线性Tucker自编码器(MA-NTAE),通过非线性Tucker分解与逐模式编码有效融合张量结构先验,在压缩与聚类任务中表现优异。
2025-08-09 cs.AI cs.LG
Approximately Optimal Core Shapes for Tensor Decompositions
Georgia Tech(佐治亚理工学院);Google Research(谷歌研究院)
本文研究大小受限 Tucker 分解中的最优核心张量形状选择问题,提出基于高阶奇异值和带拟阵约束二维背包归约的近似算法,并推广至树形张量网络,实验显示其质量可比贪心方法且速度最高提升1000倍。
2023-02-08 cs.DS cs.LG math.CO
When are Overcomplete Topic Models Identifiable? Uniqueness of Tensor Tucker Decompositions with Structured Sparsity
University of California, Irvine(加州大学欧文分校);Microsoft Research New England(微软新英格兰研究院)
本文研究了过完备主题模型在特定阶可观察矩下的可识别性,提出通过结构稀疏性约束实现张量Tucker分解的唯一性。
2013-08-13 cs.IR cs.LG cs.NA
Understanding Composition of Word Embeddings via Tensor Decomposition
Duke University(杜克大学)
词嵌入是自然语言处理中的一个有力工具。在本文中,我们考虑的问题词嵌入合成\-给定向量表示的两个词,计算一个向量的整个短语。我们给出了一个生成模型,可以捕捉特定的句法关系的话。在我们的模型下,我们证明了三个词之间的相关性(由他们的PMI测量)形成一个张量,具有近似的低秩塔克分解。Tucker分解的结果给出了词嵌入以及核心张量,其可用于产生更好的词嵌入的组合。我们还补充了我们的理论结果与实验,验证我们的假设,并证明了新的组合方法的有效性。
2019-02-02 cs.CL cs.LG stat.ML
TD3: Tucker Decomposition Based Dataset Distillation Method for Sequential Recommendation
University of Science and Technology of China(中国科学技术大学);Beijing University of Posts and Telecommunications(北京邮电大学);Rutgers Business School(罗格斯商学院);Sun Yat-sen University(中山大学)
本文提出TD3方法,利用Tucker分解将序列推荐数据蒸馏为四个潜在因子,并通过双层优化和RaT-BPTT加速训练,在多个数据集上验证了其优越性与跨架构泛化能力。
2025-02-06 cs.IR cs.LG
StoTAM: Stochastic Alternating Minimization for Tucker-Structured Tensor Sensing
Department of Electrical and Computer Engineering, Iowa State University(电气与计算机工程系,爱荷华州立大学)
本文提出StoTAM算法,通过直接操作Tucker因子化下的核心张量和因子矩阵,实现低秩张量感知的高效随机交替最小化。
2026-01-20 cs.LG math.OC
Coefficient Decomposition for Spectral Graph Convolution
本文提出谱图卷积的一般形式,将多项式基系数表示为三阶张量,并通过CP和Tucker分解设计CoDeSGC-CP与CoDeSGC-Tucker两种新型谱图卷积,实验证明其性能提升显著。
2024-05-06 cs.AI cs.LG
Low-Rank Tucker Approximation of a Tensor From Streaming Data
Cornell University(康奈尔大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Columbia University(哥伦比亚大学);California Institute of Technology(加州理工学院)
本文描述了一种计算张量低Tucker秩近似的新算法。该方法将随机线性映射应用于张量以获得捕获每个模式内的重要方向以及模式之间的相互作用的草图。草图可以从流或分布式数据中提取,也可以通过张量进行单次传递,并且它使用与输出Tucker近似中的自由度成比例的存储。该算法不需要第二次通过张量,尽管它可以利用另一个视图来计算更好的近似。本文对逼近误差提供了严格的理论保证。大量的数值实验表明,该算法产生有用的结果,提高了最先进的流塔克分解。
2021-04-30 cs.LG cs.NA math.NA
Bayesian Sparse Tucker Models for Dimension Reduction and Tensor Completion
RIKEN Brain Science Institute(理化学研究所脑科学研究所);Shanghai Jiao Tong University(上海交通大学)
本文提出一种概率生成Tucker模型,通过结构稀疏性在多线性潜在空间中实现张量降维与补全,自动适应模型复杂度并提升泛化性能。
2015-05-10 cs.LG cs.NA math.NA
Tensor Decomposition for Compressing Recurrent Neural Network
RIKEN, Center for Advanced Intelligence Project AIP(理化学研究所先进智能项目中心)
在机器学习领域,循环神经网络(RNN)已经成为一种流行的序列数据建模体系结构。然而,在令人印象深刻的性能背后,RNN需要大量的参数来进行训练和推理。在本文中,我们试图减少参数的数量,同时保持RNN的表达能力。我们利用几种张量分解方法,包括CANDECOMP/PARAFAC(CP),Tucker分解和张量训练(TT)重新参数化的门控递归单元(GRU)RNN。我们评估了所有基于张量的RNN在具有各种参数的序列建模任务上的性能。根据我们的实验结果,TT-GRU取得了最好的结果,在各种数量的参数相比,其他分解方法。
2018-05-08 cs.LG
DinTucker: Scaling up Gaussian process models on multidimensional arrays with billions of elements
Purdue University(普渡大学);IBM T. J. Watson Research Center(IBM T·J·沃森研究中心)
无限Tucker分解(InfTucker)和随机函数先验模型作为无限可交换阵列上的非参数贝叶斯模型,是比广泛使用的多线性分解方法(包括Tucker和PARAFAC分解)更强大的模型,(部分)由于它们能够建模阵列元素之间的非线性关系。尽管它们具有很好的预测性能和良好的理论基础,但由于训练时间过长,它们无法处理大量数据。为了克服这一限制,我们提出了分布式无限塔克(DINTUCKER),一个大规模的非线性张量分解算法的MAPREDUCE。在保持InfTucker的预测准确性的同时,它可以在海量数据上进行扩展。DINTUCKER基于一种新的分层贝叶斯模型,可以在子阵列上对InfTucker进行本地训练,并从所有本地训练结果中集成信息。我们使用分布式随机梯度下降,再加上变分推理,训练这个模型。我们将DINTUCKER应用于来自“Read the Web”项目(Carlson et al.,2010)和信息安全领域,并将其与最先进的大规模张量分解方法GigaTensor进行比较。在这两个数据集上,DINTUCKER以更少的计算时间实现了更高的预测精度。
2014-02-01 cs.DC cs.LG stat.ML
Tensor Regression Using Low-rank and Sparse Tucker Decompositions
Rutgers, The State University of New Jersey(罗格斯大学(新泽西州立大学));University of Michigan(密歇根大学)
本文研究了一个具有标量响应变量和张量结构预测变量的张量结构线性回归模型,使得回归参数形成一个$d$阶张量(即,$\mathbb{R}^{n_1 \times n_2 \times \cdots \times n_d}$-折叠多路阵列)。它侧重于从响应变量的$m$实现和预测变量估计回归张量的任务,其中$m\ll n = \prod \nolimits_{i} n_i$。尽管这个问题看起来是不适定性的,但如果参数张量属于稀疏的低Tucker-rank张量空间,它仍然可以解决。相应地,估计过程构成为一个非凸优化程序的稀疏,低塔克秩张量的空间,并提出了一个张量变量的投影梯度下降来解决由此产生的非凸问题。此外,提供了数学保证,建立所提出的方法线性收敛到一个适当的解决方案,在一定的条件下。此外,上界的张量参数估计的样本复杂性的模型正在考虑的特殊情况下,当个别(标量)预测独立地绘制值从一个亚高斯分布的特征。样本的复杂性界被证明有一个多对数依赖于$\bar{n} = \max \big\{n_i: i\in \{1,2,\ldots,d \} \big\}$,有序的,它匹配的界限,可以从一个启发式参数计数参数。最后,数值实验证明了所提出的张量模型和估计方法的合成数据集和神经成像数据集的集合有关的注意缺陷多动障碍的有效性。具体而言,所提出的方法表现出更好的样本复杂性的合成和真实的数据集,证明了有用的…
2020-07-21 cs.LG eess.SP math.ST
Compression and Interpretability of Deep Neural Networks via Tucker Tensor Layer: From First Principles to Tensor Valued Back-Propagation
这项工作旨在帮助解决深度神经网络(DNN)应用中的两个主要障碍,即大量的可训练参数及其物理可解释性。这是通过基于所提出的Tucker张量层(TTL)的张量值方法来实现的,作为DNN的密集权重矩阵的替代方案。这允许我们将一般DNN的权重矩阵视为高阶权重张量的矩阵展开。凭借张量分解的压缩特性,这使我们能够引入一种新颖而有效的框架,用于利用权重张量的多路性质,以显着减少DNN参数的数量。我们还推导出张量值的TTL框架内的反向传播算法,通过扩展的概念矩阵导数张量。通过这种方式,利用Tucker分解的物理可解释性,通过计算每个因子矩阵的梯度过程,获得对NN训练的物理见解。所提出的框架验证的合成数据,和基准数据集MNIST,时尚MNIST,和CIFAR-10。总的来说,通过提供训练中每个数据特征的相对重要性的能力,TTL反向传播被证明有助于减轻NN固有的“黑匣子”性质。实验结果表明,TTL算法在MNIST和Fashion-MNIST上实现了66.63倍的压缩,而通过简化VGG-16网络,在训练时间上实现了10%的加速,性能相当.
2020-01-06 cs.CV cs.LG eess.SP
Subquadratic Kronecker Regression with Applications to Tensor Decomposition
Google Research(谷歌研究院);Georgia Tech(佐治亚理工学院)
本文提出首个亚二次时间算法求解克罗内克回归的(1+ε)近似,结合杠杆分数采样与迭代方法,并扩展至块设计矩阵,改进Tucker ALS所有步骤的运行时间,在合成数据和真实图像张量上验证了速度与精度。
2023-05-12 cs.DS cs.LG math.ST
Tensor Decomposition of Transformer Key-Value Caches: Spectral Structure and Format Comparison
Universität Trier(特里尔大学)
本研究将Transformer的KV缓存视为四阶张量,通过谱分析发现键和特征模式低秩而头和层模式满秩,比较四种张量分解后,Tucker在2-5倍压缩比下误差最低,且键和值的最佳表示不同。
2026-09-24 cs.CL cs.LG cs.NA
Personalized Federated Heat-Kernel Enhanced Multi-View Clustering via Advanced Tensor Decomposition Techniques
Independent Researcher(独立研究者)
本文提出基于高级张量分解技术的个性化联邦热核增强多视图聚类方法,通过改进的数学模型和算法设计提升聚类效果并保障数据隐私。
2026-01-01 cs.DC cs.LG
Analysis and Design of Convolutional Networks via Hierarchical Tensor Decompositions
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
卷积网络是迄今为止最成功的深度学习架构,其背后的驱动力是它们的表达能力。尽管它被广泛接受和大量的经验证据,支持这一信念的正式分析是稀缺的。关于表达性的形式化推理的主要概念是效率和归纳偏差。表达效率是指网络架构实现需要替代架构大得多的功能的能力。归纳偏见是指在事先了解手头任务的情况下,将某些功能优先于其他功能。在本文中,我们概述了作者撰写的一系列作品,通过对分层张量分解的等价性,分析了各种卷积网络架构特征(深度,宽度,步幅等)的表达效率和归纳偏差。这些结果揭示了卷积网络的有效性,并为网络设计提供了新的工具。
2018-06-11 cs.LG cs.NE
tntorch: Tensor Network Learning with PyTorch
ETH Zurich(苏黎世联邦理工学院);IE University(IE大学)
我们提出了一个张量学习框架tntorch,它在统一的接口下支持多种分解(包括Candecomp/Parafac,Tucker和Tensor训练)。使用我们的库,用户可以通过自动微分、无缝GPU支持和PyTorch API的便利性来学习和处理低阶张量。除了分解算法,tntorch还实现了可微张量代数、秩截断、交叉逼近、批处理、综合张量算法等。
2022-09-21 cs.LG cs.MS