TensorQuant - A Simulation Toolbox for Deep Neural Network Quantization
Fraunhofer ITWM(弗劳恩霍夫工业数学研究所);TU Kaiserslautern(凯泽斯劳滕工业大学)
最近的研究表明,深度神经网络(DNN)的训练和推理可以用训练/测试数据、权重和梯度的低精度数值表示来计算,而不会损失一般的准确性。这种紧凑表示的好处是双重的:它们可以显着减少分布式DNN训练中的通信瓶颈,并在FPGA等硬件加速器上更快地实现神经网络。已经提出了几种量化方法来将原始的32位浮点问题映射到低位表示。虽然大多数相关出版物在单个DNN拓扑上验证了所提出的方法,但显然,量化方法和编码比特数的最佳选择是拓扑相关的。为此,没有通用的理论,这将允许用户在DNN拓扑的设计期间导出最佳量化。在本文中,我们为TensorFlow框架提供了一个量化工具箱。TensorQuant允许在训练和推理期间对现有DNN拓扑进行透明量化模拟。TensorQuant支持通用量化方法,并允许对量化对单层以及完整拓扑的影响进行实验评估。在使用TensorQuant的第一系列实验中,我们展示了对流行的CNN拓扑的定点量化的分析。
2017-10-13 cs.CV cs.LG stat.ML
Tensorial Neural Networks: Generalization of Neural Networks and Application to Model Compression
University of Maryland, College Park(马里兰大学帕克分校)
我们提出了张量神经网络(TNNs),现有的神经网络的推广,通过扩展张量操作的低阶操作的高阶的。参数学习的问题是具有挑战性的,因为它对应于分层非线性张量分解。我们建议使用随机梯度下降来解决学习问题,通过导出我们引入的广义张量代数中的非平凡反向传播规则。与现有的神经网络相比,我们提出的TNN有三个优点:(1)TNN自然地适用于高阶输入对象,从而保留了输入中的多维结构,因为不需要扁平化数据。(2)TNN解释现有神经网络架构的设计。(3)将神经网络映射到具有相同表达能力的TNN会导致TNN的参数更少。神经网络的基于TNN的压缩改进了现有的基于低秩近似的压缩方法,因为除了低秩之外,TNN还利用两种其他类型的不变结构,周期性和调制。在LeNet-5(MNIST),ResNet-32(CIFAR 10)和ResNet-50(ImageNet)上的实验表明,我们基于TNN的压缩在相同的压缩率下优于(CIFAR 10上普遍提高了5%的测试精度)最先进的基于低秩近似的压缩方法,此外由于TNN的效率,还实现了数量级更快的收敛速度。
2018-12-08 cs.LG stat.ML
Tensor Decompositions in Recursive Neural Networks for Tree-Structured Data
Dipartimento di Informatica - Università di Pisa(比萨大学信息学系)
本文介绍了两个新的聚合函数编码的结构知识,从树结构的数据。它们利用Canonical和Tensor-Train分解来产生富有表现力的上下文聚合,同时限制模型参数的数量。最后,我们定义了两个新的神经递归模型的树利用这样的聚合功能,我们测试它们的两个树分类任务,显示出所提出的模型的优势时,树outdegree增加。
2020-08-13 cs.LG stat.ML
Convolutional Neural Networks with Transformed Input based on Robust Tensor Network Decomposition
Nanyang Technological University(南洋理工大学);University of Southern California(南加州大学)
张量网络分解起源于量子物理学,用于对纠缠的多粒子量子系统进行建模,结果证明是一种有前途的数学技术,可以以简约的方式有效地表示和处理大数据。在这项研究中,我们证明了张量网络可以系统地划分结构化数据,例如彩色图像,以保护隐私的方式进行分布式存储和通信。利用大数据和元数据隐私的海洋,实证结果表明,无法识别以张量网络格式存储的隐含信息的相邻子张量进行数据重建。这种技术补充了现有的加密和随机化技术,这些技术将显式数据表示存储在一个地方,并且非常容易受到对抗攻击,例如侧信道攻击和去匿名化。此外,我们提出了一个理论的对抗性的例子,误导卷积神经网络错误分类使用基于奇异值分解(SVD)的子空间分析。该理论被扩展到使用张量训练SVD(TT-SVD)分析高阶张量;它有助于解释不同数据集对对抗攻击的敏感性水平,不同对抗攻击(包括全局和局部攻击)的结构相似性,以及基于输入变换的不同对抗防御的有效性。基于鲁棒的TT-SVD,提出了一种有效的自适应算法来检测强静态对抗攻击。
2018-12-11 cs.CV cs.LG stat.ML
Towards Compact Neural Networks via End-to-End Training: A Bayesian Tensor Approach with Automatic Rank Determination
University of California Santa Barbara(加州大学圣巴巴拉分校);Department of Mathematics, University of California Santa Barbara(加州大学圣巴巴拉分校数学系);Department of Electrical and Computer Engineering, University of California Santa Barbara(加州大学圣巴巴拉分校电气与计算机工程系);Facebook AI Systems Hardware/Software Co-design(Facebook人工智能系统硬件/软件协同设计)
虽然后训练模型压缩可以大大降低深度神经网络的推理成本,但未压缩的训练仍然会消耗大量的硬件资源、运行时间和能量。非常希望以低存储器和低计算成本从头开始直接训练紧凑的神经网络。低秩张量分解是降低大规模神经网络存储和计算需求的有效方法之一。然而,直接训练一个低秩张量化神经网络是一个非常具有挑战性的任务,因为很难确定一个合适的张量秩{ \it a priori},它控制着训练过程中模型的复杂度和压缩比。本文提出了一种新的端到端的框架低秩张量训练的神经网络。我们首先开发了一个灵活的贝叶斯模型,可以处理各种低秩张量格式(例如,CP、Tucker、张量训练和张量-训练矩阵),其在训练中压缩神经网络参数。该模型可以自动确定非线性正演模型中张量的秩,这是现有贝叶斯张量方法无法实现的。我们进一步开发了一个可扩展的随机变分推理求解器来估计训练中大规模问题的后验密度。我们的工作为端到端张量化训练提供了第一个通用的秩自适应框架。我们对各种神经网络架构的数值结果表明,在训练过程中,参数的数量级减少和精度损失很小(甚至更好的精度)。具体来说,在具有超过$4.2\times 10^9$模型参数的非常大的深度学习推荐系统上,我们的方法可以在训练过程中自动将变量减少到只有$1.6\times 10^5$(即,$2.6\times 10^4$倍),同时达到几乎相同的精度。
2021-10-01 cs.LG stat.ML
Space-Time Domain Tensor Neural Networks: An Application on Human Pose Classification
University of Malta(马耳他大学);University of West Attica(西阿提卡大学);National Technical University of Athens(雅典国家技术大学)
传感技术的最新进展要求设计和开发能够有效处理时空数据的模式识别模型。在这项研究中,我们提出了一个空间和时间感知张量为基础的神经网络的人体姿态分类使用三维骨架数据。我们的模型采用了三个新的组件。首先,输入层能够构建高度区分的时空特征。第二,张量融合操作,产生紧凑而丰富的数据表示,第三,基于张量的神经网络,处理原始张量形式的数据表示。我们的模型是端到端可训练的,其特征在于少量的可训练参数,使其适用于注释数据有限的问题。实验结果表明,该模型可以达到最先进的性能。
2020-10-18 cs.LG stat.ML
Tensor Regression Networks with various Low-Rank Tensor Approximations
RIKEN Center for AIP(理化学研究所AIP中心);McGill University(麦吉尔大学)
张量回归网络实现了神经网络的高压缩率,同时对性能的影响很小。它们通过对全连接层的权重矩阵施加低张量秩结构来做到这一点。近年来,人们从压缩能力的角度对张量回归网络进行了研究,但对低秩张量结构的正则化效应的研究还不够深入。我们使用各种低秩张量近似来研究张量回归网络,旨在比较不同低秩约束的压缩和正则化能力。我们评估的压缩和正则化性能的建议模型与深和浅的卷积神经网络。我们的实验结果表明,全局平均池层优于张量回归层,当应用于CIFAR-10数据集的深度卷积神经网络时。相反,当使用少量样本进行训练时,具有张量回归层和dropout函数的浅层卷积神经网络的测试误差低于全局平均池和具有dropout函数的全连接层。
2018-11-29 cs.LG stat.ML
Factor Augmented Tensor-on-Tensor Neural Networks
University of Notre Dame(圣母大学)
针对张量对张量回归预测,提出FATTNN模型,将张量因子模型融入深度神经网络,利用因子张量作为时间卷积网络输入,有效处理非线性关系,显著提升预测精度并降低计算成本。
2024-12-20 cs.LG stat.ME stat.ML
Low-Rank+Sparse Tensor Compression for Neural Networks
University of California, Santa Barbara(加州大学圣巴巴拉分校);Facebook Inc.(Facebook公司)
低秩张量压缩已被提出作为一种有前途的方法,以减少神经网络部署在边缘设备上的内存和计算需求。张量压缩通过假设网络权重具有粗略的高阶结构来减少表示神经网络权重所需的参数的数量。这种粗结构假设已经被应用于压缩大型神经网络,如VGG和ResNet。然而,用于计算机视觉任务的现代最先进的神经网络(即MobileNet,EfficientNet)已经通过深度可分离卷积假设了粗糙的因子分解结构,使得纯张量分解成为一种不太有吸引力的方法。我们建议将低秩张量分解与稀疏修剪相结合,以便利用粗结构和细结构进行压缩。我们在SOTA架构(MobileNetv3,EfficientNet,视觉Transformer)中压缩权重,并将这种方法与稀疏修剪和张量分解进行比较。
2021-11-02 cs.LG
Dynamic Tensor Decomposition via Neural Diffusion-Reaction Processes
Kahlert School of Computing(卡勒特计算学院);University of Utah(犹他大学)
本文提出DEMOTE方法,通过神经扩散-反应过程建模张量各模态实体的动态嵌入演化,并结合ODE求解器与分层抽样实现高效随机小批量学习,以更好地利用稀疏张量中的时间信息与结构知识。
2023-10-30 cs.LG stat.ML
Convolutional neural networks compression with low rank and sparse tensor decompositions
Skoltech(斯科尔特科技学院)
卷积神经网络在各种计算机视觉任务中表现出优异的性能。然而,神经网络架构设计通常面临模型性能和计算/存储器复杂度之间的权衡。对于一些现实世界的应用程序,开发模型至关重要,这些模型可以快速而轻巧地在边缘系统和移动设备上运行。然而,许多表现出良好性能的现代体系结构不满足推理时间和存储限制的要求。因此,出现了一个问题,神经网络压缩,以获得一个更小,更快的模型,这是与初始的。在这项工作中,我们考虑一个神经网络压缩方法的基础上张量分解。也就是说,我们建议用一个张量来近似卷积层权重,它可以表示为低秩和稀疏分量的总和。这种近似的动机是基于这样的假设,即低秩和稀疏项允许消除两种不同类型的冗余,从而产生更好的压缩率。一个有效的CPU实现所提出的方法已经开发。我们的算法在压缩Resnet 50架构用于图像分类任务时,表现出高达3.5倍的CPU层加速和11倍的层大小减少。
2020-06-11 cs.CV cs.LG
Graph Tensor Networks: An Intuitive Framework for Designing Large-Scale Neural Learning Systems on Multiple Domains
Imperial College London(帝国理工学院)
尽管张量和张量运算在现代深度学习中无处不在,但在深度学习社区中,使用张量数学来正式设计和描述神经网络的探索仍然不足。为此,我们引入了图张量网络(GTN)框架,这是一个直观而严格的图形框架,用于在规则和不规则域上系统地设计和实现大规模神经学习系统。所提出的框架被证明是足够的一般性,包括许多流行的架构作为特殊情况下,和足够的灵活性,以处理任何和许多数据域上的数据。通过真实数据实验证明了所提出的框架的功能和灵活性,从而提高了性能,大大降低了复杂性成本,凭借张量代数。
2023-03-23 cs.LG
Einconv: Exploring Unexplored Tensor Network Decompositions for Convolutional Neural Networks
Preferred Networks(优选网络公司);The University of Tokyo(东京大学)
张量分解方法被广泛用于卷积神经网络(CNN)中的模型压缩和快速推理。虽然许多分解是可以想象的,但只有CP分解和少数其他分解已被应用于实践,并且没有在可用方法之间进行广泛的比较。以前的研究没有确定有多少分解是可用的,也没有确定哪一个是最佳的。在这项研究中,我们首先通过采用灵活的图形符号来描述特定于CNN的分解类。该类包括众所周知的CNN模块,如深度可分离卷积层和瓶颈层,但也包括以前未知的具有非线性激活的模块。我们还通过实验比较了预测精度和时间/空间复杂度之间的权衡,通过枚举所有可能的分解,或通过使用神经架构搜索发现的模块。我们发现一些非线性分解优于现有的。
2019-11-27 cs.LG stat.ML
TensorShield: Tensor-based Defense Against Adversarial Attacks on Images
University of California Riverside(加州大学河滨分校)
最近的研究表明,像深度神经网络(DNN)这样的机器学习方法很容易被对抗攻击所欺骗。数据的微妙和不可察觉的扰动能够改变深度神经网络的结果。利用易受攻击的机器学习方法引起了许多担忧,特别是在安全性是重要因素的领域。因此,设计针对对抗攻击的防御机制至关重要。对于图像分类任务,不明显的扰动大多发生在图像的高频频谱中。在本文中,我们利用张量分解技术作为预处理步骤,找到一个低秩近似的图像,可以显着丢弃高频扰动。最近,一个名为Shield的防御框架可以通过对ImageNet数据集上的局部图像块执行随机质量的JPEG压缩,为卷积神经网络(CNN)接种对抗性样本的“疫苗”。我们的基于张量的防御机制在抵抗FastGradient Descent(FGSM)对抗攻击时比Shield的SLQ方法性能高14%,同时保持相当的速度。
2020-02-18 cs.CR cs.CV cs.LG
Implicit Regularization in Hierarchical Tensor Factorization and Deep Convolutional Neural Networks
Tel Aviv University(特拉维夫大学)
为了解释深度学习中的隐式正则化,重点关注了矩阵和张量分解,它们对应于简化的神经网络。结果表明,这些模型表现出一个隐含的倾向,低矩阵和张量秩,分别。为了更接近实际的深度学习,本文从理论上分析了分层张量分解中的隐式正则化,这是一种等效于某些深度卷积神经网络的模型。通过动力系统的镜头,我们克服了与层次结构相关的挑战,并建立了隐式正则化低层次张量秩。这转化为对相关卷积网络局部性的隐式正则化。受我们理论的启发,我们设计了显式正则化来抑制局部性,并证明了它能够提高现代卷积网络在非局部任务上的性能,这与需要改变架构的传统智慧背道而驰。我们的工作突出了通过对神经网络的隐式正则化进行理论分析来增强神经网络的潜力。
2022-09-18 cs.AI cs.LG cs.NE
Understanding Generalization in Deep Learning via Tensor Methods
University of Maryland, College Park(马里兰大学帕克分校);The University of Tokyo(东京大学);RIKEN(理化学研究所)
深度神经网络可以很好地概括看不见的数据,尽管参数的数量往往远远超过训练样本的数量。最近提出的复杂性度量为从PAC-Bayes、鲁棒性、过度参数化、压缩等角度理解神经网络的可推广性提供了见解。在这项工作中,我们从压缩的角度推进了对网络体系结构及其可推广性之间关系的理解。使用张量分析,我们提出了一系列直观的,依赖于数据的和易于测量的属性,这些属性紧密地表征了神经网络的可压缩性和可推广性;因此,在实践中,我们的推广界优于以前基于压缩的,特别是对于使用张量作为其权重内核的神经网络(例如CNN)。此外,这些直观的测量为设计具有有利于更好/有保证的泛化能力的特性的神经网络架构提供了进一步的见解。我们的实验结果表明,通过所提出的可测量的属性,我们的泛化误差界匹配的趋势,测试误差很好。我们的理论分析进一步提供了一些广泛使用的基于张量的压缩方法的经验的成功和局限性的理由。我们还发现,通过我们提出的分层结构,将张量操作时,当前神经网络的压缩性和鲁棒性的改进。
2020-05-10 cs.LG stat.ML
Randomly Weighted, Untrained Neural Tensor Networks Achieve Greater Relational Expressiveness
Arizona State University(亚利桑那州立大学)
神经张量网络(NTN)被构造为编码实体对之间的关系程度,用于逻辑张量网络(LTN)中,以促进一阶逻辑中的统计关系学习(SRL)。在本文中,我们提出了随机加权张量网络(RWTNs),它将随机抽取的未训练张量与训练的解码器网络合并到NTN编码器网络中。我们表明,RWTN满足或超过传统训练的LTNs的语义图像判读(SII)的任务,已被用作一个代表性的例子,LTNs如何利用推理超过一阶逻辑的性能,超过单纯的数据驱动的方法的性能。我们证明了RWTN优于LTNs的检测对象之间的关系的相关部分,我们表明,RWTN可以实现类似的性能LTNs的对象分类,同时使用更少的参数进行学习。此外,我们证明,由于随机化的权重不依赖于数据,几个解码器网络可以共享一个NTN,使RWTN的同步分类任务的空间规模的独特经济。
2020-10-03 cs.LG stat.ML
Exploiting Elasticity in Tensor Ranks for Compressing Neural Networks
The University of Hong Kong(香港大学)
在压缩深度神经网络(DNN)时,已经探索了深度、宽度、核大小和分辨率方面的弹性。认识到卷积神经网络(CNN)中的内核是4向张量,我们进一步利用沿输入输出通道的新弹性维度。具体而言,提出了一种新的核范数秩最小化因子分解(NRMF)方法,用于在训练过程中动态全局搜索降低的张量秩。揭示了多层张量秩之间的相关性,并在模型大小和精度之间获得了一个优雅的折衷。实验结果表明,NRMF优于以前的非弹性变分贝叶斯矩阵分解(VBMF)计划。
2021-05-10 cs.LG
Tensor Decomposition Based Attention Module for Spiking Neural Networks
University of Electronic Science and Technology of China(电子科技大学);University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校)
针对现有脉冲神经网络注意力模块未利用张量特性的问题,提出基于张量分解的投影全注意力模块,通过脉冲张量线性投影与注意力图合成实现参数量线性增长,集成至VGG和ResNet后在动静态基准上取得最优分类性能。
2024-04-11 cs.CV cs.LG
Dual-Channel Tensor Neural Networks: Finite-Sample Theory and Conformal Structure Selection
New York University(纽约大学);University of Michigan(密歇根大学);Duke University(杜克大学)
本文提出双通道张量神经网络(DC-TNN),通过分解张量输入为低秩核心和稀疏细化部分,并通过耦合的神经通道处理两者。该框架结构无关,可容纳CP、Tucker和张量列车核心。在估计方面,建立了DC-TNN估计器的非渐近风险界,并展示了有效维度由核心秩和细化稀疏性共同决定。在推断方面,开发了结构感知符合ROC程序,产生具有有限样本、分布自由覆盖的ROC和AUC置信带。基于此,提出了符合结构选择器,是首个具有有限样本有效性的分布自由候选张量分解选择方法。模拟和蛋白质数据集分析显示了竞争性的预测精度、可靠的不确定性量化和一致的张量结构恢复。
2026-05-18 cs.LG stat.ML
Stable Tensor Neural Networks for Rapid Deep Learning
Tufts University(塔夫茨大学);IBM TJ Watson Research Center(IBM托马斯·J·沃森研究中心);Tel Aviv University(特拉维夫大学)
我们提出了一个张量神经网络($t$ -NN)框架,为设计具有多维(张量)数据的神经网络提供了一个令人兴奋的新范例。我们的网络架构基于$t$ -乘积(Kilmer和Martin,2011),这是一种通过循环卷积来乘以张量的代数公式。在这个$t$ -积代数中,我们将张量解释为$t$ -线性运算符,类似于矩阵作为线性运算符,因此我们的框架继承了模拟矩阵属性。为了验证我们的$t$的优雅的矩阵模拟代数结构,我们扩展了最近的工作(Haber和Ruthotto,2017),该工作将深度神经网络解释为非线性微分方程的离散化,并引入了稳定的神经网络,以促进卓越的泛化能力。出于这个动态框架,我们引入了一个稳定的$t$ -NN,它有利于更快速的学习,因为它减少了,更强大的参数化。通过我们的高维设计,我们创建了一个更紧凑的参数空间,并提取多维相关性,否则潜在的传统算法。我们进一步将我们的$t$ -NN框架推广到一个张量-张量乘积族(Kernfeld,Kilmer和Aeron,2015),它仍然诱导矩阵模拟代数结构。通过在MNIST和CIFAR-10数据集上的数值实验,我们证明了稳定的$t$ -NN具有更强的参数化能力和更好的泛化能力。
2018-11-15 cs.LG cs.NA math.NA
Semi-tensor Product-based TensorDecomposition for Neural Network Compression
University of Electronic Science and Technology of China(电子科技大学);Shanghai Jiao Tong University(上海交通大学)
现有的张量网络采用传统的矩阵积进行连接。经典的矩阵乘积要求因子之间具有严格的维数一致性,这会导致数据表示的冗余。本文利用半张量积将经典的基于矩阵积的模积推广到半张量积。由于它允许连接两个不同维度的因子,因此可以用较小的因子获得更灵活和紧凑的张量分解。Tucker分解、张量训练(TT)和张量环(TR)是深度神经网络低秩压缩的常用分解。将半张量积应用于这些张量分解以获得它们的广义版本,即,半张量Tucker分解(STTu)、半张量训练(STT)和半张量环(STR)。实验结果表明,STTu,STT和STR实现更高的压缩因子比传统的张量分解具有相同的精度,但更少的训练时间在ResNet和WideResNet压缩。在2%精度下降的情况下,TT-RN(rank = 14)和TR-WRN(rank = 16)仅获得3倍和99 t倍的压缩因子,而STT-RN(rank = 14)和STR-WRN(rank = 16)分别获得9倍和179倍的压缩因子。
2021-09-30 cs.LG
Neural tensor contractions and the expressive power of deep neural quantum states
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
我们建立了一般张量网络和深度前馈人工神经网络之间的直接联系。我们研究结果的核心是构建神经网络层,这些层可以有效地执行张量收缩,并使用常用的非线性激活函数。由此产生的深度网络具有许多边缘,这些边缘与要近似的张量网络的收缩复杂性密切匹配。在多体量子态的背景下,这一结果表明,神经网络状态具有严格相同或更高的表达能力比实际可用的变分张量网络。作为一个例子,我们表明,所有的矩阵产品状态可以有效地写为神经网络状态的一些边缘多项式的键维数和深度对数的系统大小。相反的情况并不成立,我们的结果意味着存在量子态,它们不能用矩阵乘积态或PEPS有效地表达,但可以用神经网络状态有效地表达。
2022-03-04 cs.LG cs.NE quant-ph
Gated Recurrent Neural Tensor Network
Universitas Indonesia(印度尼西亚大学);Nara Institute of Science and Technology(奈良先端科学技术大学)
递归神经网络(RNN)是一种强大的时序数据建模方案,需要捕获数据集的长期依赖关系,并使用强大的模型将其表示在隐藏层中,以从输入中捕获更多信息。为了对数据集中的长期依赖关系进行建模,门控机制概念可以帮助RNN记住和忘记以前的信息。用更有表现力的操作来表示RNN的隐藏层(即,张量积)帮助它学习当前输入和先前隐藏层信息之间的更复杂的关系。这些想法通常可以提高RNN的性能。在本文中,我们提出了一种新的RNN架构,将门控机制和张量积的概念结合到一个单一的模型中。通过将这两个概念结合到一个RNN中,我们提出的模型通过使用门控单元建模来学习长期依赖关系,并使用三维数组(张量)权重参数的张量积来获得输入层和隐藏层之间更具表现力和直接的交互。我们使用长短期记忆(LSTM)RNN和门控递归单元(GRU)RNN,并将它们与其公式中的张量积结合起来。我们提出的RNN,被称为长短期记忆递归神经张量网络(LSTMRNTN)和门控递归单位递归神经张量网络(GRURNTN),是通过将LSTM和GRU RNN模型与张量积相结合而制成的。我们用我们提出的模型对单词级和字符级语言建模任务进行了实验,结果表明,与我们的基线模型相比,我们提出的模型显着提高了性能。
2017-06-07 cs.CL cs.LG stat.ML
Influence-guided Data Augmentation for Neural Tensor Completion
Georgia Institute of Technology(佐治亚理工学院);Adobe Research(Adobe研究院)
如何更准确地预测多维数据(或张量)中的缺失值?张量补全在个性化推荐、图像和视频恢复以及社交网络中的链接预测等许多应用中至关重要。许多张量因式分解和基于神经网络的张量补全算法已经被开发用于预测部分观测张量中的缺失项。然而,它们可能会产生不准确的估计,因为现实世界的张量非常稀疏,并且这些方法往往会在少量数据上过拟合。在这里,我们克服了这些缺点,提出了张量的数据增强技术。在本文中,我们提出了DAIN,一个通用的数据增强框架,提高了神经张量完成方法的预测精度。具体来说,DAIN首先训练一个神经模型,并通过影响函数找到张量细胞的重要性。之后,DAIN聚合单元格重要性以计算每个实体的重要性(即,维度的索引)。最后,DAIN通过实体重要性的加权采样和值预测器来增强张量。广泛的实验结果表明,DAIN优于所有的数据增强基线,在四个不同的现实世界的张量,提高神经张量完成的插补精度。DAIN的消融研究证实了DAIN的每种成分的有效性。此外,我们表明,DAIN规模接近线性大型数据集。
2021-08-23 cs.LG cs.SI
Simulating Execution Time of Tensor Programs using Graph Neural Networks
Qualcomm AI Research(高通人工智能研究院);Qualcomm Technologies Netherlands B.V.(高通科技荷兰有限公司)
优化张量程序的执行时间,例如,一个卷积,包括找到它的最佳配置。在实践中,穷尽地搜索配置空间通常是不可行的。根据最近使用TVM的研究,我们建议学习代理模型来克服这个问题。该模型在称为抽象语法树的非循环图上进行训练,并利用图卷积网络来利用图中的结构。我们声称,一个可学习的基于图形的数据处理是一个强大的竞争对手,基于特征提取。我们提出了一个新的数据集的图形对应的配置和它们的执行时间为各种张量程序。我们为运行时预测任务提供基线。
2019-11-27 cs.LG stat.ML
From Tensor Network Quantum States to Tensorial Recurrent Neural Networks
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文证明MPS可由线性记忆更新RNN精确表示,并提出适用于二维晶格的多重线性记忆更新张量RNN,能以更低键维数编码波函数并系统提升精度。
2023-03-08 cond-mat.str-el cs.LG physics.comp-ph
Tensor-Based Foundations of Ordinary Least Squares and Neural Network Regression Models
本文利用张量分析重新推导了普通最小二乘与神经网络回归模型的理论基础,并提出了三个算法,包括简化的反向传播算法,展示了新数学方法的优势。
2025-09-11 cs.LG
Faster Neural Network Training with Approximate Tensor Operations
Intel(英特尔);Technion(以色列理工学院)
我们提出了一种用于更快的深度神经网络训练的新技术,该技术系统地将基于样本的近似应用于构成张量操作,即,矩阵乘法和卷积。我们介绍了新的采样技术,研究其理论性质,并证明它们提供相同的收敛保证时,适用于SGD训练。我们将近似张量运算应用于MNIST,CIFAR-10和ImageNet数据集上的MLP和CNN网络的单节点和多节点训练。我们证明了计算量和通信量减少了66%,训练时间加快了1.37倍,同时对最终测试精度的影响可以忽略不计或没有影响。
2021-10-25 cs.AI cs.LG cs.NE
TensorGRaD: Tensor Gradient Robust Decomposition for Memory-Efficient Neural Operator Training
University of Copenhagen(哥本哈根大学);California Institute of Technology(加州理工学院);Meta FAIR;NVIDIA AI
提出TensorGRaD方法,通过鲁棒张量分解和混合精度训练解决神经算子高分辨率训练的内存瓶颈,在保持精度的同时减少超50%内存。
2025-05-30 cs.LG
High-Order Tensor Regression in Sparse Convolutional Neural Networks
本文提出一种面向卷积的通用高阶张量方法,构建稀疏卷积神经网络的理性回归理论框架,并据此重新定义以最简单通用形式呈现的反向传播算法。
2025-08-28 cs.LG
Training Neural Machine Translation (NMT) Models using Tensor Train Decomposition on TensorFlow (T3F)
我们使用t3 f库在TensorFlow神经机器翻译(NMT)模型中实现了一个Tensor训练层。我们使用学习率$\in \{0.0004,0.0008,0.0012\}$、最大秩$\in \{2,4,8,16\}$和一系列核心维度对IWITHEN英语-越南语'15和WMT德语-英语'16数据集进行训练。我们与我们的基准测试运行获得的目标BLEU测试得分24.0进行比较。对于IWITHEN英语-越南语培训,我们分别使用学习率为0.0012的核心维度$(2, 2, 256) \times (2, 2, 512)$和等级分布$(1,4,4,1)$和$(1,4,16,1)$获得了24.0/21.9和24.2/21.9的BLEU测试/开发分数。这两次运行分别使用了基准测试运行的113%和397%的触发器。我们发现,调查的参数,更高的学习率和更多的“矩形”的核心尺寸一般产生更高的BLEU分数。对于WMT德语-英语数据集,我们使用学习率为0.0012的核心维度$(4, 4, 128) \times (4, 4, 256)$和秩分布$(1,2,2,1)$获得了24.0/23.8的BLEU分数。我们讨论了潜在的未来优化和应用张量训练分解到其他NMT模型。
2019-11-05 cs.CL cs.LG stat.ML
Prototype-Rule Neurosymbolic Regularization for Rank-Constrained Tensor Neural Networks under Label Scarcity
University of Macedonia(马其顿大学);University of Malta(马耳他大学)
本研究提出原型规则神经符号正则化方法,在标签稀缺下增强秩约束张量神经网络,通过训练时正则化显著提升高光谱分类性能,推理融合效果有限。
2026-10-01 cs.CV cs.LG
Tensor-Based Backpropagation in Neural Networks with Non-Sequential Input
University of Edinburgh(爱丁堡大学);AndPlus LLC(AndPlus有限责任公司)
神经网络已经能够在传统上被认为只有人类才能完成的任务上实现突破性的准确性。使用随机梯度下降,在许多维度上的优化是可能的,尽管计算成本相对较高。通过将训练数据拆分成批次,可以更有效地分布和训练网络,并且精度损失最小。我们已经探索了有效实现基于张量的批量反向传播算法背后的数学原理。批量训练的一种常见方法是逐个迭代批量项。使用张量操作来反向传播允许非线性地执行训练,从而提高计算效率。
2017-07-13 cs.LG
Compressing Recurrent Neural Networks Using Hierarchical Tucker Tensor Decomposition
Rutgers University(罗格斯大学);Columbia University(哥伦比亚大学)
循环神经网络(Recurrent Neural Network,RNN)在序列分析和建模中得到了广泛的应用。然而,在处理高维数据时,RNN通常需要非常大的模型大小,从而带来一系列部署挑战。虽然现有的张量分解方法可以提供良好的模型压缩性能,但这些方法仍然存在一些固有的局限性,如有限的表示能力和模型复杂度降低不足。为了克服这些限制,在本文中,我们提出使用分层塔克(HT)分解来开发紧凑的RNN模型。HT分解使分解后的RNN模型具有较强的层次结构,这对于提高RNN模型的表示能力是非常有用和重要的。同时,HT分解提供了更高的存储和计算成本降低比现有的张量分解方法的RNN压缩。我们的实验结果表明,与最先进的压缩RNN模型(如TT-LSTM,TR-LSTM和BT-LSTM)相比,我们提出的基于HT的LSTM(HT-LSTM)在不同数据集上实现了压缩比和测试精度的同时和显着提高。
2020-05-09 cs.LG stat.ML
Permutation Equivariant Neural Networks for Symmetric Tensors
Department of Mathematics, Imperial College London, United Kingdom(伦敦帝国学院数学系)
本文提出对称张量上线性置换等变函数的两种刻画,证明其相比标准MLP具有高数据效率,并能泛化到不同大小的对称张量。
2025-05-23 cs.LG math.CO math.RT
Beating the Perils of Non-Convexity: Guaranteed Training of Neural Networks using Tensor Methods
University of California, Irvine(加州大学欧文分校)
训练神经网络是一个具有挑战性的非凸优化问题,反向传播或梯度下降可能会陷入虚假的局部最优。提出了一种基于张量分解的双层神经网络保证训练算法。我们为我们提出的方法提供了风险界,在相关参数中具有多项式样本复杂度,例如输入维度和神经元数量。虽然学习任意目标函数是NP难的,但我们为可学习性提供了函数和输入的透明条件。我们的训练方法是基于张量分解,可证明收敛到全局最优,在一组温和的非退化条件。它由简单的并行线性和多线性运算组成,在计算复杂性方面与标准随机梯度下降(SGD)具有竞争力。因此,我们提出了一种计算效率高的方法,保证风险界的训练神经网络与一个隐藏层。
2016-01-12 cs.LG cs.NE stat.ML
Fully tensorial approach to hypercomplex-valued neural networks
Faculty of Computer Science and Mathematics, Cracow University of Technology(克拉科夫技术大学计算机科学与数学系)
本文提出基于张量的理论框架,使神经网络能在任意有限维代数上操作,通过张量运算统一描述密集和卷积层,并为超复数值感知机提供理论基础。
2026-01-26 cs.AI cs.LG cs.NE
Compression and Interpretability of Deep Neural Networks via Tucker Tensor Layer: From First Principles to Tensor Valued Back-Propagation
这项工作旨在帮助解决深度神经网络(DNN)应用中的两个主要障碍,即大量的可训练参数及其物理可解释性。这是通过基于所提出的Tucker张量层(TTL)的张量值方法来实现的,作为DNN的密集权重矩阵的替代方案。这允许我们将一般DNN的权重矩阵视为高阶权重张量的矩阵展开。凭借张量分解的压缩特性,这使我们能够引入一种新颖而有效的框架,用于利用权重张量的多路性质,以显着减少DNN参数的数量。我们还推导出张量值的TTL框架内的反向传播算法,通过扩展的概念矩阵导数张量。通过这种方式,利用Tucker分解的物理可解释性,通过计算每个因子矩阵的梯度过程,获得对NN训练的物理见解。所提出的框架验证的合成数据,和基准数据集MNIST,时尚MNIST,和CIFAR-10。总的来说,通过提供训练中每个数据特征的相对重要性的能力,TTL反向传播被证明有助于减轻NN固有的“黑匣子”性质。实验结果表明,TTL算法在MNIST和Fashion-MNIST上实现了66.63倍的压缩,而通过简化VGG-16网络,在训练时间上实现了10%的加速,性能相当.
2020-01-06 cs.CV cs.LG eess.SP
Tensor Decomposition for Model Reduction in Neural Networks: A Review
University of Minnesota(明尼苏达大学)
本文综述了六种张量分解方法在卷积神经网络、循环神经网络及Transformers模型参数压缩中的应用,指出该方法可显著缩减模型体积、运行时间与能耗,适配边缘设备部署,部分压缩模型精度还优于原模型。
2023-04-26 cs.AI cs.LG
Riemann Tensor Neural Networks: Learning Conservative Systems with Physics-Constrained Networks
Department of Information Engineering and Computer Science, University of Trento, Trento, Italy(信息工程与计算机科学系,特伦托大学,意大利特伦托)
针对连续介质力学中守恒律的建模需求,提出固有满足无散对称张量条件的黎曼张量神经网络,可高精度逼近保守偏微分方程,首次实现该类张量作为归纳偏置的质量与动量双守恒建模。
2025-06-16 cs.LG
Generalising Recursive Neural Models by Tensor Decomposition
Università di Pisa(比萨大学)
结构化数据的大多数机器学习模型通过利用节点邻域中的信息的简单聚合函数(在神经模型中,通常是加权和)来编码节点的结构知识。然而,简单的上下文聚合函数的选择,如总和,可能是广泛的次优。在这项工作中,我们介绍了一种通用的方法来利用基于张量的配方模型聚合的结构背景。我们展示了如何通过基于Tucker张量分解的近似来控制参数空间大小的指数增长。这种近似允许限制参数空间大小,将其与隐藏编码空间大小的严格关系解耦。通过这种方式,我们可以有效地调节编码的表现力之间的权衡,由隐藏的大小,计算复杂性和模型泛化,参数化的影响控制。最后,我们引入了一个新的张量树-LSTM,作为我们框架的一个实例,我们用它来实验性地评估我们对树分类场景的工作假设。
2020-06-17 cs.LG cs.NE stat.ML
Tensor Decomposition for Compressing Recurrent Neural Network
RIKEN, Center for Advanced Intelligence Project AIP(理化学研究所先进智能项目中心)
在机器学习领域,循环神经网络(RNN)已经成为一种流行的序列数据建模体系结构。然而,在令人印象深刻的性能背后,RNN需要大量的参数来进行训练和推理。在本文中,我们试图减少参数的数量,同时保持RNN的表达能力。我们利用几种张量分解方法,包括CANDECOMP/PARAFAC(CP),Tucker分解和张量训练(TT)重新参数化的门控递归单元(GRU)RNN。我们评估了所有基于张量的RNN在具有各种参数的序列建模任务上的性能。根据我们的实验结果,TT-GRU取得了最好的结果,在各种数量的参数相比,其他分解方法。
2018-05-08 cs.LG
Deep Neural Network Approximation using Tensor Sketching
Amazon ML(亚马逊机器学习);Samsung Research America(三星美国研究院);VMware Research(威睿研究院)
深度神经网络是功能强大的学习模型,可在许多计算机视觉、语音和语言处理任务上实现最先进的性能。在本文中,我们研究了在设计深度网络架构时出现的一个基本问题:给定目标网络架构,我们是否可以设计一个更小的网络架构来近似目标网络的操作?这个问题部分是由现代深度神经网络中的参数减少(压缩)的挑战所激发的,因为这些网络的不断增加的存储和内存需求在资源受限的环境中提出了问题。在这项工作中,我们专注于深度卷积神经网络架构,并提出了一种新的随机张量草图技术,我们利用它来开发一个统一的框架来近似卷积层和全连接层的操作。通过沿不同张量维度应用草图技术,我们设计了对卷积层和全连接层的更改,从而大大减少了网络中有效参数的数量。我们表明,由此产生的较小的网络可以直接训练,并具有与原始网络相当的分类精度。
2017-10-21 cs.AI cs.LG stat.ML
Asymptotic Optimism for Tensor Regression Models with Applications to Neural Network Compression
Rice University(莱斯大学);University of Minnesota(明尼苏达大学)
本文研究了低秩张量回归中秩选择问题,推导了在随机协变量设计下的期望训练-测试分歧表达式,并提出了一种以预测为导向的秩选择规则,扩展到张量模型平均,并展示了其在图像回归任务中的实用性。
2026-03-27 cs.LG math.ST stat.ML
End-to-end Learning of a Convolutional Neural Network via Deep Tensor Decomposition
University of California, Riverside(加州大学河滨分校);University of Southern California(南加利福尼亚大学)
本文研究了深度卷积神经网络的权值学习问题。我们考虑一个网络,其中卷积是在每层都有一个内核的非重叠补丁上进行的。我们开发了一个算法,同时学习所有的内核从训练数据。我们的方法被称为深度张量分解(DeepTD)是基于秩1张量分解。我们在理论上研究DeepTD下的训练数据的可实现模型,其中输入是独立同分布选择的。从高斯分布,并且根据种植的卷积核生成标签。我们证明了DeepTD是数据高效的,并且只要样本大小超过网络中卷积权重的总数,就可以证明它是有效的。我们进行了各种数值实验,以研究DeepTD的有效性,并验证我们的理论研究结果。
2018-05-16 cs.LG math.OC stat.ML
Tensor Programs IIb: Architectural Universality of Neural Tangent Kernel Training Dynamics
Microsoft Research(微软研究院);Apple Research(苹果研究院)
Yang(2020 a)最近表明,对于包括ResNet和Transformers等现代主食在内的一大类架构,初始化时的神经切线核(NTK)具有无限宽度限制。然而,他们的分析并不适用于培训。在这里,我们展示了相同的神经网络(在所谓的NTK参数化中)在训练过程中遵循函数空间中的内核梯度下降动态,其中内核是无限宽度的NTK。这就完成了NTK行为的 * 架构通用性 * 的证明。为了实现这一结果,我们应用了张量程序技术:将整个SGD动力学写入张量程序,并通过主定理进行分析。为了方便这个证明,我们开发了一个张量程序的图形符号。
2021-05-08 cs.LG cs.NE math.PR
TPsgtR: Neural-Symbolic Tensor Product Scene-Graph-Triplet Representation for Image Captioning
University of Florida(佛罗里达大学)
如果图形表示的结构可以用概念位置绑定来公式化,则可以改进图像描述。在这项工作中,我们介绍了一种新的技术,用于字幕生成使用的场景图的神经符号编码,来自区域的图像视觉信息,我们称之为张量积场景图三元组表示(TP $_{sgt}$ R)。虽然,以前的大多数工作集中在识别图像中的对象特征,我们引入了神经符号嵌入,可以将图像不同区域之间的识别关系嵌入到具体的形式中,而不是依赖于模型来组成任何/所有组合。这些神经符号表征有助于更好地定义神经符号空间,以实现神经符号注意,并可以转换为更好的字幕。在此基础上,我们引入了两种新的字幕生成模型(TP $_{sgt}$ R-TDBU和TP $_{sgt}$ R-sTDBU)进行对比,实验结果表明,本文提出的字幕生成模型性能优于其他模型,生成的字幕更加全面、自然。
2019-11-22 cs.CL cs.CV cs.LG
Implicit Regularization in Tensor Factorization
Tel Aviv University(特拉维夫大学)
最近在深度学习中解开隐式正则化之谜的努力导致了对矩阵分解的理论关注-通过线性神经网络完成矩阵。作为迈向实际深度学习的一步,我们提供了张量因式分解中隐式正则化的第一个理论分析-通过某种类型的非线性神经网络实现张量完备化。我们规避了臭名昭著的困难张量问题,通过采用动力系统的角度来看,和表征的演变引起的梯度下降。的表征表明,贪婪的低张量秩搜索的形式,我们严格证明在某些条件下,和经验证明在其他情况下。受张量秩捕获非线性神经网络的隐式正则化的启发,我们将其作为复杂性的度量进行了经验探索,并发现它捕获了神经网络概括的数据集的本质。这让我们相信,张量秩可以为解释深度学习中的隐式正则化以及将这种隐式正则化转化为泛化的真实数据的属性铺平道路。
2021-06-09 cs.AI cs.LG cs.NE
A Static Analyzer for Detecting Tensor Shape Errors in Deep Neural Network Training Code
Seoul National University(首尔大学)
我们提出了一个自动静态分析器PyTea,它可以检测PyTorch代码中的张量形状错误。张量形状错误在深度神经网络代码中至关重要;一旦在训练阶段中间发生张量形状不匹配,大部分训练成本和中间结果都会丢失。给定输入PyTorch源,PyTea静态跟踪每个可能的执行路径,收集路径的张量操作序列所需的张量形状约束,并决定约束是否不可满足(因此可能发生形状错误)。PyTea的可扩展性和精度取决于真实世界PyTorch应用程序的特性:PyTea保守修剪后的执行路径数量很少爆炸,循环足够简单,可以通过我们的符号抽象来限制。我们针对官方PyTorch存储库中的项目和StackOverflow中质疑的一些tensor-error代码测试了PyTea。PyTea成功地检测到这些代码中的张量形状错误,每次都在几秒钟内。
2021-12-16 cs.LG cs.PL
Efficient Finite Initialization with Partial Norms for Tensorized Neural Networks and Tensor Networks Algorithms
Quantum Technologies and Systems Unit, LKS Next, MONDRAGON Corporation, Goiru 7, 20500 Arrasate-Mondragón, Gipuzkoa, Spain(量子技术与系统单元,LKS Next,MONDRAGON公司,Goiru 7,20500 Arrasate-Mondragón,Gipuzkoa,西班牙)
本文提出两种算法,利用张量网络中部分Frobenius范数和正线性元元素和进行初始化,通过迭代子网络范数实现归一化,提升张量神经网络和张量网络算法的效率。
2026-05-01 cs.LG quant-ph
Regularization for convolutional kernel tensors to avoid unstable gradient problem in convolutional neural networks
China University of Geosciences(中国地质大学)
卷积神经网络是目前非常流行的一种神经网络。训练神经网络并不是一件容易的事。每个卷积对应于一个结构化的变换矩阵。为了帮助避免梯度爆炸/消失问题,期望每个变换矩阵的奇异值在训练过程中不大/不小。我们为卷积核张量提出了三个新的正则化项来约束每个变换矩阵的奇异值。我们展示了如何执行梯度类型的方法,这提供了新的见解的训练卷积神经网络。
2021-02-05 cs.LG cs.NA math.NA
ANTN: Bridging Autoregressive Neural Networks and Tensor Networks for Quantum Many-Body Simulation
Massachusetts Institute of Technology(麻省理工学院);NSF AI Institute for Artificial Intelligence and Fundamental Interactions(NSF人工智能与基础相互作用AI研究所);Harvard University(哈佛大学)
针对量子多体模拟中希尔伯特空间指数增长难以直接模拟、现有张量网络与自回归神经网络各有局限的问题,提出桥接二者的ANTN架构,兼具二者优势,在相关任务上表现更优,开辟多领域新方向。
2024-04-16 cond-mat.str-el cs.LG physics.comp-ph
Unifying O(3) Equivariant Neural Networks Design with Tensor-Network Formalism
University of Cambridge(剑桥大学);The University of Chicago(芝加哥大学);Flatiron Institute(弗拉蒂伦研究所)
本文提出用张量网络中的融合图技术设计O(3)等变神经网络组件(融合块),作为任意连续等变函数的通用逼近器,集成到Cormorant和MACE中提升性能并应用于二苯乙烯异构化动力学。
2024-05-22 cs.AI cs.LG quant-ph