Deep convolutional tensor network
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）
神经网络已经在许多领域取得了最先进的成果，这可能是由于参数共享、局部性和深度。张量网络是基于纠缠结构的量子多体态的线性代数表示。TN已经在机器学习中得到应用。我们设计了一种新的基于TN的模型称为深度卷积张量网络（DCTN）的图像分类，它具有参数共享，局部性和深度。它是基于纠缠元格态（EPS）TN。我们展示了如何EPS可以实现为一个反向传播层。我们在MNIST，FashionMNIST和CIFAR10数据集上测试DCTN。浅DCTN在MNIST和FashionMNIST上表现良好，并且具有小的参数计数。不幸的是，深度增加过拟合，从而降低测试精度。此外，由于过拟合，任何深度的DCTN在CIFAR10上的表现都很差。原因尚待确定。我们讨论了DCTN的超参数如何影响其训练和过拟合。
2020-11-14 cs.LG stat.ML
Einconv: Exploring Unexplored Tensor Network Decompositions for Convolutional Neural Networks
Preferred Networks（优选网络公司）；The University of Tokyo（东京大学）
张量分解方法被广泛用于卷积神经网络（CNN）中的模型压缩和快速推理。虽然许多分解是可以想象的，但只有CP分解和少数其他分解已被应用于实践，并且没有在可用方法之间进行广泛的比较。以前的研究没有确定有多少分解是可用的，也没有确定哪一个是最佳的。在这项研究中，我们首先通过采用灵活的图形符号来描述特定于CNN的分解类。该类包括众所周知的CNN模块，如深度可分离卷积层和瓶颈层，但也包括以前未知的具有非线性激活的模块。我们还通过实验比较了预测精度和时间/空间复杂度之间的权衡，通过枚举所有可能的分解，或通过使用神经架构搜索发现的模块。我们发现一些非线性分解优于现有的。
2019-11-27 cs.LG stat.ML
Tensor Regression Networks with various Low-Rank Tensor Approximations
RIKEN Center for AIP（理化学研究所AIP中心）；McGill University（麦吉尔大学）
张量回归网络实现了神经网络的高压缩率，同时对性能的影响很小。它们通过对全连接层的权重矩阵施加低张量秩结构来做到这一点。近年来，人们从压缩能力的角度对张量回归网络进行了研究，但对低秩张量结构的正则化效应的研究还不够深入。我们使用各种低秩张量近似来研究张量回归网络，旨在比较不同低秩约束的压缩和正则化能力。我们评估的压缩和正则化性能的建议模型与深和浅的卷积神经网络。我们的实验结果表明，全局平均池层优于张量回归层，当应用于CIFAR-10数据集的深度卷积神经网络时。相反，当使用少量样本进行训练时，具有张量回归层和dropout函数的浅层卷积神经网络的测试误差低于全局平均池和具有dropout函数的全连接层。
2018-11-29 cs.LG stat.ML
End-to-end Learning of a Convolutional Neural Network via Deep Tensor Decomposition
University of California, Riverside（加州大学河滨分校）；University of Southern California（南加利福尼亚大学）
本文研究了深度卷积神经网络的权值学习问题。我们考虑一个网络，其中卷积是在每层都有一个内核的非重叠补丁上进行的。我们开发了一个算法，同时学习所有的内核从训练数据。我们的方法被称为深度张量分解（DeepTD）是基于秩1张量分解。我们在理论上研究DeepTD下的训练数据的可实现模型，其中输入是独立同分布选择的。从高斯分布，并且根据种植的卷积核生成标签。我们证明了DeepTD是数据高效的，并且只要样本大小超过网络中卷积权重的总数，就可以证明它是有效的。我们进行了各种数值实验，以研究DeepTD的有效性，并验证我们的理论研究结果。
2018-05-16 cs.LG math.OC stat.ML
Ultimate tensorization: compressing convolutional and FC layers alike
Moscow State University（莫斯科国立大学）；Yandex；National Research University Higher School of Economics（国家研究型大学高等经济学院）；Institute of Numerical Mathematics of the Russian Academy of Sciences（俄罗斯科学院数值数学研究所）
卷积神经网络在图像识别任务中表现出色，但这是以高计算和存储复杂性为代价的。为了解决这个问题，[1]开发了一个张量分解框架来压缩全连接层。在本文中，我们专注于压缩卷积层。我们表明，虽然直接将张量框架[1]应用于卷积的4维核确实压缩了层，但我们可以做得更好。我们将卷积核重塑为高阶张量并对其进行因子分解。我们将所提出的方法与之前的工作相结合，以压缩网络的卷积层和全连接层，并在CIFAR-10数据集上实现80倍的网络压缩率，准确率下降1.1%。
2016-11-10 cs.LG
Implicit Regularization in Hierarchical Tensor Factorization and Deep Convolutional Neural Networks
Tel Aviv University（特拉维夫大学）
为了解释深度学习中的隐式正则化，重点关注了矩阵和张量分解，它们对应于简化的神经网络。结果表明，这些模型表现出一个隐含的倾向，低矩阵和张量秩，分别。为了更接近实际的深度学习，本文从理论上分析了分层张量分解中的隐式正则化，这是一种等效于某些深度卷积神经网络的模型。通过动力系统的镜头，我们克服了与层次结构相关的挑战，并建立了隐式正则化低层次张量秩。这转化为对相关卷积网络局部性的隐式正则化。受我们理论的启发，我们设计了显式正则化来抑制局部性，并证明了它能够提高现代卷积网络在非局部任务上的性能，这与需要改变架构的传统智慧背道而驰。我们的工作突出了通过对神经网络的隐式正则化进行理论分析来增强神经网络的潜力。
2022-09-18 cs.AI cs.LG cs.NE
Convolutional Tensor-Train LSTM for Spatio-temporal Learning
University of Maryland（马里兰大学）；NVIDIA Research（英伟达研究院）
时空数据学习在人类行为分析、目标跟踪、视频压缩、物理仿真等领域有着广泛的应用，但现有的时空数据学习方法在长时间预测等视频任务中表现不佳。这是因为这些具有挑战性的任务需要学习视频序列中的长期时空相关性。在本文中，我们提出了一个高阶卷积LSTM模型，可以有效地学习这些相关性，以及历史的简洁表示。这是通过一个新的张量训练模块来实现的，该模块通过组合跨时间的卷积特征来执行预测。为了使这在计算和内存需求方面可行，我们提出了一种新的高阶模型的卷积张量-训练分解。这种分解通过将卷积核序列联合近似为低秩张量训练因子分解来降低模型复杂度。因此，我们的模型优于现有的方法，但只使用了一小部分参数，包括基线模型。我们的结果在广泛的应用程序和数据集上实现了最先进的性能，包括Moving-MNIST-2和KTH动作数据集上的多步视频预测以及Something-Something V2数据集上的早期活动识别。
2020-10-04 cs.CV cs.LG stat.ML
Regularization for convolutional kernel tensors to avoid unstable gradient problem in convolutional neural networks
China University of Geosciences（中国地质大学）
卷积神经网络是目前非常流行的一种神经网络。训练神经网络并不是一件容易的事。每个卷积对应于一个结构化的变换矩阵。为了帮助避免梯度爆炸/消失问题，期望每个变换矩阵的奇异值在训练过程中不大/不小。我们为卷积核张量提出了三个新的正则化项来约束每个变换矩阵的奇异值。我们展示了如何执行梯度类型的方法，这提供了新的见解的训练卷积神经网络。
2021-02-05 cs.LG cs.NA math.NA
High-Order Tensor Regression in Sparse Convolutional Neural Networks
本文提出一种面向卷积的通用高阶张量方法，构建稀疏卷积神经网络的理性回归理论框架，并据此重新定义以最简单通用形式呈现的反向传播算法。
2025-08-28 cs.LG
CP-decomposition with Tensor Power Method for Convolutional Neural Networks Compression
University of Science and Technology（科学技术大学）；Electronics and Telecommunications Research Institute（电子通信研究院）
卷积神经网络（CNN）在包括复杂图像分类任务在内的许多领域都取得了巨大的成功。然而，它们需要大量的内存和计算成本，这阻碍了它们在智能手机等相对低端的智能设备中运行。提出了一种基于CP分解和张量幂方法的CNN压缩方法。我们还提出了一个迭代的微调，我们微调整个网络分解后的每一层，但分解前的下一层。显着减少内存和计算成本相比，国家的最先进的以前的工作，没有更多的精度损失。
2017-01-25 cs.LG
Spatial-Temporal Tensor Graph Convolutional Network for Traffic Prediction
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）
准确的交通预测是城市交通引导和管理的关键。然而，现有的交通量预测模型在捕捉交通量数据的时空相关性时，大多没有考虑计算负担和存储空间。在这项工作中，我们提出了一个分解时空张量图卷积网络来处理交通速度预测。交通网络建模和统一到一个图，同时集成了空间和时间的信息。我们进一步扩展图卷积到张量空间，并提出了一个张量图卷积网络，以提取更多的区别特征的时空图数据。为了减少计算负担，我们采用Tucker张量分解并导出因式分解的张量卷积，该卷积在小尺度空间，时间和特征模式中执行单独的滤波。此外，我们可以受益于噪声抑制的交通数据时，丢弃那些平凡的成分在张量分解的过程中。在两个真实的交通速度数据集上的大量实验表明，该方法比传统的交通预测方法更有效，同时达到了最先进的性能。
2021-03-10 cs.LG
Convolutional Neural Networks with Transformed Input based on Robust Tensor Network Decomposition
Nanyang Technological University（南洋理工大学）；University of Southern California（南加州大学）
张量网络分解起源于量子物理学，用于对纠缠的多粒子量子系统进行建模，结果证明是一种有前途的数学技术，可以以简约的方式有效地表示和处理大数据。在这项研究中，我们证明了张量网络可以系统地划分结构化数据，例如彩色图像，以保护隐私的方式进行分布式存储和通信。利用大数据和元数据隐私的海洋，实证结果表明，无法识别以张量网络格式存储的隐含信息的相邻子张量进行数据重建。这种技术补充了现有的加密和随机化技术，这些技术将显式数据表示存储在一个地方，并且非常容易受到对抗攻击，例如侧信道攻击和去匿名化。此外，我们提出了一个理论的对抗性的例子，误导卷积神经网络错误分类使用基于奇异值分解（SVD）的子空间分析。该理论被扩展到使用张量训练SVD（TT-SVD）分析高阶张量;它有助于解释不同数据集对对抗攻击的敏感性水平，不同对抗攻击（包括全局和局部攻击）的结构相似性，以及基于输入变换的不同对抗防御的有效性。基于鲁棒的TT-SVD，提出了一种有效的自适应算法来检测强静态对抗攻击。
2018-12-11 cs.CV cs.LG stat.ML
Multi-Task Learning based Convolutional Models with Curriculum Learning for the Anisotropic Reynolds Stress Tensor in Turbulent Duct Flow
Harvard University（哈佛大学）；Imperial College London（帝国理工学院）；Dassault Systemes, Simulia Corp.（达索系统Simulia公司）
雷诺平均Navier-Stokes（RANS）方程需要精确的各向异性雷诺应力张量模型。传统的截流模型虽然复杂，但往往只适用于限流结构。研究人员已经开始使用机器学习方法来解决这个问题，方法是开发更通用的基于数据的闭包模型。在这项工作中，我们建立在最近用于湍流建模的卷积神经网络架构的基础上，并提出了一种基于多任务学习的完全卷积神经网络，该网络能够准确预测湍流管道流的归一化各向异性雷诺应力张量。此外，我们还探讨了课程学习在数据驱动湍流建模中的应用。
2022-01-31 cs.LG physics.flu-dyn
Learning Dynamic Graphs via Tensorized and Lightweight Graph Convolutional Networks
College of Computer and Information Science, Southwest University, Chongqing, China（计算机与信息科学学院，西南大学，重庆，中国）
针对传统动态图卷积网络解耦建模破坏时空依赖的问题，提出张量化轻量级图卷积网络（TLGCN），基于张量M-乘积联合传播时空信息并省略复杂变换，在四个数据集上权重估计任务优于现有模型。
2025-04-22 cs.LG
T-Net: Parametrizing Fully Convolutional Nets with a Single High-Order Tensor
Samsung AI Center, Cambridge（三星人工智能中心（剑桥））
最近的研究结果表明，过度参数化虽然对于成功训练深度神经网络至关重要，但也会引入大量冗余。张量方法有可能通过利用这种冗余来有效地参数化过完备表示。在本文中，我们提出完全参数化卷积神经网络（CNN）与一个单一的高阶，低秩张量。以前关于网络张量化的工作主要集中在参数化单个层（卷积或全连接），并逐层单独执行张量化。相比之下，我们建议通过使用单个高阶张量对其进行参数化来共同捕获神经网络的完整结构，其模式表示网络的每个架构设计参数（例如卷积块的数量，深度，堆栈的数量，输入特征等）。这种参数化允许正则化整个网络并大大减少参数的数量。我们的模型是端到端可训练的，施加在权重张量上的低秩结构充当隐式正则化。我们研究了具有丰富结构的网络的情况，即全卷积网络（FCN），我们建议用单个8阶张量参数化。我们表明，我们的方法可以实现卓越的性能与小的压缩率，并达到高压缩率，可以忽略不计的准确性下降的挑战性任务的人体姿态估计。
2019-04-04 cs.AI cs.CV cs.LG
Convolutional Graph-Tensor Net for Graph Data Completion
Columbia University（哥伦比亚大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
图形数据完成是一个根本性的重要问题，因为数据通常具有图形结构，例如，社交网络、推荐系统和物联网。我们考虑一个图，其中每个节点都有一个数据矩阵，表示为一个\textit{graph-tensor}通过堆叠的数据矩阵在第三个维度。在本文中，我们提出了一个\textit{Convolutional Graph-Tensor Net}（\textit{Conv GT-Net}）的图数据完成问题，它使用深度神经网络学习的一般变换的图张量。在ego-Facebook数据集上的实验结果表明，与现有算法相比，本文提出的\textit{Conv GT-Net}在完成准确率（高出50%）和完成速度（快3.6倍$\sim$ 8.1倍）方面都取得了显着提高。
2023-03-02 cs.AI cs.LG
Structured Model Pruning of Convolutional Networks on Tensor Processing Units
Google（谷歌）
卷积神经网络的部署通常受到高计算和存储要求的阻碍。结构化模型修剪是一种很有前途的方法，以减轻这些要求。以VGG-16模型为例，我们测量了张量处理单元（TPU）上各种结构化模型修剪方法和数据集（CIFAR-10和ImageNet）的准确性-效率权衡。为了衡量模型的实际性能，我们为TensorFlow 2开发了一个结构化的模型修剪库，以就地修改模型（而不是添加掩码层）。我们表明，结构化模型修剪可以显着提高TPU上的模型内存使用率和速度，而不会损失准确性，特别是对于小数据集（例如，CIFAR-10）。
2021-07-21 cs.AR cs.LG
Tensor Convolutional Sparse Coding with Low-Rank activations, an application to EEG analysis
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；ENS Paris-Saclay（巴黎萨克雷高等师范学校）；Centre Borelli（博雷利中心）；Université Sorbonne Paris Nord（索邦巴黎北大学）；L2TI（L2TI实验室）；eXascale Infolab；University of Fribourg（弗里堡大学）
近年来，人们对脑电图（EEG）谱图的分析越来越感兴趣，特别是研究全麻（GA）期间意识（无）的神经相关性。事实上，已经证明，三阶张量（通道x频率x时间）是这些信号的自然和有用的表示。然而，这种编码带来了很大的困难，特别是对于卷积稀疏编码（CSC），因为现有的方法没有利用张量表示的特殊性，例如秩结构，并且容易受到医疗行为期间EEG固有的高水平噪声和扰动的影响。为了解决这个问题，在本文中，我们引入了一个新的CSC模型，命名为Kruskal CSC（K-CSC），它使用激活张量的Kruskal分解来利用这些表示的内在低秩性质，以提取相关和可解释的编码。我们的主要贡献，TC-FISTA，使用多种工具来有效地解决由此产生的优化问题，尽管张量表示引起的复杂性增加。然后，我们评估TC-FISTA的合成数据集和真实的EEG记录在GA。结果表明，TC-FISTA对噪声和扰动具有鲁棒性，从而实现了信号的精确、稀疏和可解释的编码。
2020-07-10 cs.LG eess.SP stat.ML
Graph Edge Representation via Tensor Product Graph Convolutional Representation
School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）；Key Laboratory of Multimodal Cognitive Computation（多模态认知计算重点实验室）
针对现有图卷积无法处理带高维边特征图的问题，本文结合张量收缩表示与张量积图扩散理论提出TPGC算子以获取边嵌入，补充传统图卷积并在多任务中验证有效。
2024-06-21 cs.LG
Exploring the Potential of Low-bit Training of Convolutional Neural Networks
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology (BNRist)（北京国家信息科学与技术研究中心（BNRist））
在这项工作中，我们提出了一个低比特训练框架的卷积神经网络，这是建立在一个新的多级缩放（MLS）张量格式。我们的框架侧重于通过将所有卷积操作数量化为低位宽格式来降低卷积操作的能耗。具体来说，我们提出了MLS张量格式，其中元素的位宽可以大大减少。然后，我们描述了动态量化和低比特张量卷积算法，以有效地利用MLS张量格式。实验表明，我们的框架实现了更好的平衡之间的准确性和比特宽度比以前的低比特训练框架。对于在CIFAR-10上训练各种模型，使用1位尾数和2位指数足以将精度损失保持在$1\%$内。在像ImageNet这样的大型数据集上，使用4位尾数和2位指数足以将精度损失保持在$1\%$范围内。通过对计算单元的能耗仿真，我们可以估计，用我们的框架训练各种模型，可以分别获得比全精度和8位浮点算法训练更高的能量效率$8.3\sim10.2\times$和$1.9\sim2.3\times$。
2021-07-14 cs.LG stat.ML
Convolutional Rectifier Networks as Generalized Tensor Decompositions
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
卷积整流器网络，即具有整流线性激活和最大或平均池化的卷积神经网络，是现代深度学习的基石。然而，尽管它们被广泛使用并取得了成功，但我们对驱动这些网络的表达特性的理论理解充其量只是部分的。另一方面，在算术电路的世界里，我们对这些问题有更坚定的把握。具体地，已知卷积算术电路具有“完全深度效率”的性质，这意味着除了可忽略的集合之外，可以由多项式大小的深度网络实现的所有函数都需要指数大小，以便由浅网络实现（或甚至近似）。在本文中，我们描述了一种基于广义张量分解的结构，将卷积算术电路转换为卷积整流器网络。然后，我们使用数学工具，可从世界上的算术电路，以证明新的结果。首先，我们证明了卷积整流器网络对最大池化是通用的，但对平均池化不是通用的。其次，更重要的是，我们证明了卷积整流器网络的深度效率比卷积算术电路弱。这让我们相信，开发训练卷积算术电路的有效方法，从而实现其表达潜力，可能会产生一种深度学习架构，这种架构可以证明优于卷积整流器网络，但迄今为止一直被从业者忽视。
2016-05-23 cs.LG cs.NE
Reduced storage direct tensor ring decomposition for convolutional neural networks compression
Wroclaw University of Science and Technology（弗罗茨瓦夫科技大学）
本文提出基于降存储直接张量环分解（RSDTR）的低秩CNN压缩方法，通过更灵活的循环模式置换实现高参数与FLOPS压缩率，并在CIFAR-10和ImageNet上验证其优于现有方法。
2024-08-05 cs.CV cs.LG
Tensor Graph Convolutional Networks for Text Classification
Tsinghua-iFLYTEK Joint Lab（清华-讯飞联合实验室）；iFlytek Research（科大讯飞研究院）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）；Tsinghua University（清华大学）；Institute for Precision Medicine, Tsinghua University（清华大学精准医学研究院）
与序列学习模型相比，基于图的神经网络具有一些优异的性能，如全局信息捕获能力。在本文中，我们研究基于图的神经网络的文本分类问题。针对这一任务，提出了一种新的框架TensorGCN（张量图卷积网络）。首先构造文本图张量来描述语义、句法和顺序上下文信息。然后，在文本图张量上执行两种传播学习。第一种是用于聚集来自单个图中的邻域节点的信息的图内传播。第二种是图间传播，用于协调图之间的异构信息。在基准数据集上进行了大量的实验，结果表明了我们提出的框架的有效性。我们提出的TensorGCN提供了一种有效的方法来协调和集成来自不同类型图的异构信息。
2020-01-12 cs.CL cs.IR cs.LG
Tensor Graph Convolutional Networks for Multi-relational and Robust Learning
Univ. of Minnesota（明尼苏达大学）；King Juan Carlos Univ.（胡安卡洛斯国王大学）
“数据泛滥”的时代重新激发了人们对基于图的学习方法及其广泛应用的兴趣，从社会学和生物学到交通和通信。在这种图形感知方法的背景下，本文介绍了一种张量-图卷积网络（TGCN），用于从与由张量表示的图形集合相关联的数据进行可扩展的半监督学习（SSL）。新型TGCN架构的关键方面是通过可学习的权重动态适应张量图中的不同关系，以及考虑基于图的正则化器以促进平滑性并减轻过度参数化。最终目标是设计一个强大的学习架构，能够：发现复杂和高度非线性的数据关联，组合（和选择）多种类型的关系，随着图的大小优雅地扩展，并保持对图边缘扰动的鲁棒性。所提出的架构不仅在节点自然涉及不同关系的应用中（例如，在社交网络中捕获家庭、友谊和工作关系的多关系图），而且在鲁棒学习设置中，其中图需要一定程度的不确定性，并且不同的张量板对应于标称图的不同版本（实现）。数值测试表明，所提出的架构相对于标准GCN实现了显着提高的性能，应对最先进的对抗攻击，并导致显着的SSL性能超过蛋白质相互作用网络。
2020-03-15 cs.LG eess.SP stat.ML
Analysis and Design of Convolutional Networks via Hierarchical Tensor Decompositions
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
卷积网络是迄今为止最成功的深度学习架构，其背后的驱动力是它们的表达能力。尽管它被广泛接受和大量的经验证据，支持这一信念的正式分析是稀缺的。关于表达性的形式化推理的主要概念是效率和归纳偏差。表达效率是指网络架构实现需要替代架构大得多的功能的能力。归纳偏见是指在事先了解手头任务的情况下，将某些功能优先于其他功能。在本文中，我们概述了作者撰写的一系列作品，通过对分层张量分解的等价性，分析了各种卷积网络架构特征（深度，宽度，步幅等）的表达效率和归纳偏差。这些结果揭示了卷积网络的有效性，并为网络设计提供了新的工具。
2018-06-11 cs.LG cs.NE
Enhanced Traffic Flow Prediction with Multi-Segment Fusion Tensor Graph Convolutional Networks
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Southwest University（西南大学）
本文提出多段融合张量图卷积网络MS-FTGCN，通过张量M-product统一时空建模，并结合小时、日、周组件与注意力融合，在两个数据集上实现了优于现有模型的交通流预测性能。
2024-08-08 cs.IR cs.LG
Convolutional neural networks compression with low rank and sparse tensor decompositions
Skoltech（斯科尔特科技学院）
卷积神经网络在各种计算机视觉任务中表现出优异的性能。然而，神经网络架构设计通常面临模型性能和计算/存储器复杂度之间的权衡。对于一些现实世界的应用程序，开发模型至关重要，这些模型可以快速而轻巧地在边缘系统和移动设备上运行。然而，许多表现出良好性能的现代体系结构不满足推理时间和存储限制的要求。因此，出现了一个问题，神经网络压缩，以获得一个更小，更快的模型，这是与初始的。在这项工作中，我们考虑一个神经网络压缩方法的基础上张量分解。也就是说，我们建议用一个张量来近似卷积层权重，它可以表示为低秩和稀疏分量的总和。这种近似的动机是基于这样的假设，即低秩和稀疏项允许消除两种不同类型的冗余，从而产生更好的压缩率。一个有效的CPU实现所提出的方法已经开发。我们的算法在压缩Resnet 50架构用于图像分类任务时，表现出高达3.5倍的CPU层加速和11倍的层大小减少。
2020-06-11 cs.CV cs.LG
conv_einsum: A Framework for Representation and Fast Evaluation of Multilinear Operations in Convolutional Tensorial Neural Networks
University of Maryland（马里兰大学）
本文提出统一框架将张量卷积层表示为类einsum字符串，并开发元算法conv_einsum以最小化FLOPs方式评估，显著提升了卷积TNNs的计算与内存效率。
2024-01-07 cs.CV cs.LG
Convolutional Neural Network Compression through Generalized Kronecker Product Decomposition
University of Waterloo（滑铁卢大学）
现代卷积神经网络（CNN）架构尽管在解决各种问题方面具有优势，但通常太大而不能部署在资源受限的边缘设备上。在本文中，我们减少了CNN中卷积层所需的内存使用和浮点运算。我们通过将Kronecker乘积分解推广到多维张量来压缩这些层，从而得到广义Kronecker乘积分解（GKPD）。我们的方法产生了一个即插即用的模块，可以用作任何卷积层的替代品。使用ResNet、MobileNetv 2和SeNet架构在CIFAR-10和ImageNet数据集上进行图像分类的实验结果证实了我们提出的方法的有效性。我们发现GKPD优于最先进的分解方法，包括Tensor-Train和Tensor-Ring以及其他相关的压缩方法，如修剪和知识蒸馏。
2022-01-14 cs.CV cs.LG
In situ TensorView: In situ Visualization of Convolutional Neural Networks
University of New Mexico（新墨西哥大学）；Kent State University（肯特州立大学）；US Army Research Laboratory（美国陆军研究实验室）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
卷积神经网络（CNN）是一种复杂的系统。它们经过训练，可以调整内部连接来识别图像、文本等。将这种深层人工神经网络内的动态可视化既有趣又有帮助，这样人们就可以理解这些人工网络是如何学习和做出预测的。在科学模拟领域，像Paraview这样的可视化工具长期以来一直被用来提供见解和理解。我们提出了原位TensorView来可视化CNN的训练和功能，就好像它们是科学模拟系统一样。In situ TensorView是一个松散耦合的原位可视化开放框架，提供多个查看器来帮助用户可视化和理解他们的网络。它利用Paraview的协同处理功能，在训练和预测阶段提供实时可视化。这避免了可视化大型动态系统的繁重I/O开销。在TensorFlow框架中只注入了少量的代码行。可视化可以为调整网络结构或压缩预训练网络提供指导。我们展示了使用原位TensorView可视化LeNet-5和VGG 16的训练。
2018-06-16 cs.CV cs.HC cs.LG
Deep Neural Network Approximation using Tensor Sketching
Amazon ML（亚马逊机器学习）；Samsung Research America（三星美国研究院）；VMware Research（威睿研究院）
深度神经网络是功能强大的学习模型，可在许多计算机视觉、语音和语言处理任务上实现最先进的性能。在本文中，我们研究了在设计深度网络架构时出现的一个基本问题：给定目标网络架构，我们是否可以设计一个更小的网络架构来近似目标网络的操作？这个问题部分是由现代深度神经网络中的参数减少（压缩）的挑战所激发的，因为这些网络的不断增加的存储和内存需求在资源受限的环境中提出了问题。在这项工作中，我们专注于深度卷积神经网络架构，并提出了一种新的随机张量草图技术，我们利用它来开发一个统一的框架来近似卷积层和全连接层的操作。通过沿不同张量维度应用草图技术，我们设计了对卷积层和全连接层的更改，从而大大减少了网络中有效参数的数量。我们表明，由此产生的较小的网络可以直接训练，并具有与原始网络相当的分类精度。
2017-10-21 cs.AI cs.LG stat.ML
A Unified Weight Initialization Paradigm for Tensorial Convolutional Neural Networks
Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；University of Electronic Science and Technology of China（电子科技大学）；Tokyo Institute of Technology（东京工业大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Pengcheng Laboratory（鹏城实验室）
张量卷积神经网络（TCNN）因其在减少模型参数和提高泛化能力方面的优势而受到广泛关注。然而，TCNN的探索甚至受到权重初始化方法的阻碍。具体而言，一般的初始化方法，如Xavier或Kaiming初始化，通常无法为TCNN生成适当的权重。同时，尽管存在用于特定架构的自组织方法（例如，张量环网），它们不适用于具有其他张量分解方法的TCNN（例如，CP或Tucker分解）。为了解决这个问题，我们提出了一个通用的权重初始化范式，它概括了Xavier和Kaiming方法，可以广泛适用于任意TCNN。具体来说，我们首先提出了再生变换，将TCNN中的反向过程转换为等效的卷积过程。然后，基于前向和后向过程中的卷积算子，我们建立了一个统一的范式来控制TCNN中特征和梯度的方差。因此，我们可以推导出各种TCNN的扇入和扇出初始化。我们证明了我们的范例可以稳定TCNN的训练，从而加快收敛速度并获得更好的结果。
2022-07-25 cs.AI cs.LG
Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization
张量分解是深度卷积神经网络模型压缩的基本技术之一，因为它能够揭示复杂结构之间的潜在关系。然而，大多数现有的方法，压缩网络逐层，这不能提供一个令人满意的解决方案，以实现全局优化。在本文中，我们提出了一种模型简化方法，使用卷积层的低秩张量分解来压缩预训练网络。我们的方法是基于优化技术来选择适当的层次分解的网络层。提出了一种新的正则化方法--漏斗函数法，用来抑制压缩过程中的不重要因素，从而更容易地显示出合适的秩。实验结果表明，与其他张量压缩方法相比，该算法可以减少更多的模型参数。对于使用ImageNet 2012的ResNet 18，我们的简化模型在GMAC方面可以达到两倍以上的速度，而Top-1精度仅下降0.7%，这在两个指标上都优于大多数现有方法。
2021-12-07 cs.AI cs.CV cs.LG
High Fidelity Interactive Video Segmentation Using Tensor Decomposition Boundary Loss Convolutional Tessellations and Context Aware Skip Connections
Intel Corporation（英特尔公司）
我们为交互式视频分割任务提供了一种高保真度深度学习算法（HyperSeg），该算法使用具有上下文感知跳过连接的卷积网络，以及压缩的超列图像特征与卷积曲面细分过程相结合。为了保持高输出保真度，我们的模型以高分辨率处理和渲染所有图像特征，而不使用下采样或池化过程。我们主要通过两种方法在我们的模型中有效地保持这种一致的，高等级的保真度：（1）我们使用一种基于几何原理的张量分解过程来调节超列特征的数量，以及（2）我们使用卷积镶嵌技术以其原生分辨率渲染这些特征。对于改进的像素级分割结果，我们引入了边界损失函数;对于改进的视频数据的时间相干性，我们在模型中包括时间图像信息。通过实验，我们证明了我们的模型对基线模型使用高分辨率视频数据的交互式分割任务的准确性提高。我们还介绍了一个基准视频分割数据集，VFX分割数据集，其中包含超过27，046个高分辨率视频帧，包括绿屏和各种合成场景，以及相应的手工制作的像素级分割。我们的工作提出了一个扩展，以提高最先进的分割保真度与高分辨率数据，并可用于广泛的应用领域，包括视觉特效管道和医学成像学科。
2020-11-23 cs.CV cs.LG eess.IV
Correlating Time Series with Interpretable Convolutional Kernels
Massachusetts Institute of Technology（麻省理工学院）；University of Central Florida（中佛罗里达大学）；McGill University（麦吉尔大学）
本研究针对单变量、多变量及多维时间序列的卷积核学习问题，提出基于稀疏回归与张量计算的方法，通过非负约束实现可解释性，在真实数据集上揭示了时间模式并提升了下游任务性能。
2024-09-02 cs.AI cs.LG
Tensor Completion via Convolutional Sparse Coding Regularization
Sun Yat-sen University（中山大学）；National Engineering Research Center of Digital Life, Sun Yat-sen University（中山大学国家数字生活工程技术研究中心）；Central China Normal University（华中师范大学）
由于张量数据具有复杂的高维结构，在获取张量数据时经常会遇到数据缺失的问题。为了弥补缺失信息，人们提出了许多低秩张量完备化方法，这些方法大多依赖于张量数据的低秩性质。这样，原始数据的低秩分量可以大致恢复。然而，无论是核范数之和（SNN）还是基于张量核范数（TNN）的方法，其缺点是不能完全恢复细节信息。相反，在信号处理领域，卷积稀疏编码（CSC）可以提供图像的高频分量的良好表示，该高频分量通常与数据的细节分量相关联。然而，CSC不能很好地处理低频分量。为此，我们提出了两种新的方法，LRTC-CSC-I和LRTC-CSC-II，采用CSC作为LRTC的补充正则化来捕获高频分量。因此，LRTC-CSC方法不仅可以解决缺失值问题，而且可以恢复细节。此外，由于稀疏特性，正则化器CSC可以用小样本训练。大量的实验表明LRTC-CSC方法的有效性，定量评价表明，我们的模型的性能优于国家的最先进的方法。
2021-05-06 cs.CV cs.LG eess.IV
Unsupervised Learning of Word-Sequence Representations from Scratch via Convolutional Tensor Decomposition
无监督文本嵌入提取是机器学习中文本理解的关键。Word 2 Vec及其变体在将具有相似句法或语义含义的词映射到彼此接近的向量方面取得了实质性的成功。然而，提取上下文感知的词序列嵌入仍然是一个具有挑战性的任务。在大型语料库上训练是困难的，因为标签很难获得。更重要的是，对于预训练的模型来说，要获得对所有下游任务或任何新数据集都通用的单词序列嵌入是一个挑战。我们提出了一个两阶段的ConvDic+DeconvDec框架来解决这个问题，通过结合词序列字典学习模型和词序列嵌入解码模型。我们提出了一种卷积张量分解机制，在学习阶段学习好的单词序列短语词典。它被证明是更准确，更有效地比流行的交替最小化方法。在解码阶段，我们引入了一个反卷积框架，它不受句子长度变化的影响。我们使用ConvDic+DeconvDec提取的单词序列嵌入对于我们测试的一些下游任务来说普遍很好。该框架既不需要预训练也不需要先验/外部信息。
2018-05-28 cs.CL cs.LG
Tensor Regression Networks
NVIDIA（英伟达）；Imperial College London（帝国理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Amazon AI（亚马逊人工智能）；University of Southern California（南加州大学）；California Institute of Technology（加州理工学院）
卷积神经网络通常由许多卷积层和一个或多个全连接层组成。虽然卷积层在高阶激活张量之间映射，但完全连接的层对扁平化的激活向量进行操作。尽管在经验上取得了成功，但这种方法有明显的缺点。展平后的全连接层放弃了激活中的多线性结构，需要许多参数。我们通过结合张量代数运算来解决这些问题，这些运算在每一层都保留了多线性结构。首先，我们介绍了张量收缩层（Tensor Contraction Layers，TCL），它可以降低输入的维度，同时使用张量收缩保持其多线性结构。接下来，我们介绍张量回归层（TRL），它通过从高阶激活张量到任意阶输出张量的低秩多线性映射来表达输出。我们端到端地学习收缩和回归因子，并使用更少的参数生成准确的网络。此外，我们的层通过对激活（TCL）和回归权重（TRL）施加低秩约束来正则化网络。ImageNet上的实验表明，应用于VGG和ResNet架构，与完全连接的层相比，TCL和TRL减少了65%以上的参数数量，同时保持或提高了准确性。除了节省空间外，我们的方法利用拓扑结构的能力对于MRI等结构化数据至关重要。特别是，我们展示了与英国生物银行数据集相关的三个任务的可比架构的显着性能改进。
2020-07-20 cs.LG
Convolutional neural networks with low-rank regularization
Princeton University（普林斯顿大学）；The Chinese University of Hong Kong（香港中文大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
大型CNN在各种计算机视觉应用中提供了令人印象深刻的性能。但是存储和计算需求使得在移动设备上部署这些模型成为问题。最近，张量分解已被用于加速CNN。在本文中，我们进一步发展了张量分解技术。我们提出了一种新的算法来计算低秩张量分解，以消除卷积核中的冗余。该算法找到了分解的精确全局最优解，比迭代法更有效。基于分解，我们进一步提出了一种从头开始训练低秩约束CNN的新方法。有趣的是，虽然实现了显着的加速，但有时低秩约束CNN的性能明显优于非约束CNN。在CIFAR-10数据集上，所提出的低秩NIN模型达到了$91.31\%$精度（没有数据增强），这也改善了最先进的结果。我们在CIFAR-10和ILSVRC 12数据集上评估了所提出的方法，用于各种现代CNN，包括AlexNet，NIN，VGG和GoogleNet。例如，VGG-16的转发时间减少了一半，而性能仍然相当。经验上的成功表明，低秩张量分解可以成为加速大型CNN的非常有用的工具。
2016-02-14 cs.CV cs.LG stat.ML
Forecasting Post-Wildfire Vegetation Recovery in California using a Convolutional Long Short-Term Memory Tensor Regression Network
Western Connecticut State University（西康涅狄格州立大学）
本研究提出ConvLSTMTR网络，基于加州104起重大野火数据预测火后NDVI与逻辑斯蒂增长率k，结合UMAP和KNN识别恢复趋势，推动预测生态建模发展并为植被管理提供参考。
2023-11-04 cs.AI cs.LG
Deep Convolutional Neural Networks Predict Elasticity Tensors and their Bounds in Homogenization
University Siegen（锡根大学）
在目前的工作中，3D卷积神经网络（CNN）被训练成将任意相分数的随机异质两相材料与其弹性宏观刚度联系起来，从而取代显式均匀化模拟。为了减少由于未知边界条件（BC）而导致的合成复合材料的真实刚度的不确定性，CNN在周期性BC的刚度之外通过运动学均匀BC预测上限，并且通过应力均匀BC预测下限。这项工作描述了均匀化-CNN的工作流程，从CNN设计的微观结构生成，卷积，非线性激活和池化的操作，以及训练和验证以及反向传播到测试中的性能测量。其中，CNN不仅证明了标准测试集的预测准确性，而且还证明了金刚石涂层的真实两相微观结构的样本的预测准确性。覆盖所有三种边界类型的CNN实际上与三种不同网络中的单独处理一样准确。该贡献的CNN通过刚度边界提供了单个快照样本的适当RVE大小的指标。此外，它们能够对合成微结构的集合进行有效弹性刚度的统计分析，而无需昂贵的模拟。
2021-09-04 cond-mat.mtrl-sci cs.LG
Network of Tensor Time Series
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
协同进化时间序列出现在环境监测、金融分析和智能交通等众多应用中。本文旨在解决以下挑战，包括（C1）如何纳入时间序列的显式关系网络;（C2）如何建模时间动态的隐式关系。本文提出了一种新的张量时间序列网络模型，该模型由张量图卷积网络和张量递归神经网络两个模块组成。TGCN通过将平面图的图卷积网络（GCN）推广到张量图来解决第一个挑战，张量图捕获了与张量相关的多个图之间的协同作用。TRNN利用张量分解来建模协同演化时间序列之间的隐式关系。在五个真实数据集上的实验结果证明了该方法的有效性。
2021-05-14 cs.AI cs.LG
Boosting Defect Detection in Manufacturing using Tensor Convolutional Neural Networks
Multiverse Computing（多元宇宙计算公司）；Donostia International Physics Center（圣塞瓦斯蒂安国际物理中心）；Ikerbasque Foundation for Science（伊克尔巴斯克科学基金会）
本研究提出量子启发的张量卷积神经网络（T-CNN），在保持准确率的同时大幅减少参数量并加快训练速度，在超声波传感器缺陷检测实际应用中超越传统人工视觉检测。
2024-04-26 cs.AI cs.CV cs.LG
Semi-tensor Product-based TensorDecomposition for Neural Network Compression
University of Electronic Science and Technology of China（电子科技大学）；Shanghai Jiao Tong University（上海交通大学）
现有的张量网络采用传统的矩阵积进行连接。经典的矩阵乘积要求因子之间具有严格的维数一致性，这会导致数据表示的冗余。本文利用半张量积将经典的基于矩阵积的模积推广到半张量积。由于它允许连接两个不同维度的因子，因此可以用较小的因子获得更灵活和紧凑的张量分解。Tucker分解、张量训练（TT）和张量环（TR）是深度神经网络低秩压缩的常用分解。将半张量积应用于这些张量分解以获得它们的广义版本，即，半张量Tucker分解（STTu）、半张量训练（STT）和半张量环（STR）。实验结果表明，STTu，STT和STR实现更高的压缩因子比传统的张量分解具有相同的精度，但更少的训练时间在ResNet和WideResNet压缩。在2%精度下降的情况下，TT-RN（rank = 14）和TR-WRN（rank = 16）仅获得3倍和99 t倍的压缩因子，而STT-RN（rank = 14）和STR-WRN（rank = 16）分别获得9倍和179倍的压缩因子。
2021-09-30 cs.LG
Rubik's Cube Operator: A Plug And Play Permutation Module for Better Arranging High Dimensional Industrial Data in Deep Convolutional Processes
卷积神经网络（CNN）从空间、时间和系统动力学的角度集成了分布式工业系统的数据记录，已被广泛应用于基于张量输入的工业数据处理。然而，与图像不同，基于工业数据的张量中的信息不一定是空间有序的。因此，直接应用CNN无效。为了解决这个问题，我们提出了一个即插即用模块，即Rubik's Cube Operator（RCO），在CNN处理之前，自适应地将基于工业数据的张量的数据组织排列为最优或次优的属性顺序，这些属性可以通过基于梯度的优化器与后续CNN一起更新。建议的RCO维护K个二进制和右随机置换矩阵，以置换基于张量的输入工业数据的K个轴的属性。提出了一种新的学习方法，利用Gumbel-Softmax对置换矩阵的元素进行重新参数化，并在任务特定的损失中加入软正则化损失，以保证置换数据的特征多样性。我们通过考虑两个代表性的学习任务，通过CNN处理工业数据，风力发电预测（WPP）和风速预测（WSP）从可再生能源领域验证了所提出的RCO的有效性。基于不同风电场采集的4个数据集进行了计算实验，结果表明，该RCO能显著提高基于CNN网络的性能。
2022-03-24 cs.LG
Tensor-Tensor Product Toolbox
Carnegie Mellon University（卡内基梅隆大学）
张量-张量乘积（t-乘积）[M. E. Kilmer和C. D. Martin，2011]是矩阵乘法的自然推广。基于t-积，矩阵上的许多运算都可以推广到张量情形，包括张量奇异值分解、张量谱范数、张量核范数[C。Lu等人，#20182;和其他许多人。张量的线性代数结构类似于矩阵的情况。我们开发了一个Matlab工具箱来实现基于t-积的张量的几个基本操作。该工具箱可在https://github.com/canyilu/tproduct上找到。
2018-06-20 cs.AI cs.CV cs.LG
Reduce Computational Complexity for Convolutional Layers by Skipping Zeros
Hefei Institutes of Physical Science, Chinese Academy of Sciences（中国科学院合肥物质科学研究院）；University of Science and Technology of China（中国科学技术大学）
本文提出C-K-S算法及GPU实现，通过修剪滤波器排除零填充、将稀疏张量转密集张量并标准化计算规则，有效减少卷积层冗余计算，在部分场景下速度与收敛性超越PyTorch和cuDNN。
2024-08-26 cs.AI cs.LG
Speeding-up Convolutional Neural Networks Using Fine-tuned CP-Decomposition
Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术学院（Skoltech））；Yandex；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Institute of Numerical Mathematics RAS（俄罗斯科学院数值数学研究所）
我们提出了一种简单的两步方法，用于加速基于张量分解和判别微调的大型卷积神经网络中的卷积层。给定一个层，我们使用非线性最小二乘法将4D卷积核张量的低秩CP分解计算为少量秩1张量的总和。在第二步中，这种分解用于用具有小内核的四个卷积层的序列替换原始卷积层。在这样的替换之后，使用标准反向传播过程在训练数据上对整个网络进行微调。我们在两个CNN上评估了这种方法，并表明它与以前的方法相比具有竞争力，从而以两个网络中较小的网络的较低精度下降为代价获得更高的CPU加速。因此，对于36类字符分类CNN，我们的方法获得了整个网络的8.5倍CPU加速，只有轻微的准确率下降（从91%到90%下降1%）。对于标准ImageNet架构（AlexNet），该方法将第二个卷积层的速度提高了4倍，但代价是$1\%$增加了总体前5个分类错误。
2015-04-24 cs.CV cs.LG
Very high resolution Airborne PolSAR Image Classification using Convolutional Neural Networks
Univ. Bretagne Sud（南布列塔尼大学）；IRISA（法国国家信息与自动化研究所雷恩分院）；CNRS（法国国家科学研究中心）
在这项工作中，我们利用卷积神经网络（CNN）的甚高分辨率（VHR）极化SAR（PolSAR）数据的分类。由于这些数据中的异质纹理的显着外观，不仅极化特征，而且结构张量被利用来馈送CNN模型。对于深度网络，我们使用SegNet模型进行语义分割，这对应于遥感中的逐像素分类。我们对机载F-SAR数据的实验表明，对于VHR PolSAR图像，SegNet可以为分类任务提供高精度;引入结构张量和极化特征作为输入可以帮助网络更多地关注几何信息，以显着提高分类性能。
2020-04-09 cs.CV cs.LG
Tensor network compressibility of convolutional models
Multiverse Computing（多元宇宙计算公司）；Donostia International Physics Center（多诺斯蒂亚国际物理中心）；Institute for Advanced Studies in Basic Sciences (IASBS)（基础科学高级研究所）；Ikerbasque Foundation for Science（伊克尔巴斯克科学基金会）
该研究通过截断稠密CNN卷积核的实验，探究张量化不影响准确率的原因，发现卷积核关联压缩是CNN的固有特征，且截断后模型易恢复准确率，可用于更高效的CNN张量化压缩。
2024-08-19 cs.CV cs.LG quant-ph
Time Extrapolation with Graph Convolutional Autoencoder and Tensor Train Decomposition
School of Mathematical Sciences, Ocean University of China（中国海洋大学数学科学学院）；mathLab, Mathematics Area, SISSA（SISSA数学领域）
本文提出结合图卷积自编码器与张量列车分解的方法，用于在复杂几何中有效学习外推领域的动态行为。
2025-11-28 cs.LG cs.NA math.NA
Boosting Dilated Convolutional Networks with Mixed Tensor Decompositions
Institute for Advanced Study（高等研究院）；The Hebrew University of Jerusalem（希伯来大学耶路撒冷分校）；cs.huji.ac.il（胡西学院计算机科学系（注：此处按要求不应提取此类非机构性内容，实际正确机构应为前三个，但原文本中cs.huji.ac.il为作者邮箱后缀，非机构，故有效机构仅前三者中重复的前两个，经核对原文HTML中的\textbf{coltauthor}后跟随的机构为Institute for Advanced Study，随后重复出现The Hebrew University of Jerusalem两次，而作者的Affiliation行中未明确列出具体机构名，仅邮箱后缀，故根据提取范围，仅提取明确出现的机构，即前两个重复的The Hebrew University of Jerusalem和Institute for Advanced Study，但严格按原文HTML开头文本中的机构描述，coltauthor部分的机构应为：Institute for Advanced Study，The Hebrew University of Jerusalem，The Hebrew University of Jerusalem，后续作者的Affiliation字段未提供机构名，故最终有效机构为：高等研究院、希伯来大学耶路撒冷分校（重复两次合并为一个）。但根据输出要求，需严格按原文明确出现的机构，原文中coltauthor后有三个机构：Institute for Advanced Study，The Hebrew University of Jerusalem，The Hebrew University of Jerusalem，因此正确输出应为：{）
深度网络背后的驱动力是它们能够复杂地表示丰富的函数类。对这一现象进行形式化推理的主要概念是表达效率，它指的是一个网络必须增长到不可行的程度才能实现（或近似）另一个网络的功能。到目前为止，表达效率分析集中在深度的结构特征上，表明深网络在代表性上优于浅网络。在本文中，我们研究的表达效率所带来的连接性，动机是观察到现代网络互连他们的层在精心设计的方式。我们专注于扩张卷积网络，这是一系列深度模型，在序列处理任务中提供最先进的性能。通过引入和分析混合张量分解的概念，我们证明了互连的扩张卷积网络可以导致表达效率。特别是，我们表明，即使是一个单一的连接之间的中间层已经可以导致一个几乎是二次的差距，这在大规模的设置通常使一个模型，这是实际的和一个不是之间的差异。经验评估表明，连接的表达效率，类似于深度，转化为准确性的增益。这使我们相信，表达效率可能在开发深度网络设计的新工具中发挥关键作用。
2018-02-13 cs.LG cs.NE
Integral Formulas for Vector Signal Tensor Products
InstaDeep
本文推导了简化向量信号张量积的积分公式，通过获得反称Gaunt系数的显式表达式，实现了Clebsch-Gordan张量积的高效模拟，减少9倍的张量积计算量，为SO(3)等价神经网络应用奠定基础。
2026-06-08 cs.LG physics.comp-ph
Convolutional Surrogate for 3D Discrete Fracture-Matrix Tensor Upscaling
Institute of New Technologies and Applied Informatics, Faculty of Mechatronics, Informatics and Interdisciplinary Studies, Technical University of Liberec（新技术与应用信息学研究所，机电、信息与跨学科研究学院，利贝雷茨技术大学）
本文提出一种卷积代理模型，用于高效上标3D离散裂隙-基质张量，通过减少计算成本并保持精度，应用于地下水流动模拟。
2026-01-19 cs.LG cs.NA math.NA
