Semi-Orthogonal Multilinear PCA with Relaxed Start
Hong Kong Baptist University（香港浸会大学）
主成分分析（PCA）是一种利用正交投影学习低维特征的无监督方法。多线性PCA方法通过张量到张量投影或张量到向量投影（TVP）扩展PCA以直接处理多维数据（张量）。然而，在TVP设置下，很难开发一个有效的多线性PCA方法与正交约束。本文提出了一种新的半正交多线性PCA（SO-MPCA）方法来解决这个问题。SO-MPCA通过TVP直接从张量中学习低维特征，只在一个模式中施加正交约束。该公式比完全正交性导致更多的捕获方差和更多的学习特征。为了更好的推广，我们进一步引入了一个宽松的开始（RS）策略，通过固定起始投影向量来获得SO-MPCA-RS，这增加了偏差，降低了学习模型的方差。在人脸（2D）和步态（3D）数据上的实验表明，SO-MPCA-RS算法的性能总体上优于其他竞争算法，并且松弛启动策略对于其他基于TVP的PCA方法也是有效的。
2015-05-07 cs.CV cs.LG stat.ML
A New Approach to Multilinear Dynamical Systems and Control
South Dakota Mines（南达科他矿业学院）
本文提出了一种新的方法来分析和控制多线性动力系统。该方法是基于张量分解和一个新定义的循环代数的最新发展。特别地，它表明，在右张量乘法算子下，三阶张量可以被写为三阶张量的乘积，这类似于传统的矩阵特征值分解，其中“特征向量”成为特征矩阵，“特征值”成为特征元组。这一新的发展允许一个适当的张量特征值分解被定义，并通过\textit{tensor-exponential}自然延伸到线性系统理论。通过这个框架，我们扩展了许多传统的技术在线性系统理论中使用的多线性对应。
2021-08-31 cs.LG cs.MA math.DS
Revisiting Trace Norm Minimization for Tensor Tucker Completion: A Direct Multilinear Rank Learning Approach
The University of Hong Kong（香港大学）；Zhejiang University（浙江大学）；Harbin Engineering University（哈尔滨工程大学）
针对 Tucker 张量补全中展开矩阵迹范数难以有效最小化多线性秩的问题，提出面向因子矩阵的直接迹范数建模与不动点迭代算法，提升秩学习和信号恢复性能。
2024-09-10 cs.LG eess.SP
Deepfake Representation with Multilinear Regression
University of California, Riverside（加州大学河滨分校）；University of California, Los Angeles（加州大学洛杉矶分校）；Tensor Vision, Los Angeles（Tensor Vision（洛杉矶））
诸如GANs的生成神经网络架构可以用于生成合成实例以补偿真实数据的缺乏。然而，他们可能被用来创建可能导致社会，政治或经济动荡的媒体。一个新兴的媒体是“Deepfake”。可以区分这种媒体的技术是必不可少的。在本文中，我们提出了一种改进的多线性（张量）方法，线性和多线性回归的组合，用于表示假数据和真实数据。我们通过使用我们修改的多线性（张量）方法表示Deepfakes来测试我们的方法，并执行SVM分类，结果令人鼓舞。
2021-08-15 cs.AI cs.CV cs.LG
Efficient Alternating Least Squares Algorithms for Low Multilinear Rank Approximation of Tensors
Peking University（北京大学）；Chinese Academy of Sciences（中国科学院）
低多线性秩逼近，也称为截断塔克分解，已广泛应用于许多涉及高阶张量的应用中。目前流行的低秩多线性近似方法通常直接依赖于矩阵奇异值分解，因此经常遭受臭名昭著的中间数据爆炸问题，并且不容易并行化，特别是当输入张量很大时。在本文中，我们提出了一类新的截断HOSVD算法的交替最小二乘（ALS）的基础上有效地计算低多线性秩近似的张量。所提出的基于ALS的方法能够消除中间矩阵的奇异向量的冗余计算，因此没有数据爆炸。此外，新方法更灵活，收敛容差可调，在高性能计算机上本质上是可并行的。理论分析表明，所提算法中的ALS迭代是q-线性收敛的，具有较宽的收敛域。数值实验与大规模张量从合成和现实世界的应用表明，基于ALS的方法可以大大降低原来的总成本，是高度可扩展的并行计算。
2021-04-02 cs.LG cs.NA math.NA
Reconstruction Algorithms for Low-Rank Tensors and Depth-3 Multilinear Circuits
Rutgers University（罗格斯大学）；Boston College（波士顿学院）
我们给出了几类深度- $3$算术电路的新的有效的黑盒重构算法。因此，我们获得了第一个有效的算法，用于计算张量秩和寻找最佳张量分解作为秩一张量的总和时，输入是一个常数秩张量。更具体地说，我们为以下类别提供了高效的学习算法，这些算法在一般域上以随机多项式时间运行，在实数和复数上以确定性多项式时间运行：（1）集多线性深度-恒定顶部扇入的$3$电路（$ΣΠΣ\{\sqcup_j X_j\}(k)$电路）。作为我们的算法的结果，我们得到了第一个多项式时间算法的张量秩计算和最佳张量分解的常秩张量。这个结果对任何$d$的$d$维张量都成立，但即使对$d=3$也很有趣。(2)许多线性形式（$Σ\wedgeΣ$电路）的幂和。作为结果，我们得到了第一个多项式时间算法的张量秩计算和最佳张量分解的常秩对称张量。(3)恒定顶部扇入的多线性深度3电路（多线性$ΣΠΣ(k)$电路）。我们的算法适用于所有领域的特征0或足够大的特征。在我们的工作之前，已知的唯一有效算法是多项式大小的有限域（见。Karnin-Shpilka 09 '）。在我们的工作之前，对于也在大/无限域上工作的$ΣΠΣ(k)$电路的子类，已知的唯一多项式时间甚至亚指数时间算法（确定性或随机化）是用于顶部扇入$k$至多为$2$时的设置（参见Sinha 16“和Sinha 20”）。
2021-05-04 cs.CC cs.LG
Multilinear Common Component Analysis via Kronecker Product Representation
The University of Electro-Communications（电气通信大学）
本文提出多线性公共成分分析（MCCA），利用Kronecker积从多个张量数据集中提取公共结构，并开发了保证模态全局收敛的估计算法，数值实验验证了其有效性。
2020-11-20 cs.LG stat.ME stat.ML
Residual Tensor Train: A Quantum-inspired Approach for Learning Multiple Multilinear Correlations
Zhejiang University（浙江大学）；University of New South Wales（新南威尔士大学）
量子多体系统的态被定义在高维希尔伯特空间中，子系统之间丰富而复杂的相互作用可以被建模。在机器学习中，复杂的多重多线性相关性也可能存在于输入特征内。在本文中，我们提出了一个量子启发的多线性模型，名为剩余张量训练（ResTT），捕捉多个多线性相关的功能，从低到高的订单，在一个单一的模型。ResTT能够在高维空间中构建鲁棒的决策边界，用于解决拟合和分类任务。特别地，我们证明了全连通层和Volterra级数可以作为ResTT的特例。此外，我们推导出了基于平均场分析的稳定ResTT训练的权重初始化规则。我们证明了这样的规则比TT更宽松，这意味着ResTT可以很容易地解决现有TT模型中存在的消失和爆炸梯度问题。数值实验表明，ResTT在MNIST和Fashion-MNIST数据集上的性能优于最先进的张量网络和基准深度学习模型。此外，ResTT实现了更好的性能比其他统计方法在两个实际的例子有限的数据，已知有复杂的功能相互作用。
2022-08-02 cs.LG
Learning Multiple Tasks with Multilinear Relationship Networks
Tsinghua University（清华大学）
在大规模数据上训练的深度网络可以学习可转移的特征，以促进学习多个任务。由于深度特征最终会沿着深度网络从一般过渡到特定，因此多任务学习的一个基本问题是如何利用参数张量背后的任务相关性，并提高多个任务特定层中的特征可转移性。本文提出了多线性关系网络（MRN），它基于深度卷积网络中多个任务特定层的参数张量上的新张量正态先验来发现任务关系。通过联合学习可迁移特征以及任务与特征之间的多线性关系，MRN能够缓解特征层负迁移和分类器层迁移不足的困境。实验表明，MRN在三个多任务学习数据集上产生了最先进的结果。
2017-11-06 cs.LG
Federated Multilinear Principal Component Analysis with Applications in Prognostics
North Carolina State University（北卡罗来纳州立大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出了一种联邦多线性主成分分析（FMPCA）方法，使多个用户能够在保持数据本地化和机密性的前提下协同进行张量数据降维，其性能与传统MPCA相同，并应用于工业预测与健康管理。
2024-04-28 cs.LG eess.IV stat.ML
Online Multilinear Dictionary Learning
Department of Electrical & Electronic Engineering, Imperial College London, United Kingdom（伦敦帝国理工学院电子与电气工程系）
提出了一种在线张量字典学习方法。在可分字典的假设下，利用张量收缩将$\mathcal{O}\left(L^N\right)$的$N$ -路模型简化为具有实时性的简单的$\mathcal{O}\left(NL^2\right)$矩阵方程。为了避免稀疏矩阵求逆引起的数值不稳定性，通过最小二乘解构造了一类具有记忆的随机梯度算法，以保证算法的收敛性和鲁棒性。讨论并实现了精确线搜索的梯度下降法和牛顿法。还详细解释了如何处理不良初始化和离群值的扩展。两个合成信号的实验证实了我们所提出的方法令人印象深刻的性能。
2020-03-10 cs.LG stat.ML
Bayesian Sparse Tucker Models for Dimension Reduction and Tensor Completion
RIKEN Brain Science Institute（理化学研究所脑科学研究所）；Shanghai Jiao Tong University（上海交通大学）
本文提出一种概率生成Tucker模型，通过结构稀疏性在多线性潜在空间中实现张量降维与补全，自动适应模型复杂度并提升泛化性能。
2015-05-10 cs.LG cs.NA math.NA
Tensor Decompositions: A New Concept in Brain Data Analysis?
RIKEN BSI（理化学研究所脑科学综合研究中心）
本文综述了张量分解在多向BSS/ICA、特征提取、分类和多向PLS回归中的新模型与方法，涵盖约束Tucker和CP模型及惩罚张量分解。
2013-05-02 cs.LG cs.NA math.NA
Tensor Regression Networks
NVIDIA（英伟达）；Imperial College London（帝国理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Amazon AI（亚马逊人工智能）；University of Southern California（南加州大学）；California Institute of Technology（加州理工学院）
卷积神经网络通常由许多卷积层和一个或多个全连接层组成。虽然卷积层在高阶激活张量之间映射，但完全连接的层对扁平化的激活向量进行操作。尽管在经验上取得了成功，但这种方法有明显的缺点。展平后的全连接层放弃了激活中的多线性结构，需要许多参数。我们通过结合张量代数运算来解决这些问题，这些运算在每一层都保留了多线性结构。首先，我们介绍了张量收缩层（Tensor Contraction Layers，TCL），它可以降低输入的维度，同时使用张量收缩保持其多线性结构。接下来，我们介绍张量回归层（TRL），它通过从高阶激活张量到任意阶输出张量的低秩多线性映射来表达输出。我们端到端地学习收缩和回归因子，并使用更少的参数生成准确的网络。此外，我们的层通过对激活（TCL）和回归权重（TRL）施加低秩约束来正则化网络。ImageNet上的实验表明，应用于VGG和ResNet架构，与完全连接的层相比，TCL和TRL减少了65%以上的参数数量，同时保持或提高了准确性。除了节省空间外，我们的方法利用拓扑结构的能力对于MRI等结构化数据至关重要。特别是，我们展示了与英国生物银行数据集相关的三个任务的可比架构的显着性能改进。
2020-07-20 cs.LG
Multilinear Tensor Low-Rank Approximation for Policy-Gradient Methods in Reinforcement Learning
King Juan Carlos University（胡安·卡洛斯国王大学）；The Chinese University of Hong Kong（香港中文大学）
针对神经网络策略的收敛、架构选择及状态-动作冗余利用不足等问题，本文利用PARAFAC分解构建张量低秩RL策略，给出理论保证并实验证明其可降低计算与样本复杂度且奖励相近。
2025-01-08 cs.LG
Globally Convergent Accelerated Algorithms for Multilinear Sparse Logistic Regression with $\ell_0$-constraints
Yunnan University（云南大学）
本文针对带$\ell_0$约束的多线性稀疏逻辑回归模型提出APALM$^+$加速算法，解决了非凸非光滑优化难题，并证明了其全局收敛性及收敛速率，实验表明其在准确性和速度上优于现有方法。
2023-09-17 cs.LG stat.ML
Multilinear Biased Discriminant Analysis: A Novel Method for Facial Action Unit Representation
Sharif University of Tech.（谢里夫理工大学）
本文提出了一种新的有效的方法表示的面部动作单元编码的图像序列作为一个四阶张量。首先提出了基于多线性张量的有偏判别分析（BDA）算法的扩展，称为多线性有偏判别分析（MBDA）。然后，我们应用MBDA和二维BDA（2DBDA）算法，作为降维技术，Gabor表示和输入图像序列的几何特征分别。该方案可以处理正负样本之间的不对称性以及维数灾难的困境。在Cohn-Kanade数据库上进行的大量实验表明，该方法在表达面部表情的细微变化和时间信息方面具有优越性。作为一个精确的工具，这种表示可以应用于许多领域，如识别自发和故意的面部表情，多模态/媒体人机交互和测谎工作。
2010-04-04 cs.CV cs.LG
An Iterative Reweighted Method for Tucker Decomposition of Incomplete Multiway Tensors
Stevens Institute of Technology（史蒂文斯理工学院）
本文提出一种基于组log-sum惩罚函数的迭代加权方法，用于处理不完整多维张量的低秩分解，通过多线性操作实现紧凑表示，并自动确定多线性秩。
2015-11-15 cs.LG cs.NA math.NA
Mode-wise Tensor Decompositions: Multi-dimensional Generalizations of CUR Decompositions
University of California, Los Angeles（加州大学洛杉矶分校）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
低阶张量近似是现代机器学习和数据科学中的基本工具。在本文中，我们研究了两个主要的张量CUR近似，即Chidori和纤维CUR的特征，扰动分析，和一个有效的采样策略。我们刻画了低多线性秩张量的精确张量CUR分解。我们还提出了理论误差界的张量CUR近似（对抗或高斯）噪声出现时。此外，我们表明，低成本的均匀采样是足够的张量CUR近似，如果张量有一个不相干的结构。经验性能评估，与合成和真实世界的数据集，建立张量CUR近似的速度优势，比其他国家的最先进的低多线性秩张量近似。
2021-06-25 cs.IT cs.LG cs.NA
Higher-Order Low-Rank Regression
Aix-Marseille University（艾克斯-马赛大学）
本文提出了一种有效的算法（HOLRR）来处理回归任务的输出具有张量结构。我们制定的回归问题最小化的最小二乘准则下的多线性秩约束，一个困难的非凸问题。HOLRR有效地计算了这个问题的近似解，并有坚实的理论保证。还提出了一个内核扩展。对合成数据和真实数据的实验表明，HOLRR优于多元和多元线性回归方法，并且比现有的张量方法快得多。
2016-02-22 cs.LG
Guaranteed Low-Rank Tensor Recovery from Modewise Measurements via Normalized Block-Weighted Riemannian Gradient Descent
School of Mathematics and Statistics, Southwest University（西南大学数学与统计学院）
本文提出一种自适应块加权模向黎曼梯度下降方法，用于从线性测量中恢复低多线性秩张量，通过归一化加权策略改善收敛性，并在理论上建立线性收敛和采样保证，实验验证其高效性和可靠性。
2026-09-22 cs.LG
Fast Trainable Multilinear Bases for Image Compression
Institute of Science Tokyo（东京科学大学）；Center for Advanced Intelligence Project (AIP), RIKEN（理化学研究所先进智能项目中心）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本研究提出受量子多体理论启发的等距多重线性基，通过黎曼优化训练，在自然照片和线条图压缩上优于传统固定基，在Quick Draw任务中同质量下字节数比JPEG少约20%。
2026-10-14 cs.CV cs.LG eess.IV
