Tensor Q-Rank: New Data Dependent Definition of Tensor Rank
Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）
近年来，基于t-SVD的\textit{Tensor Nuclear Norm~(TNN)}正则化方法在各种低秩张量恢复任务中得到了广泛的应用。然而，这些模型通常需要沿第三维平滑地改变数据以确保其低秩结构。本文通过一个可学习的正交矩阵$\mathbf{Q}$，提出了一种新的数据相关张量秩的定义\textit{tensor Q-rank}，并在此基础上提出了一种统一的数据相关低秩张量恢复模型.在低秩假设下，介绍了两种可解释的$\mathbf{Q}$选择方法，在这种方法下，数据张量可能具有比低管秩结构更显著的低张量Q秩结构.具体地说，最大化奇异值分布的方差导致方差最大化张量Q-Nuclear norm~（VMTQN），而通过流形优化最小化核范数的值导致流形优化张量Q-Nuclear norm~（MOTQN）。将这两种模型应用于低秩张量补全问题，给出了一种有效的算法，并简要分析了在低采样率的复杂数据情况下，本文方法优于TNN方法的原因.最后，在真实世界数据集上的实验结果表明，我们提出的模型在张量完成问题相对于其他张量秩正则化模型的优越性。
2021-06-15 cs.LG stat.ML
A Novel Tensor Factorization-Based Method with Robustness to Inaccurate Rank Estimation
Wenzhou University（温州大学）；Memorial University of Newfoundland（纽芬兰纪念大学）
本文提出一种具有双重低秩约束的新型张量范数，有效解决了张量恢复中过度依赖秩估计与计算成本大的问题，理论证明其对不准确的秩估计具有鲁棒性，且将每次迭代成本降至$\mathcal{O}(n^3\log n +kn^3)$。
2023-05-19 cs.LG
Tensor Denoising via Amplification and Stable Rank Methods
Queens College, City University of New York（纽约市立大学皇后学院）；University of Michigan（密歇根大学）；Northeastern University（东北大学）
多线性阵列形式的张量在数据科学应用中无处不在。捕获的真实世界数据，包括视频、高光谱图像和离散化的物理系统，自然会以张量的形式出现，并且经常伴随着噪声。在加性噪声模型下，假设底层干净张量具有低秩，已经创建了许多去噪方法，这些方法利用张量分解通过低秩张量近似来实现去噪。然而，所有这些分解方法都需要估计张量秩，或相关的度量，如张量谱和核范数，所有这些都是NP难问题。在这项工作中，我们利用我们以前开发的框架$\textit{tensor amplification}$，它提供了很好的近似的频谱和核张量规范，去噪合成张量的各种大小，排名和噪声水平，以及来自生理信号的真实世界的张量。我们还介绍了张量秩的两个新概念-- $\textit{stable slice rank}$和$\textit{stable }$ $X$ $\textit{-rank}$ --以及基于它们的估计的新的去噪方法。实验结果表明，在低秩上下文中，基于张量的放大在高信噪比（SNR）设置中提供了相当的去噪性能，并且在噪声（即，低SNR）设置，而稳定的$X$秩方法在生理信号数据上实现了优异的去噪性能。
2023-03-09 cs.LG eess.SP
Robust Low-tubal-rank Tensor Completion based on Tensor Factorization and Maximum Correntopy Criterion
University of Central Florida（中佛罗里达大学）
张量补全的目标是从其条目的子集中恢复张量，通常是通过利用其低秩属性。在张量秩的几个有用的定义中，低管秩给出了张量固有的低秩结构的一个有价值的特征。虽然最近已经提出了一些具有良好性能的低管秩张量补全算法，但这些算法利用二阶统计量来测量误差残差，当观察到的条目包含大的离群值时，这可能不能很好地工作。在本文中，我们提出了一个新的目标函数的低管秩张量完成，它使用相关熵作为误差测量，以减轻离群值的影响。为了有效地优化所提出的目标，我们利用半二次最小化技术，从而将优化转化为加权低管秩张量因式分解问题。随后，我们提出了两个简单而有效的算法来获得解决方案，并提供其收敛性和复杂性分析。模拟和实际数据的数值结果表明，所提出的算法的鲁棒性和优越的性能。
2022-10-14 cs.LG stat.ML
Experimental observation on a low-rank tensor model for eigenvalue problems
Peking University（北京大学）
在这里，我们利用低秩张量模型（LTM）作为函数逼近，结合梯度下降方法，解决本征值问题，包括拉普拉斯算子和谐振子。实验结果表明，基于多项式的低秩张量模型（PLTM）相比，张量神经网络（TNN）的优越性。我们还测试了MNIST数据集上的分类问题的低秩架构。
2023-02-01 cs.LG physics.comp-ph
Tensor Regression Networks with various Low-Rank Tensor Approximations
RIKEN Center for AIP（理化学研究所AIP中心）；McGill University（麦吉尔大学）
张量回归网络实现了神经网络的高压缩率，同时对性能的影响很小。它们通过对全连接层的权重矩阵施加低张量秩结构来做到这一点。近年来，人们从压缩能力的角度对张量回归网络进行了研究，但对低秩张量结构的正则化效应的研究还不够深入。我们使用各种低秩张量近似来研究张量回归网络，旨在比较不同低秩约束的压缩和正则化能力。我们评估的压缩和正则化性能的建议模型与深和浅的卷积神经网络。我们的实验结果表明，全局平均池层优于张量回归层，当应用于CIFAR-10数据集的深度卷积神经网络时。相反，当使用少量样本进行训练时，具有张量回归层和dropout函数的浅层卷积神经网络的测试误差低于全局平均池和具有dropout函数的全连接层。
2018-11-29 cs.LG stat.ML
STARK: Structured Dictionary Learning Through Rank-one Tensor Recovery
Rutgers University（罗格斯大学）
近年来，已经提出了一类用于多维（张量）数据表示的字典，其通过在数据底层的字典上施加克罗内克结构来利用张量数据的结构。在这项工作中，一种新的算法称为“STARK”的学习克罗内克结构字典，可以表示任何顺序的张量。通过建立任何数量的矩阵的克罗内克积可以重新排列，以形成一个秩1张量，我们表明，克罗内克结构可以通过解决秩1张量恢复问题的字典。由于秩-1张量恢复是一个具有挑战性的非凸问题，我们求助于解决这个问题的凸松弛。对合成数据和真实数据的实验结果表明，我们所提出的算法是有前途的。
2017-11-13 cs.LG stat.ML
Fast Tucker Rank Reduction for Non-Negative Tensors Using Mean-Field Approximation
National Institute of Informatics（国立信息学研究所）；The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）
提出了一种有效的非负张量低秩近似算法。该算法源自我们的两个发现：首先，我们通过将每个张量视为概率分布，证明了张量的1阶近似可以被视为平均场近似。其次，我们从理论上提供了一个充分条件，分布参数，以减少张量的塔克秩;有趣的是，这个充分条件可以通过迭代应用的平均场近似。由于平均场近似总是作为一个封闭的公式，我们的研究结果导致一个快速的低秩近似算法，而不使用梯度方法。我们的经验表明，我们的算法比现有的非负Tucker降秩方法更快，并实现了竞争力或更好的近似给定张量。
2021-10-24 cs.LG stat.ML
Low rank tensor completion with sparse regularization in a transformed domain
University of Electronic Science and Technology of China（电子科技大学）
张量完备化是一个具有挑战性的问题，有着广泛的应用。基于张量的低秩先验，已经提出了许多相关的模型。然而，低秩先验可能不足以从观察到的不完整张量恢复原始张量。本文利用张量的低秩和稀疏先验，提出了一种张量完备化方法。具体地，张量完成任务可以被公式化为具有稀疏正则化器的低秩最小化问题。基于张量奇异值分解（T-SVD）的张量截断核范数刻画了其低秩性质，与张量核范数相比，T-SVD是张量管秩的一种更好的近似.而稀疏正则化子是在离散余弦变换（DCT）域中通过$\ell_{1}$ -范数来实现的，它能更好地利用完备数据的局部稀疏性。为了解决最优化问题，我们采用了交替方向法的乘法器（ADMM），其中我们只需要解决几个子问题，有封闭形式的解决方案。在真实图像和视频上的大量实验表明，该方法具有更好的性能比现有的国家的最先进的方法。
2019-11-19 cs.LG cs.NA math.NA
Optimal low rank tensor recovery
我们调查的样本量的要求，从一个子集的条目精确恢复的高阶张量的低秩。在塔克分解框架中，我们表明，黎曼优化算法的初始值从谱方法可以重建张量的大小$n\times n \times\cdots \times n$张量的秩$(r,\cdots,r)$与高概率从尽可能少的$O((r^d+dnr)\log(d))$条目。在3阶张量的情况下，对于低秩大张量，条目可以渐近地少至$O(nr)$。给出了恢复的理论保证条件。分析依赖于张量限制等距属性（张量RIP）和低秩张量流形的曲率。我们的算法是计算效率高，易于实现。数值结果表明，该算法能够从最少的测量数据中恢复出低秩张量。高光谱图像恢复实验也表明，我们的算法是能够在现实世界的信号处理问题。
2019-11-11 cs.LG stat.CO stat.ML
Almost-lossless compression of a low-rank random tensor
Huawei Research Center（华为研究中心）
在这项工作中，我们建立了一个渐近极限的几乎-无损压缩的随机，有限的字母表张量，它允许一个低秩的规范polyadic分解。
2022-10-23 cs.IT cs.LG eess.SP
Alternating linear scheme in a Bayesian framework for low-rank tensor approximation
TU Delft（代尔夫特理工大学）
多路数据通常自然地以张量格式出现，其可以近似地由低秩张量分解表示。这是有用的，因为复杂性可以大大降低，并可以促进大规模数据集的处理。在本文中，我们找到了一个低秩表示为一个给定的张量通过解决贝叶斯推理问题。这是通过将整个推理问题划分为子问题来实现的，在子问题中，我们一次顺序地推断一个张量分解分量的后验分布。这导致了著名的迭代算法交替线性计划（ALS）的概率解释。以这种方式，能够考虑测量噪声，以及结合特定于应用的先验知识和低秩张量估计的不确定性量化。为了从张量分解分量的后验分布计算低秩张量估计，我们提出了一种以张量训练格式执行无迹变换的算法。
2021-08-09 cs.LG cs.NA math.NA
Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation
City University of Hong Kong（香港城市大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）
研究了基于张量低秩建模的多视图谱聚类问题。与现有的方法都采用现成的张量低秩范数，而不考虑MVSC中张量的特殊性不同，我们设计了一种新的结构化张量低秩范数。具体来说，我们明确地施加对称低秩约束和结构化稀疏低秩约束的正面和水平切片的张量，以表征视图内和视图间的关系，分别。此外，这两个约束可以联合优化，以实现相互细化。在新的张量低秩范数的基础上，我们将MVSC表示为凸低秩张量恢复问题，然后使用基于增广拉格朗日乘子的方法迭代有效地求解该问题。在五个基准数据集上的实验结果表明，该方法在很大程度上优于现有的方法。令人印象深刻的是，我们的方法能够产生完美的聚类。此外，我们的方法的参数可以很容易地调整，并且所提出的模型对不同的数据集具有鲁棒性，证明了其在实践中的潜力。
2020-08-01 cs.CV cs.LG stat.ML
Cannikin's Law in Tensor Modeling: A Rank Study for Entanglement and Separability in Tensor Complexity and Model Capacity
Boston College（波士顿学院）；J.P. Morgan（摩根大通）；Brandeis University（布兰迪斯大学）；Boston University（波士顿大学）
这项研究阐明了适当的标准，以评估建模能力的一般张量模型。本文从张量秩的研究出发，分析了这一问题，张量秩对于高阶张量来说并不是一个明确的量。在处理过程中，作者引入可分性问题讨论了张量建模的Cannikin定律。有趣的是，在信息论和张量分析中研究的纠缠之间建立了联系，为建模容量问题的理论理解提供了新的思路。
2022-04-16 cs.LG cs.NA math.NA
Multilinear Low-Rank Tensors on Graphs & Applications
EPFL（洛桑联邦理工学院）；Politecnico di Torino（都灵理工大学）
我们提出了一个新的框架，低秩张量的分析，它位于频谱图理论和信号处理的交叉点。作为第一步，我们提出了一个新的基于图的低秩分解，它近似于经典的矩阵的低秩SVD和张量的多线性SVD。然后，建立在这种新的分解，我们构造了一个一般类的凸优化问题近似求解低秩张量逆问题，如张量鲁棒PCA。整个框架被命名为“图上的多线性低秩张量（MLRTG）”。我们的理论分析表明：1）MLRTG基于多维信号在图上的近似平稳性的概念; 2）近似误差取决于图的特征间隙。我们展示了各种各样的4个人工和12个真实张量数据集，如EEG，FMRI，BCI，监控视频和高光谱图像的应用。将张量概念推广到非欧几里德域，数量级加速，低内存需求和在低信噪比下显着增强的性能是我们的框架的关键方面。
2016-11-15 cs.CV cs.LG stat.ML
Bayesian Low Rank Tensor Ring Model for Image Completion
低秩张量环模型是一种很好的图像补齐方法，它可以恢复数据采集和转换过程中丢失的条目。最近提出的基于张量环（TR）的完备化算法通常通过预先定义秩的交替最小二乘方法来解决低秩优化问题，当未知秩设置得太大且只有少数测量可用时，这可能容易导致过拟合。本文通过自动学习数据的低秩结构，提出了一种贝叶斯低秩张量环模型用于图像补全。提出了一种适用于低秩张量环分解的乘性相互作用模型，通过假设核心因子的项服从Student- T分布，使核心因子具有稀疏性.与现有方法相比，该方法无需参数调整，TR秩可以通过贝叶斯推断得到。数值实验，包括合成数据，不同大小的彩色图像和YaleFace数据集B相对于一个姿势，表明所提出的方法优于国家的最先进的，特别是在恢复精度方面。
2020-06-29 cs.LG cs.MM stat.ML
