Tensor train completion: local recovery guarantees via Riemannian optimization
Marchuk Institute of Numerical Mathematics RAS（俄罗斯科学院马尔丘克数值数学研究所）
本文研究张量火车补全问题，通过基于奇异值调和平均的新界和核心相干性概念，给出了黎曼梯度下降局部收敛所需的随机采样元素数量保证，并推广到带辅助子空间信息的情形。
2023-08-30 cs.LG cs.NA math.NA
Intelligent Initialization and Adaptive Thresholding for Iterative Matrix Completion; Some Statistical and Algorithmic Theory for Adaptive-Impute
在过去的十年中，已经开发了各种矩阵完成算法。奇异值分解（SVD）是一种流行的技术，在实现其中的许多。大量的研究已经表明了它的理论和实证优势，但选择正确的阈值水平仍然是一个关键的实证困难。本文提出了一种新的矩阵完备化算法，该算法迭代阈值SVD与理论证明和数据依赖的阈值参数的值。所提出的算法的估计享有极大极小错误率，并显示出突出的经验性能。我们使用的阈值方案可以被看作是一个非凸优化问题的解决方案，其理论收敛保证的理解是有限的。我们研究这个问题，通过引入一个更简单的算法，广义- \SI，分析其收敛行为，并将其连接到所提出的算法。
2016-05-07 stat.ME
Exact Tensor Completion from Sparsely Corrupted Observations via Convex Optimization
Hong Kong Baptist University（香港浸会大学）
本文对多维数组，特别是三阶张量的可证明估计进行了严格的分析，从其损坏项的随机子集。我们的研究很大程度上依赖于最近提出的张量代数框架，在该框架中，我们可以获得张量奇异值分解（t-SVD），这是类似于矩阵的SVD，并定义了一个新的概念张量秩称为管秩。我们证明，通过简单地解决一个凸规划，它最小化的加权组合的管核范数，凸代理管秩，和$\ell_1$ -范数，可以恢复一个不相干的张量完全压倒性的概率，只要它的管秩不是太大，腐败是合理的稀疏。有趣的是，我们的结果包括恢复保证的问题，张量完成（TC）和张量主成分分析（TRPCA）在相同的代数设置的特殊情况下。提出了一种交替方向乘子法（ADMM）算法来求解该优化问题。数值实验验证了我们的理论和实际应用证明了我们的算法的有效性。
2017-08-02 cs.CV cs.IT cs.LG
Fast and Provable Tensor-Train Format Tensor Completion via Precondtioned Riemannian Gradient Descent
The Hong Kong University of Science and Technology（香港科技大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出预条件黎曼梯度下降算法（PRGD）解决张量列车格式的低秩张量补全问题，证明线性收敛，并在模拟与真实数据上大幅减少计算时间和迭代次数。
2025-01-23 cs.LG cs.NA math.NA
Detection thresholds in very sparse matrix completion
令$A$是大小为$m\times n$的矩形矩阵，并且$A_1$是随机矩阵，其中$A$的每个条目乘以具有参数$1/2$的独立的$\{0,1\}$ -伯努利随机变量。本文讨论了随机诱导非对称矩阵$A_1 (A - A_1)^*$和$(A-A_1)^*A_1$的非厄米特本征谱比其奇异值分解或$A A^*$和$A^* A$的本征谱在何时、如何以及为什么能捕捉到更多关于$A$主成分结构的相关信息。提示：非对称性导致随机性打破了削弱SVD的回声室效应。我们说明了应用程序的低秩矩阵完成问题的设置，每个条目观察概率$d/n$，包括非常稀疏的制度，其中$d$是为了$1$，通过奇异值分解的$A$矩阵完成失败或产生不可靠的恢复。我们确定了一个渐近精确的，依赖于矩阵的，非通用的检测阈值，超过该阈值，使用一种新的，通用的数据驱动的矩阵完成算法的可靠的，统计上最优的矩阵恢复是可能的。平均左和右特征向量可证明提高了恢复矩阵，但不是检测阈值。我们定义了另一种不对称的程序，绕过随机化的步骤，并具有检测阈值，这是一个常数因子较小，但与一个计算成本是由观察到的条目的数量的多项式因子较大。这两个检测阈值打破了表面上的障碍，由于众所周知的信息理论极限$d \asymp \log n$矩阵完成在文献中发现。
2020-08-04 math.PR math.ST stat.TH
New Riemannian preconditioned algorithms for tensor completion via polyadic decomposition
UCLouvain（鲁汶天主教大学）
我们提出了新的黎曼预条件算法的低秩张量完成通过张量的多元分解。这些算法利用了多元分解形式的低秩张量的因子矩阵的积空间上的非欧度量。该度量是利用张量完备化费用函数的Hessian对角块的近似来设计的，因此对这些算法具有预处理作用。我们证明了所提出的黎曼梯度下降算法全局收敛到张量完成问题的一个稳定点，收敛速度估计使用$Ł$ ojasiewicz属性。对合成数据和真实数据的数值结果表明，所提出的算法在内存和时间上比最先进的算法更有效。此外，所提出的算法表现出更大的容忍度高估的秩参数的张量恢复性能，从而使一个灵活的选择的秩参数。
2022-06-02 cs.LG cs.NA math.NA
DeepTensor: Low-Rank Tensor Decomposition with Deep Network Priors
Rice University（莱斯大学）
DeepTensor是一个计算效率高的框架，用于使用深度生成网络对矩阵和张量进行低秩分解。我们将张量分解为低秩张量因子的乘积（例如，作为两个向量的外积的矩阵），其中每个低秩张量由以自监督方式训练的深度网络（DN）生成，以最小化均方近似误差。我们的关键观察是，DN中固有的隐式正则化使它们能够捕获非线性信号结构（例如，流形），这是经典的线性方法，如奇异值分解（SVD）和主成分分析（PCA）无法达到的。此外，与SVD和PCA相比，当张量的条目偏离加性高斯白噪声时，其性能会恶化，我们证明了DeepTensor的性能对广泛的分布具有鲁棒性。我们通过探索一系列现实世界的应用，包括高光谱图像去噪，3D MRI断层扫描和图像分类，验证了DeepTensor是SVD，PCA，非负矩阵分解（NMF）和类似分解的强大且计算效率高的替代品。特别是，DeepTensor为泊松噪声破坏的信号提供了比标准去噪方法高出6dB的信噪比，并且学习分解3D张量的速度比配备3D卷积的单个DN快60倍。
2022-04-07 cs.LG stat.AP stat.ML
Tensor Completion for Weakly-dependent Data on Graph for Metro Passenger Flow Prediction
The Hong Kong University of Science and Technology（香港科技大学）；Arizona State University（亚利桑那州立大学）；Tsinghua University（清华大学）
由于张量数据的普遍存在，低秩张量分解和完备化引起了学术界的极大兴趣。然而，低秩结构是一个全局属性，当数据呈现复杂和弱依赖性时，给定特定的图结构，这将无法实现。一个特定的应用，激发这项研究是时空数据分析。如初步研究所示，弱依赖性会恶化低秩张量完成性能。本文通过引入$L_{1}$ -范数惩罚和图拉普拉斯惩罚，提出了一种新的低秩CANDECOMP / PARAFAC（CP）张量分解和完成框架，用于对图的弱依赖进行建模.我们进一步提出了一个有效的优化算法的基础上的块坐标下降有效的估计。基于香港地铁客流数据进行了案例研究，以证明改进的性能比常规张量完成方法。
2019-12-11 cs.LG stat.ML
Improving Group Fairness in Tensor Completion via Imbalance Mitigating Entity Augmentation
Department of Computer Science and Engineering, University of California, Riverside, Riverside, CA, USA（计算机科学与工程系，加州大学河滨分校）；Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign, Urbana, IL, USA（计算与数据科学学院，伊利诺伊大学厄巴纳-香槟分校）
针对张量分解中群体公平方法导致性能下降的问题，提出 STAFF，通过含充足观测条目的实体增强缓解稀疏张量不平衡与偏差，在多类模型和数据集上实现误差与公平性的最佳权衡。
2025-07-28 cs.LG stat.ML
Robust Low-Rank Tensor Ring Completion
University of Electronic Science and Technology of China（电子科技大学）
低秩张量补全基于不同的张量分解来恢复丢失的条目。低秩张量环由于其在开发高阶数据结构方面的优异性能，在张量完备化中得到了广泛的应用。为了进一步处理其在张量主成分分析中对稀疏分量的敏感性，我们提出了鲁棒张量环完备（RTRC），它将潜在的低秩张量分量从具有有限数量测量的稀疏分量中分离出来。低秩张量分量由其平衡开折的核范数的加权和约束，而稀疏分量由其l1范数正则化。我们分析了RTRC模型，并给出了准确的恢复保证。采用乘子交替方向法将问题分解为若干个子问题，并快速求解。在数值实验中，我们验证了所提出的方法在合成数据上的恢复条件，并表明所提出的方法在许多真实世界的基于数据的任务中，即，光场图像恢复，人脸图像中的阴影去除，以及彩色视频中的背景提取。
2020-04-23 cs.LG stat.ML
Nonnegative Tensor Completion via Integer Optimization
University of California, Berkeley（加州大学伯克利分校）；The Ohio State University（俄亥俄州立大学）
与矩阵完备化不同，张量完备化没有已知的算法来实现信息论样本复杂度。本文对非负张量完备化的特殊情况提出了一种新的算法。我们证明了我们的算法收敛在一个线性（数值公差）的预言步骤数，同时实现信息理论的速度。我们的方法是使用一个特定的0-1多面体的规范定义一个新的规范的非负张量;整数线性规划，反过来，可以用来解决这个多面体的线性分离问题。我们结合这一见解与弗兰克-沃尔夫算法的一个变种，构建我们的数值算法，我们证明了它的有效性和可扩展性，通过计算实验使用笔记本电脑上的张量高达一亿个条目。
2022-05-23 cs.LG math.OC stat.ML
Noisy Tensor Completion via Low-rank Tensor Ring
Guangdong University of Technology（广东工业大学）；RIKEN（理化学研究所）
张量补全是不完整数据分析的基本工具，其目标是从部分观测值中预测缺失项。然而，现有的方法往往显式或隐式地假设观测条目是无噪声的，以提供精确恢复丢失条目的理论保证，这在实践中受到很大的限制。为了弥补这些缺陷，本文提出了一种新的噪声张量完成模型，它补充了现有的工作在处理高阶和噪声观测退化的不足。具体地说，张量环核范数（TRNN）和最小二乘估计分别采用正则化的基础张量和观察到的条目。此外，一个非渐近上界的估计误差描述所提出的估计器的统计性能。两个有效的算法来解决的优化问题的收敛保证，其中之一是专门针对处理大规模的张量，通过替换TRNN的原始张量的最小化等效的一个小得多的异构张量分解框架。合成和真实世界的数据上的实验结果表明，该模型在恢复噪声不完整的张量数据的有效性和效率相比，国家的最先进的张量完成模型。
2022-03-14 cs.AI cs.LG stat.ML
A high-order tensor completion algorithm based on Fully-Connected Tensor Network weighted optimization
Guangdong University of Technology（广东工业大学）
张量补齐旨在恢复丢失的数据，并且它是深度学习和信号处理中的热门关注点之一。在高阶张量分解算法中，最近提出的全连通张量网络分解（FCTN）算法是最先进的。本文利用全连通张量网络（FCTN）分解的优越性，提出了一种新的张量完备化方法--全连通张量网络加权优化（FCTN-WOPT）.该算法通过初始化FCTN分解的因子来执行完整张量的合成。我们将权值张量、完全张量和不完全张量一起构建损失函数，然后使用lbfgs梯度下降算法更新完全张量，以减少空间内存占用并加快迭代速度。最后，我们用合成数据和真实数据（包括图像数据和视频数据）进行了测试，结果显示了我们的FCTN-WOPT应用于高阶张量完成时的先进性能。
2022-04-06 cs.LG
Multilinear Low-Rank Tensors on Graphs & Applications
EPFL（洛桑联邦理工学院）；Politecnico di Torino（都灵理工大学）
我们提出了一个新的框架，低秩张量的分析，它位于频谱图理论和信号处理的交叉点。作为第一步，我们提出了一个新的基于图的低秩分解，它近似于经典的矩阵的低秩SVD和张量的多线性SVD。然后，建立在这种新的分解，我们构造了一个一般类的凸优化问题近似求解低秩张量逆问题，如张量鲁棒PCA。整个框架被命名为“图上的多线性低秩张量（MLRTG）”。我们的理论分析表明：1）MLRTG基于多维信号在图上的近似平稳性的概念; 2）近似误差取决于图的特征间隙。我们展示了各种各样的4个人工和12个真实张量数据集，如EEG，FMRI，BCI，监控视频和高光谱图像的应用。将张量概念推广到非欧几里德域，数量级加速，低内存需求和在低信噪比下显着增强的性能是我们的框架的关键方面。
2016-11-15 cs.CV cs.LG stat.ML
Near-optimal sample complexity for convex tensor completion
University of British Columbia（不列颠哥伦比亚大学）
我们分析低秩张量完成（TC）使用噪声测量的张量的子集。假设秩为- $r$，阶为- $d$，$N \times N \times \cdots \times N$张量，其中$r=O(1)$，所实现的最佳采样复杂度为$O(N^{\frac{d}{2}})$，其通过求解张量核范数最小化问题来获得。然而，这个界限是显着大于自由变量的数量在一个低秩张量是$O(dN)$。在本文中，我们表明，通过使用一个原子范数的原子秩$1$符号张量，可以得到一个样本复杂度为$O(dN)$。此外，我们推广矩阵最大范数的定义张量，这将导致一个最大准范数（max-qnorm）的单位球具有小的Rademacher复杂度。我们证明，解决约束最小二乘估计使用凸原子范数或非凸max-qnorm结果在低秩张量完成问题的最佳样本复杂度。此外，我们表明，这些界限是近极大极小率最优的。我们还提供了有前途的数值结果最大qnorm约束张量完成，显示出改善的恢复结果相比，矩阵化和交替最小二乘。
2017-11-14 cs.LG math.OC stat.ML
On Tensor Completion via Nuclear Norm Minimization
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Rutgers University（罗格斯大学）
本文提出通过直接最小化张量核范数进行张量补全，证明该方法能提升采样需求，发展了张量核范数的子微分刻画和张量鞅集中不等式等技术。
2014-05-07 cs.IT cs.NA math.IT
Canonical Tensor Decomposition for Knowledge Base Completion
Facebook AI Research（Facebook人工智能研究院）；Université Paris-Est（巴黎东大学）；Ecole des Ponts ParisTech（巴黎高等桥路学院）
知识库完备化问题可以归结为一个三阶二元张量完备化问题。在这种情况下，正则张量分解（CP）（希区柯克，1927）似乎是一个自然的解决方案;然而，目前在标准知识库完成基准上实现的CP落后于竞争对手。在这项工作中，我们试图了解知识库完成CP的限制。首先，我们激励和测试一个新的正则化，基于张量核$p$规范。然后，我们提出了一个重新制定的问题，使其不变的任意选择，包括在数据集中的谓词或其倒数。这两种方法相结合，使我们能够在几个数据集上使用CP分解击败当前的最新技术，并使用更先进的ComplEx模型获得更好的结果。
2018-06-19 cs.AI cs.LG cs.SI
Exact tensor completion with sum-of-squares
Institute for Advanced Study（高等研究院）；Cornell University（康奈尔大学）
我们获得了第一个多项式时间算法的精确张量完成，提高了减少矩阵完成所隐含的界限。该算法从$r\cdot \tilde O(n^{1.5})$随机观察到的张量条目中恢复出一个未知的3-张量，其中$r$是$\mathbb R^n$中的非相干正交分量。这个界限改善了以前的最好的一个$r\cdot \tilde O(n^{2})$减少到确切的矩阵完成。我们的界也与最著名的结果相匹配，因为近似张量完成的问题更容易（Barak & Moitra，2015）。我们的算法和分析通过平方和方法将精确矩阵完成（Candes & Recht，2009）的开创性结果扩展到张量设置。主要的技术挑战是要证明少量随机选择的单项式就足以在球面上构造一个具有精确种植的正交全局最优解的3次多项式，并且这个事实可以在平方和证明系统中得到证明。
2017-06-23 cs.CC cs.DS cs.IT
Robust Tensor Completion Using Transformed Tensor SVD
Weifang University（潍坊学院）；Hong Kong Baptist University（香港浸会大学）；Central China Normal University（华中师范大学）
本文利用变换张量奇异值分解（SVD）研究了张量完备化的鲁棒性问题，该方法采用酉变换矩阵代替传统张量SVD中的离散傅立叶变换矩阵。其主要动机是利用其他酉变换矩阵可以得到比离散傅立叶变换矩阵更低的管秩张量。这对于鲁棒的张量完备化将更有效。对高光谱、视频和人脸数据集的实验结果表明，采用变换张量奇异值分解的鲁棒张量补全方法在PSNR方面优于采用傅立叶变换和其他鲁棒张量补全方法。
2019-07-02 cs.CV cs.LG stat.ML
Sum-of-squares meets square loss: Fast rates for agnostic tensor completion
Massachusetts Institute of Technology（麻省理工学院）
我们在不可知论的背景下研究张量完备化。在经典的张量补全问题中，我们接收到秩未知的$r$张量的$n$条目，并希望精确地完成剩余的条目。在不可知张量完备化中，我们不对未知张量的秩做任何假设，而是试图预测未知项以及最佳秩- $r$张量。对于具有平方损失的三阶张量的不可知学习，我们给出了第一个多项式时间算法，该算法获得了“快速”（即，$O(1/n)$型）速率比通过简化到矩阵完成获得的速率提高。我们的预测出错率与排名最好的$d\times{}d\times{}d$张量- $r$竞争是$\tilde{O}(r^{2}d^{3/2}/n)$。我们还得到了一个确切的预言不等式，权衡估计和近似误差。我们的算法是基于度六平方和松弛张量核范数。我们的分析的关键特征是表明，张量核范数的次梯度的某种表征可以被编码在平方和证明系统中。这解锁了平方损失下的经验过程的本地化的标准工具箱，并允许我们建立各种张量回归模型的限制特征值类型的保证，张量完成作为一个特例。对松弛的新分析补充了Barak和Moitra（2016），他们给出了不可知张量完成的缓慢速率，以及Potechin和Steurer（2017），他们给出了无噪声设置的精确恢复保证。我们的技术是用户友好的，我们预计它们将在其他地方使用。
2019-05-30 cs.DS cs.LG math.ST
Matrix Completion and Tensor Rank
本文证明了低秩矩阵完备化问题可以归结为求某个张量的秩的问题。
2013-07-23 math.OC math.ST stat.TH
Semi-parametric TEnsor Factor Analysis by Iteratively Projected Singular Value Decomposition
本文提出半参数张量因子分析框架STEFA及迭代投影奇异值分解算法IP-SVD，通过引入协变量提升低秩张量分解的估计精度与收敛速度，并验证其在估计和预测任务中的有效性。
2024-04-02 stat.ME
Provable Tensor-Train Format Tensor Completion by Riemannian Optimization
Hong Kong University of Science and Technology（香港科技大学）
张量训练（TT）格式在处理结构高阶张量方面具有吸引人的优势。近十年来，TT格式张量在不同学科中得到了广泛的应用，其中张量完备化引起了广泛的关注。许多快速算法，包括黎曼梯度下降（RGrad），已经提出了TT格式张量完成。然而，这些算法的理论保证在很大程度上是缺失的或次优的，部分原因是TT格式分解中复杂的递归代数运算。此外，为其他格式的张量建立的现有结果，例如，Tucker和CP，是不适用的，因为处理TT格式张量的算法是实质上不同的，并且涉及更多。在本文中，我们提供，据我们所知，第一理论保证的收敛性RGrad算法的TT格式张量完成，在一个接近最佳的样本量条件下。RGrad算法以恒定的收缩率线性收敛，该收缩率不受张量条件数的限制，无需重新调节。我们还提出了一种新的方法，称为顺序二阶矩方法，以在类似的样本量要求下实现热初始化。作为一个副产品，我们的结果甚至显着细化矩阵完成的RGrad算法的先前调查。最后，如果观测项由随机亚高斯噪声组成，则推导出RGrad算法的统计（近）最优速率。数值实验证实了我们的理论发现，并展示了TT格式分解所获得的计算加速比。
2022-03-21 cs.IT cs.LG math.IT
A Tensor SVD-based Classification Algorithm Applied to fMRI Data
Emory University（埃默里大学）；Tesselations School（Tesselations学校）；Mary Baldwin University（玛丽鲍德温大学）；Texas A & M University（德克萨斯A&M大学）；Georgia Institute of Technology（佐治亚理工学院）
为了分析多维数据的丰富性，已经开发了基于张量的框架。传统上，矩阵奇异值分解（SVD）被用来从包含矢量化数据的矩阵中提取最主要的特征。虽然SVD对于可以适当地表示为矩阵的数据非常有用，但向量化的这一步会导致我们丢失数据固有的高维关系。为了促进有效的多维特征提取，我们利用基于投影的分类算法，使用t-SVDM，矩阵SVD的张量模拟。我们的工作扩展的t-SVDM框架和分类算法，最初提出的张量为3阶，任何数量的维度。然后，我们将此算法应用于使用StarPlus fMRI数据集的分类任务。我们的数值实验表明，有一个更好的张量为基础的方法比最好的等效矩阵为基础的方法进行fMRI分类。我们的研究结果说明了我们所选择的张量框架的优势，提供了有益的参数选择的见解，并可以进一步开发更复杂的成像数据的分类。我们在https://github.com/elizabethnewman/tensor-fmri上提供Python实现。
2021-10-31 cs.LG cs.NA math.NA
A New Tensor Network: Tubal Tensor Train and Its Applications
Lab of Machine Learning and Knowledge Representation, Innopolis University（机器学习与知识表示实验室，因诺波利斯大学）；Innopolis University（因诺波利斯大学）；Skolkovo Institute of Science and Technology, Center for Artificial Intelligence Technology（斯克尔克沃科学与技术学院，人工智能技术中心）；Systems Research Institute of Polish Academy of Science（波兰科学院系统研究 institute）
本文提出了一种新的张量网络模型——管状张量列车，结合了T-SVD的t-乘积代数与TT格式的低阶核心结构，用于解决高阶张量分解和应用问题。
2026-03-11 cs.LG cs.NA math.NA
Optimal High-order Tensor SVD via Tensor-Train Orthogonal Iteration
Duke University（杜克大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Rice University（莱斯大学）
本文研究了高阶张量奇异值分解的一般框架。我们提出了一种新的计算效率高的算法，张量列车正交迭代（TTOI），其目的是估计低张量列车秩结构的噪声高阶张量观测。所提出的TTOI包括通过TT-SVD（Oseledets，2011）进行的初始化和新的迭代后向/前向更新。我们开发的一般上界的估计误差TTOI的支持下，几个新的表示引理张量矩阵化。通过建立一个匹配的信息论下界，我们还证明了TTOI在尖峰张量模型下达到了极大极小最优性。建议TTOI的优点说明通过应用程序估计和降维的高阶马尔可夫过程，数值研究，并在纽约市出租车行驶记录的真实数据的例子。所提出的算法的软件是可在线$^6$。
2022-01-24 cs.LG cs.NA math.NA
Handling The Non-Smooth Challenge in Tensor SVD: A Multi-Objective Tensor Recovery Framework
The University of British Columbia（不列颠哥伦比亚大学）；Memorial University of Newfoundland（纽芬兰纪念大学）；Qingdao Preschool Education College（青岛幼儿师范高等专科学校）；Zhejiang University of Technology（浙江工业大学）
针对传统基于t-SVD的张量恢复方法处理非光滑张量数据时性能骤降的问题，提出带可学习核范数的恢复模型与APMM优化算法，构建多目标恢复框架，经理论证明收敛且实验验证有效。
2024-07-13 cs.CV cs.LG stat.ML
Tensor SVD: Statistical and Computational Limits
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出了一个张量奇异值分解（tensor SVD）的一般框架，重点研究了从高维张量数据中提取隐藏的低秩结构的方法和理论。全面的结果开发的统计和计算限制张量SVD。根据信噪比（SNR），该问题表现出三个不同的阶段。特别地，在强信噪比下，我们证明了经典的高阶正交迭代在估计中达到了极小极大最优收敛速率;在弱信噪比下，信息论下界意味着一般情况下不可能有一致的估计;在中等信噪比下，我们证明了非凸的极大似然估计提供了最优解，但具有NP-难的计算代价;此外，在超图种植集团检测的硬度假设下，一般不存在执行一致的多项式时间算法。
2020-01-08 cs.LG math.ST stat.ME
Semi-Tensor Product-Based Multi-Term Randomized T-SVD and Its Visual Applications
School of Mathematics and Statistics, Southwest University（西南大学数学与统计学院）
针对标准t-product维度限制和单项STP近似精度不足的问题，本文提出基于半张量积的多项随机T-SVD（MRSTP-SVD），通过多项分解和随机化技术提升低秩近似精度与计算效率，并在图像视频压缩补全任务中验证有效性。
2026-09-11 cs.LG
Tensor Completion via Gaussian Process Based Initialization
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
在本文中，我们考虑张量完成问题的解决方案，在张量训练（TT）格式。假设张量是高维的，张量值由未知的光滑函数生成。这个假设使我们能够开发一个有效的初始化方案的基础上高斯过程回归和TT交叉近似技术。所提出的方法可以与通常用于张量完备问题的任何优化算法结合使用。我们凭经验证明，在这种情况下，重建误差改善与随机初始化的张量完成。作为一个额外的好处，我们的技术自动选择排名感谢使用TT交叉近似技术。
2020-08-26 cs.LG cs.NA math.NA
Empirical Evaluation of Four Tensor Decomposition Algorithms
Institute for Information Technology（信息技术研究所）；National Research Council of Canada（加拿大国家研究委员会）
高阶张量分解类似于熟悉的奇异值分解（SVD），但它们超越了矩阵（二阶张量）的限制。奇异值分解是一个强大的工具，在信息检索、协同过滤、计算语言学、计算视觉等领域取得了令人瞩目的成果。然而，SVD仅限于二维数据阵列（两种模式），许多潜在的应用程序具有三种或更多种模式，这需要高阶张量分解。本文评估了高阶张量分解的四种算法：高阶奇异值分解（HO-SVD），高阶正交迭代（HOOI），切片投影（SP）和多层投影（MP）。我们在各种条件下测量四种算法的时间（经过的运行时间）、空间（RAM和磁盘空间要求）和拟合（张量重建精度）。我们发现，HO-SVD和HOOI的标准实现不能扩展到更大的张量，由于RAM的要求越来越高。我们建议HOOI用于足够小的张量，以提供可用的RAM和MP用于较大的张量。
2007-11-13 cs.CL cs.IR cs.LG
A Framework for Directed Hypergraph Signal Processing via tensor t-SVD
University of Delaware（特拉华大学）；University of Kentucky（肯塔基大学）；Institute for Financial Services Analytics（金融服务分析研究所）
提出有向超图信号处理（DHGSP）框架，利用张量t-SVD定义邻接张量和有向超图傅里叶变换，在交通网络去噪任务中优于矩阵和未定向张量基线。
2026-06-25 cs.LG eess.SP
Coupled Tensor-Tensor Completion Method with Applications in Drug Repurposing
Idaho State University（爱达荷州立大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Michigan（密歇根大学）；Statistics Online Computational Resource (SOCR)（统计在线计算资源（SOCR））
本研究提出耦合张量-张量补全（CTTC）方法，融入张量形式辅助信息，在DTD和LINCS数据集上，其运行时间与RSE精度均优于HaLRTC等现有方法，可更准确预测药物效应。
2026-09-04 cs.LG cs.NA math.NA
Nonconvex Robust High-Order Tensor Completion Using Randomized Low-Rank Approximation
Southwest University（西南大学）；Xi’an Jiaotong University（西安交通大学）；Ningxia University（宁夏大学）；Texas A&M University at Qatar（德州农工大学卡塔尔分校）
本文针对大规模张量计算成本高且现有方法仅适用于三阶张量的问题，在order-d T-SVD框架下设计了两种融合随机技术的低秩近似方法，并提出了双非凸模型及快速优化算法以解决鲁棒高阶张量补全问题，在计算效率和估计精度上均优于现有方法。
2023-05-19 cs.LG
Tensor Completion via Leverage Sampling and Tensor QR Decomposition for Network Latency Estimation
Wenzhou University（温州大学）
针对大规模网络时延估计计算开销大的问题，提出融合改进张量杠杆率采样、CSVD-QR、L_{2,1} 范数与张量 QR 分解 ADMM 的张量补全方法，在保持精度的同时显著提升速度。
2023-06-27 cs.LG cs.NA cs.NI
Denoising and Completion of 3D Data via Multidimensional Dictionary Learning
Tufts University（塔夫茨大学）
本文提出了一种新的多维数据字典学习算法。与大多数传统的用于处理向量或矩阵的字典学习方法不同，我们的算法名为KTSVD，通过[3，12，13]中提出的张量因子分解的新代数方法直接学习多维字典。使用这种方法可以定义一个张量SVD，我们建议扩展K-SVD算法用于1-D数据的K-TSVD算法处理2-D和3-D数据。我们的算法，基于稀疏编码的思想（使用组稀疏多维系数向量），估计一个紧凑的表示和字典学习之间的交替。我们分析了我们的KTSVD算法，并展示了其结果的视频完成和多光谱图像去噪。
2015-12-31 cs.CV cs.DS cs.LG
Low-rank Bayesian matrix completion via geodesic Hamiltonian Monte Carlo on Stiefel manifolds
School of Mathematics and Statistics, University of Sydney（悉尼大学数学与统计学院）；Department of Aerospace Engineering, University of Michigan（密歇根大学航空航天工程系）
本文提出基于 SVD 先验与 Stiefel 流形测地线 HMC 的低秩贝叶斯矩阵补全方法，支持一般似然并在蛋白质与 MovieLens 基准上提升采样和预测性能。
2024-10-27 cs.LG cs.NA math.NA
Convolutional Neural Networks with Transformed Input based on Robust Tensor Network Decomposition
Nanyang Technological University（南洋理工大学）；University of Southern California（南加州大学）
张量网络分解起源于量子物理学，用于对纠缠的多粒子量子系统进行建模，结果证明是一种有前途的数学技术，可以以简约的方式有效地表示和处理大数据。在这项研究中，我们证明了张量网络可以系统地划分结构化数据，例如彩色图像，以保护隐私的方式进行分布式存储和通信。利用大数据和元数据隐私的海洋，实证结果表明，无法识别以张量网络格式存储的隐含信息的相邻子张量进行数据重建。这种技术补充了现有的加密和随机化技术，这些技术将显式数据表示存储在一个地方，并且非常容易受到对抗攻击，例如侧信道攻击和去匿名化。此外，我们提出了一个理论的对抗性的例子，误导卷积神经网络错误分类使用基于奇异值分解（SVD）的子空间分析。该理论被扩展到使用张量训练SVD（TT-SVD）分析高阶张量;它有助于解释不同数据集对对抗攻击的敏感性水平，不同对抗攻击（包括全局和局部攻击）的结构相似性，以及基于输入变换的不同对抗防御的有效性。基于鲁棒的TT-SVD，提出了一种有效的自适应算法来检测强静态对抗攻击。
2018-12-11 cs.CV cs.LG stat.ML
A generalizable framework for low-rank tensor completion with numerical priors
Duke University（杜克大学）；Duke Kunshan University（昆山杜克大学）
针对现有低秩张量补全方法未系统利用数值先验导致精度受限的问题，提出首个整合数值先验的通用框架GCDTC，其实例SPTC算法在非负张量补全任务上性能显著优于现有最优方法，且代码开源。
2024-06-18 cs.AI cs.CV cs.LG
Sparse Nonnegative Tensor Factorization and Completion with Noisy Observations
Central China Normal University（华中师范大学）；The University of Hong Kong（香港大学）
本文研究了三阶张量的稀疏非负张量分解和完备化问题。由于稀疏性和非负性，底层张量被分解为一个稀疏非负张量和一个非负张量的张量积。我们提出了最小化的极大似然估计的非负约束的观察和张量$\ell_0$范数的稀疏因子的总和。我们表明，所提出的模型的估计的误差界可以建立在一般的噪声观测。在特定的噪声分布下，包括加性高斯噪声，加性拉普拉斯噪声，和泊松观测的详细误差范围可以推导出来。此外，极大极小下界与所建立的上界相匹配，最高可达底层张量大小的对数因子。张量的这些理论结果优于矩阵的结果，这说明了使用非负稀疏张量模型完成和去噪的优势。数值实验验证了所提出的基于张量的方法相比，基于矩阵的方法的优越性。
2021-10-20 cs.CV cs.LG cs.NA
Low rank tensor completion with sparse regularization in a transformed domain
University of Electronic Science and Technology of China（电子科技大学）
张量完备化是一个具有挑战性的问题，有着广泛的应用。基于张量的低秩先验，已经提出了许多相关的模型。然而，低秩先验可能不足以从观察到的不完整张量恢复原始张量。本文利用张量的低秩和稀疏先验，提出了一种张量完备化方法。具体地，张量完成任务可以被公式化为具有稀疏正则化器的低秩最小化问题。基于张量奇异值分解（T-SVD）的张量截断核范数刻画了其低秩性质，与张量核范数相比，T-SVD是张量管秩的一种更好的近似.而稀疏正则化子是在离散余弦变换（DCT）域中通过$\ell_{1}$ -范数来实现的，它能更好地利用完备数据的局部稀疏性。为了解决最优化问题，我们采用了交替方向法的乘法器（ADMM），其中我们只需要解决几个子问题，有封闭形式的解决方案。在真实图像和视频上的大量实验表明，该方法具有更好的性能比现有的国家的最先进的方法。
2019-11-19 cs.LG cs.NA math.NA
SVDinsTN: A Tensor Network Paradigm for Efficient Structure Search from Regularized Modeling Perspective
School of Information Science and Technology, Southwest Jiaotong University（西南交通大学信息科学与技术学院）；School of Mathematical Sciences, University of Electronic Science and Technology of China（电子科技大学数学科学学院）；School of Automation, Guangdong University of Technology（广东工业大学自动化学院）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能研究中心）
针对张量网络结构搜索计算成本过高的问题，提出SVDinsTN范式，从正则化建模视角通过对角因子稀疏性揭示紧凑结构，实现百倍至千倍加速且保持相当表示能力。
2024-04-09 cs.LG
MTC: Multiresolution Tensor Completion from Partial and Coarse Observations
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amplitude（Amplitude公司）；IQVIA（艾昆纬）
现有的张量完备化公式主要依赖于来自单个张量的部分观测。然而，从真实世界数据中提取的张量通常更复杂，这是由于：（i）部分观测：只有一个小的子集（例如，5%）的张量元素可用。(ii)粗略观察：一些张量模式仅呈现粗略和聚合模式（例如，每月总结，而不是每日报告）。在本文中，我们给出了张量的一个子集和一些聚合/粗观测（沿着一个或多个模式），并试图用低秩因子分解来恢复原始的细粒度张量。我们制定了一个耦合张量完成问题，并提出了一个有效的多分辨率张量完成模型（MTC）来解决这个问题。我们的MTC模型探讨张量模式属性，并利用分辨率的层次结构递归地初始化优化设置，并使用交替最小二乘法对耦合系统进行优化。MTC确保低计算和空间复杂度。我们在两个与COVID-19相关的时空张量上评估我们的模型。实验表明，MTC可以提供65.20%和75.79%的适应度（PoF）在张量完成只有5%的细粒度观察，这是27.96%的相对改善最好的基线。为了评估学习到的低秩因素，我们还设计了一个张量预测任务，用于每日和累积疾病病例预测，其中MTC在PoF中实现了50%，在最佳基线上实现了30%的相对改善。
2021-06-18 cs.LG cs.NA math.NA
Latent Matrices for Tensor Network Decomposition and to Tensor Completion
Guangdong University of Technology（广东工业大学）；RIKEN（理化学研究所）
目前流行的全连接张量网络（FCTN）在数据压缩方面取得了很好的效果。然而，FCTN分解在面对高阶和大规模数据时存在计算速度慢的问题。很自然地，会出现一个有趣的问题：是否可以提出一个新的模型，将张量分解为更小的张量，并加快算法的计算速度？这项工作给出了一个积极的答案，制定了一个新的高阶张量分解模型，利用基于张量网络结构的潜在矩阵，它可以将张量分解成比FCTN分解更小规模的数据，因此我们将其命名为张量网络分解的潜在矩阵（LMTN）。此外，三个优化算法，LMTN-PAM，LMTN-SVD和LMTN-AR，已被开发并应用于张量完成任务。此外，我们提供了理论上的收敛性证明和复杂性分析这些算法。实验结果表明，该算法在深度学习数据集压缩和高阶张量补全方面均具有较好的效果，LMTN-SVD算法比FCTN-PAM算法快3-6倍，精度仅下降1.8点。
2022-10-19 cs.DS cs.LG
Tensor Completion by Alternating Minimization under the Tensor Train (TT) Model
Purdue University（普渡大学）；Tufts University（塔夫茨大学）
本文提出一种基于张量列车分解的交替最小化张量补全算法，通过交替优化MPS表示中的矩阵（张量），在计算复杂度和数值性能上优于现有方法。
2016-09-19 cs.IT cs.LG cs.NA
Tensor Completion Algorithms in Big Data Analytics
Texas A&M University（得克萨斯农工大学）
张量完备化是一个填补部分观测张量中缺失或未观测项的问题。由于张量在描述复杂数据集时的多维性，张量补全算法及其应用在数据挖掘、计算机视觉、信号处理、神经科学等领域得到了广泛的关注和研究。在这项调查中，我们从大数据分析的角度对张量补全算法的最新进展进行了现代概述，其特点是多样性，大容量和高速度。我们从四个方面描述这些进展：一般张量完成算法，张量完成辅助信息（品种），可扩展张量完成算法（卷），和动态张量完成算法（速度）。此外，我们确定了几个张量完成应用程序在现实世界中的数据驱动的问题，并提出了一些常见的实验框架，在文献中推广。我们的目标是总结这些流行的方法，并将其介绍给研究人员和从业人员，以促进未来的研究和应用。最后，我们讨论的关键挑战和有前途的研究方向，在这个社区的未来探索。
2018-05-03 cs.AI cs.LG stat.ML
Coarse to Fine Two-Stage Approach to Robust Tensor Completion of Visual Data
University of Central Florida（中佛罗里达大学）
张量完备化是从部分观测数据中估计高阶数据缺失值的问题。由于普遍存在的离群值导致的数据损坏对传统的张量补全算法提出了重大挑战，这促进了鲁棒算法的发展，以减轻离群值的影响。然而，现有的鲁棒方法在很大程度上假设腐败是稀疏的，这在实践中可能不成立。在本文中，我们开发了一个两阶段的强大的张量完成方法来处理张量完成的视觉数据与大量的总腐败。提出了一种新的由粗到精的框架，该框架使用全局粗完成结果来指导局部补丁细化过程。为了有效地减轻大量离群点对张量恢复的影响，提出了一种新的基于M估计的鲁棒张量环恢复方法，该方法能够自适应地识别离群点，减轻离群点对优化的负面影响.实验结果表明，所提出的方法优于国家的最先进的强大的张量完成算法的性能。
2022-08-12 cs.LG stat.ML
Non-convex approaches for low-rank tensor completion under tubal sampling
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Michigan State University（密歇根州立大学）；University of Central Florida（中佛罗里达大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文针对管状采样下的低秩张量补全问题，提出 TL12 和 TCCUR 两种非凸框架，实验表明二者在低采样率下分别具有精度或效率优势。
2023-03-17 cs.CV cs.LG cs.NA
JULIA: Joint Multi-linear and Nonlinear Identification for Tensor Completion
IQVIA Inc.（艾昆纬公司）；University of Florida（佛罗里达大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
张量完备化的目的是从部分观测到的张量中估算缺失的条目。现有的张量补全方法通常假设潜在分量之间的多线性或非线性关系。然而，现实世界的张量有更复杂的模式，其中多线性和非线性关系可能共存。在这种情况下，现有的方法不足以描述数据结构。本文提出了一个联合多线性和非线性识别（JULIA）框架的大规模张量完成。JULIA统一了多线性和非线性张量完成模型，与现有方法相比具有以下几个优点：1）灵活的模型选择，即，它通过将其值分配为多线性和非线性分量的组合来拟合张量; 2）与现有的非线性张量完成方法兼容; 3）基于精心设计的交替优化方法的有效训练。在六个实际大规模张量上的实验表明，JULIA算法优于许多现有的张量补全算法。此外，JULIA可以改善一类非线性张量完成方法的性能。结果表明，在一些大规模的张量完成的情况下，基线方法与JULIA能够获得高达55%的更低的均方根误差和节省67%的计算复杂性。
2022-01-31 cs.IR cs.LG stat.ML
T-SVDNet: Exploring High-Order Prototypical Correlations for Multi-Source Domain Adaptation
Tianjin University（天津大学）；Dalian University of Technology（大连理工大学）；Huawei Technologies（华为技术有限公司）；Noah’s Ark Lab（诺亚方舟实验室）
大多数现有的领域自适应方法只关注一个源领域的自适应，然而，在实践中，存在许多相关的源可以被利用来帮助提高目标领域的性能。提出了一种新的方法T-SVDNet来解决多源领域自适应（MDA）问题，其特点是将张量奇异值分解（T-SVD）引入到神经网络的训练流水线中。总体而言，多个领域和类别之间的高阶相关性被充分探索，以便更好地弥合领域差距。具体而言，我们施加张量低秩（TLR）约束的张量通过堆叠一组原型相似性矩阵，旨在捕捉一致的数据结构跨不同的领域。此外，为了避免噪声源数据带来的负传递，本文提出了一种新的不确定性加权策略，根据不确定性估计的结果自适应地为不同的源域和样本分配权重。在公共基准上进行的大量实验表明，我们的模型在解决MDA的任务相比，国家的最先进的方法的优越性。
2021-07-30 cs.CV cs.LG
Robust Low-tubal-rank Tensor Completion based on Tensor Factorization and Maximum Correntopy Criterion
University of Central Florida（中佛罗里达大学）
张量补全的目标是从其条目的子集中恢复张量，通常是通过利用其低秩属性。在张量秩的几个有用的定义中，低管秩给出了张量固有的低秩结构的一个有价值的特征。虽然最近已经提出了一些具有良好性能的低管秩张量补全算法，但这些算法利用二阶统计量来测量误差残差，当观察到的条目包含大的离群值时，这可能不能很好地工作。在本文中，我们提出了一个新的目标函数的低管秩张量完成，它使用相关熵作为误差测量，以减轻离群值的影响。为了有效地优化所提出的目标，我们利用半二次最小化技术，从而将优化转化为加权低管秩张量因式分解问题。随后，我们提出了两个简单而有效的算法来获得解决方案，并提供其收敛性和复杂性分析。模拟和实际数据的数值结果表明，所提出的算法的鲁棒性和优越的性能。
2022-10-14 cs.LG stat.ML
Tensor Completion by Multi-Rank via Unitary Transformation
Weifang University（潍坊学院）；The University of Hong Kong（香港大学）；Central China Normal University（华中师范大学）
张量完备化中的一个关键问题是保证恢复所需的均匀随机样本的个数。本文主要研究了基于变换张量奇异值分解的$n_1 \times n_2 \times n_3$三阶张量完备化方法，并给出了所需样本项数目的一个界。我们的方法是利用底层张量的多秩而不是其在界中的管秩。在合成和成像数据集的数值实验中，我们证明了我们提出的样本条目数的有效性。此外，我们的理论结果适用于变换张量奇异值分解下$n_3$ -维的任何酉变换。
2022-01-24 cs.LG stat.ML
Low-rank Tensor Grid for Image Completion
University of Electronic Science and Technology of China（电子科技大学）
张量补全通过利用多路数据的低秩结构来估计缺失的分量。最近提出的基于张量训练（TT）和张量环（TR）的方法在图像恢复方面表现出比经典方法更好的性能。与TT和TR相比，投影纠缠对态（PEPS），也称为张量网格（TG），允许更多的不同维度之间的相互作用，并可能导致更紧凑的表示。在本文中，我们提出了低秩张量网格的基础上进行图像完成。采用两阶段密度矩阵重整化群算法对由多个TT分解组成的TG分解进行初始化。通过求解交替最小二乘问题，可以交替地获得潜在TG因子。为了进一步提高计算效率，采用并行矩阵分解的方法，提出了一种低秩TG完备化的多线性矩阵分解方法。在合成数据和真实图像上的实验结果表明，所提出的方法在恢复精度方面优于现有的方法。
2020-04-23 cs.LG stat.ML
Spectral Tensor Train Parameterization of Deep Learning Layers
ETH Zurich（苏黎世联邦理工学院）；HSE University（俄罗斯国立高等经济大学）；KU Leuven（鲁汶大学）
我们研究了在深度学习背景下嵌入谱属性的权重矩阵的低秩参数化。低秩属性导致参数效率，并允许在计算映射时采取计算捷径。在优化问题中，谱特性常常受到约束，从而导致更好的模型和优化的稳定性。首先，我们看看紧凑的SVD参数化的权重矩阵，并确定冗余源的参数化。我们进一步应用张量训练（TT）分解的紧凑SVD组件，并提出了一个非冗余的可微参数化固定TT秩张量流形，称为谱张量训练参数化（STTP）。我们展示了神经网络压缩在图像分类设置中的效果，以及在生成对抗训练设置中的压缩和改进的训练稳定性。
2021-07-13 cs.CV cs.LG stat.ML
