A high-order tensor completion algorithm based on Fully-Connected Tensor Network weighted optimization
Guangdong University of Technology(广东工业大学)
张量补齐旨在恢复丢失的数据,并且它是深度学习和信号处理中的热门关注点之一。在高阶张量分解算法中,最近提出的全连通张量网络分解(FCTN)算法是最先进的。本文利用全连通张量网络(FCTN)分解的优越性,提出了一种新的张量完备化方法--全连通张量网络加权优化(FCTN-WOPT).该算法通过初始化FCTN分解的因子来执行完整张量的合成。我们将权值张量、完全张量和不完全张量一起构建损失函数,然后使用lbfgs梯度下降算法更新完全张量,以减少空间内存占用并加快迭代速度。最后,我们用合成数据和真实数据(包括图像数据和视频数据)进行了测试,结果显示了我们的FCTN-WOPT应用于高阶张量完成时的先进性能。
2022-04-06 cs.LG
TN-SHAP-G: Graph-Structured Tensor Network Surrogates for Shapley Values and Interactions
University of Washington(华盛顿大学);CNRS(法国国家科学研究中心)
提出TN-SHAP-G框架,利用图结构输入通过张量网络代理高效计算Shapley值和高阶交互指数。
2026-06-01 cs.AI cs.LG
Noisy Tensor Completion via Low-rank Tensor Ring
Guangdong University of Technology(广东工业大学);RIKEN(理化学研究所)
张量补全是不完整数据分析的基本工具,其目标是从部分观测值中预测缺失项。然而,现有的方法往往显式或隐式地假设观测条目是无噪声的,以提供精确恢复丢失条目的理论保证,这在实践中受到很大的限制。为了弥补这些缺陷,本文提出了一种新的噪声张量完成模型,它补充了现有的工作在处理高阶和噪声观测退化的不足。具体地说,张量环核范数(TRNN)和最小二乘估计分别采用正则化的基础张量和观察到的条目。此外,一个非渐近上界的估计误差描述所提出的估计器的统计性能。两个有效的算法来解决的优化问题的收敛保证,其中之一是专门针对处理大规模的张量,通过替换TRNN的原始张量的最小化等效的一个小得多的异构张量分解框架。合成和真实世界的数据上的实验结果表明,该模型在恢复噪声不完整的张量数据的有效性和效率相比,国家的最先进的张量完成模型。
2022-03-14 cs.AI cs.LG stat.ML
Robust Tensor Completion Using Transformed Tensor SVD
Weifang University(潍坊学院);Hong Kong Baptist University(香港浸会大学);Central China Normal University(华中师范大学)
本文利用变换张量奇异值分解(SVD)研究了张量完备化的鲁棒性问题,该方法采用酉变换矩阵代替传统张量SVD中的离散傅立叶变换矩阵。其主要动机是利用其他酉变换矩阵可以得到比离散傅立叶变换矩阵更低的管秩张量。这对于鲁棒的张量完备化将更有效。对高光谱、视频和人脸数据集的实验结果表明,采用变换张量奇异值分解的鲁棒张量补全方法在PSNR方面优于采用傅立叶变换和其他鲁棒张量补全方法。
2019-07-02 cs.CV cs.LG stat.ML
Nonnegative Low-Rank Tensor Completion via Dual Formulation with Applications to Image and Video Completion
IIIT, Hyderabad(海得拉巴印度信息技术学院)
本文针对张量补全中忽略非负结构的问题,提出基于对偶理论的新颖分解,解耦非负与低秩约束,并采用黎曼共轭梯度变体求解,在图像和视频补全任务上优于现有方法。
2023-05-13 cs.CV cs.LG
Federated Knowledge Graph Completion via Latent Embedding Sharing and Tensor Factorization
City University of Hong Kong(香港城市大学);UESTC(电子科技大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));ByteDance Research(字节跳动研究院)
针对现有联邦知识图谱补全框架的隐私泄露、优化失效和计算成本高等问题,提出FLEST方法,通过联邦张量分解和潜在字典嵌入共享,在性能与隐私间取得平衡。
2023-11-17 cs.AI cs.LG
Global and Local Structure Learning for Sparse Tensor Completion
University of California, Riverside(加利福尼亚大学河滨分校)
本文提出TGL方法,利用图神经网络学习因子矩阵的局部结构,无需先验知识即可准确补全稀疏张量中的缺失条目。
2025-03-26 cs.LG
JULIA: Joint Multi-linear and Nonlinear Identification for Tensor Completion
IQVIA Inc.(艾昆纬公司);University of Florida(佛罗里达大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
张量完备化的目的是从部分观测到的张量中估算缺失的条目。现有的张量补全方法通常假设潜在分量之间的多线性或非线性关系。然而,现实世界的张量有更复杂的模式,其中多线性和非线性关系可能共存。在这种情况下,现有的方法不足以描述数据结构。本文提出了一个联合多线性和非线性识别(JULIA)框架的大规模张量完成。JULIA统一了多线性和非线性张量完成模型,与现有方法相比具有以下几个优点:1)灵活的模型选择,即,它通过将其值分配为多线性和非线性分量的组合来拟合张量; 2)与现有的非线性张量完成方法兼容; 3)基于精心设计的交替优化方法的有效训练。在六个实际大规模张量上的实验表明,JULIA算法优于许多现有的张量补全算法。此外,JULIA可以改善一类非线性张量完成方法的性能。结果表明,在一些大规模的张量完成的情况下,基线方法与JULIA能够获得高达55%的更低的均方根误差和节省67%的计算复杂性。
2022-01-31 cs.IR cs.LG stat.ML
Patch Tracking-based Streaming Tensor Ring Completion for Visual Data Recovery
University of Central Florida(中佛罗里达大学)
张量完备化的目的是通过利用部分观测张量的低秩结构来恢复其丢失的条目,并已被应用于视觉数据恢复。在数据顺序到达的应用中,例如流式视频完成,张量的丢失条目需要以流式方式动态恢复。传统的流张量补全算法将整个视觉数据视为张量,当张量子空间沿时间维度发生较大变化(例如由于视频帧之间的强烈运动)时,这种算法可能无法令人满意地工作。在本文中,我们开发了一种新的补丁跟踪为基础的流张量环完成框架的视觉数据恢复。给定新传入的帧,从先前帧跟踪小块。同时,对于每一个跟踪补丁,补丁张量构造从新的帧堆叠相似的补丁。然后使用流式张量环完成算法完成补丁张量,并使用完成的补丁张量恢复传入帧。我们提出了一种新的补丁跟踪策略,可以准确,有效地跟踪补丁丢失的数据。此外,提出了一种新的流张量环补齐算法,该算法能够高效准确地更新潜在核张量,补齐补丁张量中缺失的条目。大量的实验结果表明,所提出的算法相比,批处理和流式状态的最先进的张量完成方法的优越性能。
2022-08-12 cs.CV cs.LG
Canonical Tensor Decomposition for Knowledge Base Completion
Facebook AI Research(Facebook人工智能研究院);Université Paris-Est(巴黎东大学);Ecole des Ponts ParisTech(巴黎高等桥路学院)
知识库完备化问题可以归结为一个三阶二元张量完备化问题。在这种情况下,正则张量分解(CP)(希区柯克,1927)似乎是一个自然的解决方案;然而,目前在标准知识库完成基准上实现的CP落后于竞争对手。在这项工作中,我们试图了解知识库完成CP的限制。首先,我们激励和测试一个新的正则化,基于张量核$p$规范。然后,我们提出了一个重新制定的问题,使其不变的任意选择,包括在数据集中的谓词或其倒数。这两种方法相结合,使我们能够在几个数据集上使用CP分解击败当前的最新技术,并使用更先进的ComplEx模型获得更好的结果。
2018-06-19 cs.AI cs.LG cs.SI
Coupled Tensor-Tensor Completion Method with Applications in Drug Repurposing
Idaho State University(爱达荷州立大学);Massachusetts Institute of Technology(麻省理工学院);University of Michigan(密歇根大学);Statistics Online Computational Resource (SOCR)(统计在线计算资源(SOCR))
本研究提出耦合张量-张量补全(CTTC)方法,融入张量形式辅助信息,在DTD和LINCS数据集上,其运行时间与RSE精度均优于HaLRTC等现有方法,可更准确预测药物效应。
2026-09-04 cs.LG cs.NA math.NA
Inductive Framework for Multi-Aspect Streaming Tensor Completion with Side Information
Indian Institute of Science(印度科学学院);Microsoft(微软)
低秩张量完备化是一个研究得很好的问题,在许多领域都有应用。然而,在许多现实世界的应用中,数据是动态的,即,新数据以不同的时间间隔到达。因此,用于表示数据的张量的大小会增加。除了张量之外,在许多现实世界的场景中,边信息也可以以矩阵的形式提供,这些矩阵的大小也会随着时间的推移而增长。预测动态增长张量中缺失值的问题称为动态张量完备化。以前的大多数动态张量完备化工作都假设张量只以一种模式增长。据我们所知,没有以前的工作,将边信息与动态张量完成。本文提出了一个动态张量完备框架,称为边信息注入增量张量分析(SIITA),它结合了边信息,适用于一般的增量张量。我们还展示了如何将非负约束与SIITA相结合,这对于挖掘可解释的潜在集群至关重要。我们在多个真实世界的数据集上进行了广泛的实验,以证明SIITA在各种不同环境中的有效性。
2018-09-01 cs.LG
A generalizable framework for low-rank tensor completion with numerical priors
Duke University(杜克大学);Duke Kunshan University(昆山杜克大学)
针对现有低秩张量补全方法未系统利用数值先验导致精度受限的问题,提出首个整合数值先验的通用框架GCDTC,其实例SPTC算法在非负张量补全任务上性能显著优于现有最优方法,且代码开源。
2024-06-18 cs.AI cs.CV cs.LG
Coarse to Fine Two-Stage Approach to Robust Tensor Completion of Visual Data
University of Central Florida(中佛罗里达大学)
张量完备化是从部分观测数据中估计高阶数据缺失值的问题。由于普遍存在的离群值导致的数据损坏对传统的张量补全算法提出了重大挑战,这促进了鲁棒算法的发展,以减轻离群值的影响。然而,现有的鲁棒方法在很大程度上假设腐败是稀疏的,这在实践中可能不成立。在本文中,我们开发了一个两阶段的强大的张量完成方法来处理张量完成的视觉数据与大量的总腐败。提出了一种新的由粗到精的框架,该框架使用全局粗完成结果来指导局部补丁细化过程。为了有效地减轻大量离群点对张量恢复的影响,提出了一种新的基于M估计的鲁棒张量环恢复方法,该方法能够自适应地识别离群点,减轻离群点对优化的负面影响.实验结果表明,所提出的方法优于国家的最先进的强大的张量完成算法的性能。
2022-08-12 cs.LG stat.ML
Tensor Completion via Gaussian Process Based Initialization
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
在本文中,我们考虑张量完成问题的解决方案,在张量训练(TT)格式。假设张量是高维的,张量值由未知的光滑函数生成。这个假设使我们能够开发一个有效的初始化方案的基础上高斯过程回归和TT交叉近似技术。所提出的方法可以与通常用于张量完备问题的任何优化算法结合使用。我们凭经验证明,在这种情况下,重建误差改善与随机初始化的张量完成。作为一个额外的好处,我们的技术自动选择排名感谢使用TT交叉近似技术。
2020-08-26 cs.LG cs.NA math.NA
Efficient Low Rank Tensor Ring Completion
Purdue University(普渡大学);Tufts University(塔夫茨大学)
使用最近提出的张量环分解的矩阵乘积状态(MPS)表示,在本文中,我们提出了一个张量完成算法,这是一个交替的最小化算法,交替在MPS表示的因素。这种发展的动机部分是由矩阵完成算法的成功,交替(低秩)的因素。本文提出了张量环完备化算法的谱初始化方法,并分析了该算法的计算复杂性。我们数值比较它与现有的方法,采用低秩张量训练近似数据完成,并表明我们的方法优于现有的各种真正的计算机视觉设置,从而证明了张量环的表达能力的改善相比,张量训练。
2017-07-23 cs.IT cs.LG math.IT
Tensor Completion by Alternating Minimization under the Tensor Train (TT) Model
Purdue University(普渡大学);Tufts University(塔夫茨大学)
本文提出一种基于张量列车分解的交替最小化张量补全算法,通过交替优化MPS表示中的矩阵(张量),在计算复杂度和数值性能上优于现有方法。
2016-09-19 cs.IT cs.LG cs.NA
Exact Tensor Completion Powered by Slim Transforms
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对现有张量补全理论要求变换正交的限制,本文建立任意线性变换下精确张量补全的理论保证,揭示slim transforms更优的理论原因,提升方法灵活性并经实验验证其优越性。
2024-08-15 cs.LG eess.SP
Robust Low-tubal-rank Tensor Completion based on Tensor Factorization and Maximum Correntopy Criterion
University of Central Florida(中佛罗里达大学)
张量补全的目标是从其条目的子集中恢复张量,通常是通过利用其低秩属性。在张量秩的几个有用的定义中,低管秩给出了张量固有的低秩结构的一个有价值的特征。虽然最近已经提出了一些具有良好性能的低管秩张量补全算法,但这些算法利用二阶统计量来测量误差残差,当观察到的条目包含大的离群值时,这可能不能很好地工作。在本文中,我们提出了一个新的目标函数的低管秩张量完成,它使用相关熵作为误差测量,以减轻离群值的影响。为了有效地优化所提出的目标,我们利用半二次最小化技术,从而将优化转化为加权低管秩张量因式分解问题。随后,我们提出了两个简单而有效的算法来获得解决方案,并提供其收敛性和复杂性分析。模拟和实际数据的数值结果表明,所提出的算法的鲁棒性和优越的性能。
2022-10-14 cs.LG stat.ML
Completion of the DrugMatrix Toxicogenomics Database using 3-Dimensional Tensors
Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出利用三维张量补全方法补全DrugMatrix毒理基因组学数据库,通过保留组织-处理-转录组三维结构并采用非负张量补全,相比传统CP分解和矩阵分解方法实现了更低的均方误差和平均绝对误差,更准确地反映原始数据分布并揭示组织间关系。
2025-07-02 cs.AI cs.LG q-bio.QM
Applying Differential Privacy to Tensor Completion
Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学)
张量完备化的目的是基于部分观测的张量来填充缺失或未观测的条目。然而,在许多实际情况下,利用观察到的张量往往会引起严重的隐私问题。为了解决这个问题,我们提出了一个坚实的和统一的框架,其中包含几种方法应用差分隐私的两个最广泛使用的张量分解方法:i)CANDECOMP/PARAFAC~(CP)和ii)Tucker分解。对于每种方法,我们都建立了严格的隐私保证,同时评估了隐私准确性的权衡。在合成数据集和真实数据集上的实验表明,我们的建议在确保强隐私保护的同时,实现了高精度的张量完成。
2022-02-14 cs.CR cs.LG
Accelerated Stochastic Gradient for Nonnegative Tensor Completion and Parallel Implementation
School of Electrical and Computer Engineering Technical University of Crete(克里特技术大学电气与计算机工程学院)
我们考虑非负张量完备化问题。我们采用交替优化框架和解决每个非负矩阵完成问题通过一个随机变化的加速梯度算法。我们使用真实世界和合成数据实验测试我们的算法的有效性和效率。我们开发了一个共享内存的实现我们的算法使用多线程API的OpenMP,达到显着的加速。我们相信,我们的方法是一个非常有竞争力的候选人非常大的非负张量完成问题的解决方案。
2021-09-20 cs.LG eess.SP
Fast and Provable Tensor-Train Format Tensor Completion via Precondtioned Riemannian Gradient Descent
The Hong Kong University of Science and Technology(香港科技大学);Shanghai Jiao Tong University(上海交通大学)
本文提出预条件黎曼梯度下降算法(PRGD)解决张量列车格式的低秩张量补全问题,证明线性收敛,并在模拟与真实数据上大幅减少计算时间和迭代次数。
2025-01-23 cs.LG cs.NA math.NA
Tensor Completion for Weakly-dependent Data on Graph for Metro Passenger Flow Prediction
The Hong Kong University of Science and Technology(香港科技大学);Arizona State University(亚利桑那州立大学);Tsinghua University(清华大学)
由于张量数据的普遍存在,低秩张量分解和完备化引起了学术界的极大兴趣。然而,低秩结构是一个全局属性,当数据呈现复杂和弱依赖性时,给定特定的图结构,这将无法实现。一个特定的应用,激发这项研究是时空数据分析。如初步研究所示,弱依赖性会恶化低秩张量完成性能。本文通过引入$L_{1}$ -范数惩罚和图拉普拉斯惩罚,提出了一种新的低秩CANDECOMP / PARAFAC(CP)张量分解和完成框架,用于对图的弱依赖进行建模.我们进一步提出了一个有效的优化算法的基础上的块坐标下降有效的估计。基于香港地铁客流数据进行了案例研究,以证明改进的性能比常规张量完成方法。
2019-12-11 cs.LG stat.ML
Tensor train completion: local recovery guarantees via Riemannian optimization
Marchuk Institute of Numerical Mathematics RAS(俄罗斯科学院马尔丘克数值数学研究所)
本文研究张量火车补全问题,通过基于奇异值调和平均的新界和核心相干性概念,给出了黎曼梯度下降局部收敛所需的随机采样元素数量保证,并推广到带辅助子空间信息的情形。
2023-08-30 cs.LG cs.NA math.NA
Knowledge Graph Completion with Mixed Geometry Tensor Factorization
HSE University(高等经济大学);AIRI(人工智能研究所)
本文提出一种结合欧几里得与双曲几何的混合张量分解方法,通过引入双曲相互作用项修正Tucker分解模型,在显著减少参数的同时实现了SOTA的知识图谱链接预测精度。
2025-04-03 cs.AI cs.IR cs.LG
Grassmannian Optimization for Online Tensor Completion and Tracking with the t-SVD
University of Michigan(密歇根大学)
我们提出了一个新的快速流算法的张量完成问题的输入丢失的条目的低管秩张量使用张量奇异值分解(t-SVD)代数框架。我们表明,t-SVD是一个专业化的研究块项分解的三阶张量,我们提出了一个算法,在这个模型下,可以跟踪不完整的流2-D数据的变化自由子模块。该算法利用子空间的格拉斯曼流形上的增量梯度下降原理,以线性复杂度和时间样本数的恒定记忆来解决张量完成问题。我们提供了我们的算法的局部预期线性收敛结果。我们的经验结果在准确性上具有竞争力,但在计算时间上比实际应用中最先进的张量完成算法要快得多,以在有限的采样下恢复时间化学传感和MRI数据。
2022-04-14 cs.LG eess.SP
Tensor Completion by Multi-Rank via Unitary Transformation
Weifang University(潍坊学院);The University of Hong Kong(香港大学);Central China Normal University(华中师范大学)
张量完备化中的一个关键问题是保证恢复所需的均匀随机样本的个数。本文主要研究了基于变换张量奇异值分解的$n_1 \times n_2 \times n_3$三阶张量完备化方法,并给出了所需样本项数目的一个界。我们的方法是利用底层张量的多秩而不是其在界中的管秩。在合成和成像数据集的数值实验中,我们证明了我们提出的样本条目数的有效性。此外,我们的理论结果适用于变换张量奇异值分解下$n_3$ -维的任何酉变换。
2022-01-24 cs.LG stat.ML
Improving Group Fairness in Tensor Completion via Imbalance Mitigating Entity Augmentation
Department of Computer Science and Engineering, University of California, Riverside, Riverside, CA, USA(计算机科学与工程系,加州大学河滨分校);Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign, Urbana, IL, USA(计算与数据科学学院,伊利诺伊大学厄巴纳-香槟分校)
针对张量分解中群体公平方法导致性能下降的问题,提出 STAFF,通过含充足观测条目的实体增强缓解稀疏张量不平衡与偏差,在多类模型和数据集上实现误差与公平性的最佳权衡。
2025-07-28 cs.LG stat.ML
Nonnegative Tensor Completion via Integer Optimization
University of California, Berkeley(加州大学伯克利分校);The Ohio State University(俄亥俄州立大学)
与矩阵完备化不同,张量完备化没有已知的算法来实现信息论样本复杂度。本文对非负张量完备化的特殊情况提出了一种新的算法。我们证明了我们的算法收敛在一个线性(数值公差)的预言步骤数,同时实现信息理论的速度。我们的方法是使用一个特定的0-1多面体的规范定义一个新的规范的非负张量;整数线性规划,反过来,可以用来解决这个多面体的线性分离问题。我们结合这一见解与弗兰克-沃尔夫算法的一个变种,构建我们的数值算法,我们证明了它的有效性和可扩展性,通过计算实验使用笔记本电脑上的张量高达一亿个条目。
2022-05-23 cs.LG math.OC stat.ML
Exact tensor completion with sum-of-squares
Institute for Advanced Study(高等研究院);Cornell University(康奈尔大学)
我们获得了第一个多项式时间算法的精确张量完成,提高了减少矩阵完成所隐含的界限。该算法从$r\cdot \tilde O(n^{1.5})$随机观察到的张量条目中恢复出一个未知的3-张量,其中$r$是$\mathbb R^n$中的非相干正交分量。这个界限改善了以前的最好的一个$r\cdot \tilde O(n^{2})$减少到确切的矩阵完成。我们的界也与最著名的结果相匹配,因为近似张量完成的问题更容易(Barak & Moitra,2015)。我们的算法和分析通过平方和方法将精确矩阵完成(Candes & Recht,2009)的开创性结果扩展到张量设置。主要的技术挑战是要证明少量随机选择的单项式就足以在球面上构造一个具有精确种植的正交全局最优解的3次多项式,并且这个事实可以在平方和证明系统中得到证明。
2017-06-23 cs.CC cs.DS cs.IT
Influence-guided Data Augmentation for Neural Tensor Completion
Georgia Institute of Technology(佐治亚理工学院);Adobe Research(Adobe研究院)
如何更准确地预测多维数据(或张量)中的缺失值?张量补全在个性化推荐、图像和视频恢复以及社交网络中的链接预测等许多应用中至关重要。许多张量因式分解和基于神经网络的张量补全算法已经被开发用于预测部分观测张量中的缺失项。然而,它们可能会产生不准确的估计,因为现实世界的张量非常稀疏,并且这些方法往往会在少量数据上过拟合。在这里,我们克服了这些缺点,提出了张量的数据增强技术。在本文中,我们提出了DAIN,一个通用的数据增强框架,提高了神经张量完成方法的预测精度。具体来说,DAIN首先训练一个神经模型,并通过影响函数找到张量细胞的重要性。之后,DAIN聚合单元格重要性以计算每个实体的重要性(即,维度的索引)。最后,DAIN通过实体重要性的加权采样和值预测器来增强张量。广泛的实验结果表明,DAIN优于所有的数据增强基线,在四个不同的现实世界的张量,提高神经张量完成的插补精度。DAIN的消融研究证实了DAIN的每种成分的有效性。此外,我们表明,DAIN规模接近线性大型数据集。
2021-08-23 cs.LG cs.SI
Low-rank Tensor Grid for Image Completion
University of Electronic Science and Technology of China(电子科技大学)
张量补全通过利用多路数据的低秩结构来估计缺失的分量。最近提出的基于张量训练(TT)和张量环(TR)的方法在图像恢复方面表现出比经典方法更好的性能。与TT和TR相比,投影纠缠对态(PEPS),也称为张量网格(TG),允许更多的不同维度之间的相互作用,并可能导致更紧凑的表示。在本文中,我们提出了低秩张量网格的基础上进行图像完成。采用两阶段密度矩阵重整化群算法对由多个TT分解组成的TG分解进行初始化。通过求解交替最小二乘问题,可以交替地获得潜在TG因子。为了进一步提高计算效率,采用并行矩阵分解的方法,提出了一种低秩TG完备化的多线性矩阵分解方法。在合成数据和真实图像上的实验结果表明,所提出的方法在恢复精度方面优于现有的方法。
2020-04-23 cs.LG stat.ML
Robust Low-Rank Tensor Ring Completion
University of Electronic Science and Technology of China(电子科技大学)
低秩张量补全基于不同的张量分解来恢复丢失的条目。低秩张量环由于其在开发高阶数据结构方面的优异性能,在张量完备化中得到了广泛的应用。为了进一步处理其在张量主成分分析中对稀疏分量的敏感性,我们提出了鲁棒张量环完备(RTRC),它将潜在的低秩张量分量从具有有限数量测量的稀疏分量中分离出来。低秩张量分量由其平衡开折的核范数的加权和约束,而稀疏分量由其l1范数正则化。我们分析了RTRC模型,并给出了准确的恢复保证。采用乘子交替方向法将问题分解为若干个子问题,并快速求解。在数值实验中,我们验证了所提出的方法在合成数据上的恢复条件,并表明所提出的方法在许多真实世界的基于数据的任务中,即,光场图像恢复,人脸图像中的阴影去除,以及彩色视频中的背景提取。
2020-04-23 cs.LG stat.ML
MLCTR: A Fast Scalable Coupled Tensor Completion Based on Multi-Layer Non-Linear Matrix Factorization
New Jersey Institute of Technology(新泽西理工学院);Central Michigan University(中密歇根大学)
公司盈余预测对公司投资决策、股利预期和股票价格都有着重要的影响。它通常涉及多个张量兼容的数据集,这些数据集具有非线性多路关系,时空结构和不同的稀疏度。目前的非线性张量补全算法往往会学习噪声嵌入并导致过拟合。针对张量完备化问题的嵌入学习问题,提出了一种新的多层神经网络结构的张量因式分解与完备化算法(MLCTR)。该网络架构具有多个优点:一系列低秩矩阵分解(MF)构建块,以最大限度地减少过拟合,非线性的每一层中的交错传递函数,以及旁路连接,以减少梯度衰减问题并增加神经网络的深度。此外,该模型采用基于随机梯度下降(SGD)的优化,以快速收敛的训练。我们的算法是非常有效的插补缺失值的EPS数据。实验证实,我们在因子矩阵中引入非线性的策略在嵌入学习和端到端张量模型中表现出令人印象深刻的性能,并且在从因子矩阵重建张量的阶段中优于非线性方法。
2021-09-04 cs.LG
Latent Matrices for Tensor Network Decomposition and to Tensor Completion
Guangdong University of Technology(广东工业大学);RIKEN(理化学研究所)
目前流行的全连接张量网络(FCTN)在数据压缩方面取得了很好的效果。然而,FCTN分解在面对高阶和大规模数据时存在计算速度慢的问题。很自然地,会出现一个有趣的问题:是否可以提出一个新的模型,将张量分解为更小的张量,并加快算法的计算速度?这项工作给出了一个积极的答案,制定了一个新的高阶张量分解模型,利用基于张量网络结构的潜在矩阵,它可以将张量分解成比FCTN分解更小规模的数据,因此我们将其命名为张量网络分解的潜在矩阵(LMTN)。此外,三个优化算法,LMTN-PAM,LMTN-SVD和LMTN-AR,已被开发并应用于张量完成任务。此外,我们提供了理论上的收敛性证明和复杂性分析这些算法。实验结果表明,该算法在深度学习数据集压缩和高阶张量补全方面均具有较好的效果,LMTN-SVD算法比FCTN-PAM算法快3-6倍,精度仅下降1.8点。
2022-10-19 cs.DS cs.LG
Tensor p-shrinkage nuclear norm for low-rank tensor completion
基于张量奇异值分解(t-SVD),提出了一种新的张量p收缩核范数(p-TNN)的定义.特别地,可以证明当p < 1时,p-TNN比张量核范数更好地逼近张量平均秩。因此,通过使用p-收缩核范数,提出了一种新的低秩张量完备(LRTC)模型,从其部分观测值估计张量。在统计上,给出了LRTC模型的恢复误差上界。此外,一个有效的算法,加速的自适应动量计划,开发解决由此产生的非凸优化问题。在光滑性假设下,可以进一步保证算法具有全局收敛速度。在合成数据集和真实数据集上进行的数值实验验证了我们的结果,并证明了我们的p-TNN在LRTC问题中的优越性。
2019-07-09 cs.LG stat.ML
Low rank tensor completion with sparse regularization in a transformed domain
University of Electronic Science and Technology of China(电子科技大学)
张量完备化是一个具有挑战性的问题,有着广泛的应用。基于张量的低秩先验,已经提出了许多相关的模型。然而,低秩先验可能不足以从观察到的不完整张量恢复原始张量。本文利用张量的低秩和稀疏先验,提出了一种张量完备化方法。具体地,张量完成任务可以被公式化为具有稀疏正则化器的低秩最小化问题。基于张量奇异值分解(T-SVD)的张量截断核范数刻画了其低秩性质,与张量核范数相比,T-SVD是张量管秩的一种更好的近似.而稀疏正则化子是在离散余弦变换(DCT)域中通过$\ell_{1}$ -范数来实现的,它能更好地利用完备数据的局部稀疏性。为了解决最优化问题,我们采用了交替方向法的乘法器(ADMM),其中我们只需要解决几个子问题,有封闭形式的解决方案。在真实图像和视频上的大量实验表明,该方法具有更好的性能比现有的国家的最先进的方法。
2019-11-19 cs.LG cs.NA math.NA
Sum-of-squares meets square loss: Fast rates for agnostic tensor completion
Massachusetts Institute of Technology(麻省理工学院)
我们在不可知论的背景下研究张量完备化。在经典的张量补全问题中,我们接收到秩未知的$r$张量的$n$条目,并希望精确地完成剩余的条目。在不可知张量完备化中,我们不对未知张量的秩做任何假设,而是试图预测未知项以及最佳秩- $r$张量。对于具有平方损失的三阶张量的不可知学习,我们给出了第一个多项式时间算法,该算法获得了“快速”(即,$O(1/n)$型)速率比通过简化到矩阵完成获得的速率提高。我们的预测出错率与排名最好的$d\times{}d\times{}d$张量- $r$竞争是$\tilde{O}(r^{2}d^{3/2}/n)$。我们还得到了一个确切的预言不等式,权衡估计和近似误差。我们的算法是基于度六平方和松弛张量核范数。我们的分析的关键特征是表明,张量核范数的次梯度的某种表征可以被编码在平方和证明系统中。这解锁了平方损失下的经验过程的本地化的标准工具箱,并允许我们建立各种张量回归模型的限制特征值类型的保证,张量完成作为一个特例。对松弛的新分析补充了Barak和Moitra(2016),他们给出了不可知张量完成的缓慢速率,以及Potechin和Steurer(2017),他们给出了无噪声设置的精确恢复保证。我们的技术是用户友好的,我们预计它们将在其他地方使用。
2019-05-30 cs.DS cs.LG math.ST
Near-optimal sample complexity for convex tensor completion
University of British Columbia(不列颠哥伦比亚大学)
我们分析低秩张量完成(TC)使用噪声测量的张量的子集。假设秩为- $r$,阶为- $d$,$N \times N \times \cdots \times N$张量,其中$r=O(1)$,所实现的最佳采样复杂度为$O(N^{\frac{d}{2}})$,其通过求解张量核范数最小化问题来获得。然而,这个界限是显着大于自由变量的数量在一个低秩张量是$O(dN)$。在本文中,我们表明,通过使用一个原子范数的原子秩$1$符号张量,可以得到一个样本复杂度为$O(dN)$。此外,我们推广矩阵最大范数的定义张量,这将导致一个最大准范数(max-qnorm)的单位球具有小的Rademacher复杂度。我们证明,解决约束最小二乘估计使用凸原子范数或非凸max-qnorm结果在低秩张量完成问题的最佳样本复杂度。此外,我们表明,这些界限是近极大极小率最优的。我们还提供了有前途的数值结果最大qnorm约束张量完成,显示出改善的恢复结果相比,矩阵化和交替最小二乘。
2017-11-14 cs.LG math.OC stat.ML
Non-convex approaches for low-rank tensor completion under tubal sampling
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Michigan State University(密歇根州立大学);University of Central Florida(中佛罗里达大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文针对管状采样下的低秩张量补全问题,提出 TL12 和 TCCUR 两种非凸框架,实验表明二者在低采样率下分别具有精度或效率优势。
2023-03-17 cs.CV cs.LG cs.NA
Duality-Induced Regularizer for Tensor Factorization Based Knowledge Graph Completion
University of Science and Technology of China(中国科学技术大学)
基于张量分解的模型在知识图谱完备化(KGC)中显示出强大的功能。然而,它们的性能往往受到过拟合问题的严重影响。这激发了各种正则化器-例如平方Frobenius范数和张量核范数正则化器-而有限的适用性大大限制了它们的实际使用。为了解决这一挑战,我们提出了一种新的正则化器-即对偶诱导正则化器(DURA)-它不仅有效地提高了现有模型的性能,而且广泛适用于各种方法。DURA的主要新颖之处在于,对于现有的基于张量分解的KGC模型(原始),通常存在另一个与之密切相关的基于距离的KGC模型(对偶)。实验表明,DURA在基准测试上产生了一致且显著的改进。
2021-05-04 cs.LG
MTC: Multiresolution Tensor Completion from Partial and Coarse Observations
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amplitude(Amplitude公司);IQVIA(艾昆纬)
现有的张量完备化公式主要依赖于来自单个张量的部分观测。然而,从真实世界数据中提取的张量通常更复杂,这是由于:(i)部分观测:只有一个小的子集(例如,5%)的张量元素可用。(ii)粗略观察:一些张量模式仅呈现粗略和聚合模式(例如,每月总结,而不是每日报告)。在本文中,我们给出了张量的一个子集和一些聚合/粗观测(沿着一个或多个模式),并试图用低秩因子分解来恢复原始的细粒度张量。我们制定了一个耦合张量完成问题,并提出了一个有效的多分辨率张量完成模型(MTC)来解决这个问题。我们的MTC模型探讨张量模式属性,并利用分辨率的层次结构递归地初始化优化设置,并使用交替最小二乘法对耦合系统进行优化。MTC确保低计算和空间复杂度。我们在两个与COVID-19相关的时空张量上评估我们的模型。实验表明,MTC可以提供65.20%和75.79%的适应度(PoF)在张量完成只有5%的细粒度观察,这是27.96%的相对改善最好的基线。为了评估学习到的低秩因素,我们还设计了一个张量预测任务,用于每日和累积疾病病例预测,其中MTC在PoF中实现了50%,在最佳基线上实现了30%的相对改善。
2021-06-18 cs.LG cs.NA math.NA
T-SVD Based Non-convex Tensor Completion and Robust Principal Component Analysis
Peking University(北京大学)
张量完备化和鲁棒主元分析在机器学习中得到了广泛的应用,但其关键问题是如何最小化张量秩,这是一个非常具有挑战性的问题。解决这一问题的一种常用方法是基于张量奇异值分解(T-SVD),用奇异值的$\ell_1-$范数来近似张量秩。此外,张量的稀疏性也可以用它的$\ell_1-$范数来度量。然而,$\ell_1$罚分本质上是有偏差的,因此结果将偏离。为了避免这种偏差,我们提出了一种新的非凸张量秩代理函数和一种新的非凸稀疏性度量。在这种新的设置中,通过使用的凸性,而不是一个优化最小化算法进一步设计张量完成和鲁棒的主成分分析。此外,我们分析了它的理论性质。最后,自然和高光谱图像上的实验证明了我们提出的方法的有效性和效率。
2021-05-25 cs.CV cs.LG stat.ML
Provable Tensor Ring Completion
University of Electronic Science and Technology of China (UESTC)(电子科技大学);School of Information and Communication Engineering, University of Electronic Science and Technology of China (UESTC)(电子科技大学信息与通信工程学院)
张量完成从有限数量的测量恢复多维数组。利用最近提出的张量环(TR)分解,本文证明了在给定n^{d/2} r^2 ln^7(n^{d/2})个样本的情况下,通过求解凸优化程序,可以以很高的概率精确地恢复维数为n、TR秩为r的d阶张量.所提出的TR不相干条件下的结果保持类似的矩阵不相干条件。通过对合成数据的实验,验证了该方法对TR完成的恢复保证。此外,在真实数据上的实验表明,我们的方法提高了恢复性能相比,国家的最先进的方法。
2020-01-09 cs.LG stat.ML
New Riemannian preconditioned algorithms for tensor completion via polyadic decomposition
UCLouvain(鲁汶天主教大学)
我们提出了新的黎曼预条件算法的低秩张量完成通过张量的多元分解。这些算法利用了多元分解形式的低秩张量的因子矩阵的积空间上的非欧度量。该度量是利用张量完备化费用函数的Hessian对角块的近似来设计的,因此对这些算法具有预处理作用。我们证明了所提出的黎曼梯度下降算法全局收敛到张量完成问题的一个稳定点,收敛速度估计使用$Ł$ ojasiewicz属性。对合成数据和真实数据的数值结果表明,所提出的算法在内存和时间上比最先进的算法更有效。此外,所提出的算法表现出更大的容忍度高估的秩参数的张量恢复性能,从而使一个灵活的选择的秩参数。
2022-06-02 cs.LG cs.NA math.NA
FasTer: Fast Tensor Completion with Nonconvex Regularization
Paradigm. Inc.(4Paradigm公司);Department of Computer Science and Engineering, Hong Kong University of Science and Technology(香港科技大学计算机科学与工程系);RIKEN(理化学研究所(RIKEN));Hong Kong University of Science and Technology(香港科技大学)
低秩张量完备化问题的目标是从有限的观测值中恢复一个张量,它有很多实际应用。凸重叠核模由于其易于优化,已被广泛用于张量完备化。然而,它过度惩罚顶部奇异值并导致有偏估计。在本文中,我们建议使用非凸正则化,它可以更少地惩罚大奇异值,而不是凸张量完成。然而,由于新的正则化子是非凸的,彼此重叠,现有的算法要么太慢或遭受巨大的内存开销。为了解决这些问题,我们开发了一个有效的和可扩展的算法,这是基于近似平均(PA)算法,为现实世界的问题。与直接使用PA算法相比,该算法运行订单速度更快,所需订单空间更少。我们进一步加快所提出的算法与加速技术,并显示收敛到临界点仍然是有保证的。实验比较所提出的方法与其他各种张量完成的方法。实验结果表明,该算法是非常快的,可以产生更好的恢复性能。
2019-01-23 cs.LG stat.ML
Variational Bayesian inference for CP tensor completion with side information
Marchuk Institute of Numerical Mathematics RAS(俄罗斯科学院马尔丘克数值数学研究所)
提出一种基于变分贝叶斯推断的消息传递算法,利用辅助信息实现CP格式低秩张量的自动秩确定与补全,显著减少所需样本量。
2022-06-29 cs.LG math.PR
Tensor Completion via Leverage Sampling and Tensor QR Decomposition for Network Latency Estimation
Wenzhou University(温州大学)
针对大规模网络时延估计计算开销大的问题,提出融合改进张量杠杆率采样、CSVD-QR、L_{2,1} 范数与张量 QR 分解 ADMM 的张量补全方法,在保持精度的同时显著提升速度。
2023-06-27 cs.LG cs.NA cs.NI
Efficient Tensor Completion Algorithms for Highly Oscillatory Operators
Department of Computer Science, University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校计算机科学系);Lawrence Berkeley National Laboratory(伯克利国家实验室);Applied Mathematics and Computational Research Division(应用数学与计算研究部)
本文提出高效的蝴蝶格式张量补全算法,通过低秩矩阵补全生成初始猜测,实现高振荡算子的快速准确重建。
2026-02-16 cs.LG cs.NA math.NA
Application Performance Modeling via Tensor Completion
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出用低秩CP张量分解对应用性能建模,结合张量补全优化,在六个应用中实现高维性能预测,精度和内存效率优于网格模型和监督学习模型。
2023-08-29 cs.DC cs.LG cs.PF
Non-Linear Self-Interference Cancellation via Tensor Completion
Eindhoven University of Technology(埃因霍温理工大学)
非线性自干扰(SI)消除是全双工通信中的一个基本问题,通常使用多项式模型或神经网络来解决。在这项工作中,我们探讨了最近提出的方法的基础上低秩张量完成,称为规范系统辨识(CSID),非线性SI取消的适用性。我们的研究结果表明,CSID是非常有效的建模和消除非线性SI信号,可以有较低的计算复杂度比现有的方法,虽然在成本增加的内存需求。
2020-10-05 cs.LG eess.SP
Provable Tensor-Train Format Tensor Completion by Riemannian Optimization
Hong Kong University of Science and Technology(香港科技大学)
张量训练(TT)格式在处理结构高阶张量方面具有吸引人的优势。近十年来,TT格式张量在不同学科中得到了广泛的应用,其中张量完备化引起了广泛的关注。许多快速算法,包括黎曼梯度下降(RGrad),已经提出了TT格式张量完成。然而,这些算法的理论保证在很大程度上是缺失的或次优的,部分原因是TT格式分解中复杂的递归代数运算。此外,为其他格式的张量建立的现有结果,例如,Tucker和CP,是不适用的,因为处理TT格式张量的算法是实质上不同的,并且涉及更多。在本文中,我们提供,据我们所知,第一理论保证的收敛性RGrad算法的TT格式张量完成,在一个接近最佳的样本量条件下。RGrad算法以恒定的收缩率线性收敛,该收缩率不受张量条件数的限制,无需重新调节。我们还提出了一种新的方法,称为顺序二阶矩方法,以在类似的样本量要求下实现热初始化。作为一个副产品,我们的结果甚至显着细化矩阵完成的RGrad算法的先前调查。最后,如果观测项由随机亚高斯噪声组成,则推导出RGrad算法的统计(近)最优速率。数值实验证实了我们的理论发现,并展示了TT格式分解所获得的计算加速比。
2022-03-21 cs.IT cs.LG math.IT
A dual framework for low-rank tensor completion
Indian Institute of Science(印度科学学院);Microsoft(微软)
低秩张量完备化的一种流行方法是使用潜在迹范数正则化。然而,大多数现有的作品在这个方向上学习张量的稀疏组合。在这项工作中,我们填补了这一空白,提出了一个变种的潜在的跟踪规范,有助于学习张量的非稀疏组合。我们开发了一个对偶框架来解决低秩张量完备化问题。我们首先展示了一个新的特征的对偶解空间的最优解的一个有趣的分解。总的来说,最优解位于黎曼流形的笛卡尔积上。此外,我们利用多功能的黎曼优化框架,提出计算效率的信赖域算法。实验结果表明,该算法在几个真实世界的数据集跨应用程序的有效性。
2018-11-10 cs.LG stat.ML