Grassmannian Optimization for Online Tensor Completion and Tracking with the t-SVD
University of Michigan(密歇根大学)
我们提出了一个新的快速流算法的张量完成问题的输入丢失的条目的低管秩张量使用张量奇异值分解(t-SVD)代数框架。我们表明,t-SVD是一个专业化的研究块项分解的三阶张量,我们提出了一个算法,在这个模型下,可以跟踪不完整的流2-D数据的变化自由子模块。该算法利用子空间的格拉斯曼流形上的增量梯度下降原理,以线性复杂度和时间样本数的恒定记忆来解决张量完成问题。我们提供了我们的算法的局部预期线性收敛结果。我们的经验结果在准确性上具有竞争力,但在计算时间上比实际应用中最先进的张量完成算法要快得多,以在有限的采样下恢复时间化学传感和MRI数据。
2022-04-14 cs.LG eess.SP
Fast and Provable Tensor-Train Format Tensor Completion via Precondtioned Riemannian Gradient Descent
The Hong Kong University of Science and Technology(香港科技大学);Shanghai Jiao Tong University(上海交通大学)
本文提出预条件黎曼梯度下降算法(PRGD)解决张量列车格式的低秩张量补全问题,证明线性收敛,并在模拟与真实数据上大幅减少计算时间和迭代次数。
2025-01-23 cs.LG cs.NA math.NA
Tensor train completion: local recovery guarantees via Riemannian optimization
Marchuk Institute of Numerical Mathematics RAS(俄罗斯科学院马尔丘克数值数学研究所)
本文研究张量火车补全问题,通过基于奇异值调和平均的新界和核心相干性概念,给出了黎曼梯度下降局部收敛所需的随机采样元素数量保证,并推广到带辅助子空间信息的情形。
2023-08-30 cs.LG cs.NA math.NA
Tensor denoising and completion based on ordinal observations
University of Wisconsin – Madison(威斯康星大学麦迪逊分校)
高阶张量经常出现在神经成像、推荐系统、社会网络分析和心理学研究等应用中。我们考虑从可能不完整的,序值观测的低秩张量估计的问题。研究了两个相关问题,一个是张量去噪,另一个是张量完备化。我们提出了一个多线性累积链接模型,开发了一个秩约束的M-估计,并获得理论上的精度保证。我们的均方误差界比以前的结果具有更快的收敛速度,我们证明了所提出的估计是minimax最优的一类低秩模型。此外,开发的程序作为一个有效的完成方法,保证一致的恢复顺序$K$ $(d,\ldots,d)$维低秩张量只使用$\tilde{\mathcal{O}}(Kd)$噪声,量化的意见。我们证明了我们的方法优于以前的方法的聚类和协同过滤的任务。
2020-12-13 cs.LG math.ST stat.ME
Beyond the Signs: Nonparametric Tensor Completion via Sign Series
我们考虑的问题,张量估计噪声观测可能丢失的条目。基于一个新的模型,我们硬币作为符号表示张量的张量完成的非参数方法。该模型使用一系列结构化符号张量表示感兴趣的信号张量。与早期的方法不同,符号序列表示有效地解决了低秩和高秩信号,同时包含许多现有的张量模型-包括CP模型,Tucker模型,单索引模型,几个超图子模型-作为特殊情况。我们表明,符号张量系列的理论特征,计算估计,通过分类任务,仔细指定的权重。建立了超额风险界限、估计误差率和样本复杂度。我们在两个数据集上证明了我们的方法优于以前的方法,一个是人脑连接网络,另一个是主题数据挖掘。
2021-01-31 cs.LG math.ST stat.ME
Cross: Efficient Low-rank Tensor Completion
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
张量或高阶数组的完备化在最近的研究中引起了极大的关注。目前关于张量完备化的文献主要集中在从一组均匀随机测量的条目中恢复,并且实现恢复所需的测量数量不能保证是最优的。此外,以前的一些方法的实现是NP难的。在这篇文章中,我们提出了一个框架,通过一个新的张量测量计划,我们命名为十字架低秩张量完成。所提出的程序是有效的,易于实施。特别是,我们表明,三阶张量的塔克秩- $(r_1, r_2, r_3)$在$p_1$- $p_2$ - $p_3$维空间可以恢复从尽可能少的$r_1r_2r_3 + r_1(p_1-r_1) + r_2(p_2-r_2) + r_3(p_3-r_3)$无噪声测量,这符合样本的复杂性下限。在噪声测量的情况下,我们还开发了一个理论上的上限和匹配的Minimax下界恢复误差在某些类别的低秩张量的建议的程序。结果可以进一步推广到四阶或更高阶张量。仿真研究表明,该方法在各种设置下都有很好的性能。最后,通过一个真实的神经成像数据集说明了该过程。
2018-11-27 cs.LG math.ST stat.ME
Tensor Completion via Integer Optimization
The Ohio State University(俄亥俄州立大学);University of California Berkeley(加州大学伯克利分校)
本文提出一种基于整数线性优化和 Frank-Wolfe 变体的张量补全算法,在线性 oracle 步骤内同时实现可证明收敛与信息论样本复杂度速率,并在千万级元素张量上验证了可扩展性。
2024-04-03 cs.LG math.OC
New Riemannian preconditioned algorithms for tensor completion via polyadic decomposition
UCLouvain(鲁汶天主教大学)
我们提出了新的黎曼预条件算法的低秩张量完成通过张量的多元分解。这些算法利用了多元分解形式的低秩张量的因子矩阵的积空间上的非欧度量。该度量是利用张量完备化费用函数的Hessian对角块的近似来设计的,因此对这些算法具有预处理作用。我们证明了所提出的黎曼梯度下降算法全局收敛到张量完成问题的一个稳定点,收敛速度估计使用$Ł$ ojasiewicz属性。对合成数据和真实数据的数值结果表明,所提出的算法在内存和时间上比最先进的算法更有效。此外,所提出的算法表现出更大的容忍度高估的秩参数的张量恢复性能,从而使一个灵活的选择的秩参数。
2022-06-02 cs.LG cs.NA math.NA
Low-Rank Approximation and Completion of Positive Tensors
University of California, Berkeley(加州大学伯克利分校)
与矩阵情况不同,计算张量的低秩近似是NP困难的,并且通常是数值不适定的。即使是张量的最佳秩-1近似也是NP困难的。在本文中,我们使用凸优化发展多项式时间算法的低秩逼近和完善的正张量。我们的方法是使用代数拓扑定义一个新的(数值适定性)分解的正张量,我们证明是等价的标准张量分解在重要的情况下。虽然计算这个分解是一个非凸的最优化问题,我们证明了它可以精确地转化为凸优化问题。这使我们能够构造多项式时间的随机算法来计算这种分解和解决低秩张量近似问题。结果之一是,正张量的最佳秩1近似可以在多项式时间内计算。我们的框架下一个扩展到张量完成问题,其中张量的噪声条目被观察到,然后用于估计丢失的条目。我们提供了一个多项式时间算法,对于特定的情况下,需要一个多项式(张量顺序)数量的测量,与现有的方法,需要一个指数数量的测量。这些算法被扩展到利用张量的稀疏性,以减少所需的测量次数。最后,我们提供了一个新的解释统计回归问题的分类变量张量完成问题,和合成数据和数据从生物工程代谢网络的数值例子表明,我们的方法在这个问题上的改进性能。
2016-09-13 cs.LG math.ST stat.TH
Provable Tensor-Train Format Tensor Completion by Riemannian Optimization
Hong Kong University of Science and Technology(香港科技大学)
张量训练(TT)格式在处理结构高阶张量方面具有吸引人的优势。近十年来,TT格式张量在不同学科中得到了广泛的应用,其中张量完备化引起了广泛的关注。许多快速算法,包括黎曼梯度下降(RGrad),已经提出了TT格式张量完成。然而,这些算法的理论保证在很大程度上是缺失的或次优的,部分原因是TT格式分解中复杂的递归代数运算。此外,为其他格式的张量建立的现有结果,例如,Tucker和CP,是不适用的,因为处理TT格式张量的算法是实质上不同的,并且涉及更多。在本文中,我们提供,据我们所知,第一理论保证的收敛性RGrad算法的TT格式张量完成,在一个接近最佳的样本量条件下。RGrad算法以恒定的收缩率线性收敛,该收缩率不受张量条件数的限制,无需重新调节。我们还提出了一种新的方法,称为顺序二阶矩方法,以在类似的样本量要求下实现热初始化。作为一个副产品,我们的结果甚至显着细化矩阵完成的RGrad算法的先前调查。最后,如果观测项由随机亚高斯噪声组成,则推导出RGrad算法的统计(近)最优速率。数值实验证实了我们的理论发现,并展示了TT格式分解所获得的计算加速比。
2022-03-21 cs.IT cs.LG math.IT
High-dimension Tensor Completion via Gradient-based Optimization Under Tensor-train Format
Graduate School of Engineering, Saitama Institute of Technology, Japan(日本埼玉科技大学工学研究科);Tensor Learning Unit, RIKEN Center for Advanced Intelligence Project (AIP), Japan(日本RIKEN先进人工智能项目(AIP)张量学习单元);School of Automation, Guangdong University of Technology, China(广东技术大学自动化学院);School of Computer Science and Technology, Hangzhou Dianzi University, China(杭州电子科技大学计算机科学与技术学院)
本文提出了一种基于张量列车格式的梯度优化方法,用于补全高维张量中的缺失数据,通过寻找低秩张量列车分解来捕捉数据的潜在特征,并利用梯度下降算法高效解决张量补全问题,同时引入视觉数据张量化方法提升算法性能。
2018-11-30 cs.CV cs.LG cs.NA
Fast Tensor Completion via Approximate Richardson Iteration
MIT(麻省理工学院);Google Research(谷歌研究)
本研究提出一种基于近似 Richardson 迭代的提升方法,通过将结构化 TD 回归算法作为黑盒子程序解决 TC 回归问题中代数结构丢失的难题,实现了次线性时间复杂度,在真实张量 CP 补全上比直接方法快 100 倍。
2025-08-12 cs.DS cs.LG math.ST
Coarse to Fine Two-Stage Approach to Robust Tensor Completion of Visual Data
University of Central Florida(中佛罗里达大学)
张量完备化是从部分观测数据中估计高阶数据缺失值的问题。由于普遍存在的离群值导致的数据损坏对传统的张量补全算法提出了重大挑战,这促进了鲁棒算法的发展,以减轻离群值的影响。然而,现有的鲁棒方法在很大程度上假设腐败是稀疏的,这在实践中可能不成立。在本文中,我们开发了一个两阶段的强大的张量完成方法来处理张量完成的视觉数据与大量的总腐败。提出了一种新的由粗到精的框架,该框架使用全局粗完成结果来指导局部补丁细化过程。为了有效地减轻大量离群点对张量恢复的影响,提出了一种新的基于M估计的鲁棒张量环恢复方法,该方法能够自适应地识别离群点,减轻离群点对优化的负面影响.实验结果表明,所提出的方法优于国家的最先进的强大的张量完成算法的性能。
2022-08-12 cs.LG stat.ML
Robust Low-tubal-rank Tensor Completion based on Tensor Factorization and Maximum Correntopy Criterion
University of Central Florida(中佛罗里达大学)
张量补全的目标是从其条目的子集中恢复张量,通常是通过利用其低秩属性。在张量秩的几个有用的定义中,低管秩给出了张量固有的低秩结构的一个有价值的特征。虽然最近已经提出了一些具有良好性能的低管秩张量补全算法,但这些算法利用二阶统计量来测量误差残差,当观察到的条目包含大的离群值时,这可能不能很好地工作。在本文中,我们提出了一个新的目标函数的低管秩张量完成,它使用相关熵作为误差测量,以减轻离群值的影响。为了有效地优化所提出的目标,我们利用半二次最小化技术,从而将优化转化为加权低管秩张量因式分解问题。随后,我们提出了两个简单而有效的算法来获得解决方案,并提供其收敛性和复杂性分析。模拟和实际数据的数值结果表明,所提出的算法的鲁棒性和优越的性能。
2022-10-14 cs.LG stat.ML
Tensor Completion for Weakly-dependent Data on Graph for Metro Passenger Flow Prediction
The Hong Kong University of Science and Technology(香港科技大学);Arizona State University(亚利桑那州立大学);Tsinghua University(清华大学)
由于张量数据的普遍存在,低秩张量分解和完备化引起了学术界的极大兴趣。然而,低秩结构是一个全局属性,当数据呈现复杂和弱依赖性时,给定特定的图结构,这将无法实现。一个特定的应用,激发这项研究是时空数据分析。如初步研究所示,弱依赖性会恶化低秩张量完成性能。本文通过引入$L_{1}$ -范数惩罚和图拉普拉斯惩罚,提出了一种新的低秩CANDECOMP / PARAFAC(CP)张量分解和完成框架,用于对图的弱依赖进行建模.我们进一步提出了一个有效的优化算法的基础上的块坐标下降有效的估计。基于香港地铁客流数据进行了案例研究,以证明改进的性能比常规张量完成方法。
2019-12-11 cs.LG stat.ML
Tensor Completion by Multi-Rank via Unitary Transformation
Weifang University(潍坊学院);The University of Hong Kong(香港大学);Central China Normal University(华中师范大学)
张量完备化中的一个关键问题是保证恢复所需的均匀随机样本的个数。本文主要研究了基于变换张量奇异值分解的$n_1 \times n_2 \times n_3$三阶张量完备化方法,并给出了所需样本项数目的一个界。我们的方法是利用底层张量的多秩而不是其在界中的管秩。在合成和成像数据集的数值实验中,我们证明了我们提出的样本条目数的有效性。此外,我们的理论结果适用于变换张量奇异值分解下$n_3$ -维的任何酉变换。
2022-01-24 cs.LG stat.ML
Improving Group Fairness in Tensor Completion via Imbalance Mitigating Entity Augmentation
Department of Computer Science and Engineering, University of California, Riverside, Riverside, CA, USA(计算机科学与工程系,加州大学河滨分校);Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign, Urbana, IL, USA(计算与数据科学学院,伊利诺伊大学厄巴纳-香槟分校)
针对张量分解中群体公平方法导致性能下降的问题,提出 STAFF,通过含充足观测条目的实体增强缓解稀疏张量不平衡与偏差,在多类模型和数据集上实现误差与公平性的最佳权衡。
2025-07-28 cs.LG stat.ML
Robust Tensor Completion Using Transformed Tensor SVD
Weifang University(潍坊学院);Hong Kong Baptist University(香港浸会大学);Central China Normal University(华中师范大学)
本文利用变换张量奇异值分解(SVD)研究了张量完备化的鲁棒性问题,该方法采用酉变换矩阵代替传统张量SVD中的离散傅立叶变换矩阵。其主要动机是利用其他酉变换矩阵可以得到比离散傅立叶变换矩阵更低的管秩张量。这对于鲁棒的张量完备化将更有效。对高光谱、视频和人脸数据集的实验结果表明,采用变换张量奇异值分解的鲁棒张量补全方法在PSNR方面优于采用傅立叶变换和其他鲁棒张量补全方法。
2019-07-02 cs.CV cs.LG stat.ML
Tensor Completion Algorithms in Big Data Analytics
Texas A&M University(得克萨斯农工大学)
张量完备化是一个填补部分观测张量中缺失或未观测项的问题。由于张量在描述复杂数据集时的多维性,张量补全算法及其应用在数据挖掘、计算机视觉、信号处理、神经科学等领域得到了广泛的关注和研究。在这项调查中,我们从大数据分析的角度对张量补全算法的最新进展进行了现代概述,其特点是多样性,大容量和高速度。我们从四个方面描述这些进展:一般张量完成算法,张量完成辅助信息(品种),可扩展张量完成算法(卷),和动态张量完成算法(速度)。此外,我们确定了几个张量完成应用程序在现实世界中的数据驱动的问题,并提出了一些常见的实验框架,在文献中推广。我们的目标是总结这些流行的方法,并将其介绍给研究人员和从业人员,以促进未来的研究和应用。最后,我们讨论的关键挑战和有前途的研究方向,在这个社区的未来探索。
2018-05-03 cs.AI cs.LG stat.ML
Low-rank Tensor Grid for Image Completion
University of Electronic Science and Technology of China(电子科技大学)
张量补全通过利用多路数据的低秩结构来估计缺失的分量。最近提出的基于张量训练(TT)和张量环(TR)的方法在图像恢复方面表现出比经典方法更好的性能。与TT和TR相比,投影纠缠对态(PEPS),也称为张量网格(TG),允许更多的不同维度之间的相互作用,并可能导致更紧凑的表示。在本文中,我们提出了低秩张量网格的基础上进行图像完成。采用两阶段密度矩阵重整化群算法对由多个TT分解组成的TG分解进行初始化。通过求解交替最小二乘问题,可以交替地获得潜在TG因子。为了进一步提高计算效率,采用并行矩阵分解的方法,提出了一种低秩TG完备化的多线性矩阵分解方法。在合成数据和真实图像上的实验结果表明,所提出的方法在恢复精度方面优于现有的方法。
2020-04-23 cs.LG stat.ML
Robust Low-Rank Tensor Ring Completion
University of Electronic Science and Technology of China(电子科技大学)
低秩张量补全基于不同的张量分解来恢复丢失的条目。低秩张量环由于其在开发高阶数据结构方面的优异性能,在张量完备化中得到了广泛的应用。为了进一步处理其在张量主成分分析中对稀疏分量的敏感性,我们提出了鲁棒张量环完备(RTRC),它将潜在的低秩张量分量从具有有限数量测量的稀疏分量中分离出来。低秩张量分量由其平衡开折的核范数的加权和约束,而稀疏分量由其l1范数正则化。我们分析了RTRC模型,并给出了准确的恢复保证。采用乘子交替方向法将问题分解为若干个子问题,并快速求解。在数值实验中,我们验证了所提出的方法在合成数据上的恢复条件,并表明所提出的方法在许多真实世界的基于数据的任务中,即,光场图像恢复,人脸图像中的阴影去除,以及彩色视频中的背景提取。
2020-04-23 cs.LG stat.ML
JULIA: Joint Multi-linear and Nonlinear Identification for Tensor Completion
IQVIA Inc.(艾昆纬公司);University of Florida(佛罗里达大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
张量完备化的目的是从部分观测到的张量中估算缺失的条目。现有的张量补全方法通常假设潜在分量之间的多线性或非线性关系。然而,现实世界的张量有更复杂的模式,其中多线性和非线性关系可能共存。在这种情况下,现有的方法不足以描述数据结构。本文提出了一个联合多线性和非线性识别(JULIA)框架的大规模张量完成。JULIA统一了多线性和非线性张量完成模型,与现有方法相比具有以下几个优点:1)灵活的模型选择,即,它通过将其值分配为多线性和非线性分量的组合来拟合张量; 2)与现有的非线性张量完成方法兼容; 3)基于精心设计的交替优化方法的有效训练。在六个实际大规模张量上的实验表明,JULIA算法优于许多现有的张量补全算法。此外,JULIA可以改善一类非线性张量完成方法的性能。结果表明,在一些大规模的张量完成的情况下,基线方法与JULIA能够获得高达55%的更低的均方根误差和节省67%的计算复杂性。
2022-01-31 cs.IR cs.LG stat.ML
FasTer: Fast Tensor Completion with Nonconvex Regularization
Paradigm. Inc.(4Paradigm公司);Department of Computer Science and Engineering, Hong Kong University of Science and Technology(香港科技大学计算机科学与工程系);RIKEN(理化学研究所(RIKEN));Hong Kong University of Science and Technology(香港科技大学)
低秩张量完备化问题的目标是从有限的观测值中恢复一个张量,它有很多实际应用。凸重叠核模由于其易于优化,已被广泛用于张量完备化。然而,它过度惩罚顶部奇异值并导致有偏估计。在本文中,我们建议使用非凸正则化,它可以更少地惩罚大奇异值,而不是凸张量完成。然而,由于新的正则化子是非凸的,彼此重叠,现有的算法要么太慢或遭受巨大的内存开销。为了解决这些问题,我们开发了一个有效的和可扩展的算法,这是基于近似平均(PA)算法,为现实世界的问题。与直接使用PA算法相比,该算法运行订单速度更快,所需订单空间更少。我们进一步加快所提出的算法与加速技术,并显示收敛到临界点仍然是有保证的。实验比较所提出的方法与其他各种张量完成的方法。实验结果表明,该算法是非常快的,可以产生更好的恢复性能。
2019-01-23 cs.LG stat.ML
Matrix Completion from General Deterministic Sampling Patterns
Purdue University(普渡大学);MIT(麻省理工学院)
本文针对任意确定性采样模式,利用观测图的连通性和节点度性质,为约束核范数最小化求解精确及近似低秩矩阵补全建立理论保证,并改进对称矩阵情形下的已有结果。
2023-06-04 cs.LG stat.ML
A dual framework for low-rank tensor completion
Indian Institute of Science(印度科学学院);Microsoft(微软)
低秩张量完备化的一种流行方法是使用潜在迹范数正则化。然而,大多数现有的作品在这个方向上学习张量的稀疏组合。在这项工作中,我们填补了这一空白,提出了一个变种的潜在的跟踪规范,有助于学习张量的非稀疏组合。我们开发了一个对偶框架来解决低秩张量完备化问题。我们首先展示了一个新的特征的对偶解空间的最优解的一个有趣的分解。总的来说,最优解位于黎曼流形的笛卡尔积上。此外,我们利用多功能的黎曼优化框架,提出计算效率的信赖域算法。实验结果表明,该算法在几个真实世界的数据集跨应用程序的有效性。
2018-11-10 cs.LG stat.ML
A Unified Framework for Coupled Tensor Completion
University of Electronic Science and Technology of China(中国电子科技大学)
耦合张量分解通过结合来自潜在耦合因子的先验知识来揭示联合数据结构。张量环(TR)分解在不同模态性质张量的排列下保持不变,保证了分解因子和模态属性的一致性。TR具有强大的表达能力,在多维数据处理中取得了成功。为了让耦合张量在缺失分量估计中相互帮助,本文利用TR来实现耦合补全,共享部分潜在因子。采用新的Frobenius范数建立了耦合TR完井优化模型。该算法采用块坐标下降法求解,有效地解决了由采样模式引起的一系列二次问题。与其他基于核范数的方法相比,该优化模型的超额风险界显示了理论性能的提高。在合成数据上的数值实验验证了该方法的有效性,在真实数据上的实验结果表明了该方法在恢复精度方面优于现有方法.
2020-11-08 cs.LG stat.ML
Tensor Methods for Nonlinear Matrix Completion
Marquette University(马凯特大学);University of Wisconsin(威斯康星大学);University of Michigan(密歇根大学);University of Chicago(芝加哥大学)
在低秩矩阵完备化(LRMC)问题中,低秩假设意味着待完备矩阵的列(或行)是低维线性代数簇上的点。本文将这种思想扩展到列是低维非线性代数簇上的点的情况,我们称之为低代数维矩阵完备化(LADMC)。列属于子空间并的矩阵是一个重要的特例。我们提出了一个LADMC算法,利用现有的LRMC方法的张量表示的数据。例如,二阶张量化表示是通过将每列与其自身的克罗内克积形成的,我们也考虑高阶张量化。这种方法将在许多情况下成功,传统的LRMC是保证失败,因为数据是低秩的张量表示,但不是在原始表示。我们提供了一个正式的数学理由,我们的方法的成功。特别是,我们给这些数据的秩在张量表示的界限,我们证明了抽样要求,以保证解决方案的唯一性。我们还提供了实验结果表明,新的方法优于现有的国家的最先进的方法下的子空间模型的联盟矩阵完成。
2020-09-04 cs.LG stat.ML
A Characterization of Deterministic Sampling Patterns for Low-Rank Matrix Completion
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
低秩矩阵完备化(LRMC)问题出现在各种各样的应用中。以往的理论主要提供了随机抽样缺失下的完备性条件。本文研究了完备性的确定性条件。不完全的$d \times N$矩阵是秩- $r$可完全的,如果最多有1000个秩- $r$矩阵与它的所有观测项一致.有限可完成性是LRMC的临界点,因为一个可完成矩阵的一些额外样本保证了它的唯一可完成性。本文的主要贡献是有限完备性的确定性抽样条件。我们用它来获得确定性的采样条件,可以有效地验证独特的可完成性。我们还表明,在均匀随机抽样方案下,如果观察到每列的$O(\max\{r,\log d\})$条目,则这些条件以高概率满足。这些发现有几个LRMC上的下界,样本和计算的复杂性,一致性的作用,自适应设置和任何完成算法的验证的影响。我们补充我们的理论结果与实验,支持我们的研究结果和激励未来的分析未知的采样制度。
2016-10-11 cs.LG math.AG stat.ML
Tensor Completion via Gaussian Process Based Initialization
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
在本文中,我们考虑张量完成问题的解决方案,在张量训练(TT)格式。假设张量是高维的,张量值由未知的光滑函数生成。这个假设使我们能够开发一个有效的初始化方案的基础上高斯过程回归和TT交叉近似技术。所提出的方法可以与通常用于张量完备问题的任何优化算法结合使用。我们凭经验证明,在这种情况下,重建误差改善与随机初始化的张量完成。作为一个额外的好处,我们的技术自动选择排名感谢使用TT交叉近似技术。
2020-08-26 cs.LG cs.NA math.NA
Noisy Tensor Completion via Low-rank Tensor Ring
Guangdong University of Technology(广东工业大学);RIKEN(理化学研究所)
张量补全是不完整数据分析的基本工具,其目标是从部分观测值中预测缺失项。然而,现有的方法往往显式或隐式地假设观测条目是无噪声的,以提供精确恢复丢失条目的理论保证,这在实践中受到很大的限制。为了弥补这些缺陷,本文提出了一种新的噪声张量完成模型,它补充了现有的工作在处理高阶和噪声观测退化的不足。具体地说,张量环核范数(TRNN)和最小二乘估计分别采用正则化的基础张量和观察到的条目。此外,一个非渐近上界的估计误差描述所提出的估计器的统计性能。两个有效的算法来解决的优化问题的收敛保证,其中之一是专门针对处理大规模的张量,通过替换TRNN的原始张量的最小化等效的一个小得多的异构张量分解框架。合成和真实世界的数据上的实验结果表明,该模型在恢复噪声不完整的张量数据的有效性和效率相比,国家的最先进的张量完成模型。
2022-03-14 cs.AI cs.LG stat.ML
T-SVD Based Non-convex Tensor Completion and Robust Principal Component Analysis
Peking University(北京大学)
张量完备化和鲁棒主元分析在机器学习中得到了广泛的应用,但其关键问题是如何最小化张量秩,这是一个非常具有挑战性的问题。解决这一问题的一种常用方法是基于张量奇异值分解(T-SVD),用奇异值的$\ell_1-$范数来近似张量秩。此外,张量的稀疏性也可以用它的$\ell_1-$范数来度量。然而,$\ell_1$罚分本质上是有偏差的,因此结果将偏离。为了避免这种偏差,我们提出了一种新的非凸张量秩代理函数和一种新的非凸稀疏性度量。在这种新的设置中,通过使用的凸性,而不是一个优化最小化算法进一步设计张量完成和鲁棒的主成分分析。此外,我们分析了它的理论性质。最后,自然和高光谱图像上的实验证明了我们提出的方法的有效性和效率。
2021-05-25 cs.CV cs.LG stat.ML
Noisy Tensor Completion for Tensors with a Sparse Canonical Polyadic Factor
在本文中,我们研究的问题,噪音张量完成的张量,承认一个典型的polyadic或CANDECOMP/PARAFAC(CP)分解的因素之一是稀疏的。我们提出了一般的理论误差界的估计,通过使用复杂性正则化的极大似然原则,然后实例化这些边界的情况下,加性高斯白噪声。我们还提供了一个ADMM型的算法来解决复杂性正则化的极大似然问题,并通过实验验证了理论发现在合成数据集上。
2017-04-08 stat.ML
Matrix completion with deterministic pattern - a geometric perspective
Georgia Institute of Technology(佐治亚理工学院)
我们考虑矩阵完成问题的观察项目的确定性模式。在这种情况下,我们的目标是回答这样一个问题:在什么条件下,矩阵完备化问题会有(至少局部)唯一的解,即,潜在的真实矩阵是可识别的。我们从一定的角度回答这个问题,勾勒出一个几何的视角。我们给出了一个代数可验证的充分条件,我们称之为适定性条件,局部唯一的MRMC解决方案。我们认为,这个条件是必要的局部稳定性的MRMC解决方案,我们表明,该条件是通用的使用特征秩。我们还认为,低秩近似方法比MRMC更稳定,并进一步提出了一个顺序的统计检验程序,以确定从观察到的条目的“真正”的排名。最后,我们提供了数值例子,旨在验证所提出的理论的有效性。
2018-08-29 cs.LG math.ST stat.ML
Convex Coupled Matrix and Tensor Completion
我们提出了一组凸低秩诱导范数的耦合矩阵和张量(以下耦合张量),通过共同的模式共享矩阵和张量之间的信息。更具体地说,我们提出了一个混合的重叠迹范数和潜在的范数与矩阵迹范数,然后,我们提出了一个新的完成算法的基础上提出的规范。所提出的规范的一个关键优点是,它是凸的,可以找到一个全局最优解,而现有的耦合学习方法是非凸的。此外,我们分析了我们提出的规范,这表明我们提出的规范可以利用耦合张量的低秩导致更好的界限相比,非耦合规范的完备模型的超额风险界。通过合成和真实世界的数据实验,我们表明,所提出的完成算法相比,毫不逊色于现有的完成算法。
2018-06-14 stat.ML
Baseline Estimation of Commercial Building HVAC Fan Power Using Tensor Completion
University of Michigan(密歇根大学);University of Pennsylvania(宾夕法尼亚大学)
商业建筑供暖、通风和空调(HVAC)系统已经被研究用于经由需求响应(DR)向电网提供辅助服务。一个关键的问题是估计反事实的基线功耗,将占上风,没有DR。基线方法已经开发的基础上,整个建筑物的电力负载配置文件。需要新的方法来估计HVAC子组件的基线功耗(例如,送风机和回风风机),与整个建筑物的风机相比,它们具有不同的特性。张量完备化可以估计描述复杂数据集的多维张量的未观测项。它利用高维数据来捕获对问题的粒度洞察。本文提出了使用它的基准HVAC风扇功率,利用其能力,捕捉占主导地位的风扇功率模式。张量完成的方法进行评估,从几个建筑物在密歇根大学的HVAC风扇功率数据,并与现有的几种方法进行比较。张量完成方法通常优于基准测试。
2020-04-24 cs.LG eess.SP stat.ML
Bayesian Low Rank Tensor Ring Model for Image Completion
低秩张量环模型是一种很好的图像补齐方法,它可以恢复数据采集和转换过程中丢失的条目。最近提出的基于张量环(TR)的完备化算法通常通过预先定义秩的交替最小二乘方法来解决低秩优化问题,当未知秩设置得太大且只有少数测量可用时,这可能容易导致过拟合。本文通过自动学习数据的低秩结构,提出了一种贝叶斯低秩张量环模型用于图像补全。提出了一种适用于低秩张量环分解的乘性相互作用模型,通过假设核心因子的项服从Student- T分布,使核心因子具有稀疏性.与现有方法相比,该方法无需参数调整,TR秩可以通过贝叶斯推断得到。数值实验,包括合成数据,不同大小的彩色图像和YaleFace数据集B相对于一个姿势,表明所提出的方法优于国家的最先进的,特别是在恢复精度方面。
2020-06-29 cs.LG cs.MM stat.ML
Canonical Tensor Decomposition for Knowledge Base Completion
Facebook AI Research(Facebook人工智能研究院);Université Paris-Est(巴黎东大学);Ecole des Ponts ParisTech(巴黎高等桥路学院)
知识库完备化问题可以归结为一个三阶二元张量完备化问题。在这种情况下,正则张量分解(CP)(希区柯克,1927)似乎是一个自然的解决方案;然而,目前在标准知识库完成基准上实现的CP落后于竞争对手。在这项工作中,我们试图了解知识库完成CP的限制。首先,我们激励和测试一个新的正则化,基于张量核$p$规范。然后,我们提出了一个重新制定的问题,使其不变的任意选择,包括在数据集中的谓词或其倒数。这两种方法相结合,使我们能够在几个数据集上使用CP分解击败当前的最新技术,并使用更先进的ComplEx模型获得更好的结果。
2018-06-19 cs.AI cs.LG cs.SI
Low-Rank and Sparse Enhanced Tucker Decomposition for Tensor Completion
Hangzhou Dianzi University(杭州电子科技大学);Ningbo University(宁波大学);The Hong Kong Polytechnic University(香港理工大学);Huawei Tech. Investment Co., Ltd(华为技术投资有限公司)
张量补全是指从不完整的测量或观察中估计缺失数据的任务,这是大数据分析、计算机视觉和网络工程领域经常出现的核心问题。由于高阶张量的多维性质,矩阵方法,例如,矩阵分解和张量的直接矩阵化,对于张量的完成和恢复来说往往不是理想的。本文提出了一种统一的低秩稀疏增强Tucker分解张量完备模型。我们的模型具有稀疏的正则化项,以促进稀疏的核心张量的Tucker分解,这是有益的张量数据压缩。此外,我们对Tucker分解的因子矩阵施加低秩正则化项,以廉价的计算成本诱导张量的低秩性。在数值上,我们提出了一个定制的ADMM足够容易的子问题来解决底层模型。值得注意的是,我们的模型能够处理不同类型的现实世界的数据集,因为它利用了潜在的周期性和内在的相关性出现在张量。一系列的计算实验对现实世界的数据集,包括互联网流量数据集,彩色图像,人脸识别,表明我们的模型比许多现有的最先进的矩阵化和张量化方法在实现更高的恢复精度方面表现得更好。
2021-05-20 cs.LG math.OC stat.ML
Tensor Ring Decomposition with Rank Minimization on Latent Space: An Efficient Approach for Tensor Completion
Saitama Institute of Technology(埼玉工业大学);RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所先进智能项目中心);Imperial College London(帝国理工学院);Hangzhou Dianzi University(杭州电子科技大学);Guangdong University of Technology(广东工业大学)
传统的低秩张量分解模型在张量补全任务中,由于模型敏感性高,存在模型选择困难的问题。特别地,对于张量环(TR)分解,模型可能性的数量随着张量阶数呈指数增长,这使得找到最佳TR分解变得相当具有挑战性。在本文中,通过利用TR潜在空间的低秩结构,我们提出了一种新的张量完成方法,这是强大的模型选择。与对数据空间施加低秩约束不同,我们在潜在TR因子上引入核范数正则化,从而在更小的尺度上执行使用奇异值分解(SVD)的优化步骤。利用交替方向乘子法(ADMM)方案,可以同时获得具有最佳秩的潜在TR因子和恢复张量。我们提出的算法被证明可以有效地减轻TR秩选择的负担,从而大大降低了计算成本。在合成数据和真实数据上的大量实验结果表明,所提出的方法对最先进的算法具有优越的性能和效率。
2018-11-30 cs.CV cs.LG stat.ML
A generalizable framework for low-rank tensor completion with numerical priors
Duke University(杜克大学);Duke Kunshan University(昆山杜克大学)
针对现有低秩张量补全方法未系统利用数值先验导致精度受限的问题,提出首个整合数值先验的通用框架GCDTC,其实例SPTC算法在非负张量补全任务上性能显著优于现有最优方法,且代码开源。
2024-06-18 cs.AI cs.CV cs.LG
Variational Bayesian Inference for Robust Streaming Tensor Factorization and Completion
Department of Mathematics, UC Santa Barbara(加州大学圣巴巴拉分校数学系);Department of ECE, UC Santa Barbara(加州大学圣巴巴拉分校电气工程与计算机科学系)
流张量分解是一个强大的工具,用于处理互联网网络,推荐系统和图像/视频数据分析中的大容量和多路时态数据。现有的流式张量分解算法依赖于最小二乘数据拟合,并且它们不具有用于张量秩确定的机制。这使得它们容易受到离群值的影响,并且容易过度拟合。本文提出了一种贝叶斯鲁棒流张量分解模型,用于识别稀疏离群点,自动确定底层张量秩,精确拟合低秩结构。我们在Matlab中实现了我们的模型,并将其与动态MRI和互联网流量生成的张量数据集上的现有算法进行了比较。
2018-12-31 cs.LG eess.SP stat.ML
Deterministic tensor completion with hypergraph expanders
Western Washington University(西华盛顿大学);University of California, San Diego(加利福尼亚大学圣地亚哥分校)
我们提供了一个新的分析低秩张量完成的超图扩展的基础上。作为秩的代理,我们最小化张量的最大拟不动点,这推广了矩阵的最大范数。我们的分析是确定性的,并表明,所需的样本数量近似恢复的顺序$t$张量与最多$n$条目每维是线性的$n$,假设张量的秩和顺序是$O(1)$。作为证明的步骤,我们发现了一个新的$t$ -部,$t$ -一致正则超图模型的扩展混合引理,并证明了张量极大拟不变性的几个新性质.据我们所知,这是张量完备化的第一次确定性分析。我们开发了一个实用的算法,解决了放松版本的最大拟不变最小化问题,我们证明了它的有效性与数值实验。
2021-07-29 cs.LG math.OC math.ST
A New Convex Relaxation for Tensor Completion
University College London(伦敦大学学院)
我们研究了从一组线性测量中学习张量的问题。这个问题的一个突出的方法是基于迹范数正则化的推广,它已被广泛用于学习低秩矩阵,张量设置。在本文中,我们强调了这种方法的一些局限性,并提出了另一种凸松弛的欧几里德球。然后,我们描述了一种技术来解决相关的正则化问题,这是建立在交替方向的方法的乘数。在一个合成数据集和两个真实数据集上的实验表明,该方法在估计误差方面明显优于张量迹范数正则化,同时保持计算易处理。
2013-07-17 cs.LG math.OC stat.ML
Sum-of-squares meets square loss: Fast rates for agnostic tensor completion
Massachusetts Institute of Technology(麻省理工学院)
我们在不可知论的背景下研究张量完备化。在经典的张量补全问题中,我们接收到秩未知的$r$张量的$n$条目,并希望精确地完成剩余的条目。在不可知张量完备化中,我们不对未知张量的秩做任何假设,而是试图预测未知项以及最佳秩- $r$张量。对于具有平方损失的三阶张量的不可知学习,我们给出了第一个多项式时间算法,该算法获得了“快速”(即,$O(1/n)$型)速率比通过简化到矩阵完成获得的速率提高。我们的预测出错率与排名最好的$d\times{}d\times{}d$张量- $r$竞争是$\tilde{O}(r^{2}d^{3/2}/n)$。我们还得到了一个确切的预言不等式,权衡估计和近似误差。我们的算法是基于度六平方和松弛张量核范数。我们的分析的关键特征是表明,张量核范数的次梯度的某种表征可以被编码在平方和证明系统中。这解锁了平方损失下的经验过程的本地化的标准工具箱,并允许我们建立各种张量回归模型的限制特征值类型的保证,张量完成作为一个特例。对松弛的新分析补充了Barak和Moitra(2016),他们给出了不可知张量完成的缓慢速率,以及Potechin和Steurer(2017),他们给出了无噪声设置的精确恢复保证。我们的技术是用户友好的,我们预计它们将在其他地方使用。
2019-05-30 cs.DS cs.LG math.ST
Exact tensor completion with sum-of-squares
Institute for Advanced Study(高等研究院);Cornell University(康奈尔大学)
我们获得了第一个多项式时间算法的精确张量完成,提高了减少矩阵完成所隐含的界限。该算法从$r\cdot \tilde O(n^{1.5})$随机观察到的张量条目中恢复出一个未知的3-张量,其中$r$是$\mathbb R^n$中的非相干正交分量。这个界限改善了以前的最好的一个$r\cdot \tilde O(n^{2})$减少到确切的矩阵完成。我们的界也与最著名的结果相匹配,因为近似张量完成的问题更容易(Barak & Moitra,2015)。我们的算法和分析通过平方和方法将精确矩阵完成(Candes & Recht,2009)的开创性结果扩展到张量设置。主要的技术挑战是要证明少量随机选择的单项式就足以在球面上构造一个具有精确种植的正交全局最优解的3次多项式,并且这个事实可以在平方和证明系统中得到证明。
2017-06-23 cs.CC cs.DS cs.IT
Knowledge Graph Completion with Mixed Geometry Tensor Factorization
HSE University(高等经济大学);AIRI(人工智能研究所)
本文提出一种结合欧几里得与双曲几何的混合张量分解方法,通过引入双曲相互作用项修正Tucker分解模型,在显著减少参数的同时实现了SOTA的知识图谱链接预测精度。
2025-04-03 cs.AI cs.IR cs.LG
Sparse Nonnegative Tensor Factorization and Completion with Noisy Observations
Central China Normal University(华中师范大学);The University of Hong Kong(香港大学)
本文研究了三阶张量的稀疏非负张量分解和完备化问题。由于稀疏性和非负性,底层张量被分解为一个稀疏非负张量和一个非负张量的张量积。我们提出了最小化的极大似然估计的非负约束的观察和张量$\ell_0$范数的稀疏因子的总和。我们表明,所提出的模型的估计的误差界可以建立在一般的噪声观测。在特定的噪声分布下,包括加性高斯噪声,加性拉普拉斯噪声,和泊松观测的详细误差范围可以推导出来。此外,极大极小下界与所建立的上界相匹配,最高可达底层张量大小的对数因子。张量的这些理论结果优于矩阵的结果,这说明了使用非负稀疏张量模型完成和去噪的优势。数值实验验证了所提出的基于张量的方法相比,基于矩阵的方法的优越性。
2021-10-20 cs.CV cs.LG cs.NA
Rank regularization and Bayesian inference for tensor completion and extrapolation
University of Minnesota(明尼苏达大学)
本文提出了一种新的正则化的PARAFAC分解因子捕获张量的秩,作为完成的三路数据阵列的缺失条目的关键使能器。在贝叶斯框架中,张量完成方法结合了先验信息,以增强其平滑和预测能力。这种概率方法可以自然地适应数据分布的一般模型,从而适应各种拟合标准,从而在最大后验意义上产生最佳估计。特别是,两个算法的高斯分布和泊松分布的数据,最小化秩正则化最小二乘误差和Kullback-Leibler发散,分别设计。所提出的技术是能够恢复“地面实况”的张量秩测试时,合成数据,并完成脑成像和酵母基因表达数据集分别与50%和15%的缺失条目,导致在-10 dB和-15 dB的恢复误差。
2013-01-31 cs.IT cs.LG math.IT
Covariate-assisted Sparse Tensor Completion
Purdue University(普渡大学)
我们的目标是在沿着张量模式存在协变量信息的情况下,可证明地完成稀疏且高度缺失的张量。我们的动机来自在线广告,其中用户在各种设备上对广告的点击率(CTR)形成了一个CTR张量,该张量具有约96%的缺失条目,并且在非缺失条目上具有许多零,这使得独立张量完成方法不能令人满意。除了CTR张量之外,通常还可以使用其他广告功能或用户特征。在本文中,我们提出了协变量辅助稀疏张量完成(COSTCO),将协变量信息的稀疏张量的恢复。关键思想是从张量和协变量矩阵中联合提取潜在分量,以学习合成表示。从理论上讲,我们推导出恢复张量分量的误差界,并明确量化由于协变量的揭示概率条件和张量恢复精度的改进。最后,我们将COSTCO应用于由CTR张量和协变量矩阵组成的广告数据集,导致比基线提高了23%的准确性。一个重要的副产品是,来自COSTCO的广告潜在成分揭示了有趣的广告集群,这对更好的广告定位很有用。
2022-04-07 cs.LG math.ST stat.ME
Guaranteed Sampling Flexibility for Low-tubal-rank Tensor Completion
Michigan State University(密歇根州立大学);Shenzhen University(深圳大学);University of Central Florida(中佛罗里达大学)
本文提出 t-CCS 采样模型以连接 Bernoulli 与 t-CUR 采样,建立低管秩张量恢复的充分条件和采样复杂度理论,并设计非凸 ITCURTC 算法,在合成与真实数据集上验证有效。
2024-06-16 cs.LG cs.NA math.NA
Low-Rank Matrix and Tensor Completion via Adaptive Sampling
我们研究了低秩矩阵和张量完成,并提出了新的算法,采用自适应采样方案,以获得强大的性能保证。我们的算法利用自适应性来识别对于学习矩阵(张量)的列空间具有高度信息性的条目,因此,即使当行空间高度一致时,我们的结果也成立,与以前的分析相反。在没有噪声的情况下,我们表明,可以准确地恢复$n \times n$矩阵的秩$r$从仅仅$Ω(n r^{3/2}\log(r))$矩阵条目。我们还表明,可以恢复一个订单$T$张量使用$Ω(n r^{T-1/2}T^2 \log(r))$条目。对于有噪声的恢复,我们的算法始终估计一个低秩矩阵损坏的噪声使用$Ω(n r^{3/2} \textrm{polylog}(n))$条目。我们补充我们的研究与模拟,验证我们的理论,并证明我们的算法的可扩展性。
2013-11-09 stat.ML
Exact nuclear norm, completion and decomposition for random overcomplete tensors via degree-4 SOS
The University of Chicago(芝加哥大学)
在本文中,我们表明,简单的半定程序的启发程度$4$ SOS可以精确地解决张量的核模,张量分解,张量完成问题的张量随机非对称组件。更确切地说,对于张量核范数和张量分解,我们证明了w. h. p.这些半定程序可以精确地找到具有$m\leq n^{3/2}/polylog(n)$随机非对称分量的$(n\times n\times n)$ -张量$\mathcal{T}$的核范数和分量。与大多数以前的算法不同,我们的算法提供了一个证书的分解,不需要了解分解中的组件的数量,也不做任何假设的分解中的系数的大小。作为一个副产品,我们表明,w. h. p.核范数分解正好符合最低秩分解张量与$m\leq n^{3/2}/polylog(n)$随机不对称组件。对于张量完备化,我们证明了Potechin & Steurer(2017)为具有正交分量的张量引入的半定程序w. h. p.可以仅从$n^{3/2}m polylog(n)$随机观察到的条目中精确地恢复具有$m$随机非对称分量的$(n\times n\times n)$ -张量$\mathcal{T}$。对于非正交张量,这提高了依赖于$m$的条目的数量所需的精确恢复在所有以前已知的算法,并提供了第一个理论保证,在过完备制度的精确张量完成。
2021-10-28 cs.CC cs.DS cs.LG
Uncertainty quantification for nonconvex tensor completion: Confidence intervals, heteroscedasticity and optimality
Princeton University(普林斯顿大学)
我们研究的分布和不确定性的非凸优化噪声张量完成-估计一个低秩张量的不完整和损坏的观察其条目的问题。专注于Cai等人提出的两阶段估计算法。(2019),我们将这种非凸估计量的分布特征描述为精细尺度。这种分布理论又允许我们为未知的张量项和未知的张量因子构造有效且短的置信区间。所提出的推理过程具有以下几个重要特征:(1)它完全适应噪声异方差,(2)它是数据驱动的,并自动适应未知的噪声分布。此外,我们的研究结果揭示了非凸张量完成的统计最优性:当估计未知张量和潜在张量因子时,它达到了不可改进的$\ell_{2}$精度-包括速率和预常数。
2020-06-15 cs.IT cs.LG math.IT
Tensor Completion Made Practical
Massachusetts Institute of Technology(麻省理工学院)
针对低秩张量补全中现有方法难兼顾理论保证与实用性的问题,提出新型交替最小化算法,可在因子高度相关时近线性时间实现线性收敛,并高效补全千维三阶张量。
2021-12-25 cs.DS cs.LG math.ST