Improving Group Fairness in Tensor Completion via Imbalance Mitigating Entity Augmentation
Department of Computer Science and Engineering, University of California, Riverside, Riverside, CA, USA(计算机科学与工程系,加州大学河滨分校);Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign, Urbana, IL, USA(计算与数据科学学院,伊利诺伊大学厄巴纳-香槟分校)
针对张量分解中群体公平方法导致性能下降的问题,提出 STAFF,通过含充足观测条目的实体增强缓解稀疏张量不平衡与偏差,在多类模型和数据集上实现误差与公平性的最佳权衡。
2025-07-28 cs.LG stat.ML
Provable Tensor-Train Format Tensor Completion by Riemannian Optimization
Hong Kong University of Science and Technology(香港科技大学)
张量训练(TT)格式在处理结构高阶张量方面具有吸引人的优势。近十年来,TT格式张量在不同学科中得到了广泛的应用,其中张量完备化引起了广泛的关注。许多快速算法,包括黎曼梯度下降(RGrad),已经提出了TT格式张量完成。然而,这些算法的理论保证在很大程度上是缺失的或次优的,部分原因是TT格式分解中复杂的递归代数运算。此外,为其他格式的张量建立的现有结果,例如,Tucker和CP,是不适用的,因为处理TT格式张量的算法是实质上不同的,并且涉及更多。在本文中,我们提供,据我们所知,第一理论保证的收敛性RGrad算法的TT格式张量完成,在一个接近最佳的样本量条件下。RGrad算法以恒定的收缩率线性收敛,该收缩率不受张量条件数的限制,无需重新调节。我们还提出了一种新的方法,称为顺序二阶矩方法,以在类似的样本量要求下实现热初始化。作为一个副产品,我们的结果甚至显着细化矩阵完成的RGrad算法的先前调查。最后,如果观测项由随机亚高斯噪声组成,则推导出RGrad算法的统计(近)最优速率。数值实验证实了我们的理论发现,并展示了TT格式分解所获得的计算加速比。
2022-03-21 cs.IT cs.LG math.IT
Robust Low-Rank Tensor Ring Completion
University of Electronic Science and Technology of China(电子科技大学)
低秩张量补全基于不同的张量分解来恢复丢失的条目。低秩张量环由于其在开发高阶数据结构方面的优异性能,在张量完备化中得到了广泛的应用。为了进一步处理其在张量主成分分析中对稀疏分量的敏感性,我们提出了鲁棒张量环完备(RTRC),它将潜在的低秩张量分量从具有有限数量测量的稀疏分量中分离出来。低秩张量分量由其平衡开折的核范数的加权和约束,而稀疏分量由其l1范数正则化。我们分析了RTRC模型,并给出了准确的恢复保证。采用乘子交替方向法将问题分解为若干个子问题,并快速求解。在数值实验中,我们验证了所提出的方法在合成数据上的恢复条件,并表明所提出的方法在许多真实世界的基于数据的任务中,即,光场图像恢复,人脸图像中的阴影去除,以及彩色视频中的背景提取。
2020-04-23 cs.LG stat.ML
On Tensor Completion via Nuclear Norm Minimization
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Rutgers University(罗格斯大学)
本文提出通过直接最小化张量核范数进行张量补全,证明该方法能提升采样需求,发展了张量核范数的子微分刻画和张量鞅集中不等式等技术。
2014-05-07 cs.IT cs.NA math.IT
Matrix Completion and Tensor Rank
本文证明了低秩矩阵完备化问题可以归结为求某个张量的秩的问题。
2013-07-23 math.OC math.ST stat.TH
Noisy Tensor Completion via Low-rank Tensor Ring
Guangdong University of Technology(广东工业大学);RIKEN(理化学研究所)
张量补全是不完整数据分析的基本工具,其目标是从部分观测值中预测缺失项。然而,现有的方法往往显式或隐式地假设观测条目是无噪声的,以提供精确恢复丢失条目的理论保证,这在实践中受到很大的限制。为了弥补这些缺陷,本文提出了一种新的噪声张量完成模型,它补充了现有的工作在处理高阶和噪声观测退化的不足。具体地说,张量环核范数(TRNN)和最小二乘估计分别采用正则化的基础张量和观察到的条目。此外,一个非渐近上界的估计误差描述所提出的估计器的统计性能。两个有效的算法来解决的优化问题的收敛保证,其中之一是专门针对处理大规模的张量,通过替换TRNN的原始张量的最小化等效的一个小得多的异构张量分解框架。合成和真实世界的数据上的实验结果表明,该模型在恢复噪声不完整的张量数据的有效性和效率相比,国家的最先进的张量完成模型。
2022-03-14 cs.AI cs.LG stat.ML
Canonical Tensor Decomposition for Knowledge Base Completion
Facebook AI Research(Facebook人工智能研究院);Université Paris-Est(巴黎东大学);Ecole des Ponts ParisTech(巴黎高等桥路学院)
知识库完备化问题可以归结为一个三阶二元张量完备化问题。在这种情况下,正则张量分解(CP)(希区柯克,1927)似乎是一个自然的解决方案;然而,目前在标准知识库完成基准上实现的CP落后于竞争对手。在这项工作中,我们试图了解知识库完成CP的限制。首先,我们激励和测试一个新的正则化,基于张量核$p$规范。然后,我们提出了一个重新制定的问题,使其不变的任意选择,包括在数据集中的谓词或其倒数。这两种方法相结合,使我们能够在几个数据集上使用CP分解击败当前的最新技术,并使用更先进的ComplEx模型获得更好的结果。
2018-06-19 cs.AI cs.LG cs.SI
T-SVD Based Non-convex Tensor Completion and Robust Principal Component Analysis
Peking University(北京大学)
张量完备化和鲁棒主元分析在机器学习中得到了广泛的应用,但其关键问题是如何最小化张量秩,这是一个非常具有挑战性的问题。解决这一问题的一种常用方法是基于张量奇异值分解(T-SVD),用奇异值的$\ell_1-$范数来近似张量秩。此外,张量的稀疏性也可以用它的$\ell_1-$范数来度量。然而,$\ell_1$罚分本质上是有偏差的,因此结果将偏离。为了避免这种偏差,我们提出了一种新的非凸张量秩代理函数和一种新的非凸稀疏性度量。在这种新的设置中,通过使用的凸性,而不是一个优化最小化算法进一步设计张量完成和鲁棒的主成分分析。此外,我们分析了它的理论性质。最后,自然和高光谱图像上的实验证明了我们提出的方法的有效性和效率。
2021-05-25 cs.CV cs.LG stat.ML
Tensor Completion Made Practical
Massachusetts Institute of Technology(麻省理工学院)
针对低秩张量补全中现有方法难兼顾理论保证与实用性的问题,提出新型交替最小化算法,可在因子高度相关时近线性时间实现线性收敛,并高效补全千维三阶张量。
2021-12-25 cs.DS cs.LG math.ST
A Unified Framework for Coupled Tensor Completion
University of Electronic Science and Technology of China(中国电子科技大学)
耦合张量分解通过结合来自潜在耦合因子的先验知识来揭示联合数据结构。张量环(TR)分解在不同模态性质张量的排列下保持不变,保证了分解因子和模态属性的一致性。TR具有强大的表达能力,在多维数据处理中取得了成功。为了让耦合张量在缺失分量估计中相互帮助,本文利用TR来实现耦合补全,共享部分潜在因子。采用新的Frobenius范数建立了耦合TR完井优化模型。该算法采用块坐标下降法求解,有效地解决了由采样模式引起的一系列二次问题。与其他基于核范数的方法相比,该优化模型的超额风险界显示了理论性能的提高。在合成数据上的数值实验验证了该方法的有效性,在真实数据上的实验结果表明了该方法在恢复精度方面优于现有方法.
2020-11-08 cs.LG stat.ML
Tensor Ring Decomposition with Rank Minimization on Latent Space: An Efficient Approach for Tensor Completion
Saitama Institute of Technology(埼玉工业大学);RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所先进智能项目中心);Imperial College London(帝国理工学院);Hangzhou Dianzi University(杭州电子科技大学);Guangdong University of Technology(广东工业大学)
传统的低秩张量分解模型在张量补全任务中,由于模型敏感性高,存在模型选择困难的问题。特别地,对于张量环(TR)分解,模型可能性的数量随着张量阶数呈指数增长,这使得找到最佳TR分解变得相当具有挑战性。在本文中,通过利用TR潜在空间的低秩结构,我们提出了一种新的张量完成方法,这是强大的模型选择。与对数据空间施加低秩约束不同,我们在潜在TR因子上引入核范数正则化,从而在更小的尺度上执行使用奇异值分解(SVD)的优化步骤。利用交替方向乘子法(ADMM)方案,可以同时获得具有最佳秩的潜在TR因子和恢复张量。我们提出的算法被证明可以有效地减轻TR秩选择的负担,从而大大降低了计算成本。在合成数据和真实数据上的大量实验结果表明,所提出的方法对最先进的算法具有优越的性能和效率。
2018-11-30 cs.CV cs.LG stat.ML
Tensor Methods for Nonlinear Matrix Completion
Marquette University(马凯特大学);University of Wisconsin(威斯康星大学);University of Michigan(密歇根大学);University of Chicago(芝加哥大学)
在低秩矩阵完备化(LRMC)问题中,低秩假设意味着待完备矩阵的列(或行)是低维线性代数簇上的点。本文将这种思想扩展到列是低维非线性代数簇上的点的情况,我们称之为低代数维矩阵完备化(LADMC)。列属于子空间并的矩阵是一个重要的特例。我们提出了一个LADMC算法,利用现有的LRMC方法的张量表示的数据。例如,二阶张量化表示是通过将每列与其自身的克罗内克积形成的,我们也考虑高阶张量化。这种方法将在许多情况下成功,传统的LRMC是保证失败,因为数据是低秩的张量表示,但不是在原始表示。我们提供了一个正式的数学理由,我们的方法的成功。特别是,我们给这些数据的秩在张量表示的界限,我们证明了抽样要求,以保证解决方案的唯一性。我们还提供了实验结果表明,新的方法优于现有的国家的最先进的方法下的子空间模型的联盟矩阵完成。
2020-09-04 cs.LG stat.ML
Knowledge Graph Completion with Mixed Geometry Tensor Factorization
HSE University(高等经济大学);AIRI(人工智能研究所)
本文提出一种结合欧几里得与双曲几何的混合张量分解方法,通过引入双曲相互作用项修正Tucker分解模型,在显著减少参数的同时实现了SOTA的知识图谱链接预测精度。
2025-04-03 cs.AI cs.IR cs.LG
Fast Tensor Completion via Approximate Richardson Iteration
MIT(麻省理工学院);Google Research(谷歌研究)
本研究提出一种基于近似 Richardson 迭代的提升方法,通过将结构化 TD 回归算法作为黑盒子程序解决 TC 回归问题中代数结构丢失的难题,实现了次线性时间复杂度,在真实张量 CP 补全上比直接方法快 100 倍。
2025-08-12 cs.DS cs.LG math.ST
Brain-Computer Interface with Corrupted EEG Data: A Tensor Completion Approach
脑-机接口中的一个重要问题是如何处理以多维数据集形式组织的脑电测量数据。另一方面,最近,在利用张量分解模型来捕获多维信号中的条目之间的复杂关系的多维信号补全算法中已经取得了重大进展。我们建议使用张量完成应用于EEG数据,以提高分类性能的运动图像BCI系统与损坏的测量。噪声测量被认为是从张量分解模型推断的未知量。我们评估了四个最近提出的张量完成算法的性能,加上一个简单的插值策略,首先与随机丢失的条目,然后与丢失的样本约束有一个特定的结构(随机丢失的通道),这是一个更现实的假设在BCI应用。我们测量了这些算法从观测数据重建张量的能力。然后,我们测试的分类准确性的想象运动的BCI实验与缺失的样本。我们表明,对于随机缺失的条目,所有张量完成算法可以恢复丢失的样本,增加分类性能相比,一个简单的插值方法。对于随机丢失通道的情况下,我们表明,张量补全算法有助于重建丢失的通道,显着提高运动想象分类的准确性,但是,不是在同一水平的干净的数据。张量补全算法在实际的BCI应用中是有用的。所提出的策略可以允许使用运动图像BCI系统,即使当EEG数据受到丢失通道和/或样本的高度影响时,避免在校准阶段需要新的采集。
2018-07-26 eess.SP q-bio.QM stat.ML
Low-Rank Approximation and Completion of Positive Tensors
University of California, Berkeley(加州大学伯克利分校)
与矩阵情况不同,计算张量的低秩近似是NP困难的,并且通常是数值不适定的。即使是张量的最佳秩-1近似也是NP困难的。在本文中,我们使用凸优化发展多项式时间算法的低秩逼近和完善的正张量。我们的方法是使用代数拓扑定义一个新的(数值适定性)分解的正张量,我们证明是等价的标准张量分解在重要的情况下。虽然计算这个分解是一个非凸的最优化问题,我们证明了它可以精确地转化为凸优化问题。这使我们能够构造多项式时间的随机算法来计算这种分解和解决低秩张量近似问题。结果之一是,正张量的最佳秩1近似可以在多项式时间内计算。我们的框架下一个扩展到张量完成问题,其中张量的噪声条目被观察到,然后用于估计丢失的条目。我们提供了一个多项式时间算法,对于特定的情况下,需要一个多项式(张量顺序)数量的测量,与现有的方法,需要一个指数数量的测量。这些算法被扩展到利用张量的稀疏性,以减少所需的测量次数。最后,我们提供了一个新的解释统计回归问题的分类变量张量完成问题,和合成数据和数据从生物工程代谢网络的数值例子表明,我们的方法在这个问题上的改进性能。
2016-09-13 cs.LG math.ST stat.TH
Optimal tuning-free convex relaxation for noisy matrix completion
本文针对含噪矩阵补全问题,提出无调参的平方根矩阵补全估计器,证明其在均匀采样下达到最优统计性能,且不依赖噪声大小,并通过与非凸估计器的联系进行分析。
2023-06-06 cs.IT math.IT math.ST
Tensor Train Completion from Fiberwise Observations Along a Single Mode
本文提出一种利用纤维-wise观测模式进行张量展开的方法,通过标准线性代数运算实现高效且确定性的张量补全。
2026-03-11 cs.LG cs.NA eess.SP
Low-Rank Matrix and Tensor Completion via Adaptive Sampling
我们研究了低秩矩阵和张量完成,并提出了新的算法,采用自适应采样方案,以获得强大的性能保证。我们的算法利用自适应性来识别对于学习矩阵(张量)的列空间具有高度信息性的条目,因此,即使当行空间高度一致时,我们的结果也成立,与以前的分析相反。在没有噪声的情况下,我们表明,可以准确地恢复$n \times n$矩阵的秩$r$从仅仅$Ω(n r^{3/2}\log(r))$矩阵条目。我们还表明,可以恢复一个订单$T$张量使用$Ω(n r^{T-1/2}T^2 \log(r))$条目。对于有噪声的恢复,我们的算法始终估计一个低秩矩阵损坏的噪声使用$Ω(n r^{3/2} \textrm{polylog}(n))$条目。我们补充我们的研究与模拟,验证我们的理论,并证明我们的算法的可扩展性。
2013-11-09 stat.ML
The Poisson tensor completion parametric estimator
Sandia National Laboratories(桑迪亚国家实验室)
本文提出了一种基于泊松张量分解的估计器,用于改进亚高斯分布的直方图估计,通过非负性保证和规范集中现象实现更精确的估计。
2026-03-07 math.ST stat.ME stat.TH
Parallel matrix factorization for low-rank tensor completion
Rice University(莱斯大学);Dalian University of Technology(大连理工大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出通过同时进行所有模式矩阵化低秩矩阵分解来恢复低秩张量,采用交替最小化算法并结合自适应秩调整策略,有效从更少样本中恢复合成低秩张量,并在真实数据上表现优异。
2015-03-24 cs.NA math.NA stat.CO
Concatenated image completion via tensor augmentation and completion
University of Technology Sydney(悉尼科技大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种新的框架,称为级联图像完成通过张量增强和完成(ICTAC),恢复丢失的彩色图像条目具有高精度。典型的图像是二阶或三阶张量(2D/3D),这取决于它们是灰度还是彩色,因此张量完成算法是恢复它们的理想方法。所提出的框架通过将具有缺失条目的单个图像的副本连接到三阶张量中来执行图像完成,将维度增强技术应用于张量,利用张量完成算法来恢复其缺失条目,并最终从张量中提取恢复的图像。该解决方案依赖于最近提出的利用张量训练(TT)秩的两个关键组件:一个称为ket增广(KA)的张量增广工具,它用高阶张量表示低阶张量,以及通过张量训练(TMac-TT)并行矩阵分解的张量完成算法,该算法已被证明优于最先进的张量完成算法。彩色图像恢复的仿真结果显示了我们的框架对当前最先进的张量完成算法的明显优势。
2016-07-14 cs.CV cs.DS cs.LG
Efficient Low Rank Tensor Ring Completion
Purdue University(普渡大学);Tufts University(塔夫茨大学)
使用最近提出的张量环分解的矩阵乘积状态(MPS)表示,在本文中,我们提出了一个张量完成算法,这是一个交替的最小化算法,交替在MPS表示的因素。这种发展的动机部分是由矩阵完成算法的成功,交替(低秩)的因素。本文提出了张量环完备化算法的谱初始化方法,并分析了该算法的计算复杂性。我们数值比较它与现有的方法,采用低秩张量训练近似数据完成,并表明我们的方法优于现有的各种真正的计算机视觉设置,从而证明了张量环的表达能力的改善相比,张量训练。
2017-07-23 cs.IT cs.LG math.IT
Robust Tensor Completion Using Transformed Tensor SVD
Weifang University(潍坊学院);Hong Kong Baptist University(香港浸会大学);Central China Normal University(华中师范大学)
本文利用变换张量奇异值分解(SVD)研究了张量完备化的鲁棒性问题,该方法采用酉变换矩阵代替传统张量SVD中的离散傅立叶变换矩阵。其主要动机是利用其他酉变换矩阵可以得到比离散傅立叶变换矩阵更低的管秩张量。这对于鲁棒的张量完备化将更有效。对高光谱、视频和人脸数据集的实验结果表明,采用变换张量奇异值分解的鲁棒张量补全方法在PSNR方面优于采用傅立叶变换和其他鲁棒张量补全方法。
2019-07-02 cs.CV cs.LG stat.ML
Tensor Completion Algorithms in Big Data Analytics
Texas A&M University(得克萨斯农工大学)
张量完备化是一个填补部分观测张量中缺失或未观测项的问题。由于张量在描述复杂数据集时的多维性,张量补全算法及其应用在数据挖掘、计算机视觉、信号处理、神经科学等领域得到了广泛的关注和研究。在这项调查中,我们从大数据分析的角度对张量补全算法的最新进展进行了现代概述,其特点是多样性,大容量和高速度。我们从四个方面描述这些进展:一般张量完成算法,张量完成辅助信息(品种),可扩展张量完成算法(卷),和动态张量完成算法(速度)。此外,我们确定了几个张量完成应用程序在现实世界中的数据驱动的问题,并提出了一些常见的实验框架,在文献中推广。我们的目标是总结这些流行的方法,并将其介绍给研究人员和从业人员,以促进未来的研究和应用。最后,我们讨论的关键挑战和有前途的研究方向,在这个社区的未来探索。
2018-05-03 cs.AI cs.LG stat.ML
Tensor Completion by Alternating Minimization under the Tensor Train (TT) Model
Purdue University(普渡大学);Tufts University(塔夫茨大学)
本文提出一种基于张量列车分解的交替最小化张量补全算法,通过交替优化MPS表示中的矩阵(张量),在计算复杂度和数值性能上优于现有方法。
2016-09-19 cs.IT cs.LG cs.NA
JULIA: Joint Multi-linear and Nonlinear Identification for Tensor Completion
IQVIA Inc.(艾昆纬公司);University of Florida(佛罗里达大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
张量完备化的目的是从部分观测到的张量中估算缺失的条目。现有的张量补全方法通常假设潜在分量之间的多线性或非线性关系。然而,现实世界的张量有更复杂的模式,其中多线性和非线性关系可能共存。在这种情况下,现有的方法不足以描述数据结构。本文提出了一个联合多线性和非线性识别(JULIA)框架的大规模张量完成。JULIA统一了多线性和非线性张量完成模型,与现有方法相比具有以下几个优点:1)灵活的模型选择,即,它通过将其值分配为多线性和非线性分量的组合来拟合张量; 2)与现有的非线性张量完成方法兼容; 3)基于精心设计的交替优化方法的有效训练。在六个实际大规模张量上的实验表明,JULIA算法优于许多现有的张量补全算法。此外,JULIA可以改善一类非线性张量完成方法的性能。结果表明,在一些大规模的张量完成的情况下,基线方法与JULIA能够获得高达55%的更低的均方根误差和节省67%的计算复杂性。
2022-01-31 cs.IR cs.LG stat.ML
Coarse to Fine Two-Stage Approach to Robust Tensor Completion of Visual Data
University of Central Florida(中佛罗里达大学)
张量完备化是从部分观测数据中估计高阶数据缺失值的问题。由于普遍存在的离群值导致的数据损坏对传统的张量补全算法提出了重大挑战,这促进了鲁棒算法的发展,以减轻离群值的影响。然而,现有的鲁棒方法在很大程度上假设腐败是稀疏的,这在实践中可能不成立。在本文中,我们开发了一个两阶段的强大的张量完成方法来处理张量完成的视觉数据与大量的总腐败。提出了一种新的由粗到精的框架,该框架使用全局粗完成结果来指导局部补丁细化过程。为了有效地减轻大量离群点对张量恢复的影响,提出了一种新的基于M估计的鲁棒张量环恢复方法,该方法能够自适应地识别离群点,减轻离群点对优化的负面影响.实验结果表明,所提出的方法优于国家的最先进的强大的张量完成算法的性能。
2022-08-12 cs.LG stat.ML
Rank regularization and Bayesian inference for tensor completion and extrapolation
University of Minnesota(明尼苏达大学)
本文提出了一种新的正则化的PARAFAC分解因子捕获张量的秩,作为完成的三路数据阵列的缺失条目的关键使能器。在贝叶斯框架中,张量完成方法结合了先验信息,以增强其平滑和预测能力。这种概率方法可以自然地适应数据分布的一般模型,从而适应各种拟合标准,从而在最大后验意义上产生最佳估计。特别是,两个算法的高斯分布和泊松分布的数据,最小化秩正则化最小二乘误差和Kullback-Leibler发散,分别设计。所提出的技术是能够恢复“地面实况”的张量秩测试时,合成数据,并完成脑成像和酵母基因表达数据集分别与50%和15%的缺失条目,导致在-10 dB和-15 dB的恢复误差。
2013-01-31 cs.IT cs.LG math.IT
Tensor Completion via Gaussian Process Based Initialization
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
在本文中,我们考虑张量完成问题的解决方案,在张量训练(TT)格式。假设张量是高维的,张量值由未知的光滑函数生成。这个假设使我们能够开发一个有效的初始化方案的基础上高斯过程回归和TT交叉近似技术。所提出的方法可以与通常用于张量完备问题的任何优化算法结合使用。我们凭经验证明,在这种情况下,重建误差改善与随机初始化的张量完成。作为一个额外的好处,我们的技术自动选择排名感谢使用TT交叉近似技术。
2020-08-26 cs.LG cs.NA math.NA
Nonnegative Low-Rank Tensor Completion via Dual Formulation with Applications to Image and Video Completion
IIIT, Hyderabad(海得拉巴印度信息技术学院)
本文针对张量补全中忽略非负结构的问题,提出基于对偶理论的新颖分解,解耦非负与低秩约束,并采用黎曼共轭梯度变体求解,在图像和视频补全任务上优于现有方法。
2023-05-13 cs.CV cs.LG
Uncertainty quantification for nonconvex tensor completion: Confidence intervals, heteroscedasticity and optimality
Princeton University(普林斯顿大学)
我们研究的分布和不确定性的非凸优化噪声张量完成-估计一个低秩张量的不完整和损坏的观察其条目的问题。专注于Cai等人提出的两阶段估计算法。(2019),我们将这种非凸估计量的分布特征描述为精细尺度。这种分布理论又允许我们为未知的张量项和未知的张量因子构造有效且短的置信区间。所提出的推理过程具有以下几个重要特征:(1)它完全适应噪声异方差,(2)它是数据驱动的,并自动适应未知的噪声分布。此外,我们的研究结果揭示了非凸张量完成的统计最优性:当估计未知张量和潜在张量因子时,它达到了不可改进的$\ell_{2}$精度-包括速率和预常数。
2020-06-15 cs.IT cs.LG math.IT
Robust Low-tubal-rank Tensor Completion based on Tensor Factorization and Maximum Correntopy Criterion
University of Central Florida(中佛罗里达大学)
张量补全的目标是从其条目的子集中恢复张量,通常是通过利用其低秩属性。在张量秩的几个有用的定义中,低管秩给出了张量固有的低秩结构的一个有价值的特征。虽然最近已经提出了一些具有良好性能的低管秩张量补全算法,但这些算法利用二阶统计量来测量误差残差,当观察到的条目包含大的离群值时,这可能不能很好地工作。在本文中,我们提出了一个新的目标函数的低管秩张量完成,它使用相关熵作为误差测量,以减轻离群值的影响。为了有效地优化所提出的目标,我们利用半二次最小化技术,从而将优化转化为加权低管秩张量因式分解问题。随后,我们提出了两个简单而有效的算法来获得解决方案,并提供其收敛性和复杂性分析。模拟和实际数据的数值结果表明,所提出的算法的鲁棒性和优越的性能。
2022-10-14 cs.LG stat.ML
Coupled Tensor-Tensor Completion Method with Applications in Drug Repurposing
Idaho State University(爱达荷州立大学);Massachusetts Institute of Technology(麻省理工学院);University of Michigan(密歇根大学);Statistics Online Computational Resource (SOCR)(统计在线计算资源(SOCR))
本研究提出耦合张量-张量补全(CTTC)方法,融入张量形式辅助信息,在DTD和LINCS数据集上,其运行时间与RSE精度均优于HaLRTC等现有方法,可更准确预测药物效应。
2026-09-04 cs.LG cs.NA math.NA
A high-order tensor completion algorithm based on Fully-Connected Tensor Network weighted optimization
Guangdong University of Technology(广东工业大学)
张量补齐旨在恢复丢失的数据,并且它是深度学习和信号处理中的热门关注点之一。在高阶张量分解算法中,最近提出的全连通张量网络分解(FCTN)算法是最先进的。本文利用全连通张量网络(FCTN)分解的优越性,提出了一种新的张量完备化方法--全连通张量网络加权优化(FCTN-WOPT).该算法通过初始化FCTN分解的因子来执行完整张量的合成。我们将权值张量、完全张量和不完全张量一起构建损失函数,然后使用lbfgs梯度下降算法更新完全张量,以减少空间内存占用并加快迭代速度。最后,我们用合成数据和真实数据(包括图像数据和视频数据)进行了测试,结果显示了我们的FCTN-WOPT应用于高阶张量完成时的先进性能。
2022-04-06 cs.LG
A generalizable framework for low-rank tensor completion with numerical priors
Duke University(杜克大学);Duke Kunshan University(昆山杜克大学)
针对现有低秩张量补全方法未系统利用数值先验导致精度受限的问题,提出首个整合数值先验的通用框架GCDTC,其实例SPTC算法在非负张量补全任务上性能显著优于现有最优方法,且代码开源。
2024-06-18 cs.AI cs.CV cs.LG
Patch Tracking-based Streaming Tensor Ring Completion for Visual Data Recovery
University of Central Florida(中佛罗里达大学)
张量完备化的目的是通过利用部分观测张量的低秩结构来恢复其丢失的条目,并已被应用于视觉数据恢复。在数据顺序到达的应用中,例如流式视频完成,张量的丢失条目需要以流式方式动态恢复。传统的流张量补全算法将整个视觉数据视为张量,当张量子空间沿时间维度发生较大变化(例如由于视频帧之间的强烈运动)时,这种算法可能无法令人满意地工作。在本文中,我们开发了一种新的补丁跟踪为基础的流张量环完成框架的视觉数据恢复。给定新传入的帧,从先前帧跟踪小块。同时,对于每一个跟踪补丁,补丁张量构造从新的帧堆叠相似的补丁。然后使用流式张量环完成算法完成补丁张量,并使用完成的补丁张量恢复传入帧。我们提出了一种新的补丁跟踪策略,可以准确,有效地跟踪补丁丢失的数据。此外,提出了一种新的流张量环补齐算法,该算法能够高效准确地更新潜在核张量,补齐补丁张量中缺失的条目。大量的实验结果表明,所提出的算法相比,批处理和流式状态的最先进的张量完成方法的优越性能。
2022-08-12 cs.CV cs.LG
Tensor Completion by Multi-Rank via Unitary Transformation
Weifang University(潍坊学院);The University of Hong Kong(香港大学);Central China Normal University(华中师范大学)
张量完备化中的一个关键问题是保证恢复所需的均匀随机样本的个数。本文主要研究了基于变换张量奇异值分解的$n_1 \times n_2 \times n_3$三阶张量完备化方法,并给出了所需样本项数目的一个界。我们的方法是利用底层张量的多秩而不是其在界中的管秩。在合成和成像数据集的数值实验中,我们证明了我们提出的样本条目数的有效性。此外,我们的理论结果适用于变换张量奇异值分解下$n_3$ -维的任何酉变换。
2022-01-24 cs.LG stat.ML
Global and Local Structure Learning for Sparse Tensor Completion
University of California, Riverside(加利福尼亚大学河滨分校)
本文提出TGL方法,利用图神经网络学习因子矩阵的局部结构,无需先验知识即可准确补全稀疏张量中的缺失条目。
2025-03-26 cs.LG
Low-rank Tensor Grid for Image Completion
University of Electronic Science and Technology of China(电子科技大学)
张量补全通过利用多路数据的低秩结构来估计缺失的分量。最近提出的基于张量训练(TT)和张量环(TR)的方法在图像恢复方面表现出比经典方法更好的性能。与TT和TR相比,投影纠缠对态(PEPS),也称为张量网格(TG),允许更多的不同维度之间的相互作用,并可能导致更紧凑的表示。在本文中,我们提出了低秩张量网格的基础上进行图像完成。采用两阶段密度矩阵重整化群算法对由多个TT分解组成的TG分解进行初始化。通过求解交替最小二乘问题,可以交替地获得潜在TG因子。为了进一步提高计算效率,采用并行矩阵分解的方法,提出了一种低秩TG完备化的多线性矩阵分解方法。在合成数据和真实图像上的实验结果表明,所提出的方法在恢复精度方面优于现有的方法。
2020-04-23 cs.LG stat.ML
Latent Matrices for Tensor Network Decomposition and to Tensor Completion
Guangdong University of Technology(广东工业大学);RIKEN(理化学研究所)
目前流行的全连接张量网络(FCTN)在数据压缩方面取得了很好的效果。然而,FCTN分解在面对高阶和大规模数据时存在计算速度慢的问题。很自然地,会出现一个有趣的问题:是否可以提出一个新的模型,将张量分解为更小的张量,并加快算法的计算速度?这项工作给出了一个积极的答案,制定了一个新的高阶张量分解模型,利用基于张量网络结构的潜在矩阵,它可以将张量分解成比FCTN分解更小规模的数据,因此我们将其命名为张量网络分解的潜在矩阵(LMTN)。此外,三个优化算法,LMTN-PAM,LMTN-SVD和LMTN-AR,已被开发并应用于张量完成任务。此外,我们提供了理论上的收敛性证明和复杂性分析这些算法。实验结果表明,该算法在深度学习数据集压缩和高阶张量补全方面均具有较好的效果,LMTN-SVD算法比FCTN-PAM算法快3-6倍,精度仅下降1.8点。
2022-10-19 cs.DS cs.LG
Tensor p-shrinkage nuclear norm for low-rank tensor completion
基于张量奇异值分解(t-SVD),提出了一种新的张量p收缩核范数(p-TNN)的定义.特别地,可以证明当p < 1时,p-TNN比张量核范数更好地逼近张量平均秩。因此,通过使用p-收缩核范数,提出了一种新的低秩张量完备(LRTC)模型,从其部分观测值估计张量。在统计上,给出了LRTC模型的恢复误差上界。此外,一个有效的算法,加速的自适应动量计划,开发解决由此产生的非凸优化问题。在光滑性假设下,可以进一步保证算法具有全局收敛速度。在合成数据集和真实数据集上进行的数值实验验证了我们的结果,并证明了我们的p-TNN在LRTC问题中的优越性。
2019-07-09 cs.LG stat.ML
Inductive Framework for Multi-Aspect Streaming Tensor Completion with Side Information
Indian Institute of Science(印度科学学院);Microsoft(微软)
低秩张量完备化是一个研究得很好的问题,在许多领域都有应用。然而,在许多现实世界的应用中,数据是动态的,即,新数据以不同的时间间隔到达。因此,用于表示数据的张量的大小会增加。除了张量之外,在许多现实世界的场景中,边信息也可以以矩阵的形式提供,这些矩阵的大小也会随着时间的推移而增长。预测动态增长张量中缺失值的问题称为动态张量完备化。以前的大多数动态张量完备化工作都假设张量只以一种模式增长。据我们所知,没有以前的工作,将边信息与动态张量完成。本文提出了一个动态张量完备框架,称为边信息注入增量张量分析(SIITA),它结合了边信息,适用于一般的增量张量。我们还展示了如何将非负约束与SIITA相结合,这对于挖掘可解释的潜在集群至关重要。我们在多个真实世界的数据集上进行了广泛的实验,以证明SIITA在各种不同环境中的有效性。
2018-09-01 cs.LG
Near-optimal sample complexity for convex tensor completion
University of British Columbia(不列颠哥伦比亚大学)
我们分析低秩张量完成(TC)使用噪声测量的张量的子集。假设秩为- $r$,阶为- $d$,$N \times N \times \cdots \times N$张量,其中$r=O(1)$,所实现的最佳采样复杂度为$O(N^{\frac{d}{2}})$,其通过求解张量核范数最小化问题来获得。然而,这个界限是显着大于自由变量的数量在一个低秩张量是$O(dN)$。在本文中,我们表明,通过使用一个原子范数的原子秩$1$符号张量,可以得到一个样本复杂度为$O(dN)$。此外,我们推广矩阵最大范数的定义张量,这将导致一个最大准范数(max-qnorm)的单位球具有小的Rademacher复杂度。我们证明,解决约束最小二乘估计使用凸原子范数或非凸max-qnorm结果在低秩张量完成问题的最佳样本复杂度。此外,我们表明,这些界限是近极大极小率最优的。我们还提供了有前途的数值结果最大qnorm约束张量完成,显示出改善的恢复结果相比,矩阵化和交替最小二乘。
2017-11-14 cs.LG math.OC stat.ML
Robust Low-Tubal-Rank Tensor Completion under Cross-Concentrated Sampling
University of Central Florida(中佛罗里达大学);Michigan State University(密歇根州立大学);University of Kentucky(肯塔基大学);University of Texas MD Anderson Cancer Center(德克萨斯大学 MD 安德森癌症中心)
该研究针对受稀疏异常值污染的三阶低张量秩张量,提出鲁棒迭代t-CUR算法,在交叉集中采样下实现高效鲁棒补全,经多类数据验证其准确性与鲁棒性。
2026-08-06 cs.IT cs.LG cs.NA
Provable Tensor Ring Completion
University of Electronic Science and Technology of China (UESTC)(电子科技大学);School of Information and Communication Engineering, University of Electronic Science and Technology of China (UESTC)(电子科技大学信息与通信工程学院)
张量完成从有限数量的测量恢复多维数组。利用最近提出的张量环(TR)分解,本文证明了在给定n^{d/2} r^2 ln^7(n^{d/2})个样本的情况下,通过求解凸优化程序,可以以很高的概率精确地恢复维数为n、TR秩为r的d阶张量.所提出的TR不相干条件下的结果保持类似的矩阵不相干条件。通过对合成数据的实验,验证了该方法对TR完成的恢复保证。此外,在真实数据上的实验表明,我们的方法提高了恢复性能相比,国家的最先进的方法。
2020-01-09 cs.LG stat.ML
Fast and Provable Tensor-Train Format Tensor Completion via Precondtioned Riemannian Gradient Descent
The Hong Kong University of Science and Technology(香港科技大学);Shanghai Jiao Tong University(上海交通大学)
本文提出预条件黎曼梯度下降算法(PRGD)解决张量列车格式的低秩张量补全问题,证明线性收敛,并在模拟与真实数据上大幅减少计算时间和迭代次数。
2025-01-23 cs.LG cs.NA math.NA
FasTer: Fast Tensor Completion with Nonconvex Regularization
Paradigm. Inc.(4Paradigm公司);Department of Computer Science and Engineering, Hong Kong University of Science and Technology(香港科技大学计算机科学与工程系);RIKEN(理化学研究所(RIKEN));Hong Kong University of Science and Technology(香港科技大学)
低秩张量完备化问题的目标是从有限的观测值中恢复一个张量,它有很多实际应用。凸重叠核模由于其易于优化,已被广泛用于张量完备化。然而,它过度惩罚顶部奇异值并导致有偏估计。在本文中,我们建议使用非凸正则化,它可以更少地惩罚大奇异值,而不是凸张量完成。然而,由于新的正则化子是非凸的,彼此重叠,现有的算法要么太慢或遭受巨大的内存开销。为了解决这些问题,我们开发了一个有效的和可扩展的算法,这是基于近似平均(PA)算法,为现实世界的问题。与直接使用PA算法相比,该算法运行订单速度更快,所需订单空间更少。我们进一步加快所提出的算法与加速技术,并显示收敛到临界点仍然是有保证的。实验比较所提出的方法与其他各种张量完成的方法。实验结果表明,该算法是非常快的,可以产生更好的恢复性能。
2019-01-23 cs.LG stat.ML
Exact Tensor Completion Powered by Slim Transforms
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对现有张量补全理论要求变换正交的限制,本文建立任意线性变换下精确张量补全的理论保证,揭示slim transforms更优的理论原因,提升方法灵活性并经实验验证其优越性。
2024-08-15 cs.LG eess.SP
Convolutional Graph-Tensor Net for Graph Data Completion
Columbia University(哥伦比亚大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
图形数据完成是一个根本性的重要问题,因为数据通常具有图形结构,例如,社交网络、推荐系统和物联网。我们考虑一个图,其中每个节点都有一个数据矩阵,表示为一个\textit{graph-tensor}通过堆叠的数据矩阵在第三个维度。在本文中,我们提出了一个\textit{Convolutional Graph-Tensor Net}(\textit{Conv GT-Net})的图数据完成问题,它使用深度神经网络学习的一般变换的图张量。在ego-Facebook数据集上的实验结果表明,与现有算法相比,本文提出的\textit{Conv GT-Net}在完成准确率(高出50%)和完成速度(快3.6倍$\sim$ 8.1倍)方面都取得了显着提高。
2023-03-02 cs.AI cs.LG
Baseline Estimation of Commercial Building HVAC Fan Power Using Tensor Completion
University of Michigan(密歇根大学);University of Pennsylvania(宾夕法尼亚大学)
商业建筑供暖、通风和空调(HVAC)系统已经被研究用于经由需求响应(DR)向电网提供辅助服务。一个关键的问题是估计反事实的基线功耗,将占上风,没有DR。基线方法已经开发的基础上,整个建筑物的电力负载配置文件。需要新的方法来估计HVAC子组件的基线功耗(例如,送风机和回风风机),与整个建筑物的风机相比,它们具有不同的特性。张量完备化可以估计描述复杂数据集的多维张量的未观测项。它利用高维数据来捕获对问题的粒度洞察。本文提出了使用它的基准HVAC风扇功率,利用其能力,捕捉占主导地位的风扇功率模式。张量完成的方法进行评估,从几个建筑物在密歇根大学的HVAC风扇功率数据,并与现有的几种方法进行比较。张量完成方法通常优于基准测试。
2020-04-24 cs.LG eess.SP stat.ML
A dual framework for low-rank tensor completion
Indian Institute of Science(印度科学学院);Microsoft(微软)
低秩张量完备化的一种流行方法是使用潜在迹范数正则化。然而,大多数现有的作品在这个方向上学习张量的稀疏组合。在这项工作中,我们填补了这一空白,提出了一个变种的潜在的跟踪规范,有助于学习张量的非稀疏组合。我们开发了一个对偶框架来解决低秩张量完备化问题。我们首先展示了一个新的特征的对偶解空间的最优解的一个有趣的分解。总的来说,最优解位于黎曼流形的笛卡尔积上。此外,我们利用多功能的黎曼优化框架,提出计算效率的信赖域算法。实验结果表明,该算法在几个真实世界的数据集跨应用程序的有效性。
2018-11-10 cs.LG stat.ML
Applying Differential Privacy to Tensor Completion
Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学)
张量完备化的目的是基于部分观测的张量来填充缺失或未观测的条目。然而,在许多实际情况下,利用观察到的张量往往会引起严重的隐私问题。为了解决这个问题,我们提出了一个坚实的和统一的框架,其中包含几种方法应用差分隐私的两个最广泛使用的张量分解方法:i)CANDECOMP/PARAFAC~(CP)和ii)Tucker分解。对于每种方法,我们都建立了严格的隐私保证,同时评估了隐私准确性的权衡。在合成数据集和真实数据集上的实验表明,我们的建议在确保强隐私保护的同时,实现了高精度的张量完成。
2022-02-14 cs.CR cs.LG
Bayesian Low Rank Tensor Ring Model for Image Completion
低秩张量环模型是一种很好的图像补齐方法,它可以恢复数据采集和转换过程中丢失的条目。最近提出的基于张量环(TR)的完备化算法通常通过预先定义秩的交替最小二乘方法来解决低秩优化问题,当未知秩设置得太大且只有少数测量可用时,这可能容易导致过拟合。本文通过自动学习数据的低秩结构,提出了一种贝叶斯低秩张量环模型用于图像补全。提出了一种适用于低秩张量环分解的乘性相互作用模型,通过假设核心因子的项服从Student- T分布,使核心因子具有稀疏性.与现有方法相比,该方法无需参数调整,TR秩可以通过贝叶斯推断得到。数值实验,包括合成数据,不同大小的彩色图像和YaleFace数据集B相对于一个姿势,表明所提出的方法优于国家的最先进的,特别是在恢复精度方面。
2020-06-29 cs.LG cs.MM stat.ML