Tensor Completion Leveraging Graph Information: A Dynamic Regularization Approach with Statistical Guarantees
本文提出一种动态图正则化张量补全方法,通过建立动态图的数学表示并推导新的张量导向图平滑正则化,提升稀疏观测和强动态下的恢复精度。
2026-03-15 cs.LG
Nonnegative Low-Rank Tensor Completion via Dual Formulation with Applications to Image and Video Completion
IIIT, Hyderabad(海得拉巴印度信息技术学院)
本文针对张量补全中忽略非负结构的问题,提出基于对偶理论的新颖分解,解耦非负与低秩约束,并采用黎曼共轭梯度变体求解,在图像和视频补全任务上优于现有方法。
2023-05-13 cs.CV cs.LG
Concatenated image completion via tensor augmentation and completion
University of Technology Sydney(悉尼科技大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种新的框架,称为级联图像完成通过张量增强和完成(ICTAC),恢复丢失的彩色图像条目具有高精度。典型的图像是二阶或三阶张量(2D/3D),这取决于它们是灰度还是彩色,因此张量完成算法是恢复它们的理想方法。所提出的框架通过将具有缺失条目的单个图像的副本连接到三阶张量中来执行图像完成,将维度增强技术应用于张量,利用张量完成算法来恢复其缺失条目,并最终从张量中提取恢复的图像。该解决方案依赖于最近提出的利用张量训练(TT)秩的两个关键组件:一个称为ket增广(KA)的张量增广工具,它用高阶张量表示低阶张量,以及通过张量训练(TMac-TT)并行矩阵分解的张量完成算法,该算法已被证明优于最先进的张量完成算法。彩色图像恢复的仿真结果显示了我们的框架对当前最先进的张量完成算法的明显优势。
2016-07-14 cs.CV cs.DS cs.LG
Patch Tracking-based Streaming Tensor Ring Completion for Visual Data Recovery
University of Central Florida(中佛罗里达大学)
张量完备化的目的是通过利用部分观测张量的低秩结构来恢复其丢失的条目,并已被应用于视觉数据恢复。在数据顺序到达的应用中,例如流式视频完成,张量的丢失条目需要以流式方式动态恢复。传统的流张量补全算法将整个视觉数据视为张量,当张量子空间沿时间维度发生较大变化(例如由于视频帧之间的强烈运动)时,这种算法可能无法令人满意地工作。在本文中,我们开发了一种新的补丁跟踪为基础的流张量环完成框架的视觉数据恢复。给定新传入的帧,从先前帧跟踪小块。同时,对于每一个跟踪补丁,补丁张量构造从新的帧堆叠相似的补丁。然后使用流式张量环完成算法完成补丁张量,并使用完成的补丁张量恢复传入帧。我们提出了一种新的补丁跟踪策略,可以准确,有效地跟踪补丁丢失的数据。此外,提出了一种新的流张量环补齐算法,该算法能够高效准确地更新潜在核张量,补齐补丁张量中缺失的条目。大量的实验结果表明,所提出的算法相比,批处理和流式状态的最先进的张量完成方法的优越性能。
2022-08-12 cs.CV cs.LG
Mixture Matrix Completion
Georgia State University(佐治亚州立大学)
完成数据矩阵X已成为现代数据科学中普遍存在的问题,其应用于推荐系统、计算机视觉和网络推理等。一个典型的假设是X是低秩的。一个更一般的模型假设X的每一列对应于几个低秩矩阵之一。本文将这些模型推广到我们称之为混合矩阵完备(MMC)的情况下,X的每个条目对应于几个低秩矩阵之一。MMC是一个更准确的推荐系统模型,并带来了更多的灵活性,以其他完成和聚类问题。我们对这一新模式做出了四个基本贡献。首先,我们证明了MMC在理论上是可能的(适定性)。其次,我们给出了它的精确的信息论可识别性条件。第三,我们推导了MMC的样本复杂度。最后,我们给出了一个实用的算法MMC与性能相媲美的国家的最先进的简单的相关问题,合成和真实的数据。
2018-08-02 cs.LG stat.ML
Coarse to Fine Two-Stage Approach to Robust Tensor Completion of Visual Data
University of Central Florida(中佛罗里达大学)
张量完备化是从部分观测数据中估计高阶数据缺失值的问题。由于普遍存在的离群值导致的数据损坏对传统的张量补全算法提出了重大挑战,这促进了鲁棒算法的发展,以减轻离群值的影响。然而,现有的鲁棒方法在很大程度上假设腐败是稀疏的,这在实践中可能不成立。在本文中,我们开发了一个两阶段的强大的张量完成方法来处理张量完成的视觉数据与大量的总腐败。提出了一种新的由粗到精的框架,该框架使用全局粗完成结果来指导局部补丁细化过程。为了有效地减轻大量离群点对张量恢复的影响,提出了一种新的基于M估计的鲁棒张量环恢复方法,该方法能够自适应地识别离群点,减轻离群点对优化的负面影响.实验结果表明,所提出的方法优于国家的最先进的强大的张量完成算法的性能。
2022-08-12 cs.LG stat.ML
Pluralistic Image Completion with Probabilistic Mixture-of-Experts
The University of Sydney(悉尼大学);Nanjing University(南京大学);The University of Edinburgh(爱丁堡大学);Nanyang Technological University(南洋理工大学);JD Explore Academy(京东探索研究院);Hong Kong Baptist University(香港浸会大学)
多元图像完成侧重于生成视觉上逼真和多样化的图像完成结果。先前的方法在这项任务中取得了经验上的成功。然而,他们所使用的限制多元图像完成被认为是不好解释和不令人满意的两个方面。首先,视觉现实的约束条件可能与图像完成的目标弱相关,甚至是冗余的。第二,多样性的约束被设计为任务不可知的,这导致约束不能很好地工作。在本文中,为了解决这个问题,我们提出了一个端到端的概率方法。具体来说,我们引入了一个统一的概率图模型,表示在图像完成的复杂的相互作用。然后,整个图像完成过程在数学上被划分为几个子过程,这有助于有效地执行约束。确定了与多元结果直接相关的子程序,其中的相互作用是由高斯混合模型(GMM)建立的。GMM的固有参数与任务相关,在训练过程中自适应地优化,而其基元的数量可以方便地控制结果的多样性。我们正式建立我们的方法的有效性,并证明它与全面的实验。
2022-05-18 cs.CV cs.LG
Robust Tensor Completion Using Transformed Tensor SVD
Weifang University(潍坊学院);Hong Kong Baptist University(香港浸会大学);Central China Normal University(华中师范大学)
本文利用变换张量奇异值分解(SVD)研究了张量完备化的鲁棒性问题,该方法采用酉变换矩阵代替传统张量SVD中的离散傅立叶变换矩阵。其主要动机是利用其他酉变换矩阵可以得到比离散傅立叶变换矩阵更低的管秩张量。这对于鲁棒的张量完备化将更有效。对高光谱、视频和人脸数据集的实验结果表明,采用变换张量奇异值分解的鲁棒张量补全方法在PSNR方面优于采用傅立叶变换和其他鲁棒张量补全方法。
2019-07-02 cs.CV cs.LG stat.ML
Tensor Completion Algorithms in Big Data Analytics
Texas A&M University(得克萨斯农工大学)
张量完备化是一个填补部分观测张量中缺失或未观测项的问题。由于张量在描述复杂数据集时的多维性,张量补全算法及其应用在数据挖掘、计算机视觉、信号处理、神经科学等领域得到了广泛的关注和研究。在这项调查中,我们从大数据分析的角度对张量补全算法的最新进展进行了现代概述,其特点是多样性,大容量和高速度。我们从四个方面描述这些进展:一般张量完成算法,张量完成辅助信息(品种),可扩展张量完成算法(卷),和动态张量完成算法(速度)。此外,我们确定了几个张量完成应用程序在现实世界中的数据驱动的问题,并提出了一些常见的实验框架,在文献中推广。我们的目标是总结这些流行的方法,并将其介绍给研究人员和从业人员,以促进未来的研究和应用。最后,我们讨论的关键挑战和有前途的研究方向,在这个社区的未来探索。
2018-05-03 cs.AI cs.LG stat.ML
JULIA: Joint Multi-linear and Nonlinear Identification for Tensor Completion
IQVIA Inc.(艾昆纬公司);University of Florida(佛罗里达大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
张量完备化的目的是从部分观测到的张量中估算缺失的条目。现有的张量补全方法通常假设潜在分量之间的多线性或非线性关系。然而,现实世界的张量有更复杂的模式,其中多线性和非线性关系可能共存。在这种情况下,现有的方法不足以描述数据结构。本文提出了一个联合多线性和非线性识别(JULIA)框架的大规模张量完成。JULIA统一了多线性和非线性张量完成模型,与现有方法相比具有以下几个优点:1)灵活的模型选择,即,它通过将其值分配为多线性和非线性分量的组合来拟合张量; 2)与现有的非线性张量完成方法兼容; 3)基于精心设计的交替优化方法的有效训练。在六个实际大规模张量上的实验表明,JULIA算法优于许多现有的张量补全算法。此外,JULIA可以改善一类非线性张量完成方法的性能。结果表明,在一些大规模的张量完成的情况下,基线方法与JULIA能够获得高达55%的更低的均方根误差和节省67%的计算复杂性。
2022-01-31 cs.IR cs.LG stat.ML
Coupled Tensor-Tensor Completion Method with Applications in Drug Repurposing
Idaho State University(爱达荷州立大学);Massachusetts Institute of Technology(麻省理工学院);University of Michigan(密歇根大学);Statistics Online Computational Resource (SOCR)(统计在线计算资源(SOCR))
本研究提出耦合张量-张量补全(CTTC)方法,融入张量形式辅助信息,在DTD和LINCS数据集上,其运行时间与RSE精度均优于HaLRTC等现有方法,可更准确预测药物效应。
2026-09-04 cs.LG cs.NA math.NA
Exact Tensor Completion Powered by Slim Transforms
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对现有张量补全理论要求变换正交的限制,本文建立任意线性变换下精确张量补全的理论保证,揭示slim transforms更优的理论原因,提升方法灵活性并经实验验证其优越性。
2024-08-15 cs.LG eess.SP
Convolutional Graph-Tensor Net for Graph Data Completion
Columbia University(哥伦比亚大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
图形数据完成是一个根本性的重要问题,因为数据通常具有图形结构,例如,社交网络、推荐系统和物联网。我们考虑一个图,其中每个节点都有一个数据矩阵,表示为一个\textit{graph-tensor}通过堆叠的数据矩阵在第三个维度。在本文中,我们提出了一个\textit{Convolutional Graph-Tensor Net}(\textit{Conv GT-Net})的图数据完成问题,它使用深度神经网络学习的一般变换的图张量。在ego-Facebook数据集上的实验结果表明,与现有算法相比,本文提出的\textit{Conv GT-Net}在完成准确率(高出50%)和完成速度(快3.6倍$\sim$ 8.1倍)方面都取得了显着提高。
2023-03-02 cs.AI cs.LG
Robust Low-tubal-rank Tensor Completion based on Tensor Factorization and Maximum Correntopy Criterion
University of Central Florida(中佛罗里达大学)
张量补全的目标是从其条目的子集中恢复张量,通常是通过利用其低秩属性。在张量秩的几个有用的定义中,低管秩给出了张量固有的低秩结构的一个有价值的特征。虽然最近已经提出了一些具有良好性能的低管秩张量补全算法,但这些算法利用二阶统计量来测量误差残差,当观察到的条目包含大的离群值时,这可能不能很好地工作。在本文中,我们提出了一个新的目标函数的低管秩张量完成,它使用相关熵作为误差测量,以减轻离群值的影响。为了有效地优化所提出的目标,我们利用半二次最小化技术,从而将优化转化为加权低管秩张量因式分解问题。随后,我们提出了两个简单而有效的算法来获得解决方案,并提供其收敛性和复杂性分析。模拟和实际数据的数值结果表明,所提出的算法的鲁棒性和优越的性能。
2022-10-14 cs.LG stat.ML
Applying Differential Privacy to Tensor Completion
Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学)
张量完备化的目的是基于部分观测的张量来填充缺失或未观测的条目。然而,在许多实际情况下,利用观察到的张量往往会引起严重的隐私问题。为了解决这个问题,我们提出了一个坚实的和统一的框架,其中包含几种方法应用差分隐私的两个最广泛使用的张量分解方法:i)CANDECOMP/PARAFAC~(CP)和ii)Tucker分解。对于每种方法,我们都建立了严格的隐私保证,同时评估了隐私准确性的权衡。在合成数据集和真实数据集上的实验表明,我们的建议在确保强隐私保护的同时,实现了高精度的张量完成。
2022-02-14 cs.CR cs.LG
Accelerated Stochastic Gradient for Nonnegative Tensor Completion and Parallel Implementation
School of Electrical and Computer Engineering Technical University of Crete(克里特技术大学电气与计算机工程学院)
我们考虑非负张量完备化问题。我们采用交替优化框架和解决每个非负矩阵完成问题通过一个随机变化的加速梯度算法。我们使用真实世界和合成数据实验测试我们的算法的有效性和效率。我们开发了一个共享内存的实现我们的算法使用多线程API的OpenMP,达到显着的加速。我们相信,我们的方法是一个非常有竞争力的候选人非常大的非负张量完成问题的解决方案。
2021-09-20 cs.LG eess.SP
Tensor Completion for Weakly-dependent Data on Graph for Metro Passenger Flow Prediction
The Hong Kong University of Science and Technology(香港科技大学);Arizona State University(亚利桑那州立大学);Tsinghua University(清华大学)
由于张量数据的普遍存在,低秩张量分解和完备化引起了学术界的极大兴趣。然而,低秩结构是一个全局属性,当数据呈现复杂和弱依赖性时,给定特定的图结构,这将无法实现。一个特定的应用,激发这项研究是时空数据分析。如初步研究所示,弱依赖性会恶化低秩张量完成性能。本文通过引入$L_{1}$ -范数惩罚和图拉普拉斯惩罚,提出了一种新的低秩CANDECOMP / PARAFAC(CP)张量分解和完成框架,用于对图的弱依赖进行建模.我们进一步提出了一个有效的优化算法的基础上的块坐标下降有效的估计。基于香港地铁客流数据进行了案例研究,以证明改进的性能比常规张量完成方法。
2019-12-11 cs.LG stat.ML
Symmetric Tensor Completion from Multilinear Entries and Learning Product Mixtures over the Hypercube
UC Berkeley(加州大学伯克利分校)
我们给出了一个算法,完成一个阶$m$对称低秩张量从它的多线性项在时间大致成正比的张量条目的数量。我们应用我们的张量完成算法的学习混合产品分布的超立方体的问题,获得新的算法结果。如果产品分布的中心是线性独立的,那么我们恢复尽可能多的$Ω(n)$中心的分布在多项式时间和样本的复杂性。在一般情况下,我们恢复尽可能多的分布$\tildeΩ(n)$中心在准多项式时间,回答了一个公开的问题费尔德曼等人。对于具有非相干偏置向量的分布的特殊情况。我们的主要算法工具是迭代应用的低秩矩阵完成算法的矩阵与adversarially失踪的条目。
2015-11-23 cs.DS cs.LG stat.ML
Grassmannian Optimization for Online Tensor Completion and Tracking with the t-SVD
University of Michigan(密歇根大学)
我们提出了一个新的快速流算法的张量完成问题的输入丢失的条目的低管秩张量使用张量奇异值分解(t-SVD)代数框架。我们表明,t-SVD是一个专业化的研究块项分解的三阶张量,我们提出了一个算法,在这个模型下,可以跟踪不完整的流2-D数据的变化自由子模块。该算法利用子空间的格拉斯曼流形上的增量梯度下降原理,以线性复杂度和时间样本数的恒定记忆来解决张量完成问题。我们提供了我们的算法的局部预期线性收敛结果。我们的经验结果在准确性上具有竞争力,但在计算时间上比实际应用中最先进的张量完成算法要快得多,以在有限的采样下恢复时间化学传感和MRI数据。
2022-04-14 cs.LG eess.SP
Tensor Completion by Multi-Rank via Unitary Transformation
Weifang University(潍坊学院);The University of Hong Kong(香港大学);Central China Normal University(华中师范大学)
张量完备化中的一个关键问题是保证恢复所需的均匀随机样本的个数。本文主要研究了基于变换张量奇异值分解的$n_1 \times n_2 \times n_3$三阶张量完备化方法,并给出了所需样本项数目的一个界。我们的方法是利用底层张量的多秩而不是其在界中的管秩。在合成和成像数据集的数值实验中,我们证明了我们提出的样本条目数的有效性。此外,我们的理论结果适用于变换张量奇异值分解下$n_3$ -维的任何酉变换。
2022-01-24 cs.LG stat.ML
Improving Group Fairness in Tensor Completion via Imbalance Mitigating Entity Augmentation
Department of Computer Science and Engineering, University of California, Riverside, Riverside, CA, USA(计算机科学与工程系,加州大学河滨分校);Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign, Urbana, IL, USA(计算与数据科学学院,伊利诺伊大学厄巴纳-香槟分校)
针对张量分解中群体公平方法导致性能下降的问题,提出 STAFF,通过含充足观测条目的实体增强缓解稀疏张量不平衡与偏差,在多类模型和数据集上实现误差与公平性的最佳权衡。
2025-07-28 cs.LG stat.ML
Influence-guided Data Augmentation for Neural Tensor Completion
Georgia Institute of Technology(佐治亚理工学院);Adobe Research(Adobe研究院)
如何更准确地预测多维数据(或张量)中的缺失值?张量补全在个性化推荐、图像和视频恢复以及社交网络中的链接预测等许多应用中至关重要。许多张量因式分解和基于神经网络的张量补全算法已经被开发用于预测部分观测张量中的缺失项。然而,它们可能会产生不准确的估计,因为现实世界的张量非常稀疏,并且这些方法往往会在少量数据上过拟合。在这里,我们克服了这些缺点,提出了张量的数据增强技术。在本文中,我们提出了DAIN,一个通用的数据增强框架,提高了神经张量完成方法的预测精度。具体来说,DAIN首先训练一个神经模型,并通过影响函数找到张量细胞的重要性。之后,DAIN聚合单元格重要性以计算每个实体的重要性(即,维度的索引)。最后,DAIN通过实体重要性的加权采样和值预测器来增强张量。广泛的实验结果表明,DAIN优于所有的数据增强基线,在四个不同的现实世界的张量,提高神经张量完成的插补精度。DAIN的消融研究证实了DAIN的每种成分的有效性。此外,我们表明,DAIN规模接近线性大型数据集。
2021-08-23 cs.LG cs.SI
Low-rank Tensor Grid for Image Completion
University of Electronic Science and Technology of China(电子科技大学)
张量补全通过利用多路数据的低秩结构来估计缺失的分量。最近提出的基于张量训练(TT)和张量环(TR)的方法在图像恢复方面表现出比经典方法更好的性能。与TT和TR相比,投影纠缠对态(PEPS),也称为张量网格(TG),允许更多的不同维度之间的相互作用,并可能导致更紧凑的表示。在本文中,我们提出了低秩张量网格的基础上进行图像完成。采用两阶段密度矩阵重整化群算法对由多个TT分解组成的TG分解进行初始化。通过求解交替最小二乘问题,可以交替地获得潜在TG因子。为了进一步提高计算效率,采用并行矩阵分解的方法,提出了一种低秩TG完备化的多线性矩阵分解方法。在合成数据和真实图像上的实验结果表明,所提出的方法在恢复精度方面优于现有的方法。
2020-04-23 cs.LG stat.ML
Robust Low-Rank Tensor Ring Completion
University of Electronic Science and Technology of China(电子科技大学)
低秩张量补全基于不同的张量分解来恢复丢失的条目。低秩张量环由于其在开发高阶数据结构方面的优异性能,在张量完备化中得到了广泛的应用。为了进一步处理其在张量主成分分析中对稀疏分量的敏感性,我们提出了鲁棒张量环完备(RTRC),它将潜在的低秩张量分量从具有有限数量测量的稀疏分量中分离出来。低秩张量分量由其平衡开折的核范数的加权和约束,而稀疏分量由其l1范数正则化。我们分析了RTRC模型,并给出了准确的恢复保证。采用乘子交替方向法将问题分解为若干个子问题,并快速求解。在数值实验中,我们验证了所提出的方法在合成数据上的恢复条件,并表明所提出的方法在许多真实世界的基于数据的任务中,即,光场图像恢复,人脸图像中的阴影去除,以及彩色视频中的背景提取。
2020-04-23 cs.LG stat.ML
Efficient Low Rank Tensor Ring Completion
Purdue University(普渡大学);Tufts University(塔夫茨大学)
使用最近提出的张量环分解的矩阵乘积状态(MPS)表示,在本文中,我们提出了一个张量完成算法,这是一个交替的最小化算法,交替在MPS表示的因素。这种发展的动机部分是由矩阵完成算法的成功,交替(低秩)的因素。本文提出了张量环完备化算法的谱初始化方法,并分析了该算法的计算复杂性。我们数值比较它与现有的方法,采用低秩张量训练近似数据完成,并表明我们的方法优于现有的各种真正的计算机视觉设置,从而证明了张量环的表达能力的改善相比,张量训练。
2017-07-23 cs.IT cs.LG math.IT
Latent Matrices for Tensor Network Decomposition and to Tensor Completion
Guangdong University of Technology(广东工业大学);RIKEN(理化学研究所)
目前流行的全连接张量网络(FCTN)在数据压缩方面取得了很好的效果。然而,FCTN分解在面对高阶和大规模数据时存在计算速度慢的问题。很自然地,会出现一个有趣的问题:是否可以提出一个新的模型,将张量分解为更小的张量,并加快算法的计算速度?这项工作给出了一个积极的答案,制定了一个新的高阶张量分解模型,利用基于张量网络结构的潜在矩阵,它可以将张量分解成比FCTN分解更小规模的数据,因此我们将其命名为张量网络分解的潜在矩阵(LMTN)。此外,三个优化算法,LMTN-PAM,LMTN-SVD和LMTN-AR,已被开发并应用于张量完成任务。此外,我们提供了理论上的收敛性证明和复杂性分析这些算法。实验结果表明,该算法在深度学习数据集压缩和高阶张量补全方面均具有较好的效果,LMTN-SVD算法比FCTN-PAM算法快3-6倍,精度仅下降1.8点。
2022-10-19 cs.DS cs.LG
Tensor p-shrinkage nuclear norm for low-rank tensor completion
基于张量奇异值分解(t-SVD),提出了一种新的张量p收缩核范数(p-TNN)的定义.特别地,可以证明当p < 1时,p-TNN比张量核范数更好地逼近张量平均秩。因此,通过使用p-收缩核范数,提出了一种新的低秩张量完备(LRTC)模型,从其部分观测值估计张量。在统计上,给出了LRTC模型的恢复误差上界。此外,一个有效的算法,加速的自适应动量计划,开发解决由此产生的非凸优化问题。在光滑性假设下,可以进一步保证算法具有全局收敛速度。在合成数据集和真实数据集上进行的数值实验验证了我们的结果,并证明了我们的p-TNN在LRTC问题中的优越性。
2019-07-09 cs.LG stat.ML
Tensor Completion via Gaussian Process Based Initialization
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
在本文中,我们考虑张量完成问题的解决方案,在张量训练(TT)格式。假设张量是高维的,张量值由未知的光滑函数生成。这个假设使我们能够开发一个有效的初始化方案的基础上高斯过程回归和TT交叉近似技术。所提出的方法可以与通常用于张量完备问题的任何优化算法结合使用。我们凭经验证明,在这种情况下,重建误差改善与随机初始化的张量完成。作为一个额外的好处,我们的技术自动选择排名感谢使用TT交叉近似技术。
2020-08-26 cs.LG cs.NA math.NA
Provable Tensor Ring Completion
University of Electronic Science and Technology of China (UESTC)(电子科技大学);School of Information and Communication Engineering, University of Electronic Science and Technology of China (UESTC)(电子科技大学信息与通信工程学院)
张量完成从有限数量的测量恢复多维数组。利用最近提出的张量环(TR)分解,本文证明了在给定n^{d/2} r^2 ln^7(n^{d/2})个样本的情况下,通过求解凸优化程序,可以以很高的概率精确地恢复维数为n、TR秩为r的d阶张量.所提出的TR不相干条件下的结果保持类似的矩阵不相干条件。通过对合成数据的实验,验证了该方法对TR完成的恢复保证。此外,在真实数据上的实验表明,我们的方法提高了恢复性能相比,国家的最先进的方法。
2020-01-09 cs.LG stat.ML
Tensor train completion: local recovery guarantees via Riemannian optimization
Marchuk Institute of Numerical Mathematics RAS(俄罗斯科学院马尔丘克数值数学研究所)
本文研究张量火车补全问题,通过基于奇异值调和平均的新界和核心相干性概念,给出了黎曼梯度下降局部收敛所需的随机采样元素数量保证,并推广到带辅助子空间信息的情形。
2023-08-30 cs.LG cs.NA math.NA
FasTer: Fast Tensor Completion with Nonconvex Regularization
Paradigm. Inc.(4Paradigm公司);Department of Computer Science and Engineering, Hong Kong University of Science and Technology(香港科技大学计算机科学与工程系);RIKEN(理化学研究所(RIKEN));Hong Kong University of Science and Technology(香港科技大学)
低秩张量完备化问题的目标是从有限的观测值中恢复一个张量,它有很多实际应用。凸重叠核模由于其易于优化,已被广泛用于张量完备化。然而,它过度惩罚顶部奇异值并导致有偏估计。在本文中,我们建议使用非凸正则化,它可以更少地惩罚大奇异值,而不是凸张量完成。然而,由于新的正则化子是非凸的,彼此重叠,现有的算法要么太慢或遭受巨大的内存开销。为了解决这些问题,我们开发了一个有效的和可扩展的算法,这是基于近似平均(PA)算法,为现实世界的问题。与直接使用PA算法相比,该算法运行订单速度更快,所需订单空间更少。我们进一步加快所提出的算法与加速技术,并显示收敛到临界点仍然是有保证的。实验比较所提出的方法与其他各种张量完成的方法。实验结果表明,该算法是非常快的,可以产生更好的恢复性能。
2019-01-23 cs.LG stat.ML
Variational Bayesian inference for CP tensor completion with side information
Marchuk Institute of Numerical Mathematics RAS(俄罗斯科学院马尔丘克数值数学研究所)
提出一种基于变分贝叶斯推断的消息传递算法,利用辅助信息实现CP格式低秩张量的自动秩确定与补全,显著减少所需样本量。
2022-06-29 cs.LG math.PR
Tensor Completion by Alternating Minimization under the Tensor Train (TT) Model
Purdue University(普渡大学);Tufts University(塔夫茨大学)
本文提出一种基于张量列车分解的交替最小化张量补全算法,通过交替优化MPS表示中的矩阵(张量),在计算复杂度和数值性能上优于现有方法。
2016-09-19 cs.IT cs.LG cs.NA
Nonnegative Tensor Completion via Integer Optimization
University of California, Berkeley(加州大学伯克利分校);The Ohio State University(俄亥俄州立大学)
与矩阵完备化不同,张量完备化没有已知的算法来实现信息论样本复杂度。本文对非负张量完备化的特殊情况提出了一种新的算法。我们证明了我们的算法收敛在一个线性(数值公差)的预言步骤数,同时实现信息理论的速度。我们的方法是使用一个特定的0-1多面体的规范定义一个新的规范的非负张量;整数线性规划,反过来,可以用来解决这个多面体的线性分离问题。我们结合这一见解与弗兰克-沃尔夫算法的一个变种,构建我们的数值算法,我们证明了它的有效性和可扩展性,通过计算实验使用笔记本电脑上的张量高达一亿个条目。
2022-05-23 cs.LG math.OC stat.ML
Fast and Provable Tensor-Train Format Tensor Completion via Precondtioned Riemannian Gradient Descent
The Hong Kong University of Science and Technology(香港科技大学);Shanghai Jiao Tong University(上海交通大学)
本文提出预条件黎曼梯度下降算法(PRGD)解决张量列车格式的低秩张量补全问题,证明线性收敛,并在模拟与真实数据上大幅减少计算时间和迭代次数。
2025-01-23 cs.LG cs.NA math.NA
Non-Linear Self-Interference Cancellation via Tensor Completion
Eindhoven University of Technology(埃因霍温理工大学)
非线性自干扰(SI)消除是全双工通信中的一个基本问题,通常使用多项式模型或神经网络来解决。在这项工作中,我们探讨了最近提出的方法的基础上低秩张量完成,称为规范系统辨识(CSID),非线性SI取消的适用性。我们的研究结果表明,CSID是非常有效的建模和消除非线性SI信号,可以有较低的计算复杂度比现有的方法,虽然在成本增加的内存需求。
2020-10-05 cs.LG eess.SP
A dual framework for low-rank tensor completion
Indian Institute of Science(印度科学学院);Microsoft(微软)
低秩张量完备化的一种流行方法是使用潜在迹范数正则化。然而,大多数现有的作品在这个方向上学习张量的稀疏组合。在这项工作中,我们填补了这一空白,提出了一个变种的潜在的跟踪规范,有助于学习张量的非稀疏组合。我们开发了一个对偶框架来解决低秩张量完备化问题。我们首先展示了一个新的特征的对偶解空间的最优解的一个有趣的分解。总的来说,最优解位于黎曼流形的笛卡尔积上。此外,我们利用多功能的黎曼优化框架,提出计算效率的信赖域算法。实验结果表明,该算法在几个真实世界的数据集跨应用程序的有效性。
2018-11-10 cs.LG stat.ML
Tensor Completion via Integer Optimization
The Ohio State University(俄亥俄州立大学);University of California Berkeley(加州大学伯克利分校)
本文提出一种基于整数线性优化和 Frank-Wolfe 变体的张量补全算法,在线性 oracle 步骤内同时实现可证明收敛与信息论样本复杂度速率,并在千万级元素张量上验证了可扩展性。
2024-04-03 cs.LG math.OC
Multi-version Tensor Completion for Time-delayed Spatio-temporal Data
IQVIA(艾昆纬);University of Minnesota Twin Cities(明尼苏达大学双城分校);University of Virginia(弗吉尼亚大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
现实世界的时空数据往往是不完整或不准确的,由于各种数据加载延迟。例如,病例计数的位置-疾病-时间张量可以具有针对某些位置或疾病的最近时间切片的多个延迟更新。恢复输入张量的这种丢失或有噪声(未报告)的元素可以被视为广义张量完成问题。现有的张量补全方法通常假设i)缺失元素是随机分布的,以及ii)每个张量元素的噪声是i.i.d.。零均值对于时空张量数据,这两个假设都可能被违反。我们经常观察到输入张量的多个版本具有不同的漏报噪声水平。噪声的量可以是时间或位置相关的,因为更多的更新被逐渐引入到张量中。我们将这种动态数据建模为多版本张量,并使用额外的张量模式捕获数据更新。我们提出了一个低秩张量模型来预测随时间的更新。我们证明,我们的方法可以准确地预测许多现实世界的张量的地面实况值。与最佳基线方法相比,我们获得了高达27.2%的均方根误差。最后,我们扩展了我们的方法来跟踪张量数据随着时间的推移,导致显着的计算节省。
2021-05-11 cs.IR cs.LG
Noisy Tensor Completion via Low-rank Tensor Ring
Guangdong University of Technology(广东工业大学);RIKEN(理化学研究所)
张量补全是不完整数据分析的基本工具,其目标是从部分观测值中预测缺失项。然而,现有的方法往往显式或隐式地假设观测条目是无噪声的,以提供精确恢复丢失条目的理论保证,这在实践中受到很大的限制。为了弥补这些缺陷,本文提出了一种新的噪声张量完成模型,它补充了现有的工作在处理高阶和噪声观测退化的不足。具体地说,张量环核范数(TRNN)和最小二乘估计分别采用正则化的基础张量和观察到的条目。此外,一个非渐近上界的估计误差描述所提出的估计器的统计性能。两个有效的算法来解决的优化问题的收敛保证,其中之一是专门针对处理大规模的张量,通过替换TRNN的原始张量的最小化等效的一个小得多的异构张量分解框架。合成和真实世界的数据上的实验结果表明,该模型在恢复噪声不完整的张量数据的有效性和效率相比,国家的最先进的张量完成模型。
2022-03-14 cs.AI cs.LG stat.ML
Federated Knowledge Graph Completion via Latent Embedding Sharing and Tensor Factorization
City University of Hong Kong(香港城市大学);UESTC(电子科技大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));ByteDance Research(字节跳动研究院)
针对现有联邦知识图谱补全框架的隐私泄露、优化失效和计算成本高等问题,提出FLEST方法,通过联邦张量分解和潜在字典嵌入共享,在性能与隐私间取得平衡。
2023-11-17 cs.AI cs.LG
Low rank tensor completion with sparse regularization in a transformed domain
University of Electronic Science and Technology of China(电子科技大学)
张量完备化是一个具有挑战性的问题,有着广泛的应用。基于张量的低秩先验,已经提出了许多相关的模型。然而,低秩先验可能不足以从观察到的不完整张量恢复原始张量。本文利用张量的低秩和稀疏先验,提出了一种张量完备化方法。具体地,张量完成任务可以被公式化为具有稀疏正则化器的低秩最小化问题。基于张量奇异值分解(T-SVD)的张量截断核范数刻画了其低秩性质,与张量核范数相比,T-SVD是张量管秩的一种更好的近似.而稀疏正则化子是在离散余弦变换(DCT)域中通过$\ell_{1}$ -范数来实现的,它能更好地利用完备数据的局部稀疏性。为了解决最优化问题,我们采用了交替方向法的乘法器(ADMM),其中我们只需要解决几个子问题,有封闭形式的解决方案。在真实图像和视频上的大量实验表明,该方法具有更好的性能比现有的国家的最先进的方法。
2019-11-19 cs.LG cs.NA math.NA
A generalizable framework for low-rank tensor completion with numerical priors
Duke University(杜克大学);Duke Kunshan University(昆山杜克大学)
针对现有低秩张量补全方法未系统利用数值先验导致精度受限的问题,提出首个整合数值先验的通用框架GCDTC,其实例SPTC算法在非负张量补全任务上性能显著优于现有最优方法,且代码开源。
2024-06-18 cs.AI cs.CV cs.LG
Near-optimal sample complexity for convex tensor completion
University of British Columbia(不列颠哥伦比亚大学)
我们分析低秩张量完成(TC)使用噪声测量的张量的子集。假设秩为- $r$,阶为- $d$,$N \times N \times \cdots \times N$张量,其中$r=O(1)$,所实现的最佳采样复杂度为$O(N^{\frac{d}{2}})$,其通过求解张量核范数最小化问题来获得。然而,这个界限是显着大于自由变量的数量在一个低秩张量是$O(dN)$。在本文中,我们表明,通过使用一个原子范数的原子秩$1$符号张量,可以得到一个样本复杂度为$O(dN)$。此外,我们推广矩阵最大范数的定义张量,这将导致一个最大准范数(max-qnorm)的单位球具有小的Rademacher复杂度。我们证明,解决约束最小二乘估计使用凸原子范数或非凸max-qnorm结果在低秩张量完成问题的最佳样本复杂度。此外,我们表明,这些界限是近极大极小率最优的。我们还提供了有前途的数值结果最大qnorm约束张量完成,显示出改善的恢复结果相比,矩阵化和交替最小二乘。
2017-11-14 cs.LG math.OC stat.ML
MTC: Multiresolution Tensor Completion from Partial and Coarse Observations
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amplitude(Amplitude公司);IQVIA(艾昆纬)
现有的张量完备化公式主要依赖于来自单个张量的部分观测。然而,从真实世界数据中提取的张量通常更复杂,这是由于:(i)部分观测:只有一个小的子集(例如,5%)的张量元素可用。(ii)粗略观察:一些张量模式仅呈现粗略和聚合模式(例如,每月总结,而不是每日报告)。在本文中,我们给出了张量的一个子集和一些聚合/粗观测(沿着一个或多个模式),并试图用低秩因子分解来恢复原始的细粒度张量。我们制定了一个耦合张量完成问题,并提出了一个有效的多分辨率张量完成模型(MTC)来解决这个问题。我们的MTC模型探讨张量模式属性,并利用分辨率的层次结构递归地初始化优化设置,并使用交替最小二乘法对耦合系统进行优化。MTC确保低计算和空间复杂度。我们在两个与COVID-19相关的时空张量上评估我们的模型。实验表明,MTC可以提供65.20%和75.79%的适应度(PoF)在张量完成只有5%的细粒度观察,这是27.96%的相对改善最好的基线。为了评估学习到的低秩因素,我们还设计了一个张量预测任务,用于每日和累积疾病病例预测,其中MTC在PoF中实现了50%,在最佳基线上实现了30%的相对改善。
2021-06-18 cs.LG cs.NA math.NA
T-SVD Based Non-convex Tensor Completion and Robust Principal Component Analysis
Peking University(北京大学)
张量完备化和鲁棒主元分析在机器学习中得到了广泛的应用,但其关键问题是如何最小化张量秩,这是一个非常具有挑战性的问题。解决这一问题的一种常用方法是基于张量奇异值分解(T-SVD),用奇异值的$\ell_1-$范数来近似张量秩。此外,张量的稀疏性也可以用它的$\ell_1-$范数来度量。然而,$\ell_1$罚分本质上是有偏差的,因此结果将偏离。为了避免这种偏差,我们提出了一种新的非凸张量秩代理函数和一种新的非凸稀疏性度量。在这种新的设置中,通过使用的凸性,而不是一个优化最小化算法进一步设计张量完成和鲁棒的主成分分析。此外,我们分析了它的理论性质。最后,自然和高光谱图像上的实验证明了我们提出的方法的有效性和效率。
2021-05-25 cs.CV cs.LG stat.ML
A Unified Framework for Coupled Tensor Completion
University of Electronic Science and Technology of China(中国电子科技大学)
耦合张量分解通过结合来自潜在耦合因子的先验知识来揭示联合数据结构。张量环(TR)分解在不同模态性质张量的排列下保持不变,保证了分解因子和模态属性的一致性。TR具有强大的表达能力,在多维数据处理中取得了成功。为了让耦合张量在缺失分量估计中相互帮助,本文利用TR来实现耦合补全,共享部分潜在因子。采用新的Frobenius范数建立了耦合TR完井优化模型。该算法采用块坐标下降法求解,有效地解决了由采样模式引起的一系列二次问题。与其他基于核范数的方法相比,该优化模型的超额风险界显示了理论性能的提高。在合成数据上的数值实验验证了该方法的有效性,在真实数据上的实验结果表明了该方法在恢复精度方面优于现有方法.
2020-11-08 cs.LG stat.ML
Fourier Low-rank and Sparse Tensor for Efficient Tensor Completion
University of Michigan Ann Arbor(密歇根大学安娜堡分校)
针对传统低秩张量补全模型无法捕捉科学数据独特时空模式的问题,提出沿时间维傅里叶分解的FLoST模型,以低秩+稀疏结构分别建模高低频,参数量更少、效率更高,在准确率和可解释性上均优于现有模型。
2025-05-16 cs.LG stat.ME
Canonical Tensor Decomposition for Knowledge Base Completion
Facebook AI Research(Facebook人工智能研究院);Université Paris-Est(巴黎东大学);Ecole des Ponts ParisTech(巴黎高等桥路学院)
知识库完备化问题可以归结为一个三阶二元张量完备化问题。在这种情况下,正则张量分解(CP)(希区柯克,1927)似乎是一个自然的解决方案;然而,目前在标准知识库完成基准上实现的CP落后于竞争对手。在这项工作中,我们试图了解知识库完成CP的限制。首先,我们激励和测试一个新的正则化,基于张量核$p$规范。然后,我们提出了一个重新制定的问题,使其不变的任意选择,包括在数据集中的谓词或其倒数。这两种方法相结合,使我们能够在几个数据集上使用CP分解击败当前的最新技术,并使用更先进的ComplEx模型获得更好的结果。
2018-06-19 cs.AI cs.LG cs.SI
Tensor Methods for Nonlinear Matrix Completion
Marquette University(马凯特大学);University of Wisconsin(威斯康星大学);University of Michigan(密歇根大学);University of Chicago(芝加哥大学)
在低秩矩阵完备化(LRMC)问题中,低秩假设意味着待完备矩阵的列(或行)是低维线性代数簇上的点。本文将这种思想扩展到列是低维非线性代数簇上的点的情况,我们称之为低代数维矩阵完备化(LADMC)。列属于子空间并的矩阵是一个重要的特例。我们提出了一个LADMC算法,利用现有的LRMC方法的张量表示的数据。例如,二阶张量化表示是通过将每列与其自身的克罗内克积形成的,我们也考虑高阶张量化。这种方法将在许多情况下成功,传统的LRMC是保证失败,因为数据是低秩的张量表示,但不是在原始表示。我们提供了一个正式的数学理由,我们的方法的成功。特别是,我们给这些数据的秩在张量表示的界限,我们证明了抽样要求,以保证解决方案的唯一性。我们还提供了实验结果表明,新的方法优于现有的国家的最先进的方法下的子空间模型的联盟矩阵完成。
2020-09-04 cs.LG stat.ML
Exact tensor completion with sum-of-squares
Institute for Advanced Study(高等研究院);Cornell University(康奈尔大学)
我们获得了第一个多项式时间算法的精确张量完成,提高了减少矩阵完成所隐含的界限。该算法从$r\cdot \tilde O(n^{1.5})$随机观察到的张量条目中恢复出一个未知的3-张量,其中$r$是$\mathbb R^n$中的非相干正交分量。这个界限改善了以前的最好的一个$r\cdot \tilde O(n^{2})$减少到确切的矩阵完成。我们的界也与最著名的结果相匹配,因为近似张量完成的问题更容易(Barak & Moitra,2015)。我们的算法和分析通过平方和方法将精确矩阵完成(Candes & Recht,2009)的开创性结果扩展到张量设置。主要的技术挑战是要证明少量随机选择的单项式就足以在球面上构造一个具有精确种植的正交全局最优解的3次多项式,并且这个事实可以在平方和证明系统中得到证明。
2017-06-23 cs.CC cs.DS cs.IT
Efficient Tensor Completion Algorithms for Highly Oscillatory Operators
Department of Computer Science, University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校计算机科学系);Lawrence Berkeley National Laboratory(伯克利国家实验室);Applied Mathematics and Computational Research Division(应用数学与计算研究部)
本文提出高效的蝴蝶格式张量补全算法,通过低秩矩阵补全生成初始猜测,实现高振荡算子的快速准确重建。
2026-02-16 cs.LG cs.NA math.NA
Non-convex approaches for low-rank tensor completion under tubal sampling
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Michigan State University(密歇根州立大学);University of Central Florida(中佛罗里达大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文针对管状采样下的低秩张量补全问题,提出 TL12 和 TCCUR 两种非凸框架,实验表明二者在低采样率下分别具有精度或效率优势。
2023-03-17 cs.CV cs.LG cs.NA
Application Performance Modeling via Tensor Completion
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出用低秩CP张量分解对应用性能建模,结合张量补全优化,在六个应用中实现高维性能预测,精度和内存效率优于网格模型和监督学习模型。
2023-08-29 cs.DC cs.LG cs.PF