FasTer: Fast Tensor Completion with Nonconvex Regularization
Paradigm. Inc.（4Paradigm公司）；Department of Computer Science and Engineering, Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系）；RIKEN（理化学研究所（RIKEN））；Hong Kong University of Science and Technology（香港科技大学）
低秩张量完备化问题的目标是从有限的观测值中恢复一个张量，它有很多实际应用。凸重叠核模由于其易于优化，已被广泛用于张量完备化。然而，它过度惩罚顶部奇异值并导致有偏估计。在本文中，我们建议使用非凸正则化，它可以更少地惩罚大奇异值，而不是凸张量完成。然而，由于新的正则化子是非凸的，彼此重叠，现有的算法要么太慢或遭受巨大的内存开销。为了解决这些问题，我们开发了一个有效的和可扩展的算法，这是基于近似平均（PA）算法，为现实世界的问题。与直接使用PA算法相比，该算法运行订单速度更快，所需订单空间更少。我们进一步加快所提出的算法与加速技术，并显示收敛到临界点仍然是有保证的。实验比较所提出的方法与其他各种张量完成的方法。实验结果表明，该算法是非常快的，可以产生更好的恢复性能。
2019-01-23 cs.LG stat.ML
Uncertainty quantification for nonconvex tensor completion: Confidence intervals, heteroscedasticity and optimality
Princeton University（普林斯顿大学）
我们研究的分布和不确定性的非凸优化噪声张量完成-估计一个低秩张量的不完整和损坏的观察其条目的问题。专注于Cai等人提出的两阶段估计算法。（2019），我们将这种非凸估计量的分布特征描述为精细尺度。这种分布理论又允许我们为未知的张量项和未知的张量因子构造有效且短的置信区间。所提出的推理过程具有以下几个重要特征：（1）它完全适应噪声异方差，（2）它是数据驱动的，并自动适应未知的噪声分布。此外，我们的研究结果揭示了非凸张量完成的统计最优性：当估计未知张量和潜在张量因子时，它达到了不可改进的$\ell_{2}$精度-包括速率和预常数。
2020-06-15 cs.IT cs.LG math.IT
Low-Rank Hankel Tensor Completion for Traffic Speed Estimation
McGill University（麦吉尔大学）
研究了基于移动传感器稀疏观测的交通状态估计问题。大多数现有的TSE方法依赖于明确定义的物理交通流模型，或者需要大量的仿真数据作为训练机器学习模型的输入。与以往的研究不同，本文提出了一种纯数据驱动和无模型的解决方案。我们认为TSE作为一个时空矩阵完成/插值问题，并应用时空延迟嵌入将原来的不完整矩阵转换成一个四阶Hankel结构张量。通过对这个张量结构施加低秩假设，我们可以以数据驱动的方式近似和表征全局和局部时空模式。我们使用平衡时空展开的截断核范数-其中每列表示原始矩阵中的小块的矢量化-来近似张量秩。提出了一种基于乘子交替方向法（ADMM）的模型学习算法。所提出的框架只涉及两个超参数，空间和时间窗口长度，这是很容易设置给定的数据稀疏度。我们对真实世界的高分辨率弹道数据进行了数值实验，我们的结果证明了所提出的模型在一些具有挑战性的场景中的有效性和优越性。
2022-06-14 cs.LG eess.SP
A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion
Baidu Research（百度研究院）；Paradigm Inc.（第四范式公司）；Tsinghua University（清华大学）；Hong Kong University of Science and Technology（香港科技大学）
矩阵学习是许多机器学习问题的核心。协同过滤、文本挖掘等实际应用都可以归结为低秩矩阵补全问题，即利用低秩假设恢复不完整矩阵。为了确保矩阵解具有低秩，最近的趋势是使用自适应惩罚奇异值的非凸正则化器。它们提供了良好的恢复性能，并具有良好的理论特性，但由于重复访问单个奇异值，计算量很大。本文基于奇异值自适应收缩提高经验性能的关键见解，提出了一种新的非凸低秩正则化器，称为“核范数减Frobenius范数”正则化器，它是可扩展的，自适应的和声音。我们首先证明了它具有自适应收缩特性。此外，我们发现它的因式分解的形式，绕过奇异值的计算，并允许快速优化一般的优化算法。保证了稳定的恢复和收敛。大量的合成和真实世界的数据集上的低秩矩阵完成实验表明，所提出的方法获得了最先进的恢复性能，同时是最快的相比，现有的低秩矩阵学习方法。
2021-02-22 cs.LG stat.ML
Nonconvex Robust High-Order Tensor Completion Using Randomized Low-Rank Approximation
Southwest University（西南大学）；Xi’an Jiaotong University（西安交通大学）；Ningxia University（宁夏大学）；Texas A&M University at Qatar（德州农工大学卡塔尔分校）
本文针对大规模张量计算成本高且现有方法仅适用于三阶张量的问题，在order-d T-SVD框架下设计了两种融合随机技术的低秩近似方法，并提出了双非凸模型及快速优化算法以解决鲁棒高阶张量补全问题，在计算效率和估计精度上均优于现有方法。
2023-05-19 cs.LG
Near-Optimal Nonconvex Matrix Completion
Hong Kong University of Science and Technology（香港科技大学）；Wuhan University（武汉大学）
本研究分析黎曼梯度下降和黎曼高斯-牛顿方法，实现近最优样本复杂度的非凸矩阵补全，达到与凸方法相当的线性秩依赖，并保证精确恢复与快速收敛。
2026-09-16 cs.LG cs.NA math.NA
Nonconvex Low-Rank Tensor Completion from Noisy Data
Princeton University（普林斯顿大学）；Tsinghua University（清华大学）
我们研究了一个具有广泛实际意义的噪声张量完备化问题，即从其条目的高度不完整和随机损坏的观测中重建低秩张量。虽然各种先前的工作一直致力于这个问题，以前的算法要么是计算太昂贵的大规模应用程序，或与次优的统计保证。专注于“不连贯”和良好的条件张量的恒定CP秩，我们提出了一个两阶段的非凸算法-（香草）梯度下降后，粗略的初始化-实现两全其美。具体而言，所提出的非凸算法忠实地完成张量，并在几乎线性的时间内检索所有的个体张量因子，同时享受接近最佳的统计保证（即最小的样本复杂性和最佳的估计精度）。估计误差均匀地分布在所有条目上，从而实现最佳的$\ell_{\infty}$统计精度。我们还讨论了如何扩展我们的方法来适应非对称张量。通过我们对非凸优化的分析所传达的见解可能对其他张量估计问题有影响。
2021-06-03 cs.IT cs.LG math.IT
Matrix Completion with Graph Information: A Provable Nonconvex Optimization Approach
针对图辅助信息矩阵补全问题，提出非凸优化算法GSGD，解决现有图拉普拉斯正则化方法的局限，理论证明其线性收敛到全局最优且样本复杂度近优，实验验证其恢复精度和可扩展性更优。
2025-02-12 cs.LG math.OC
Noisy Matrix Completion: Understanding Statistical Guarantees for Convex Relaxation via Nonconvex Optimization
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了噪声低秩矩阵的完备化问题：给定一个大型低秩矩阵的部分和噪声元素，目标是忠实而有效地估计底层矩阵。可以说，解决这个问题的最流行的范例之一是凸松弛，它在实践中取得了显着的效果。然而，这种方法的理论支持在噪声环境中仍然远远不是最佳的，无法解释其经验上的成功。我们取得了进展，对神秘的凸松弛与随机噪声的实际效果。当未知矩阵的秩和条件数是由一个常数的范围内，我们证明了凸规划方法实现了近最佳的估计误差--在欧氏损失，entrywise损失，和频谱范数损失-在很宽的范围内的噪声水平。所有这些都是通过将凸松弛与非凸Burer-Monteiro方法连接起来实现的，这是一种看似独特的算法范例，可证明对噪声具有鲁棒性。更具体地说，我们表明，一个近似的临界点的非凸制定作为一个非常紧密的近似凸的解决方案，从而使我们能够转移所需的统计保证的非凸的方法，其凸对应。
2019-10-07 cs.IT cs.LG math.IT
No Spurious Local Minima in Nonconvex Low Rank Problems: A Unified Geometric Analysis
Duke University（杜克大学）；University of California, Berkeley（加州大学伯克利分校）
在本文中，我们开发了一个新的框架，捕捉常见的非凸低秩矩阵问题，包括矩阵传感，矩阵完成和强大的PCA的共同景观。特别地，我们证明了所有上述问题（包括非对称情况）：1）所有局部极小值也是全局最优的; 2）不存在高阶鞍点。这些结果解释了为什么简单的算法，如随机梯度下降具有全局收敛性，并在实践中有效地优化这些非凸目标函数。我们的框架连接和简化了现有的分析优化景观矩阵传感和对称矩阵完成。该框架自然会导致新的结果，非对称矩阵完成和强大的PCA。
2017-04-03 cs.LG math.OC stat.ML
Implicit Regularization in Nonconvex Statistical Estimation: Gradient Descent Converges Linearly for Phase Retrieval, Matrix Completion, and Blind Deconvolution
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
近年来，在设计可证明有效的非凸程序来解决统计估计问题方面出现了一系列的活动。由于经验损失的高度非凸性质，最先进的程序通常需要适当的正则化（例如修剪，正则化成本，投影），以保证快速收敛。然而，对于诸如梯度下降之类的常规过程，先验理论要么推荐高度保守的学习率以避免过冲，要么完全缺乏性能保证。本文揭示了非凸优化中一个引人注目的现象：即使在没有显式正则化的情况下，梯度下降也会在各种统计模型下隐式地执行适当的正则化。事实上，梯度下降遵循的轨迹停留在具有良好几何形状的盆地内，由与采样机制不一致的点组成。这种“隐式正则化”特性允许梯度下降以更积极的方式进行，而不会过冲，这反过来又导致大量的计算节省。聚焦于三个基本的统计估计问题，即相位恢复，低秩矩阵完成，和盲反卷积，我们建立了梯度下降实现接近最优的统计和计算保证，而无需显式正则化。特别是，通过将统计建模与通用优化理论相结合，我们开发了一个通用的配方，通过留一法扰动参数分析迭代算法的轨迹。作为一个副产品，嘈杂的矩阵完成，我们证明，梯度下降实现了接近最优的误差控制-测量entrywise和频谱范数-这可能是独立的利益。
2019-07-30 cs.IT cs.LG math.IT
Spatiotemporal Tensor Completion for Improved Urban Traffic Imputation
College of Engineering, Qatar University（卡塔尔大学工程学院）
有效的城市交通管理对于任何智慧城市计划都很重要。因此，传感交通数据的质量至关重要。然而，与任何传感数据一样，城市交通数据也容易出现不完善的情况，从而导致测量数据缺失。本文主要研究区域间交通数据的补齐问题。我们将区域间流量建模为一个时空张量，该张量存在测量缺失的问题。为了恢复丢失的数据，我们提出了一个增强的CANDECOMP/PARAFAC（CP）完成的方法，考虑城市和时间方面的交通。为了获得城市特征，我们将研究区域划分为区域。然后，对于每个区域，我们计算城市特征向量的启发，从生物多样性，用于计算城市相似性矩阵。为了挖掘时间方面，我们首先进行熵分析，以确定最规则的时间序列。然后，我们进行联合傅立叶和相关分析，计算其周期性和构造的时间矩阵。城市和时间矩阵被送入一个修改后的CP完成目标函数。为了解决这个问题，我们提出了一个交替的最小二乘方法，操作的矢量化版本的输入。我们进行了全面的比较研究与两个评估方案。在第一个中，我们模拟随机缺失值。在第二种情况下，我们模拟给定区域和持续时间的缺失值。我们的研究结果表明，我们的方法提供了有效的恢复性能达到26%的改善相比，最先进的CP方法和35%相比，最先进的生成模型为基础的方法。
2021-03-12 cs.LG
Low-Rank Autoregressive Tensor Completion for Spatiotemporal Traffic Data Imputation
Polytechnique Montreal（蒙特利尔理工学院）；McGill University（麦吉尔大学）
时空交通时间序列（例如，交通量/速度）通常是不完整的，具有相当大的损坏和大量的缺失值，这阻止了用户利用数据的全部能力。缺失数据填补一直是一个长期的研究课题，并在现实世界的智能交通系统的关键应用。一种广泛应用的插补方法是低秩矩阵/张量完成，然而，低秩假设仅保留全局结构，而忽略了时空数据的强局部一致性。在本文中，我们提出了一个低秩自回归张量完成（LATC）框架，通过引入\textit{temporal variation}作为一个新的正则化项到完成的三阶（传感器$\times$时间的一天$\times$天）张量。三阶张量结构使我们能够更好地捕捉流量数据的全局一致性，例如固有的季节性和日常相似性。为了实现局部一致性，我们通过对每个时间序列施加AR（$p$）模型来设计时间变化，其中系数作为可学习参数。与以往的空间和时间正则化方案不同，时间变化的最小化可以更好地表征局部平滑之外的时间生成机制，使我们能够处理更具挑战性的情况下，如“停电”失踪。为了解决LATC中的优化问题，我们引入了一个交替的最小化方案，迭代地估计低秩张量和自回归系数。我们进行了大量的数值实验，在几个现实世界的交通数据集，我们的结果表明，LATC在不同的失踪情况下的有效性。
2021-04-30 cs.LG stat.ML
Low-Rank Tensor Completion via Novel Sparsity-Inducing Regularizers
City University of Hong Kong（香港城市大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
针对低秩张量补全中l1范数偏差问题，提出一种生成闭式阈值稀疏正则化器的框架，应用于低tubal秩补全，基于ADMM的高效算法收敛有界且极限点为稳定点，实验性能优于现有方法。
2023-10-10 cs.LG eess.IV eess.SP
Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns
Tongji University（同济大学）
传感器、无线通信、云计算和数据科学的快速发展带来了前所未有的数据量，帮助交通工程师和研究人员做出更好的决策。然而，由于检测器和通信故障，现实中的交通数据往往具有损坏或不完整的值。因此，需要进行数据估算，以确保下游数据驱动应用程序的有效性。为此，许多基于张量的方法处理的插补问题的低秩张量完成（LRTC）已尝试在以前的作品。为了解决秩最小化，这是在LRTC的核心，大多数上述方法利用张量核范数（NN）作为凸代理的最小化。然而，神经网络的过度松弛问题抑制了它在实践中的理想性能。在本文中，我们定义了一个创新的非凸截断Schatten p-范数张量（TSPN）近似张量秩和LRTC框架下的缺失时空交通数据。我们将交通数据建模为三阶张量结构（时间间隔，位置（传感器），天），并根据张量模式n纤维引入四种复杂的缺失模式，包括随机缺失和三种纤维状缺失情况。尽管在我们的模型中的目标函数的非凸性，我们得到的全局最优解，通过集成交替方向的乘法器（ADMM）与广义软阈值（GST）。此外，我们设计了一个截断率衰减策略来处理不同的缺失率的情况下。实验结果表明，LRTC-TSpN方法在各种缺失情况下均表现良好，同时在几乎所有场景下均优于其他SOTA基于张量的插补模型.
2022-05-19 cs.LG stat.ML
Nonconvex Approach for Sparse and Low-Rank Constrained Models with Dual Momentum
National Taiwan University（台湾大学）
本文提出非凸秩替代项及对偶动量技巧，用于RPCA和LRR模型，通过ADMM优化，在图像补全、去噪和谱聚类中取得最优性能。
2019-06-06 cs.LG cs.NA math.NA
Inference and Uncertainty Quantification for Noisy Matrix Completion
Princeton University（普林斯顿大学）
噪声矩阵完备化的目的是估计一个低秩矩阵，只有部分和损坏的条目。尽管在设计有效的估计算法方面取得了实质性进展，但在很大程度上仍然不清楚如何评估所获得的估计的不确定性以及如何对未知矩阵（例如，为看不见的条目构造有效且短的置信区间）。本文采取了一个步骤的推理和不确定性量化噪声矩阵完成。我们开发了一个简单的程序来补偿广泛使用的凸和非凸估计的偏差。由此产生的去偏估计承认几乎精确的非渐近分布特征，这反过来又使置信区间\，/\，区域的最佳建设，说，丢失的条目和低秩的因素。我们的推理过程不依赖于样本分割，从而避免了不必要的数据效率损失。作为一个副产品，我们得到了我们的去偏估计，这是据我们所知，是第一个易于处理的算法，可证明达到充分的统计效率（包括preconstant）的估计精度的尖锐表征。本文的分析建立在凸优化和非凸优化之间的密切联系之上--这是\cite{chen2019noisy}最近发现的一个有吸引力的特征。
2019-11-14 cs.IT cs.LG eess.SP
Rank-1 Matrix Completion with Gradient Descent and Small Random Initialization
Samsung Electronics（三星电子）；KAIST（韩国科学技术院）
本文研究秩-1对称矩阵补全问题，证明梯度下降在小随机初始化下可收敛到真实解，并给出初始化规模上界及隐式正则化在收敛过程中的关键作用。
2025-07-02 cs.IT cs.LG math.IT
Provable Low Rank Plus Sparse Matrix Separation Via Nonconvex Regularizers
University of Pittsburgh（匹兹堡大学）；UPMC Hillman Cancer Center（匹兹堡大学医学中心希尔曼癌症中心）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文考虑了一个大类的问题，我们试图恢复一个低秩矩阵和/或稀疏向量从一些测量。虽然基于凸松弛的方法遭受（可能很大）估计偏差，和其他非凸方法需要的秩或稀疏性是已知的先验，我们使用非凸正则化，以最大限度地减少秩和$l_0$规范没有估计偏差的凸松弛。我们提出了一种新的分析交替近端梯度下降算法应用到这样的问题，并绑定的迭代和地面真实稀疏和低秩矩阵之间的误差。该算法和误差界可以应用于稀疏优化，矩阵补充，和鲁棒主成分分析作为我们的结果的特殊情况。
2021-09-26 cs.LG math.OC stat.ML
LRSVRG-IMC: An SVRG-Based Algorithm for LowRank Inductive Matrix Completion
Sun Yat-sen University（中山大学）
低秩归纳矩阵完备（IMC）目前被广泛应用于物联网数据完备、推荐系统等领域，其边信息在减少样本点方面表现出巨大潜力，但这仍然是IMC非凸解收敛的主要障碍。更重要的是，仅仅仔细选择初始解通常并不能帮助去除鞍点。为了解决这个问题，我们提出了一个随机方差减少梯度为基础的算法称为LRSVRG-IMC。LRSVRG-IMC在各种低秩和稀疏条件下，通过适当选择初始输入，可以从鞍点逃逸。我们还证明了LRSVRG-IMC实现了线性收敛速度和接近最优的样本复杂度。在人工数据集上的实验验证了LRSVRG-IMC的优越性和适用性。
2022-01-21 cs.LG
Low-rank Tensor Learning with Nonconvex Overlapped Nuclear Norm Regularization
非凸正则化在低秩矩阵学习中得到了广泛的应用。然而，将其扩展到低秩张量学习仍然是计算昂贵的。为了解决这个问题，我们开发了一个有效的求解器，用于与重叠核范数正则化的非凸扩展。该算法基于近似平均算法，避免了昂贵的张量折叠/展开操作。一个特殊的“稀疏加低秩”结构在整个迭代过程中保持不变，并允许快速计算各个邻近步骤。使用自适应动量进一步提高了经验收敛性。我们提供收敛保证光滑损失的临界点，也满足库尔迪卡-Jasojasiewicz条件的目标。当优化问题是非凸非光滑的时，我们证明了它的临界点在张量完备化问题上仍然具有良好的统计性能。在各种合成数据集和真实数据集上的实验表明，该算法在时间和空间上都是有效的，并且比现有的最先进的算法更准确。
2022-05-06 cs.LG stat.ML
Scalable Low-Rank Tensor Learning for Spatiotemporal Traffic Data Imputation
Polytechnique Montreal（蒙特利尔理工学院）；Sun Yat-Sen University（中山大学）；McGill University（麦吉尔大学）
时空交通数据中的缺失值问题一直是一个具有挑战性的课题，特别是对于大规模、高维、缺失机制复杂、缺失程度各异的数据。最近的研究基于张量核范数证明了张量学习在填补任务中的优越性，通过有效地表征时空数据中复杂的相关性/依赖性。然而，尽管有希望的结果，这些方法不能很好地扩展到大数据张量。本文主要研究大规模时空交通数据的缺失数据插补问题。为了实现高精度和高效率，我们开发了一个可扩展的张量学习模型-低秩Tensor Completion（LSTC-Tubal）-基于现有的低秩Tensor Completion框架，这是非常适合的时空交通数据，其特征是多维结构的位置$\times$时间的一天$\times$天。特别地，所提出的LSTC-Tubal模型涉及通过集成线性酉变换的可伸缩张量核范数最小化方案。因此，张量核范数最小化可以通过对每天的变换矩阵进行奇异值阈值处理来解决，而酉变换矩阵可以有效地保留每天的相关性。我们将LSTC-Tubal与最先进的基线模型进行了比较，发现LSTC-Tubal可以以显着更低的计算成本实现具有竞争力的精度。此外，LSTC-Tubal还将有利于大规模时空交通数据建模的其他任务，例如网络级交通预测。
2021-06-12 cs.LG stat.ML
Long-Short Term Spatiotemporal Tensor Prediction for Passenger Flow Profile
Hong Kong University of Science and Technology（香港科技大学）；Arizona State University（亚利桑那州立大学）；Tsinghua University（清华大学）
时空数据在许多应用中非常普遍，例如制造系统和运输系统。由于固有的复杂的空间和时间相关性，通常难以准确预测。大多数现有的方法基于各种统计模型和正则化项，无法保留数据中的固有特征及其复杂的相关性。在本文中，我们专注于基于张量的预测，并提出了几个实用的技术，以提高预测。针对长期预测，提出了“张量分解+二维自回归滑动平均（2D-ARMA）”模型，并提出了一种实时更新预测的有效方法;针对短期预测，提出了基于张量聚类的张量补全方法，避免了过度简化，保证了准确性。基于地铁客流数据的案例研究证明了改进的性能。
2020-04-23 cs.LG eess.SP stat.AP
A Survey on Nonconvex Regularization Based Sparse and Low-Rank Recovery in Signal Processing, Statistics, and Machine Learning
Shanghai Jiao Tong University（上海交通大学）
在过去的十年中，稀疏和低秩恢复在信号/图像处理、统计学、生物信息学和机器学习等领域引起了广泛的关注。为了实现稀疏性和/或低秩诱导，$\ell_1$范数和核范数由于其凸性而成为最流行的正则化惩罚。虽然$\ell_1$和核范数是方便的，因为相关的凸优化问题通常是易处理的，但在许多应用中已经表明，非凸惩罚可以产生显着更好的性能。近年来，基于非凸正则化的稀疏和低秩恢复引起了人们的极大兴趣，事实上，它是非凸和非光滑优化的最新进展的主要驱动力。本文综述了这一主题在信号处理、统计和机器学习的各个领域，包括压缩感知（CS）、稀疏回归和变量选择、稀疏信号分离、稀疏主成分分析（PCA）、大协方差和逆协方差矩阵估计、矩阵完备和鲁棒PCA。我们目前的非凸正则化为基础的稀疏和低秩恢复在这些领域的最新发展，解决问题的惩罚选择，应用和非凸算法的收敛性。代码可在https://github.com/FWen/ncreg.git上获得。
2019-06-06 cs.IT cs.LG eess.SP
Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation from Incomplete Measurements
Carnegie Mellon University（卡内基梅隆大学）；University of Chicago（芝加哥大学）；Air Force Research Laboratory（美国空军研究实验室）
张量为表示多属性数据和多方式交互提供了强大而灵活的模型，在科学和工程各个领域的现代数据科学中发挥着不可或缺的作用。一个基本的任务是忠实地恢复张量从高度不完整的测量在统计和计算效率的方式。利用Tucker分解中张量的低秩结构，本文提出了一种尺度梯度下降算法（ScaledGD）算法，以直接恢复张量因子与定制的频谱初始化，并表明，它可证明收敛在一个线性速率独立的地面真理张量的条件数的两个典型问题-张量完成和张量回归-只要样本大小高于$n^{3/2}$的数量级，忽略其他参数依赖性，其中$n$是张量的维数。与现有技术相比，这导致对低秩张量估计的极其可扩展的方法，现有技术遭受以下缺点中的至少一个：对病态的极端敏感性、在存储器和计算方面的高每次迭代成本、或差的样本复杂度保证。据我们所知，ScaledGD是第一个同时实现接近最佳统计和计算复杂性的低秩张量完成与塔克分解的算法。我们的算法突出了适当的预处理在加速非凸统计估计中的作用，其中迭代变化的预处理器促进了低秩张量因子分解中关于潜在对称性的轨迹的理想不变性。
2022-06-22 cs.IT cs.LG eess.SP
Recommendations with Sparse Comparison Data: Provably Fast Convergence for Nonconvex Matrix Factorization
EPFL（瑞士联邦理工学院）；TUM（慕尼黑工业大学）
本文研究用户通过成对比较给出反馈的推荐问题，证明非凸损失在真实解附近具有受限强凸性，使梯度方法在稀疏比较数据下借助热启动实现指数级快速收敛。
2025-08-19 cs.LG
Low-Rank Tensor Learning by Generalized Nonconvex Regularization
School of Mathematics and Statistics, Central China Normal University（华中师范大学数学与统计学学院）；Department of Mathematics, Hong Kong Baptist University（香港浸会大学数学系）
针对少量观测下的低秩张量学习，提出基于变换张量核范数的非凸正则化模型与 PMM 算法，并证明误差界、全局收敛性及实验优势。
2024-10-24 cs.LG
Factor Group-Sparse Regularization for Efficient Low-Rank Matrix Recovery
Cornell University（康奈尔大学）
本文提出了一类新的非凸正则化子，用于低秩矩阵的恢复。许多正则化子的动机是作为矩阵秩函数的凸松弛。我们的新的因子组稀疏正则化的动机是作为一个放松的非零列的矩阵分解的数量。这些非凸正则化子比核规范更尖锐，事实上，我们证明了它们与任意小$0 < p \leq 1$的Schatten-$p$规范有关。此外，这些因子组稀疏正则化器可以写成因子化的形式，从而实现高效和有效的非凸优化;值得注意的是，该方法不使用奇异值分解。我们提供了低秩矩阵完备化的泛化误差界，这表明随着$p$的减小，Schatten- $p$范数正则化的上界得到了改进。与核范数的最大范数和因子化形式相比，因子组稀疏正则化更有效，更准确，并且对秩的初始猜测具有鲁棒性。实验结果表明，因子组稀疏正则化方法在低秩矩阵完备化和鲁棒主成分分析中具有良好的性能。
2019-11-18 cs.LG stat.ML
Top-N Recommender System via Matrix Completion
Southern Illinois University（南伊利诺伊大学）
Top-N推荐系统在工业界和学术界都得到了广泛的研究。然而，推荐质量远远不能令人满意。在本文中，我们提出了一个简单而有前途的算法。我们基于低秩假设填充用户-项目矩阵，同时保持原始信息。为此，采用非凸秩松弛而不是核范数来提供更好的秩逼近，并设计了一种有效的优化策略。在真实数据集上进行的一系列实验表明，该方法将Top-N推荐的准确率提高到了一个新的水平。
2016-01-19 cs.AI cs.IR cs.LG
Fourier Low-rank and Sparse Tensor for Efficient Tensor Completion
University of Michigan Ann Arbor（密歇根大学安娜堡分校）
针对传统低秩张量补全模型无法捕捉科学数据独特时空模式的问题，提出沿时间维傅里叶分解的FLoST模型，以低秩+稀疏结构分别建模高低频，参数量更少、效率更高，在准确率和可解释性上均优于现有模型。
2025-05-16 cs.LG stat.ME
MNT-TNN: Spatiotemporal Traffic Data Imputation via Compact Multimode Nonlinear Transform-based Tensor Nuclear Norm
Institute of Intelligent Machines, Hefei Institutes of Physical Science, Chinese Academy of Sciences（智能机器研究所，合肥物理科学研究院，中国科学院）；University of Science and Technology of China（中国科学技术大学）
提出基于多模式非线性变换张量核范数的MNT-TNN方法，结合PAM算法和ATTNNs框架，有效补全随机缺失的时空交通数据，在真实数据集上优于现有方法。
2025-09-26 cs.LG
A framework to generate sparsity-inducing regularizers for enhanced low-rank matrix completion
针对半二次优化得到的正则化项通常不具稀疏诱导性的问题，提出一种可生成带闭式邻近算子的稀疏诱导正则化项的框架，结合常用损失函数生成的正则化项用于低秩矩阵补全，实验验证了方法在恢复性能和运行时间上的有效性。
2023-10-08 cs.IR cs.LG eess.AS
Nonconvex Optimization Meets Low-Rank Matrix Factorization: An Overview
Carnegie Mellon University（卡内基梅隆大学）；Harvard University（哈佛大学）；Princeton University（普林斯顿大学）
近年来，在通过非凸优化来开发可证明准确和有效的低秩矩阵分解算法方面取得了实质性进展。虽然传统的智慧往往采取了非凸优化算法，由于他们的敏感性虚假的局部最小值，简单的迭代法，如梯度下降在实践中取得了显着的成功。然而，直到最近，理论基础在很大程度上仍然缺乏。在这个教程式的概述中，我们强调了统计模型在实现具有性能保证的高效非凸优化方面的重要作用。我们回顾了两种对比的方法：（1）两阶段算法，其中包括一个定制的初始化步骤，随后连续细化;和（2）全球景观分析和初始化免费算法。讨论了几个典型的矩阵分解问题，包括但不限于矩阵传感，相位恢复，矩阵完成，盲反卷积，鲁棒主成分分析，相位同步，和联合对准。特别注意说明他们的分析背后的关键技术见解。这篇文章证明了最优化和统计的综合考虑导致了丰硕的研究成果。
2019-09-19 cs.IT cs.LG eess.SP
Robust Low-Rank Matrix Completion via a New Sparsity-Inducing Regularizer
City University of Hong Kong（香港城市大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
本研究提出了带闭式邻近算子的HOW稀疏诱导正则化器，将其用于鲁棒低秩矩阵补全，基于交替方向乘子法构建高效算法，在合成与真实数据集上恢复性能优于现有最优方法。
2023-10-07 cs.LG eess.IV eess.SP
Nonconvex Federated Learning on Compact Smooth Submanifolds With Heterogeneous Data
KTH Royal Institute of Technology（皇家理工学院）；UC Berkeley（加州大学伯克利分校）；The Chinese University of Hong Kong（香港中文大学）
针对异质客户端数据下紧致光滑子流形上的非凸联邦学习问题，提出融合随机黎曼梯度、流形投影与局部更新的算法，证明其次线性收敛并显著降低计算与通信开销。
2024-06-12 cs.DC cs.LG
Tensor p-shrinkage nuclear norm for low-rank tensor completion
基于张量奇异值分解（t-SVD），提出了一种新的张量p收缩核范数（p-TNN）的定义.特别地，可以证明当p < 1时，p-TNN比张量核范数更好地逼近张量平均秩。因此，通过使用p-收缩核范数，提出了一种新的低秩张量完备（LRTC）模型，从其部分观测值估计张量。在统计上，给出了LRTC模型的恢复误差上界。此外，一个有效的算法，加速的自适应动量计划，开发解决由此产生的非凸优化问题。在光滑性假设下，可以进一步保证算法具有全局收敛速度。在合成数据集和真实数据集上进行的数值实验验证了我们的结果，并证明了我们的p-TNN在LRTC问题中的优越性。
2019-07-09 cs.LG stat.ML
Tensor Completion for Weakly-dependent Data on Graph for Metro Passenger Flow Prediction
The Hong Kong University of Science and Technology（香港科技大学）；Arizona State University（亚利桑那州立大学）；Tsinghua University（清华大学）
由于张量数据的普遍存在，低秩张量分解和完备化引起了学术界的极大兴趣。然而，低秩结构是一个全局属性，当数据呈现复杂和弱依赖性时，给定特定的图结构，这将无法实现。一个特定的应用，激发这项研究是时空数据分析。如初步研究所示，弱依赖性会恶化低秩张量完成性能。本文通过引入$L_{1}$ -范数惩罚和图拉普拉斯惩罚，提出了一种新的低秩CANDECOMP / PARAFAC（CP）张量分解和完成框架，用于对图的弱依赖进行建模.我们进一步提出了一个有效的优化算法的基础上的块坐标下降有效的估计。基于香港地铁客流数据进行了案例研究，以证明改进的性能比常规张量完成方法。
2019-12-11 cs.LG stat.ML
Large-Scale Low-Rank Matrix Learning with Nonconvex Regularizers
Paradigm Inc（第四范式公司）；Hong Kong University of Science and Technology（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）
低秩建模在计算机视觉和机器学习中有着重要的应用。虽然矩阵秩通常由凸核范数近似，但使用非凸低秩正则化子已证明具有更好的经验性能。然而，由此产生的优化问题更具挑战性。最近的最新技术要求在每次迭代中进行昂贵的完整SVD。在本文中，我们表明，对于许多常用的非凸低秩正则化，可以推导出一个截止自动阈值的奇异值从邻近算子。这使得这样的运营商被有效地近似幂方法。在此基础上，我们提出了一个近似梯度算法（及其加速变体）与不精确的邻近分裂，并证明了收敛速度为O（1/T），其中T是迭代次数是保证。此外，我们表明，该算法可以很好地并行化，实现了接近线性的加速比w.r.t的线程数。对矩阵完备化和鲁棒主成分分析进行了大量的实验，结果表明，与现有技术相比，该方法具有显著的加速效果。此外，所得到的矩阵解比核范数正则化更精确，且秩更低。
2018-07-23 cs.AI cs.LG stat.ML
Generalized Least Squares Kernelized Tensor Factorization
McGill University（麦吉尔大学）
针对恢复多维张量结构数据问题，提出GLSKF框架，通过整合全局与局部相关分量，利用协方差正则化等方法建模，结合交替最小二乘算法求解，在多个实际数据补全任务中展现出卓越性能和良好扩展性。
2026-07-22 cs.CV cs.LG stat.ML
MLCTR: A Fast Scalable Coupled Tensor Completion Based on Multi-Layer Non-Linear Matrix Factorization
New Jersey Institute of Technology（新泽西理工学院）；Central Michigan University（中密歇根大学）
公司盈余预测对公司投资决策、股利预期和股票价格都有着重要的影响。它通常涉及多个张量兼容的数据集，这些数据集具有非线性多路关系，时空结构和不同的稀疏度。目前的非线性张量补全算法往往会学习噪声嵌入并导致过拟合。针对张量完备化问题的嵌入学习问题，提出了一种新的多层神经网络结构的张量因式分解与完备化算法（MLCTR）。该网络架构具有多个优点：一系列低秩矩阵分解（MF）构建块，以最大限度地减少过拟合，非线性的每一层中的交错传递函数，以及旁路连接，以减少梯度衰减问题并增加神经网络的深度。此外，该模型采用基于随机梯度下降（SGD）的优化，以快速收敛的训练。我们的算法是非常有效的插补缺失值的EPS数据。实验证实，我们在因子矩阵中引入非线性的策略在嵌入学习和端到端张量模型中表现出令人印象深刻的性能，并且在从因子矩阵重建张量的阶段中优于非线性方法。
2021-09-04 cs.LG
Near-optimal sample complexity for convex tensor completion
University of British Columbia（不列颠哥伦比亚大学）
我们分析低秩张量完成（TC）使用噪声测量的张量的子集。假设秩为- $r$，阶为- $d$，$N \times N \times \cdots \times N$张量，其中$r=O(1)$，所实现的最佳采样复杂度为$O(N^{\frac{d}{2}})$，其通过求解张量核范数最小化问题来获得。然而，这个界限是显着大于自由变量的数量在一个低秩张量是$O(dN)$。在本文中，我们表明，通过使用一个原子范数的原子秩$1$符号张量，可以得到一个样本复杂度为$O(dN)$。此外，我们推广矩阵最大范数的定义张量，这将导致一个最大准范数（max-qnorm）的单位球具有小的Rademacher复杂度。我们证明，解决约束最小二乘估计使用凸原子范数或非凸max-qnorm结果在低秩张量完成问题的最佳样本复杂度。此外，我们表明，这些界限是近极大极小率最优的。我们还提供了有前途的数值结果最大qnorm约束张量完成，显示出改善的恢复结果相比，矩阵化和交替最小二乘。
2017-11-14 cs.LG math.OC stat.ML
Smooth Robust Tensor Completion for Background/Foreground Separation with Missing Pixels: Novel Algorithm with Convergence Guarantee
Virginia Tech（弗吉尼亚理工大学）
本研究的目的是通过将视频采集、视频恢复、背景/前景分离结合到一个框架中来解决具有缺失像素的背景/前景分离问题。为了实现这一点，平滑鲁棒张量完成（SRTC）模型被提出来恢复数据，并将其分解为静态背景和平滑前景，分别。具体地说，静态背景建模的低秩塔克分解和平滑的前景（运动物体）建模的时空连续性，这是由总变分正则化。基于张量近似交替最小化（tensor proximate alternative minimization，tenPAM）的有效算法实现求解所提出的模型，在非常温和的条件下具有全局收敛性保证。大量的实验表明，该方法显着优于国家的最先进的方法，背景/前景分离与丢失像素。
2022-04-11 cs.CV cs.LG stat.ML
Dense Air Quality Maps Using Regressive Facility Location Based Drive By Sensing
Indraprastha Institute of Information Technology, Delhi（德里 Indraprastha 信息技术学院）
目前，固定静态传感是监测城市空气质量等环境数据的主要方法。然而，为了获得密集的空间覆盖，需要大量的静态监测器，从而使其成为一个昂贵的选择。密集的时空覆盖，可以实现只有一小部分的静态传感器部署在移动的车辆，被称为驱动传感范式。空气质量数据中存在的冗余可以通过处理稀疏采样数据来利用，以使用矩阵完成技术来估算剩余的未观测数据点。然而，插补的准确性取决于移动传感器捕获空气质量矩阵的固有结构的程度。因此，挑战在于选择那些在空间和时间上执行代表性采样的路径集合（使用车辆）。车辆子集选择的文献中的大多数作品都集中在通过最大化不同位置和时间戳的样本数量来最大化时空覆盖，这不是一个有效的代表性采样策略。我们提出了回归设施的位置为基础的驱动器的传感，一个有效的车辆选择框架，结合了在相邻位置的平滑度和自回归时间相关性，同时选择最佳的一组车辆进行有效的时空采样。我们表明，所提出的驱动器的传感问题是次模块化的，从而借给自己的贪心算法，但性能保证。我们评估我们的框架，从印度德里的公共交通车队中选择一个子集。我们说明了所提出的方法样本的代表性时空数据对基线方法，减少外推误差的模拟空气质量数据。因此，我们的方法有可能提供具有成本效益的密集空气质量地图。
2022-01-20 cs.LG eess.SP
Fast Low-Rank Matrix Learning with Nonconvex Regularization
Department of Computer Science and Engineering（计算机科学与工程系）；Hong Kong University of Science and Technology（香港理工大学）
本文提出一种利用非凸正则化快速学习低秩矩阵的方法，通过截断奇异值和幂方法提升效率，实现更准确的矩阵恢复。
2015-12-03 cs.LG cs.NA math.NA
Tensor Full Feature Measure and Its Nonconvex Relaxation Applications to Tensor Recovery
Northwest A&F University（西北农林科技大学）
张量稀疏建模作为一种很有前途的方法，在整个科学和工程领域都取得了巨大的成功。众所周知，实际应用中的各种数据往往是由多个因素产生的，因此使用张量来表示包含多个因素内部结构的数据应运而生。然而，与矩阵情形不同，构造合理的张量稀疏测度是一个相对困难而又非常重要的任务。因此，在本文中，我们提出了一种新的张量稀疏性度量称为张量全特征度量（FFM）。它可以同时描述张量的各个维的特征信息以及两维之间的相关特征，并将Tucker秩与张量管秩联系起来。这种度量方法可以更全面地描述张量的稀疏特征。在此基础上，建立了它的非凸松弛，并将其应用于低秩张量完备化（LRTC）和张量鲁棒主成分分析（TRPCA）。提出了基于FFM的LRTC和TRPCA模型，并给出了求解该模型的两种有效的交替方向乘子法（ADMM）算法。各种真实的数值实验证实了所提出的方法超越国家的最先进的优越性。
2022-07-11 cs.CV cs.LG
LRTuckerRep: Low-rank Tucker Representation Model for Multi-dimensional Data Completion
Department of Statistics and Data Science, Southern University of Science and Technology（统计与数据科学系，南方科技大学）
提出LRTuckerRep模型，统一低秩与平滑先验于Tucker分解，实现高缺失率下多维数据高效精准补全。
2025-08-04 cs.CV cs.LG cs.NA
Fast and Accurate Power Load Data Completion via Regularization-optimized Low-Rank Factorization
Chongqing Aerospace Polytechnic（重庆航天职业技术学院）；Dongfang Electronics Co.,Ltd（东方电子股份有限公司）；China Mobile Cloud Capability Center（中国移动云能力中心）；Southwest University（西南大学）
针对电力负荷数据缺失问题，提出基于PID控制器自适应调整正则化系数的低秩分解方法，在保持随机梯度下降效率的同时提升插补精度与训练效率。
2025-06-22 cs.LG
A Linearized Alternating Direction Multiplier Method for Federated Matrix Completion Problems
University of Dayton Research Institute, University of Dayton（代顿大学研究院，代顿大学）；Oakland University（奥克兰大学）
针对分布式隐私场景下的矩阵补全，提出融合 ADMM、随机块坐标与近似梯度的 FedMC-ADMM，并证明其收敛与通信复杂度，实验显示性能更优。
2025-03-18 cs.LG
Low-rank matrix completion and denoising under Poisson noise
Georgia Institute of Technology（佐治亚理工学院）
本文针对泊松噪声下的低秩矩阵去噪与补全问题，分析三种估计器并给出依赖秩、观测比例及行列和的上界误差，证明其极小极大最优性，并扩展到多项情形。
2020-04-30 cs.LG math.ST stat.ML
Spectra-Guided Neural Tucker Factorization
School of Automation, Chongqing University of Posts and Telecommunications（重庆邮电大学自动化学院）；College of Computer and Information Science, School of Software, Southwest University（西南大学计算机与信息科学学院、软件学院）
提出光谱引导的神经Tucker分解（SG-NTF），通过连续光谱空间映射和时空共门控机制，实现高维不完整张量的高效补全。
2026-05-30 cs.LG stat.ML
Symmetric Matrix Completion with ReLU Sampling
Antai College of Economics and Management, Shanghai Jiao Tong University（上海交通大学安泰经济与管理学院）；University of Michigan（密歇根大学）；Michigan State University（密歇根州立大学）
本文研究ReLU采样下的对称半正定低秩矩阵补全问题，证明非凸目标在植入解附近具有测地强凸性，并提出一种定制初始化方法使梯度下降始终收敛到全局最优。
2024-06-09 cs.LG stat.ML
Tailed Low-Rank Matrix Factorization for Similarity Matrix Completion
Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science & Innovation, CAS（中国科学院香港创新研究院人工智能与机器人中心）；The Hong Kong Polytechnic University（香港理工大学）
本文针对相似度矩阵补全中计算复杂度高和低秩最优解难以保证的问题，提出利用半正定性质并结合非凸秩最小化正则项的新框架，设计了SMCNN和SMCNmF两种算法，在真实数据集上验证了其优越性和高效性。
2024-09-29 cs.LG
Low-Rank Approximation and Completion of Positive Tensors
University of California, Berkeley（加州大学伯克利分校）
与矩阵情况不同，计算张量的低秩近似是NP困难的，并且通常是数值不适定的。即使是张量的最佳秩-1近似也是NP困难的。在本文中，我们使用凸优化发展多项式时间算法的低秩逼近和完善的正张量。我们的方法是使用代数拓扑定义一个新的（数值适定性）分解的正张量，我们证明是等价的标准张量分解在重要的情况下。虽然计算这个分解是一个非凸的最优化问题，我们证明了它可以精确地转化为凸优化问题。这使我们能够构造多项式时间的随机算法来计算这种分解和解决低秩张量近似问题。结果之一是，正张量的最佳秩1近似可以在多项式时间内计算。我们的框架下一个扩展到张量完成问题，其中张量的噪声条目被观察到，然后用于估计丢失的条目。我们提供了一个多项式时间算法，对于特定的情况下，需要一个多项式（张量顺序）数量的测量，与现有的方法，需要一个指数数量的测量。这些算法被扩展到利用张量的稀疏性，以减少所需的测量次数。最后，我们提供了一个新的解释统计回归问题的分类变量张量完成问题，和合成数据和数据从生物工程代谢网络的数值例子表明，我们的方法在这个问题上的改进性能。
2016-09-13 cs.LG math.ST stat.TH
Robust Tensor Completion via Gradient Tensor Nulclear L1-L2 Norm for Traffic Data Recovery
School of Mathematics and Statistics, Xi’an Jiaotong University（数学与统计学学院，西安交通大学）；Department of Civil Engineering, McGill University（土木工程系，麦吉尔大学）
针对交通数据同时存在缺失和噪声的双重退化问题，提出基于梯度张量核L1-L2范数的鲁棒张量补全模型RTC-GTNLN，无需权衡参数即可同时利用全局低秩性与局部一致性，在复杂恢复场景中优于现有方法。
2025-06-28 cs.LG eess.SP stat.ML
