On Tensor Completion via Nuclear Norm Minimization
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Rutgers University（罗格斯大学）
本文提出通过直接最小化张量核范数进行张量补全，证明该方法能提升采样需求，发展了张量核范数的子微分刻画和张量鞅集中不等式等技术。
2014-05-07 cs.IT cs.NA math.IT
Learning Parameters for Weighted Matrix Completion via Empirical Estimation
最近，理论上的保证已经获得了矩阵完成在非均匀采样制度。特别是，如果抽样分布与底层矩阵的杠杆分数一致，那么核范数最小化将以高概率精确地恢复低秩矩阵。在本文中，我们分析了非均匀抽样分布可能与基础矩阵的杠杆分数一致或不一致的情况。在这里，我们探索学习加权核范数最小化的经验抽样分布的参数。我们为这些学习的权重提供了一个充分条件，为加权核范数最小化提供了一个精确的恢复保证。它已经建立了一个具体的选择的权重，在真实的采样分布不仅允许加权核范数最小化，以准确地恢复低秩矩阵，但也允许在精确的恢复条件的量化放松。在这篇文章中，我们扩展了这种可量化的放松，在确切的恢复条件下，定义类似的经验分布，而不是真正的抽样分布的权重的具体选择。为了实现这一点，我们采用了浓度的测量界和大偏差界。我们还提出了健康的鲁棒性的加权核范数最小化算法的经验学习的权重的选择的数值证据。这些数值实验表明，对于各种易于计算的经验权重，加权核范数最小化优于非加权核范数最小化在非均匀采样制度。
2015-04-02 stat.ML
Understanding Alternating Minimization for Matrix Completion
IBM Research Almaden（IBM阿尔马登研究院）
本文针对矩阵补全的交替最小化方法，提出基于幂法收敛分析与QR分解平滑分析的新算法，大幅降低样本量需求，运行时间接近线性，样本边界优于多数次二次时间算法。
2026-08-11 cs.DS cs.LG stat.ML
Low Rank Matrix Completion via Robust Alternating Minimization in Nearly Linear Time
Institute of Advanced Study（高等研究院）；Adobe Research（奥多比研究院）；Boston University（波士顿大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出一种对近似更新误差具有鲁棒性的交替最小化框架，将低秩矩阵补全的运行时间从近线性于验证时间的角度改进为 $\widetilde O(|Ω| k)$，优于此前 $\widetilde O(|Ω| k^2)$ 的方法。
2024-04-01 cs.DS cs.LG math.OC
Incoherent Tensor Norms and Their Applications in Higher Order Tensor Completion
本文研究了高阶张量完备化核范数极小化方法的样本量要求。我们通过允许不同水平的相干性来引入一类张量范数，这使我们能够利用张量的不相干性。特别是，我们表明，$k$阶张量的秩$r$和尺寸$d\times\cdots\times d$可以完美地恢复从尽可能少的$O((r^{(k-1)/2}d^{3/2}+r^{k-1}d)(\log(d))^2)$均匀采样条目通过适当的非相干核范数最小化。我们的研究结果证明了完成矩阵和高阶张量之间的一些关键差异：它们不仅指出了通常的核范数最小化的潜在改进空间，而且还强调了在处理高阶张量时明确考虑不相干性的重要性。
2016-06-10 cs.IT math.IT math.OC
Tensor Ring Decomposition with Rank Minimization on Latent Space: An Efficient Approach for Tensor Completion
Saitama Institute of Technology（埼玉工业大学）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）；Imperial College London（帝国理工学院）；Hangzhou Dianzi University（杭州电子科技大学）；Guangdong University of Technology（广东工业大学）
传统的低秩张量分解模型在张量补全任务中，由于模型敏感性高，存在模型选择困难的问题。特别地，对于张量环（TR）分解，模型可能性的数量随着张量阶数呈指数增长，这使得找到最佳TR分解变得相当具有挑战性。在本文中，通过利用TR潜在空间的低秩结构，我们提出了一种新的张量完成方法，这是强大的模型选择。与对数据空间施加低秩约束不同，我们在潜在TR因子上引入核范数正则化，从而在更小的尺度上执行使用奇异值分解（SVD）的优化步骤。利用交替方向乘子法（ADMM）方案，可以同时获得具有最佳秩的潜在TR因子和恢复张量。我们提出的算法被证明可以有效地减轻TR秩选择的负担，从而大大降低了计算成本。在合成数据和真实数据上的大量实验结果表明，所提出的方法对最先进的算法具有优越的性能和效率。
2018-11-30 cs.CV cs.LG stat.ML
Accelerating Ill-Conditioned Low-Rank Matrix Estimation via Scaled Gradient Descent
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
低秩矩阵估计是在信号处理、机器学习和成像科学中发现大量应用的典型问题。在实践中，一种流行的方法是将矩阵分解为两个紧凑的低秩因子，然后通过简单的迭代法（如梯度下降和交替最小化）直接优化这些因子。尽管非凸性，最近的文献表明，这些简单的算法实际上实现线性收敛时，适当的初始化越来越多的问题的兴趣。然而，经过仔细检查，现有的方法仍然可以是计算昂贵的，特别是病态矩阵：梯度下降的收敛速度线性依赖于低秩矩阵的条件数，而交替最小化的每次迭代的成本往往是禁止的大矩阵。本文的目标是提出一种有竞争力的算法方法，称为缩放梯度下降（ScaledGD），它可以被视为预条件或对角缩放的梯度下降，其中的预条件是自适应的和迭代变化的最小的计算开销。通过针对低秩矩阵检测、鲁棒主成分分析和矩阵完备的定制变体，我们从理论上证明了ScaledGD实现了两全其美：它以独立于低秩矩阵的条件数的速率线性收敛，类似于交替最小化，同时保持了梯度下降的低迭代成本。我们的分析也适用于一般的损失函数，限制强凸和光滑的低秩矩阵。据我们所知，ScaledGD是第一个可证明在广泛的低秩矩阵估计任务中具有此类属性的算法。
2021-06-14 cs.IT cs.LG eess.SP
Tensor Completion Made Practical
Massachusetts Institute of Technology（麻省理工学院）
针对低秩张量补全中现有方法难兼顾理论保证与实用性的问题，提出新型交替最小化算法，可在因子高度相关时近线性时间实现线性收敛，并高效补全千维三阶张量。
2021-12-25 cs.DS cs.LG math.ST
T-SVD Based Non-convex Tensor Completion and Robust Principal Component Analysis
Peking University（北京大学）
张量完备化和鲁棒主元分析在机器学习中得到了广泛的应用，但其关键问题是如何最小化张量秩，这是一个非常具有挑战性的问题。解决这一问题的一种常用方法是基于张量奇异值分解（T-SVD），用奇异值的$\ell_1-$范数来近似张量秩。此外，张量的稀疏性也可以用它的$\ell_1-$范数来度量。然而，$\ell_1$罚分本质上是有偏差的，因此结果将偏离。为了避免这种偏差，我们提出了一种新的非凸张量秩代理函数和一种新的非凸稀疏性度量。在这种新的设置中，通过使用的凸性，而不是一个优化最小化算法进一步设计张量完成和鲁棒的主成分分析。此外，我们分析了它的理论性质。最后，自然和高光谱图像上的实验证明了我们提出的方法的有效性和效率。
2021-05-25 cs.CV cs.LG stat.ML
Deterministic Completion of Rectangular Matrices Using Asymmetric Ramanujan Graphs: Exact and Stable Recovery
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
本文研究矩阵完备化问题：假设$X \in {\mathbb R}^{n_r \times n_c}$除了秩上界$r$已知外，其余未知.通过测量$X$的少量元素$m \ll n_r n_c$，是否可以用无噪声测量精确地恢复$X$，或者用有噪声测量构建$X$的良好近似？这些问题的现有解决方案涉及均匀和随机地对元素进行采样，并且只能以高概率保证未知矩阵的精确恢复。本文提出了一种\textit{deterministic}抽样矩阵补全方法。我们通过选择采样集作为非对称Ramanujan偶图的边集来实现这一点，并且约束核范数最小化是恢复方法。具体来说，我们推导出充分条件下，未知矩阵完全与无噪声测量，并近似完成与噪声测量，我们称之为“稳定”的完成。这里导出的条件仅仅是充分的，而且比随机抽样的限制性更强。为了研究它们有多接近必要，我们使用Ramanujan图的LPS家族对随机生成的低秩矩阵进行了数值模拟。这些模拟证明了两个事实：（i）为了实现精确的完成，它似乎足以选择的程度$d$的拉马努金图是$\geq 3r$。(ii)有一个“相变”，即如果排名增加一个或两个超过临界值，成功的可能性突然从100%下降到0%。相变现象在使用$\ell_1$ -范数最小化的矢量恢复中是众所周知的并且被充分研究。然而，它在矩阵完备化和核范数最小化方面的研究较少，了解不多。
2020-05-21 cs.LG stat.ML
Provable Inductive Matrix Completion
Microsoft Research India（微软印度研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
考虑一个电影推荐系统，其中除了评级信息之外，诸如用户年龄或电影类型的辅助信息也是可用的。与标准的矩阵补全不同，在这种设置中，应该能够对新用户/电影进行归纳预测。本文研究了在精确恢复情形下的归纳矩阵完备化问题。也就是说，我们假设评级矩阵是通过将特征向量应用于低秩矩阵而生成的，目标是恢复底层矩阵。此外，我们推广的问题，低秩矩阵估计秩1测量。我们研究这个一般性的问题，并提供条件的测量集应满足，使交替最小化方法（否则是一个非凸的方法，没有收敛保证）是能够恢复回{ \em确切}底层低秩矩阵。除了归纳矩阵完成，我们表明，其他两个低秩估计问题可以在我们的框架中进行研究：a）一般低秩矩阵检测秩1测量，和b）多标签回归缺失标签。对于这两个问题，我们提供了新的和有趣的界限交替最小化所需的测量的数量可证明收敛到{ \em精确}低秩矩阵。特别是，我们对一般低秩矩阵传感问题的分析显着提高了所需的存储和计算成本比所需的RIP为基础的矩阵传感方法\cite{RechtFP2007}。最后，我们提供了我们的方法的实证验证，并证明交替最小化是能够使用少量的测量恢复上述问题的真实矩阵。
2013-06-04 cs.IT cs.LG math.IT
Spectral gap-based deterministic tensor completion
Western Washington University（西华盛顿大学）；Harbor Branch Oceanographic Institute（港湾分支海洋学研究所）；Florida Atlantic University（佛罗里达大西洋大学）；University of California, Irvine（加州大学欧文分校）
该研究针对确定性采样下张量补全理论有限的问题，推导了Poisson损失与原子范数最小化方法的更紧泛化误差界，改进了秩依赖关系，验证了实用算法重构误差与谱间隙的关联，为张量算法研究提供新视角。
2023-06-09 cs.LG stat.ML
Tensor Train Completion from Fiberwise Observations Along a Single Mode
本文提出一种利用纤维-wise观测模式进行张量展开的方法，通过标准线性代数运算实现高效且确定性的张量补全。
2026-03-11 cs.LG cs.NA eess.SP
Bayesian matrix completion: prior specification
最近，由于出现了一些具有挑战性的应用，例如推荐系统，来自不完整测量的低秩矩阵估计受到了越来越多的关注;特别是着名的Netflix挑战。虽然基于核范数最小化的算法的行为现在已经很好地理解，但尚未探索的研究途径是贝叶斯算法在这种情况下的行为。在本文中，我们简要地回顾了贝叶斯文献中使用的矩阵完成的先验。一个标准的方法是分配一个逆伽马之前的奇异值的某个奇异值分解的矩阵的兴趣;这个先验是共轭的。然而，我们表明，其他两种类型的先验（再次为奇异值）可能是共轭的这个模型：伽玛先验，和离散先验。共轭是非常方便的，因为它可以实现吉布斯抽样或变分贝叶斯。有趣的是，这些不同先验的最大后验概率与核范数最小化问题有关。我们还比较了模拟数据集上的所有这些先验，以及经典的MovieLens和Netflix数据集。
2014-10-22 math.ST stat.CO stat.ML
Relaxed Leverage Sampling for Low-rank Matrix Completion
Xerox Research Center India（施乐印度研究中心）
我们考虑的问题，通过标准的核范数最小化框架的任何$m\times n$矩阵的秩$\varrho$从少量的观察到的条目的精确恢复。这种低秩矩阵具有自由度$(m+n)\varrho - \varrho^2$。我们发现，任何任意低秩矩阵可以完全恢复从一个$Θ\left(((m+n)\varrho - \varrho^2)\log^2(m+n)\right)$随机采样的条目，从而匹配所需的条目数的下限（在自由度方面），与一个额外的因素$O(\log^2(m+n))$。为了达到样本大小的这个界限，我们观察每个条目的概率与相应的行和列杠杆分数之和成比例，减去它们的乘积。我们表明，这种放宽抽样概率（与Chen et al，2014中的杠杆分数之和相反）可以为我们提供$O(\varrho^2\log^2(m+n))$附加改进Chen et al，2014获得的（最知名的）样本量，用于核范数最小化。实际数据的实验证实了理论上的样本容量的改善。此外，$(a)$非相干矩阵（具有受限的杠杆分数）和仅具有一个行或列空间的$(b)$矩阵的精确恢复可以使用我们的放松杠杆分数采样，经由核范数最小化，而无需先验地知道杠杆分数。在这种情况下，我们也可以提高样本量。
2016-04-07 cs.IT cs.LG math.IT
Low-Rank Autoregressive Tensor Completion for Spatiotemporal Traffic Data Imputation
Polytechnique Montreal（蒙特利尔理工学院）；McGill University（麦吉尔大学）
时空交通时间序列（例如，交通量/速度）通常是不完整的，具有相当大的损坏和大量的缺失值，这阻止了用户利用数据的全部能力。缺失数据填补一直是一个长期的研究课题，并在现实世界的智能交通系统的关键应用。一种广泛应用的插补方法是低秩矩阵/张量完成，然而，低秩假设仅保留全局结构，而忽略了时空数据的强局部一致性。在本文中，我们提出了一个低秩自回归张量完成（LATC）框架，通过引入\textit{temporal variation}作为一个新的正则化项到完成的三阶（传感器$\times$时间的一天$\times$天）张量。三阶张量结构使我们能够更好地捕捉流量数据的全局一致性，例如固有的季节性和日常相似性。为了实现局部一致性，我们通过对每个时间序列施加AR（$p$）模型来设计时间变化，其中系数作为可学习参数。与以往的空间和时间正则化方案不同，时间变化的最小化可以更好地表征局部平滑之外的时间生成机制，使我们能够处理更具挑战性的情况下，如“停电”失踪。为了解决LATC中的优化问题，我们引入了一个交替的最小化方案，迭代地估计低秩张量和自回归系数。我们进行了大量的数值实验，在几个现实世界的交通数据集，我们的结果表明，LATC在不同的失踪情况下的有效性。
2021-04-30 cs.LG stat.ML
On Tensor Train Rank Minimization: Statistical Efficiency and Scalable Algorithm
张量训练（TT）分解为高阶张量提供了空间有效的表示。尽管它的优势，我们面临着两个关键的限制，当我们应用TT分解的机器学习问题：缺乏统计理论和可扩展的算法。在本文中，我们解决的局限性。首先，我们引入了一个凸松弛的TT分解问题，并推导出其误差界的张量完成任务。接下来，我们开发了一个交替优化方法与随机化技术，其中的时间复杂度是有效的空间复杂度。在实验中，我们在数值上确认了推导的界限，并以经验证明了我们的方法与一个真正的高阶张量的性能。
2017-08-02 stat.ML
Large-Scale Convex Minimization with a Low-Rank Constraint
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Microsoft Research（微软研究院）
本文研究了低秩大矩阵空间上凸函数的极小化问题。虽然这个优化问题是很难在一般情况下，我们提出了一个有效的贪心算法，并推导出其正式的近似保证。该算法的每次迭代涉及（近似）找到对应于某个矩阵的最大奇异值的左和右奇异向量，可以在线性时间内计算。这导致了一个算法，它可以扩展到大矩阵中出现的几个应用程序，如矩阵完成协同过滤和鲁棒的低秩矩阵近似。
2011-06-08 cs.LG stat.ML
Matrix Completion via Max-Norm Constrained Optimization
University of Pennsylvania（宾夕法尼亚大学）；Princeton University（普林斯顿大学）
在均匀采样模型下，矩阵完备化已经得到了很好的研究，迹范数正则化方法在这种情况下在理论和数值上都有很好的表现。然而，均匀采样模型对于一系列应用是不现实的，并且当底层采样方案是非均匀的时，标准迹范数松弛可以表现得非常差。本文提出并分析了一般抽样模型下噪声矩阵完备化的最大范数约束经验风险最小化方法。在近似低秩矩阵重构的背景下，在Frobenius范数损失下建立了最优收敛速度。结果表明，最大范数约束的方法是极大极小率最优的，并产生一个统一的和强大的近似恢复保证，相对于采样分布。该方法的计算效率也进行了讨论，基于一阶算法求解凸优化涉及最大范数正则化。
2017-04-28 cs.IT cs.LG math.IT
Robust Low-tubal-rank Tensor Completion based on Tensor Factorization and Maximum Correntopy Criterion
University of Central Florida（中佛罗里达大学）
张量补全的目标是从其条目的子集中恢复张量，通常是通过利用其低秩属性。在张量秩的几个有用的定义中，低管秩给出了张量固有的低秩结构的一个有价值的特征。虽然最近已经提出了一些具有良好性能的低管秩张量补全算法，但这些算法利用二阶统计量来测量误差残差，当观察到的条目包含大的离群值时，这可能不能很好地工作。在本文中，我们提出了一个新的目标函数的低管秩张量完成，它使用相关熵作为误差测量，以减轻离群值的影响。为了有效地优化所提出的目标，我们利用半二次最小化技术，从而将优化转化为加权低管秩张量因式分解问题。随后，我们提出了两个简单而有效的算法来获得解决方案，并提供其收敛性和复杂性分析。模拟和实际数据的数值结果表明，所提出的算法的鲁棒性和优越的性能。
2022-10-14 cs.LG stat.ML
Smooth Robust Tensor Completion for Background/Foreground Separation with Missing Pixels: Novel Algorithm with Convergence Guarantee
Virginia Tech（弗吉尼亚理工大学）
本研究的目的是通过将视频采集、视频恢复、背景/前景分离结合到一个框架中来解决具有缺失像素的背景/前景分离问题。为了实现这一点，平滑鲁棒张量完成（SRTC）模型被提出来恢复数据，并将其分解为静态背景和平滑前景，分别。具体地说，静态背景建模的低秩塔克分解和平滑的前景（运动物体）建模的时空连续性，这是由总变分正则化。基于张量近似交替最小化（tensor proximate alternative minimization，tenPAM）的有效算法实现求解所提出的模型，在非常温和的条件下具有全局收敛性保证。大量的实验表明，该方法显着优于国家的最先进的方法，背景/前景分离与丢失像素。
2022-04-11 cs.CV cs.LG stat.ML
Guaranteed Nonconvex Low-Rank Tensor Estimation via Scaled Gradient Descent
Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
本文提出ScaledGD算法，通过缩放梯度下降法在t-SVD框架下实现低秩张量估计的线性收敛，克服了传统方法在条件数依赖上的限制。
2026-02-14 cs.IT cs.LG math.IT
Open Problem: Separating Geometric and Algorithmic Compression via Cayley-Table Completion
Dongsung Huh
提出凯莱表完成作为测试缺失的算法复杂度最小化归纳偏置的规范问题，并挑战社区将连续平坦性先验推广以自主发现离散算法公理。
2026-05-28 cond-mat.dis-nn cs.LG math.OC
Transduction with Matrix Completion Using Smoothed Rank Function
Sharif University of Technology（谢里夫理工大学）；Advanced Communications Research Institute (ACRI)（先进通信研究所 (ACRI)）；Electrical Engineering Department（电气工程系）
本文提出了两种求解矩阵完备化问题的新算法。联合MC和预测任务被同时处理以提高准确性，即，将标签矩阵连接到数据矩阵，形成堆叠矩阵。假设数据矩阵是低秩的，我们提出了新的推荐方法，提出了一个约束最小化的平滑秩函数（SRF）的问题。我们提供的算法的收敛性分析。在真实数据集上进行了模拟，在两种不同的情况下，随机丢失模式与块丢失。结果证实，我们提出的方法的准确性优于那些国家的最先进的方法，甚至高达10%，在低观测率的情况下，没有块丢失。我们在后一种情况下的准确性，是国家的最先进的方法相比，而所提出的算法的复杂性降低了4倍。
2018-05-19 cs.LG stat.ML
Near-optimal sample complexity for convex tensor completion
University of British Columbia（不列颠哥伦比亚大学）
我们分析低秩张量完成（TC）使用噪声测量的张量的子集。假设秩为- $r$，阶为- $d$，$N \times N \times \cdots \times N$张量，其中$r=O(1)$，所实现的最佳采样复杂度为$O(N^{\frac{d}{2}})$，其通过求解张量核范数最小化问题来获得。然而，这个界限是显着大于自由变量的数量在一个低秩张量是$O(dN)$。在本文中，我们表明，通过使用一个原子范数的原子秩$1$符号张量，可以得到一个样本复杂度为$O(dN)$。此外，我们推广矩阵最大范数的定义张量，这将导致一个最大准范数（max-qnorm）的单位球具有小的Rademacher复杂度。我们证明，解决约束最小二乘估计使用凸原子范数或非凸max-qnorm结果在低秩张量完成问题的最佳样本复杂度。此外，我们表明，这些界限是近极大极小率最优的。我们还提供了有前途的数值结果最大qnorm约束张量完成，显示出改善的恢复结果相比，矩阵化和交替最小二乘。
2017-11-14 cs.LG math.OC stat.ML
Clipped Matrix Completion: A Remedy for Ceiling Effects
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们考虑的问题，恢复低秩矩阵从其裁剪的意见。在许多科学领域中，可以想象会出现截断现象，这会妨碍统计分析。另一方面，矩阵补元方法利用低秩补元原理，可以从各种信息缺损中恢复出低秩矩阵。然而，低秩MC的当前理论保证不适用于裁剪矩阵，因为赤字取决于基础值。因此，截断矩阵完备化（CMC）的可行性并不是微不足道的。在本文中，我们首先提供了一个理论上的保证，通过使用迹范数最小化算法的CMC的精确恢复。此外，我们提出了实用的CMC算法，通过扩展普通MC方法。我们的扩展是使用平方铰链损失代替平方损失，以减少对修剪条目的过度估计的惩罚。我们还提出了一个新的正则化项为CMC量身定制。它是两个迹范数项的组合，并且我们在理论上限制了正则化下的恢复误差。我们证明了所提出的方法的有效性，通过实验使用合成和基准数据的推荐系统。
2019-03-04 cs.LG stat.ML
Deterministic tensor completion with hypergraph expanders
Western Washington University（西华盛顿大学）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）
我们提供了一个新的分析低秩张量完成的超图扩展的基础上。作为秩的代理，我们最小化张量的最大拟不动点，这推广了矩阵的最大范数。我们的分析是确定性的，并表明，所需的样本数量近似恢复的顺序$t$张量与最多$n$条目每维是线性的$n$，假设张量的秩和顺序是$O(1)$。作为证明的步骤，我们发现了一个新的$t$ -部，$t$ -一致正则超图模型的扩展混合引理，并证明了张量极大拟不变性的几个新性质.据我们所知，这是张量完备化的第一次确定性分析。我们开发了一个实用的算法，解决了放松版本的最大拟不变最小化问题，我们证明了它的有效性与数值实验。
2021-07-29 cs.LG math.OC math.ST
Matrix Completion from General Deterministic Sampling Patterns
Purdue University（普渡大学）；MIT（麻省理工学院）
本文针对任意确定性采样模式，利用观测图的连通性和节点度性质，为约束核范数最小化求解精确及近似低秩矩阵补全建立理论保证，并改进对称矩阵情形下的已有结果。
2023-06-04 cs.LG stat.ML
Rank Determination for Low-Rank Data Completion
Columbia University（哥伦比亚大学）；Purdue University（普渡大学）
近年来，对于给定秩的低秩矩阵或张量的有限可完备性，得到了抽样模式的基本条件。在本文中，我们考虑的情况下，排名是不给定的，我们的目标是近似未知的排名的基础上采样条目的位置和一些给定的完成。我们考虑了一些数据模型，包括单视图矩阵，多视图矩阵，CP张量，张量训练张量和Tucker张量。对于这些数据模型中的每一个，我们提供了一个上界的秩时，一个任意的低秩完成。我们确定性地描述这些界限，即，假设采样模式满足某些组合性质，概率为1，并且概率上，即，假设采样概率高于某个阈值，则具有高概率。此外，对于单视图矩阵和CP张量，我们能够证明，如果最低秩完成给定，所获得的上界正好等于未知秩。此外，我们提供了数值实验的情况下，单视图矩阵，我们使用核范数最小化找到一个低秩完成的采样数据，我们观察到，在大多数情况下，建议的上限上的秩等于真正的秩。
2017-07-03 cs.LG stat.ML
Universal Matrix Completion
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Research, India（微软研究院（印度））
低秩矩阵完备化问题最近引起了人们的极大兴趣，产生了一些结果，提供了问题的精确解。然而，为了做到这一点，这些方法做出的假设在实践中可能非常有限。更具体地，该方法假设：a）随机均匀地采样观察到的索引，以及b）对于每个新矩阵，重新采样观察到的索引。在这项工作中，我们解决这些问题，提供了一个通用的恢复保证矩阵完成，适用于各种采样方案。特别是，我们表明，如果一组采样的指数来自一个二分图的边缘与大的谱间隙（即间隙之间的第一和第二奇异值），然后核范数最小化的方法准确地恢复所有的低秩矩阵，满足一定的不一致性。此外，我们还表明，在某些更严格的不相干条件下，$O(nr^2)$均匀采样条目足以恢复任何秩$r$ $n\times n$矩阵，相比之下，其他矩阵完成算法所需的$O(nr\log n)$样本的复杂性，以及现有的核范数方法的分析。
2014-07-11 cs.IT cs.LG math.IT
Noisy Tensor Completion via Low-rank Tensor Ring
Guangdong University of Technology（广东工业大学）；RIKEN（理化学研究所）
张量补全是不完整数据分析的基本工具，其目标是从部分观测值中预测缺失项。然而，现有的方法往往显式或隐式地假设观测条目是无噪声的，以提供精确恢复丢失条目的理论保证，这在实践中受到很大的限制。为了弥补这些缺陷，本文提出了一种新的噪声张量完成模型，它补充了现有的工作在处理高阶和噪声观测退化的不足。具体地说，张量环核范数（TRNN）和最小二乘估计分别采用正则化的基础张量和观察到的条目。此外，一个非渐近上界的估计误差描述所提出的估计器的统计性能。两个有效的算法来解决的优化问题的收敛保证，其中之一是专门针对处理大规模的张量，通过替换TRNN的原始张量的最小化等效的一个小得多的异构张量分解框架。合成和真实世界的数据上的实验结果表明，该模型在恢复噪声不完整的张量数据的有效性和效率相比，国家的最先进的张量完成模型。
2022-03-14 cs.AI cs.LG stat.ML
Truncated Nuclear Norm Minimization for Image Restoration Based On Iterative Support Detection
University of Electronic Science and Technology of China（中国电子科技大学）
在图像修补、压缩感知和医学成像等实际应用中，从有限的测量值中恢复大矩阵是一个具有挑战性的任务，这类问题大多被表述为低秩矩阵逼近问题。由于秩算子的非凸性和不连续性，近年来的理论研究大多采用核范数作为凸松弛，通过极小化核范数正则化问题来解决低秩矩阵恢复问题。然而，核范数最小化的一个主要限制是所有奇异值同时最小化，并且秩可能不能很好地近似\cite{hu2012fast}。相应地，本文提出了一种新的多阶段算法，该算法利用\citep{hu2012fast}提出的截断核范数正则化（TNNR）和\citep{wang2010sparse}提出的迭代支持检测（ISD）的概念来克服上述局限性。除了\citep{hu2012fast}中考虑的矩阵完备化问题外，该方法还可以推广到一般的低秩矩阵恢复问题。大量的实验很好地验证了我们的新算法优于其他国家的最先进的方法。
2014-06-11 cs.CV cs.LG stat.ML
On Polynomial Time Methods for Exact Low Rank Tensor Completion
Morgridge Institute for Research（莫格里奇研究所）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在本文中，我们研究的样本量的要求，精确恢复的高阶张量的低秩从它的条目的子集。我们表明，从谱方法获得的初始值的梯度下降算法可以，特别是，重建${d\times d\times d}$张量的多线性秩$(r,r,r)$与高概率从尽可能少的$O(r^{7/2}d^{3/2}\log^{7/2}d+r^7d\log^6d)$条目。在秩为$r=O(1)$的情况下，我们的样本量要求与核范数最小化（Yuan和Zhang，2016 a）或假设正交分解的交替最小二乘法（Jain和Oh，2014）的要求相匹配。然而，与这些早期的方法不同，我们的方法计算效率高，易于实现，并且不会对张量施加额外的结构。数值结果进一步证明了所提出的方法的优点。
2017-02-22 cs.IT cs.LG math.IT
Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation from Incomplete Measurements
Carnegie Mellon University（卡内基梅隆大学）；University of Chicago（芝加哥大学）；Air Force Research Laboratory（美国空军研究实验室）
张量为表示多属性数据和多方式交互提供了强大而灵活的模型，在科学和工程各个领域的现代数据科学中发挥着不可或缺的作用。一个基本的任务是忠实地恢复张量从高度不完整的测量在统计和计算效率的方式。利用Tucker分解中张量的低秩结构，本文提出了一种尺度梯度下降算法（ScaledGD）算法，以直接恢复张量因子与定制的频谱初始化，并表明，它可证明收敛在一个线性速率独立的地面真理张量的条件数的两个典型问题-张量完成和张量回归-只要样本大小高于$n^{3/2}$的数量级，忽略其他参数依赖性，其中$n$是张量的维数。与现有技术相比，这导致对低秩张量估计的极其可扩展的方法，现有技术遭受以下缺点中的至少一个：对病态的极端敏感性、在存储器和计算方面的高每次迭代成本、或差的样本复杂度保证。据我们所知，ScaledGD是第一个同时实现接近最佳统计和计算复杂性的低秩张量完成与塔克分解的算法。我们的算法突出了适当的预处理在加速非凸统计估计中的作用，其中迭代变化的预处理器促进了低秩张量因子分解中关于潜在对称性的轨迹的理想不变性。
2022-06-22 cs.IT cs.LG eess.SP
