Fast matrix completion without the condition number
本文给出了第一个矩阵完备化算法，其运行时间和样本复杂度分别为未知目标矩阵秩的多项式、矩阵维数的线性和矩阵条件数的对数。据我们所知，所有以前的算法要么招致二次依赖于未知矩阵的条件数或二次依赖于矩阵的维数在运行时间。我们的算法是基于一种新的扩展交替最小化，我们表明，即使在存在噪声的标准假设下，理论上的保证。
2014-07-15 cs.DS cs.LG stat.ML
Fast Low-Rank Bayesian Matrix Completion with Hierarchical Gaussian Prior Models
University of Electronic Science and Technology of China（电子科技大学）；Stevens Institute of Technology（斯蒂文斯理工学院）
研究了低秩矩阵的完备化问题。为了利用数据矩阵的底层低秩结构，我们提出了一个分层高斯先验模型，其中假设低秩矩阵的列遵循具有零均值和公共精度矩阵的高斯分布，并将Wishart分布指定为精度矩阵的超先验。我们表明，这样的分层高斯先验有可能鼓励低秩的解决方案。基于所提出的层次先验模型，提出了一种矩阵完备化的变分贝叶斯方法，该方法将广义近似消息传递（GAMP）技术嵌入到变分贝叶斯推理中，以避免繁琐的矩阵求逆运算.仿真结果表明，我们提出的方法表现出优于现有的国家的最先进的矩阵完成方法。
2017-08-26 cs.LG stat.ML
The Sparse Reverse of Principal Component Analysis for Fast Low-Rank Matrix Completion
University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）
矩阵完备化一直受到许多研究领域的极大关注。它通常应用于推荐系统，例如电影评级，计算机视觉，例如图像重建或完成，多任务学习，例如协作建模多个传感器的时间序列趋势，以及许多其他应用。矩阵完成技术通常是计算穷举的和/或不能捕获数据中的异质性。例如，图像通常包含一组异构的对象，因此重建具有高水平缺失数据的图像是一项具有挑战性的任务。本文提出了主成分分析的稀疏逆矩阵完备化方法。所提出的方法保持整个矩阵的平滑度，产生准确的估计缺失的数据，迭代收敛，它是计算上易于处理的迭代次数的可控上限，直到收敛。所提出的技术的准确性进行了验证自然图像，电影收视率，和多传感器数据。它也比较常见的基准方法用于矩阵完成。
2019-10-04 cs.LG eess.SP stat.ML
Inductive Matrix Completion: No Bad Local Minima and a Fast Algorithm
Faculty of Mathematics and Computer Science, Weizmann Institute of Science（魏茨曼科学研究所数学与计算机科学学院）
归纳矩阵完备化问题是从少量的观测元素中恢复一个低秩矩阵，同时结合关于其行和列子空间的先验知识。在本文中，我们对内模控制问题做了三个方面的贡献：（i）证明了在适当的条件下，内模控制优化景观没有坏的局部极小;（ii）我们得到了一个简单的方案，理论上保证了未知矩阵的秩估计;以及（iii）我们提出了GNIMC，一个简单的基于高斯-牛顿的方法来解决IMC问题，GNIMC的保证在几个方面比其他方法更清晰，包括二次收敛速度，所需的观察条目更少以及对错误或低秩偏差的稳定性。从经验上讲，给定随机均匀观察的条目，GNIMC比几种竞争方法更快地恢复底层矩阵。
2022-01-31 cs.LG math.OC
Fast and Sample Efficient Inductive Matrix Completion via Multi-Phase Procrustes Flow
University of Virginia（弗吉尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
我们重新审视归纳矩阵完成问题，其目的是恢复秩$r$矩阵与周围的尺寸$d$给定的$n$功能作为侧先验信息。我们的目标是利用已知的$n$功能，以减少样本和计算的复杂性。我们提出并分析了一个新的基于梯度的非凸优化算法，收敛到真正的底层矩阵在线性速率与样本复杂度仅线性依赖于$n$和数学依赖于$d$。据我们所知，所有以前的算法要么有一个二次依赖于样本复杂度或次线性计算收敛速度的特征的数量。此外，我们提供了合成和真实世界的数据上的实验，以证明我们所提出的算法的有效性。
2018-03-03 cs.LG stat.ML
Deterministic Completion of Rectangular Matrices Using Asymmetric Ramanujan Graphs: Exact and Stable Recovery
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
本文研究矩阵完备化问题：假设$X \in {\mathbb R}^{n_r \times n_c}$除了秩上界$r$已知外，其余未知.通过测量$X$的少量元素$m \ll n_r n_c$，是否可以用无噪声测量精确地恢复$X$，或者用有噪声测量构建$X$的良好近似？这些问题的现有解决方案涉及均匀和随机地对元素进行采样，并且只能以高概率保证未知矩阵的精确恢复。本文提出了一种\textit{deterministic}抽样矩阵补全方法。我们通过选择采样集作为非对称Ramanujan偶图的边集来实现这一点，并且约束核范数最小化是恢复方法。具体来说，我们推导出充分条件下，未知矩阵完全与无噪声测量，并近似完成与噪声测量，我们称之为“稳定”的完成。这里导出的条件仅仅是充分的，而且比随机抽样的限制性更强。为了研究它们有多接近必要，我们使用Ramanujan图的LPS家族对随机生成的低秩矩阵进行了数值模拟。这些模拟证明了两个事实：（i）为了实现精确的完成，它似乎足以选择的程度$d$的拉马努金图是$\geq 3r$。(ii)有一个“相变”，即如果排名增加一个或两个超过临界值，成功的可能性突然从100%下降到0%。相变现象在使用$\ell_1$ -范数最小化的矢量恢复中是众所周知的并且被充分研究。然而，它在矩阵完备化和核范数最小化方面的研究较少，了解不多。
2020-05-21 cs.LG stat.ML
Fast and Provable Tensor-Train Format Tensor Completion via Precondtioned Riemannian Gradient Descent
The Hong Kong University of Science and Technology（香港科技大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出预条件黎曼梯度下降算法（PRGD）解决张量列车格式的低秩张量补全问题，证明线性收敛，并在模拟与真实数据上大幅减少计算时间和迭代次数。
2025-01-23 cs.LG cs.NA math.NA
Exact nuclear norm, completion and decomposition for random overcomplete tensors via degree-4 SOS
The University of Chicago（芝加哥大学）
在本文中，我们表明，简单的半定程序的启发程度$4$ SOS可以精确地解决张量的核模，张量分解，张量完成问题的张量随机非对称组件。更确切地说，对于张量核范数和张量分解，我们证明了w. h. p.这些半定程序可以精确地找到具有$m\leq n^{3/2}/polylog(n)$随机非对称分量的$(n\times n\times n)$ -张量$\mathcal{T}$的核范数和分量。与大多数以前的算法不同，我们的算法提供了一个证书的分解，不需要了解分解中的组件的数量，也不做任何假设的分解中的系数的大小。作为一个副产品，我们表明，w. h. p.核范数分解正好符合最低秩分解张量与$m\leq n^{3/2}/polylog(n)$随机不对称组件。对于张量完备化，我们证明了Potechin & Steurer（2017）为具有正交分量的张量引入的半定程序w. h. p.可以仅从$n^{3/2}m polylog(n)$随机观察到的条目中精确地恢复具有$m$随机非对称分量的$(n\times n\times n)$ -张量$\mathcal{T}$。对于非正交张量，这提高了依赖于$m$的条目的数量所需的精确恢复在所有以前已知的算法，并提供了第一个理论保证，在过完备制度的精确张量完成。
2021-10-28 cs.CC cs.DS cs.LG
Open Problem: Separating Geometric and Algorithmic Compression via Cayley-Table Completion
Dongsung Huh
提出凯莱表完成作为测试缺失的算法复杂度最小化归纳偏置的规范问题，并挑战社区将连续平坦性先验推广以自主发现离散算法公理。
2026-05-28 cond-mat.dis-nn cs.LG math.OC
Sum-of-squares meets square loss: Fast rates for agnostic tensor completion
Massachusetts Institute of Technology（麻省理工学院）
我们在不可知论的背景下研究张量完备化。在经典的张量补全问题中，我们接收到秩未知的$r$张量的$n$条目，并希望精确地完成剩余的条目。在不可知张量完备化中，我们不对未知张量的秩做任何假设，而是试图预测未知项以及最佳秩- $r$张量。对于具有平方损失的三阶张量的不可知学习，我们给出了第一个多项式时间算法，该算法获得了“快速”（即，$O(1/n)$型）速率比通过简化到矩阵完成获得的速率提高。我们的预测出错率与排名最好的$d\times{}d\times{}d$张量- $r$竞争是$\tilde{O}(r^{2}d^{3/2}/n)$。我们还得到了一个确切的预言不等式，权衡估计和近似误差。我们的算法是基于度六平方和松弛张量核范数。我们的分析的关键特征是表明，张量核范数的次梯度的某种表征可以被编码在平方和证明系统中。这解锁了平方损失下的经验过程的本地化的标准工具箱，并允许我们建立各种张量回归模型的限制特征值类型的保证，张量完成作为一个特例。对松弛的新分析补充了Barak和Moitra（2016），他们给出了不可知张量完成的缓慢速率，以及Potechin和Steurer（2017），他们给出了无噪声设置的精确恢复保证。我们的技术是用户友好的，我们预计它们将在其他地方使用。
2019-05-30 cs.DS cs.LG math.ST
Fast methods for denoising matrix completion formulations, with applications to robust seismic data interpolation
IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）；UBC（不列颠哥伦比亚大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；UC Berkeley（加州大学伯克利分校）
最近的无SVD矩阵分解公式已经为具有数百万行和列的系统实现了秩最小化，为超大规模应用（如地震数据插值）中的矩阵完成铺平了道路。在本文中，我们考虑矩阵完成配方设计，以达到目标数据拟合误差水平的用户提供的，并提出了一种算法称为LR-BPDN，能够利用因子分解配方来解决相应的优化问题。由于从业者通常对目标误差水平有很强的先验知识，因此这种创新使得在实践中应用该算法变得容易，只留下因子秩待确定。在既定的框架内，我们提出了两个扩展，是高度相关的解决数据插值的实际挑战。首先，我们提出了一个加权的扩展，允许已知的子空间信息，以改善矩阵完成配方的结果。我们展示了如何使用这种加权的情况下，频率的延续，地震数据插值的一个重要方面。第二，我们提出了矩阵完成配方，是强大的大测量误差，在现有的数据。我们使用MovieLens 1 M，10 M和Netflix 100 M数据集说明了LR-BPDN在协同过滤问题上的优势。然后，我们使用新的方法，连同其强大的和子空间重新加权扩展，获得高质量的重建大规模地震插值问题与真实数据，即使在数据污染的存在。
2014-03-05 cs.LG stat.ML
Fast Tensor Completion via Approximate Richardson Iteration
MIT（麻省理工学院）；Google Research（谷歌研究）
本研究提出一种基于近似 Richardson 迭代的提升方法，通过将结构化 TD 回归算法作为黑盒子程序解决 TC 回归问题中代数结构丢失的难题，实现了次线性时间复杂度，在真实张量 CP 补全上比直接方法快 100 倍。
2025-08-12 cs.DS cs.LG math.ST
Matrix completion and extrapolation via kernel regression
Universitat Politècnica de Catalunya-Barcelona Tech（加泰罗尼亚理工大学-巴塞罗那理工大学）；University of Minnesota（明尼苏达大学）
矩阵完成和外推（MCEX）在这里处理再生核希尔伯特空间（RKHS），以考虑现有数据中的先验信息。针对快速和低复杂度的求解器，该任务被制定为一个核心岭回归。由此产生的MCEX算法也可以提供在线实现，而类的核函数也包括现有的方法MC与先验信息。对合成数据集和真实数据集的数值测试表明，该方法比交替最小二乘（ALS）或随机梯度下降（SGD）等广泛使用的方法执行得更快，并且恢复误差减少，特别是在处理噪声数据时。
2019-03-28 cs.LG stat.ML
Fast Methods for Recovering Sparse Parameters in Linear Low Rank Models
在本文中，我们研究的恢复稀疏的权重向量（参数向量）从一组噪声的线性组合。然而，只有关于表示线性组合的矩阵的部分信息可用。假设矩阵具有低秩结构，一个自然的解决方案是首先对数据应用矩阵补全，然后解决由此产生的压缩感知问题。在大规模MIMO和医疗数据等大数据应用中，矩阵完成步骤会带来巨大的计算负担。在这里，我们建议通过忽略稀疏向量中对应于零元素的列来降低完成任务的计算成本。为此，我们采用了一种技术，最初近似的稀疏向量的支持。我们进一步建议将部分矩阵完备化和稀疏向量恢复统一为一个扩展的四步问题。仿真结果表明，增强的方法实现了最佳的性能，而这两种方法优于自然的两步技术，大大减少了计算需求。
2016-11-17 cs.LG stat.ML
1-Bit Matrix Completion under Exact Low-Rank Constraint
我们考虑了在真实底层矩阵$M^*$上的精确秩约束下的噪声1位矩阵完备化问题。代替观察矩阵$M^*$的噪声连续值条目的子集，我们观察根据概率模型生成的噪声1位（或二进制）测量的子集。我们考虑$M^*$的约束极大似然估计，约束下的条目式无穷范数的$M^*$和一个确切的秩约束。这是在以前的工作中使用凸松弛的秩。我们提供了一个上界的矩阵估计误差在此模型下。与已有的结果相比，我们的界具有更快的收敛速度与矩阵维数时，显示的1位观测的分数是固定的，独立于矩阵维数。我们还提出了一个迭代算法来解决我们的非凸优化与证书的全局最优性的极限点。该算法基于$M^*$的低秩分解。我们验证了合成和真实数据的方法与现有的方法相比，具有更好的性能。
2015-02-24 stat.ML
On Polynomial Time Methods for Exact Low Rank Tensor Completion
Morgridge Institute for Research（莫格里奇研究所）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在本文中，我们研究的样本量的要求，精确恢复的高阶张量的低秩从它的条目的子集。我们表明，从谱方法获得的初始值的梯度下降算法可以，特别是，重建${d\times d\times d}$张量的多线性秩$(r,r,r)$与高概率从尽可能少的$O(r^{7/2}d^{3/2}\log^{7/2}d+r^7d\log^6d)$条目。在秩为$r=O(1)$的情况下，我们的样本量要求与核范数最小化（Yuan和Zhang，2016 a）或假设正交分解的交替最小二乘法（Jain和Oh，2014）的要求相匹配。然而，与这些早期的方法不同，我们的方法计算效率高，易于实现，并且不会对张量施加额外的结构。数值结果进一步证明了所提出的方法的优点。
2017-02-22 cs.IT cs.LG math.IT
Exact Tensor Completion from Sparsely Corrupted Observations via Convex Optimization
Hong Kong Baptist University（香港浸会大学）
本文对多维数组，特别是三阶张量的可证明估计进行了严格的分析，从其损坏项的随机子集。我们的研究很大程度上依赖于最近提出的张量代数框架，在该框架中，我们可以获得张量奇异值分解（t-SVD），这是类似于矩阵的SVD，并定义了一个新的概念张量秩称为管秩。我们证明，通过简单地解决一个凸规划，它最小化的加权组合的管核范数，凸代理管秩，和$\ell_1$ -范数，可以恢复一个不相干的张量完全压倒性的概率，只要它的管秩不是太大，腐败是合理的稀疏。有趣的是，我们的结果包括恢复保证的问题，张量完成（TC）和张量主成分分析（TRPCA）在相同的代数设置的特殊情况下。提出了一种交替方向乘子法（ADMM）算法来求解该优化问题。数值实验验证了我们的理论和实际应用证明了我们的算法的有效性。
2017-08-02 cs.CV cs.IT cs.LG
Fast Exact Matrix Completion with Finite Samples
Microsoft Research（微软研究院）；UT Austin（德克萨斯大学奥斯汀分校）
本文提出一种快速迭代算法，通过观察O(nr^5 log^3 n)个样本实现精确矩阵补全，运行时间为O(nr^7 log^3 n log 1/ε)，首次实现近线性时间且样本复杂度独立于精度的补全方法。
2014-11-04 cs.DS cs.IT cs.LG
Generalization Bounds for Inductive Matrix Completion in Low-noise Settings
Singapore Management University (SMU)（新加坡管理大学）；Czech Technical University in Prague (CTU)（捷克理工大学）；Hong Kong Baptist University (HKBU)（香港浸会大学）；Technische Universität Kaiserslautern (TUK)（凯泽斯劳滕工业大学）
本文研究了独立同分布下的归纳矩阵完备化问题。在低噪声状态下的亚高斯噪声假设，具有条目的均匀采样。我们首次得到了具有以下三个性质的推广界：（1）它们的尺度类似于噪声的标准差，特别是在精确恢复的情况下，它们趋近于零;（2）即使在噪声存在的情况下，当样本容量趋于无穷大时，它们也收敛于零;以及（3）对于边信息的固定维数，它们仅对矩阵的大小具有对数依赖性。从许多近似恢复的作品中，我们提出了有界Lipschitz损失和绝对损失的结果，后者依赖于Talagrand型不等式。证明创建一个桥梁之间的两种方法的理论分析矩阵完成，因为它们包括在一个组合的技术，从精确的恢复文献和近似恢复文献。
2022-12-16 cs.LG stat.ML
Exact tensor completion using t-SVD
Tufts University（塔夫茨大学）
本文基于t-SVD提出张量补全方法，通过凸优化最小化张量核范数以保证恢复概率，验证了在随机采样下张量补全的最优性。
2015-02-27 cs.LG cs.NA math.NA
Typical and Generic Ranks in Matrix Completion
我们从几何的角度考虑低秩矩阵的精确完备化问题：给定一个部分填充矩阵M，我们保持指定和未指定元素的位置固定，并研究最小完备秩如何依赖于已知元素的值.如果矩阵的元素是复数，则对于指定和未指定元素的位置的固定模式，存在以正概率出现的唯一完成秩。我们称这个等级为通用完成等级。在实数上，可以有多个以正概率出现的秩;我们称之为典型的完成秩。我们正式介绍这些概念，并提供了一些不等式和确切的结果，典型的和通用的不同家庭的模式的已知和未知的条目的排名。
2019-09-22 cs.NA math.AG math.NA
Grassmannian Optimization for Online Tensor Completion and Tracking with the t-SVD
University of Michigan（密歇根大学）
我们提出了一个新的快速流算法的张量完成问题的输入丢失的条目的低管秩张量使用张量奇异值分解（t-SVD）代数框架。我们表明，t-SVD是一个专业化的研究块项分解的三阶张量，我们提出了一个算法，在这个模型下，可以跟踪不完整的流2-D数据的变化自由子模块。该算法利用子空间的格拉斯曼流形上的增量梯度下降原理，以线性复杂度和时间样本数的恒定记忆来解决张量完成问题。我们提供了我们的算法的局部预期线性收敛结果。我们的经验结果在准确性上具有竞争力，但在计算时间上比实际应用中最先进的张量完成算法要快得多，以在有限的采样下恢复时间化学传感和MRI数据。
2022-04-14 cs.LG eess.SP
Learning Parameters for Weighted Matrix Completion via Empirical Estimation
最近，理论上的保证已经获得了矩阵完成在非均匀采样制度。特别是，如果抽样分布与底层矩阵的杠杆分数一致，那么核范数最小化将以高概率精确地恢复低秩矩阵。在本文中，我们分析了非均匀抽样分布可能与基础矩阵的杠杆分数一致或不一致的情况。在这里，我们探索学习加权核范数最小化的经验抽样分布的参数。我们为这些学习的权重提供了一个充分条件，为加权核范数最小化提供了一个精确的恢复保证。它已经建立了一个具体的选择的权重，在真实的采样分布不仅允许加权核范数最小化，以准确地恢复低秩矩阵，但也允许在精确的恢复条件的量化放松。在这篇文章中，我们扩展了这种可量化的放松，在确切的恢复条件下，定义类似的经验分布，而不是真正的抽样分布的权重的具体选择。为了实现这一点，我们采用了浓度的测量界和大偏差界。我们还提出了健康的鲁棒性的加权核范数最小化算法的经验学习的权重的选择的数值证据。这些数值实验表明，对于各种易于计算的经验权重，加权核范数最小化优于非加权核范数最小化在非均匀采样制度。
2015-04-02 stat.ML
Fast and Accurate Power Load Data Completion via Regularization-optimized Low-Rank Factorization
Chongqing Aerospace Polytechnic（重庆航天职业技术学院）；Dongfang Electronics Co.,Ltd（东方电子股份有限公司）；China Mobile Cloud Capability Center（中国移动云能力中心）；Southwest University（西南大学）
针对电力负荷数据缺失问题，提出基于PID控制器自适应调整正则化系数的低秩分解方法，在保持随机梯度下降效率的同时提升插补精度与训练效率。
2025-06-22 cs.LG
Weighted algorithms for compressed sensing and matrix completion
本文研究了压缩感知和矩阵完备问题的迭代重加权基追踪算法。在第一部分中，我们给出了一个理论解释的事实，重新加权基追踪可以改善基追踪在压缩感知的准确恢复了很多。我们展示了一个条件，链接的RIP和不相干常数的权重的准确性，这确保了准确的恢复。在第二部分中，我们介绍了一个新的算法矩阵完成，基于迭代加权的思想。由于加权核“范数”通常是非凸的，因此它不能容易地用作目标函数。因此，我们定义了一个新的估计的基础上的不动点方程。我们给出了经验证据的事实，这种新的算法导致强大的改进核模最小化的模拟和真实的矩阵完成问题。
2011-07-08 cs.IT math.IT math.ST
A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion
Baidu Research（百度研究院）；Paradigm Inc.（第四范式公司）；Tsinghua University（清华大学）；Hong Kong University of Science and Technology（香港科技大学）
矩阵学习是许多机器学习问题的核心。协同过滤、文本挖掘等实际应用都可以归结为低秩矩阵补全问题，即利用低秩假设恢复不完整矩阵。为了确保矩阵解具有低秩，最近的趋势是使用自适应惩罚奇异值的非凸正则化器。它们提供了良好的恢复性能，并具有良好的理论特性，但由于重复访问单个奇异值，计算量很大。本文基于奇异值自适应收缩提高经验性能的关键见解，提出了一种新的非凸低秩正则化器，称为“核范数减Frobenius范数”正则化器，它是可扩展的，自适应的和声音。我们首先证明了它具有自适应收缩特性。此外，我们发现它的因式分解的形式，绕过奇异值的计算，并允许快速优化一般的优化算法。保证了稳定的恢复和收敛。大量的合成和真实世界的数据集上的低秩矩阵完成实验表明，所提出的方法获得了最先进的恢复性能，同时是最快的相比，现有的低秩矩阵学习方法。
2021-02-22 cs.LG stat.ML
Universal Matrix Completion
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Research, India（微软研究院（印度））
低秩矩阵完备化问题最近引起了人们的极大兴趣，产生了一些结果，提供了问题的精确解。然而，为了做到这一点，这些方法做出的假设在实践中可能非常有限。更具体地，该方法假设：a）随机均匀地采样观察到的索引，以及b）对于每个新矩阵，重新采样观察到的索引。在这项工作中，我们解决这些问题，提供了一个通用的恢复保证矩阵完成，适用于各种采样方案。特别是，我们表明，如果一组采样的指数来自一个二分图的边缘与大的谱间隙（即间隙之间的第一和第二奇异值），然后核范数最小化的方法准确地恢复所有的低秩矩阵，满足一定的不一致性。此外，我们还表明，在某些更严格的不相干条件下，$O(nr^2)$均匀采样条目足以恢复任何秩$r$ $n\times n$矩阵，相比之下，其他矩阵完成算法所需的$O(nr\log n)$样本的复杂性，以及现有的核范数方法的分析。
2014-07-11 cs.IT cs.LG math.IT
Provable Inductive Matrix Completion
Microsoft Research India（微软印度研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
考虑一个电影推荐系统，其中除了评级信息之外，诸如用户年龄或电影类型的辅助信息也是可用的。与标准的矩阵补全不同，在这种设置中，应该能够对新用户/电影进行归纳预测。本文研究了在精确恢复情形下的归纳矩阵完备化问题。也就是说，我们假设评级矩阵是通过将特征向量应用于低秩矩阵而生成的，目标是恢复底层矩阵。此外，我们推广的问题，低秩矩阵估计秩1测量。我们研究这个一般性的问题，并提供条件的测量集应满足，使交替最小化方法（否则是一个非凸的方法，没有收敛保证）是能够恢复回{ \em确切}底层低秩矩阵。除了归纳矩阵完成，我们表明，其他两个低秩估计问题可以在我们的框架中进行研究：a）一般低秩矩阵检测秩1测量，和b）多标签回归缺失标签。对于这两个问题，我们提供了新的和有趣的界限交替最小化所需的测量的数量可证明收敛到{ \em精确}低秩矩阵。特别是，我们对一般低秩矩阵传感问题的分析显着提高了所需的存储和计算成本比所需的RIP为基础的矩阵传感方法\cite{RechtFP2007}。最后，我们提供了我们的方法的实证验证，并证明交替最小化是能够使用少量的测量恢复上述问题的真实矩阵。
2013-06-04 cs.IT cs.LG math.IT
Support Selection Beyond Smooth DAG Exactness: Completion Geometry,Score Margins, and Selective Certificates
School of Computer Science and Engineering, University of Science and Technology of China（中国科学技术大学计算机科学与工程学院）
该研究针对超越平滑DAG精确性的支持选择，推导了孤立环精确选择时间，验证了相关规律，提出无真值分离统计量预测选择时间，用父集置信族等证明标签，区分DAG可行性等内容。
2026-09-01 cs.LG
PAC-Bayesian Matrix Completion with a Spectral Scaled Student Prior
Norwegian University of Science and Technology（挪威科技大学）
本文研究了矩阵完备化问题。一个频谱缩放的学生先验被利用，有利于底层的低秩结构的数据矩阵。我们提供了一个彻底的理论研究，我们的方法，通过PAC贝叶斯界限。更准确地说，我们的PAC-Bayesian方法享有最小最大最优的预言不等式，这保证了我们的方法在模型误设定和一般抽样分布下工作良好。有趣的是，我们还提供了有效的基于梯度的采样实现我们的方法，通过使用朗之万蒙特卡罗。更具体地说，我们表明，我们的算法是显着快于吉布斯采样在这个问题上。为了说明我们的推理策略的吸引力的功能，进行了一些数值模拟和图像修复的应用程序。
2022-01-07 cs.LG stat.ML
Provable Tensor Ring Completion
University of Electronic Science and Technology of China (UESTC)（电子科技大学）；School of Information and Communication Engineering, University of Electronic Science and Technology of China (UESTC)（电子科技大学信息与通信工程学院）
张量完成从有限数量的测量恢复多维数组。利用最近提出的张量环（TR）分解，本文证明了在给定n^{d/2} r^2 ln^7（n^{d/2}）个样本的情况下，通过求解凸优化程序，可以以很高的概率精确地恢复维数为n、TR秩为r的d阶张量.所提出的TR不相干条件下的结果保持类似的矩阵不相干条件。通过对合成数据的实验，验证了该方法对TR完成的恢复保证。此外，在真实数据上的实验表明，我们的方法提高了恢复性能相比，国家的最先进的方法。
2020-01-09 cs.LG stat.ML
On the Power of Adaptivity in Matrix Completion and Approximation
Carnegie Mellon University（卡内基梅隆大学）
我们认为相关的任务，矩阵完成和矩阵近似的缺失数据，并提出了自适应采样程序这两个问题。我们表明，自适应采样允许一个消除标准的不一致性假设的矩阵行空间是必要的被动采样程序。为了精确恢复低秩矩阵，我们的算法明智地选择了几列进行全面观察，并在很少的额外测量的情况下，将剩余的列投影到它们的跨度上。该算法使用$O(nrμ_0 \log^2(r))$观测值精确地恢复$n \times n$秩$r$矩阵，其中$μ_0$是矩阵列空间上的相干参数。除了完全消除任何行空间的假设，已经弥漫的文献中，该算法享有更好的样本复杂度比任何现有的矩阵完成算法。为了证明这种改进是由于自适应采样，我们建立了行空间的一致性是必要的被动采样算法，以实现非平凡的样本复杂度的界限。为了构造高秩输入矩阵的低秩近似，我们提出了一种简单的算法，该算法对输入矩阵的零填充版本的奇异值进行阈值化。该算法使用$O(nrμ\log^2(n))$样本来计算近似，该近似几乎与最佳秩$r$近似一样好，其中$μ$是矩阵列上略微不同的相干参数.我们再次消除了对行空间的假设。
2014-07-14 cs.LG stat.ML
Matrix Completion with Noisy Entries and Outliers
本文研究了当观测数据中含有噪声和野值时的矩阵完备化问题。首先介绍了一种新的优化准则，其中恢复矩阵被定义为它的解决方案。该标准使用了稳健统计文献中著名的Huber函数来降低离群值的影响。一个实用的算法来解决所涉及的优化。该算法速度快，实现简单，且单调收敛。此外，所提出的方法理论上被证明是稳定的，在一个明确的意义。通过一系列仿真实验，包括图像修复，证明了其有前途的经验性能。
2017-12-27 stat.ML
Tensor denoising and completion based on ordinal observations
University of Wisconsin – Madison（威斯康星大学麦迪逊分校）
高阶张量经常出现在神经成像、推荐系统、社会网络分析和心理学研究等应用中。我们考虑从可能不完整的，序值观测的低秩张量估计的问题。研究了两个相关问题，一个是张量去噪，另一个是张量完备化。我们提出了一个多线性累积链接模型，开发了一个秩约束的M-估计，并获得理论上的精度保证。我们的均方误差界比以前的结果具有更快的收敛速度，我们证明了所提出的估计是minimax最优的一类低秩模型。此外，开发的程序作为一个有效的完成方法，保证一致的恢复顺序$K$ $(d,\ldots,d)$维低秩张量只使用$\tilde{\mathcal{O}}(Kd)$噪声，量化的意见。我们证明了我们的方法优于以前的方法的聚类和协同过滤的任务。
2020-12-13 cs.LG math.ST stat.ME
Compressed Sensing and Matrix Completion with Constant Proportion of Corruptions
当采样数据可能严重损坏时，我们改进了压缩感知和矩阵完备领域的现有结果。我们引入了三个新的定理。1)在压缩感知中，我们表明，如果m \times n传感矩阵具有独立的高斯条目，那么可以恢复稀疏信号x精确地通过易处理的\ell 1最小化，即使测量的正分数被任意损坏，提供的非零条目的数量在x是O（m/（log（n/m）+ 1））。2)在Candes和Plan的“A probabilistic and RIPless theory of compressed sensing”中介绍的非常一般的感知模型中，假设损坏的测量值的正分数，如果信号现在具有O（m/（log^2 n））非零条目，则精确恢复仍然成立。3)最后，我们证明了一个可以恢复一个n \times n低秩矩阵从m损坏的采样项通过易处理的优化提供的秩是O（m/（n log^2 n））的顺序;再次，这保持当有一个积极的分数损坏的样本。
2012-01-18 cs.IT math.IT stat.ML
Efficient Federated Low Rank Matrix Completion
Iowa State University（爱荷华州立大学）
本文提出交替梯度下降与最小化方法 AltGDmin，用于联邦低秩矩阵补全，在通信效率、速度和样本复杂度上均具优势，并扩展至含噪场景及改进集中式 AltMin 的样本复杂度保证。
2024-09-30 cs.LG eess.SP
Relaxed Leverage Sampling for Low-rank Matrix Completion
Xerox Research Center India（施乐印度研究中心）
我们考虑的问题，通过标准的核范数最小化框架的任何$m\times n$矩阵的秩$\varrho$从少量的观察到的条目的精确恢复。这种低秩矩阵具有自由度$(m+n)\varrho - \varrho^2$。我们发现，任何任意低秩矩阵可以完全恢复从一个$Θ\left(((m+n)\varrho - \varrho^2)\log^2(m+n)\right)$随机采样的条目，从而匹配所需的条目数的下限（在自由度方面），与一个额外的因素$O(\log^2(m+n))$。为了达到样本大小的这个界限，我们观察每个条目的概率与相应的行和列杠杆分数之和成比例，减去它们的乘积。我们表明，这种放宽抽样概率（与Chen et al，2014中的杠杆分数之和相反）可以为我们提供$O(\varrho^2\log^2(m+n))$附加改进Chen et al，2014获得的（最知名的）样本量，用于核范数最小化。实际数据的实验证实了理论上的样本容量的改善。此外，$(a)$非相干矩阵（具有受限的杠杆分数）和仅具有一个行或列空间的$(b)$矩阵的精确恢复可以使用我们的放松杠杆分数采样，经由核范数最小化，而无需先验地知道杠杆分数。在这种情况下，我们也可以提高样本量。
2016-04-07 cs.IT cs.LG math.IT
Matrix completion by singular value thresholding: sharp bounds
我们考虑矩阵完备化问题，其目的是估计一个大的数据矩阵，只有一个相对较小的随机子集的条目被观察到。迭代阈值法是解决矩阵完备化问题的常用方法。尽管他们的经验成功，这种迭代阈值方法的理论保证知之甚少。本文的目的是为一种迭代阈值算法提供强有力的理论保证，该算法是对softImpute算法的一种改进，类似于核范数惩罚法和一步阈值法。我们的结果的一个重要结果是矩阵完备化问题的精确极小极大最优收敛速度，直到我们只知道一个对数因子。
2015-01-31 math.ST stat.TH
Obtaining error-minimizing estimates and universal entry-wise error bounds for low-rank matrix completion
我们提出了一个通用的框架，用于重建和去噪的不完整和嘈杂的条目的单个条目。我们描述：用于决定是否可以重建条目的有效算法，以及如果可以，则用于重建条目并对其去噪的有效算法;以及单独地对每个条目的误差的先验界限。在无噪声的情况下，我们的算法是准确的。对于秩一矩阵，新算法是快速的，承认一个高度并行的实现，并产生一个误差最小化估计，定性接近我们的理论和国家的核范数和OptSpace方法。
2013-03-29 math.AG math.CO stat.ML
Typical ranks in symmetric matrix completion
研究了对称矩阵的低秩矩阵完备化问题。一般部分指定对称矩阵的完备化的最小秩仅取决于指定元素的位置，而不是它们的值，如果允许复杂的元素。当要求条目是真实的时，情况就不再是这样了，可能的最低等级称为典型等级。本文给出了以$n$为典型秩的$n\times n$对称矩阵的指定整的模式的组合描述。此外，我们准确地描述了当这样一个通用的部分矩阵是最低限度地完成排名$n$。我们还描述了具有低的最大典型秩的条目的模式的典型秩。
2020-10-14 math.AG math.CO math.ST
FasTer: Fast Tensor Completion with Nonconvex Regularization
Paradigm. Inc.（4Paradigm公司）；Department of Computer Science and Engineering, Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系）；RIKEN（理化学研究所（RIKEN））；Hong Kong University of Science and Technology（香港科技大学）
低秩张量完备化问题的目标是从有限的观测值中恢复一个张量，它有很多实际应用。凸重叠核模由于其易于优化，已被广泛用于张量完备化。然而，它过度惩罚顶部奇异值并导致有偏估计。在本文中，我们建议使用非凸正则化，它可以更少地惩罚大奇异值，而不是凸张量完成。然而，由于新的正则化子是非凸的，彼此重叠，现有的算法要么太慢或遭受巨大的内存开销。为了解决这些问题，我们开发了一个有效的和可扩展的算法，这是基于近似平均（PA）算法，为现实世界的问题。与直接使用PA算法相比，该算法运行订单速度更快，所需订单空间更少。我们进一步加快所提出的算法与加速技术，并显示收敛到临界点仍然是有保证的。实验比较所提出的方法与其他各种张量完成的方法。实验结果表明，该算法是非常快的，可以产生更好的恢复性能。
2019-01-23 cs.LG stat.ML
Fast and Memory-Efficient Neural Code Completion
Microsoft Research（微软研究院）；University of Oxford（牛津大学）；University of Edinburgh（爱丁堡大学）
代码完成是现代集成开发环境（IDE）中使用最广泛的功能之一。虽然深度学习在源代码的统计预测方面取得了重大进展，但最先进的神经网络模型消耗数百兆内存，使开发环境膨胀。我们分两步解决这个问题：首先，我们提出了一个用于代码完成的模块化神经框架。这使我们能够探索设计空间并评估不同的技术。其次，在这个框架内，我们设计了一个新的重排序神经完成模型，结合静态分析与粒度令牌编码。最好的神经重排序模型仅消耗6 MB RAM，比以前的模型少19倍，在8 ms内计算一个完成，并在其前五个建议中达到90%的准确率。
2021-03-16 cs.LG cs.SE
Exact Tensor Completion Powered by Slim Transforms
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对现有张量补全理论要求变换正交的限制，本文建立任意线性变换下精确张量补全的理论保证，揭示slim transforms更优的理论原因，提升方法灵活性并经实验验证其优越性。
2024-08-15 cs.LG eess.SP
Simple, Fast, and Flexible Framework for Matrix Completion with Infinite Width Neural Networks
Massachusetts Institute of Technology（麻省理工学院）；University of California, San Diego（加州大学圣地亚哥分校）；Broad Institute of MIT and Harvard（布罗德研究所（麻省理工学院与哈佛大学））
矩阵补全问题出现在许多应用中，包括推荐系统、计算机视觉和基因组学。越来越大的神经网络已经在许多这些应用中取得了成功，但在相当大的计算成本。值得注意的是，将神经网络的宽度无限大可以提高计算性能。在这项工作中，我们开发了一个无限宽的神经网络框架矩阵完成，是简单，快速，灵活的。简单性和速度来自于神经网络的无限宽度限制与称为神经切线核（NTK）的核之间的联系。特别是，我们推导出NTK的全连接和卷积神经网络矩阵完成。灵活性源于特征先验，其允许对目标矩阵的坐标之间的关系进行编码，类似于半监督学习。通过虚拟药物筛选和图像修补/重建的竞争结果证明了我们的框架的有效性。我们还提供了一个Python实现，使我们的框架可以在标准硬件上访问。
2022-02-22 cs.LG
Information-Induced Training Geometry: Exact Reduction, Canonical Completion, and Structured Expressivity
Xidian University（西安电子科技大学）
本研究在仿射不变黎曼几何下，证明信息诱导的压缩映射存在唯一完备化，实现精确变分约化，并刻画了正定锥上的分层结构与结构化表达性。
2026-09-14 cs.LG math.OC
Strongly Convex Programming for Exact Matrix Completion and Robust Principal Component Analysis
National University of Defense Technology（国防科技大学）；University of Iowa（爱荷华大学）
在矩阵完备（MC）和鲁棒主元分析（RPCA）中，一个共同的任务是从给定的数据矩阵中恢复一个低秩矩阵。近年来，特别是Cand`es等人的开创性工作发表后，这些问题引起了应用科学各领域的极大关注。MC和RPCA中的一个基本结果是，基于核范数的凸优化在适当的条件下导致精确的低秩矩阵恢复。在本文中，我们扩展了这一结果表明，强凸优化可以保证准确的低秩矩阵恢复以及。本文的结果不仅提供了强凸模型导致精确低秩矩阵恢复的充分条件，而且对实际算法中如何选择合适的参数具有指导意义。
2012-01-05 cs.IT cs.LG math.IT
MLCTR: A Fast Scalable Coupled Tensor Completion Based on Multi-Layer Non-Linear Matrix Factorization
New Jersey Institute of Technology（新泽西理工学院）；Central Michigan University（中密歇根大学）
公司盈余预测对公司投资决策、股利预期和股票价格都有着重要的影响。它通常涉及多个张量兼容的数据集，这些数据集具有非线性多路关系，时空结构和不同的稀疏度。目前的非线性张量补全算法往往会学习噪声嵌入并导致过拟合。针对张量完备化问题的嵌入学习问题，提出了一种新的多层神经网络结构的张量因式分解与完备化算法（MLCTR）。该网络架构具有多个优点：一系列低秩矩阵分解（MF）构建块，以最大限度地减少过拟合，非线性的每一层中的交错传递函数，以及旁路连接，以减少梯度衰减问题并增加神经网络的深度。此外，该模型采用基于随机梯度下降（SGD）的优化，以快速收敛的训练。我们的算法是非常有效的插补缺失值的EPS数据。实验证实，我们在因子矩阵中引入非线性的策略在嵌入学习和端到端张量模型中表现出令人印象深刻的性能，并且在从因子矩阵重建张量的阶段中优于非线性方法。
2021-09-04 cs.LG
Fast Knowledge Graph Completion using Graphics Processing Units
ETRI（韩国电子通信研究院）
针对知识图谱补全中向量运算成本高的问题，提出基于GPU的框架，将可转换为度量空间的模型的补全问题转为相似连接问题，推导公式并开发快速算法，实验验证了高效性。
2023-07-22 cs.AI cs.DB cs.LG
A Fast Matrix-Completion-Based Approach for Recommendation Systems
State Key Laboratory of Mathematical Engineering and Advanced Computing（数学工程与先进计算国家重点实验室）；Zhejiang NewBlue Network Media Co. Ltd.（浙江新蓝网络传媒有限公司）
矩阵补全广泛应用于机器学习、工程控制、图像处理和推荐系统中。目前，一种流行的矩阵补全算法是奇异值阈值（SVT）。在该算法中，首先要设定奇异值阈值。然而，在推荐系统中，偏好矩阵的维度是不断变化的。因此，难以直接应用SVT。此外，推荐系统的用户需要的是一系列个性化的推荐结果，而不是对用户评分的估计。基于上述思想，本文提出了一种新的方法--概率完备化模型PCM。该方法通过降低数据维数、相似矩阵的传递性和奇异值分解，快速得到与原始矩阵具有相同概率分布的完备矩阵。该方法在保证牺牲部分准确性的基础上，大大减少了计算时间，并能快速得到具有数据趋势近似特性的低秩相似矩阵。实验结果表明，PCM可以快速生成与原始矩阵具有相似数据趋势的互补矩阵。PCM的LCS评分和有效率均高于SVT。
2019-12-04 cs.IR cs.LG
Matrix Completion with Sparse Noisy Rows
Stanford University（斯坦福大学）
在不同的基础条件下，研究了矩阵的精确完备化和低秩矩阵的估计问题。本文研究了非退化噪声模型下的精确低秩完备化问题。非退化随机噪声模型在噪声稀疏且存在于某些列中的情况下，已被许多研究者研究过。在本文中，我们假设每行可以接收随机噪声，而不是列，并提出了一个交互式算法，是强大的这种噪声。我们表明，我们使用的参数化技术给出了一个条件时，底层矩阵可以恢复，并提出了一个算法，恢复底层矩阵。
2022-04-05 cs.LG
Neural Tractability via Structure: Learning-Augmented Algorithms for Graph Combinatorial Optimization
School of Computer Science and Mathematical SciencesThe University of Adelaide（计算机科学与数学系，阿德莱德大学）
本文提出一种结合神经模型与参数化算法的框架，通过结构分析提升图组合优化的解质量，实现高效且可靠的求解方法。
2026-09-29 cs.LG stat.ML
Counterexamples to Local Reconstruction Gain as a Proxy for Final Fidelity in Residual Completion
Kioxia Corporation（铠侠公司）
本文通过反例证明，在残差补全中，局部重建增益的提升并不必然带来最终模型输出的保真度改善，精确恢复反而更有效。
2026-09-29 cs.CL cs.LG
Tensor Completion via Leverage Sampling and Tensor QR Decomposition for Network Latency Estimation
Wenzhou University（温州大学）
针对大规模网络时延估计计算开销大的问题，提出融合改进张量杠杆率采样、CSVD-QR、L_{2,1} 范数与张量 QR 分解 ADMM 的张量补全方法，在保持精度的同时显著提升速度。
2023-06-27 cs.LG cs.NA cs.NI
Exact Reconstruction of Euclidean Distance Geometry Problem Using Low-rank Matrix Completion
Department of Mathematics, Rensselaer Polytechnic Institute（罗切斯特理工学院数学系）
本文提出了一种利用低秩矩阵补全方法来解决欧几里得距离几何问题的框架，通过引入双基方法理论分析重构问题，并在不同三维数据和蛋白质分子上的数值测试验证了算法的有效性和效率。
2018-10-28 cs.IT cs.LG cs.NA
