Streaming, Memory Limited Matrix Completion with Noise
在本文中，我们考虑流存储器有限的矩阵完成问题时，观察到的条目是一个小的随机分数的原始条目的噪声版本。我们感兴趣的场景中，矩阵的大小非常大，所以矩阵是非常难以存储和操纵。这里，观察矩阵的列被顺序地呈现，并且目标是在有限的存储空间和有限的计算复杂性的情况下在数据上通过一次之后完成缺失的条目。我们提出了一种流算法，它产生一个消失的均方误差的原始矩阵的估计，使用存储空间线性缩放与矩阵的环境维度，即所需的存储器单独存储输出，并花费计算输入矩阵的非零条目的数量。
2015-04-13 math.SP stat.ML
Matrix Completion from Fewer Entries: Spectral Detectability and Rank Estimation
École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Sorbonne Universités, UPMC Univ Paris 06（索邦大学（巴黎第六大学））；ESPCI（巴黎高等物理化工学院）；CNRS UMR 7083 Gulliver（法国国家科学研究中心格列佛实验室（UMR 7083））；Institut de Physique Théorique, CEA Saclay（法国原子能和替代能源委员会萨克莱核研究中心理论物理研究所）；CNRS（法国国家科学研究中心）
由少量元素求低秩矩阵的完备化是一个有许多实际应用的问题。我们在这里考虑这个问题的两个方面：可检测性，即从最少的可能随机条目可靠地估计秩$r$的能力，以及实现小的重建误差的性能。我们提出了一个频谱算法，这两个任务称为MaCBetH（矩阵完成与贝特海森）。秩被估计为Bethe Hessian矩阵的负特征值的数量，并且相应的特征向量被用作估计矩阵与所揭示的条目之间的差异最小化的初始条件。我们分析了随机矩阵设置中的性能，使用的Hopfield神经网络的统计力学的结果，并特别表明，MaCBetH有效地检测从$C(r)r\sqrt{nm}$条目，其中$C(r)$是一个常数接近$1$的大型$n\times m$矩阵的秩$r$。我们还评估了相应的均方根误差的经验，并表明，MaCBetH相比有利的其他现有的方法。
2016-01-28 cond-mat.dis-nn cs.LG stat.ML
Typical and Generic Ranks in Matrix Completion
我们从几何的角度考虑低秩矩阵的精确完备化问题：给定一个部分填充矩阵M，我们保持指定和未指定元素的位置固定，并研究最小完备秩如何依赖于已知元素的值.如果矩阵的元素是复数，则对于指定和未指定元素的位置的固定模式，存在以正概率出现的唯一完成秩。我们称这个等级为通用完成等级。在实数上，可以有多个以正概率出现的秩;我们称之为典型的完成秩。我们正式介绍这些概念，并提供了一些不等式和确切的结果，典型的和通用的不同家庭的模式的已知和未知的条目的排名。
2019-09-22 cs.NA math.AG math.NA
Missing Not at Random in Matrix Completion: The Effectiveness of Estimating Missingness Probabilities Under a Low Nuclear Norm Assumption
Carnegie Mellon University（卡内基梅隆大学）
矩阵补全通常应用于具有非随机非随机缺失项（MNAR）的数据。例如，考虑一个推荐系统，其中用户倾向于只显示他们喜欢的项目的评级。在这种情况下，依赖于在均匀采样的行和列索引处显示的条目的矩阵完成方法可能会对看不见的用户评级产生过于乐观的预测。最近，各种各样的论文表明，如果我们知道不同矩阵项丢失的概率，我们可以减少MNAR矩阵完成中的这种偏差。这些概率通常使用逻辑斯谛回归或朴素贝叶斯进行建模，这些方法进行强假设，并且缺乏对估计概率准确性的保证。在本文中，我们提出了一个简单的方法来估计这些概率，避免这些缺点。我们的方法遵循的观察，在真实数据中的缺失模式往往表现出较低的核范数结构。然后，我们可以通过将（总是完全观察到的）二进制矩阵指定哪些条目被揭示或缺失到Davenport等人的现有核范数约束矩阵完成算法来估计缺失概率。[2014]。因此，我们通过首先解决不同的矩阵完成问题来解决MNAR矩阵完成问题，该矩阵完成问题恢复缺失概率。我们建立有限样本误差界如何准确这些概率估计和如何以及这些估计debias标准矩阵完成损失的原始矩阵完成。实验结果表明，所提出的去偏策略可以改善现有的各种矩阵补全算法，并使下游矩阵补全精度至少与需要额外辅助信息的逻辑斯谛回归和朴素贝叶斯去偏基线一样好.
2019-10-29 cs.LG stat.ML
Matrix Completion With Selective Sampling
University of California, Los Angeles（加州大学洛杉矶分校）
矩阵完备化是数据科学中的一个经典问题，其中人们试图在仅观察条目的某个子集的情况下重建低秩矩阵。以前的作者把这个问题称为核范数最小化问题。几乎所有以前的工作假设没有明确的矩阵结构，并使用均匀采样来决定观察到的条目。我们建议的情况下，我们有一些知识的矩阵的结构，并允许设计的观察集的选择性抽样的方法。
2019-04-17 cs.LG stat.ML
Uncertainty Quantification For Low-Rank Matrix Completion With Heterogeneous and Sub-Exponential Noise
Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）
低秩矩阵完成与异构和次指数（相对于均匀和高斯）噪声的问题是特别相关的一些应用在现代商业。例子包括小组销售数据和从网络商务系统（如推荐引擎）收集的数据。一个重要的未解决的问题，这个问题是描述下常见的低秩估计估计矩阵元素的分布。这样的特性是必不可少的任何应用，需要量化的不确定性，在这些估计，迄今为止，只有在假设均匀高斯噪声。在这里，我们的特点估计矩阵条目的分布时，观察噪声是异构的次指数，并提供，作为一个应用程序，明确的公式，这种分布时，观察到的条目是泊松分布或二进制分布。
2021-10-22 cs.LG stat.ML
Online Matrix Completion Through Nuclear Norm Regularisation
本文的主要目的是提出一种在线完成矩阵补全的新方法。出于各种各样的应用，从推荐系统的设计，传感器网络定位，通过地震数据重建，我们认为矩阵完成问题时，项目的兴趣矩阵逐渐观察。准确地说，我们将自己置于预测规则应该逐步细化的情况下，而不是每次观察到的条目样本增加时都从头开始重新计算。将现有的矩阵补全方法扩展到序列预测环境确实是大数据时代的一个主要问题，但文献中很少涉及。本文中提出的算法建立在Mazumder等人（2010）中介绍的软插补方法的基础上。主要的新颖性主要来自于使用随机技术来计算和更新算法中涉及的奇异值分解（SVD）。虽然解除武装的简单性，提出的方法证明是非常有效的，同时需要减少计算。几个数值实验的基础上，真实的数据集说明了它的性能，连同初步的结果，给它的理论基础。
2014-01-10 stat.ML
An inexact LPA for DC composite optimization and application to matrix completions with outliers
针对DC复合优化问题，提出非精确线性化近端算法（iLPA），在KL性质下证明收敛性，并应用于含离群值矩阵补全，数值实验验证其高效性。
2025-10-07 math.OC stat.ML
Entry-Specific Bounds for Low-Rank Matrix Completion under Highly Non-Uniform Sampling
School of Operations Research and Information Engineering, Cornell University（康奈尔大学运筹学与信息工程学院）；Department of Computer Sciences, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系）
针对高度非均匀采样的低秩矩阵补全，本文提出在较小子矩阵上估计并给出逐条目误差上界，且该界在一定条件下匹配极小极大下界。
2024-02-29 cs.LG stat.ML
Missing Entries Matrix Approximation and Completion
School of Electrical Engineering Tel Aviv University（电气工程学院 特拉维夫大学）；School of Computer Science Tel Aviv University（计算机科学学院 特拉维夫大学）
针对仅部分条目已知的矩阵，提出一系列算法实现矩阵补全与逼近，支持低秩、核范数、谱范数等多种约束，并证明凸情形下全局收敛，无需参数且适用于图像重建及偏微分方程数据恢复。
2014-06-29 cs.LG cs.NA math.NA
Compressed Sensing and Matrix Completion with Constant Proportion of Corruptions
当采样数据可能严重损坏时，我们改进了压缩感知和矩阵完备领域的现有结果。我们引入了三个新的定理。1)在压缩感知中，我们表明，如果m \times n传感矩阵具有独立的高斯条目，那么可以恢复稀疏信号x精确地通过易处理的\ell 1最小化，即使测量的正分数被任意损坏，提供的非零条目的数量在x是O（m/（log（n/m）+ 1））。2)在Candes和Plan的“A probabilistic and RIPless theory of compressed sensing”中介绍的非常一般的感知模型中，假设损坏的测量值的正分数，如果信号现在具有O（m/（log^2 n））非零条目，则精确恢复仍然成立。3)最后，我们证明了一个可以恢复一个n \times n低秩矩阵从m损坏的采样项通过易处理的优化提供的秩是O（m/（n log^2 n））的顺序;再次，这保持当有一个积极的分数损坏的样本。
2012-01-18 cs.IT math.IT stat.ML
Typical ranks in symmetric matrix completion
研究了对称矩阵的低秩矩阵完备化问题。一般部分指定对称矩阵的完备化的最小秩仅取决于指定元素的位置，而不是它们的值，如果允许复杂的元素。当要求条目是真实的时，情况就不再是这样了，可能的最低等级称为典型等级。本文给出了以$n$为典型秩的$n\times n$对称矩阵的指定整的模式的组合描述。此外，我们准确地描述了当这样一个通用的部分矩阵是最低限度地完成排名$n$。我们还描述了具有低的最大典型秩的条目的模式的典型秩。
2020-10-14 math.AG math.CO math.ST
Asymptotic Convergence Rate of Alternating Minimization for Rank One Matrix Completion
Boston University（波士顿大学）
我们研究交替最小化矩阵完成在最简单的可能设置：完成一个秩一矩阵从一个显示的子集的条目。通过对一个可逆一致问题的特征值的变分刻画，给出了渐近收敛速度的界。这导致了一个多项式上界的渐近速率的节点数以及最大程度的图中透露的条目。
2020-08-11 cs.LG cs.NA math.NA
Noisy Tensor Completion via Low-rank Tensor Ring
Guangdong University of Technology（广东工业大学）；RIKEN（理化学研究所）
张量补全是不完整数据分析的基本工具，其目标是从部分观测值中预测缺失项。然而，现有的方法往往显式或隐式地假设观测条目是无噪声的，以提供精确恢复丢失条目的理论保证，这在实践中受到很大的限制。为了弥补这些缺陷，本文提出了一种新的噪声张量完成模型，它补充了现有的工作在处理高阶和噪声观测退化的不足。具体地说，张量环核范数（TRNN）和最小二乘估计分别采用正则化的基础张量和观察到的条目。此外，一个非渐近上界的估计误差描述所提出的估计器的统计性能。两个有效的算法来解决的优化问题的收敛保证，其中之一是专门针对处理大规模的张量，通过替换TRNN的原始张量的最小化等效的一个小得多的异构张量分解框架。合成和真实世界的数据上的实验结果表明，该模型在恢复噪声不完整的张量数据的有效性和效率相比，国家的最先进的张量完成模型。
2022-03-14 cs.AI cs.LG stat.ML
Deep Learning Approach for Matrix Completion Using Manifold Learning
矩阵完备化由于其在各个研究领域的广泛应用而受到了广泛的关注和研究。现有的矩阵补全方法只考虑数据矩阵中元素之间的非线性（或线性）关系，而忽略了潜在的线性（或非线性）关系。本文提出了一种新的数据矩阵隐变量模型，该模型是线性和非线性模型的组合，并设计了一种新的基于深度神经网络的矩阵补全算法，以解决数据矩阵元素之间的线性和非线性关系。所提出的方法包括两个分支。第一个分支学习列的潜在表示，并通过一系列隐藏的神经网络层重建部分观察矩阵的列。第二个分支对行执行相同的操作。此外，基于多任务学习原理，我们强制这两个分支一起工作，并引入一种新的正则化技术来减少过度拟合。更具体地，数据的缺失条目被恢复为主要任务，并且流形学习被执行为辅助任务。辅助任务约束网络的权重，因此它可以被视为正则化器，从而改进主任务并减少过拟合。在合成数据和实际数据上的实验结果验证了该方法与现有的矩阵补全方法相比的有效性。
2020-12-11 cs.LG stat.ML
Robust matrix completion via Novel M-estimator Functions
针对传统M估计器会降低未受污染数据权重的问题，提出生成仅降低异常值权重的非凸函数框架，将其应用于多种函数构建鲁棒损失，开发鲁棒矩阵补全高效算法并分析收敛性，数值实验验证其在恢复精度和运行时间上更优。
2023-10-08 eess.SP stat.ML
Matrix Co-completion for Multi-label Classification with Missing Features and Labels
RIKEN Center for Advanced Intelligence Project（理化学研究所高级智能项目中心）；Center for Artificial Intelligence, University of Technology Sydney（悉尼科技大学人工智能中心）；Nanjing University（南京大学）；University of Tokyo（东京大学）
我们考虑了一个具有挑战性的多标签分类问题，其中特征矩阵$\X$和标签矩阵$\Y$都有丢失的条目。现有的方法将$\X$和$\Y$级联为$[\X; \Y]$，并在假设$[\X; \Y]$具有低秩的情况下应用矩阵完成（MC）方法来填充缺失的条目。然而，由于$\Y$的条目在多标签设置中采用二进制值，因此$\Y$不太可能是低秩的。此外，这种假设意味着$\X$和$\Y$之间的线性关系，这在实践中可能不成立。在本文中，我们考虑一个潜在的矩阵$\Z$，产生的概率$σ(Z_{ij})$生成标签$Y_{ij}$，其中$σ(\cdot)$是非线性的。考虑到标签相关性，假设$[\X; \Z]$是低秩的，提出了一种基于次梯度下降的MC算法，称为共同完成（COCO），该算法由弹性网和一位MC驱动。我们给出了COCO的恢复效果的理论界，并通过实验证明了它的实用性。
2018-05-23 cs.LG stat.ML
Matrix Completion with Nonconvex Regularization: Spectral Operators and Scalable Algorithms
在本文中，我们研究了俗称的矩阵完成问题，其中的任务是“填写”未观察到的条目的一个小的子集的观察到的条目的矩阵，假设基础矩阵是低秩的。我们在此的贡献，增强了我们先前关于矩阵完备的核范数正则化问题的工作（Mazumder等人，2010）通过在凸核范数和非凸秩函数之间引入连续的非凸罚函数。灵感来自于IMPUTE（Mazumder等人，2010; Hastie等人，2016），我们提出了NC-IMPUTE-一个EM风格的算法框架，用于计算一系列具有热启动的非凸惩罚矩阵完成问题。我们提出了一个系统的研究相关的光谱阈值算子，这在整个算法中发挥了重要作用。我们研究了算法的收敛性。使用结构化的低秩SVD计算，我们证明了我们的建议的Netflix大小的问题的计算可扩展性（大约，一个$500,000 \times 20, 000$矩阵与$10^8$观察条目）。我们证明，在广泛的合成和真实数据的情况下，我们提出的非凸正则化框架导致低秩的解决方案具有更好的预测性能相比，从核范数问题。本文提出的算法的实现，用R编程语言编写，在github上可用。
2020-03-03 stat.CO stat.ML
Exponential Family Matrix Completion under Structural Constraints
我们考虑从噪声和部分测量中恢复结构化矩阵的矩阵完成问题。最近的作品提出了易于处理的估计与强大的统计保证的情况下，底层矩阵是低秩，测量组成的子集，无论是确切的个人条目，或条目扰动加性高斯噪声，这是因此隐含地适合于薄尾连续数据。可以说，矩阵补全的常见应用需要估计器用于（a）异构数据-类型，如偏斜-连续、计数、二进制等，(b)对于异构噪声模型（超越高斯），它捕获不同的测量不确定性，以及（c）异构结构约束超越低秩，如块稀疏，或低秩加元素稀疏的叠加结构，等等。在本文中，我们提供了一个非常统一的框架，广义矩阵完成考虑矩阵完成设置，其中矩阵条目是从指数分布的丰富的家庭的任何成员进行采样，并施加一般的结构约束的基础矩阵，捕获的一般正则化$\mathcal{R}(.)$。我们提出了一个简单的凸正则化$M$ -估计的广义框架，并提供了一个统一的和新的统计分析这类估计。最后，我们证实了我们的理论结果模拟数据集。
2015-09-15 cs.LG stat.ML
Information-Guided Sampling for Low-Rank Matrix Completion
噪声矩阵补全问题，其目的是恢复一个低秩矩阵$\mathbf{X}$从一个部分，噪声观察其条目，出现在许多统计，机器学习，和工程应用。在本文中，我们提出了一种新的，信息理论的方法，主动采样（或设计）的矩阵项的噪声矩阵完成，最大熵设计原则的基础上。我们的方法的一个新颖之处是，它隐含地利用不确定性量化（UQ）-未观察到的矩阵条目的不确定性的度量-来指导主动采样过程。所提出的框架揭示了关于压缩感测的作用的若干新颖见解（例如，相干性）和编码设计（例如，拉丁方）的采样性能和UQ的噪声矩阵完成。使用这样的见解，我们开发了一个有效的后验采样器的UQ，然后用于指导矩阵条目的封闭形式的采样方案。最后，我们说明了这种集成的采样/ UQ方法在模拟研究和两个应用程序的协同过滤的有效性。
2021-07-14 stat.ME
A Note on Alternating Minimization Algorithm for the Matrix Completion Problem
MIT（麻省理工学院）；Los Alamos Research Laboratory（洛斯阿拉莫斯研究实验室）
本文分析了两种交替最小化算法变体在低秩矩阵补全问题中的性能，证明当矩阵秩为1且满足特定条件时，算法能在多项式时间内近似重建矩阵，并通过模拟结果表明第二种基于消息传递更新的算法表现更优。
2016-02-05 cs.LG cs.NA math.NA
Targeted matrix completion
University of Southern California（南加州大学）
矩阵补全是在许多数据分析设置中出现的问题，其中输入由部分观察的矩阵组成（例如，推荐系统、流量矩阵分析等）。经典的矩阵完备化方法假设输入的部分观测矩阵是低秩的。这些方法的成功取决于观察到的条目的数量和矩阵的秩;秩越大，为了准确地完成矩阵，需要观察的条目就越多。在本文中，我们处理矩阵，不一定是低秩本身，而是他们包含低秩子矩阵。我们提出了有针对性的，这是一个通用的框架，完成这样的矩阵。在这个框架中，我们首先提取低秩子矩阵，然后分别对这些低秩子矩阵和剩余矩阵应用矩阵完备化算法。虽然对于完成本身，我们使用国家的最先进的完成方法，我们的结果表明，有针对性的实现显着较小的重建误差比其他经典的矩阵完成方法。本文的关键技术贡献之一在于从输入部分可观测矩阵中识别出低秩子矩阵。
2017-04-30 cs.LG stat.ML
Fundamental Conditions for Low-CP-Rank Tensor Completion
Columbia University（哥伦比亚大学）
本文研究了低正则多元（CP）秩张量完备化问题.完备化是一个张量，其条目与观察到的条目一致，并且其秩与给定的CP秩匹配。我们分析了给定秩的张量所对应的流形结构，并基于采样模式和CP分解定义了一组多项式。然后，我们证明了采样张量的有限完备性等价于在定义的多项式中有一定数量的代数独立多项式。我们所提出的方法的结果在一个简单的几何结构的采样模式的特征代数独立多项式的最大数量，因此，我们得到了确定性的必要和充分条件的采样模式有限的可完成性的采样张量。此外，假设张量的条目以概率$p$独立采样，并使用上述确定性分析，我们提出了一种组合方法来导出采样概率$p$的下限，或者等价地，保证有限的高概率完全性的采样条目的数量。我们还表明，现有的结果矩阵完成问题可以用来获得宽松的采样概率的下限$p$。此外，我们还得到了唯一完备性的确定性和概率性条件。可以看出，有限或唯一的完备性所需的样本数量的CP流形上所提出的分析是订单的数量级低于通过现有的分析格拉斯曼流形。
2017-03-31 cs.LG cs.NA math.NA
Obtaining error-minimizing estimates and universal entry-wise error bounds for low-rank matrix completion
我们提出了一个通用的框架，用于重建和去噪的不完整和嘈杂的条目的单个条目。我们描述：用于决定是否可以重建条目的有效算法，以及如果可以，则用于重建条目并对其去噪的有效算法;以及单独地对每个条目的误差的先验界限。在无噪声的情况下，我们的算法是准确的。对于秩一矩阵，新算法是快速的，承认一个高度并行的实现，并产生一个误差最小化估计，定性接近我们的理论和国家的核范数和OptSpace方法。
2013-03-29 math.AG math.CO stat.ML
Low-rank Distributional Matrix Completion
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Texas A&M University（德克萨斯农工大学）
针对每个条目为概率分布的矩阵，提出基于核均值嵌入和Tucker秩的低秩结构，通过函数展开算子连接无限维与有限维，实现分布矩阵补全并给出非渐近误差界。
2026-06-02 cs.LG math.ST stat.ML
Mutual Kernel Matrix Completion
Gunma University（群马大学）；Ochanomizu University（御茶水女子大学）
本文提出互核矩阵补全算法，通过融合数据与核矩阵补全方法，提升生物数据分类任务中缺失核矩阵的补全效果。
2017-05-10 cs.LG cs.NA math.NA
Collective Matrix Completion
Univ Paris Nanterre（巴黎楠泰尔大学）；ESSEC Business School（ESSEC商学院）；CREST（法国经济与统计研究所）
矩阵完备化的目的是根据对少量元素的观察来重构数据矩阵。通常在矩阵完成中考虑单个矩阵，其可以是例如推荐系统中的评级矩阵。然而，在实际情况中，数据往往是从多个来源获得的，这导致了矩阵的集合，而不是一个单一的。在这项工作中，我们考虑的问题，集体矩阵完成与多个和异构矩阵，这可以是计数，二进制，连续等，我们首先调查的设置，对于每个源，矩阵条目是从一个指数家庭分布抽样。然后，我们放松了对噪声服从指数族分布的假设，并研究了无分布的情况。在这种情况下，我们不为观察假设任何特定的模型。估计过程是基于最小化的总的拟合优度项和整个集体矩阵的核范数惩罚的总和。我们证明了所提出的估计实现快速收敛速度下的两个考虑的设置，我们证实了我们的结果与数值实验。
2019-10-21 cs.LG stat.ML
RGNMR: A Gauss-Newton method for robust matrix completion with theoretical guarantees
Weizmann Institute of Science（魏茨曼科学研究所）
RGNMR是一种具有理论保证的鲁棒矩阵补全方法，通过高斯-牛顿线性化和异常值移除技术，有效解决低秩矩阵补全问题，尤其在处理少量观测条目、秩过参数化和病态矩阵方面表现优异。
2025-12-14 cs.LG cs.NA math.NA
Matrix Completion for Structured Observations
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出改进的核范数最小化方法，以考虑观测与未观测条目间的结构性差异，提升矩阵补全效果。
2018-01-29 cs.LG cs.NA math.NA
Matrix completion with column manipulation: Near-optimal sample-robustness-rank tradeoffs
本文考虑矩阵完备化问题时，一些列完全和任意损坏，潜在的恶意对手。众所周知，矩阵补全的标准算法可以返回任意差的结果，即使是一列损坏。一个直接的应用来自健壮的协同过滤。在这里，一些用户是所谓的操纵者，他们试图通过校准他们对系统的输入来扭曲算法的预测。在本文中，我们开发了一个有效的算法，这个问题的基础上结合的修剪程序和凸规划，最大限度地减少核范数和$\ell_{1,2}$规范。我们的理论结果表明，给定一个消失的分数观察到的条目，它仍然是可能的，以完成底层矩阵，即使损坏的列的数量增长。值得注意的是，我们的结果没有对操作列的观察条目的位置或值进行任何假设。此外，我们通过信息理论的论证表明，我们的保证在真实列上的采样条目的分数、损坏列的分数和底层矩阵的秩方面几乎是最优的。因此，我们的研究结果尖锐的特点之间的权衡样本，鲁棒性和秩矩阵完成。
2016-04-24 cs.IT math.IT stat.ML
Regularization for Matrix Completion
我们考虑的问题，重建一个低秩矩阵的一个子集，其条目的噪声观测。该任务在统计学习、计算机视觉和信号处理中有应用。在这些上下文中，“噪声”一般是指对数据的任何贡献，这些贡献没有被低秩模型捕获。在大多数应用中，噪声水平与基础信号相比很大，避免过拟合很重要。为了解决这个问题，我们定义了一个正则化的成本函数非常适合光谱重建方法。在一个随机噪声模型，并在大系统的限制，我们证明了所得到的准确性经历了一个相变，这取决于噪声水平和所观察到的条目的分数。可以使用OPTSPACE（流形梯度下降算法）最小化成本函数。数值模拟表明，这种方法是有竞争力的国家的最先进的替代品。
2010-01-02 stat.AP stat.ML
Low-rank matrix completion and denoising under Poisson noise
Georgia Institute of Technology（佐治亚理工学院）
本文针对泊松噪声下的低秩矩阵去噪与补全问题，分析三种估计器并给出依赖秩、观测比例及行列和的上界误差，证明其极小极大最优性，并扩展到多项情形。
2020-04-30 cs.LG math.ST stat.ML
Brain-Computer Interface with Corrupted EEG Data: A Tensor Completion Approach
脑-机接口中的一个重要问题是如何处理以多维数据集形式组织的脑电测量数据。另一方面，最近，在利用张量分解模型来捕获多维信号中的条目之间的复杂关系的多维信号补全算法中已经取得了重大进展。我们建议使用张量完成应用于EEG数据，以提高分类性能的运动图像BCI系统与损坏的测量。噪声测量被认为是从张量分解模型推断的未知量。我们评估了四个最近提出的张量完成算法的性能，加上一个简单的插值策略，首先与随机丢失的条目，然后与丢失的样本约束有一个特定的结构（随机丢失的通道），这是一个更现实的假设在BCI应用。我们测量了这些算法从观测数据重建张量的能力。然后，我们测试的分类准确性的想象运动的BCI实验与缺失的样本。我们表明，对于随机缺失的条目，所有张量完成算法可以恢复丢失的样本，增加分类性能相比，一个简单的插值方法。对于随机丢失通道的情况下，我们表明，张量补全算法有助于重建丢失的通道，显着提高运动想象分类的准确性，但是，不是在同一水平的干净的数据。张量补全算法在实际的BCI应用中是有用的。所提出的策略可以允许使用运动图像BCI系统，即使当EEG数据受到丢失通道和/或样本的高度影响时，避免在校准阶段需要新的采集。
2018-07-26 eess.SP q-bio.QM stat.ML
Noisy Tensor Completion via the Sum-of-Squares Hierarchy
Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；Massachusetts Institute of Technology（麻省理工学院）
在有噪声的张量完备问题中，我们从未知的$n_1 \times n_2 \times n_3$张量$T$中观察$m$条目（其位置是随机均匀选择的）。我们假设$T$在条目方面接近于等级$r$。我们的目标是使用尽可能少的观察值来填充其缺失的条目。令$n = \max(n_1, n_2, n_3)$。我们证明了如果$m = n^{3/2} r$，那么有一个多项式时间算法的基础上的第六层的平方和的层次来完成它。我们的估计同意几乎所有的$T$的条目几乎完全，即使我们的观察被噪声破坏。这也是第一个张量完备化算法，在$r > n$的过完备情况下有效，实际上它一直工作到$r = n^{3/2-ε}$。我们的证明是简短和简单的，是基于建立一个新的连接之间的噪音张量完成（通过Rademacher复杂性的语言）和反驳随机常数满足问题的任务。即使在矩阵补全的上下文中，这种联系似乎也没有被注意到。此外，我们使用这个连接来显示匹配的下界。我们的主要技术成果是在表征的Rademacher复杂性的序列中出现的平方和松弛张量核规范的规范。这些结果指出了一个有趣的新方向：我们能否通过平方和层次来探索计算复杂度与样本复杂度的权衡？
2016-02-18 cs.DS cs.LG stat.ML
One-sided Matrix Completion from Two Observations Per Row
Stanford University（斯坦福大学）
针对行数多、每行仅两个观测导致无法恢复左奇异向量的情形，论文提出通过填补 $X^TX$ 恢复右奇异向量的单侧矩阵补全算法，并证明样本复杂度与实验优势。
2023-06-06 cs.DS cs.LG stat.ML
Matrix completion with deterministic pattern - a geometric perspective
Georgia Institute of Technology（佐治亚理工学院）
我们考虑矩阵完成问题的观察项目的确定性模式。在这种情况下，我们的目标是回答这样一个问题：在什么条件下，矩阵完备化问题会有（至少局部）唯一的解，即，潜在的真实矩阵是可识别的。我们从一定的角度回答这个问题，勾勒出一个几何的视角。我们给出了一个代数可验证的充分条件，我们称之为适定性条件，局部唯一的MRMC解决方案。我们认为，这个条件是必要的局部稳定性的MRMC解决方案，我们表明，该条件是通用的使用特征秩。我们还认为，低秩近似方法比MRMC更稳定，并进一步提出了一个顺序的统计检验程序，以确定从观察到的条目的“真正”的排名。最后，我们提供了数值例子，旨在验证所提出的理论的有效性。
2018-08-29 cs.LG math.ST stat.ML
Matrix Completion from General Deterministic Sampling Patterns
Purdue University（普渡大学）；MIT（麻省理工学院）
本文针对任意确定性采样模式，利用观测图的连通性和节点度性质，为约束核范数最小化求解精确及近似低秩矩阵补全建立理论保证，并改进对称矩阵情形下的已有结果。
2023-06-04 cs.LG stat.ML
Optimal spectral norm rates for noisy low-rank matrix completion
在本文中，我们考虑的迹回归模型中，$n$项目或项目的线性组合的未知$m_1\times m_2$矩阵$A_0$被噪声破坏的观察。对于在\cite{KLT}中引入的$A_0$的核范数惩罚估计，在观测项的抽样分布$Π$上的非相干条件下，建立了一个对$n,m_1,m_2$的任意值具有谱范数的一般的sharp oracle不等式.然后，我们将此方法应用于矩阵完备化问题。在这种情况下，我们证明了它满足一个最佳的预言不等式的谱范数，从而改进了现有的唯一结果\cite{KLT}有关谱范数，假设抽样分布是均匀的。注意，我们的结果是有效的，特别是在高维设置$m_1m_2\gg n$。最后，我们表明，所获得的速率是最佳的对数因子在极大极小意义上。
2011-10-24 math.ST stat.TH
Robust Matrix Completion with Mixed Data Types
Cornell University（康奈尔大学）
我们考虑了恢复一个结构化的低秩矩阵部分观察项目与混合数据类型的矩阵完成问题。绝大多数的解决方案都提出了计算上可行的估计与强有力的统计保证的情况下，在矩阵中的数据的基本分布是连续的。最近的一些方法已经扩展使用类似的想法，这些估计的情况下，基本分布属于指数家族。这些方法中的大多数假设只有一个底层分布，并且低秩约束由矩阵Schatten范数正则化。我们提出了一种计算上可行的统计方法，具有很强的恢复保证，以及适合并行化的算法框架，以在一个步骤中恢复混合数据类型的部分观察条目的低秩矩阵。我们还提供了大量的模拟证据，证实我们的理论结果。
2020-05-25 cs.LG math.ST stat.ML
Sum-of-squares meets square loss: Fast rates for agnostic tensor completion
Massachusetts Institute of Technology（麻省理工学院）
我们在不可知论的背景下研究张量完备化。在经典的张量补全问题中，我们接收到秩未知的$r$张量的$n$条目，并希望精确地完成剩余的条目。在不可知张量完备化中，我们不对未知张量的秩做任何假设，而是试图预测未知项以及最佳秩- $r$张量。对于具有平方损失的三阶张量的不可知学习，我们给出了第一个多项式时间算法，该算法获得了“快速”（即，$O(1/n)$型）速率比通过简化到矩阵完成获得的速率提高。我们的预测出错率与排名最好的$d\times{}d\times{}d$张量- $r$竞争是$\tilde{O}(r^{2}d^{3/2}/n)$。我们还得到了一个确切的预言不等式，权衡估计和近似误差。我们的算法是基于度六平方和松弛张量核范数。我们的分析的关键特征是表明，张量核范数的次梯度的某种表征可以被编码在平方和证明系统中。这解锁了平方损失下的经验过程的本地化的标准工具箱，并允许我们建立各种张量回归模型的限制特征值类型的保证，张量完成作为一个特例。对松弛的新分析补充了Barak和Moitra（2016），他们给出了不可知张量完成的缓慢速率，以及Potechin和Steurer（2017），他们给出了无噪声设置的精确恢复保证。我们的技术是用户友好的，我们预计它们将在其他地方使用。
2019-05-30 cs.DS cs.LG math.ST
Matrix Completion on Graphs
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Università della Svizzera Italiana（瑞士意大利语区大学）
在给定几个矩阵元素的情况下求矩阵的缺失值的问题，称为矩阵补齐，近年来引起了人们的广泛关注。虽然标准低秩假设下的问题是NP难的，但Candès和Recht表明，如果观察到的条目数量足够大，它可以完全放松。在这项工作中，我们引入了一种新的矩阵完成模型，利用邻近信息的行和列，假设他们形成社区。这个假设在一些现实世界的问题中是有意义的，比如在推荐系统中，有一些社区的人分享偏好，而产品形成了获得类似评级的集群。因此，我们的主要目标是找到一个低秩的解决方案，该解决方案是由图形编码的行和列的接近度构成的。我们借用流形学习的思想来限制我们的解决方案在这些图上是平滑的，以便隐含地强制行和列的接近。我们的矩阵恢复模型被配制成一个凸非光滑优化问题，为它提供了一个适定的迭代方案。我们研究和评估所提出的矩阵完成合成和真实数据，表明所提出的结构化低秩恢复模型优于标准的矩阵完成模型在许多情况下。
2014-11-27 cs.LG stat.ML
Probabilistic low-rank matrix completion on finite alphabets
在给定一个样本的情况下，重构一个矩阵的任务被称为矩阵完备化问题。它出现在广泛的问题中，包括推荐系统，协同过滤，降维，图像处理，量子物理或多类分类等等。大多数的工作都集中在恢复一个未知的实值低秩矩阵从随机子采样其条目。在这里，我们研究的情况下，观察采取有限数量的值，对应于推荐系统中的评级或多类分类中的标签的例子。我们还考虑了一般的抽样方案（不一定是均匀的）。从理论上分析了核范数惩罚估计的性能。更精确地说，在实际应用中，我们还提出了一种基于提升坐标梯度下降的有效算法，以处理潜在的高维设置。
2014-12-08 math.ST stat.ML stat.TH
Positive definite Hankel matrix completions and Hamburger moment completions
本文给出了含缺失项的Hamburger矩问题的解。考虑部分正序列的完备化问题。主要结果是一个正定可完成的模式，即模式，保证部分正定序列的汉堡时刻完成的存在性的表征。并给出了几个非正定可完备的模式。
2015-09-21 math.FA math.PR math.ST
The Algebraic Combinatorial Approach for Low-Rank Matrix Completion
Aalto University（阿尔托大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文提出一种基于代数几何和拟阵理论的代数组合新视角，通过研究少量条目间的关系来解决低秩矩阵补全问题，并给出概率为1的算法判断特定条目是否可补全、从少量条目补全该条目及估计补全误差。
2014-08-19 cs.LG cs.NA math.AG
Adaptive Multinomial Matrix Completion
在给定观察到的条目的样本的情况下估计矩阵的任务被称为\emph{matrix completion problem}。大多数关于矩阵完备化的工作都集中在从一个随机样本中恢复一个未知的实值低秩矩阵。在这里，我们调查的情况下，高度量化的观察时，测量只能采取少量的值。这些量化输出是根据由感兴趣的未知矩阵参数化的概率分布生成的。例如，该模型对应于推荐系统中的评级或多类分类中的标签。我们考虑一个一般的，非均匀的，抽样方案，并给出理论保证的约束，核范数惩罚最大似然估计的性能。该估计器的一个重要优点是它不需要未知矩阵的核范数的秩或上界的知识，因此，它是自适应的。我们提供的下界表明，我们的估计是最小最大最优的。提出了一种基于提升坐标梯度下降的有效算法来计算估计器。一个有限的蒙特卡罗实验，使用模拟和真实的数据来支持我们的主张。
2014-08-26 math.ST stat.ML stat.TH
Static and Dynamic Robust PCA and Matrix Completion: A Review
Iowa State University（爱荷华州立大学）
主成分分析（PCA）是一种应用最广泛的降维技术。鲁棒主成分分析（RobustPCA，RPCA）是指当数据可能被异常值破坏时的主成分分析问题。Cand{è}s，Wright，Li和Ma最近的工作将RPCA定义为将给定数据矩阵分解为低秩矩阵（真实数据）和稀疏矩阵（离群值）之和的问题。然后，低秩矩阵的列空间给出PCA解。这个简单的定义导致了大量有趣的新工作，可证明是正确的，快速的，实用的解决方案RPCA。最近，RPCA问题的动态（时变）版本已被研究，并提出了一系列可证明正确的，快速的，高效的跟踪解决方案。动态RPCA（或鲁棒子空间跟踪）是跟踪位于（缓慢）变化的子空间中的数据，同时对稀疏离群值具有鲁棒性的问题。本文提供了一个详尽的回顾过去十年的文献RPCA及其动态对应（鲁棒子空间跟踪），随着描述他们的理论保证，讨论各种方法的利弊，并提供性能和速度的实证比较。还提供了（低秩）矩阵完成文献的简要概述（重点是在其他最近的评论中没有讨论的作品）。这是指当仅观察到其条目的子集时完成低秩矩阵的问题。它可以被解释为RPCA的一个更简单的特殊情况，其中异常值损坏条目的索引是已知的。
2018-05-25 cs.IT cs.LG math.IT
Polynomial Matrix Completion for Missing Data Imputation and Transductive Learning
Cornell University（康奈尔大学）
本文提出了一种新的方法来恢复高秩甚至满秩矩阵的缺失项时，数据的内在维数是低的环境维。具体来说，我们假设矩阵的列是由作用于低维内在变量的多项式生成的，并希望在此假设下恢复丢失的条目。证明了在高维特征空间中，通过最小化矩阵的秩，可以识别出最小内禀维数的完备矩阵。我们开发了一个新的配方所产生的问题，使用核技巧与一个新的放松的秩目标，并提出了一个有效的优化方法。我们还展示了如何使用我们的方法来完成从多个非线性流形的数据。通过对合成数据、缺失数据的子空间聚类、运动捕捉数据恢复和转换学习的比较研究，验证了本文方法的优越性。
2019-12-15 cs.LG stat.ML
Matrix Completion with Quantified Uncertainty through Low Rank Gaussian Copula
Cornell University（康奈尔大学）
现代大规模数据集经常受到丢失条目的困扰。对于含有缺失值的表格数据，一系列插补算法求解一个完整的矩阵，使某些惩罚性重建误差最小化。然而，几乎没有人能估计其估算的不确定性。本文提出了一个概率和可扩展的框架缺失值填补量化的不确定性。我们的模型，低秩高斯Copula，增强了一个标准的概率模型，概率主成分分析，每列的边际变换，使模型更好地匹配数据的分布。它自然地处理布尔、序数和实值观测，并量化每个插补中的不确定性。拟合模型所需的时间与数据集中的行数和列数呈线性关系。实证结果表明，该方法在广泛的数据类型，包括那些具有高排名的国家的最先进的插补精度。我们的不确定性度量很好地预测了插补误差：不确定性较低的条目确实具有较低的插补误差（平均而言）。此外，对于实值数据，得到的置信区间是经过良好校准的。
2021-01-18 cs.LG stat.ML
Matrix completion with data-dependent missingness probabilities
在过去的几十年里，具有大量缺失项的大型矩阵的补全问题受到了广泛的关注。两个流行的方法来完成的矩阵问题是基于奇异值阈值和核范数最小化。大多数关于这个主题的过去的作品假设存在单个数字$p$，使得矩阵的每个条目以概率$p$独立可用，否则缺失。这种假设对于许多应用来说可能是不现实的。在这项工作中，我们取代它的假设，一个条目是可用的概率是一个未知的功能$f$的条目本身。例如，如果条目是观众给予电影的评级，则似乎高值条目比低值条目具有更大的可用概率。我们提出了两个新的估计，基于奇异值阈值和核范数最小化，在此假设下恢复矩阵。估计不涉及调谐参数，并示出了一致的低秩假设下。我们还提供了未知函数$f$的一致估计。
2022-04-22 cs.IT math.IT math.PR
Optimal Shrinkage of Singular Values Under Random Data Contamination
Hebrew University（希伯来大学）
低秩矩阵X已被均匀分布的噪声、缺失值、离群值和损坏条目污染。从污染矩阵Y的奇异值和奇异向量重构X是机器学习、计算机视觉和数据科学中的关键问题。在本文中，我们表明，常见的污染模型（包括均匀噪声，缺失值，离群值和腐败条目的任意组合）可以有效地使用一个框架来描述。我们开发了一个渐近最优算法，估计X操纵的奇异值的Y，这适用于任何考虑的污染模型。最后，我们找到了一个明确的信号噪声截止，低于此估计的X从奇异值分解的Y必须失败，在一个定义明确的意义。
2017-11-18 cs.IT cs.LG math.IT
A Characterization of Deterministic Sampling Patterns for Low-Rank Matrix Completion
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
低秩矩阵完备化（LRMC）问题出现在各种各样的应用中。以往的理论主要提供了随机抽样缺失下的完备性条件。本文研究了完备性的确定性条件。不完全的$d \times N$矩阵是秩- $r$可完全的，如果最多有1000个秩- $r$矩阵与它的所有观测项一致.有限可完成性是LRMC的临界点，因为一个可完成矩阵的一些额外样本保证了它的唯一可完成性。本文的主要贡献是有限完备性的确定性抽样条件。我们用它来获得确定性的采样条件，可以有效地验证独特的可完成性。我们还表明，在均匀随机抽样方案下，如果观察到每列的$O(\max\{r,\log d\})$条目，则这些条件以高概率满足。这些发现有几个LRMC上的下界，样本和计算的复杂性，一致性的作用，自适应设置和任何完成算法的验证的影响。我们补充我们的理论结果与实验，支持我们的研究结果和激励未来的分析未知的采样制度。
2016-10-11 cs.LG math.AG stat.ML
Unlabeled Principal Component Analysis and Matrix Completion
EPFL（洛桑联邦理工学院）
该研究提出列元素被置换破坏场景下的无标记主成分分析（UPCA），证明其为良定义代数问题，设计两阶段高效算法，并拓展至无标记矩阵补全，实验验证其在多领域应用潜力。
2023-10-09 cs.LG stat.ML
Symmetric Matrix Completion with ReLU Sampling
Antai College of Economics and Management, Shanghai Jiao Tong University（上海交通大学安泰经济与管理学院）；University of Michigan（密歇根大学）；Michigan State University（密歇根州立大学）
本文研究ReLU采样下的对称半正定低秩矩阵补全问题，证明非凸目标在植入解附近具有测地强凸性，并提出一种定制初始化方法使梯度下降始终收敛到全局最优。
2024-06-09 cs.LG stat.ML
High-Rank Matrix Completion and Subspace Clustering with Missing Data
Boston University（波士顿大学）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
本文在矩阵列属于多个低秩子空间并的假设下，研究了多缺元矩阵的补问题。这将标准的低秩矩阵完备化问题推广到矩阵秩可以很高甚至满秩的情况。由于列属于子空间的并集，因此该问题也可以被视为子空间聚类问题的缺失数据版本。设X是一个n × N矩阵，其（完全）列位于至多k个子空间的并集中，每个子空间的秩<= r < n，并假设N >> kn。本文的主要结果表明，在温和的假设下，只要X的至少CrNlog^2（n）个元素是随机一致观测的，且C>1是一个常数，取决于通常的不相干条件、子空间的几何排列以及列在子空间上的分布，那么X的每一列都可以以很高的概率从不完整的版本完美地恢复。数值实验结果表明，并应用于互联网的距离矩阵完成和拓扑结构识别。
2011-12-27 cs.IT cs.LG math.IT
