Binary Matrix Completion Using Unobserved Entries
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
矩阵完备化问题是机器学习领域的一个重要问题，其研究目的是从矩阵的部分观测值中恢复出一个完备的矩阵。然而，主流的问题设置，假设连续值的观察，和一些实际应用，如推荐系统和SNS链接预测，观察离散甚至二进制值之间存在差异。为了解决这个问题，Davenport等人（2014）提出了一个二进制矩阵完成（BMC）问题，其中观测值被量化为二进制值。Hsieh et al.（2015）提出了一个PU（Positive and Unlabeled）矩阵补全问题，这是BMC问题的扩展。这个问题针对的是我们无法观察到负值的设置，例如SNS链接预测。在构建这种设置的方法时，他们引入了一种分类问题的方法，将每个矩阵条目视为样本。它们的风险也定义了未观察到的条目的损失，表明了使用未观察到的条目的可能性。在本文中，受到Sakai等人最近提出的半监督分类方法的启发。（2017），我们通过结合Davenport等人的风险开发了一种可以使用所有阳性，阴性和未观察条目的BMC问题的方法。（2014）和Hsieh等人。（2015）。据我们所知，这是第一个利用各种矩阵元素的BMC方法。我们的实验表明，一个适当的混合风险提高性能。
2018-03-13 cs.LG stat.ML
Fundamental Conditions for Low-CP-Rank Tensor Completion
Columbia University（哥伦比亚大学）
本文研究了低正则多元（CP）秩张量完备化问题.完备化是一个张量，其条目与观察到的条目一致，并且其秩与给定的CP秩匹配。我们分析了给定秩的张量所对应的流形结构，并基于采样模式和CP分解定义了一组多项式。然后，我们证明了采样张量的有限完备性等价于在定义的多项式中有一定数量的代数独立多项式。我们所提出的方法的结果在一个简单的几何结构的采样模式的特征代数独立多项式的最大数量，因此，我们得到了确定性的必要和充分条件的采样模式有限的可完成性的采样张量。此外，假设张量的条目以概率$p$独立采样，并使用上述确定性分析，我们提出了一种组合方法来导出采样概率$p$的下限，或者等价地，保证有限的高概率完全性的采样条目的数量。我们还表明，现有的结果矩阵完成问题可以用来获得宽松的采样概率的下限$p$。此外，我们还得到了唯一完备性的确定性和概率性条件。可以看出，有限或唯一的完备性所需的样本数量的CP流形上所提出的分析是订单的数量级低于通过现有的分析格拉斯曼流形。
2017-03-31 cs.LG cs.NA math.NA
Mutual Kernel Matrix Completion
Gunma University（群马大学）；Ochanomizu University（御茶水女子大学）
本文提出互核矩阵补全算法，通过融合数据与核矩阵补全方法，提升生物数据分类任务中缺失核矩阵的补全效果。
2017-05-10 cs.LG cs.NA math.NA
Matrix Completion with Noisy Entries and Outliers
本文研究了当观测数据中含有噪声和野值时的矩阵完备化问题。首先介绍了一种新的优化准则，其中恢复矩阵被定义为它的解决方案。该标准使用了稳健统计文献中著名的Huber函数来降低离群值的影响。一个实用的算法来解决所涉及的优化。该算法速度快，实现简单，且单调收敛。此外，所提出的方法理论上被证明是稳定的，在一个明确的意义。通过一系列仿真实验，包括图像修复，证明了其有前途的经验性能。
2017-12-27 stat.ML
Matrix Completion from a Few Entries
Stanford University（斯坦福大学）
设M是秩r<<n的随机（α n）× n矩阵，并假设其元素的一致随机子集E被观测到。我们描述了一个有效的算法，重建M从|E| = O（rn）观察到的项目与相对均方根误差RMSE <= C（rn/ |E|）^0.5。此外，如果r=O（1），则可以从|E| = O（n log（n））个条目精确地重构M。这些结果不仅适用于随机矩阵，也适用于一般的低秩非相干矩阵。这解决了（在有界秩的情况下）Candes和Recht留下的一个问题，并改善了他们的重建算法的保证。算法的复杂度为O（|E| r log（n）），这为算法在大规模数据集上的应用开辟了道路。在证明这些结论的过程中，我们推广了Friedman-Kahn-Szemeredi和Feige-Ofek关于稀疏随机矩阵谱的一个著名结果。
2009-09-17 cs.LG stat.ML
Matrix Completion from Fewer Entries: Spectral Detectability and Rank Estimation
École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Sorbonne Universités, UPMC Univ Paris 06（索邦大学（巴黎第六大学））；ESPCI（巴黎高等物理化工学院）；CNRS UMR 7083 Gulliver（法国国家科学研究中心格列佛实验室（UMR 7083））；Institut de Physique Théorique, CEA Saclay（法国原子能和替代能源委员会萨克莱核研究中心理论物理研究所）；CNRS（法国国家科学研究中心）
由少量元素求低秩矩阵的完备化是一个有许多实际应用的问题。我们在这里考虑这个问题的两个方面：可检测性，即从最少的可能随机条目可靠地估计秩$r$的能力，以及实现小的重建误差的性能。我们提出了一个频谱算法，这两个任务称为MaCBetH（矩阵完成与贝特海森）。秩被估计为Bethe Hessian矩阵的负特征值的数量，并且相应的特征向量被用作估计矩阵与所揭示的条目之间的差异最小化的初始条件。我们分析了随机矩阵设置中的性能，使用的Hopfield神经网络的统计力学的结果，并特别表明，MaCBetH有效地检测从$C(r)r\sqrt{nm}$条目，其中$C(r)$是一个常数接近$1$的大型$n\times m$矩阵的秩$r$。我们还评估了相应的均方根误差的经验，并表明，MaCBetH相比有利的其他现有的方法。
2016-01-28 cond-mat.dis-nn cs.LG stat.ML
Missing Not at Random in Matrix Completion: The Effectiveness of Estimating Missingness Probabilities Under a Low Nuclear Norm Assumption
Carnegie Mellon University（卡内基梅隆大学）
矩阵补全通常应用于具有非随机非随机缺失项（MNAR）的数据。例如，考虑一个推荐系统，其中用户倾向于只显示他们喜欢的项目的评级。在这种情况下，依赖于在均匀采样的行和列索引处显示的条目的矩阵完成方法可能会对看不见的用户评级产生过于乐观的预测。最近，各种各样的论文表明，如果我们知道不同矩阵项丢失的概率，我们可以减少MNAR矩阵完成中的这种偏差。这些概率通常使用逻辑斯谛回归或朴素贝叶斯进行建模，这些方法进行强假设，并且缺乏对估计概率准确性的保证。在本文中，我们提出了一个简单的方法来估计这些概率，避免这些缺点。我们的方法遵循的观察，在真实数据中的缺失模式往往表现出较低的核范数结构。然后，我们可以通过将（总是完全观察到的）二进制矩阵指定哪些条目被揭示或缺失到Davenport等人的现有核范数约束矩阵完成算法来估计缺失概率。[2014]。因此，我们通过首先解决不同的矩阵完成问题来解决MNAR矩阵完成问题，该矩阵完成问题恢复缺失概率。我们建立有限样本误差界如何准确这些概率估计和如何以及这些估计debias标准矩阵完成损失的原始矩阵完成。实验结果表明，所提出的去偏策略可以改善现有的各种矩阵补全算法，并使下游矩阵补全精度至少与需要额外辅助信息的逻辑斯谛回归和朴素贝叶斯去偏基线一样好.
2019-10-29 cs.LG stat.ML
RGNMR: A Gauss-Newton method for robust matrix completion with theoretical guarantees
Weizmann Institute of Science（魏茨曼科学研究所）
RGNMR是一种具有理论保证的鲁棒矩阵补全方法，通过高斯-牛顿线性化和异常值移除技术，有效解决低秩矩阵补全问题，尤其在处理少量观测条目、秩过参数化和病态矩阵方面表现优异。
2025-12-14 cs.LG cs.NA math.NA
Matrix Completion for Structured Observations
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出改进的核范数最小化方法，以考虑观测与未观测条目间的结构性差异，提升矩阵补全效果。
2018-01-29 cs.LG cs.NA math.NA
Matrix Completion With Selective Sampling
University of California, Los Angeles（加州大学洛杉矶分校）
矩阵完备化是数据科学中的一个经典问题，其中人们试图在仅观察条目的某个子集的情况下重建低秩矩阵。以前的作者把这个问题称为核范数最小化问题。几乎所有以前的工作假设没有明确的矩阵结构，并使用均匀采样来决定观察到的条目。我们建议的情况下，我们有一些知识的矩阵的结构，并允许设计的观察集的选择性抽样的方法。
2019-04-17 cs.LG stat.ML
Uncertainty Quantification For Low-Rank Matrix Completion With Heterogeneous and Sub-Exponential Noise
Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）
低秩矩阵完成与异构和次指数（相对于均匀和高斯）噪声的问题是特别相关的一些应用在现代商业。例子包括小组销售数据和从网络商务系统（如推荐引擎）收集的数据。一个重要的未解决的问题，这个问题是描述下常见的低秩估计估计矩阵元素的分布。这样的特性是必不可少的任何应用，需要量化的不确定性，在这些估计，迄今为止，只有在假设均匀高斯噪声。在这里，我们的特点估计矩阵条目的分布时，观察噪声是异构的次指数，并提供，作为一个应用程序，明确的公式，这种分布时，观察到的条目是泊松分布或二进制分布。
2021-10-22 cs.LG stat.ML
Streaming, Memory Limited Matrix Completion with Noise
在本文中，我们考虑流存储器有限的矩阵完成问题时，观察到的条目是一个小的随机分数的原始条目的噪声版本。我们感兴趣的场景中，矩阵的大小非常大，所以矩阵是非常难以存储和操纵。这里，观察矩阵的列被顺序地呈现，并且目标是在有限的存储空间和有限的计算复杂性的情况下在数据上通过一次之后完成缺失的条目。我们提出了一种流算法，它产生一个消失的均方误差的原始矩阵的估计，使用存储空间线性缩放与矩阵的环境维度，即所需的存储器单独存储输出，并花费计算输入矩阵的非零条目的数量。
2015-04-13 math.SP stat.ML
Noisy Tensor Completion via Low-rank Tensor Ring
Guangdong University of Technology（广东工业大学）；RIKEN（理化学研究所）
张量补全是不完整数据分析的基本工具，其目标是从部分观测值中预测缺失项。然而，现有的方法往往显式或隐式地假设观测条目是无噪声的，以提供精确恢复丢失条目的理论保证，这在实践中受到很大的限制。为了弥补这些缺陷，本文提出了一种新的噪声张量完成模型，它补充了现有的工作在处理高阶和噪声观测退化的不足。具体地说，张量环核范数（TRNN）和最小二乘估计分别采用正则化的基础张量和观察到的条目。此外，一个非渐近上界的估计误差描述所提出的估计器的统计性能。两个有效的算法来解决的优化问题的收敛保证，其中之一是专门针对处理大规模的张量，通过替换TRNN的原始张量的最小化等效的一个小得多的异构张量分解框架。合成和真实世界的数据上的实验结果表明，该模型在恢复噪声不完整的张量数据的有效性和效率相比，国家的最先进的张量完成模型。
2022-03-14 cs.AI cs.LG stat.ML
Entry-Specific Bounds for Low-Rank Matrix Completion under Highly Non-Uniform Sampling
School of Operations Research and Information Engineering, Cornell University（康奈尔大学运筹学与信息工程学院）；Department of Computer Sciences, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系）
针对高度非均匀采样的低秩矩阵补全，本文提出在较小子矩阵上估计并给出逐条目误差上界，且该界在一定条件下匹配极小极大下界。
2024-02-29 cs.LG stat.ML
Matrix Completion under Low-Rank Missing Mechanism
Fudan University（复旦大学）；Texas A&M University（德州农工大学）；Peking University（北京大学）
矩阵完备化是一个现代的缺失数据问题，其中缺失的结构和底层参数都是高维的。虽然缺失结构是任何缺失数据问题的关键组成部分，现有的矩阵补全方法通常假设一个简单的统一缺失机制。在这项工作中，我们研究了一种新的低秩缺失机制下的矩阵完成损坏的数据。通过高维低秩矩阵估计过程估计观测的概率矩阵，并进一步通过逆概率加权来完成目标矩阵。由于高维和极端（即，非常小）的真实概率矩阵的性质，需要仔细研究逆概率加权的效果。我们得到的最佳渐近收敛速度的估计的观测概率和目标矩阵。
2020-03-20 cs.LG math.ST stat.ME
Low-Rank Matrix and Tensor Completion via Adaptive Sampling
我们研究了低秩矩阵和张量完成，并提出了新的算法，采用自适应采样方案，以获得强大的性能保证。我们的算法利用自适应性来识别对于学习矩阵（张量）的列空间具有高度信息性的条目，因此，即使当行空间高度一致时，我们的结果也成立，与以前的分析相反。在没有噪声的情况下，我们表明，可以准确地恢复$n \times n$矩阵的秩$r$从仅仅$Ω(n r^{3/2}\log(r))$矩阵条目。我们还表明，可以恢复一个订单$T$张量使用$Ω(n r^{T-1/2}T^2 \log(r))$条目。对于有噪声的恢复，我们的算法始终估计一个低秩矩阵损坏的噪声使用$Ω(n r^{3/2} \textrm{polylog}(n))$条目。我们补充我们的研究与模拟，验证我们的理论，并证明我们的算法的可扩展性。
2013-11-09 stat.ML
Typical ranks in symmetric matrix completion
研究了对称矩阵的低秩矩阵完备化问题。一般部分指定对称矩阵的完备化的最小秩仅取决于指定元素的位置，而不是它们的值，如果允许复杂的元素。当要求条目是真实的时，情况就不再是这样了，可能的最低等级称为典型等级。本文给出了以$n$为典型秩的$n\times n$对称矩阵的指定整的模式的组合描述。此外，我们准确地描述了当这样一个通用的部分矩阵是最低限度地完成排名$n$。我们还描述了具有低的最大典型秩的条目的模式的典型秩。
2020-10-14 math.AG math.CO math.ST
Missing-Data-Induced Phase Transitions in Spectral Partial Least Squares
Technical University of Denmark（丹麦技术大学）；Department of Applied Mathematics and Computer Science（应用数学与计算机科学系）
本文研究了在高维 spiked 模型下，缺失数据对谱 PLS 的影响，揭示了信号强度与噪声阈值之间的相变现象，并通过模拟验证了理论结果。
2026-10-06 cs.LG stat.ML
The Algebraic Combinatorial Approach for Low-Rank Matrix Completion
Aalto University（阿尔托大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文提出一种基于代数几何和拟阵理论的代数组合新视角，通过研究少量条目间的关系来解决低秩矩阵补全问题，并给出概率为1的算法判断特定条目是否可补全、从少量条目补全该条目及估计补全误差。
2014-08-19 cs.LG cs.NA math.AG
Deep Learning Approach for Matrix Completion Using Manifold Learning
矩阵完备化由于其在各个研究领域的广泛应用而受到了广泛的关注和研究。现有的矩阵补全方法只考虑数据矩阵中元素之间的非线性（或线性）关系，而忽略了潜在的线性（或非线性）关系。本文提出了一种新的数据矩阵隐变量模型，该模型是线性和非线性模型的组合，并设计了一种新的基于深度神经网络的矩阵补全算法，以解决数据矩阵元素之间的线性和非线性关系。所提出的方法包括两个分支。第一个分支学习列的潜在表示，并通过一系列隐藏的神经网络层重建部分观察矩阵的列。第二个分支对行执行相同的操作。此外，基于多任务学习原理，我们强制这两个分支一起工作，并引入一种新的正则化技术来减少过度拟合。更具体地，数据的缺失条目被恢复为主要任务，并且流形学习被执行为辅助任务。辅助任务约束网络的权重，因此它可以被视为正则化器，从而改进主任务并减少过拟合。在合成数据和实际数据上的实验结果验证了该方法与现有的矩阵补全方法相比的有效性。
2020-12-11 cs.LG stat.ML
Matrix Co-completion for Multi-label Classification with Missing Features and Labels
RIKEN Center for Advanced Intelligence Project（理化学研究所高级智能项目中心）；Center for Artificial Intelligence, University of Technology Sydney（悉尼科技大学人工智能中心）；Nanjing University（南京大学）；University of Tokyo（东京大学）
我们考虑了一个具有挑战性的多标签分类问题，其中特征矩阵$\X$和标签矩阵$\Y$都有丢失的条目。现有的方法将$\X$和$\Y$级联为$[\X; \Y]$，并在假设$[\X; \Y]$具有低秩的情况下应用矩阵完成（MC）方法来填充缺失的条目。然而，由于$\Y$的条目在多标签设置中采用二进制值，因此$\Y$不太可能是低秩的。此外，这种假设意味着$\X$和$\Y$之间的线性关系，这在实践中可能不成立。在本文中，我们考虑一个潜在的矩阵$\Z$，产生的概率$σ(Z_{ij})$生成标签$Y_{ij}$，其中$σ(\cdot)$是非线性的。考虑到标签相关性，假设$[\X; \Z]$是低秩的，提出了一种基于次梯度下降的MC算法，称为共同完成（COCO），该算法由弹性网和一位MC驱动。我们给出了COCO的恢复效果的理论界，并通过实验证明了它的实用性。
2018-05-23 cs.LG stat.ML
Exponential Family Matrix Completion under Structural Constraints
我们考虑从噪声和部分测量中恢复结构化矩阵的矩阵完成问题。最近的作品提出了易于处理的估计与强大的统计保证的情况下，底层矩阵是低秩，测量组成的子集，无论是确切的个人条目，或条目扰动加性高斯噪声，这是因此隐含地适合于薄尾连续数据。可以说，矩阵补全的常见应用需要估计器用于（a）异构数据-类型，如偏斜-连续、计数、二进制等，(b)对于异构噪声模型（超越高斯），它捕获不同的测量不确定性，以及（c）异构结构约束超越低秩，如块稀疏，或低秩加元素稀疏的叠加结构，等等。在本文中，我们提供了一个非常统一的框架，广义矩阵完成考虑矩阵完成设置，其中矩阵条目是从指数分布的丰富的家庭的任何成员进行采样，并施加一般的结构约束的基础矩阵，捕获的一般正则化$\mathcal{R}(.)$。我们提出了一个简单的凸正则化$M$ -估计的广义框架，并提供了一个统一的和新的统计分析这类估计。最后，我们证实了我们的理论结果模拟数据集。
2015-09-15 cs.LG stat.ML
Compressed Sensing and Matrix Completion with Constant Proportion of Corruptions
当采样数据可能严重损坏时，我们改进了压缩感知和矩阵完备领域的现有结果。我们引入了三个新的定理。1)在压缩感知中，我们表明，如果m \times n传感矩阵具有独立的高斯条目，那么可以恢复稀疏信号x精确地通过易处理的\ell 1最小化，即使测量的正分数被任意损坏，提供的非零条目的数量在x是O（m/（log（n/m）+ 1））。2)在Candes和Plan的“A probabilistic and RIPless theory of compressed sensing”中介绍的非常一般的感知模型中，假设损坏的测量值的正分数，如果信号现在具有O（m/（log^2 n））非零条目，则精确恢复仍然成立。3)最后，我们证明了一个可以恢复一个n \times n低秩矩阵从m损坏的采样项通过易处理的优化提供的秩是O（m/（n log^2 n））的顺序;再次，这保持当有一个积极的分数损坏的样本。
2012-01-18 cs.IT math.IT stat.ML
Information-Guided Sampling for Low-Rank Matrix Completion
噪声矩阵补全问题，其目的是恢复一个低秩矩阵$\mathbf{X}$从一个部分，噪声观察其条目，出现在许多统计，机器学习，和工程应用。在本文中，我们提出了一种新的，信息理论的方法，主动采样（或设计）的矩阵项的噪声矩阵完成，最大熵设计原则的基础上。我们的方法的一个新颖之处是，它隐含地利用不确定性量化（UQ）-未观察到的矩阵条目的不确定性的度量-来指导主动采样过程。所提出的框架揭示了关于压缩感测的作用的若干新颖见解（例如，相干性）和编码设计（例如，拉丁方）的采样性能和UQ的噪声矩阵完成。使用这样的见解，我们开发了一个有效的后验采样器的UQ，然后用于指导矩阵条目的封闭形式的采样方案。最后，我们说明了这种集成的采样/ UQ方法在模拟研究和两个应用程序的协同过滤的有效性。
2021-07-14 stat.ME
Optimal Transfer Learning for Missing Not-at-Random Matrix Completion
Indian Statistical Institute（印度统计研究所）
针对整行整列缺失的MNAR矩阵补全问题，提出利用含噪源矩阵进行潜在空间特征偏移的迁移学习框架，在主动采样下达到极小极大下界并避免相干性假设。
2025-02-28 cs.LG stat.ML
Low-rank Distributional Matrix Completion
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Texas A&M University（德克萨斯农工大学）
针对每个条目为概率分布的矩阵，提出基于核均值嵌入和Tucker秩的低秩结构，通过函数展开算子连接无限维与有限维，实现分布矩阵补全并给出非渐近误差界。
2026-06-02 cs.LG math.ST stat.ML
Categorical Matrix Completion
H. Milton Stewart School of Industrial and Systems Engineering（工业与系统工程学院）
本文提出通过扩展一位矩阵补全方法，解决具有类别值的矩阵补全问题，通过核范数约束最大化似然比，建立理论误差界，并在MovieLens数据集上验证方法优势。
2015-07-02 cs.LG cs.NA math.NA
Targeted matrix completion
University of Southern California（南加州大学）
矩阵补全是在许多数据分析设置中出现的问题，其中输入由部分观察的矩阵组成（例如，推荐系统、流量矩阵分析等）。经典的矩阵完备化方法假设输入的部分观测矩阵是低秩的。这些方法的成功取决于观察到的条目的数量和矩阵的秩;秩越大，为了准确地完成矩阵，需要观察的条目就越多。在本文中，我们处理矩阵，不一定是低秩本身，而是他们包含低秩子矩阵。我们提出了有针对性的，这是一个通用的框架，完成这样的矩阵。在这个框架中，我们首先提取低秩子矩阵，然后分别对这些低秩子矩阵和剩余矩阵应用矩阵完备化算法。虽然对于完成本身，我们使用国家的最先进的完成方法，我们的结果表明，有针对性的实现显着较小的重建误差比其他经典的矩阵完成方法。本文的关键技术贡献之一在于从输入部分可观测矩阵中识别出低秩子矩阵。
2017-04-30 cs.LG stat.ML
A note on the statistical view of matrix completion
基于统计模型，给出了矩阵完备化问题的一种简单解释。结合已知的缺失数据分析结果，这种解释表明，即使没有完全随机缺失（MCAR）假设，矩阵补全仍然是一个有效的和原则性的估计程序，几乎所有的矩阵补全的理论研究假设。
2016-05-10 stat.ML
Collective Matrix Completion
Univ Paris Nanterre（巴黎楠泰尔大学）；ESSEC Business School（ESSEC商学院）；CREST（法国经济与统计研究所）
矩阵完备化的目的是根据对少量元素的观察来重构数据矩阵。通常在矩阵完成中考虑单个矩阵，其可以是例如推荐系统中的评级矩阵。然而，在实际情况中，数据往往是从多个来源获得的，这导致了矩阵的集合，而不是一个单一的。在这项工作中，我们考虑的问题，集体矩阵完成与多个和异构矩阵，这可以是计数，二进制，连续等，我们首先调查的设置，对于每个源，矩阵条目是从一个指数家庭分布抽样。然后，我们放松了对噪声服从指数族分布的假设，并研究了无分布的情况。在这种情况下，我们不为观察假设任何特定的模型。估计过程是基于最小化的总的拟合优度项和整个集体矩阵的核范数惩罚的总和。我们证明了所提出的估计实现快速收敛速度下的两个考虑的设置，我们证实了我们的结果与数值实验。
2019-10-21 cs.LG stat.ML
Low-rank matrix completion and denoising under Poisson noise
Georgia Institute of Technology（佐治亚理工学院）
本文针对泊松噪声下的低秩矩阵去噪与补全问题，分析三种估计器并给出依赖秩、观测比例及行列和的上界误差，证明其极小极大最优性，并扩展到多项情形。
2020-04-30 cs.LG math.ST stat.ML
Polynomial Matrix Completion for Missing Data Imputation and Transductive Learning
Cornell University（康奈尔大学）
本文提出了一种新的方法来恢复高秩甚至满秩矩阵的缺失项时，数据的内在维数是低的环境维。具体来说，我们假设矩阵的列是由作用于低维内在变量的多项式生成的，并希望在此假设下恢复丢失的条目。证明了在高维特征空间中，通过最小化矩阵的秩，可以识别出最小内禀维数的完备矩阵。我们开发了一个新的配方所产生的问题，使用核技巧与一个新的放松的秩目标，并提出了一个有效的优化方法。我们还展示了如何使用我们的方法来完成从多个非线性流形的数据。通过对合成数据、缺失数据的子空间聚类、运动捕捉数据恢复和转换学习的比较研究，验证了本文方法的优越性。
2019-12-15 cs.LG stat.ML
High-Rank Matrix Completion and Subspace Clustering with Missing Data
Boston University（波士顿大学）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
本文在矩阵列属于多个低秩子空间并的假设下，研究了多缺元矩阵的补问题。这将标准的低秩矩阵完备化问题推广到矩阵秩可以很高甚至满秩的情况。由于列属于子空间的并集，因此该问题也可以被视为子空间聚类问题的缺失数据版本。设X是一个n × N矩阵，其（完全）列位于至多k个子空间的并集中，每个子空间的秩<= r < n，并假设N >> kn。本文的主要结果表明，在温和的假设下，只要X的至少CrNlog^2（n）个元素是随机一致观测的，且C>1是一个常数，取决于通常的不相干条件、子空间的几何排列以及列在子空间上的分布，那么X的每一列都可以以很高的概率从不完整的版本完美地恢复。数值实验结果表明，并应用于互联网的距离矩阵完成和拓扑结构识别。
2011-12-27 cs.IT cs.LG math.IT
Matrix completion with deterministic pattern - a geometric perspective
Georgia Institute of Technology（佐治亚理工学院）
我们考虑矩阵完成问题的观察项目的确定性模式。在这种情况下，我们的目标是回答这样一个问题：在什么条件下，矩阵完备化问题会有（至少局部）唯一的解，即，潜在的真实矩阵是可识别的。我们从一定的角度回答这个问题，勾勒出一个几何的视角。我们给出了一个代数可验证的充分条件，我们称之为适定性条件，局部唯一的MRMC解决方案。我们认为，这个条件是必要的局部稳定性的MRMC解决方案，我们表明，该条件是通用的使用特征秩。我们还认为，低秩近似方法比MRMC更稳定，并进一步提出了一个顺序的统计检验程序，以确定从观察到的条目的“真正”的排名。最后，我们提供了数值例子，旨在验证所提出的理论的有效性。
2018-08-29 cs.LG math.ST stat.ML
Brain-Computer Interface with Corrupted EEG Data: A Tensor Completion Approach
脑-机接口中的一个重要问题是如何处理以多维数据集形式组织的脑电测量数据。另一方面，最近，在利用张量分解模型来捕获多维信号中的条目之间的复杂关系的多维信号补全算法中已经取得了重大进展。我们建议使用张量完成应用于EEG数据，以提高分类性能的运动图像BCI系统与损坏的测量。噪声测量被认为是从张量分解模型推断的未知量。我们评估了四个最近提出的张量完成算法的性能，加上一个简单的插值策略，首先与随机丢失的条目，然后与丢失的样本约束有一个特定的结构（随机丢失的通道），这是一个更现实的假设在BCI应用。我们测量了这些算法从观测数据重建张量的能力。然后，我们测试的分类准确性的想象运动的BCI实验与缺失的样本。我们表明，对于随机缺失的条目，所有张量完成算法可以恢复丢失的样本，增加分类性能相比，一个简单的插值方法。对于随机丢失通道的情况下，我们表明，张量补全算法有助于重建丢失的通道，显着提高运动想象分类的准确性，但是，不是在同一水平的干净的数据。张量补全算法在实际的BCI应用中是有用的。所提出的策略可以允许使用运动图像BCI系统，即使当EEG数据受到丢失通道和/或样本的高度影响时，避免在校准阶段需要新的采集。
2018-07-26 eess.SP q-bio.QM stat.ML
Noisy Tensor Completion via the Sum-of-Squares Hierarchy
Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；Massachusetts Institute of Technology（麻省理工学院）
在有噪声的张量完备问题中，我们从未知的$n_1 \times n_2 \times n_3$张量$T$中观察$m$条目（其位置是随机均匀选择的）。我们假设$T$在条目方面接近于等级$r$。我们的目标是使用尽可能少的观察值来填充其缺失的条目。令$n = \max(n_1, n_2, n_3)$。我们证明了如果$m = n^{3/2} r$，那么有一个多项式时间算法的基础上的第六层的平方和的层次来完成它。我们的估计同意几乎所有的$T$的条目几乎完全，即使我们的观察被噪声破坏。这也是第一个张量完备化算法，在$r > n$的过完备情况下有效，实际上它一直工作到$r = n^{3/2-ε}$。我们的证明是简短和简单的，是基于建立一个新的连接之间的噪音张量完成（通过Rademacher复杂性的语言）和反驳随机常数满足问题的任务。即使在矩阵补全的上下文中，这种联系似乎也没有被注意到。此外，我们使用这个连接来显示匹配的下界。我们的主要技术成果是在表征的Rademacher复杂性的序列中出现的平方和松弛张量核规范的规范。这些结果指出了一个有趣的新方向：我们能否通过平方和层次来探索计算复杂度与样本复杂度的权衡？
2016-02-18 cs.DS cs.LG stat.ML
One-sided Matrix Completion from Two Observations Per Row
Stanford University（斯坦福大学）
针对行数多、每行仅两个观测导致无法恢复左奇异向量的情形，论文提出通过填补 $X^TX$ 恢复右奇异向量的单侧矩阵补全算法，并证明样本复杂度与实验优势。
2023-06-06 cs.DS cs.LG stat.ML
Robust Matrix Completion with Mixed Data Types
Cornell University（康奈尔大学）
我们考虑了恢复一个结构化的低秩矩阵部分观察项目与混合数据类型的矩阵完成问题。绝大多数的解决方案都提出了计算上可行的估计与强有力的统计保证的情况下，在矩阵中的数据的基本分布是连续的。最近的一些方法已经扩展使用类似的想法，这些估计的情况下，基本分布属于指数家族。这些方法中的大多数假设只有一个底层分布，并且低秩约束由矩阵Schatten范数正则化。我们提出了一种计算上可行的统计方法，具有很强的恢复保证，以及适合并行化的算法框架，以在一个步骤中恢复混合数据类型的部分观察条目的低秩矩阵。我们还提供了大量的模拟证据，证实我们的理论结果。
2020-05-25 cs.LG math.ST stat.ML
Sum-of-squares meets square loss: Fast rates for agnostic tensor completion
Massachusetts Institute of Technology（麻省理工学院）
我们在不可知论的背景下研究张量完备化。在经典的张量补全问题中，我们接收到秩未知的$r$张量的$n$条目，并希望精确地完成剩余的条目。在不可知张量完备化中，我们不对未知张量的秩做任何假设，而是试图预测未知项以及最佳秩- $r$张量。对于具有平方损失的三阶张量的不可知学习，我们给出了第一个多项式时间算法，该算法获得了“快速”（即，$O(1/n)$型）速率比通过简化到矩阵完成获得的速率提高。我们的预测出错率与排名最好的$d\times{}d\times{}d$张量- $r$竞争是$\tilde{O}(r^{2}d^{3/2}/n)$。我们还得到了一个确切的预言不等式，权衡估计和近似误差。我们的算法是基于度六平方和松弛张量核范数。我们的分析的关键特征是表明，张量核范数的次梯度的某种表征可以被编码在平方和证明系统中。这解锁了平方损失下的经验过程的本地化的标准工具箱，并允许我们建立各种张量回归模型的限制特征值类型的保证，张量完成作为一个特例。对松弛的新分析补充了Barak和Moitra（2016），他们给出了不可知张量完成的缓慢速率，以及Potechin和Steurer（2017），他们给出了无噪声设置的精确恢复保证。我们的技术是用户友好的，我们预计它们将在其他地方使用。
2019-05-30 cs.DS cs.LG math.ST
Matrix Completion with Nonconvex Regularization: Spectral Operators and Scalable Algorithms
在本文中，我们研究了俗称的矩阵完成问题，其中的任务是“填写”未观察到的条目的一个小的子集的观察到的条目的矩阵，假设基础矩阵是低秩的。我们在此的贡献，增强了我们先前关于矩阵完备的核范数正则化问题的工作（Mazumder等人，2010）通过在凸核范数和非凸秩函数之间引入连续的非凸罚函数。灵感来自于IMPUTE（Mazumder等人，2010; Hastie等人，2016），我们提出了NC-IMPUTE-一个EM风格的算法框架，用于计算一系列具有热启动的非凸惩罚矩阵完成问题。我们提出了一个系统的研究相关的光谱阈值算子，这在整个算法中发挥了重要作用。我们研究了算法的收敛性。使用结构化的低秩SVD计算，我们证明了我们的建议的Netflix大小的问题的计算可扩展性（大约，一个$500,000 \times 20, 000$矩阵与$10^8$观察条目）。我们证明，在广泛的合成和真实数据的情况下，我们提出的非凸正则化框架导致低秩的解决方案具有更好的预测性能相比，从核范数问题。本文提出的算法的实现，用R编程语言编写，在github上可用。
2020-03-03 stat.CO stat.ML
Obtaining error-minimizing estimates and universal entry-wise error bounds for low-rank matrix completion
我们提出了一个通用的框架，用于重建和去噪的不完整和嘈杂的条目的单个条目。我们描述：用于决定是否可以重建条目的有效算法，以及如果可以，则用于重建条目并对其去噪的有效算法;以及单独地对每个条目的误差的先验界限。在无噪声的情况下，我们的算法是准确的。对于秩一矩阵，新算法是快速的，承认一个高度并行的实现，并产生一个误差最小化估计，定性接近我们的理论和国家的核范数和OptSpace方法。
2013-03-29 math.AG math.CO stat.ML
Matrix Completion from General Deterministic Sampling Patterns
Purdue University（普渡大学）；MIT（麻省理工学院）
本文针对任意确定性采样模式，利用观测图的连通性和节点度性质，为约束核范数最小化求解精确及近似低秩矩阵补全建立理论保证，并改进对称矩阵情形下的已有结果。
2023-06-04 cs.LG stat.ML
Optimal spectral norm rates for noisy low-rank matrix completion
在本文中，我们考虑的迹回归模型中，$n$项目或项目的线性组合的未知$m_1\times m_2$矩阵$A_0$被噪声破坏的观察。对于在\cite{KLT}中引入的$A_0$的核范数惩罚估计，在观测项的抽样分布$Π$上的非相干条件下，建立了一个对$n,m_1,m_2$的任意值具有谱范数的一般的sharp oracle不等式.然后，我们将此方法应用于矩阵完备化问题。在这种情况下，我们证明了它满足一个最佳的预言不等式的谱范数，从而改进了现有的唯一结果\cite{KLT}有关谱范数，假设抽样分布是均匀的。注意，我们的结果是有效的，特别是在高维设置$m_1m_2\gg n$。最后，我们表明，所获得的速率是最佳的对数因子在极大极小意义上。
2011-10-24 math.ST stat.TH
Provable Subspace Tracking from Missing Data and Matrix Completion
Iowa State University（爱荷华州立大学）
我们研究了存在缺失数据（ST-缺失）的子空间跟踪问题。在最近的工作中，我们研究了一个相关的问题，称为强大的ST。在这项工作中，我们表明，一个简单的修改我们的强大的ST解决方案也可证明解决ST未命中和强大的ST未命中。据我们所知，我们的结果是ST未命中的第一个“完全”保证。这意味着我们可以证明，在仅对算法输入的假设下，输出子空间估计始终接近真实的数据子空间。我们的保证在温和且易于解释的假设下成立，并允许底层子空间以分段恒定的方式随时间变化。与此相反，所有现有的保证ST是部分的结果，并假设一个固定的未知子空间。大量的数值实验证明了我们的理论主张。最后，我们的解决方案可以被解释为一个可证明正确的小批量和内存有效的解决方案，低秩矩阵完成（MC）。
2019-05-30 cs.CV cs.LG stat.ML
Matrix Completion on Graphs
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Università della Svizzera Italiana（瑞士意大利语区大学）
在给定几个矩阵元素的情况下求矩阵的缺失值的问题，称为矩阵补齐，近年来引起了人们的广泛关注。虽然标准低秩假设下的问题是NP难的，但Candès和Recht表明，如果观察到的条目数量足够大，它可以完全放松。在这项工作中，我们引入了一种新的矩阵完成模型，利用邻近信息的行和列，假设他们形成社区。这个假设在一些现实世界的问题中是有意义的，比如在推荐系统中，有一些社区的人分享偏好，而产品形成了获得类似评级的集群。因此，我们的主要目标是找到一个低秩的解决方案，该解决方案是由图形编码的行和列的接近度构成的。我们借用流形学习的思想来限制我们的解决方案在这些图上是平滑的，以便隐含地强制行和列的接近。我们的矩阵恢复模型被配制成一个凸非光滑优化问题，为它提供了一个适定的迭代方案。我们研究和评估所提出的矩阵完成合成和真实数据，表明所提出的结构化低秩恢复模型优于标准的矩阵完成模型在许多情况下。
2014-11-27 cs.LG stat.ML
Synthetic Nearest Neighbors: Extending Synthetic Controls for Matrix Completion with Missing Not at Random Data
Columbia University（哥伦比亚大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Southern California（南加州大学）
针对非随机缺失矩阵补全，提出合成最近邻估计器，放宽正性与独立性假设，建立误差界、一致性与渐近推断，模拟验证有效。
2026-09-15 econ.EM stat.ME stat.ML
Matrix completion with column manipulation: Near-optimal sample-robustness-rank tradeoffs
本文考虑矩阵完备化问题时，一些列完全和任意损坏，潜在的恶意对手。众所周知，矩阵补全的标准算法可以返回任意差的结果，即使是一列损坏。一个直接的应用来自健壮的协同过滤。在这里，一些用户是所谓的操纵者，他们试图通过校准他们对系统的输入来扭曲算法的预测。在本文中，我们开发了一个有效的算法，这个问题的基础上结合的修剪程序和凸规划，最大限度地减少核范数和$\ell_{1,2}$规范。我们的理论结果表明，给定一个消失的分数观察到的条目，它仍然是可能的，以完成底层矩阵，即使损坏的列的数量增长。值得注意的是，我们的结果没有对操作列的观察条目的位置或值进行任何假设。此外，我们通过信息理论的论证表明，我们的保证在真实列上的采样条目的分数、损坏列的分数和底层矩阵的秩方面几乎是最优的。因此，我们的研究结果尖锐的特点之间的权衡样本，鲁棒性和秩矩阵完成。
2016-04-24 cs.IT math.IT stat.ML
Positive definite Hankel matrix completions and Hamburger moment completions
本文给出了含缺失项的Hamburger矩问题的解。考虑部分正序列的完备化问题。主要结果是一个正定可完成的模式，即模式，保证部分正定序列的汉堡时刻完成的存在性的表征。并给出了几个非正定可完备的模式。
2015-09-21 math.FA math.PR math.ST
Noisy Matrix Completion under Informative Missingness
University of Michigan（密歇根大学）；Pennsylvania State University（宾夕法尼亚州立大学）
针对噪声矩阵补全中信息性缺失被忽视的问题，提出联合低秩建模框架，耦合数据矩阵与缺失模式，基于投影梯度下降高效估计，显著提升缺失条目预测精度。
2026-10-06 stat.ME
Iterative missing value imputation based on feature importance
Henan University（河南大学）
针对现有缺失值插补方法未区分特征重要性的问题，提出一种迭代执行矩阵补全与特征重要性学习的插补算法，在三类数据集上均优于现有五种算法，为首个在插补模型中考虑特征重要性的研究。
2023-11-14 cs.AI cs.LG stat.ML
Online Matrix Completion Through Nuclear Norm Regularisation
本文的主要目的是提出一种在线完成矩阵补全的新方法。出于各种各样的应用，从推荐系统的设计，传感器网络定位，通过地震数据重建，我们认为矩阵完成问题时，项目的兴趣矩阵逐渐观察。准确地说，我们将自己置于预测规则应该逐步细化的情况下，而不是每次观察到的条目样本增加时都从头开始重新计算。将现有的矩阵补全方法扩展到序列预测环境确实是大数据时代的一个主要问题，但文献中很少涉及。本文中提出的算法建立在Mazumder等人（2010）中介绍的软插补方法的基础上。主要的新颖性主要来自于使用随机技术来计算和更新算法中涉及的奇异值分解（SVD）。虽然解除武装的简单性，提出的方法证明是非常有效的，同时需要减少计算。几个数值实验的基础上，真实的数据集说明了它的性能，连同初步的结果，给它的理论基础。
2014-01-10 stat.ML
Matrix Completion for Survey Data Prediction with Multivariate Missingness
全国健康和营养调查（NHANES）通过全面的身体检查和问卷调查研究整个美国人口的营养和健康状况。然而，由于几乎所有变量都不可避免地缺失，调查数据分析变得具有挑战性。本文提出了一种利用矩阵完备化处理多元随机缺失的插补方法。与现有的插补方案进行行或列方式插补相比，我们把数据矩阵作为一个整体，允许利用行和列模式来插补整个数据矩阵中的缺失值在同一时间。我们采用列空间分解模型的人口数据矩阵，易于获得的人口数据作为协变量和低秩结构的残差矩阵。一个独特的挑战出现，由于缺乏确定的参数在样本数据矩阵。我们提出了一个投影策略，以唯一地确定参数和相应的惩罚估计，这是计算效率和所需的统计特性。仿真研究表明，采用所提出的矩阵补插的双抗差估计器具有较小的均方误差。为了证明实际相关性，我们将所提出的方法应用于2015-2016年NHANES问卷数据。
2019-08-02 stat.ME
Matrix completion with data-dependent missingness probabilities
在过去的几十年里，具有大量缺失项的大型矩阵的补全问题受到了广泛的关注。两个流行的方法来完成的矩阵问题是基于奇异值阈值和核范数最小化。大多数关于这个主题的过去的作品假设存在单个数字$p$，使得矩阵的每个条目以概率$p$独立可用，否则缺失。这种假设对于许多应用来说可能是不现实的。在这项工作中，我们取代它的假设，一个条目是可用的概率是一个未知的功能$f$的条目本身。例如，如果条目是观众给予电影的评级，则似乎高值条目比低值条目具有更大的可用概率。我们提出了两个新的估计，基于奇异值阈值和核范数最小化，在此假设下恢复矩阵。估计不涉及调谐参数，并示出了一致的低秩假设下。我们还提供了未知函数$f$的一致估计。
2022-04-22 cs.IT math.IT math.PR
Causal Matrix Completion
矩阵完备化是从噪声观测的稀疏子集中恢复底层矩阵的研究。传统上，假设矩阵的条目是“完全随机缺失”（MCAR）的，即，每个条目都是随机显示的，独立于其他任何东西，具有均匀的概率。这可能是不现实的，因为存在“潜在混杂因素”，即，未观察到的因素，这些因素决定了基础矩阵的条目和观察到的矩阵中的缺失模式。例如，在电影推荐系统的上下文中--矩阵补全的规范应用--强烈不喜欢恐怖片的用户不太可能看恐怖片。一般来说，这些混杂因素会产生“非随机缺失”（MNAR）数据，这会严重影响任何不纠正这种偏倚的推断程序。我们通过潜在结果的语言开发了一个正式的因果模型矩阵完成，并提供了新的识别参数的各种因果被估量的利益。我们设计了一个程序，我们称之为“合成最近邻”（SNN），估计这些因果被估量。我们证明了我们的估计量的有限样本相合性和渐近正态性。我们的分析也导致新的理论结果的矩阵完成文学。特别是，我们建立了入口智能，即，最大范数，有限样本的一致性和渐近正态性的矩阵完成MNAR数据的结果。作为一种特殊情况，这也为MCAR数据的矩阵完成提供了条目方面的界限。在模拟和真实数据中，我们证明了我们提出的估计量的有效性。
2021-09-30 cs.LG econ.EM math.ST
