Noisy Tensor Completion via Low-rank Tensor Ring
Guangdong University of Technology（广东工业大学）；RIKEN（理化学研究所）
张量补全是不完整数据分析的基本工具，其目标是从部分观测值中预测缺失项。然而，现有的方法往往显式或隐式地假设观测条目是无噪声的，以提供精确恢复丢失条目的理论保证，这在实践中受到很大的限制。为了弥补这些缺陷，本文提出了一种新的噪声张量完成模型，它补充了现有的工作在处理高阶和噪声观测退化的不足。具体地说，张量环核范数（TRNN）和最小二乘估计分别采用正则化的基础张量和观察到的条目。此外，一个非渐近上界的估计误差描述所提出的估计器的统计性能。两个有效的算法来解决的优化问题的收敛保证，其中之一是专门针对处理大规模的张量，通过替换TRNN的原始张量的最小化等效的一个小得多的异构张量分解框架。合成和真实世界的数据上的实验结果表明，该模型在恢复噪声不完整的张量数据的有效性和效率相比，国家的最先进的张量完成模型。
2022-03-14 cs.AI cs.LG stat.ML
Noisy Matrix Completion under Informative Missingness
University of Michigan（密歇根大学）；Pennsylvania State University（宾夕法尼亚州立大学）
针对噪声矩阵补全中信息性缺失被忽视的问题，提出联合低秩建模框架，耦合数据矩阵与缺失模式，基于投影梯度下降高效估计，显著提升缺失条目预测精度。
2026-10-06 stat.ME
Noisy Inductive Matrix Completion Under Sparse Factor Models
Yahoo! Research（雅虎研究院）；University of Minnesota – Twin Cities（明尼苏达大学双城分校）
归纳矩阵完备化（IMC）是一类重要的矩阵完备化问题，它允许直接包含可用特征以增强估计能力。这些模型已经在个性化推荐系统，多标签学习，字典学习等中找到了应用。本文研究了一类一般的噪声矩阵完成任务，其中底层矩阵遵循IMC模型，即，它由夹在两个已知特征矩阵之间的混合矩阵（先验未知）形成。这里的混合矩阵被假设为是由两个稀疏矩阵的乘积很好地近似的-这里被称为“稀疏因子模型”。“我们利用Soni：2016：NMC的主要定理，并将其扩展为本文讨论的一类问题的稀疏正则化极大似然估计量提供理论误差界。的主要结果是一般的意义上，它可以用来推导各种噪声模型的误差界。在本文中，我们实例化我们的主要结果的情况下，高斯噪声，并提供相应的误差界的平方损失。
2016-09-13 cs.LG math.ST stat.ML
Minimax Lower Bounds for Noisy Matrix Completion Under Sparse Factor Models
本文研究了一类矩阵完备问题的基本误差特性，其中感兴趣的矩阵是两个先验未知矩阵的乘积，其中一个是稀疏的，并且观测值是有噪声的。我们的主要贡献来在几个常见的噪声模型下，这个问题的预期每元素平方误差的最小最大下界的形式。具体地说，我们分析的情况下，腐败的特点是加性高斯噪声或加性尾（拉普拉斯）噪声，泊松分布的意见，和高度量化（例如，一位）观察，作为我们一般结果的实例。我们的结果建立了在（Soni et al.，2016）对于复杂性正则化的最大似然估计器，达到乘法常数和对数因子，在这些噪声场景中的每一个中的最小最大出错率，只要观测的标称数量足够大，并且稀疏因子（平均）每列至少有一个非零。
2017-10-26 cs.IT math.IT stat.ML
Noisy Tensor Completion via the Sum-of-Squares Hierarchy
Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；Massachusetts Institute of Technology（麻省理工学院）
在有噪声的张量完备问题中，我们从未知的$n_1 \times n_2 \times n_3$张量$T$中观察$m$条目（其位置是随机均匀选择的）。我们假设$T$在条目方面接近于等级$r$。我们的目标是使用尽可能少的观察值来填充其缺失的条目。令$n = \max(n_1, n_2, n_3)$。我们证明了如果$m = n^{3/2} r$，那么有一个多项式时间算法的基础上的第六层的平方和的层次来完成它。我们的估计同意几乎所有的$T$的条目几乎完全，即使我们的观察被噪声破坏。这也是第一个张量完备化算法，在$r > n$的过完备情况下有效，实际上它一直工作到$r = n^{3/2-ε}$。我们的证明是简短和简单的，是基于建立一个新的连接之间的噪音张量完成（通过Rademacher复杂性的语言）和反驳随机常数满足问题的任务。即使在矩阵补全的上下文中，这种联系似乎也没有被注意到。此外，我们使用这个连接来显示匹配的下界。我们的主要技术成果是在表征的Rademacher复杂性的序列中出现的平方和松弛张量核规范的规范。这些结果指出了一个有趣的新方向：我们能否通过平方和层次来探索计算复杂度与样本复杂度的权衡？
2016-02-18 cs.DS cs.LG stat.ML
A Bayesian Approach for Noisy Matrix Completion: Optimal Rate under General Sampling Distribution
贝叶斯方法的低秩矩阵完成噪声已被证明是非常有效的计算。虽然惩罚最小化方法的行为是很好地理解从理论和计算的角度来看，在这个问题上，贝叶斯估计的理论最优性尚未探讨。本文提出了一般抽样分布下矩阵完备化的贝叶斯估计。我们还提供了一个预言不等式的估计。这个不等式证明，无论矩阵的秩估计，我们的估计达到最小最大最优的收敛速率（对数因子）。最后，我们进行了一个简短的模拟研究。
2015-01-21 math.ST stat.TH
Noisy low-rank matrix completion with general sampling distribution
本文研究了带噪声的矩阵完备化问题。与以前的作品不同，我们考虑相当一般的采样分布，我们不需要知道或估计噪声的方差。提出了两个新的核范数惩罚估计，其中一个是平方根型的。我们分析了他们的性能在高维尺度下，并提供非渐近界的Frobenius范数误差。直到对数因子，这些性能保证在许多情况下是最小最大最优的。
2014-02-05 math.ST stat.TH
Inference and Uncertainty Quantification for Noisy Matrix Completion
Princeton University（普林斯顿大学）
噪声矩阵完备化的目的是估计一个低秩矩阵，只有部分和损坏的条目。尽管在设计有效的估计算法方面取得了实质性进展，但在很大程度上仍然不清楚如何评估所获得的估计的不确定性以及如何对未知矩阵（例如，为看不见的条目构造有效且短的置信区间）。本文采取了一个步骤的推理和不确定性量化噪声矩阵完成。我们开发了一个简单的程序来补偿广泛使用的凸和非凸估计的偏差。由此产生的去偏估计承认几乎精确的非渐近分布特征，这反过来又使置信区间\，/\，区域的最佳建设，说，丢失的条目和低秩的因素。我们的推理过程不依赖于样本分割，从而避免了不必要的数据效率损失。作为一个副产品，我们得到了我们的去偏估计，这是据我们所知，是第一个易于处理的算法，可证明达到充分的统计效率（包括preconstant）的估计精度的尖锐表征。本文的分析建立在凸优化和非凸优化之间的密切联系之上--这是\cite{chen2019noisy}最近发现的一个有吸引力的特征。
2019-11-14 cs.IT cs.LG eess.SP
Noisy Matrix Completion: Understanding Statistical Guarantees for Convex Relaxation via Nonconvex Optimization
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了噪声低秩矩阵的完备化问题：给定一个大型低秩矩阵的部分和噪声元素，目标是忠实而有效地估计底层矩阵。可以说，解决这个问题的最流行的范例之一是凸松弛，它在实践中取得了显着的效果。然而，这种方法的理论支持在噪声环境中仍然远远不是最佳的，无法解释其经验上的成功。我们取得了进展，对神秘的凸松弛与随机噪声的实际效果。当未知矩阵的秩和条件数是由一个常数的范围内，我们证明了凸规划方法实现了近最佳的估计误差--在欧氏损失，entrywise损失，和频谱范数损失-在很宽的范围内的噪声水平。所有这些都是通过将凸松弛与非凸Burer-Monteiro方法连接起来实现的，这是一种看似独特的算法范例，可证明对噪声具有鲁棒性。更具体地说，我们表明，一个近似的临界点的非凸制定作为一个非常紧密的近似凸的解决方案，从而使我们能够转移所需的统计保证的非凸的方法，其凸对应。
2019-10-07 cs.IT cs.LG math.IT
1-Bit Matrix Completion under Exact Low-Rank Constraint
我们考虑了在真实底层矩阵$M^*$上的精确秩约束下的噪声1位矩阵完备化问题。代替观察矩阵$M^*$的噪声连续值条目的子集，我们观察根据概率模型生成的噪声1位（或二进制）测量的子集。我们考虑$M^*$的约束极大似然估计，约束下的条目式无穷范数的$M^*$和一个确切的秩约束。这是在以前的工作中使用凸松弛的秩。我们提供了一个上界的矩阵估计误差在此模型下。与已有的结果相比，我们的界具有更快的收敛速度与矩阵维数时，显示的1位观测的分数是固定的，独立于矩阵维数。我们还提出了一个迭代算法来解决我们的非凸优化与证书的全局最优性的极限点。该算法基于$M^*$的低秩分解。我们验证了合成和真实数据的方法与现有的方法相比，具有更好的性能。
2015-02-24 stat.ML
Noisy Matrix Completion under Sparse Factor Models
本文研究了一类一般的噪声矩阵完成任务，其目标是从其条目的子集获得的观测估计矩阵，其中每个条目都受到随机噪声或腐败。我们的具体重点是设置的矩阵估计是很好的近似由两个（先验未知）矩阵，其中之一是稀疏的产品。这样的结构模型-这里称为“稀疏因子模型”-已经被广泛使用，例如，在子空间聚类应用中，以及在当代稀疏建模和字典学习任务中。我们的主要理论贡献是估计误差界稀疏正则化极大似然估计的问题，这种形式，这是适用于一些不同的观测噪声或腐败模型。研究了几个具体的含义，包括观测被加性高斯噪声或加性加尾（拉普拉斯）噪声破坏的情况，泊松分布观测，以及高度量化（例如，一位）观察。我们还提出了一个简单的算法方法的基础上交替方向的乘法器为这些任务，并提供实验证据来支持我们的错误分析。
2014-11-02 cs.IT math.IT stat.AP
Low Permutation-rank Matrices: Structural Properties and Noisy Completion
CMU（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
我们考虑的问题，噪声矩阵完成，其中的目标是重建一个结构化的矩阵，其条目部分观察到的噪音。这个欠定逆问题的标准方法是基于假设基础矩阵具有低秩，或者由低秩矩阵很好地近似。在本文中，我们提出了一个更丰富的模型的基础上，我们所谓的“置换秩”的矩阵。我们首先描述了经典的非负秩模型如何强制执行在实践中可能不受欢迎的限制，以及如何通过使用更丰富的置换秩模型来避免这些限制。其次，我们建立了新的置换为基础的模型下的最小最大估计率，并证明了令人惊讶的是，最小最大的估计率的对数因子下的典型的低秩模型。第三，我们分析了一个计算效率高的奇异值阈值算法，已知是最佳的低秩设置，并表明它也同时产生一个相合估计量的低排列秩设置。最后，我们提出了各种结构的结果，其特征的唯一性的置换秩分解，并表征凸近似的置换秩多面体。
2017-09-01 cs.IT cs.LG math.IT
Multi-source Learning via Completion of Block-wise Overlapping Noisy Matrices
University of California, Davis（加利福尼亚大学戴维斯分校）；Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）
矩阵完备化在统计学、应用数学和电子工程等领域引起了广泛的关注。大部分的工作集中在独立抽样模型下，观察到的条目独立抽样。出于对来自多源生物医学数据（如电子健康记录（EHR）和生物医学文本）的知识图进行集成的应用，我们提出了{ \bf B}锁式{ \bf O}重叠{ \bf N}oisy { \bf M}矩阵{ \bf I}集成（BOMMI）来处理表示实体对之间相关性的对称矩阵的块式缺失。我们的思想是利用正交Procrustes问题对齐两个子矩阵的特征空间，然后用两个低秩分量的内积来完成缺失的块。此外，我们证明了统计率的特征空间的基础矩阵，这是可比率下的独立缺失的假设。仿真研究表明，该方法在各种配置下都有很好的性能。在实际数据分析中，该方法被应用于两个任务：（i）由英文EHR和中文医学文本数据构建的多个逐点互信息矩阵的集成;（ii）英汉医学概念的机器翻译。我们的方法比现有的方法显示出优势。
2021-10-09 cs.LG math.ST stat.AP
Optimal spectral norm rates for noisy low-rank matrix completion
在本文中，我们考虑的迹回归模型中，$n$项目或项目的线性组合的未知$m_1\times m_2$矩阵$A_0$被噪声破坏的观察。对于在\cite{KLT}中引入的$A_0$的核范数惩罚估计，在观测项的抽样分布$Π$上的非相干条件下，建立了一个对$n,m_1,m_2$的任意值具有谱范数的一般的sharp oracle不等式.然后，我们将此方法应用于矩阵完备化问题。在这种情况下，我们证明了它满足一个最佳的预言不等式的谱范数，从而改进了现有的唯一结果\cite{KLT}有关谱范数，假设抽样分布是均匀的。注意，我们的结果是有效的，特别是在高维设置$m_1m_2\gg n$。最后，我们表明，所获得的速率是最佳的对数因子在极大极小意义上。
2011-10-24 math.ST stat.TH
Deep Learning Approach for Matrix Completion Using Manifold Learning
矩阵完备化由于其在各个研究领域的广泛应用而受到了广泛的关注和研究。现有的矩阵补全方法只考虑数据矩阵中元素之间的非线性（或线性）关系，而忽略了潜在的线性（或非线性）关系。本文提出了一种新的数据矩阵隐变量模型，该模型是线性和非线性模型的组合，并设计了一种新的基于深度神经网络的矩阵补全算法，以解决数据矩阵元素之间的线性和非线性关系。所提出的方法包括两个分支。第一个分支学习列的潜在表示，并通过一系列隐藏的神经网络层重建部分观察矩阵的列。第二个分支对行执行相同的操作。此外，基于多任务学习原理，我们强制这两个分支一起工作，并引入一种新的正则化技术来减少过度拟合。更具体地，数据的缺失条目被恢复为主要任务，并且流形学习被执行为辅助任务。辅助任务约束网络的权重，因此它可以被视为正则化器，从而改进主任务并减少过拟合。在合成数据和实际数据上的实验结果验证了该方法与现有的矩阵补全方法相比的有效性。
2020-12-11 cs.LG stat.ML
Matrix Completion via Residual Spectral Matching
Center for Statistical Science, Peking University（北京大学统计科学中心）
针对带噪矩阵补全，提出残差谱匹配准则，利用稀疏随机矩阵谱性质，实现高效收敛并提升高噪声场景下的性能。
2024-12-16 cs.LG stat.ME stat.ML
Nuclear norm penalization and optimal rates for noisy low rank matrix completion
本文讨论了迹回归模型，其中观测到未知$m_1\times m_2$矩阵$A_0$的$n$元素或元素的线性组合被噪声破坏。在期望等距的条件下，对$n,m_1,m_2$的任意值，提出了$A_0$的一个新的核范数惩罚估计，并建立了该估计的一个一般的sharp oracle不等式.然后将该方法应用于矩阵完备化问题。在这种情况下，估计承认一个简单的明确的形式，我们证明了它满足甲骨文不等式的收敛速度比以前的作品。它们在高维设置$m_1m_2\gg n$中尤其有效。我们表明，所获得的速率是最佳的对数因子在极大极小的意义上，并得出，对于任何固定的矩阵$A_0$，一个非极大极小的下界上的收敛速率，我们的估计，这与上界的常数因子。最后，我们表明，我们的程序提供了一个确切的恢复的秩$A_0$的概率接近1。我们还讨论了统计学习设置，其中没有由$A_0$确定的基础模型，目的是找到最好的跟踪回归模型近似的数据。
2016-03-23 math.ST stat.ML stat.TH
Asymptotic equivalence of quantum state tomography and noisy matrix completion
矩阵完备化和量子层析成像是两个不相关的研究领域，在许多现代科学研究中具有很大的兴趣。研究了量子物理和量子信息科学中矩阵完备化中的迹回归与量子态层析成像之间的统计关系。由于量子态层析成像和迹回归具有恢复未知矩阵的共同目标，因此自然会将它们置于Le Cam范式中进行统计比较。将这两类矩阵推理问题看作两个统计实验，建立了它们在亏距方面的渐近等价性。等价性研究促使我们引入一种新的迹回归模型。这种渐近等价性为将矩阵完备化方法应用于量子态层析成像提供了良好的统计基础。我们研究了稀疏密度矩阵和低秩密度矩阵的渐近等价性，并证明了稀疏性和低秩并不一定有助于实现量子态层析成像和迹回归的渐近等价性。特别是，我们表明，流行的泡利测量是坏的稀疏密度矩阵和低秩密度矩阵的渐近等价。
2013-11-20 math.ST stat.TH
Leveraging Shared Factor Structures for Enhanced Matrix Completion with Nonconvex Penalty Regularization
本文研究了含噪低秩矩阵补全问题，提出了一种在广义因子模型下联合建模观测数据与缺失指示的框架，并采用非凸惩罚正则化解决秩估计问题，有效提升了预测精度并提供了理论保证。
2025-04-05 stat.ME
Sample-efficient inductive matrix completion with noise and inexact side-information
Yale Department of Statistics and Data Sciences, Yale University（耶鲁大学统计与数据科学系）；UChicago Department of Statistics, University of Chicago（芝加哥大学统计系）
本文研究了在存在噪声和不精确侧信息的情况下，通过非凸投影梯度下降算法实现样本高效的归纳矩阵补全，提出了一个适用于有效问题规模的正则性条件，实现了线性收敛和估计误差仅依赖于有效问题规模的结论。
2026-06-09 cs.IT cs.LG math.IT
Regularizing Autoencoder-Based Matrix Completion Models via Manifold Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）；imec；Duke University（杜克大学）
自编码器在基于神经网络的矩阵补全模型中很受欢迎，因为它们能够从部分观测矩阵中检索潜在的潜在因子。然而，当训练数据是稀缺的，他们的性能显着下降，由于过拟合。在本文中，我们使用依赖于多任务学习原理的数据依赖正则化技术来解决过拟合问题。具体来说，我们提出了一个基于自动编码器的矩阵完成模型，该模型将未知矩阵值的预测作为主要任务，并将流形学习作为辅助任务。后者作为一个归纳偏差，导致解决方案，更好地推广。所提出的模型优于现有的基于自动编码器的模型设计的矩阵完成，在知名的数据集实现高重建精度。
2018-07-04 cs.AI cs.LG stat.ML
Noisy Low-Rank Matrix Completion via Transformed $L_1$ Regularization and its Theoretical Properties
本文研究含噪低秩矩阵补全问题，提出使用 transformed $L_1$ (TL1) 非凸正则化方法，并在一般抽样分布下提供了全面的统计分析，证明了超参数 $a$ 在不同取值下对收敛速率和矩阵秩的影响，建立了误差与秩的权衡关系。
2025-03-04 math.ST stat.TH
A Max-Norm Constrained Minimization Approach to 1-Bit Matrix Completion
本文考虑了一般非均匀采样分布下的噪声1比特矩阵的完备化问题，利用最大范数作为秩的凸松弛。引入并研究了最大范数约束的最大似然估计。给出了估计的收敛速度。在一般抽样模型下，利用信息论方法建立了极大极小下界。极大极小的上界和下界一起产生Frobenius范数损失的最佳收敛速度。计算算法和数值性能进行了讨论。
2013-09-24 math.ST stat.ML stat.TH
Exploiting Observation Bias to Improve Matrix Completion
MIT（麻省理工学院）
本文针对有偏观测下的矩阵补全问题，提出两阶段算法 MNN，通过从观测模式中恢复潜在因子并进行非参数监督学习，在真实数据上实现比传统方法均方误差小 28 倍的改进。
2024-12-31 cs.LG stat.ML
Brain-Computer Interface with Corrupted EEG Data: A Tensor Completion Approach
脑-机接口中的一个重要问题是如何处理以多维数据集形式组织的脑电测量数据。另一方面，最近，在利用张量分解模型来捕获多维信号中的条目之间的复杂关系的多维信号补全算法中已经取得了重大进展。我们建议使用张量完成应用于EEG数据，以提高分类性能的运动图像BCI系统与损坏的测量。噪声测量被认为是从张量分解模型推断的未知量。我们评估了四个最近提出的张量完成算法的性能，加上一个简单的插值策略，首先与随机丢失的条目，然后与丢失的样本约束有一个特定的结构（随机丢失的通道），这是一个更现实的假设在BCI应用。我们测量了这些算法从观测数据重建张量的能力。然后，我们测试的分类准确性的想象运动的BCI实验与缺失的样本。我们表明，对于随机缺失的条目，所有张量完成算法可以恢复丢失的样本，增加分类性能相比，一个简单的插值方法。对于随机丢失通道的情况下，我们表明，张量补全算法有助于重建丢失的通道，显着提高运动想象分类的准确性，但是，不是在同一水平的干净的数据。张量补全算法在实际的BCI应用中是有用的。所提出的策略可以允许使用运动图像BCI系统，即使当EEG数据受到丢失通道和/或样本的高度影响时，避免在校准阶段需要新的采集。
2018-07-26 eess.SP q-bio.QM stat.ML
Low-Rank Matrix and Tensor Completion via Adaptive Sampling
我们研究了低秩矩阵和张量完成，并提出了新的算法，采用自适应采样方案，以获得强大的性能保证。我们的算法利用自适应性来识别对于学习矩阵（张量）的列空间具有高度信息性的条目，因此，即使当行空间高度一致时，我们的结果也成立，与以前的分析相反。在没有噪声的情况下，我们表明，可以准确地恢复$n \times n$矩阵的秩$r$从仅仅$Ω(n r^{3/2}\log(r))$矩阵条目。我们还表明，可以恢复一个订单$T$张量使用$Ω(n r^{T-1/2}T^2 \log(r))$条目。对于有噪声的恢复，我们的算法始终估计一个低秩矩阵损坏的噪声使用$Ω(n r^{3/2} \textrm{polylog}(n))$条目。我们补充我们的研究与模拟，验证我们的理论，并证明我们的算法的可扩展性。
2013-11-09 stat.ML
Deterministic Completion of Rectangular Matrices Using Asymmetric Ramanujan Graphs: Exact and Stable Recovery
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
本文研究矩阵完备化问题：假设$X \in {\mathbb R}^{n_r \times n_c}$除了秩上界$r$已知外，其余未知.通过测量$X$的少量元素$m \ll n_r n_c$，是否可以用无噪声测量精确地恢复$X$，或者用有噪声测量构建$X$的良好近似？这些问题的现有解决方案涉及均匀和随机地对元素进行采样，并且只能以高概率保证未知矩阵的精确恢复。本文提出了一种\textit{deterministic}抽样矩阵补全方法。我们通过选择采样集作为非对称Ramanujan偶图的边集来实现这一点，并且约束核范数最小化是恢复方法。具体来说，我们推导出充分条件下，未知矩阵完全与无噪声测量，并近似完成与噪声测量，我们称之为“稳定”的完成。这里导出的条件仅仅是充分的，而且比随机抽样的限制性更强。为了研究它们有多接近必要，我们使用Ramanujan图的LPS家族对随机生成的低秩矩阵进行了数值模拟。这些模拟证明了两个事实：（i）为了实现精确的完成，它似乎足以选择的程度$d$的拉马努金图是$\geq 3r$。(ii)有一个“相变”，即如果排名增加一个或两个超过临界值，成功的可能性突然从100%下降到0%。相变现象在使用$\ell_1$ -范数最小化的矢量恢复中是众所周知的并且被充分研究。然而，它在矩阵完备化和核范数最小化方面的研究较少，了解不多。
2020-05-21 cs.LG stat.ML
Streaming, Memory Limited Matrix Completion with Noise
在本文中，我们考虑流存储器有限的矩阵完成问题时，观察到的条目是一个小的随机分数的原始条目的噪声版本。我们感兴趣的场景中，矩阵的大小非常大，所以矩阵是非常难以存储和操纵。这里，观察矩阵的列被顺序地呈现，并且目标是在有限的存储空间和有限的计算复杂性的情况下在数据上通过一次之后完成缺失的条目。我们提出了一种流算法，它产生一个消失的均方误差的原始矩阵的估计，使用存储空间线性缩放与矩阵的环境维度，即所需的存储器单独存储输出，并花费计算输入矩阵的非零条目的数量。
2015-04-13 math.SP stat.ML
Obtaining error-minimizing estimates and universal entry-wise error bounds for low-rank matrix completion
我们提出了一个通用的框架，用于重建和去噪的不完整和嘈杂的条目的单个条目。我们描述：用于决定是否可以重建条目的有效算法，以及如果可以，则用于重建条目并对其去噪的有效算法;以及单独地对每个条目的误差的先验界限。在无噪声的情况下，我们的算法是准确的。对于秩一矩阵，新算法是快速的，承认一个高度并行的实现，并产生一个误差最小化估计，定性接近我们的理论和国家的核范数和OptSpace方法。
2013-03-29 math.AG math.CO stat.ML
A Unified Computational and Statistical Framework for Nonconvex Low-Rank Matrix Estimation
提出了一个基于梯度下降算法的非凸优化估计低秩矩阵的统一框架。我们的框架是相当普遍的，可以适用于噪声和无噪声的意见。在噪声观测的一般情况下，我们证明了我们的算法是保证线性收敛到未知的低秩矩阵最小最大最优统计误差，提供了一个适当的初始估计。而在一般的无噪声设置，我们的算法收敛到未知的低秩矩阵在一个线性的速度，并使准确的恢复与最佳的样本复杂度。此外，我们开发了一个新的初始化算法，以提供一个所需的初始估计，它优于现有的初始化算法的非凸低秩矩阵估计。我们通过三个例子来说明我们的框架的优越性：矩阵回归，矩阵完成，和一位矩阵完成。我们还证实了我们的理论，通过大量的实验合成数据。
2016-10-17 stat.ML
Transfer Learning for Matrix Completion
Department of Statistics and Probability, Michigan State University（统计与概率系，密歇根州立大学）
本文提出一种基于辅助源数据的矩阵补全迁移学习方法，利用锐化集中不等式证明其极小极大最优性，并开发了源数据集选择检测程序，通过模拟和真实数据验证了方法的有效性。
2026-09-22 cs.LG stat.ML
Consistent Collective Matrix Completion under Joint Low Rank Structure
我们解决了集体矩阵完成问题，共同恢复一组矩阵的共享结构，从部分（和潜在的噪声）的意见。为了确保适定性的问题，我们施加了一个联合低秩结构，其中每个组件矩阵是低秩和潜在空间的低秩因子对应于每个实体是共享的整个集合。首先，我们开发了一个严格的代数表示和操纵集体矩阵结构，并确定一致的集体矩阵估计的充分条件。然后，我们提出了一个易于处理的凸估计解决集体矩阵完成问题，并提供了第一个非平凡的理论保证集体矩阵完成的一致性。我们表明，在第3.1节中所述的合理假设下，具有很高的概率，只要满足定理1所规定的样本复杂性要求，所提出的估计量就可以精确地恢复真实矩阵。本文推导出的样本复杂性要求是最佳的对数因子，并显着提高了标准矩阵完成的平凡扩展所获得的要求。最后，我们提出了一个可扩展的近似算法来解决所提出的凸规划，并通过模拟实验证实了我们的结果。
2015-04-07 cs.LG stat.ML
Missing Not at Random in Matrix Completion: The Effectiveness of Estimating Missingness Probabilities Under a Low Nuclear Norm Assumption
Carnegie Mellon University（卡内基梅隆大学）
矩阵补全通常应用于具有非随机非随机缺失项（MNAR）的数据。例如，考虑一个推荐系统，其中用户倾向于只显示他们喜欢的项目的评级。在这种情况下，依赖于在均匀采样的行和列索引处显示的条目的矩阵完成方法可能会对看不见的用户评级产生过于乐观的预测。最近，各种各样的论文表明，如果我们知道不同矩阵项丢失的概率，我们可以减少MNAR矩阵完成中的这种偏差。这些概率通常使用逻辑斯谛回归或朴素贝叶斯进行建模，这些方法进行强假设，并且缺乏对估计概率准确性的保证。在本文中，我们提出了一个简单的方法来估计这些概率，避免这些缺点。我们的方法遵循的观察，在真实数据中的缺失模式往往表现出较低的核范数结构。然后，我们可以通过将（总是完全观察到的）二进制矩阵指定哪些条目被揭示或缺失到Davenport等人的现有核范数约束矩阵完成算法来估计缺失概率。[2014]。因此，我们通过首先解决不同的矩阵完成问题来解决MNAR矩阵完成问题，该矩阵完成问题恢复缺失概率。我们建立有限样本误差界如何准确这些概率估计和如何以及这些估计debias标准矩阵完成损失的原始矩阵完成。实验结果表明，所提出的去偏策略可以改善现有的各种矩阵补全算法，并使下游矩阵补全精度至少与需要额外辅助信息的逻辑斯谛回归和朴素贝叶斯去偏基线一样好.
2019-10-29 cs.LG stat.ML
Representational Transfer Learning for Matrix Completion
Institute for Financial Studies, Shandong University（山东大学金融研究院）；School of Management, Fudan University（复旦大学管理学院）；School of Physical & Mathematical Sciences, Nanyang Technological University（南洋理工大学数理学院）；Department of Statistics and Data Science, National University of Singapore（新加坡国立大学统计与数据科学系）
该研究提出面向矩阵补全的表示迁移学习方法，通过聚合多源奇异子空间信息、求解双向PCA整合表示，将高维补全问题转为低维回归并保障统计效率，经仿真和真实数据验证有效。
2024-12-09 cs.LG stat.ML
Calibrated Elastic Regularization in Matrix Completion
本文讨论了矩阵完备化问题，即根据一个小的指数子集的观测值估计一个矩阵。我们提出了一个校准谱弹性网方法与核和Frobenius罚款的总和，并开发了一个迭代算法来解决凸极小化问题。迭代算法在通过当前猜测估算不完整矩阵中的缺失条目和通过估算矩阵的缩放软阈值奇异值分解估计矩阵之间交替，直到所得矩阵收敛。随后进行校准步骤以校正由Frobenius罚分引起的偏差。在适当的相干性条件和适当的惩罚水平下，我们证明了所提出的估计器达到了接近最优阶的误差界，并与噪声水平成比例。这提供了一个统一的分析噪声和无噪声矩阵完成问题。仿真结果比较我们的建议与以前的。
2012-11-09 math.ST stat.ML stat.TH
Matrix Completion has No Spurious Local Minimum
Duke University（杜克大学）；University of Southern California（南加州大学）；Princeton University（普林斯顿大学）
矩阵完备化是一个基本的机器学习问题，在协同过滤和推荐系统中有着广泛的应用。简单的非凸优化算法在实际中是流行和有效的。尽管最近在证明各种非凸算法从一个好的初始点收敛方面取得了进展，但仍然不清楚为什么随机或任意初始化在实践中就足够了。我们证明了\textit{positive semidefinite}矩阵完备化中常用的非凸目标函数不存在虚假的局部极小值-所有的局部极小值也必须是全局的。因此，许多流行的优化算法，如（随机）梯度下降可以证明解决半正定矩阵完成\textit{arbitrary}初始化在多项式时间。该结果可以推广到当观察到的条目包含噪声时的设置。我们相信，我们的主要证明策略可以用于理解几何性质的其他统计问题，涉及部分或噪声观测。
2018-07-22 cs.DS cs.LG stat.ML
Weighted matrix completion from non-random, non-uniform sampling patterns
我们研究了当观测模式是确定的且可能是非均匀的情况下的矩阵完备化问题。我们提出了一个简单而有效的去偏投影方案从噪声观测中恢复，并在适当的加权度量下分析了误差。我们引入了一个简单的函数的权重矩阵和采样模式，管理恢复矩阵的准确性。我们得到理论上的保证，上限的恢复误差和几乎匹配的下限，展示在几个政权的最优性。我们的数值实验证明了我们的方法的计算效率和精度，并表明，去偏置是必不可少的，当使用非均匀采样模式。
2019-10-30 cs.IT math.IT math.ST
Matrix Completion via Max-Norm Constrained Optimization
University of Pennsylvania（宾夕法尼亚大学）；Princeton University（普林斯顿大学）
在均匀采样模型下，矩阵完备化已经得到了很好的研究，迹范数正则化方法在这种情况下在理论和数值上都有很好的表现。然而，均匀采样模型对于一系列应用是不现实的，并且当底层采样方案是非均匀的时，标准迹范数松弛可以表现得非常差。本文提出并分析了一般抽样模型下噪声矩阵完备化的最大范数约束经验风险最小化方法。在近似低秩矩阵重构的背景下，在Frobenius范数损失下建立了最优收敛速度。结果表明，最大范数约束的方法是极大极小率最优的，并产生一个统一的和强大的近似恢复保证，相对于采样分布。该方法的计算效率也进行了讨论，基于一阶算法求解凸优化涉及最大范数正则化。
2017-04-28 cs.IT cs.LG math.IT
Regularization for Matrix Completion
我们考虑的问题，重建一个低秩矩阵的一个子集，其条目的噪声观测。该任务在统计学习、计算机视觉和信号处理中有应用。在这些上下文中，“噪声”一般是指对数据的任何贡献，这些贡献没有被低秩模型捕获。在大多数应用中，噪声水平与基础信号相比很大，避免过拟合很重要。为了解决这个问题，我们定义了一个正则化的成本函数非常适合光谱重建方法。在一个随机噪声模型，并在大系统的限制，我们证明了所得到的准确性经历了一个相变，这取决于噪声水平和所观察到的条目的分数。可以使用OPTSPACE（流形梯度下降算法）最小化成本函数。数值模拟表明，这种方法是有竞争力的国家的最先进的替代品。
2010-01-02 stat.AP stat.ML
Matrix completion based on Gaussian parameterized belief propagation
The University of Tokyo（东京大学）
我们开发了一个基于矩阵分解的消息传递算法来解决有噪声的矩阵完备化问题。该算法是通过近似的信度传播与高斯分布，共享相同的第一和第二时刻的消息分布。我们还得到了一个内存友好的版本，所提出的算法，通过应用通常用于文献中的近似消息传递的扰动处理。此外，阻尼技术，这被证明是至关重要的最佳性能，引入无计算应变，和消息传递版本的交替最小二乘法，一种方法，报告在某些设置中是最佳的关系，进行了讨论。合成数据集上的实验表明，虽然所提出的算法定量地表现出几乎相同的性能设置下，早期的算法是最佳的，它是有利的，当观察到的数据集被非高斯噪声破坏。在真实数据集上的实验也强调了两种算法之间的性能差异。
2021-08-25 cond-mat.stat-mech cs.LG stat.ML
Approximately low-rank recovery from noisy and local measurements by convex program
从经典的系统辨识到信号处理和统计学中的更现代的矩阵补全，低秩矩阵模型已经普遍地用于许多应用。由于核范数可以导出反问题的低秩解，因此它被用作低秩的凸替代。虽然用于低秩的核范数与通过奇异值分解用于稀疏性的$\ell_1$范数具有很好的相似性，但其他矩阵范数也会导致低秩。特别是作为一个解释矩阵作为一个线性算子之间的巴拿赫空间，各种张量积规范推广的作用，核规范。我们提供了一个张量范数约束估计恢复近似低秩矩阵从本地测量损坏的噪声。张量范数正则化器的设计，以适应当地的结构。通过对巴拿赫空间的张量积应用Maurey的经验方法，得到了矩阵完备化和分散作图下估计量的统计分析.估计器提供了一个接近最优的误差界在极大极小意义上，并承认这些应用程序的多项式时间算法。
2023-03-03 math.FA math.ST stat.TH
Matrix Completion from Non-Uniformly Sampled Entries
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）；JD AI Research（京东人工智能研究院）
在本文中，我们考虑矩阵完成从非均匀采样项目，包括完全观察和部分观察列。具体地说，我们假设随机选择并完全观察到少量列，其余每列都采用均匀采样进行部分观察。为了恢复未知矩阵，我们首先从完全观察到的列中恢复其列空间。然后，对于每个部分观察到的列，我们通过找到位于恢复的列空间中并由观察到的条目组成的向量来恢复它。当未知的$m\times n$矩阵是低秩的，我们表明，我们的算法可以准确地恢复它从仅仅$Ω(rn\ln n)$条目，其中$r$是矩阵的秩。此外，对于噪声低秩矩阵，我们的算法计算未知矩阵的低秩近似，并享有由Frobenius范数测量的附加误差界。人工数据集上的实验结果验证了我们的理论主张，并证明了我们提出的算法的有效性。
2018-06-27 cs.LG stat.ML
Optimal Transfer Learning for Missing Not-at-Random Matrix Completion
Indian Statistical Institute（印度统计研究所）
针对整行整列缺失的MNAR矩阵补全问题，提出利用含噪源矩阵进行潜在空间特征偏移的迁移学习框架，在主动采样下达到极小极大下界并避免相干性假设。
2025-02-28 cs.LG stat.ML
Matrix Completion Methods for the Total Electron Content Video Reconstruction
总电子含量（TEC）图可以用来估计由于接收机和卫星之间的电离层电子含量引起的GPS信号延迟。这种延迟会导致GPS定位误差。因此，监测TEC图是重要的。观测到的TEC地图在海洋中有大片的缺失区域，在陆地上有分散的小区域缺失。在本文中，我们提出了几个扩展现有的矩阵完成算法来实现TEC地图重建，占空间的平滑性和时间的一致性，同时保留重要结构的TEC地图。我们称该方法为视频填补与软填补，时间平滑和辅助数据（VISTA）。给出了模拟真实数据模式的数值模拟。我们表明，我们提出的方法实现了更好的重建TEC地图相比，现有的方法在文献中。我们提出的计算算法是通用的，可以很容易地应用于其他问题，除了TEC地图重建。
2022-01-12 eess.SP stat.AP
Distributed Matrix Completion and Robust Factorization
Stanford（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
如果学习方法要扩展到现代数据集的大规模规模，那么机器学习领域必须采用并行和分布式计算。受最近矩阵分解方法理论丰富但计算复杂性较差以及将矩阵映射到分布式架构上相对容易的启发，我们引入了一个可扩展的分治框架用于噪声矩阵分解。我们提出了一个彻底的理论分析，在这个框架中，我们的特征的统计误差引入的“划分”步骤和控制其大小的“征服”的步骤，使整个算法享有高概率估计保证相比，其基础算法。我们还提出了协同过滤和视频背景建模的实验，证明了这种方法可以达到的近线性到超线性的加速。
2013-10-28 cs.DS cs.LG cs.NA
Causal Matrix Completion
矩阵完备化是从噪声观测的稀疏子集中恢复底层矩阵的研究。传统上，假设矩阵的条目是“完全随机缺失”（MCAR）的，即，每个条目都是随机显示的，独立于其他任何东西，具有均匀的概率。这可能是不现实的，因为存在“潜在混杂因素”，即，未观察到的因素，这些因素决定了基础矩阵的条目和观察到的矩阵中的缺失模式。例如，在电影推荐系统的上下文中--矩阵补全的规范应用--强烈不喜欢恐怖片的用户不太可能看恐怖片。一般来说，这些混杂因素会产生“非随机缺失”（MNAR）数据，这会严重影响任何不纠正这种偏倚的推断程序。我们通过潜在结果的语言开发了一个正式的因果模型矩阵完成，并提供了新的识别参数的各种因果被估量的利益。我们设计了一个程序，我们称之为“合成最近邻”（SNN），估计这些因果被估量。我们证明了我们的估计量的有限样本相合性和渐近正态性。我们的分析也导致新的理论结果的矩阵完成文学。特别是，我们建立了入口智能，即，最大范数，有限样本的一致性和渐近正态性的矩阵完成MNAR数据的结果。作为一种特殊情况，这也为MCAR数据的矩阵完成提供了条目方面的界限。在模拟和真实数据中，我们证明了我们提出的估计量的有效性。
2021-09-30 cs.LG econ.EM math.ST
Robust Matrix Completion
本文研究了一个低秩矩阵在其大部分元素不可观测且部分观测元素被破坏的情况下的恢复问题。观测是我们希望恢复的低秩矩阵的和的噪声实现，第二个矩阵具有互补的稀疏结构，例如元素或列稀疏性。我们分析了一类估计通过解决一个约束凸优化问题，结合了核范数和凸松弛稀疏约束。我们的结果是同时存在的随机和确定性模式的抽样方案。我们提供了保证的低秩和稀疏成分的部分和损坏的观测在噪声的存在下，并表明所获得的收敛速度是最小最大最优的恢复。
2016-07-04 math.ST stat.TH
Restricted strong convexity and weighted matrix completion: Optimal bounds with noise
本文研究了一类行/列加权项式抽样下的矩阵完备化问题，并将均匀项式抽样的情形作为特例。我们分析了相应的随机观测算子，证明了它以很高的概率满足关于加权Frobenius范数的一种限制强凸性。利用这一性质，我们得到的推论矩阵完成的加权Frobenius范数噪声采样下的精确和近低秩矩阵的误差界。我们的研究结果是基于措施的“尖峰”和“低秩”的矩阵，比以前的工作中施加的不相干条件的限制性较小。我们的技术涉及$M$估计，包括控制的解决方案的秩和尖峰，我们建立非渐近误差界加权Frobenius范数恢复矩阵躺在$\ell_q$ -“球”的有界尖峰。使用信息论的方法，我们表明，没有算法可以实现更好的估计（对数因子）在这些相同的集合，表明我们的条件矩阵和相关的利率基本上是最优的。
2011-05-15 cs.IT math.IT math.ST
Statistically Optimal and Computationally Efficient Low Rank Tensor Completion from Noisy Entries
在这篇文章中，我们开发的方法来估计一个低秩张量从噪声观测的一个子集的条目，以实现统计和计算效率。最近有很多兴趣在这个问题的噪音张量完成。大部分的注意力都集中在与高阶张量问题相关的基本计算挑战上，但对它们的统计性能知之甚少。为了填补这一空白，在这篇文章中，我们的基本统计限制的噪声张量完成建立极小极大最优收敛率估计$k$阶低秩张量下的一般$\ell_p$（$1\le p\le 2$）规范，这表明显着的改进空间比现有的方法。此外，我们提出了一个多项式时间可计算的估计过程的基础上的权力迭代和二阶谱初始化，实现最佳的收敛速度。我们的方法是相当容易实现和数值实验，以进一步证明我们的估计的实际优点。
2018-03-19 cs.IT math.IT math.ST
Multiple Testing of Linear Forms for Noisy Matrix Completion
University of Pennsylvania（宾夕法尼亚大学）；City University of Hong Kong（香港城市大学）；Hong Kong University of Science and Technology（香港科技大学）；Columbia University（哥伦比亚大学）
针对大规模推荐系统中噪声矩阵补全的多元线性形式检验问题，提出一种数据分割与对称聚合方法，通过构造具有锐利渐近性质的统计量控制错误发现率，在近最优样本量下实现有效FDR控制与统计功效。
2026-07-01 cs.LG math.ST stat.ME
Uncertainty Quantification for Noisy Low-tubal-rank Tensor Completion
University of Michigan（密歇根大学）
本文提出了一种灵活的推断框架，用于高维张量的线性形式，通过双样本去偏技术和低秩投影构建渐近高斯估计器，实现有效的统计推断，并通过模拟和实际数据验证了方法的鲁棒性和可靠性。
2026-04-11 math.ST stat.ME stat.TH
Robust Community Detection for Noisy Networks with Covariates: Application to Functional Brain Networks
University of Connecticut（康涅狄格大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Texas MD Anderson Cancer Center（德克萨斯大学安德森癌症中心）；Yale University（耶鲁大学）
针对带噪声和协变量的功能性脑网络，提出贝叶斯框架结合度校正随机块模型与噪声模型，用MCMC和WAIC实现稳健社区检测，在模拟和真实数据中优于现有方法。
2026-09-09 stat.ME
Bayesian Uncertainty Quantification for Low-Rank Matrix Completion
我们考虑未知低秩矩阵$\mathbf{X}$的不确定性量化问题，给出了其条目的部分和噪声观测。这种不确定性的量化对于许多现实问题至关重要，包括图像处理，卫星成像和地震学，为验证科学结论和指导决策提供了原则性框架。然而，现有的文献主要集中在完成（即，点估计）的矩阵$\mathbf{X}$，几乎没有工作调查其不确定性。为此，我们在这项工作中提出了一个新的贝叶斯建模框架，称为BayeSMG，参数化未知的$\mathbf{X}$通过其底层的行和列子空间。这种贝叶斯子空间参数化使得能够在矩阵子空间上进行有效的后验推理，这在许多应用中代表了可解释的现象。然后可以利用这一点来改善基质回收。我们证明了BayeSMG的有效性，现有的贝叶斯矩阵恢复方法在数值实验中，图像修复，和地震传感器网络应用。
2022-03-25 stat.ME
Tensor denoising and completion based on ordinal observations
University of Wisconsin – Madison（威斯康星大学麦迪逊分校）
高阶张量经常出现在神经成像、推荐系统、社会网络分析和心理学研究等应用中。我们考虑从可能不完整的，序值观测的低秩张量估计的问题。研究了两个相关问题，一个是张量去噪，另一个是张量完备化。我们提出了一个多线性累积链接模型，开发了一个秩约束的M-估计，并获得理论上的精度保证。我们的均方误差界比以前的结果具有更快的收敛速度，我们证明了所提出的估计是minimax最优的一类低秩模型。此外，开发的程序作为一个有效的完成方法，保证一致的恢复顺序$K$ $(d,\ldots,d)$维低秩张量只使用$\tilde{\mathcal{O}}(Kd)$噪声，量化的意见。我们证明了我们的方法优于以前的方法的聚类和协同过滤的任务。
2020-12-13 cs.LG math.ST stat.ME
