Matrix Completion from Fewer Entries: Spectral Detectability and Rank Estimation
École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Sorbonne Universités, UPMC Univ Paris 06（索邦大学（巴黎第六大学））；ESPCI（巴黎高等物理化工学院）；CNRS UMR 7083 Gulliver（法国国家科学研究中心格列佛实验室（UMR 7083））；Institut de Physique Théorique, CEA Saclay（法国原子能和替代能源委员会萨克莱核研究中心理论物理研究所）；CNRS（法国国家科学研究中心）
由少量元素求低秩矩阵的完备化是一个有许多实际应用的问题。我们在这里考虑这个问题的两个方面：可检测性，即从最少的可能随机条目可靠地估计秩$r$的能力，以及实现小的重建误差的性能。我们提出了一个频谱算法，这两个任务称为MaCBetH（矩阵完成与贝特海森）。秩被估计为Bethe Hessian矩阵的负特征值的数量，并且相应的特征向量被用作估计矩阵与所揭示的条目之间的差异最小化的初始条件。我们分析了随机矩阵设置中的性能，使用的Hopfield神经网络的统计力学的结果，并特别表明，MaCBetH有效地检测从$C(r)r\sqrt{nm}$条目，其中$C(r)$是一个常数接近$1$的大型$n\times m$矩阵的秩$r$。我们还评估了相应的均方根误差的经验，并表明，MaCBetH相比有利的其他现有的方法。
2016-01-28 cond-mat.dis-nn cs.LG stat.ML
Matrix Completion With Selective Sampling
University of California, Los Angeles（加州大学洛杉矶分校）
矩阵完备化是数据科学中的一个经典问题，其中人们试图在仅观察条目的某个子集的情况下重建低秩矩阵。以前的作者把这个问题称为核范数最小化问题。几乎所有以前的工作假设没有明确的矩阵结构，并使用均匀采样来决定观察到的条目。我们建议的情况下，我们有一些知识的矩阵的结构，并允许设计的观察集的选择性抽样的方法。
2019-04-17 cs.LG stat.ML
Uncertainty Quantification For Low-Rank Matrix Completion With Heterogeneous and Sub-Exponential Noise
Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）
低秩矩阵完成与异构和次指数（相对于均匀和高斯）噪声的问题是特别相关的一些应用在现代商业。例子包括小组销售数据和从网络商务系统（如推荐引擎）收集的数据。一个重要的未解决的问题，这个问题是描述下常见的低秩估计估计矩阵元素的分布。这样的特性是必不可少的任何应用，需要量化的不确定性，在这些估计，迄今为止，只有在假设均匀高斯噪声。在这里，我们的特点估计矩阵条目的分布时，观察噪声是异构的次指数，并提供，作为一个应用程序，明确的公式，这种分布时，观察到的条目是泊松分布或二进制分布。
2021-10-22 cs.LG stat.ML
Entry-Specific Bounds for Low-Rank Matrix Completion under Highly Non-Uniform Sampling
School of Operations Research and Information Engineering, Cornell University（康奈尔大学运筹学与信息工程学院）；Department of Computer Sciences, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系）
针对高度非均匀采样的低秩矩阵补全，本文提出在较小子矩阵上估计并给出逐条目误差上界，且该界在一定条件下匹配极小极大下界。
2024-02-29 cs.LG stat.ML
Deep Learning Approach for Matrix Completion Using Manifold Learning
矩阵完备化由于其在各个研究领域的广泛应用而受到了广泛的关注和研究。现有的矩阵补全方法只考虑数据矩阵中元素之间的非线性（或线性）关系，而忽略了潜在的线性（或非线性）关系。本文提出了一种新的数据矩阵隐变量模型，该模型是线性和非线性模型的组合，并设计了一种新的基于深度神经网络的矩阵补全算法，以解决数据矩阵元素之间的线性和非线性关系。所提出的方法包括两个分支。第一个分支学习列的潜在表示，并通过一系列隐藏的神经网络层重建部分观察矩阵的列。第二个分支对行执行相同的操作。此外，基于多任务学习原理，我们强制这两个分支一起工作，并引入一种新的正则化技术来减少过度拟合。更具体地，数据的缺失条目被恢复为主要任务，并且流形学习被执行为辅助任务。辅助任务约束网络的权重，因此它可以被视为正则化器，从而改进主任务并减少过拟合。在合成数据和实际数据上的实验结果验证了该方法与现有的矩阵补全方法相比的有效性。
2020-12-11 cs.LG stat.ML
Matrix Co-completion for Multi-label Classification with Missing Features and Labels
RIKEN Center for Advanced Intelligence Project（理化学研究所高级智能项目中心）；Center for Artificial Intelligence, University of Technology Sydney（悉尼科技大学人工智能中心）；Nanjing University（南京大学）；University of Tokyo（东京大学）
我们考虑了一个具有挑战性的多标签分类问题，其中特征矩阵$\X$和标签矩阵$\Y$都有丢失的条目。现有的方法将$\X$和$\Y$级联为$[\X; \Y]$，并在假设$[\X; \Y]$具有低秩的情况下应用矩阵完成（MC）方法来填充缺失的条目。然而，由于$\Y$的条目在多标签设置中采用二进制值，因此$\Y$不太可能是低秩的。此外，这种假设意味着$\X$和$\Y$之间的线性关系，这在实践中可能不成立。在本文中，我们考虑一个潜在的矩阵$\Z$，产生的概率$σ(Z_{ij})$生成标签$Y_{ij}$，其中$σ(\cdot)$是非线性的。考虑到标签相关性，假设$[\X; \Z]$是低秩的，提出了一种基于次梯度下降的MC算法，称为共同完成（COCO），该算法由弹性网和一位MC驱动。我们给出了COCO的恢复效果的理论界，并通过实验证明了它的实用性。
2018-05-23 cs.LG stat.ML
Exponential Family Matrix Completion under Structural Constraints
我们考虑从噪声和部分测量中恢复结构化矩阵的矩阵完成问题。最近的作品提出了易于处理的估计与强大的统计保证的情况下，底层矩阵是低秩，测量组成的子集，无论是确切的个人条目，或条目扰动加性高斯噪声，这是因此隐含地适合于薄尾连续数据。可以说，矩阵补全的常见应用需要估计器用于（a）异构数据-类型，如偏斜-连续、计数、二进制等，(b)对于异构噪声模型（超越高斯），它捕获不同的测量不确定性，以及（c）异构结构约束超越低秩，如块稀疏，或低秩加元素稀疏的叠加结构，等等。在本文中，我们提供了一个非常统一的框架，广义矩阵完成考虑矩阵完成设置，其中矩阵条目是从指数分布的丰富的家庭的任何成员进行采样，并施加一般的结构约束的基础矩阵，捕获的一般正则化$\mathcal{R}(.)$。我们提出了一个简单的凸正则化$M$ -估计的广义框架，并提供了一个统一的和新的统计分析这类估计。最后，我们证实了我们的理论结果模拟数据集。
2015-09-15 cs.LG stat.ML
Noisy Tensor Completion via Low-rank Tensor Ring
Guangdong University of Technology（广东工业大学）；RIKEN（理化学研究所）
张量补全是不完整数据分析的基本工具，其目标是从部分观测值中预测缺失项。然而，现有的方法往往显式或隐式地假设观测条目是无噪声的，以提供精确恢复丢失条目的理论保证，这在实践中受到很大的限制。为了弥补这些缺陷，本文提出了一种新的噪声张量完成模型，它补充了现有的工作在处理高阶和噪声观测退化的不足。具体地说，张量环核范数（TRNN）和最小二乘估计分别采用正则化的基础张量和观察到的条目。此外，一个非渐近上界的估计误差描述所提出的估计器的统计性能。两个有效的算法来解决的优化问题的收敛保证，其中之一是专门针对处理大规模的张量，通过替换TRNN的原始张量的最小化等效的一个小得多的异构张量分解框架。合成和真实世界的数据上的实验结果表明，该模型在恢复噪声不完整的张量数据的有效性和效率相比，国家的最先进的张量完成模型。
2022-03-14 cs.AI cs.LG stat.ML
Low-Rank Matrix and Tensor Completion via Adaptive Sampling
我们研究了低秩矩阵和张量完成，并提出了新的算法，采用自适应采样方案，以获得强大的性能保证。我们的算法利用自适应性来识别对于学习矩阵（张量）的列空间具有高度信息性的条目，因此，即使当行空间高度一致时，我们的结果也成立，与以前的分析相反。在没有噪声的情况下，我们表明，可以准确地恢复$n \times n$矩阵的秩$r$从仅仅$Ω(n r^{3/2}\log(r))$矩阵条目。我们还表明，可以恢复一个订单$T$张量使用$Ω(n r^{T-1/2}T^2 \log(r))$条目。对于有噪声的恢复，我们的算法始终估计一个低秩矩阵损坏的噪声使用$Ω(n r^{3/2} \textrm{polylog}(n))$条目。我们补充我们的研究与模拟，验证我们的理论，并证明我们的算法的可扩展性。
2013-11-09 stat.ML
Missing Entries Matrix Approximation and Completion
School of Electrical Engineering Tel Aviv University（电气工程学院 特拉维夫大学）；School of Computer Science Tel Aviv University（计算机科学学院 特拉维夫大学）
针对仅部分条目已知的矩阵，提出一系列算法实现矩阵补全与逼近，支持低秩、核范数、谱范数等多种约束，并证明凸情形下全局收敛，无需参数且适用于图像重建及偏微分方程数据恢复。
2014-06-29 cs.LG cs.NA math.NA
Typical and Generic Ranks in Matrix Completion
我们从几何的角度考虑低秩矩阵的精确完备化问题：给定一个部分填充矩阵M，我们保持指定和未指定元素的位置固定，并研究最小完备秩如何依赖于已知元素的值.如果矩阵的元素是复数，则对于指定和未指定元素的位置的固定模式，存在以正概率出现的唯一完成秩。我们称这个等级为通用完成等级。在实数上，可以有多个以正概率出现的秩;我们称之为典型的完成秩。我们正式介绍这些概念，并提供了一些不等式和确切的结果，典型的和通用的不同家庭的模式的已知和未知的条目的排名。
2019-09-22 cs.NA math.AG math.NA
Targeted matrix completion
University of Southern California（南加州大学）
矩阵补全是在许多数据分析设置中出现的问题，其中输入由部分观察的矩阵组成（例如，推荐系统、流量矩阵分析等）。经典的矩阵完备化方法假设输入的部分观测矩阵是低秩的。这些方法的成功取决于观察到的条目的数量和矩阵的秩;秩越大，为了准确地完成矩阵，需要观察的条目就越多。在本文中，我们处理矩阵，不一定是低秩本身，而是他们包含低秩子矩阵。我们提出了有针对性的，这是一个通用的框架，完成这样的矩阵。在这个框架中，我们首先提取低秩子矩阵，然后分别对这些低秩子矩阵和剩余矩阵应用矩阵完备化算法。虽然对于完成本身，我们使用国家的最先进的完成方法，我们的结果表明，有针对性的实现显着较小的重建误差比其他经典的矩阵完成方法。本文的关键技术贡献之一在于从输入部分可观测矩阵中识别出低秩子矩阵。
2017-04-30 cs.LG stat.ML
Asymptotic Convergence Rate of Alternating Minimization for Rank One Matrix Completion
Boston University（波士顿大学）
我们研究交替最小化矩阵完成在最简单的可能设置：完成一个秩一矩阵从一个显示的子集的条目。通过对一个可逆一致问题的特征值的变分刻画，给出了渐近收敛速度的界。这导致了一个多项式上界的渐近速率的节点数以及最大程度的图中透露的条目。
2020-08-11 cs.LG cs.NA math.NA
Streaming, Memory Limited Matrix Completion with Noise
在本文中，我们考虑流存储器有限的矩阵完成问题时，观察到的条目是一个小的随机分数的原始条目的噪声版本。我们感兴趣的场景中，矩阵的大小非常大，所以矩阵是非常难以存储和操纵。这里，观察矩阵的列被顺序地呈现，并且目标是在有限的存储空间和有限的计算复杂性的情况下在数据上通过一次之后完成缺失的条目。我们提出了一种流算法，它产生一个消失的均方误差的原始矩阵的估计，使用存储空间线性缩放与矩阵的环境维度，即所需的存储器单独存储输出，并花费计算输入矩阵的非零条目的数量。
2015-04-13 math.SP stat.ML
Collective Matrix Completion
Univ Paris Nanterre（巴黎楠泰尔大学）；ESSEC Business School（ESSEC商学院）；CREST（法国经济与统计研究所）
矩阵完备化的目的是根据对少量元素的观察来重构数据矩阵。通常在矩阵完成中考虑单个矩阵，其可以是例如推荐系统中的评级矩阵。然而，在实际情况中，数据往往是从多个来源获得的，这导致了矩阵的集合，而不是一个单一的。在这项工作中，我们考虑的问题，集体矩阵完成与多个和异构矩阵，这可以是计数，二进制，连续等，我们首先调查的设置，对于每个源，矩阵条目是从一个指数家庭分布抽样。然后，我们放松了对噪声服从指数族分布的假设，并研究了无分布的情况。在这种情况下，我们不为观察假设任何特定的模型。估计过程是基于最小化的总的拟合优度项和整个集体矩阵的核范数惩罚的总和。我们证明了所提出的估计实现快速收敛速度下的两个考虑的设置，我们证实了我们的结果与数值实验。
2019-10-21 cs.LG stat.ML
Matrix Completion from General Deterministic Sampling Patterns
Purdue University（普渡大学）；MIT（麻省理工学院）
本文针对任意确定性采样模式，利用观测图的连通性和节点度性质，为约束核范数最小化求解精确及近似低秩矩阵补全建立理论保证，并改进对称矩阵情形下的已有结果。
2023-06-04 cs.LG stat.ML
A Note on Alternating Minimization Algorithm for the Matrix Completion Problem
MIT（麻省理工学院）；Los Alamos Research Laboratory（洛斯阿拉莫斯研究实验室）
本文分析了两种交替最小化算法变体在低秩矩阵补全问题中的性能，证明当矩阵秩为1且满足特定条件时，算法能在多项式时间内近似重建矩阵，并通过模拟结果表明第二种基于消息传递更新的算法表现更优。
2016-02-05 cs.LG cs.NA math.NA
Typical ranks in symmetric matrix completion
研究了对称矩阵的低秩矩阵完备化问题。一般部分指定对称矩阵的完备化的最小秩仅取决于指定元素的位置，而不是它们的值，如果允许复杂的元素。当要求条目是真实的时，情况就不再是这样了，可能的最低等级称为典型等级。本文给出了以$n$为典型秩的$n\times n$对称矩阵的指定整的模式的组合描述。此外，我们准确地描述了当这样一个通用的部分矩阵是最低限度地完成排名$n$。我们还描述了具有低的最大典型秩的条目的模式的典型秩。
2020-10-14 math.AG math.CO math.ST
Matrix Completion on Graphs
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Università della Svizzera Italiana（瑞士意大利语区大学）
在给定几个矩阵元素的情况下求矩阵的缺失值的问题，称为矩阵补齐，近年来引起了人们的广泛关注。虽然标准低秩假设下的问题是NP难的，但Candès和Recht表明，如果观察到的条目数量足够大，它可以完全放松。在这项工作中，我们引入了一种新的矩阵完成模型，利用邻近信息的行和列，假设他们形成社区。这个假设在一些现实世界的问题中是有意义的，比如在推荐系统中，有一些社区的人分享偏好，而产品形成了获得类似评级的集群。因此，我们的主要目标是找到一个低秩的解决方案，该解决方案是由图形编码的行和列的接近度构成的。我们借用流形学习的思想来限制我们的解决方案在这些图上是平滑的，以便隐含地强制行和列的接近。我们的矩阵恢复模型被配制成一个凸非光滑优化问题，为它提供了一个适定的迭代方案。我们研究和评估所提出的矩阵完成合成和真实数据，表明所提出的结构化低秩恢复模型优于标准的矩阵完成模型在许多情况下。
2014-11-27 cs.LG stat.ML
Fundamental Conditions for Low-CP-Rank Tensor Completion
Columbia University（哥伦比亚大学）
本文研究了低正则多元（CP）秩张量完备化问题.完备化是一个张量，其条目与观察到的条目一致，并且其秩与给定的CP秩匹配。我们分析了给定秩的张量所对应的流形结构，并基于采样模式和CP分解定义了一组多项式。然后，我们证明了采样张量的有限完备性等价于在定义的多项式中有一定数量的代数独立多项式。我们所提出的方法的结果在一个简单的几何结构的采样模式的特征代数独立多项式的最大数量，因此，我们得到了确定性的必要和充分条件的采样模式有限的可完成性的采样张量。此外，假设张量的条目以概率$p$独立采样，并使用上述确定性分析，我们提出了一种组合方法来导出采样概率$p$的下限，或者等价地，保证有限的高概率完全性的采样条目的数量。我们还表明，现有的结果矩阵完成问题可以用来获得宽松的采样概率的下限$p$。此外，我们还得到了唯一完备性的确定性和概率性条件。可以看出，有限或唯一的完备性所需的样本数量的CP流形上所提出的分析是订单的数量级低于通过现有的分析格拉斯曼流形。
2017-03-31 cs.LG cs.NA math.NA
Low-rank Distributional Matrix Completion
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Texas A&M University（德克萨斯农工大学）
针对每个条目为概率分布的矩阵，提出基于核均值嵌入和Tucker秩的低秩结构，通过函数展开算子连接无限维与有限维，实现分布矩阵补全并给出非渐近误差界。
2026-06-02 cs.LG math.ST stat.ML
Mutual Kernel Matrix Completion
Gunma University（群马大学）；Ochanomizu University（御茶水女子大学）
本文提出互核矩阵补全算法，通过融合数据与核矩阵补全方法，提升生物数据分类任务中缺失核矩阵的补全效果。
2017-05-10 cs.LG cs.NA math.NA
Compressed Sensing and Matrix Completion with Constant Proportion of Corruptions
当采样数据可能严重损坏时，我们改进了压缩感知和矩阵完备领域的现有结果。我们引入了三个新的定理。1)在压缩感知中，我们表明，如果m \times n传感矩阵具有独立的高斯条目，那么可以恢复稀疏信号x精确地通过易处理的\ell 1最小化，即使测量的正分数被任意损坏，提供的非零条目的数量在x是O（m/（log（n/m）+ 1））。2)在Candes和Plan的“A probabilistic and RIPless theory of compressed sensing”中介绍的非常一般的感知模型中，假设损坏的测量值的正分数，如果信号现在具有O（m/（log^2 n））非零条目，则精确恢复仍然成立。3)最后，我们证明了一个可以恢复一个n \times n低秩矩阵从m损坏的采样项通过易处理的优化提供的秩是O（m/（n log^2 n））的顺序;再次，这保持当有一个积极的分数损坏的样本。
2012-01-18 cs.IT math.IT stat.ML
Noisy Tensor Completion via the Sum-of-Squares Hierarchy
Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；Massachusetts Institute of Technology（麻省理工学院）
在有噪声的张量完备问题中，我们从未知的$n_1 \times n_2 \times n_3$张量$T$中观察$m$条目（其位置是随机均匀选择的）。我们假设$T$在条目方面接近于等级$r$。我们的目标是使用尽可能少的观察值来填充其缺失的条目。令$n = \max(n_1, n_2, n_3)$。我们证明了如果$m = n^{3/2} r$，那么有一个多项式时间算法的基础上的第六层的平方和的层次来完成它。我们的估计同意几乎所有的$T$的条目几乎完全，即使我们的观察被噪声破坏。这也是第一个张量完备化算法，在$r > n$的过完备情况下有效，实际上它一直工作到$r = n^{3/2-ε}$。我们的证明是简短和简单的，是基于建立一个新的连接之间的噪音张量完成（通过Rademacher复杂性的语言）和反驳随机常数满足问题的任务。即使在矩阵补全的上下文中，这种联系似乎也没有被注意到。此外，我们使用这个连接来显示匹配的下界。我们的主要技术成果是在表征的Rademacher复杂性的序列中出现的平方和松弛张量核规范的规范。这些结果指出了一个有趣的新方向：我们能否通过平方和层次来探索计算复杂度与样本复杂度的权衡？
2016-02-18 cs.DS cs.LG stat.ML
One-sided Matrix Completion from Two Observations Per Row
Stanford University（斯坦福大学）
针对行数多、每行仅两个观测导致无法恢复左奇异向量的情形，论文提出通过填补 $X^TX$ 恢复右奇异向量的单侧矩阵补全算法，并证明样本复杂度与实验优势。
2023-06-06 cs.DS cs.LG stat.ML
Low-rank matrix completion and denoising under Poisson noise
Georgia Institute of Technology（佐治亚理工学院）
本文针对泊松噪声下的低秩矩阵去噪与补全问题，分析三种估计器并给出依赖秩、观测比例及行列和的上界误差，证明其极小极大最优性，并扩展到多项情形。
2020-04-30 cs.LG math.ST stat.ML
Polynomial Matrix Completion for Missing Data Imputation and Transductive Learning
Cornell University（康奈尔大学）
本文提出了一种新的方法来恢复高秩甚至满秩矩阵的缺失项时，数据的内在维数是低的环境维。具体来说，我们假设矩阵的列是由作用于低维内在变量的多项式生成的，并希望在此假设下恢复丢失的条目。证明了在高维特征空间中，通过最小化矩阵的秩，可以识别出最小内禀维数的完备矩阵。我们开发了一个新的配方所产生的问题，使用核技巧与一个新的放松的秩目标，并提出了一个有效的优化方法。我们还展示了如何使用我们的方法来完成从多个非线性流形的数据。通过对合成数据、缺失数据的子空间聚类、运动捕捉数据恢复和转换学习的比较研究，验证了本文方法的优越性。
2019-12-15 cs.LG stat.ML
RGNMR: A Gauss-Newton method for robust matrix completion with theoretical guarantees
Weizmann Institute of Science（魏茨曼科学研究所）
RGNMR是一种具有理论保证的鲁棒矩阵补全方法，通过高斯-牛顿线性化和异常值移除技术，有效解决低秩矩阵补全问题，尤其在处理少量观测条目、秩过参数化和病态矩阵方面表现优异。
2025-12-14 cs.LG cs.NA math.NA
Matrix Completion for Structured Observations
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出改进的核范数最小化方法，以考虑观测与未观测条目间的结构性差异，提升矩阵补全效果。
2018-01-29 cs.LG cs.NA math.NA
Matrix Completion with Quantified Uncertainty through Low Rank Gaussian Copula
Cornell University（康奈尔大学）
现代大规模数据集经常受到丢失条目的困扰。对于含有缺失值的表格数据，一系列插补算法求解一个完整的矩阵，使某些惩罚性重建误差最小化。然而，几乎没有人能估计其估算的不确定性。本文提出了一个概率和可扩展的框架缺失值填补量化的不确定性。我们的模型，低秩高斯Copula，增强了一个标准的概率模型，概率主成分分析，每列的边际变换，使模型更好地匹配数据的分布。它自然地处理布尔、序数和实值观测，并量化每个插补中的不确定性。拟合模型所需的时间与数据集中的行数和列数呈线性关系。实证结果表明，该方法在广泛的数据类型，包括那些具有高排名的国家的最先进的插补精度。我们的不确定性度量很好地预测了插补误差：不确定性较低的条目确实具有较低的插补误差（平均而言）。此外，对于实值数据，得到的置信区间是经过良好校准的。
2021-01-18 cs.LG stat.ML
Information-Guided Sampling for Low-Rank Matrix Completion
噪声矩阵补全问题，其目的是恢复一个低秩矩阵$\mathbf{X}$从一个部分，噪声观察其条目，出现在许多统计，机器学习，和工程应用。在本文中，我们提出了一种新的，信息理论的方法，主动采样（或设计）的矩阵项的噪声矩阵完成，最大熵设计原则的基础上。我们的方法的一个新颖之处是，它隐含地利用不确定性量化（UQ）-未观察到的矩阵条目的不确定性的度量-来指导主动采样过程。所提出的框架揭示了关于压缩感测的作用的若干新颖见解（例如，相干性）和编码设计（例如，拉丁方）的采样性能和UQ的噪声矩阵完成。使用这样的见解，我们开发了一个有效的后验采样器的UQ，然后用于指导矩阵条目的封闭形式的采样方案。最后，我们说明了这种集成的采样/ UQ方法在模拟研究和两个应用程序的协同过滤的有效性。
2021-07-14 stat.ME
Matrix completion with deterministic pattern - a geometric perspective
Georgia Institute of Technology（佐治亚理工学院）
我们考虑矩阵完成问题的观察项目的确定性模式。在这种情况下，我们的目标是回答这样一个问题：在什么条件下，矩阵完备化问题会有（至少局部）唯一的解，即，潜在的真实矩阵是可识别的。我们从一定的角度回答这个问题，勾勒出一个几何的视角。我们给出了一个代数可验证的充分条件，我们称之为适定性条件，局部唯一的MRMC解决方案。我们认为，这个条件是必要的局部稳定性的MRMC解决方案，我们表明，该条件是通用的使用特征秩。我们还认为，低秩近似方法比MRMC更稳定，并进一步提出了一个顺序的统计检验程序，以确定从观察到的条目的“真正”的排名。最后，我们提供了数值例子，旨在验证所提出的理论的有效性。
2018-08-29 cs.LG math.ST stat.ML
Unlabeled Principal Component Analysis and Matrix Completion
EPFL（洛桑联邦理工学院）
该研究提出列元素被置换破坏场景下的无标记主成分分析（UPCA），证明其为良定义代数问题，设计两阶段高效算法，并拓展至无标记矩阵补全，实验验证其在多领域应用潜力。
2023-10-09 cs.LG stat.ML
Symmetric Matrix Completion with ReLU Sampling
Antai College of Economics and Management, Shanghai Jiao Tong University（上海交通大学安泰经济与管理学院）；University of Michigan（密歇根大学）；Michigan State University（密歇根州立大学）
本文研究ReLU采样下的对称半正定低秩矩阵补全问题，证明非凸目标在植入解附近具有测地强凸性，并提出一种定制初始化方法使梯度下降始终收敛到全局最优。
2024-06-09 cs.LG stat.ML
Robust Matrix Completion with Mixed Data Types
Cornell University（康奈尔大学）
我们考虑了恢复一个结构化的低秩矩阵部分观察项目与混合数据类型的矩阵完成问题。绝大多数的解决方案都提出了计算上可行的估计与强有力的统计保证的情况下，在矩阵中的数据的基本分布是连续的。最近的一些方法已经扩展使用类似的想法，这些估计的情况下，基本分布属于指数家族。这些方法中的大多数假设只有一个底层分布，并且低秩约束由矩阵Schatten范数正则化。我们提出了一种计算上可行的统计方法，具有很强的恢复保证，以及适合并行化的算法框架，以在一个步骤中恢复混合数据类型的部分观察条目的低秩矩阵。我们还提供了大量的模拟证据，证实我们的理论结果。
2020-05-25 cs.LG math.ST stat.ML
Geometric Matrix Completion with Deep Conditional Random Fields
Vrije Universiteit Brussel（布鲁塞尔自由大学）；imec（比利时微电子研究中心）；Duke University（杜克大学）
在许多大数据应用中，特别是在推荐系统中，都会出现从有限的观察值集合中完成高维矩阵的问题。现有的矩阵补全模型通常遵循基于记忆或基于模型的方法，而几何矩阵补全模型结合了这两种方法的最佳效果。现有的基于深度学习的几何模型具有良好的性能，但是为了操作，它们需要一个固定的结构图来捕获用户和项目之间的关系。该图通常通过评估关于可用观测的预定义相似性度量或通过使用边信息来构建，例如，用户简档。相比之下，基于马尔可夫随机场的模型不需要固定的结构图，而是依靠手工制作的特征来进行预测。当没有边信息可用并且可用观测的数量变得非常低时，现有的解决方案被推到了极限。在本文中，我们提出了一个几何矩阵完成的方法，解决这些挑战。我们认为矩阵补全是条件随机场（CRF）中的结构化预测问题，其特征在于最大后验（MAP）推理，我们提出了一个通过解决MAP推理问题来预测缺失条目的深度模型。该模型同时学习矩阵元素之间的相似性，计算CRF势，并解决推理问题。它的训练是以端到端的方式进行的，有一种方法来监督条目相似性的学习。综合实验表明，该模型的优越性能相比，各种国家的最先进的模型在流行的基准数据集，并强调其优越的能力，以处理高度不完整的矩阵。
2019-09-27 cs.LG stat.ML
Sum-of-squares meets square loss: Fast rates for agnostic tensor completion
Massachusetts Institute of Technology（麻省理工学院）
我们在不可知论的背景下研究张量完备化。在经典的张量补全问题中，我们接收到秩未知的$r$张量的$n$条目，并希望精确地完成剩余的条目。在不可知张量完备化中，我们不对未知张量的秩做任何假设，而是试图预测未知项以及最佳秩- $r$张量。对于具有平方损失的三阶张量的不可知学习，我们给出了第一个多项式时间算法，该算法获得了“快速”（即，$O(1/n)$型）速率比通过简化到矩阵完成获得的速率提高。我们的预测出错率与排名最好的$d\times{}d\times{}d$张量- $r$竞争是$\tilde{O}(r^{2}d^{3/2}/n)$。我们还得到了一个确切的预言不等式，权衡估计和近似误差。我们的算法是基于度六平方和松弛张量核范数。我们的分析的关键特征是表明，张量核范数的次梯度的某种表征可以被编码在平方和证明系统中。这解锁了平方损失下的经验过程的本地化的标准工具箱，并允许我们建立各种张量回归模型的限制特征值类型的保证，张量完成作为一个特例。对松弛的新分析补充了Barak和Moitra（2016），他们给出了不可知张量完成的缓慢速率，以及Potechin和Steurer（2017），他们给出了无噪声设置的精确恢复保证。我们的技术是用户友好的，我们预计它们将在其他地方使用。
2019-05-30 cs.DS cs.LG math.ST
Matrix Completion with Nonconvex Regularization: Spectral Operators and Scalable Algorithms
在本文中，我们研究了俗称的矩阵完成问题，其中的任务是“填写”未观察到的条目的一个小的子集的观察到的条目的矩阵，假设基础矩阵是低秩的。我们在此的贡献，增强了我们先前关于矩阵完备的核范数正则化问题的工作（Mazumder等人，2010）通过在凸核范数和非凸秩函数之间引入连续的非凸罚函数。灵感来自于IMPUTE（Mazumder等人，2010; Hastie等人，2016），我们提出了NC-IMPUTE-一个EM风格的算法框架，用于计算一系列具有热启动的非凸惩罚矩阵完成问题。我们提出了一个系统的研究相关的光谱阈值算子，这在整个算法中发挥了重要作用。我们研究了算法的收敛性。使用结构化的低秩SVD计算，我们证明了我们的建议的Netflix大小的问题的计算可扩展性（大约，一个$500,000 \times 20, 000$矩阵与$10^8$观察条目）。我们证明，在广泛的合成和真实数据的情况下，我们提出的非凸正则化框架导致低秩的解决方案具有更好的预测性能相比，从核范数问题。本文提出的算法的实现，用R编程语言编写，在github上可用。
2020-03-03 stat.CO stat.ML
Adjusting Leverage Scores by Row Weighting: A Practical Approach to Coherent Matrix Completion
Zhejiang University（浙江大学）；Rutgers University（罗格斯大学）；Shanghai Jiao Tong University（上海交通大学）
低秩矩阵完备化是一个重要的问题，有着广泛的实际应用。当观测值是从底层矩阵元素中均匀采样时，现有的方法都要求矩阵是不相干的。本文给出了标准均匀采样模型下相干矩阵完备化的第一种工作方法。我们的方法是基于加权核范数最小化的思想，在最近的几项工作中提出的，我们的主要贡献是一个实用的方法来计算加权矩阵，使杠杆得分加权后变得更加均匀。在适当的条件下，我们能够推导出理论结果，表明我们的方法的有效性。在合成数据上的实验表明，该方法能够以高精度恢复高度相干的矩阵，而标准的未加权方法即使在无噪声数据上也会失败。
2015-02-10 cs.LG stat.ML
A Characterization of Deterministic Sampling Patterns for Low-Rank Matrix Completion
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
低秩矩阵完备化（LRMC）问题出现在各种各样的应用中。以往的理论主要提供了随机抽样缺失下的完备性条件。本文研究了完备性的确定性条件。不完全的$d \times N$矩阵是秩- $r$可完全的，如果最多有1000个秩- $r$矩阵与它的所有观测项一致.有限可完成性是LRMC的临界点，因为一个可完成矩阵的一些额外样本保证了它的唯一可完成性。本文的主要贡献是有限完备性的确定性抽样条件。我们用它来获得确定性的采样条件，可以有效地验证独特的可完成性。我们还表明，在均匀随机抽样方案下，如果观察到每列的$O(\max\{r,\log d\})$条目，则这些条件以高概率满足。这些发现有几个LRMC上的下界，样本和计算的复杂性，一致性的作用，自适应设置和任何完成算法的验证的影响。我们补充我们的理论结果与实验，支持我们的研究结果和激励未来的分析未知的采样制度。
2016-10-11 cs.LG math.AG stat.ML
Obtaining error-minimizing estimates and universal entry-wise error bounds for low-rank matrix completion
我们提出了一个通用的框架，用于重建和去噪的不完整和嘈杂的条目的单个条目。我们描述：用于决定是否可以重建条目的有效算法，以及如果可以，则用于重建条目并对其去噪的有效算法;以及单独地对每个条目的误差的先验界限。在无噪声的情况下，我们的算法是准确的。对于秩一矩阵，新算法是快速的，承认一个高度并行的实现，并产生一个误差最小化估计，定性接近我们的理论和国家的核范数和OptSpace方法。
2013-03-29 math.AG math.CO stat.ML
The Algebraic Combinatorial Approach for Low-Rank Matrix Completion
Aalto University（阿尔托大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文提出一种基于代数几何和拟阵理论的代数组合新视角，通过研究少量条目间的关系来解决低秩矩阵补全问题，并给出概率为1的算法判断特定条目是否可补全、从少量条目补全该条目及估计补全误差。
2014-08-19 cs.LG cs.NA math.AG
Online Matrix Completion Through Nuclear Norm Regularisation
本文的主要目的是提出一种在线完成矩阵补全的新方法。出于各种各样的应用，从推荐系统的设计，传感器网络定位，通过地震数据重建，我们认为矩阵完成问题时，项目的兴趣矩阵逐渐观察。准确地说，我们将自己置于预测规则应该逐步细化的情况下，而不是每次观察到的条目样本增加时都从头开始重新计算。将现有的矩阵补全方法扩展到序列预测环境确实是大数据时代的一个主要问题，但文献中很少涉及。本文中提出的算法建立在Mazumder等人（2010）中介绍的软插补方法的基础上。主要的新颖性主要来自于使用随机技术来计算和更新算法中涉及的奇异值分解（SVD）。虽然解除武装的简单性，提出的方法证明是非常有效的，同时需要减少计算。几个数值实验的基础上，真实的数据集说明了它的性能，连同初步的结果，给它的理论基础。
2014-01-10 stat.ML
Poisson Matrix Completion
Georgia Institute of Technology（佐治亚理工学院）
我们扩展的理论矩阵完成的情况下，我们使泊松观测的一个子集的条目的低秩矩阵。我们认为（现在）通常的矩阵恢复制定通过极大似然与适当的约束矩阵$M$，并建立理论上的上限和下限的恢复误差。我们的边界是接近最佳的顺序上的$\mathcal{O}(\log(d_1 d_2))$的一个因素。这些界限是通过调整用于一位矩阵完成\cite{davenport20121}的参数获得的（尽管这两个问题在性质上是不同的），并且调整需要利用泊松似然函数的特性的新技术，并且解决由泊松分布的局部次高斯特性所带来的困难。我们的研究结果突出了一些重要的区别泊松矩阵完成相比，以前的工作在矩阵完成，包括必须施加一个最小的信噪比要求，每个观察到的条目。我们还开发了一个有效的迭代算法，并证明其良好的性能恢复太阳耀斑图像。
2015-03-25 cs.LG stat.ML
Matrix completion with column manipulation: Near-optimal sample-robustness-rank tradeoffs
本文考虑矩阵完备化问题时，一些列完全和任意损坏，潜在的恶意对手。众所周知，矩阵补全的标准算法可以返回任意差的结果，即使是一列损坏。一个直接的应用来自健壮的协同过滤。在这里，一些用户是所谓的操纵者，他们试图通过校准他们对系统的输入来扭曲算法的预测。在本文中，我们开发了一个有效的算法，这个问题的基础上结合的修剪程序和凸规划，最大限度地减少核范数和$\ell_{1,2}$规范。我们的理论结果表明，给定一个消失的分数观察到的条目，它仍然是可能的，以完成底层矩阵，即使损坏的列的数量增长。值得注意的是，我们的结果没有对操作列的观察条目的位置或值进行任何假设。此外，我们通过信息理论的论证表明，我们的保证在真实列上的采样条目的分数、损坏列的分数和底层矩阵的秩方面几乎是最优的。因此，我们的研究结果尖锐的特点之间的权衡样本，鲁棒性和秩矩阵完成。
2016-04-24 cs.IT math.IT stat.ML
Optimal spectral norm rates for noisy low-rank matrix completion
在本文中，我们考虑的迹回归模型中，$n$项目或项目的线性组合的未知$m_1\times m_2$矩阵$A_0$被噪声破坏的观察。对于在\cite{KLT}中引入的$A_0$的核范数惩罚估计，在观测项的抽样分布$Π$上的非相干条件下，建立了一个对$n,m_1,m_2$的任意值具有谱范数的一般的sharp oracle不等式.然后，我们将此方法应用于矩阵完备化问题。在这种情况下，我们证明了它满足一个最佳的预言不等式的谱范数，从而改进了现有的唯一结果\cite{KLT}有关谱范数，假设抽样分布是均匀的。注意，我们的结果是有效的，特别是在高维设置$m_1m_2\gg n$。最后，我们表明，所获得的速率是最佳的对数因子在极大极小意义上。
2011-10-24 math.ST stat.TH
High-Rank Matrix Completion and Subspace Clustering with Missing Data
Boston University（波士顿大学）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
本文在矩阵列属于多个低秩子空间并的假设下，研究了多缺元矩阵的补问题。这将标准的低秩矩阵完备化问题推广到矩阵秩可以很高甚至满秩的情况。由于列属于子空间的并集，因此该问题也可以被视为子空间聚类问题的缺失数据版本。设X是一个n × N矩阵，其（完全）列位于至多k个子空间的并集中，每个子空间的秩<= r < n，并假设N >> kn。本文的主要结果表明，在温和的假设下，只要X的至少CrNlog^2（n）个元素是随机一致观测的，且C>1是一个常数，取决于通常的不相干条件、子空间的几何排列以及列在子空间上的分布，那么X的每一列都可以以很高的概率从不完整的版本完美地恢复。数值实验结果表明，并应用于互联网的距离矩阵完成和拓扑结构识别。
2011-12-27 cs.IT cs.LG math.IT
Brain-Computer Interface with Corrupted EEG Data: A Tensor Completion Approach
脑-机接口中的一个重要问题是如何处理以多维数据集形式组织的脑电测量数据。另一方面，最近，在利用张量分解模型来捕获多维信号中的条目之间的复杂关系的多维信号补全算法中已经取得了重大进展。我们建议使用张量完成应用于EEG数据，以提高分类性能的运动图像BCI系统与损坏的测量。噪声测量被认为是从张量分解模型推断的未知量。我们评估了四个最近提出的张量完成算法的性能，加上一个简单的插值策略，首先与随机丢失的条目，然后与丢失的样本约束有一个特定的结构（随机丢失的通道），这是一个更现实的假设在BCI应用。我们测量了这些算法从观测数据重建张量的能力。然后，我们测试的分类准确性的想象运动的BCI实验与缺失的样本。我们表明，对于随机缺失的条目，所有张量完成算法可以恢复丢失的样本，增加分类性能相比，一个简单的插值方法。对于随机丢失通道的情况下，我们表明，张量补全算法有助于重建丢失的通道，显着提高运动想象分类的准确性，但是，不是在同一水平的干净的数据。张量补全算法在实际的BCI应用中是有用的。所提出的策略可以允许使用运动图像BCI系统，即使当EEG数据受到丢失通道和/或样本的高度影响时，避免在校准阶段需要新的采集。
2018-07-26 eess.SP q-bio.QM stat.ML
Positive definite Hankel matrix completions and Hamburger moment completions
本文给出了含缺失项的Hamburger矩问题的解。考虑部分正序列的完备化问题。主要结果是一个正定可完成的模式，即模式，保证部分正定序列的汉堡时刻完成的存在性的表征。并给出了几个非正定可完备的模式。
2015-09-21 math.FA math.PR math.ST
Causal Matrix Completion
矩阵完备化是从噪声观测的稀疏子集中恢复底层矩阵的研究。传统上，假设矩阵的条目是“完全随机缺失”（MCAR）的，即，每个条目都是随机显示的，独立于其他任何东西，具有均匀的概率。这可能是不现实的，因为存在“潜在混杂因素”，即，未观察到的因素，这些因素决定了基础矩阵的条目和观察到的矩阵中的缺失模式。例如，在电影推荐系统的上下文中--矩阵补全的规范应用--强烈不喜欢恐怖片的用户不太可能看恐怖片。一般来说，这些混杂因素会产生“非随机缺失”（MNAR）数据，这会严重影响任何不纠正这种偏倚的推断程序。我们通过潜在结果的语言开发了一个正式的因果模型矩阵完成，并提供了新的识别参数的各种因果被估量的利益。我们设计了一个程序，我们称之为“合成最近邻”（SNN），估计这些因果被估量。我们证明了我们的估计量的有限样本相合性和渐近正态性。我们的分析也导致新的理论结果的矩阵完成文学。特别是，我们建立了入口智能，即，最大范数，有限样本的一致性和渐近正态性的矩阵完成MNAR数据的结果。作为一种特殊情况，这也为MCAR数据的矩阵完成提供了条目方面的界限。在模拟和真实数据中，我们证明了我们提出的估计量的有效性。
2021-09-30 cs.LG econ.EM math.ST
Regularization for Matrix Completion
我们考虑的问题，重建一个低秩矩阵的一个子集，其条目的噪声观测。该任务在统计学习、计算机视觉和信号处理中有应用。在这些上下文中，“噪声”一般是指对数据的任何贡献，这些贡献没有被低秩模型捕获。在大多数应用中，噪声水平与基础信号相比很大，避免过拟合很重要。为了解决这个问题，我们定义了一个正则化的成本函数非常适合光谱重建方法。在一个随机噪声模型，并在大系统的限制，我们证明了所得到的准确性经历了一个相变，这取决于噪声水平和所观察到的条目的分数。可以使用OPTSPACE（流形梯度下降算法）最小化成本函数。数值模拟表明，这种方法是有竞争力的国家的最先进的替代品。
2010-01-02 stat.AP stat.ML
Relaxed Leverage Sampling for Low-rank Matrix Completion
Xerox Research Center India（施乐印度研究中心）
我们考虑的问题，通过标准的核范数最小化框架的任何$m\times n$矩阵的秩$\varrho$从少量的观察到的条目的精确恢复。这种低秩矩阵具有自由度$(m+n)\varrho - \varrho^2$。我们发现，任何任意低秩矩阵可以完全恢复从一个$Θ\left(((m+n)\varrho - \varrho^2)\log^2(m+n)\right)$随机采样的条目，从而匹配所需的条目数的下限（在自由度方面），与一个额外的因素$O(\log^2(m+n))$。为了达到样本大小的这个界限，我们观察每个条目的概率与相应的行和列杠杆分数之和成比例，减去它们的乘积。我们表明，这种放宽抽样概率（与Chen et al，2014中的杠杆分数之和相反）可以为我们提供$O(\varrho^2\log^2(m+n))$附加改进Chen et al，2014获得的（最知名的）样本量，用于核范数最小化。实际数据的实验证实了理论上的样本容量的改善。此外，$(a)$非相干矩阵（具有受限的杠杆分数）和仅具有一个行或列空间的$(b)$矩阵的精确恢复可以使用我们的放松杠杆分数采样，经由核范数最小化，而无需先验地知道杠杆分数。在这种情况下，我们也可以提高样本量。
2016-04-07 cs.IT cs.LG math.IT
Categorical Matrix Completion
H. Milton Stewart School of Industrial and Systems Engineering（工业与系统工程学院）
本文提出通过扩展一位矩阵补全方法，解决具有类别值的矩阵补全问题，通过核范数约束最大化似然比，建立理论误差界，并在MovieLens数据集上验证方法优势。
2015-07-02 cs.LG cs.NA math.NA
Nonnegative Tensor Completion via Integer Optimization
University of California, Berkeley（加州大学伯克利分校）；The Ohio State University（俄亥俄州立大学）
与矩阵完备化不同，张量完备化没有已知的算法来实现信息论样本复杂度。本文对非负张量完备化的特殊情况提出了一种新的算法。我们证明了我们的算法收敛在一个线性（数值公差）的预言步骤数，同时实现信息理论的速度。我们的方法是使用一个特定的0-1多面体的规范定义一个新的规范的非负张量;整数线性规划，反过来，可以用来解决这个多面体的线性分离问题。我们结合这一见解与弗兰克-沃尔夫算法的一个变种，构建我们的数值算法，我们证明了它的有效性和可扩展性，通过计算实验使用笔记本电脑上的张量高达一亿个条目。
2022-05-23 cs.LG math.OC stat.ML
