Poisson Matrix Completion
Georgia Institute of Technology（佐治亚理工学院）
我们扩展的理论矩阵完成的情况下，我们使泊松观测的一个子集的条目的低秩矩阵。我们认为（现在）通常的矩阵恢复制定通过极大似然与适当的约束矩阵$M$，并建立理论上的上限和下限的恢复误差。我们的边界是接近最佳的顺序上的$\mathcal{O}(\log(d_1 d_2))$的一个因素。这些界限是通过调整用于一位矩阵完成\cite{davenport20121}的参数获得的（尽管这两个问题在性质上是不同的），并且调整需要利用泊松似然函数的特性的新技术，并且解决由泊松分布的局部次高斯特性所带来的困难。我们的研究结果突出了一些重要的区别泊松矩阵完成相比，以前的工作在矩阵完成，包括必须施加一个最小的信噪比要求，每个观察到的条目。我们还开发了一个有效的迭代算法，并证明其良好的性能恢复太阳耀斑图像。
2015-03-25 cs.LG stat.ML
Convergence Analysis for Rectangular Matrix Completion Using Burer-Monteiro Factorization and Gradient Descent
University of Chicago（芝加哥大学）
我们解决的矩形矩阵完成问题，提升未知矩阵的一个半正定矩阵在更高的维度，并使用一个简单的梯度下降方案优化的半定因子的非凸目标。利用$O( μr^2 κ^2 n \max(μ, \log n))$对$n_1 \times n_2$ $μ$ -秩为$r$且条件数为$n = \max(n_1, n_2)$的非相干矩阵的随机观测，该算法以高概率线性收敛到全局最优。
2016-11-22 cs.LG stat.ML
Matrix Completion With Selective Sampling
University of California, Los Angeles（加州大学洛杉矶分校）
矩阵完备化是数据科学中的一个经典问题，其中人们试图在仅观察条目的某个子集的情况下重建低秩矩阵。以前的作者把这个问题称为核范数最小化问题。几乎所有以前的工作假设没有明确的矩阵结构，并使用均匀采样来决定观察到的条目。我们建议的情况下，我们有一些知识的矩阵的结构，并允许设计的观察集的选择性抽样的方法。
2019-04-17 cs.LG stat.ML
Matrix Completion Under Monotonic Single Index Models
Wisconsin Institutes for Discovery（威斯康星发现研究院）；UW-Madison（威斯康星大学麦迪逊分校）；University of Michigan Ann Arbor（密歇根大学安娜堡分校）
矩阵完备化的最新结果假设所考虑的矩阵是低秩的，或者列是低秩子空间的并集。然而，在现实世界中，这些模型的线性结构被（通常未知的）非线性变换扭曲。本文讨论的挑战，矩阵完成在面对这样的非线性。给定一个矩阵的几个观测值，通过对一个低秩矩阵应用Lipschitz单调函数得到，我们的任务是估计剩余的未观测项。我们提出了一种新的矩阵补全方法，交替低秩矩阵估计和单调函数估计丢失的矩阵元素。均方误差界限提供了对基于矩阵的大小、秩和非线性变换的性质来估计矩阵的程度的洞察。合成和真实世界的数据集上的实证结果证明了所提出的方法的竞争力。
2015-12-29 cs.LG stat.ML
Cluster Developing 1-Bit Matrix Completion
University of Sydney（悉尼大学）
矩阵补全作为推荐系统的核心技术已经有很长的使用历史。特别是1位矩阵补全，它将预测视为“推荐”或“不推荐”问题，已经证明了它在该领域的意义和有效性。然而，虽然客户和产品聚集成相互作用的集群，国家的最先进的基于模型的1位推荐系统不考虑分组偏见。为了解决这一问题，本文首次在低秩隐变量框架下将特定于组的效应整合到1位推荐系统中，引入了特定于组的1位矩阵完备（GS1 MC）。此外，即使在分组信息无法获得的情况下，也可以增强GS1 MC的能力，通过将稀疏子空间聚类技术集成到GS1 MC中，提出了聚类发展矩阵完成（CDMC）。也就是说，CDMC允许聚类用户/项目，并同时利用他们的群体效应完成矩阵。对合成数据和真实数据的实验表明，GS1 MC优于当前的1位矩阵完成方法。同时，CDMC仅基于稀疏的二进制用户-项目交互数据就能成功地捕获项目的体裁特征。值得注意的是，GS1 MC提供了一个新的见解，纳入和评估聚类方法的有效性，而CDMC可以作为一个新的工具，探索未揭示的社会行为或市场现象。
2019-04-07 cs.LG stat.ML
Faster Matrix Completion Using Randomized SVD
Tsinghua University（清华大学）；Old Dominion University（奥多明尼昂大学）
矩阵补全是图像修补和个性化推荐系统等领域广泛使用的一种技术。在这项工作中，我们专注于使用更快的随机奇异值分解（rSVD）来加速矩阵补全。首先，提出了两种处理稀疏矩阵的快速随机算法（rSVD-PI和rSVD-BKI）。它们使用eigSVD过程和几个加速技巧。然后，利用rSVD-BKI算法和一种新的子空间循环技术，对文献[1]中的奇异值阈值（SVT）方法进行加速，实现快速的矩阵完备化。实验表明，在保持相同精度的前提下，本文提出的rSVD算法比基本的rSVD算法[2]快6倍。对于图像修补和电影收视率估计问题，所提出的加速SVT算法消耗的CPU时间分别比使用svds和lansvd的方法少15倍和8倍，而不损失精度。
2018-10-16 cs.LG stat.ML
Concentration properties of fractional posterior in 1-bit matrix completion
Norwegian University of Science and Technology（挪威科技大学）
本文针对1比特矩阵补全问题，提出分数后验的集中性质理论，使用两种先验分布恢复参数矩阵，无需先验秩信息，且假设条件少于频率派方法。
2024-04-13 cs.LG stat.ML
Median Matrix Completion: from Embarrassment to Optimality
Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）；Texas A&M University（德州农工大学）
本文考虑了具有绝对偏差损失的矩阵完备化问题，得到了中位矩阵的一个估计。尽管中位数有几个吸引人的属性，非光滑的绝对偏差损失导致大规模数据集的计算挑战，这是越来越常见的矩阵完成问题。大规模问题的一个简单解决方案是并行计算。然而，过分并行的方式往往会导致低效的估计。基于伪数据的思想，我们提出了一种新的细化步骤，它把这种效率低下的估计到率（近）最优矩阵完成过程。精化估计是正则化最小中值估计的近似，因此不是普通的正则化经验风险估计。这导致了对渐近行为的非标准分析。实验结果也证实了所提出的方法的有效性。
2020-06-18 cs.LG stat.ML
Matrix Completion in the Unit Hypercube via Structured Matrix Factorization
Tokyo Institute of Technology（东京工业大学）；Technicolor AI Lab（特艺集团人工智能实验室）
组织中出现的一些复杂任务可以通过将它们映射到矩阵完成问题来简化。在本文中，我们解决了我们公司面临的一个关键挑战：预测艺术家在电影镜头中渲染视觉效果（VFX）的效率。我们通过使用双重方法来应对这一挑战：首先，我们将此任务转换为约束矩阵完成问题，其中条目在单位区间[0，1]内有界;其次，我们提出了两个新的矩阵分解模型，利用我们对VFX环境的了解。我们的第一种方法，专业知识矩阵分解（EMF），是一种可解释的方法，结构的潜在因素加权用户项目的相互作用。第二个，生存矩阵分解（SMF），而是一个概率模型的基本过程定义员工的效率。我们通过对我们的VFX数据集和另外两个值也在[0，1]区间内有界的数据集进行广泛的数值测试，证明了我们提出的模型的有效性。
2019-05-30 cs.LG stat.ML
Solving the Robust Matrix Completion Problem via a System of Nonlinear Equations
Baidu Research（百度研究院）
我们考虑了鲁棒矩阵完备化问题，其目的是从它们的和$M=L_*+S_*\in\mathbb{R}^{m\times n}$的不完全观测中恢复低秩矩阵$L_*$和稀疏矩阵$S_*$。在数学上，将鲁棒矩阵完备化问题转化为求解非线性方程组的问题，然后利用交替方向法求解非线性方程组。此外，该算法是高度并行化的，适合于大规模的问题。从理论上讲，我们的充分条件时，$L_*$可以近似观察到的$M_*$的低秩近似。在适当的假设下，证明了算法线性收敛于真解。数值模拟表明，简单的方法工作预期的，是与国家的最先进的方法。
2020-03-24 cs.LG stat.ML
Deep Learning Approach for Matrix Completion Using Manifold Learning
矩阵完备化由于其在各个研究领域的广泛应用而受到了广泛的关注和研究。现有的矩阵补全方法只考虑数据矩阵中元素之间的非线性（或线性）关系，而忽略了潜在的线性（或非线性）关系。本文提出了一种新的数据矩阵隐变量模型，该模型是线性和非线性模型的组合，并设计了一种新的基于深度神经网络的矩阵补全算法，以解决数据矩阵元素之间的线性和非线性关系。所提出的方法包括两个分支。第一个分支学习列的潜在表示，并通过一系列隐藏的神经网络层重建部分观察矩阵的列。第二个分支对行执行相同的操作。此外，基于多任务学习原理，我们强制这两个分支一起工作，并引入一种新的正则化技术来减少过度拟合。更具体地，数据的缺失条目被恢复为主要任务，并且流形学习被执行为辅助任务。辅助任务约束网络的权重，因此它可以被视为正则化器，从而改进主任务并减少过拟合。在合成数据和实际数据上的实验结果验证了该方法与现有的矩阵补全方法相比的有效性。
2020-12-11 cs.LG stat.ML
Adjusting Leverage Scores by Row Weighting: A Practical Approach to Coherent Matrix Completion
Zhejiang University（浙江大学）；Rutgers University（罗格斯大学）；Shanghai Jiao Tong University（上海交通大学）
低秩矩阵完备化是一个重要的问题，有着广泛的实际应用。当观测值是从底层矩阵元素中均匀采样时，现有的方法都要求矩阵是不相干的。本文给出了标准均匀采样模型下相干矩阵完备化的第一种工作方法。我们的方法是基于加权核范数最小化的思想，在最近的几项工作中提出的，我们的主要贡献是一个实用的方法来计算加权矩阵，使杠杆得分加权后变得更加均匀。在适当的条件下，我们能够推导出理论结果，表明我们的方法的有效性。在合成数据上的实验表明，该方法能够以高精度恢复高度相干的矩阵，而标准的未加权方法即使在无噪声数据上也会失败。
2015-02-10 cs.LG stat.ML
Exponential Family Matrix Completion under Structural Constraints
我们考虑从噪声和部分测量中恢复结构化矩阵的矩阵完成问题。最近的作品提出了易于处理的估计与强大的统计保证的情况下，底层矩阵是低秩，测量组成的子集，无论是确切的个人条目，或条目扰动加性高斯噪声，这是因此隐含地适合于薄尾连续数据。可以说，矩阵补全的常见应用需要估计器用于（a）异构数据-类型，如偏斜-连续、计数、二进制等，(b)对于异构噪声模型（超越高斯），它捕获不同的测量不确定性，以及（c）异构结构约束超越低秩，如块稀疏，或低秩加元素稀疏的叠加结构，等等。在本文中，我们提供了一个非常统一的框架，广义矩阵完成考虑矩阵完成设置，其中矩阵条目是从指数分布的丰富的家庭的任何成员进行采样，并施加一般的结构约束的基础矩阵，捕获的一般正则化$\mathcal{R}(.)$。我们提出了一个简单的凸正则化$M$ -估计的广义框架，并提供了一个统一的和新的统计分析这类估计。最后，我们证实了我们的理论结果模拟数据集。
2015-09-15 cs.LG stat.ML
A Majorization-Minimization Gauss-Newton Method for 1-Bit Matrix Completion
University of California, Riverside（加利福尼亚大学河滨分校）；Tencent（腾讯）；Rice University（莱斯大学）；Weizmann Institute of Science（魏茨曼科学研究所）
提出MMGN方法解决1-bit矩阵补全问题，通过majorization-minimization原理转化为标准低秩子问题并用Gauss-Newton求解，实验证明其比现有方法更准确、快速且对spikiness不敏感。
2024-09-23 cs.LG stat.ML
Clustering of Nonnegative Data and an Application to Matrix Completion
University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们提出了一个简单的算法聚类非负数据躺在不相交的子空间。我们分析其性能的关系，一定程度的相关性，所述子空间。我们使用我们的聚类算法开发一个矩阵完成算法，它可以优于标准的矩阵完成算法的数据矩阵满足一定的自然条件。
2020-09-02 cs.LG eess.SP stat.ML
Adaptive Matrix Completion for the Users and the Items in Tail
University of Minnesota（明尼苏达大学）
推荐系统被广泛用于向用户推荐最吸引人的物品。这些推荐可以通过应用协同过滤方法来生成。低秩矩阵补全方法是目前最先进的协同过滤方法。在这项工作中，我们表明，在现实世界的数据集的用户项目评级矩阵的评分的偏斜分布影响矩阵完成为基础的方法的准确性。此外，我们表明，一个项目或用户的评级数量正相关的能力，低秩矩阵完成为基础的方法来预测该项目或用户的评级准确。此外，我们使用这些见解来开发四种基于矩阵完成的方法，即，频率自适应评分预测（FARP）、截断矩阵分解（TRUNCATED MATRIX FACTORIZATION，TRUNCATED MATRIX FACTORIZATION WITH DOPPOUT，TRUNCATED MATRIX + DOPPOUT）和逆频率加权矩阵分解（IFWMF），对于用户和用户-项目评分矩阵中评分较少的项目，其性能优于传统的基于矩阵补全的方法。
2020-01-05 cs.IR cs.LG stat.ML
A note on the statistical view of matrix completion
基于统计模型，给出了矩阵完备化问题的一种简单解释。结合已知的缺失数据分析结果，这种解释表明，即使没有完全随机缺失（MCAR）假设，矩阵补全仍然是一个有效的和原则性的估计程序，几乎所有的矩阵补全的理论研究假设。
2016-05-10 stat.ML
Interpretable Matrix Completion: A Discrete Optimization Approach
Massachusetts Institute of Technology（麻省理工学院）
考虑了$n \times m$矩阵上的矩阵完备化问题。我们引入了可解释矩阵完备化问题，旨在使用边信息为低秩矩阵提供有意义的见解。我们证明了该问题可以转化为一个二元凸优化问题。我们基于随机切割平面的新概念设计OptComplete，以使算法能够有效扩展到大小为$n=10^6$和$m=10^6$的矩阵。我们报告了在合成和真实世界数据集上的实验，这些实验表明，与其他类型的矩阵完成的最先进方法相比，OptComplete具有良好的缩放行为和准确性，同时提供了对影响矩阵的因素的见解。
2020-03-03 cs.LG math.OC stat.ML
The Sparse Reverse of Principal Component Analysis for Fast Low-Rank Matrix Completion
University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）
矩阵完备化一直受到许多研究领域的极大关注。它通常应用于推荐系统，例如电影评级，计算机视觉，例如图像重建或完成，多任务学习，例如协作建模多个传感器的时间序列趋势，以及许多其他应用。矩阵完成技术通常是计算穷举的和/或不能捕获数据中的异质性。例如，图像通常包含一组异构的对象，因此重建具有高水平缺失数据的图像是一项具有挑战性的任务。本文提出了主成分分析的稀疏逆矩阵完备化方法。所提出的方法保持整个矩阵的平滑度，产生准确的估计缺失的数据，迭代收敛，它是计算上易于处理的迭代次数的可控上限，直到收敛。所提出的技术的准确性进行了验证自然图像，电影收视率，和多传感器数据。它也比较常见的基准方法用于矩阵完成。
2019-10-04 cs.LG eess.SP stat.ML
Fast Exact Matrix Completion: A Unified Optimization Framework for Matrix Completion
Sloan School of Management（斯隆管理学院）；Operations Research Center（运筹学研究中心）；Massachusetts Institute of Technology（麻省理工学院）
我们制定的矩阵完成的问题，没有边信息作为一个非凸优化问题。我们设计的fastImpute基于非凸梯度下降，并显示它收敛到一个全局最小值，保证恢复密切的基础矩阵，而它的规模超过$10^5 \times 10^5$的大小矩阵。我们报告了在合成和真实世界数据集上的实验，这些实验表明fastImpute在恢复矩阵的准确性和所有情况下所需的时间方面都具有竞争力。此外，当大量条目丢失时，fastImpute在具有和不具有边信息的情况下都比当前最先进的矩阵完成方法快$75\%$以上、低MAPE和快$15$倍。
2020-12-31 cs.LG math.OC stat.ME
Fast matrix completion without the condition number
本文给出了第一个矩阵完备化算法，其运行时间和样本复杂度分别为未知目标矩阵秩的多项式、矩阵维数的线性和矩阵条件数的对数。据我们所知，所有以前的算法要么招致二次依赖于未知矩阵的条件数或二次依赖于矩阵的维数在运行时间。我们的算法是基于一种新的扩展交替最小化，我们表明，即使在存在噪声的标准假设下，理论上的保证。
2014-07-15 cs.DS cs.LG stat.ML
Regularizing Autoencoder-Based Matrix Completion Models via Manifold Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）；imec；Duke University（杜克大学）
自编码器在基于神经网络的矩阵补全模型中很受欢迎，因为它们能够从部分观测矩阵中检索潜在的潜在因子。然而，当训练数据是稀缺的，他们的性能显着下降，由于过拟合。在本文中，我们使用依赖于多任务学习原理的数据依赖正则化技术来解决过拟合问题。具体来说，我们提出了一个基于自动编码器的矩阵完成模型，该模型将未知矩阵值的预测作为主要任务，并将流形学习作为辅助任务。后者作为一个归纳偏差，导致解决方案，更好地推广。所提出的模型优于现有的基于自动编码器的模型设计的矩阵完成，在知名的数据集实现高重建精度。
2018-07-04 cs.AI cs.LG stat.ML
Transductive Matrix Completion with Calibration for Multi-Task Learning
Fujian Normal University（福建师范大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Shanghai Jiao Tong University（上海交通大学）；Xiamen University（厦门大学）
多任务学习由于具有多个相关数据源的多目的研究而受到广泛关注。此外，具有矩阵完成的转换是多标签学习中的一种有用方法。在本文中，我们提出了一个转换矩阵完成算法，结合了多任务学习框架下的功能的校准约束。该算法同时恢复不完整的特征矩阵和目标矩阵。幸运的是，校准信息改善了完成结果。特别地，我们为所提出的算法提供了统计保证，并研究了校准信息引起的理论改进。此外，该算法具有次线性收敛速度。实验结果表明，当目标矩阵与特征矩阵之间存在非线性关系时，该算法的性能优于其他方法。
2023-02-20 cs.LG stat.ME stat.ML
Nonconvex Matrix Completion with Linearly Parameterized Factors
University of California, Davis（加州大学戴维斯分校）；University of Pennsylvania（宾夕法尼亚大学）
矩阵补齐技术的目的是通过一小部分观察到的条目来估算数据矩阵中的大部分缺失条目。在包括协同过滤在内的实际应用中，通常采用先验信息和特殊结构来提高矩阵补全的准确性。在本文中，我们提出了一个统一的非凸优化框架的矩阵完成线性参数化的因素。特别地，通过引入相关参数分解条件，我们可以对非凸目标进行统一的几何分析，建立由任意局部极小值得到的低秩估计的统一上界.也许令人惊讶的是，相关参数因子分解的条件适用于重要的例子，包括子空间约束矩阵完成和反对称矩阵完成。我们的统一的非凸最优化方法的有效性也通过大量的数值模拟经验说明。
2022-03-07 cs.LG math.ST stat.ML
Empirical Bayes 1-bit matrix completion
Department of Mathematical Informatics, Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院数学信息学系）；Statistical Mathematics Unit, RIKEN Center for Brain Science（脑科学研究所统计数学单元）
本文提出基于Efron-Morris估计器的经验贝叶斯方法，用于1位矩阵补全，利用二进制矩阵的低秩结构，提升预测精度、校准可靠性和计算效率。
2026-09-30 cs.LG stat.ME stat.ML
Low-rank matrix completion theory via Plucker coordinates
Key Laboratory of Mathematics Mechanization, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院数学机械化重点实验室）
尽管低秩矩阵完备化的流行，其理论的大部分已经发展的假设下的随机观测模式，而很少有人知道的实际相关的情况下，非随机模式。具体来说，一个基本但很大程度上开放的问题是描述允许唯一或多个完成的模式。本文提供了两个这样的家庭模式的任何秩。实现这一点的关键是一个新的配方低秩矩阵完成Plucker坐标，后者是传统的计算机视觉的工具。这种连接是潜在的意义，一个广泛的家庭矩阵和子空间学习问题与不完整的数据。
2023-02-23 cs.LG math.AG stat.ML
A regularized deep matrix factorized model of matrix completion for image restoration
College of Arts and Sciences, National University of Defense Technology（国防科技大学文理学院）
利用矩阵完备化进行图像复原已成为一种重要的方法。以前的大多数关于矩阵完备化的工作都集中在低秩性质上，通过对恢复的矩阵施加显式约束，例如核范数的约束或限制矩阵分解分量的维数。最近，理论研究表明，深度线性神经网络在矩阵完备化上具有隐式的低秩偏向。然而，低秩不足以反映自然图像的内在特征。因此，仅具有低秩约束的算法不足以很好地执行图像复原。在这项工作中，我们提出了一个正则化的深度矩阵分解（RDMF）模型的图像复原，它利用了隐式偏差的低秩深神经网络和显式偏差的总变化。我们证明了我们的RDMF模型的有效性与广泛的实验，其中我们的方法超越了最先进的模型在常见的例子，特别是从很少的观察恢复。我们的工作通过将深度学习的隐式偏差与显式正则化相结合，为解决其他逆问题提供了一个更通用的框架。
2020-07-29 cs.CV cs.LG stat.ML
Extendable Neural Matrix Completion
Vrije Universiteit Brussel（布鲁塞尔自由大学）；imec（比利时微电子研究中心）
矩阵完备化是信号处理和机器学习中的关键问题之一，其应用范围从图像处理和数据采集到分类和推荐系统。最近，深度神经网络已经被提出作为用于矩阵补全的潜在因子模型，并且已经实现了最先进的性能。然而，现有的基于神经网络的模型的一个主要问题是它们扩展到训练阶段不可用的样本的能力有限。本文提出了一种求解矩阵完备化问题的深度两分支神经网络模型。该模型不仅继承了神经网络的预测能力，而且还能够扩展到训练集之外的部分观察样本，而无需重新训练或微调。在流行的电影评分数据集上的实验研究证明了我们的模型在准确性和可扩展性方面的有效性。
2018-05-13 cs.AI cs.LG stat.ML
Matrix Completion using Kronecker Product Approximation
Temple University（天普大学）；Rutgers University（罗格斯大学）
一个矩阵完备化问题是恢复部分可观测矩阵中缺失的元素。现有的大多数矩阵完备化方法都假设其基础完备矩阵具有低秩结构。在本文中，我们介绍了一种替代的和更一般的形式的基本完全矩阵，它假设一个低的克罗内克秩，而不是一个低的正规秩，但包括后者作为一个特殊情况。额外的灵活性允许底层矩阵的更简约的表示，但也提出了确定要使用的适当克罗内克积配置的挑战。我们发现，该配置可以使用均方误差标准，以及修改后的交叉验证标准。我们建立了在适当的条件下的信号噪声比的一致性，这一过程。一个聚合过程也被提出来处理特殊的缺失模式和复杂的底层结构。数值和实证研究进行了证明新方法的性能。
2020-11-13 cs.LG stat.ME stat.ML
Low-rank optimization for distance matrix completion
University of Liège（列日大学）
本文研究了低秩距离矩阵的完备化问题。当数据嵌入空间的维度可能未知但与所考虑的数据点的数量相比很小时，这个问题相当于恢复距离矩阵的缺失条目。重点是高维问题。我们将所考虑的问题转化为低秩正半定矩阵集合上的最优化问题，并提出了两个有效的低秩距离矩阵完备化算法。此外，我们提出了一种策略来确定嵌入空间的维数。由此产生的算法规模高维问题和单调收敛到一个全球性的解决方案的问题。最后，数值实验表明所提出的算法在基准测试中具有良好的性能。
2013-04-25 cs.LG math.OC stat.ML
Inductive Matrix Completion Based on Graph Neural Networks
Washington University in St. Louis（圣路易斯华盛顿大学）；Facebook（脸书）
我们提出了一个不使用边信息的归纳矩阵完备化模型。通过将（评级）矩阵分解为行（用户）和列（项目）的低维潜在嵌入的乘积，大多数现有的矩阵完成方法都是直推的，因为学习的嵌入不能推广到看不见的行/列或新矩阵。为了使矩阵补全归纳，大多数以前的作品使用内容（边信息），如用户的年龄或电影的类型，进行预测。然而，高质量的内容并不总是可用的，并且很难提取。在除了要完成的矩阵之外没有任何边信息可用的极端设置下，我们仍然可以学习归纳矩阵完成模型吗？在本文中，我们提出了一个基于归纳图的矩阵完成（IGMC）模型来解决这个问题。IGMC训练一个图神经网络（GNN），纯粹基于1跳子图周围（用户，项目）从评级矩阵生成的对，并将这些子图映射到其相应的评级。它通过最先进的转换基线实现了极具竞争力的性能。此外，IGMC是归纳性的--它可以概括为在训练过程中看不到的用户/项目（假设他们的交互存在），甚至可以转移到新的任务。我们的迁移学习实验表明，从MovieLens数据集训练出来的模型可以直接用于预测豆瓣电影的评分，并且性能惊人。我们的工作表明：1）可以在不使用边信息的情况下训练归纳矩阵完成模型，同时实现与现有技术的转换方法类似或更好的性能; 2）（用户，项目）对周围的局部图形模式是该用户给予项目的评级的有效预测器;以及3）长范围依赖性对于建模推荐系统可能不是必需的。
2020-02-16 cs.IR cs.LG stat.ML
Disjunctive Branch-and-Bound for Certifiably Optimal Low-Rank Matrix Completion
本文提出了一种基于离散分支限界法的低秩矩阵补全方法，通过凸松弛和优化策略，实现可证明最优的矩阵补全，显著降低最优性差距并提升测试误差表现。
2026-03-11 cs.LG math.OC stat.ML
Asymptotic Convergence Rate of Alternating Minimization for Rank One Matrix Completion
Boston University（波士顿大学）
我们研究交替最小化矩阵完成在最简单的可能设置：完成一个秩一矩阵从一个显示的子集的条目。通过对一个可逆一致问题的特征值的变分刻画，给出了渐近收敛速度的界。这导致了一个多项式上界的渐近速率的节点数以及最大程度的图中透露的条目。
2020-08-11 cs.LG cs.NA math.NA
MatrixFormer: A Foundation Model for Matrix Completion
Columbia University（哥伦比亚大学）；Cornell Tech（康奈尔科技校区）
MatrixFormer是一种预训练的矩阵原生Transformer，通过单次前向传播预测缺失项的完整分布，在零样本下于因果推断、表格填补和推荐系统等任务中达到竞争性能，成为通用矩阵补全基础模型。
2026-10-06 cs.AI cs.LG
Spectral Geometric Matrix Completion
Technion（以色列理工学院）
深度矩阵分解（DMF）是一种新兴的解决矩阵完备化问题的方法。最近的工作已经确定，梯度下降应用于DMF模型诱导恢复矩阵的秩上的隐式正则化。在这项工作中，我们解释DMF模型通过光谱几何的镜头。这使我们能够在不破坏DMF结构的情况下合并显式正则化，从而享受两个世界的最佳状态。特别是，我们专注于矩阵完成问题的行和/或列之间的潜在几何或拓扑关系。这种关系在许多应用中出现的矩阵完成问题中普遍存在，例如推荐系统和药物-靶标相互作用。我们的贡献使DMF模型能够利用这些关系，并使它们在实际基准上具有竞争力，同时展示了深度线性网络的首批成功应用之一。
2021-06-07 cs.CG cs.CV cs.LG
Unified View of Matrix Completion under General Structural Constraints
本文给出了由{ \em any}范数正则化引起的一般低维结构约束下矩阵完备化的统一分析。我们考虑了一般结构矩阵完备化问题的两种估计，并给出了样本复杂度和估计误差的统一上界。我们的分析依赖于通用链接的结果，我们建立了两个独立的中间结果：（a）在表征高维环境空间中的低维子集的大小或复杂性时，在矩阵完备问题的分析中遇到的某个部分复杂性度量根据高斯宽度的公知复杂性度量来表征，（b）证明了矩阵完备化问题在一般范数正则化下的一种形式的限制强凸性。此外，我们提供了几个非平凡的例子，包括在我们的框架结构，特别是最近提出的光谱$k$支持规范。
2018-11-21 stat.ML
Algebraic-Combinatorial Methods for Low-Rank Matrix Completion with Application to Athletic Performance Prediction
本文提出了新的算法，利用矩阵完成任务的内在代数和组合结构，估计在一般低秩设置的缺失条目。对于积极的数据，我们在模拟和从部分观察到的数据预测运动表现的任务中，在准确性和计算效率方面都取得了优于最先进的核规范的结果。
2014-06-11 stat.ML
Matrix Completion under Low-Rank Missing Mechanism
Fudan University（复旦大学）；Texas A&M University（德州农工大学）；Peking University（北京大学）
矩阵完备化是一个现代的缺失数据问题，其中缺失的结构和底层参数都是高维的。虽然缺失结构是任何缺失数据问题的关键组成部分，现有的矩阵补全方法通常假设一个简单的统一缺失机制。在这项工作中，我们研究了一种新的低秩缺失机制下的矩阵完成损坏的数据。通过高维低秩矩阵估计过程估计观测的概率矩阵，并进一步通过逆概率加权来完成目标矩阵。由于高维和极端（即，非常小）的真实概率矩阵的性质，需要仔细研究逆概率加权的效果。我们得到的最佳渐近收敛速度的估计的观测概率和目标矩阵。
2020-03-20 cs.LG math.ST stat.ME
Algebraic Variety Models for High-Rank Matrix Completion
我们考虑低秩矩阵完成的情况下，数据属于代数簇，即每个数据点是一个系统的多项式方程的解决方案的推广。在这种情况下，原始矩阵可能是高秩的，但是在将每列映射到单项式特征的高维空间之后，它变成低秩的。许多线性模型的扩展，包括仿射子空间及其并集，都可以用一个模型来描述。此外，品种可以用来模拟更丰富的一类非线性二次和更高的次数曲线和曲面。我们研究了矩阵完备化的采样要求，重点是仿射子空间的并集。我们还提出了一个有效的矩阵完成算法，最大限度地减少了一个凸或非凸代理的秩矩阵的单项功能。我们的算法使用著名的“内核技巧”，以避免直接与高维单项矩阵。我们表明，该算法是能够恢复合成生成的数据预测采样复杂度的界限。该算法也优于标准的低秩矩阵完成和子空间聚类技术在实验中与真实数据。
2017-03-28 stat.ML
A Combinatorial Algebraic Approach for the Identifiability of Low-Rank Matrix Completion
Berlin Institute of Technology (TU Berlin)（柏林工业大学）；FU Berlin（柏林自由大学）；University of Tokyo（东京大学）
本文通过组合代数方法，首次给出了任意秩矩阵从一组矩阵条目中可辨识的充要组合条件，并提出了新算法。
2012-06-27 cs.DM cs.LG cs.NA
Geometric Matrix Completion: A Functional View
LIX, École Polytechnique（巴黎综合理工学院LIX实验室（LIX, École Polytechnique））
提出了几何矩阵完备化问题的一种全泛函观点。从现有的工作中，我们提出了一种新的正则化的启发，从功能图文献，更可解释的和理论上的声音。在具有强大的底层几何结构的合成任务上，我们的框架以巨大的优势（两个数量级）超过了最先进的技术，这表明了我们方法的潜力。在真实的数据集上，我们以以前方法的一小部分计算工作量实现了最先进的结果。我们的代码可在https://github.com/Not-IITian/functional-matrix-completion上公开获取
2020-09-29 cs.CV cs.LG cs.SI
A Generalized Latent Factor Model Approach to Mixed-data Matrix Completion with Entrywise Consistency
London School of Economics and Political Science（伦敦政治经济学院）；University of Minnesota（明尼苏达大学）
矩阵补全是一类机器学习方法，它涉及部分观测矩阵中缺失项的预测。本文研究了混合数据的矩阵完备化问题，涉及混合类型的变量的数据（例如，连续的、二进制的、有序的）。我们将其表示为一般非线性因子模型下的低秩矩阵估计问题，然后提出了用于估计低秩矩阵的逐项相合估计量。紧概率误差界推导出建议的估计。所提出的方法进行了评估，通过模拟研究和实际数据的应用，协同过滤和大规模的教育评估。
2022-11-17 cs.LG math.ST stat.ME
Causal Matrix Completion
矩阵完备化是从噪声观测的稀疏子集中恢复底层矩阵的研究。传统上，假设矩阵的条目是“完全随机缺失”（MCAR）的，即，每个条目都是随机显示的，独立于其他任何东西，具有均匀的概率。这可能是不现实的，因为存在“潜在混杂因素”，即，未观察到的因素，这些因素决定了基础矩阵的条目和观察到的矩阵中的缺失模式。例如，在电影推荐系统的上下文中--矩阵补全的规范应用--强烈不喜欢恐怖片的用户不太可能看恐怖片。一般来说，这些混杂因素会产生“非随机缺失”（MNAR）数据，这会严重影响任何不纠正这种偏倚的推断程序。我们通过潜在结果的语言开发了一个正式的因果模型矩阵完成，并提供了新的识别参数的各种因果被估量的利益。我们设计了一个程序，我们称之为“合成最近邻”（SNN），估计这些因果被估量。我们证明了我们的估计量的有限样本相合性和渐近正态性。我们的分析也导致新的理论结果的矩阵完成文学。特别是，我们建立了入口智能，即，最大范数，有限样本的一致性和渐近正态性的矩阵完成MNAR数据的结果。作为一种特殊情况，这也为MCAR数据的矩阵完成提供了条目方面的界限。在模拟和真实数据中，我们证明了我们提出的估计量的有效性。
2021-09-30 cs.LG econ.EM math.ST
Randomized Approach to Matrix Completion: Applications in Recommendation Systems and Image Inpainting
NASK National Research Institute（NASK国家研究所）；Warsaw University of Technology（华沙理工大学）
本文提出一种新的矩阵补全方法，用于处理行数远多于列数的矩阵。通过结合列子集选择与低秩矩阵补全，CSMC在保持解质量的同时大幅降低计算成本，并在推荐系统和图像修复中验证了其有效性。
2026-04-12 cs.LG
Noisy Inductive Matrix Completion Under Sparse Factor Models
Yahoo! Research（雅虎研究院）；University of Minnesota – Twin Cities（明尼苏达大学双城分校）
归纳矩阵完备化（IMC）是一类重要的矩阵完备化问题，它允许直接包含可用特征以增强估计能力。这些模型已经在个性化推荐系统，多标签学习，字典学习等中找到了应用。本文研究了一类一般的噪声矩阵完成任务，其中底层矩阵遵循IMC模型，即，它由夹在两个已知特征矩阵之间的混合矩阵（先验未知）形成。这里的混合矩阵被假设为是由两个稀疏矩阵的乘积很好地近似的-这里被称为“稀疏因子模型”。“我们利用Soni：2016：NMC的主要定理，并将其扩展为本文讨论的一类问题的稀疏正则化极大似然估计量提供理论误差界。的主要结果是一般的意义上，它可以用来推导各种噪声模型的误差界。在本文中，我们实例化我们的主要结果的情况下，高斯噪声，并提供相应的误差界的平方损失。
2016-09-13 cs.LG math.ST stat.ML
Adversarial Robust Low Rank Matrix Estimation: Compressed Sensing and Matrix Completion
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学（SOKENDAI））；The Institute of Statistical Mathematics（统计数学研究所）；Center for Advanced Integrated Intelligence Research, RIKEN（理化学研究所先进综合智能研究中心）
本文提出基于Huber损失与核范数惩罚的统一方法，解决对抗污染下的低秩矩阵估计，获得比以往更尖锐的误差界。
2024-05-24 cs.LG math.ST stat.ML
Matrix completion with queries
Boston University（波士顿大学）
在许多应用中，例如，在推荐系统和流量监控中，数据以矩阵的形式出现，该矩阵仅被部分观察到并且等级较低。这些数据集的一个基本数据分析任务是矩阵补全，其目标是准确地推断矩阵中缺失的条目。即使当数据满足低秩假设时，经典的矩阵补全方法也可能输出具有显著错误的补全-因为重构的矩阵与真实的底层矩阵显著不同。通常，这是由于观察到的条目中包含的信息不足。在这项工作中，我们解决这个问题，提出了一个积极的版本的矩阵完成，查询可以真正的底层矩阵。随后，我们设计了Order&Extend，这是第一个将矩阵完成方法和查询策略统一到单个算法中的算法。Order&Extend能够通过明智地查询少量额外的条目来识别和缓解信息不足。在对真实世界数据集的广泛实验评估中，我们证明了我们的算法是有效的，并且能够准确地重建真实矩阵，同时只要求少量的查询。
2017-05-01 cs.LG cs.SI
Matrix Completion with Noisy Entries and Outliers
本文研究了当观测数据中含有噪声和野值时的矩阵完备化问题。首先介绍了一种新的优化准则，其中恢复矩阵被定义为它的解决方案。该标准使用了稳健统计文献中著名的Huber函数来降低离群值的影响。一个实用的算法来解决所涉及的优化。该算法速度快，实现简单，且单调收敛。此外，所提出的方法理论上被证明是稳定的，在一个明确的意义。通过一系列仿真实验，包括图像修复，证明了其有前途的经验性能。
2017-12-27 stat.ML
On the Robustness of Cross-Concentrated Sampling for Matrix Completion
University of Central Florida（中佛罗里达大学）；Michigan State University（密歇根州立大学）
针对交叉集中采样（CCS）矩阵补全模型对稀疏异常值鲁棒性不明的问题，本文提出鲁棒CCS补全问题及高效非凸迭代算法RCURC，其效率与鲁棒性在合成及真实数据集上获验证。
2024-01-28 cs.IT cs.LG math.IT
Always Valid Risk Monitoring for Online Matrix Completion
University of California, Los Angeles（加州大学洛杉矶分校）；Purdue University（普渡大学）
始终有效的集中不等式越来越多地被用作在线统计学习的性能度量，特别是在生成模型和监督学习的学习中。这种不等式通过允许随机的、自适应选择的样本量而不是离线统计学习中的固定的预先指定的大小来推进在线学习算法设计。然而，建立这样一个始终有效的类型结果的任务矩阵完成是具有挑战性的，远远没有理解的文献。由于这种类型的结果的重要性，这项工作建立和设计的在线矩阵完成问题的始终有效的风险约束过程。这种理论的进步是可能的非渐近鞅浓度和正则化低秩矩阵回归的新组合。我们的研究结果使一个更有效的样本在线算法设计，并作为一个基础，以评估在线实验策略的任务，在线矩阵完成。
2022-11-18 cs.AI cs.LG math.ST
Matrix Completion and Low-Rank SVD via Fast Alternating Least Squares
矩阵补全问题吸引了很多关注，主要是由于著名的Netflix竞争。解决这个问题的两种流行方法是核范数正则化矩阵近似（Candes和Tao，2009，Mazumder，Hastie和Tibshirani，2010）和最大余量矩阵分解（Srebro，Rennie和Jaakkola，2005）。这两个程序在某些情况下解决等效问题，但使用完全不同的算法。在这篇文章中，我们将这两种方法结合在一起，导致一个有效的算法，大矩阵分解和完成，优于这两个。我们开发了一个软件包“softImpute”在R中实现我们的方法，和一个分布式版本的非常大的矩阵使用“火花”集群编程环境。
2014-10-09 stat.ME stat.ML
A Fast Matrix-Completion-Based Approach for Recommendation Systems
State Key Laboratory of Mathematical Engineering and Advanced Computing（数学工程与先进计算国家重点实验室）；Zhejiang NewBlue Network Media Co. Ltd.（浙江新蓝网络传媒有限公司）
矩阵补全广泛应用于机器学习、工程控制、图像处理和推荐系统中。目前，一种流行的矩阵补全算法是奇异值阈值（SVT）。在该算法中，首先要设定奇异值阈值。然而，在推荐系统中，偏好矩阵的维度是不断变化的。因此，难以直接应用SVT。此外，推荐系统的用户需要的是一系列个性化的推荐结果，而不是对用户评分的估计。基于上述思想，本文提出了一种新的方法--概率完备化模型PCM。该方法通过降低数据维数、相似矩阵的传递性和奇异值分解，快速得到与原始矩阵具有相同概率分布的完备矩阵。该方法在保证牺牲部分准确性的基础上，大大减少了计算时间，并能快速得到具有数据趋势近似特性的低秩相似矩阵。实验结果表明，PCM可以快速生成与原始矩阵具有相似数据趋势的互补矩阵。PCM的LCS评分和有效率均高于SVT。
2019-12-04 cs.IR cs.LG
Truncated Matrix Completion - An Empirical Study
University of Michigan（密歇根大学）
本文针对实际应用中采样掩码常依赖基础数据值的问题，通过实验研究并比较了原本适用于数据独立采样模式的多种低秩矩阵补全（LRMC）算法在该类场景下的性能。
2025-04-14 cs.AI cs.LG cs.NA
The Algebraic Combinatorial Approach for Low-Rank Matrix Completion
Aalto University（阿尔托大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文提出一种基于代数几何和拟阵理论的代数组合新视角，通过研究少量条目间的关系来解决低秩矩阵补全问题，并给出概率为1的算法判断特定条目是否可补全、从少量条目补全该条目及估计补全误差。
2014-08-19 cs.LG cs.NA math.AG
