Distributional Matrix Completion via Nearest Neighbors in the Wasserstein Space
Industrial Engineering and Operations Research, Columbia University（哥伦比亚大学工业工程与运筹学系）；Statistics and Data Science, Cornell Tech, Cornell University（康奈尔大学数据科学与统计学系）；Operations Research and Information Engineering, Cornell Tech, Cornell University（康奈尔大学运筹学与信息工程系）
本文将最优传输与最近邻方法结合，提出分布矩阵补全方法，在潜在因子模型下证明其Wasserstein恢复性质，并通过模拟和真实盈利预测数据验证其在分布估计、风险度量和异方差场景中的有效性。
2025-06-05 cs.LG stat.ME stat.ML
Entry-Specific Matrix Estimation under Arbitrary Sampling Patterns through the Lens of Network Flows
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Cornell University（康奈尔大学）
本文提出基于二分图网络流的矩阵补全估计框架，用有效电阻刻画任意采样模式下逐条目的极小极大误差，并应用于因果推断与秩-1矩阵。
2024-09-06 cs.LG stat.ML
Non-Convex Matrix Completion Against a Semi-Random Adversary
Duke University（杜克大学）
矩阵完备化是一个研究得很好的问题，具有许多机器学习应用。在实际应用中，该问题通常采用非凸优化算法求解。然而，目前对非凸算法的理论分析严重依赖于假设每个条目都以完全相同的概率$p$被观察到，这在实践中是不现实的。在本文中，我们研究了一个更现实的半随机模型，其中观察到每个条目的概率至少是$p$。即使有这种轻微的半随机扰动，我们也可以构造反例，使现有的非凸算法陷入糟糕的局部最优。鉴于负面结果，我们提出了一个预处理步骤，试图重新加权半随机输入，使其变得“类似”的随机输入。我们对此问题给出了一个近线性时间算法，并表明经过预处理后，非凸目标的所有局部最小值都可以用于近似恢复底层的地面真值矩阵。
2018-09-07 cs.DS cs.LG math.OC
Restricted strong convexity and weighted matrix completion: Optimal bounds with noise
本文研究了一类行/列加权项式抽样下的矩阵完备化问题，并将均匀项式抽样的情形作为特例。我们分析了相应的随机观测算子，证明了它以很高的概率满足关于加权Frobenius范数的一种限制强凸性。利用这一性质，我们得到的推论矩阵完成的加权Frobenius范数噪声采样下的精确和近低秩矩阵的误差界。我们的研究结果是基于措施的“尖峰”和“低秩”的矩阵，比以前的工作中施加的不相干条件的限制性较小。我们的技术涉及$M$估计，包括控制的解决方案的秩和尖峰，我们建立非渐近误差界加权Frobenius范数恢复矩阵躺在$\ell_q$ -“球”的有界尖峰。使用信息论的方法，我们表明，没有算法可以实现更好的估计（对数因子）在这些相同的集合，表明我们的条件矩阵和相关的利率基本上是最优的。
2011-05-15 cs.IT math.IT math.ST
Statistical Inference For Noisy Matrix Completion Incorporating Auxiliary Information
本文研究半监督模型下结合辅助协变量的噪声矩阵完成统计推断，提出仅需少量迭代的迭代最小二乘估计方法，保证低秩矩阵和系数矩阵的逐项估计量具有渐近正态分布，并基于乘子自助法提出高维系数矩阵同时检验程序。
2024-03-22 stat.ME stat.ML
Social Trust Prediction via Max-norm Constrained 1-bit Matrix Completion
Hefei University of Technology（合肥工业大学）；Rutgers University（罗格斯大学）；National University of Singapore（新加坡国立大学）
社会信任预测解决了探索社交网络中用户之间的交互的重要问题。自然地，这个问题可以在矩阵补全框架中公式化，每个条目指示信任或不信任。然而，社会信任问题存在两个挑战：1）观察到的数据具有符号（1位）测量; 2）它们通常是非均匀采样的。以前的大多数矩阵补全方法都不能很好地处理这两个问题。受最大范数的最新进展的启发，我们提出了解决问题的1位最大范数约束的制定。由于最大范数不容易优化，我们利用了最大范数的重新制定，这有利于一个有效的投影梯度下降算法。我们证明了我们的配方在两个基准数据集上的优越性。
2015-04-24 cs.LG cs.SI stat.ML
Detection thresholds in very sparse matrix completion
令$A$是大小为$m\times n$的矩形矩阵，并且$A_1$是随机矩阵，其中$A$的每个条目乘以具有参数$1/2$的独立的$\{0,1\}$ -伯努利随机变量。本文讨论了随机诱导非对称矩阵$A_1 (A - A_1)^*$和$(A-A_1)^*A_1$的非厄米特本征谱比其奇异值分解或$A A^*$和$A^* A$的本征谱在何时、如何以及为什么能捕捉到更多关于$A$主成分结构的相关信息。提示：非对称性导致随机性打破了削弱SVD的回声室效应。我们说明了应用程序的低秩矩阵完成问题的设置，每个条目观察概率$d/n$，包括非常稀疏的制度，其中$d$是为了$1$，通过奇异值分解的$A$矩阵完成失败或产生不可靠的恢复。我们确定了一个渐近精确的，依赖于矩阵的，非通用的检测阈值，超过该阈值，使用一种新的，通用的数据驱动的矩阵完成算法的可靠的，统计上最优的矩阵恢复是可能的。平均左和右特征向量可证明提高了恢复矩阵，但不是检测阈值。我们定义了另一种不对称的程序，绕过随机化的步骤，并具有检测阈值，这是一个常数因子较小，但与一个计算成本是由观察到的条目的数量的多项式因子较大。这两个检测阈值打破了表面上的障碍，由于众所周知的信息理论极限$d \asymp \log n$矩阵完成在文献中发现。
2020-08-04 math.PR math.ST stat.TH
Poisson Matrix Completion
Georgia Institute of Technology（佐治亚理工学院）
我们扩展的理论矩阵完成的情况下，我们使泊松观测的一个子集的条目的低秩矩阵。我们认为（现在）通常的矩阵恢复制定通过极大似然与适当的约束矩阵$M$，并建立理论上的上限和下限的恢复误差。我们的边界是接近最佳的顺序上的$\mathcal{O}(\log(d_1 d_2))$的一个因素。这些界限是通过调整用于一位矩阵完成\cite{davenport20121}的参数获得的（尽管这两个问题在性质上是不同的），并且调整需要利用泊松似然函数的特性的新技术，并且解决由泊松分布的局部次高斯特性所带来的困难。我们的研究结果突出了一些重要的区别泊松矩阵完成相比，以前的工作在矩阵完成，包括必须施加一个最小的信噪比要求，每个观察到的条目。我们还开发了一个有效的迭代算法，并证明其良好的性能恢复太阳耀斑图像。
2015-03-25 cs.LG stat.ML
Mixture Matrix Completion
Georgia State University（佐治亚州立大学）
完成数据矩阵X已成为现代数据科学中普遍存在的问题，其应用于推荐系统、计算机视觉和网络推理等。一个典型的假设是X是低秩的。一个更一般的模型假设X的每一列对应于几个低秩矩阵之一。本文将这些模型推广到我们称之为混合矩阵完备（MMC）的情况下，X的每个条目对应于几个低秩矩阵之一。MMC是一个更准确的推荐系统模型，并带来了更多的灵活性，以其他完成和聚类问题。我们对这一新模式做出了四个基本贡献。首先，我们证明了MMC在理论上是可能的（适定性）。其次，我们给出了它的精确的信息论可识别性条件。第三，我们推导了MMC的样本复杂度。最后，我们给出了一个实用的算法MMC与性能相媲美的国家的最先进的简单的相关问题，合成和真实的数据。
2018-08-02 cs.LG stat.ML
1-Bit Matrix Completion under Exact Low-Rank Constraint
我们考虑了在真实底层矩阵$M^*$上的精确秩约束下的噪声1位矩阵完备化问题。代替观察矩阵$M^*$的噪声连续值条目的子集，我们观察根据概率模型生成的噪声1位（或二进制）测量的子集。我们考虑$M^*$的约束极大似然估计，约束下的条目式无穷范数的$M^*$和一个确切的秩约束。这是在以前的工作中使用凸松弛的秩。我们提供了一个上界的矩阵估计误差在此模型下。与已有的结果相比，我们的界具有更快的收敛速度与矩阵维数时，显示的1位观测的分数是固定的，独立于矩阵维数。我们还提出了一个迭代算法来解决我们的非凸优化与证书的全局最优性的极限点。该算法基于$M^*$的低秩分解。我们验证了合成和真实数据的方法与现有的方法相比，具有更好的性能。
2015-02-24 stat.ML
Optimal Transfer Learning for Missing Not-at-Random Matrix Completion
Indian Statistical Institute（印度统计研究所）
针对整行整列缺失的MNAR矩阵补全问题，提出利用含噪源矩阵进行潜在空间特征偏移的迁移学习框架，在主动采样下达到极小极大下界并避免相干性假设。
2025-02-28 cs.LG stat.ML
Low-rank Distributional Matrix Completion
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Texas A&M University（德克萨斯农工大学）
针对每个条目为概率分布的矩阵，提出基于核均值嵌入和Tucker秩的低秩结构，通过函数展开算子连接无限维与有限维，实现分布矩阵补全并给出非渐近误差界。
2026-06-02 cs.LG math.ST stat.ML
Matrix Completion with Model-free Weighting
Texas A&M University（德州农工大学）；Fudan University（复旦大学）；University of Washington（华盛顿大学）
本文提出了一种在一般非一致缺失结构下的矩阵补元方法。通过控制一个新的平衡误差的上界，我们构造的权重，可以主动调整的非均匀性的经验风险，而不明确建模的观察概率，并可以通过凸优化有效地计算。恢复矩阵的基础上提出的加权经验风险享有吸引人的理论保证。特别是，所提出的方法实现了更强的保证比现有的工作方面的缩放相对于观测概率，渐近异构缺失设置（其中条目明智的观测概率可以是不同的顺序）。这些设置可以被认为是一个更好的理论模型的丢失模式与高度变化的概率。我们还提供了一个新的极大极小下界下的一类异构设置。数值实验也证明了所提出的方法的有效性。
2021-06-09 cs.LG math.ST stat.ME
Higher-Order Entrywise Eigenvectors Analysis of Low-Rank Random Matrices: Bias Correction, Edgeworth Expansion, and Bootstrap
本文针对低秩信号加噪声矩阵模型，建立特征向量扰动的高阶随机展开，据此提出偏差校正，并证明无需Cramér条件的Edgeworth展开，进而验证残差Bootstrap的高阶有效性。
2024-03-14 math.ST stat.TH
Approximation Theory of Total Variation Minimization for Data Completion
全变差（TV）最小化是现代信号/图像处理中最重要的技术之一，有着广泛的应用。虽然有许多最近的工作在压缩感知的框架中的TV最小化的恢复保证，有很少的工作从部分观测的恢复的恢复保证。本文主要研究了基于随机输入样本的TV恢复算法的误差分析。特别地，我们估计潜在的原始数据和近似解之间的误差，该近似解内插（或根据噪声水平用误差界近似）在所有可能的解中具有最小TV误差的给定数据。最后，我们进一步连接的误差估计的离散模型的稀疏梯度恢复问题和近似的基本功能，从底层的真实数据。
2022-07-15 cs.NA math.AP math.NA
Rank-1 Matrix Completion with Gradient Descent and Small Random Initialization
Samsung Electronics（三星电子）；KAIST（韩国科学技术院）
本文研究秩-1对称矩阵补全问题，证明梯度下降在小随机初始化下可收敛到真实解，并给出初始化规模上界及隐式正则化在收敛过程中的关键作用。
2025-07-02 cs.IT cs.LG math.IT
Mixed Matrix Completion in Complex Survey Sampling under Heterogeneous Missingness
针对复杂调查中混合类型数据矩阵的异质缺失问题，提出两阶段方法，先逻辑回归建模缺失机制，再低秩加权似然补全，算法次线性收敛且有理论误差界，并在NHANES数据上验证优势。
2024-02-06 stat.ME stat.ML
Low-rank Matrix Completion using Alternating Minimization
Microsoft Research India（微软印度研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
交替最小化代表了一种广泛适用且经验上成功的方法，用于找到最适合给定数据的低秩矩阵。例如，对于低秩矩阵完成问题，这种方法被认为是最准确和最有效的方法之一，并成为Netflix挑战赛获奖作品的主要组成部分。在交替最小化方法中，低秩目标矩阵被写成双线性形式，即$X = UV^†$ ;然后算法在寻找最佳$U$和最佳$V$之间交替。通常，孤立的每个交替步骤是凸的和易处理的。然而，整个问题变得非凸，几乎没有理论上的理解，当这种方法产生一个很好的结果。在本文中，我们提出了第一个理论分析的交替最小化矩阵完成的性能，以及相关的矩阵检测问题。对于这两个问题，著名的最近的结果表明，他们成为适定性和易于处理的，一旦某些（现在的标准）条件施加在问题上。我们表明，交替最小化也成功在类似的条件下。此外，与现有的结果相比，我们的论文表明，交替最小化保证更快（特别是几何）收敛到真正的矩阵，同时允许一个更简单的分析。
2012-12-03 cs.LG math.OC stat.ML
Binary Matrix Completion Using Unobserved Entries
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
矩阵完备化问题是机器学习领域的一个重要问题，其研究目的是从矩阵的部分观测值中恢复出一个完备的矩阵。然而，主流的问题设置，假设连续值的观察，和一些实际应用，如推荐系统和SNS链接预测，观察离散甚至二进制值之间存在差异。为了解决这个问题，Davenport等人（2014）提出了一个二进制矩阵完成（BMC）问题，其中观测值被量化为二进制值。Hsieh et al.（2015）提出了一个PU（Positive and Unlabeled）矩阵补全问题，这是BMC问题的扩展。这个问题针对的是我们无法观察到负值的设置，例如SNS链接预测。在构建这种设置的方法时，他们引入了一种分类问题的方法，将每个矩阵条目视为样本。它们的风险也定义了未观察到的条目的损失，表明了使用未观察到的条目的可能性。在本文中，受到Sakai等人最近提出的半监督分类方法的启发。（2017），我们通过结合Davenport等人的风险开发了一种可以使用所有阳性，阴性和未观察条目的BMC问题的方法。（2014）和Hsieh等人。（2015）。据我们所知，这是第一个利用各种矩阵元素的BMC方法。我们的实验表明，一个适当的混合风险提高性能。
2018-03-13 cs.LG stat.ML
Exploiting Observation Bias to Improve Matrix Completion
MIT（麻省理工学院）
本文针对有偏观测下的矩阵补全问题，提出两阶段算法 MNN，通过从观测模式中恢复潜在因子并进行非参数监督学习，在真实数据上实现比传统方法均方误差小 28 倍的改进。
2024-12-31 cs.LG stat.ML
Provable Efficient Online Matrix Completion via Non-convex Stochastic Gradient Descent
UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）；Microsoft Research New England（微软新英格兰研究院）
矩阵完备化是一个在理论和实践中都有广泛研究和应用的问题，它是通过对低秩矩阵的几个元素的观测来恢复低秩矩阵。到目前为止，大多数关于这个问题的可证明算法都局限于离线设置，在离线设置中，它们同时使用所有观测值来提供未知矩阵的估计。然而，在许多应用程序中，在线版本更有吸引力，我们一次观察一个条目并动态更新我们的估计。虽然现有的算法对于离线设置是有效的，但是它们对于在线设置可能是非常低效的。在本文中，我们提出了第一个可证明的，有效的在线算法矩阵完成。我们的算法从矩阵的初始估计开始，然后执行非凸随机梯度下降（SGD）。在每次观察之后，它执行仅涉及两个高矩阵的一行的快速更新，从而提供接近线性的总运行时间。我们的算法也可以自然地用于离线设置，在离线设置中，它为最先进的算法提供了具有竞争力的样本复杂性和运行时间。我们的证明引入了一个通用的框架，以表明SGD更新往往远离鞍面，并可能对其他非凸问题证明紧速率具有更广泛的意义。
2016-05-26 cs.LG math.OC stat.ML
Going off the Grid: Iterative Model Selection for Biclustered Matrix Completion
我们考虑使用逐行和逐列相似性的辅助信息执行矩阵补全的问题。我们建立在最近的建议，矩阵估计与光滑度约束的行和列图。我们提出了一种新的迭代过程，直接最小化的信息准则，以选择适当的量行和列平滑，即执行模型选择。我们还讨论了如何利用问题的特殊结构，通过Hutchinson估计器来扩大估计和模型选择过程。我们提出了模拟结果和应用程序预测协会在成像基因组学研究。
2016-10-19 stat.CO stat.ML
Active Feature Acquisition with Supervised Matrix Completion
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；RIKEN Center for AIP（理化学研究所人工智能项目中心）；University of Tokyo（东京大学）
特征缺失是许多应用中的一个严重问题，它可能导致低质量的训练数据并进一步显著降低学习性能。虽然特征获取通常涉及特殊的设备或复杂的过程，但获取整个数据集的所有特征值是昂贵的。另一方面，特征可以彼此相关，并且一些值可以从其他值恢复。因此，重要的是要决定哪些功能是最翔实的恢复其他功能，以及提高学习性能。在本文中，我们试图训练一个有效的分类模型，最小的收购成本，联合执行主动特征查询和监督矩阵完成。在完成特征矩阵时，提出了一种新的目标函数，以同时最小化观测条目上的重建误差和训练数据上的监督损失。当查询特征值时，基于先前迭代的方差主动选择最不确定的条目。此外，当特征承担不同的获取成本时，提出了一种基于成本意识的主动选择的双目标优化方法。理论分析和实验研究均验证了该方法的有效性。
2018-06-05 cs.LG stat.ML
Inference and Uncertainty Quantification for Noisy Matrix Completion
Princeton University（普林斯顿大学）
噪声矩阵完备化的目的是估计一个低秩矩阵，只有部分和损坏的条目。尽管在设计有效的估计算法方面取得了实质性进展，但在很大程度上仍然不清楚如何评估所获得的估计的不确定性以及如何对未知矩阵（例如，为看不见的条目构造有效且短的置信区间）。本文采取了一个步骤的推理和不确定性量化噪声矩阵完成。我们开发了一个简单的程序来补偿广泛使用的凸和非凸估计的偏差。由此产生的去偏估计承认几乎精确的非渐近分布特征，这反过来又使置信区间\，/\，区域的最佳建设，说，丢失的条目和低秩的因素。我们的推理过程不依赖于样本分割，从而避免了不必要的数据效率损失。作为一个副产品，我们得到了我们的去偏估计，这是据我们所知，是第一个易于处理的算法，可证明达到充分的统计效率（包括preconstant）的估计精度的尖锐表征。本文的分析建立在凸优化和非凸优化之间的密切联系之上--这是\cite{chen2019noisy}最近发现的一个有吸引力的特征。
2019-11-14 cs.IT cs.LG eess.SP
Symmetric Matrix Completion with ReLU Sampling
Antai College of Economics and Management, Shanghai Jiao Tong University（上海交通大学安泰经济与管理学院）；University of Michigan（密歇根大学）；Michigan State University（密歇根州立大学）
本文研究ReLU采样下的对称半正定低秩矩阵补全问题，证明非凸目标在植入解附近具有测地强凸性，并提出一种定制初始化方法使梯度下降始终收敛到全局最优。
2024-06-09 cs.LG stat.ML
Low Rank Matrix Completion with Exponential Family Noise
矩阵补全问题包括从可能带有噪声的条目样本中重建矩阵。一类流行的估计量，称为核范数惩罚估计量，基于最小化数据拟合项和核范数惩罚之和。在这里，我们调查的情况下，噪声分布属于指数家庭，是次指数。我们的框架允许一般的抽样方案。我们首先考虑一个估计定义为一个对数似然项和一个核范数惩罚的总和的最小值，并证明了Frobenius预测风险的上界。所获得的速度提高了以前的工作矩阵完成指数族。当抽样分布已知时，我们提出了另一种估计，并证明了一个预言不等式w.r.t. Kullback-Leibler预测风险，其立即转化为Frobenius预测风险的上界。最后，我们证明了所有的利率是最小最大最优的对数因子。
2015-04-20 math.ST stat.ML stat.TH
Collective Matrix Completion
Univ Paris Nanterre（巴黎楠泰尔大学）；ESSEC Business School（ESSEC商学院）；CREST（法国经济与统计研究所）
矩阵完备化的目的是根据对少量元素的观察来重构数据矩阵。通常在矩阵完成中考虑单个矩阵，其可以是例如推荐系统中的评级矩阵。然而，在实际情况中，数据往往是从多个来源获得的，这导致了矩阵的集合，而不是一个单一的。在这项工作中，我们考虑的问题，集体矩阵完成与多个和异构矩阵，这可以是计数，二进制，连续等，我们首先调查的设置，对于每个源，矩阵条目是从一个指数家庭分布抽样。然后，我们放松了对噪声服从指数族分布的假设，并研究了无分布的情况。在这种情况下，我们不为观察假设任何特定的模型。估计过程是基于最小化的总的拟合优度项和整个集体矩阵的核范数惩罚的总和。我们证明了所提出的估计实现快速收敛速度下的两个考虑的设置，我们证实了我们的结果与数值实验。
2019-10-21 cs.LG stat.ML
Noisy Tensor Completion via the Sum-of-Squares Hierarchy
Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；Massachusetts Institute of Technology（麻省理工学院）
在有噪声的张量完备问题中，我们从未知的$n_1 \times n_2 \times n_3$张量$T$中观察$m$条目（其位置是随机均匀选择的）。我们假设$T$在条目方面接近于等级$r$。我们的目标是使用尽可能少的观察值来填充其缺失的条目。令$n = \max(n_1, n_2, n_3)$。我们证明了如果$m = n^{3/2} r$，那么有一个多项式时间算法的基础上的第六层的平方和的层次来完成它。我们的估计同意几乎所有的$T$的条目几乎完全，即使我们的观察被噪声破坏。这也是第一个张量完备化算法，在$r > n$的过完备情况下有效，实际上它一直工作到$r = n^{3/2-ε}$。我们的证明是简短和简单的，是基于建立一个新的连接之间的噪音张量完成（通过Rademacher复杂性的语言）和反驳随机常数满足问题的任务。即使在矩阵补全的上下文中，这种联系似乎也没有被注意到。此外，我们使用这个连接来显示匹配的下界。我们的主要技术成果是在表征的Rademacher复杂性的序列中出现的平方和松弛张量核规范的规范。这些结果指出了一个有趣的新方向：我们能否通过平方和层次来探索计算复杂度与样本复杂度的权衡？
2016-02-18 cs.DS cs.LG stat.ML
Poisson Matrix Recovery and Completion
Georgia Institute of Technology（佐治亚理工学院）
我们扩展的低秩矩阵恢复和完成的情况下，泊松观测的线性组合或一个子集的矩阵的条目，这在各种应用中出现计数数据的理论。我们认为通常的矩阵恢复配方通过最大似然适当的限制矩阵$M$的大小$d_1$ -由- $d_2$，并建立理论上的上限和下限的恢复误差。我们的边界矩阵完成几乎是最佳的顺序$\mathcal{O}(\log(d_1 d_2))$的一个因素。这些界限是通过组合技术获得的压缩感知稀疏向量与泊松噪声和分析低秩矩阵，以及调整用于一位矩阵完成\cite{davenport20121}的参数（虽然这两个问题在性质上是不同的），适应需要新的技术，利用泊松似然函数的属性，并解决由局部子-泊松分布的高斯特性。我们的研究结果突出了一些重要的区别泊松的情况下相比，以前的工作，包括必须对每个观察到的条目和差距的上限和下限施加最小的信噪比要求。我们还开发了一组高效的迭代算法，并在合成示例和真实数据上展示了它们的良好性能。
2015-09-12 cs.LG math.ST stat.ML
Geometric Matrix Completion with Deep Conditional Random Fields
Vrije Universiteit Brussel（布鲁塞尔自由大学）；imec（比利时微电子研究中心）；Duke University（杜克大学）
在许多大数据应用中，特别是在推荐系统中，都会出现从有限的观察值集合中完成高维矩阵的问题。现有的矩阵补全模型通常遵循基于记忆或基于模型的方法，而几何矩阵补全模型结合了这两种方法的最佳效果。现有的基于深度学习的几何模型具有良好的性能，但是为了操作，它们需要一个固定的结构图来捕获用户和项目之间的关系。该图通常通过评估关于可用观测的预定义相似性度量或通过使用边信息来构建，例如，用户简档。相比之下，基于马尔可夫随机场的模型不需要固定的结构图，而是依靠手工制作的特征来进行预测。当没有边信息可用并且可用观测的数量变得非常低时，现有的解决方案被推到了极限。在本文中，我们提出了一个几何矩阵完成的方法，解决这些挑战。我们认为矩阵补全是条件随机场（CRF）中的结构化预测问题，其特征在于最大后验（MAP）推理，我们提出了一个通过解决MAP推理问题来预测缺失条目的深度模型。该模型同时学习矩阵元素之间的相似性，计算CRF势，并解决推理问题。它的训练是以端到端的方式进行的，有一种方法来监督条目相似性的学习。综合实验表明，该模型的优越性能相比，各种国家的最先进的模型在流行的基准数据集，并强调其优越的能力，以处理高度不完整的矩阵。
2019-09-27 cs.LG stat.ML
Leave-one-out Approach for Matrix Completion: Primal and Dual Analysis
Cornell University（康奈尔大学）
在本文中，我们引入了一个强大的技术的基础上留一法分析的低秩矩阵完成问题的研究。使用这种技术，我们开发了一种通用的方法来获得细粒度的，entrywise边界的概率依赖的存在下，迭代随机过程。我们证明了这种方法在分析两个最重要的算法矩阵完成：（一）非凸方法的基础上投影梯度下降（PGD）的秩约束的制定，也被称为奇异值投影算法，（ii）基于核范数最小化（NNM）的凸松弛方法。使用这种方法，我们建立了第一个收敛保证的原始形式的PGD没有正则化或样本分裂}，特别是表明，它在无穷范数线性收敛。对于NNM，我们使用这种方法来研究一个虚构的迭代过程中出现的对偶分析。我们的研究结果表明，\NNM恢复$ d $ -由- $ d $秩- $ r $矩阵与$\mathcal{O}(μr \log(μr) d \log d )$观察到的条目.该界对矩阵维数具有最优依赖性，与条件数无关。据我们所知，这是同时满足这两个属性的易处理矩阵完成算法的第一个样本复杂度结果。
2020-06-17 cs.IT cs.LG math.IT
Noisy Matrix Completion: Understanding Statistical Guarantees for Convex Relaxation via Nonconvex Optimization
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了噪声低秩矩阵的完备化问题：给定一个大型低秩矩阵的部分和噪声元素，目标是忠实而有效地估计底层矩阵。可以说，解决这个问题的最流行的范例之一是凸松弛，它在实践中取得了显着的效果。然而，这种方法的理论支持在噪声环境中仍然远远不是最佳的，无法解释其经验上的成功。我们取得了进展，对神秘的凸松弛与随机噪声的实际效果。当未知矩阵的秩和条件数是由一个常数的范围内，我们证明了凸规划方法实现了近最佳的估计误差--在欧氏损失，entrywise损失，和频谱范数损失-在很宽的范围内的噪声水平。所有这些都是通过将凸松弛与非凸Burer-Monteiro方法连接起来实现的，这是一种看似独特的算法范例，可证明对噪声具有鲁棒性。更具体地说，我们表明，一个近似的临界点的非凸制定作为一个非常紧密的近似凸的解决方案，从而使我们能够转移所需的统计保证的非凸的方法，其凸对应。
2019-10-07 cs.IT cs.LG math.IT
One-Sided Matrix Completion from Ultra-Sparse Samples
Northeastern University, Boston（东北大学，波士顿）；Georgia Institute of Technology, Atlanta（佐治亚理工学院，亚特兰大）
本文提出了一种在超稀疏样本条件下通过梯度下降估计二阶矩矩阵T的方法，以实现单边矩阵补全，并在实验中验证了其有效性。
2026-01-18 cs.LG math.OC stat.ML
Robust Matrix Completion State Estimation in Distribution Systems
Kansas State University（堪萨斯州立大学）；National Renewable Energy Laboratory（国家可再生能源实验室）
在配电系统状态估计（DSSE）中，由于观测量的不足，如果不使用伪观测量，很难实现完全可观测和冗余观测。矩阵完备化状态估计（MCSE）将矩阵完备化与电力系统模型相结合，利用矩阵的低秩特性进行电压估计。提出了一种鲁棒矩阵完备状态估计（RMCSE）方法，用于低可观测性条件下的配电网电压估计。传统的状态估计加权最小二乘（WLS）方法要求系统的状态是完全可观测的，并且需要冗余的观测量来进行坏数据检测。该方法通过最小化矩阵秩和不同权值的测量残差，提高了MCSE对坏数据的鲁棒性。该方法可以在低可观测性系统中估计系统状态，并且在多个坏数据情况下，不需要坏数据检测过程，具有鲁棒估计性能。IEEE 33节点径向配电系统的数值评估的方法。将RMCSE的估计性能和鲁棒性与具有最大归一化残差坏数据识别的WLS（WLS-LNR）和MCSE进行了比较。
2019-10-14 cs.LG stat.ML
Improving Group Fairness in Tensor Completion via Imbalance Mitigating Entity Augmentation
Department of Computer Science and Engineering, University of California, Riverside, Riverside, CA, USA（计算机科学与工程系，加州大学河滨分校）；Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign, Urbana, IL, USA（计算与数据科学学院，伊利诺伊大学厄巴纳-香槟分校）
针对张量分解中群体公平方法导致性能下降的问题，提出 STAFF，通过含充足观测条目的实体增强缓解稀疏张量不平衡与偏差，在多类模型和数据集上实现误差与公平性的最佳权衡。
2025-07-28 cs.LG stat.ML
Sequential Matrix Completion
University of Chicago（芝加哥大学）；University of Cambridge（剑桥大学）
我们提出了一种新的算法在推荐系统设置的顺序矩阵完成，其中矩阵的$(i,j)$的第$i$对应于用户的产品$j$的评级。该算法的目标是提供一个顺序的政策，用户产品对推荐，这将产生最高的可能评级后，有限的时间范围。该算法采用Gamma过程因子模型，并采用两种后验集中的Bandit策略：Thompson抽样和信息定向抽样。虽然汤普森抽样在模拟中表现出了竞争力，但最先进的性能是从信息导向抽样中获得的，它根据预期奖励和信息增益度量之间的比率提出建议。据我们所知，这是信息定向采样在大型真实数据集上的第一次实现。这种方法有助于最近对协作过滤的强盗方法的研究，包括Kawale et al.（2015），Li et al.（2010），Bresler et al.（2014），Li et al.（2016），Deshpande & Montanari（2012）和Zhao et al.（2013）。正如Kawale et al.（2015）和Zhao et al.（2013）所指出的那样，本文的背景对有限视野后的后悔提出了重大挑战。我们讨论了这些挑战与更简单的模型土匪与边信息，如线性或高斯过程土匪，并希望在这里提出的实验激励进一步的研究理论保证。
2017-10-23 cs.IR cs.LG stat.ML
On Tensor Completion via Nuclear Norm Minimization
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Rutgers University（罗格斯大学）
本文提出通过直接最小化张量核范数进行张量补全，证明该方法能提升采样需求，发展了张量核范数的子微分刻画和张量鞅集中不等式等技术。
2014-05-07 cs.IT cs.NA math.IT
Tensor Train Completion from Fiberwise Observations Along a Single Mode
本文提出一种利用纤维-wise观测模式进行张量展开的方法，通过标准线性代数运算实现高效且确定性的张量补全。
2026-03-11 cs.LG cs.NA eess.SP
Match Made with Matrix Completion: Efficient Learning under Matching Interference
Naveen Jindal School of Management, University of Texas at Dallas（德克萨斯大学达拉斯分校纳维恩·金达尔管理学院）；Foster School of Business, University of Washington（华盛顿大学福斯特商学院）；W. P. Carey School of Business, Arizona State University（亚利桑那州立大学W.P.凯里商学院）
本文提出利用矩阵补全技术，在匹配干扰下高效学习匹配质量，通过核范数正则化和双增强估计器改进奖励学习和在线学习性能。
2026-01-11 cs.LG stat.ML
Implicit Regularization in Nonconvex Statistical Estimation: Gradient Descent Converges Linearly for Phase Retrieval, Matrix Completion, and Blind Deconvolution
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
近年来，在设计可证明有效的非凸程序来解决统计估计问题方面出现了一系列的活动。由于经验损失的高度非凸性质，最先进的程序通常需要适当的正则化（例如修剪，正则化成本，投影），以保证快速收敛。然而，对于诸如梯度下降之类的常规过程，先验理论要么推荐高度保守的学习率以避免过冲，要么完全缺乏性能保证。本文揭示了非凸优化中一个引人注目的现象：即使在没有显式正则化的情况下，梯度下降也会在各种统计模型下隐式地执行适当的正则化。事实上，梯度下降遵循的轨迹停留在具有良好几何形状的盆地内，由与采样机制不一致的点组成。这种“隐式正则化”特性允许梯度下降以更积极的方式进行，而不会过冲，这反过来又导致大量的计算节省。聚焦于三个基本的统计估计问题，即相位恢复，低秩矩阵完成，和盲反卷积，我们建立了梯度下降实现接近最优的统计和计算保证，而无需显式正则化。特别是，通过将统计建模与通用优化理论相结合，我们开发了一个通用的配方，通过留一法扰动参数分析迭代算法的轨迹。作为一个副产品，嘈杂的矩阵完成，我们证明，梯度下降实现了接近最优的误差控制-测量entrywise和频谱范数-这可能是独立的利益。
2019-07-30 cs.IT cs.LG math.IT
Matrix Completion via Residual Spectral Matching
Center for Statistical Science, Peking University（北京大学统计科学中心）
针对带噪矩阵补全，提出残差谱匹配准则，利用稀疏随机矩阵谱性质，实现高效收敛并提升高噪声场景下的性能。
2024-12-16 cs.LG stat.ME stat.ML
Relaxed Leverage Sampling for Low-rank Matrix Completion
Xerox Research Center India（施乐印度研究中心）
我们考虑的问题，通过标准的核范数最小化框架的任何$m\times n$矩阵的秩$\varrho$从少量的观察到的条目的精确恢复。这种低秩矩阵具有自由度$(m+n)\varrho - \varrho^2$。我们发现，任何任意低秩矩阵可以完全恢复从一个$Θ\left(((m+n)\varrho - \varrho^2)\log^2(m+n)\right)$随机采样的条目，从而匹配所需的条目数的下限（在自由度方面），与一个额外的因素$O(\log^2(m+n))$。为了达到样本大小的这个界限，我们观察每个条目的概率与相应的行和列杠杆分数之和成比例，减去它们的乘积。我们表明，这种放宽抽样概率（与Chen et al，2014中的杠杆分数之和相反）可以为我们提供$O(\varrho^2\log^2(m+n))$附加改进Chen et al，2014获得的（最知名的）样本量，用于核范数最小化。实际数据的实验证实了理论上的样本容量的改善。此外，$(a)$非相干矩阵（具有受限的杠杆分数）和仅具有一个行或列空间的$(b)$矩阵的精确恢复可以使用我们的放松杠杆分数采样，经由核范数最小化，而无需先验地知道杠杆分数。在这种情况下，我们也可以提高样本量。
2016-04-07 cs.IT cs.LG math.IT
Polynomial Matrix Completion for Missing Data Imputation and Transductive Learning
Cornell University（康奈尔大学）
本文提出了一种新的方法来恢复高秩甚至满秩矩阵的缺失项时，数据的内在维数是低的环境维。具体来说，我们假设矩阵的列是由作用于低维内在变量的多项式生成的，并希望在此假设下恢复丢失的条目。证明了在高维特征空间中，通过最小化矩阵的秩，可以识别出最小内禀维数的完备矩阵。我们开发了一个新的配方所产生的问题，使用核技巧与一个新的放松的秩目标，并提出了一个有效的优化方法。我们还展示了如何使用我们的方法来完成从多个非线性流形的数据。通过对合成数据、缺失数据的子空间聚类、运动捕捉数据恢复和转换学习的比较研究，验证了本文方法的优越性。
2019-12-15 cs.LG stat.ML
Asymptotic Theory for Estimating the Singular Vectors and Values of a Partially-observed Low Rank Matrix with Noise
矩阵补全算法从一小部分条目中恢复低秩矩阵，每个条目都被添加性错误污染。在实际应用中，低秩矩阵的奇异向量和奇异值在统计分析和推断中起着至关重要的作用。本文提出了这些量的估计，并研究其渐近行为。定理4.1给出了在矩阵的维数增加到无穷大且观测到每个元素的概率相同的情况下奇异向量估计的收敛速度，定理4.3给出了奇异值估计的多元中心极限定理.即使估计量只使用部分观测矩阵，它们也能达到与完全观测情况相同的收敛速度。这些估计量结合起来，形成一个完整的低秩矩阵的相合估计量，用非迭代算法计算。在本文研究的情况下，该估计量达到了Koltchinskii et al.（2011）中的极大极小下界。数值实验证实了我们的理论结果。
2016-05-01 stat.ME
Scaled Nuclear Norm Minimization for Low-Rank Tensor Completion
Columbia University（哥伦比亚大学）
本文提出通过最小化张量展开的加权核范数之和来恢复低TT秩张量，证明该方法相比传统核范数求和方法更高效，需更少样本即可恢复原始张量。
2017-07-25 cs.NA math.NA stat.ML
TenIPS: Inverse Propensity Sampling for Tensor Completion
Cornell University（康奈尔大学）
张量广泛用于表示数据的多路数组。张量中缺失项的恢复已被广泛研究，通常假设项是完全随机缺失（MCAR）的。然而，在大多数实际情况下，观测值是非随机缺失（MNAR）：给定条目被观测到的概率（也称为倾向）可能取决于张量中的其他条目，甚至取决于缺失条目的值。在本文中，我们研究的问题，完成一个部分观测张量的MNAR观测，没有先验信息的倾向。为了完成张量，我们假设原始张量和倾向张量都具有低多线性秩。该算法首先使用凸松弛估计倾向，然后使用高阶SVD方法预测缺失值，通过逆倾向重新加权观察到的张量。我们提供有限样本的误差界所产生的完整的张量。数值实验证明了该方法的有效性。
2021-04-22 cs.LG math.OC stat.ML
Statistical Inference for Matching Decisions via Matrix Completion under Dependent Missingness
针对匹配数据存在依赖缺失的双边匹配市场，提出基于格拉斯曼梯度下降的非凸矩阵补全算法及去偏投影框架，实现了准确估计、有效统计推断与匹配策略高效评估。
2026-10-30 stat.ME stat.ML
Statistical Inferences of Linear Forms for Noisy Matrix Completion
Hong Kong University of Science and Technology（香港科技大学）；Columbia University（哥伦比亚大学）
我们引入了一个灵活的框架，使一般线性型的大型矩阵的基础上，其条目的子集的噪声观测的推断。特别地，在弱正则性条件下，只要矩阵的入口一致估计可用，通过双样本去偏和低秩投影，我们给出了一个构造其线性型的渐近正态估计的通用方法.这些估计量允许我们随后构造置信区间，并检验关于线性型的假设。我们的建议是出于仔细的扰动分析的经验奇异空间下的噪声矩阵完成模型，这可能是独立的利益。我们提出的推理过程的实际优点都表现在模拟和现实世界的数据例子。
2020-06-11 cs.IT cs.LG math.IT
N$^2$: A Unified Python Package and Test Bench for Nearest Neighbor-Based Matrix Completion
Cornell University（康奈尔大学）；Columbia University（哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）
本文提出N²，一种统一的Python包和测试平台，用于基于最近邻的矩阵补全，展示了新的NN变体和现实世界数据集的基准测试，证明NN方法在现实应用中的优越性。
2026-09-15 cs.LG stat.CO stat.ML
Simulation comparisons between Bayesian and de-biased estimators in low-rank matrix completion
Norwegian University of Science and Technology（挪威科技大学）
本文通过模拟比较了低秩矩阵补全中贝叶斯估计与去偏估计的性能，发现两者相当，但贝叶斯方法更稳定且在小样本下更优，并指出去偏置信区间覆盖率较低，需进一步理论研究。
2023-09-01 cs.LG stat.ML
Robust Low-Tubal-Rank Tensor Completion under Cross-Concentrated Sampling
University of Central Florida（中佛罗里达大学）；Michigan State University（密歇根州立大学）；University of Kentucky（肯塔基大学）；University of Texas MD Anderson Cancer Center（德克萨斯大学 MD 安德森癌症中心）
该研究针对受稀疏异常值污染的三阶低张量秩张量，提出鲁棒迭代t-CUR算法，在交叉集中采样下实现高效鲁棒补全，经多类数据验证其准确性与鲁棒性。
2026-08-06 cs.IT cs.LG cs.NA
Improved Guarantees for Heterogeneous Treatment-Effect Estimation via Matrix Completion
Stanford University（斯坦福大学）；Vin University（文大学）；The University of Hong Kong（香港大学）；Yale University（耶鲁大学）
针对面板数据中的异质性处理效应估计问题，提出一种基于矩阵补全的简单高效估计器，在低秩假设下实现行向$\ell_2$误差$ ilde{O}(\sqrt{1/n + n/m^2})$，并首次建立了低秩逼近的行向$\ell_2$扰动界。
2026-05-28 cs.AI cs.DS cs.LG
Low-Rank Autoregressive Tensor Completion for Multivariate Time Series Forecasting
McGill University（麦吉尔大学）
时间序列预测是一个长期的研究课题，在许多领域都有重要的应用。从传感器网络收集的现代时间序列（例如，能量消耗和交通流量）通常是大规模的和不完整的，具有相当大的破坏和缺失值，使得难以执行准确的预测。在本文中，我们提出了一个低秩自回归张量完成（LATC）框架来建模多元时间序列数据。LATC的关键是将原始多变量时间序列矩阵（例如，传感器$\times$时间点）到三阶张量结构（例如，传感器$\times$一天中的时间$\times$一天），这允许我们将时间序列的固有节奏和季节性建模为全局模式。利用张量结构，我们可以将时间序列预测和缺失数据填补问题转化为一个通用的低秩张量补全问题。除了最小化张量秩，我们还集成了一个新的自回归范数的原始矩阵表示到目标函数。这两个组成部分发挥不同的作用。低秩结构使我们能够有效地捕捉所有三个维度的全球一致性和趋势（即，传感器之间的相似性、不同日期的相似性以及当前时间与历史上的同一天）。自回归范数可以更好地模拟局部时间趋势。我们在三个真实数据集上的数值实验表明，在缺失数据插补和滚动预测任务中，LATC中全局和局部趋势的集成具有优越性。
2020-06-18 cs.LG stat.ML
