Provable Subspace Tracking from Missing Data and Matrix Completion
Iowa State University（爱荷华州立大学）
我们研究了存在缺失数据（ST-缺失）的子空间跟踪问题。在最近的工作中，我们研究了一个相关的问题，称为强大的ST。在这项工作中，我们表明，一个简单的修改我们的强大的ST解决方案也可证明解决ST未命中和强大的ST未命中。据我们所知，我们的结果是ST未命中的第一个“完全”保证。这意味着我们可以证明，在仅对算法输入的假设下，输出子空间估计始终接近真实的数据子空间。我们的保证在温和且易于解释的假设下成立，并允许底层子空间以分段恒定的方式随时间变化。与此相反，所有现有的保证ST是部分的结果，并假设一个固定的未知子空间。大量的数值实验证明了我们的理论主张。最后，我们的解决方案可以被解释为一个可证明正确的小批量和内存有效的解决方案，低秩矩阵完成（MC）。
2019-05-30 cs.CV cs.LG stat.ML
Sample-efficient inductive matrix completion with noise and inexact side-information
Yale Department of Statistics and Data Sciences, Yale University（耶鲁大学统计与数据科学系）；UChicago Department of Statistics, University of Chicago（芝加哥大学统计系）
本文研究了在存在噪声和不精确侧信息的情况下，通过非凸投影梯度下降算法实现样本高效的归纳矩阵补全，提出了一个适用于有效问题规模的正则性条件，实现了线性收敛和估计误差仅依赖于有效问题规模的结论。
2026-06-09 cs.IT cs.LG math.IT
Orthogonal Inductive Matrix Completion
TU Kaiserslautern（凯泽斯劳滕工业大学）
我们提出了正交归纳矩阵完成（OMIC），一个可解释的方法，矩阵完成的基础上的总和多个标准正交边信息项，连同核范数正则化。该方法允许我们注入有关地面真值矩阵的奇异向量的先验知识。我们通过一个可证明收敛的算法来优化该方法，该算法同时优化模型的所有组件。我们研究了我们的方法的泛化能力，在这两个分布的自由设置和抽样分布的情况下，允许均匀的边缘，产生学习保证，提高质量的注入知识在这两种情况下。作为我们的框架的特殊情况下，我们提出的模型，可以将用户和项目的偏见或社区信息的联合和添加剂的方式。我们分析了几个合成和真实的数据集上的OMIC的性能。在合成数据集与滑动尺度的用户偏见的相关性，我们表明，OMIC更好地适应不同的制度比其他方法。在包含用户/项目推荐和相关辅助信息的真实数据集上，我们发现OMIC超越了最先进的技术，具有更大的可解释性。
2021-08-25 cs.LG stat.ML
Noisy Inductive Matrix Completion Under Sparse Factor Models
Yahoo! Research（雅虎研究院）；University of Minnesota – Twin Cities（明尼苏达大学双城分校）
归纳矩阵完备化（IMC）是一类重要的矩阵完备化问题，它允许直接包含可用特征以增强估计能力。这些模型已经在个性化推荐系统，多标签学习，字典学习等中找到了应用。本文研究了一类一般的噪声矩阵完成任务，其中底层矩阵遵循IMC模型，即，它由夹在两个已知特征矩阵之间的混合矩阵（先验未知）形成。这里的混合矩阵被假设为是由两个稀疏矩阵的乘积很好地近似的-这里被称为“稀疏因子模型”。“我们利用Soni：2016：NMC的主要定理，并将其扩展为本文讨论的一类问题的稀疏正则化极大似然估计量提供理论误差界。的主要结果是一般的意义上，它可以用来推导各种噪声模型的误差界。在本文中，我们实例化我们的主要结果的情况下，高斯噪声，并提供相应的误差界的平方损失。
2016-09-13 cs.LG math.ST stat.ML
Nonlinear Inductive Matrix Completion based on One-layer Neural Networks
UT-Austin（得克萨斯大学奥斯汀分校）；Harvard University（哈佛大学）；Microsoft Research, India（微软印度研究院）；Amazon/A9（亚马逊A9）
推荐系统的目标是通过利用现有的评分集以及某些用户/项目特征来预测用户对给定项目的兴趣。对这个问题建模的标准方法是归纳矩阵完成，其中预测的评级被建模为用户和投影到潜在空间上的项目特征的内积。为了从少量的观察到的评级有效地学习参数，潜在空间被约束为低维，这意味着参数矩阵被约束为低秩。然而，这种评级的双线性建模在实践中可能是限制性的，并且非线性预测函数可以导致显著的改进。在预测函数中引入非线性的自然方法是在投影的用户/项目特征之上应用非线性激活函数。非线性的施加进一步使已经具有挑战性的问题复杂化，该问题具有两个非凸性来源：a）参数矩阵的低秩结构，以及b）非线性激活函数。我们表明，仍然可以解决的非线性归纳矩阵完成问题，使用梯度下降型方法，只要解决方案是初始化好。也就是说，接近最优，优化函数是强凸的，因此允许标准优化技术，至少对于某些激活函数，如Sigmoid和tanh。我们还强调了激活函数的重要性，并展示了ReLU如何表现出与sigmoid函数显著不同的行为。最后，我们将我们提出的技术应用于推荐系统和半监督聚类，并表明我们的方法可以比标准的线性归纳矩阵完成方法带来更好的性能。
2018-05-26 cs.LG stat.ML
Tensor Completion with Provable Consistency and Fairness Guarantees for Recommender Systems
提出基于单位尺度一致性的张量补全框架，保证推荐系统解的存在性与唯一性，兼具公平性，算法复杂度线性，无需启发式统计或AI方法。
2023-10-17 cs.IR cs.LG
BVSIMC: Bayesian Variable Selection-Guided Inductive Matrix Completion for Improved and Interpretable Drug Discovery
Department of Statistics University of South Carolina（统计学系南卡罗来纳大学）；Department of Biostatistics University of South Carolina（生物统计学系南卡罗来纳大学）；Department of Biostatistics University of Florida（生物统计学系佛罗里达大学）；Department of Surgery University of Florida（外科医学系佛罗里达大学）；Department of Statistics George Mason University（统计学系乔治·梅森大学）
本文提出BVSIMC模型，通过学习稀疏潜在嵌入提升药物发现预测精度和可解释性，并在模拟研究和两个真实应用中优于其他方法，揭示了临床意义最大的侧信息特征。
2026-03-19 cs.LG stat.ME
Graph Signal Sampling for Inductive One-Bit Matrix Completion: a Closed-form Solution
Shanghai Jiao Tong University（上海交通大学）；Didi Chuxing（滴滴出行）；Shanghai AI Laboratory（上海人工智能实验室）
归纳一位矩阵完成的动机是现代的应用程序，如推荐系统，其中新用户将出现在测试阶段的评级只包括1和没有零。我们提出了一个统一的图形信号采样框架，享有图形信号分析和处理的好处。其关键思想是将每个用户对项目的评分转换为项目-项目图的顶点上的函数（信号），然后学习结构图属性以从某些顶点上的值恢复函数-图信号采样问题。我们提出了一类正则化泛函，考虑到离散的随机标签噪声在图顶点域，然后开发的GS-IMC方法，偏向于重建功能，相邻顶点之间的变化很小的降噪。理论结果表明，在温和的条件下，可以实现精确的重建。对于在线设置，我们开发了贝叶斯扩展，即，BGS-IMC在图形傅立叶域中考虑连续随机高斯噪声，并建立在预测校正更新算法的基础上，以获得无偏和最小方差重建。GS-IMC和BGS-IMC都具有封闭形式的解决方案，因此在大数据中具有高度的可扩展性。实验表明，我们的方法在公共基准测试中达到了最先进的性能。
2023-02-08 cs.LG
Tensor Completion Made Practical
Massachusetts Institute of Technology（麻省理工学院）
针对低秩张量补全中现有方法难兼顾理论保证与实用性的问题，提出新型交替最小化算法，可在因子高度相关时近线性时间实现线性收敛，并高效补全千维三阶张量。
2021-12-25 cs.DS cs.LG math.ST
Inductive Pairwise Ranking: Going Beyond the n log(n) Barrier
University of California Irvine（加州大学欧文分校）；Xerox Research Centre India（施乐印度研究中心）
我们研究了从非主动选择的成对偏好中对一组项目进行排序的问题，其中每个项目都有特征信息，我们提出并描述了一类非常广泛的偏好矩阵，从而产生了特征低秩（FLR）模型，它包含了从经典的布拉德利-特里-卢斯（BTL）（Bradley和Terry 1952）和Thurstone（Thurstone 1927）模型到最近提出的叶片胸部（Chen和Joachims 2016）和通用低等级偏好（Rajkumar和Agarwal 2016）模型。我们使用的技术矩阵完成边信息的存在下开发的归纳成对排名（IPR）算法，可证明学习一个良好的排名下的FLR模型，在一个样本有效的方式。在实践中，通过系统的合成模拟，我们证实了我们的理论研究结果，由于使用的特征信息的样本复杂性的改善。此外，在流行的现实世界偏好学习数据集上，只需对成对比较进行10%的采样，我们的方法就可以恢复良好的排名。
2017-02-09 cs.IT cs.LG math.IT
Provable Low Rank Plus Sparse Matrix Separation Via Nonconvex Regularizers
University of Pittsburgh（匹兹堡大学）；UPMC Hillman Cancer Center（匹兹堡大学医学中心希尔曼癌症中心）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文考虑了一个大类的问题，我们试图恢复一个低秩矩阵和/或稀疏向量从一些测量。虽然基于凸松弛的方法遭受（可能很大）估计偏差，和其他非凸方法需要的秩或稀疏性是已知的先验，我们使用非凸正则化，以最大限度地减少秩和$l_0$规范没有估计偏差的凸松弛。我们提出了一种新的分析交替近端梯度下降算法应用到这样的问题，并绑定的迭代和地面真实稀疏和低秩矩阵之间的误差。该算法和误差界可以应用于稀疏优化，矩阵补充，和鲁棒主成分分析作为我们的结果的特殊情况。
2021-09-26 cs.LG math.OC stat.ML
Exact Tensor Completion from Sparsely Corrupted Observations via Convex Optimization
Hong Kong Baptist University（香港浸会大学）
本文对多维数组，特别是三阶张量的可证明估计进行了严格的分析，从其损坏项的随机子集。我们的研究很大程度上依赖于最近提出的张量代数框架，在该框架中，我们可以获得张量奇异值分解（t-SVD），这是类似于矩阵的SVD，并定义了一个新的概念张量秩称为管秩。我们证明，通过简单地解决一个凸规划，它最小化的加权组合的管核范数，凸代理管秩，和$\ell_1$ -范数，可以恢复一个不相干的张量完全压倒性的概率，只要它的管秩不是太大，腐败是合理的稀疏。有趣的是，我们的结果包括恢复保证的问题，张量完成（TC）和张量主成分分析（TRPCA）在相同的代数设置的特殊情况下。提出了一种交替方向乘子法（ADMM）算法来求解该优化问题。数值实验验证了我们的理论和实际应用证明了我们的算法的有效性。
2017-08-02 cs.CV cs.IT cs.LG
Collaborative Self-Attention for Recommender Systems
推荐系统（RS），这已经在广泛的应用中的一个重要组成部分，可以表示为一个矩阵完成（MC）问题。为了提高MC的性能，进一步提出了带边信息的矩阵完备化方法，称为归纳矩阵完备化（IMC）。在实际应用中，因式分解形式的内模控制由于其优化和实现效率而更受青睐。对于分解后的特征，传统的内模传播方法可以被解释为学习每个特征的独立表示，这些表示是相互独立的。此外，相同特征的表示跨所有用户/项目共享。然而，跨所有用户/项目的特征的独立特性和相同特征的共享特性可能限制模型的表达能力。该限制也存在于IMC的变体中，例如基于深度学习的IMC模型。为了突破这一局限性，本文将自我注意力机制的最新进展推广到内模传播，提出了一种上下文感知的协作自我注意力模型（CSA），它可以联合学习上下文感知的特征表示，并执行归纳矩阵补全过程。在实际遥感应用的三个大规模数据集上的实验证明了CSA的有效性。
2020-02-12 cs.IR cs.LG stat.ML
Regularizing Autoencoder-Based Matrix Completion Models via Manifold Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）；imec；Duke University（杜克大学）
自编码器在基于神经网络的矩阵补全模型中很受欢迎，因为它们能够从部分观测矩阵中检索潜在的潜在因子。然而，当训练数据是稀缺的，他们的性能显着下降，由于过拟合。在本文中，我们使用依赖于多任务学习原理的数据依赖正则化技术来解决过拟合问题。具体来说，我们提出了一个基于自动编码器的矩阵完成模型，该模型将未知矩阵值的预测作为主要任务，并将流形学习作为辅助任务。后者作为一个归纳偏差，导致解决方案，更好地推广。所提出的模型优于现有的基于自动编码器的模型设计的矩阵完成，在知名的数据集实现高重建精度。
2018-07-04 cs.AI cs.LG stat.ML
Matrix Completion from General Deterministic Sampling Patterns
Purdue University（普渡大学）；MIT（麻省理工学院）
本文针对任意确定性采样模式，利用观测图的连通性和节点度性质，为约束核范数最小化求解精确及近似低秩矩阵补全建立理论保证，并改进对称矩阵情形下的已有结果。
2023-06-04 cs.LG stat.ML
Provable Tensor Ring Completion
University of Electronic Science and Technology of China (UESTC)（电子科技大学）；School of Information and Communication Engineering, University of Electronic Science and Technology of China (UESTC)（电子科技大学信息与通信工程学院）
张量完成从有限数量的测量恢复多维数组。利用最近提出的张量环（TR）分解，本文证明了在给定n^{d/2} r^2 ln^7（n^{d/2}）个样本的情况下，通过求解凸优化程序，可以以很高的概率精确地恢复维数为n、TR秩为r的d阶张量.所提出的TR不相干条件下的结果保持类似的矩阵不相干条件。通过对合成数据的实验，验证了该方法对TR完成的恢复保证。此外，在真实数据上的实验表明，我们的方法提高了恢复性能相比，国家的最先进的方法。
2020-01-09 cs.LG stat.ML
Conformalized matrix completion
本文提出一种基于共形预测的无分布方法conformalized matrix completion（cmc），用于解决矩阵补全中的预测推断与不确定性量化问题，在保证预测覆盖的同时对模型误设具有鲁棒性。
2023-10-23 stat.ME
Noise-Tolerant Life-Long Matrix Completion via Adaptive Sampling
Carnegie Mellon University（卡内基梅隆大学）
我们研究了恢复一个不完整的$m\times n$矩阵的秩$r$随着时间的推移到达在线列的问题。这被称为生命周期矩阵完备化问题，并被广泛应用于推荐系统，计算机视觉，系统辨识等。挑战是设计可证明的算法容忍大量的噪声，具有小的样本复杂度。在这项工作中，我们给出了算法实现两个现实的噪声模型下的强保证。在有界确定性噪声中，对手可以将任何有界但非结构化的噪声添加到每列。对于这个问题，我们提出了一种算法，该算法返回一个具有小误差的矩阵，样本复杂度几乎与无噪声情况下的最佳先验结果一样小。对于稀疏随机噪声，即随机抽取的稀疏列，我们给出了一种算法，该算法以至少$1-δ$的概率精确恢复$μ_0$ -非相干矩阵，样本复杂度为$O\left(μ_0rn\log (r/δ)\right)$ .该结果推进了最先进的工作，并在最坏情况下匹配下限。我们还研究了隐藏矩阵位于子空间的混合物上的情况，并表明样本的复杂性可以更小。我们提出的算法在合成和真实世界的数据集实验表现良好。
2016-12-01 cs.LG stat.ML
Online Matrix Completion with Side Information
University College London（伦敦大学学院）
给出了一个带边信息的二元矩阵在线完备化的在线算法，并证明了新的错误界和遗憾界。我们证明的错误界的形式为$\tilde{O}(D/γ^2)$。术语$1/γ^2$类似于SVM（感知器）边界中的通常裕度项。更具体地说，如果我们假设存在基础$m \times n$矩阵到$P Q^\intercal$的某种因子分解，其中$P$的行在$\mathcal{R}^d$中被解释为“分类器”，而$Q$的行在$\mathcal{R}^d$中被解释为“实例”，则$γ$是与观察到的矩阵一致的所有因子分解$P Q^\intercal$上的最大（归一化）余量。准维项$D$测量边信息的质量。在存在空洞的边信息时，$D= m+n$ .然而，如果边信息预测矩阵的基本因式分解，则在理想情况下，为$D \in O(k + \ell)$，其中$k$是不同行因子的数目，而$\ell$是不同列因子的数目。我们还提供了一个概括我们的算法的归纳设置。在该设置中，我们提供了一个不预先直接指定边信息的示例。对于该示例，准维度$D$现在由$O(k^2 + \ell^2)$界定。
2020-05-15 cs.LG stat.ML
Fast and Provable Tensor-Train Format Tensor Completion via Precondtioned Riemannian Gradient Descent
The Hong Kong University of Science and Technology（香港科技大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出预条件黎曼梯度下降算法（PRGD）解决张量列车格式的低秩张量补全问题，证明线性收敛，并在模拟与真实数据上大幅减少计算时间和迭代次数。
2025-01-23 cs.LG cs.NA math.NA
Provable Low Rank Phase Retrieval
Iowa State University（爱荷华州立大学）
我们研究了低秩相位恢复（LRPR）问题，定义如下：恢复一个$n \times q$矩阵$X^*$的秩$r$从不同的和独立的一组$m$无相位（仅幅度）的线性投影的每一列。准确地说，当测量矩阵$A_k$相互独立时，我们需要从$y_k := |A_k{}' x^*_k|, k=1,2,\dots, q$恢复$X^*$。这里，$y_k$是$m$长度向量，$A_k$是$n \times m$矩阵，$'$表示矩阵转置。问题是我们什么时候可以用$m \ll n$解决LRPR？可靠的解决方案可以实现快速且低成本的无相位动态成像，例如，活体生物标本的傅立叶重叠关联成像。在这项工作中，我们开发了第一个可证明正确的方法来解决这个LRPR问题。我们提出的算法，交替最小化低秩相位恢复（AltMinLowRaP），是一个基于AltMin的解决方案，因此也是可证明的快速（几何收敛）。我们的保证表明，AltMinLowRaP以高概率将LRPR求解为$ε$精度，只要$m q \ge C n r^4 \log(1/ε)$，矩阵$A_k$包含i.i.d.标准高斯项，并且$X^*$的右奇异向量满足来自矩阵完备化文献的不相干假设。这里$C$是一个数值常数，它只取决于$X^*$的条件数和它的不相干参数。其时间复杂度仅为$ C mq nr \log^2(1/ε)$。由于即使是上述问题的线性（有相位）版本也没有完全解决，因此上述…
2020-11-25 cs.LG stat.ML
An Admissible Shift-Consistent Method for Recommender Systems
University of Missouri - Columbia（密苏里大学哥伦比亚分校）
提出一种满足可容许性、公平性和鲁棒性的移位一致性约束方法，用于推荐系统中的矩阵/张量补全，并推广至张量形式以处理复杂结构关系。
2023-07-17 cs.IR cs.LG
Generalization Bounds for Inductive Matrix Completion in Low-noise Settings
Singapore Management University (SMU)（新加坡管理大学）；Czech Technical University in Prague (CTU)（捷克理工大学）；Hong Kong Baptist University (HKBU)（香港浸会大学）；Technische Universität Kaiserslautern (TUK)（凯泽斯劳滕工业大学）
本文研究了独立同分布下的归纳矩阵完备化问题。在低噪声状态下的亚高斯噪声假设，具有条目的均匀采样。我们首次得到了具有以下三个性质的推广界：（1）它们的尺度类似于噪声的标准差，特别是在精确恢复的情况下，它们趋近于零;（2）即使在噪声存在的情况下，当样本容量趋于无穷大时，它们也收敛于零;以及（3）对于边信息的固定维数，它们仅对矩阵的大小具有对数依赖性。从许多近似恢复的作品中，我们提出了有界Lipschitz损失和绝对损失的结果，后者依赖于Talagrand型不等式。证明创建一个桥梁之间的两种方法的理论分析矩阵完成，因为它们包括在一个组合的技术，从精确的恢复文献和近似恢复文献。
2022-12-16 cs.LG stat.ML
PU Learning for Matrix Completion
University of Texas（德克萨斯大学）
本文研究了在仅观测到二进制测量值的情况下，如何通过PU学习方法进行矩阵补全，提出了两种方法并给出了误差界和样本复杂度。
2014-11-22 cs.LG cs.NA math.NA
A Non-convex One-Pass Framework for Generalized Factorization Machine and Rank-One Matrix Sensing
University of Michigan（密歇根大学）
我们开发了一个有效的交替框架，用于学习具有可证明保证的数据流上的广义因式分解机（gFM）。当样本是从$d$维随机高斯向量中采样的，且gFM中的目标二阶系数矩阵秩为$k$时，算法线性收敛，在检索$O(k^{3}d\log(1/ε))$训练样本后达到$O(ε)$恢复误差，一遍数据集消耗$O(kd)$内存，每次迭代只需要矩阵向量乘积运算。我们的框架的关键成分是一个建设的估计序列赋予所谓的连续性独立RIP条件（CI-RIP）。作为gFM的特殊情况，我们的框架可以应用于对称或非对称的秩一矩阵传感问题，如归纳矩阵完成和相位检索。
2016-10-25 cs.LG stat.ML
LRSVRG-IMC: An SVRG-Based Algorithm for LowRank Inductive Matrix Completion
Sun Yat-sen University（中山大学）
低秩归纳矩阵完备（IMC）目前被广泛应用于物联网数据完备、推荐系统等领域，其边信息在减少样本点方面表现出巨大潜力，但这仍然是IMC非凸解收敛的主要障碍。更重要的是，仅仅仔细选择初始解通常并不能帮助去除鞍点。为了解决这个问题，我们提出了一个随机方差减少梯度为基础的算法称为LRSVRG-IMC。LRSVRG-IMC在各种低秩和稀疏条件下，通过适当选择初始输入，可以从鞍点逃逸。我们还证明了LRSVRG-IMC实现了线性收敛速度和接近最优的样本复杂度。在人工数据集上的实验验证了LRSVRG-IMC的优越性和适用性。
2022-01-21 cs.LG
GNMR: A provable one-line algorithm for low rank matrix recovery
Weizmann Institute of Science（魏茨曼科学研究所）
低秩矩阵恢复问题，包括矩阵补全和矩阵检测，出现在广泛的应用。在这项工作中，我们提出了GNMR -一个非常简单的迭代算法低秩矩阵恢复，基于高斯-牛顿线性化。在理论方面，我们得到恢复保证GNMR在矩阵检测和矩阵完成设置。其中一些结果改进了目前已知的其他方法。GNMR的一个关键属性是它在整个迭代过程中隐式地保持因子矩阵近似平衡。在经验方面，我们表明，对于均匀采样的矩阵完成，GNMR比几种流行的方法表现得更好，特别是当给出非常少的观测接近信息限制时。
2022-04-27 cs.LG cs.NA math.NA
Matrix Completion with Graph Information: A Provable Nonconvex Optimization Approach
针对图辅助信息矩阵补全问题，提出非凸优化算法GSGD，解决现有图拉普拉斯正则化方法的局限，理论证明其线性收敛到全局最优且样本复杂度近优，实验验证其恢复精度和可扩展性更优。
2025-02-12 cs.LG math.OC
Structured Low-Rank Matrix Factorization with Missing and Grossly Corrupted Observations
The Chinese University of Hong Kong（香港中文大学）；Arizona State University（亚利桑那州立大学）
从不完整或损坏的观测值中恢复低秩和稀疏矩阵是机器学习、统计学、生物信息学、计算机视觉以及信号和图像处理中的重要问题。理论上，这个问题可以通过自然凸联合/混合松弛（即，l_{1} -范数和迹范数）。然而，目前所有的可证明算法遭受超线性每次迭代成本，这严重限制了它们的适用性，以大规模的问题。在本文中，我们提出了一个可扩展的，可证明的结构化低秩矩阵分解方法，以恢复低秩和稀疏矩阵从丢失和严重损坏的数据，即，鲁棒矩阵完成（RMC）问题，或不完整和严重损坏的测量，即，压缩主成分追踪（CPCP）问题。具体来说，我们首先提出了两个小规模矩阵迹范数正则化双线性结构因子分解模型的RMC和CPCP问题，其中重复计算的SVD的大规模矩阵的更新两个小得多的因子矩阵。然后，我们应用交替方向乘子法（ADMM）有效地解决RMC问题。最后，我们提供了我们的算法的收敛性分析，并将其扩展到解决一般的CPCP问题。实验结果验证了我们的方法与国家的最先进的方法相比，效率和有效性。
2014-09-03 cs.CV cs.LG stat.ML
Predicting from a Different Perspective: A Re-ranking Model for Inductive Knowledge Graph Completion
The University of Electro-Communications（电气通信大学）
针对归纳式知识图谱补全场景下规则归纳模型因规则不同导致预测有差异的特性，提出重排序模型ReDistLP，利用初始检索器与重排器的预测差异提升效果，在2/3基准上超越现有最优方法。
2024-06-19 cs.LG
Inductive Matrix Completion Using Graph Autoencoder
Nanjing University（南京大学）；Tsinghua University（清华大学）；ShanghaiTech University（上海科技大学）；Beihang University（北京航空航天大学）；Nanjing University of Information Science and Technology（南京信息工程大学）
最近，图神经网络（GNN）通过将评级矩阵公式化为二分图，然后预测相应的用户和项目节点之间的链接，在矩阵完成中显示出强大的功能。大多数基于GNN的矩阵补全方法都是基于图自动编码器（GAE）的，它将one-hot索引作为输入，将用户（或项目）索引映射到可学习的嵌入，应用GNN来学习基于这些可学习的嵌入的特定于节点的表示，并最终聚合目标用户及其对应项目节点的表示来预测丢失的链接。然而，如果没有节点内容（即，边信息）进行训练，用户（或项目）特定的表示不能在归纳设置中学习，也就是说，在一组用户（或项目）上训练的模型不能适应新的用户（或项目）。为此，我们提出了一种使用GAE的归纳矩阵完成方法（IMC-GAE），该方法利用GAE学习个性化推荐的用户特定（或特定于项目）表示和归纳矩阵完成的局部图模式。具体来说，我们设计了两个信息节点的功能，并采用逐层节点辍学计划在GAE学习本地图形模式，可以推广到看不见的数据。我们的论文的主要贡献是在GAE中有效学习局部图模式的能力，与以前基于GNN的矩阵完成方法相比，具有良好的可扩展性和卓越的表达能力。此外，大量的实验表明，我们的模型在几个矩阵完成基准上达到了最先进的性能。我们的官方代码是公开的。
2021-08-25 cs.AI cs.LG
Inductive Matrix Completion: No Bad Local Minima and a Fast Algorithm
Faculty of Mathematics and Computer Science, Weizmann Institute of Science（魏茨曼科学研究所数学与计算机科学学院）
归纳矩阵完备化问题是从少量的观测元素中恢复一个低秩矩阵，同时结合关于其行和列子空间的先验知识。在本文中，我们对内模控制问题做了三个方面的贡献：（i）证明了在适当的条件下，内模控制优化景观没有坏的局部极小;（ii）我们得到了一个简单的方案，理论上保证了未知矩阵的秩估计;以及（iii）我们提出了GNIMC，一个简单的基于高斯-牛顿的方法来解决IMC问题，GNIMC的保证在几个方面比其他方法更清晰，包括二次收敛速度，所需的观察条目更少以及对错误或低秩偏差的稳定性。从经验上讲，给定随机均匀观察的条目，GNIMC比几种竞争方法更快地恢复底层矩阵。
2022-01-31 cs.LG math.OC
Towards Better Benchmark Datasets for Inductive Knowledge Graph Completion
Michigan State University（密歇根州立大学）
本文发现现有归纳式知识图谱补全基准数据集存在可被PPR分数利用的捷径问题，通过分析根本原因提出新的数据集构建策略以缓解该问题，并验证了新基准对评估模型真实能力的有效性。
2025-06-24 cs.AI cs.LG
Inductive learning for product assortment graph completion
H&M Group（H&M集团）
全球零售商拥有包含数十万种产品的广告，这些产品可以通过几种类型的关系（如风格兼容性，“一起购买”，“一起观看”等）联系起来。像样式兼容性这样的关系通常是由手动过程产生的，因此不会均匀地覆盖整个图。我们建议使用归纳学习来增强时尚分类的图形编码风格兼容性，利用包括文本描述和视觉数据的丰富节点信息。然后，我们展示了如何提出的图形增强大大提高了性能的转换任务，图稀疏性的影响很小。
2021-10-04 cs.AI cs.LG
Inductive Framework for Multi-Aspect Streaming Tensor Completion with Side Information
Indian Institute of Science（印度科学学院）；Microsoft（微软）
低秩张量完备化是一个研究得很好的问题，在许多领域都有应用。然而，在许多现实世界的应用中，数据是动态的，即，新数据以不同的时间间隔到达。因此，用于表示数据的张量的大小会增加。除了张量之外，在许多现实世界的场景中，边信息也可以以矩阵的形式提供，这些矩阵的大小也会随着时间的推移而增长。预测动态增长张量中缺失值的问题称为动态张量完备化。以前的大多数动态张量完备化工作都假设张量只以一种模式增长。据我们所知，没有以前的工作，将边信息与动态张量完成。本文提出了一个动态张量完备框架，称为边信息注入增量张量分析（SIITA），它结合了边信息，适用于一般的增量张量。我们还展示了如何将非负约束与SIITA相结合，这对于挖掘可解释的潜在集群至关重要。我们在多个真实世界的数据集上进行了广泛的实验，以证明SIITA在各种不同环境中的有效性。
2018-09-01 cs.LG
Implicit Bias and Convergence of Matrix Stochastic Mirror Descent
本文研究了矩阵随机镜像下降法在过参数化 regime 中的收敛性，揭示了矩阵镜像函数对高维多输出问题归纳偏置的影响。
2026-02-27 cs.LG math.OC stat.ML
Inductive Knowledge Graph Completion with GNNs and Rules: An Analysis
Cardiff University（卡迪夫大学）
针对归纳式知识图谱补全中基于规则的方法表现不如GNN方法的问题，分析了不合理实体未排名和仅考虑单一路径两个原因，提出多种规则变体，在保留可解释性的同时达到或超越NBFNet性能。
2024-03-24 cs.AI cs.LG cs.SI
S$^2$DN: Learning to Denoise Unconvincing Knowledge for Inductive Knowledge Graph Completion
Hunan University（湖南大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Xiangtan University（湘潭大学）
针对归纳式知识图谱补全中相似关系语义不一致及不可信知识导致噪声交互的问题，提出语义结构感知去噪网络S$^2$DN，通过语义平滑和结构精炼模块提取一致语义并保留可靠交互，在三个基准上超越现有模型。
2024-12-20 cs.AI cs.CL cs.LG
Replacing Paths with Connection-Biased Attention for Knowledge Graph Completion
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
本文提出CBLiP模型，通过连接偏置注意力和实体角色嵌入替代路径编码模块，在归纳式知识图谱补全中实现更快且具有竞争力或更优的链接预测性能。
2025-04-09 cs.LG
Worst-case low-rank approximations
本文提出wcPCA框架，通过考虑最坏情况性能，改进了低秩近似在异质领域中的应用，提出了新的估计器并证明了其最坏情况最优性。
2026-03-11 cs.AI cs.LG stat.ME
Provable Non-Convex Euclidean Distance Matrix Completion: Geometry, Reconstruction, and Robustness
Tufts University（塔夫茨大学）；University of Central Florida（中央佛罗里达大学）
本文将欧氏距离矩阵补全建模为半正定Gram矩阵上的低秩补全问题，提出黎曼优化框架，证明黎曼梯度下降在伯努利采样下以高概率线性收敛，并给出硬阈值初始化、限制等距性质分析及鲁棒性保证。
2025-09-18 cs.CG cs.LG math.OC
Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation from Incomplete Measurements
Carnegie Mellon University（卡内基梅隆大学）；University of Chicago（芝加哥大学）；Air Force Research Laboratory（美国空军研究实验室）
张量为表示多属性数据和多方式交互提供了强大而灵活的模型，在科学和工程各个领域的现代数据科学中发挥着不可或缺的作用。一个基本的任务是忠实地恢复张量从高度不完整的测量在统计和计算效率的方式。利用Tucker分解中张量的低秩结构，本文提出了一种尺度梯度下降算法（ScaledGD）算法，以直接恢复张量因子与定制的频谱初始化，并表明，它可证明收敛在一个线性速率独立的地面真理张量的条件数的两个典型问题-张量完成和张量回归-只要样本大小高于$n^{3/2}$的数量级，忽略其他参数依赖性，其中$n$是张量的维数。与现有技术相比，这导致对低秩张量估计的极其可扩展的方法，现有技术遭受以下缺点中的至少一个：对病态的极端敏感性、在存储器和计算方面的高每次迭代成本、或差的样本复杂度保证。据我们所知，ScaledGD是第一个同时实现接近最佳统计和计算复杂性的低秩张量完成与塔克分解的算法。我们的算法突出了适当的预处理在加速非凸统计估计中的作用，其中迭代变化的预处理器促进了低秩张量因子分解中关于潜在对称性的轨迹的理想不变性。
2022-06-22 cs.IT cs.LG eess.SP
InGram: Inductive Knowledge Graph Embedding via Relation Graphs
KAIST（韩国科学技术院）
针对归纳知识图谱补全中推理时新实体常伴随新关系的问题，本文提出 InGram，通过关系图与注意力机制聚合生成新实体和新关系嵌入，并在多种场景下优于14种最先进方法。
2023-08-17 cs.AI cs.LG
Partial Matrix Completion
Princeton University（普林斯顿大学）；Google DeepMind（谷歌DeepMind）；Microsoft Research（微软研究院）；University of Oxford（牛津大学）；Harvard University（哈佛大学）
针对不同元素补全精度差异显著的问题，提出部分矩阵补全框架及高准确、高覆盖的高效算法，并为在线变体设计基于梯度更新的低遗憾算法。
2023-12-17 cs.DS cs.IR cs.LG
Global Convergence Analysis of Vanilla Gradient Descent for Asymmetric Matrix Completion
School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）；Department of Architecture and Design, Huawei Cloud（华为云建筑与设计部门）；Future Technology Research Center, China Telecom Research Institute（中国电信研究院未来技术研究中心）；Department of Mathematics, The Chinese University of Hong Kong（香港中文大学数学系）；Key Laboratory of Collaborative Intelligence Systems, Ministry of Education, School of Electronic Engineering, Xidian University（教育部协同智能系统重点实验室、西安电子科技大学电子工程学院）；Academy of Artificial Intelligence, College of Mathematics Science, Inner Mongolia Normal University（内蒙古师范大学数学学院人工智能学院）
本文研究非对称低秩矩阵补全问题，通过引入留一法技术，证明了具有谱初始化的原始梯度下降能以高概率实现线性收敛，并揭示了其隐式正则化性质，在保持可比性能的同时降低了计算成本。
2025-08-13 cs.IT cs.LG math.IT
Tensor Completion via Integer Optimization
The Ohio State University（俄亥俄州立大学）；University of California Berkeley（加州大学伯克利分校）
本文提出一种基于整数线性优化和 Frank-Wolfe 变体的张量补全算法，在线性 oracle 步骤内同时实现可证明收敛与信息论样本复杂度速率，并在千万级元素张量上验证了可扩展性。
2024-04-03 cs.LG math.OC
Open Problem: Separating Geometric and Algorithmic Compression via Cayley-Table Completion
Dongsung Huh
提出凯莱表完成作为测试缺失的算法复杂度最小化归纳偏置的规范问题，并挑战社区将连续平坦性先验推广以自主发现离散算法公理。
2026-05-28 cond-mat.dis-nn cs.LG math.OC
FI-GRL: Fast Inductive Graph Representation Learning via Projection-Cost Preservation
Peking University（北京大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Tsinghua University（清华大学）
图表示学习旨在将图数据转换为有意义的低维向量，以便于使用针对一般数据设计的机器学习和数据采掘算法。目前大多数图表示学习方法都是直推的，这意味着它们要求在学习图表示时图中的所有节点都是已知的，这些方法不能自然地推广到看不见的节点。在本文中，我们提出了一个快速归纳图表示学习框架（FI-GRL）学习节点的低维表示。我们的方法可以得到准确的表示，看到的节点与可证明的理论保证，可以很容易地推广到看不见的节点。具体地说，为了显式地解耦图所表示的节点关系，我们将节点转换到由随机投影矩阵所张成的随机子空间中。该阶段保证保持与图的归一化割高度相关的归一化随机游走矩阵的投影成本。然后对得到的矩阵草图进行奇异值分解，实现特征提取。通过利用矩阵草图的投影成本保持特性，获得了接近最优的表示结果。为了处理不可见的节点，我们利用折叠技术来学习它们的有意义的表示。经验上，当可见节点的数量大于不可见节点的数量时，FI-GRL总是取得优异的结果。我们的算法是快速的，简单的实现和理论上的保证。在真实数据集上的大量实验表明，我们的算法在宏观层面（聚类）和微观层面（结构洞检测）的应用程序的功效和效率上的优越性。
2018-09-07 cs.LG cs.SI stat.ML
Spectal Harmonics: Bridging Spectral Embedding and Matrix Completion in Self-Supervised Learning
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Artificial Intelligence Research Institute (AIRI)（人工智能研究院（AIRI））；Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术学院（Skoltech））
本文从拉普拉斯算子视角将自监督学习中的增强归纳偏置与低秩矩阵补全联系起来，并利用矩阵补全理论分析现代自监督学习方法的收敛性及影响下游性能的关键性质。
2023-10-30 cs.LG
LRTuckerRep: Low-rank Tucker Representation Model for Multi-dimensional Data Completion
Department of Statistics and Data Science, Southern University of Science and Technology（统计与数据科学系，南方科技大学）
提出LRTuckerRep模型，统一低秩与平滑先验于Tucker分解，实现高缺失率下多维数据高效精准补全。
2025-08-04 cs.CV cs.LG cs.NA
Simple Heuristics Yield Provable Algorithms for Masked Low-Rank Approximation
UMass Amherst（马萨诸塞大学阿默斯特分校）；New York University（纽约大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了带掩码的低秩近似问题，提出了一种简单的启发式方法，通过将掩码为0的区域设为0，然后求解标准低秩近似，从而得到具有双标准逼近保证的算法。
2020-11-30 cs.DS cs.LG cs.NA
Higher order Matching Pursuit for Low Rank Tensor Learning
KU Leuven（鲁汶大学）
低秩张量学习，如张量补全和多线性多任务学习，近年来受到了广泛的关注。本文提出了高阶匹配追踪方法来解决具有凸或非凸代价函数的低秩张量学习问题，它是匹配追踪方法的推广。在每次迭代中，所提出的方法的主要成本仅是计算一个秩一张量，这可以有效地完成，使所提出的方法可扩展到大规模的问题。此外，存储所得到的秩一张量具有低的存储需求，这有助于打破维数灾难。所提出的方法的线性收敛速度建立在各种情况下。在主要方法的基础上，我们还提出了一种计算复杂度较低的秩1张量近似计算方法，该方法具有可证明的近似比，有助于提高主要方法的效率并分析其收敛速度.在合成数据集和真实数据集上的实验结果验证了所提方法的有效性。
2015-03-07 cs.LG math.OC stat.ML
