Global Convergence Analysis of Vanilla Gradient Descent for Asymmetric Matrix Completion
School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）；Department of Architecture and Design, Huawei Cloud（华为云建筑与设计部门）；Future Technology Research Center, China Telecom Research Institute（中国电信研究院未来技术研究中心）；Department of Mathematics, The Chinese University of Hong Kong（香港中文大学数学系）；Key Laboratory of Collaborative Intelligence Systems, Ministry of Education, School of Electronic Engineering, Xidian University（教育部协同智能系统重点实验室、西安电子科技大学电子工程学院）；Academy of Artificial Intelligence, College of Mathematics Science, Inner Mongolia Normal University（内蒙古师范大学数学学院人工智能学院）
本文研究非对称低秩矩阵补全问题，通过引入留一法技术，证明了具有谱初始化的原始梯度下降能以高概率实现线性收敛，并揭示了其隐式正则化性质，在保持可比性能的同时降低了计算成本。
2025-08-13 cs.IT cs.LG math.IT
Projected Wirtinger Gradient Descent for Low-Rank Hankel Matrix Completion in Spectral Compressed Sensing
University of Iowa（爱荷华大学）
本文考虑从少量随机观测的时域样本中重建频谱稀疏信号。感兴趣的信号是$R$不同频率的复正弦曲线的线性组合。频率可以采用归一化频域$[0,1)$中的任何连续值。在将频谱稀疏信号恢复问题转化为低秩结构矩阵完备化问题后，提出了一种有效的可行点方法--投影Wirtinger梯度下降（PWGD）算法，有效地解决了该结构矩阵完备化问题.我们进一步加速我们提出的算法的FISTA启发的计划。我们给出了我们提出的算法的收敛性分析。大量的数值实验来说明我们所提出的算法的效率。与以前的方法不同，我们的算法可以非常有效地解决非常大的维度的问题。
2015-07-14 cs.IT cs.LG math.IT
Nearly-optimal Robust Matrix Completion
Microsoft Research India（微软印度研究院）
本文提出一种简单投影梯度下降方法，通过交替进行投影梯度下降和硬阈值清理来估计低秩矩阵，实现近最优观测和损坏数量的鲁棒矩阵补全，同时改进了低秩矩阵补全的时间复杂度。
2016-12-08 cs.LG cs.NA math.NA
Implicit Regularization in Nonconvex Statistical Estimation: Gradient Descent Converges Linearly for Phase Retrieval, Matrix Completion, and Blind Deconvolution
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
近年来，在设计可证明有效的非凸程序来解决统计估计问题方面出现了一系列的活动。由于经验损失的高度非凸性质，最先进的程序通常需要适当的正则化（例如修剪，正则化成本，投影），以保证快速收敛。然而，对于诸如梯度下降之类的常规过程，先验理论要么推荐高度保守的学习率以避免过冲，要么完全缺乏性能保证。本文揭示了非凸优化中一个引人注目的现象：即使在没有显式正则化的情况下，梯度下降也会在各种统计模型下隐式地执行适当的正则化。事实上，梯度下降遵循的轨迹停留在具有良好几何形状的盆地内，由与采样机制不一致的点组成。这种“隐式正则化”特性允许梯度下降以更积极的方式进行，而不会过冲，这反过来又导致大量的计算节省。聚焦于三个基本的统计估计问题，即相位恢复，低秩矩阵完成，和盲反卷积，我们建立了梯度下降实现接近最优的统计和计算保证，而无需显式正则化。特别是，通过将统计建模与通用优化理论相结合，我们开发了一个通用的配方，通过留一法扰动参数分析迭代算法的轨迹。作为一个副产品，嘈杂的矩阵完成，我们证明，梯度下降实现了接近最优的误差控制-测量entrywise和频谱范数-这可能是独立的利益。
2019-07-30 cs.IT cs.LG math.IT
Tensor train completion: local recovery guarantees via Riemannian optimization
Marchuk Institute of Numerical Mathematics RAS（俄罗斯科学院马尔丘克数值数学研究所）
本文研究张量火车补全问题，通过基于奇异值调和平均的新界和核心相干性概念，给出了黎曼梯度下降局部收敛所需的随机采样元素数量保证，并推广到带辅助子空间信息的情形。
2023-08-30 cs.LG cs.NA math.NA
Riemannian stochastic variance reduced gradient on Grassmann manifold
The University of Electro-Communications（电气通信大学）；Tokyo University of Science（东京理科大学）
本文提出了一种在紧凑流形搜索空间中扩展欧几里得随机方差缩减梯度算法的黎曼扩展方法，针对格拉斯曼流形进行研究，解决了多个梯度的平均、加法和减法问题，并在不同步长下分析了算法的收敛性。
2017-04-09 cs.LG cs.NA math.NA
Rank-1 Matrix Completion with Gradient Descent and Small Random Initialization
Samsung Electronics（三星电子）；KAIST（韩国科学技术院）
本文研究秩-1对称矩阵补全问题，证明梯度下降在小随机初始化下可收敛到真实解，并给出初始化规模上界及隐式正则化在收敛过程中的关键作用。
2025-07-02 cs.IT cs.LG math.IT
Gradient Descent for Sparse Rank-One Matrix Completion for Crowd-Sourced Aggregation of Sparsely Interacting Workers
Boston University（波士顿大学）；Google DeepMind（谷歌DeepMind）
我们考虑了单个硬币Dawid-Skene众包模型的工人技能估计。在实践中，技能估计是具有挑战性的，因为工人的分配是稀疏和不规则的，由于工人的任意和不受控制的可用性。我们制定技能估计作为一个秩一相关矩阵完成问题，其中观察到的组件对应于观察到的工人之间的标签相关性。我们表明，相关矩阵可以成功地恢复和技能是可识别的，当且仅当采样矩阵（观察到的组件）没有一个二分连接组件。然后，我们提出了一个预计的梯度下降计划，并表明技能估计收敛到所需的全局最优值，这样的采样矩阵。我们的证明是原创的，而且考虑到即使是加权一阶矩阵分解问题通常也是NP难的这一事实，结果也令人惊讶。接下来，我们推导出采样矩阵的无符号拉普拉斯算子的谱特性方面的样本复杂度界。我们提出的方案在许多现实世界的数据集上实现了最先进的性能。
2020-07-23 cs.HC cs.LG stat.ML
Calabi-Yau metrics through Grassmannian learning and Donaldson's algorithm
本文提出了一种基于格拉姆斯曼学习和唐纳森算法的新方法，用于获得凯勒度量的 Ricci-平坦近似值，并在 Dwork 三重族上进行了实验验证。
2026-03-10 cs.LG hep-th math.AG
Provable Efficient Online Matrix Completion via Non-convex Stochastic Gradient Descent
UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）；Microsoft Research New England（微软新英格兰研究院）
矩阵完备化是一个在理论和实践中都有广泛研究和应用的问题，它是通过对低秩矩阵的几个元素的观测来恢复低秩矩阵。到目前为止，大多数关于这个问题的可证明算法都局限于离线设置，在离线设置中，它们同时使用所有观测值来提供未知矩阵的估计。然而，在许多应用程序中，在线版本更有吸引力，我们一次观察一个条目并动态更新我们的估计。虽然现有的算法对于离线设置是有效的，但是它们对于在线设置可能是非常低效的。在本文中，我们提出了第一个可证明的，有效的在线算法矩阵完成。我们的算法从矩阵的初始估计开始，然后执行非凸随机梯度下降（SGD）。在每次观察之后，它执行仅涉及两个高矩阵的一行的快速更新，从而提供接近线性的总运行时间。我们的算法也可以自然地用于离线设置，在离线设置中，它为最先进的算法提供了具有竞争力的样本复杂性和运行时间。我们的证明引入了一个通用的框架，以表明SGD更新往往远离鞍面，并可能对其他非凸问题证明紧速率具有更广泛的意义。
2016-05-26 cs.LG math.OC stat.ML
A Riemannian geometry for low-rank matrix completion
Indian Institute of Technology Bombay（印度理工学院孟买分校）
针对低秩矩阵补全问题，提出一种新的固定秩矩阵的黎曼几何，通过调节商空间的度量来适配最小二乘代价函数，并开发了梯度下降和信赖域算法，实现了与最先进算法LMaFit竞争的性能。
2012-11-12 cs.LG cs.NA math.NA
Splitting numerical integration for matrix completion
低秩矩阵逼近是机器学习中的一个热门课题。在本文中，我们提出了一个新的算法，通过最小化最小二乘估计的固定秩矩阵的黎曼流形上。该算法是经典的梯度下降的流形上的优化框架内的适应。特别地，我们将低秩流形上的无约束优化问题转化为微分动力系统。本文将分裂积分方法应用于动力系统，发展了分裂数值积分方法。我们进行我们的分裂数值积分算法的收敛性分析。可以保证恢复的矩阵与真实结果之间的误差在Frobenius范数下单调递减。此外，我们的分裂数值积分可以适应矩阵完成的情况。实验结果表明，该方法对大规模问题具有良好的可扩展性，并具有令人满意的精度
2022-02-14 cs.LG cs.NA math.NA
High-dimension Tensor Completion via Gradient-based Optimization Under Tensor-train Format
Graduate School of Engineering, Saitama Institute of Technology, Japan（日本埼玉科技大学工学研究科）；Tensor Learning Unit, RIKEN Center for Advanced Intelligence Project (AIP), Japan（日本RIKEN先进人工智能项目（AIP）张量学习单元）；School of Automation, Guangdong University of Technology, China（广东技术大学自动化学院）；School of Computer Science and Technology, Hangzhou Dianzi University, China（杭州电子科技大学计算机科学与技术学院）
本文提出了一种基于张量列车格式的梯度优化方法，用于补全高维张量中的缺失数据，通过寻找低秩张量列车分解来捕捉数据的潜在特征，并利用梯度下降算法高效解决张量补全问题，同时引入视觉数据张量化方法提升算法性能。
2018-11-30 cs.CV cs.LG cs.NA
Euclidean Distance Matrix Completion via Asymmetric Projected Gradient Descent
School of Electronics and Communication Engineering, Shenzhen Campus of Sun Yat-sen University（中山大学电子与通信工程学院（深圳校区））
本文提出非对称投影梯度下降算法，用于欧几里得距离矩阵补全，首次给出无需样本分割的全局收敛保证，实验显示丰富样本下线性收敛，但有限样本下性能逊于s-stress优化。
2025-10-17 cs.LG eess.SP stat.ML
Riemannian Tensor Completion with Side Information
Zhejiang University（浙江大学）
本文提出一种新的Riemannian模型，整合原始模型与侧信息以提升低秩张量补全效率与准确性。
2017-02-23 cs.LG cs.NA math.NA
New Riemannian preconditioned algorithms for tensor completion via polyadic decomposition
UCLouvain（鲁汶天主教大学）
我们提出了新的黎曼预条件算法的低秩张量完成通过张量的多元分解。这些算法利用了多元分解形式的低秩张量的因子矩阵的积空间上的非欧度量。该度量是利用张量完备化费用函数的Hessian对角块的近似来设计的，因此对这些算法具有预处理作用。我们证明了所提出的黎曼梯度下降算法全局收敛到张量完成问题的一个稳定点，收敛速度估计使用$Ł$ ojasiewicz属性。对合成数据和真实数据的数值结果表明，所提出的算法在内存和时间上比最先进的算法更有效。此外，所提出的算法表现出更大的容忍度高估的秩参数的张量恢复性能，从而使一个灵活的选择的秩参数。
2022-06-02 cs.LG cs.NA math.NA
Fast low-rank estimation by projected gradient descent: General statistical and algorithmic guarantees
University of California, Berkeley（加州大学伯克利分校）
具有秩约束的最优化问题在许多应用中出现，包括矩阵回归、结构PCA、矩阵完备化和矩阵分解问题。一个有吸引力的启发式解决这样的问题是因式分解的低秩矩阵，并运行投影梯度下降的非凸因式分解的最优化问题。这个问题的目标是提供一个一般的理论框架，以了解当这样的方法工作良好，并描述所产生的不动点的性质。我们提供了一组简单的条件下，投影梯度下降，当给定一个合适的初始化，几何收敛到一个统计上有用的解决方案。我们的结果是适用的，即使当初始解是任何区域的局部凸，甚至当问题是全球凹。工作在一个非渐近的框架，我们表明，我们的条件是满足广泛的具体模型，包括矩阵回归，结构PCA，矩阵完成与真正的和量化的意见，矩阵分解，图聚类问题。仿真结果与理论预测吻合良好。
2015-09-10 cs.LG math.ST stat.ML
Near-Optimal Nonconvex Matrix Completion
Hong Kong University of Science and Technology（香港科技大学）；Wuhan University（武汉大学）
本研究分析黎曼梯度下降和黎曼高斯-牛顿方法，实现近最优样本复杂度的非凸矩阵补全，达到与凸方法相当的线性秩依赖，并保证精确恢复与快速收敛。
2026-09-16 cs.LG cs.NA math.NA
Convergence of Gradient Descent with Small Initialization for Unregularized Matrix Completion
University of Michigan（密歇根大学）
研究对称矩阵补全问题，证明在无需显式正则化且小初始化条件下，梯度下降在过参数化和精确参数化场景中均能收敛至真实矩阵，其收敛速率与精度仅取决于真实秩，并提出弱耦合留一法分析建立全局收敛。
2024-02-09 cs.LG math.OC stat.ML
Low-rank tensor completion: a Riemannian manifold preconditioning approach
The University of Electro-Communications（电气通信大学）；Amazon Development Centre India（亚马逊印度开发中心）
本文提出了一种基于黎曼流形预条件的方法用于具有秩约束的张量补全问题，通过引入新的黎曼度量利用最小二乘结构和Tucker分解的对称性，开发出预条件非线性共轭梯度和随机梯度下降算法，实验表明其在不同数据集上优于现有方法。
2016-05-26 cs.LG cs.NA math.NA
Approximate matrix completion based on cavity method
Tokyo Institute of Technology（东京工业大学）
为了解决具有实际计算量的大型矩阵完备化问题，基于矩阵分解的近似方法得到了广泛的应用。交替最小二乘（ALS）和随机梯度下降（SGD）是两个主要的算法，为此。在这项研究中，我们提出了一种新的算法，即基于腔的矩阵分解（CBMF）和近似基于腔的矩阵分解（ACBMF），这是基于统计力学的腔方法的基础上发展。与SGD相比，ALS产生的解决方案迭代次数更少。这是因为它的更新规则是以封闭的形式描述的，尽管它需要更高的计算成本。CBMF还可以将其更新规则以封闭形式编写，并且其计算成本低于ALS。ACBMF的提出是为了弥补CBMF在内存成本相对较高方面的缺点。实验结果表明，该方法在每次迭代的收敛速度上优于现有的两种算法，并且可以在观测条目相对较少的情况下工作.此外，与SGD相反，（A）CBMF不需要调度学习速率。
2019-06-29 cond-mat.stat-mech cs.LG cs.NA
Global Convergence of Stochastic Gradient Descent for Some Non-convex Matrix Problems
Stanford University（斯坦福大学）
低秩分解上的随机梯度下降（SGD）通常用于加速矩阵问题，包括矩阵完成，子空间跟踪和SDP松弛。在本文中，我们展示了一个步长计划SGD的低秩最小二乘问题，我们证明了，在广泛的采样条件下，我们的方法收敛全局从一个随机的起始点内$O(ε^{-1} n \log n)$步骤与常数概率的常秩问题。我们的SGD修改涉及到随机幂迭代。我们还展示了实验来说明该算法的运行时间和收敛性。
2015-02-10 cs.LG math.OC stat.ML
Fast Exact Matrix Completion: A Unified Optimization Framework for Matrix Completion
Sloan School of Management（斯隆管理学院）；Operations Research Center（运筹学研究中心）；Massachusetts Institute of Technology（麻省理工学院）
我们制定的矩阵完成的问题，没有边信息作为一个非凸优化问题。我们设计的fastImpute基于非凸梯度下降，并显示它收敛到一个全局最小值，保证恢复密切的基础矩阵，而它的规模超过$10^5 \times 10^5$的大小矩阵。我们报告了在合成和真实世界数据集上的实验，这些实验表明fastImpute在恢复矩阵的准确性和所有情况下所需的时间方面都具有竞争力。此外，当大量条目丢失时，fastImpute在具有和不具有边信息的情况下都比当前最先进的矩阵完成方法快$75\%$以上、低MAPE和快$15$倍。
2020-12-31 cs.LG math.OC stat.ME
Matrix completion and extrapolation via kernel regression
Universitat Politècnica de Catalunya-Barcelona Tech（加泰罗尼亚理工大学-巴塞罗那理工大学）；University of Minnesota（明尼苏达大学）
矩阵完成和外推（MCEX）在这里处理再生核希尔伯特空间（RKHS），以考虑现有数据中的先验信息。针对快速和低复杂度的求解器，该任务被制定为一个核心岭回归。由此产生的MCEX算法也可以提供在线实现，而类的核函数也包括现有的方法MC与先验信息。对合成数据集和真实数据集的数值测试表明，该方法比交替最小二乘（ALS）或随机梯度下降（SGD）等广泛使用的方法执行得更快，并且恢复误差减少，特别是在处理噪声数据时。
2019-03-28 cs.LG stat.ML
A high-order tensor completion algorithm based on Fully-Connected Tensor Network weighted optimization
Guangdong University of Technology（广东工业大学）
张量补齐旨在恢复丢失的数据，并且它是深度学习和信号处理中的热门关注点之一。在高阶张量分解算法中，最近提出的全连通张量网络分解（FCTN）算法是最先进的。本文利用全连通张量网络（FCTN）分解的优越性，提出了一种新的张量完备化方法--全连通张量网络加权优化（FCTN-WOPT）.该算法通过初始化FCTN分解的因子来执行完整张量的合成。我们将权值张量、完全张量和不完全张量一起构建损失函数，然后使用lbfgs梯度下降算法更新完全张量，以减少空间内存占用并加快迭代速度。最后，我们用合成数据和真实数据（包括图像数据和视频数据）进行了测试，结果显示了我们的FCTN-WOPT应用于高阶张量完成时的先进性能。
2022-04-06 cs.LG
Distributed Gradient Descent with Coded Partial Gradient Computations
Imperial College London（帝国理工学院）；University of Maryland（马里兰大学）
编码计算技术在分布式计算中提供了对离散服务器的鲁棒性，但具有以下限制：首先，它们增加了解码复杂度。其次，它们忽略了由分散的服务器执行的计算;并且它们通常被设计为恢复完整的梯度，因此不能在梯度的准确性和每次迭代完成时间之间提供平衡。在这里，我们介绍了一种混合的方法，称为编码的部分梯度计算（CPGC），从编码和未编码的计算方案的优点，并减少了计算时间和解码的复杂性。
2018-11-22 cs.DC cs.IT cs.LG
Global Convergence of a Grassmannian Gradient Descent Algorithm for Subspace Estimation
University of Michigan（密歇根大学）
本文提出一种约束于格拉斯曼流形的梯度下降算法，用于估计流数据矩阵的子空间，证明在无噪声情况下算法能从任意初始化收敛到全局最优，且在有噪声情况下提供预期收敛率。
2016-06-25 cs.NA math.NA stat.ML
Negative Binomial Matrix Completion
University of California, Merced（加州大学默塞德分校）；University of California, Irvine（加州大学欧文分校）
本文针对过度离散计数数据提出负二项矩阵补全方法，通过核范数正则化模型和近端梯度下降求解，并在真实数据上验证其优于泊松矩阵补全。
2024-08-28 cs.CV cs.LG eess.IV
Online Policy Learning and Inference by Matrix Completion
Hong Kong University of Science and Technology（香港科技大学）；University of Michigan（密歇根大学）
针对缺乏个性化协变量的在线决策问题，提出矩阵补全bandit框架，结合$\varepsilon$-greedy策略与在线梯度下降进行两阶段策略学习，并开发基于逆倾向加权的在线去偏推断方法，在旧金山停车定价项目中表现优于基准策略。
2024-12-19 cs.LG stat.ML
Matrix Completion has No Spurious Local Minimum
Duke University（杜克大学）；University of Southern California（南加州大学）；Princeton University（普林斯顿大学）
矩阵完备化是一个基本的机器学习问题，在协同过滤和推荐系统中有着广泛的应用。简单的非凸优化算法在实际中是流行和有效的。尽管最近在证明各种非凸算法从一个好的初始点收敛方面取得了进展，但仍然不清楚为什么随机或任意初始化在实践中就足够了。我们证明了\textit{positive semidefinite}矩阵完备化中常用的非凸目标函数不存在虚假的局部极小值-所有的局部极小值也必须是全局的。因此，许多流行的优化算法，如（随机）梯度下降可以证明解决半正定矩阵完成\textit{arbitrary}初始化在多项式时间。该结果可以推广到当观察到的条目包含噪声时的设置。我们相信，我们的主要证明策略可以用于理解几何性质的其他统计问题，涉及部分或噪声观测。
2018-07-22 cs.DS cs.LG stat.ML
Robust Low-Tubal-Rank Tensor Completion under Cross-Concentrated Sampling
University of Central Florida（中佛罗里达大学）；Michigan State University（密歇根州立大学）；University of Kentucky（肯塔基大学）；University of Texas MD Anderson Cancer Center（德克萨斯大学 MD 安德森癌症中心）
该研究针对受稀疏异常值污染的三阶低张量秩张量，提出鲁棒迭代t-CUR算法，在交叉集中采样下实现高效鲁棒补全，经多类数据验证其准确性与鲁棒性。
2026-08-06 cs.IT cs.LG cs.NA
Non-Convex Optimizations for Machine Learning with Theoretical Guarantee: Robust Matrix Completion and Neural Network Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文针对机器学习中的黑盒问题与非凸优化易陷入局部极小值的挑战，研究了低秩矩阵补全与神经网络学习两种非凸问题，旨在设计具有理论保证的可解释学习算法。
2023-06-28 cs.LG eess.SP
Attention Is Not What You Need
本文提出基于格拉斯曼流的无注意力架构，通过低秩子空间操作实现更结构化的神经推理，实验显示其在语言建模和自然推理任务中表现优异。
2025-12-22 cs.AI cs.LG math.AG
No Spurious Local Minima in Nonconvex Low Rank Problems: A Unified Geometric Analysis
Duke University（杜克大学）；University of California, Berkeley（加州大学伯克利分校）
在本文中，我们开发了一个新的框架，捕捉常见的非凸低秩矩阵问题，包括矩阵传感，矩阵完成和强大的PCA的共同景观。特别地，我们证明了所有上述问题（包括非对称情况）：1）所有局部极小值也是全局最优的; 2）不存在高阶鞍点。这些结果解释了为什么简单的算法，如随机梯度下降具有全局收敛性，并在实践中有效地优化这些非凸目标函数。我们的框架连接和简化了现有的分析优化景观矩阵传感和对称矩阵完成。该框架自然会导致新的结果，非对称矩阵完成和强大的PCA。
2017-04-03 cs.LG math.OC stat.ML
On Asymptotic Linear Convergence of Projected Gradient Descent for Constrained Least Squares
Oregon State University（俄勒冈州立大学）
信号处理和机器学习中的许多最新问题，如压缩感知，图像恢复，矩阵/张量恢复和非负矩阵因子分解，都可以转换为约束优化。投影梯度下降法是求解此类约束最优化问题的一种简单而有效的方法。局部收敛分析进一步加深了我们对其在解附近的渐近行为的理解，与整体收敛分析相比，它提供了更清晰的收敛速度界限。然而，局部保证通常分散在机器学习和信号处理的特定问题领域。这份手稿提出了一个统一的框架内的局部收敛分析投影梯度下降的约束最小二乘的背景下。所提出的分析提供了深入了解关键的局部收敛特性，如线性收敛的条件，收敛区域，精确的渐近收敛速率，以及达到一定精度所需的迭代次数的限制。为了证明所提出的方法的适用性，我们提出了一个配方的收敛分析投影梯度下降，并证明它通过一个迭代到结束的应用程序的配方上的四个基本问题，即，线性等式约束的最小二乘，稀疏恢复，最小二乘与单位范数约束，和矩阵完成。
2022-06-20 cs.LG math.OC
Weighted Tensor Completion for Time-Series Causal Inference
Columbia University（哥伦比亚大学）；Harvard University（哈佛大学）
边际结构模型（MSM）是从时间序列观测数据进行因果推断的最流行的模型。然而，它们有两个主要缺点：（a）它们没有捕获受试者异质性，以及（b）它们只考虑固定的时间间隔，并且不能以更长的间隔优雅地扩展。在这项工作中，我们提出了一个新的家庭的MSM来解决这两个问题。我们将潜在的结果建模为低秩的三维张量，其中三个维度对应于代理，时间段和可能的历史集。与传统的MSM不同，我们允许张量的维度随着代理的数量和时间段的增加而增加。我们建立了一个加权张量完备化问题作为我们的估计过程，并证明了这个问题的解在适当的意义下收敛到真实模型。然后，我们展示了如何解决估计问题，提供条件下，我们可以近似和有效地解决估计问题。最后，我们提出了一个基于投影梯度下降的算法，这是易于实现的，并评估其性能的模拟数据集。
2020-10-16 cs.LG stat.ML
Adaptive Stochastic Gradient Descent on the Grassmannian for Robust Low-Rank Subspace Recovery and Clustering
Nanjing University of Information Science and Technology（南京信息工程大学）
本文提出GASG21算法，通过在Grassmann流形上进行自适应随机梯度下降，实现从大矩阵中鲁棒地恢复低秩子空间，并通过K子空间扩展实现对受损数据的聚类。
2015-04-18 cs.CV cs.NA math.NA
A Novel Approach to Quantized Matrix Completion Using Huber Loss Measure
Stanford University（斯坦福大学）；Sharif University of Technology（谢里夫理工大学）；Advanced Communications Research Institute (ACRI)（高级通信研究所）
在本文中，我们介绍了一种新的和强大的方法来量化矩阵完成（QMC）。首先，我们提出了一个秩最小化问题的限制引起的量化界。接下来，我们通过正则化具有Huber损失的秩函数来形成无约束优化问题。由于两个特性，Huber损失被利用来控制对量化边界的违反：1-它是可微的，2-它对离群值的敏感性低于二次损失。平滑秩近似用于支持真实数据矩阵上的较低秩。因此，一个无约束优化问题的可微目标函数，使我们能够从梯度下降（GD）技术的优势。对问题模型和算法的全局收敛性进行了新颖而可靠的理论分析。我们的工作的另一个贡献是，我们的方法不需要投影或初始秩估计不同的国家的最先进的。在数值实验部分，我们提出的方法在学习精度和计算复杂度相比，国家的最先进的文献方法的显着的outperformance被说明为主要贡献。
2018-10-29 cs.LG stat.ML
On Polynomial Time Methods for Exact Low Rank Tensor Completion
Morgridge Institute for Research（莫格里奇研究所）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在本文中，我们研究的样本量的要求，精确恢复的高阶张量的低秩从它的条目的子集。我们表明，从谱方法获得的初始值的梯度下降算法可以，特别是，重建${d\times d\times d}$张量的多线性秩$(r,r,r)$与高概率从尽可能少的$O(r^{7/2}d^{3/2}\log^{7/2}d+r^7d\log^6d)$条目。在秩为$r=O(1)$的情况下，我们的样本量要求与核范数最小化（Yuan和Zhang，2016 a）或假设正交分解的交替最小二乘法（Jain和Oh，2014）的要求相匹配。然而，与这些早期的方法不同，我们的方法计算效率高，易于实现，并且不会对张量施加额外的结构。数值结果进一步证明了所提出的方法的优点。
2017-02-22 cs.IT cs.LG math.IT
Matrix Completion via Nonconvex Regularization: Convergence of the Proximal Gradient Algorithm
Shanghai Jiao Tong University（上海交通大学）
在过去的十年中，矩阵完备化在机器学习和计算机视觉中引起了人们的极大兴趣。对于矩阵完备化中的低秩提升，核范数罚因其凸性而方便，但存在偏差问题。近年来，人们提出了各种使用非凸罚函数的算法，其中最有效的算法之一是近端梯度下降算法。对于非凸PGD算法，它是否收敛于局部极小点及其收敛速度还不清楚。本文对非凸情形下的PGD算法进行了非平凡分析。除了收敛到一个稳定点的广义非凸处罚，我们提供了更深入的分析一类流行的和重要的非凸处罚，具有不连续的阈值功能。对于这种惩罚，我们建立了PGD算法的有限秩收敛性，收敛到严格限制的局部极小点，并最终线性收敛速度。同时，收敛到一个局部极小值已被证明为硬阈值惩罚。我们的结果是第一次表明，非凸正则矩阵完备化只存在严格限制的局部极小点，并且PGD算法在一定条件下能够以最终线性速度收敛到这样的极小点。还通过实验对PGD算法进行了说明。代码可在https://github.com/FWen/nmc上获得。
2019-03-02 cs.LG math.OC stat.ML
Efficient Federated Low Rank Matrix Completion
Iowa State University（爱荷华州立大学）
本文提出交替梯度下降与最小化方法 AltGDmin，用于联邦低秩矩阵补全，在通信效率、速度和样本复杂度上均具优势，并扩展至含噪场景及改进集中式 AltMin 的样本复杂度保证。
2024-09-30 cs.LG eess.SP
Matrix Completion with Graph Information: A Provable Nonconvex Optimization Approach
针对图辅助信息矩阵补全问题，提出非凸优化算法GSGD，解决现有图拉普拉斯正则化方法的局限，理论证明其线性收敛到全局最优且样本复杂度近优，实验验证其恢复精度和可扩展性更优。
2025-02-12 cs.LG math.OC
Fast and Accurate Power Load Data Completion via Regularization-optimized Low-Rank Factorization
Chongqing Aerospace Polytechnic（重庆航天职业技术学院）；Dongfang Electronics Co.,Ltd（东方电子股份有限公司）；China Mobile Cloud Capability Center（中国移动云能力中心）；Southwest University（西南大学）
针对电力负荷数据缺失问题，提出基于PID控制器自适应调整正则化系数的低秩分解方法，在保持随机梯度下降效率的同时提升插补精度与训练效率。
2025-06-22 cs.LG
Speeding Up Distributed Gradient Descent by Utilizing Non-persistent Stragglers
Imperial College London（伦敦帝国学院）；University of Maryland, College Park（马里兰大学帕克分校）
分布式梯度下降（DGD）是一种实现梯度下降（GD）的有效方法，特别是对于大型数据集，它通过将计算任务划分为较小的子任务并分配给不同的计算服务器（CS）并行执行。在标准并行执行中，每次迭代的等待时间受到离散服务器的执行时间的限制。编码DGD技术是近年来出现的一种新技术，它通过向CS分配冗余计算任务来容忍离散服务器。在大多数现有的DGD方案中，无论是编码计算还是编码通信，非离散CS在完成所有分配给它们的计算任务后，每次迭代发送一条消息。然而，尽管分散的服务器不能完成所有分配给它们的任务，但它们通常能够完成其中的某一部分。在本文中，我们允许多个传输从每个CS在每次迭代，以确保完成计算的最大数量可以报告给聚合服务器（AS），包括离散服务器。我们的数值计算表明，每次迭代的平均完成时间可以显着减少稍微增加每个服务器的通信负载。
2018-10-02 cs.DC cs.IT cs.LG
Exploring Effects of Random Walk Based Minibatch Selection Policy on Knowledge Graph Completion
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）
本文探讨了不同的小批量抽样技术在知识图谱补全中的作用。知识图谱完成（KGC）或链接预测是预测知识图谱中缺失事实的任务。KGC模型通常使用边缘、软边缘或交叉熵损失函数进行训练，这些函数促进为真实事实三元组分配更高的分数或概率。最小批量梯度下降用于优化这些损失函数，以训练KGC模型。但是，由于每个小批只由来自大型知识图谱的几个随机抽样的三元组组成，因此在大多数情况下，在小批中出现的任何实体只出现一次。因此，这些损失函数忽略了任何实体的所有其他邻居，其嵌入在某个小批量步骤中被更新。在本文中，我们提出了一个新的随机行走为基础的小批量抽样技术训练KGC模型，优化损失的小批量紧密连接的子图的三元组，而不是随机选择的。我们已经显示了不同的模型和数据集与我们的采样技术的实验结果，发现所提出的采样算法对这些数据集/模型有不同的影响。具体来说，我们发现我们提出的方法在DB 100 K数据集上实现了最先进的性能。
2020-04-12 cs.LG cs.SI stat.ML
Faster Convergence of Riemannian Stochastic Gradient Descent with Increasing Batch Size
Meiji University（东邦大学）
本文理论分析了Riemannian随机梯度下降（RSGD），证明采用递增批量大小能将收敛速率从$O(T^{-1}+C)$提升至$O(T^{-1})$，并降低SFO复杂度，兼具大小固定批量的优势。
2025-10-13 cs.LG math.OC stat.ML
Fast Exact Matrix Completion with Finite Samples
Microsoft Research（微软研究院）；UT Austin（德克萨斯大学奥斯汀分校）
本文提出一种快速迭代算法，通过观察O(nr^5 log^3 n)个样本实现精确矩阵补全，运行时间为O(nr^7 log^3 n log 1/ε)，首次实现近线性时间且样本复杂度独立于精度的补全方法。
2014-11-04 cs.DS cs.IT cs.LG
Provable Tensor-Train Format Tensor Completion by Riemannian Optimization
Hong Kong University of Science and Technology（香港科技大学）
张量训练（TT）格式在处理结构高阶张量方面具有吸引人的优势。近十年来，TT格式张量在不同学科中得到了广泛的应用，其中张量完备化引起了广泛的关注。许多快速算法，包括黎曼梯度下降（RGrad），已经提出了TT格式张量完成。然而，这些算法的理论保证在很大程度上是缺失的或次优的，部分原因是TT格式分解中复杂的递归代数运算。此外，为其他格式的张量建立的现有结果，例如，Tucker和CP，是不适用的，因为处理TT格式张量的算法是实质上不同的，并且涉及更多。在本文中，我们提供，据我们所知，第一理论保证的收敛性RGrad算法的TT格式张量完成，在一个接近最佳的样本量条件下。RGrad算法以恒定的收缩率线性收敛，该收缩率不受张量条件数的限制，无需重新调节。我们还提出了一种新的方法，称为顺序二阶矩方法，以在类似的样本量要求下实现热初始化。作为一个副产品，我们的结果甚至显着细化矩阵完成的RGrad算法的先前调查。最后，如果观测项由随机亚高斯噪声组成，则推导出RGrad算法的统计（近）最优速率。数值实验证实了我们的理论发现，并展示了TT格式分解所获得的计算加速比。
2022-03-21 cs.IT cs.LG math.IT
Symmetric Matrix Completion with ReLU Sampling
Antai College of Economics and Management, Shanghai Jiao Tong University（上海交通大学安泰经济与管理学院）；University of Michigan（密歇根大学）；Michigan State University（密歇根州立大学）
本文研究ReLU采样下的对称半正定低秩矩阵补全问题，证明非凸目标在植入解附近具有测地强凸性，并提出一种定制初始化方法使梯度下降始终收敛到全局最优。
2024-06-09 cs.LG stat.ML
Nonconvex Low-Rank Tensor Completion from Noisy Data
Princeton University（普林斯顿大学）；Tsinghua University（清华大学）
我们研究了一个具有广泛实际意义的噪声张量完备化问题，即从其条目的高度不完整和随机损坏的观测中重建低秩张量。虽然各种先前的工作一直致力于这个问题，以前的算法要么是计算太昂贵的大规模应用程序，或与次优的统计保证。专注于“不连贯”和良好的条件张量的恒定CP秩，我们提出了一个两阶段的非凸算法-（香草）梯度下降后，粗略的初始化-实现两全其美。具体而言，所提出的非凸算法忠实地完成张量，并在几乎线性的时间内检索所有的个体张量因子，同时享受接近最佳的统计保证（即最小的样本复杂性和最佳的估计精度）。估计误差均匀地分布在所有条目上，从而实现最佳的$\ell_{\infty}$统计精度。我们还讨论了如何扩展我们的方法来适应非对称张量。通过我们对非凸优化的分析所传达的见解可能对其他张量估计问题有影响。
2021-06-03 cs.IT cs.LG math.IT
Accelerating SGD for Highly Ill-Conditioned Huge-Scale Online Matrix Completion
University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）
矩阵补全问题寻求从其各个元素的观测恢复低秩$r\ll d$的$d\times d$地面真值矩阵。现实世界中的矩阵补全通常是一个大规模的优化问题，$d$如此之大，以至于即使是最简单的全维向量运算和$O(d)$时间复杂度也变得非常昂贵。随机梯度下降（SGD）是少数几个能够大规模解决矩阵完备化的算法之一，也可以自然地处理不断发展的地面事实上的流数据。不幸的是，当基础真值是病态的时，SGD经历了显著的减速;它至少需要$O(κ\log(1/ε))$迭代来获得$ε$ -接近具有条件号$κ$的基础真值矩阵。在本文中，我们提出了一个预处理版本的SGD，保留了所有有利的实用品质的SGD大规模在线优化，同时也使其不可知的$κ$。对于一个对称的地面真理和均方根误差（RMSE）的损失，我们证明了预处理SGD收敛到$ε$ -准确性在$O(\log(1/ε))$迭代，快速的线性收敛速度，如果地面真理是完美的条件与$κ=1$。在我们的实验中，我们观察到MovieLens 25 M数据集上的项目-项目协同过滤通过成对排序损失的类似加速，其中有1亿个训练对和1000万个测试对。[See https：//github.com/Hong-Ming/ScaledSGD上的支持代码。
2022-10-23 cs.LG math.OC stat.ML
Convergence of a Grassmannian Gradient Descent Algorithm for Subspace Estimation From Undersampled Data
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Department of Electrical Engineering and Computer Science（电气与计算机工程系）
本文研究了在欠采样数据下，基于Grassmannian约束的一阶增量梯度下降算法的收敛性，提出了一种自适应步长方案，证明了该方法在任意随机初始化下能够收敛到真实子空间，即使在非凸问题和正交约束下也能保证收敛。
2022-02-21 cs.NA math.NA stat.ML
Leave-one-out Approach for Matrix Completion: Primal and Dual Analysis
Cornell University（康奈尔大学）
在本文中，我们引入了一个强大的技术的基础上留一法分析的低秩矩阵完成问题的研究。使用这种技术，我们开发了一种通用的方法来获得细粒度的，entrywise边界的概率依赖的存在下，迭代随机过程。我们证明了这种方法在分析两个最重要的算法矩阵完成：（一）非凸方法的基础上投影梯度下降（PGD）的秩约束的制定，也被称为奇异值投影算法，（ii）基于核范数最小化（NNM）的凸松弛方法。使用这种方法，我们建立了第一个收敛保证的原始形式的PGD没有正则化或样本分裂}，特别是表明，它在无穷范数线性收敛。对于NNM，我们使用这种方法来研究一个虚构的迭代过程中出现的对偶分析。我们的研究结果表明，\NNM恢复$ d $ -由- $ d $秩- $ r $矩阵与$\mathcal{O}(μr \log(μr) d \log d )$观察到的条目.该界对矩阵维数具有最优依赖性，与条件数无关。据我们所知，这是同时满足这两个属性的易处理矩阵完成算法的第一个样本复杂度结果。
2020-06-17 cs.IT cs.LG math.IT
Alternating steepest descent methods for tensor completion with applications to spectromicroscopy
针对X射线光谱显微成像欠采样导致的张量补全问题，提出两种基于低秩$\u22c6_{M}$乘积格式的张量交替最速下降算法，在真实数据上验证了其用更少样本实现同等重构误差的优势。
2025-06-12 cs.NA math.NA
