A nonlinear conjugate gradient method with complexity guarantees and its application to nonconvex regression
非线性共轭梯度法是求解连续最优化问题最常用的方法之一。虽然这些计划长期以来一直从整体收敛的角度进行研究，其最坏情况下的复杂性尚未得到充分理解，特别是在非凸设置。特别是，目前还不清楚非线性共轭梯度法是否比一阶方法（如梯度下降）具有更好的保证。与此同时，最近的实验表明，令人印象深刻的性能标准的非线性共轭梯度技术在某些非凸问题，即使与方法相比，赋予最知名的复杂性保证。在本文中，我们提出了一个非线性共轭梯度法的基础上，一个简单的线搜索范式和修改的重新开始条件。这两个成分允许监视搜索方向的属性，这有助于获得复杂性保证。我们的复杂性结果说明了非线性共轭梯度法和经典梯度下降法之间可能存在的差异。非凸鲁棒回归问题的数值研究以及标准基准测试表明，重新启动条件可以跟踪标准实现的行为。
2022-08-31 math.OC
A single potential governing convergence of conjugate gradient, accelerated gradient and geometric descent
Nesterov的加速梯度（AG）方法用于最小化光滑强凸函数$f$，已知在$k=O(\sqrt{L/\ell}\log(1/ε))$迭代之后将$f({\bf x}_k)-f({\bf x}^*)$减少$ε\in(0,1)$的因子，其中$\ell,L$是光滑强凸性的两个参数.此外，众所周知，这是计算的函数梯度预言模型中可能的最佳复杂度。模线搜索，几何下降（GD）方法的Bubeck，李和辛格有相同的限制这类功能。线性共轭梯度法（CG）在强凸二次函数的特殊情况下也满足相同的复杂性界，但在这种特殊情况下，它可以比AG和GD方法更快。尽管相似的算法和它们的渐近收敛率，传统的分析CG的运行时间大多是不相交的AG和GD。AG和GD方法的分析也是相当不同的。我们的主要结果是分析的三种方法，有几个共同的线程：所有三个分析显示了一定的"理想化算法"的关系，所有三个建立的收敛速度，通过使用的Bubeck-李-辛格几何引理，所有三个有相同的潜力，是可计算的运行时，并表现出减少了一个因素的$1-\sqrt{\ell/L}$或更好的每次迭代。这些分析的一个应用是它们开启了混合或中间算法的可能性。本文提出了一种这样的算法，并在计算测试中表现良好。
2019-01-10 math.OC
Accelerated Sparse Recovery via Gradient Descent with Nonlinear Conjugate Gradient Momentum
本文利用非线性共轭梯度自适应动量加速稀疏恢复优化，针对可微及非光滑加可微两类问题，采用固定步长和算子分裂，以凸ℓ1和非凸ℓ1-ℓ2为例验证效率。
2023-04-05 math.OC stat.CO
An Approximate Conjugate Subgradient Algorithm with Matrix Parameter for Derivative-Free Nonsmooth Optimization Problems
Fakultät für Mathematik, Universität Wien（维也纳大学）；Faculty of Engineering, Free University of Bozen–Bolzano（博岑-博尔扎诺自由大学）；Université Catholique de Louvain (UCLouvain)（天主教鲁汶大学）
提出一种无导数矩阵共轭次梯度方法，通过离散梯度采样和最小范数元素计算，结合矩阵记忆校正与线搜索，求解局部Lipschitz函数的无约束非光滑优化问题，数值实验表明算法鲁棒性强。
2026-06-27 math.OC
Solution of Uncertain Multiobjective Optimization Problems by Using Nonlinear Conjugate Gradient Method
本文提出非线性共轭梯度法（NCGM）求解不确定多目标优化问题的鲁棒对应，通过构建子问题确定下降方向并结合Armijo线搜索生成收敛序列，有效克服了传统标量化方法的权重预设限制。
2025-03-01 math.OC
Structured Gradient Descent for Fast Robust Low-Rank Hankel Matrix Completion
针对低秩汉克尔矩阵补全中极端异常值导致的稀疏损坏问题，提出非凸算法HSGD，利用汉克尔结构提升计算与样本效率，在温和假设下实现线性收敛，并在合成数据与真实核磁共振信号上验证了实证优势。
2023-03-20 cs.IT math.IT math.OC
Conjugate gradient methods without line search for multiobjective optimization
针对无约束多目标优化问题，本文采用固定步长公式替代Wolfe型线搜索，推导了Zoutendijk型条件，证明了多种共轭梯度参数向量扩展的全局收敛性，并通过实验验证了其优于传统线搜索方法的性能。
2024-10-12 math.OC
Stochastic Gradient Descent with Nonlinear Conjugate Gradient-Style Adaptive Momentum
University of Utah（犹他大学）；University of Kentucky（肯塔基大学）
动量在基于随机梯度的优化算法中起着至关重要的作用，用于加速或改进深度神经网络（DNN）的训练。在深度学习实践中，动量通常由校准良好的常数加权。然而，调整动量的超参数可能是一个巨大的计算负担。在本文中，我们提出了一种新的\emph{adaptive momentum}用于改进DNN训练;这种自适应动量，不需要动量相关的超参数，由非线性共轭梯度（NCG）方法激发。具有这种新的自适应动量的随机梯度下降（SGD）消除了对动量超参数校准的需要，允许显著更大的学习率，加速DNN训练，并提高训练的DNN的最终准确性和鲁棒性。例如，具有该自适应动量的SGD分别从$5.25\%$到$4.64\%$和从$23.75\%$到$20.03\%$减少了用于训练CIFAR 10和CIFAR 100的ResNet 110的分类误差。此外，具有新的自适应动量的SGD也有利于对抗训练，并提高了训练的DNN的对抗鲁棒性。
2020-12-03 cs.LG cs.NA math.NA
Projected Wirtinger Gradient Descent for Low-Rank Hankel Matrix Completion in Spectral Compressed Sensing
University of Iowa（爱荷华大学）
本文考虑从少量随机观测的时域样本中重建频谱稀疏信号。感兴趣的信号是$R$不同频率的复正弦曲线的线性组合。频率可以采用归一化频域$[0,1)$中的任何连续值。在将频谱稀疏信号恢复问题转化为低秩结构矩阵完备化问题后，提出了一种有效的可行点方法--投影Wirtinger梯度下降（PWGD）算法，有效地解决了该结构矩阵完备化问题.我们进一步加速我们提出的算法的FISTA启发的计划。我们给出了我们提出的算法的收敛性分析。大量的数值实验来说明我们所提出的算法的效率。与以前的方法不同，我们的算法可以非常有效地解决非常大的维度的问题。
2015-07-14 cs.IT cs.LG math.IT
A Conjugate Gradient Method for Nonlinear Programming Problems using Caputo Fractional Gradients
IIT Jodhpur（印度理工学院焦特布尔分校）
本文提出了一种基于Caputo分数梯度的共轭梯度方法，用于解决非线性规划问题，通过改进的线搜索技术和正则化方法，提升了优化效率和稳定性。
2025-12-19 math.OC
Fast and Provable Tensor-Train Format Tensor Completion via Precondtioned Riemannian Gradient Descent
The Hong Kong University of Science and Technology（香港科技大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出预条件黎曼梯度下降算法（PRGD）解决张量列车格式的低秩张量补全问题，证明线性收敛，并在模拟与真实数据上大幅减少计算时间和迭代次数。
2025-01-23 cs.LG cs.NA math.NA
Fast gradient descent method for convex optimization problems with an oracle that generates a $(δ,L)$-model of a function in a requested point
在这篇文章中，我们提出了一个新的概念，一个$(δ,L)$ -模型的功能，推广的概念，$(δ,L)$ -oracle（Devolder-Glineur-Nesterov）。使用这个概念，我们描述了梯度下降法和快速梯度下降法，我们表明，许多流行的方法（复合最优化方法，水平方法，共轭梯度法，邻近方法）是本文所提出的方法的特殊情况。
2019-06-24 math.OC
Nonconvex Deterministic Matrix Completion by Projected Gradient Descent Methods
本文研究基于 Ramanujan 图采样的确定性矩阵补全，提出投影梯度下降及其缩放变体，证明在良性初始化下分别以依赖和独立于条件数的线性速率收敛，并用数值实验验证。
2024-01-12 cs.IT math.IT math.OC
Quantum-compatible Riemannian conjugate gradient for ground-state preparation
Nanyang Technological University（南洋理工大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Keio University（庆应义塾大学）
本研究提出量子兼容的黎曼共轭梯度下降（QCGD），其在迭代收敛速度上优于基线DB-QITE算法，虽单次更新电路深度增加，但因电路深度随迭代指数增长，在早期容错阶段具实际优势。
2026-10-16 math.OC quant-ph
Hager-Zhang Conjugate Gradient Method for Set Optimization with Set-Valued Objective Map of Finite Cardinality
Indian Institute of Technology (BHU)（印度技术学院（贝拿勒斯））；Yunnan Normal University（云南师范大学）；Chongqing JiaoTong University（重庆交通大学）
研究针对集优化问题，引入非线性Hager-Zhang共轭梯度法，通过Drummond-Svaiter标量化函数讨论Wolfe线搜索条件，引入共轭参数得出搜索方向，证明其为下降方向，建立渐近全局收敛性，经数值实验验证了该方法的性能和有效性。
2026-07-16 math.OC
Implicit Regularization in Nonconvex Statistical Estimation: Gradient Descent Converges Linearly for Phase Retrieval, Matrix Completion, and Blind Deconvolution
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
近年来，在设计可证明有效的非凸程序来解决统计估计问题方面出现了一系列的活动。由于经验损失的高度非凸性质，最先进的程序通常需要适当的正则化（例如修剪，正则化成本，投影），以保证快速收敛。然而，对于诸如梯度下降之类的常规过程，先验理论要么推荐高度保守的学习率以避免过冲，要么完全缺乏性能保证。本文揭示了非凸优化中一个引人注目的现象：即使在没有显式正则化的情况下，梯度下降也会在各种统计模型下隐式地执行适当的正则化。事实上，梯度下降遵循的轨迹停留在具有良好几何形状的盆地内，由与采样机制不一致的点组成。这种“隐式正则化”特性允许梯度下降以更积极的方式进行，而不会过冲，这反过来又导致大量的计算节省。聚焦于三个基本的统计估计问题，即相位恢复，低秩矩阵完成，和盲反卷积，我们建立了梯度下降实现接近最优的统计和计算保证，而无需显式正则化。特别是，通过将统计建模与通用优化理论相结合，我们开发了一个通用的配方，通过留一法扰动参数分析迭代算法的轨迹。作为一个副产品，嘈杂的矩阵完成，我们证明，梯度下降实现了接近最优的误差控制-测量entrywise和频谱范数-这可能是独立的利益。
2019-07-30 cs.IT cs.LG math.IT
A modified Polak-Ribiere-Polyak type conjugate gradient method with two stepsize strategies for vector optimization
针对向量值函数偏序下临界点求解问题，提出带非负共轭参数的改进Polak-Ribiere-Polyak型共轭梯度法，证明其搜索方向满足充分下降条件，在两种线搜索下具全局收敛性，实验验证了有效性。
2024-04-12 math.OC
Provable Efficient Online Matrix Completion via Non-convex Stochastic Gradient Descent
UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）；Microsoft Research New England（微软新英格兰研究院）
矩阵完备化是一个在理论和实践中都有广泛研究和应用的问题，它是通过对低秩矩阵的几个元素的观测来恢复低秩矩阵。到目前为止，大多数关于这个问题的可证明算法都局限于离线设置，在离线设置中，它们同时使用所有观测值来提供未知矩阵的估计。然而，在许多应用程序中，在线版本更有吸引力，我们一次观察一个条目并动态更新我们的估计。虽然现有的算法对于离线设置是有效的，但是它们对于在线设置可能是非常低效的。在本文中，我们提出了第一个可证明的，有效的在线算法矩阵完成。我们的算法从矩阵的初始估计开始，然后执行非凸随机梯度下降（SGD）。在每次观察之后，它执行仅涉及两个高矩阵的一行的快速更新，从而提供接近线性的总运行时间。我们的算法也可以自然地用于离线设置，在离线设置中，它为最先进的算法提供了具有竞争力的样本复杂性和运行时间。我们的证明引入了一个通用的框架，以表明SGD更新往往远离鞍面，并可能对其他非凸问题证明紧速率具有更广泛的意义。
2016-05-26 cs.LG math.OC stat.ML
Nonlinear conjugate gradient method for vector optimization on Riemannian manifolds with retraction and vector transport
针对黎曼流形上的向量优化问题，提出带回缩与向量传输的非线性共轭梯度法，推广 Wolfe 与 Zoutendjik 条件并证明 Pareto 驻点收敛性，辅以数值实验验证。
2023-07-28 math.OC
Explicit Stabilised Gradient Descent for Faster Strongly Convex Optimisation
介绍了强凸优化问题的龙格-库塔切比雪夫下降法（RKCD）。这种新的算法是基于显式稳定积分刚性微分方程，一类强大的数值计划，避免了严重的步长限制所面临的标准显式积分。对于优化二次函数和强凸函数，本文证明了RKCD几乎达到共轭梯度算法的最优收敛速度，并且RKCD的次优性随着二次函数的条件数的增加而减小.它是建立，这一最佳速率也获得了分区变体的RKCD适用于扰动的二次函数。此外，对一般强凸问题的数值实验表明，RKCD优于Nesterov的加速梯度下降。
2020-06-27 math.OC
A Regularized Limited Memory Subspace Minimization Conjugate Gradient Method for Unconstrained Optimization
本文基于有限记忆技术和子空间最小共轭梯度法，提出了一种正则化有限记忆子空间最小共轭梯度法，它包含两种迭代方式。在SMCG迭代中，我们通过最小化近似二次模型或近似正则化模型来获得搜索方向。在RQN迭代中，结合正则化技术和BFGS方法，在子空间中采用了一种改进的正则化拟牛顿法，以提高算法的正交性。此外，设计了一些简单的加速准则和一种改进的初始步长选择策略，以提高算法的效率。此外，利用广义非单调线搜索，并在较弱的条件下证明了算法的整体收敛性。最后，数值结果表明，该算法比ASMCG_PR算法有明显的改进，并且优于CUTEr库的有限内存共轭梯度软件包CG_DESCENT（6.8）和CGOPT（2.0）.
2023-01-07 math.OC
Nonlinear Conjugate Gradient Methods for PDE Constrained Shape Optimization Based on Steklov-Poincaré-Type Metrics
本文提出基于 Steklov-Poincaré 型度量的非线性共轭梯度法，用于求解偏微分方程约束的形状优化问题，数值实验表明该方法是对现有梯度优化算法的有效补充。
2021-07-07 math.OC
A three-term Polak-Ribière-Polyak conjugate gradient method for vector optimization
提出首个用于向量优化的三项PRP共轭梯度法，无需线搜索即可产生充分下降方向，基于新Wolfe型线搜索建立全局收敛性，数值实验验证其良好性能。
2025-10-08 math.OC
New subspace minimization conjugate gradient methods based on regularization model for unconstrained optimization
本文提出了两种新的基于$p - $正则化模型的子空间极小化共轭梯度法，其中分析了$p - $正则化模型中的一种特殊尺度范数.对特殊尺度范数的不同选择导致$p - $正则化子问题的不同解。通过对二维子空间中解的分析，得到了满足充分下降条件的新方向。在较弱的假设下，利用一种改进的非单调线搜索，证明了算法的整体收敛性。对所提方法的$R - $线性收敛进行了分析。数值结果表明，对于CUTEr库，所提出的方法优于Hager和Zhang（SIAM J Optim 16（1）：170-192，2005）、Dai和Kou（SIAM J Optim 23（1）：296-320，2013）、Liu和Liu（J Optim Theory Appl 180（3）：879-906，2019）以及Li等人（Comput Appl Math 38（1）：2019）分别提出的四种共轭梯度法。
2020-04-03 math.OC
The Alternating Descent Conditional Gradient Method for Sparse Inverse Problems
我们提出了一个变种的经典条件梯度法稀疏反问题的可微测量模型。这种模型出现在许多实际问题中，包括超分辨率，时间序列建模和矩阵完成。我们的算法结合了非凸和凸优化技术：我们提出了全球的条件梯度步骤交替利用可微测量模型的非凸局部搜索。这种混合给出了凸优化的理论全局最优性保证和停止条件，以及与非凸优化相关的性能和建模灵活性。我们的实验表明，我们的技术在几个应用中达到了最先进的结果。
2015-07-06 math.OC
A Modified Dai-Liao Spectral Conjugate Gradient Method with an Application to Signal Processing
Banaras Hindu University（贝拿勒斯印度教大学）；The Technion -- Israel Institute of Technology（以色列理工学院）；Indian Institute of Technology Roorkee（罗克勒印度理工学院）
本文提出一种改进的 Dai-Liao 谱共轭梯度法，通过引入新的 secant 条件和拟牛顿方向，提升收敛速度和计算效率，并应用于信号处理中。
2025-12-15 math.OC
Dual Space Preconditioning for Gradient Descent
近年来，在分析凸优化的Bregman梯度法时，引入了相对光滑性和相对强凸性条件。我们引入了梯度下降的广义左预处理方法，并证明了通过应用对偶空间中的相对光滑性可以保证其在本质光滑凸目标函数上的收敛性。我们的相对光滑性假设介于所设计的预条件子和目标的凸共轭之间，推广了典型的Lipschitz梯度假设。在对偶相对强凸性下，我们得到了与Bregman梯度法不同的线性收敛且具有水平平移不变的广义条件数.因此，在原则上，我们的方法是能够改善条件的梯度下降的问题与非Lipschitz梯度或非强凸结构。我们证明了我们的p-范数回归和指数罚函数最小化的方法。
2020-12-08 math.OC
Nonlinear Conjugate Gradient Method for Multiobjective Optimization Problems of Interval-Valued Maps
Indian Institute of Technology (BHU)（印度理工大学（贝拿勒斯））；Chongqing University of Science and Technology（重庆科技大学）；Heilongjiang Institute of Technology（黑龙江工程学院）
本文提出了一种非线性共轭梯度法用于求解区间值映射的多目标优化问题，通过Wolfe线搜索和收敛性分析，证明了算法的全局收敛性。
2026-03-06 math.OC
A robust BFGS algorithm for unconstrained nonlinear optimization problems
NRC, Office of Research（国家研究委员会，研究办公室）
本文提出一种改进BFGS算法，通过动态选择凸组合系数构造修正Hessian矩阵，证明其全局收敛且在局部优化器邻域超线性收敛，计算成本与BFGS相当，CUTE测试集上性能优于多种经典算法。
2025-11-12 math.OC
R3MC: A Riemannian three-factor algorithm for low-rank matrix completion
University of Liège（列日大学）；University of Cambridge（剑桥大学）
我们利用商流形上的黎曼优化的通用框架来开发R3MC，一个用于低秩矩阵完备化的非线性共轭梯度法。固定秩矩阵的底层搜索空间被赋予了一个新的黎曼度量，是专门为最小二乘成本。数值比较表明，R3MC鲁棒性优于国家的最先进的算法在不同的问题实例，特别是那些几乎没有采样和病态的数据相结合。
2014-09-20 cs.LG math.OC
A Preconditioned Riemannian Gradient Descent Algorithm for Low-Rank Matrix Recovery
针对低秩矩阵恢复问题，本文提出基于行列范数加权的预处理黎曼梯度下降算法，在限制等距性质下给出理论保证，实验显示其较传统RGD最多提速十倍。
2023-05-04 math.OC
Preconditioned Three-Term Conjugate Gradient Framework for Nonconvex Finite Minimax Problems
National Center for Applied Mathematics in Chongqing, Chongqing Normal University（重庆应用数学中心，重庆师范大学）
本文提出一种基于双曲主导化的预处理三项共轭梯度框架，用于非凸有限极小极大优化，通过解析对称正定度量同时实现曲率吸收、预处理和线搜索，保证充分下降、全局收敛并收敛到 Clarke 稳定点。
2026-09-15 math.OC
Tensor Completion via Tensor Train Based Low-Rank Quotient Geometry under a Preconditioned Metric
本文将预条件度量从矩阵推广到张量列车格式，研究固定张量列车秩流形的商几何，并提出黎曼梯度下降、共轭梯度及高斯-牛顿等张量补全算法，实验验证其恢复能力、收敛性能与重建质量具有竞争力。
2023-04-18 math.OC
A family of spectral conjugate gradient algorithms derived by least-squares approximations based on a modified quasi--Newton update with application to a revised robust binary classification model
Free University of Bozen–Bolzano（博尔扎诺自由大学）；Semnan University（塞姆南大学）；American University（美利坚大学）
本文提出一类基于最小二乘逼近和修正拟牛顿更新的谱三项共轭梯度算法，保证充分下降与收敛性，并在CUTEr测试集及鲁棒二分类SVM应用中验证其优势。
2026-09-15 cs.LG math.OC
Nonlinear conjugate gradient methods: worst-case convergence rates via computer-assisted analyses
本文提出计算机辅助分析方法，为非线性共轭梯度方法（PRP和FR）建立新的非渐近收敛界，并给出对抗性示例表明其性能不优于精确线搜索的梯度下降。
2024-09-18 math.OC
A new subspace minimization conjugate gradient method for unconstrained minimization
子空间极小化共轭梯度法是求解无约束优化问题的一类非常有效的迭代方法，近年来受到了广泛的关注。通常，SMCG方法的搜索方向是通过在当前梯度$ g_k $和最新搜索方向所跨越的子空间上最小化近似模型来产生的，该近似模型具有目标函数在当前梯度处的近似矩阵$ B_k $。在计算搜索方向时，必须对$ g_k^TB_kg_k $进行适当的估计，这对SMCG方法的理论性质和数值性能至关重要。要正确估计它是一个巨大的挑战。投影技术已成功地用于产生共轭梯度方向，如Dai-Kou共轭梯度方向。基于这两点，本文在无记忆拟牛顿法的基础上，利用投影技术，提出了一种新的子空间极小化共轭梯度法。特别地，我们将无记忆拟牛顿法的搜索方向投影到当前梯度和最近一次搜索方向所构成的子空间中，并驱动一个新的搜索方向，该方向被证明是下降的。值得注意的是，所提出的方法不需要任何线搜索，对二维凸二次函数具有有限终止性，这对算法的设计很有帮助。基于上述有限终止性质，给出了搜索方向上的自适应缩放因子。该方法不需要确定参数$ ρ_k $，可以看作是Dai-Kou共轭梯度法的推广。分析了算法的全局收敛性。数值比较表明，该方法是非常有前途的。
2023-03-23 math.OC
Line Search Fixed Point Algorithms Based on Nonlinear Conjugate Gradient Directions: Application to Constrained Smooth Convex Optimization
本文研究实Hilbert空间上非扩张映射的不动点问题，提出了新的线搜索不动点算法来加速搜索.线搜索的终止条件是基于众所周知的沃尔夫条件，用于确保无约束优化算法的收敛性和稳定性。利用最速下降方向和传统的无约束优化的非线性共轭梯度方向的思想，产生了搜索不动点的方向。在一定的假设条件下，我们对求解不动点问题的算法进行了收敛性和收敛速度分析。本文的主要贡献是对约束光滑凸优化问题中的一个问题，即能否设计非线性共轭梯度算法来求解约束光滑凸最优化问题做出了具体的回答。我们证明了所提出的不动点算法包括具有非线性共轭梯度方向的不动点算法，这些不动点算法可以求解约束光滑凸优化问题。为了说明算法的实用性，我们将其应用于具体的约束光滑凸最优化问题，如约束二次规划问题和广义凸可行性问题，并将其与以前基于Krasnosel'ski \u-Mann不动点算法的算法进行了数值比较.结果表明，与已有算法相比，本文算法大大减少了求解具体最优化问题的运行时间和迭代次数.
2015-09-18 math.OC
Guarantees of Riemannian Optimization for Low Rank Matrix Completion
University of California at Davis（加州大学戴维斯分校）；Hong Kong University of Science and Technology（香港科技大学）
研究了低秩矩阵补全问题中嵌入黎曼流形上的优化方法，证明了在特定采样条件下，黎曼梯度下降和共轭梯度下降算法能线性收敛，且通过改进的初始化方法进一步降低了采样复杂度。
2016-04-09 cs.NA math.NA math.OC
Convergence analysis of stochastic gradient descent with adaptive preconditioning for non-convex and convex functions
本文针对现有带预处理的随机梯度算法缺乏预处理核心属性理论论证的问题，提出简洁理论框架，证明可优化光滑函数下收敛速率对梯度Lipschitz常数的依赖关系。
2023-08-27 math.OC
Decentralized Riemannian Conjugate Gradient Method on the Stiefel Manifold
Zhejiang University（浙江大学）；SGIT AI Lab, State Grid Corporation of China（国网公司SGIT人工智能实验室）；CFAR and IHPC, Agency for Science, Technology and Research（新加坡科技研究局CFAR与IHPC）；SCSE, NTU（南洋理工大学计算机科学与工程学院）
针对分布式场景下Stiefel流形优化缺乏黎曼共轭梯度方法的问题，提出无需复杂黎曼几何操作的DRCGD方法，是首个在该流形上实现全局收敛的分布式黎曼共轭梯度算法。
2024-03-12 cs.LG cs.SY eess.SY
Matrix Completion under Interval Uncertainty
IBM Research（IBM研究院）；Lehigh University（里海大学）；University of Edinburgh（爱丁堡大学）
区间不确定条件下的矩阵完备化问题可以转化为带盒约束的矩阵完备化问题。我们提出了一个有效的交替方向平行坐标下降法的问题。我们表明，该方法优于任何其他已知的方法在图像修复的基准方面的信噪比，它提供了高质量的解决方案的协同过滤的实例与100,198,805建议在5分钟内。
2016-04-01 cs.AI cs.IR math.OC
Low-rank matrix completion by Riemannian optimization---extended version
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
提出一种基于黎曼流形上非线性共轭梯度的矩阵补全算法，利用度量投影作为回缩，向量传输获取共轭搜索方向，并在受限等距性质下证明正则化版本的收敛性，数值实验表明算法在大规模问题上扩展性好且优于现有方法。
2012-09-18 cs.NA math.DG math.NA
Inexact Riemannian Gradient Descent Method for Nonconvex Optimization
针对黎曼流形非凸优化中精确梯度难获取的问题，提出带收敛保证的新型非精确黎曼梯度下降算法，建立两个非精确梯度条件，兼具理论收敛性与实际应用效率。
2024-09-17 math.OC
Convergence of Gradient Descent with Small Initialization for Unregularized Matrix Completion
University of Michigan（密歇根大学）
研究对称矩阵补全问题，证明在无需显式正则化且小初始化条件下，梯度下降在过参数化和精确参数化场景中均能收敛至真实矩阵，其收敛速率与精度仅取决于真实秩，并提出弱耦合留一法分析建立全局收敛。
2024-02-09 cs.LG math.OC stat.ML
A Riemannian geometry for low-rank matrix completion
Indian Institute of Technology Bombay（印度理工学院孟买分校）
针对低秩矩阵补全问题，提出一种新的固定秩矩阵的黎曼几何，通过调节商空间的度量来适配最小二乘代价函数，并开发了梯度下降和信赖域算法，实现了与最先进算法LMaFit竞争的性能。
2012-11-12 cs.LG cs.NA math.NA
Global Convergence of Stochastic Gradient Descent for Some Non-convex Matrix Problems
Stanford University（斯坦福大学）
低秩分解上的随机梯度下降（SGD）通常用于加速矩阵问题，包括矩阵完成，子空间跟踪和SDP松弛。在本文中，我们展示了一个步长计划SGD的低秩最小二乘问题，我们证明了，在广泛的采样条件下，我们的方法收敛全局从一个随机的起始点内$O(ε^{-1} n \log n)$步骤与常数概率的常秩问题。我们的SGD修改涉及到随机幂迭代。我们还展示了实验来说明该算法的运行时间和收敛性。
2015-02-10 cs.LG math.OC stat.ML
Fast Exact Matrix Completion: A Unified Optimization Framework for Matrix Completion
Sloan School of Management（斯隆管理学院）；Operations Research Center（运筹学研究中心）；Massachusetts Institute of Technology（麻省理工学院）
我们制定的矩阵完成的问题，没有边信息作为一个非凸优化问题。我们设计的fastImpute基于非凸梯度下降，并显示它收敛到一个全局最小值，保证恢复密切的基础矩阵，而它的规模超过$10^5 \times 10^5$的大小矩阵。我们报告了在合成和真实世界数据集上的实验，这些实验表明fastImpute在恢复矩阵的准确性和所有情况下所需的时间方面都具有竞争力。此外，当大量条目丢失时，fastImpute在具有和不具有边信息的情况下都比当前最先进的矩阵完成方法快$75\%$以上、低MAPE和快$15$倍。
2020-12-31 cs.LG math.OC stat.ME
Two Generalized Derivative-free Methods to Solve Large Scale Nonlinear Equations with Convex Constraints
King Fahd University of Petroleum and Minerals（法赫德国王石油与矿物大学）；Islamic University in Uganda（乌干达伊斯兰大学）
针对带凸约束的大规模非线性方程组问题，提出两种满足充分下降条件的广义无导数方法，分析了其收敛性依赖差异，数值结果验证了算法有效性。
2025-11-14 cs.NA math.NA math.OC
Riemannian preconditioning for tensor completion
The university of Electro-Communications（电气通信大学）；University of Cambridge（剑桥大学）
本文提出一种新的Riemannian预处理方法用于张量补全问题，利用最小二乘结构和Tucker分解的对称性，开发出高效的非线性共轭梯度算法，实验表明其在不同数据集上表现优异。
2016-05-27 cs.LG cs.NA math.NA
Spectral conjugate gradient projection methods for large-scale monotone equations without Lipschitz continuity
King Fahd University of Petroleum and Minerals（阿卜杜勒阿齐兹国王石油矿产大学）；Islamic University in Uganda（乌干达伊斯兰大学）
本文提出两种无导数投影方法，用于求解带凸约束的大规模非线性单调方程。两种方法均引入自适应谱参数，分别改进了共轭梯度框架，且搜索方向满足独立于线搜索的充分下降条件。第一种方法在无利普希茨连续性假设下具有全局收敛性，第二种方法在标准单调性和利普希茨连续性假设下具有全局收敛性。
2026-05-15 cs.NA math.NA math.OC
Conjugate Gradient Method for Generative Adversarial Networks
Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；Meiji University（明治大学）
生成模型的训练策略之一是最小化模型分布和数据分布之间的Jensen-Shannon分歧。由于数据分布是未知的，生成对抗网络（GANs）将这个问题描述为两个模型之间的博弈，一个生成器和一个节点。训练可以在博弈论和局部纳什均衡（LNE）的背景下制定。它似乎是不可行的，以获得现有的方法的稳定性或最优性的保证。这种优化问题远比单目标设定更具挑战性。在这里，我们使用共轭梯度法来可靠有效地解决GANs中的LNE问题。我们给出了一个证明和收敛性分析表明，该方法收敛到一个LNE与三个不同的学习率更新规则，包括一个恒定的学习率的假设下。最后，我们证明了所提出的方法优于随机梯度下降（SGD）和动量SGD的最佳Frechet起始距离（FID）的分数和平均优于亚当。代码可在\url{https://github.com/Hiroki11x/ConjugateGradient_GAN}上获得。
2023-02-21 cs.CV cs.LG math.OC
Natural Gradient VI: Guarantees for Non-Conjugate Models
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）；Georgia Institute of Technology（佐治亚理工学院）
本研究针对非共轭模型下的自然梯度变分推断，推导了相对光滑性条件，提出带非欧投影的改进算法并证明其收敛到驻点，在额外假设下揭示隐藏凸性并建立全局最优收敛保证。
2025-10-22 cs.LG math.OC
Implicit Bias and Convergence of Matrix Stochastic Mirror Descent
本文研究了矩阵随机镜像下降法在过参数化 regime 中的收敛性，揭示了矩阵镜像函数对高维多输出问题归纳偏置的影响。
2026-02-27 cs.LG math.OC stat.ML
Low-rank tensor completion: a Riemannian manifold preconditioning approach
The University of Electro-Communications（电气通信大学）；Amazon Development Centre India（亚马逊印度开发中心）
本文提出了一种基于黎曼流形预条件的方法用于具有秩约束的张量补全问题，通过引入新的黎曼度量利用最小二乘结构和Tucker分解的对称性，开发出预条件非线性共轭梯度和随机梯度下降算法，实验表明其在不同数据集上优于现有方法。
2016-05-26 cs.LG cs.NA math.NA
