A Dai-Yuan-type Riemannian conjugate gradient method with the weak Wolfe conditions
本文提出了一种新的黎曼共轭梯度法，并给出了整体收敛性分析。现有的Fletcher-Reeves型黎曼共轭梯度法在强Wolfe条件下保证全局收敛.另一方面，戴元型欧氏共轭梯度法在弱Wolfe条件下产生全局收敛序列.本文将戴元的欧几里德算法推广到只需要弱Wolfe条件的黎曼算法。通过与微分收缩相关联的尺度矢量输运证明了该方法的整体收敛性质。数值实验结果表明了该算法的有效性。
2016-06-17 math.OC
Riemannian conjugate gradient methods: General framework and specific algorithms with convergence analyses
提出了一种新的黎曼共轭梯度法的一般框架，即黎曼流形上的共轭梯度法。共轭梯度法是欧几里得空间和黎曼流形上重要的一阶优化算法。虽然各种类型的共轭梯度法在欧几里得空间中得到了研究，但在黎曼流形上的研究较少。在黎曼共轭梯度法的每次迭代中，前一个搜索方向必须被转移到当前切空间，以便它可以被添加到当前点处目标函数的负梯度上。将一个切向量转移到另一个切空间有几种方法。因此，黎曼共轭梯度法的变体比欧几里德的情况更多。为了更详细地研究它们，所提出的框架统一了现有的黎曼共轭梯度法，如利用矢量传输或逆收缩，还开发了其他方法，还没有被覆盖在以前的研究。此外，阐明了在所提出的框架中的一类算法的收敛性的充分条件。此外，对几种具体类型的算法的整体收敛性质进行了广泛的分析。分析提供了一些算法的理论结果，在一个更一般的设置比现有的研究和完全新的发展，为其他算法。数值实验验证了理论结果的正确性。结果还比较了几个具体的算法在所提出的框架的性能。
2021-12-05 math.OC
Centered Weak Discrete Riemannian Gradients: A Unified Framework for Riemannian Optimization
National Institute of Informatics（信息处理学会）；The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）
提出中心弱离散黎曼梯度（c-wDRG）框架，统一分析黎曼流形优化方法，推导收敛结果并开发加速方案，为相关方法提供显式步长条件与收敛速率。
2026-10-06 math.OC
Riemannian Stochastic Hybrid Gradient Algorithm for Nonconvex Optimization
近年来，黎曼随机梯度下降（R-SGD）、黎曼随机方差缩减（R-SVRG）和黎曼随机递归梯度（R-SRG）在黎曼优化中引起了广泛的关注。在一般情况下，单独分析R-SRG算法的收敛性是不可能的。主要原因是下降方向的条件期望是一个有偏估计。但是，在本文中，我们考虑黎曼流形上三个下降方向的线性组合作为新的下降方向（即，R-SRG、R-SVRG和R-SGD），并且参数是时变的。首先，我们提出了一种参数自适应的黎曼随机混合梯度（R-SHG）算法。该算法得到了一个整体收敛分析与衰减的步长。对于步长固定的情况，我们考虑了内环固定和时变两种情况。同时，对算法的收敛速度进行了定量研究.针对参数自适应的R-SHG算法的整体收敛对函数的可微性要求较高的问题，提出了一种参数时变的R-SHG算法。在较弱的条件下也得到了类似的结论。
2021-10-15 math.OC
Hybrid Riemannian Conjugate Gradient Methods with Global Convergence Properties
在强Wolfe条件下，给出了新的Riemann共轭梯度法及其整体收敛性分析.新方法的主要思想是将Dai-Yuan方法良好的整体收敛特性与Hestenes-Stiefel方法的高效数值性能结合起来。所提出的方法比较以及数值与现有的方法的单位球上的瑞利商最小化问题。数值比较表明，它们的性能优于现有的。
2020-05-24 math.OC
Sufficient Descent Riemannian Conjugate Gradient Method
本文考虑带线搜索算法的充分下降黎曼共轭梯度法。提出了两类充分下降的非线性共轭梯度法，并证明了这两类方法在黎曼流形上也满足充分下降条件。一种是Fletcher-Reeves型方法与Polak-Ribiere-Polyak型方法相结合的混合方法，另一种是Hager-Zhang型方法，这两种方法都是欧几里得空间中方法的推广。同时，我们推广了欧几里得空间中两种常用的线搜索算法。此外，我们数值比较我们的广义方法通过解决几个黎曼最优化问题。结果表明，所提出的混合方法的性能很大程度上取决于线搜索的类型。同时，Hager-Zhang-type方法具有快速收敛特性，而与使用的线搜索类型无关。
2021-04-27 math.OC
Adaptive Gradient Descent on Riemannian Manifolds with Nonnegative Curvature
本文提出一种用于非负截面曲率黎曼流形测地凸优化的自适应梯度下降方法，无需昂贵计算即可适应局部几何，并在测地完备性假设下证明了收敛性，实验验证了其有效性。
2025-09-15 math.OC
Global Convergence of Hager-Zhang type Riemannian Conjugate Gradient Method
提出了一种利用指数收缩的Hager-Zhang（HZ）型黎曼共轭梯度法。在两种假设条件下，我们也给出了我们所提出的方法的整体收敛分析。通过求解单位球面上的两类黎曼最优化问题，将本文方法与已有方法进行了数值比较。数值结果表明，我们提出的方法具有更好的性能比现有的方法，即，FR、DY、PRP和HS方法。特别是，他们表明，它有更高的性能比现有的方法，包括混合的计算图的稳定数的问题。
2022-07-05 math.OC
A gradient flow method for smooth splines versus least-squares fitting on Riemannian manifolds
本文提出利用网络梯度流方法解决光滑黎曼流形上的样条插值与最小二乘拟合问题，严格证明了全局解的存在性，并暗示了数值求解方案。
2024-05-29 math.OC
Convergence and Trade-Offs in Riemannian Gradient Descent and Riemannian Proximal Point
本文分析黎曼梯度下降与（不精确）黎曼近端点法的收敛速率，证明迭代自然保持在优化器周围球内，并提供可实现的算法及新性质，辅以实证验证。
2024-03-15 math.OC
A Preconditioned Riemannian Gradient Descent Algorithm for Low-Rank Matrix Recovery
针对低秩矩阵恢复问题，本文提出基于行列范数加权的预处理黎曼梯度下降算法，在限制等距性质下给出理论保证，实验显示其较传统RGD最多提速十倍。
2023-05-04 math.OC
Gradient Method for Optimization on Riemannian Manifolds with Lower Bounded Curvature
研究了在具有下界截面曲率的黎曼流形上极小化可微凸函数的梯度法。分析的方法提出了三种不同的有限程序确定的步长，即Lipschitz步长，自适应步长和Armijo的步长。第一个过程要求目标函数具有Lipschitz连续梯度，这是不必要的其他方法。证明了在没有任何水平集有界性假设的情况下，整个序列收敛到极小点。给出了具有Lipschitz连续梯度函数的迭代复杂性界。数值实验验证了该方法的有效性，并验证了理论结果。特别是，我们考虑的问题，找到黎曼中心的质量和所谓的Karcher的平均。我们的数值实验表明，自适应步长是一个有前途的计划，值得考虑。
2018-06-07 math.OC
Momentum Improves Optimization on Riemannian Manifolds
我们开发了一个新的黎曼下降算法，依赖于动量，以改善现有的一阶方法测地线凸优化。相比之下，加速收敛速度证明在以前的工作中只被证明为测地线强凸目标函数。我们进一步扩展我们的算法测地线弱拟凸目标。我们的收敛性证明依赖于一个新的估计序列，说明了依赖的收敛速度上的曲率的流形。我们验证了我们的理论结果经验上定义的球面上和流形上的正定矩阵的几个最优化问题。
2021-02-14 math.OC
Riemannian Momentum Tracking: Distributed Optimization with Momentum on Compact Submanifolds
Zhejiang Normal University（浙江师范大学）；China Mobile Research Institute（中国移动研究院）；Xi’an Jiaotong University（西安交通大学）；State Grid Corporation of China（国家电网有限公司）；Institute of Cyber-Systems and Control, Zhejiang University（浙江大学控制科学与工程学院）；Huzhou University（湖州师范学院）；Centre for Frontier Artificial Intelligence Research, A*STAR（新加坡国立研究理事会前沿人工智能研究中心）
本文提出了一种在紧致子流形上基于动量的去中心化优化算法RMTracking，实现了比其他算法快$\frac{1}{1-β}$倍的收敛速度。
2026-02-14 math.OC
A Riemannian Accelerated Proximal Gradient Method
针对流形上的非光滑优化问题，提出统一的黎曼加速近端梯度方法，在测地凸和强凸情形下建立加速收敛速率，并引入保护机制保证非凸全局收敛，数值实验验证了理论加速。
2025-09-26 math.OC
Riemannian Proximal Gradient Methods (extended version)
在欧氏空间中，近似梯度法及其加速算法是求解目标可分解的最优化问题的一类有效算法。在本文中，我们发展了一个黎曼近似梯度法（RPG）和它的加速变体（ARPG）类似的问题，但限制在一个流形上。在适当的假设下证明了RPG的整体收敛性，并基于收缩凸性的概念证明了RPG的O（1/k）收敛性.如果假定目标函数服从RimannianKurdyka-Lojasiewicz（KL）性质，则进一步证明了RPG生成的序列收敛于单个平稳点.在欧几里德设置，局部收敛速度可以建立，如果目标函数满足黎曼KL性质的指数。此外，我们已经表明，限制的半代数函数的Stiefel流形满足黎曼KL性质，其中包括例如著名的稀疏PCA问题。随机和合成数据的数值实验进行了测试所提出的RPG和ARPG的性能。
2021-05-30 math.OC
A Single-Mode Quasi Riemannian Gradient Descent Algorithm for Low-Rank Tensor Recovery
针对低秩张量从不完整测量中恢复的问题，提出结合黎曼梯度下降切空间投影与ST-HOSVD的SM-QRGD算法，理论上证明收敛，实验验证其准确性与高效性。
2024-01-29 math.OC
An Inexact Riemannian Gradient Descent Algorithm on the Stiefel Manifold with One Newton-Schulz Iteration
School of Mathematical Sciences, Xiamen University（厦门大学数学科学学院）
本文提出一种Stiefel流形上带一次Newton-Schulz迭代的不精确黎曼梯度下降算法，可保证收敛性，性能优于同类算法，还提出其随机版本且表现优异。
2026-08-25 math.OC
Nonlinear conjugate gradient method for vector optimization on Riemannian manifolds with retraction and vector transport
针对黎曼流形上的向量优化问题，提出带回缩与向量传输的非线性共轭梯度法，推广 Wolfe 与 Zoutendjik 条件并证明 Pareto 驻点收敛性，辅以数值实验验证。
2023-07-28 math.OC
Convergence of Riemannian Stochastic Gradient Descent on Hadamard Manifold
该研究针对Hadamard流形上的黎曼随机梯度下降（RSGD）开展收敛性分析，融入小批量学习理念，针对两类步长给出四类分析结果，证明收敛步数随批量增大凸单调递减，且理论与数值实验均验证批量增大可提升算法性能。
2023-12-13 math.OC
Distributed Riemannian Stochastic Gradient Tracking Algorithm on the Stiefel Manifold
针对多智能体系统在Stiefel流形上的分布式黎曼随机优化问题，提出结合变样本量梯度近似与梯度跟踪的算法，证明了固定步长下的收敛性并分析不同样本量增长模式的收敛速率，通过数值实验验证理论结果。
2025-01-16 math.OC
Loopless Proximal Riemannian Gradient EXTRA for Distributed Optimization on Compact Manifolds
School of Intelligent Engineering, Sun Yat-Sen University（中山大学智能工程学院）；Department of Automation, Tsinghua University（清华大学自动化系）；Department of Mechanical Engineering, University of Victoria（维多利亚大学机械工程系）；The Key Laboratory of Autonomous Intelligent Unmanned Systems, Harbin Institute of Technology（哈尔滨工业大学自主智能无人系统重点实验室）
本文提出PR-EXTRA算法，用于在紧致流形上求解分布式复合优化问题，通过单次通信和局部梯度计算实现次线性收敛。
2026-03-09 math.OC
A new, globally convergent Riemannian conjugate gradient method
本文讨论了黎曼流形上的共轭梯度法，并讨论了其整体收敛.现有的共轭梯度算法需要假设向量迁移不增加切向量的范数，以保证生成的序列具有整体收敛性质.在本文中，一个缩放矢量传输的概念被引入到改进的算法，使所产生的序列可以有一个整体收敛的性质，在一个宽松的假设。在所提出的算法中，传输向量的范数在传输过程中增加的情况下被重新缩放。理论上证明了算法的整体收敛性，并通过实例进行了数值观察.实际上，数值实验表明，存在最小化问题，现有的算法产生发散序列，但所提出的算法产生收敛序列。
2013-08-02 math.OC
A Proximal Gradient Framework for Composite Multiobjective Optimization on Riemannian Manifolds
Faculty of Economics and Business Administration, Tokyo Metropolitan University（东京都立大学经济商学院）
本文提出了一种用于流形上复合优化问题的Riemannian多目标近似梯度方法（RMPGM），直接处理向量值目标并保证全局收敛到Pareto stationary点，具有O(1/k)收敛速度。进一步开发了两种变体以提高实用性和性能：允许在子问题求解中控制近似程度的不精确RMPGM，以及自适应调整惩罚参数的信赖域RMPGM，达到O(ε^{-2})迭代复杂度。数值实验表明，所提方法在性能上优于基于次梯度的基线方法。
2026-05-16 math.OC
A Riemannian Inertial Adaptive Gradient Method with Momentum Restart
University of Hertfordshire（赫特福德大学）；Sefako Makgatho Health Sciences University（塞法科·马卡索健康科学大学）
本文提出RIAG-R，一种结合自适应步长、惯性外推和梯度触发重启的黎曼优化方法，在多个矩阵流形上显著优于基线，证明了自适应重启对曲率空间动量的关键作用。
2026-09-29 math.OC
Higher-order Riemannian spline interpolation problems: a unified approach by gradient flows
本文提出基于梯度流的统一方法，解决黎曼流形上的高阶样条插值问题，并扩展到李群，严格证明解的存在性，为几何控制与形状分析提供新框架。
2025-10-28 math.OC
Hessian Riemannian gradient flows in convex programming
受约束极小化问题的启发，研究了由Legendre型凸函数诱导的关于Hessian黎曼度量的梯度流。第一个结果将凸集上的Hessian Riemann结构刻画为对变分不等式具有特定积分性质的度量，为Bregman型距离的引入提供了新的动力.然后，引入一般发展问题，给出了一个微分包含形式。在拟凸性条件下证明了该方法的一般存在性，并建立了其整体收敛性，在凸极小化条件下得到了有趣的改进。这些梯度流的一些显式的例子进行了讨论。对一类具有正性和等式约束的凸规划，给出了对偶轨线的确定和对偶收敛的充分条件。一些收敛速度的结果。在线性目标函数的情况下，给出了轨道的几个最优性特征：粘性方法的最优路径，Bregman型邻近算法的连续时间模型，适当度量的测地线，Lagrange方程和完全可积哈密顿系统的$\dot q$ -轨道的投影.
2018-11-26 math.OC
Riemannian optimization with finite-difference gradient approximations
Université Catholique de Louvain（天主教鲁汶大学）
本文提出了一种基于有限差分梯度近似的黎曼优化方法，通过自适应选择精度和步长，实现了高效的无导数优化算法，并在欧几里得和黎曼流形上展示了优越的性能。
2026-01-13 math.OC
Riemannian Inexact Gradient Descent for Quadratic Discrimination
University of Arizona（亚利桑那大学）
针对高维小样本成像中的二次判别任务，提出一种对不精确梯度鲁棒的黎曼优化算法，证明O(1/K)收敛率，并在格拉斯曼流形上验证性能。
2026-06-16 math.OC
Escape saddle points faster on manifolds via perturbed Riemannian stochastic recursive gradient
University of Sydney（悉尼大学）；Discipline of Business Analytics（商业分析学科）
在本文中，我们提出了一个变形的黎曼随机递归梯度法，可以实现二阶收敛保证和逃逸鞍点使用简单的扰动。其思想是在梯度较小时扰动迭代，并在切空间上进行随机递归梯度更新。这避免了利用黎曼几何的复杂性。我们表明，在有限和设置下，我们的算法需要$\widetilde{\mathcal{O}}\big( \frac{ \sqrt{n}}{ε^2} + \frac{\sqrt{n} }{δ^4} + \frac{n}{δ^3}\big)$随机梯度查询找到一个$(ε, δ)$ -二阶临界点。这严格地提高了扰动黎曼梯度下降的复杂性，并且在大样本设置下优于扰动黎曼加速梯度下降。我们还提供了一个复杂的$\widetilde{\mathcal{O}} \big( \frac{1}{ε^3} + \frac{1}{δ^3 ε^2} + \frac{1}{δ^4 ε} \big)$在线优化，这是新颖的黎曼流形的二阶收敛，仅使用一阶信息。
2020-10-28 cs.LG math.OC
Riemannian accelerated gradient methods via extrapolation
University of Sydney（悉尼大学）；Microsoft India（微软印度）
本文提出了一种简单的黎曼梯度法的加速格式，它是通过在流形上外推迭代来实现的。我们证明了当迭代由黎曼梯度下降法产生时，加速格式渐近地达到最优收敛速度，并且在计算上比最近提出的黎曼Nesterov加速梯度法更有利.我们的实验验证了新的加速策略的实际效益。
2022-08-13 cs.LG math.OC stat.ML
Convergence analysis of the Riemannian proximal gradient method with inexact oracle
Shenzhen University（深圳大学）；Sun Yat-sen University（中山大学）；Guangdong Polytechnic Normal University（广东技术师范大学）
将不精确一阶oracle概念推广到黎曼优化，分析带有该oracle的黎曼近端梯度方法（RPG-IO）的全局收敛性，并基于KL性质证明迭代序列收敛到稳定点及收敛速率。
2026-06-25 math.OC
Decentralized projected Riemannian gradient method for smooth optimization on compact submanifolds
针对紧子流形上的去中心化非凸光滑优化，提出 DPRGD 与 DPRGT，分别获得 $\mathcal{O}(1/\sqrt{K})$ 和 $\mathcal{O}(1/K)$ 收敛率，其中 DPRGT 首次实现精确收敛。
2023-09-30 math.OC
Riemannian conditional gradient methods for composite optimization problems
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
本文提出了一种Riemannian条件梯度方法，用于求解可表示为光滑函数与基于retraction的凸函数之和的复合优化问题，分析了三种步长策略的收敛性，并建立了收敛率和迭代复杂度。
2025-09-02 math.OC
Riemannian Conjugate Gradient Descent Method for Third-Order Tensor Completion
张量补全的目标是在低秩约束下填充部分已知张量的缺失条目。本文主要研究了光滑流形上的低秩三阶张量完备化问题，并利用Riemannian最优化方法进行了研究。这里张量秩被定义为一组矩阵秩，其中矩阵是通过将傅立叶相关变换应用到原始张量的管上而获得的变换张量的切片。我们表明，适当的不相干条件下的底层低秩张量，建议的黎曼最优化方法是保证收敛，并找到这样的低秩张量具有很高的概率。此外，研究并推导了不同初始化方法下求解低秩张量完备化问题所需的样本项数目。合成和图像数据集的数值例子表明，所提出的方法是能够恢复低秩张量。
2020-11-20 math.OC
A Stochastic Riemannian Alternating Descent Ascent Method for Nonsmooth Composite Expectation Optimization on Riemannian Manifolds
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Nanjing Normal University（南京师范大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；The Chinese University of Hong Kong（香港中文大学）
针对黎曼流形上非光滑复合期望优化问题，本文提出StoRADA-RM算法，证明其复杂度为O(ε⁻³)，并通过数值实验验证其性能。
2026-09-04 math.OC
A Riemannian gradient descent method for optimization on the indefinite Stiefel manifold
Thai Nguyen University of Technology（越南国家大学太原分校工程技术大学）；Thai Nguyen University of Sciences（太原科技大学）
针对形如X^TAX=J的二次矩阵约束优化问题，通过构造不定Stiefel流形的黎曼几何结构并基于Cayley变换提出回缩，给出全局收敛的黎曼梯度下降法，推广了正交和广义Stiefel流形情形，并应用于特征值问题和矩阵最小二乘问题。
2026-05-23 math.OC
Proximal Gradient Descent Ascent Methods for Nonsmooth Nonconvex-Concave Minimax Problems on Riemannian Manifolds
School of Mathematics, Sun Yat-sen University（中山大学数学学院）；School of Computer Science and Engineering, Guangdong Province Key Laboratory of Computational Science, Sun Yat-sen University（中山大学计算机科学与工程学院）
本文提出两种黎曼流形上的近端梯度下降上升算法，解决非光滑非凸-非凹极小极大问题，证明其能在O(ε⁻³)或O(ε⁻⁴)次迭代内找到ε-游戏 stationary 点和优化 stationary 点。
2026-03-21 math.OC
Faster First-Order Methods for Stochastic Non-Convex Optimization on Riemannian Manifolds
SPIDER（Stochastic Path Integrated Differential EstimatoR）是一种针对非凸随机最优化问题的有效梯度估计方法。虽然已经被证明可以达到接近最佳的计算复杂性界限，但SPIDER型方法仅限于线性度量空间。在本文中，我们介绍了黎曼SPIDER（R-SPIDER）方法作为一种新的非线性度量扩展的SPIDER的有效的非凸优化黎曼流形。我们证明了，对于有限和问题的$n$组件，R-SPIDER收敛到一个$ε$ -准确的固定点内$\mathcal{O}\big(\min\big(n+\frac{\sqrt{n}}{ε^2},\frac{1}{ε^3}\big)\big)$随机梯度评估，这是尖锐的幅度比以前的黎曼一阶方法。对于在线优化，R-SPIDER收敛与$\mathcal{O}\big(\frac{1}{ε^3}\big)$的复杂性，这是据我们所知，在线黎曼优化的第一个非渐近结果。特别地，对于梯度控制函数，我们进一步发展了R-SPIDER的一个变体，并证明了它的线性收敛速率。数值结果表明了所提出方法的计算效率。
2018-11-24 math.OC
An Inexact Riemannian Proximal Momentum Variance-Reduced Method: Complexity Bounds and KL Sequential Convergence
South China Agricultural University（华南农业大学）
针对紧嵌入子流形上的有限和非光滑复合问题，提出不精确黎曼邻近动量方差缩减方法，建立其复杂度界，并基于普通逐点KL性质推导带记忆的条件期望下降抽象KL原理，证明序列收敛性与速率。
2026-08-18 math.OC
Second-order geometry and Riemannian Newton-type methods for optimization on the indefinite Stiefel manifold
Ritsumeikan University（立命馆大学）
本文提出在不定Stiefel流形上应用Riemannian牛顿法，通过分析二阶几何并解析计算Hessian，结合共轭梯度法求解牛顿方程，验证了方法的高效性与收敛性。
2026-07-28 math.OC
Community Detection by a Riemannian Projected Proximal Gradient Method
社区发现在理解和利用复杂系统的结构方面起着重要的作用。已经开发了许多使用模块化最大化或其他技术进行社区发现的算法。本文将社区发现问题转化为紧致Stiefel流形上的约束非光滑优化问题。提出了一种黎曼投影邻近梯度法并用于求解该问题。据我们所知，这是第一次尝试使用黎曼优化的社区发现问题。在合成基准测试和真实网络上的数值实验结果表明，该算法是有效的，性能优于几个最先进的算法。
2020-09-25 cs.SI math.OC
Riemannian Stochastic Gradient Method for Nested Composition Optimization
The Ohio State University（俄亥俄州立大学）
针对黎曼流形上的嵌套组合优化问题，提出黎曼随机组合梯度下降（R-SCGD）方法，解决内层随机近似导致的外层梯度偏差，在两层及多层结构中均达到$O(ε^{-2})$的预言机复杂度，并在强化学习策略评估中验证了其有效性。
2024-03-19 cs.LG math.OC
A Decentralized Proximal Gradient Tracking Algorithm for Composite Optimization on Riemannian Manifolds
针对黎曼子流形上的复合优化问题，提出去中心化近端梯度跟踪算法，充分利用复合结构，将收敛迭代复杂度降至$\mathcal{O}(ε^{-2})$，数值实验验证了其高效性。
2024-01-21 math.OC
Learning deep linear neural networks: Riemannian gradient flows and convergence to global minimizers
African Institute for Mathematical Sciences（非洲数学科学研究所）；Stellenbosch University（Stellenbosch大学）；RWTH Aachen University（亚琛工业大学）
我们研究了与从数据中学习深度线性神经网络（其中激活函数是恒等映射）相关的梯度流的收敛性。在这种情况下，网络层的组成相当于简单地将所有层的权重矩阵相乘，从而导致过度参数化问题。关于这些因子的梯度流可以被重新解释为赋以适当黎曼度量的秩- $r$矩阵流形上的黎曼梯度流。我们表明，流总是收敛到一个临界点的基础功能。此外，我们建立，对于几乎所有的初始化，流收敛到一个全局极小值值的秩$k$矩阵的流形上的一些$k\leq r$。
2020-10-15 cs.LG math.OC
Decentralized projected Riemannian stochastic recursive momentum method for nonconvex optimization
National University of Defense Technology（国防科技大学）；University of California, Berkeley（加州大学伯克利分校）
针对通信网络中n个节点的紧子流形非凸优化问题，提出分布式投影黎曼随机递归动量方法，其神谕复杂度优于现有方法，经主成分分析和低秩矩阵补全实验验证有效性。
2026-08-28 math.OC
Riemannian stochastic recursive momentum method for non-convex optimization
University of Sydney（悉尼大学）
提出了一种求解黎曼非凸优化问题的随机递归动量方法，该方法在一个样本的情况下获得了$\tilde{\mathcal{O}}(ε^{-3})$的近似最优复杂度，从而得到了$ε$ -近似解.也就是说，我们的方法需要每次迭代的$\mathcal{O}(1)$梯度评估，并且不需要重新启动大批量梯度，这通常用于获得更快的速率。大量的实验结果证明了该算法的优越性。
2020-08-11 cs.LG math.OC stat.ML
Towards Riemannian Accelerated Gradient Methods
BCS & LIDS, MIT（麻省理工学院（MIT））；EECS & LIDS, MIT（麻省理工学院（MIT））
我们提出了一个黎曼版本的Nesterov的加速梯度算法（RAGD），并表明，测地光滑和强凸的问题，在一个邻域内的极小值，其半径取决于条件数以及截面曲率的流形，RAGD收敛到极小加速。与（Liu et al.，2017），需要精确解的非线性方程，这反过来可能是棘手的，我们的算法是建设性的和计算上易处理的。我们的证明利用了一个新的估计序列和一个新的非线性度量失真的界限，这两个想法可能是独立的利益。
2018-06-07 cs.LG math.OC
From the Greene--Wu Convolution to Gradient Estimation over Riemannian Manifolds
在有限维的完备黎曼流形上，格林和吴引入了卷积，称为格林-吴卷积（Greene-Wu convolution，GW）。在本文中，我们研究GW卷积的性质，并将其应用于非欧机器学习问题。特别是，我们推导出一个新的公式，如何通过GW卷积的空间的曲率会影响曲率的功能。在研究GW卷积的基础上，给出了黎曼流形上梯度估计的一种新方法。
2022-01-22 cs.LG cs.NA math.NA
Decentralized Riemannian natural gradient methods with Kronecker-product approximations
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Harvard University（哈佛大学）；Beijing International Center for Mathematical Research（北京国际数学研究中心）；Peking University（北京大学）；School of Engineering and Applied Science, Harvard University（哈佛大学工程与应用科学学院）
自然梯度法由于其对二阶信息的有效逼近，在求解大规模结构化最优化问题中取得了成功。研究了黎曼流形上大规模分散最优化问题的自然梯度法，其中局部目标函数由局部数据集定义，且局部目标函数为对数概率型.利用黎曼Fisher信息矩阵的结构，提出了一种有效的分散黎曼自然梯度下降方法。为了克服通信问题的高维度的Rounds，我们考虑一类结构化的问题，其中的Rounds可以近似为两个低维矩阵的克罗内克积。通过在Kronecker因子上执行通信，可以以低成本获得高质量的近似Rectangle。我们证明了DRNGD收敛到一个平稳点的最佳已知的速度$\mathcal{O}(1/K)$。数值实验表明，我们所提出的方法相比，国家的最先进的效率。据我们所知，这是解决分散流形最优化问题的第一个黎曼二阶方法。
2023-03-16 cs.LG math.OC
Riemannian Natural Gradient Methods
The Chinese University of Hong Kong（香港中文大学）；Peking University（北京大学）；Beijing International Center for Mathematical Research（北京国际数学研究中心）
本文研究了黎曼流形上的大规模最优化问题，其目标函数是负对数概率损失的有限和。这些问题出现在各种机器学习和信号处理应用中。通过在流形上引入Fisher信息矩阵的概念，提出了一种新的黎曼自然梯度方法，它可以看作是自然梯度法从欧氏空间到流形空间的自然扩张.在标准假设下，我们证明了该方法的几乎必然整体收敛。此外，我们表明，如果损失函数满足一定的凸性和光滑性条件和输入输出映射满足黎曼雅可比稳定性条件，那么我们提出的方法享有局部线性-或，在Lipschitz连续的输入输出映射的黎曼雅可比，甚至二次-收敛速率。然后，我们证明了黎曼雅可比稳定性条件将满足一个两层全连接的神经网络与批量规格化的高概率，只要网络的宽度是足够大的。这证明了我们的收敛速度结果的实际相关性。对机器学习应用的数值实验表明，该方法优于现有方法。
2022-07-15 cs.LG math.OC
Randomized Gradient Descents on Riemannian Manifolds: Almost Sure Convergence to Global Minima in and beyond Quantum Optimization
本文研究黎曼流形上随机梯度下降的收敛性，证明用随机投影替代黎曼梯度可几乎必然收敛到全局最小值，并将其应用于酉群上的量子基态制备。
2025-07-04 math.OC quant-ph
Stochastic gradient descent on Riemannian manifolds
Mines ParisTech（巴黎高科矿业学院）
随机梯度下降法是一种简单的方法来找到局部最小值的费用函数的评估是由噪声破坏。在本文中，我们开发了一个程序扩展随机梯度下降算法的情况下，函数定义在黎曼流形。我们证明，在欧几里德的情况下，梯度下降算法收敛到费用函数的一个临界点。该算法有许多潜在的应用，并在这里说明了四个例子。特别是一种新的八卦算法的协方差阵的集合上推导和测试的数值。
2013-11-19 cs.LG math.OC stat.ML
Natural Riemannian gradient for learning functional tensor networks
Institute of Mathematics, University of Augsburg（奥格斯堡大学数学研究所）；Department of Mathematics, Technical University of Munich（慕尼黑工业大学数学系）；Institute of Mathematics & Centre for Advanced Analytics and Predictive Sciences, University of Augsburg（奥格斯堡大学数学研究所与高级分析与预测科学中心）
本文提出基于Amari自然梯度的自然黎曼梯度下降方法，用于优化低秩功能树张量网络在各类损失函数下的学习任务，提升收敛性能。
2026-04-10 cs.LG cs.NA math.NA
