Riemannian optimization framework on the generalized quaternionic Stiefel Manifold
Ritsumeikan University（立命馆大学）
研究广义四元数Stiefel流形用于黎曼优化，阐明其与现有流形关系，推导几何量表达式及相关空间和操作的式子，通过数值实验验证基于此流形的优化框架对特定问题的可行性。
2026-07-28 math.OC
A Non-monotone Linear Search Method with Mixed Direction on Stiefel Manifold
本文提出了一种求解Stiefel流形上最优化问题的非单调线搜索法。我们的方法使用作为一个搜索方向的混合梯度的基础上的下降方向，和Barzilai-Borwein线搜索。通过SVD分解，将每个节点投影到Stiefel流形上，保证了可行性。文中给出了分析该算法的一些理论结果。最后，我们提供了数值实验比较我们的算法与其他国家的最先进的程序。
2017-02-14 math.OC
A Constraint Dissolving Approach for Nonsmooth Optimization over the Stiefel Manifold
本文研究Stiefel流形上可能非光滑的目标函数的极小化问题。现有的方法要么效率低下，要么只能处理对机器人友好的目标函数。我们提出了一个约束溶解功能NCDF，并表明它具有相同的一阶稳定点和局部极小作为原问题的Stiefel流形的邻域。此外，我们表明，克拉克次微分的NCDF是很容易实现的目标函数的克拉克次微分。因此，现有的各种无约束非光滑最优化方法可以直接应用于Stiefel流形上的非光滑最优化问题。我们提出了一个框架，开发子梯度为基础的方法，并建立其收敛性能的基础上以前的工作。此外，基于我们提出的框架，我们可以开发有效的方法优化Stiefel流形。初步的数值实验进一步强调，所提出的约束溶解方法产生的各种无约束的方法，非光滑最优化问题的Stiefel流形上的有效和直接的实现。
2023-01-20 math.OC
Linear Algebra Problems Solved by Using Damped Dynamical Systems on the Stiefel Manifold
School of Science and Technology, Örebro University（厄勒布鲁大学科学与技术学院）；Department of Mathematics, Bergen University（卑尔根大学数学系）；Faculty of Basic Sciences, Babol Noshirvani University of Technology（巴博尔努什拉万理工大学基础科学学院）
本文提出一种在斯蒂费尔流形上求解最优化问题的新方法，通过阻尼动力系统满足约束，并通过数值实验与最新共轭梯度法进行比较。
2025-10-12 cs.NA math.DS math.NA
A Strengthened SDP Relaxation for Quadratic Optimization Over the Stiefel Manifold
研究了Stiefel流形上全局优化二次函数的NP-困难问题的半定规划松弛。我们介绍了一个加强松弛的基础上，最近的两个想法在文献中：（i）一个定制的SDP的目标与块对角海森;（ii）和使用的克罗内克矩阵产品来构建SDP松弛。使用合成实例的四个问题类，我们表明，在一般情况下，我们的放松显着加强现有的松弛，虽然在较长的解决方案的时间为代价。
2022-08-05 math.OC
Solving Optimization Problems over the Stiefel Manifold by Smooth Exact Penalty Function
在本文中，我们提出了一种新的惩罚模型称为ExPen的Stiefel流形上的优化。与已有的正交约束罚函数不同，ExPen采用光滑罚函数，不使用目标函数的任何一阶导数。我们证明了具有足够大的罚参数的Expen的所有一阶稳定点要么是可行的，即是原始最优化问题的一阶稳定点，要么远离Stiefel流形。此外，原问题和Expen共享相同的二阶平稳点。值得注意的是，ExPen的精确梯度和Hessian很容易计算。因此，丰富的无约束优化算法资源可以直接应用于解决Expen问题。
2022-12-18 math.OC
Sub-Riemannian geometry of Stiefel manifolds
本文考虑Stiefel流形$V_{n;k}$作为Grassmann流形上的主$U(k)$ -丛，并从单位元出发研究其割迹.给出了$V_{n;1}$上这一割迹的完整描述，并给出了一般情况下的充分条件.最后，我们研究了$V_{2k;k}$割迹的互补性。
2013-05-26 math.DG math.OC
Riemannian Newton-type methods for joint diagonalization on the Stiefel manifold with application to independent component analysis
非交换对称矩阵的联合对角化是独立分量分析中的一个重要过程。这个问题可以表述为Stiefel流形上的一个最优化问题，可以使用黎曼优化技术来解决。在现有的优化技术中，本研究利用黎曼牛顿法求解Stiefel流形上的联合对角化问题，该方法具有平方收敛。特别地，所得到的牛顿方程可以通过Kronecker积和vec和veck算子有效地求解，这将方程的维数降低到Stiefel流形的维数。数值实验表明，该方法提高了该问题近似解的精度。所提出的方法也适用于独立分量分析的图像分离问题。所提出的牛顿方法进一步导致了一个新的和快速的黎曼信赖域牛顿方法的联合对角化问题。
2022-02-25 math.OC
Stiefel optimization is NP-hard
University of Texas（德克萨斯大学）；University of Chicago（芝加哥大学）
本文证明了在Stiefel流形上的线性约束和无约束二次优化问题均为NP难，表明流形优化在最常见流形上具有计算难度。
2025-11-26 cs.CC math.OC
Multipliers Correction Methods for Optimization Problems over the Stiefel Manifold
提出一类Stiefel流形上极小化可微函数的乘子校正方法。所提出的方法结合了一个函数值减少的步骤与一个接近的校正步骤。前一种方法是在欧几里得空间中沿任意下降方向搜索，而不是在Stiefel流形的切空间中沿矢量搜索。同时，后者最小化目标函数的一阶近似的范围空间中的电流的范围，使拉格朗日乘子与正交约束对称的任何积累点。证明了所提出方法的整体收敛性。初步的数值实验表明，新方法在解决各种测试问题方面显着优于其他最先进的一阶方法。
2020-11-30 math.OC
Towards Almost Global Synchronization on the Stiefel Manifold
一个图$\mathcal{G}$被称为$\mathsf{S}^1$ -同步，如果，粗略地说，Kuramoto类模型，其相互作用拓扑是由$\mathcal{G}$几乎全球同步。仓本模型在单位圆上演化，\ie是$1$ -球面$\mathsf{S}^1$ .本文讨论了类Kuramoto模型的推广和Stiefel流形$\mathsf{St}(p,n)$上同步图的概念。以前的工作状态空间振荡器在很大程度上受到影响的结果和技术，属于$\mathsf{S}^1$的情况下。最近已经证明，所有的连通图是$\mathsf{S}^n$ -同步的所有$n\geq2$。因此，以前的出发点可能过于保守。$n$ -球面是Stiefel流形的一个特例，即$\mathsf{St}(1,n+1)$ .因此，很自然地要问$\mathsf{S}^{n}$上的结果能在多大程度上推广到Stiefel流形上。本文证明了只要$(p,n)$对满足$p\leq \tfrac{2n}{3}-1$，则所有连通图都是$\mathsf{St}(p,n)$ -同步的.
2018-07-25 math.OC
Smoothing algorithms for nonsmooth and nonconvex minimization over the stiefel manifold
考虑Stiefel流形上一类非光滑非凸最优化问题，其中目标函数是由一个非凸光滑函数和一个由线性映射构成的非光滑Lipschitz连续凸函数之和.我们提出了三个数值算法来解决这个问题，通过结合平滑方法和一些现有的算法光滑优化Stiefel流形。特别地，我们在光滑化方法中用Moreau包络逼近了上述非光滑凸函数，并证明了Moreau包络具有许多有利的性质。由于这一点和计划更新的平滑参数，我们表明，所提出的算法产生的解决方案序列的任何积累点是一个固定点的原始最优化问题。在构建图傅立叶基上的数值实验证明了所提算法的有效性。
2023-03-25 math.OC
Steepest descent algorithm on orthogonal Stiefel manifolds
West University of Timişoara（蒂米什瓦拉西大学）
本文研究正交Stiefel流形上的最陡下降算法，通过局部坐标生成切空间基，推导出梯度向量场的必要充分条件，并在嵌入空间中描述算法，展示了算法递推序列对全秩子矩阵选择的依赖性。
2017-09-19 cs.NA math.NA math.OC
Nonlinear Eigen-approach ADMM for Sparse Optimization on Stiefel Manifold
提出一种基于非线性特征方法的ADMM算法，用于解决Stiefel流形上的稀疏优化问题，通过将问题分解为流形上的光滑优化和凸非光滑优化，分别采用NEPv和近端梯度法求解，具有高效收敛性。
2024-06-04 math.OC
Second-order geometry and Riemannian Newton-type methods for optimization on the indefinite Stiefel manifold
Ritsumeikan University（立命馆大学）
本文提出在不定Stiefel流形上应用Riemannian牛顿法，通过分析二阶几何并解析计算Hessian，结合共轭梯度法求解牛顿方程，验证了方法的高效性与收敛性。
2026-07-28 math.OC
From Manifold Identification to Newton Acceleration on Intersections: Sparse Stiefel Optimization
University of Science and Technology of China（中国科学技术大学）；Xiamen University（厦门大学）
研究Stiefel流形上稀疏复合优化的牛顿加速问题，针对活动流形与Stiefel流形相交的几何困难，提出非对角扰动Stiefel族及MIX方法，证明相关保证，数值实验表明该方法在保持解质量时显著提升效率。
2026-08-14 math.OC
Computation over Tensor Stiefel Manifold: A Preliminary Study
令$*$表示两个三阶张量之间的t积。本文的目的是研究集合$St(n,p,l):= \{\mathcal Q\in \mathbb R^{n\times p\times l} \mid \mathcal Q^{\top}* \mathcal Q = \mathcal I \}$上的基本计算，其中$\mathcal Q$是三阶张量，大小为$n\times p \times l$，$\mathcal I$（$n\geq p$）是单位张量.本文首先证明了赋Frobenius范数的$St(n,p,l)$构成一个黎曼流形，称之为（三阶）\emph{tensor Stiefel manifold}.然后我们在$St(n,p,l)$上导出切空间、黎曼梯度和黎曼Hessian。给出了基于t-QR、t-极分解、Cayley变换、t-指数和矢量传输的各种回缩公式。预计类似于它们的矩阵对应物，在这项研究中导出的公式可以作为积木，用于分析张量Stiefel流形上的最优化问题和设计黎曼算法。
2022-06-17 math.OC
Smoothing Gradient Tracking for Decentralized Optimization over the Stiefel Manifold with Non-smooth Regularizers
本文提出了首个用于 Stiefel 流形上非光滑优化的分散算法，通过 Moreau 包络近似非光滑部分以应用现有光滑优化算法，并证明了其 $\mathcal{O}(ε^{-4})$ 的收敛复杂度与有效性。
2023-03-28 math.OC
The ultimate upper bound on the injectivity radius of the Stiefel manifold
该研究针对Hüper等人2021年提出的含典范、欧几里得度量的黎曼度量族，通过分析Stiefel流形的共轭点与测地环得到单射半径上界，并用数值实验验证该上界等于单射半径的猜想。
2025-01-13 math.DG math.OC
Proximal Quasi-Newton Method for Composite Optimization over the Stiefel Manifold
针对Stiefel流形上的复合优化问题，提出名为ManPQN的黎曼近端拟牛顿法，证明其全局与局部线性收敛性并分析迭代复杂度，数值实验验证该方法可加速近端梯度法。
2025-01-16 math.OC
Geometry of the symplectic Stiefel manifold endowed with the Euclidean metric
辛Stiefel流形，记为$\mathrm{Sp}(2p,2n)$，是标准辛空间$\mathbb{R}^{2p}$和$\mathbb{R}^{2n}$之间的线性辛映射的集合。当$p=n$时，它简化为众所周知的$2n\times 2n$辛矩阵集。我们研究了这个流形的黎曼几何，把它看作是欧几里得空间$\mathbb{R}^{2n\times 2p}$的一个黎曼子流形。研究了相应的正规空间以及在切空间和正规空间上的投影。此外，我们考虑辛Stiefel流形上的最优化问题。我们得到了关于欧氏度量的黎曼梯度的表达式，然后将其用于优化算法。最近辛矩阵问题和辛本征值问题的数值实验验证了基于欧氏算法的有效性。
2021-02-28 math.OC math.SG
Adaptive Localized Cayley Parametrization for Optimization over Stiefel Manifold
本文针对Stiefel流形优化提出自适应局部Cayley参数化策略，通过自适应估计中心点来加速广义Cayley变换重构后的欧几里得优化求解，并给出统一收敛性分析，实验证明其优于朴素Cayley参数化和基于收缩映射的标准方法。
2023-05-29 math.OC
Riemannian optimization with a preconditioning scheme on the generalized Stiefel manifold
Tel Aviv University（特拉维夫大学）
广义Stiefel流形（及其乘积）上的最优化问题在科学和工程中是普遍存在的。例如，在计算科学中，它们出现在对称（广义）本征值问题、非线性本征值问题和电子结构计算中，仅举几个问题。在统计学和机器学习中，它们出现在各种降维技术中，例如典型相关分析。在深度学习中，正则化和改进的稳定性可以通过将某些层约束为具有属于Stiefel流形的参数矩阵来获得。广义Stiefel流形上的问题可以通过黎曼优化的工具来解决。然而，使用标准的几何组件的广义Stiefel流形有两个可能的缺点：计算一些几何组件可能过于昂贵，在某些情况下收敛可能会相当慢。这两个缺点都可以使用称为黎曼预处理的技术来解决，该技术相当于使用由在约束流形上定义黎曼度量的预处理器导出的几何分量。在本文中，我们开发的几何组件进行黎曼优化的广义Stiefel流形上配备了一个非标准的度量，并从理论和数值上说明使用这些组件和黎曼预处理的效果，解决最优化问题的广义Stiefel流形。
2022-11-15 cs.DS cs.LG cs.NA
Curvatures of Stiefel manifolds with deformation metrics
本文计算了Stiefel流形上一族包含嵌入度量和典范度量的Cheeger变形度量的曲率，确定了Einstein度量的参数条件，分析了截面曲率范围并给出列数为2时的精确结果。
2021-05-05 cs.CV cs.LG cs.SY
Muon on the Stiefel Manifold Admits an Exact Closed-Form Update
HSE University（高等经济大学）
研究施蒂费尔流形上的Muon优化方法，证明其存在精确闭式更新，开发了高效的Skewon算法并建立了一阶收敛保证。
2026-08-07 cs.LG cs.NA math.NA
High-dimensional Kuramoto models on Stiefel manifolds synchronize complex networks almost globally
耦合相位振子的仓本模型常被用来描述自然界中的同步现象。一些应用，例如，量子同步和刚体姿态同步，涉及高维仓本模型，其中每个振荡器生活在n球或SO（n）。这些流形是紧致实Stiefel流形St（p，n）的特例。利用最优化和控制理论的工具，证明了St（p，n）上的广义Kuramoto模型对任意连通图，从几乎所有的初始条件（p，n）满足p<=2n/3-1且所有振子频率相等）收敛到同步状态.这个结果是无法预测的基础上的知识，复杂的网络中的Kuramoto模型在圆。在这种情况下，几乎全局同步是依赖于图的;如果网络是无环的或足够密集，它就适用。因此，本文确定了一个属性，区分许多高维概括的仓本模型从原来的模型。
2022-03-13 math.OC
A generalized canonical metric for optimization on the indefinite Stiefel manifold
Thai Nguyen University of Technology（越南国家大学 Technologie 大学）；Thai Nguyen University of Sciences（泰原大学）
本文提出不定Stiefel流形上的新规范度量及几何结构，通过构造准测地线和基于该曲线的retraction，验证了基于新几何的Riemannian梯度下降法性能。
2026-01-25 math.OC
Randomized Submanifold Subgradient Method for Optimization over Stiefel Manifolds
The Hong Kong Polytechnic University（香港理工大学）；The Chinese University of Hong Kong（香港中文大学）；University of Chicago（芝加哥大学）
针对 Stiefel 流形上高维非光滑弱凸优化，论文提出坐标型 RSSM，证明其 O(ε^{-4}) 迭代复杂度，并通过鲁棒子空间恢复等实验验证可行性。
2026-09-29 math.OC
Orthogonal Directions Constrained Gradient Method: from non-linear equality constraints to Stiefel manifold
考虑光滑流形$\mathcal{M}$上非凸函数的极小化问题.我们提出了一种新的算法，正交方向约束梯度法（ODCGM），它只需要计算到一个向量空间的投影。ODCGM是不可行的，但是迭代不断地被拉向流形，确保ODCGM向$\mathcal{M}$收敛。ODCGM比需要计算收缩的经典方法简单得多。此外，我们表明，ODCGM表现出接近最佳的预言复杂性$\mathcal{O}(1/\varepsilon^2)$和$\mathcal{O}(1/\varepsilon^4)$在确定性和随机的情况下，分别。此外，我们建立了，在适当选择投影度量的情况下，我们的方法恢复了Ablin和Peyré（2022）的着陆算法，这是最近引入的Stiefel流形上的优化算法。因此，我们显着扩展了Ablin和Peyré（2022）的分析，在确定性和随机框架中建立了接近最优的速率。最后，我们进行了数值实验，这表明在高维设置的ODCGM的效率。
2023-03-16 math.OC stat.ML
A Retraction-Free EXTRA Method for Decentralized Optimization on the Stiefel Manifold
Yau Mathematical Sciences Center, Tsinghua University（丘成桐数学科学中心，清华大学）
本文提出了一种无回退的EXTRA方法，用于在Stiefel流形上解决具有正交约束的去中心化优化问题，通过结合近似梯度映射和EXTRA递归，实现了简单的通信模式和O(1/K)收敛率。
2026-04-28 math.OC
A Smooth Locally Exact Penalty Method for Optimization Problems over Generalized Stiefel Manifolds
本文提出了一种适用于广义Stiefel流形的平滑局部精确惩罚方法，通过消除retractions和向量传输需求，提高了计算效率并验证了方法的有效性。
2026-02-05 math.OC
An Adaptive Regularized Proximal Newton-Type Methods for Composite Optimization over the Stiefel Manifold
本文针对Stiefel流形上的复合优化问题，提出自适应二次正则化近端拟牛顿方法ARPQN和近端牛顿方法ARPN，分别建立了全局/局部线性收敛与局部超线性收敛性质，并通过数值实验验证了其有效性。
2025-02-10 math.OC
Tight Error Bounds for the Sign-Constrained Stiefel Manifold
本文研究符号约束 Stiefel 流形的距离刻画，提出带显式系数和易算残差的全局、局部紧误差界，并用于构造正交与符号约束优化的精确罚方法。
2024-05-19 cs.NA math.NA math.OC
On the Local Linear Rate of Consensus on the Stiefel Manifold
Texas A&M University（德克萨斯农工大学）；University of Minnesota（明尼苏达大学）
研究了Stiefel流形上无向连通图一致性问题的黎曼梯度法的收敛性. Stiefel流形是一个非凸集，在欧几里得空间中平均的标准概念对这个问题不起作用。提出了Stiefel流形上的分布式黎曼共识（DRCS），并证明了它具有局部线性收敛速率.更重要的是，该局部速率与通信矩阵的第二大奇异值渐近地成比例，这与欧几里得空间中的公知速率相当。据我们所知，这是第一个工作表明平等的两个利率。主要的技术挑战包括（i）开发用于收敛分析的黎曼限制割线不等式，以及（ii）确定条件（例如，合适的步长和初始化），在该算法下，算法总是停留在局部区域中。
2021-01-22 cs.LG cs.SY eess.SY
An Inexact Riemannian Gradient Descent Algorithm on the Stiefel Manifold with One Newton-Schulz Iteration
School of Mathematical Sciences, Xiamen University（厦门大学数学科学学院）
本文提出一种Stiefel流形上带一次Newton-Schulz迭代的不精确黎曼梯度下降算法，可保证收敛性，性能优于同类算法，还提出其随机版本且表现优异。
2026-08-25 math.OC
A Riemannian gradient descent method for optimization on the indefinite Stiefel manifold
Thai Nguyen University of Technology（越南国家大学太原分校工程技术大学）；Thai Nguyen University of Sciences（太原科技大学）
针对形如X^TAX=J的二次矩阵约束优化问题，通过构造不定Stiefel流形的黎曼几何结构并基于Cayley变换提出回缩，给出全局收敛的黎曼梯度下降法，推广了正交和广义Stiefel流形情形，并应用于特征值问题和矩阵最小二乘问题。
2026-05-23 math.OC
Distributed Riemannian Stochastic Gradient Tracking Algorithm on the Stiefel Manifold
针对多智能体系统在Stiefel流形上的分布式黎曼随机优化问题，提出结合变样本量梯度近似与梯度跟踪的算法，证明了固定步长下的收敛性并分析不同样本量增长模式的收敛速率，通过数值实验验证理论结果。
2025-01-16 math.OC
Stochastic optimization over expectation-formulated generalized Stiefel manifold
本文针对期望形式广义Stiefel流形上的随机优化问题，提出保持可微阶数的约束消解惩罚函数，建立其与原问题的一阶和二阶稳定点全局等价性，并设计带自适应步长的随机梯度算法及其加速变体，证明了$\mathcal{O}(\varepsilon^{-4})$样本复杂度。
2024-12-28 math.OC
New vector transport operators extending a Riemannian CG algorithm to generalized Stiefel manifold with low-rank applications
本文提出两种基于Cayley变换的向量传输算子，用于广义Stiefel流形上的共轭梯度法，满足非扩张条件，并证明算法全局收敛，数值实验验证了其在广义特征值问题和典型相关分析中的效率。
2024-05-25 cs.NA math.NA math.OC
A Framework of Constraint Preserving Update Schemes for Optimization on Stiefel Manifold
本文考虑Stiefel流形$X^{\mathsf{T}}X=I_p$上的最优化问题，其中$X\in \mathbb{R}^{n \times p}$是变量，$I_p$是$p$乘$p$的单位矩阵.通过将每个可行点分解到$X$的值域空间和$X^{\mathsf{T}}$的零空间中，提出了一种约束保持更新方案的框架。虽然这个一般框架可以统一许多现有的计划，一个新的更新计划，具有低复杂度成本也被发现。然后在新的更新方案下研究了一种可行的Barzilai-Borwein类方法。采用自适应非单调线搜索，证明了该方法的整体收敛性。对最近低秩相关阵问题、Kohn-Sham总能量最小化问题和一个具体的统计问题的数值试验表明了新方法的有效性。特别是，新的方法表现出显着良好的最近的低秩相关阵问题的速度和解决方案的质量，是相当有竞争力的广泛使用的SCF迭代Kohn-Sham总能量最小化。
2014-09-19 math.OC
Closed-form geodesics and trust-region method to calculate Riemannian logarithms on Stiefel and its quotient manifolds
本文针对Stiefel流形及其商流形提出闭式测地线公式，并结合信赖域优化平方Frobenius距离来计算黎曼对数映射与测地距离，为无闭式对数映射的流形提供了新计算框架。
2021-03-12 math.AG math.DG math.OC
Linear programming on the Stiefel manifold
本文首次研究Stiefel流形上的线性规划，证明其一般情形为NP难，并将精确SDP松弛的充分条件加强为p≤n-k，同时揭示了局部最优性条件可保证全局最优性的新性质。
2023-10-31 math.OC
Decentralized Riemannian Gradient Descent on the Stiefel Manifold
Texas A&M University（德克萨斯农工大学）；University of Minnesota（明尼苏达大学）
我们考虑一个分布式的非凸优化网络的代理人的目的是最小化一个全局函数的Stiefel流形。全局函数被表示为光滑局部函数的有限和，其中每个局部函数与一个代理相关联，并且代理通过无向连通图彼此通信。这个问题是非凸的，因为局部函数可能是非凸的（但光滑的），Steifel流形是一个非凸集。本文提出了一种分散的黎曼随机梯度法（DRSGD），其收敛速度为$\mathcal{O}(1/\sqrt{K})$。为了在恒定步长下具有精确收敛性，我们还提出了一种分散的黎曼梯度跟踪算法（DRGTA），其收敛速度为$\mathcal{O}(1/K)$到一个稳定点。我们使用多步共识来保持局部（共识）区域中的迭代。DRGTA是Stiefel流形上第一个具有精确收敛性的分布式优化算法。
2021-02-14 cs.LG cs.SY eess.SY
A Semidefinite Relaxation for Sums of Heterogeneous Quadratic Forms on the Stiefel Manifold
本文针对 Stiefel 流形上异构二次型之和最大化这一非凸问题，提出一种新的半定规划松弛，通过对偶证书给出全局最优性认证，并证明该松弛对可联合对角化及接近可联合对角化问题（如 HPPCA）是紧的。
2025-04-08 eess.SP math.OC
Proximal Gradient Method for Nonsmooth Optimization over the Stiefel Manifold
考虑Stiefel流形上的最优化问题，其目标函数是一个光滑函数与一个非光滑函数之和.现有的解决这类问题的方法可以分为三类。第一类算法依赖于目标函数的次梯度信息，因此在实践中往往收敛缓慢。第二类中的算法是邻近点法，其涉及的子问题可能与原始问题一样困难。第三类算法基于算子分裂技术，但它们通常缺乏严格的收敛保证。在本文中，我们提出了一个基于收缩的近似梯度法来解决这类问题。我们证明了所提出的方法全局收敛到一个平稳点。迭代复杂性获得$ε$ -平稳的解决方案进行了分析。求解稀疏PCA和压缩模式问题的数值结果表明，所提出的方法的优点。
2019-05-10 math.OC stat.ML
Sparse Quadratic Optimisation over the Stiefel Manifold with Application to Permutation Synchronisation
TU Munich（慕尼黑工业大学）；University of Bonn（波恩大学）；Halmstad University（哈尔姆斯塔德大学）
我们解决的非凸优化问题找到一个稀疏矩阵的Stiefel流形（矩阵相互正交列的单位长度），最大化（或最小化）的二次目标函数。Stiefel流形上的优化问题例如出现在各种组合问题的谱松弛中，例如图匹配、聚类或置换同步。虽然稀疏性是一个理想的属性，在这样的设置，它主要是忽略了频谱公式，因为现有的求解器，例如，基于特征值分解，无法考虑稀疏性，同时保持全局最优性的保证。我们填补了这一空白，并提出了一个简单而有效的稀疏促进修改的正交迭代算法找到一个矩阵的主导特征空间。通过这样做，我们可以保证我们的方法找到相对于二次目标函数全局最优的Stiefel矩阵，同时另外是稀疏的。作为一个激励性的应用，我们考虑置换同步的任务，这可以被理解为一个约束聚类问题，在计算机视觉、计算机图形学等领域中，它与匹配多个图像或3D形状特别相关。我们证明，所提出的方法优于以前的方法在这一领域。
2021-09-30 cs.CV cs.LG math.OC
Decentralized Riemannian Conjugate Gradient Method on the Stiefel Manifold
Zhejiang University（浙江大学）；SGIT AI Lab, State Grid Corporation of China（国网公司SGIT人工智能实验室）；CFAR and IHPC, Agency for Science, Technology and Research（新加坡科技研究局CFAR与IHPC）；SCSE, NTU（南洋理工大学计算机科学与工程学院）
针对分布式场景下Stiefel流形优化缺乏黎曼共轭梯度方法的问题，提出无需复杂黎曼几何操作的DRCGD方法，是首个在该流形上实现全局收敛的分布式黎曼共轭梯度算法。
2024-03-12 cs.LG cs.SY eess.SY
Optimization on the symplectic Stiefel manifold: SR decomposition-based retraction and applications
光学、量子物理、稳定性分析和动力系统控制中的许多问题都可以归结为矩阵变量受辛性约束的最优化问题。由于该约束很好地形成了所谓的辛Stiefel流形，所以黎曼优化是优选的，因为人们可以在准备必要的几何工具之后从无约束最优化方法借用思想。撤回可以说是最重要的一个，它决定了给定搜索方向的迭代更新方式。到目前为止，已经构建了两个收缩：一个依赖于凯莱变换，另一个是使用准测地线曲线。在本文中，我们提出了一种新的收缩，这是基于SR矩阵分解。我们证明了它的域包含开放单位球，这是必不可少的证明相关的基于梯度的优化算法的整体收敛。此外，我们考虑三个应用-辛目标矩阵问题，辛特征值计算，和辛模型约化的哈密顿系统-与各种例子。大量的数值比较揭示了所提出的优化算法的优势。
2022-11-17 cs.NA math.NA math.OC
Comparison of two numerical methods for Riemannian cubic polynomials on Stiefel manifolds
本文比较了Stiefel流形上积分黎曼三次多项式的调整后de Casteljau算法与辛积分器两种数值方法，通过n=3、k=1和k=2的数值实验分析各自优势。
2024-04-30 cs.NA cs.SY eess.SY
Weakly Convex Optimization over Stiefel Manifold Using Riemannian Subgradient-Type Methods
The Chinese University of Hong Kong（香港中文大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Cainiao Network（菜鸟网络）；University of Michigan（密歇根大学）；University of Denver（丹佛大学）
考虑Stiefel流形上一类非光滑最优化问题，其中目标函数在环境欧几里得空间中是弱凸的.这样的问题在工程应用中普遍存在，但在很大程度上仍未被探索。我们提出了一个家庭的黎曼次梯度型的方法-即黎曼次梯度，增量次梯度，随机次梯度方法-来解决这些问题，并表明，他们都有一个迭代复杂度为${\cal O}(\varepsilon^{-4})$驱动自然平稳性措施低于$\varepsilon$。此外，我们建立了局部线性收敛的黎曼次梯度和增量次梯度方法时，手头的问题进一步满足尖锐的属性和算法进行了适当的初始化，并使用几何递减的步长。据我们所知，这些是第一个收敛保证使用黎曼次梯度型方法优化一类非凸非光滑函数的Stiefel流形。证明上述收敛性结果的基本内容是Stiefel流形上弱凸函数限制的一个新的黎曼次梯度不等式，它可能是独立的兴趣。我们还证明了我们的收敛结果可以推广到处理一类紧嵌入子流形的欧几里得空间。最后，我们讨论了鲁棒子空间恢复和正交字典学习问题的各种公式的清晰度特性，并通过数值模拟证明了算法在这两个问题上的收敛性能。
2021-03-25 cs.IT cs.LG math.IT
Local Linear Convergence of Infeasible Optimization with Orthogonal Constraints
Northeastern University（东北大学）；University of Science and Technology of China（中国科学技术大学）；Texas A&M University（德克萨斯农工大学）
本文针对带正交约束优化的可行方法计算成本高的问题，研究无收缩的landing algorithm，基于局部黎曼PŁ条件证明其在光滑非凸函数下的线性收敛性，实验显示其性能比肩现有最优方法且计算开销显著降低。
2024-12-07 cs.LG math.OC
Riemannian Stochastic Proximal Gradient Methods for Nonsmooth Optimization over the Stiefel Manifold
The University of Iowa（爱荷华大学）；University of California（加利福尼亚大学）；Pennsylvania State University（宾夕法尼亚州立大学）
由于在实践中的广泛应用，黎曼优化引起了人们的广泛关注。在文献中已经研究了黎曼随机一阶算法来解决黎曼流形上的大规模机器学习问题。然而，现有的大多数黎曼随机算法要求目标函数是可微的，并且它们不适用于目标函数是非光滑的情况。本文给出了Stiefel流形上极小化非光滑函数的两种黎曼随机逼近梯度法。这两种方法，称为R-ProxSGD和R-ProxSPB，是近端SGD和近端SpiderBoost在欧几里得设置到黎曼设置的推广。分析了算法的增量一阶预言（IFO）复杂度。具体地，R-ProxSPB算法在在线情况下找到具有$Ø(ε^{-3})$ IFO的$ε$ -平稳点，并且在有限和情况下找到具有$n$的$Ø(n+\sqrt{n}ε^{-2})$ IFO的$ε$-平稳点，其中$n$是目标中的被加数。在线稀疏PCA和鲁棒低秩矩阵补全的实验结果表明，我们提出的方法显着优于现有的方法，使用黎曼次梯度信息。
2022-03-21 cs.LG math.OC stat.ML
Decentralized Weakly Convex Optimization Over the Stiefel Manifold
The Chinese University of Hong Kong（香港中文大学）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Harvard University（哈佛大学）；JD Explore Academy（京东探索研究院）；Cainiao Network（菜鸟网络）
针对分散式Stiefel流形上的非光滑非凸优化问题，提出分散式黎曼次梯度方法（DRSM），并利用变分分析证明其全局收敛性、迭代复杂度及在锐度条件下的局部线性收敛性。
2023-03-31 cs.LG math.OC
Decentralized Optimization Over the Stiefel Manifold by an Approximate Augmented Lagrangian Function
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
本文研究了Stiefel流形上的分散最优化问题，Stiefel流形定义在一个由$d$智能体组成的连通网络上.目标是$d$局部函数的平均值，每个函数由代理私有并对其数据进行编码。代理只能与他们的邻居进行通信，共同努力解决这个问题。在现有的方法中，需要多轮通信来保证收敛，从而导致高通信成本。相比之下，本文提出了一种分散式算法，称为DESTINY，它每次迭代只调用一轮通信。DESTINY将梯度跟踪技术与一种新的近似增广拉格朗日函数相结合。严格地证明了算法的整体收敛到稳定点。全面的数值实验表明，DESTINY有很强的潜力，提供一个尖端的性能，在解决各种测试问题。
2021-12-30 cs.LG cs.SY eess.SY
