Homotopy Analysis for Tensor PCA
University of California, Irvine（加利福尼亚大学欧文分校）；Duke University（杜克大学）；Google Research（谷歌研究院）
开发高效且有保证的非凸算法一直是现代机器学习的一个重要挑战。具有良好经验性能的算法，如随机梯度下降算法，往往缺乏理论保证。本文分析了一类求解非凸函数全局优化问题的同伦或延拓方法。这些方法从一个目标函数，这是有效的优化（如凸），并逐步修改它，以获得所需的目标，解决方案是通过沿同伦path.For张量PCA的挑战性问题，我们证明了全局收敛的同伦方法在“高噪声”制度。我们的算法的信噪比要求是严格的，在这个意义上说，它匹配的最佳度4平方和算法的恢复保证。此外，我们证明了一个相变沿同伦路径的张量PCA。这允许将同伦方法简化为局部搜索算法，即，张量幂迭代，具有特定的初始化和噪声注入过程，同时保留理论保证。
2017-06-14 cs.LG stat.ML
Katyusha X: Practical Momentum Method for Stochastic Sum-of-Nonconvex Optimization
Microsoft Research AI（微软研究院AI）
最小化非凸函数之和的问题（即，凸函数（即非凸函数的平均值）在机器学习中变得越来越重要，并且是PCA、SVD、正则化牛顿法、加速非凸优化等的核心机制。我们展示了如何可证明地获得一个加速的随机算法最小化的总和的非凸函数，由$\textit{adding one additional line}$著名的SVRG方法。这条线对应于动量，并显示了如何直接将动量应用于非凸函数之和的有限和随机最小化。作为一个副作用，我们的方法享有线性并行加速使用小批量。
2018-02-12 cs.DS cs.LG math.OC
Local Linear Convergence of Gradient Methods for Subspace Optimization via Strict Complementarity
Technion - Israel Institute of Technology（以色列理工学院）
我们考虑的最优化问题，其中的目标是找到一个$k$ -维子空间的$\mathbb{R}^n$，$k<<n$，最小化凸和光滑的损失。这些问题概括了主成分分析（PCA）的基本任务，以包括稳健和稀疏的对应物，以及用于二进制数据的逻辑PCA等。这个问题可以通过具有高效迭代的非凸梯度法来解决，但是对于这种方法来说，讨论快速收敛到全局最小值是困难的，或者通过凸松弛来解决，对于这种方法来说，讨论收敛到全局最小值是简单的，但是相应的方法在高维中通常是低效的。在这项工作中，我们桥这两种方法下严格互补的假设，这特别意味着凸松弛的最优解是唯一的，也是原来的非凸问题的最优解。我们的主要结果是一个自然的非凸梯度方法，这是\textit{SVD-free}，每次迭代只需要一个QR-分解的$n\times k$矩阵，局部收敛的线性速率的证明。我们还建立了非凸投影梯度法的线性收敛结果，并将Frank-Wolfe方法应用于凸松弛。
2022-10-25 cs.LG math.OC stat.ML
A Generalization of Principal Component Analysis
传统的主成分分析（PCA）找到一个主向量，最大化主成分的二次幂和。我们考虑一个广义PCA，其目的是最大化的主成分的任意凸函数的总和。我们提出了一个梯度上升算法来解决这个问题。对于广义PCA的核版本，我们证明了解决方案可以作为一个简单的单层递归神经网络的不动点。我们还在不同的数据集上评估了我们的算法。
2019-11-15 cs.LG eess.SP stat.ML
Large-Scale Sparse Principal Component Analysis with Application to Text Data
University of California, Berkeley（加州大学伯克利分校）
稀疏PCA提供了少量特征的线性组合，可最大化数据间的方差。虽然稀疏PCA与PCA相比具有明显的优势，例如更好的可解释性，但通常认为它在计算上要昂贵得多。在本文中，我们证明了一个令人惊讶的事实，即稀疏PCA在实践中比PCA更容易，并且它可以可靠地应用于非常大的数据集。这来自于严格的特征消除预处理结果，再加上现实数据中的特征通常具有指数下降的方差这一有利事实，这允许消除许多特征。我们介绍了一种快速块坐标上升算法，其计算复杂度远低于现有的一阶算法。我们提供的实验结果，涉及数百万的文件和数十万的功能文本语料库。这些结果说明了稀疏PCA如何以用户可解释的方式帮助组织大型文本数据集，为主题模型提供了一种有吸引力的替代方法。
2012-10-26 cs.LG math.OC stat.ML
An accelerated first-order regularized momentum descent ascent algorithm for stochastic nonconvex-concave minimax problems
Shanghai University（上海大学）；College of Sciences（理学院）；Newtouch Center for Mathematics of Shanghai University（上海大学新接触数学中心）
针对随机非凸-凹极小极大问题，提出加速一阶正则化动量下降上升算法（FORMDA），其迭代复杂度达$\tilde{\mathcal{O}}(\varepsilon ^{-6.5})$，实现了单循环算法的已知最优复杂度界限。
2024-10-15 cs.LG math.OC stat.ML
A Survey on Nonconvex Regularization Based Sparse and Low-Rank Recovery in Signal Processing, Statistics, and Machine Learning
Shanghai Jiao Tong University（上海交通大学）
在过去的十年中，稀疏和低秩恢复在信号/图像处理、统计学、生物信息学和机器学习等领域引起了广泛的关注。为了实现稀疏性和/或低秩诱导，$\ell_1$范数和核范数由于其凸性而成为最流行的正则化惩罚。虽然$\ell_1$和核范数是方便的，因为相关的凸优化问题通常是易处理的，但在许多应用中已经表明，非凸惩罚可以产生显着更好的性能。近年来，基于非凸正则化的稀疏和低秩恢复引起了人们的极大兴趣，事实上，它是非凸和非光滑优化的最新进展的主要驱动力。本文综述了这一主题在信号处理、统计和机器学习的各个领域，包括压缩感知（CS）、稀疏回归和变量选择、稀疏信号分离、稀疏主成分分析（PCA）、大协方差和逆协方差矩阵估计、矩阵完备和鲁棒PCA。我们目前的非凸正则化为基础的稀疏和低秩恢复在这些领域的最新发展，解决问题的惩罚选择，应用和非凸算法的收敛性。代码可在https://github.com/FWen/ncreg.git上获得。
2019-06-06 cs.IT cs.LG eess.SP
Stochastic Recursive Gradient Descent Ascent for Stochastic Nonconvex-Strongly-Concave Minimax Problems
The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
我们考虑非凸-凹极小极大优化问题的形式$\min_{\bf x}\max_{\bf y\in{\mathcal Y}} f({\bf x},{\bf y})$，其中$f$是强凹的$\bf y$，但可能是非凸的$\bf x$和${\mathcal Y}$是一个凸和紧集。我们专注于随机设置，我们只能在每次迭代时访问$f$的无偏随机梯度估计。该公式包括许多机器学习应用程序作为特殊情况，例如鲁棒优化和对手训练。我们感兴趣的是找到一个${\mathcal O}(\varepsilon)$ -驻点的功能$Φ(\cdot)=\max_{\bf y\in{\mathcal Y}} f(\cdot, {\bf y})$。解决这个问题的最流行的算法是随机梯度下降上升，它需要$\mathcal O(κ^3\varepsilon^{-4})$随机梯度评估，其中$κ$是条件数。在本文中，我们提出了一种新的方法称为随机递归梯度下降上升（SREDA），估计梯度更有效地使用方差减少。该方法实现了${\mathcal O}(κ^3\varepsilon^{-3})$的最佳已知的随机梯度复杂度，并且其对$\varepsilon$的依赖性对于该问题是最优的。
2020-10-23 cs.LG math.OC stat.ML
Near-Optimal Stochastic Approximation for Online Principal Component Estimation
主成分分析（PCA）是高维数据分析的重要工具。通过处理流数据来估计主成分的在线算法具有巨大的实际和理论意义。尽管其丰富的应用，理论上的收敛分析仍然在很大程度上是开放的。本文将在线PCA问题转化为随机非凸最优化问题，并将在线PCA算法分析为随机逼近迭代。随机逼近迭代递增地处理数据点并保持主成分的运行估计。我们证明了第一次几乎最佳的有限样本误差界的在线PCA算法。在亚高斯假设下，我们证明了有限样本误差界与极大极小信息下界密切匹配。
2017-10-05 math.OC stat.ML
Efficient Optimization Algorithms for Robust Principal Component Analysis and Its Variants
University of California, Davis（加利福尼亚大学戴维斯分校）；Penn State（宾夕法尼亚州立大学）
鲁棒PCA在过去十年中引起了人们的极大关注，因为它在许多应用领域取得了成功，从生物信息学，统计学和机器学习到计算机视觉中的图像和视频处理。鲁棒PCA及其变体，如稀疏PCA和稳定PCA可以表示为具有可利用的特殊结构的最优化问题。针对鲁棒主成分分析及其相关问题，提出了许多专门的有效最优化方法。在本文中，我们回顾了现有的最优化方法解决凸和非凸松弛/变量的鲁棒PCA，讨论了它们的优点和缺点，并阐述了它们的收敛行为。我们还提供了一些见解，包括新的算法框架，可能是适合于实现多处理器设置来处理大规模的问题，未来可能的研究方向。
2018-06-09 cs.CV math.OC stat.ML
Robust PCA by Manifold Optimization
鲁棒PCA是一种广泛使用的统计过程，用于恢复具有严重损坏的观测值的底层低秩矩阵。本文将鲁棒PCA问题视为低秩矩阵流形上的非凸优化问题，提出了两种基于流形优化的鲁棒PCA算法。结果表明，与一个适当的设计初始化，所提出的算法是保证收敛到底层的低秩矩阵线性。与基于低秩矩阵Burer-Monterio分解的算法相比，该算法在理论上降低了对低秩矩阵条件数的依赖性.仿真和实际数据的例子证实了我们的方法的竞争力。
2017-09-01 stat.CO stat.ML
Exponential Convergence of CAVI for Bayesian PCA
Department of Mathematics and Statistics（数学与统计学系）；Université de Montréal（蒙特利尔大学）
本文首次证明了贝叶斯主成分分析中坐标上升变分推断（CAVI）的指数收敛性，通过连接幂迭代算法及引入新的KL散度下界，填补了理论空白。
2025-05-22 cs.LG stat.ML
Zeroth-Order Alternating Gradient Descent Ascent Algorithms for a Class of Nonconvex-Nonconcave Minimax Problems
Shanghai University（上海大学）；Newtouch Center for Mathematics of Shanghai University（上海大学纽崔克数学中心）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
本文针对满足内层 PL 条件的非凸-非凹极小极大问题，提出 ZO-AGDA 和 ZO-VRAGDA 两种零阶算法，并首次给出其迭代复杂度保证。
2023-05-27 cs.LG math.OC stat.ML
Spherical Principal Component Analysis
Colorado School of Mines（科罗拉多矿业学院）
主成分分析是处理高维数据的重要方法之一。然而，大多数关于PCA的研究旨在最大限度地减少投影后的损失，通常测量欧氏距离，尽管在某些领域中，角距离对于分析更重要和关键。本文提出了一种通过对因子增加约束条件来统一欧氏距离和角距离的方法。然而，由于目标和约束的非凸性，最优解不易获得。我们提出了一个交替线性化的最小化方法来解决它的可证明的收敛速度和保证。在合成数据和真实数据集上的实验验证了该方法的有效性，并展示了其优于现有聚类方法的优势。
2019-03-16 cs.LG math.OC stat.ML
Structured Nonconvex and Nonsmooth Optimization: Algorithms and Iteration Complexity Analysis
Shanghai University of Finance and Economics（上海财经大学）；UC Berkeley（加州大学伯克利分校）；UC Davis（加州大学戴维斯分校）；University of Minnesota（明尼苏达大学）
非凸和非光滑最优化问题在统计、商业、科学和工程等领域中经常遇到，但在可扩展性方面，它们还没有被广泛地认识为一种技术。这种相对较低的普及程度的一个原因是缺乏一个良好的发展系统的理论和算法来支持的应用程序，是其凸对应的情况下。本文的目的是采取纪律的非凸和非光滑最优化的方向迈出了一步。特别地，本文考虑了块决策变量中有约束的非凸最优化模型，无论有无耦合仿射约束。在无耦合约束的情况下，证明了广义条件梯度法以变分不等式的形式具有次线性收敛速率到$ε$ -平稳解的速度，其中收敛速度依赖于目标光滑部分梯度的Hölderian连续性.对于耦合仿射约束的模型，我们引入相应的$ε$ -平稳性条件，并应用两个近似型的ADMM的变体来解决这样的模型，假设可以实现的所有块变量的最后一块，除了梯度步骤或优化最小化步骤的最接近的ADMM更新。我们证明了迭代复杂性界的$O(1/ε^2)$达到$ε$ -固定的解决方案，这两种算法。此外，我们表明，相同的迭代复杂性的一个接近BCD方法如下立即。数值结果表明，所提出的张量鲁棒PCA算法的有效性。
2018-01-17 cs.LG math.OC stat.ML
Accelerated Proximal Alternating Gradient-Descent-Ascent for Nonconvex Minimax Machine Learning
University of Utah（犹他大学）
交替梯度下降上升（AltGDA）是一种优化算法，已被广泛用于各种机器学习应用中的模型训练，其目的是解决非凸极大极小优化问题。然而，现有的研究表明，它遭受了高计算复杂性的非凸极大极小优化。在本文中，我们开发了一个单循环和快速AltGDA型算法，利用最近的梯度更新和动量加速来解决正则化非凸极大极小优化问题。通过利用动量加速技术，我们证明了该算法收敛到一个临界点在非凸极小极大优化，并实现了计算复杂度的顺序为$\mathcal{O}(κ^{\frac{11}{6}}ε^{-2})$，其中$ε$是所需的精度水平和$κ$是问题的条件数。{Such计算复杂度提高了单循环GDA和AltGDA算法的现有技术的复杂度（参见\Cref{table1}中的比较概要）}。我们通过对抗性深度学习的实验证明了我们的算法的有效性。
2022-05-19 cs.LG math.OC
On Gradient Descent Ascent for Nonconvex-Concave Minimax Problems
UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
本文首次给出双时间尺度GDA求解非凸-凹极小极大问题的非渐近复杂度分析，证明其能高效找到函数Φ的稳定点，解释了该算法在训练GANs等实际应用中的优越表现。
2024-05-03 cs.LG math.OC stat.ML
Inference and Uncertainty Quantification for Streaming $r$-PCA
University of Pennsylvania（宾夕法尼亚大学）
该研究针对流式r-PCA，通过Oja算法解决一般秩的收敛与分布推断问题，建立了收敛速率、高斯近似及在线自助法，拓展了非凸随机近似的推断技术。
2026-11-06 cs.LG stat.ML
Nonconvex High-Dimensional Time-Varying Coefficient Estimation for Noisy High-Frequency Observations with a Factor Structure
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；University of California, Riverside（加州大学河滨分校）
本文提出一种非凸惩罚回归方法，用于处理具有因子结构的噪声高频观测中的高维时间变化系数估计，通过去偏和阈值化方案提升估计精度。
2026-05-09 stat.ME
A Single-Loop Smoothed Gradient Descent-Ascent Algorithm for Nonconvex-Concave Min-Max Problems
Shenzhen Research Institute of Big Data（深圳大数据研究院）；School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）理工学院）；Department of ISE, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校工业与系统工程系）
针对非凸-凹极小-极大问题中GDA算法易振荡的问题，提出平滑GDA算法，在两类问题上取得最优迭代复杂度，并扩展至多块情形，在鲁棒训练中验证了效率。
2025-03-20 cs.LG math.OC
Global Convergence and Variance-Reduced Optimization for a Class of Nonconvex-Nonconcave Minimax Problems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
非凸极大极小问题经常出现在新兴的机器学习应用中，例如生成对抗网络和对抗学习。简单的算法，如梯度下降上升（GDA）是解决这些非凸博弈的常见做法，并获得了大量的经验成功。然而，已知这些具有恒定步长的普通GDA算法即使在凸设置中也可能发散。在这项工作中，我们证明了，对于一个子类的非凸非凹目标满足所谓的双边Polyak-Jasojasiewicz不等式，交替梯度下降上升（AGDA）算法全局收敛在一个线性速率和随机AGDA达到一个次线性速率。我们进一步开发了一个方差减少算法，达到一个可证明的速度比AGDA时，问题的有限和结构。
2020-02-22 cs.LG math.OC stat.ML
StablePCA: Distributionally Robust Learning of Shared Representations from Multi-Source Data
Rutgers University（罗杰斯大学）；Peking University Health Science Center（北京大学医学部）；Beijing International Center for Mathematical Research（北京国际数学研究中心）；Inria École Normale Supérieure PSL Research University（Inria 常规大学）；Zhejiang University（浙江大学）
StablePCA通过分布鲁棒方法从多源数据中学习稳定的共享表示，解决非凸秩约束问题并提供收敛保证。
2026-10-28 cs.LG math.OC stat.CO
On the Convergence of the Dynamic Inner PCA Algorithm
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Southern California（南加利福尼亚大学）
动态内主成分分析（DiPCA）是一种分析时变多变量数据的有效方法。DiPCA通过求解大规模、密集和非凸非线性规划（NLP）来提取动态潜变量，这些动态潜变量捕获最主要的时间趋势。最近文献中提出了一种可扩展的分解算法来解决这些具有挑战性的NLP。分解算法在实践中表现良好，但其收敛性还没有得到很好的理解。在这项工作中，我们表明，该算法是一个专门的坐标最大化算法的变体。这一观察使我们能够解释为什么分解算法在实践中可能有效（或无效），并可以指导改进。我们比较的分解策略的性能与现成的求解器Ipopt。结果表明，分解更具可扩展性，并且令人惊讶的是，提供了更高质量的解决方案。
2020-03-12 cs.LG cs.SY eess.SY
Universal Gradient Descent Ascent Method for Nonconvex-Nonconcave Minimax Optimization
CUHK（香港中文大学）；Stanford University（斯坦福大学）
本文提出双重平滑梯度下降上升方法（DS-GDA），以统一超参数求解具有单侧KŁ性质的非凸-非凹极小极大问题，并在无正则性条件下也能避免极限环，是首个在多个挑战性问题上收敛的一阶算法。
2023-10-30 cs.LG math.OC stat.ML
Convergence Rates of Two-Time-Scale Gradient Descent-Ascent Dynamics for Solving Nonconvex Min-Max Problems
Virginia Tech（弗吉尼亚理工大学）
近年来，由于非凸极小极大最优化问题在机器学习、网络资源分配、分布式优化等领域的广泛应用，使得求解非凸极小极大最优化问题成为研究热点。也许，最流行的一阶方法在解决最小-最大优化是所谓的同步（或单循环）梯度下降-上升算法，由于其简单的实现。然而，该算法的收敛性的理论保证是非常稀疏的，因为它可以发散，即使在一个简单的双线性问题。在本文中，我们的重点是描述的有限时间性能（或收敛速度）的连续时间变量的同时梯度下降-上升算法。特别是，我们得出了一些不同的条件下的基本目标函数，即双边Polyak-L ojasiewicz（PL），单边PL，非凸强凹，强凸非凹条件下，这种方法的收敛速度。在相同的目标函数条件下，我们的收敛性结果改进了已有的结果。在我们的分析中的关键思想是使用经典的奇异扰动理论和耦合李雅普诺夫函数来解决梯度下降和上升动力学之间的时间尺度差异和相互作用。我们对连续时间算法的研究结果可以用来提高离散时间算法的收敛性。
2021-12-17 cs.GT cs.LG math.OC
Two-Timescale Gradient Descent Ascent Algorithms for Nonconvex Minimax Optimization
University of California, Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）；Princeton University（普林斯顿大学）
本文提出了双时间尺度梯度下降上升（TTGDA）算法的统一分析，用于解决非凸-凹极小极大优化问题，高效找到平稳点并建立复杂度理论界限，首次系统证明其在训练GAN等任务中的优越性。
2025-01-27 cs.LG math.OC
Riemannian CUR Decompositions for Robust Principal Component Analysis
University of Texas at Arlington（德克萨斯大学阿灵顿分校）；University of California, Los Angeles（加州大学洛杉矶分校）
稳健主成分分析（PCA）近年来受到广泛关注。它的目的是恢复一个低秩矩阵和稀疏矩阵从他们的总和。本文提出了一种新的非凸鲁棒PCA算法，创造黎曼CUR（RieCUR），它利用黎曼优化和鲁棒CUR分解的思想。该算法与目前最先进的迭代鲁棒CUR算法具有相同的计算复杂度，但对离群值更具鲁棒性。RieCUR也能够容忍大量的离群值，并且与加速交替投影相当，加速交替投影具有高离群值容限，但计算复杂度比所提出的方法更差。因此，该算法在计算复杂度和离群值容限方面都实现了鲁棒PCA的最新性能。
2022-06-17 cs.LG cs.NA math.NA
Stochastic and Private Nonconvex Outlier-Robust PCA
我们开发了理论上保证随机方法的离群鲁棒PCA。离群鲁棒PCA从被离群值破坏的数据集中寻找底层的低维线性子空间。我们能够表明，我们的方法，其中涉及随机测地线梯度下降的格拉斯曼流形，收敛和恢复一个潜在的子空间，在各种制度，通过发展一个新的收敛分析。该方法的主要应用是一种有效的差分私有算法，用于在随机梯度方法中使用高斯噪声机制的异常鲁棒PCA。我们的结果强调了非凸方法相对于另一种凸方法在差异隐私环境中解决该问题的优势。对合成数据和程式化数据的实验验证了这些结果。
2022-03-17 cs.CR cs.LG math.OC
Langevin dynamics for high-dimensional optimization: the case of multi-spiked tensor PCA
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Unité de Mathématiques Pures et Appliquées (UMPA), ENS Lyon（里昂高等师范学院纯数学与应用数学研究所）
该研究针对多尖点张量PCA问题，利用朗之万动力学分析高维非凸优化，确定了精确恢复尖点所需的样本数量与SNR分离条件，揭示了恢复最大SNR尖点与所有尖点的样本复杂度阈值差异。
2026-08-14 cs.LG math.PR math.ST
Stochastic Gradient Descent Ascent is Suboptimal for Nonconvex-PŁ Min-Max Games
本研究证明在非凸-PL 极小极大博弈中，随机梯度下降上升法（SGDA）的复杂度下界与现有上界匹配，且在小时间尺度比例下可能失败，凸显其局限性并支持替代方法。
2026-10-14 cs.GT cs.LG stat.ML
Riemannian ascent--descent for nonconvex nonconcave minimax landscapes: convergence to basin saddle points and applications to distributionally robust optimization
UC San Diego（加州大学圣地亚哥分校）
针对非凸非凹极小极大景观，提出盆地鞍点概念及黎曼梯度上升多步下降迭代的收敛框架，应用于高斯分布鲁棒优化，获得线性或多项式收敛速率。
2026-09-15 cs.LG math.OC stat.ML
Proximal Gradient Descent-Ascent: Variable Convergence under KŁ Geometry
University of Utah（犹他大学）；The Ohio State University（俄亥俄州立大学）
梯度下降-上升（GDA）算法在求解极小极大最优化问题中得到了广泛的应用。为了实现极小极大优化的收敛策略参数，GDA生成收敛变量序列而不是函数值或梯度范数的收敛序列是重要的。然而，GDA的变收敛性仅在凸几何下得到了证明，对一般的非凸极大极小优化缺乏理解。本文通过研究正则化非凸-强-凹极大极小优化的更一般的近似GDA的收敛性，填补了这一空白。具体来说，我们表明，近似GDA承认一个新的李雅普诺夫函数，单调下降的极大极小优化过程中，并推动变量序列的临界点。通过利用这个李雅普诺夫函数和参数化一般非凸函数的局部几何的Kesterian几何，我们正式建立了近似GDA到临界点$x^*$的变量收敛，即，$x_t\to x^*, y_t\to y^*(x^*)$。此外，在整个频谱的KALTH参数化的几何，我们表明，近端GDA实现不同类型的收敛速度，从次线性收敛到有限步收敛，这取决于与KALTH参数的几何形状。这是第一个关于非凸极大极小优化的变量收敛性的理论结果。
2021-02-17 cs.LG math.OC
HePPCAT: Probabilistic PCA for Data with Heteroscedastic Noise
主成分分析（PCA）是一种经典的、普遍存在的数据降维方法，但对于现代应用中日益普遍的异构数据，PCA并不理想。PCA均匀地处理所有样本，因此当噪声在样本之间是异方差时会降级，例如，当样品来自不同质量的来源时。本文开发了一种概率PCA变量，通过将其纳入统计模型来估计和解释这种异质性。不同于在同方差设置，由此产生的非凸最优化问题似乎不是解决的奇异值分解。本文开发了一种异方差概率PCA技术（HePPCAT），使用高效的交替最大化算法，共同估计潜在的因素和未知的噪声方差。仿真实验说明了算法的比较速度，占异方差的好处，这个问题似乎有利的优化景观。对环境空气质量数据的实际数据实验表明，HePPCAT可以给出比不考虑异方差的技术更好的PCA估计。
2021-12-01 eess.SP math.ST stat.TH
Inference for Heteroskedastic PCA with Missing Data
Institute for Data, Systems, and Society, MIT（麻省理工学院数据、系统与社会研究所）；Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院）；Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）
针对高维 PCA 中缺失数据与异方差噪声导致的不确定性量化难题，论文基于 HeteroPCA 建立非渐近分布保证，提出数据驱动的主子空间置信区域和尖峰协方差矩阵逐元素置信区间方法。
2024-02-28 cs.IT cs.LG math.IT
Scaling Limit: Exact and Tractable Analysis of Online Learning Algorithms with Applications to Regularized Regression and PCA
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）；Department of Mathematics, Duke University（杜克大学数学系）
我们提出了一个框架，用于分析一类在线学习算法在高维尺度极限下的精确动力学。我们的结果被应用到两个具体的例子：在线正则化线性回归和主成分分析。由于周围的维度趋于无穷大，并与适当的时间尺度，我们表明，随时间变化的联合经验措施的目标特征向量和它的算法提供的估计将弱收敛到一个确定性的测量值的过程，可以被描述为一个非线性偏微分方程的唯一解决方案。可以有效地获得该偏微分方程的数值解。这些解决方案导致算法性能的精确预测，因为许多实际的性能指标是联合经验措施的线性泛函。除了表征在线学习算法的动态性能，我们的渐近分析也提供了有用的见解。特别是，在高维极限，由于交换，与算法相关联的原始耦合动力学将渐近“解耦”，每个坐标独立地通过随机梯度下降求解1-D有效的最小化问题。利用这一洞察力的非凸优化问题可能会证明一个有趣的未来的研究。
2017-12-08 cs.IT cs.LG math.IT
On adversarial robustness and the use of Wasserstein ascent-descent dynamics to enforce it
我们提出了迭代算法来解决各种监督学习感兴趣的设置中的对抗问题。我们的算法，这可以被解释为合适的上升下降动力学在Wasserstein空间，采取相互作用的粒子系统的形式。这些相互作用的粒子动力学收敛到适当的平均场极限方程在某些大量的粒子制度。反过来，我们证明了，在一定的规律性假设下，这些平均场方程收敛，在大的时间限制，接近纳什均衡的原始对抗学习问题。我们目前的结果为非凸非凹的设置，以及为非凸凹的。数值实验说明了我们的结果。
2023-01-09 cs.LG math.AP math.OC
sparseGeoHOPCA: A Geometric Solution to Sparse Higher-Order PCA Without Covariance Estimation
Department of Electrical Engineering and Centre for Intelligent Multidimensional Data Analysis（电气工程系和智能多维数据分析中心）；City University of Hong Kong（香港城市大学）；State Key Laboratory of Public Big Data（公共大数据国家重点实验室）；School of Mathematics and Statistics（数学与统计学学院）；School of Mathematics（数学学院）
提出 sparseGeoHOPCA 几何框架，将 SHOPCA 转化为结构化二元线性子问题，无需协方差估计与迭代紧缩，并给出误差界、线性复杂度及优异实验结果。
2025-06-10 cs.LG cs.NA math.NA
Local Stochastic Gradient Descent Ascent: Convergence Analysis and Communication Efficiency
The Pennsylvania State University（宾夕法尼亚州立大学）
局部SGD是一种很有前途的方法，以克服分布式学习中的通信开销，减少工作节点之间的同步频率。尽管局部SGD在经验风险最小化方面取得了最新的理论进展，但其在极大极小优化中的效率仍然未被探索。受大规模极小极大学习问题的启发，例如对抗鲁棒学习和训练生成对抗网络（GANs），我们提出了局部随机梯度下降Ascent（局部SGDA），其中原始变量和对偶变量可以在本地进行训练并定期平均，以显着减少通信次数。我们表明，本地SGDA可以证明优化分布式极大极小问题的同质和异构数据，减少通信数量，并建立强凸-强凹和非凸-强凹设置下的收敛速度。此外，我们提出了一种新的变体局部SGDA+，解决非凸-非凹问题。我们给佐证不同的分布式极大极小问题的经验证据。
2021-02-25 cs.LG math.OC
A Single-Loop Gradient Descent and Perturbed Ascent Algorithm for Nonconvex Functional Constrained Optimization
IBM Research AI, IBM Thomas J. Watson Research Center（IBM研究院AI部，IBM托马斯·J·沃森研究中心）
针对目标与不等式约束均可非凸的光滑泛函约束优化，本文提出仅用一阶信息、只需调节两个步长的单循环原始-对偶 GDPA 算法，并证明其 KKT 点收敛速率，实验优于现有方法。
2024-12-03 cs.AI cs.LG cs.NA
Limiting Behaviors of Nonconvex-Nonconcave Minimax Optimization via Continuous-Time Systems
Cornell University（康奈尔大学）；Google Research（谷歌研究院）；University of Chicago（芝加哥大学）
与非凸优化不同，非凸-非凹极小极大优化的算法可以保证梯度下降收敛到局部优化器，而非凸-非凹极小极大优化的算法可以有拓扑上不同的解路径：有时收敛到解，有时从不收敛，而是遵循极限环，有时发散。本文研究了三种经典的极大极小算法：梯度下降上升法（GDA）、交替梯度下降上升法（AGDA）和超梯度法（EGM）的极限行为。在数值上，我们观察到所有这些限制行为都可能出现在生成对抗网络（GAN）训练中，并且很容易在一系列GAN问题中得到证明。为了解释这些不同的行为，我们研究了高阶分辨率的连续时间动态，对应于每个算法，这导致了充分（几乎是必要的）的条件，每种方法的局部收敛。此外，这个ODE的角度，使我们能够描述这些不同的限制行为之间的相变所造成的引入正则化的霍普夫分岔。
2021-03-04 cs.LG math.OC
Towards Understanding Acceleration Tradeoff between Momentum and Asynchrony in Nonconvex Stochastic Optimization
Harbin Institute of Technology（哈尔滨工业大学）；Sensetime Group Limited（商汤集团有限公司）；Georgia Tech（佐治亚理工学院）
异步动量随机梯度下降算法是分布式机器学习中最常用的算法之一。然而，由于目前的技术限制，它对这些复杂的非凸问题的收敛性在很大程度上仍然未知。因此，在本文中，我们建议通过一个更简单但非平凡的非凸问题-流式PCA来分析该算法，这有助于我们更好地理解Aync-MSGD，即使是更一般的问题。具体来说，我们建立了渐近收敛速度的Async-MSGD流PCA扩散近似。我们的研究结果表明，基本之间的权衡和动量：为了确保收敛和加速通过momentary，我们必须减少动量（与Sync-MSGD相比）。据我们所知，这是第一次理论上的尝试，了解异步MSGD分布式非凸随机优化。提供了流PCA和训练深度神经网络的数值实验来支持我们对Async-MSGD的发现。
2021-01-13 cs.LG stat.ML
On Convergence of Gradient Descent Ascent: A Tight Local Analysis
MIT（麻省理工学院）；CUHK（香港中文大学）；MIT-IBM AI Lab（麻省理工学院-IBM人工智能实验室）；IBM Research（IBM研究院）
梯度下降上升（GDA）方法是生成对抗网络（GANs）中最小最大优化的主流算法。GDA的收敛性在最近的文献中引起了极大的兴趣。具体地，对于其中$f$在$\mathbf{y}$中是强凹的并且在$\mathbf{x}$中可能是非凸的$\min_{\mathbf{x}} \max_{\mathbf{y}} f(\mathbf{x};\mathbf{y})$，（Lin等人，2020）证明了具有步长比$η_{\mathbf{y}}/η_{\mathbf{x}}=Θ(κ^2)$的GDA的收敛性，其中$η_{\mathbf{x}}$和$η_{\mathbf{y}}$是$\mathbf{x}$和$\mathbf{y}$的步长，$κ$是$\mathbf{y}$的条件数。虽然这个步长比表明小玩家的训练很慢，但实际的GAN算法通常对两个变量采用类似的步长，这表明理论和经验结果之间存在很大差距。在本文中，我们的目标是弥合这一差距，通过分析一般的\emph{nonconvex-nonconcave}极大极小问题的\emph{local convergence}。我们证明了一个步长比$Θ(κ)$是必要的和充分的局部收敛的GDA的Stackelberg均衡，其中$κ$是局部条件数$\mathbf{y}$。我们证明了一个几乎紧收敛速度与匹配的下限。我们进一步将收敛保证推广到随机GDA和超梯度方法.最后，我们进行了一…
2022-07-03 cs.LG math.OC stat.ML
Fast low-rank estimation by projected gradient descent: General statistical and algorithmic guarantees
University of California, Berkeley（加州大学伯克利分校）
具有秩约束的最优化问题在许多应用中出现，包括矩阵回归、结构PCA、矩阵完备化和矩阵分解问题。一个有吸引力的启发式解决这样的问题是因式分解的低秩矩阵，并运行投影梯度下降的非凸因式分解的最优化问题。这个问题的目标是提供一个一般的理论框架，以了解当这样的方法工作良好，并描述所产生的不动点的性质。我们提供了一组简单的条件下，投影梯度下降，当给定一个合适的初始化，几何收敛到一个统计上有用的解决方案。我们的结果是适用的，即使当初始解是任何区域的局部凸，甚至当问题是全球凹。工作在一个非渐近的框架，我们表明，我们的条件是满足广泛的具体模型，包括矩阵回归，结构PCA，矩阵完成与真正的和量化的意见，矩阵分解，图聚类问题。仿真结果与理论预测吻合良好。
2015-09-10 cs.LG math.ST stat.ML
Convergence and complexity of block majorization-minimization for constrained block-Riemannian optimization
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Michigan（密歇根大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出了一种基于块最大化解的算法，用于解决具有约束的非凸优化问题，并证明了其在黎曼流形上的收敛性和复杂性。
2024-08-06 math.OC stat.ML
Tight Analysis of Extra-gradient and Optimistic Gradient Methods For Nonconvex Minimax Problems
The Pennsylvania State University（宾夕法尼亚州立大学）；Massachusetts Institute of Technology（麻省理工学院）
尽管乐观梯度下降算法（OGDA）和超梯度算法（EG）对于凸-凹极大极小问题的收敛性理论已经建立，但是对于这些算法在非凸情形下的理论保证却知之甚少。为了弥补这一差距，本文首次建立了OGDA和EG方法的收敛性下的非凸-强-凹（NC-SC）和非凸-凹（NC-C）设置通过提供一个统一的分析，通过镜头的单调用额外的梯度方法。我们进一步建立了GDA/OGDA/EG收敛的下界，揭示了我们分析的紧密性。我们还进行实验支持我们的理论结果。我们相信，我们的研究结果将促进对OGDA和EG方法解决复杂的非凸极大极小现实问题的理论理解，例如，生成对抗网络（GANs）或强大的神经网络训练。
2022-10-17 cs.LG math.OC stat.ML
Zeroth-Order Algorithms for Nonconvex Minimax Problems with Improved Complexities
University of California, Davis（加州大学戴维斯分校）；University of Southern California（南加州大学）
在本文中，我们研究零阶算法的极大极小优化问题是非凸的一个变量和强凹的其他变量。由于极大极小优化问题在现代机器学习任务中的应用，极大极小优化问题最近引起了人们的极大关注。我们首先考虑一个确定性的版本的问题。我们设计和分析了零阶梯度下降上升（\texttt{ZO-GDA}）算法，并提供了改进的结果相比，现有的作品，在预言复杂度。我们还提出了零阶梯度下降多步上升（\texttt{ZO-GDMSA}）算法，显着提高了\texttt{ZO-GDA}的预言复杂度。然后，我们考虑随机版本的\texttt{ZO-GDA}和\texttt{ZO-GDMSA}，处理随机非凸极大极小问题。对于这种情况，我们提供了两个假设下的随机梯度的预言复杂性结果：（i）一致有界方差假设，这是常见的传统随机最优化，和（ii）强增长条件（SGC），这已被现代过参数化机器学习模型所满足。我们建立的SGC假设下，随机算法的复杂性相匹配的确定性算法。数值实验支持我们的理论结果。
2022-04-04 cs.DS cs.LG math.OC
Randomized Stochastic Gradient Descent Ascent
越来越多的机器学习问题，例如现有算法的鲁棒或对抗性变体，需要最小化本身被定义为最大值的损失函数。在（内部）最大化问题上执行随机梯度上升（SGA）步骤的循环，然后在（外部）最小化问题上执行SGD步骤，称为历元随机梯度\textit{Descent Ascent}（ESGDA）。虽然在实践中取得了成功，但ESGDA的理论分析仍然具有挑战性，对于内环尺寸的选择以及内外步长之间的相互作用没有明确的指导。我们提出了RSGDA（随机SGDA），一个变体的ESGDA随机循环大小与一个简单的理论分析。RSGDA在非凸最小值/强凹最大值设置上使用时具有第一个（SGDA算法中）几乎肯定的收敛速度。RSGDA可以使用最佳循环大小进行参数化，以保证SGDA已知的最佳收敛速度。我们在玩具和更大规模的问题上测试RSGDA，使用分布式鲁棒优化和单细胞数据匹配，使用最佳运输作为测试平台。
2021-11-25 cs.LG math.OC stat.ML
TiAda: A Time-scale Adaptive Algorithm for Nonconvex Minimax Optimization
ETH Zurich（苏黎世联邦理工学院）
TiAda是一种参数无关的单循环自适应GDA算法，通过自动适应时间尺度分离，在非凸-强凹极小极大问题的确定性和随机设置中实现接近最优的复杂度，并在多个机器学习应用中验证了有效性。
2025-10-09 cs.LG math.OC stat.ML
Generalization Bounds of Nonconvex-(Strongly)-Concave Stochastic Minimax Optimization
Johns Hopkins University（约翰斯·霍普金斯大学）；EPFL（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
本文首次系统地研究了非凸-（强）-凹（NC-SC/NC-C）随机极大极小优化算法的推广界，该推广界由原函数的平稳性度量.我们首先通过经验极大极小问题和总体极大极小问题之间的一致收敛性建立算法无关的推广界。对于NC-SC和NC-C设置，实现$ε$-泛化的示例复杂度分别为$\tilde{\mathcal{O}}(dκ^2ε^{-2})$和$\tilde{\mathcal{O}}(dε^{-4})$，其中$d$是维度，$κ$是条件数。通过算法的稳定性论证，我们进一步研究了算法依赖的推广界。特别是，我们引入了一个新的稳定性的概念，极大极小问题，并建立一个连接之间的推广界和稳定性的概念。因此，我们建立了随机梯度下降上升（SGDA）算法和更一般的采样确定算法的算法依赖的泛化界。
2023-02-06 cs.LG math.OC stat.ML
Decentralized Stochastic Gradient Descent Ascent for Finite-Sum Minimax Problems
Temple University（天普大学）
针对分布式多节点数据下的有限和极小极大优化问题，提出一种采用方差缩减梯度的去中心化随机梯度下降上升方法，在非凸-强凹情形下获得更优样本与通信复杂度，并通过AUC最大化实验验证有效性。
2024-06-11 cs.LG math.OC stat.ML
Efficient Globally Convergent Stochastic Optimization for Canonical Correlation Analysis
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业研究所）
研究了典型相关分析（CCA）的随机优化问题，其目标函数是非凸的，且在训练样本上不解耦。虽然最近提出了几种基于随机梯度的优化算法来解决这个问题，但它们都不能保证全局收敛。受CCA的交替最小二乘/幂迭代公式和PCA的移位和反转预处理方法的启发，我们提出了两种全局收敛的CCA元算法，这两种算法都将原问题转化为只需近似求解的最小二乘问题序列。我们实例化的元算法与国家的最先进的SGD方法，并获得时间复杂度，显着提高了以前的工作。实验结果证明了其优越的性能。
2016-11-14 cs.LG
Prior-Informed Generalizable Low-Rank Representation Learning via Regularized Adversarial Reweighting
Harvard University（哈佛大学）
该研究针对分布偏移下的低秩矩阵估计问题，提出PILLAR方法，通过正则化对抗重加权改进group-DRO，提升了估计稳定性与预测准确性。
2026-10-14 math.ST stat.ME stat.ML
Stochastic Smoothed Gradient Descent Ascent for Federated Minimax Optimization
University of Virginia（弗吉尼亚大学）；Meta AI；MIT（麻省理工学院）
本文提出联邦随机平滑梯度下降上升法（FESS-GDA），将平滑技术引入联邦极小极大优化，统一解决多类问题并证明新的收敛结果，在GAN训练和公平分类中展现实际效率。
2024-04-18 cs.IT cs.LG math.IT
Dimensionality Reduction for Stationary Time Series via Stochastic Nonconvex Optimization
Georgia Tech（佐治亚理工学院）；Princeton University（普林斯顿大学）
随机优化自然出现在机器学习中。然而，有效的算法与可证明的保证，仍然在很大程度上失踪，当目标函数是非凸的数据点是依赖的。本文研究了这一基本挑战，通过平稳时间序列数据的流PCA问题。具体来说，我们的目标是估计时间序列数据的主成分相对于平稳分布的协方差矩阵。在计算上，我们提出了一个变种的Oja的算法结合下采样来控制由数据依赖性引起的随机梯度的偏差。理论上，我们量化的不确定性，我们提出的随机算法的基础上扩散近似。这使我们能够证明的渐近收敛速度，并进一步意味着接近最佳的渐近样本复杂性。数值实验支持我们的分析。
2018-10-01 cs.LG math.OC stat.ML
