In this paper, we study the problem of escaping from saddle points in smooth nonconvex optimization problems subject to a convex set $\mathcal{C}$. We propose a generic framework that yields convergence to a second-order stationary point of the problem, if the convex set $\mathcal{C}$ is simple for a quadratic objective function. Specifically, our results hold if one can find a $ρ$-approximate solution of a quadratic program subject to $\mathcal{C}$ in polynomial time, where $ρ<1$ is a positive constant that depends on the structure of the set $\mathcal{C}$. Under this condition, we show that the sequence of iterates generated by the proposed framework reaches an $(ε,γ)$-second order stationary point (SOSP) in at most $\mathcal{O}(\max\{ε^{-2},ρ^{-3}γ^{-3}\})$ iterations. We further characterize the overall complexity of reaching an SOSP when the convex set $\mathcal{C}$ can be written as a set of quadratic constraints and the objective function Hessian has a specific structure over the convex set $\mathcal{C}$. Finally, we extend our results to the stochastic setting and characterize the number of stochastic gradient and Hessian evaluations to reach an $(ε,γ)$-SOSP.
Escaping From Saddle Points --- Online Stochastic Gradient for Tensor Decomposition
Microsoft Research New England（微软新英格兰研究院）；University of California Irvine（加州大学欧文分校）；University of California Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
Zeroth-Order Negative Curvature Finding: Escaping Saddle Points without Gradients
Nanjing University of Information Science & Technology（南京信息工程大学）；Harbin Institute of Technology（哈尔滨工业大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
在大规模分布式学习框架（如联邦学习）中，非凸优化的鞍点避免问题具有相当大的挑战性，特别是在拜占庭工人存在的情况下。\cite{nest}中著名的正则化牛顿法是在标准集中式（非分布式）设置中避免鞍点的最优雅的方法之一。在本文中，我们扩展的正则化牛顿方法的分布式框架，同时解决一些实际的挑战，如通信瓶颈和拜占庭攻击。注意，在拜占庭机器存在的情况下，鞍点避免的问题变得更加关键，因为流氓机器可能在损失函数的鞍点附近创建\emph{fake local minima}，也称为鞍点攻击。作为一个二阶算法，我们的迭代复杂度比一阶算法低得多。此外，我们使用压缩（或稀疏化）技术，如$δ$ -近似压缩通信效率。我们获得了理论保证，我们提出的计划下的几个设置，包括近似（二次采样）梯度和海森。此外，我们使用标准数据集和几种类型的拜占庭攻击的实验验证了我们的理论研究结果，并获得了改进的$25\%$相对于一阶方法的迭代复杂度。
Quantum algorithms for escaping from saddle points
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Department of Mathematics and Joint Center for Quantum Information and Computer Science, University of Maryland（马里兰大学数学系及量子信息与计算机科学联合中心）；Center on Frontiers of Computing Studies, Peking University（北京大学计算前沿研究中心）；Center for Theoretical Physics, Massachusetts Institute of Technology（麻省理工学院理论物理中心）；Department of Computer Science and Joint Center for Quantum Information and Computer Science, University of Maryland（马里兰大学计算机科学系及量子信息与计算机科学联合中心）
Escaping Saddle-Points Faster under Interpolation-like Conditions
Department of Statistics, University of California, Davis（加州大学戴维斯分校统计系）；Department of Management Sciences, University of Waterloo（滑铁卢大学管理科学系）；Department of Computer Science, University of California, Davis（加州大学戴维斯分校计算机科学系）；University of California, Davis（加州大学戴维斯分校）；University of Waterloo（滑铁卢大学）
Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD for Communication Efficient Nonconvex Distributed Learning
NTT DATA Mathematical Systems Inc.（NTT数据数学系统公司）；Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）；Center for Advanced Intelligence Project, RIKEN（理化学研究所先进智能项目中心）
在最近的集中式非凸分布式学习和联邦学习中，局部方法是减少通信时间的有前途的方法之一。然而，现有的工作主要集中在研究一阶最优性保证。另一方面，二阶最优性保证算法，即，逃逸鞍点的算法在非分布优化文献中已经被广泛研究。本文研究了一种新的局部算法--偏差方差降低局部扰动SGD（Bias-Variance Reduced Local Perturbed SGD，BVR-L-PSGD），它将已有的偏差方差降低梯度估计与参数扰动相结合，用于求解集中式非凸分布优化问题的二阶最优点。BVR-L-PSGD具有二阶最优性，但其通信复杂性与BVR-L-SGD的一阶最优性几乎相同。特别是当局部数据集的异质性小于局部损失的平滑性时，通信复杂性优于非局部方法。在极端情况下，当局部数据集的异质性为零时，通信复杂性度接近$\widetilde Θ(1)$。数值结果验证了我们的理论研究结果。
黎曼流形上的光滑、非凸优化问题由于正交性、秩或正性约束而出现在机器学习中。一阶和二阶必要最优性条件规定黎曼梯度必须为零，黎曼海森必须是半正定的。Jin et al.最近关于线性空间优化的扰动梯度下降（PGD）的工作[如何有效地逃离鞍点（2017），随机梯度下降有效地逃离鞍点（2019）]，我们提出了一个版本的扰动黎曼梯度下降（PRGD），以表明可以以高概率近似满足必要的最优性条件，而无需评估Hessian。具体地说，对于一个任意的黎曼流形$\mathcal{M}$的尺寸$d$，一个足够光滑（可能非凸）的目标函数$f$，并在较弱的条件下，选择收回移动的流形上，以高概率，我们的版本的PRGD产生一个点的梯度小于$ε$和Hessian内的$\sqrtε$是半正定的$O((\log{d})^4 / ε^{2})$梯度查询。这与欧几里德情况下的PGD的复杂性相匹配。重要的是，对维度的依赖性很低。这对于包括PCA和低秩矩阵完成在内的大规模应用很重要，它们都允许流形上的自然公式。其关键技术思想是推广PRGD，区分两种类型的梯度步骤：“流形上的步骤”和“流形切空间中的扰动步骤”。“最终，这种区别使得有可能延长金等人。的分析天衣无缝。
Dimer-Enhanced Optimization: A First-Order Approach to Escaping Saddle Points in Neural Network Training
School of Bioengineering, Qilu University of Technology (Shandong Academy of Sciences)（青岛科技大学生物工程学院）；Shandong Provincial Key Laboratory of Biophysics, Institute of Biophysics, Dezhou University（山东省生物物理重点实验室，生物物理研究所，德州市大学）；Shandong Provincial Hospital, Shandong First Medical University（山东省人民医院，山东第一医科大学）
Escaping Saddle Points for Nonsmooth Weakly Convex Functions via Perturbed Proximal Algorithms
Department of Electrical and Computer Engineering, University of California, Davis（加州大学戴维斯分校电气与计算机工程系）；Simon Business School, University of Rochester（罗切斯特大学西蒙商学院）
Zeroth-order Nonconvex Stochastic Optimization: Handling Constraints, High-Dimensionality and Saddle-Points
Department of Statistics, University of California, Davis（加利福尼亚大学戴维斯分校统计系）；Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）
Efficiently Escaping Saddle Points for Policy Optimization
School of Computer and Communication Sciences, EPFL, Lausanne, Switzerland（瑞士联邦理工学院计算机与通信科学学院）；Leiden Institute of Advanced Computer Science (LIACS), Leiden University, Leiden, The Netherlands（莱顿大学莱顿高级计算机科学研究所）；College of Management of Technology, EPFL, Lausanne, Switzerland（瑞士联邦理工学院技术管理学院）；Department of Computer Science ETH Zurich（苏黎世联邦理工学院计算机科学系）
Neural Network-based High-index Saddle Dynamics Method for Searching Saddle Points and Solution Landscape
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Machine Learning Research, Peking University（机器学习研究中心）；Academy for Multidisciplinary Studies, Capital Normal University（首都师范大学交叉科学研究院）；Beijing National Center for Applied Mathematics（北京国家应用数学中心）
Escaping from Collapsing Modes in a Constrained Space
National Tsing Hua University（国立清华大学）；Google AI（谷歌人工智能）；Google Cloud AI（谷歌云人工智能）
生成对抗网络（GANs）在训练过程中经常遭受不可预测的模式崩溃。研究了边界平衡生成对抗网络（BEGAN）的模式坍塌问题。尽管BEGAN具有生成高质量图像的潜力，但我们发现，经过一段时间的训练后，BEGAN往往会在某些模式下崩溃。我们提出了一个新的模型，称为\emph{BEGAN with a Constrained Space}（BEGAN-CS），其中包括潜在的空间约束的损失函数。我们表明，BEGAN-CS可以显着提高训练的稳定性和抑制模式坍塌，既不增加模型的复杂性或降低图像质量。此外，我们可视化的潜在向量的分布，阐明潜在空间约束的效果。实验结果表明，我们的方法具有额外的优势，能够在小数据集上进行训练，并生成与给定的真实图像相似的图像，但具有指定属性的变化。
