Riemannian stochastic recursive momentum method for non-convex optimization
University of Sydney（悉尼大学）
提出了一种求解黎曼非凸优化问题的随机递归动量方法，该方法在一个样本的情况下获得了$\tilde{\mathcal{O}}(ε^{-3})$的近似最优复杂度，从而得到了$ε$ -近似解.也就是说，我们的方法需要每次迭代的$\mathcal{O}(1)$梯度评估，并且不需要重新启动大批量梯度，这通常用于获得更快的速率。大量的实验结果证明了该算法的优越性。
2020-08-11 cs.LG math.OC stat.ML
Stochastic subgradient method converges at the rate $O(k^{-1/4})$ on weakly convex functions
Cornell University（康奈尔大学）；U. Washington（华盛顿大学）
我们证明了，近端随机次梯度方法，适用于弱凸问题，驱动器的Moreau包络的梯度为零的速度$O(k^{-1/4})$。因此，我们解决了一个公开的问题上的收敛速度的最近随机梯度法的光滑非凸函数和凸逼近函数的总和最小化。
2018-02-19 cs.LG math.OC
Improved Rates for Differentially Private Stochastic Convex Optimization with Heavy-Tailed Data
University of Waterloo（滑铁卢大学）；Meta；Cornell University（康奈尔大学）
研究了在差分隐私（DP）约束下重尾数据的随机凸优化问题。关于这个问题的大多数先前的工作仅限于损失函数是Lipschitz的情况。相反，介绍了王，肖，Devadas，徐\cite{WangXDX20}，我们研究一般的凸损失函数的梯度分布有界的$k$次矩的假设。我们提供了改进的上界的过度人口风险下集中DP凸和强凸损失函数。一路上，我们推导出新的算法私人均值估计的重尾分布，在纯和集中DP。最后，我们证明了私人随机凸优化强凸损失和均值估计的近匹配下界，显示了新的分离之间的纯和集中DP。
2022-11-01 cs.CR cs.DS cs.LG
Beyond Convexity: Stochastic Quasi-Convex Optimization
Princeton University（普林斯顿大学）；Technion（以色列理工学院）；The Hebrew University（希伯来大学）
随机凸优化是机器学习中的一个基本问题，也是一个研究得很好的问题.众所周知，可以使用随机梯度下降（SGD）有效地最小化凸函数和Lipschitz函数。归一化梯度下降（NGD）算法是梯度下降的一种改编，它根据梯度的方向而不是梯度本身进行更新。在本文中，我们分析了一个随机版本的NGD和证明其收敛到一个全局最小值的更广泛的一类功能：我们需要的功能是准凸和局部Lipschitz。准凸性将单峰的概念扩展到多维，并允许某些类型的鞍点，这是一阶优化方法（如梯度下降）的已知障碍。局部Lipschitz函数只需要在最优值附近的一个小区域内是Lipschitz。这个假设避免了梯度爆炸，这是梯度下降变体的另一个已知障碍。有趣的是，与香草SGD算法不同，随机归一化梯度下降算法可证明需要最小的minibatch大小。
2015-10-28 cs.LG math.OC
Stochastic gradient descent algorithms for strongly convex functions at O(1/T) convergence rates
传统的随机梯度下降（SGD）算法在权值与t成正比的情况下，对强凸函数的概率收敛速度为O（κ/T），而不是O（κ ln（T）/T）.我们还证明了一个加速的SGD算法也达到了O（κ/T）的速度。
2013-05-09 cs.AI cs.LG
Step size adaptation in first-order method for stochastic strongly convex programming
提出了一种求解随机强凸优化问题的一阶方法，该方法具有$O(1/n)$收敛速率，分析表明，该方法简单，易于实现，在最坏情况下，渐近收敛速度是同类方法的4倍.我们从几个直观的观察，从现有的一阶最优化方法推广得到这种方法。
2011-10-13 cs.LG math.OC
Linear Convergence of Variance-Reduced Stochastic Gradient without Strong Convexity
University of Michigan（密歇根大学）
本文提出Prox-SVRG和VRPSG算法，证明在无强凸性条件下，这些算法在约束和正则化问题中实现线性收敛，引入Semi-Strongly Convex不等式作为关键理论贡献。
2015-07-10 cs.LG cs.NA math.NA
Global Convergence of Stochastic Gradient Hamiltonian Monte Carlo for Non-Convex Stochastic Optimization: Non-Asymptotic Performance Bounds and Momentum-Based Acceleration
The Chinese University of Hong Kong（香港中文大学）；Rutgers University（罗格斯大学）；Florida State University（佛罗里达州立大学）
随机梯度Hamilton Monte Carlo（SGHMC）是一种动量随机梯度算法，在随机梯度中加入受控的、适当缩放的高斯噪声，使迭代过程趋于全局极小值。许多工作报告了其在解决随机非凸优化问题的实践中的经验成功，特别是它已被观察到优于过阻尼Langevin蒙特卡罗方法，如随机梯度Langevin动力学（SGLD）在许多应用中。虽然SGHMC的渐近整体收敛性质是众所周知的，其有限时间性能还没有得到很好的理解。在这项工作中，我们研究了两个变种的SGHMC的基础上两个替代离散的欠阻尼朗之万扩散。我们提供了有限时间性能界的整体收敛的SGHMC解决显式常数随机非凸优化问题的变种。我们的研究结果导致人口和经验风险最小化问题的非渐近保证。对于一个固定的目标精度水平，对一类非凸问题，我们得到的复杂性界SGHMC可以比SGLD更紧。这些结果表明，在全局非凸优化的背景下，动量加速是可能的。
2020-11-18 cs.LG math.OC
Minibatch and Momentum Model-based Methods for Stochastic Weakly Convex Optimization
Shanghai University of Finance and Economics（上海财经大学）
基于随机模型的方法由于其对步长选择的鲁棒性和可证明的效率保证而受到越来越多的关注。对随机弱凸优化的模型基方法进行了两个重要的改进。首先，我们提出了新的minibatch基于模型的方法，涉及一组样本近似模型函数在每次迭代。对于第一次，我们表明，随机算法实现线性加速的批量大小，即使是非光滑和非凸（特别是，弱凸）的问题。为此，我们开发了一种新的灵敏度分析的近端映射参与每个算法迭代。我们的分析似乎是在更一般的设置独立的利益。其次，在动量随机梯度下降算法成功的基础上，提出了一种新的基于模型的随机外推算法，将经典的Polyak动量算法扩展到更广泛的弱凸优化随机算法中。在相当灵活的外推项范围内建立了到某些自然平稳性条件的收敛速率。在主要研究弱凸优化的同时，我们也将工作扩展到了凸优化。我们应用小批量和外推模型为基础的方法随机凸优化，我们提供了一个新的复杂性界和有前途的线性加速批量大小。此外，基于Nesterov的动量的加速模型为基础的方法，我们建立了一个最佳的复杂性界达到最优。
2021-11-13 cs.LG math.OC
The Min-Max Complexity of Distributed Stochastic Convex Optimization with Intermittent Communication
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Weizmann Institute of Science（魏茨曼科学研究所）
我们解决了分布式随机凸优化的最小-最大复杂性（最多为对数因子）在间歇性通信设置，其中$M$机器并行工作的过程中的$R$轮的通信，以优化目标，并在每一轮的通信，每台机器可以顺序计算$K$随机梯度估计。我们提出了一个新的下限与匹配的上限，建立一个最佳的算法。
2021-08-05 cs.LG math.OC
Stochastic subGradient Methods with Linear Convergence for Polyhedral Convex Optimization
在本文中，我们证明了简单的{随机} subGradient Decent方法与多重启动，命名为{ \bf RSGD}，可以实现一个\textit{linear convergence rate}的一类非光滑和非强凸优化问题的目标函数的epigraph是一个多面体，我们称之为{ \bf多面体凸优化}。它在机器学习中的应用包括$\ell_1$约束或正则化分段线性损失最小化和子模函数最小化。据我们所知，这是第一个结果的线性收敛速度的随机次梯度方法的非光滑和非强凸优化问题。
2016-03-31 cs.LG math.OC
Successive Convex Approximation Algorithms for Sparse Signal Estimation with Nonconvex Regularizations
Interdisciplinary Centre for Security, Reliability and Trust, University of Luxembourg（卢森堡大学安全、可靠性与信任跨学科中心）；Technische Universität Darmstadt（达姆施塔特工业大学）
在本文中，我们提出了一个连续的凸近似框架稀疏优化的非光滑正则化函数的目标函数是非凸的，它可以写为两个凸函数的差。建议的框架是基于一个非平凡的组合的优化最小化框架和连续凸逼近框架中提出的凸正则化函数的文献。所提出的框架有几个吸引人的特点，即：i）灵活性，因为不同的近似函数的选择导致不同类型的算法; ii）快速收敛，因为通过适当选择近似函数可以更好地利用问题结构，并且通过线搜索计算步长; iii）低复杂度，因为近似函数是凸的，并且线搜索方案在可微函数上执行; iv）保证收敛到稳定点。我们展示了这些功能的两个例子中的子空间学习，即网络异常检测问题和稀疏子空间聚类问题的应用。自定义所提出的框架，通过采用最佳响应型近似，我们获得软阈值与精确的线搜索算法，未知参数的所有元素根据封闭形式的表达式并行更新。所提出的算法的有吸引力的功能数值说明。
2018-06-28 cs.DC cs.IR cs.LG
Distributed Inexact Successive Convex Approximation ADMM: Analysis-Part I
在这两部分的工作中，我们提出了一个算法框架来解决非凸问题，其目标函数是一些光滑的分量函数加上凸（可能非光滑）或/和光滑（可能非凸）正则化函数的总和。该算法结合了现有的几种方法，如交替方向乘法器（ADMM），连续凸逼近（SCA），分布式和异步算法，不精确的梯度法的想法。然而，不同于现有的方法，所提出的框架是足够灵活的，以纳入一类非凸目标函数，允许分布式操作与不融合中心，并包括方差减少的方法作为特殊情况。值得注意的是，所提出的算法是强大的随机，确定性和对抗性来源所产生的不确定性。本文的第一部分在非常温和的假设下开发了算法的两个变体，并建立了一阶收敛速度保证。这里开发的证明允许一般的错误和延迟，为不同的方差减少，异步和随机实现铺平了道路，在第二部分中概述和评估。
2019-07-21 cs.DC math.OC stat.ML
Hybrid Block Successive Approximation for One-Sided Non-Convex Min-Max Problems: Algorithms and Applications
最小-最大问题，也称为鞍点问题，是一类同时最小化和最大化两个变量子集的最优化问题。这类问题可用于制定广泛的信号处理和通信（SPCOM）问题。尽管它的流行，大多数现有的理论，这类主要是发展了一些特殊的凹凸结构的问题。因此，它不能用来指导算法设计的许多有趣的问题，在SPCOM中，各种各样的非凸性出现。在这项工作中，我们考虑了一个块明智的单侧非凸极小极大问题，其中的最小化问题由多个块，是非凸的，而最大化问题是（强）凹。我们提出了一类简单的算法混合块逐次逼近（HiBSA），交替执行梯度下降型步骤的最小化块和梯度上升型步骤的最大化问题。该算法的一个关键因素是使用一定的正则化和惩罚序列，稳定算法，并确保收敛。我们表明，HiBSA收敛到一些适当定义的一阶固定的解决方案，可量化的全球利率。为了验证所提出的算法的效率，我们进行了一些问题的数值测试，包括鲁棒学习问题，非凸最小效用最大化问题，并在干扰信道中出现的某些无线干扰问题。
2021-03-16 math.OC stat.ML
An Optimal Private Stochastic-MAB Algorithm Based on an Optimal Private Stopping Rule
University of Alberta（阿尔伯塔大学）
我们为随机多臂强盗问题提出了一个可证明的最优差分私有算法，而不是UCB算法的私有模拟[Mishra和Thakurta，2015; Tossou和Dimitrakakis，2016]，它不符合最近发现的$Ω\left(\frac{K\log(T)}ε \right)$的下限[Shariff和Sheffet，2018]。我们的构建基于不同的算法，逐次消除[Even-Dar et al. 2002]，重复拉动所有剩余的手臂，直到发现一个手臂是次优的，然后被消除。为了设计一个私人的模拟连续消除，我们访问的问题的私人停止规则，需要作为输入流的i.i.d样本从一个未知的分布，并返回一个乘法$(1 \pm α)$ -近似的分布的平均值，并证明我们的私人停止规则的最优性。然后，我们提出了私人连续消除算法，它满足非私人下界[Lai和Robbins，1985]和上述私人下界。我们还比较经验，我们的算法与私人UCB算法的性能。
2019-05-22 cs.LG stat.ML
A successive difference-of-convex approximation method for a class of nonconvex nonsmooth optimization problems
考虑一类非凸非光滑最优化问题，其目标函数是一个光滑函数和有限个非负真闭的可能非光滑函数（其邻近映射易于计算）的和，其中一些函数进一步由线性映射组成.当引入不同的正则化子来诱导解中的同时结构时，这类问题自然会出现在各种应用中。然而，解决这些问题可能是具有挑战性的，因为耦合的非光滑函数：相应的邻近映射可能很难计算，因此标准的一阶方法，如邻近梯度算法不能有效地应用。本文提出了一种求解这类问题的逐次凸差分逼近方法。在该算法中，我们近似的非光滑函数的Moreau包络在每次迭代。利用非负真闭函数的Moreau包络是连续的{ \em差分凸}函数这一简单的观察，我们可以通过适当的优化技术用一阶方法近似地最小化逼近函数.由于{ \em each}非光滑函数的邻近映射易于计算，因此这些一阶方法可以有效地实现。在适当的假设下，我们证明了由我们的方法产生的序列是有界的，任何聚点是一个平稳点的目标。我们还讨论了如何将我们的方法应用到具体的应用，如非凸融合正则化最优化问题和同时结构化矩阵最优化问题，并说明了这两个特定应用的性能数值。
2018-05-26 math.OC stat.ML
Stochastically Controlled Stochastic Gradient for the Convex and Non-convex Composition problem
The University of Sydney（悉尼大学）；University of Rochester（罗切斯特大学）；University of California, Davis（加州大学戴维斯分校）
本文研究了具有$\frac{1}{n}\sum\nolimits_{i = 1}^n {{F_i}( {G( x )} )}$结构的凸与非凸复合问题，其中$G( x )=\frac{1}{n}\sum\nolimits_{j = 1}^n {{G_j}( x )} $为内函数，$F_i(\cdot)$为外函数.我们探索基于方差缩减的方法来解决组合优化。由于内函数和外函数的个数较多时，直接估计它们是不合理的，因此我们采用随机控制的随机梯度（SCSG）方法来估计复合函数的梯度和内函数的值.我们提出的方法的查询复杂度的凸和非凸的问题是等于或优于目前的方法的组合问题。此外，我们还提出了所提出的方法的小批量版本，这与小批量的大小有关的查询复杂度的改善。
2018-09-06 cs.LG math.OC stat.ML
A Second-Order Method for Stochastic Bandit Convex Optimisation
DeepMind（深度思维）
本文提出了一种求解无约束零阶随机凸强盗问题的简单有效的算法，并证明了它的遗憾最多为$(1 + r/d)[d^{1.5} \sqrt{n} + d^3] polylog(n, d, r)$，其中$n$是视界，$d$是维数，$r$是包含损失最小的已知球的半径.
2023-02-10 cs.LG math.OC stat.ML
Stochastic Optimization for Non-convex Inf-Projection Problems
University of Iowa（爱荷华大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Nanjing University（南京大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
在本文中，我们研究了一个家庭的非凸的，可能是非光滑的inf-projection最小化问题，其中的目标函数是等于最小化的联合函数在另一个变量。该问题包括凸函数的差分和一类双凸函数的特殊情形。我们开发的随机算法，并建立其一阶收敛性的目标非凸函数的（近）固定的解决方案，在不同的条件下的组件功能。据我们所知，这是第一个全面研究随机优化的非凸下投影极小化问题的可证明收敛保证。我们的算法使一个家庭的不可分解的DC函数和家庭的双凸函数的有效随机优化。为了证明所提出的算法的能力，我们考虑了基于方差的正则化的一个重要应用。实验验证了我们的inf-projection为基础的配方和建议的随机算法相比，以前的随机算法的基础上的最小-最大制定实现相同的效果。
2020-07-13 cs.LG math.OC stat.ML
Asynchronous stochastic convex optimization
我们表明，渐近，完全异步的随机梯度程序实现最佳（甚至常数因子）收敛速度的解决方案的凸优化问题的渐近最优性的标准随机梯度程序所需的几乎相同的条件下。粗略地说，随机逼近方案所固有的噪声支配着来自随机逼近的任何噪声。我们还提供了经验证据，证明了异步，并行随机最优化方案的强大性能，证明了固有的鲁棒性随机逼近问题，允许更快的并行和异步的解决方案的方法。
2015-08-04 math.OC stat.ML
Unified Convergence Analysis of Stochastic Momentum Methods for Convex and Non-convex Optimization
最近，{ \it随机动量}方法已被广泛用于训练深度神经网络。然而，他们的收敛性分析仍然是欠探索的时刻，特别是对非凸优化。本文通过对两种随机动量法，即随机重球法和Nesterov加速梯度法的随机变体的基本收敛性分析，填补了理论与实践之间的空白。我们希望本文所得到的基本收敛性结果能为随机动量方法的收敛性提供参考，也为今后随机动量方法的发展提供比较基准。本文提出的收敛性分析的新颖性是一个统一的框架，揭示了更多关于不同随机动量方法和随机梯度法之间的异同的见解。统一框架显示了从梯度法到Nesterov的加速梯度法以及最终由自由参数引起的重球法的连续变化，这可以帮助解释在深度学习的测试误差收敛行为中观察到的类似变化。此外，我们优化深度神经网络的经验结果表明，Nesterov加速梯度法的随机变体在三种随机方法中实现了良好的权衡（在训练误差的收敛速度和测试误差的收敛鲁棒性之间）。
2016-05-04 math.OC stat.ML
Fast Stochastic Algorithms for SVD and PCA: Convergence Properties and Convexity
Weizmann Institute of Science（魏茨曼科学研究所）
我们研究了\cite{shamir2015stochastic}引入的快速计算前导奇异向量的VR-PCA算法的收敛性。我们证明了几个新的结果，包括一个正式的分析块版本的算法，从随机初始化和收敛。我们还做了一些独立的利益，如如何预初始化，只有一个确切的权力迭代可以显着提高随机方法的运行时间，以及什么是凸性和非凸性的基本优化问题的性质。
2015-07-31 cs.LG cs.NA math.NA
SNAP: Finding Approximate Second-Order Stationary Solutions Efficiently for Non-convex Linearly Constrained Problems
针对具有光滑非凸目标和线性约束的问题，提出了一种低复杂度的求解近似二阶稳定点的算法。虽然找到（近似）SOSP是计算上棘手的，我们首先表明，通用的问题的实例可以有效地解决。更具体地说，对于一般问题实例，某些严格互补（SC）条件对所有Karush-Kuhn-Tucker（KKT）解（概率为1）成立。SC条件，然后用于建立两个不同的概念之间的等价关系的SOSP，其中之一是计算上容易验证。基于SOSP的这一特殊概念，我们设计了一种算法，称为连续负曲率梯度投影（SNAP），它连续执行传统的梯度投影或一些基于负曲率的投影步骤来寻找SOSP。SNAP及其一阶扩展SNAP $^+$需要$\mathcal{O}(1/ε^{2.5})$迭代来计算一个$(ε, \sqrtε)$ -SOSP，并且它们的每次迭代计算复杂性在约束数目和问题维数上是多项式的.据我们所知，这是第一次，一阶算法的多项式迭代复杂性和全球次线性率已被设计，以寻找SOSP的重要类的非凸问题的线性约束。
2019-07-09 cs.CC math.OC stat.ML
