Private Stochastic Convex Optimization: Efficient Algorithms for Non-smooth Objectives
Johns Hopkins University(约翰斯·霍普金斯大学)
在本文中,我们重新审视私人随机凸优化问题。我们提出了一种算法的基础上嘈杂的镜像下降,达到最佳的统计复杂度和查询次数的一阶随机预言机的制度时,隐私参数是成反比的样本数。
2020-11-17 cs.LG stat.ML
A Proximal Stochastic Quasi-Newton Algorithm
Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学);Nanjing University(南京大学)
本文讨论了两个凸函数之和的极小化问题:一个光滑函数和一个非光滑函数。进一步地,平滑部分可以由大量平滑分量函数的平均来表示,而非平滑部分配备有简单的邻近映射。我们提出了一个近似的随机二阶方法,这是有效的和可扩展的。该算法在函数的光滑部分引入了Hessian算子,并利用多级格式来减小随机梯度的方差。我们证明了我们的方法可以达到线性收敛速度。
2016-11-16 cs.LG stat.ML
Using Stochastic Gradient Descent to Smooth Nonconvex Functions: Analysis of Implicit Graduated Optimization
Meiji University(明治大学)
本文提出了一种通过调整学习率和批量大小来平滑非凸函数的渐进优化算法,并放宽了σ- nice属性以扩大收敛保证的适用范围。
2026-01-24 cs.LG math.OC
Convergence of a Stochastic Gradient Method with Momentum for Non-Smooth Non-Convex Optimization
KTH Royal Institute of Technology(瑞典皇家理工学院)
带动量的随机梯度法在应用中得到了广泛的应用,并且是许多流行机器学习库中优化子程序的核心。然而,他们的样本复杂性还没有得到超出那些凸或光滑的问题。对一类非光滑、非凸、有约束的最优化问题建立了带Polyak型动量项的随机次梯度法的收敛速度.我们的主要创新是一个特殊的李雅普诺夫函数,证明的复杂性,可以实现没有任何调整的动量参数的建设。对于光滑的问题,我们扩展了已知的复杂性约束的情况下,并演示了如何无约束的情况下,可以分析在较弱的假设比国家的最先进的。数值结果证实了我们的理论发展。
2021-02-11 cs.LG math.OC
Third-order Smoothness Helps: Even Faster Stochastic Optimization Algorithms for Finding Local Minima
University of Virginia(弗吉尼亚大学)
我们提出了随机最优化算法,可以找到局部极小值比现有的算法更快的非凸最优化问题,利用三阶光滑逃避非退化鞍点更有效。更具体地说,所提出的算法只需要$\tilde{O}(ε^{-10/3})$随机梯度评估收敛到一个近似的局部最小值$\mathbf{x}$,它满足$\|\nabla f(\mathbf{x})\|_2\leqε$和$λ_{\min}(\nabla^2 f(\mathbf{x}))\geq -\sqrtε$在一般的随机最优化设置,其中$\tilde{O}(\cdot)$隐藏对数多项式项和常数。这将现有技术的随机局部最小值查找算法所实现的$\tilde{O}(ε^{-7/2})$梯度复杂度提高了$\tilde{O}(ε^{-1/6})$的因子。对于非凸有限和优化,我们的算法也优于最好的已知算法在一定的制度。
2017-12-18 cs.LG math.OC
Stochastic First-Order Methods with Non-smooth and Non-Euclidean Proximal Terms for Nonconvex High-Dimensional Stochastic Optimization
The University of Hong Kong(香港大学);University of Florida(佛罗里达大学)
本文针对非凸高维随机优化提出维度不敏感的随机一阶方法DISFOMs,允许非光滑非欧几里得近端项,并证明其样本复杂度仅对数依赖于维度,显著优于线性依赖。
2024-09-29 cs.LG math.OC
Stochastic Smoothed Primal-Dual Algorithms for Nonconvex Optimization with Linear Inequality Constraints
University of British Columbia(不列颠哥伦比亚大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出单循环随机平滑原始-对偶算法求解带线性不等式约束的非凸优化问题,基于 Moreau 包络的非精确梯度下降框架,达到最优 O(ε⁻⁴) 样本复杂度,并可借助方差缩减改进至 O(ε⁻³),避免子问题和大批量。
2025-04-10 cs.LG math.OC
Fighting Contextual Bandits with Stochastic Smoothing
我们引入了一个新的随机平滑的角度来研究对抗性上下文强盗问题。我们提出了一个通用的算法模板,代表随机扰动为基础的算法,并确定几个扰动分布,导致强遗憾界。利用光滑的思想,我们提供了一个$O(\sqrt{T})$零阶界的香草算法和$O(L^{*2/3}_{T})$一阶界的裁剪版本。当算法使用具有有界风险率的各种分布时,这些界限保持不变。我们的算法模板包括EXP4作为对应于Gumbel扰动的特殊情况。我们的遗憾界匹配现有的结果EXP4不依赖于算法的特定属性。
2019-06-11 cs.LG stat.ML
Establishing Linear Surrogate Regret Bounds for Convex Smooth Losses via Convolutional Fenchel-Young Losses
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);The Institute of Statistical Mathematics(统计数学研究所);School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Skywork AI
本文提出通过卷积Fenchel-Young损失构建凸光滑替代损失,以实现线性替代遗憾界,从而解决凸光滑损失与线性遗憾界之间的权衡问题。
2025-11-26 cs.LG stat.ML
Smooth Monotone Stochastic Variational Inequalities and Saddle Point Problems: A Survey
MIPT(莫斯科物理技术学院);ICS RAS(俄罗斯科学院控制系统研究所);KAUST(阿卜杜拉国王科技大学);IITP RAS(俄罗斯科学院信息传输问题研究所);Caucasus Mathematical Center(高加索数学中心);Adyghe State University(阿迪格国立大学)
本文综述了求解光滑(强)单调随机变分不等式的方法,回顾了其确定性基础、一般随机公式与有限和设置,并探讨了算法的最新进展。
2023-04-02 cs.GT cs.LG math.OC
Stochastic Recursive Variance Reduction for Efficient Smooth Non-Convex Compositional Optimization
Peking University(北京大学);University of Rochester(罗切斯特大学);Kwai Inc.(快手公司)
随机组合优化出现在许多重要的机器学习任务中,例如强化学习和投资组合管理中的价值函数评估。目标函数是随机函数的两个期望的组合,并且比普通随机最优化问题更具有挑战性。本文研究了一般光滑非凸环境下的随机合成优化问题。我们采用最近发展起来的\textit{Stochastic Recursive Gradient Descent}的思想设计了一个新的算法SARAH-Compositional,并证明了一个尖锐的增量一阶Oracle(IFO)复杂性上界:$\mathcal{O}((n+m)^{1/2} \varepsilon^{-2})$在有限和情况下和$\mathcal{O}(\varepsilon^{-3})$在线的情况下.这样的复杂性是已知的最好的一个IFO复杂性结果的非凸随机组合优化,并被认为是最优的。我们的实验验证了我们的算法的理论性能。
2020-01-25 cs.LG math.OC stat.ML
Differentially Private SGD with Non-Smooth Losses
Northwest University(西北大学);University of Birmingham(伯明翰大学);State University of New York at Albany(纽约州立大学奥尔巴尼分校)
在本文中,我们关注的差异私人{随机梯度下降(SGD)}算法在随机凸优化(SCO)的设置。现有的工作大多要求损失是Lipschitz连续和强光滑的,模型参数是一致有界的。然而,这些假设是限制性的,因为许多流行的损失违反这些条件,包括SVM的铰链损失,鲁棒回归中的绝对损失,甚至是无界域中的最小二乘损失。我们显着放松这些限制性的假设,并建立隐私和泛化(实用程序)保证私人SGD算法使用输出和梯度扰动与非光滑凸损失。具体地,损失函数被放松以具有$α$连续梯度(称为$α$平滑度),其实例化Lipschitz连续性($α=0$)和强平滑性($α=1$)。我们证明了噪声SGD与$α$ -Hölder平滑损失使用梯度扰动可以保证$(ε,δ)$ -差分隐私(DP),并达到最佳的超额人口风险$\mathcal{O}\Big(\frac{\sqrt{d\log(1/δ)}}{nε}+\frac{1}{\sqrt{n}}\Big)$,对数项,与梯度复杂度$ \mathcal{O}( n^{2-α\over 1+α}+ n).$这表明了一个重要的权衡之间的$α$ -Hölder平滑的损失和计算复杂度的私人SGD统计最优性能。特别是,我们的研究结果表明,$α$ -Hölder光滑与$α\ge {1/2}$是足以保证$(ε,δ)$ -DP的噪声SGD算法,同时实现最佳的超额风险与线性梯度复杂度$\mathcal{…
2021-06-26 cs.LG stat.ML
Fast Stochastic Variance Reduced ADMM for Stochastic Composition Optimization
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
我们考虑的随机组合优化问题提出的\cite{wang2017stochastic},它的应用范围从估计到统计和机器学习。我们提出了第一个基于ADMM的算法com-SVR-ADMM,并证明了com-SVR-ADMM对强凸和Lipschitz光滑目标线性收敛,并且具有$O( \log S/S)$的收敛速度,当目标是凸和Lipschitz光滑时,它改进了\cite{wang2016accelerating}的$O(S^{-4/9})$速度.此外,当目标为凸但不具有Lipschitz光滑性时,com-SVR-ADMM具有$O(1/\sqrt{S})$的速率.我们还进行了实验,并表明它优于现有的算法。
2017-05-22 cs.LG stat.ML
A Stochastic Quasi-Newton Method for Non-convex Optimization with Non-uniform Smoothness
Northwestern University(西北大学)
针对机器学习中存在的非均匀平滑性问题,本文提出了一种结合梯度裁剪与方差缩减的快速随机拟牛顿方法,实现了最优的样本复杂度并取得显著的收敛加速效果。
2024-09-26 cs.LG math.OC
A Stochastic-Gradient-based Interior-Point Algorithm for Solving Smooth Bound-Constrained Optimization Problems
Lehigh University(利哈伊大学);Czech Technical University(捷克技术大学)
提出一种基于随机梯度的内点算法,用于求解光滑有界约束优化问题,在确定性和随机性设置下均满足收敛保证,并实验证明优于投影法。
2024-03-13 cs.LG math.OC
Optimal Stochastic Non-smooth Non-convex Optimization through Online-to-Non-convex Conversion
Boston University(波士顿大学);Google Research(谷歌研究)
本文提出新算法,通过将非光滑非凸优化归约为在线学习,将随机梯度查询复杂度从O(ε^{-4}δ^{-1})降至最优的O(ε^{-3}δ^{-1}),并扩展至确定性和二阶光滑情形。
2025-08-07 cs.LG math.OC stat.ML
Minibatch Stochastic Three Points Method for Unconstrained Smooth Minimization
Mohammed VI Polytechnic University(穆罕默德六世理工大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
在本文中,我们提出了一个新的零级最优化方法称为小批量随机三点(MiSTP)方法来解决一个无约束极小化问题的设置,只有一个近似的目标函数的评估是可能的。它基于最近提出的随机三点(STP)方法(Bergou等人,2020年)。在每次迭代时,MiSTP以与STP类似的方式生成随机搜索方向,但仅基于目标函数的近似值而不是其精确评估来选择下一个搜索方向。我们还分析了我们的方法在非凸和凸情况下的复杂性,并评估了它在多个机器学习任务上的性能。
2022-09-16 cs.LG math.OC
Explicit and Non-asymptotic Query Complexities of Rank-Based Zeroth-order Algorithm on Stochastic Smooth Functions
Xi’an Jiaotong University(西安交通大学)
本文提出了一种基于秩的零阶优化算法,针对随机光滑函数建立了显式非渐近查询复杂性界限,证明顺序信息在随机优化中的有效性。
2025-12-22 cs.LG math.OC
Smoothed Gradients for Stochastic Variational Inference
Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学)
随机变分推断(SVI)使我们能够将贝叶斯计算扩展到海量数据。它使用随机最优化来拟合变分分布,遵循易于计算的噪声自然梯度。与大多数传统的随机最优化方法一样,SVI采取预防措施,使用无偏随机梯度,其期望值等于真实梯度。在本文中,我们探讨的想法,以下有偏随机梯度SVI。我们的方法将自然梯度替换为类似构造的向量,该向量使用其先前项的固定窗口移动平均值。我们将展示这种技术的许多优点。首先,它的计算成本与SVI相同,存储需求仅乘以一个常数因子。第二,它享有显着的方差减少比无偏估计,更小的偏差比平均梯度,并导致更小的均方误差对全梯度。我们测试我们的方法上的潜在狄利克雷分配与三个大型语料库。
2014-11-18 cs.LG stat.ML
Optimal Algorithms for Convex Nested Stochastic Composite Optimization
Georgia Institute of Technology(佐治亚理工学院)
近年来,凸嵌套随机复合优化算法(NSCO)因其在强化学习和风险规避优化中的应用而受到广泛关注。当前的NSCO算法具有比用于更简单的随机复合最优化问题(例如,光滑函数和非光滑函数之和)。此外,它们要求所有的外层函数是光滑的,这是不满足一些重要的应用。这些差异促使我们问:“嵌套组合是否使随机最优化在Oracle复杂性的顺序方面更加困难?”“在本文中,我们回答了这个问题,通过开发顺序最优算法的凸NSCO问题,从任意组成的光滑,结构化的非光滑和一般的非光滑层函数。当所有外层函数光滑时,我们提出了一种随机序列对偶(SSD)方法,当问题是非强(强)凸时,可以获得$\mathcal{O}(1/ε^2)$($\mathcal{O}(1/ε)$)的预言复杂度。当存在结构化非光滑或一般非光滑外层函数时,我们提出了一种非光滑随机序列对偶(nSSD)方法,使预言复杂度达到$\mathcal{O}(1/ε^2)$ .我们提供了一个较低的复杂性约束,后者$\mathcal{O}(1/ε^2)$复杂性是不可改进的,即使在一个强凸设置。所有这些复杂性结果在文献中似乎是新的,他们表明,凸NSCO问题具有相同的顺序的预言复杂性,除了强凸和外非光滑的问题没有嵌套的组合。
2022-06-21 cs.AI cs.LG math.OC
Stochastic Approximation of Smooth and Strongly Convex Functions: Beyond the $O(1/T)$ Convergence Rate
National Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);Nanjing University(南京大学)
随机逼近(SA)是求解随机凸优化问题的一种经典方法.已有的研究表明,通过引入光滑性或强凸性条件,可以提高模拟退火算法的收敛速度。在本文中,我们同时利用光滑性和强凸性来提高收敛速度。设$λ$为强凸模,$κ$为条件数,$F_*$为最小风险,$α>1$为某个小常数.首先,我们证明,在预期中,当$T = Ω(κ^α)$时,$O(1/[λT^α] + κF_*/T)$风险界限是可达到的。因此,当$F_*$小时,收敛速度可以比$O(1/[λT])$快,并且在理想情况下接近$O(1/[λT^α])$。其次,为了进一步从小风险中获益,我们表明,在预期中,$O(1/2^{T/κ}+F_*)$风险界限是可以实现的。因此,超额风险指数下降,直到达到$O(F_*)$,如果$F_*=0$,我们得到一个全局线性收敛。最后,我们强调,我们的证明是建设性的,每一个风险界配备了一个有效的随机算法达到该界限。
2019-01-27 cs.LG stat.ML
Stochastic Non-Smooth Convex Optimization with Unbounded Gradients
Yandex Research(Yandex研究院)
针对梯度范数受最优性间隙仿射函数约束的广义Lipschitz函数类,证明AdamW带裁剪更新在随机非光滑凸优化中优于SGD和AdaGrad,并建立其指数加权梯度累积的关键作用及推广到广义光滑和拟凸设置。
2026-05-26 cs.LG math.OC
Uncertainty Sampling is Preconditioned Stochastic Gradient Descent on Zero-One Loss
Stanford University(斯坦福大学)
不确定性采样是一种流行的主动学习算法,用于减少学习分类器所需的数据量,但在实践中已经观察到根据初始化收敛到不同的参数,有时甚至收敛到比所有数据上的标准训练更好的参数。在这项工作中,我们给出了这种现象的理论解释,表明凸损失上的不确定性采样可以被解释为执行一个预处理的随机梯度步骤的平滑版本的人口零-一损失,收敛到人口零-一损失。此外,不确定性抽样沿下降方向移动,并收敛到平滑总体的平稳点。合成和真实数据集上的实验支持这种联系。
2018-12-05 cs.LG stat.ML
Differentially Private Online-to-Batch for Smooth Losses
Boston University(波士顿大学)
我们开发了一个新的减少,将任何在线凸优化算法遭受$O(\sqrt{T})$遗憾到$ε$ -差分私有随机凸优化算法的最佳收敛速度$\tilde O(1/\sqrt{T} + \sqrt{d}/εT)$在线性时间内的平滑损失,形成一个直接的类比经典的非私有的“在线到批量”的转换。通过将我们的技术应用于更先进的自适应在线算法,我们产生自适应差分私人同行的收敛速度依赖于先验未知方差或参数范数。
2022-10-12 cs.CR cs.LG
Adam-SHANG: A Convergent Adam-Type Method for Stochastic Smooth Convex Optimization
School of Mathematics(数学学院);Department of Mathematics(数学系);University of California, Irvine(加州大学 Irvine 分校);Sichuan University(四川大学)
本文提出Adam-SHANG,一种结合动量、自适应预处理和曲率感知修正的Lyapunov引导Adam型方法,在随机光滑凸优化中证明了期望收敛性,且无需对二阶矩序列施加全局单调性。
2026-05-13 cs.LG math.OC
Distributed stochastic proximal algorithm with random reshuffling for non-smooth finite-sum optimization
Beijing Institute of Technology(北京理工大学);Beijing Institute of Technology Chongqing Innovation Center(北京理工大学重庆创新中心);Tongji University(同济大学);Nanyang Technological University(南洋理工大学)
非光滑有限和极小化问题是机器学习中的一个基本问题。本文提出了一种带随机重排的分布式随机近似梯度算法,用于求解时变多智能体网络上的有限和极小化问题。目标函数是可微凸函数和非光滑正则化的总和。网络中的每个智能体利用局部信息以恒定步长更新局部变量,并相互协作寻求最优解。我们证明了所提出的算法产生的局部变量的估计达到共识,并吸引到最优解的一个邻域中的期望与$\mathcal{O}(\frac{1}{T}+\frac{1}{\sqrt{T}})$收敛速度,其中$T$是迭代的总次数。最后,通过仿真比较验证了算法的收敛性能。
2022-10-10 cs.LG math.OC
Stochastic Hamiltonian Gradient Methods for Smooth Games
Mila(米拉);Université de Montréal(蒙特利尔大学);Facebook AI Research(Facebook人工智能研究院)
对抗性公式在机器学习中的成功为流畅的游戏带来了新的动力。在这项工作中,我们专注于一类随机哈密顿方法,并提供了第一个收敛保证某些类的随机光滑游戏。我们提出了一种新的无偏估计的随机哈密顿梯度下降(SHGD),并强调其优点。利用优化文献中的工具,我们表明,SHGD线性收敛到一个稳定点的邻域。为了保证收敛到精确解,我们分析了SHGD与一个递减的步长,我们还提出了第一随机方差约化哈密顿方法。我们的研究结果提供了第一个全球非渐近最后收敛保证一类随机无约束双线性游戏和更一般的随机游戏,满足“充分双线性”的条件,特别是包括一些非凸非凹问题。我们补充我们的分析与实验随机双线性和充分双线性游戏,我们的理论被证明是紧密的,和简单的对抗性机器学习配方。
2020-07-08 cs.GT cs.LG math.OC
A Nearly Optimal Single Loop Algorithm for Stochastic Bilevel Optimization under Unbounded Smoothness
George Mason University(乔治梅森大学)
本文针对上层函数可能具有无界光滑性的随机双层优化问题,提出单循环算法SLIP,避免了嵌套循环的调参困难,并证明其达到近最优复杂度,实验表现显著优于现有基线。
2024-12-28 cs.LG math.OC
Stochastic Mirror Descent: Convergence Analysis and Adaptive Variants via the Mirror Stochastic Polyak Stepsize
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Johns Hopkins University(约翰斯·霍普金斯大学);ServiceNow Research(ServiceNow研究院)
本文研究随机镜像下降在插值条件下的收敛性,提出自适应步长方案mSPS,在无需梯度有界和方差有界假设下给出收敛保证,并通过实验验证其有效性。
2023-05-24 cs.LG math.OC
A straightforward line search approach on the expected empirical loss for stochastic deep learning problems
University of Tübingen(图宾根大学)
深度学习的一个基本挑战是随机梯度下降的更新步骤的最佳步长是未知的。在传统的优化中,使用线搜索来确定好的步长,然而,在深度学习中,由于噪声损失,在预期的经验损失上搜索好的步长成本太高。这项实证工作表明,对于常见的深度学习任务,可以相当便宜地近似垂直截面上的预期经验损失。这是通过将传统的一维函数拟合应用于此类横截面的测量噪声损耗来实现的。然后将所得近似的最小值的步长用作优化的步长。这种方法导致了一种强大而直接的优化方法,该方法在数据集和架构上表现良好,而无需超参数调整。
2020-10-02 cs.LG stat.ML
Stochastic Gradient Descent for Non-smooth Optimization: Convergence Results and Optimal Averaging Schemes
Microsoft Research(微软研究院);Rutgers University(罗格斯大学)
随机梯度下降(SGD)是最简单、最流行的随机优化方法之一。虽然它已经在理论上研究了几十年,经典的分析通常需要非平凡的光滑性假设,这并不适用于SGD的许多现代应用与非光滑的目标函数,如支持向量机。在本文中,我们调查的性能SGD没有这样的平滑性假设,以及一个运行平均计划转换SGD迭代的解决方案,最佳的优化精度。在这个框架中,我们证明了T轮后,最后的SGD迭代的次优性尺度为O(log(T)/ \sqrt{T})的非光滑凸目标函数,和O(log(T)/T)的非光滑强凸的情况下。据我们所知,这些是第一种界限,几乎匹配的最小最优率可通过适当的平均计划。我们还提出了一种新的简单的平均方案,它不仅可以获得最佳速率,而且还可以很容易地实时计算(相比之下,Rakhlin等人(2011)提出的后缀平均方案并不容易实现)。最后,我们提供了一些实验说明。
2012-12-28 cs.LG math.OC stat.ML
Stochastic linear optimization never overfits with quadratically-bounded losses on general data
这项工作为线性预测器上的迭代不动点方法提供了测试误差界-特别是随机和批量镜像下降(MD)和随机时间差学习(TD)-有两个核心贡献:(a)一种单一的证明技术,即使没有投影、正则化或任何等价物,即使当最优值具有大的或无限的范数时,也能给出高概率的保证,对于二次有界损耗(例如,提供平方损失和逻辑损失的统一处理);(b)局部适应的速率,其不依赖于全局问题结构(例如条件数和最大裕度),而是依赖于可能遭受一些小的过量测试误差的低范数预测器的性质。证明技术是一个基本的和多功能的耦合参数,并在这里演示了以下设置:随机MD下的可实现性;随机MD一般马尔可夫数据;批量MD一般IID数据;随机MD重尾数据(仍然没有预测);随机TD马尔可夫链(所有先前的随机TD边界是在预期中)。
2022-06-28 cs.LG math.OC stat.ML
Stochastic Smoothing for Nonsmooth Minimizations: Accelerating SGD by Exploiting Structure
College of Computing(计算学院);Georgia Institute of Technology(佐治亚理工学院)
在这项工作中,我们考虑随机最小化的非光滑凸损失函数,一个中心问题,在机器学习。我们提出了一种新的算法称为加速非光滑随机梯度下降(ANSGD),它利用常见的非光滑损失函数的结构,以实现最佳收敛速度的一类问题,包括支持向量机。这是第一个随机算法,可以实现最佳的O(1/t)的速度最小化非光滑损失函数(具有强凸性)。通过实证比较,ANSGD显着优于以前的次梯度下降算法,包括SGD的速度快。
2012-10-01 cs.LG stat.CO stat.ML
Smoothed Functional Algorithms for Stochastic Optimization using q-Gaussian Distributions
Indian Institute of Science(印度科学学院)
光滑函数梯度估计方法在随机优化算法中是一种有效的方法,特别是在提高随机系统性能的情况下。然而,这些方法的性能取决于几个参数,如选择一个合适的平滑内核。在文献中已经研究了不同的核,其中包括高斯分布、柯西分布和均匀分布等。本文研究了一类新的基于q-高斯分布的核函数,这类核函数在过去十年中在统计物理学中得到了广泛的应用。虽然这一系列的分布的重要性是由于它的能力,推广高斯分布,我们观察到,这类包含几乎所有现有的平滑内核。这促使我们研究SF计划的梯度估计使用q-高斯分布。使用派生的梯度估计,我们提出了两个时标算法的随机目标函数的优化在约束设置与投影梯度搜索方法。我们证明了我们的算法收敛到一个相关联的常微分方程的驻点集。我们还证明了他们的性能数值模拟排队模型。
2014-07-03 cs.IT cs.LG math.IT
Stochastic Smoothed Gradient Descent Ascent for Federated Minimax Optimization
University of Virginia(弗吉尼亚大学);Meta AI;MIT(麻省理工学院)
本文提出联邦随机平滑梯度下降上升法(FESS-GDA),将平滑技术引入联邦极小极大优化,统一解决多类问题并证明新的收敛结果,在GAN训练和公平分类中展现实际效率。
2024-04-18 cs.IT cs.LG math.IT
Stochastic interior-point methods for smooth conic optimization with applications
Department of Mathematics, Linköping University, Sweden(林雪平大学数学系);Academy for Advanced Interdisciplinary Studies, Peking University, China(北京大学交叉学科研究院)
针对通用锥优化随机算法发展不足的问题,提出随机内点法(SIPM)框架及四种变体,在温和假设下迭代复杂度匹配随机无约束优化最佳结果,数值实验验证其在三类ML任务中的有效性与效率。
2025-11-09 cs.AI cs.LG math.OC
Stochastic Dual Coordinate Ascent Methods for Regularized Loss Minimization
Hebrew University(希伯来大学);Rutgers University(罗格斯大学)
随机梯度下降算法由于其强大的理论保证,已成为解决大规模有监督机器学习优化问题(如支持向量机)的热门方法。虽然密切相关的双坐标上升(DCA)方法已在各种软件包中实现,但迄今为止缺乏良好的收敛性分析。本文提出了一种新的分析随机双坐标上升(SDCA)显示,这类方法享有强大的理论保证,是可比的或更好的SGD。该分析证明了SDCA在实际应用中的有效性。
2013-01-30 cs.LG math.OC stat.ML
Adaptive learning rates and parallelization for stochastic, sparse, non-smooth gradients
Courant Institute of Mathematical Sciences(库朗数学科学研究所);New York University(纽约大学)
最近的工作已经建立了一个经验上成功的框架,适应随机梯度下降(SGD)的学习率。这有效地消除了对调整的所有需求,同时自动降低固定问题的学习率,并允许学习率在非固定任务中适当增长。在这里,我们扩展的想法在三个方向,解决适当的小批量并行化,包括重新加权更新稀疏或正交梯度,提高非光滑损失函数的鲁棒性,在这个过程中,取代对角Hessian估计过程,可能并不总是可用的一个强大的有限差分近似。最终的算法集成了所有这些组件,具有线性复杂度,是超参数自由。
2013-03-27 cs.AI cs.LG stat.ML
When does gradient descent with logistic loss interpolate using deep networks with smoothed ReLU activations?
University of California, Berkeley(加州大学伯克利分校);Google(谷歌)
我们建立了应用于固定宽度深度网络的梯度下降将逻辑损失驱动为零的条件,并证明了收敛速度的界限。我们的分析适用于ReLU的平滑近似,例如在以前的应用工作中提出的Swish和Huberized ReLU。我们提供了两个收敛的充分条件。第一个是初始化时损失的一个界限。第二个是先前分析中使用的数据分离条件。
2021-07-01 cs.AI cs.LG math.OC
Stochastic Recursive Gradient Algorithm for Nonconvex Optimization
Lehigh University(理海大学);University of Oxford(牛津大学)
本文研究和分析了随机递归梯度算法(SARAH)的小批量版本,它是一种利用随机递归梯度求解非凸损失情况下经验损失最小化的方法。我们提供了一个次线性收敛速度(平稳点)一般非凸函数和梯度控制函数的线性收敛速度,这两个有一些优势相比,其他现代随机梯度算法的非凸损失。
2017-05-20 cs.LG math.OC stat.ML
A Tight Lower Bound for Smooth Nonconvex Stochastic Optimization with Bounded Gradient Noise
该研究证明了带一致有界梯度噪声的光滑非凸随机优化的紧下界,匹配现有上界并解决了相关公开问题,且证明由AI生成、人类仅负责校验与文稿润色。
2026-08-11 cs.CC cs.LG math.OC
Private Non-smooth Empirical Risk Minimization and Stochastic Convex Optimization in Subquadratic Steps
Microsoft Research (MSR) Redmond(微软研究院(雷德蒙德));University of Washington(华盛顿大学);Shanghai Qi Zhi Institute(上海期智研究院)
研究了非光滑凸函数的微分私人经验风险最小化和随机凸优化问题。在次二次梯度复杂度下,得到了超额经验风险和超额人口损失的(近)最优界。更确切地说,我们的差分私有算法需要$O(\frac{N^{3/2}}{d^{1/8}}+ \frac{N^2}{d})$梯度查询以获得最佳超额经验风险,这是在子采样和通过卷积平滑函数的帮助下实现的。这是当$d$是超常数时非光滑情况下的第一次二次算法。作为一个直接的应用,使用Feldman等人的迭代局部化方法\cite{fkt20},我们实现了随机凸优化问题的最优超额人口损失,与$O(\min\{N^{5/4}d^{1/8},\frac{ N^{3/2}}{d^{1/8}}\})$梯度查询。我们的工作取得了进展,解决了Basily等人提出的一个问题。\cite{bfgt20},给第一个算法的私人ERM和SCO的次二次步骤。我们注意到,独立的Asi等人。\cite{afkt21}给出了其他算法的私人ERM和SCO次二次步骤。
2021-03-30 cs.CR cs.DS cs.LG
Sparse and Smooth: improved guarantees for Spectral Clustering in the Dynamic Stochastic Block Model
CNRS(法国国家科学研究中心);GIPSA-lab(格勒诺布尔交互作用物理与声学实验室);IMB, Université de Bourgogne(勃艮第大学数学研究所)
在本文中,我们分析的谱聚类(SC)算法在动态随机块模型(DSBM)的经典变种。现有的研究结果表明,在相对稀疏的情况下,期望的程度增长的nodes的数量,保证在静态的情况下,可以扩展到动态的情况下,并产生改进的误差界时DSBM是足够光滑的时间,也就是说,社区不改变太多的两个时间步长之间。我们通过在DSBM的稀疏性和平滑性之间建立一个新的联系来改进这些结果:DSBM越规则,它就越稀疏,同时仍然保证一致的恢复。特别是,一个温和的光滑条件允许治疗的稀疏情况下有界的程度。我们还将这些保证扩展到归一化拉普拉斯算子,并作为我们分析的副产品,我们获得了据我们所知的最佳光谱浓度范围,可用于具有独立伯努利条目的归一化拉普拉斯矩阵。
2020-02-10 cs.LG math.ST stat.ML
Stochastic Proximal Langevin Algorithm: Potential Splitting and Nonasymptotic Rates
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
提出了一种新的对数凹分布抽样算法--随机邻近朗之万算法(SPLA)。我们的方法是一个推广的Langevin算法的潜力表示为一个随机光滑项和多个随机非光滑项的总和。在每次迭代中,我们的分裂技术只需要访问一个随机梯度的光滑项和一个随机邻近算子的每个非光滑项。我们建立了光滑项的凸性和强凸性下的非渐近次线性和线性收敛速度,分别用库尔贝克-莱布勒散度和瓦瑟斯坦距离表示。我们说明了我们的抽样技术的效率,通过数值模拟贝叶斯学习任务。
2020-06-16 cs.LG math.OC math.ST