Adaptive Gradient Normalization and Independent Sampling for (Stochastic) Generalized-Smooth Optimization
Texas A&M University（德克萨斯农工大学）；Hamilton College（汉密尔顿学院）；Stony Brook University（石溪大学）；Arizona State University（亚利桑那州立大学）
针对现有算法未完全适配广义光滑非凸几何、收敛分析受限的问题，该研究分析了自适应归一化梯度下降的收敛性，提出结合自适应归一化、独立采样和梯度裁剪的IANSGD算法，在松弛噪声下实现$\boldsymbol{\rm O}(ε^{-4})$样本复杂度，实验验证了其快速收敛性。
2025-10-01 math.OC stat.ML
Predictive Local Smoothness for Stochastic Gradient Methods
Northeastern University（东北大学）；Huaqiao University（华侨大学）
随机梯度法在非凸优化中占主导地位，特别是对于深度模型，但由于固定的光滑性而具有较低的渐近收敛性。为了解决这个问题，我们提出了一个简单而有效的方法来改善随机梯度方法称为预测局部平滑（PLS）。首先，我们创建一个收敛条件来建立随局部平滑度自适应变化的学习率。其次，局部平滑度可以通过最新的梯度来预测。第三，我们使用自适应学习率来更新随机梯度，以探索线性收敛速度。通过应用PLS方法，我们实现了三种流行算法的新变体：PLS-随机梯度下降（PLS-SGD），PLS-加速SGD（PLS-AccSGD）和PLS-AMSGrad。此外，我们提供了更简单的证明，以确保其线性收敛。实验结果表明，改进后的算法具有更好的性能增益，如更快的收敛速度和更好的抑制梯度的爆炸和消失。
2018-05-23 cs.LG math.OC stat.ML
Non-smooth stochastic gradient descent using smoothing functions
University of Cincinnati（辛辛那提大学）；Lehigh University（利哈伊大学）
本文研究非光滑外函数与光滑内函数的组合优化问题，通过平滑函数近似非光滑函数，提出平滑随机梯度方法，证明在强凸、凸和非凸设置下的收敛性，展示在某些问题中该方法具有竞争力。
2026-05-13 math.OC
A Stochastic Smoothing Algorithm for Semidefinite Programming
我们使用一个秩高斯扰动推导出一个光滑的随机逼近的最大特征值函数。然后，我们结合这个平滑的结果与最佳光滑随机最优化算法产生一个有效的方法来解决最大特征值最小化问题。我们表明，这种新方法的复杂性低于确定性平滑算法在一定的精度/尺寸制度。
2014-03-04 math.OC
Gradient-free two-points optimal method for non smooth stochastic convex optimization problem with additional small noise
利用双光滑技术和随机镜像下降法，建立了两点无梯度非光滑随机凸规划的一个最优算法。我们调查了多少可以是噪声的水平（这种噪声的性质是不必要的随机）的收敛速率保持（乘法因子）。
2017-08-13 math.OC
Simple Stochastic Gradient Methods for Non-Smooth Non-Convex Regularized Optimization
我们的工作主要集中在随机梯度法优化光滑非凸损失函数与非光滑非凸正则化。对这类问题的研究是相当有限的，直到最近没有非渐近收敛的结果已被报道。我们提出了两个简单的随机梯度算法，有限和一般的随机最优化问题，这具有优越的收敛复杂性相比，目前的最先进的。我们还比较了我们的算法的性能在实践中的经验风险最小化。
2019-05-14 math.OC
Stochastic Recursive Variance Reduction for Efficient Smooth Non-Convex Compositional Optimization
Peking University（北京大学）；University of Rochester（罗切斯特大学）；Kwai Inc.（快手公司）
随机组合优化出现在许多重要的机器学习任务中，例如强化学习和投资组合管理中的价值函数评估。目标函数是随机函数的两个期望的组合，并且比普通随机最优化问题更具有挑战性。本文研究了一般光滑非凸环境下的随机合成优化问题。我们采用最近发展起来的\textit{Stochastic Recursive Gradient Descent}的思想设计了一个新的算法SARAH-Compositional，并证明了一个尖锐的增量一阶Oracle（IFO）复杂性上界：$\mathcal{O}((n+m)^{1/2} \varepsilon^{-2})$在有限和情况下和$\mathcal{O}(\varepsilon^{-3})$在线的情况下.这样的复杂性是已知的最好的一个IFO复杂性结果的非凸随机组合优化，并被认为是最优的。我们的实验验证了我们的算法的理论性能。
2020-01-25 cs.LG math.OC stat.ML
Adaptive smoothing mini-batch stochastic accelerated gradient method for nonsmooth convex stochastic composite optimization
考虑一类凸约束非光滑凸随机复合最优化问题，其目标函数由可微凸分量与一般非光滑但凸分量之和给出。非光滑组件不需要具有容易获得的近端操作符，或者具有可以使用[Nesterov，2005]中的平滑技术的最大结构。为了解决这类问题，我们提出了一个自适应平滑小批量随机加速梯度（AdaSMSAG）方法，它结合了随机逼近方法，Nesterov的加速梯度法，和平滑方法，允许一般平滑近似。建立了该方法的收敛性。此外，最坏情况下的迭代复杂度的顺序是优于最先进的随机逼近方法。数值结果表明，建议的AdaSMSAG方法的有效性的风险管理投资组合优化和一个家庭的Wasserstein分布鲁棒支持向量机问题与实际数据。
2021-12-07 math.OC
Mini-batch stochastic Nesterov's smoothing method for constrained convex stochastic composite optimization
考虑一类约束凸随机组合最优化问题，其目标函数由一个可微凸分支和一个非光滑凸分支之和给出.非光滑分量具有显式的max结构，这可能不容易计算其邻近映射。为了解决这些问题，我们提出了一个小批量随机Nesterov平滑（MSNS）方法。建立了该方法的收敛性和最优迭代复杂度。数值结果表明，所提出的MSNS方法的支持向量机（SVM）模型的效率。
2021-09-11 math.OC
Optimal Stochastic Non-smooth Non-convex Optimization through Online-to-Non-convex Conversion
Boston University（波士顿大学）；Google Research（谷歌研究）
本文提出新算法，通过将非光滑非凸优化归约为在线学习，将随机梯度查询复杂度从O(ε^{-4}δ^{-1})降至最优的O(ε^{-3}δ^{-1})，并扩展至确定性和二阶光滑情形。
2025-08-07 cs.LG math.OC stat.ML
Stochastic Decentralized Optimization of Non-Smooth Convex and Convex-Concave Problems over Time-Varying Networks
MIPT（莫斯科物理技术学院）；Research Center of the Artificial Intelligence Institute, Innopolis University（因诺波利斯大学人工智能研究所）；ISP RAS（俄罗斯科学院斯捷克洛夫数学研究所）
本文研究了在时间变化网络上非光滑随机去中心化优化问题，针对非光滑随机强凸优化和非光滑随机强凸-强凹鞍点优化提出方法，应用于深度神经网络训练和生成对抗网络训练。
2026-04-26 math.OC
A Variable Sample-size Stochastic Quasi-Newton Method for Smooth and Nonsmooth Stochastic Convex Optimization
经典理论的拟牛顿计划的重点是光滑确定性无约束优化，而最近的随机凸优化主要居住在光滑，无约束，强凸制度。自然，有一个迫切需要解决的非光滑性，缺乏强凸性，并存在约束。因此，本文提出了一个拟牛顿框架，可以处理仅仅是凸和可能的非光滑（但光滑）的随机凸问题。我们提出了一个框架，结合迭代平滑和正则化的方差减少计划依赖于使用梯度的样本大小增加。我们做出以下贡献。(i)我们开发了一个正则化和平滑的可变样本量BFGS更新（rsL-BFGS），生成一个序列的海森近似，可以容纳非光滑凸目标，利用迭代正则化和平滑。(ii)在强凸的状态依赖噪声的情况下，所提出的可变样本量随机拟牛顿格式允许非渐近线性收敛速度，而计算$ε$ -解的预言复杂度为$\mathcal{O}(κ^{m+1}/ε)$，其中$κ$是条件数，$m\geq 1$。在非平滑（但可平滑）区域，使用Moreau平滑可保持线性收敛速率。为了应对可能的不可用的Lipschitz和强凸性参数，我们还提供了次线性率;（iii）在仅仅凸，但光滑的设置，正则化的VS-SQN计划rVS-SQN显示率$\mathcal{O}(1/k^{(1-\varepsilon)})$。当平滑性要求减弱时，正则化和平滑的VS-SQN格式的速率变为$\mathcal{O}(k^{-1/3})$。这样的陈述允许在二次增长属性下的状态依赖噪声假设。
2020-11-02 math.OC
Non-Smooth Stochastic Lyapunov Functions With Weak Extension of Viscosity Solutions
本文提出粘性弱上解的概念，在随机李雅普诺夫稳定性理论和黏性解理论之间架起一座桥梁。与常微分方程不同的是，随机微分方程虽然没有光滑的随机李雅普诺夫函数，但其原点是稳定的。该特征自然要求通过黏性解理论来说明相关的李雅普诺夫方程，粘性解理论处理偏微分方程的非光滑解。本文认为随机李雅普诺夫稳定性理论需要粘性上解的弱扩展，而所提出的粘性弱上解描述了非光滑的SLF，保证了一类大的原点在概率上是噪声（渐近）稳定和（渐近）稳定的.非光滑SLF的贡献被证实的几个例子，特别是，他们确保所有的线性二次高斯（LQG）控制系统的起源是噪声渐近稳定的任何加性噪声。
2022-09-19 math.OC
Stochastic Proximal Methods for Non-Smooth Non-Convex Constrained Sparse Optimization
本文主要研究随机邻近梯度法优化光滑非凸损失函数与非光滑非凸正则化和凸约束。据我们所知，我们提出的第一个非渐近收敛结果这类问题。我们提出了两个简单的随机邻近梯度算法，一般的随机和有限和最优化问题，具有相同或更高的收敛复杂性相比，目前最好的结果为无约束的问题设置。在一个数值实验中，我们比较我们的算法与当前国家的最先进的确定性算法，并发现我们的算法表现出优越的收敛性。
2019-05-23 math.OC
Stochastic optimization over proximally smooth sets
本研究针对近端光滑集上的弱凸函数最小化问题，提出一类结合目标与约束简化模型及回缩操作的随机算法，证明其有限时间效率保证，并探讨在光滑流形等场景的非光滑优化应用。
2020-02-15 math.OC
Smooth Monotone Stochastic Variational Inequalities and Saddle Point Problems: A Survey
MIPT（莫斯科物理技术学院）；ICS RAS（俄罗斯科学院控制系统研究所）；KAUST（阿卜杜拉国王科技大学）；IITP RAS（俄罗斯科学院信息传输问题研究所）；Caucasus Mathematical Center（高加索数学中心）；Adyghe State University（阿迪格国立大学）
本文综述了求解光滑（强）单调随机变分不等式的方法，回顾了其确定性基础、一般随机公式与有限和设置，并探讨了算法的最新进展。
2023-04-02 cs.GT cs.LG math.OC
Staggered Time Average Algorithm for Stochastic Non-smooth Optimization with O(1/T) Convergence
随机非光滑凸优化是机器学习和运筹学中的一类问题。研究了基于随机次梯度的非光滑函数的极小化问题。当函数具有局部多面体结构时，证明了交错时间平均算法具有O（1/T）的收敛速度。当局部多面体假设被删除时，一个更一般的收敛结果被证明。在这种情况下，收敛边界取决于最小值附近的函数曲率。最后，局部多面体假设，以提高收敛超过O（1/T）的一个特殊情况下的确定性问题。
2016-07-11 math.OC
Stochastic Gradient Descent for Non-smooth Optimization: Convergence Results and Optimal Averaging Schemes
Microsoft Research（微软研究院）；Rutgers University（罗格斯大学）
随机梯度下降（SGD）是最简单、最流行的随机优化方法之一。虽然它已经在理论上研究了几十年，经典的分析通常需要非平凡的光滑性假设，这并不适用于SGD的许多现代应用与非光滑的目标函数，如支持向量机。在本文中，我们调查的性能SGD没有这样的平滑性假设，以及一个运行平均计划转换SGD迭代的解决方案，最佳的优化精度。在这个框架中，我们证明了T轮后，最后的SGD迭代的次优性尺度为O（log（T）/ \sqrt{T}）的非光滑凸目标函数，和O（log（T）/T）的非光滑强凸的情况下。据我们所知，这些是第一种界限，几乎匹配的最小最优率可通过适当的平均计划。我们还提出了一种新的简单的平均方案，它不仅可以获得最佳速率，而且还可以很容易地实时计算（相比之下，Rakhlin等人（2011）提出的后缀平均方案并不容易实现）。最后，我们提供了一些实验说明。
2012-12-28 cs.LG math.OC stat.ML
Stochastic Composition Optimization of Functions without Lipschitz Continuous Gradient
本文研究了无Lipschitz连续梯度的两层复合函数的随机最优化问题。光滑性是广义的相对光滑性的概念，它激发了Bregman梯度法。我们提出了三个随机组成Bregman梯度算法的三种可能的相对平滑的成分的情况下，并提供其样本的复杂性，以实现一个$ε$ -近似稳定点。对于相对光滑的组合，第一个算法要求$O(ε^{-2})$调用内部函数值和梯度以及外部函数梯度的随机预言机。当两个函数都相对光滑时，第二个算法要求$O(ε^{-3})$调用内部函数值随机预言机，$O(ε^{-2})$调用内部和外部函数梯度随机预言机。我们进一步改进了第二个算法的方差减少的设置，只有内部函数是光滑的。所得到的算法需要$O(ε^{-5/2})$调用内部函数值随机预言机，$O(ε^{-3/2})$调用内部函数梯度和$O(ε^{-2})$调用外部函数梯度随机预言机。最后，我们数值评估这三种算法在两个不同的例子的性能。
2023-02-23 math.OC
Zero-Order Stochastic Conditional Gradient Sliding Method for Non-smooth Convex Optimization
本文针对带约束的非光滑随机凸优化问题，提出零阶随机条件梯度滑动算法 ZO-SCGS，在非光滑与光滑黑箱情形下均表现鲁棒，并在光滑情形下以更少 oracle 调用超越现有最优算法。
2023-05-25 math.OC
SPRING: A fast stochastic proximal alternating method for non-smooth non-convex optimization
介绍了一种新的随机近似交替线性化极小化算法SPRING，用于求解一类非光滑非凸优化问题。由于数据采集和计算能力的进步，大规模成像问题变得越来越普遍。受随机最优化方法成功的启发，我们提出了一个随机变体的邻近交替线性化最小化（PALM）算法\cite{bolte2014proximal}。我们提供了整体收敛保证，表明我们提出的方法与方差减少的随机梯度估计，如SAGA \cite{SAGA}和SARAH \cite{sarah}，实现了最先进的甲骨文复杂性。我们还证明了我们的算法的有效性，通过几个数值例子，包括稀疏非负矩阵分解，稀疏主成分分析，盲图像反卷积。
2021-01-19 math.OC
Gradient-Free Federated Learning Methods with $l_1$ and $l_2$-Randomization for Non-Smooth Convex Stochastic Optimization Problems
本文研究凸随机优化的非光滑问题，通过 $l_1$ 或 $l_2$-范数球内平均函数值平滑技术将其转化为光滑问题，并仅基于原始函数实现计算无偏梯度估计，最终在分布式联邦学习架构中构建无梯度求解方法。
2023-05-21 math.OC
Stochastic Hamiltonian Gradient Methods for Smooth Games
Mila（米拉）；Université de Montréal（蒙特利尔大学）；Facebook AI Research（Facebook人工智能研究院）
对抗性公式在机器学习中的成功为流畅的游戏带来了新的动力。在这项工作中，我们专注于一类随机哈密顿方法，并提供了第一个收敛保证某些类的随机光滑游戏。我们提出了一种新的无偏估计的随机哈密顿梯度下降（SHGD），并强调其优点。利用优化文献中的工具，我们表明，SHGD线性收敛到一个稳定点的邻域。为了保证收敛到精确解，我们分析了SHGD与一个递减的步长，我们还提出了第一随机方差约化哈密顿方法。我们的研究结果提供了第一个全球非渐近最后收敛保证一类随机无约束双线性游戏和更一般的随机游戏，满足“充分双线性”的条件，特别是包括一些非凸非凹问题。我们补充我们的分析与实验随机双线性和充分双线性游戏，我们的理论被证明是紧密的，和简单的对抗性机器学习配方。
2020-07-08 cs.GT cs.LG math.OC
Improved Performance of Stochastic Gradients with Gaussian Smoothing
本文提出将高斯平滑应用于深度学习中的SGD和Adam优化算法，通过衰减微小波动降低陷入较差局部极小值的风险，并推导网络的高斯平滑损失函数以提升计算效率，实验证明其优于未平滑版本。
2024-11-18 math.OC
A Smoothing Stochastic Gradient Method for Composite Optimization
Carnegie Mellon University（卡内基梅隆大学）
考虑无约束最优化问题，其目标函数由光滑和非光滑分量组成，其中光滑分量是随机函数的期望。这种类型的问题出现在机器学习的一些有趣应用中。针对这类最优化问题，我们提出了一种随机梯度下降算法。当非光滑部分具有特定结构时，我们提出了另一种随机梯度下降算法，该算法将平滑方法引入到第一种算法中。给出了这两种算法的收敛速度的证明，并通过将其应用于不同的合成数据集的正则化线性回归问题，展示了算法的数值性能。
2011-06-30 cs.LG math.OC
MixedGrad: An O(1/T) Convergence Rate Algorithm for Stochastic Smooth Optimization
Michigan State University（密歇根州立大学）
光滑函数随机优化的最优收敛速度是$O(1/\sqrt{T})$，这与Lipschitz连续凸函数随机优化的最优收敛速度相同。这与使用全梯度优化平滑函数形成对比，全梯度产生$O(1/T^2)$的收敛速率。在这项工作中，我们考虑一个新的设置优化光滑函数，称为{ \bf混合优化}，它允许访问随机预言和一个完整的梯度预言。我们的目标是显着提高光滑函数的随机优化的收敛速度有一个额外的少量的访问完整的梯度预言。我们表明，与$O(\ln T)$调用全梯度预言和$O(T)$调用随机预言，建议的混合优化算法是能够实现的优化误差$O(1/T)$。
2013-07-26 cs.LG math.OC
Last-Iterate Complexity of SGD for Convex and Smooth Stochastic Problems
本文证明在凸光滑随机优化问题中，无需随机梯度方差一致有界的不可验证假设，SGD 即可达到 $\tilde O(T^{-1/2})$ 的最后迭代复杂度，解决了此前仅能对遍历函数值差距给出界的问题。
2025-07-18 math.OC
Generalized Smooth Stochastic Variational Inequalities: Almost Sure Convergence and Convergence Rates
Arizona State University（亚利桑那州立大学）
本文针对非单调算子不满足光滑性假设的随机变分不等式问题，在α-对称广义光滑假设下研究两类裁剪方法，首次得到无有界性假设的几乎必然收敛结果及α≤1/2下的期望无偏收敛速率。
2025-10-01 math.OC
Localize, Restart, Accelerate: Stochastic Optimization under Generalized Smoothness
HSE University（高等经济大学）；Innopolis University（伊诺波利斯大学）；MSU AI Center（莫斯科国立大学人工智能中心）
针对非对称广义光滑性下的随机凸优化，提出两阶段加速方法ARC-SG，通过局部化与重启认证实现加速收敛并恢复经典速率。
2026-09-09 math.OC
Constrained Global Optimization by Smoothing
本文提出“连续随机平滑”方法，结合精确非光滑罚函数、核平滑与随机有限差分梯度下降，实现约束下非光滑、不连续函数的局部及全局优化。
2023-08-16 math.OC
On Tackling High-Dimensional Nonconvex Stochastic Optimization via Stochastic First-Order Methods with Non-smooth Proximal Terms and Variance Reduction
The University of Hong Kong（香港大学）；The University of Minnesota Twin Cities（明尼苏达大学双城分校）；University of Florida（佛罗里达大学）
针对高维非凸随机优化中样本复杂度随维度线性增长的问题，提出采用非光滑近端项的非欧几里得随机一阶方法，结合方差缩减实现近最优样本复杂度，并通过实验验证维度不敏感性。
2026-09-15 math.OC
Distributed Stochastic Optimization for Non-Smooth and Weakly Convex Problems under Heavy-Tailed Noise
针对重尾噪声下方差无界且现有分布式算法多限于凸光滑问题的不足，提出一种基于裁剪、适用于非光滑弱凸问题的分布式随机优化算法，并证明收敛性、给出参数条件，实验验证其有效性。
2025-05-14 math.OC
A Stochastic Alternating Direction Method of Multipliers for Non-smooth and Non-convex Optimization
乘子的交替方向法（ADMM）是一种常用的一阶方法，具有简单、高效等优点。然而，与其他邻近分裂方法类似，当要解决的最优化问题规模变大时，ADMM的性能会显着下降。本文考虑将ADMM与一类方差缩减的随机梯度相结合来求解大规模非凸非光滑最优化问题。在目标函数满足Kurdyka-Lojasiewicz（KL）性质的额外假设下，证明了生成序列的整体收敛.数值实验上的图形引导融合Lasso和计算机断层扫描，以证明所提出的方法的性能。
2020-12-14 math.OC
Non-asymptotic Analysis of Stochastic Methods for Non-Smooth Non-Convex Regularized Problems
随机邻近梯度（SPG）方法已广泛用于机器学习和统计中使用简单（可能非光滑）正则化器解决最优化问题。然而，据我们所知，没有非渐近收敛分析SPG存在的非凸优化与非光滑和非凸正则化。现有的SPG求解非光滑非凸问题的非渐近分析都要求非光滑正则化子是凸函数，因此不适用于非光滑非凸正则化问题.这项工作启动分析，以弥合这一差距，打开了大门，非渐近收敛分析的非光滑非凸正则化问题。我们分析了几个变种的小批量SPG方法最小化的非凸目标，包括一个光滑的非凸损失和非光滑的非凸正则化。我们的贡献是双重的：（i）我们表明，他们享有相同的复杂性，他们的同行解决凸正则化非凸问题方面找到一个近似的驻点;（ii）我们开发更实用的变种使用动态的小批量大小，而不是一个固定的小批量大小，而不需要目标精度水平的解决方案。我们的结果的意义是，他们改进的国家的最先进的结果解决非光滑非凸正则化问题。我们还实证证明了所考虑的SPG方法与其他同行的随机方法相比的有效性。
2019-11-18 math.OC
Second-Order $Λ$-Sets and Extensions to Non-Smooth, Hybrid, and Stochastic Optimal Control
Mutah University（穆塔大学）
本文提出二阶Λ集框架，用于非光滑、混合及随机最优控制问题，结合几何方法与变分方法，提供新的最优性条件和应用实例。
2025-12-09 math.OC
Stochastic smoothing accelerated gradient method for general constrained nonsmooth convex composite optimization
Beijing Jiaotong University（北京交通大学）
本文提出了一种随机平滑加速梯度方法，用于解决一般约束非光滑凸复合优化问题，通过可变样本大小实现最优迭代和SFO复杂度。
2026-01-31 math.OC
Gradient-Free Methods for Non-Smooth Convex Stochastic Optimization with Heavy-Tailed Noise on Convex Compact
针对仅能黑盒访问的带重尾噪声的非光滑凸随机优化问题，提出两种基于随机镜像下降的无梯度方法，并结合重启技术为满足r-增长条件的目标函数设计了更快的算法。
2023-08-24 math.OC
Adaptive Search Algorithms for Discrete Stochastic Optimization: A Smooth Best-Response Approach
本文考虑基于仿真的优化性能的状态切换随机系统在有限集的可行配置。受对策论中随机虚拟游戏学习规则的启发，提出了一种基于自适应模拟的搜索算法，该算法采用平滑的最佳响应采样策略，跟踪全局最优解集，但分散搜索，使大部分精力花在模拟全局最优解的系统性能上.即使观测数据是相关的（只要弱大数定律成立），该算法也会弱收敛到全局最优解集。数值算例表明，与文献中已有的几种随机搜索和纯探索方法相比，该方法在有限样本长度下具有更快的收敛速度.
2014-02-14 math.OC
Power of Generalized Smoothness in Stochastic Convex Optimization: First- and Zero-Order Algorithms
本文研究广义光滑性下的随机凸优化，提出一阶和零阶算法实现线性收敛，并给出具体迭代复杂度，通过实验验证了线性收敛的可能性。
2025-05-22 math.OC
Convergence Analysis of Stochastic Accelerated Gradient Methods for Generalized Smooth Optimizations
Center for Data Science and School of Mathematical Sciences, Zhejiang University（浙江大学数据科学中心与数学科学学院）；Center for Data Science, Zhejiang University（浙江大学数据科学中心）
本文针对广义光滑随机优化问题，研究带固定/自适应步长的RSAG方法，在松弛仿射方差假设下推导凸与非凸场景的高概率收敛速率，小噪声下速率可提升，且分析同样适用于SGD。
2026-10-27 math.OC
An Efficient Stochastic First-Order Algorithm for Nonconvex--Strongly Concave Minimax Optimization beyond Lipschitz Smoothness
Dalian University of Technology（大连理工大学）
本文提出NSGDA-M算法，用于解决非凸-强凹最优化问题，超越Lipschitz光滑性假设，在期望和高概率下均能高效找到ε-stationary点。
2026-08-04 math.OC
Stochastic Smoothed Gradient Descent Ascent for Federated Minimax Optimization
University of Virginia（弗吉尼亚大学）；Meta AI；MIT（麻省理工学院）
本文提出联邦随机平滑梯度下降上升法（FESS-GDA），将平滑技术引入联邦极小极大优化，统一解决多类问题并证明新的收敛结果，在GAN训练和公平分类中展现实际效率。
2024-04-18 cs.IT cs.LG math.IT
Using Stochastic Gradient Descent to Smooth Nonconvex Functions: Analysis of Implicit Graduated Optimization
Meiji University（明治大学）
本文提出了一种通过调整学习率和批量大小来平滑非凸函数的渐进优化算法，并放宽了σ- nice属性以扩大收敛保证的适用范围。
2026-01-24 cs.LG math.OC
Convergence of a Stochastic Gradient Method with Momentum for Non-Smooth Non-Convex Optimization
KTH Royal Institute of Technology（瑞典皇家理工学院）
带动量的随机梯度法在应用中得到了广泛的应用，并且是许多流行机器学习库中优化子程序的核心。然而，他们的样本复杂性还没有得到超出那些凸或光滑的问题。对一类非光滑、非凸、有约束的最优化问题建立了带Polyak型动量项的随机次梯度法的收敛速度.我们的主要创新是一个特殊的李雅普诺夫函数，证明的复杂性，可以实现没有任何调整的动量参数的建设。对于光滑的问题，我们扩展了已知的复杂性约束的情况下，并演示了如何无约束的情况下，可以分析在较弱的假设比国家的最先进的。数值结果证实了我们的理论发展。
2021-02-11 cs.LG math.OC
Composite and Stochastic Smoothed Decentralized Bregman Proximal-Gradient Methods
The Chinese University of Hong Kong（香港中文大学）；Xiangtan University（湘潭大学）；Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院）；Guangzhou Nanfang College（广州南方学院）
该研究扩展了平滑去中心化Bregman邻近梯度方法，针对节点特定正则化项与随机局部梯度给出理论界，实验验证其性能并评估四次Bregman核的效果。
2026-10-14 math.OC
A remark on smooth solutions to a stochastic control problem with a power terminal cost function and stochastic volatilities
考虑了不完全金融市场，定义为一个多维非齐次扩散过程，是伊藤过程（价格过程）和另一个非齐次扩散过程（外生过程，代表外生随机源）的直和。价格过程的漂移和扩散矩阵是时间、价格过程本身和外生过程的函数。在这种市场的背景下，并为功率效用函数，它被证明，随机控制问题，包括优化终端财富的期望效用，有一个经典解（即$C^{1,2}$）。这一结果铺平了道路的最优投资组合问题的研究在不完全的远期方差随机波动率模型，沿着Ref：Ekeland等人。
2014-05-14 math.OC q-fin.MF
A Stochastic Newton-type Method for Non-smooth Optimization
提出分析非光滑优化中随机牛顿型方法的新框架，利用停时Chernoff界推导迭代次数界限，无需无偏或有限方差假设，并在层析成像与图像去噪中验证。
2025-03-04 math.OC
Non-Smooth Setting of Stochastic Decentralized Convex Optimization Problem Over Time-Varying Graphs
本文针对时变图上去中心化非光滑凸优化问题，提出一种基于l2随机化平滑的无梯度算法，并通过实验验证了其理论收敛性。
2023-09-05 math.OC
Third-order Smoothness Helps: Even Faster Stochastic Optimization Algorithms for Finding Local Minima
University of Virginia（弗吉尼亚大学）
我们提出了随机最优化算法，可以找到局部极小值比现有的算法更快的非凸最优化问题，利用三阶光滑逃避非退化鞍点更有效。更具体地说，所提出的算法只需要$\tilde{O}(ε^{-10/3})$随机梯度评估收敛到一个近似的局部最小值$\mathbf{x}$，它满足$\|\nabla f(\mathbf{x})\|_2\leqε$和$λ_{\min}(\nabla^2 f(\mathbf{x}))\geq -\sqrtε$在一般的随机最优化设置，其中$\tilde{O}(\cdot)$隐藏对数多项式项和常数。这将现有技术的随机局部最小值查找算法所实现的$\tilde{O}(ε^{-7/2})$梯度复杂度提高了$\tilde{O}(ε^{-1/6})$的因子。对于非凸有限和优化，我们的算法也优于最好的已知算法在一定的制度。
2017-12-18 cs.LG math.OC
Trust Region Methods For Nonconvex Stochastic Optimization Beyond Lipschitz Smoothness
本文针对梯度非全局Lipschitz光滑的非凸随机优化问题，提出一阶和二阶信赖域方法，在广义光滑性条件下分别实现一阶和二阶稳定收敛，并通过方差缩减达到最优复杂度。
2025-02-06 math.OC
On Smoothing, Regularization and Averaging in Stochastic Approximation Methods for Stochastic Variational Inequalities
传统上，SVI的随机逼近方案依赖于底层映射的强单调性和Lipschitz性质。相反，我们考虑单调随机变分不等式（SVI）问题，其中映射的强单调性和Lipschitz假设被削弱。在本文的第一部分中，为了解决这些缺点，正则化平滑SA（RSSA）计划的开发，其中的步长，平滑，正则化参数是递减序列更新后，每次迭代。在适当的序列假设下，我们证明了该算法生成的迭代收敛到几乎肯定意义下的解，将[16]中的结果扩展到非Lipschitzian区域。出于需要开发非渐近速率报表，在本文的第二部分中，我们开发了一个变体的RSSA计划，表示为aRSSA $_r$，其中我们采用加权迭代平均，参数化的标量$r$其中$r = 1$为我们提供了标准的平均计划。在这种情况下，我们做了几个贡献：首先，我们表明，间隙函数与序列的aRSSA $_r$计划时，参数序列被适当地选择趋于零。第二，我们表明，间隙函数与平均序列减少到零，在$K$步骤后的最佳速率$\cal{O}(1/\sqrt{K})$时，平滑和正则化被抑制和$r < 1$，从而提高了速率声明的标准平均承认率的$\cal{O}(\ln(K)/\sqrt{K})$。第三，我们开发了一个基于窗口的变体，该方案还显示了$r < 1$的最佳速率。值得注意的是，我们证明了该计划的优越性与$r < 1$与其对应的$r=1$的误差界的常数因子时，平均窗口的大小是足够大的。
2016-01-05 math.OC
A sequential smoothing majorant stochastic approximation method for nonconvex nonconcave minimax problems
提出序贯平滑主化随机逼近（SMSA）方法求解非凸非凹极小极大问题，通过新主化逼近实现$O(\beta_N^2)$精度，并证明稳定点一致性与数值优势。
2026-09-11 math.OC
Potentiality-Based Smoothed Randomized Stochastic Gradient Schemes for Solving Nonconvex Nonsmooth Games under Uncertainty
University of Michigan（密歇根大学）
针对非凸非光滑随机势博弈，提出随机平滑RSG方案，实现渐近收敛到平滑博弈均衡，样本复杂度为O(L^4_max n^{3/2}_max N^3 η^{-1} ε^{-4})，并证明平滑均衡的期望残差为O(η^2)。
2026-08-11 math.OC
Stochastic Adversarial Noise in the "Black Box" Optimization Problem
本文研究随机凸黑箱优化在对抗噪声下的求解，针对基于L1和L2随机化平滑的无梯度方法，确定了保证收敛的最大允许噪声水平，并分析了大噪声条件下的算法收敛行为。
2023-04-16 math.OC
