An Infeasible-Point Subgradient Method Using Adaptive Approximate Projections
本文提出了一种新的次梯度法，用于求解凸集上非光滑凸函数的极小化问题。为了加快计算速度，我们使用自适应近似投影，只需要在精确投影的一定距离内移动（在算法过程中会减少）。特别是，我们方法中的迭代在整个过程中可能是不可行的。然而，我们提供的条件，确保收敛到一个最佳的可行点，在适当的假设。一个收敛的结果处理的步长序列是固定的先验。另外两个结果处理动态Polyak型步长取决于最佳目标函数值的下限或上限估计，分别。此外，我们简要概述了两个应用：凸机会约束的优化，并找到最小l1范数解欠定线性系，在压缩感知的一个重要问题。
2013-03-08 math.OC
AN-SPS: Adaptive Sample Size Nonmonotone Line Search Spectral Projected Subgradient Method for Convex Constrained Optimization Problems
针对期望形式的非光滑凸约束优化问题，提出自适应样本量的非单调线搜索谱投影次梯度框架AN-SPS，用自适应SAA近似目标函数，证明几乎必然收敛，数值实验验证了方案优势。
2024-10-30 math.OC
Smoothed Variable Sample-size Accelerated Proximal Methods for Nonsmooth Stochastic Convex Programs
当$f(x,ω)$可能是非光滑的且强凸或凸的$x$时，我们考虑极小化$f(x) = \mathbb{E}[f(x,ω)]$. (I)强凸的。当$f(x,ω)$是$μ-$强凸的$x$，我们提出了一个可变的样本量加速邻近计划（VS-APM），并将其应用于$f_η(x)$，（$η$ -）Moreau平滑的变体$\mathbb{E}[f(x,ω)]$，我们这样的计划（m-VS-APM）。我们考虑三种设置。(a)有界域在这种设置下，VS-APM在不精确的梯度步长中显示线性收敛，每个步长都需要利用内部（SSG）方案。具体而言，mVS-APM在SSG步骤中实现了最佳的预言复杂度;（b）无界域。在这种制度下，在较弱的假设下，适当的状态依赖于次梯度的界限，一个未加速的变体mVS-PM是线性收敛的;（c）光滑病态PDMATHAMT。当$f$是$L$ -平滑和$κ= L/μ\ggg 1$时，我们采用mVS-APM，其中通过VS-APM获得越来越精确的梯度$\nabla_x f_η(x)$。值得注意的是，与VS-APM相比，mVS-APM在内部近端评价中显示出线性收敛和接近最佳的复杂性（高达对数因子）。但是，不像VS-APM的直接应用程序，该计划的特点是更大的步长和更好的经验行为;（二）凸。当$f(x,ω)$仅仅是凸的但可平滑时，通过适当地选择平滑、步长和批量大小序列，平滑VS-APM（或sVS-APM）…
2022-10-06 math.OC
Fast Convergence Rates of Distributed Subgradient Methods with Adaptive Quantization
我们研究网络上的分布式最优化问题，当节点之间的通信受到限制时，节点之间交换的信息必须量化。最近的进展，使用分布式梯度算法与量化方案在一个固定的分辨率已经建立了收敛，但在速度显着低于当通信是非量化的。在本文中，我们介绍了一种新的量化方法，我们称之为自适应量化，使我们能够匹配的收敛速度下完美的通信。我们的方法随着算法的进展调整每个节点使用的量化方案：随着我们接近解决方案，我们变得更加确定状态变量的位置，并相应地调整量化器码本。我们绑定的收敛速度的通信带宽的函数，底层的网络拓扑结构，和结构特性的组成目标函数的方法。特别是，我们表明，如果目标函数是凸的或强凸的，那么使用自适应量化不影响的收敛速率的分布式次梯度方法时，通信被量化，除了一个常数，取决于量化器的分辨率。据我们所知，在本文中实现的速率优于任何现有的工作在文献中的分布式梯度法在有限的通信带宽。我们还提供了数值模拟，比较收敛性能的分布式梯度法和不量化的二次和绝对损失函数的分布式回归问题。
2019-05-11 math.OC
Primal-dual subgradient methods for minimizing uniformly convex functions
讨论了强一致凸目标最优化问题的非欧确定性和随机算法。我们提供这些算法的性能和设计方法是自适应的目标的强或均匀凸性的参数的准确性界限：在迭代$N$的总次数是固定的情况下，其准确性一致，最多的对数在$N$因子与最佳算法的准确性。
2014-01-08 math.OC
Randomized Block Subgradient Methods for Convex Nonsmooth and Stochastic Optimization
块坐标下降法和随机次梯度法在优化和机器学习中得到了广泛的研究。将随机区组抽样与基于对偶平均的随机次梯度方法相结合，提出了随机区组对偶平均（SBDA）--一类求解凸非光滑随机最优化的新的区组次梯度方法. SBDA只需要一个块的次梯度和更新块的变量，因此具有显着降低迭代成本比传统的次梯度方法。我们表明，SBDA为基础的方法表现出凸非光滑随机最优化的最佳收敛速度。更重要的是，我们引入了随机步长规则和块采样方案，是自适应的块结构，这显着提高了收敛速度w.r. t。问题参数。这是在最近的块次梯度方法应用于非光滑确定性或随机最优化形成鲜明对比。对于强凸目标，我们提出了一个新的平均计划，使正则化的双重平均方法最优，而不必诉诸任何加速计划。
2015-09-15 math.OC
Day-Ahead Offering for Virtual Power Plants: A Stochastic Linear Programming Reformulation and Projected Subgradient Method
Iowa State University（爱荷华州立大学）
本文针对虚拟电厂在高间歇性和不确定性的分布式能源资源输出及市场价格下的日前报价问题，提出一种基于随机线性规划的改写方法和投影子梯度算法，通过改进计算效率和解的质量，提升了整体性能。
2026-04-02 cs.SY eess.SY math.OC
The adaptive projected subgradient method constrained by families of quasi-nonexpansive mappings and its application to online learning
University of Peloponnese（伯罗奔尼撒大学）；Tokyo Institute of Technology（东京工业大学）
许多在线，即，信号处理和机器学习中的时间自适应逆问题属于非负、凸和连续函数序列的渐近最小化的广泛范围。为了将先验知识纳入设计中，渐近最小化任务通常被约束在一个固定的闭凸集上，该凸集由可用的先验信息决定。为了增加对可用信息的使用的通用性，本手稿扩展了自适应投影次梯度法（APSM）通过引入一个算法方案，该方案通过一系列强吸引的拟非扩张映射在一个真正的希尔伯特空间的设计中采用了先验知识。通过这种方式，所提出的方法为在线学习任务提供的好处以两种方式展开：1）丰富的准非扩张映射类提供了大量的方法来投射先验知识，以及2）通过引入一系列这样的映射，所提出的方案能够捕获先验信息的时变性质。该算法的收敛性能进行了研究，几个特殊的情况下，具有广泛的适用性的方法显示，和所提出的计划的潜力，证明了考虑越来越重要的，现在，在线稀疏系统/信号恢复任务。
2011-08-05 cs.IT cs.LG math.IT
A new inertial condition on the subgradient extragradient method for solving pseudomonotone equilibrium problem
本文针对伪单调均衡问题，提出一种仅依赖迭代系数的新惯性条件，并用于带自适应步长的次梯度外梯度方法，在更弱条件下证明了弱收敛性，数值实验表明其优于现有方法。
2023-10-31 math.OC
Advances in Low-Memory Subgradient Optimization
本章专门讨论黑盒次梯度法，它对执行这些算法所必需的辅助结果的存储有最小的要求。本文从N. Z. Shor的原始结果出发，将其应用于经典的运输问题，从而开辟了这一领域。为了讨论非光滑优化的基本原理，简要地给出了光滑和非光滑凸优化和准凸优化问题的理论复杂性界，并特别注意自适应步长策略。本章还介绍了不同的现代技术，这些技术可以更快地解决非光滑凸优化问题，然后降低复杂性界限：Netserov平滑技术，Netserov通用方法，Legendre（鞍点）表示方法。我们还描述了最近的通用镜像Prox算法的变分不等式。为了证明非光滑凸优化算法在求解大规模极值问题中的应用，我们考虑了具有非光滑函数约束的凸优化问题，并描述了两种自适应镜像下降法。第一种方法是原始-对偶性质，并证明是最佳的一类Lipschitz连续凸目标和约束的预言下界。详细讨论了该方法应用于稀疏桁架拓扑设计问题的优越性。第二种方法可用于求解凸优化和拟凸优化问题，并且在复杂性界的意义下是最优的。综述的结论部分包含了表征非光滑凸优化最新发展的重要参考文献。
2019-02-05 math.OC
Adaptive Algorithms for Robust Phase Retrieval
University of Notre Dame（圣母大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出自适应步长的鲁棒相位恢复算法，通过分位数设计提升收敛性，实验验证其在图像恢复中的有效性。
2026-10-07 math.OC
Mirror Descent for Constrained Optimization Problems with Large Subgradient Values
基于arXiv：1710.06612的思想，考虑了具有非正凸（一般为非光滑）Lipschitz连续泛函约束的Holder连续非光滑泛函$f$的极小化问题.我们提出了一些新的策略的步长和自适应停止规则镜像下降算法考虑类问题。结果表明，该方法适用于各种光滑程度的目标泛函。将重新开始技术应用于镜像下降算法，提出了一种求解目标函数为强凸的最优化问题的优化方法。所考虑的算法的收敛速度收敛速率的目标函数的平滑程度的依赖。这些估计表明的最优性考虑的方法从理论的角度下预言界。此外，考虑了目标泛函和约束条件均为拟凸的情况。
2021-12-29 math.OC
A harmonic framework for stepsize selection in gradient methods
本文研究了在求解非线性无约束最优化问题的梯度法中，利用目标函数的逆调和Rayleigh矩选择步长的问题。这不仅提供了一个优雅而灵活的框架来参数化和重新解释现有的步长方案，而且还为新的灵活和可调的步长家族提供了灵感。特别是，我们分析和扩展的自适应Barzilai-Borwein方法的一个新的家庭的步长。虽然这个家族利用目标的负值，但我们也考虑正目标。我们给出了二次问题的收敛性分析，扩展了戴和廖（2002）的结果，并进行了实验，概述了方法的潜力。
2022-10-20 cs.NA math.NA math.OC
A Hybrid Subgradient Method for Nonsmooth Nonconvex Bilevel Optimization
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen University（深圳大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；National University of Singapore（新加坡国立大学）
本文提出一种混合子梯度法，结合双时间尺度动量加速子梯度法和可行性恢复方案，解决非凸双层优化问题，实现全局收敛性和高效计算。
2026-09-01 math.OC
Adaptive Gradient-type Methods for Convex Optimization Problems with Relative Accuracy and Sharp Minimum
本文研究了凸正齐次最优化问题的梯度型方法。研究了求解正齐次最优化问题的具有相对精度的加速泛梯度型方法的一个模拟。第二种方法与B. T.波亚克步长。对一类非光滑问题，给出了自适应步长调整的这类方法的线性收敛速率的结果。一些推广到一类特殊的非凸非光滑问题也被考虑。
2021-12-12 math.OC
Stochastic (Approximate) Proximal Point Methods: Convergence, Optimality, and Adaptivity
我们开发了基于模型的方法来解决随机凸优化问题，引入了近似邻近点，或aProx，家庭，其中包括随机次梯度，邻近点，和束方法。当我们提出的建模方法是适当准确的，该方法享有更强的收敛性和鲁棒性保证比经典的方法，即使基于模型的方法通常增加很少或没有计算开销的随机次梯度方法。例如，我们表明，改进的模型收敛概率为1，并享有最佳的渐近正态性的结果，在弱假设下，这些方法也是自适应的自然类，我们称之为简单的最优化问题，实现线性收敛在适当的强增长条件下的目标。我们大量的实验研究表明，在许多光滑和非光滑最优化问题的标准次梯度方法更准确的建模的优势。
2019-07-03 math.OC stat.ML
Some Analogue of Quadratic Interpolation for a Special Class of Non-Smooth Functionals and One Application to Adaptive Mirror Descent for Constrained Optimization Problems
许多著名的梯度型最优化方法的收敛速度的理论估计是基于二次插值，只要满足梯度的利普希茨条件。本文在局部Lipschitz拟凸泛函类中，利用本文所引入的非光滑条件（Lipschitz连续次梯度），得到了构造类似插值的可能性.作为应用，本文给出了自适应镜像下降法求解具有多个凸泛函约束的拟凸局部Lipschitz泛函极小化问题的收敛速率的估计.
2018-12-16 math.OC
The Stochastic Conjugate Subgradient Algorithm For Kernel Support Vector Machines
University of Southern California（南加利福尼亚大学）
本文针对核支持向量机提出随机共轭次梯度算法，通过自适应采样和参数选择与误差估计的分解，在保持可扩展性的同时提升收敛速度与优化精度。
2024-07-30 cs.LG math.OC
A New Inexact Proximal Linear Algorithm with Adaptive Stopping Criteria for Robust Phase Retrieval
Penn State University（宾夕法尼亚州立大学）；Rice University（莱斯大学）
针对鲁棒相位恢复这一非光滑非凸优化问题，提出带两种自适应停止准则的非精确近端线性算法，实验证明其比现有方法更高效。
2024-02-08 cs.LG eess.SP math.OC
Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic Optimization Problems
Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Florida（佛罗里达大学）
在本文中，我们设计并分析了一族新的自适应次梯度方法，用于求解一类重要的弱凸（可能非光滑）随机最优化问题。使用过去梯度的指数移动平均值来更新搜索方向和学习速率的自适应方法最近吸引了大量关注，用于解决机器学习中出现的最优化问题。然而，它们的收敛性分析几乎完全需要目标函数的光滑性和/或凸性。与此相反，我们建立了一阶和零阶自适应方法及其近似变量的非渐近收敛速度为一个合理的广泛的非光滑\非凸最优化问题。实验结果表明，所提出的算法如何经验优于随机梯度下降及其零阶变量解决这样的最优化问题。
2020-05-24 cs.LG math.OC stat.ML
Primal-dual stochastic gradient method for convex programs with many functional constraints
随机梯度法（SGM）是求解目标函数为随机或多个函数的平均值的最优化问题的一种常用方法。大多数现有的工作SGMs假设的基本问题是无约束的或有一个易于项目的约束集。在本文中，我们考虑的问题，有一个随机的目标，也有许多功能的限制。对于这样的问题，它可能是非常昂贵的投影点的可行集，甚至计算次梯度和/或所有约束函数的函数值。为了解决这些问题，我们提出了一种新的（自适应）SGM的基础上经典增广拉格朗日函数。在每次迭代中，它查询目标的随机次梯度，以及一个随机采样的约束函数的次梯度和函数值。因此，每次迭代的复杂度很低。对于凸问题和目标为强凸的问题，我们建立了它的收敛速度。该算法在凸情形下具有最优的$O(1/\sqrt{k})$收敛速度，在强凸情形下具有接近最优的$O\big((\log k)/k\big)$收敛速度.通过对稳健投资组合和二次约束二次规划的一个样本逼近问题的数值实验，验证了该方法的有效性。
2019-06-17 cs.NA math.NA math.OC
Adaptive Dimension Reduction for Overlapping Group Sparsity
School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）；Mathematics Institute, University of Warwick（华威大学数学研究所）；Institute of Natural Sciences, Shanghai Jiao Tong University（上海交通大学自然研究院）
本文提出了一种新的自适应方案，用于加速现有算法在重叠组LASSO中的应用，同时提供了收敛性分析和实验验证。
2026-01-28 math.OC
An Adaptive Sampling-based Progressive Hedging Algorithm for Stochastic Programming
本文提出一种基于自适应采样的渐进对冲算法，通过动态选择情景子问题数量、自适应序贯采样、随机共轭次梯度方向和线搜索更新对偶变量，克服传统PHA的计算瓶颈并提升可扩展性。
2025-03-12 math.OC
A Stochastic Primal-Dual Method for Optimization with Conditional Value at Risk Constraints
我们研究了一阶原始-对偶次梯度方法来优化风险约束的风险惩罚最优化问题，其中风险是通过流行的条件风险价值（CVaR）度量建模。该算法以在线方式处理来自潜在不确定性的独立和同分布样本，并在具有恒定步长的$K$迭代内产生$η/\sqrt{K}$ -近似可行和$η/\sqrt{K}$ -近似最优点，其中$η$随着CVaR的可调风险参数而增加。我们发现优化的步长使用我们的边界和精确的特征所揭示的增长$η$的风险规避的计算成本。我们提出的算法是一个简单的修改，一个典型的原始-对偶随机次梯度法。有了这个温和的变化，我们的分析令人惊讶地避免了需要先验界或复杂的自适应边界计划的对偶变量假设在许多以前的作品。我们还绘制了有趣的相似之处，在样本的复杂性，在文献中派生的机会约束的程序与一个非常不同的解决方案架构。
2021-04-05 math.OC
An Adaptive Proximal Framework for Stochastic Weakly Convex Optimization
Edwardson School of Industrial Engineering, Purdue University（普渡大学爱德华森工业工程学院）
针对弱凸参数未知的优化问题，提出自适应近端引导方案（APS），通过在线双向调整近端参数，在确定性和随机性设置下均达到O(ε^{-2})迭代复杂度。
2026-08-11 cs.DS math.OC
Adaptive Primal-Dual Stochastic Gradient Method for Expectation-constrained Convex Stochastic Programs
随机梯度法在求解随机最优化问题中得到了广泛的应用。大多数现有的工程假设没有限制或易于项目的限制。本文考虑带期望约束的凸随机最优化问题。对于这些问题，在可行集上执行投影通常是非常昂贵的。文献中的几个SGM可以应用于解决期望约束随机问题。提出了一种基于拉格朗日函数的原始-对偶型SGM。与现有的方法不同，我们的方法采用了自适应技术，以加快收敛。在每次迭代中，我们的方法查询拉格朗日函数的无偏随机次梯度，然后它更新的原始变量的自适应SGM更新和对偶变量的香草SGM更新。我们表明，所提出的方法具有$O(1/\sqrt{k})$的收敛速度的客观误差和约束违反。虽然收敛速度与现有的SGM相同，但我们观察到它在求解Neyman-Pearson分类和二次约束二次规划时的收敛速度明显快于现有的非自适应原始-对偶SGM和原始SGM。此外，我们修改所提出的方法来解决凹凸随机极大极小问题，我们执行自适应SGM更新的原始和对偶变量。利用原对偶间隙，证明了$O(1/\sqrt{k})$对求解Minimax问题的修正方法的收敛速度.
2021-12-31 math.OC
An adaptive finite element method for the sparse optimal control of fractional diffusion
Universidad Técnica Federico Santa María（费德里科·萨玛拉科技大学）
本文提出并分析了一个后验误差估计器，用于包含非可导成本函数、分数扩散和控制约束的偏微分方程约束优化问题。通过将分数扩散表示为非均匀PDE的Dirichlet到Neumann映射，并提出一个等价的最优控制问题，设计了一个后验误差估计器，该估计器由四个贡献组成：两个与状态和伴随方程的近似有关，两个与控制变量的离散化及其子梯度有关。状态和伴随方程的离散化贡献依赖于加权Sobolev空间中的各向异性误差估计器。证明了所提出的后验误差估计器在合适假设下是局部有效且可靠的，并设计了自适应方案，使得在进行的示例中获得最优的实验收敛率。
2019-06-03 cs.NA math.NA math.OC
A Stochastic LineseArch Method (SLAM) for Minimizing Expectation Residuals
University of Michigan（密歇根大学）；University of Hong Kong（香港大学）
本文提出一种无参数随机线搜索方法SLAM，通过非单调步长序列无需L的值，实现期望残差O(1/√K)收敛，迭代和样本复杂度分别为O(ε^{-2})和O(ε^{-4})。
2026-10-09 math.OC
Full Waveform Inversion with Adaptive Regularization
正则化是求解地学领域中各种不适定非线性反问题必不可少的方法。合适的正则化的基础是由正则化器表示的先验，它可以是非自适应的或自适应的（数据驱动的）。在本文中，我们提出了一般的黑箱正则化算法来解决非线性反问题，如全波形反演（FWI），它承认经验先验，自适应地确定了复杂的去噪算法。非线性反问题的解决，通过一个近似牛顿方法，它概括了传统的牛顿步骤，以这样一种方式涉及的梯度/次梯度（可能不可微）正则化函数通过操作员分裂和邻近映射。此外，它需要考虑正则化最小二乘最优化问题中的黑塞矩阵。我们提出了两种不同的分裂算法，这项任务。在第一，我们计算牛顿搜索方向的迭代法的基础上的一阶广义迭代收缩阈值算法（ISTA），因此牛顿ISTA（NISTA）。迭代只需要海森矢量积来计算非线性目标函数的二次近似的梯度步长。第二个依赖于交替方向法的乘法器（ADMM），因此牛顿ADMM（NADMM），其中的最小二乘优化子问题和正则化子问题的复合解耦通过辅助变量，并在交替模式下解决。我们比较NISTA和NADMM数值求解全波形反演与BM三维正则化。测试结果表明，这两种算法都取得了可喜的成果。然而，NADMM显示出更快的收敛速度比牛顿ISTA时，使用L-BFGS解决牛顿系统。
2020-01-27 math.OC
An Adaptive Parameter-free and Projection-free Restarting Level Set Method for Constrained Convex Optimization Under the Error Bound Condition
针对约束凸优化，提出一种基于无投影次梯度的无参数水平集方法，通过动态重启各水平参数副本以适配误差界条件，实现加速收敛，数值实验优于基准方法。
2025-10-15 math.OC
Adaptive Low-Nonnegative-Rank Approximation for State Aggregation of Markov Chains
在假设状态空间可映射为少量元状态的条件下，提出了一种低秩非负秩近似方法来确定有限状态马尔可夫链的状态聚集结构.亚状态的数量由马尔可夫转移阵的非负秩来表征。受核范数松弛在低秩极小化问题中的成功应用的启发，我们提出了一个原子正则化子作为非负秩的凸代理，并建立了一个凸优化问题.由于原子正则化本身是不计算上容易处理的，我们而是解决了一系列的问题，涉及一个非负分解的马尔可夫转移阵通过使用近端交替线性化最小化方法。两种方法调整因式分解的秩，使局部极小值逃脱。一种是在分解矩阵上附加一列，这可以解释为负次梯度步长的近似。另一种是通过线性组合来减少冗余维数。总体而言，所提出的算法很可能收敛到全局解。我们的方法的效率和统计特性说明合成数据。我们还将我们的状态聚合算法应用于曼哈顿交通数据集，并与现有的方法进行了广泛的比较。
2018-10-14 math.OC stat.ML
Stochastic Polyak Step-size for SGD: An Adaptive Learning Rate for Fast Convergence
Mila（米拉研究所）；DIRO（计算机科学与运筹学系（蒙特利尔大学））；Université de Montréal（蒙特利尔大学）；University of Alberta（阿尔伯塔大学）；McGill（麦吉尔大学）；Element AI（Element AI公司）；CIFAR（加拿大高级研究院）
我们提出了一个随机变量的经典Polyak步长（Polyak，1987年）常用的次梯度法。虽然计算Polyak步长需要了解最佳函数值，但此信息可随时用于典型的现代机器学习应用程序。因此，提出的随机Polyak步长（SPS）是一个有吸引力的选择，用于设置随机梯度下降（SGD）的学习率。我们提供了理论上的收敛性保证配备SPS SGD在不同的设置，包括强凸，凸和非凸函数。此外，我们的分析结果在新的收敛保证SGD与一个恒定的步长。我们表明，SPS是特别有效的训练过参数化模型能够插值的训练数据。在这种情况下，我们证明了SPS使SGD收敛到真正的解决方案，在一个快速的速度，而不需要任何问题相关的常数或额外的计算开销的知识。我们通过对合成数据集和真实数据集的大量实验来验证我们的理论结果。我们证明了与最先进的最优化方法相比，在训练过参数化模型时，具有SPS的SGD具有强大的性能。
2021-03-22 cs.LG math.OC stat.ML
Gradient Regularization of Newton Method with Bregman Distances
在本文中，我们提出了一个第一个二阶计划的基础上任意非欧规范，纳入Bregman距离。它们被直接引入到牛顿迭代中，正则化参数与当前梯度范数的平方根成比例。对于基本方案，适用于复合最优化问题，我们建立了整体收敛速度的顺序$O(k^{-2})$的功能性剩余和次梯度的范数。我们的主要假设的光滑部分的目标是Lipschitz连续的Hessian。对三次一致凸函数证明了全局线性收敛速度，对强凸函数证明了局部超线性收敛速率。我们的方法可以被看作是一个松弛的三次正则化的牛顿方法，它保持其收敛性，而在每次迭代的辅助子问题是简单的。我们装备我们的方法与自适应线搜索过程中选择的正则化参数。我们还提出了一个加速方案的收敛速度$O(k^{-3})$，其中$k$是迭代计数器。
2021-12-06 math.OC
Stochastic Localization Methods for Convex Discrete Optimization via Simulation
针对具有凸性结构的大规模多维离散最优化问题，提出并分析了一套新的序贯模拟优化算法。“大规模”概念是指决策变量在每个维度上都有大量的值可供选择。所提出的算法的目标是确定一个解决方案，这是接近最优解给定的任何精度水平与任何给定的概率。为了实现这一目标，利用凸性结构，我们的算法设计不需要扫描所有的选择的决策变量，而是顺序地画一个子集的选择的决策变量，并使用它们来“本地化”潜在的近最优解的自适应收缩区域。为了展示局部化操作的威力，我们首先考虑一维大规模问题。我们提出了收缩均匀采样算法，证明了该算法在渐近准则下以最优的期望仿真代价达到目标。对于多维问题，本文将局部化思想与次梯度信息相结合，提出了一个随机割平面法和降维算法的设计框架，其期望模拟代价对问题的规模和维数的依赖性较低.所提出的算法不需要关于目标函数的Lipschitz常数的先验信息，并且仿真成本的上界由独立于Lipschitz常数的值限定。最后，我们提出了一种自适应算法来处理未知噪声方差的情况下，假设系统的随机性是高斯。我们实现了所提出的算法的合成和嵌套模拟最优化问题，并表现出更好的性能相比，基准方法。
2022-01-18 math.OC
Geometry, Computation, and Optimality in Stochastic Optimization
Stanford University（斯坦福大学）
研究问题几何在随机与在线优化中的计算与统计影响，刻画了随机梯度与自适应梯度方法的极小化极大最优性条件，证明二次凸约束下对角预条件方法最优，并指出偏离该几何时需采用 mirror descent 等非线性更新。
2025-07-16 cs.IT cs.LG math.IT
A General Family of Stochastic Proximal Gradient Methods for Deep Learning
KAIST（韩国科学技术院）；IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）；AITRICS
我们研究了正则化神经网络的训练，其中正则化器可以是非光滑和非凸的。我们提出了一个统一的框架随机近端梯度下降，我们术语ProxGen，允许任意的积极预条件和较低的半连续正则化。我们的框架包括标准的随机近端梯度方法，没有预条件作为特殊情况，这已被广泛研究，在各种设置。不仅如此，我们提出了两个重要的更新规则，超出了众所周知的标准方法作为我们的方法的副产品：（i）自适应随机梯度方法的$\ell_q$正则化（$0 \leq q \leq 1$）的第一个封闭形式的邻近映射，以及（ii）ProxQuant的修订版本，修复了原始方法的警告，用于特定于量化的正则化。我们分析了ProxGen的收敛性，并表明整个ProxGen家族在没有预条件的情况下具有与随机邻近梯度下降相同的收敛速度。我们还通过大量的实验经验表明，近端的方法相比，基于亚梯度的方法的优越性。有趣的是，我们的结果表明，非凸正则化的近似方法比凸正则化的方法更有效。
2020-07-15 cs.LG math.OC stat.ML
Safeguarded Stochastic Polyak Step Sizes for Non-smooth Optimization: Robust Performance Without Small (Sub)Gradients
Mathematical Institute for Data Science (MINDS), Johns Hopkins University, Baltimore, MD, USA（数据科学数学研究所（MINDS），约翰霍普金斯大学，巴尔的摩，MD，美国）；Department of Computer Science, Johns Hopkins University, Baltimore, MD, USA（计算机科学系，约翰霍普金斯大学，巴尔的摩，MD，美国）；Department of Applied Mathematics and Statistics, Johns Hopkins University, Baltimore, MD, USA（应用数学与统计学系，约翰霍普金斯大学，巴尔的摩，MD，美国）
针对非光滑凸优化问题，提出保护性随机Polyak步长（SPS_safe）用于随机次梯度方法，在无需强假设下提供收敛保证，并融入动量机制，实验验证其在深度神经网络训练中避免梯度消失的鲁棒性。
2026-06-01 cs.LG math.OC stat.ML
