Provable Adaptivity of Adam under Non-uniform Smoothness
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Peking University（北京大学）；Chinese Academy of Mathematics and Systems Science（中国科学院数学与系统科学研究院）；Microsoft（微软）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
本文针对现有Adam收敛分析依赖的L-光滑假设不适用于多数深度学习任务的问题，首次在$(L_0, L_1)$-光滑条件下证明了学习率递减的RR Adam的收敛性，并在相同设置下严谨对比证明Adam收敛速度优于SGD。
2024-06-24 cs.LG math.OC
Variance Reduction on General Adaptive Stochastic Mirror Descent
Purdue University（普渡大学）
在这项工作中，我们调查的方差减少的想法，通过研究其性质与一般的自适应镜像下降算法在非光滑非凸有限和优化问题。我们提出了一个简单而通用的框架方差减少自适应镜像下降算法命名为SVRAMD，并提供其收敛性分析在非光滑非凸问题和P-L条件问题。我们证明了方差减少降低了自适应镜像下降算法的SFO复杂度，从而加快了收敛速度。特别是，我们的一般理论意味着，方差减少可以应用于使用时变步长的算法和自适应算法，如AdaGrad和RMSProp。此外，SVRAMD的收敛速度恢复现有的最佳速度的非自适应方差减少镜像下降算法没有复杂的算法组件。深度学习的大量实验验证了我们的理论发现。
2021-08-29 cs.AI cs.LG math.OC
Unlocking TriLevel Learning with Level-Wise Zeroth Order Constraints: Distributed Algorithms and Provable Non-Asymptotic Convergence
Tongji University（同济大学）
针对带零阶约束的三层学习场景及数据分布式隐私需求，提出通用分布式三层零阶学习框架DTZO，通过零阶割平面构建级联近似，证明其非渐近收敛性，实验显示性能最高提升约40%。
2024-12-10 cs.LG math.OC
Towards Simple and Provable Parameter-Free Adaptive Gradient Methods
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Department of Computer Science, University of California, Los Angeles（加州大学洛杉矶分校计算机科学系）；School of Computing and Data Science, the University of Hong Kong（香港大学计算科学与数据科学学院）；Bytedance Inc（字节跳动公司）
提出 AdaGrad++ 和 Adam++ 两种简单无参数自适应梯度方法，在无需预设学习率的情况下实现与 AdaGrad 和 Adam 相当的收敛保证。
2026-05-31 cs.LG math.OC stat.ML
MAGDrop: Momentum Adaptive Gradient Dropout With Provable Generalization Guarantees
Quaid-i-Azam University（夸依兹·阿扎姆大学）
本文提出了一种新颖的正则化方法MAGDrop，通过基于梯度和累积动量动态调整丢弃率增强非凸优化稳定性，并推导出非渐近PAC-Bayes泛化界限，在MNIST和CIFAR-10上取得优异性能。
2026-11-04 cs.LG math.ST stat.TH
Subgradient Descent Learns Orthogonal Dictionaries
Stanford University（斯坦福大学）
本文涉及字典学习，即，稀疏编码，一个基本的表示学习问题。我们表明，一个次梯度下降算法，随机初始化，可以证明恢复正交字典自然非光滑，非凸$\ell_1$最小化制定的问题，温和的统计假设下的数据。这与以前的可证明方法相反，这些方法需要昂贵的计算或精细的初始化方案。我们的分析开发了几种用于表征非光滑函数景观的工具，这些工具可能对具有非光滑激活的深度网络的可证明训练（例如，ReLU），以及许多其他应用程序。初步实验证实了我们的分析，并表明我们的算法在恢复正交字典的经验。
2019-07-01 cs.IT cs.LG math.IT
Provable Acceleration of Heavy Ball beyond Quadratics for a Class of Polyak-Łojasiewicz Functions when the Non-Convexity is Averaged-Out
Yale University（耶鲁大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对一类非凸性被平均化的PL函数，提出新技术分析Hessian变化对收敛速度的影响，证明重球法超越二次函数的加速，并展示自适应动量参数的优势。
2023-08-29 cs.LG math.OC
Provable Regret Bounds for Deep Online Learning and Control
Google AI Princeton（谷歌AI普林斯顿）；Princeton University（普林斯顿大学）
深度学习的理论几乎完全集中在监督学习、使用随机梯度下降的非凸优化和过度参数化的神经网络上。人们普遍认为，优化器动态、网络架构、初始化过程和其他因素联系在一起，是其成功的所有组成部分。这为分析基于状态和/或在线深度学习提出了理论挑战。受控制应用的启发，我们给出了从深度学习到在线凸优化的一般黑箱约简。这使我们能够解耦优化，遗憾，表达能力，并为具有ReLU激活的完全连接的深度神经网络获得不可知的在线学习保证。我们量化的收敛性和遗憾的保证，任何范围内的参数，并允许任何优化程序，如自适应梯度方法和二阶方法。作为一个应用程序，我们推导出可证明的算法在在线情节设置的深度控制。
2022-02-16 cs.LG
Adapting to Online Label Shift with Provable Guarantees
Nanjing University（南京大学）；The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能研究中心）
当训练数据与即将到来的测试样本共享相同的分布时，标准的监督学习范例有效地工作。然而，在现实世界的应用程序中，这种静态假设往往是违反的，特别是当测试数据出现在一个在线的方式。在本文中，我们制定和调查的问题\emph{online label shift}（OLaS）：学习者训练的初始模型从标记的离线数据，然后将其部署到一个未标记的在线环境中，底层的标签分布随时间而变化，但标签条件密度不。非平稳性和缺乏监督的性质使得这一问题具有挑战性。为了解决这个困难，我们构造了一个新的无偏风险估计，利用未标记的数据，它表现出许多良性的性质，虽然与潜在的非凸性。在此基础上，我们提出了新的在线集成算法来处理环境的非平稳性。我们的方法享有最佳的\emph{dynamic regret}，表明性能是有竞争力的千里眼谁知道在事后的在线环境，然后选择最佳的决定，为每一轮。所得到的动态后悔边界尺度的强度和模式的标签分布偏移，因此表现出适应性的OLaS问题。大量的实验进行验证的有效性和支持我们的理论研究结果。
2023-01-15 cs.LG stat.ML
Adapt or Forget: Provable Tradeoffs Between Adam and SGD in Nonstationary Optimization
Cornell University（康奈尔大学）
本文理论分析非平稳优化中Adam与SGD的权衡，揭示噪声-漂移权衡：噪声主导时Adam有利，漂移主导时SGD跟踪误差更小，并给出依赖超参数的显式界解释其稳定性。
2026-09-14 cs.LG stat.ML
Random Hypervolume Scalarizations for Provable Multi-Objective Black Box Optimization
Google Brain（谷歌大脑）
单目标黑箱优化（也称为零阶优化）是在自适应选择的输入$x$上给出评估的情况下，最小化标量目标$f(x)$的过程。在本文中，我们考虑多目标优化，其中$f(x)$输出一个向量的可能竞争的目标和目标是收敛到帕累托前沿。在量化方面，我们希望最大化标准超体积指标度量，该指标度量整个选定输入集的主导超体积。在本文中，我们引入了一种新的标量化函数，我们称之为超体积标量化，并表明，从适当选择的分布绘制随机标量化可以用来有效地近似超体积指标度量。我们利用这种连接表明，贝叶斯优化与我们的标量通过常见的采集功能，如汤普森采样或上置信界，可证明收敛到整个帕累托前沿推导紧超体积遗憾界的顺序$\widetilde{O}(\sqrt{T})$。此外，我们强调了我们的标量化框架的一般效用，通过显示任何可证明收敛的单目标优化过程可以毫不费力地转换为具有可证明收敛保证的多目标优化过程。
2020-06-09 cs.LG math.OC stat.ML
Efficient Distributed Learning over Decentralized Networks with Convoluted Support Vector Machine
University of Michigan（密歇根大学）；Renmin University of China（中国人民大学）；Institute of Statistics and Big Data, Renmin University of China（中国人民大学统计与大数据研究院）
本文针对去中心化网络中的高维分类问题，提出基于卷积平滑铰链损失的广义ADMM算法，实现了线性收敛和接近最优的稀疏估计性能。
2025-03-10 cs.DC cs.LG stat.ML
Decentralized Inexact Proximal Gradient Method With Network-Independent Stepsizes for Convex Composite Optimization
Southeast University（东南大学）；Purple Mountain Laboratories（紫金山实验室）；Yonsei University（延世大学）
针对无向连通网络上的凸组合最优化问题，提出了一种新的基于CTA（Combine-Then-Adapt）的分散算法.这些问题中的局部损失函数包含光滑项和非光滑项。该算法采用非协调的网络无关常数步长，只需近似求解一系列邻近映射，有利于求解非光滑损失函数的邻近映射可能没有解析解的分散组合最优化问题.对于一般的凸情形，我们证明了该算法的O（1/k）收敛速度，如果精确求解邻近映射，则该算法的收敛速度可提高到O（1/k）.此外，利用度量次正则性，我们建立了算法的线性收敛速率。数值实验证明了算法的有效性。
2023-03-04 cs.LG math.OC
Provable Generalization of Overparameterized Meta-learning Trained with SGD
Tsinghua University（清华大学）；The Ohio State University（俄亥俄州立大学）
尽管深度元学习在经验上取得了巨大成功，但对过度参数化元学习的理论理解仍然有限。本文研究了一种广泛使用的元学习方法，模型不可知元学习（MAML），其目的是找到一个良好的初始化快速适应新的任务。在混合线性回归模型下，我们分析了在过参数化机制下用SGD训练的MAML的泛化特性。我们提供了MAML的超额风险的上限和下限，它捕捉了SGD动态如何影响这些泛化界限。有了这些尖锐的特征，我们进一步探讨了各种学习参数如何影响过参数化MAML的泛化能力，包括明确识别典型的数据和任务分布，可以实现减少泛化误差与过参数化，并表征自适应学习率对过度风险和提前停止时间的影响。我们的理论研究结果得到了实验的进一步验证。
2022-06-18 cs.LG math.ST stat.TH
Provable Target Sample Complexity Improvements as Pre-Trained Models Scale
University of Tsukuba（筑波大学）；RIKEN AIP（理化学研究所AIP）；SB Intuitions Corp.（SB Intuitions公司）；Kyoto University（京都大学）；Shiga University（滋贺大学）；Institute of Science Tokyo（东京科学大学）
本文通过引入caulking框架，证明预训练模型规模扩大可降低下游任务的样本复杂度，为扩展定律提供了理论支持。
2026-02-04 cs.LG stat.ML
Gradient-Free Multi-Agent Nonconvex Nonsmooth Optimization
本文考虑了连通多智能体网络上非凸且可能非光滑函数之和的最小化问题，其中智能体对全局费用函数具有部分知识，并且只能访问零阶信息（即，函数值）的局部费用函数。我们提出并分析了一个分布式的原始-对偶无梯度算法这个具有挑战性的问题。我们证明了通过适当地选择参数，所提出的算法收敛到一阶平稳解的集合，并具有可证明的全局次线性收敛速度。数值实验表明，我们提出的方法优化网络上的非凸和非光滑问题的有效性。
2019-04-09 math.OC stat.CO
Provable Complexity Improvement of AdaGrad over SGD: Upper and Lower Bounds in Stochastic Non-Convex Optimization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文通过引入更契合自适应梯度方法逐坐标特性的光滑性与噪声假设，并采用梯度 l1-范数作为平稳性度量，首次在非凸优化中证明了 AdaGrad 相对 SGD 的迭代复杂度可改进达维度因子 d，并给出匹配下界。
2025-06-06 cs.LG math.OC stat.ML
Simple and Optimal Stochastic Gradient Methods for Nonsmooth Nonconvex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
我们提出并分析了几种随机梯度算法，用于寻找非凸的稳定点或局部最小值，可能与非光滑正则化，有限和和在线优化问题。首先，我们提出了一个简单的近似随机梯度算法的基础上减少方差称为ProxSVRG+。我们对ProxSVRG+进行了清晰而严密的分析，结果表明，对于各种小批量大小，它的性能优于确定性近端梯度下降（ProxGD），因此解决了Reddi等人提出的一个公开问题。（2016 b）。此外，ProxSVRG+使用比ProxSVRG少得多的邻近oracle调用（Reddi等人，2016 b），并通过避免完整的梯度计算扩展到在线设置。然后，我们进一步提出了一种基于SARAH（Nguyen et al.，2017），并表明SSRGD进一步提高了ProxSVRG+的梯度复杂度，并实现了最佳上限，与已知的下限（Fang et al.，2018年; Li等人，2021年）。此外，我们表明，ProxSVRG+和SSRGD都可以自动适应目标函数的局部结构，例如在有限和情况下非凸函数的Polyak-Jasojasiewicz（PL）条件，即，我们证明了它们都可以自动切换到更快的全局线性收敛而无需在先前的工作ProxSVRG（Reddi等人，2016年b）。最后，我们专注于更具有挑战性的问题，找到一个$(ε, δ)$ -局部最小值，而不仅仅是找到一个$ε$ -近似（一阶）平稳点（这可能是一些坏的不稳定鞍点）。…
2022-08-22 cs.DS cs.LG math.OC
Provable Pathways: Learning Multiple Tasks over Multiple Paths
University of California, Riverside（加州大学河滨分校）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
在大量任务中构建有用的表示是样本高效智能系统的关键要求。多任务学习（MTL）的传统思想是在任务之间建立一个共享的表示，然后通过调整最后一层来适应新的任务。使用共享的一种适合所有的表示的理想的改进是构造特定于任务的表示。为此，最近的PathNet/muNet架构将单个任务表示为更大超网中的路径。由路径诱导的子网络可以被看作是超网计算图中模块的组合。这项工作从统计学习的角度探讨了路径建议：我们首先为经验风险最小化问题在多个路径上学习多个任务（多路径MTL）开发了新的泛化边界。结合，我们正式的好处，从而多路径表示时，适应新的下游任务。我们的界限表示在高斯复杂性，导致有形的保证类的线性表示，并提供新的见解的质量和多路径表示的好处。当计算图是一棵树时，多路径MTL分层聚类任务，并建立特定于集群的表示。我们提供了进一步的讨论和实验分层MTL和严格识别的条件下，多路径MTL是可证明优于传统的MTL方法与浅超网。
2023-03-08 cs.LG stat.ML
Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis
Rensselaer Polytechnic Institute（伦斯勒理工学院）；New Jersey Institute of Technology（新泽西理工学院）；Michigan State University（密歇根州立大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
本文首次对单层Transformers的低秩和稀疏性质进行理论分析，证明其梯度更新是低秩的，并发现适当的基于幅度的剪枝对测试性能影响甚微。
2024-06-24 cs.LG
Provable Benefit of SignGD: A Minimal Model Under Heavy-Tailed Class Imbalance
Toyota Technological Institute at Chicago（丰田技术研究所）
本文研究了在重尾类不平衡数据下，符号下降算法相较于GD的收敛优势，通过最小模型证明其有效性。
2026-10-01 cs.AI cs.LG
Analysis of Generalized Bregman Surrogate Algorithms for Nonsmooth Nonconvex Statistical Learning
现代统计应用通常涉及最小化可能是非光滑和/或非凸的目标函数。本文重点介绍了一个广泛的Bregman代理算法框架，包括局部线性逼近，镜像下降，迭代阈值，DC编程和许多其他作为特殊情况。通过广义Bregman函数的重新表征，使我们能够构建合适的误差措施，并建立整体收敛率的非凸和非光滑的目标，在可能的高维。对于具有复合目标的稀疏学习问题，在一定的正则性条件下，得到的估计量作为代理的不动点，虽然不一定是局部极小值，但具有可证明的统计保证，并且迭代序列可以在所需精度内几何快速地逼近统计真值.本文还研究了如何通过控制步长和松弛因子来设计自适应的基于动量的加速度，而不需要假设凸性或光滑性。
2021-12-16 math.OC math.ST stat.CO
An Inertial Block Proximal Linearized Method with Adaptive Momentum for Nonconvex and Nonsmooth Optimization
Yunnan Earthquake Administration（云南省地震局）
本文针对多块非凸非光滑优化问题，提出IBPL⁺-TP方法，该方法具三大优势，可保证目标函数单调收敛及序列全局收敛至临界点，在两类带ℓ₀约束的稀疏非负矩阵分解等问题上性能优于现有最先进方法。
2026-08-07 cs.LG math.OC
An online adaptive finite-element method for nonsmooth PDE-constrained optimization
George Mason University（乔治梅森大学）；Sandia National Laboratories（桑迪亚国家实验室）；South Asian University（南亚大学）
本文提出一种基于信任区域的自适应有限元算法，用于求解包含稀疏正则化和凸约束的非光滑偏微分方程约束优化问题，结合了非光滑问题的鲁棒性和自适应有限元的效率，通过自动细化离散化来平衡计算成本与解的精度。
2026-04-27 math.OC
A Single-loop Stochastic Riemannian ADMM for Nonsmooth Composite Optimization
College of Science, National University of Defense Technology（国防科技大学理学院）
本文提出MARS-ADMM，一种单环随机黎曼ADMM算法，实现非光滑优化的近最优复杂度，优于现有方法并达到确定性优化的最优水平。
2026-09-30 math.OC
A Proximal Gradient Method With Probabilistic Multi-Gossip Communications for Decentralized Composite Optimization
Suzhou University of Technology（苏州科技大学）；Southeast University（东南大学）；Purple Mountain Laboratories（紫金山实验室）
针对分散式光滑＋非光滑复合优化，提出概率局部更新与多Gossip通信的 MG-Skip，在强凸连通网络中以独立于拓扑和更新次数的步长获得可证明通信加速。
2025-09-27 cs.LG math.OC
Nonconvex and Nonsmooth Sparse Optimization via Adaptively Iterative Reweighted Methods
ShanghaiTech University（上海科技大学）；Shenzhen University（深圳大学）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）
我们提出了一个具有凸集约束的非凸和非光滑稀疏优化问题的一般形式，它可以考虑大多数现有类型的非凸稀疏诱导项，具有很强的适用性，以广泛的应用。我们设计了一个通用的算法框架，迭代重加权算法求解所提出的非凸和非光滑稀疏优化问题，解决了一系列加权凸正则化问题的自适应更新的权重。一阶最优性条件的推导和全局收敛性的结果提供宽松的假设下，使我们的理论结果分析家庭的各种加权算法的实用工具。我们提出的配方和算法的有效性和效率在各种稀疏优化问题的数值实验中得到了证明。
2021-08-20 cs.IT cs.LG math.IT
An Inexact Proximal Framework for Nonsmooth Riemannian Difference-of-Convex Optimization
本文提出不精确黎曼近端DC（iRPDC）框架，用于求解含非光滑DC项的非光滑黎曼优化问题，首次建立与$\ell_0$正则化的等价性，并实现匹配最优的$\mathcal{O}(\epsilon^{-3})$整体复杂度，在稀疏PCA上验证了有效性。
2025-09-10 math.OC
Adaptive smoothing mini-batch stochastic accelerated gradient method for nonsmooth convex stochastic composite optimization
考虑一类凸约束非光滑凸随机复合最优化问题，其目标函数由可微凸分量与一般非光滑但凸分量之和给出。非光滑组件不需要具有容易获得的近端操作符，或者具有可以使用[Nesterov，2005]中的平滑技术的最大结构。为了解决这类问题，我们提出了一个自适应平滑小批量随机加速梯度（AdaSMSAG）方法，它结合了随机逼近方法，Nesterov的加速梯度法，和平滑方法，允许一般平滑近似。建立了该方法的收敛性。此外，最坏情况下的迭代复杂度的顺序是优于最先进的随机逼近方法。数值结果表明，建议的AdaSMSAG方法的有效性的风险管理投资组合优化和一个家庭的Wasserstein分布鲁棒支持向量机问题与实际数据。
2021-12-07 math.OC
Stochastic ADMM with batch size adaptation for nonconvex nonsmooth optimization
College of Science, National University of Defense Technology（国防科技大学理学院）
本文提出了一种自适应批量大小的SADMM方法，通过动态调整批量大小来解决非凸非光滑优化中的方差降低与计算成本之间的权衡，并验证了其有效性。
2025-09-06 math.OC
An Accelerated Block Proximal Framework with Adaptive Momentum for Nonconvex and Nonsmooth Optimization
Yunnan University（云南大学）
针对非凸非光滑优化问题，提出带自适应动量的加速块近似框架，解决外推失效问题，支持块变量随机顺序更新，在温和假设下证明收敛性与收敛速率，经数值实验验证有效。
2023-08-24 cs.LG math.OC
Frequency-aware SGD for Efficient Embedding Learning with Provable Benefits
Georgia Institute of Technology（佐治亚理工学院）；Facebook
嵌入式学习在推荐系统和自然语言建模等领域有着广泛的应用。为了有效地学习质量嵌入，自适应学习率算法已经证明了优于SGD的经验性能，这主要归功于它们依赖于令牌的学习率。然而，令牌依赖的学习率的效率的潜在机制仍然未被探索。我们表明，将频率信息的令牌嵌入学习问题导致可证明有效的算法，并证明常见的自适应算法隐式利用的频率信息在很大程度上。具体来说，我们提出了（基于计数器的）频率感知的随机梯度下降，它为每个令牌应用依赖于频率的学习率，并且当令牌分布不平衡时，与SGD相比，表现出可证明的加速。经验上，我们表明，所提出的算法能够改善或匹配自适应算法的基准推荐任务和大规模的工业推荐系统，缩小SGD和自适应算法之间的性能差距。我们的结果是第一次表明令牌依赖的学习率可证明地提高了非凸嵌入学习问题的收敛性。
2021-11-23 cs.LG math.OC
Adaptive Riemannian ADMM for Nonsmooth Optimization: Optimal Complexity without Smoothing
针对紧致黎曼子流形上的光滑与非光滑凸复合优化问题，提出无需平滑非光滑项的自适应 ARADMM，每次迭代仅需一次梯度求值和一次近端更新，并达到 O(ε^-3) 的最优 KKT 复杂度。
2025-10-21 math.OC
MGProx: A nonsmooth multigrid proximal gradient method with adaptive restriction for strongly convex optimization
针对非光滑强凸优化问题，提出结合多重网格与自适应限制算子的MGProx近端梯度方法，完成理论分析并通过弹性障碍问题验证其收敛速度优于现有方法。
2024-05-10 math.OC
An Adaptive Proximal Point Method for Nonsmooth and Nonconvex Optimization on Hadamard Manifolds
Federal University of Piauı́（皮奥伊联邦大学）；Universidade Estadual do Sudoeste da Bahia（巴伊亚西南州立大学）
针对完备黎曼流形上的非光滑非凸复合优化问题，提出两种自适应邻近点方法变体（分别利用或无需光滑部分梯度的Lipschitz常数），分析复杂度与收敛性并通过数值实验验证有效性。
2025-11-18 math.OC
Extended alternating structure-adapted proximal gradient algorithm for nonconvex nonsmooth problems
针对非凸非光滑优化中多块不可分离耦合结构，提出扩展的交替结构自适应近端算法（eASAP），利用分块受限近端正则性并分析全局收敛与次线性速率，在多模态数据融合中表现优异。
2024-06-25 math.OC
Two-step inertial Bregman alternating structure-adapted proximal gradient descent algorithm for nonconvex and nonsmooth problems
针对实 Hilbert 空间中拟非扩张算子的多集分裂公共不动点问题，提出结合惯性技术与自适应步长的原始-对偶加速迭代算法，证明弱收敛并通过数值实验验证性能。
2023-06-07 math.OC
An inexact restoration-nonsmooth algorithm with variable accuracy for stochastic nonsmooth convex optimization problems in machine learning and stochastic linear complementarity problems
研究目标函数为非光滑凸数学期望形式的无约束最优化问题。所提出的方法近似预期的目标函数与样本平均函数使用不精确恢复为基础的适应样本量。根据不精确恢复以自适应方式选择样本量。该算法使用线搜索，并假设相对于当前近似函数的下降方向。我们能证明。在标准假设下的收敛性。对两类问题，机器学习损失函数训练分类器和随机线性互补性问题的数值结果证明了该方案的有效性.
2022-11-02 cs.NA math.NA math.OC
Adaptive Smoothing Algorithms for Nonsmooth Composite Convex Minimization
我们提出了一个自适应平滑算法的基础上，Nesterov的平滑技术\cite{Nesterov2005c}解决“完全”非光滑复合凸优化问题。我们的方法结合了Nesterov的加速邻近梯度方案和一个新的同伦策略的光滑参数。通过适当地选择光滑函数，我们提出了一种新的算法，该算法具有$\mathcal{O}\left(\frac{1}{\varepsilon}\right)$ -最坏情况迭代复杂度，同时保持与Nesterov方法相同的每次迭代复杂度，并允许在每次迭代时自动更新光滑参数。然后，我们定制我们的算法来解决涵盖各种应用程序的四种特殊情况。我们还指定我们的算法来解决约束凸优化问题，并显示其收敛性保证的原始序列的迭代。我们通过三个数值例子证明了我们的算法，并与其他相关算法进行了比较。
2016-07-03 math.OC stat.ML
An Adaptive Primal-Dual Framework for Nonsmooth Convex Minimization
提出了一种新的自适应双环平滑算法来求解复合、非光滑、约束凸优化问题。我们的算法是基于Nesterov的平滑技术，通过一般Bregman距离函数。它自适应地选择内部循环中的迭代次数，以实现所需的复杂度范围，而不需要像增广拉格朗日方法（ALM）的变体那样先验地精确。我们证明了$\BigO{\frac{1}{k}}$ -无约束和约束设置的外序列的最后一个周期上的收敛速度，而遍历率是常见的ALM以及交替方向法的乘数文献。与现有的不精确ALM或二次惩罚方法相比，我们的分析不依赖于由内循环解决的子问题的最坏情况的界限。因此，我们的算法可以被看作是一个重新启动技术应用到ASGARD方法在\cite{TranDinh2015b}，但严格的理论保证或作为一个不精确的ALM明确的内部循环终止规则和自适应参数。我们的算法只需要初始化参数一次，并在迭代过程中自动更新它们，无需调优。我们通过几个例子来说明我们的方法相比，国家的最先进的优越性。
2018-08-14 math.OC
A sequential quadratic programming method for nonsmooth stochastic optimization with upper-C^2 objective
提出一种结合自适应采样的随机SQP方法，用于上C^2非光滑非凸优化，证明期望子序列收敛，并在生产定价运输及最优潮流问题上验证有效性。
2023-10-16 math.OC
Minimization of nonsmooth nonconvex functions using inexact evaluations and its worst-case complexity
针对复合非光滑非凸优化问题，提出了一种基于非精确函数和导数计算的自适应正则化算法。它表明，该算法最多需要$O(|\log(ε)|\,ε^{-2})$评估的问题的功能和他们的衍生物找到一个$ε$ -近似的一阶稳定点。因此，该复杂性界限概括了[Bellavia，Gurioli，Morini和Toint，2018]为光滑非凸问题的不精确方法提供的复杂性界限，并且在具有精确评估的光滑和非光滑非凸最小化已知的最优界限的$|\log(ε)|$因子内。一个实际上更严格的最坏情况下的复杂性$O(|\log(ε)|+ε^{-2})$的算法的变体。
2019-02-27 math.OC
SpiderBoost and Momentum: Faster Stochastic Variance Reduction Algorithms
The Ohio State University（俄亥俄州立大学）；The University of Utah（犹他大学）；Duke University（杜克大学）
SARAH和SPIDER是最近发展起来的两种随机方差缩减算法，SPIDER在光滑非凸优化问题上具有接近最优的一阶预言复杂度。然而，SPIDER使用了一个依赖于精度的步长，这在实践中减慢了收敛速度，并且不能处理涉及非光滑正则化器的目标函数。在本文中，我们提出了SpiderBoost作为一个改进的计划，它允许使用更大的常数级步长，同时保持相同的接近最优的预言复杂度，并可以扩展与邻近映射处理复合优化（这是非光滑和非凸）与可证明的收敛保证。特别是，我们表明，近端SpiderBoost实现了复合非凸优化的$\mathcal{O}(\min\{n^{1/2}ε^{-2},ε^{-3}\})$的预言复杂性，提高了$\mathcal{O}(\min\{n^{1/6},ε^{-1/3}\})$的因子的国家的最先进的结果。我们进一步开发了一种新的动量方案来加速复合优化的SpiderBoost，该方案在理论上实现了接近最优的预言复杂度，并在实验中得到了实质性的改善。
2020-05-15 cs.LG math.OC stat.ML
A Newton-Like Dynamical System for Nonsmooth and Nonconvex Optimization
本文提出一种连续牛顿法的非光滑适配动力系统，利用局部 Lipschitz 映射的图像导数扩展二阶信息，分析解的存在唯一性、轨迹渐近性，并在强度量次正则性与 KL 不等式条件下给出收敛保证和速率。
2024-12-08 math.OC
Randomized Block Subgradient Methods for Convex Nonsmooth and Stochastic Optimization
块坐标下降法和随机次梯度法在优化和机器学习中得到了广泛的研究。将随机区组抽样与基于对偶平均的随机次梯度方法相结合，提出了随机区组对偶平均（SBDA）--一类求解凸非光滑随机最优化的新的区组次梯度方法. SBDA只需要一个块的次梯度和更新块的变量，因此具有显着降低迭代成本比传统的次梯度方法。我们表明，SBDA为基础的方法表现出凸非光滑随机最优化的最佳收敛速度。更重要的是，我们引入了随机步长规则和块采样方案，是自适应的块结构，这显着提高了收敛速度w.r. t。问题参数。这是在最近的块次梯度方法应用于非光滑确定性或随机最优化形成鲜明对比。对于强凸目标，我们提出了一个新的平均计划，使正则化的双重平均方法最优，而不必诉诸任何加速计划。
2015-09-15 math.OC
Learning-rate-free Momentum SGD with Reshuffling Converges in Nonsmooth Nonconvex Optimization
本文提出一个广义框架，用于在最小化不光滑非凸函数时开发无需学习率的动量SGD方法，并基于此提出LFM方法，证明了其全局收敛性，实验表明LFM性能与现有先进方法相当。
2024-06-26 math.OC
Cut-Pursuit Algorithm for Regularizing Nonsmooth Functionals with Graph Total Variation
我们提出了Landrieu和Obozinski（2017）引入的截追踪算法的扩展，用于具有可分离不可微部分的函数的图全变差正则化。我们提出了一个修改后的算法方案，以及适应的收敛性证明。我们还提出了一个启发式的方法来处理的情况下，与图的每个顶点是多维的值。我们的算法，我们证明困难，病态的大规模逆和学习问题的性能，是这样的，它可能在实践中扩展的总变差正则化的应用范围。
2018-05-19 math.OC
Linearly contrained nonsmooth and nonconvex minimization
受连续介质力学中变分模型的启发，我们提出了一种新的算法，在欧几里得空间中求解具有线性约束的非光滑非凸极小化问题。我们展示了这个算法实际上是一个自然的推广著名的非平稳增广拉格朗日方法的凸优化。这种方法的相关特点是它适用于各种各样的非光滑和非凸的目标函数，其保证收敛到临界点的目标能量独立的初始值的选择，其简单的实施。实际上，该算法导致嵌套的双循环迭代。在内环中，增广拉格朗日算法对目标能量的固定二次和严格凸扰动执行自适应有限次数的迭代，这取决于由外环适应的参数。为了显示这种新算法的通用性，我们解释了它如何可以用于计算临界点逆自由不连续变分模型，如Mumford-Shah功能，并通过这样做，我们还推导和分析新的迭代阈值算法。
2013-07-15 math.AP math.OC
Steering exact penalty DCA for nonsmooth DC optimization problems with equality and inequality constraints
提出一种基于ℓ1罚函数和自适应罚参数更新策略的DCA变体，用于求解带非光滑DC等式与不等式约束的优化问题，并通过收敛性分析和两个离散最优控制算例验证其有效性。
2023-01-17 math.OC
A Stochastic Proximal Method for Nonsmooth Regularized Finite Sum Optimization
Polytechnique Montreal（蒙特利尔理工学院）；Cornell University（康奈尔大学）
我们考虑训练一个深度神经网络与非光滑正则化检索稀疏和有效的子结构的问题。我们的正则化子只假设是下半连续和有界的。我们结合了自适应二次正则化方法与近端随机梯度原理，推导出一个新的求解器，称为SR 2，其收敛性和最坏情况下的复杂性建立没有知识或近似梯度的Lipschitz常数。我们制定了一个停止标准，确保适当的一阶平稳性措施收敛到零在一定条件下。我们建立了一个最坏情况下的迭代复杂度为$\mathcal{O}(ε^{-2})$，与ProxGEN等相关方法相匹配，其中学习率假设与Lipschitz常数相关。我们在CIFAR-10和CIFAR-100上训练的网络实例上进行的实验表明，SR 2始终比ProxGEN和ProxSGD等相关方法具有更高的稀疏性和准确性。
2022-06-16 cs.LG math.OC stat.ML
Nonsmooth Optimization via Orthogonalized Momentum
Columbia University（哥伦比亚大学）；The University of Hong Kong（香港大学）
本文研究正交化动量在非光滑优化中的有效性，发现固定动量因子下Muon可能失效，提出自适应动量因子恢复收敛，并设计MAGD算法，在凸与非凸设置下均保证收敛，实验验证其作为Muon的实用替代方案。
2026-10-12 cs.LG math.OC
Generalized Geometry Block Proximal Linearized Method for Multiblock Nonconvex and Nonsmooth Optimization
针对多块非凸非光滑优化问题，提出广义几何块近端线性化（GGBPL）方法及其惯性版本，利用任意内积和可容许度量适应问题几何结构，建立了统一收敛框架和迭代复杂度界，并在稀疏非负矩阵分解和CP分解上展现优越性能。
2026-10-06 cs.LG math.OC
Nonmonotone Coderivative-Based Newton Methods for Nonsmooth Optimization with Machine Learning Applications
Wayne State University（韦恩州立大学）
针对非光滑优化中二阶信息利用困难的问题，提出基于余导数的牛顿框架，结合自适应正则化与非单调线搜索，实现全局及局部超线性收敛，并在Lasso、逻辑Lasso和SVM上验证了高效性与鲁棒性。
2026-10-08 math.OC
Riemannian Stochastic Fixed Point Optimization Algorithm
本文考虑了黎曼流形上拟非扩张映射的不动点集上的随机最优化问题。该问题使我们能够考虑复杂集合上的黎曼分层最优化问题，如多个闭凸集的交集，非光滑凸函数的所有极小值的集合，以及非光滑凸函数的子级集的交集.我们专注于自适应学习率优化算法，它适应步长（在机器学习领域称为学习率），以快速找到最优解。然后，我们提出了一个黎曼随机不动点优化算法，它结合了黎曼流形上的不动点逼近方法和自适应学习率优化算法。对非光滑凸优化和光滑非凸优化，我们也给出了算法的收敛性分析。分析结果表明，该算法在较小的恒定步长下近似于问题的解。考虑的情况下，步长序列递减表明，所提出的算法解决了有保证的收敛速度的问题。本文还提供了数值比较，证明所提出的算法的有效性与公式的基础上的自适应学习率优化算法，如亚当和AMSGrad。
2020-12-17 math.OC
