Inertial Bregman Proximal Gradient under Partial Smoothness
本文提出了一种用于最小化两函数之和的惯性 Bregman 近端梯度算法（IBPG），在三角缩放性质和 KL 性质框架下证明了其全局收敛性，并在部分光滑性假设下确立了局部线性收敛速率。
2025-01-29 math.OC
Disk matrices and the proximal mapping for the numerical radius
涉及矩阵数值半径的问题的最优矩阵通常具有圆盘形的值域，这是一种与部分光滑性相关的现象。这样的矩阵是高度结构化的：我们特别实验了半径的近似映射，它通常将n乘n的随机矩阵输入映射到具有实余维2n的圆盘矩阵的特定流形中。的输出，通过半定规划计算，也满足一个不寻常的排名最优性。
2020-04-30 math.OC
Revisiting Proximal Bundle Methods: Improved Rates under H{ö}lder Smoothness
University of California San Diego（加州大学圣迭戈分校）
本文重新分析经典近端束方法，将空步视为独立子程序，证明其自动适应Hölder光滑性，并导出改进的复杂度界，首次在经典下降检验下给出ν∈(0,1)的保证。
2026-09-15 cs.SY eess.SY math.OC
Revisiting Convergence: Shuffling Complexity Beyond Lipschitz Smoothness
Department of Computer Science, University of Maryland, College Park.（计算机科学系，马里兰大学 College Park 分校）；Department of Computer Science（计算机科学系）；Engineering, University of Texas Arlington（工程学院，德克萨斯大学阿灵顿分校）
针对常见机器学习模型不满足Lipschitz平滑性的问题，本文在不假设该条件下重新审视了Shuffling型梯度方法的收敛率，提出步长策略使其在较弱假设下匹配当前最佳收敛率，并在多种凸性条件下证明了收敛性，数值实验验证了其有效性。
2025-07-11 cs.LG math.OC stat.ML
New Bregman proximal type algorithms for solving DC optimization problems
The Graduate University for Advanced Studies（高级研究大学）；University of São Paulo（圣保罗大学）；Tokyo Institute of Technology（东京工业大学）；São Paulo State Technological College（圣保罗州立技术学院）；The Institute of Statistical Mathematics（统计数学研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究院先进智能项目中心）
本文提出Bregman近端DC算法及其加速版本，用于解决不具有L-光滑性的大规模DC优化问题，通过可适应的L-光滑性提升算法性能。
2022-05-10 math.OC
Linear convergence rate analysis of Proximal-Tracking for nonsmooth distributed optimization
School of Mathematical Sciences, Dalian University of Technology（大连理工大学数学科学学院）
本文针对非光滑分布式优化中的近端跟踪算法，在强凸性和平静性假设下证明了其线性收敛速率，且无需可微性假设，保留了算法优势。
2026-09-24 math.OC
Localize, Restart, Accelerate: Stochastic Optimization under Generalized Smoothness
HSE University（高等经济大学）；Innopolis University（伊诺波利斯大学）；MSU AI Center（莫斯科国立大学人工智能中心）
针对非对称广义光滑性下的随机凸优化，提出两阶段加速方法ARC-SG，通过局部化与重启认证实现加速收敛并恢复经典速率。
2026-09-09 math.OC
Sharper Analysis for Minibatch Stochastic Proximal Point Methods: Stability, Smoothness, and Deviation
Baidu Research（百度研究院）
随机邻近点（SPP）方法最近受到随机最优化的关注，其具有强的收敛保证和优于经典随机梯度下降（SGD）方法的鲁棒性，并且几乎不增加计算开销。在这篇文章中，我们研究了一个小批变体的SPP，即M-SPP，解决凸复合风险最小化问题。核心贡献是一组新的超额风险界限的M-SPP通过算法稳定性理论的镜头。特别是在光滑性和二次增长条件下，我们证明了具有小批量$n$和迭代次数$T$的M-SPP具有由$\mathcal{O}\left(\frac{1}{T^2}\right)$偏差衰减项和$\mathcal{O}\left(\frac{1}{nT}\right)$方差衰减项组成的期望中的快速收敛速度.在小- $n$ -大- $T$设置中，该结果通过揭示模型的噪声水平对收敛速度的影响而大大改进了SPP型方法的最佳已知结果。在互补的小- $T$ -大- $n$制度，我们提供了一个两阶段的扩展M-SPP实现可比的收敛速度。此外，我们推导出一个近紧的高概率（超过数据的随机性）的参数估计误差的采样无替换的M-SPP的变种。数值证据支持我们的理论预测时，充实到Lasso和逻辑斯谛回归模型。
2023-01-09 cs.LG math.OC stat.ML
Generalized Proximal Smoothing for Phase Retrieval
在本文中，我们报告的广义邻近平滑（GPS）算法的相位恢复噪声数据的发展。GPS是一种基于优化的算法，在该算法中，我们放松了傅立叶幅度和对象约束。通过引入广义Moreau-Yosida正则化和热核光滑，我们放松了对象约束。我们能够很容易地处理相关的近端映射的对偶变量通过使用一个下卷积。我们还放宽幅度约束到最小二乘保真度项，其邻近映射是可用的。GPS分别在原始空间和对偶空间中的两个邻近映射之间交替迭代。利用数值模拟和实验数据，我们证明了GPS算法在收敛速度、相位恢复的一致性和对噪声的鲁棒性等方面都优于经典的相位恢复算法，如混合输入输出（HIO）和过采样平滑（OSS）。
2018-03-15 math.OC
Compressed Decentralized Proximal Stochastic Gradient Method for Nonconvex Composite Problems with Heterogeneous Data
首先，我们提出了一个分散的近端随机梯度跟踪方法（DProxSGT）的非凸随机复合问题，数据异构分布在多个工人在一个分散的连接网络。为了节省通信成本，我们扩展DProxSGT的压缩方法，通过压缩通信信息。这两种方法都只需要每个工人的$\mathcal{O}(1)$样本来进行每次邻近更新，这对于在训练深度神经网络时实现良好的泛化性能非常重要。通过对期望损失函数（但不是对每个样本函数）的平滑条件，所提出的方法可以实现最佳样本复杂度结果以产生近平稳点。训练神经网络的数值实验表明，我们的方法比大批量训练方法和动量方差减少方法具有更好的泛化性能，并且通过梯度跟踪方案处理异构数据的能力。
2023-02-28 math.OC
An Adaptive Proximal ADMM for Nonconvex Linearly Constrained Composite Programs
Oregon State University（俄勒冈州立大学）；Texas A&M University（德克萨斯农工大学）；Georgia Institute of Technology（佐治亚理工学院）；Federal University of Piauí（皮奥伊联邦大学）
本文提出一种自适应近端交替方向乘子法解决线性约束复合优化问题，假设目标函数光滑部分弱凸，非光滑部分凸且块分离。方法自适应于所有参数，允许每个块近端子问题近似求解，通过迭代步骤和自适应测试确定是否更新拉格朗日乘子和惩罚参数，无需约束矩阵秩假设，证明在迭代次数上达到最优复杂度。
2026-04-30 math.OC
Beyond Convexity: Proximal-Perturbed Lagrangian Methods for Efficient Functional Constrained Optimization
针对非凸函数约束优化问题，提出基于近端扰动增广拉格朗日的原始-对偶算法框架，在温和条件下收敛到稳定点，无需连续调整罚参数，并给出非渐近迭代复杂度及实验验证。
2025-10-28 math.OC
Convergence Rates for Stochastic Proximal and Projection Estimators
Universidad de Chile（智利大学）；Center for Mathematical Modeling (CMM), Universidad de Chile（智利大学数学建模中心）；Instituto de Ciencias de la Ingeniería, Universidad de O’Higgins（奥希金斯大学工程科学研究所）
本文研究了随机近似下确界算子的收敛速率，提出了在不同正则性条件下，如ρ弱凸和C²光滑性，的显式收敛速率分析，并展示了其最优性。
2026-02-19 math.OC
Convergence and Trade-Offs in Riemannian Gradient Descent and Riemannian Proximal Point
本文分析黎曼梯度下降与（不精确）黎曼近端点法的收敛速率，证明迭代自然保持在优化器周围球内，并提供可实现的算法及新性质，辅以实证验证。
2024-03-15 math.OC
Solving A Class of Nonsmooth Resource Allocation Problems with Directed Graphs though Distributed Smooth Multi-Proximal Algorithms
针对一类分布式非光滑资源分配问题，提出了两种分布式多邻近原始对偶法。在这些问题中，全局费用函数是局部凸函数和非光滑费用函数之和，每个代价函数由一个二次可微函数和多个非光滑函数组成。底层多智能体系统的通信图是有向和强连接的，但不一定是加权平衡的。多邻近分裂的设计是为了解决这些非光滑函数求和的不可逼近性所带来的困难。此外，它还可以保证所提出的算法的光滑性。在多邻近分裂中引入辅助变量，估计非光滑函数的次梯度。在理论上，利用李雅普诺夫稳定性理论和积分输入状态稳定性（iISS）理论进行了收敛性分析。结果表明，所提算法能使状态收敛到满足资源分配条件的最优点。
2020-03-16 math.OC
Moreau envelope and proximal-point methods under the lens of high-order regularization
本文提出高阶近点法HiPPA，研究高阶Moreau包络在非凸优化中的性质及收敛性，为高阶平滑理论的发展提供理论支持。
2025-12-11 math.OC
Inexact accelerated proximal gradient method with line search and reduced complexity for affine-constrained and bilinear saddle-point structured convex problems
本文的目标是降低两类问题的基于梯度的方法的总复杂度：仿射约束复合凸优化和双线性鞍点结构非光滑凸优化。我们的技术是基于一个双循环不精确加速邻近梯度（APG）方法，用于最小化一个非光滑但可逼近的凸函数和两个光滑凸函数具有不同的光滑常数和计算成本的总和。与标准APG方法相比，不精确APG方法可以减少总的计算成本，如果一个光滑分量具有较高的计算成本，但比其他较小的光滑常数。利用这一性质，非精确APG方法可以近似求解仿射约束复合凸优化的近似增广拉格朗日方法的子问题，以及双线性鞍点结构非光滑凸优化的光滑逼近问题，其中光滑常数较小的光滑函数具有较高的计算代价.因此，它可以降低总的复杂性，找到一个近似的最佳/稳定的解决方案。该技术类似于文献中的梯度滑动技术。不同之处在于，我们的不精确APG方法可以通过使用基于平稳性破坏度量的可计算条件来有效地停止内部循环，而梯度滑动方法需要预先指定内部循环的迭代次数。数值实验表明，显着更高的效率，我们的方法比最佳的原始-对偶一阶方法和梯度滑动方法。
2022-01-04 cs.NA math.NA math.OC
The Stochastic Multi-Proximal Method for Nonsmooth Optimization
该研究提出一种带方差缩减的随机多邻近方法SMPM，可覆盖多种现有邻近算法特例，推导了不同凸性条件下的收敛结果，且在带压缩通信的分布式优化中性能更优。
2025-05-18 math.OC
Stabilized Proximal Point Method via Trust Region Control
Center of Excellence for Generative AI, KAUST（生成式人工智能卓越中心，KAUST）
本文提出一种通过信任区域控制稳定化的近端点方法，解决了传统近端点方法在一般凸优化中收敛性不足的问题，通过局部可行区域更新保证非消失步长并实现目标函数线性下降。
2026-04-03 math.OC
Optimal Convergence Rates for the Proximal Bundle Method
该研究针对非光滑凸优化问题，分析经典近端束方法的收敛速率，提出非恒定步长方案实现最优速率，还给出无需先验函数参数的可并行近优变体，完善了相关收敛速率研究并提供统一分析框架。
2023-05-01 math.OC
Revisiting $L_q(0\leq q<1)$ Norm Regularized Optimization
本文统一研究 $q\in[0,1)$ 的 $L_q$ 范数正则化问题，结合邻近算子与半光滑 Newton 法提出追踪算法，并证明其可达到超线性乃至二次收敛。
2024-07-05 math.OC
On the efficient computation of proximal operators of affine-constrained nonconvex functions
National University of Singapore（新加坡国立大学）；The University of Chicago（芝加哥大学）；Institute of Operations Research and Analytics, National University of Singapore（新加坡国立大学运筹与分析研究所）；Institute of Applied Mathematics, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院应用数学研究所）
本文提出了一种统一的对偶可表示框架，用于高效计算具有仿射约束的非凸函数的proximal算子，通过建立对偶问题和验证正则性条件，实现了快速收敛的优化方法。
2026-02-27 math.OC
Asymptotic Analysis of Gradient Mapping-type Stationarity Measure for the Sum of Nonconvex Nonsmooth Functions and Applications to Proximal Gradient-type Algorithms
Institute of Science Tokyo（东京科学大学）
本文针对非凸非光滑函数和提出梯度映射型平稳性测度并做渐近分析，将其应用于邻近梯度算法，解决了一个开放问题并提出带非单调线搜索的邻近变量平滑算法。
2026-09-09 math.OC
A Variable Metric and Nesterov Extrapolated Proximal DCA with Backtracking for A Composite DC Program
本文考虑了一个复合凸差分（DC）规划，其目标函数是一个具有Lipschitz连续梯度的光滑凸函数、一个真闭凸函数和一个连续凹函数之和.这个问题在机器学习和数据科学中有许多应用。近端DCA（pDCA）是经典DCA的一种特殊情况，以及两种Nesterov型外推DCA - ADCA（Phan et al. IJCAI：1369- 1375，2018）和pDCAe（Wen et al. Comput Optim Appl 69：297- 324，2018）-可以解决这个问题。pDCA、pDCAe和ADCA的算法步长是固定的，并且通过估计损失函数的先验平滑度参数来确定。然而，这样的估计在一些现实世界的应用中可能难以获得或较差。出于这个困难，我们提出了一个可变的度量和Nesterov外推近端DCA与回溯（SPDCAe），它结合了回溯线搜索过程（不一定单调）和Nesterov的外推潜在的加速度;此外，变度量法被纳入更好的局部近似。对稀疏二进制逻辑斯谛回归和泊松噪声压缩感知的数值模拟验证了该方法的有效性。
2022-05-05 math.OC
A New Homotopy Proximal Variable-Metric Framework for Composite Convex Minimization
本文提出了两种新的思想，发展了求解一类复合凸优化问题的新的近似变度量法。第一个想法是一个新的参数化的最优性条件，使我们能够开发一类同伦近变度量法。我们表明，在适当的假设，如强凸型和光滑性，或自和谐，我们的新计划可以实现有限的全球迭代复杂性的界限。我们的第二个想法是一个原始-对偶-原始框架的近似牛顿方法，可以导致一些有用的计算功能的一个子类的非光滑复合凸优化问题。从原问题出发，构造了原问题的对偶问题，并利用同伦近似牛顿法求解该对偶问题。与其直接在对偶空间中求解子问题，我们建议将这个子问题对偶化，回到原始空间。由此产生的子问题共享一些相似性，促进了原问题的正则化，并导致一些计算上的优势。作为一个副产品，我们专门提出的算法来解决协方差估计问题。令人惊讶的是，我们的新算法不需要任何矩阵求逆或Cholesky分解，和函数评估，而它的作品在原始空间的稀疏结构，促进了正则化。几个应用的数值例子来说明我们的理论发展，并与国家的艺术比较。
2018-12-13 math.OC
Adaptive Bregman Proximal Stochastic Gradient with a Stabilized Barzilai--Borwein Step Size
University of Utah（犹他大学）；Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院）；Guangzhou Nanfang College（广州南方学院）；The Chinese University of Hong Kong（香港中文大学）
该研究提出无需线搜索的Ada-BPSG方法，结合SAGA梯度表与稳定BB步长，在凸、非凸等场景下获收敛速率保证，实验中对初始步长敏感性低且性能优于基线。
2026-08-13 cs.LG math.OC
Composite and Stochastic Smoothed Decentralized Bregman Proximal-Gradient Methods
The Chinese University of Hong Kong（香港中文大学）；Xiangtan University（湘潭大学）；Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院）；Guangzhou Nanfang College（广州南方学院）
该研究扩展了平滑去中心化Bregman邻近梯度方法，针对节点特定正则化项与随机局部梯度给出理论界，实验验证其性能并评估四次Bregman核的效果。
2026-10-14 math.OC
Second order semi-smooth Proximal Newton methods in Hilbert spaces
我们开发了一个全球化的近似牛顿方法的复合和可能的非凸极小化问题在希尔伯特空间。此外，我们对复合目标泛函的可微性和凸性的限制性假设比现有的理论少。至于可微的光滑部分的目标函数而言，我们引入了二阶半光滑的概念，并讨论为什么它构成了一个足够的框架，我们的近端牛顿法。然而，整体收敛以及局部加速仍然适用于我们的情况。最后，通过求解函数空间中的一个玩具模型问题，展示了算法的收敛性。
2021-10-31 cs.NA math.NA math.OC
Revisiting Convergence of AdaGrad with Relaxed Assumptions
Center for Data Science, Zhejiang University（浙江大学数据科学中心）；School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）
本研究在更贴合实际的通用噪声模型与广义光滑性假设下，重新分析带动量的AdaGrad的非凸优化收敛性，得到不依赖先验参数的概率收敛速率，且该速率匹配已知下界。
2024-09-13 cs.LG math.OC stat.ML
Hinge-Proximal Stochastic Gradient Methods for Convex Optimization with Functional Constraints
Indian Institute of Technology Kanpur（坎普尔印度理工学院）
本文提出了一种hinge-proximal随机梯度方法，用于解决带有函数约束的凸优化问题，通过精确惩罚重新公式化和三点不等式，实现了更高效的算法性能。
2026-08-06 math.OC
A Proximal Quasi-Newton Trust-Region Method for Nonsmooth Regularized Optimization
我们提出了一个置信域方法来最小化光滑项$f$和非光滑项$h$之和，这两个项都可以是非凸的。我们的方法的每一次迭代最小化一个可能的非凸模型的$f + h$的信任区域。该模型与$f + h$在数值和次微分上一致。当$f$满足一个光滑条件，特别是当它具有Lipschitz连续梯度，并且$h$是适当的下半连续时，我们建立了整体收敛到一阶稳定点的条件.要求$h$的模型是适当的、下半连续的和有界的。在这些弱的假设下，我们建立了一个最坏情况下的$O(1/ε^2)$迭代复杂性界匹配的最佳已知的复杂性界的标准置信域光滑优化方法。我们详细介绍了一个特殊的情况下，命名为TR-PG，在其中我们使用有限记忆拟牛顿模型的$f$和计算一个步骤与邻近梯度法，从而产生一个实用的邻近拟牛顿法。我们建立了类似的收敛性和复杂性界的二次正则化变量，命名为R2，并提供了一个解释为近端梯度法与自适应步长的非凸问题。R2也可以用于计算置信域方法内部的步骤，从而产生名为TR-R2的实现。我们描述了我们的Julia实现和报告的数值结果从稀疏优化和信号处理的反问题。TR-PG和TR-R2都表现出良好的性能，并与两种基于凸模型的线性逼近拟牛顿法相比较。
2021-08-03 math.OC
SPIRAL: A superlinearly convergent incremental proximal algorithm for nonconvex finite sum minimization
KU Leuven（鲁汶大学）；Kyushu University（九州大学）
本文提出超线性收敛的增量近端算法SPIRAL，通过结合增量梯度更新与渐近不触发的线搜索，在温和假设下求解非凸有限和问题并实现超线性收敛，实验证明其与现有技术具竞争力。
2024-01-15 cs.LG math.OC
An inexact proximal augmented Lagrangian framework with arbitrary linearly convergent inner solver for composite convex optimization
针对复合凸优化问题，提出了一种具有显式内问题终止规则的非精确近似增广拉格朗日框架。我们考虑任意线性收敛的内部求解器，特别是随机算法，使所得到的框架更可扩展性，面对不断增加的问题维度。每个子问题都不精确地解决了一个明确的和自适应的停止标准，而不需要设置一个先验的目标精度。当原始域和对偶域有界时，我们的方法分别在强凸和非强凸情况下，实现了$O(1/\sqrtε)$和$O(1/ε)$复杂性界的内部求解器迭代次数。在没有有界性假设的情况下，只需要增加对数项，上述两个复杂性界分别增加到$\tilde O(1/\sqrtε)$和$\tilde O(1/ε)$，对于获得$ε$-最优解和$ε$-KKT解，这两个复杂性界都成立.在我们提出的一般框架内，我们还获得了在相对光滑假设下，关于目标函数的可微分量的$\tilde O(1/ε)$和$\tilde O(1/{ε^2})$复杂性界。我们通过理论分析和数值实验表明，使用随机内求解器的大规模问题可能实现的计算加速。
2019-09-20 math.OC
Revisiting Randomized Smoothing: Nonsmooth Nonconvex Optimization Beyond Global Lipschitz Continuity
针对随机平滑优化依赖全局Lipschitz条件的局限，提出新的次梯度增长条件及随机平滑梯度算法，实现高效收敛并匹配最优样本复杂度。
2025-09-09 math.OC
Multidimensional extrapolated global proximal gradient and applications for image processing
针对含更一般张量正则项的非光滑优化问题，本文提出改进的迭代近端梯度法，并用新型张量外推加速收敛，在彩色图像去模糊实验中验证了效率。
2024-01-18 cs.NA math.NA math.OC
Inexact Relative Smoothness and Strong Convexity for Optimization and Variational Inequalities by Inexact Model
在本文中，我们提出了一个通用的算法框架，一阶方法在广义优化，包括极小化问题，鞍点问题，和变分不等式。该框架允许获得许多已知方法作为特例，该列表包括加速梯度法、复合最优化方法、水平集方法、Bregman邻近方法。该框架的思想是基于构建一个不精确的模型的主要问题组件，即目标函数在优化或操作员在变分不等式。除了再现已知的结果，我们的框架允许构建新的方法，我们通过构建一个通用的条件梯度法和一个通用的方法与复合结构的变分不等式说明。该方法适用于光滑和非光滑问题，具有最佳的复杂性，而无需先验知识的问题的光滑性。作为我们的一般框架的一个特殊情况下，我们引入相对光滑的运营商，并提出了一个算法的变分不等式（VI）与这样的运营商。我们还推广了我们的框架相对强凸目标和强单调变分不等式。本文是[arXiv：1902.00990]的扩展和更新版本。特别地，我们对最优化和变分不等式增加了一个相对强凸性的推广。
2021-12-19 math.OC
Provable Bregman-divergence based Methods for Nonconvex and Non-Lipschitz Problems
Colorado School of Mines（科罗拉多矿业学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
（全局）Lipschitz光滑性条件在建立大多数最优化方法的收敛性理论中是至关重要的。不幸的是，大多数机器学习和信号处理问题都不是Lipschitz光滑的。这促使我们将Lipschitz光滑性条件的概念推广到相对光滑性条件，它是由任何有限阶多项式目标函数所满足的。此外，这项工作开发了新的Bregman散度为基础的算法，保证收敛到一个二阶稳定点的任何相对光滑的问题。此外，当我们将Bregman发散度专门化为欧氏距离时，所提出的最优化方法涵盖了邻近交替最小化和邻近交替线性化最小化。因此，这项工作不仅发展保证最优化方法的非Lipschitz光滑问题，但也解决了一个公开的问题，显示二阶收敛保证这些交替最小化方法。
2019-04-22 cs.IT cs.LG math.IT
Right Bregman proximal gradient with application to Poisson inverse problems *
INSA-Lyon（里昂国立应用科学学院）
本文提出一种右Bregman近端梯度算法，通过镜像坐标重参数化实现凸复合优化，并应用于泊松逆问题，恢复并推广了Richardson-Lucy更新，证明了单调递减和次线性收敛，实验验证了其性能。
2026-10-06 eess.IV math.OC
An Alternating Manifold Proximal Gradient Method for Sparse PCA and Sparse CCA
The Chinese University of Hong Kong（香港中文大学）；University of California, Davis（加利福尼亚大学戴维斯分校）；The Pennsylvania State University（宾夕法尼亚州立大学）；University of Minnesota（明尼苏达大学）
稀疏主成分分析（PCA）和稀疏典型相关分析（CCA）是高维统计学和机器学习中用于分析大规模数据的两种基本技术。这两个问题都可以表述为一个具有非光滑目标和非凸约束的优化问题。由于非光滑性和非凸性带来的数值困难，大多数算法在文献中提出的解决一些松弛或启发式，缺乏收敛保证。在本文中，我们提出了一个新的交替流形近似梯度方法来解决这两个高维问题，并提供了一个统一的收敛性分析。数值实验结果证明了该算法的优越性。
2019-03-27 cs.LG math.OC stat.CO
Revisiting Area Convexity: Faster Box-Simplex Games and Spectrahedral Generalizations
本文深化了面积凸性理论及其与外梯度方法的联系，并基于相对光滑性设计改进的子问题求解器，提出求解盒-单纯形博弈的最优一阶算法，显著提升了最大流、最优传输等组合优化问题的复杂度，并推广到谱面体相关场景。
2023-10-29 math.OC
Convergence Rate of the Last Iterate of Stochastic Proximal Algorithms
Department of Computer Science, University of British Columbia（计算机科学系，不列颠哥伦比亚大学）
本文研究了随机近似算法在处理加法复合凸优化问题时，最后迭代的收敛速度，证明了在组件凸性和光滑性条件下，收敛速度为~O(1/√T)，并适用于多任务和联邦学习中的图引导正则化。
2026-02-05 cs.LG math.OC stat.ML
Prox-NAG-GS: A Semi-Implicit Proximal Method for Composite Optimization
Institute of Data Science and Artificial Intelligence, Innopolis University（因诺波利斯大学数据科学与人工智能研究所）
本文提出Prox-NAG-GS方法，通过将NAG-GS的平滑部分与近端步骤结合，解决复合优化问题，并在强凸和凸情形下分别证明线性收敛和O(1/k)速率。
2026-05-25 math.OC
A first-order primal-dual method with adaptivity to local smoothness
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Linköping University（林雪平大学）
我们考虑的问题找到一个鞍点的凹凸目标$\min_x \max_y f(x) + \langle Ax, y\rangle - g^*(y)$，其中$f$是一个凸函数的局部Lipschitz梯度和$g$是凸的，可能是不光滑的。我们提出了一个自适应版本的Condat-Vestival算法，它交替原始梯度步骤和双邻近步骤。该方法通过一个简单的规则，涉及$\|A\|$和$f$最近计算的梯度的范数实现步长自适应。在标准假设下，我们证明了一个$\mathcal{O}(k^{-1})$遍历收敛速度。此外，当$f$也是局部强凸和$A$有充分的行秩秩时，我们证明了我们的方法以线性速度收敛。数值实验说明了算法的实用性能。
2021-10-28 cs.LG math.OC
Equilibrium Invariance, Proximality, and Surrogation: Moreau-Smoothed Best-Response Pathways in Stochastic Nonsmooth Games
University of Michigan（密歇根大学）
本文提出Moreau平滑的最佳响应方案，用于解决非光滑和非凸博弈中的均衡问题，通过引入平滑技术实现线性和亚线性收敛率保证。
2026-03-01 math.OC
Sharp bounds for stochastic proximal and projection estimators via radial dominance
Universidad Técnica Federico Santa María（费德里科·圣塔玛丽亚技术大学）；Center for Mathematical Modeling (CNRS IRL2807), Universidad de Chile（智利大学数学建模中心（法国国家科学研究中心国际研究联系项目2807））；Instituto de Ciencias de la Ingeniería, Universidad de O’Higgins（奥希金斯大学工程科学学院）
研究通过指数加权高斯扰动获得的随机重心估计器，利用径向优势条件得出相关重心范数上界及充分条件，得到弱凸函数随机近端估计器收敛速率等，还用于随机投影估计器，通过数值实验验证相关性质。
2026-09-15 math.OC math.PR
A Sharper Theory of Ball-Proximal Optimization: Convergence and Radius Selection
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文针对正常闭凸函数提出球近端点方法的精细收敛理论，给出指数收敛率、半径序列收敛条件及自适应半径规则，无需光滑性或强凸性假设。
2026-09-29 math.OC
Tensor-Free Proximal Methods for Lifted Bilinear/Quadratic Inverse Problems with Applications to Phase Retrieval
提出并研究了一类求解双线性和二次反问题的新算法。利用基于张量提升的凸松弛算法和一阶近似算法，这些问题可以通过奇异值阈值方法数值求解。然而，这些算法的直接实现，例如，由于必须在维数通常很大的张量积空间上进行计算，所以图像恢复问题通常是不切实际的。为了克服这一限制，我们推导出张量自由版本的常见奇异值阈值方法，利用低秩表示，并将增强Lanczos过程。利用一种新的加权技术，我们进一步改善了迭代算法的收敛性和秩的演化。将该方法应用于二维掩模傅里叶相位恢复问题，得到了一种有效的恢复方法。此外，张量自由算法是足够灵活的，以纳入先验的平滑约束，大大提高了恢复结果。
2019-07-10 cs.NA math.NA math.OC
Adaptive Lipschitz-Free Proximal Gradient Methods for Stochastic Composite Nonconvex Optimization
Shenzhen University of Advanced Technology（深圳先进技术大学）
针对复合非凸有限和最小化问题，提出融合自适应步长、Nesterov外推与SPIDER方差缩减的AEPG-SPIDER及全批量版本AEPG，是首个达最优迭代复杂度的无Lipschitz方法，且在KL假设下获非遍历收敛率，实验验证其性能优势。
2026-09-29 cs.CV cs.NA math.NA
Leveraging Two Reference Functions in Block Bregman Proximal Gradient Descent for Non-convex and Non-Lipschitz Problems
Iowa State University（爱荷华州立大学）；IBM Research AI（IBM研究院人工智能部门）；IBM Thomas J. Waston Research Center（IBM托马斯·J·沃森研究中心）
在信号处理和数据分析的应用中，存在广泛的一类非凸问题，其目标函数不受常见的全局Lipschitz连续梯度假设的约束（例如，非负矩阵分解（NMF）问题。近年来，Bregman近似梯度法（BPG）解决了这类具有某些特殊结构的问题。这启发我们提出了一种新的逐块两参考Bregman近端梯度（B2B）方法，该方法采用两个参考函数，从而获得Bregman投影中的封闭形式解。基于相对光滑性，我们证明了所提出的算法的整体收敛的各种块选择规则。特别地，我们建立了B2B的贪婪和随机块更新规则的$O(\frac{\sqrt{s}}{\sqrt{k}})$的整体收敛速度，其比循环变量快$O(\sqrt{s})$倍，即，$O(\frac{s}{\sqrt{k}} )$，其中$s$是块数，$k$是迭代次数。多个数值结果表明，所提出的B2B相比，在解决NMF问题的最先进的作品的优越性。
2019-12-16 cs.LG math.OC
Three Operator Splitting with Subgradients, Stochastic Gradients, and Adaptive Learning Rates
三算子分裂（TOS）（Davis & Yin，2017）可以有效地最小化多个凸函数的和，当每个项都有一个有效的梯度预言或邻近算子时。这一要求在机器学习应用中经常失败：（i）代替全梯度，只有随机梯度可用;以及（ii）代替邻近算子，使用子梯度来处理复杂的罚函数可能更有效和现实。出于这些问题，我们分析了三个潜在的有价值的扩展TOS。前两个允许使用次梯度和随机梯度，并示出，以确保$\mathcal{O}(1/\sqrt{t})$收敛速度。第三个扩展AdapTOS赋予TOS自适应步长。对于优化凸集交集上的凸损失的重要设置，AdapTOS获得了通用的收敛速度，即，该速率适应于目标的未知平滑度。我们比较我们提出的方法与竞争的方法在各种应用程序。
2022-02-18 math.OC
Error bounds, PL condition, and quadratic growth for weakly convex functions, and linear convergences of proximal point methods
University of California San Diego（加州大学圣地亚哥分校）
本文研究了弱凸函数中误差界、PL条件和二次增长等正则条件之间的关系，并证明了近点法在凸和弱凸优化问题中的线性收敛性。
2026-02-03 cs.SY eess.SY math.OC
Proximal DCA for Fréchet Regression on Riemannian Manifolds with Bounded Curvature
Rice University（莱斯大学）
针对有界截面曲率的完备黎曼流形上的带符号 Fréchet 回归问题，提出基于黎曼近端 DC 算法的 FRIDA 方法，并证明解的存在性、迭代收敛性及复杂度。
2026-05-21 math.GT math.OC
Modular-proximal gradient algorithms in variable exponent Lebesgue spaces
我们考虑结构优化问题定义的总和的光滑和凸函数，和适当的，l.s.c.，自反变指数Lebesgue空间$L_{p(\cdot)}(Ω)$中的凸（通常为非光滑）空间。由于其内在的空间变化的性质，这样的空间可以很自然地被用作解空间，并结合空间变化的泛函来解决不适定的反问题。为此，我们提出并分析了两个实例（原始和对偶）的近端梯度算法在$L_{p(\cdot)}(Ω)$，其中的近端步骤，而不是取决于自然（不可分离）的$L_{p(\cdot)}(Ω)$规范，定义在其模函数，这是由于其可分性，允许有效的算法迭代计算。证明了这两种算法在函数值上的收敛性，其收敛速度取决于问题/空间的平滑性。为了显示所提出的建模的有效性，一些数值试验突出的灵活性的空间$L_{p(\cdot)}(Ω)$示出的示例反卷积和混合噪声去除问题。最后，数值验证的收敛速度和计算成本的两种算法相比，类似的定义在标准$L_{p}(Ω)$空间。
2022-11-09 cs.NA math.NA math.OC
SPAM: Stochastic Proximal Point Method with Momentum Variance Reduction for Non-convex Cross-Device Federated Learning
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
针对跨设备联邦学习中的客户端漂移和数据相似性不敏感问题，提出非凸损失下的新算法SPAM，在二阶相似性下提供严格分析，支持部分参与设置，且无需目标平滑性即可从相似数据中获益。
2024-05-30 cs.LG math.OC
