Robust Optimization Approach for Solving Uncertain Multiobjective Optimization Problems Using the Projected Gradient Method
本文将投影梯度法扩展至不确定多目标优化问题，结合逐目标最坏情况代价构建鲁棒对等模型，提出投影梯度下降算法并证明其收敛到鲁棒弱Pareto最优解，数值实验验证了方法有效性。
2025-03-09 math.OC
Low-rank optimization methods based on projected projected-gradient descent that accumulate at Bouligand stationary points
École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Florida State University（佛罗里达州立大学）；UCLouvain（瓦隆布鲁塞尔天主教大学）
本文提出两种低秩优化方法，通过投影投影梯度下降与秩减少机制或投影梯度下降与投影投影梯度下降的混合，生成序列收敛到Bouligand驻点，具有高效性和实用性。
2026-03-12 cs.NA math.NA math.OC
Projected Block Coordinate Descent for sparse spike estimation
针对网格外脉冲恢复问题，本文提出基于块坐标下降的新算法，利用问题稀疏结构加速现有OP-COMP算法的全局下降步骤，并在合成显微镜实验中显著缩短了计算时间。
2024-02-19 cs.NA math.NA math.OC
Adaptive Stochastic Mirror Descent for Constrained Optimization
镜像下降法是求解非光滑凸优化问题的一种著名方法。本文分析了自适应步长MD的随机变化。它的平均收敛速度比固定步长和最佳的下界。
2017-05-04 math.OC
On Asymptotic Linear Convergence of Projected Gradient Descent for Constrained Least Squares
Oregon State University（俄勒冈州立大学）
信号处理和机器学习中的许多最新问题，如压缩感知，图像恢复，矩阵/张量恢复和非负矩阵因子分解，都可以转换为约束优化。投影梯度下降法是求解此类约束最优化问题的一种简单而有效的方法。局部收敛分析进一步加深了我们对其在解附近的渐近行为的理解，与整体收敛分析相比，它提供了更清晰的收敛速度界限。然而，局部保证通常分散在机器学习和信号处理的特定问题领域。这份手稿提出了一个统一的框架内的局部收敛分析投影梯度下降的约束最小二乘的背景下。所提出的分析提供了深入了解关键的局部收敛特性，如线性收敛的条件，收敛区域，精确的渐近收敛速率，以及达到一定精度所需的迭代次数的限制。为了证明所提出的方法的适用性，我们提出了一个配方的收敛分析投影梯度下降，并证明它通过一个迭代到结束的应用程序的配方上的四个基本问题，即，线性等式约束的最小二乘，稀疏恢复，最小二乘与单位范数约束，和矩阵完成。
2022-06-20 cs.LG math.OC
Projected Semi-Stochastic Gradient Descent Method with Mini-Batch Scheme under Weak Strong Convexity Assumption
Lehigh University（理海大学）
针对一般随机梯度下降方法（SGD）的理论复杂度和实际性能的不足，提出了一种带小批量的投影半随机梯度下降方法.在弱强凸性假设下，我们能够证明线性收敛。这不需要强凸性假设来最小化服从紧凑多面体集的光滑凸函数的和，这在机器学习社区中仍然很流行。我们的PS2GD保留了低成本的每次迭代和高优化精度，通过随机梯度方差减少技术，并承认一个简单的并行实现与小批量。此外，PS2GD也适用于具有铰链损失的SVM对偶问题。
2017-05-05 cs.LG math.OC stat.ML
A projected descent method for minimization of weakly semismooth functions over polyhedral sets
Isfahan University of Technology（伊斯法罕理工大学）；University of Tehran（德黑兰大学）
本研究提出一种投影下降方法，用于在多面体集上最小化弱半光滑函数，通过Clarke ε-次微分近似和线搜索策略，在温和假设下保证收敛，并在图像去噪等应用中验证了有效性。
2026-09-30 math.OC
Adaptive Mirror Descent for Constrained Optimization
本文研究了带函数约束的非光滑凸优化和强凸优化问题。由于引入了改进的常数，自适应步长的镜像下降（MD）方法比固定步长的MD具有更好的收敛速度。对于某些类型的约束，该方法被证明产生对偶解。对于强凸情形，应用了重新启动技术。
2017-05-04 math.OC
A Nonmonotone Front Descent Method for Bound-Constrained Multi-Objective Optimization
本研究提出多目标优化Front Descent框架的非单调扩展方法，采用允许部分目标临时上升的非单调线搜索，是首个用非单调策略生成逼近Pareto前沿点集的下降算法，证明了收敛性并通过数值实验验证了其在边界约束下的一致性。
2025-09-02 math.OC
Machine learning approach to chance-constrained problems: An algorithm based on the stochastic gradient descent
考虑离散广义过程的机会约束问题。我们的目标是解决大量场景的问题。我们提出了一种新的方法，基于随机梯度下降法，执行更新的决策变量的基础上，只考虑少数情况。我们修改它来处理不可分离的目标。复杂性分析和标准（批量）梯度下降法的比较。我们给出了三个非凸数据的例子，并表明我们的方法提供了一个很好的解决方案，即使在场景的数量很大。
2019-05-27 math.OC
A Block Coordinate Descent-based Projected Gradient Algorithm for Orthogonal Non-negative Matrix Factorization
University of Applied Sciences and Arts, Northwestern Switzerland（瑞士西北应用科学与艺术大学）；University of Ljubljana（卢布尔雅那大学）
本文利用投影梯度法（PG）求解非负矩阵分解问题（NMF），其中一个或两个矩阵因子必须具有正交的列或行。我们惩罚正交约束，并通过块坐标下降法应用PG方法。这意味着在某个时间，一个矩阵因子是固定的，而另一个矩阵因子通过沿着从惩罚的目标函数计算出的最速下降方向移动并投影到非负矩阵空间上来更新。我们的方法进行了测试的两组合成数据的各种值的罚参数。性能与Ding（2006）的著名乘法更新（MU）方法进行了比较，并与Mirzal（2014）最近提出的MU算法的修改后的全局收敛变体进行了比较。我们提供了大量的数值结果，加上适当的可视化，这表明我们的方法是非常有竞争力的，通常优于其他两种方法。
2020-03-23 cs.LG math.OC
Geometric Certificates for Deterministic Global Linear Convergence of Overparameterized Projected Gradient Descent
University of Central Florida（中佛罗里达大学）
本文研究低秩矩阵估计中Burer-Monteiro方法受条件数影响的收敛问题，证明投影梯度下降可实现与条件数无关的局部线性收敛，并通过扰动版本避开鞍点、排除伪局部极小点。
2026-10-15 math.OC
Projected proximal gradient trust-region algorithm for nonsmooth optimization
针对光滑非凸项与非光滑凸正则化项之和的优化问题，提出结合近端梯度下降与信赖域投影的子问题求解器，并建立无界 Hessian 增长下的复杂度与收敛保证。
2025-01-09 math.OC
Distributed Mirror Descent Algorithm with Bregman Damping for Nonsmooth Constrained Optimization
为了有效地解决分布式优化与各种约束和非光滑函数，我们提出了一个分布式镜像下降算法嵌入Bregman阻尼，作为传统的分布式投影算法的推广。事实上，我们的连续时间算法很好地继承了镜像下降方法的良好性能，可以快速计算具有某些特定约束结构的问题的显式解。此外，我们严格证明了我们的算法的收敛性，以及轨迹的有界性和解决方案的准确性。
2021-08-27 math.OC
Descent-Net: Learning Descent Directions for Constrained Optimization
Descent-Net通过学习下降方向解决约束优化中的可行性与最优性平衡问题，展现了在合成任务和实际应用中的高效性能。
2025-12-15 math.OC
Projected shrinkage algorithm for box-constrained L1-minimization
当修正框约束可用时，框约束L1最小化的性能明显优于经典L1最小化。而且许多实际的L1-极小化模型确实涉及盒约束，因为它们从某个区间取某些值。本文提出了一种有效的迭代格式，即投影收缩（ProShrink）算法，用于求解一类框约束L1-极小化问题。该方法的一个重要贡献是，在推导过程中出现的一个复杂的邻近点算子可以等价地简化为一个投影收缩算子。理论上，我们证明了ProShrink算法对原始点序列和对偶点序列都是收敛的.在数值层面上，我们证明了通过稀疏恢复实验添加框约束的好处。
2014-08-22 math.OC
Projected Stochastic Gradients for Convex Constrained Problems in Hilbert Spaces
在希尔伯特空间中，证明了具有凸约束集的凸目标泛函的投影随机梯度算法的收敛性。在凸的情况下，迭代序列${u_n}$以概率1弱收敛到极小值集中的一个点。在强凸情形下，序列以概率1强收敛到唯一最优解。应用于一类具有凸目标、凸约束和随机椭圆型PDE约束的PDE约束问题。理论结果表明数值。
2019-09-30 math.OC
Projected gradient descent accumulates at Bouligand stationary points
本文研究欧几里得空间非空闭子集上的投影梯度下降（PGD）算法，证明其聚点为Bouligand稳定点，并在梯度局部Lipschitz连续时为邻近稳定点，达到该问题最强稳定性质。
2025-06-27 cs.NA math.NA math.OC
One Mirror Descent Algorithm for Convex Constrained Optimization Problems with non-standard growth properties
本文给出了求解函数约束凸极小化问题的一种特殊镜像下降算法。目标函数可能不满足利普希茨条件，但它必须具有利普希茨连续梯度。我们假设，功能约束可以是非光滑的，但满足利普希茨条件。特别是，这样的泛函出现在著名的桁架拓扑设计问题。此外，我们已经应用了技术的重新启动，在上述版本的镜像下降强凸问题。一些估计的收敛速率被认为是镜像下降算法。
2018-04-15 math.OC
Primal-dual Accelerated Mirror-Descent Method for Constrained Bilinear Saddle-Point Problems
本文提出一种时变原始-对偶加速镜像下降算法，用于求解约束双线性鞍点问题，实现$O(1/t^2)$收敛率，并衍生出面向分布式优化和零和博弈的两种加速变体。
2024-10-03 math.OC
Gradient descent with nonconvex constraints: local concavity determines convergence
高维统计和优化中的许多问题涉及非凸约束的最小化，例如，矩阵估计问题的秩约束，但对一般非凸约束集的这种最优化问题的理论性质知之甚少。本文研究了约束集的几何性质与极小化问题的梯度下降法的收敛性之间的相互作用。我们开发的概念，局部的约束集，测量凸性被违反的程度，这支配的行为投影梯度下降在这个集合。我们证明了这些的通用性，通过计算低秩估计，稀疏估计，和其他例子中的一系列问题，他们的系数。通过我们对这些几何性质在优化中的作用的理解，我们然后提供了一个收敛性分析时，投影计算只有近似，导致一个更有效的方法投影梯度下降在低秩估计问题。
2017-10-19 math.OC
Broximal Gradient Descent: A Projection-Free Sister of Projected Gradient Descent
KAUST（卡塔尔科技大学）
本文提出局部LMO算法，通过局部线性最小化oracle替代传统FW方法中的全局线性最小化oracle，实现了在约束优化中的高效求解，并在多个重要情形下达到了与投影梯度下降相当的收敛速率。
2026-09-29 cs.LG math.OC stat.ML
Provable Constrained Stochastic Convex Optimization with XOR-Projected Gradient Descent
Purdue University（普渡大学）；Indiana University（印第安纳大学）；Peking University（北京大学）
可证明地求解带约束的随机凸优化问题对于科学、商业和统计中的各种问题都是必不可少的。最近提出的XOR-随机梯度下降（XOR-SGD）提供了一个收敛速度保证解决约束的版本的问题，利用XOR-采样。然而，当需要满足额外的等式和不等式约束时，任务变得更加困难。本文提出了一种基于投影梯度下降（PGD）和异或采样器相结合的新算法XOR-PGD，通过选择合适的步长，保证了该算法能够以线性收敛速率求解约束随机凸优化问题。我们表明，在合成随机库存管理和现实世界的道路网络设计问题的约束满足率优化的解决方案的XOR-PGD是$10\%$比竞争的方法在一个非常大的搜索空间。实验结果表明，改进的XOR-PGD算法比XOR-SGD算法和结合MCMC采样器的SGD算法具有更高的精度和效率。它也被证明是更可扩展的样本个数和处理器内核，通过实验与大尺寸。
2022-03-22 cs.LG math.OC
Mirror Descent and Constrained Online Optimization Problems
我们考虑下面一类带函数约束的在线最优化问题。设在$n$维向量空间的闭集上给出了一个有限的凸Lipschitz连续非光滑泛函集。问题是在凸Lipschitz连续非光滑约束下极小化泛函的算术平均。此外，允许计算每个泛函的（子）梯度仅一次。本文利用最近提出的自适应镜像下降法，提出了一种求解带约束的在线最优化问题的方法，并给出了最优精度估计。对于相应的非欧结构的情况下，一组$n$维向量躺在标准的$n$维单纯形。
2021-12-29 math.OC
Distributed Randomized Gradient-Free Mirror Descent Algorithm for Constrained Optimization
本文研究多主体最优化问题。在非欧Bregman发散的镜像下降算法中引入一个随机无梯度预言，发展了一种分布式随机无梯度镜像下降算法（DRGIMD）.在不利用目标函数的次梯度信息的情况下，推广了经典的梯度下降法。该算法是第一个分布式非欧零阶方法，它实现了$O(1/\sqrt{T})$收敛速度，恢复了分布式紧约束凸优化的最优速度。此外，DRFMD算法实现了强凸约束优化情况下的$O(\ln T/T)$收敛速度。该速率匹配最佳已知的非紧凑约束结果。研究了一种分散倒数加权平均逼近序列，并首次将其应用于分布式算法中。同时给出了加权平均算法（DRGFMD-WA）的一类收敛速度。分散加权平均序列的构造技术为分布式算法中极小值的搜索提供了新的思路。
2019-03-11 math.OC
Online Projected Gradient Descent for Stochastic Optimization with Decision-Dependent Distributions
研究了具有时变费用的随机最优化问题的解的跟踪问题，该问题的解依赖于具有决策依赖分布的随机变量。在这种情况下，我们提出了使用一个在线的随机梯度下降法来解决优化，我们提供了明确的界限，期望和高概率的优化器和算法产生的点之间的距离。特别是，我们表明，由于采样的梯度误差建模为一个子威布尔随机变量，那么跟踪误差最终有界的期望和高概率。理论研究结果通过数值模拟的电动汽车车队的充电优化的背景下进行了验证。
2021-10-27 cs.SY eess.SY math.OC
String-Averaging Projected Subgradient Methods for Constrained Minimization
我们认为有约束的最小化问题，并建议取代投影到整个可行域，在投影次梯度法（PSM）中所需的，由投影到个人集的交集形成整个可行域。具体而言，我们建议执行这样的投影到个人集的算法制度的可行性寻求迭代投影方法。为此，我们使用最近开发的动态串平均投影（DSAP）方法，其中迭代索引因变量字符串和可变权重是允许的。这就产生了一种算法方案，从算法结构的角度来看，它概括了Helou Neto和De Pierro，Nedić，Nurminski和Ram等人的早期工作。
2013-08-29 math.OC
Stochastic Gradient Descent for Constrained Optimization based on Adaptive Relaxed Barrier Functions
本文提出一种随机采样约束与有限和目标分量、并逐迭代自适应调整松弛对数障碍的SGD算法，证明其在强凸目标和仿射不等式约束下以概率一收敛，且数值结果表明其适合大量约束问题。
2025-05-12 math.OC
On complexity and convergence of high-order coordinate descent algorithms for smooth nonconvex box-constrained minimization
本文提出用于光滑非凸箱约束最小化的高阶正则化坐标下降法，证明其高阶平稳性收敛与一阶复杂度界，并通过多维标度实验和初始点策略提升性能。
2022-02-02 math.OC
Reinterpreting EMML as Mirror Descent for Constrained Maximum Likelihood Estimation
Technische Universität Berlin（柏林工业大学）；Univ. Bordeaux, CNRS, Bordeaux INP, IMB, UMR 5251（波尔多大学、法国国家科学研究中心、波尔多国立高等电子与计算机学院、IMB）
本文将EMML算法重新解释为镜像下降法，通过重新参数化的目标函数引入凸约束，保持EMML更新的乘法结构以提高效率，并证明算法收敛性，实验表明其在超光谱解混中收敛更快。
2026-07-13 math.OC
On Local Linear Convergence of Projected Gradient Descent for Unit-Modulus Least Squares
单位模最小二乘（UMLS）问题在信号处理中具有广泛的应用，例如，纯相位波束形成、相位恢复、雷达编码设计和传感器网络定位。可扩展的一阶方法，如投影梯度下降（PGD）最近被研究作为一个简单而有效的方法来解决UMLS问题。现有的关于UMLS的PGD收敛性的结果往往集中在整体收敛到平稳点。作为一个非凸问题，只建立了一个次线性的收敛速度。然而，这些结果并不能解释在实践中经常观察到的PGD的快速收敛。本文提出了一种新的分析收敛的PGD UMLS，证明线性收敛行为的算法附近的解决方案。通过利用目标函数和约束集的局部结构，我们建立了收敛速度的精确表达式，并刻画了线性收敛的条件。仿真结果表明，我们的理论分析证实了数值例子。此外，变体的PGD与自适应步长提出了新的见解，在我们的收敛性分析的基础上。这些变体在实践中显示出大幅加速。
2022-07-01 eess.SP math.OC
Learning Model-Based Sparsity via Projected Gradient Descent
Georgia Institute of Technology（佐治亚理工学院）；Mitsubishi Electric Research Labs（三菱电机研究实验室）；Carnegie Mellon University（卡内基梅隆大学）
以前已经提出了几种凸公式方法的统计估计与结构稀疏性作为先验。这些方法通常需要仔细调整正则化参数，通常是繁琐或启发式的练习。此外，这些方法产生的估计可能不属于期望的稀疏模型，尽管精确地近似真实参数。因此，贪婪型算法往往是更可取的估计结构稀疏参数。到目前为止，这些贪婪方法主要集中在线性统计模型上。本文研究了以非凸结构稀疏参数模型为约束集的投影梯度下降算法。如果成本函数具有稳定的模型限制Hessian，则算法产生所需最小值的近似。作为一个例子，我们阐述了主要结果在广义线性模型估计中的应用。
2016-01-27 cs.LG math.OC stat.ML
Nonconvex Deterministic Matrix Completion by Projected Gradient Descent Methods
本文研究基于 Ramanujan 图采样的确定性矩阵补全，提出投影梯度下降及其缩放变体，证明在良性初始化下分别以依赖和独立于条件数的线性速率收敛，并用数值实验验证。
2024-01-12 cs.IT math.IT math.OC
Projected Wirtinger Gradient Descent for Low-Rank Hankel Matrix Completion in Spectral Compressed Sensing
University of Iowa（爱荷华大学）
本文考虑从少量随机观测的时域样本中重建频谱稀疏信号。感兴趣的信号是$R$不同频率的复正弦曲线的线性组合。频率可以采用归一化频域$[0,1)$中的任何连续值。在将频谱稀疏信号恢复问题转化为低秩结构矩阵完备化问题后，提出了一种有效的可行点方法--投影Wirtinger梯度下降（PWGD）算法，有效地解决了该结构矩阵完备化问题.我们进一步加速我们提出的算法的FISTA启发的计划。我们给出了我们提出的算法的收敛性分析。大量的数值实验来说明我们所提出的算法的效率。与以前的方法不同，我们的算法可以非常有效地解决非常大的维度的问题。
2015-07-14 cs.IT cs.LG math.IT
Some Analogue of Quadratic Interpolation for a Special Class of Non-Smooth Functionals and One Application to Adaptive Mirror Descent for Constrained Optimization Problems
许多著名的梯度型最优化方法的收敛速度的理论估计是基于二次插值，只要满足梯度的利普希茨条件。本文在局部Lipschitz拟凸泛函类中，利用本文所引入的非光滑条件（Lipschitz连续次梯度），得到了构造类似插值的可能性.作为应用，本文给出了自适应镜像下降法求解具有多个凸泛函约束的拟凸局部Lipschitz泛函极小化问题的收敛速率的估计.
2018-12-16 math.OC
A Safeguarded Projected-Gradient Framework for Complementarity Constrained Least Squares Problems
College of Information Science and Technology, Jinan University（暨南大学信息科学技术学院）；School of Mathematics, South China University of Technology（华南理工大学数学学院）
针对广义绝对值方程和线性互补问题这类可表述为互补集上最小二乘问题的模型，提出保障投影梯度框架，分析其收敛性质，通过数值实验展示该框架在测试中的高精度及相关计算权衡等实际表现。
2026-09-03 math.OC
From sparse recovery to plug-and-play priors, understanding trade-offs for stable recovery with generalized projected gradient descent
本文提出了一种通用投影梯度下降框架，结合深度投影先验，以提高稀疏恢复和图像逆问题中的稳定性和鲁棒性。
2025-12-08 cs.NE eess.IV math.OC
Randomized sketch descent methods for non-separable linearly constrained optimization
本文研究了具有多个线性耦合约束的大规模光滑最优化问题。由于约束的不可分离性，不能保证任意的随机草图。因此，我们首先调查的充要条件和充分条件的草图采样有明确的算法。基于这些采样条件，我们开发了新的草图下降法，特别是随机草图下降和加速随机草图下降法，以解决一般光滑线性约束问题。据我们所知，这是随机草图下降算法的多个不可分离的线性约束的最优化问题的收敛性分析。在一般情况下，当目标函数是光滑的和非凸的，我们证明了非加速变量的次线性率在期望的适当的最优性措施。在光滑凸的情况下，我们推导出这两种算法，非加速和加速随机草图下降，次线性收敛速度的期望值的目标函数。另外，如果目标函数满足强凸性条件，则两种算法均线性收敛于期望值。在特殊情况下，复杂性边界是已知的一些特定的草图算法，如坐标下降法的最优化问题与一个单一的线性耦合约束，我们的理论恢复最知名的界限。我们还表明，当随机草图是素描坐标方向随机产生更好的结果比固定的选择规则。最后，我们提出了一些数值例子来说明我们的新算法的性能。
2018-08-07 math.OC
Model-Free Feedback Constrained Optimization Via Projected Primal-Dual Zeroth-Order Dynamics
本文提出了一种无模型反馈求解方法来求解一般的约束最优化问题，而不需要知道目标函数和约束函数的具体表达式。这种求解方法被称为投影原-对偶零阶动力学（P-PDZD），并基于投影原-对偶梯度动力学和极值搜索控制。特别地，P-PDZD方法可以被解释为无模型控制器，其仅使用输出反馈自主地驱动未知系统到最优化问题的解。的P-PDZD可以正确地处理硬和渐近约束，我们开发的分散版本的P-PDZD时，适用于多智能体系统。证明了P-PDZD具有半全局实用渐近稳定性和结构鲁棒性。然后将分散P-PDZD应用于具有方形探测信号的配电系统的最优电压控制问题，仿真结果验证了P-PDZD方法的最优性、鲁棒性和自适应性。
2022-06-22 math.OC
The Projected Hessian Quantification Theorem: Exact Duality For Constrained Eigenvalues
School of System Science and Statistics, Beijing Wuzi University（北京物资大学系统科学与统计学院）；LMIB of the Ministry of Education, School of Mathematical Sciences, Beihang University（北京航空航天大学数学科学学院教育部重点实验室）
本文提出投影Hessian量化定理，精确刻画约束特征值，并开发无矩阵罚-分裂-合并方法，用于高效求解约束极值特征对。
2026-09-17 math.OC
Projected Stochastic Momentum Methods for Nonlinear Equality-Constrained Optimization for Machine Learning
Lehigh University（利哈伊大学）
本文提出两种投影随机动量方法，用于解决机器学习中的非线性等式约束优化问题，并通过实验验证其有效性。
2026-01-16 math.OC
A gradient descent akin method for inequality constrained optimization
提出了一种求解不等式约束最优化问题的一阶方法。该方法源自我们以前的工作[12]，即应用归一化梯度的奇异值分解的改进搜索方向方法（MDM）。在这项工作中，我们将其计算框架简化为“梯度下降akin”方法，即，使用负的和归一化的目标和约束梯度的线性组合来计算搜索方向。这项工作的主要重点是提供一个数学方面的方法。我们使用动力系统的方法分析的全局行为和收敛性的方法。然后，我们证明了所得到的轨迹找到局部解的渐近收敛到中心路径（S）的对数障碍邻点方法在所谓的相对凸条件下。数值例子的报告，其中包括常见的测试例子和形状优化中的应用。
2020-03-11 math.OC
An Efficient Alternating Riemannian/Projected Gradient Descent Ascent Algorithm for Fair Principal Component Analysis
本文提出交替黎曼/投影梯度下降上升（ARPGDA）算法，用于高效求解一般大规模公平主成分分析问题，通过转化为光滑非凸线性极小极大问题，在O(ε^{-3})迭代内找到ε-稳定点，并在解质量和速度上优于现有方法。
2023-12-23 eess.SP math.OC
Mirror Descent for Constrained Optimization Problems with Large Subgradient Values
基于arXiv：1710.06612的思想，考虑了具有非正凸（一般为非光滑）Lipschitz连续泛函约束的Holder连续非光滑泛函$f$的极小化问题.我们提出了一些新的策略的步长和自适应停止规则镜像下降算法考虑类问题。结果表明，该方法适用于各种光滑程度的目标泛函。将重新开始技术应用于镜像下降算法，提出了一种求解目标函数为强凸的最优化问题的优化方法。所考虑的算法的收敛速度收敛速率的目标函数的平滑程度的依赖。这些估计表明的最优性考虑的方法从理论的角度下预言界。此外，考虑了目标泛函和约束条件均为拟凸的情况。
2021-12-29 math.OC
Mirror descent for constrained stochastic control problems
University of Edinburgh（爱丁堡大学）
本文提出连续时间镜像下降动力学求解约束随机控制问题，在哈密顿量凸性条件下证明线性或指数收敛，并给出基于模型和无模型的数值算法验证理论结果。
2026-09-09 math.OC
A Unifying Analysis of Projected Gradient Descent for $\ell_p$-constrained Least Squares
Carnegie Mellon University（卡内基梅隆大学）
本文利用受限等距性质，分析了投影梯度下降法在压缩感知框架下 $\ell_p$ 约束最小二乘问题中的收敛性，统一并推广了迭代硬阈值和软阈值算法的结果，揭示了随 $p$ 增大条件变严、鲁棒性下降的规律。
2012-06-26 cs.IT cs.NA math.IT
Quantitative Convergence Analysis of Projected Stochastic Gradient Descent for Non-Convex Losses via the Goldstein Subdifferential
该研究针对非凸损失投影SGD收敛衡量存在的局限，提出以梯度到Goldstein次微分的距离作为收敛准则，推导了不同数据分布下的渐近与非渐近收敛界，首次得到该场景下的非渐近高概率界。
2025-10-03 cs.LG math.OC
Random block coordinate descent methods for linearly constrained optimization over networks
本文提出了求解网络上线性约束可分凸问题的随机块坐标梯度下降法。由于我们耦合的问题中的约束，我们设计了一个算法，并行更新$τ\geq 2$（块）组件每次迭代。此外，对于该方法，可以根据网络的结构以分布式方式执行计算。然而，当网络中的节点数$N$较大时，其每次迭代的复杂度通常比全梯度法便宜。我们证明，对于这种方法，我们在预期中获得的$ε$ -准确的解决方案，在最多$\mathcal{O}(\frac{N}{τε})$迭代，从而收敛速度线性依赖于（块）组件$τ$的数量进行更新。对于强凸函数，新方法线性收敛。我们还重点讨论了如何选择概率，使随机化算法尽可能快地收敛，我们到达解决稀疏SDP。最后，我们描述了几个应用程序，适合在我们的框架，特别是凸可行性问题。数值上，我们表明，并行坐标下降法与$τ>2$加速其基本对应的$τ=2$。
2015-12-11 math.OC
Bounded perturbation resilience of projected scaled gradient methods
研究了求解凸极小化问题的投影尺度梯度方法。这些方法沿着对角缩放的梯度方向执行下降步骤，然后通过正交投影到约束集上执行可行性恢复步骤。这构成了一个广义的算法结构，包括作为特殊情况的梯度投影法，投影牛顿法，投影Landweber型方法和广义期望最大化（EM）型方法。证明了在有界扰动下PSG方法的收敛性。这种弹性有界扰动的能力，最近开发的优越化方法PSG方法，特别是EM算法。
2015-07-27 math.OC
Accelerated projected gradient algorithms for sparsity constrained optimization problems
Academia Sinica（中央研究院）
本文提出两种加速投影梯度算法，用于解决稀疏约束优化问题，通过子空间识别和同空间外推实现超线性收敛和加速优化。
2026-02-12 math.OC
Faster Convergence of a Randomized Coordinate Descent Method for Linearly Constrained Optimization Problems
线性耦合约束下可分凸函数的极小化问题在经济系统、分布式控制、网络流等领域都有广泛的应用。解决这个问题的主要挑战是，数据的大小是非常大的，这使得通常的基于梯度的方法不可行。最近，Necoara，Nesterov和Glineur [Journal of Optimization Theory and Applications，173（2017）227-2254]提出了一种有效的随机坐标下降法来解决这种类型的最优化问题，并给出了一个吸引人的收敛性分析。在本文中，我们开发了新的技术来分析这种算法的收敛性，这是能够大大改善的结果。这个精炼的结果是通过扩展Nesterov开发的Nesterov的第二种技术[SIAM J. Optim. 22（2012）341-362]中描述的方法应用于具有线性耦合约束的一般最优化问题。在我们的分析中，一个新的技术是建立线性约束的子空间的基向量。
2017-09-04 math.OC
An almost cyclic 2-coordinate descent method for singly linearly constrained problems
提出了一种块分解方法，用于最小化一个（可能是非凸的）连续可微函数，该函数受一个线性等式约束和简单的变量界。所提出的方法迭代地选择一对坐标根据一个几乎循环的策略，不使用一阶信息，使我们不计算整个梯度的目标函数在算法过程中。使用一阶搜索方向来更新每对坐标，整体收敛的稳定点建立在适当的假设下的水平集的不同的步长的选择。特别是，不精确和精确的线搜索策略进行了分析。在标准附加假设下，证明了算法的线性收敛速率.数值结果表明了该方法的有效性。
2019-03-05 math.OC
Global convergence of $W^{1,\infty}$-steepest descent for PDE constrained shape optimisation with semilinear elliptic equations in function space
Otto-von-Guericke-University Magdeburg（奥托·冯·古里克马格德堡大学）；University of Sussex（萨塞克斯大学）；University of Koblenz（科布伦茨大学）
本文研究了PDE约束形状优化中半线性椭圆方程的$W^{1,\infty}$-最陡下降法的全局收敛性，证明了在函数空间中的收敛性及二维空间中的条件收敛结果。
2026-03-03 math.AP math.OC
Mirror Descent Methods with Weighting Scheme for Outputs for Constrained Variational Inequality Problems
本文针对经典及带函数约束的变分不等式问题，提出带输出加权方案的镜像下降法，通过给近期点更大权重提升收敛速度，并证明了有界单调算子下的最优收敛速率，数值实验显示其显著优于改进投影法。
2025-06-02 math.OC
