A parallel subgradient projection algorithm for quasiconvex equilibrium problems under the intersection of convex sets
本文研究了双函数关于第二变元拟凸且可行集为有限个凸集的交的平衡问题。我们提出了一个投影算法,其中的投影可以独立地计算到每个组件集。研究了算法的收敛性,并通过一个含仿射分式算子的变分不等式问题的数值算例验证了算法的收敛性.
2020-10-01 math.OC
Sum-Rate Maximization via Convex Optimization Using Subgradient Projections Onto Nonlinear Spectral Radius Constraint Sets
Nagaoka University of Technology(长冈技术科学大学);Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希赫兹研究所)
本文提出了一种基于子梯度投影的凸优化方法,用于在非线性谱半径约束集上实现总速率最大化,适用于无细胞网络等实际场景。
2026-02-25 math.OC
Universal subgradient and proximal bundle methods for convex and strongly convex hybrid composite optimization
FGV/EMAp(巴西圣保罗基金会应用数学学院);Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI) and Department of Computer Science, University of Rochester(罗切斯特大学戈根数据科学与人工智能研究所及计算机系);School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院工业与系统工程学院)
本文提出两种通用方法,用于解决凸和强凸混合复合优化问题,无需参数且无需最优值知识,具有高效的复杂度界。
2025-11-20 math.OC
On Robustness of the Normalized Subgradient Method with Randomly Corrupted Subgradients
许多现代优化和机器学习算法依赖于次梯度信息是可信的,因此,当这些信息被破坏时,它们可能无法收敛。在本文中,我们考虑的设置次梯度信息可能被任意损坏(与一个给定的概率)和研究的鲁棒性的归一化次梯度方法。在概率腐败的情况下,我们证明了归一化次梯度方法,其更新仅依赖于方向信息的次梯度,收敛到最小的凸,强凸,弱伪凸函数满足一定的条件。线性回归和逻辑分类问题的数值证据支持我们的结果。
2021-03-21 math.OC
Subgradient Gliding Method for Nonsmooth Convex Optimization
LMIB of the Ministry of Education, School of Mathematical Sciences, Beihang University(教育部数学建模实验室,北京航空航天大学数学科学学院)
亚梯度滑动法解决经典投影亚梯度方法在非光滑凸优化中的失效问题,提供更灵活的步长设计和更优的收敛速率。
2026-02-15 math.OC
Optimal Subgradient Methods for Lipschitz Convex Optimization with Error Bounds
Purdue University(普渡大学)
本文提出了一种适用于具有误差界条件的Lipschitz凸优化问题的最优次梯度方法,通过新的下界论证实现了对最优解的最小最大收敛保证。
2025-12-15 math.OC
Convergence Rates of Subgradient Methods for Quasi-convex Optimization Problems
拟凸优化问题在经济、金融等诸多领域中起着重要作用,次梯度法是求解大规模拟凸优化问题的一种有效迭代算法。本文在统一的框架下研究了求解拟凸优化的各种次梯度法的迭代复杂度和收敛速度。特别地,我们考虑一个序列满足一个一般的(不精确的)基本不等式,并研究了整体收敛定理和迭代复杂性时,使用常数,递减或动态步长规则。更重要的是,我们建立了线性(或次线性)的收敛速度的序列的一个额外的假设下,弱尖锐的最小值的Hölderian秩序和上界噪声。在满足赫尔德条件和/或Hölder阶的弱锐极小值的假设下,利用这些收敛定理建立了求解拟凸优化问题的几种次梯度方法,包括标准/不精确/条件次梯度方法的迭代复杂度和收敛速度.
2019-10-24 math.OC
New results on subgradient methods for strongly convex optimization problems with a unified analysis
我们开发了次梯度和梯度为基础的方法,最小化强凸函数的概念下,推广了标准的欧几里德强凸。我们提出了一个统一的框架,次梯度方法产生两种方法,即,近端梯度法(PGM)和条件梯度法(CGM),统一现有的几种方法。统一的框架提供了工具来分析的PGMs和CGMs的收敛性的非光滑,(弱)光滑,并进一步为结构化的问题,如不精确的预言模型。建议的次梯度方法产生最佳的PGMs几类问题,并产生最佳和近最佳CGMs光滑和弱光滑问题,分别。
2015-12-04 math.OC
On proximal subgradient splitting method for minimizing the sum of two nonsmooth convex functions
当目标函数为两个不可微的凸函数之和时,本文提出了一种近似前后分裂迭代法,用于求解希尔伯特空间中的非光滑最优化问题.建议的迭代,这将被称为邻近次梯度分裂方法,扩展了经典的次梯度迭代的重要类别的问题,利用添加剂结构的目标函数。在适当的假设条件下,利用不同的步长证明了所生成序列的弱收敛性。此外,我们分析了迭代的复杂性。
2016-01-12 math.OC
Computing proximal points of convex functions with inexact subgradients
定位邻近点是许多最小化算法的组成部分。本文主要研究在不精确的预言下,如何求出凸函数在某一点的逼近点。我们的方法假设精确的函数值在手边,但精确的子梯度要么不可用,要么没有用。我们使用近似次梯度来建立目标函数的模型,并证明了该方法在可接受的误差范围内收敛到真实的收敛点。在每个步骤$k$中使用的次梯度$g_k$是这样的,即从$g_k$到当前迭代点处的目标函数的真次微分的距离由某个固定的$\varepsilon>0.$限定。该算法包括应用于近似次梯度的新颖的倾斜校正步骤。
2016-11-02 math.OC
Subgradient Ellipsoid Method for Nonsmooth Convex Problems
本文提出了一种新的椭球型算法,用于求解具有凸结构的非光滑问题。这类问题的例子包括非光滑凸极小化问题、凸凹鞍点问题和带有单调算子的变分不等式。我们的算法可以看作是标准次梯度和椭球方法的组合。然而,与后者相比,所提出的方法具有合理的收敛速度,即使当问题的维数足够大。为了在我们的算法中生成准确性证书,我们提出了一种有效的技术,它改善了以前已知的配方。
2021-06-24 math.OC
A Non-Monotone Conjugate Subgradient Type Method for Minimization of Convex Functions
本文提出了一个求解凸不可可微函数极小化问题的共轭次梯度型方法。与该类的自定义方法不同,它不需要目标函数的单调递减,从本质上降低了每次迭代的实现成本。同时,它的步长过程考虑了该方法沿迭代点的行为。计算实验的初步结果证实了所提出的修改的效率。
2019-04-19 math.OC
Inexact proximal $ε$-subgradient methods for composite convex optimization problems
我们提出了两个近似版本的近端次梯度法最小化两个凸函数(不一定是可微的)的总和。该算法涉及,在每次迭代中,不精确的评价的近端运营商和近似次梯度的功能(即:的$ε$ -次梯度)。这些方法使用不同的误差标准来近似近端算子。我们提供了一个分析的收敛性和收敛速率这些方法的属性,考虑到各种步长规则,包括两个,递减和恒定步长。对于其中一个函数是光滑的情况,我们提出了一个不精确的加速版本的邻近梯度法,并证明了最佳的收敛速度的函数值可以实现。
2019-07-11 math.OC
Primal-dual subgradient method for constrained convex optimization problems
本文考虑了一般的凸约束问题,其中函数既不是可微的,也不是Lipschitz连续的。我们的动机是在寻找一个简单的一阶方法来解决大范围的凸优化问题的最小要求。我们研究了加权对偶平均法(Nesterov,2009),并证明了它是一种最优方法。
2021-03-18 math.OC
Subgradient Projection Operators
研究了次梯度投影算子的若干代数和拓扑性质,并给出了各种例子。与莫罗的邻近算子的连接也和次梯度投影算法的加速计划进行了讨论。最后,连续性,非扩张性,单调性,可微性和epi-convergence性质进行了研究。
2014-03-27 math.FA math.OC
Analogues of Switching Subgradient Schemes for Relatively Lipschitz-Continuous Convex Programming Problems
最近,Yu选择了一些特定类别的非光滑和非Lipschitz凸优化问题。Nesterov与H.~陆我们考虑目标函数和函数约束具有相似光滑条件的凸规划问题。我们引入了一个新的概念,一个不精确的模型,并提出了一些类似的切换次梯度计划的凸规划问题的相对Lipschitz连续的目标函数和功能的限制。研究了一类在线凸优化问题。所提出的方法是最优的最优化问题类相对Lipschitz连续的目标和功能的约束。
2021-05-06 math.OC
String-Averaging Projected Subgradient Methods for Constrained Minimization
我们认为有约束的最小化问题,并建议取代投影到整个可行域,在投影次梯度法(PSM)中所需的,由投影到个人集的交集形成整个可行域。具体而言,我们建议执行这样的投影到个人集的算法制度的可行性寻求迭代投影方法。为此,我们使用最近开发的动态串平均投影(DSAP)方法,其中迭代索引因变量字符串和可变权重是允许的。这就产生了一种算法方案,从算法结构的角度来看,它概括了Helou Neto和De Pierro,Nedić,Nurminski和Ram等人的早期工作。
2013-08-29 math.OC
$ε$-Subgradient Algorithms for Bilevel Convex Optimization
本文引入并研究了一类新的显式$ε$ -次梯度方法,用于极小化另一个凸极小化问题的极小元集上的一个凸函数.通用算法专门用于一些重要的情况,如一阶方法应用于一个变化的目标函数,具有计算成本低的迭代。我们提出的数值实验的理论框架,包括有效的算法技术的某些应用程序,使使用所得到的方法来解决非常大的实际问题,在断层图像重建。
2017-03-08 math.OC
Primal-dual subgradient methods for minimizing uniformly convex functions
讨论了强一致凸目标最优化问题的非欧确定性和随机算法。我们提供这些算法的性能和设计方法是自适应的目标的强或均匀凸性的参数的准确性界限:在迭代$N$的总次数是固定的情况下,其准确性一致,最多的对数在$N$因子与最佳算法的准确性。
2014-01-08 math.OC
Zero-Convex Functions, Perturbation Resilience, and Subgradient Projections for Feasibility-Seeking Methods
凸可行性问题(CFP)是各个科学领域中许多问题建模的核心。次梯度投影方法是求解CFP的重要工具,因为它们允许使用次梯度计算而不是正交投影到问题的各个集合上。在实希尔伯特空间中,我们证明了序列次梯度投影方法是抗扰动的。我们的意思是,在适当的条件下,由该方法产生的序列弱收敛,有时也强收敛到可行性问题的给定子集的交叉点,尽管在每个迭代步骤中允许某些扰动。与以往的工作解决凸可行性问题,涉及的功能,导致可行性问题的子集,不需要是凸的。相反,我们允许它们属于满足较弱条件的更广泛和更丰富的函数类,我们称之为“零凸性”。这个类,这是介绍和讨论这里,持有承诺,以解决最优化问题在各个领域,特别是在非光滑和非凸优化。这项研究的相关性,近似最小化和最近的优越化方法约束优化的解释。
2014-05-07 math.OC
Distributed Subgradient Projection Algorithm over Directed Graphs
我们提出了一种分布式算法,称为定向分布式投影次梯度(D-DPS),用于解决多智能体网络上的约束最优化问题,其中智能体的目标是共同最小化局部已知的凸函数之和。网络中的每个代理只拥有其本地目标函数,约束到一个众所周知的凸集。我们专注于代理之间的通信时,描述了一个有向网络的情况。D-DPS为每个Agent增加了一个额外的变量,以克服由有向通信网络引起的不对称性。收敛性分析表明,D-DPS以$O(\frac{\ln k}{\sqrt{k}})$的速度收敛,其中k为迭代次数.
2016-08-28 math.OC
An Infeasible-Point Subgradient Method Using Adaptive Approximate Projections
本文提出了一种新的次梯度法,用于求解凸集上非光滑凸函数的极小化问题。为了加快计算速度,我们使用自适应近似投影,只需要在精确投影的一定距离内移动(在算法过程中会减少)。特别是,我们方法中的迭代在整个过程中可能是不可行的。然而,我们提供的条件,确保收敛到一个最佳的可行点,在适当的假设。一个收敛的结果处理的步长序列是固定的先验。另外两个结果处理动态Polyak型步长取决于最佳目标函数值的下限或上限估计,分别。此外,我们简要概述了两个应用:凸机会约束的优化,并找到最小l1范数解欠定线性系,在压缩感知的一个重要问题。
2013-03-08 math.OC
Generalized-Hukuhara Subgradient and its Application in Optimization Problem with Interval-valued Functions
本文给出了区间值函数的gH-次梯度和gH-次微分的概念。凸区间值函数的gH-次微分的几个重要特征,例如,研究了闭性、有界性、链式法则等。同时证明了gH-可微凸区间值函数的gH-次微分只包含该区间值函数的gH-梯度。我们观察到凸区间值函数在每个方向上的gH-方向导数是所有gH-次梯度与方向乘积的最大值。重要的是,我们证明了凸区间值函数是gH-Lipschitz连续的,如果它在其域中的每个点上都有gH-次梯度。进一步,得到了区间值函数最优化问题的有效解与其gH-次梯度之间的关系.
2021-04-15 math.OC
A modified subgradient extragradient method for solving the variational inequality problem
Censor等人在\cite{CGR}中提出了求解变分不等式(VI)问题的次梯度外梯度方法,该方法将外梯度方法中VI问题在可行集上的第二次投影改为在可构造半空间上的次梯度投影.由于该方法已被引入,许多作者提出了扩展和修改与应用程序的各种问题。本文通过改进次梯度外梯度法第二步的步长,提出了一种改进的次梯度外梯度法。在标准和温和的条件下证明了算法的收敛性,并通过数值实验验证了该算法的性能和优越性。
2018-01-02 math.OC
OSGA: A fast subgradient algorithm with optimal complexity
本文给出了一个在简单的、不一定有界的凸区域中近似极小化凸函数的算法,假定只需要函数值和次梯度。除了强凸性参数(如果只知道凸性,则可以将其置为零)之外,不需要关于目标函数的全局信息。实现给定精度所需的最差情况迭代次数与维数(可能是无限大)无关,并且-除了常数因子外-在目标函数的各种平滑假设下是最佳可能的。
2014-02-05 math.OC
Incremental Subgradient Methods for Minimizing The Sum of Quasi-convex Functions
比率和问题在经济学和管理学中有着广泛的应用,但整体求解是一个困难的问题。本文考虑闭凸集上若干不可微拟凸分支函数之和的极小化问题,其中包括比和问题作为特例.拟凸分支函数的和不一定是拟凸的,因此,本文的研究超越了拟凸优化。利用和最小化问题的结构,我们提出了一种新的增量次梯度法,并研究了当使用常数、递减或动态步长规则时,在齐次假设和$p$阶的赫尔德条件下,该方法收敛于全局最优解的性质.为了节省大量分量函数的次梯度的计算代价,我们进一步提出了一种随机增量次梯度方法,在该方法中,每次迭代时只随机选择一个分量函数来构造次梯度方向.利用函数值和迭代点到概率为1的最优解集的距离,得到了收敛性。将所提出的增量次梯度方法应用于求解比率和问题以及多个Cobb-Douglas产生式的有效性问题,数值结果表明所提出的方法对于求解大比率和问题是有效的.
2017-10-17 math.OC
String-Averaging Incremental Subgradients for Constrained Convex Optimization with Applications to Reconstruction of Tomographic Images
我们提出了一种基于次梯度方向和串平均技术的非光滑凸极小化方法。在这种方法中,可用数据集被分成序列(字符串),并且通过增量次梯度方法(ISM)沿着每个字符串独立地(可能并行地)处理给定的数据集。所有字符串的端点被平均以形成下一个字符串。该方法适用于求解稀疏和大规模非光滑凸优化问题,如层析成像中出现的问题。收敛性分析提供了现实的,标准的条件下。在断层图像重建应用中进行了数值测试,与经典ISM相比,当作为目标函数的减小比率测量时,收敛速度表现出良好的性能。
2016-10-18 math.OC
An optimal subgradient algorithm for large-scale convex optimization in simple domains
本文证明了在\cite{NeuO}中提出的最优次梯度法(OSGA)可用于求解结构化大规模凸约束最优化问题。只需要一阶信息,光滑和非光滑问题的最佳复杂性界。更具体地说,我们考虑两类问题:(i)一个凸目标与一个简单的闭凸区域,在这个可行域上的正交投影是有效的;(ii)一个凸目标与一个简单的凸泛函约束。如果我们给OSGA配上一个合适的函数,OSGA子问题就可以用一个封闭的形式或一个简单的迭代格式来求解,这对于大规模问题尤为重要。我们报告的一些应用程序的数值结果显示所提出的计划的效率。一个软件包实现上述领域的OSGA是可用的。
2015-01-07 math.OC
Subgradient Algorithm, Stochastic Subgradient Algorithm, Incremental Subgradient Algorithm, and Set Location Problems
近年来,凸优化方法和技术在选址科学、工程、计算统计和计算机科学等领域的应用取得了重要进展。本文提出了一些简单的算法来求解一些新的设施选址模型,这些模型推广了经典的Fermat-Torricelli问题和最小封闭圆问题。模型的一般不可微性使我们无法应用梯度型算法,因此我们的方法是使用次梯度型算法。本文提出的算法易于实现,适用范围广,也适合于凸优化的教学和学习。
2013-12-20 math.OC
"Efficient" Subgradient Methods for General Convex Optimization
提出了一种求解一般凸优化问题的次梯度法,其主要要求是已知一个严格可行点。生成一个可行的迭代序列,该序列收敛到用户指定的最优性误差内。在每次迭代时通过线搜索来保持可行性,从而避免了对可行域的正交投影的需要(该操作限制了传统次梯度方法的实用性)。Lipschitz连续性是不需要的,但该算法被证明具有收敛速度类似于传统方法的速度,虽然测量误差相对,而传统的错误是绝对的。该算法是使用一个基本的框架,可以用来设计其他这样的算法。
2016-05-27 math.OC
An optimal subgradient algorithm for large-scale bound-constrained convex optimization
本文表明,OSGA算法-它使用一阶信息来解决具有最佳复杂性的凸优化问题-可以用来有效地解决任意有界约束的凸优化问题。这是通过构建一个明确的方法,以及一个不精确的计划,解决有界约束的合理的子问题所需的OSGA。这导致在信号和图像处理、机器学习和统计等应用中的大规模问题上有效地实现OSGA。数值实验表明,该算法在此类问题上具有良好的性能。离子,以显示所提出的方案的效率。一个软件包实现有界约束凸问题的OSGA是可用的。
2015-01-07 math.OC
A subgradient method with non-monotone line search
本文提出了一种求解简单凸约束下凸函数极小化问题的非单调线搜索次梯度法。与标准次梯度法中的步长固定不同,新方法采用自适应方式选择步长。在较弱的条件下,得到了算法的渐近收敛结果和迭代复杂度界。初步的数值结果说明了所提出的方法的相对效率。
2022-04-21 math.OC
Stochastic Approximation Proximal Subgradient Method for Stochastic Convex-Concave Minimax Optimization
本文针对随机凸-凹极小极大优化提出SAPS方法,并在有界次梯度条件不成立时进一步提出LSAAL方法,证明了两种算法均具有O(N^{-1/2})期望收敛速率及相应的高概率界。
2024-03-29 math.OC
A Framework for Applying Subgradient Methods to Conic Optimization Problems
提出了一个框架,将一般的凸二次曲线最优化问题转化为等价的凸优化问题,其唯一的约束条件是线性方程组,其目标函数是Lipschitz连续的。实际上,任何次梯度法都可以用来求解等价问题。两种方法进行了分析。
2015-06-16 math.OC
A superlinearly convergent subgradient method for sharp semismooth problems
次梯度方法包括一类基本的非光滑最优化算法。经典的结果表明,某些次梯度方法对一般Lipschitz凸函数是次线性收敛的,而对远离解急剧增长的凸函数是线性收敛的。最近的工作,而且这些结果扩展到某些非凸问题。在这项工作中,我们试图提高这些算法的复杂性,问:是否有可能设计一个超线性收敛的次梯度法?我们提供了一个肯定的答案,这个问题的一个广泛的一类尖锐的半光滑函数。
2022-01-12 math.OC
Quadratically Regularized Subgradient Methods for Weakly Convex Optimization with Weakly Convex Constraints
具有非凸约束的最优化模型出现在机器学习中的许多任务中,例如,具有公平性约束的学习或具有非凸损失的Neyman-Pearson分类。虽然许多有效的方法已经开发了理论上的收敛保证非凸无约束问题,它仍然是一个挑战,设计可证明有效的算法,非凸泛函约束问题。本文提出了一类求解约束优化问题的次梯度法,其中目标函数和约束函数都是弱凸非光滑的。我们的方法解决了一系列的强凸子问题,其中一个二次正则化项被添加到目标函数和每个约束函数。每个子问题可以用各种强凸优化算法求解。在一致的斯莱特条件下,我们建立了我们的方法的计算复杂性,寻找一个几乎稳定点。
2023-03-23 math.OC
Distributed Subgradient Projection Algorithm over Directed Graphs: Alternate Proof
本文提出了一种基于多智能体网络的有向分布投影次梯度算法(Directed-Distributed Projected Subgradient,D-DPS)来求解一个约束最优化问题,其中智能体的目标是共同最小化局部已知凸函数的和.网络中的每个代理只拥有其本地目标函数,约束到一个众所周知的凸集。我们专注于代理之间的通信时所描述的\emph{directed}网络的情况。D-DPS结合了剩余的一致性,以克服由有向通信网络引起的不对称性。分析表明收敛速度为$O(\frac{\ln k}{\sqrt{k}})$。
2017-06-21 math.OC
An interior subgradient and a proximal linearized method for DC programming
本文研究了一类DC(凸函数的差分)约束极小化问题的内次梯度法和逼近方法的收敛性。
2020-03-09 math.OC
Subgradient Methods for Nonsmooth Convex Functions with Adversarial Errors
CWI Amsterdam(荷兰数学与计算机科学研究学会阿姆斯特丹分部)
针对受有限预算对抗性破坏的非光滑凸函数最小化问题,提出三种无需动量或平均的次梯度下降法,其最坏性能随破坏预算线性下降且接近最优,并给出对应一阶方法的次优性间隙下界。
2025-10-03 math.OC
Relative Weak Convexity and Projected Subgradient Methods: Analysis and Convergence
University of Antwerp(安特卫普大学)
本文引入相对弱凸函数类,扩展了经典弱凸性,通过距离生成函数度量非凸性,并证明投影次梯度算法在尖锐误差界下线性收敛到全局极小点。
2026-06-29 math.OC
Random minibatch subgradient algorithms for convex problems with functional constraints
本文研究无限约束交集的非光滑凸优化问题,提出带有随机小批量可行性更新的次梯度迭代算法,证明了在强凸目标函数与有界次梯度条件下算法的次线性收敛速率及其最优性。
2024-01-10 math.OC
Sampled-Max Subgradient Method for Convex Finite-Max Optimization
HSE University(高等经济大学)
本文提出采样最大子梯度方法(SMax-SGM)求解大规模凸有限最大问题,通过随机子集采样降低查询复杂度,理论分析给出复杂度界,实验验证其高效性。
2026-09-29 math.OC
An approximate dual subgradient algorithm for multi-agent non-convex optimization
我们考虑一个多智能体最优化问题的代理受到当地的,间歇性的相互作用的目的是最小化的总和,当地的目标函数受到一个全球性的不等式约束和全球性的状态约束集。与以前的工作相比,我们不要求目标,约束函数和状态约束集是凸的。为了处理满足标准连通性假设的时变网络拓扑,我们采用一致性算法技术和拉格朗日对偶方法。我们稍微放松了对精确一致性的要求,并提出了一个分布式近似对偶次梯度法,使代理渐近收敛到一对原始-对偶解的近似问题。为了保证收敛性,我们假设Slater条件满足,并且对偶极限的最优解集是单点的。我们实现了我们的算法的源定位问题,并与现有的算法的性能进行比较。
2012-10-08 math.OC
A Complete Characterization of Optimal Subgradient Methods for Lipschitz Convex Minimization
Johns Hopkins University(约翰斯·霍普金斯大学)
研究给定条件下 Lipschitz 凸优化的最优固定步长一阶方法,给出其完整刻画,证明可从构造法导出,还通过证明乘数给出最优方法集的多面体表示,并表明不存在随时最优固定步长子梯度方法。
2026-07-22 math.OC
Fixed-Point Delayed Subgradient Methods for Nonsmooth Convex Optimization Problems
Khon Kaen University(孔敬大学);Gyeongsang National University(庆尚国立大学);China Medical University(中国医药大学)
本文提出基于混合最速下降法和延迟子梯度思想的固定点延迟子梯度方法,用于求解非光滑凸优化问题,证明了算法收敛性,并扩展到集中网络系统和图像修复应用。
2026-11-03 math.OC
Almost Sure Convergence of Random Projected Proximal and Subgradient Algorithms for Distributed Nonsmooth Convex Optimization
描述了两种分布式算法,使所有用户连接在一个网络上,以合作解决的问题,最小化的总和,所有用户的目标函数在所有用户的约束集的交集,其中每个用户有自己的私人非光滑凸目标函数和封闭的凸约束集,这是一些简单的,封闭的凸集的交集。一种算法使每个用户能够通过使用其目标函数的邻近算子和从简单的闭凸集中随机选择的一个集合上的度量投影来调整其估计。另一种是分布式随机投影算法,该算法通过使用用户的目标函数的次梯度而不是邻近算子来确定每个用户的估计。对这两种算法收敛性的研究表明,在一定的假设条件下,这两种算法所产生的所有用户的序列几乎必然收敛到同一个解。此外,对两种算法的收敛速度进行了分析,并讨论了使两种算法具有快速收敛性的步长序列的理想选择。具体的非光滑凸优化的数值比较支持了收敛性分析,并证明了两种算法的有效性。
2015-10-24 math.OC
On the Convergence Time of Dual Subgradient Methods for Strongly Convex Programs
研究了一般(可能不可微)强凸规划的对偶梯度法的收敛时间。对于一般的凸规划,具有简单滑动平均(从迭代$0$开始的滑动平均)的对偶次梯度/梯度法的收敛时间已知为$O(\frac{1}{ε^{2}})$ .本文证明了一般强凸规划的收敛时间是$O(\frac{1}ε)$。本文还考虑了平均方案的一种变形,称为滑动滑动平均,并证明了如果强凸规划的对偶函数是局部二次的(注意局部二次性是由局部强凹性所隐含的)。则滑动滑动平均对偶梯度法的收敛时间为$O(\log(\frac{1}ε))$。数值实验进一步验证了收敛时间分析。
2017-08-04 math.OC
Heterogeneous Distributed Subgradient
针对多智能体分布式凸优化问题,提出了一种基于异构推和的次梯度法,每个智能体可以在每次推次梯度和推次梯度之间任意切换.结果表明,在时变有向图上,异构算法以最优速度收敛到最优点。
2023-03-29 math.OC
Stochastic subgradient method converges at the rate $O(k^{-1/4})$ on weakly convex functions
Cornell University(康奈尔大学);U. Washington(华盛顿大学)
我们证明了,近端随机次梯度方法,适用于弱凸问题,驱动器的Moreau包络的梯度为零的速度$O(k^{-1/4})$。因此,我们解决了一个公开的问题上的收敛速度的最近随机梯度法的光滑非凸函数和凸逼近函数的总和最小化。
2018-02-19 cs.LG math.OC
A subgradient-based approach for finding the maximum feasible subsystem with respect to a set
我们提出了一种基于子梯度的方法,用于在给定闭集$C$(MFS $_C$)的闭集集合中寻找最大可行子系统。在该方法中,我们将MFS $_C$问题转化为一个$\ell_0$优化问题,并构造一系列连续的最优化问题来逼近它,每个逼近问题的目标是一个非负非减连续可微凹函数与平方距离函数到一个闭集的合成之和.虽然这个目标函数一般是非光滑的,但可以根据在闭集上的投影得到次梯度。基于这一观察,我们采用次梯度投影方法来解决这些近似问题。与经典的次梯度方法不同,我们的次梯度方法的收敛性(聚类到固定点)是保证与{ \em nondiminishing步长}在温和的假设。这使得我们能够进一步研究次梯度法在适当的Kurdyka-Kauojasiewicz假设下的序列收敛性。最后,我们说明我们的算法数值求解MFS $_C$问题的半空间的集合和集合的工会的半空间,分别相对于一组$s$ -稀疏向量。
2018-05-08 math.OC
Subgradients of Minimal Time Functions Under Minimal Requirements
本文研究了任意巴拿赫空间中具有常凸动力学和闭目标集的控制问题的一类最小时间函数。与其他出版物相比,我们不施加任何非空的内部和/或平静的假设的初始数据和处理一般非Lipschitzian最小时间函数。主要结果提出了精确的公式计算各种次梯度的最小时间函数下的最小要求,在这两种情况下的凸和非凸目标。我们的技术是基于变分分析和广义微分的先进工具。
2010-09-08 math.OC
Federated Incremental Subgradient Method for Convex Bilevel Optimization Problems
Department of Mathematics, Faculty of Science, Khon Kaen University(孔敬大学理学院数学系)
本文提出一种联邦增量子梯度法,用于解决强凸外层目标函数和有限凸函数和的内层问题的双层优化问题,并通过实验验证其有效性。
2026-01-21 math.OC
Iteration-Complexity of the Subgradient Method on Riemannian Manifolds with Lower Bounded Curvature
研究了具有下界截面曲率的完备黎曼流形上凸优化问题的次梯度法。建立了具有外生步长和Polyak步长的次梯度法的迭代复杂性界,完善和改进了这一问题的最新结果。
2018-08-20 math.OC
Alternating Subgradient Methods for Convex-Concave Saddle-Point Problems
本文提出一种非常数步长的交替次梯度方法求解凸-凹鞍点问题,证明了在次梯度一致有界等假设下的收敛性,并通过多项数值实验验证了降序步长策略的有效性。
2023-05-25 math.OC