Optimal subgradient algorithms with application to large-scale linear inverse problems
本文研究了利用一阶信息求解结构化无约束凸优化问题的一些算法,其中底层函数包含高维数据。主要目的是开发一种可实施的算法框架,用于使用Neumaier在[49]中提出的最佳次梯度法(OSGA)解决涉及线性映射的多项复合目标函数问题。为此,我们提出了几个新的函数,相应的子问题的OSGA是解决在一个封闭的形式。考虑到信号和图像处理,机器学习,统计中出现的各种逆问题,我们报告了大量的数值和比较,与几个国家的最先进的求解器提出有利的性能,我们的算法。我们还比较了一些光滑和非光滑凸问题中最广泛使用的最优一阶方法。令人惊讶的是,当一些Nesterov型的优化方法最初提出的光滑问题是适应于解决非光滑问题,通过简单地通过一个子梯度,而不是梯度,这些基于子梯度的算法的结果是有竞争力的,完全有趣的解决非光滑问题。最后,OSGA软件包可用。
2014-05-27 math.OC
New results on subgradient methods for strongly convex optimization problems with a unified analysis
我们开发了次梯度和梯度为基础的方法,最小化强凸函数的概念下,推广了标准的欧几里德强凸。我们提出了一个统一的框架,次梯度方法产生两种方法,即,近端梯度法(PGM)和条件梯度法(CGM),统一现有的几种方法。统一的框架提供了工具来分析的PGMs和CGMs的收敛性的非光滑,(弱)光滑,并进一步为结构化的问题,如不精确的预言模型。建议的次梯度方法产生最佳的PGMs几类问题,并产生最佳和近最佳CGMs光滑和弱光滑问题,分别。
2015-12-04 math.OC
A Complete Characterization of Optimal Subgradient Methods for Lipschitz Convex Minimization
Johns Hopkins University(约翰斯·霍普金斯大学)
研究给定条件下 Lipschitz 凸优化的最优固定步长一阶方法,给出其完整刻画,证明可从构造法导出,还通过证明乘数给出最优方法集的多面体表示,并表明不存在随时最优固定步长子梯度方法。
2026-07-22 math.OC
Subgradients of Marginal Functions in Parametric Control Problems of Partial Differential Equations
研究了半线性椭圆型偏微分方程参数最优控制问题边缘函数的广义可微性。我们建立了边缘函数的正则次梯度和极限次梯度的上估计。在一些附加的假设下,我们证明了扰动最优控制问题的解映射具有局部上Hölderian选择。这导致了边缘函数的正则次微分的较低估计。
2018-07-16 math.OC
An optimal subgradient algorithm for large-scale convex optimization in simple domains
本文证明了在\cite{NeuO}中提出的最优次梯度法(OSGA)可用于求解结构化大规模凸约束最优化问题。只需要一阶信息,光滑和非光滑问题的最佳复杂性界。更具体地说,我们考虑两类问题:(i)一个凸目标与一个简单的闭凸区域,在这个可行域上的正交投影是有效的;(ii)一个凸目标与一个简单的凸泛函约束。如果我们给OSGA配上一个合适的函数,OSGA子问题就可以用一个封闭的形式或一个简单的迭代格式来求解,这对于大规模问题尤为重要。我们报告的一些应用程序的数值结果显示所提出的计划的效率。一个软件包实现上述领域的OSGA是可用的。
2015-01-07 math.OC
An optimal subgradient algorithm for large-scale bound-constrained convex optimization
本文表明,OSGA算法-它使用一阶信息来解决具有最佳复杂性的凸优化问题-可以用来有效地解决任意有界约束的凸优化问题。这是通过构建一个明确的方法,以及一个不精确的计划,解决有界约束的合理的子问题所需的OSGA。这导致在信号和图像处理、机器学习和统计等应用中的大规模问题上有效地实现OSGA。数值实验表明,该算法在此类问题上具有良好的性能。离子,以显示所提出的方案的效率。一个软件包实现有界约束凸问题的OSGA是可用的。
2015-01-07 math.OC
Lipschitz-free Projected Subgradient Method with Time-varying Step-size
本文提出一类用于经典投影次梯度法的新时变步长,在无需目标函数Lipschitz假设的条件下实现了最优遍历收敛,将收敛结果推广至非Lipschitz情形。
2025-09-15 math.OC
Primal subgradient methods with predefined stepsizes
本文提出新框架分析非光滑凸优化的原始次梯度方法,修正经典步长规则以加速求解带约束问题,并扩展至逼近Lagrange乘子及处理无界可行集。
2023-11-23 math.OC
Regular Subgradients of Marginal Functions with Applications to Calculus and Bilevel Programming
本文研究了变分分析和参数优化中本质非光滑的最优值(边际)函数,通过给定数据精确计算其正则/Fréchet次梯度及奇异对应物,并据此建立了新的次梯度微积分法则和双层规划的必要最优性条件。
2025-02-04 math.OC
Subgradient Methods for Nonsmooth Convex Functions with Adversarial Errors
CWI Amsterdam(荷兰数学与计算机科学研究学会阿姆斯特丹分部)
针对受有限预算对抗性破坏的非光滑凸函数最小化问题,提出三种无需动量或平均的次梯度下降法,其最坏性能随破坏预算线性下降且接近最优,并给出对应一阶方法的次优性间隙下界。
2025-10-03 math.OC
An Approximate Conjugate Subgradient Algorithm with Matrix Parameter for Derivative-Free Nonsmooth Optimization Problems
Fakultät für Mathematik, Universität Wien(维也纳大学);Faculty of Engineering, Free University of Bozen–Bolzano(博岑-博尔扎诺自由大学);Université Catholique de Louvain (UCLouvain)(天主教鲁汶大学)
提出一种无导数矩阵共轭次梯度方法,通过离散梯度采样和最小范数元素计算,结合矩阵记忆校正与线搜索,求解局部Lipschitz函数的无约束非光滑优化问题,数值实验表明算法鲁棒性强。
2026-06-27 math.OC
A Convex Optimization Approach to Discrete Optimal Control
在本文中,我们把著名的最大权的功能(近视和离散行动)的主流凸优化。近视行动在控制中很重要,因为决策需要以在线方式做出,并且不知道未来事件,而离散行动则是因为许多系统具有有限(非凸)数量的控制决策。例如,是否在通信网络中发送分组。我们的结果表明,这两个功能可以包含在次梯度法的拉格朗日对偶问题的使用随机和$ε$ -次梯度。我们的方法的吸引人的特点之一是,它是从一个特定的选择次梯度,这使我们能够设计控制策略,而不改变底层的凸更新的控制动作的选择。提出了两类离散控制策略:一类是只看系统的当前状态就可以做出离散动作,另一类是使用块来选择动作。后一个类对于处理对选择操作的顺序有约束的系统很有用。
2018-03-29 math.OC
Fixed-Point Delayed Subgradient Methods for Nonsmooth Convex Optimization Problems
Khon Kaen University(孔敬大学);Gyeongsang National University(庆尚国立大学);China Medical University(中国医药大学)
本文提出基于混合最速下降法和延迟子梯度思想的固定点延迟子梯度方法,用于求解非光滑凸优化问题,证明了算法收敛性,并扩展到集中网络系统和图像修复应用。
2026-11-03 math.OC
Distributed Subgradient-based Multi-agent Optimization with More General Step Sizes
一个更广泛的选择步长的分布式次梯度法多智能体最优化问题,为时不变和时变通信拓扑结构进行了探索。删除了文献中常用的步长的平方和要求。仅要求步长为正、为零且不可和。证明了在无约束和有约束的最优化问题中,智能体的估计达到共识,并收敛到最优解与更一般的选择步长。这个想法是为了表明,代理人的估计值的加权平均值接近最优解,但采用不同的方法。在无约束条件下,通过分析加权平均值到最优解的距离变化,证明了加权平均值任意接近于最优解,从而证明了代理估计的加权平均值的最优收敛性.在有约束的情况下,这是通过分析从代理的估计到最优解的距离变化并利用约束的有界性来实现的。然后,由于在两种情况下都达成了共识,因此代理人估计的最佳收敛随之而来。这些结果对强连通时不变图和联合强连通的时变平衡图都是有效的。
2016-01-30 math.OC
Clarke's tangent cones, subgradients, optimality conditions and the Lipschitzness at infinity
该研究针对$\n\mathbb{R}^n$中的无约束优化相关问题,分析了无穷远处Clarke切锥的性质,推导了无穷远次梯度的计算规则与优化的必要最优性条件,还刻画了下半连续函数的无穷远Lipschitz连续性。
2024-05-16 math.CA math.OC
Optimal Distributed Stochastic Mirror Descent for Strongly Convex Optimization
本文研究时变多智能体网络上带约束集的非欧意义下随机强凸优化的收敛速度问题。我们提出了两个有效的非欧随机次梯度下降算法的基础上的Bregman分歧作为距离测量功能,而不是由标准的分布式随机投影次梯度法采用的欧几里德距离。对于非光滑和强凸函数的分布式优化,其唯一的随机次梯度是可用的,第一个算法恢复的最好的以前已知的速度为O(ln(T)/T)(其中T是总的迭代次数)。第二个算法是第一个算法的一个历元变体,它达到O(1/T)的最佳收敛速度,与先前已知的最佳集中式随机次梯度法相匹配。最后,我们报告一些模拟结果来说明所提出的算法。
2018-08-22 math.OC
Distributed Constrained Optimization with Delayed Subgradient Information over Time-Varying Network under Adaptive Quantization
本文研究了时变通信网络中具有延迟次梯度信息的分布式约束最优化问题,其中每个智能体只能与其邻居通信,通信信道具有有限的数据速率.我们提出了一种自适应量化方法来解决这个问题。基于Bregman发散理论,建立了一种带延迟次梯度信息的镜像下降算法。该方法采用非欧几里德Bregman投影算法,从本质上推广了许多经典的基于欧几里德投影的分布式算法。通过所提出的自适应量化方法,可以获得无任何量化误差的最优值。对算法的收敛性进行了综合分析,结果表明,在适当的条件下,可以得到最优的收敛速度$O(1/\sqrt{T})$。最后,数值例子证明了我们的算法和理论结果的有效性。
2021-06-15 math.OC
Convergence Rate of Projected Subgradient Method with Time-varying Step-sizes
School of Mathematical Sciences, Beihang University(北京航空航天大学数学科学学院)
研究了经典投影子梯度方法在时间变化步长下的最优 ergodic 收敛速率,并通过增加最近点权重来放宽 ergodic 意义。
2024-01-23 math.OC
Integrality of Subgradients and Biconjugates of Integrally Convex Functions
Integrally convex functions constitute a fundamental function class in discrete convex analysis . This paper shows that an integer-valued integrally convex function admits an integral subgradient and that the integral biconjugate of an integer-valued integrally convex function coincides with itself. The proof is based on the Fourier-Motzkin elimination. The latter result provides a unified proof of integral biconjugacy for various classes of integer-valued discrete convex functions , including L-convex, M-convex, L $_{2}$ -convex, M $_{2}$ -convex, BS-convex, and UJ- convex functions as well a…
2018-09-07 math.CO math.OC
Primal-dual subgradient method for constrained convex optimization problems
本文考虑了一般的凸约束问题,其中函数既不是可微的,也不是Lipschitz连续的。我们的动机是在寻找一个简单的一阶方法来解决大范围的凸优化问题的最小要求。我们研究了加权对偶平均法(Nesterov,2009),并证明了它是一种最优方法。
2021-03-18 math.OC
Inexact proximal $ε$-subgradient methods for composite convex optimization problems
我们提出了两个近似版本的近端次梯度法最小化两个凸函数(不一定是可微的)的总和。该算法涉及,在每次迭代中,不精确的评价的近端运营商和近似次梯度的功能(即:的$ε$ -次梯度)。这些方法使用不同的误差标准来近似近端算子。我们提供了一个分析的收敛性和收敛速率这些方法的属性,考虑到各种步长规则,包括两个,递减和恒定步长。对于其中一个函数是光滑的情况,我们提出了一个不精确的加速版本的邻近梯度法,并证明了最佳的收敛速度的函数值可以实现。
2019-07-11 math.OC
An Infeasible-Point Subgradient Method Using Adaptive Approximate Projections
本文提出了一种新的次梯度法,用于求解凸集上非光滑凸函数的极小化问题。为了加快计算速度,我们使用自适应近似投影,只需要在精确投影的一定距离内移动(在算法过程中会减少)。特别是,我们方法中的迭代在整个过程中可能是不可行的。然而,我们提供的条件,确保收敛到一个最佳的可行点,在适当的假设。一个收敛的结果处理的步长序列是固定的先验。另外两个结果处理动态Polyak型步长取决于最佳目标函数值的下限或上限估计,分别。此外,我们简要概述了两个应用:凸机会约束的优化,并找到最小l1范数解欠定线性系,在压缩感知的一个重要问题。
2013-03-08 math.OC
Primal-dual subgradient methods for minimizing uniformly convex functions
讨论了强一致凸目标最优化问题的非欧确定性和随机算法。我们提供这些算法的性能和设计方法是自适应的目标的强或均匀凸性的参数的准确性界限:在迭代$N$的总次数是固定的情况下,其准确性一致,最多的对数在$N$因子与最佳算法的准确性。
2014-01-08 math.OC
Incremental Subgradient Methods for Minimizing The Sum of Quasi-convex Functions
比率和问题在经济学和管理学中有着广泛的应用,但整体求解是一个困难的问题。本文考虑闭凸集上若干不可微拟凸分支函数之和的极小化问题,其中包括比和问题作为特例.拟凸分支函数的和不一定是拟凸的,因此,本文的研究超越了拟凸优化。利用和最小化问题的结构,我们提出了一种新的增量次梯度法,并研究了当使用常数、递减或动态步长规则时,在齐次假设和$p$阶的赫尔德条件下,该方法收敛于全局最优解的性质.为了节省大量分量函数的次梯度的计算代价,我们进一步提出了一种随机增量次梯度方法,在该方法中,每次迭代时只随机选择一个分量函数来构造次梯度方向.利用函数值和迭代点到概率为1的最优解集的距离,得到了收敛性。将所提出的增量次梯度方法应用于求解比率和问题以及多个Cobb-Douglas产生式的有效性问题,数值结果表明所提出的方法对于求解大比率和问题是有效的.
2017-10-17 math.OC
Analogues of Switching Subgradient Schemes for Relatively Lipschitz-Continuous Convex Programming Problems
最近,Yu选择了一些特定类别的非光滑和非Lipschitz凸优化问题。Nesterov与H.~陆我们考虑目标函数和函数约束具有相似光滑条件的凸规划问题。我们引入了一个新的概念,一个不精确的模型,并提出了一些类似的切换次梯度计划的凸规划问题的相对Lipschitz连续的目标函数和功能的限制。研究了一类在线凸优化问题。所提出的方法是最优的最优化问题类相对Lipschitz连续的目标和功能的约束。
2021-05-06 math.OC
Universal subgradient and proximal bundle methods for convex and strongly convex hybrid composite optimization
FGV/EMAp(巴西圣保罗基金会应用数学学院);Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI) and Department of Computer Science, University of Rochester(罗切斯特大学戈根数据科学与人工智能研究所及计算机系);School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院工业与系统工程学院)
本文提出两种通用方法,用于解决凸和强凸混合复合优化问题,无需参数且无需最优值知识,具有高效的复杂度界。
2025-11-20 math.OC
A Stochastic Subgradient Method for Nonsmooth Nonconvex Multi-Level Composition Optimization
我们提出了一个单时间尺度的随机次梯度方法的约束优化的组合的几个非光滑和非凸函数。函数被假定为局部Lipschitz和可微的广义意义。仅使用函数的值和广义导数的随机估计。该方法是无参数的。我们证明了收敛的概率1的方法,通过与它的微分包含系统和设计一个不可微的李雅普诺夫函数这个系统。对于具有Lipschitz连续导数的函数的问题,该方法在执行具有恒定步长的$N$迭代之后,找到满足具有$1/\sqrt{N}$阶误差的最优性度量的点。
2020-12-18 math.OC
A proximal subgradient algorithm for constrained multiobjective DC-type optimization
Hanoi Pedagogical University 2(河内第二师范大學);RMIT University(皇家墨尔本理工大学)
本文提出了一种近端subgradient算法,用于解决受约束的多目标DC型优化问题,通过建立最优性条件并保证序列有界性,实现了对非凸问题的有效求解。
2026-09-04 math.OC
Convergence of empirical subgradients for optimal transport-based objectives
Université Paris Cité(巴黎西岱大学)
研究由采样传输成本定义的参数化目标,证明其次微分的图形收敛到总体目标的次微分,确保标准次梯度方法一致地逼近总体问题的稳定点。
2026-07-14 math.OC stat.ML
Subdifferentiation with symmetry
本文研究李群作用下不变目标函数的次梯度与轨道关系,证明其满足类似Whitney和Verdier分层的投影公式,并推导出次梯度动力学的守恒律以检测离散动力学不稳定性。
2025-09-14 math.OC
Subgradient Gliding Method for Nonsmooth Convex Optimization
LMIB of the Ministry of Education, School of Mathematical Sciences, Beihang University(教育部数学建模实验室,北京航空航天大学数学科学学院)
亚梯度滑动法解决经典投影亚梯度方法在非光滑凸优化中的失效问题,提供更灵活的步长设计和更优的收敛速率。
2026-02-15 math.OC
Identifiability, the KL property in metric spaces, and subgradient curves
该研究提出可识别性的两个新视角,将其提炼为适用于多场景的度量性质并揭示次梯度下降曲线的连续时间行为,同时探讨了KL性质与可识别性的相互作用。
2024-06-21 cs.NA math.NA math.OC
An Improved Analysis of the Clipped Stochastic subGradient Method under Heavy-Tailed Noise
针对定义域可能无界的非光滑凸问题,本文在仅存在1<p≤2阶矩的重尾噪声下,为截断随机次梯度方法确立了更优的收敛速率,并将结果应用于核监督学习验证有效性。
2025-04-18 math.OC
Mirror Descent for Constrained Optimization Problems with Large Subgradient Values
基于arXiv:1710.06612的思想,考虑了具有非正凸(一般为非光滑)Lipschitz连续泛函约束的Holder连续非光滑泛函$f$的极小化问题.我们提出了一些新的策略的步长和自适应停止规则镜像下降算法考虑类问题。结果表明,该方法适用于各种光滑程度的目标泛函。将重新开始技术应用于镜像下降算法,提出了一种求解目标函数为强凸的最优化问题的优化方法。所考虑的算法的收敛速度收敛速率的目标函数的平滑程度的依赖。这些估计表明的最优性考虑的方法从理论的角度下预言界。此外,考虑了目标泛函和约束条件均为拟凸的情况。
2021-12-29 math.OC
An effective subgradient algorithm via Mifflin's line search for nonsmooth nonconvex multiobjective optimization
针对无约束非光滑非凸多目标优化问题,提出一种基于Mifflin线搜索新变体的下降次梯度算法,可高效逼近Goldstein次微分、减少次梯度计算,无需调整即可处理非凸性,具备全局收敛性且数值表现良好。
2024-06-21 math.OC
A Single-loop Proximal Subgradient Algorithm for A Class Structured Fractional Programs
针对一类含线性算子的非凸非光滑结构化分式规划,提出单循环邻近次梯度算法及非单调线搜索变体,证明其全局收敛并在三类应用中验证优越性。
2025-03-15 math.OC
An approximate dual subgradient algorithm for multi-agent non-convex optimization
我们考虑一个多智能体最优化问题的代理受到当地的,间歇性的相互作用的目的是最小化的总和,当地的目标函数受到一个全球性的不等式约束和全球性的状态约束集。与以前的工作相比,我们不要求目标,约束函数和状态约束集是凸的。为了处理满足标准连通性假设的时变网络拓扑,我们采用一致性算法技术和拉格朗日对偶方法。我们稍微放松了对精确一致性的要求,并提出了一个分布式近似对偶次梯度法,使代理渐近收敛到一对原始-对偶解的近似问题。为了保证收敛性,我们假设Slater条件满足,并且对偶极限的最优解集是单点的。我们实现了我们的算法的源定位问题,并与现有的算法的性能进行比较。
2012-10-08 math.OC
The Boosted Double-Proximal Subgradient Algorithm for Nonconvex Optimization
本文提出BDSA算法解决一般结构化非光滑非凸优化问题,结合次梯度与近端步骤并集成线搜索,在Kurdyka--Lojasiewicz性质下证明收敛性并分析收敛速率,实验验证其逃离非最优临界点的能力及实际应用有效性。
2023-06-29 math.OC
Subgradient methods for non-smooth optimization problems with some relaxation of sharp minimum
在本文中,我们提出了一个广义的条件尖锐的最小值,有点类似于最近提出的Devolder-Glineur-Nesterov的不精确的预言。所提出的方法使得有可能扩展类的次梯度方法的适用性与Polyak步长,的最小值的不精确信息的情况下,以及未知的Lipschitz常数的目标函数。此外,局部类似物的使用的全局特性的目标函数,使得有可能将这种类型的结果应用到更广泛的类的问题。我们证明了该方法应用于强凸非光滑问题的可能性,同时,我们与已知的最优次梯度方法对这类问题进行了实验比较。此外,还得到了一些结果连接到所提出的技术的适用性,一些类型的问题与凸松弛:最近提出的概念,弱$β$ -拟凸性和普通拟凸性。此外,在本文中,我们研究了所描述的技术的情况下,假设的$δ$ -次梯度的目标函数是可用的,而不是通常的次梯度的推广。对于所考虑的方法之一,条件下发现,在实践中,它是可能逃脱的投影所考虑的迭代序列的可行集的问题。
2022-12-12 math.OC
A stochastic subgradient method with optimal failure exponent
CWI Amsterdam(荷兰数学与计算机科学研究中心阿姆斯特丹分部)
针对随机次梯度优化,提出调和均匀平均调度并证明其达到最优失败指数,且由匹配的不可行性结果保证最优性,小噪声极限退化为对抗性误差模型。
2026-09-30 math.OC stat.ML
Optimal Sample Complexity of Subgradient Descent for Amplitude Flow via Non-Lipschitz Matrix Concentration
Northeastern University(东北大学);Rice University(莱斯大学)
我们考虑从$m$无相线性测量中恢复实值$n$维信号的问题,并分析了基于幅度的非光滑最小二乘目标。我们建立了局部收敛的次梯度下降与最佳样本的复杂性的基础上的一个随机的,不连续的矩阵值的运营商所产生的目标的梯度动力学的统一浓度。虽然常见的技术,建立均匀浓度的随机函数利用Lipschitz连续性,我们证明了不连续的矩阵值算子满足一致的矩阵浓度不等式时,测量向量是高斯尽快$m = Ω(n)$以高概率。然后,我们表明,满足这个不等式是足够的次梯度下降与适当的初始化线性收敛到真正的解决方案的全球标志模糊。因此,这保证了高斯测量在最佳样本复杂度下的局部收敛。在本工作中的浓度方法以前已被用来建立恢复保证下生成神经网络先验的各种反问题。本文展示了这些技术的适用性,更传统的反问题,并作为一个教学介绍这些结果。
2021-08-27 cs.IT cs.LG math.IT
Distributed Stochastic Subgradient Projection Algorithms for Convex Optimization
我们考虑一个分布式多智能体网络系统,其目标是最小化受一个共同的凸约束集的代理的凸目标函数的总和。每个代理维护一个重复序列,并将迭代传递给它的邻居。然后,每个代理将接收到的迭代的加权平均值与其自己的迭代次数相结合,并通过使用其自己的函数的次梯度信息(已知具有随机误差)和通过投影到约束集上来调整迭代次数。本文的目的是探讨随机次梯度误差对算法收敛性的影响。我们首先考虑算法的平均行为,然后以概率1和均方收敛。我们认为一般的随机误差,有一致有界的二阶矩,并获得的限制性能的算法,平均递减和非递减步长的界限。当误差的平均值减小时,我们证明了代理之间存在平均共识,并且平均收敛到最优函数值以减小步长。当平均误差足够快地减小时,我们将结果加强到一致性,并且迭代以概率1和均方收敛到最优解。
2008-11-16 math.OC
Random minibatch subgradient algorithms for convex problems with functional constraints
本文研究无限约束交集的非光滑凸优化问题,提出带有随机小批量可行性更新的次梯度迭代算法,证明了在强凸目标函数与有界次梯度条件下算法的次线性收敛速率及其最优性。
2024-01-10 math.OC
Stochastic subgradient for composite optimization with functional constraints
本文针对带随机复合目标函数与无限约束交集的凸优化问题,提出带随机可行性更新的随机次梯度方法,证明其在不同情形下的收敛速率,数值结果验证了方法有效性。
2024-12-01 math.OC
A Family of Subgradient-Based Methods for Convex Optimization Problems in a Unifying Framework
对于可行域足够简单的凸优化问题,我们提出了一类新的基于次梯度和梯度的方法,它们以最优复杂度收敛。这包括其中目标函数是非光滑的、光滑的、具有复合/鞍形结构的或由不精确的oracle模型给出的情况。统一了这些方法每次迭代时所需求解的子问题的构造方法。这使我们能够分析这些方法的收敛性在一个统一的方式相比,以前的结果,需要不同的方法/算法。我们的贡献依赖于非光滑凸优化中的两个著名方法:Nemirovski-Yudin的镜像下降法和Nesterov的对偶平均方法。因此,我们的方法族包括它们和许多其他方法作为特殊情况。例如,建议的家庭的经典梯度法和它的加速度推广Devolder等人。Nesterov的原始/对偶梯度法和Tseng的加速近端梯度法。此外,我们的方法家族也可以部分地成为其他通用方法的特例。作为一个额外的贡献,新的扩展镜像下降法删除了原来的镜像下降法所要求的可行域的紧性假设和总迭代次数的固定,以达到最佳的复杂性。
2015-12-29 math.OC
A subgradient algorithm for data-rate optimization in the remote state estimation problem
在远程状态估计问题中,观测器试图在远程位置重构动力系统的状态,其中没有直接的传感器测量是可用的。观察员只能访问通过有限容量的数字通信信道发送的信息。最近引入的恢复熵的概念提供了一种确定最小信道容量的方法,在该最小信道容量之上,可以设计观察系统而不降低初始观察质量的观察器。在本文中,我们提出了一个次梯度法估计恢复熵通过计算一个适当的黎曼度量的状态空间,它允许确定的近似值的熵从时间一映射(在离散时间的情况下)或生成向量场(常微分方程系统),分别。
2021-06-25 math.DS math.OC
Advances in Low-Memory Subgradient Optimization
本章专门讨论黑盒次梯度法,它对执行这些算法所必需的辅助结果的存储有最小的要求。本文从N. Z. Shor的原始结果出发,将其应用于经典的运输问题,从而开辟了这一领域。为了讨论非光滑优化的基本原理,简要地给出了光滑和非光滑凸优化和准凸优化问题的理论复杂性界,并特别注意自适应步长策略。本章还介绍了不同的现代技术,这些技术可以更快地解决非光滑凸优化问题,然后降低复杂性界限:Netserov平滑技术,Netserov通用方法,Legendre(鞍点)表示方法。我们还描述了最近的通用镜像Prox算法的变分不等式。为了证明非光滑凸优化算法在求解大规模极值问题中的应用,我们考虑了具有非光滑函数约束的凸优化问题,并描述了两种自适应镜像下降法。第一种方法是原始-对偶性质,并证明是最佳的一类Lipschitz连续凸目标和约束的预言下界。详细讨论了该方法应用于稀疏桁架拓扑设计问题的优越性。第二种方法可用于求解凸优化和拟凸优化问题,并且在复杂性界的意义下是最优的。综述的结论部分包含了表征非光滑凸优化最新发展的重要参考文献。
2019-02-05 math.OC
A proximal subgradient algorithm with extrapolation for structured nonconvex nonsmooth problems
本文针对一类结构化非凸非光滑优化问题,提出一种带外推的近端次梯度算法,证明其子序列收敛及在KL性质下的全局收敛性,并通过非凸正则化最小二乘和含分布式能源的最优潮流实验验证了算法性能。
2023-03-19 math.OC
Quantized and Distributed Subgradient Optimization Method with Malicious Attack
本文考虑了一个多智能体系统中的分布式最优化问题,其中一部分智能体以对抗的方式行动。具体而言,恶意代理通过向其邻居发送虚假信息来引导代理网络远离最优解,并且在通信过程中消耗大量带宽。我们提出了一个分布式的基于梯度的优化算法,其中的非恶意代理相互交换量化的信息。我们证明了收敛的解决方案的最优解的一个邻域,并在通信受限的环境和恶意代理的存在下得到的解决方案的特点。数值模拟,以说明结果。
2022-06-05 cs.SY eess.SY math.OC
An Iterative Regularized Incremental Projected Subgradient Method for a Class of Bilevel Optimization Problems
研究了一类双层凸优化问题,其目标是在下层最优化问题的所有最优解集合中寻找上层目标函数的最小值.凸优化中的许多问题都可以用这个类来表示。一个重要的例子是最优化问题是不适定的情况。在本文中,我们的兴趣在于解决的双层问题,其中的低层目标是作为一个有限的单独的不可微的凸分量函数的总和。这是分布式优化中的各种应用的情况,例如机器学习和神经网络中的大规模数据处理。据我们所知,这类两层问题,在较低的水平有限和,以前没有得到解决。出于这一差距,我们开发了一个迭代正则化增量次梯度方法,其中代理使用正则化次梯度以循环方式更新迭代。在适当选择正则化参数序列的情况下,我们证明了算法的收敛性,并对任意小的$ε>0$,得到了关于低层目标函数的$\mathcal{O} \left({1}/k^{0.5-ε}\right)$的速率.我们提出了一个二进制文本分类问题的算法的性能。
2018-09-26 math.OC
Convergence of Decentralized Stochastic Subgradient-based Methods for Nonsmooth Nonconvex functions
State Key Laboratory of Scientific and Engineering Computing, Academy of Mathematics and Systems Science, Chinese Academy of Sciences, and University of Chinese Academy of Sciences, China(国家科学工程计算重点实验室,数学系统科学学院,中国科学院,中国科学院大学)
本文提出一个统一去中心化随机子梯度法的框架,为非光滑非凸函数的收敛性提供理论保证,并通过实验验证其在非光滑神经网络训练中的有效性。
2026-01-06 cs.LG math.OC
Stochastic (Approximate) Proximal Point Methods: Convergence, Optimality, and Adaptivity
我们开发了基于模型的方法来解决随机凸优化问题,引入了近似邻近点,或aProx,家庭,其中包括随机次梯度,邻近点,和束方法。当我们提出的建模方法是适当准确的,该方法享有更强的收敛性和鲁棒性保证比经典的方法,即使基于模型的方法通常增加很少或没有计算开销的随机次梯度方法。例如,我们表明,改进的模型收敛概率为1,并享有最佳的渐近正态性的结果,在弱假设下,这些方法也是自适应的自然类,我们称之为简单的最优化问题,实现线性收敛在适当的强增长条件下的目标。我们大量的实验研究表明,在许多光滑和非光滑最优化问题的标准次梯度方法更准确的建模的优势。
2019-07-03 math.OC stat.ML
On distributed convex optimization under inequality and equality constraints via primal-dual subgradient methods
University of California, San Diego(加利福尼亚大学圣地亚哥分校)
针对带全局不等式、等式及集合约束的多智能体凸优化问题,提出两种分布式原始-对偶次梯度算法,利用拉格朗日函数和惩罚函数的鞍点特性,在时变拓扑网络下实现渐近一致最优解与最优值。
2011-05-11 cs.SY eess.SY math.OC
Computing AD-compatible subgradients of convex relaxations of implicit functions
本文针对隐函数凸松弛的敏感性分析难题,首次提出了基于残差函数类AD知识的次梯度传播规则,使其能加入前向AD模式的基本函数库,并在Julia中进行了概念验证。
2025-01-30 cs.NA math.NA math.OC