Strongly convex functions, Moreau envelopes and the generic nature of convex functions with strong minimizers
本文利用Moreau包络定义了真下连续凸函数集合的完备度量。在此度量下,每个凸函数序列的收敛是上图收敛。证明了强凸函数集是稠密的,但它只属于第一范畴。另一方面,证明了具有强极小值的凸函数的集合是第二类。
2015-07-25 math.OC
On the Linear Convergence of the Cauchy Algorithm for a Class of Restricted Strongly Convex Functions
本文推广了最近由E. Klerk,F. Glineur和A. Taylor,从光滑强凸函数的情形到具有某种形式的约束强凸函数的情形。
2016-11-01 math.OC
Unifying Nesterov's Accelerated Gradient Methods for Convex and Strongly Convex Objective Functions: From Continuous-Time Dynamics to Discrete-Time Algorithms
虽然Nesterov的加速梯度(NAG)方法已经从不同的角度进行了研究,但仍然不清楚为什么最流行的NAG形式必须分别处理凸和强凸目标函数。出于这种不一致性,我们提出了一个NAG方法,统一现有的凸和强凸的情况下。首先,我们设计了一个拉格朗日函数,连续扩展的第一布雷格曼拉格朗日的强凸设置。作为一个特定的情况下,欧拉-拉格朗日方程的拉格朗日量,我们推导出一个常微分方程(ODE)模型,我们称之为统一的NAG ODE,桥梁之间的差距ODE模型NAG凸和强凸目标函数。然后,我们设计了统一的NAG,一种新的动量方法,连续时间限制对应于统一的常微分方程。在强凸性参数$[0, +\infty)$上,统一NAG和统一ODE的系数和收敛速度是连续的。与现有的强凸目标函数的算法和常微分方程不同,对于非强凸目标函数,统一NAG和统一NAG常微分方程总是比已知的算法和常微分方程有更好的收敛性保证.当考虑具有小的$μ$的强凸目标函数时,该性质在实际观点中是有益的。此外,我们扩展我们的统一动力学和算法的高阶设置。最后,我们提出了一种新的极小化强凸目标函数梯度范数的常微分方程模型--统一NAG-G常微分方程。我们的统一拉格朗日框架是至关重要的,在这个过程中构造常微分方程。有趣的是,使用我们的新工具,称为微分核,我们观察到,统一的NAG常微分方程和统一的NAG-G常微分方程有一个反转置关系。
2023-01-09 math.OC
Monomial barrier functions for the box-constrained convex optimization problems
针对盒约束凸优化问题,提出一种单项式障碍函数将其转化为无约束问题,结合带回溯线搜索的Newton法求解,在CUTEst凸二次问题测试中表现优于部分主流方法,且实现简单、性能提升空间大。
2024-01-22 math.OC
A unified continuous-discrete framework for Nesterov acceleration: transitions between convex and strongly convex regimes
Xihua University(西华大学);Sichuan University(四川大学)
本研究提出统一连续-离散框架,解决Nesterov加速在强凸参数较小时早期收敛慢的问题,可实现凸与强凸状态过渡,恢复经典速率,生成多种过渡族,数值实验验证其有效性。
2026-08-27 math.OC
Universal subgradient and proximal bundle methods for convex and strongly convex hybrid composite optimization
本文提出两种通用方法,用于解决凸和强凸混合复合优化问题,无需参数且无需最优值知识,具有高效的复杂度界。
2025-11-20 math.OC
Accelerated Primal Dual Method for a Class of Saddle Point Problem with Strongly Convex Component
本文提出了一种简单的原始对偶方法DPD,它是求解一类具有或不具有强凸分支的鞍点问题的灵活框架。该方法有线性化形式LDPD和精确化形式EDPD。DPD的每次迭代通过简单的邻近映射顺序地更新对偶变量和原始变量,并通过外推来细化对偶变量。光滑或强凸原始分量的收敛性分析恢复了以前的最先进的结果,而强凸对偶分量的收敛性分析获得了原始对偶间隙的完全加速$O(1/k^2)$。通过对高斯噪声和椒盐噪声图像的全变差图像去模糊实验,证明了利用对偶分量的强凸性实现全变差加速的有效性。
2019-07-14 math.OC
Convex Synthesis of First-Order Methods for Time-Varying Smooth Strongly Convex Optimization
Miami University(迈阿密大学);University of Louvain(鲁汶大学)
本文提出一种鲁棒控制合成框架,用于设计时间变化的光滑强凸优化的一阶方法,通过嵌入底层变化模型来提高动态场景下的优化性能。
2026-04-10 math.OC
Study of the behaviour of Nesterov Accelerated Gradient in a non convex setting: the strongly quasar convex case
Univ. Bordeaux, Bordeaux INP, CNRS, IMB, UMR 5251(波尔多大学,波尔多理工学院,法国国家科学研究中心,IMB);IMT, Univ. Toulouse, INSA Toulouse(数学与计算机科学高等研究学院,图卢兹大学,图卢兹国立应用科学学院)
本文研究Nesterov加速梯度(NAG)算法在强类凸函数上的收敛性,通过高分辨率ODE分析证明在较低曲率假设下可实现加速收敛,并指出关键几何性质缺失会导致加速现象消失。
2026-05-26 math.OC
Vaidya's method for convex stochastic optimization in small dimension
本文考虑了一个一般的凸随机最优化问题在一个相对低维的空间(例如,100个变量)。已知对于小维度的确定性凸优化问题,最快的收敛是通过重心型方法实现的(例如,Vaidya的割平面法)。对于随机最优化问题,Vaidya方法是否可以使用的问题归结为它如何在次梯度中积累不准确性的问题。作者最近的结果表明,错误不累积的迭代Vaidya的方法,这使得提出其模拟随机最优化问题。主要的技术是用其概率对应物(随机次梯度的算术平均)代替Vaidya方法中的次梯度。本文实现了所描述的计划,这最终导致一个有效的(如果并行计算是可能的)方法,用于解决凸随机最优化问题,在相对低维空间。
2022-01-25 math.OC
On Some Adaptive Mirror Descent Algorithms for Convex and Strongly Convex Optimization Problems with Functional Constraints
本文研究了具有多个凸Lipschitz(一般为非光滑)函数约束的凸目标泛函极小化问题的自适应镜像下降算法。结果表明,该方法适用于各种光滑程度的目标泛函:利普希茨条件对目标泛函本身、其梯度或Hessian都成立(并且该泛函可能不满足利普希茨条件).利用重新开始技术,提出了强凸极小化问题的新方法。所考虑的算法的收敛速度收敛速率的目标函数的平滑程度的依赖。数值实验说明了所提出的方法的优点,一些例子。
2018-12-18 math.OC
Alternating Proximity Mapping Method for Strongly Convex-Strongly Concave Saddle-Point Problems
本文将交替邻近映射方法从凸-凹鞍点问题扩展到强凸-强凹鞍点问题,给出保证迭代序列及函数值序列线性收敛的充分条件。
2023-10-31 math.OC
Explicit Stabilised Gradient Descent for Faster Strongly Convex Optimisation
介绍了强凸优化问题的龙格-库塔切比雪夫下降法(RKCD)。这种新的算法是基于显式稳定积分刚性微分方程,一类强大的数值计划,避免了严重的步长限制所面临的标准显式积分。对于优化二次函数和强凸函数,本文证明了RKCD几乎达到共轭梯度算法的最优收敛速度,并且RKCD的次优性随着二次函数的条件数的增加而减小.它是建立,这一最佳速率也获得了分区变体的RKCD适用于扰动的二次函数。此外,对一般强凸问题的数值实验表明,RKCD优于Nesterov的加速梯度下降。
2020-06-27 math.OC
Exponential Convergence of Augmented Primal-dual Gradient Algorithms for Partially Strongly Convex Functions
本文证明了增广原始-对偶梯度算法在部分强凸函数下可实现全局指数收敛,并将该结果推广到分布式优化中的受限割线不等式条件,统一了多类算法的收敛性分析。
2025-03-11 math.OC
On the oracle complexity of smooth strongly convex minimization
我们构造了一个函数族,用于建立光滑强凸函数的一阶极小化的预言复杂性的下界。在此基础上,我们得到了强凸极小化问题在各种不精确准则下的复杂性的新的下界。新的边界匹配已知的上界一个常数的因素,当一个解决方案的不准确性是衡量其距离的解决方案集,新的下界完全匹配的上界由最近的信息理论的精确方法由相同的作者,从而建立这类问题的确切的预言复杂性。
2021-06-14 math.OC
Spacecraft Rendezvous Guidance via Factorization-Free Sequential Convex Programming using a First-Order Method
本文提出一种基于序列凸规划的无分解算法,结合PIPG一阶求解器,用于非凸自由最终时间轨迹优化,并通过蒙特卡洛仿真验证了其在航天器交会问题中的鲁棒性。
2024-02-07 math.OC
Optimal Acceleration for Proximal Minimization of the Sum of Convex and Strongly Convex Functions
University of Washington(华盛顿大学);University of California, Los Angeles(加州大学洛杉矶分校);University of California, Berkeley(加州大学伯克利分校)
本文提出了一种加速方法FDR,改进了之前工作的常数,并证明了$\mathcal{O}(1/N^2)$收敛速率和FDR的主导常数都是最优的。
2026-05-20 math.OC
Convergence results of a nested decentralized gradient method for non-strongly convex problems
研究了求解分布式最优化问题的NEAR-DGD $^+$(Nested Exact Alternating Recursion Distributed Gradient Descent)方法的收敛性。在局部目标函数的强凸性和梯度的Lipschitz连续性的假设下,证明了\cite{BBKW - Near DGD}算法的线性收敛性.本文研究了非强凸性条件下NEAR-DGD $^+$的收敛性。更准确地说,我们建立了以下两种情况下的收敛性结果:(1)当目标函数只假设凸性。(2)当目标函数表示为强凸函数和亏秩矩阵的复合函数时,它属于凸函数和准强凸函数类。数值结果支持收敛结果。
2022-06-27 math.OC
Acceleration in First Order Quasi-strongly Convex Optimization by ODE Discretization
研究了常摩擦系数下重球运动的常微分方程(ODE)的Runge-Kutta离散化方法,得到了基于梯度的最优化方法。当函数是高阶光滑和强凸时,我们证明了用已知的数值积分器直接模拟常微分方程可以在最优解的非平凡邻域内实现加速。特别地,邻域可以随着函数的条件数增加而变大。此外,我们的结果也适用于非凸但拟强凸目标。我们提供了数值实验,验证我们的结果预测的理论速率。
2019-05-28 math.OC
Linear convergence of first order methods for non-strongly convex optimization
证明光滑凸优化的一阶方法的线性收敛性的标准假设是目标函数的强凸性,这一假设在许多实际应用中并不成立。本文给出了求解光滑非强凸约束最优化问题的几种一阶方法的线性收敛速率,即涉及一个具有Lipschitz连续梯度的目标函数,且该梯度满足某些松弛的强凸性条件.特别地,在光滑约束凸优化的情形下,我们给出了强凸性条件的几种松弛形式,并证明了它们对于投影梯度法、快速梯度法和可行下降法等几种一阶方法都是线性收敛的。我们还提供了函数类的例子,满足我们提出的强凸性条件的松弛。最后,我们表明,建议放松强凸性条件涵盖了重要的应用,从解决线性系,线性规划,线性约束凸问题的对偶公式。
2016-08-09 math.OC
Multi-agent constrained optimization of a strongly convex function over time-varying directed networks
我们认为合作的多智能体共识最优化问题在静态和时变通信网络,只允许本地通信。我们的目标是最小化代理特定的私人圆锥约束集上的代理特定的可能非光滑的复合凸函数的总和,因此,最佳的共识决策应该位于这些私人集合的交集。假设和函数是强凸的,我们提供了收敛速度在次优,不可行性和共识违反,检查底层网络拓扑结构的影响上的收敛速度的建议分散算法。
2017-06-24 math.OC
Complexity iteration analysis for strongly convex multi-objective optimization using a Newton path-following procedure
本文研究了强凸多目标最优化的迭代复杂性。我们讨论了这个问题的确切含义,并指出它是松散的定义,但最自然的概念是找到一组帕累托最优点跨越网格的标量化问题。我们得出,在大多数情况下,执行灵敏度为基础的路径跟踪后,获得一个解决方案是最优策略的迭代复杂度方面的这项任务。
2020-04-06 math.OC
Fastest Rates for Stochastic Mirror Descent Methods
相对平滑度-由Birnbaum et al.(2011)引入并由Bauschke et al.(2016)和Lu et al.(2016)重新发现的概念-概括了通常用于梯度类型方法分析的平滑度的标准概念。在这项工作中,我们正在采取的想法,从研究领域的随机凸优化,并使用它们,以获得更快的算法,最小化相对光滑函数。我们提出并分析了两种新算法:相对随机坐标下降(relRCD)和相对随机梯度下降(relSGD),两者都是标准平滑设置中著名算法的推广。我们提出的方法实际上可以看作是随机镜像下降算法的一个特殊实例。其中,relRCD对应于镜像下降算法的第一随机变体,具有线性收敛速率。
2018-03-20 cs.CC cs.NA math.NA
Smooth Strongly Convex Interpolation and Exact Worst-case Performance of First-order Methods
我们表明,精确的最坏情况下性能的固定步骤的一阶方法的光滑(可能强)凸函数的无约束优化可以通过求解凸规划。寻找黑箱一阶方法的最坏情况下的性能制定为一组光滑(强)凸函数和初始条件的最优化问题。给出了光滑(强)凸插值的封闭形式的充要条件,并给出了这些函数的有限表示。这使我们能够重新制定的最坏情况下的性能估计问题作为一个等价的有限维独立的半定最优化问题,其精确解可以恢复到数值精度。这个性能估计问题的最优解提供了最坏情况下的性能界限和显式函数匹配,因为我们的光滑(强)凸插值过程是建设性的。我们的作品建立在那些Drori和Teboulle在[数学。145(1-2),2014],其引入并解决了光滑凸函数的性能估计问题的松弛。我们将我们的方法应用到不同的固定步长的一阶方法与几个性能标准,包括目标函数精度和梯度范数。在光滑凸和光滑强凸情形下,我们分别给出了固定步长梯度法、快速梯度法和优化梯度法的最坏情况的数值界,并推导了梯度法的最优步长的严格估计.
2016-10-31 math.OC
A Second-Order Method for Strongly Convex L1-Regularization Problems
本文发展了一种鲁棒二阶方法来求解强凸l1正则化问题。主要目的是使所提出的方法尽可能便宜,而即使是困难的问题也可以有效地解决。所提出的方法是一个原始-对偶牛顿共轭矩阵(pdNCG)方法。研究了pdNCG的收敛性,并建立了最坏情况下的迭代复杂度.在合成稀疏最小二乘问题和现实世界的机器学习问题的数值结果。
2015-01-11 math.OC
Dual approaches to the strongly convex simple function minimization problem under affine restrictions
本文研究了带仿射型约束的强凸优化问题。建立了对偶问题,并利用快速梯度法求解对偶问题。我们利用这种方法的原始-对偶结构来构造原始问题的解。该文件包含了很多不同的技巧,允许推广上述结果,几乎所有的方法,我们想选择解决对偶问题。
2017-06-22 math.OC
Self-adaptive ADMM for semi-strongly convex problems
针对半强凸优化问题,提出可自适应更新惩罚参数的 ADMM,证明 O(1/k^2)、线性及迭代点收敛,并结合部分近似点方法扩展到非半强凸情形。
2023-09-30 math.OC
A $\sqrt{2}$-accelerated FISTA for composite strongly convex problems
Institute of Science Tokyo(东京科学大学)
本研究针对复合强凸优化问题,通过离散化ITEM连续时间模型提出新型加速前向-后向分裂算法,收敛速率指数首项常数较FISTA提升$\frac{1}{\text{误差项}}$倍,且弱凸条件下和为凸时分析仍有效。
2026-08-07 math.OC
A Convergent $3$-Block Semi-Proximal ADMM for Convex Minimization Problems with One Strongly Convex Block
本文提出了一种求解$3$ -块可分凸极小化问题的半近似交替方向法(ADMM),目标函数的第二个块为强凸函数,约束为一个耦合线性方程组.通过适当地选择半邻近项,我们建立了所提出的半邻近ADMM的步长$τ\in (0, (1+\sqrt{5})/2)$和罚参数$σ\in (0, +\infty)$的整体收敛。具体地,如果$σ>0$小于某个阈值并且线性方程约束中的第一和第三线性算子是单射的,则可以丢弃所有三个添加的半邻近项,并且因此,收敛的$3$块半邻近ADMM简化为具有$τ\in (0, (1+\sqrt{5})/2)$的直接扩展的$3$块ADMM。
2014-10-29 math.OC
Strongly convex stochastic online optimization on a unit simplex with application to the mixing least square regression
本文提出了一种在非欧环境下利用随机在线镜像下降获得混合最小二乘回归估计的新方法。
2017-03-23 math.OC
An Optimal Algorithm for Strongly Convex Minimization under Affine Constraints
仿射约束下的最优化问题出现在机器学习的各个领域。我们考虑在仿射约束Kx=b下最小化光滑强凸函数F(x)的问题,并给出了F的梯度和乘K及其转置的计算.我们提供了梯度计算和矩阵乘法数量的下界,以实现给定的准确度。然后,我们提出了一个加速的原始对偶法实现这些下界。我们的算法是这类问题的第一个最优算法。
2022-04-10 math.OC
Efficient parameter-free restarted accelerated gradient methods for convex and strongly convex optimization
本文针对凸与强凸复合优化问题,提出了无需参数的重启方法RPF-SFISTA和激进正则化方法A-REG,通过动态检查重启条件,在多类问题上比现有方法快3至15倍。
2024-10-12 math.OC
A note on the optimal convergence rate of descent methods with fixed step sizes for smooth strongly convex functions
基于Taylor、Hendrickx和Glineur(J. Optim.理论应用,178(2):455--476,2018)关于光滑强凸函数梯度下降法的可达收敛速度,给出了固定步长下一般下降法的初等收敛性分析.它涵盖了一般的变度量法,梯度相关的角度和缩放条件下的搜索方向,以及不精确的梯度法。在所有情况下,最佳速率获得。
2022-03-23 math.OC
On the Convergence Time of Dual Subgradient Methods for Strongly Convex Programs
研究了一般(可能不可微)强凸规划的对偶梯度法的收敛时间。对于一般的凸规划,具有简单滑动平均(从迭代$0$开始的滑动平均)的对偶次梯度/梯度法的收敛时间已知为$O(\frac{1}{ε^{2}})$ .本文证明了一般强凸规划的收敛时间是$O(\frac{1}ε)$。本文还考虑了平均方案的一种变形,称为滑动滑动平均,并证明了如果强凸规划的对偶函数是局部二次的(注意局部二次性是由局部强凹性所隐含的)。则滑动滑动平均对偶梯度法的收敛时间为$O(\log(\frac{1}ε))$。数值实验进一步验证了收敛时间分析。
2017-08-04 math.OC
Bundle methods with quadratic cuts for deterministic and stochastic strongly convex optimization problems
本文提出基于二次割的QCC、QB及DASC方法,用于求解确定性与随机强凸优化问题,并证明其复杂度与收敛性,实验表明DASC在大强凸常数下显著快于SDDP。
2024-10-01 math.OC
Lipschitz-Free Mirror Descent Methods for Relatively Strongly Convex Functions with/without Absolute and Relative Inexactness
Innopolis University(伊诺波利斯大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院);V. I. Vernadsky Crimean Federal University(V·I·维尔纳茨基克里米亚联邦大学)
本文提出了一种无需Lipschitz连续性假设的镜像下降方法,用于解决相对强凸函数的非光滑优化问题,并通过实验验证了其有效性。
2026-01-30 math.OC
New results on subgradient methods for strongly convex optimization problems with a unified analysis
我们开发了次梯度和梯度为基础的方法,最小化强凸函数的概念下,推广了标准的欧几里德强凸。我们提出了一个统一的框架,次梯度方法产生两种方法,即,近端梯度法(PGM)和条件梯度法(CGM),统一现有的几种方法。统一的框架提供了工具来分析的PGMs和CGMs的收敛性的非光滑,(弱)光滑,并进一步为结构化的问题,如不精确的预言模型。建议的次梯度方法产生最佳的PGMs几类问题,并产生最佳和近最佳CGMs光滑和弱光滑问题,分别。
2015-12-04 math.OC
Lower Bounds for Linear Minimization Oracle Methods Optimizing over Strongly Convex Sets
Johns Hopkins University(约翰斯·霍普金斯大学)
研究强凸集上线性最小化oracle方法的下界,证明确定性方法在保证目标间隙小于ε时的迭代次数下界,并指出在特定光滑条件下基于跨度的LMO方法无法改进复杂度。
2026-07-15 math.OC
A globalized inexact semismooth Newton method for strongly convex optimal control problems
Universität Würzburg(维尔茨堡大学)
本文提出一种全局化的近似半光滑牛顿方法,用于解决强凸最优控制问题,在希尔伯特空间中证明了算法的全局强收敛性及局部超线性收敛性。
2026-03-25 math.OC
Performance Estimation for Smooth and Strongly Convex Sets
Johns Hopkins University(约翰斯·霍普金斯大学)
针对光滑且强凸集合,通过证明插值定理将性能估计问题转化为结构化数学规划,并应用于分离超平面法和线性优化算法的最优性分析。
2026-06-02 math.OC
Bidirectional SDDP with dimension-free complexity for solving strongly convex stochastic dynamic programming equations
School of Applied Mathematics, FGV(应用数学学院,FGV)
针对强凸多阶段随机优化问题,提出双向随机对偶动态规划算法,其迭代复杂度与状态空间维度无关,且随强凸性增强而降低。
2026-06-23 math.OC
On the worst-case complexity of the gradient method with exact line search for smooth strongly convex functions
本文研究了梯度(或最速)下降法在精确线搜索下对具有Lipschitz连续梯度的强凸函数的求解。我们建立了这个计划的确切的最坏情况下的收敛速率,并表明,这种最坏情况下的行为表现出一定的凸二次函数。我们还给出了严格的最坏情况下的复杂性约束的噪声的梯度下降法的变体,其中精确的线搜索是在搜索方向,不同于负梯度最多规定的相对公差。证明是计算机辅助的,并且依赖于文献[Y. Drori和M.特布勒光滑凸极小化一阶方法的性能:一种新方法。数学规划,145(1-2):451-482,2014]。
2016-09-15 math.OC
Online Optimization Problems with Functional Constraints under Relative Lipschitz Continuity and Relative Strong Convexity Conditions
最近,引入了相对光滑、相对连续和相对强凸优化问题的重要类别。这些概念显着扩大了一类问题,最佳复杂性估计的梯度型方法在高维空间发生。基于近年来对目标函数为相对Lipschitz连续和相对强凸的在线优化(遗憾极小化)问题的研究,本文提出了在线求解带不等式约束的强凸优化问题的算法.我们提出了一个计划与生产和非生产步骤之间的切换这类问题,并证明了其收敛速度的类相对Lipschitz和强凸极小化问题。我们还提供了一个实验比较所提出的方法和AdaMirr,最近提出的相对Lipschitz凸问题。
2023-03-05 math.OC
Sample Average Approximations of Strongly Convex Stochastic Programs in Hilbert Spaces
本文研究了 Hilbert 空间中强凸随机规划的样本平均近似解的尾部行为,在无需可行集紧致性假设下建立了非渐近指数尾部界,并在无穷维优化问题上验证了理论。
2022-05-29 math.OC
A New Complexity Result for Strongly Convex Optimization with Locally $α$-H{ö}lder Continuous Gradients
本文研究了梯度下降法在局部α-Hölder连续梯度条件下的强凸优化问题,证明了达到ε精度所需的复杂度界为O(log(ε^{-1}) ε^{2α-2}),推广了α=1时的经典结果。
2025-05-06 math.OC
Some Strongly Polynomially Solvable Convex Quadratic Programs with Bounded Variables
本文首先研究了一类变量有界的凸二次规划问题,其参数主元旋转算法具有$\mathcal{O}(n^3)$强多项式复杂性,其中$n$是问题的变量个数.本文还讨论了Hessian类的推广。我们的研究是由最近的参考文献[7]的动机,其中的二次规划的有效解与三对角黑塞矩阵的二次目标是需要的多项式时间算法的建设,以解决相关的稀疏变量选择问题。利用三对角结构,QP算法的复杂度降低到$\mathcal{O}(n^2)$。我们的强多项式性结果推广了某些P-矩阵的强多项式可解线性互补性问题的工作[9];推广结果的特殊情况除了三对角问题外还包括弱拟对角占优问题。
2022-09-27 math.OC
Dynamic FISTA for Convex Composite Bi-Level Optimization
针对内外层均为复合凸最小化的凸双层优化问题,提出可解释为动态正则化目标上FISTA的FBi-PG算法,实现最优收敛速率并通过实验验证性能。
2025-06-12 math.OC
Convergence Rate of a Penalty Method for Strongly Convex Problems with Linear Constraints
考虑一类具有强凸目标和线性不等式约束的最优化问题。为了能够处理大量的约束条件,我们提供了一个惩罚重新制定的问题。作为罚函数,我们使用单侧Huber损失的一个版本。这些功能的平滑特性,使我们能够选择随时间变化的罚参数,以这样一种方式,逐步减少步长的增量过程收敛到精确的解决方案的速度$O(1/{\sqrt k})$。据我们所知,我们提出的第一个结果的收敛速度的惩罚为基础的梯度法,其中的罚参数随时间变化。
2020-04-28 math.OC
Optimal Distributed Stochastic Mirror Descent for Strongly Convex Optimization
本文研究时变多智能体网络上带约束集的非欧意义下随机强凸优化的收敛速度问题。我们提出了两个有效的非欧随机次梯度下降算法的基础上的Bregman分歧作为距离测量功能,而不是由标准的分布式随机投影次梯度法采用的欧几里德距离。对于非光滑和强凸函数的分布式优化,其唯一的随机次梯度是可用的,第一个算法恢复的最好的以前已知的速度为O(ln(T)/T)(其中T是总的迭代次数)。第二个算法是第一个算法的一个历元变体,它达到O(1/T)的最佳收敛速度,与先前已知的最佳集中式随机次梯度法相匹配。最后,我们报告一些模拟结果来说明所提出的算法。
2018-08-22 math.OC
On the Q-linear convergence of Distributed Generalized ADMM under non-strongly convex function components
求解多智能体网络中的最优化问题已成为一个日益重要的问题,其中每个智能体只有部分知识的问题。本文考虑了最小化$n$凸函数和的问题。我们假设每个函数只有一个智能体知道。我们表明,广义分布式ADMM Q-线性收敛到上述最优化问题的解决方案,如果在所有的目标函数是强凸的,但每个代理已知的功能只允许是凸的。建立Q-线性收敛允许跟踪语句,如果仅保证R-线性收敛,则不能进行跟踪语句。此外,我们建立了广义分布ADMM和P-EXTRA之间的等价性的混合矩阵的子集。这种等价性在P-EXTRA的收敛性方面产生了见解,当过冲以加速收敛时。
2018-05-04 math.OC
On the rate of convergence of alternating minimization for non-smooth non-strongly convex optimization in Banach spaces
本文在巴拿赫空间中建立了非光滑凸优化交替极小化的收敛性,并给出了新的收敛速度。作为目标函数,考虑平滑部分和非平滑部分的组合,其中后者是块可分离的,例如,对应于凸约束或正则化。对于光滑部分,考虑了三种不同的强凸松弛:(i)拟强凸;(ii)二次函数增长;(iii)平面凸。线性收敛是建立在前两种情况下,推广和改进以前的强凸问题的结果;子线性收敛是建立在第三种情况下,也改进了以前的文献结果。所有的收敛结果有一个共同点,即与一般块坐标下降的先前相应结果相反,交替最小化的性能有利地由单个块的属性而不是全局属性来控制。最终,不仅更好的条件块确定的性能,已经类似地观察到在文献中。而且,更差条件的问题还额外地增强了性能,导致潜在地显著改进的收敛速度。此外,仅利用问题的凸性和光滑性,所得结果在一般巴拿赫空间中立即适用.
2019-11-01 math.OC
Alternating Minimization Methods for Strongly Convex Optimization
{We考虑变量被分成多个块的凸优化问题的交替最小化过程,每个块都适合于关于其变量与冻结的其他变量块的最小化。在两个块的情况下,我们证明了交替极小化过程在Polyak-Lojasiewicz条件下的线性收敛速率,这可以看作是强凸性假设的放松.在强凸性假设下,针对非加速算法的条件数,提出了一种线性速率依赖于条件数平方根的加速交替极小化方法.我们还提到了一个近似的非负解的线性方程组$Ax=y$与交替最小化之间的$Ax$和$y$的Kullback-Leibler(KL)分歧。
2020-06-27 math.OC
The Minimizer of the Sum of Two Strongly Convex Functions
本文针对分布式优化中无法获取函数完整信息的问题,在梯度范数约束下,为两个强凸函数之和的极小值点所在区域提供了边界与内部完全相同的外部和内部近似。
2024-09-22 math.OC
Nesterov acceleration for strongly convex-strongly concave bilinear saddle point problems: discrete and continuous-time approaches
Xihua University(西华大学);Sichuan University(四川大学)
针对强凸-强凹双线性鞍点问题,提出带Nesterov加速的离散原始-对偶梯度算法与连续时间动力系统,验证其最优线性收敛速率,A=0时可恢复经典Nesterov加速方法。
2026-08-12 math.OC