Lipschitz-free Projected Subgradient Method with Time-varying Step-size
本文提出一类用于经典投影次梯度法的新时变步长,在无需目标函数Lipschitz假设的条件下实现了最优遍历收敛,将收敛结果推广至非Lipschitz情形。
2025-09-15 math.OC
On the Convergence of Projected Policy Gradient for Any Constant Step Sizes
该研究填补了投影策略梯度(PPG)大步长收敛性研究的空白,通过计算逐状态改进下界证明其在任意恒定步长下均具有次线性收敛性,还首次建立了对应的有限迭代收敛性结论。
2024-09-18 math.OC
First-Order Projected Algorithms With the Same Linear Convergence Rate Bounds as Their Unconstrained Counterparts
Graduate School of Advanced Science and Engineering, Hiroshima University(广岛大学先进理工学研究科);Department of Engineering, University of Cambridge(剑桥大学工程系)
本文提出一种系统方法,将无约束强凸问题的一阶优化算法扩展至闭凸集约束,通过Lyapunov矩阵诱导范数下的投影,使得投影算法保持与原算法相同的线性收敛速率界。
2026-06-06 math.OC
An Adaptive Projected-Gradient Algorithm for Sample-Average Approximations of Stochastic Multi-Objective Optimization
Department of Applied Mathematics, The Hong Kong Polytechnic University(香港理工大学应用数学系)
针对仅能获取样本梯度信息的随机多目标优化样本平均近似问题,提出无行搜索无函数值的自适应投影梯度算法,经多类实验验证了其实用性能。
2026-09-03 math.OC
Relative Weak Convexity and Projected Subgradient Methods: Analysis and Convergence
University of Antwerp(安特卫普大学)
本文引入相对弱凸函数类,扩展了经典弱凸性,通过距离生成函数度量非凸性,并证明投影次梯度算法在尖锐误差界下线性收敛到全局极小点。
2026-06-29 math.OC
Projected Stochastic Momentum Methods for Nonlinear Equality-Constrained Optimization for Machine Learning
Lehigh University(利哈伊大学)
本文提出两种投影随机动量方法,用于解决机器学习中的非线性等式约束优化问题,并通过实验验证其有效性。
2026-01-16 math.OC
On the Iterate Convergence of Bregman Projected Gradient Method
The Chinese University of Hong Kong(香港中文大学)
本文针对带Shannon熵核的Bregman投影梯度法,提出基于缩放Kurdyka-Łojasiewicz性质的收敛分析框架,证明其迭代收敛性及线性收敛条件,为解决该方法迭代收敛的开放问题提供了基础。
2026-08-06 math.OC
Optimal Non-Convex Exact Recovery in Stochastic Block Model via Projected Power Method
在本文中,我们研究了对称随机块模型中的精确社区恢复问题,其中$n$顶点的图是随机生成的,通过将顶点划分为$K \ge 2$等大小的社区,然后以依赖于社区成员的概率连接每对顶点。虽然这个问题的最大似然公式是离散和非凸的,我们建议直接使用投影功率迭代来解决它,初始化满足部分恢复条件。这样的初始化可以通过许多现有的方法来获得。我们表明,在对数度制度所考虑的问题,所提出的方法可以准确地恢复在信息理论的限制下的底层社区。此外,通过合格的初始化,它在$\mathcal{O}(n\log^2n/\log\log n)$时间内运行,这与现有的最先进的方法相比具有竞争力。我们还提出了所提出的方法的数值结果,以支持和补充我们的理论发展。
2021-06-10 math.OC
Anti-Windup Approximations of Oblique Projected Dynamics for Feedback-based Optimization
在本文中,我们研究了如何高增益的抗饱和计划可以用来实现投影动力系统的控制回路,受到饱和(可能是未知的)一组容许的输入。这种见解对于实现近似特定优化算法(例如,投影梯度或牛顿下降),同时仅需要有限的模型信息。在我们的分析中,我们表明,饱和的积分控制器,增加了一个反windup计划,引起扰动投影动力系统。这种洞察力使我们能够显示出一致收敛性和鲁棒的实际稳定性的抗饱和增益趋于无穷大。此外,对于自治优化中遇到的特殊情况,我们显示了鲁棒收敛性,即,收敛到有限增益的最佳稳态。除了特别适合于在线优化的大规模系统,如电网,这些结果是潜在的有用的其他控制和优化应用,因为它们揭示了一个新的光抗饱和控制和投影梯度系统。
2020-03-01 math.OC
On Asymptotic Linear Convergence of Projected Gradient Descent for Constrained Least Squares
Oregon State University(俄勒冈州立大学)
信号处理和机器学习中的许多最新问题,如压缩感知,图像恢复,矩阵/张量恢复和非负矩阵因子分解,都可以转换为约束优化。投影梯度下降法是求解此类约束最优化问题的一种简单而有效的方法。局部收敛分析进一步加深了我们对其在解附近的渐近行为的理解,与整体收敛分析相比,它提供了更清晰的收敛速度界限。然而,局部保证通常分散在机器学习和信号处理的特定问题领域。这份手稿提出了一个统一的框架内的局部收敛分析投影梯度下降的约束最小二乘的背景下。所提出的分析提供了深入了解关键的局部收敛特性,如线性收敛的条件,收敛区域,精确的渐近收敛速率,以及达到一定精度所需的迭代次数的限制。为了证明所提出的方法的适用性,我们提出了一个配方的收敛分析投影梯度下降,并证明它通过一个迭代到结束的应用程序的配方上的四个基本问题,即,线性等式约束的最小二乘,稀疏恢复,最小二乘与单位范数约束,和矩阵完成。
2022-06-20 cs.LG math.OC
Optimal reinsurance and investment via stochastic projected gradient method based on Malliavin calculus
本文提出基于Malliavin微积分和随机投影梯度的方法,直接最小化破产概率以优化静态再保险与投资策略,并给出收敛性分析及数值验证。
2024-11-08 math.OC q-fin.CP q-fin.MF
Decentralized projected Riemannian stochastic recursive momentum method for nonconvex optimization
National University of Defense Technology(国防科技大学);University of California, Berkeley(加州大学伯克利分校)
针对通信网络中n个节点的紧子流形非凸优化问题,提出分布式投影黎曼随机递归动量方法,其神谕复杂度优于现有方法,经主成分分析和低秩矩阵补全实验验证有效性。
2026-08-28 math.OC
Almost Sure Convergence of Random Projected Proximal and Subgradient Algorithms for Distributed Nonsmooth Convex Optimization
描述了两种分布式算法,使所有用户连接在一个网络上,以合作解决的问题,最小化的总和,所有用户的目标函数在所有用户的约束集的交集,其中每个用户有自己的私人非光滑凸目标函数和封闭的凸约束集,这是一些简单的,封闭的凸集的交集。一种算法使每个用户能够通过使用其目标函数的邻近算子和从简单的闭凸集中随机选择的一个集合上的度量投影来调整其估计。另一种是分布式随机投影算法,该算法通过使用用户的目标函数的次梯度而不是邻近算子来确定每个用户的估计。对这两种算法收敛性的研究表明,在一定的假设条件下,这两种算法所产生的所有用户的序列几乎必然收敛到同一个解。此外,对两种算法的收敛速度进行了分析,并讨论了使两种算法具有快速收敛性的步长序列的理想选择。具体的非光滑凸优化的数值比较支持了收敛性分析,并证明了两种算法的有效性。
2015-10-24 math.OC
Convergence Properties of the Distributed Projected Subgradient Algorithm over General Graphs
在本文中,我们重新审视了一个著名的分布式投影次梯度法,其目的是最小化的费用函数与一个共同的集合约束的总和。与现有的大多数结果相比,时变多智能体网络的权矩阵被假设为更一般,即,它们只需要是行随机的而不是双随机的。重点分析了该算法在一般图下的收敛性。我们首先表明,一般存在一个图序列,使算法是不收敛的,当网络切换自由在许多一般图。然后,为了保证该算法在任意一致联合强连通一般图序列下的收敛性,我们给出了一个充要条件,即,所有局部最优化问题的最优解集的交集不为空。此外,我们还惊奇地发现,对于任意周期切换的一般图序列,该算法都是收敛的,并且收敛解最小化局部费用函数的加权和,其中权值依赖于底层周期切换图的某些乘积矩阵的Perron向量.最后,我们考虑了一个稍微更广泛的类的准周期切换图序列,并表明该算法是收敛的任何准周期图序列的当且仅当网络之间的切换只有两个图。
2021-04-28 math.OC
More on Projected Type Iteration Method and Linear Complementarity Problem
本文针对线性互补问题,基于矩阵分裂提出新的投影型迭代方法,并给出系统矩阵为$H_+$-矩阵时的收敛性充分条件,通过数值算例验证了方法的有效性。
2023-05-09 math.OC
On Local Linear Convergence of Projected Gradient Descent for Unit-Modulus Least Squares
单位模最小二乘(UMLS)问题在信号处理中具有广泛的应用,例如,纯相位波束形成、相位恢复、雷达编码设计和传感器网络定位。可扩展的一阶方法,如投影梯度下降(PGD)最近被研究作为一个简单而有效的方法来解决UMLS问题。现有的关于UMLS的PGD收敛性的结果往往集中在整体收敛到平稳点。作为一个非凸问题,只建立了一个次线性的收敛速度。然而,这些结果并不能解释在实践中经常观察到的PGD的快速收敛。本文提出了一种新的分析收敛的PGD UMLS,证明线性收敛行为的算法附近的解决方案。通过利用目标函数和约束集的局部结构,我们建立了收敛速度的精确表达式,并刻画了线性收敛的条件。仿真结果表明,我们的理论分析证实了数值例子。此外,变体的PGD与自适应步长提出了新的见解,在我们的收敛性分析的基础上。这些变体在实践中显示出大幅加速。
2022-07-01 eess.SP math.OC
Convergence Analysis of Stochastic Saddle Point Mirror Descent Algorithm -- A Projected Dynamical View Point
本文从投影动力学视角提出非欧域连续时间鞍点动力学,证明其稳定性,并据此建立 SSPMD 的几乎必然收敛及零阶 SZSPMD 的邻域收敛性。
2024-04-07 math.OC
Joint dynamic probabilistic constraints with projected linear decision rules
考虑了联合动态概率约束和硬约束相结合的多阶段随机线性最优化问题。我们开发了一种将决策规则投影到观望型硬约束上的方法。我们建立了原始(无限维)问题和近似问题之间的关系,从不同的子类决策政策的预测。考虑线性决策规则的子类和一个广义线性模型的基本随机过程与噪声是高斯或截断高斯,我们表明,可以计算的近似问题的目标和约束函数的值和梯度。
2016-09-15 math.OC
A feasible smoothing accelerated projected gradient method for nonsmooth convex optimization
针对非光滑凸优化,提出一种保证变量可行性的光滑加速投影梯度方法,通过Lyapunov函数证明$O(k^{-1}\log k)$收敛率,并在桁架鲁棒柔顺度优化中验证。
2023-12-12 math.OC
Projected Semi-Stochastic Gradient Descent Method with Mini-Batch Scheme under Weak Strong Convexity Assumption
Lehigh University(理海大学)
针对一般随机梯度下降方法(SGD)的理论复杂度和实际性能的不足,提出了一种带小批量的投影半随机梯度下降方法.在弱强凸性假设下,我们能够证明线性收敛。这不需要强凸性假设来最小化服从紧凑多面体集的光滑凸函数的和,这在机器学习社区中仍然很流行。我们的PS2GD保留了低成本的每次迭代和高优化精度,通过随机梯度方差减少技术,并承认一个简单的并行实现与小批量。此外,PS2GD也适用于具有铰链损失的SVM对偶问题。
2017-05-05 cs.LG math.OC stat.ML
Decentralized projected Riemannian gradient method for smooth optimization on compact submanifolds
针对紧子流形上的去中心化非凸光滑优化,提出 DPRGD 与 DPRGT,分别获得 $\mathcal{O}(1/\sqrt{K})$ 和 $\mathcal{O}(1/K)$ 收敛率,其中 DPRGT 首次实现精确收敛。
2023-09-30 math.OC
An inexact strategy for the projected gradient algorithm in vector optimization problems on variable ordered spaces
变阶结构模拟两点之间的比较依赖于点到锥映射的情况。本文提出了一种求解变序空间上光滑约束向量最优化问题的不精确投影梯度法。证明了生成序列的每个聚点都满足一阶必要最优性条件。对目标函数,在适当的凸性假设下,证明了所有聚点收敛到一个弱有效点。在无约束的特殊情况下,如果取精确方向作为下降方向,也得到了收敛结果。此外,我们研究所提出的方法的应用程序的最优化模型的可变阶映射和目标函数的域是相同的。在这种情况下,类似的概念和收敛结果。最后,一些计算实验,旨在说明所提出的不精确的方法与精确的(在CPU时间方面)的行为进行。
2019-08-08 math.OC
Projected proximal gradient trust-region algorithm for nonsmooth optimization
针对光滑非凸项与非光滑凸正则化项之和的优化问题,提出结合近端梯度下降与信赖域投影的子问题求解器,并建立无界 Hessian 增长下的复杂度与收敛保证。
2025-01-09 math.OC
Quantitative Convergence Analysis of Projected Stochastic Gradient Descent for Non-Convex Losses via the Goldstein Subdifferential
该研究针对非凸损失投影SGD收敛衡量存在的局限,提出以梯度到Goldstein次微分的距离作为收敛准则,推导了不同数据分布下的渐近与非渐近收敛界,首次得到该场景下的非渐近高概率界。
2025-10-03 cs.LG math.OC
Distributed projected-reflected-gradient algorithms for stochastic generalized Nash equilibrium problems
研究了具有联合可行性约束和期望值费用函数的随机广义纳什均衡问题。提出了一个分布式随机投影反射梯度算法,并证明了当伪梯度映射单调且解唯一时,该算法的几乎必然收敛。该算法是基于单调算子分裂方法定制的SGNEPs时,期望值的伪梯度映射近似在每次迭代通过增加样本个数的随机变量。最后,我们表明,我们提出的算法的预处理的变体时,伪梯度映射是cocoercive的收敛保证。
2021-03-19 cs.GT cs.SY eess.SY
Controllability maximization of large-scale systems using projected gradient method
在这项工作中,我们制定了两个大规模的网络动力系统,如脑网络的可控性最大化问题:第一个问题是一个稀疏约束最优化问题与框约束。第二个问题是第一个问题的改进问题,其中状态转移阵是Metzler。换句话说,第二个问题是一个正系统的实现问题。我们提出了一种求解该问题的投影梯度法,并证明了该方法的整体收敛和局部线性收敛速率。第一和第二个问题的约束的投影显式地给出。使用所提出的方法的数值实验提供了非平凡的结果。特别是,观察到的可控性特性的变化与指定稀疏性的参数的增加,和变化率似乎是依赖于网络结构。
2020-02-11 math.OC
Geometric Certificates for Deterministic Global Linear Convergence of Overparameterized Projected Gradient Descent
University of Central Florida(中佛罗里达大学)
本文研究低秩矩阵估计中Burer-Monteiro方法受条件数影响的收敛问题,证明投影梯度下降可实现与条件数无关的局部线性收敛,并通过扰动版本避开鞍点、排除伪局部极小点。
2026-10-15 math.OC
A simpler approach to obtaining an O(1/t) convergence rate for the projected stochastic subgradient method
INRIA(法国国家信息与自动化研究所);Département d’Informatique de l’Ecole Normale Supérieure(巴黎高等师范学院计算机系)
本文提出了投影随机次梯度法的一种新的平均技术。通过对迭代t中的每一个n_w_t使用权为t+1的加权平均,我们得到了O(1/t)的收敛速度,并且证明和实现都很简单.新的计划进行了比较,经验与现有的技术,具有类似的性能行为。
2012-12-20 cs.LG math.OC stat.ML
Provable Constrained Stochastic Convex Optimization with XOR-Projected Gradient Descent
Purdue University(普渡大学);Indiana University(印第安纳大学);Peking University(北京大学)
可证明地求解带约束的随机凸优化问题对于科学、商业和统计中的各种问题都是必不可少的。最近提出的XOR-随机梯度下降(XOR-SGD)提供了一个收敛速度保证解决约束的版本的问题,利用XOR-采样。然而,当需要满足额外的等式和不等式约束时,任务变得更加困难。本文提出了一种基于投影梯度下降(PGD)和异或采样器相结合的新算法XOR-PGD,通过选择合适的步长,保证了该算法能够以线性收敛速率求解约束随机凸优化问题。我们表明,在合成随机库存管理和现实世界的道路网络设计问题的约束满足率优化的解决方案的XOR-PGD是$10\%$比竞争的方法在一个非常大的搜索空间。实验结果表明,改进的XOR-PGD算法比XOR-SGD算法和结合MCMC采样器的SGD算法具有更高的精度和效率。它也被证明是更可扩展的样本个数和处理器内核,通过实验与大尺寸。
2022-03-22 cs.LG math.OC
On the Convergence of Projected Alternating Maximization for Equitable and Optimal Transport
University of California, Davis(加利福尼亚大学戴维斯分校)
本文研究了公平最优输运(EOT)问题,该问题在公平分配、多代理最优输运等问题中有着广泛的应用。在离散分布的情况下,EOT问题可以转化为线性规划问题。由于这个LP对于一般的LP求解器来说太大了,Scetbon \etal \cite{scetbon2021equitable}建议通过添加熵正则化来扰动这个问题。他们提出了一种投影交替最大化算法(PAM)来解决熵正则化EOT的对偶。在本文中,我们提供了第一个PAM的收敛性分析。提出了一种新的舍入过程,以帮助构造原始EOT问题的原始解。我们还提出了一个变体的PAM通过将外推技术,可以数值上提高性能的PAM。本文的结果对一般最优化问题的块坐标(梯度)下降法有一定的指导意义。
2021-10-01 cs.LG math.OC
Modified projected Gauss-Newton method for constrained nonlinear least-squares: application to power flow analysis
本文提出一种改进的投影Gauss-Newton方法求解约束非线性最小二乘问题,通过线性化约束并添加二次正则化构建强凸子问题,证明了全局收敛性及基于KL性质的收敛速率,并在潮流分析中验证了有效性。
2025-04-01 math.OC
Projected gradient methods for nonconvex and stochastic smooth optimization: new complexities and auto-conditioned stepsizes
School of Industrial and Systems Engineering, Georgia Institute of Technology(工业与系统工程学院,佐治亚理工学院);Department of Mathematical Sciences, Rensselaer Polytechnic Institute(数学科学系,伦塞拉尔理工学院)
本文提出了一种新型投影梯度法,用于在凸紧致集上最小化非凸光滑函数,通过自适应步长策略实现最优迭代复杂性,同时在随机环境下提出新的收敛界。
2026-11-17 cs.LG math.OC stat.ML
A nonmonotone spectral projected gradient method for large-scale topology optimization problems
提出了一种基于梯度的求解体积约束拓扑最优化问题的有效方法。该算法的每一步都是通过将Barzilai-Borwein步投影到由盒和一个线性约束(体积约束)组成的可行集上来获得的。为保证算法的整体收敛,沿当前点和投影点给定的方向进行自适应非单调线搜索。采用自适应循环重用的Barzilai-Borwein步长作为初始步长。最小的内存需求,保证收敛性,几乎只有一个功能和梯度每次迭代评估,使这种新方法非常有吸引力的常见的替代方法来解决大规模的最优设计问题。数值实验表明了该方法的有效性和可行性。
2010-06-03 math.OC
Projected subgradient methods for paraconvex optimization: Application to robust low-rank matrix recovery
University of Antwerp(安特卫普大学);KU Leuven(荷语鲁汶大学)
本文提出了一种投影子梯度方法用于paraconvex优化,并将其应用于鲁棒低秩矩阵恢复问题,验证了方法的有效性。
2026-03-05 math.OC
Accelerated projected gradient algorithms for sparsity constrained optimization problems
Academia Sinica(中央研究院)
本文提出两种加速投影梯度算法,用于解决稀疏约束优化问题,通过子空间识别和同空间外推实现超线性收敛和加速优化。
2026-02-12 math.OC
Online Projected Gradient Descent for Stochastic Optimization with Decision-Dependent Distributions
研究了具有时变费用的随机最优化问题的解的跟踪问题,该问题的解依赖于具有决策依赖分布的随机变量。在这种情况下,我们提出了使用一个在线的随机梯度下降法来解决优化,我们提供了明确的界限,期望和高概率的优化器和算法产生的点之间的距离。特别是,我们表明,由于采样的梯度误差建模为一个子威布尔随机变量,那么跟踪误差最终有界的期望和高概率。理论研究结果通过数值模拟的电动汽车车队的充电优化的背景下进行了验证。
2021-10-27 cs.SY eess.SY math.OC
Finite-Time Concentration and Convergence Rates for Projected Two-Time-Scale Stochastic Approximation with Markov Noise
Laboratoire de Recherche de l’EPITA(EPITA研究实验室);Indian Institute of Technology Bombay(印度理工学院孟买分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对带马尔可夫噪声的投影双时间尺度随机逼近,利用Skorokhod映射建立有限时间高概率界,证明几乎必然收敛并给出显式速率,应用于演员-评论家等算法。
2026-09-29 cs.LG math.OC
Convergence of stochastic nonlinear systems and implications for Stochastic Model Predictive Control
随机模型预测控制(MPC)在附加扰动下的稳定性通常通过构造类Lyapunov不等式来证明,该不等式确保了闭环性能界和状态的有界性,但通常不能确定状态的严格极限界和非保守性能界。在这项工作中,我们使用的输入到状态的稳定性找到的条件,这意味着收敛概率为1的扰动非线性系统的最小鲁棒正不变集。我们讨论了随机MPC配方的状态和控制律的收敛性的影响,我们证明了几个现有的线性和非线性系统的随机MPC配方的收敛结果。
2020-04-06 math.OC
Projected Stochastic Gradient Langevin Algorithms for Constrained Sampling and Non-Convex Learning
Langevin算法是具有加性噪声的梯度下降方法。它们已经在马尔可夫链蒙特卡罗(MCMC)采样,优化和学习中使用了几十年。它们在无约束非凸优化和学习问题中的收敛性在过去几年中得到了广泛的研究。其他工作研究了投影Langevin算法的抽样从对数凹分布限制凸紧集。对于学习和优化,对数凹分布对应于凸损失。在本文中,我们分析了非凸损失的情况下,紧凸约束集和IID外部数据变量。我们将此方法称为投影随机梯度Langevin算法(PSGLA)。我们表明,该算法实现了$O(T^{-1/4}(\log T)^{1/2})$从其目标分布在1-Wasserstein距离的偏差。对于优化和学习,我们表明,该算法实现$ε$ -次优的解决方案,平均而言,只要它运行的时间是多项式在$ε^{-1}$和稍微超指数的问题维度。
2020-12-22 cs.LG math.OC math.PR
SPAN: A Stochastic Projected Approximate Newton Method
Bytedance AI Lab(字节跳动人工智能实验室);University of Science and Technology China(中国科学技术大学);Tsinghua University(清华大学)
二阶最优化方法具有理想的收敛性质。然而,精确牛顿法需要昂贵的计算海森及其逆。在本文中,我们提出了一种新的近似和快速牛顿法SPAN。SPAN通过低秩近似和随机Hessian向量乘积计算黑塞矩阵的逆。我们在多个基准数据集上的实验表明,SPAN在收敛挂钟时间方面优于现有的一阶和二阶最优化方法。此外,我们提供了一个理论分析的每次迭代的复杂性,近似误差,和收敛速度。理论分析和实验结果都表明,该方法在收敛速度和迭代效率之间取得了较好的折衷。
2020-03-03 cs.LG math.OC
Bounded perturbation resilience of projected scaled gradient methods
研究了求解凸极小化问题的投影尺度梯度方法。这些方法沿着对角缩放的梯度方向执行下降步骤,然后通过正交投影到约束集上执行可行性恢复步骤。这构成了一个广义的算法结构,包括作为特殊情况的梯度投影法,投影牛顿法,投影Landweber型方法和广义期望最大化(EM)型方法。证明了在有界扰动下PSG方法的收敛性。这种弹性有界扰动的能力,最近开发的优越化方法PSG方法,特别是EM算法。
2015-07-27 math.OC
A Nesterov's Accelerated Projected Gradient Method for Monotone Variational Inequalities
在本技术说明中,我们关注的是以提高的收敛速度求解变分不等式的问题。受Nesterov求解凸优化问题的加速梯度法的启发,我们提出了求解变分不等式问题的Nesterov加速投影梯度算法.在Lipschitz连续性和强单调性的共同假设下,我们证明了所提出的算法的收敛性,至少具有线性速度。据我们所知,这是第一次证明收敛的Nesterov的加速协议的变分不等式,除了凸优化或单调包含问题。仿真结果表明,所提出的算法优于著名的投影梯度法,反射投影法,黄金分割法。结果表明,所需的迭代次数,以达到解决方案大大减少在我们提出的算法。
2022-12-20 math.DS math.OC
A dual spectral projected gradient method for log-determinant semidefinite problems
本文将Birgin等人在2000年提出的谱投影梯度法的结果推广到具有线性约束的对数行列式半定问题(SDP),提出了求解对偶问题的谱投影梯度法.我们的方法是基于两个凸集的交集上的交替投影,首先投影到框约束上,然后投影到由线性矩阵不等式定义的集合上。通过利用这两个投影的结构,我们表明相同的收敛性能,可以得到所提出的方法作为Birgin的方法,其中精确的正交投影到两个凸集的交集上进行。利用收敛性质,我们证明了所提出的算法达到最优值或终止于一个有限的迭代次数。随机生成的合成/确定性数据和基因表达数据的数值结果表明,所提出的方法的效率,与其他方法,包括不精确的原始-对偶路径跟踪邻近点方法,自适应谱投影梯度法,自适应Nesterov的平滑方法进行比较。对于基因表达数据,我们的结果与二次近似稀疏逆协方差估计方法进行了比较。我们表明,我们的方法优于其他方法在获得一个更好的最优值快。
2018-12-03 math.OC
Convergence of Riemannian Stochastic Gradient Descents: Varying Batch Sizes And Nonstandard Batch Forming
The George Washington University(乔治华盛顿大学)
本文研究了黎曼随机梯度下降在迭代过程中概率空间变化时的收敛性,推导了变化批量大小和非标准批量形成方案的收敛结果。
2026-04-17 math.OC
Convergence of a Stochastic Subgradient Method with Averaging for Nonsmooth Nonconvex Constrained Optimization
对于具有广义可微性的非光滑、非凸目标函数的约束问题,证明了一个带次梯度平均的单时间尺度随机次梯度方法的收敛性.作为我们分析的工具,我们还证明了一个链式法则的道路上,这样的功能。
2019-12-16 math.OC
Projected Forward Gradient-Guided Frank-Wolfe Algorithm via Variance Reduction
University of California Irvine(加州大学欧文分校)
本文针对 Frank-Wolfe 算法训练深度神经网络时梯度计算开销大的问题,将投影前向梯度方法引入 FW 框架,并提出基于历史方向聚合的方差缩减策略,以消除随机噪声导致的非消失收敛误差,理论证明其在凸与非凸情形下的收敛性,并通过数值实验验证了方法的有效性和高效性。
2024-12-25 cs.LG math.OC
On the linear convergence of the stochastic gradient method with constant step-size
强增长条件(SGC)是使用恒定步长$γ$(SGM-CS)的随机梯度法线性收敛的充分条件。本文给出了SGM-CS的线性收敛的一个必要条件,该条件比SGC弱。此外,当这一必要的是违反了添加剂扰动$σ$,我们表明,无论是使用恒定步长的投影随机梯度法(PSGM-CS)和近端随机梯度法表现出线性收敛的噪声占主导地位的区域,其距离的最优解是成正比的$γσ$。
2018-06-17 math.OC
Linear Convergence of Stochastic Frank Wolfe Variants
本文证明了逐步随机Frank-Wolfe算法(ASFW)和成对随机Frank-Wolfe算法(PSFW)按期望线性收敛。我们还表明,如果一个算法的线性收敛的期望,那么它几乎肯定线性收敛。为了证明这些结果,我们开发了一种新的证明技术的基础上的经验过程和浓度不等式的概念。这样的技术很少被用来推导随机最优化算法的收敛速度。在大规模的数值实验中,ASFW和PSFW在实际CPU时间上表现得与它们的随机竞争对手一样好或更好。
2017-03-21 math.OC
Staggered Time Average Algorithm for Stochastic Non-smooth Optimization with O(1/T) Convergence
随机非光滑凸优化是机器学习和运筹学中的一类问题。研究了基于随机次梯度的非光滑函数的极小化问题。当函数具有局部多面体结构时,证明了交错时间平均算法具有O(1/T)的收敛速度。当局部多面体假设被删除时,一个更一般的收敛结果被证明。在这种情况下,收敛边界取决于最小值附近的函数曲率。最后,局部多面体假设,以提高收敛超过O(1/T)的一个特殊情况下的确定性问题。
2016-07-11 math.OC
On the convergence of stochastic MPC to terminal modes of operation
随机模型预测控制(MPC)在加性扰动下的稳定性通常通过构造类Lyapunov不等式来证明,该不等式保证闭环性能界和状态的有界性,但收敛到终端控制律通常没有被证明.在这项工作中,我们使用一般状态空间马尔可夫链的结果,找到条件,保证受干扰的非线性系统收敛到终端的操作模式,使他们收敛的概率先验已知的终端线性反馈法,并实现时间平均性能等于终端控制律。我们讨论了随机MPC配方的控制律的收敛性的影响,特别是我们证明了两个配方的随机MPC的收敛性。
2019-03-16 math.OC
Almost Sure Convergence and Non-asymptotic Concentration Bounds for Stochastic Mirror Descent Algorithm
本文针对使用有偏随机次梯度的随机镜像下降算法,在偏差递减条件下证明了迭代点的几乎必然收敛性,并在标准假设及次高斯噪声假设下分别给出了函数值偏差的集中界。
2024-07-08 math.OC
Delayed supermartingale convergence lemmas for stochastic approximation with Nesterov momentum
本文针对带 Nesterov 动量的随机逼近中延迟信息导致难以实现几乎必然收敛的问题,提出基于延迟超鞅收敛引理的一般性收敛框架,并应用于随机次梯度、邻近 Robbins-Monro 及邻近随机次梯度等方法,通过数值实验验证了理论结果。
2024-06-10 math.OC
Convergence Analysis of the Last Iterate in Distributed Stochastic Gradient Descent with Momentum
本文研究分布式 mSGD 在非凸设置下的最后一次迭代收敛问题,证明其在 Robbins-Monro 步长下的几乎必然与 $L_2$ 收敛及速率,并说明动量可加速早期收敛。
2025-05-16 math.OC
Projected shrinkage algorithm for box-constrained L1-minimization
当修正框约束可用时,框约束L1最小化的性能明显优于经典L1最小化。而且许多实际的L1-极小化模型确实涉及盒约束,因为它们从某个区间取某些值。本文提出了一种有效的迭代格式,即投影收缩(ProShrink)算法,用于求解一类框约束L1-极小化问题。该方法的一个重要贡献是,在推导过程中出现的一个复杂的邻近点算子可以等价地简化为一个投影收缩算子。理论上,我们证明了ProShrink算法对原始点序列和对偶点序列都是收敛的.在数值层面上,我们证明了通过稀疏恢复实验添加框约束的好处。
2014-08-22 math.OC