Error bound conditions and convergence of optimization methods on smooth and proximally smooth manifolds
对于非凸约束最优化问题$\min_{x \in S} f(x)$,在光滑集$S = \{x \in R^n : g(x) = 0 \}, \; g : R^n \rightarrow R^m$和光滑函数$f$的情况下,分析了梯度投影算法收敛到稳定点的收敛性.我们提出了新的误差界(EB)条件的梯度投影法,导致收敛域的牛顿法。我们证明,这些EB条件是典型的一类最优化问题。通过切换到牛顿法,可以达到算法的高收敛速度。
2019-12-10 math.OC
Sharp bounds for stochastic proximal and projection estimators via radial dominance
Universidad Técnica Federico Santa María(费德里科·圣塔玛丽亚技术大学);Center for Mathematical Modeling (CNRS IRL2807), Universidad de Chile(智利大学数学建模中心(法国国家科学研究中心国际研究联系项目2807));Instituto de Ciencias de la Ingeniería, Universidad de O’Higgins(奥希金斯大学工程科学学院)
研究通过指数加权高斯扰动获得的随机重心估计器,利用径向优势条件得出相关重心范数上界及充分条件,得到弱凸函数随机近端估计器收敛速率等,还用于随机投影估计器,通过数值实验验证相关性质。
2026-09-15 math.OC math.PR
One-Step Estimation With Scaled Proximal Methods
我们研究使用迭代最优化方法计算的统计估计量,这些方法在完成之前不会运行。经典的极大似然估计(MLE)的结果断言,一步估计(OSE),其中一个单一的Newton-Raphson迭代是从一个具有某些性质的起点执行,是渐近等价于MLE。我们进一步发展这些早期停止的结果,通过推导一步估计的性质定义的一个单一的迭代缩放的邻近方法。我们的主要结果表明,渐近等价的似然为基础的估计和各种一步估计定义的尺度邻近方法。通过将OSE解释为一系列迭代的最后一个,我们的结果提供了对缩放数值公差与样本量的见解。我们的设置包含缩放的近端梯度下降适用于某些复合模型作为一个特例,使我们的结果适用于许多实际问题。此外,我们的结果通过将缩放近端下降解释为应用于缩放莫罗包络的拟牛顿法,为缩放莫罗包络作为统计平滑器的实用性提供了支持。
2021-06-24 math.OC math.ST stat.CO
A stochastic two-step inertial Bregman proximal alternating linearized minimization algorithm for nonconvex and nonsmooth problems
本文提出STiBPALM算法,结合两步惯性与Bregman近端交替线性化及方差缩减随机梯度,用于求解大规模非凸非光滑优化问题,并证明其收敛性,通过稀疏非负矩阵分解和盲图像去模糊实验验证性能。
2023-07-11 math.OC
Proximal Flow Inspired Multi-Step Methods
该研究提出一族由梯度流隐式线性离散化构建的近似多步邻近点方法,其单步计算成本与邻近点方法相当,能提升多种优化方法的收敛性能,并给出了多类问题场景下的收敛性分析。
2025-01-14 math.OC
Faster Projection-Free Augmented Lagrangian Methods via Weak Proximal Oracle
Technion - Israel Institute of Technology(以色列理工学院)
本文研究了一类带仿射约束的凸复合最优化问题,它包括在(简单)凸集的交集上极小化光滑凸目标函数或用多个(简单)函数正则化的问题。出于高维应用程序中,精确的投影/近端计算是不听话的,我们提出了一个\textit{projection-free}增广拉格朗日为基础的方法,其中原始更新进行使用\textit{weak proximal oracle}(WPO)。在早期的工作中,WPO被证明比基于条件梯度的方法(又名Frank-Wolfe方法)的标准\textit{linear minimization oracle}(LMO)更强大。此外,WPO是计算上易于处理的许多高维问题的兴趣,包括那些动机的恢复低秩矩阵和张量,并优化多面体,承认有效的LMO。本文的主要结果表明,在一定的曲率假设下(这是弱于强凸性),我们的基于WPO的算法实现了遍历速度$O(1/T)$的目标残差和可行性差距。据我们所知,这一结果,提高了$O(1/\sqrt{T})$率为现有的LMO为基础的无投影方法,这类问题。低秩和稀疏协方差阵估计任务和最大割半定松弛的实验表明,我们的方法可以优于最先进的基于LMO的拉格朗日方法。
2023-02-21 cs.LG math.OC
Projection methods for solving split equilibrium problems
考虑了希尔伯特空间中一类涉及分支平衡问题的分裂反问题。因此,这个问题被称为分裂平衡问题(SEP)。已知求解问题(SEP)的几乎解方法是由两种基本方法设计的,即邻近点方法和扩展的外梯度方法(或两步类邻近方法)。与以往的结果不同,本文引入了一个新的算法,该算法仅基于投影方法,求问题(SEP)的解的近似,并在较弱的条件下证明了所得到的算法是弱收敛的.数值结果表明了算法的收敛性,并与其它算法进行了比较。
2019-04-16 math.OC
On the efficient computation of proximal operators of affine-constrained nonconvex functions
National University of Singapore(新加坡国立大学);The University of Chicago(芝加哥大学);Institute of Operations Research and Analytics, National University of Singapore(新加坡国立大学运筹与分析研究所);Institute of Applied Mathematics, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院应用数学研究所)
本文提出了一种统一的对偶可表示框架,用于高效计算具有仿射约束的非凸函数的proximal算子,通过建立对偶问题和验证正则性条件,实现了快速收敛的优化方法。
2026-02-27 math.OC
From perspective maps to epigraphical projections
将闭正常凸函数投影到上图或水平集上,可以通过寻找包含作为邻近参数的函数的邻近算子的标量方程的根来实现。本文发展了这类标量方程的变分分析。该方法是基于一般凸优化问题的变分分析性质的研究,这些问题是(部分)无穷投影的问题中的函数和凸核的透视图。当核是欧几里得范数平方时,解映射对应于邻近映射,因此为一般情况导出的变分性质适用于邻近情况。值函数和相应的解决方案映射的性质-包括局部Lipschitz连续性,方向可微性和半光滑性-推导。建立了一个用于计算epigraphical和level-set投影的SC $^1$优化框架。在1-范数投影上的数值实验表明了该方法的有效性,并与专门的算法进行了比较
2021-02-12 cs.NA math.NA math.OC
New nonasymptotic convergence rates of stochastic proximal pointalgorithm for convex optimization problems
University Bucharest(布加勒斯特大学)
最近的优化文献的大部门集中在过去十年的发展,逐步放松的假设下的约束凸模型的最优随机一阶计划。随机邻近点算法是将邻近点法应用于有噪声的随机最优化问题的一种迭代算法,其迭代过程与随机交替投影有关。受交替投影方法可扩展性的启发,我们从(线性)正则性假设出发,该假设通常用于凸可行性问题以保证随机交替投影方法的线性收敛,并分析了一个一般的弱线性正则性条件,该条件有利于随机邻近点方法的收敛速度提升.我们的应用程序包括许多非强凸函数类经常用于机器学习和统计。此外,在弱线性正则性假设下,我们保证$\mathcal{O}\left(\frac{1}{k}\right)$收敛速度的SPP,在距离最优集,只使用一个简单的组件集上的投影。当期望成本的最优集包含在每个功能部件的最优集中时,插值设置获得线性收敛。
2020-05-02 cs.LG math.OC stat.ML
On $ϕ$-Best Proximity Points and Proximal-type Algorithms in Banach Spaces
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
本文研究巴拿赫空间中φ-最佳邻近点的存在与收敛性,提出收缩投影算法及投影方案,为求解含非自映射的非线性问题提供新工具。
2026-08-25 math.FA math.OC
Hierarchical Convex Optimization by the Hybrid Steepest Descent Method with Proximal Splitting Operators -- Enhancements of SVM and Lasso
现代邻近分裂方法的突破性思想使我们能够将多个非光滑凸函数叠加的所有极小元的集合表示为可计算非扩张算子的不动点集。在本文中,我们提出了实用的算法策略的分层凸优化问题,需要进一步的战略选择的最理想的向量从标准的凸优化的解决方案。所提出的算法是通过将混合最速下降法应用于通过邻近分裂艺术设计的特殊非扩张算子而建立的。我们还提出了应用所提出的策略,以某些未开发的层次增强的支持向量机和Lasso估计。
2022-06-30 math.OC
Projected proximal gradient trust-region algorithm for nonsmooth optimization
针对光滑非凸项与非光滑凸正则化项之和的优化问题,提出结合近端梯度下降与信赖域投影的子问题求解器,并建立无界 Hessian 增长下的复杂度与收敛保证。
2025-01-09 math.OC
On the Linear Convergence of the Approximate Proximal Splitting Method for Non-Smooth Convex Optimization
考虑最小化两个凸函数之和的问题,其中一个是光滑的,另一个是非光滑的。在本文中,我们介绍了一般类的近似邻近分裂(APS)方法来解决这样的极小化问题。APS类中的方法包括许多众所周知的算法,例如用于光滑凸优化的邻近分裂方法(PSM)、块坐标下降法(BCD)和近似梯度投影法。在局部误差有界的假设下,证明了APS方法的线性收敛.由于后者是已知的压缩感知和稀疏组LASSO问题,我们的分析意味着线性收敛的BCD方法对这些问题没有强凸性假设。
2014-04-21 math.OC
SPRING: A fast stochastic proximal alternating method for non-smooth non-convex optimization
介绍了一种新的随机近似交替线性化极小化算法SPRING,用于求解一类非光滑非凸优化问题。由于数据采集和计算能力的进步,大规模成像问题变得越来越普遍。受随机最优化方法成功的启发,我们提出了一个随机变体的邻近交替线性化最小化(PALM)算法\cite{bolte2014proximal}。我们提供了整体收敛保证,表明我们提出的方法与方差减少的随机梯度估计,如SAGA \cite{SAGA}和SARAH \cite{sarah},实现了最先进的甲骨文复杂性。我们还证明了我们的算法的有效性,通过几个数值例子,包括稀疏非负矩阵分解,稀疏主成分分析,盲图像反卷积。
2021-01-19 math.OC
Exact Worst-case Performance of First-order Methods for Composite Convex Optimization
我们提供了一个框架,用于计算任何算法的精确最坏情况下的性能,该算法属于基于Oracle的复合凸优化的一阶方法的广泛类别,包括执行显式,投影,邻近,条件和不精确(子)梯度步骤的算法。我们同时获得紧最坏情况下的保证和明确的最优化问题的算法达到这个最坏的情况下的实例。我们通过将最坏情况的计算减少到求解凸半定程序来实现这一点,推广了Drori和Teboulle [13]以及作者[43]以前关于性能估计的工作。我们使用这些发展,以获得一个更严格的分析的邻近点法和快速近端梯度,条件梯度,次梯度和交替投影方法的几个变种。特别是,我们提出了一个新的分析最坏情况下保证的邻近点法,是以前已知的两倍,并提高了标准的最坏情况下保证的条件梯度法的两个以上的因素。我们还展示了Kim和Fessler在[22]中提出的优化梯度法如何通过引入投影或邻近算子来扩展,这导致了一种算法,该算法在最坏情况下的收敛速度是标准加速邻近梯度法的两倍[2]。
2019-11-21 math.OC
Iteration Bounds for Finding the $ε$-Stationary Points for Structured Nonconvex Optimization
在本文中,我们研究了近端条件梯度(CG)和近端梯度投影型算法的块结构约束非凸优化模型,这是自然产生的张量数据分析。首先,我们引入了一个新的概念,$ε$ -平稳性,这是适用于所考虑的结构化问题。%,与其他类似的解决方案概念相比。然后,我们提出了两种类型的一阶算法的模型的基础上的邻近条件梯度(CG)方法和邻近梯度投影法分别。如果非凸目标函数是数学期望的形式,我们讨论了如何加入随机抽样以避免精确计算期望。对于一般块优化模型,根据块坐标下降(BCD)或最大块改进(MBI)更新规则对每个块执行邻近子程序。如果目标$f$的非凸部分的梯度满足$\| \nabla f(x) - \nabla f(y)\|_q \le M \|x-y\|_p^δ$,其中$δ=p/q$与$1/p+1/q=1$,那么我们证明了新算法在寻找$ε$ -平稳解时具有$O(1/ε^q)$的总迭代复杂度界.如果$f$是凹的,则迭代复杂度降低到$O(1/ε)$。张量逼近问题的数值实验表明,新的解决方案的算法有前途的性能。
2014-10-15 math.OC
A Proximal-Point Algorithm with Variable Sample-sizes (PPAWSS) for Monotone Stochastic Variational Inequality Problems
考虑闭凸集上具有连续单调映射的随机变分不等式问题。在强单调制度,我们提出了一个可变的样本大小平均计划(VS-Ave),实现了线性速率与最佳的预言复杂度。此外,迭代的复杂性显示出静音的条件数的依赖性相比,标准的方差减少投影计划。为了对付仅仅是单调的地图,我们开发的第一个邻近点法与可变样本量(PPAWSS),其中越来越精确的解决方案,强单调SVIs通过(VS-Ave)在每一步。这允许实现次线性收敛速度,其匹配针对确定性单调VI获得的收敛速度。初步的数值证据表明,该计划比较以及与竞争计划。
2019-09-30 math.OC
Roots of the identity operator and proximal mappings: (classical and phantom) cycles and gap vectors
最近,Simons给出了一般希尔伯特空间中闭凸集的一个支撑函数的引理,并利用它证明了关于投影圈的几何猜想.本文将Simons引理推广到闭凸函数,证明了它与Attouch-Thera对偶的关系,并利用它刻画了邻近映射的(经典的和幻影的)圈和间隙向量.
2022-02-22 math.FA math.OC
Generalized Bregman Projection Algorithms for Solving Nonlinear Split Feasibility Problems in Infinite-Dimensional Spaces
针对无限维希尔伯特空间的非线性分裂可行性问题,提出融合Bregman投影、近端梯度步和自适应惯性项的广义Bregman投影算法,证明强收敛性且实验验证其优于经典方法,推动相关优化技术发展。
2025-05-14 math.OC
Almost Sure Convergence of Random Projected Proximal and Subgradient Algorithms for Distributed Nonsmooth Convex Optimization
描述了两种分布式算法,使所有用户连接在一个网络上,以合作解决的问题,最小化的总和,所有用户的目标函数在所有用户的约束集的交集,其中每个用户有自己的私人非光滑凸目标函数和封闭的凸约束集,这是一些简单的,封闭的凸集的交集。一种算法使每个用户能够通过使用其目标函数的邻近算子和从简单的闭凸集中随机选择的一个集合上的度量投影来调整其估计。另一种是分布式随机投影算法,该算法通过使用用户的目标函数的次梯度而不是邻近算子来确定每个用户的估计。对这两种算法收敛性的研究表明,在一定的假设条件下,这两种算法所产生的所有用户的序列几乎必然收敛到同一个解。此外,对两种算法的收敛速度进行了分析,并讨论了使两种算法具有快速收敛性的步长序列的理想选择。具体的非光滑凸优化的数值比较支持了收敛性分析,并证明了两种算法的有效性。
2015-10-24 math.OC
Distributed Solutions for Loosely Coupled Feasibility Problems Using Proximal Splitting Methods
在本文中,我们考虑凸可行性问题的基础集是松散耦合的,我们提出了几个算法来解决这样的问题,在分布式方式。这些算法是通过将近似分裂方法应用于凸可行性问题的凸极小化重构而得到的。我们还提出了分布式收敛测试,使我们能够建立分布式的问题的可行性或不可行性,我们提供了收敛速度的结果。在问题可行且有界线性正则的假设下,这些收敛性结果以迭代到可行集的距离的形式给出,与经典投影方法的收敛性结果类似.在可行性问题是不可行的情况下,我们提供了收敛速度的结果,涉及某些误差界的收敛。
2013-06-28 math.OC
An Inexact Riemannian Proximal Momentum Variance-Reduced Method: Complexity Bounds and KL Sequential Convergence
South China Agricultural University(华南农业大学)
针对紧嵌入子流形上的有限和非光滑复合问题,提出不精确黎曼邻近动量方差缩减方法,建立其复杂度界,并基于普通逐点KL性质推导带记忆的条件期望下降抽象KL原理,证明序列收敛性与速率。
2026-08-18 math.OC
Elastic demand dynamic network user equilibrium: Formulation, existence and computation
研究了出行需求矩阵内生确定的弹性出行需求下的动态用户均衡问题。我们提出了一个无限维的变分不等式(VI)制定是等价的条件定义一个连续时间的E-DUE问题。通过在扩展的希尔伯特空间中应用不动点存在定理(Browder,1968),建立了这个VI的存在性结果.我们提出了三个算法的基础上,上述VI和它的重新表达为微分变分不等式(DVI):投影方法,自适应投影方法,和邻近点方法。严格的收敛结果提供这些方法,它依赖于越来越宽松的广义单调性的概念,即混合的强-弱单调性的投影方法;伪单调性的自适应投影方法,和拟单调性的近点法。对这三种算法进行了测试,并对它们的解的质量、收敛性和计算效率进行了比较。我们的收敛结果,超越了这里研究的交通应用,适用于一个广泛的家庭的无限维的VI和DVI,是迄今为止最弱的报道。
2016-03-24 math.OC
Obtaining Lower Query Complexities through Lightweight Zeroth-Order Proximal Gradient Algorithms
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Texas A&M University(得克萨斯农工大学);University Maryland College Park(马里兰大学学院公园分校)
本文利用计算开销仅为O(1)的随机零阶估计器,提出ZOOD性质与两个通用归约框架,并基于此设计ZOR-ProxSVRG和ZOR-ProxSAGA算法,显著降低了凸与非凸问题的函数查询复杂度。
2024-10-03 cs.LG math.OC
Convergence of zeroth-order proximal point algorithms in the high-temperature regime
Università degli Studi di Genova(热那亚大学)
本文研究了在高温度 regime 中零阶近端点算法的收敛性,通过将 ZOPPA 解释为辅助平滑目标的精确近端点方法,证明了在最小假设下算法的收敛性,并为固定温度下的采样方法提供了显式保证。
2026-05-12 math.OC
On Finite-Step Convergence of the Non-Greedy Algorithm and Proximal Alternating Minimization Method with Extrapolation for $L_1$-Norm PCA
研究了$L_1$ -范数PCA的经典非贪婪算法(NGA)和最近提出的带外推的邻近交替最小化算法(PAMe)的有限步收敛性。它首先表明,NGA可以被解释为一个条件次梯度或交替最大化方法。通过将其视为条件次梯度,证明了在一定的满秩假设下,该算法产生的迭代点在多步迭代中是常数,当投影维数为1时,可以去掉这个假设.通过将算法视为一个交替的最大化,我们证明了目标值将是固定的后,最多$\left\lceil\frac{F^{\max}}{τ_0} \right\rceil$步骤,其中停止点满足一定的最优性条件。然后,NGA与改进的收敛性能进行了分析。结果表明,改进算法产生的迭代点在最多$\left\lceil\frac{2F^{\max}}τ \right\rceil$步后不会改变,而且如果邻近参数$τ$足够小,则停止点满足一定的最优性条件.对于PAMe,证明了当参数足够小且满足满秩假设时,符号变量经过多次迭代后仍保持不变,算法可以输出满足一定最优性条件的点.此外,如果投影矩阵相关子问题上不存在邻近项,则该改进算法产生的迭代点在最多$\left\lceil \frac{4F^{\max}}{τ(1-γ)} \right\rceil$步后不会改变,且停止点也满足一定的最优性条件,提供了与PAMe类似的假设.当投影维数为1时,可以去除满秩假设。
2023-03-22 math.OC stat.ML
On the Stochastic (Variance-Reduced) Proximal Gradient Method for Regularized Expected Reward Optimization
University of Maryland at College Park(马里兰大学帕克分校)
本文针对非 oblivious 设置下的正则化期望奖励优化问题,应用并分析随机近端梯度方法,并引入基于重要性采样的方差缩减技术(PAGE),将样本复杂度从 O(ε^{-4}) 改进至 O(ε^{-3}),为强化学习中的一般正则化奖励优化提供了新方法。
2024-08-19 cs.LG math.OC
Local Convergence of the Heavy-ball Method and iPiano for Non-convex Optimization
证明了抽象下降法的一个局部收敛结果。迭代序列被局部(或全局)最小值吸引,停留在其邻域内并在该邻域内收敛。这个结果允许算法利用目标函数的局部性质。特别地,本文中的抽象理论适用于惯性向前-向后分裂方法:iPiano--Heavy-ball方法的推广。此外,它揭示了iPiano和惯性平均/交替近端最小化和投影方法之间的等效性。这种等价性的关键在于邻域内局部极小值的吸引力,以及对于一个近似正则函数,Moreau包络的梯度是局部Lipschitz连续的,并且可以用近似映射表示。在数值可行性问题中,惯性交替投影方法显著优于其非惯性变体。
2018-01-26 math.OC
A Tuning-Free Variational Framework for Muscle Redundancy Resolution: Torque Fiber Proximal Dynamics with Active-Set Switching and EMG-Validated Activation Prediction
研究针对肌肉冗余问题,提出扭矩纤维近端动力学(TFPD)框架,激活依特定投影演变,拮抗肌募集自然产生。推导相关条件,经肘部模型验证,与肌电图相关性良好且无需调参,还证明鲁棒性,将神经肌肉协调与多种理论及系统相联系。
2026-08-04 math.OC q-bio.NC q-bio.QM
Proximal observers for secure state estimation
Univ. Lille, CNRS, Inria, Centrale Lille, UMR 9189 CRIStAL(里尔大学、法国国家科学研究中心、法国国家信息与自动化研究所、里尔中央理工学院);Université de Lyon, (Université Claude Bernard, CNRS UMR 5007)(里昂大学(克莱贝尔·伯纳德大学、法国国家科学研究中心));Univ. Gustave Eiffel, Inria(格扎维埃·埃菲尔大学、法国国家信息与自动化研究所)
本文提出了一种通用框架,用于设计对一类离散时间非线性系统具有鲁棒性的状态估计器,通过最小化非光滑凸函数来获得鲁棒的状态估计器,基于近似算子定义,并证明在无噪声情况下误差渐近消失。
2026-05-12 cs.SY eess.SY math.OC
Proximal Point Algorithms for Nonsmooth Convex Optimization with Fixed Point Constraints
考虑了定义在实希尔伯特空间上的非扩张映射的不动点集的交集上的非光滑凸目标函数之和的极小化问题,在该不动点集上的投影不能有效地计算.使用邻近点法,使用邻近算子的目标函数和增量优化技术提出了解决问题。重点研究了不动点逼近技术,设计了两种算法来求解该问题。一种是将增量次梯度法与Halpern型不动点迭代算法相结合,增量次梯度法是求解非光滑凸优化问题的一种有效算法。另一种是基于增量次梯度法和Krasnosel'ski \u-Mann不动点算法。证明了Halpern型算法生成的序列的弱序列聚点属于问题的解集,而Krasnosel'ski \u-Mann型算法生成的序列存在一个弱序列聚点也属于问题的解集.数值结果表明,本文提出的两种算法与已有的次梯度法在求解具体的非光滑凸优化问题时具有更快的收敛速度.
2016-02-05 math.OC
Semidefinite Implementations of the Proximal Point Algorithm and Consequences for Progressive Decoupling in Optimization
School of Data Science, Fudan University(复旦大学数据科学学院);Department of Mathematics, University of Washington(华盛顿大学数学系);Department of Applied Mathematics, The Hong Kong Polytechnic University(香港理工大学应用数学系)
本文提出近端点算法的半定扩展,通过投影单调映射与完成步骤保证更广领域的收敛,支持非精确最小化,并应用于凸下投影、增广拉格朗日及渐进解耦。
2026-09-22 math.OC
Understanding the convergence of the preconditioned PDHG method: a view of indefinite proximal ADMM
原对偶混合梯度算法是求解极小极大问题的一种常用算法,在许多领域都有着广泛的应用。为了提高PDHG算法在不同应用场景下的适用性和效率,重点研究了预处理PDHG(PrePDHG)算法,该算法是一个涵盖PDHG、乘子交替方向法(ADMM)等方法的框架。在关键参数不能进一步改进的情况下,给出了PrePDHG的最优收敛条件,填补了PrePDHG收敛性理论的空白,并得到了PrePDHG的遍历和非遍历次线性收敛速度.通过建立PrePDHG和不定近端ADMM之间的等价性,实现了理论分析。此外,我们还讨论了PrePDHG中邻近矩阵的各种选择,并得到了一些有趣的结果。例如,将对角PrePDHG的收敛条件改进为紧收敛,将平衡增广拉格朗日方法的对偶步长由$1$扩大为$4/3$,并探索了一种对称Gauss-Seidel迭代的平衡增广拉格朗日方法.通过对矩阵对策、Birkhoff多面体投影、推土机距离和CT重建的数值计算,验证了PrePDHG的有效性和优越性。
2023-01-08 math.OC
Inexact Warped Resolvent iterations
Centro de Modelamiento Matemático (CNRS UMI 2807), Universidad de Chile(智利大学数学建模中心)
提出基于相对误差准则的非精确扭曲预解迭代算法,统一多种经典分裂方法,证明弱收敛、强收敛和线性收敛,并在鞍点与凸优化问题中验证计算优势。
2026-06-16 math.OC
Regrets of Proximal Method of Multipliers for Online Non-convex Optimization with Long Term Constraints
在闭凸集上具有非凸损失函数的在线最优化问题,加上一组不等式(可能是非凸的)约束,是一个具有挑战性的在线学习问题。提出了一种二次逼近乘子近似法(OPMM)来求解这类带长期约束的在线非凸优化问题。分析了OPMM在求解在线非凸优化问题时违反Karush-Kuhn-Tucker条件的不足。在较弱的条件下,证明了该算法具有${\cO}(T^{-1/8})$拉格朗日梯度违背遗憾、${\cO}(T^{-1/8})$约束违背遗憾和${\cO}(T^{-1/4})$互补剩余遗憾,其中$T$表示时间段的个数.对于目标为凸二次函数的情形,证明了即使可行集为非凸的,目标约简的遗憾也是成立的。对于约束函数为凸函数的情形,若OPMM子问题的解是通过求解其对偶得到的,则证明了OPMM是求解在线非凸最优化问题的一种可实现的投影方法.
2022-04-23 math.OC
Tracking the Median of Gradients with a Stochastic Proximal Point Method
Technical University of Munich and Inria Paris, ENS, PSL Research University(慕尼黑技术大学和巴黎Inria、ENS、PSL研究大学);Université Paris Cité and Sorbonne Université, CNRS(巴黎国立大学和索邦大学、CNRS);Inria, CNRS, ENS, PSL Research University Paris(Inria、CNRS、ENS、PSL研究大学巴黎);CCM, Flatiron Institute, Simons Foundation(CCM、Flatiron研究所、Simons基金会)
该研究提出基于随机近端点法的梯度中位数估计算法框架,涵盖多种现有方法特例,并证明其在重尾等噪声下具备收敛性,为鲁棒随机优化提供理论支撑。
2025-10-29 cs.LG math.OC stat.ML
Metastability of the proximal point algorithm with multi-parameters
利用证据挖掘技术分析Yonghong Yao和Muhammad Aslam Noor关于多参数广义邻近点法强收敛性的一个结果. Yao和Noor的结果保证了算法强收敛到算子零点集上的最近投影点。我们的定量分析,指导费尔南多·费雷拉和保罗·奥利瓦的有界功能的解释,提供了一个原始的递归界的亚稳定性的算法的收敛性,在特伦斯道的意义。此外,我们得到了定量的信息迭代的渐近正则性。本文的结果是通过对$\limsup$的算术化而得以实现的。
2020-03-26 math.LO math.OC
Efficient Proximal Mapping Computation for Unitarily Invariant Low-Rank Inducing Norms
低秩诱导酉不变范数被引入到低秩稀疏约束的凸化问题中。它们是酉不变范数的凸包络和上界秩约束的指示函数。这个家庭中最著名的成员是所谓的核规范。为了用邻近分裂方法解决涉及这类范数的最优化问题,需要有效的方法来计算低秩诱导范数的邻近映射。这是已知的核规范,但不是为大多数其他成员的低级别诱导家庭。这项工作提供了一个框架,减少了近端映射评估到嵌套的二进制搜索,其中每次迭代需要一个更简单的问题的解决方案。这个更简单的问题往往可以解决分析,因为它是证明了所谓的低秩诱导弗罗贝纽斯和谱范数。此外,该框架允许计算这些规范与增加凸函数和投影到他们的epigraphs的组合物的近端映射。这有额外的优点,我们也可以处理的复合物的增加凸函数和低秩诱导模的邻近分裂方法。
2018-10-17 math.OC stat.ML
Compositions and Averages of Two Resolvents: Relative Geometry of Fixed Points Sets and a Partial Answer to a Question by C. Byrne
我们证明了两个预解式的平均值的不动点的集合可以从与标度单调算子相关的两个预解式的合成的不动点的集合中找到。最近,在凸分析中,邻近平均值引起了相当大的关注。我们的结果意味着,与标度凸函数相关的两个邻近映射的复合的不动点集合可以找到邻近平均函数的极小值。当近似平均中的两个凸函数都是凸集的指示函数时,由两个投影映射的合成给出的极限环可以完全恢复最小二乘解.这部分回答了C.伯恩我们的方法的一个新颖之处是使用的概念,预解平均和近端平均。
2010-03-25 math.FA math.OC
Extensions to the Proximal Distance Method of Constrained Optimization
University of California, Los Angeles(加州大学洛杉矶分校)
本文研究了在$\boldsymbol{D}\boldsymbol{x} \in S$形式的约束条件下最小化损失$f(\boldsymbol{x})$的问题,其中$S$是一个闭集,凸或不凸,而$\boldsymbol{D}$是一个融合参数的矩阵.融合约束可以捕获平滑度、稀疏度或更一般的约束模式。为了解决这类问题,我们结合Beltrami-Courant罚函数法和最近距离原理。后者是由惩罚目标$f(\boldsymbol{x})+\fracρ{2}\text{dist}(\boldsymbol{D}\boldsymbol{x},S)^2$的最小化驱动的,该惩罚目标涉及大的调谐常数$ρ$和$\boldsymbol{D}\boldsymbol{x}$与$S$的平方欧几里得距离。通过最小化优化代理函数$f(\boldsymbol{x})+\fracρ{2}\|\boldsymbol{D}\boldsymbol{x}-\mathcal{P}_{S}(\boldsymbol{D}\boldsymbol{x}_n)\|^2$,从当前最小$\boldsymbol{x}_n$构造对应的邻近距离算法的下一个最小$\boldsymbol{x}_{n+1}$。对于固定的$ρ$和一个亚解析损失$f(\boldsymbol{x})$和一个亚解析约束集$S$,我们证明了收敛到一个稳定点。在更强的假设下,我们提供了…
2022-01-11 cs.LG math.OC
Proximal Splitting Methods in Signal Processing
UPMC Université Paris 06(巴黎第六大学);Laboratoire Jacques-Louis Lions – UMR CNRS 7598(雅克-路易·利翁斯实验室);Laboratoire d’Informatique Gaspard Monge, UMR CNRS 8049, Université Paris-Est(加斯帕尔·蒙日计算机实验室)
本文综述了凸函数的近端算子在信号处理中的基本性质,并提出了基于这些算子的优化方法(近端分裂方法),这些方法统一并扩展了多种已知算法,应用于信号恢复与合成。
2010-05-18 cs.NA math.NA math.OC
Solving Minimax Problems with Bilinear Objectives with ADMM
Meta
本文提出利用ADMM求解双线性目标的极小极大问题,通过将近端算子转化为置信区域的广义投影,实现了算法的高效求解,并讨论了收敛性。
2026-04-22 math.OC stat.ME
A Fast Proximal Gradient Method and Convergence Analysis for Dynamic Mean Field Planning
在本文中,我们提出了一个有效的和灵活的算法来解决动态平均场规划问题的基础上加速最近梯度法。该算法除了简单易行的梯度下降步骤外,关键的投影步骤是求解一个椭圆型方程,而该方程的解可以用常规方法有效地求得。通过对算法迭代过程的归纳,我们从理论上证明了随着网格尺寸的增加,离散解收敛到连续解。此外,我们将我们的算法推广到平均场博弈问题,并使用多级和多重网格策略加速它。我们进行了全面的数值实验,以确认所提出的算法的收敛性分析,通过与最先进的方法进行比较,显示其效率和质量保持属性,并说明其处理各种平均场变分问题的灵活性。
2021-02-26 cs.NA math.NA math.OC
Lower Bounds and a Near-Optimal Shrinkage Estimator for Least Squares using Random Projections
在这项工作中,我们认为使用随机投影的确定性优化作为一个统计估计问题,其中从估计器的预测和真正的解决方案之间的平方距离是误差度量。在近似解决一个大规模的最小二乘问题,使用高斯草图,我们表明,草图的解决方案有一个条件高斯分布的真正的解决方案作为其平均值。首先,紧最坏情况下的误差下界与显式常数推导出任何估计使用高斯草图,和经典草图是最佳无偏估计。对于有偏估计量,下界也包含了关于真解的先验知识。其次,我们使用James-Stein估计器,推导出一个改进的估计器,用于使用高斯草图的最小二乘解。该估计的期望误差的上界,这是小于的任何给定的数据的经典高斯草图解决方案的错误。当已知真实解的SNR较小且数据矩阵条件良态时,上界和下界匹配。经验上,该估计器在模拟和真实数据集上实现了较小的误差,并且也适用于其他常见的草图绘制方法。
2020-06-15 cs.IT math.IT math.OC
A Feasible Level Proximal Point Method for Nonconvex Sparse Constrained Optimization
Southern Methodist University(南卫理公会大学);Shanghai university of Finance & Economics(上海财经大学);Georgia Tech(佐治亚理工学院)
非凸稀疏模型在高维机器学习中受到了极大的关注。本文研究了一个新的模型,它由一般的凸或非凸目标和各种连续的非凸稀疏诱导约束组成。对于这种约束模型,我们提出了一种新的邻近点法,解决了一系列的凸子问题逐渐放松的约束水平。每个子问题,有一个近点目标和凸代理约束,可以有效地解决基于一个快速例程投影到代理约束。证明了算法对Karush-Kuhn-Tucker(KKT)解的渐近收敛.我们还建立了新的收敛复杂性,以实现一个近似的KKT解决方案时,目标可以是光滑/非光滑,确定性/随机和凸/非凸的复杂性,是在相应的情况下,与梯度下降无约束最优化问题。据我们所知,这是第一次研究的一阶方法的复杂性保证非凸稀疏约束问题。我们进行了数值实验,以证明我们的新模型的有效性和效率的大规模问题的算法。
2020-10-23 cs.LG math.OC
On the Convergence Rate of Projected Gradient Descent for a Back-Projection based Objective
Tel Aviv University(特拉维夫大学)
不适定线性反问题出现在许多科学系统中,通常通过求解由数据保真度和先验项组成的最优化问题来解决。最近,一些作品已经考虑了反投影(BP)为基础的保真度项作为一种替代常见的最小二乘(LS),并表现出良好的效果流行的反问题。这些工作还经验性地表明,使用BP项而不是LS项,需要更少的优化算法迭代。在本文中,我们研究的收敛速度的投影梯度下降(PGD)算法的BP目标。我们的分析可以确定其更快的收敛速度相比,使用LS目标的内在来源,同时只做温和的假设。我们还分析了更一般的近端梯度法在松弛收缩条件下对先验的近端映射的影响。该分析进一步突出了BP算法在线性测量算子条件不好时的优势。用$\ell_1$ -范数和基于GAN的先验进行的数值实验证实了我们的理论结果。
2021-08-08 cs.CV cs.LG cs.NA
Leveraging Two Reference Functions in Block Bregman Proximal Gradient Descent for Non-convex and Non-Lipschitz Problems
Iowa State University(爱荷华州立大学);IBM Research AI(IBM研究院人工智能部门);IBM Thomas J. Waston Research Center(IBM托马斯·J·沃森研究中心)
在信号处理和数据分析的应用中,存在广泛的一类非凸问题,其目标函数不受常见的全局Lipschitz连续梯度假设的约束(例如,非负矩阵分解(NMF)问题。近年来,Bregman近似梯度法(BPG)解决了这类具有某些特殊结构的问题。这启发我们提出了一种新的逐块两参考Bregman近端梯度(B2B)方法,该方法采用两个参考函数,从而获得Bregman投影中的封闭形式解。基于相对光滑性,我们证明了所提出的算法的整体收敛的各种块选择规则。特别地,我们建立了B2B的贪婪和随机块更新规则的$O(\frac{\sqrt{s}}{\sqrt{k}})$的整体收敛速度,其比循环变量快$O(\sqrt{s})$倍,即,$O(\frac{s}{\sqrt{k}} )$,其中$s$是块数,$k$是迭代次数。多个数值结果表明,所提出的B2B相比,在解决NMF问题的最先进的作品的优越性。
2019-12-16 cs.LG math.OC
Solving Non-Convex Non-Differentiable Min-Max Games using Proximal Gradient Method
University of Southern California(南加利福尼亚大学)
极小极大鞍点对策在机器学习和信号处理中有着广泛的应用。尽管它们具有广泛的适用性,但理论研究大多局限于特殊的凹凸结构。虽然最近的一些工作将这些结果推广到特殊的光滑非凸的情况下,我们的理解非光滑的情况下仍然是有限的。本文研究了当目标函数关于局中人的决策变量之一是(强)凸时的非光滑极大极小对策的特殊形式。我们证明了一个简单的多步近似梯度下降-上升算法收敛到$ε$ -一阶纳什均衡的最小-最大游戏的梯度评价是多项式的数量在$1/ε$。我们还将表明,我们的平稳性的概念是强于现有的文献中。最后,我们评估所提出的算法的性能,通过对抗攻击的LASSO估计。
2020-03-18 cs.GT cs.LG math.OC
Non-convex Pose Graph Optimization in SLAM via Proximal Linearized Riemannian ADMM
Beihang University(北京航空航天大学);Hangzhou Dianzi University(杭州电子科技大学);The Hong Kong Polytechnic University(香港理工大学)
针对SLAM中的位姿图优化问题,提出基于von Mises-Fisher分布的非凸PGO模型,并设计近端线性化黎曼ADMM算法求解,具备低内存、可并行特性,理论上证明了迭代复杂度,实验验证了其高效性。
2024-08-13 cs.RO math.OC
Epigraphical splitting for solving constrained convex formulations of inverse problems with proximal tools
Institut Mines-Télécom, Télécom ParisTech(国立高等电信学院);ENS Lyon(里昂高等师范学院);Université Paris-Est(巴黎东大学)
提出一种近端方法处理含非线性约束的凸变分问题,通过将下水平集分裂为多个上镜图并利用闭半空间约束,有效求解涉及距离函数或ℓ1,p范数线性变换的约束,在图像恢复和脉冲形状设计中验证了收敛速度的提升。
2014-03-20 cs.NA math.NA math.OC
Orthant Based Proximal Stochastic Gradient Method for $\ell_1$-Regularized Optimization
Microsoft(微软);Johns Hopkins University(约翰斯·霍普金斯大学);Zhejiang University(浙江大学);Georgia Institute of Technology(佐治亚理工学院);University of Washington(华盛顿大学);University of Denver(丹佛大学)
稀疏诱导正则化问题在机器学习应用中无处不在,从特征选择到模型压缩。在本文中,我们提出了一种新的随机方法-基于正交的邻近随机梯度法(OBProx-SG)-来解决可能是最流行的例子,即,L1正则化问题OBProx-SG方法包含两个步骤:(i)用于预测解的支持覆盖的邻近随机梯度步骤;以及(ii)用于通过正交面投影积极增强稀疏水平的正交步骤。与现有技术的方法相比,与Prox-SG、RDA和Prox-SVRG相比,OBProx-SG不仅能收敛到全局最优解(在凸情形下)或稳定点(在非凸情形下),而且能显著提高解的稀疏性。特别是在大量的凸问题上,OBProx-SG在稀疏性探索和目标值方面全面优于现有方法。此外,在非凸深度神经网络上的实验,例如,MobileNetV 1和ResNet 18通过在不牺牲泛化精度的情况下实现更高稀疏性的解决方案,进一步证明了其优越性。
2020-07-23 cs.LG math.OC stat.ML
Decentralized Stochastic Proximal Gradient Descent with Variance Reduction over Time-varying Networks
Fudan University(复旦大学);Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);The Chinese University of Hong Kong(香港中文大学)
在分散式学习中,节点网络合作以最小化总体目标函数,该目标函数通常是其局部目标的有限和,并结合非光滑正则化项以获得更好的泛化能力。分散随机邻近梯度(DSPG)方法通常用于训练这类学习模型,但随机梯度的方差会减慢收敛速度。在本文中,我们提出了一种新的算法,即DPSVRG,利用方差减少技术来加速分散训练。其基本思想是在每个节点上引入一个估计器,周期性地跟踪局部全梯度,以在每次迭代中校正随机梯度。通过将分散算法转化为一个集中的方差缩减的不精确邻近梯度算法,并控制误差序列的界,我们证明了对于一般凸目标,DPSVRG以$O(1/T)$加非光滑项的速度收敛,$T$为迭代次数,而DSPG以$O(\frac{1}{\sqrt{T}})$的速度收敛.在不同的应用、网络拓扑结构和学习模型上的实验表明,DPSVRG的收敛速度比DSPG快得多,且DPSVRG的损失函数随着训练时间的增加而平滑下降。
2022-01-23 cs.LG cs.NI math.OC