The Proxy Step-size Technique for Regularized Optimization on the Sphere Manifold
Institut Pascal(帕斯卡研究所);Université Clermont Auvergne(克莱蒙奥弗涅大学);CHU Clermont-Ferrand(克莱蒙费朗大学医院)
我们给出了正则化优化问题$g (\boldsymbol{x}) + h (\boldsymbol{x})$的一个有效解,其中$\boldsymbol{x}$约束在单位球面$\Vert \boldsymbol{x} \Vert_2 = 1$上.这里$g (\cdot)$是单位球$\{\boldsymbol{x} : \Vert \boldsymbol{x} \Vert_2 \le 1 \}$内具有Lipschitz连续梯度的光滑代价,而$h (\cdot)$通常是非光滑的,但是是凸的和绝对齐次的,\textit{e.g.,} ~范数正则化子及其组合。我们的解决方案是基于黎曼近似梯度,使用一个想法,我们称之为\textit{proxy step-size} -一个标量变量,我们证明是单调的,相对于实际的步长在一个区间内。对于凸的、绝对齐次的$h(\cdot)$,代理步长普遍存在,它以封闭形式决定了实际步长和切线更新,从而决定了完整的邻近梯度迭代。基于这些见解,我们设计了一个使用代理步长的黎曼邻近梯度方法。我们证明,我们的方法收敛到一个临界点,指导下的线搜索技术的基础上的$g(\cdot)$成本。所提出的方法可以在几行代码中实现。我们通过将核范数,$\ell_1$范数和核谱范数正则化应用于三个经典的计算机视觉问题来展示其实用性。这些改进是一致的,并得到了数值实验的支持。
2022-09-05 cs.RO math.OC
Distributed accelerated proximal conjugate gradient methods for multi-agent constrained optimization problems
针对多智能体约束优化问题,提出两类结合近似、共轭梯度与Halpern方法的惯性加速分布式近似共轭梯度算法,并通过数值实验验证了方法有效性。
2024-06-20 math.OC
An Adaptive Regularized Proximal Newton-Type Methods for Composite Optimization over the Stiefel Manifold
本文针对Stiefel流形上的复合优化问题,提出自适应二次正则化近端拟牛顿方法ARPQN和近端牛顿方法ARPN,分别建立了全局/局部线性收敛与局部超线性收敛性质,并通过数值实验验证了其有效性。
2025-02-10 math.OC
Primal-dual proximal bundle and conditional gradient methods for convex problems
Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI) and Department of Computer Science, University of Rochester(罗切斯特大学高根数据科学与人工智能研究所及计算机系)
本文提出原始-对偶近端束方法求解凸非光滑复合优化与鞍点问题,建立迭代复杂度,发现与条件梯度的对偶性,并验证其优于次梯度方法。
2025-09-25 math.OC
Proximal Comixture Minimization Models for Image Recovery and Data Analysis
North Carolina State University(北卡罗来纳州立大学);Universidad del Pacífico(太平洋大学)
本文提出基于近端混合的图像恢复与数据分析模型,通过显式计算近端算子提升优化效率。
2026-08-11 math.OC
A proximal algorithm incorporating difference of convex functions optimization for solving a class of single-ratio fractional programming
Guangdong Polytechnic Normal University(广东技术师范大学);Guangdong University of Finance(广东金融学院);Sun Yat-sen University(中山大学);Shenzhen University(深圳大学)
针对一类可由球面非光滑问题转化而来的单比分式最小化问题,推导最优性条件,提出结合凸函数差优化的PS-DCA算法,证明聚点为临界点及典型问题全局收敛,实验显示其对初值不敏感、不易陷入低质量局部极小值。
2025-10-22 math.OC
Manifold Proximal Point Algorithms for Dual Principal Component Pursuit and Orthogonal Dictionary Learning
Texas A&M University(德克萨斯A&M大学);Cainiao Network(菜鸟网络);University of California, Davis(加州大学戴维斯分校);The Chinese University of Hong Kong(香港中文大学)
我们考虑的问题,最大化的线性映射的$\ell_1$范数的球,这出现在各种机器学习应用,如正交字典学习(ODL)和鲁棒子空间恢复(RSR)。该问题是数值上的挑战,由于其非光滑的目标和非凸约束,其算法方面还没有得到很好的探索。在本文中,我们将展示如何利用球的流形结构来设计快速算法来解决这个问题。具体而言,我们的贡献是三方面的。首先,我们提出了一个流形邻近点法(ManPPA)的问题,并表明它以次线性速度收敛。此外,我们表明,ManPPA可以实现平方收敛速率时,适用于ODL和RSR问题。其次,我们提出了一种称为StManPPA,这是非常适合于大规模计算的ManPPA的随机变体,并建立其次线性收敛速度。ManPPA和StManPPA都具有比现有的子梯度型方法更快的收敛速度。第三,使用ManPPA作为构建块,我们提出了一种新的方法来解决矩阵模拟的问题,其中球被替换为Stiefel流形。通过对ODL和RSR问题的大量数值实验,验证了所提方法的有效性。
2021-07-21 cs.CV cs.LG eess.SP
An inexact proximal MM method for a class of nonconvex composite image reconstruction models
针对脉冲噪声去除的非凸非光滑图像重建问题,提出带非精确准则的近端MM算法并证明其收敛性,在图像去模糊与修复任务中验证了算法效率。
2024-03-26 math.OC
A geometric proximal gradient method for sparse least squares regression with probabilistic simplex constraint
本文研究了概率单纯形约束下的稀疏最小二乘回归问题。由于概率单纯形约束,不能将L1正则化应用于所考虑的回归模型。为了找到一个稀疏的解决方案,我们重新制定的最小二乘回归问题作为一个非凸和非光滑的L1正则化最小化问题的单位球。然后提出了求解正则化问题的几何近似梯度法,得到了每个子问题的整体解的显式表达式。在适当的假设下证明了该方法的整体收敛性。数值结果表明了该算法的有效性。
2021-07-02 cs.NA math.NA math.OC
A proximal dual semismooth Newton method for computing zero-norm penalized QR estimator
本文研究了高维零范数惩罚分位数回归估计的计算问题,定义为零范数惩罚校验损失函数的全局极小值。为了寻求一个理想的近似估计,我们重新制定这个NP难的问题作为一个等价的增广Lipschitz最优化问题,并利用其耦合结构,提出了一个多阶段的凸松弛方法(MSCRA\_PPA),其中每一步解决不精确的加权$\ell_1$ -正则化检查损失最小化问题的近似对偶半光滑牛顿方法。在强凸性约束条件下,通过建立各参数估计的误差界和统计意义下的线性收敛速度,为MSCRA PPA提供了理论保证.对模拟数据和实际数据的数值比较表明,MSCRA PPA不仅具有相当甚至更好的估计性能,而且所需的CPU时间要少得多。
2020-11-22 math.OC
A projected semismooth Newton method for a class of nonconvex composite programs with strong prox-regularity
提出了一种求解一类非凸组合规划的牛顿型方法。特别地,非光滑部分可能是非凸的。为了解决非凸性,我们开发了一个概念,强的正则性,这是相关的单点属性,Lipschitz连续性,和单调性的相关的邻近算子,我们验证它在各种类型的功能,包括弱凸函数,指示函数的邻近光滑集,和两个特定的球相关的非凸非光滑函数。在这种情况下,我们所关心的问题类涵盖了流形上的光滑最优化问题和流形上的某些复合最优化问题。对于后者,所提出的算法是第一个二阶序型方法。结合邻近算子的半光滑性,设计了一种投影半光滑牛顿法,用于求解由邻近梯度法导出的自然残差的根。由于相应的自然残差可能不是全局单调的,一个额外的投影通常的半光滑牛顿步骤和新的标准之间的切换提出了投影半光滑牛顿步骤和邻近步骤。在强正则性下证明了算法的整体收敛。基于BD正则性条件,我们建立了局部超线性收敛.数值实验表明,我们所提出的方法相比,国家的最先进的有效性。
2023-03-09 math.OC
On the B-subdifferential of proximal operators of affine-constrained $\ell_1$ regularizer
School of Data Science, Fudan University(复旦大学数据科学学院);Engineering Systems and Design, Singapore University of Technology and Design(新加坡科技设计大学工程系统与设计学院);Department of Mathematics and Institute of Operations Research and Analytics, National University of Singapore(新加坡国立大学数学系与运筹学分析研究所)
本文研究仿射约束 $\ell_1$ 正则化器的近端映射,刻画其 B-次微分中的结构化稀疏性,并据此在近端点框架内设计高效算法,实验证明其性能优于现有求解器,为约束稀疏学习提供新见解。
2025-10-08 math.OC
A proximal MM method for the zero-norm regularized PLQ composite optimization problem
研究了一类零范数正则化分段线性二次(PLQ)复合极小化问题,其中零范数正则化$\ell_1$ -损失极小化问题是其特例.对于这类非凸非光滑问题,我们证明了其等价的MPEC重构在全局最优解集上是部分平静的,并利用这一性质导出了一族等价的DC代理。然后,我们提出了一个近似的优化最小化(MM)方法,凸松弛方法不在DC算法框架,解决一个DC代理人,这是一个包含三个非光滑项的最小化问题。对于这种方法,我们建立了它的整体收敛和线性收敛速率,并在适当的条件下证明了生成序列的极限不仅是局部最优值,而且是统计意义上的好的临界点。数值实验进行了合成和真实数据的近端MM方法的子问题解决的对偶半光滑牛顿方法,以确认我们的理论研究结果,并与收敛的不定近端ADMM部分平滑DC代理验证其优越性的解决方案的质量和计算时间。
2020-01-17 math.OC
An adaptive proximal safeguarded augmented Lagrangian method for nonsmooth DC problems with convex constraints
Institute of Mathematics, University of Würzburg(维尔茨堡大学数学研究所)
本文提出一种自适应近端保护增广拉格朗日方法,用于求解带有凸约束的非光滑DC问题,证明了在修改的Slater约束资格下,原变量和对偶变量收敛到广义KKT点。
2026-03-30 math.OC
Bregman proximal gradient method for linear optimization under entropic constraints
Univ. Rennes, CNRS, Inria, IRISA UMR 6074(雷恩大学、法国国家科学研究中心、Inria、IRISA);Universidad Técnica Federico Santa María Departamento de Matemática(费德里科·圣玛丽亚技术大学数学系)
本文提出一种高效算法解决带有熵约束的线性优化问题,通过Bregman近端梯度法分析活跃与非活跃约束,建立O(1/n)收敛率,理论支持Blahut-Arimoto算法并证明熵约束的Lagrange乘子唯一性。
2026-04-28 math.OC
Sharp bounds for stochastic proximal and projection estimators via radial dominance
Universidad Técnica Federico Santa María(费德里科·圣塔玛丽亚技术大学);Center for Mathematical Modeling (CNRS IRL2807), Universidad de Chile(智利大学数学建模中心(法国国家科学研究中心国际研究联系项目2807));Instituto de Ciencias de la Ingeniería, Universidad de O’Higgins(奥希金斯大学工程科学学院)
研究通过指数加权高斯扰动获得的随机重心估计器,利用径向优势条件得出相关重心范数上界及充分条件,得到弱凸函数随机近端估计器收敛速率等,还用于随机投影估计器,通过数值实验验证相关性质。
2026-09-15 math.OC math.PR
Semi-proximal Mirror-Prox for Nonsmooth Composite Minimization
GeorgiaTech(佐治亚理工学院);NYU(纽约大学);Inria(法国国家信息与自动化研究所)
我们提出了一个新的一阶优化算法来解决高维非光滑复合极小化问题。这类问题的典型示例具有分解成非平滑经验风险部分和非平滑正则化惩罚的目标。所提出的算法,称为半近端双Prox,利用芬克尔型表示的一部分的目标,而通过线性最小化的域处理的其他部分的目标。该算法与更经典的平滑近似梯度算法相反,后者需要在每次迭代时计算近似算子,因此对于高维问题是不切实际的。我们建立了理论上的收敛速度的半邻近的双Prox,它表现出最佳的复杂性界,即$O(1/ε^2)$,为数量的调用线性最小化oracle。我们提出了有前途的实验结果显示的兴趣的方法相比,竞争的方法。
2015-07-06 cs.LG math.OC
Proximal Point Algorithms for Nonsmooth Convex Optimization with Fixed Point Constraints
考虑了定义在实希尔伯特空间上的非扩张映射的不动点集的交集上的非光滑凸目标函数之和的极小化问题,在该不动点集上的投影不能有效地计算.使用邻近点法,使用邻近算子的目标函数和增量优化技术提出了解决问题。重点研究了不动点逼近技术,设计了两种算法来求解该问题。一种是将增量次梯度法与Halpern型不动点迭代算法相结合,增量次梯度法是求解非光滑凸优化问题的一种有效算法。另一种是基于增量次梯度法和Krasnosel'ski \u-Mann不动点算法。证明了Halpern型算法生成的序列的弱序列聚点属于问题的解集,而Krasnosel'ski \u-Mann型算法生成的序列存在一个弱序列聚点也属于问题的解集.数值结果表明,本文提出的两种算法与已有的次梯度法在求解具体的非光滑凸优化问题时具有更快的收敛速度.
2016-02-05 math.OC
Dual Newton Proximal Point Algorithm for Solution Paths of the L1-Regularized Logistic Regression
本文提出对偶牛顿近端点算法PPDNA求解带偏置项的L1正则化逻辑回归,利用二阶稀疏性降低子问题计算成本,并设计自适应筛选AS策略生成解路径,实验验证其优于现有二阶算法。
2023-10-30 math.OC
General Proximal Quasi-Newton Methods based on model functions for nonsmooth nonconvex problems
本文提出一种由连续矩阵生成器更新可变度量、基于局部模型函数和回溯线搜索的通用邻近拟牛顿法,用于非光滑非凸优化,并证明其聚点稳定性及 KL 性质下的全局收敛性。
2025-07-25 math.OC
TRex: A Tomography Reconstruction Proximal Framework for Robust Sparse View X-Ray Applications
KAUST(阿卜杜拉国王科技大学);Cairo University(开罗大学)
我们提出了TRex,一个灵活而强大的断层重建框架,使用邻近算法。我们提供了一个概述,并进行了实验比较著名的迭代重建方法在稀疏视图的情况下重建质量。然后,我们推导出四个最佳方法的邻近算子。我们展示了我们的框架的灵活性,通过推导求解两个噪声模型:高斯和泊松,并通过插入三个强大的正则化。我们将我们的框架与最先进的方法进行比较,并在合成和真实数据集上显示出卓越的质量。
2016-06-11 cs.CV cs.LG math.OC
Fast Proximal Gradient Methods for Nonsmooth Convex Optimization for Tomographic Image Reconstruction
介绍了非光滑凸函数最小化的快速邻近梯度法(FPGM)和单调FPGM(MFPGM),并将其应用于层析图像重建。导出了目标函数值序列的收敛性质,包括一个$O\left(1/k^{2}\right)$非渐近界。所提出的理论拓宽了目前的知识,并解释了收敛行为的某些方法,已知目前良好的实际性能。计算机断层扫描图像重建的数值实验表明,该方法在实际情况下是有竞争力的。与代数重建技术进行实验比较,揭示了加速近端梯度算法的某些行为,这些行为在应用于断层图像重建时显然尚未被注意到。
2020-08-22 cs.NA math.NA math.OC
On the convergence of the distributed proximal point algorithm
本文研究了分布式近端点算法在 Rd 上的收敛性与稳定性,给出了步长和代价函数的一般稳定条件,证明其以步长 η>0 指数收敛到最优解的 O(η) 邻域,并通过数值实验验证了理论结果。
2023-07-10 eess.SP math.OC
A Semismooth Newton-Based Proximal Augmented Lagrangian Method for Joint Estimation of Multiple Gaussian Graphical Models with Clustered Structure
School of Mathematics and Statistics, Fuzhou University(福州大学数学与统计学院);Center for Applied Mathematics of Fujian Province, School of Mathematics and Statistics, Fuzhou University(福建省应用数学中心,福州大学数学与统计学院)
针对多个聚类高斯图模型的联合估计问题,提出一种近端增广拉格朗日方法,利用半光滑牛顿法求解子问题,实现超线性收敛并降低计算复杂度。
2026-06-15 math.OC
Almost Sure Convergence of Random Projected Proximal and Subgradient Algorithms for Distributed Nonsmooth Convex Optimization
描述了两种分布式算法,使所有用户连接在一个网络上,以合作解决的问题,最小化的总和,所有用户的目标函数在所有用户的约束集的交集,其中每个用户有自己的私人非光滑凸目标函数和封闭的凸约束集,这是一些简单的,封闭的凸集的交集。一种算法使每个用户能够通过使用其目标函数的邻近算子和从简单的闭凸集中随机选择的一个集合上的度量投影来调整其估计。另一种是分布式随机投影算法,该算法通过使用用户的目标函数的次梯度而不是邻近算子来确定每个用户的估计。对这两种算法收敛性的研究表明,在一定的假设条件下,这两种算法所产生的所有用户的序列几乎必然收敛到同一个解。此外,对两种算法的收敛速度进行了分析,并讨论了使两种算法具有快速收敛性的步长序列的理想选择。具体的非光滑凸优化的数值比较支持了收敛性分析,并证明了两种算法的有效性。
2015-10-24 math.OC
Asymptotic proximal point methods: finding the global minima with linear convergence for a class of multiple minima problems
我们提出并分析了渐近邻近点(APP)方法,以找到一类非凸,非光滑,甚至不连续的多个极小函数的全局极小。该方法是基于非凸近似点的渐近表示,使它可以找到全局极小而不会被困在鞍点,局部极小,甚至不连续。我们的主要结果表明,该方法对这类函数具有全局线性收敛性。此外,该方法是无导数的,并且其每次迭代成本,即,函数求值的数量也是有界的,因此它具有复杂性界$\mathcal{O}(\log\frac{1}ε)$,用于找到一个点,使得该点与全局最小值之间的间隙小于$ε>0$。从$2$到$500$的不同维数的数值实验和比较证明了该方法的优点。
2020-12-22 cs.NA math.NA math.OC
An inexact regularized proximal Newton method for nonconvex and nonsmooth optimization
本文针对非凸非光滑优化问题,提出基于KKT残差幂次海森近似的非精确正则化近似牛顿法,证明了不同参数下的收敛性与收敛速率,并通过数值实验验证了方法的高效性。
2023-11-08 math.OC
An Inexact Bregman Proximal Difference-of-Convex Algorithm with Two Types of Relative Stopping Criteria
本文针对凸差优化问题提出非精确Bregman近邻凸差算法(iBPDCA),通过引入两类相对停止准则放宽子问题精确求解要求,在Kurdyka-Łojasiewicz性质下建立全局收敛性,数值实验验证了其优越性能。
2025-04-29 math.OC
Proximal Dogleg Opportunistic Majorization for Nonconvex and Nonsmooth Optimization
Imperial College London(帝国理工学院)
针对缩放邻近算子问题现有方法收敛慢、复杂度高的缺陷,提出一种基于混合牛顿方向与机会主化的二阶邻近算法,仅需一次海森矩阵求逆,收敛更快且能得到更优局部最优解。
2024-02-29 eess.SP math.OC
An inexact variable metric proximal linearization method for composite optimization on manifolds
South China University of Technology(华南理工大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出了一种用于流形上复合优化的近似变量度量近似线性化方法,通过利用流形的重新参数化和一阶信息,在每次迭代中求解子空间约束强凸问题,并建立了O(ε^{-3})的oracle复杂度,证明了迭代序列的收敛性及局部收敛速度。
2026-10-02 math.OC
A VMiPG method for composite optimization with nonsmooth term having no closed-form proximal mapping
针对含无闭式邻近映射非光滑项的复合优化,提出基于线搜索、采用一致有界正定变尺度算子的 VMiPG 方法,证明其收敛性与局部 R-线性速率,并在高维融合加权 lasso 问题上展现优势。
2024-04-06 math.OC
Accelerated Proximal Alternating Gradient-Descent-Ascent for Nonconvex Minimax Machine Learning
University of Utah(犹他大学)
交替梯度下降上升(AltGDA)是一种优化算法,已被广泛用于各种机器学习应用中的模型训练,其目的是解决非凸极大极小优化问题。然而,现有的研究表明,它遭受了高计算复杂性的非凸极大极小优化。在本文中,我们开发了一个单循环和快速AltGDA型算法,利用最近的梯度更新和动量加速来解决正则化非凸极大极小优化问题。通过利用动量加速技术,我们证明了该算法收敛到一个临界点在非凸极小极大优化,并实现了计算复杂度的顺序为$\mathcal{O}(κ^{\frac{11}{6}}ε^{-2})$,其中$ε$是所需的精度水平和$κ$是问题的条件数。{Such计算复杂度提高了单循环GDA和AltGDA算法的现有技术的复杂度(参见\Cref{table1}中的比较概要)}。我们通过对抗性深度学习的实验证明了我们的算法的有效性。
2022-05-19 cs.LG math.OC
Proximal DCA for Fréchet Regression on Riemannian Manifolds with Bounded Curvature
Rice University(莱斯大学)
针对有界截面曲率的完备黎曼流形上的带符号 Fréchet 回归问题,提出基于黎曼近端 DC 算法的 FRIDA 方法,并证明解的存在性、迭代收敛性及复杂度。
2026-05-21 math.GT math.OC
Proximal Quasi-Newton Methods for Regularized Convex Optimization with Linear and Accelerated Sublinear Convergence Rates
Dept. of Industrial and Systems Engineering, Lehigh University, Bethlehem, PA, USA(工业与系统工程系,莱维大学,伯灵顿,宾夕法尼亚州,美国)
本文研究了正则化凸优化中近似拟牛顿方法的收敛性,分析了强凸情况下精确与不精确设置的收敛性质,并探讨了加速变体的实用性与性能。
2017-10-17 cs.LG cs.NA math.NA
Modular-proximal gradient algorithms in variable exponent Lebesgue spaces
我们考虑结构优化问题定义的总和的光滑和凸函数,和适当的,l.s.c.,自反变指数Lebesgue空间$L_{p(\cdot)}(Ω)$中的凸(通常为非光滑)空间。由于其内在的空间变化的性质,这样的空间可以很自然地被用作解空间,并结合空间变化的泛函来解决不适定的反问题。为此,我们提出并分析了两个实例(原始和对偶)的近端梯度算法在$L_{p(\cdot)}(Ω)$,其中的近端步骤,而不是取决于自然(不可分离)的$L_{p(\cdot)}(Ω)$规范,定义在其模函数,这是由于其可分性,允许有效的算法迭代计算。证明了这两种算法在函数值上的收敛性,其收敛速度取决于问题/空间的平滑性。为了显示所提出的建模的有效性,一些数值试验突出的灵活性的空间$L_{p(\cdot)}(Ω)$示出的示例反卷积和混合噪声去除问题。最后,数值验证的收敛速度和计算成本的两种算法相比,类似的定义在标准$L_{p}(Ω)$空间。
2022-11-09 cs.NA math.NA math.OC
Total variation regularization for manifold-valued data
Helmholtz Center Munich(慕尼黑亥姆霍兹中心);Technische Universität München(慕尼黑工业大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文考虑流形值数据的全变差最小化问题。我们提出了一个循环邻近点法和并行邻近点法,以尽量减少电视泛函$\ell^p$型数据项在流形的情况下。这些算法是基于迭代测地线平均,这使得他们很容易适用于一个大类的数据流形。作为一个应用程序,我们考虑去噪图像,其值在一个流形。我们将我们的算法应用到扩散张量图像,干涉SAR图像以及球和柱值图像。对于一类Cartan-Hadamard流形(包括扩散张量成像中的数据空间),我们证明了所提出的TV最小化算法收敛到全局最小值。
2013-12-30 cs.CV math.OC physics.med-ph
Proximal Heterogeneous Block Input-Output Method and application to Blind Ptychographic Diffraction Imaging
Institut für Numerische und Angewandte Mathematik, Universität Göttingen(哥廷根大学数值与应用数学研究所);CARMA Centre, University of Newcastle(纽卡斯尔大学CARMA中心)
本文提出一种通用交替最小化算法,用于求解具有分离结构和非凸耦合块变量的非凸优化问题,并在盲衍射成像中应用,证明其在数学框架下可收敛至临界点。
2014-08-08 cs.NA math.NA math.OC
Convergence of a Solution Algorithm in Indefinite Quadratic Programming
证明了对于线性约束下的不定二次规划问题,只要问题有解,由Proximal DC分解算法$R$-产生的迭代序列线性收敛于Karush-Kuhn-Tucker点.本文的另一个主要结果是,如果初始点取自问题的适当邻域,则由该算法生成的DCA序列收敛于问题的局部唯一解.为了处理隐式定义的迭代序列,使用了仿射变分不等式的局部误差界和新的技巧.文中给出了数值结果,分析了分解参数的影响,并对Proximal DC分解算法和Projection DC分解算法进行了比较。我们的研究结果补充了Le Thi,Huynh和Pham Dinh(J. Optim. 179(2018),103 - 126)。
2018-10-04 math.OC
A Learned Proximal Alternating Minimization Algorithm and Its Induced Network for a Class of Two-block Nonconvex and Nonsmooth Optimization
Department of Mathematics, University of Florida, Gainesville, FL 32611, USA(佛罗里达大学数学系)
本文提出了一种学习的近端交替最小化算法及其诱导网络,用于解决双块非凸非光滑优化问题,通过残差学习架构和块坐标下降方法实现高效收敛。
2024-11-10 cs.LG math.OC
An Accelerated Block Proximal Framework with Adaptive Momentum for Nonconvex and Nonsmooth Optimization
Yunnan University(云南大学)
针对非凸非光滑优化问题,提出带自适应动量的加速块近似框架,解决外推失效问题,支持块变量随机顺序更新,在温和假设下证明收敛性与收敛速率,经数值实验验证有效。
2023-08-24 cs.LG math.OC
Theoretical and numerical comparison of first-order algorithms for cocoercive equations and smooth convex optimization
本文对求解光滑凸优化问题和余度方程的经典一阶分裂方法进行了理论和数值比较。从理论的角度来看,我们比较收敛速度的梯度下降,向前向后,Escheman-Rachford,和道格拉斯-Rachford算法的总和最小化两个光滑的凸函数时,其中之一是强凸的。类似的比较给出了在更一般的cocoercive设置下的强单调性的存在下,我们观察到的收敛速度在优化严格优于相应的速度cocoercive方程的一些算法。我们获得了改进的利率在几种情况下,利用我们的问题的结构与文献。此外,我们指出,该算法具有最低的收敛速度依赖于强凸性和coercive参数。从数值的角度来看,我们验证了我们的理论结果,通过实施和比较以前的算法在完善的信号和图像的稀疏性逆问题。我们取代了广泛使用的$\ell_1$规范与Huber损失,我们观察到,完全接近为基础的策略具有数值和理论上的优势,相对于使用梯度步骤的方法。
2022-07-14 math.OC
A Theoretical and Empirical Comparison of Gradient Approximations in Derivative-Free Optimization
在本文中,我们分析了几种方法来逼近噪声函数的梯度仅使用函数值。这些方法包括有限差分法、线性插值法、高斯光顺法和球面光顺法。这些方法在采样函数的数量、样本点的选择以及导出梯度近似的方式方面有所不同。对于每一种方法,我们推导出的样本个数和采样半径,保证良好的收敛性能的线搜索或固定步长的下降法上的界限。为此,我们使用[Berahas等人,2019]并显示每种方法如何满足充分条件,可能只有在每次迭代时具有足够大的概率,就像高斯平滑和球面平滑的情况一样。最后,我们提出的数值结果评估的梯度近似的质量,以及它们的性能与线搜索导数自由优化算法。
2021-03-25 math.OC
A Low-Power Hardware-Friendly Optimisation Algorithm With Absolute Numerical Stability and Convergence Guarantees
提出双反馈广义近端梯度下降法(DFGPGD)和广义近端ADMM,证明了其收敛性与绝对数值稳定性,并在FPGA ZCU106上验证了其低功耗与高能效优势。
2023-06-29 cs.PF cs.SY eess.SP
Superiorization vs. Accelerated Convex Optimization: The Superiorized/Regularized Least-Squares Case
研究了具有非负变量界的欠定线性方程的优化/正则化最小二乘解的重构问题,并比较了优化方法和优化方法.关于优越化,最先进的检查这类问题,并提出了一种新的方法,采用邻近映射,结构上类似于建立的前向-后向优化方法。在凸优化方面,提出了一种基于非精确邻近映射的加速前后向分裂算法,并将其应用于自然分裂最小二乘项/正则化子和反向分裂正则化子/最小二乘项。我们的数值研究结果表明,优越化可以接近的解决方案的最优化问题,并导致可比的结果显着降低成本,适当的参数调整后。另一方面,将加速的向前-向后优化应用于反向分裂稍微优于优越化,这表明凸优化也可以使用适当的问题分裂来接近优越化。
2020-04-01 cs.NA math.NA math.OC