An efficient proximal algorithm for squared L1 over L2 regularized sparse recovery
South China Agricultural University(华南农业大学);Sun Yat-sen University(中山大学)
本文针对平方 L1/L2 正则化稀疏恢复问题,提出一种高效的邻近算法,证明了解序列收敛到临界点,且邻近算子具有低计算成本的闭式解,数值实验验证了其优越性。
2025-11-07 math.OC
A Proximal DC Algorithm for Sample Average Approximation of Chance Constrained Programming
研究机会约束规划的样本平均逼近,将凸机会约束重构为凸差形式,提出近似DC算法,证明其收敛性及迭代复杂度,并通过数值实验验证了方法的竞争力。
2025-04-29 math.OC
PAL-Hom method for QP and an application to LP
提出了一种求解凸二次规划问题的近似增广拉格朗日同伦(PAL-Hom)方法。该方法采用近似增广拉格朗日方法作为外迭代。为了求解邻近增广拉格朗日子问题,提出了一种同伦方法作为内迭代。同伦方法跟踪参数二次规划问题的分段线性解路径,该问题的起始问题以一个近似解为解,目标问题为待解的子问题.为了提高同伦方法的性能,使用加速邻近梯度法获得了一个相当好的近似解,这意味着一个很好的预测的最佳活动集。此外,为了提高同伦方法的效率和鲁棒性,还提出了一种Cholesky因子更新排序技术和一种检查原对偶可行性和校正活动集的$\varepsilon$ -松弛技术.同时,基于近似点的AL-Hom方法被证明是在有限步收敛,适用于线性规划。对随机生成问题、CUTEr和Netlib测试集问题、支持向量机(SVM)和弹性接触问题的数值实验表明,PAL-Hom比活动集方法和参数活动集方法更快,并且与邻近点方法和为特定模型设计的专用算法(例如,SVMs的顺序最小优化(SMO)方法)。
2020-01-18 math.OC
Heuristic Learning for Co-Design Scheme of Optimal Sequential Attack
针对最优顺序攻击的协同设计难题,本文分解为两个等价子问题,推导解析闭式表达式并证明参数有限时间逆收敛,提出启发式两阶段学习算法HTL-JA,加速攻击目标实现。
2023-11-17 math.OC
First-Order Algorithms Without Lipschitz Gradient: A Sequential Local Optimization Approach
本文提出序贯局部优化框架,在局部Lipschitz梯度假设下,通过限制迭代间距使一阶算法无需全局Lipschitz条件,并给出复杂度保证,补充了BPG算法。
2024-02-06 math.OC
An Inexact Bregman Proximal Difference-of-Convex Algorithm with Two Types of Relative Stopping Criteria
本文针对凸差优化问题提出非精确Bregman近邻凸差算法(iBPDCA),通过引入两类相对停止准则放宽子问题精确求解要求,在Kurdyka-Łojasiewicz性质下建立全局收敛性,数值实验验证了其优越性能。
2025-04-29 math.OC
Harnessing structure in composite nonsmooth minimization
针对非光滑函数与光滑映射的复合极小化问题,提出结合邻近步与序列二次规划步的算法,可局部识别最优光滑子结构并实现二次收敛,在两类问题上验证了性能。
2023-03-20 math.OC
Primal-Dual Sequential Subspace Optimization for Saddle-point Problems
Huawei(华为);Technion, IIT(以色列理工学院)
针对大规模鞍点问题,提出了一种新的序列子空间最优化方法。它迭代地解决了一系列的辅助鞍点问题的低维子空间,跨越的方向来自一阶信息的原始\emph{and}对偶变量。近端正则化被进一步部署以稳定优化过程。实验结果表明,相对于流行的一阶方法显着更好的收敛性。我们分析了子空间对算法收敛性的影响,并评估了其在各种确定性优化场景中的性能,如双线性游戏,基于ADMM的约束优化和生成对抗网络。
2020-08-20 cs.LG math.OC stat.ML
A smoothing extended sequential quadratic method for difference-of-convex optimization over a convex composite inequality constraint
the Hong Kong Polytechnic University(香港理工大学);Sichuan Normal University(四川师范大学)
提出一种平滑扩展序列二次方法求解差凸目标与凸复合不等式约束问题,通过平滑近似和参数更新实现O(ε^{-3})迭代复杂度,并证明凸情形下序列收敛及局部收敛率。
2026-06-12 math.OC
Wasserstein Proximal Coordinate Gradient Algorithms
针对多分布上的复合测地凸优化问题,提出带三种更新方案的WPCG算法,证明其在不同条件下的收敛速率,数值结果验证了理论结论。
2024-09-17 math.OC math.ST stat.TH
An accelerated proximal PRS-SQP algorithm with dual ascent-descent procedures for smooth composite optimization
Guangxi Minzu University(广西民族大学);National University of Defense Technology(国防科技大学)
针对光滑复合优化,本文提出带对偶上升-下降过程和混合加速的近端PRS-SQP算法,统一ALDA与ALDD,并在KL框架下证明更广加速因子下的可行性与收敛速率。
2026-09-30 math.OC
Affordable mixed-integer Lagrangian methods: optimality conditions and convergence analysis
University of the Bundeswehr Munich(慕尼黑联邦国防大学)
本文扩展了拉格朗日形式的必要最优性条件和序列最小化框架至混合整数非线性优化,无需凸性假设,提出了局部极小值和临界点的特征,并展示了如何开发具有收敛保证的经济序列最小化算法。
2026-04-09 math.OC
Alternating Direction Method of Multipliers for A Class of Nonconvex and Nonsmooth Problems with Applications to Background/Foreground Extraction
在本文中,我们研究了一个通用的最优化模型,它涵盖了现有的模型在成像科学中的许多应用的大类。为了解决由此产生的可能的非凸,非光滑和非Lipschitz最优化问题,我们适应交替方向法的乘法器(ADMM)与一般的双步长求解包含三个变量块的重新制定,并分析其收敛性。我们发现,对于任何双步长小于黄金分割比,存在一个可计算的阈值,这样,如果罚参数被选择在这样的阈值以上,从而产生的序列由我们的ADMM是有界的,那么该序列的聚类点给出了一个固定点的非凸最优化问题。我们通过专门为ADMM构建的势函数实现这一点。此外,如果这个特殊的势函数是一个Kurdyka-Schojasiewicz函数,我们建立了整个序列的整体收敛。此外,我们提出了一个简单的策略初始化算法,以保证序列的有界性。最后,我们进行了数值实验,比较我们的ADMM与[5]中提出的近端交替线性化最小化(PALM)的背景/前景提取问题与真实数据。数值结果表明,我们的ADMM与非平凡的对偶步长是有效的。
2016-09-29 math.OC
Low-rank Matrix Optimization Using Polynomial-filtered Subspace Extraction
本文研究了一类低秩矩阵最优化问题的一阶方法,这些问题的解只存在于低维特征空间中。传统的一阶方法依赖于每次迭代时的特征值分解,这占用了大部分的计算时间。为了降低代价,我们提出了一种基于多项式子空间提取的不精确算法框架。其思想是使用额外的多项式滤波迭代来提取近似的特征空间,并将迭代矩阵投影到该子空间上,然后进行优化更新。提取子空间的精度可以通过多项式滤波器的次数来控制。这种子空间提取也享有热启动属性:当前迭代的子空间是从前一个子空间中提炼出来的。然后将该框架实例化为两个算法:多项式滤波邻近梯度法和多项式滤波乘子交替方向法。我们从理论上保证了这两种算法的多项式次数不一定很大。如果多项式次数在$k$次迭代时以$Ω(\log k)$阶增长,则它们与相应的原始方法具有相同的收敛速度。如果考虑热启动特性,则可以将次数减少到与迭代$k$无关的常数。对几个低秩矩阵最优化问题的初步数值实验表明,多项式滤波算法通常提供多倍的加速比。
2019-04-24 math.OC
Joint Cooperative and Non-Cooperative Localization in WSNs with Distributed Scaled Proximal ADMM Algorithms
Sichuan University(四川大学);Syracuse University(雪城大学)
本文提出一种联合优化方法,解决无线传感器网络中协同与非协同定位问题,通过分布式缩放近端ADMM算法实现高效可靠定位,理论证明其收敛性。
2026-03-31 cs.LG math.OC
Robust Low-rank Matrix Completion via an Alternating Manifold Proximal Gradient Continuation Method
University of California, Davis(加州大学戴维斯分校)
鲁棒低秩矩阵完备(RMC),或部分观测数据的鲁棒主成分分析,在计算机视觉、信号处理和机器学习应用中得到了广泛的研究。该问题的目的是将部分观测矩阵分解为低秩矩阵和稀疏矩阵的叠加,其中稀疏矩阵捕获矩阵的严重损坏的条目。一种广泛使用的解决RMC的方法是考虑凸公式,它最小化低秩矩阵的核范数(以促进低秩)和稀疏矩阵的l1范数(以促进稀疏性)。本文在低秩矩阵完备化和黎曼优化的基础上,将该问题转化为Grassmann流形上的非光滑黎曼优化问题。这种新的公式是可扩展的,因为低秩矩阵被分解为两个小得多的矩阵的乘法。然后,我们提出了一个交替流形近端梯度延拓(AManPGC)方法来解决所提出的新配方。该算法的收敛速度进行了严格的分析。对监控视频背景提取的合成数据和真实数据的数值结果表明,所提出的新公式和算法优于现有的几种流行方法。
2020-08-18 cs.LG math.OC stat.ML
Parallel and Proximal Constrained Linear-Quadratic Methods for Real-Time Nonlinear MPC
LAAS-CNRS, University of Toulouse(图卢兹大学LAAS-CNRS);ANITI, University of Toulouse(图卢兹大学ANITI)
本文提出一种求解带对偶正则化LQR问题的并行算法,通过块消元重写递归并推广至参数化问题以并发求解子问题,在ALIGATOR库中实现并成功应用于四足机器人实时NMPC。
2024-06-03 cs.RO math.OC
A Sequential Homotopy Method for Mathematical Programming Problems
该研究提出一种求解抽象希尔伯特空间中Guignard约束规范下数学规划问题的序列同伦方法,等价于增广拉格朗日投影梯度/反梯度流的投影向后欧拉步进,可全局化局部收敛优化方法,经带控制约束的椭圆最优控制问题验证有效。
2024-08-14 cs.NA math.NA math.OC