An inexact version of the symmetric proximal ADMM for solving separable convex optimization
本文提出并分析了求解线性约束最优化问题的对称邻近交替方向法(ADMM)的一个不精确形式。基本上,该方法允许它的第一个子问题不精确地解决,以这种方式,一个相对近似的标准是满意的。根据迭代次数$k$,我们建立了该方法在加速度参数域上的全局$\mathcal{O} (1/ \sqrt{k})$逐点收敛速度和$\mathcal{O} (1/ {k})$各态历经收敛速度,这与精确情形下已知的最大收敛速度一致.由于对称邻近ADMM可以看作是一类ADMM的变种,新算法以及它的收敛速度推广,特别是在文献中的许多其他。数值实验说明了该方法的实际优势的报告。据我们所知,这项工作是第一个研究对称近端ADMM的不精确版本。
2020-06-04 math.OC
Iteration-complexity of an inexact proximal accelerated augmented Lagrangian method for solving linearly constrained smooth nonconvex composite optimization problems
提出并建立了求解线性约束光滑非凸复合最优化问题的非精确近似加速增广拉格朗日(IPAAL)方法的迭代复杂度.每个IPAAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度(ACG)方法,然后由一个合适的拉格朗日乘子更新。结果表明,IPAAL生成一个近似的稳态解在最多${\cal O}(\log(1/ρ)/ρ^{3})$ ACG迭代,其中$ρ>0$是给定的公差。它还表明,以前的复杂性界可以锐化为${\cal O}(\log(1/ρ)/ρ^{2.5})$下额外的轻度更强的假设。上述界是在假设初始点既不可行,也不假设目标函数的复合项的域有界的条件下导出的。一些初步的数值结果来说明IPAAL方法的性能。
2020-06-14 math.OC
A Proximal-Gradient Method for Solving Regularized Optimization Problems with General Constraints
Department of Industrial and Systems Engineering, Lehigh University(利哈伊大学工业与系统工程系)
本文提出了一种近端梯度法,用于求解带一般约束的正则化优化问题,通过分解策略和 merit 函数实现高效求解,并在多个测试问题中验证了方法的有效性。
2026-01-15 math.OC
An accelerated inexact proximal point method for solving nonconvex-concave min-max problems
本文提出了光滑计划获得近似的无约束或线性约束的复合非凸-凹最小-最大(因此非光滑)问题的稳定点,通过应用著名的算法,以复合光滑近似的原始问题。更具体地说,在不受约束的(resp。约束)的情况下,原问题的近似稳定点,通过应用,其复合光滑近似,加速不精确的邻近点(分别)。二次罚分)的方法在以前的文件中提出的作者。迭代的复杂性界限,这两个平滑计划也成立。最后,数值结果证明了无约束光顺格式的有效性。
2021-06-17 math.OC
An Inexact Riemannian Proximal Gradient Method
本文考虑了黎曼流形上的一个可微函数与一个非光滑函数之和的极小化问题。最近几年,近似梯度法及其不变量被推广到黎曼环境下求解这类问题。将近端标测推广到黎曼近端梯度法的黎曼设置导联版本的不同方法。然而,它们的收敛性分析都依赖于精确求解它们的黎曼邻近映射,这要么代价太高,要么不切实际。本文研究了一类不精确黎曼逼近梯度法的收敛性。证明了如果足够精确地求解邻近映射,则可以保证基于RiemannianKurdyka-Schojasiewicz性质的整体收敛和局部收敛速度。此外,还给出了黎曼邻近映射精确解的实用条件。作为副产品,在~[CMSZ 2020]中提出的Stiefel流形上的邻近梯度法可以被看作是不精确的黎曼邻近梯度法,只要邻近映射被求解到一定的精度。最后,对稀疏主成分分析进行了数值实验,以检验所提出的实用条件。
2021-11-14 math.OC
Primal-dual proximal bundle and conditional gradient methods for convex problems
Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI) and Department of Computer Science, University of Rochester(罗切斯特大学高根数据科学与人工智能研究所及计算机系)
本文提出原始-对偶近端束方法求解凸非光滑复合优化与鞍点问题,建立迭代复杂度,发现与条件梯度的对偶性,并验证其优于次梯度方法。
2025-09-25 math.OC
A Bregman Regularized Proximal Point Method for Solving Equilibrium Problems on Hadamard Manifolds
Technion – Israel Institute of Technology(以色列理工学院)
研究Hadamard流形上单调平衡问题,提出Bregman正则化近端点算法,通过对正则化项集合凸性的强假设及较弱的Bregman函数强制性条件,证明算法收敛,数值实验验证了该方法的有效性。
2026-11-10 math.OC
New Bregman proximal type algorithms for solving DC optimization problems
The Graduate University for Advanced Studies(高级研究大学);University of São Paulo(圣保罗大学);Tokyo Institute of Technology(东京工业大学);São Paulo State Technological College(圣保罗州立技术学院);The Institute of Statistical Mathematics(统计数学研究所);RIKEN Center for Advanced Intelligence Project(理化学研究院先进智能项目中心)
本文提出Bregman近端DC算法及其加速版本,用于解决不具有L-光滑性的大规模DC优化问题,通过可适应的L-光滑性提升算法性能。
2022-05-10 math.OC
Solving A Class of Nonsmooth Resource Allocation Problems with Directed Graphs though Distributed Smooth Multi-Proximal Algorithms
针对一类分布式非光滑资源分配问题,提出了两种分布式多邻近原始对偶法。在这些问题中,全局费用函数是局部凸函数和非光滑费用函数之和,每个代价函数由一个二次可微函数和多个非光滑函数组成。底层多智能体系统的通信图是有向和强连接的,但不一定是加权平衡的。多邻近分裂的设计是为了解决这些非光滑函数求和的不可逼近性所带来的困难。此外,它还可以保证所提出的算法的光滑性。在多邻近分裂中引入辅助变量,估计非光滑函数的次梯度。在理论上,利用李雅普诺夫稳定性理论和积分输入状态稳定性(iISS)理论进行了收敛性分析。结果表明,所提算法能使状态收敛到满足资源分配条件的最优点。
2020-03-16 math.OC
An efficient adaptive accelerated inexact proximal point method for solving linearly constrained nonconvex composite problems
本文提出了一种有效的自适应二次惩罚加速不精确邻近点(QP-AIPP)的方法提出了较早的作者。QP-AIPP方法和它的变体都使用二次惩罚方法来解决线性集约束的非凸复合最优化问题,其中生成的惩罚子问题由底层AIPP方法的变体来解决。该变体,反过来,解决了一个给定的惩罚子问题,产生一系列的近端子问题,然后解决了加速复合梯度算法。AIPP和它的变体之间的主要区别是,在前者的近端子问题总是凸的,而在后者的不一定是凸的,由于事实上,他们的prox参数选择尽可能积极,以提高效率。AIPP变体产生的可能非凸邻近子问题也尝试解决了一种新的自适应加速复合梯度算法的有效性的基础上,一些关键的收敛不等式。其结果是,该变体生成一系列的近端子问题,其中的步长自适应地改变根据从调用到加速复合梯度算法的响应。最后,数值结果证明了所提出的AIPP和QP-AIPP变体的效率。
2019-12-05 math.OC
A Stochastic Implicit Proximal Point Algorithm for Solving Linearly Constrained Stochastic Minimax Problems
Beijing University of Posts and Telecommunications(北京邮电大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
提出一种结合方差缩减的随机隐式近端点算法,通过半光滑牛顿法求解子问题,实现带非光滑正则项的强凸-强凹目标函数的全局q-线性收敛,并在机器学习问题上优于现有算法。
2026-05-22 math.OC
Proximal Recursion for Solving the Fokker-Planck Equation
我们发展了一种新的方法来解决福克-普朗克或Kolmogorov的向前方程,支配的联合密度函数的时间演化的连续时间随机非线性系统。该方程的数值解对于通过非线性动力系统传播初始条件、参数和强迫不确定性的影响是基本的,并且具有包括但不限于预测、风险评估、非线性滤波和随机控制的应用。我们的方法打破了传统的空间离散化的方法来解决这个二阶偏微分方程(PDE),这在一般情况下,患有“维数灾难”。相反,我们数值求解无穷维的密度函数,这是理论上相当于解决福克-普朗克-柯尔莫哥洛夫偏微分方程的空间中的近似递归。我们表明,随着引入熵正则化的对偶配方,导致一个光滑的凸优化问题,可以通过适当的块坐标迭代实现,并具有快速收敛,由于一定的收缩性能,我们建立。这种方法使无网格实现,导致非常快的计算。
2018-11-15 math.OC
A unified analysis of a class of proximal bundle methods for solving hybrid convex composite optimization problems
提出了一种基于一般束更新方案的求解混合凸复合优化(HCCO)问题的近似束(PB)框架,建立了PB框架中任一变体的迭代复杂度上界,并首次在HCCO背景下统一地给出了基于不同束更新方案的3种PB变体的迭代复杂度上界.虽然PB变体中的两个是通用的(即,它们的实现不需要与HCCO实例相关联的参数),另一个新提出的(据作者所知)不是HCCO实例,但具有生成简单的(即一次切割的)捆绑模型的优点。本文还提出了一个通用的自适应PB变体(这不一定是一个框架的实例)的基础上一切模型,并表明其迭代复杂度是相同的上述两个通用PB变体。
2023-03-27 math.OC
Solving the Infinite-horizon Constrained LQR Problem using Accelerated Dual Proximal Methods
本文提出了一种求解无限时间约束线性二次调节问题的算法。我们采用一个流行的近端梯度计划,通常被称为前向向后分裂(FBS)的加速版本,并证明其收敛到我们的无限维设置的最优解。该算法的每次迭代只需要有限的内存,计算成本低,并且不使用终端不变集;因此,该算法可以应用于非常大尺寸的系统。加速带来了最佳的收敛速度O(1/k^2)的函数值和O(1/k)的原始迭代,并提出了一个实用的替代模型预测控制方案的设定点跟踪方法。此外,当真实系统受到干扰或建模误差的情况下,我们提出了一个有效的热启动程序,这显着减少了迭代次数时,该算法被应用于闭环。数值例子证明了这种方法。
2015-01-18 math.OC
Proximal bundle methods for hybrid weakly convex composite optimization problems
University of Rochester(罗切斯特大学);Georgia Institute of Technology(佐治亚理工学院)
本文通过统一的近邻束框架研究了混合弱凸复合优化问题的迭代复杂度,提出易于验证的站稳性度量替代传统难以检查的站稳条件。
2026-10-19 math.OC
A Proximal Point Dual Newton Algorithm for Solving Group Graphical Lasso Problems
无向图模型在学习大量变量之间的条件独立结构方面特别流行,其中观测值独立且相同地从同一分布中提取。然而,许多现代统计问题涉及分类数据或时变数据,它们可能遵循不同但相关的基本分布。为了同时学习相关图形模型的集合,已经提出了各种联合图形模型,其引起图形中的稀疏性和图形之间的相似性。在本文中,我们的目标是提出一个可实现的近点对偶牛顿算法(PPDNA)解决组图形Lasso模型,鼓励共享模式的稀疏跨图。虽然群图形Lasso正则化子是非多面体的,但我们提出的方法PPDNA的渐近超线性收敛可以通过利用与群图形Lasso模型相关联的Karush-Kuhn-Tucker解映射的局部Lipschitz连续性来获得。在实际数据集上的数值实验表明,PPDNA求解群图Lasso模型具有高效性和鲁棒性。
2020-08-17 math.OC
A parameterized proximal point algorithm for separable convex optimization
本文提出了求解一类线性和凸约束可分凸规划问题的参数化邻近点法(P-PPA)。该算法是全局收敛的,最坏情况下的收敛速度为O(1/t)收敛速度,其中t表示迭代次数.通过合理选择算法参数,对一个由统计学习引起的稀疏最优化问题的数值实验表明,该算法的性能明显优于其他最先进的方法,如交替方向法和松弛邻近点法.
2018-12-10 math.OC
On inexact relative-error hybrid proximal extragradient, forward-backward and Tseng's modified forward-backward methods with inertial effects
本文提出并研究了求解单调包含问题的一种惯性欠松弛的相对误差混合邻近超梯度(HPE)方法的渐近收敛性和非渐近整体收敛速度(迭代复杂度).我们分析了所提出的方法下更灵活的假设比现有的外推和相对误差参数。作为应用,我们提出和/或研究了求解结构单调包含的惯性欠松弛前后向和Tseng的修正前后向方法。
2018-12-05 math.OC
Weak and strong convergence of a relaxed inertial proximal splitting algorithm for solving hierarchical equilibrium problems
National School of Applied Sciences, Sidi Mohamed Ben Abdellah University(国立应用科学学院,西迪穆罕默德·本阿卜拉大学);Cadi Ayyad university, Faculty of Sciences Semlalia(卡迪·艾雅德大学,塞姆拉拉理学院)
本文提出 RIPSA 求解分层均衡问题,分别在无收缩因子、强单调性及引入 Browder-Halpern 收缩因子条件下证明其弱收敛与强收敛性,并扩展至凸极小化和单调变分不等式。
2025-09-28 math.OC
Parallel extragradient-proximal methods for split equilibrium problems
本文介绍了两种求解分裂平衡问题的并行外梯度近似方法。该算法结合了外梯度法、近似法和混合(外近似)法。在广泛使用的平衡双函数假设下,建立了算法产生的迭代序列的弱收敛和强收敛定理。
2015-11-08 math.OC
Accelerated Proximal Iterative re-Weighted $\ell_1$ Alternating Minimization for Image Deblurring
本文针对非凸非光滑的$\ell_p$ TV图像去模糊问题,提出PIRL1-AM及其加速版本APIRL1-AM算法,有效保留边缘并显著提升收敛速度。
2023-09-11 math.OC
An efficient implementable inexact entropic proximal point algorithm for a class of linear programming problems
介绍了一类特殊结构的线性规划(LP)问题,它对最优输运、离散层析成像和经济学等不同领域的重要应用问题具有良好的建模能力.为了有效地解决这些大规模的LP问题,我们设计了一个可实现的不精确熵邻近点法(iEPPA)结合一个易于实现的双块坐标下降法作为子求解器。与现有的熵型邻近点法,我们的iEPPA采用了更实际的检查停止条件解决相关的子问题,同时实现可证明的收敛性。此外,当解决容量约束的多边际最优输运(CMOT)问题(我们的LP问题的一个特殊情况),我们的iEPPA是能够绕过基本的数值不稳定性的问题,经常出现在流行的熵正则化方法,因为我们的算法不需要的邻近参数非常小,以获得一个准确的近似解。大量的数值实验表明,我们的iEPPA是有效的和强大的解决大规模CMOT问题。对离散层析成像问题的实验也突出了我们的模型的潜在建模能力。
2022-04-23 math.OC
An ADMM algorithm for solving a proximal bound-constrained quadratic program
University of California, Merced(加州大学默塞德分校)
考虑了一个由二次函数给出的近似算子,并给出了一个利用乘子交替方向法(ADMM)的优化算法。该算法是特别有效的,以解决一个集合的邻近运营商共享相同的二次型,或者如果二次规划是一个二进制二次问题的松弛。
2014-12-29 cs.LG math.OC stat.ML
A proximal algorithm incorporating difference of convex functions optimization for solving a class of single-ratio fractional programming
Guangdong Polytechnic Normal University(广东技术师范大学);Guangdong University of Finance(广东金融学院);Sun Yat-sen University(中山大学);Shenzhen University(深圳大学)
针对一类可由球面非光滑问题转化而来的单比分式最小化问题,推导最优性条件,提出结合凸函数差优化的PS-DCA算法,证明聚点为临界点及典型问题全局收敛,实验显示其对初值不敏感、不易陷入低质量局部极小值。
2025-10-22 math.OC
A Safeguarded Accelerated Proximal ADMM Algorithm for Solving Structured Cardinality Penalized Optimization Problems
School of Mathematics, Harbin Institute of Technology(哈尔滨工业大学数学学院)
本文针对结构化基数惩罚优化问题,提出带保障加速近端ADMM算法,证明其收敛性并建立收敛速率,经信号与图像去噪实验验证了有效性。
2026-10-14 math.OC
Proximal algorithms for constrained composite optimization, with applications to solving low-rank SDPs
Stanford University(斯坦福大学)
研究了一类具有凸复合结构的(潜在非凸)约束最优化问题。通过一种新的分析非光滑几何,我们表明,近似型算法应用于精确的罚款制定这样的问题表现出局部线性收敛的二次增长条件下,我们认为确保组成结构。我们的结果的主要应用是低秩半定优化与Burer-Monteiro分解。通过半定问题中的结构,我们精确地确定了因子分解问题中二次增长的条件,这对于理解矩阵因子分解可能具有独立的意义。
2019-03-01 cs.LG math.OC
Composite Optimization with Coupling Constraints via Dual Proximal Gradient Method with Applications to Asynchronous Networks
本文考虑了基于近似梯度法的多智能体网络中带耦合约束的复合最优化问题。在这个问题中,所有的代理人共同最小化的光滑和可能的非光滑部分组成的各个费用函数的总和。为此,我们推导出的对偶问题的概念Fenchel共轭,从而产生了双邻近梯度算法,允许不对称的个人解释的全球约束。然后,针对具有不同步长和通信时延的异步网络,提出了一种异步双邻近梯度算法。对于这两种算法,如果目标函数的非光滑部分结构简单,则只需通过简单的操作更新对偶变量,从而降低了整体的计算复杂性。通过求解一个电力市场社会福利最优化问题的数值模拟,验证了算法的有效性。
2021-08-27 math.OC
Proximal and Contraction method with Relaxed Inertial and Correction Terms for Solving Mixed Variational Inequality Problems
University of the Witwatersrand(威特沃特斯兰德大学);University of KwaZulu-Natal(夸祖鲁-纳塔尔大学)
本文提出了一种结合松弛惯性与修正项的近端与收缩方法,用于高效求解混合变分不等式问题,并通过实验验证了其有效性。
2025-11-23 cs.NA math.NA math.OC
An inexact proximal DC algorithm with sieving strategy for rank constrained least squares semidefinite programming
本文考虑了用于数据降维(DR)的有监督距离保持投影(SDPP)的最优化问题,该问题等价于秩约束最小二乘半定规划(RCLSSDP)。为了克服秩约束带来的困难,采用凸差分正则化策略,将RCLSSDP转化为一系列带DC正则化的最小二乘半定规划(DCLSSDP).提出了一种带筛选策略的非精确邻近DC算法(s-iPDCA)求解DCLSSDP,其子问题采用加速块坐标下降法(ABCD)求解.收敛性分析表明,生成的s-iPDCA序列全局收敛于相应DC问题的平稳点.通过对COIL-20数据库的DR实验,将s-iPDCA算法与经典的邻近DC算法(PDCA)和PDCA外推算法(PDCAe)进行了比较,结果表明,s-iPDCA算法在求解效率上优于PDCA和PDCAe算法.在ORL数据库和YaleB数据库上进行的DR人脸识别实验表明,秩约束核SDPP(RCKSDPP)与核半定SDPP(KSSDPP)和核主成分分析(KPCA)的识别率相比,具有较好的识别效果。
2021-05-26 math.OC
A Proximal Gradient Method with an Explicit Line search for Multiobjective Optimization
针对凸多目标优化问题,提出一种带回溯线搜索的近端梯度法,每次迭代仅解一个近端子问题,证明其收敛于弱Pareto最优点且迭代复杂度为$\boldsymbol{\textit{O}}(1/\boldsymbol{\textit{ε}})$,并通过数值实验验证了实际性能。
2024-04-17 math.OC
On the Convergence of Proximal Algorithms for Weakly-convex Min-max Optimization
Univ. Bordeaux(波尔多大学);CNRS, Bordeaux INP, IMB, UMR 5251(法国国家科学研究中心,波尔多理工学院,IMB)
本文研究了非凸-强凹极小-极大问题中无内环的一阶交替算法,通过简化证明方法证明了交替梯度下降-上升算法的收敛性,并扩展了可接受步长集,进一步证明了弱凸-强凹情形下的双近端算法收敛性,为神经网络在正则化成像反问题中的应用提供了新途径。
2026-09-28 math.OC
Solving Variational Inequalities with Monotone Operators on Domains Given by Linear Minimization Oracles
求解大规模凸-凹鞍点问题的标准算法,或者更一般地说,求解单调算子变分不等式的标准算法,都是近似型算法,在每次迭代时都需要计算一个n-映射,即在问题的定义域$X$上最小化一个线性型和特定的凸距离生成函数之和。在实现近似算法时,作为标准要求的逆映射的相对计算简单性清楚地暗示了为$X$配备能够在$X$线性型上最小化的相对计算上便宜的线性最小化Oracle(LMO)的可能性。然而,有一个便宜的LMO确实是可用的,但在那里没有近端设置与易于计算的映射是已知的重要情况。这一事实激发了我们的目标,在本文中,这是发展技术,解决变分不等式与单调算子的区域上的线性极小化神谕。我们开发的技术可以被看作是在[5]中提出的非光滑凸最小化方法在LMO表示的域上的一个实质性的扩展。
2014-06-23 math.OC
A Riemannian Proximal Newton Method
本文将黎曼近端牛顿法推广到嵌入子流形上求解带 L1 正则项的优化问题,基于 Weingarten 和半光滑分析证明其局部二次收敛性,并提出与近端梯度法串联的混合版本以实现全局收敛。
2024-04-03 math.OC
A Proximal Decomposition Method for Solving Convex Variational Inverse Problems
UPMC Université Paris 06(巴黎第六大学);Laboratoire Jacques-Louis Lions – UMR 7598(雅克-路易·利翁斯实验室);Université Paris-Est(巴黎东大学);Institut Gaspard Monge and UMR CNRS 8049(加斯帕尔·蒙日研究所)
提出一种用于Hilbert空间中多个凸函数和最小化问题的近端分解算法,可处理任意数量的非光滑函数,并证明其收敛性,在信号与图像处理中展示数值应用。
2009-06-23 cs.NA math.NA math.OC
Projection methods for solving split equilibrium problems
考虑了希尔伯特空间中一类涉及分支平衡问题的分裂反问题。因此,这个问题被称为分裂平衡问题(SEP)。已知求解问题(SEP)的几乎解方法是由两种基本方法设计的,即邻近点方法和扩展的外梯度方法(或两步类邻近方法)。与以往的结果不同,本文引入了一个新的算法,该算法仅基于投影方法,求问题(SEP)的解的近似,并在较弱的条件下证明了所得到的算法是弱收敛的.数值结果表明了算法的收敛性,并与其它算法进行了比较。
2019-04-16 math.OC
Proximal Gradient Method for Nonsmooth Optimization over the Stiefel Manifold
考虑Stiefel流形上的最优化问题,其目标函数是一个光滑函数与一个非光滑函数之和.现有的解决这类问题的方法可以分为三类。第一类算法依赖于目标函数的次梯度信息,因此在实践中往往收敛缓慢。第二类中的算法是邻近点法,其涉及的子问题可能与原始问题一样困难。第三类算法基于算子分裂技术,但它们通常缺乏严格的收敛保证。在本文中,我们提出了一个基于收缩的近似梯度法来解决这类问题。我们证明了所提出的方法全局收敛到一个平稳点。迭代复杂性获得$ε$ -平稳的解决方案进行了分析。求解稀疏PCA和压缩模式问题的数值结果表明,所提出的方法的优点。
2019-05-10 math.OC stat.ML
Group zero-norm regularized robust loss minimization: proximal MM method and statistical error bound
本文研究组零范数正则化鲁棒损失最小化问题,提出近端MM算法求解等价DC代理优化问题,证明其在KL性质下的全局收敛性并推导统计误差界,数值实验验证了其优于pADMM的计算效率。
2025-05-29 math.OC
Projected proximal gradient trust-region algorithm for nonsmooth optimization
针对光滑非凸项与非光滑凸正则化项之和的优化问题,提出结合近端梯度下降与信赖域投影的子问题求解器,并建立无界 Hessian 增长下的复杂度与收敛保证。
2025-01-09 math.OC
Peaceman-Rachford Splitting Method Converges Ergodically for Solving Convex Optimization Problems
该研究证明带半邻近项的Peaceman-Rachford分裂方法的遍历序列对凸优化问题收敛,实验显示带重启策略的该方法遍历序列性能优于Douglas-Rachford分裂方法的对应序列,更适合求解大规模凸优化问题。
2025-01-14 math.OC
Universal subgradient and proximal bundle methods for convex and strongly convex hybrid composite optimization
FGV/EMAp(巴西圣保罗基金会应用数学学院);Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI) and Department of Computer Science, University of Rochester(罗切斯特大学戈根数据科学与人工智能研究所及计算机系);School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院工业与系统工程学院)
本文提出两种通用方法,用于解决凸和强凸混合复合优化问题,无需参数且无需最优值知识,具有高效的复杂度界。
2025-11-20 math.OC
Proximal Point Algorithms for Nonsmooth Convex Optimization with Fixed Point Constraints
考虑了定义在实希尔伯特空间上的非扩张映射的不动点集的交集上的非光滑凸目标函数之和的极小化问题,在该不动点集上的投影不能有效地计算.使用邻近点法,使用邻近算子的目标函数和增量优化技术提出了解决问题。重点研究了不动点逼近技术,设计了两种算法来求解该问题。一种是将增量次梯度法与Halpern型不动点迭代算法相结合,增量次梯度法是求解非光滑凸优化问题的一种有效算法。另一种是基于增量次梯度法和Krasnosel'ski \u-Mann不动点算法。证明了Halpern型算法生成的序列的弱序列聚点属于问题的解集,而Krasnosel'ski \u-Mann型算法生成的序列存在一个弱序列聚点也属于问题的解集.数值结果表明,本文提出的两种算法与已有的次梯度法在求解具体的非光滑凸优化问题时具有更快的收敛速度.
2016-02-05 math.OC
A Bifidelity Proximal Quasi-Newton Method for Dense Rigid Body Suspension Collision Resolution
Department of Applied Mathematics, University of Colorado Boulder(科罗拉多大学博尔德分校应用数学系)
本文提出双保真近端拟牛顿方法,用于高效解决密集刚体悬浮碰撞问题,通过对比实验显示其在速度和稳定性上的优势。
2026-04-11 math.OC
Decentralized Inexact Proximal Gradient Method With Network-Independent Stepsizes for Convex Composite Optimization
Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室);Yonsei University(延世大学)
针对无向连通网络上的凸组合最优化问题,提出了一种新的基于CTA(Combine-Then-Adapt)的分散算法.这些问题中的局部损失函数包含光滑项和非光滑项。该算法采用非协调的网络无关常数步长,只需近似求解一系列邻近映射,有利于求解非光滑损失函数的邻近映射可能没有解析解的分散组合最优化问题.对于一般的凸情形,我们证明了该算法的O(1/k)收敛速度,如果精确求解邻近映射,则该算法的收敛速度可提高到O(1/k).此外,利用度量次正则性,我们建立了算法的线性收敛速率。数值实验证明了算法的有效性。
2023-03-04 cs.LG math.OC
Two-step inertial Bregman proximal alternating linearized minimization algorithm for nonconvex and nonsmooth problems
针对非凸非光滑不可分优化问题,本文结合两步惯性外推与Bregman距离,基于PALM提出新型迭代算法,证明序列收敛性并通过信号恢复等问题验证有效性。
2023-06-13 math.OC
A Unified Analysis of Extra-gradient and Optimistic Gradient Methods for Saddle Point Problems: Proximal Point Approach
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们考虑解决鞍点问题的两个变种的梯度下降-上升算法,额外梯度(EG)和乐观梯度下降-上升(OGDA)方法。我们发现,这两个算法承认一个统一的分析作为近似的经典的近点法解决鞍点问题。这个观点使我们能够开发一个新的框架,分析EG和OGDA的双线性和强凸-强凹设置。此外,我们使用近点近似解释来概括OGDA在广泛参数范围内的结果。
2019-09-05 cs.LG math.OC stat.ML
A hybrid proximal generalized conditional gradient method and application to total variation parameter learning
本文提出了一种新的方法来求解涉及两个正常的、凸的、下连续函数之和的最优化问题,其中一个函数具有Lipschitz连续梯度。所提出的方法具有混合性质,结合了通常的向前向后和广义条件梯度法。我们建立了一个收敛速度$o(k^{-1/3})$在温和的假设下,一个特定的步长规则,并显示了应用程序的全变差参数学习问题,这表明它的好处,在非光滑凸优化的背景下。
2022-11-02 math.OC
A Highly Efficient Algorithm for Solving Exclusive Lasso Problems
针对高维机器学习中 exclusive lasso 正则化器计算困难的问题,提出基于高效对偶牛顿法的近端点算法(PPDNA),并研究其近端映射与广义雅可比矩阵,数值实验证明其性能优于其他流行算法。
2023-06-25 math.OC
Solving Non-Convex Non-Differentiable Min-Max Games using Proximal Gradient Method
University of Southern California(南加利福尼亚大学)
极小极大鞍点对策在机器学习和信号处理中有着广泛的应用。尽管它们具有广泛的适用性,但理论研究大多局限于特殊的凹凸结构。虽然最近的一些工作将这些结果推广到特殊的光滑非凸的情况下,我们的理解非光滑的情况下仍然是有限的。本文研究了当目标函数关于局中人的决策变量之一是(强)凸时的非光滑极大极小对策的特殊形式。我们证明了一个简单的多步近似梯度下降-上升算法收敛到$ε$ -一阶纳什均衡的最小-最大游戏的梯度评价是多项式的数量在$1/ε$。我们还将表明,我们的平稳性的概念是强于现有的文献中。最后,我们评估所提出的算法的性能,通过对抗攻击的LASSO估计。
2020-03-18 cs.GT cs.LG math.OC
On the proximal point algorithms for solving the monotone inclusion problem
本文针对单调包含问题,通过Yosida正则化改进近端点算法,并引入收缩变体及两个新版本,在非遍历和遍历意义下建立了多种收敛速率。
2023-12-22 math.OC
A stochastic two-step inertial Bregman proximal alternating linearized minimization algorithm for nonconvex and nonsmooth problems
本文提出STiBPALM算法,结合两步惯性与Bregman近端交替线性化及方差缩减随机梯度,用于求解大规模非凸非光滑优化问题,并证明其收敛性,通过稀疏非负矩阵分解和盲图像去模糊实验验证性能。
2023-07-11 math.OC
Inexact Online Proximal Mirror Descent for time-varying composite optimization
本文研究含梯度与近端算子误差的在线近端镜像下降算法,在凸光滑条件下获得了动态遗憾精确估计,消除了先前结果的$O(T)$项并将适用域扩展至全空间$\mathbb{R}^n$。
2023-04-10 math.OC
CAPPA: Continuous-time Accelerated Proximal Point Algorithm for Sparse Recovery
针对求解$\ell_1$ -极小化问题,提出了一种新的连续时间加速邻近点法(CAPPA),该算法具有可证明的固定时间收敛性. $\ell_1$最小化的问题出现在几个上下文中,例如压缩感知(CS)理论中的稀疏恢复(SR),以及机器学习中的稀疏线性和逻辑斯谛回归。大多数现有的解决$\ell_1$ -最小化问题的算法是离散时间的,效率低下,需要穷举的计算机引导的迭代。CAPPA在两个方面解决了这个问题:(a)它包含了一个可以使用模拟电路实现的连续时间算法;(b)它通过展示可证明的固定时间收敛到最优解来改善LCA和有限时间LCA(最近开发的用于解决SR问题的连续时间动力系统)。因此,CAPPA更适合于快速有效地处理SR问题。模拟研究证实了CAPPA的计算优势。
2020-06-03 cs.SY eess.SY math.OC
A Decentralized Proximal Point-type Method for Saddle Point Problems
Zhejiang University(浙江大学);UT Austin(德克萨斯大学奥斯汀分校);MIT(麻省理工学院);University of Pennsylvania(宾夕法尼亚大学)
本文研究了一类约束非凸非凹鞍点问题的网络节点分散求解问题。具体来说,我们假设每个节点都可以访问一个全局目标函数的被加数,并且节点只允许与它们的邻居节点交换信息。我们提出了一个分散的变种的近点法来解决这个问题。当目标函数为$ρ$ -弱凸-弱凹时,迭代收敛到近似平稳,收敛速度为$\mathcal{O}(1/\sqrt{T})$,近似误差线性依赖于$\sqrtρ$ .我们进一步表明,当目标函数满足明蒂VI条件(推广的凹凸情况下),我们得到收敛到平稳率为$\mathcal{O}(1/\sqrt{T})$。据我们所知,我们提出的方法是第一个分散的算法与理论保证解决非凸非凹分散鞍点问题。我们以分散的方式训练一般对抗网络(GAN)的数值结果与我们的理论保证相匹配。
2019-10-31 cs.LG math.OC stat.ML
Epigraphical splitting for solving constrained convex formulations of inverse problems with proximal tools
Institut Mines-Télécom, Télécom ParisTech(国立高等电信学院);ENS Lyon(里昂高等师范学院);Université Paris-Est(巴黎东大学)
提出一种近端方法处理含非线性约束的凸变分问题,通过将下水平集分裂为多个上镜图并利用闭半空间约束,有效求解涉及距离函数或ℓ1,p范数线性变换的约束,在图像恢复和脉冲形状设计中验证了收敛速度的提升。
2014-03-20 cs.NA math.NA math.OC