Degenerate preconditioned backward-backward splitting for inclusion problem
本文提出退化预条件后向-后向分裂算法求解单调包含问题,通过扭曲Yosida正则化逼近并逐步减小正则化参数,最终收敛到原问题解,并应用于两个凸函数和的最小化。
2023-12-31 math.OC
Forward-Backward and Tseng's Type Penalty Schemes for Monotone Inclusion Problems
研究实希尔伯特空间中$0\in Ax+Dx+N_C(x)$形式的单调包含问题,其中$A$是极大单调算子,$D$是余强制算子,$C$是余强制算子的非空零点集.我们提出了一个求解该问题的前向-后向惩罚算法,它推广了H。Attouch,M.- O. Czarnecki和J. Peypouquet在[3]中。该条件保证弱遍历收敛的迭代序列所产生的建议计划制定的Fitzpatrick功能相关联的最大单调算子,描述了集$C$。在第二部分中,我们介绍了一个向前向后向前算法的单调包含问题具有相同的结构,但这一次通过取代的协尾假设与Lipschitz连续性条件。后一种惩罚型算法为处理结构更复杂的单调包含问题打开了大门,例如,涉及极大单调算子与线性连续算子的复合。
2013-06-03 math.FA math.OC
A Forward-Backward Splitting Method for Monotone Inclusions Without Cocoercivity
在这项工作中,我们提出了一个简单的修改的前向后分裂方法找到一个零的两个单调算子和。我们的方法收敛在相同的假设下,曾的forward-backward-forward方法,即,它不需要单值算子的协整性。此外,每次迭代只需要一个向前评估,而不是像Tseng的方法那样需要两个。变形的方法,将lineslance,松弛和惯性,或结构化的三个运营商包括进行了讨论。
2020-05-06 math.OC
Bregman Forward-Backward Operator Splitting
在自反巴拿赫空间中,建立了基于Bregman距离的两个单调算子和的前后向分裂算法的收敛性.即使在欧几里得空间中,该算法的收敛性迄今为止仅在极小化问题的情况下得到证明。所提出的框架的特点Bregman距离,随着迭代和一个新的假设,捕捉分散在文献中的各种属性的单值算子。在最小化设置,我们得到的利率比现有的更尖锐。
2020-09-28 math.OC
On the convergence of the forward-backward splitting method with linesearches
本文研究了当目标函数为两个凸函数之和时,希尔伯特空间中求解非光滑最优化问题的前后向分裂法的收敛性.在其中一个函数是Fréchet可微的条件下,利用两条新的线搜索,在不需要对梯度作任何Lipschitz连续性假设的情况下,证明了该方法的弱收敛性.此外,我们得到了许多复杂性结果的成本值在迭代时的步长是有界的正常数。
2016-10-14 math.OC
A generalized forward-backward splitting operator: Degenerate analysis and applications
本文研究了广义向前向后分裂(G-FBS)算子的非扩张性质,特别是在退化度量的情形下,得到了相应的不动点迭代的退化度量收敛结果.将下降引理和充分减少性推广到退化情形。G-FBS算子为各种算子分裂算法的建模和分析提供了一个简化和统一的框架,许多已有的结果是从我们的一般结果中恢复或放松的.
2023-02-19 math.OC
A stochastic inertial forward-backward splitting algorithm for multivariate monotone inclusions
我们提出了一个惯性向前向后分裂算法来计算两个单调算子之和的零点,允许在算子的计算中存在随机误差。更准确地说,我们建立了几乎必然收敛在实希尔伯特空间的序列的迭代到一个最优解。在此基础上,我们引入了两类新的求解复合单调包含结构方程组的随机惯性原对偶分裂方法,并证明了它们的收敛性。我们的结果推广到随机和惯性环境下的各种类型的结构单调包含问题和相应的算法解决方案。最小化问题的应用进行了讨论。
2015-07-03 math.OC
A primal-dual backward reflected forward splitting algorithm for structured monotone inclusions
本文提出一种原对偶后向反射前向分裂方法,用于求解实Hilbert空间中的结构化单调包含问题,支持算子非精确计算,并证明了在相应条件下的强收敛与弱收敛性。
2024-01-10 math.OC
A variant of forward-backward splitting method for the systems of inclusion problem
本文提出了一种求解分裂包含问题组的前后向分裂方法。我们提出了一个概念算法,包含三个变种,每个有一个不同的投影步骤。该算法包括两个部分,第一和主要包含一个明确的Armijo型搜索的精神外梯度的变分不等式的方法。在迭代过程中,每个包含问题只计算一次前向-后向算子,与Tseng算法相比,这意味着极大的计算节省,因为该算子的计算成本非常高。该方案的第二部分包括特殊的投影步骤。假设两个算子都是单调的,而不假设前向算子是Lipschitz连续的,给出了该格式的收敛性分析。
2016-01-01 math.OC
The forward-backward-forward algorithm with extrapolation from the past and penalty scheme for solving monotone inclusion problems and applications
提出带过去外推与惩罚方案的 Tseng 前向-后向-前向算法求解实 Hilbert 空间单调包含问题,证明了弱遍历与强收敛性,并应用于极小极大、凸极小化及图像修复。
2023-06-28 math.OC
Coupled Adaptable Backward-Forward-Backward Resolvent Splitting Algorithm (CABRA): A Matrix-Parametrized Resolvent Splitting Method for the Sum of Maximal Monotone and Cocoercive Operators Composed with Linear Coupling Operators
United States Naval Academy(美国海军学院);Naval Postgraduate School(海军研究生院)
本文提出矩阵参数化节俭分裂算法CABRA,结合半定规划选择参数以支持对角缩放、并行化与通信约束,并通过数值实验和多阶段随机规划应用验证其收敛加速效果。
2026-10-14 math.OC
Four-operator splitting algorithms for solving monotone inclusions
涉及三个或三个以上极大单调算子和的单调包含近年来受到了广泛的关注。本文提出了三种求四个单调算子(两个极大单调算子,一个单调Lipschitz算子和一个余度算子)和的零点的分裂算法.这三种分裂算法分别基于前向-反射-Douglas-Rachford分裂算法、后向-前向-反射-后向分裂算法和后向-反射-前向-后向分裂算法。作为应用,我们将所提出的算法应用于求解包含有限个极大单调算子和的单调包含问题。对凸集Minkowski和投影问题的数值结果表明了所提算法的有效性。
2022-04-17 math.OC
Malitsky-Tam forward-reflected-backward splitting method for nonconvex minimization problems
将求解单调算子包含问题的Malitsky-Tam前向反射后向(FRB)分裂方法推广到非凸极小化问题.通过假设目标函数的二次正则化具有广义凹Kurdyka-Schojasiewicz(KL)性质,证明了FRB方法全局收敛于目标函数的一个稳定点,并具有有限长性质.我们的方法的锋利度是保证凭借与广义凹KL属性相关的确切模量。数值实验表明,FRB是竞争力相比,道格拉斯-Rachford方法和Bosnia-Csetnek惯性Tseng的方法。
2021-11-17 math.OC
Generalized Forward-Backward Splitting
本文介绍了求解$F + \sum_{i=1}^n G_i$型凸函数极小化问题的广义前后分裂算法,其中$F$具有Lipschitz连续梯度,而$G_i$的Moreau邻近算子易于计算,因此是简单的.虽然前向-后向算法不能处理超过$n = 1$的非光滑函数,但我们的方法将其推广到任意$n$的情况。我们的方法在向前的步骤中明确地使用$F$的正则性,并且在向后的步骤中并行地应用$G_i$的邻近算子。这使得广义向前向后有效地解决一类重要的凸问题。我们证明了它的收敛性在无穷维,其鲁棒性的邻近算子和$F$的梯度的计算上的错误。成像反问题的算例表明,与其他分裂算法相比,所提出的方法的优势。
2012-01-12 math.OC
Stochastic Approximations and Perturbations in Forward-Backward Splitting for Monotone Operators
研究了在希尔伯特空间中求极大单调集值算子与余度算子和的零点的随机前后分裂算法的渐近性态.我们的一般设置功能随机逼近的cocoercive运营商和随机扰动的集值运营商的预解式的评价。此外,松弛和不一定消失的近端参数是允许的。在较弱的条件下,证明了迭代序列的弱和强几乎必然收敛性质。利用这些结果,我们还建立了复合极小化问题的原始-对偶近似分裂方法的随机变量的迭代的几乎必然收敛。
2015-07-25 math.OC
Backward-Backward Splitting in Hadamard Spaces
向后-向后算法是在希尔伯特空间中寻找两个凸函数之和的正则化的最小值的工具。我们将此设置推广到Hadamard空间,并证明了向后向后方法的容错版本的收敛性。
2013-09-30 math.MG math.OC
The variable metric forward-backward splitting algorithm under mild differentiability assumptions
研究了凸极小化问题的变尺度前后向分裂算法,该算法不需要梯度的Lipschitz连续性的标准假设。在这种情况下,我们证明,通过只需要温和的假设,对目标函数的平滑部分,并使用几种类型的线搜索程序,用于确定梯度下降步长,或松弛因子,一个仍然得到弱收敛的迭代和收敛的目标函数值。此外,$o(1/k)$收敛速度的函数值,如果稍微强的可微性假设增加。我们还说明了几个应用,包括涉及巴拿赫空间和发散型函数的问题。
2017-05-01 math.OC
Nonlinear forward-backward-half forward splitting with momentum for monotone inclusions
本文提出带非线性动量的前向-后向-半前向分裂算法求解结构化单调包含问题,证明其弱收敛与线性收敛,并扩展至随机方差缩减版本,实验验证其在投资组合优化等任务中的优越性。
2025-11-06 math.OC
An outer reflected forward-backward splitting algorithm for solving monotone inclusions
单调包含在解决信号和图像处理、机器学习、医学图像重建等领域的各种凸优化问题中有着广泛的应用。本文提出了一种新的分裂算法,即外反射前向-后向分裂算法,用于求极大单调算子、单调Lipschitz算子和余强制算子之和的零点.在对迭代参数较弱的条件下,证明了算法的收敛性。作为应用,我们将所提出的算法用于求解包含单调Lipschitz算子、余强制算子以及算子的并行和的复合单调包含问题。该算法的优点是它是一个完全分裂的算法,其中Lipschitz算子和余强制算子通过显式步骤处理,极大单调算子通过它们的预解式处理.
2020-09-26 math.OC
Projective splitting with backward, half-forward and proximal-Newton steps
本文提出一种投影分裂算法,用于求解具有四块内部结构的多项复合单调包含问题,结合后向、半前向和近端牛顿步,并证明了算法的弱收敛性。
2024-05-06 math.OC
Single-timescale distributed GNE seeking for aggregative games over networks via forward-backward operator splitting
我们考虑具有仿射耦合约束的聚合博弈,其中代理商具有关于聚合值的部分信息,并且只能与相邻代理商进行通信。我们提出了一个单层分布式算法,达到变分广义纳什均衡,恒定的步长。该算法在单个时间尺度上工作,即,在更新其动作之前,不需要代理之间的多轮通信。收敛性证明利用了聚合估计的不变性,并依赖于两个预处理算子的前向-后向分裂及其在共识子空间上的限制(强)单调性。
2020-08-04 math.OC
Strong Convergence of Forward-Reflected-Backward Splitting Methods for Solving Monotone Inclusions with Applications to Image Restoration and Optimal Control
本文提出并研究了实希尔伯特空间中两个单调算子和的前向反射后向分裂法的几种强收敛形式.我们提出的方法只需要一个前向评价的单值算子和一个后向评价的集值算子在每次迭代,在许多其他可用的强收敛分裂方法在文献中是不存在的功能。我们还开发惯性版本的方法和强收敛结果时,这些方法的集值算子是极大单调和单值算子是Lipschitz连续和单调。最后,我们讨论了一些例子,从图像分解和最优控制关于我们的方法的实现与已知的相关方法在文献中进行比较。
2022-08-14 math.OC
Stochastic forward-backward-half forward splitting algorithm with variance reduction
针对可分实 Hilbert 空间中含两个极大单调算子和一个余强制算子的结构化单调包含问题,提出带方差缩减的随机正–反–半正分裂算法,证明其弱几乎必然收敛及强单调条件下的线性收敛。
2025-06-03 math.OC
Frugal forward-backward splitting methods with deviations
针对现有带偏差的前后向分裂算法需逐类构建、收敛分析低效的问题,本文提出通用的带偏差节约型前后向分裂框架,涵盖带偏差的Douglas–Rachford法,给出温和条件下的统一弱收敛证明,并通过Markowitz投资组合优化实验验证了偏差的有效性。
2025-09-04 math.OC
A reflected forward-backward splitting algorithmic framework
School of Light Industry and Engineering, South China University of Technology(华南理工大学轻工与能源学院);College of Science and Research Institute of Science and TechnologyCivil Aviation University of China(中国民航大学理学院和科学技术研究院)
本文提出了一种反射前向-后向分裂算法框架,用于寻找单调算子之和的零点,包括极大单调算子、co-coercive算子和单调且Lipschitz连续算子。在较弱的条件下,提供了一种统一的收敛性分析,消除了对每个算法单独分析的需要。通过数值实验提出了矩阵选择的启发式策略,并据此推导出新算法。进一步在正则化鞍点问题上的数值实验展示了所提算法的有效性。
2026-05-18 math.OC
A Multi-step Inertial Forward--Backward Splitting Method for Non-convex Optimization
本文提出了一种多步惯性向前-向后分裂算法,用于极小化两个非必然凸函数之和,其中一个函数是真下半连续的,另一个函数是可微的且梯度为Lipschitz连续的.首先利用Kurdyka-Schojasiewicz性质证明了格式的整体收敛性.然后,当非光滑部分相对于光滑子流形也部分光滑时,我们建立了后者的有限识别,并提供了尖锐的局部线性收敛分析。所提出的方法说明了统计和机器学习所产生的一些问题。
2016-10-27 math.OC
Incorporating History and Deviations in Forward--Backward Splitting
本文提出融合历史迭代与偏差向量的正反向分裂变体,并用标量参数在传统方法和 O(1/n^2) 加速方法间插值,实验显示中点附近参数性能更优。
2023-07-13 math.OC
A reflected forward-backward splitting method for monotone inclusions involving Lipschitzian operators
近端外推梯度法\cite{Malitsky18a}是投影反射梯度法\cite{Malitsky15}的扩展。这两种方法都是为了求解经典的变分不等式而提出的。本文在一般情形下研究了求解含Lipschitz算子单调包含的投影反射梯度法。从而得到了一个求其中一个是Lipschitz算子的两个单调算子和的零点的简单方法。我们还表明,当Lipschitzian算子被限制为cocoercive的情况下,可以提高该方法的步长范围。提出了一种将该方法与前向-后向分裂相结合的方法。从而得到了一个新的分裂方法,它可以用来寻找三个算子(极大单调+单调Lipschitz+余尾算子)和的零点。应用复合单调夹杂证明。
2019-08-16 math.OC
A forward-reflected-anchored-backward splitting algorithm with double inertial effects for solving non-monotone inclusion problems
本文将带双重惯性效应的前向-反射-锚定-后向分裂算法推广到广义单调的非单调包含问题,证明了序列的强收敛性,并展示了其在约束优化、混合变分不等式和变分不等式中的应用。
2025-03-11 math.OC
Backward-Forward Reachable Set Splitting for State-Constrained Differential Games
本文给出了求解一类两人零和Stackelberg微分对策的集合计算方法。我们假设博弈模型是一组耦合的非线性微分方程,这可以影响的球员的控制输入。在这里,每个玩家都必须满足各自的状态和控制约束,否则就会输掉比赛。主要贡献是一个向后向前的可达集分裂计划,它可以用来获得数值上易于处理的保守近似这样的两个玩家游戏。详细地说,我们介绍了一类新的微分不等式,可以用来找到凸外近似这些向后和向前可达集。这种方法是详细的椭球集参数化。我们的数值例子不仅说明了该方法的有效性,而且标准的鲁棒最优控制问题和更一般的约束两个玩家零和Stackelberg微分对策之间的细微差别。
2019-09-09 math.OC
Four Operator Splitting via a Forward-Backward-Half-Forward Algorithm with Line Search
在这篇文章中,我们提供了一个分裂方法来解决实希尔伯特空间中涉及四个算子的单调包含:极大单调,单调Lipschitz算子,余强制算子和单调连续算子。该方法充分利用了每个算子的内在性质,推广了前-后-半前向分裂和Tseng算法。在每次迭代中,我们的算法定义的步长使用线搜索,其中单调Lipschitzian和cocoercive运营商只需要一个激活。我们还得到了实希尔伯特空间中非线性约束复合凸优化问题的一种求解方法。最后,我们实现了我们的算法在一个非线性约束的最小二乘问题,我们比较其性能与文献中的方法。
2022-07-18 math.OC
A New Penalty Dual-Primal Augmented Lagrangian Method and Its Extensions
本文提出一种罚对偶-原始增广拉格朗日方法,结合新颖罚技术与对偶-原始更新顺序,扩展至多块可分离凸规划,并在变分分析下建立收敛性,数值实验验证其效率。
2023-05-06 math.OC
Splitting the Forward-Backward Algorithm: A Full Characterization
针对含极大单调算子和余强制算子之和的单调包含问题,研究具最小提升的节俭拆分算法,完整刻画仅用单个预解算子评估等资源且收敛的方法,提出统一框架及设计启发式,数值实验显示性能优于现有方法。
2025-04-15 math.OC
Generalized Forward-Backward Splitting with Penalization for Monotone Inclusion Problems
引入一种带罚项的广义前后分裂方法,求解有限个极大单调算子与另一个极大单调算子的非空零点集的法锥之和的单调包含问题.我们显示弱遍历收敛所产生的序列的迭代所考虑的单调包含问题的解决方案,提供相应的条件描述的正常锥集的运营商的Fitzpatrick功能得到满足。在算子的强单调性下,我们证明了迭代的强收敛性。此外,我们利用所提出的方法来最小化一个大规模的分层最小化问题的总和的可微和不可微的凸函数的另一个可微的凸函数的极小值集。我们通过数值实验解决约束弹性网和广义苍鹭定位问题的方法的功能。
2018-07-29 math.OC
A new three-operator splitting method for the monotone inclusion problem
Nanjing Normal University(南京师范大学)
本文提出一种统一的三操作子分裂算法,整合了Douglas-Rachford、反射前向后向和前向反射后向方法,并证明了其弱收敛性和子线性收敛性。
2026-05-13 math.OC
Iteration-Complexity of a Generalized Forward Backward Splitting Algorithm
在本文中,我们分析了广义向前-向后(GFB)分裂算法,提出了\cite{gfb2011},最小化一个大类的复合目标$f + \sum_{i=1}^n h_i$在希尔伯特空间,其中$f$具有Lipschitz连续梯度和$h_i$的简单(\ie,它们的邻近算子是容易计算的)的迭代复杂性。我们推导出迭代复杂性边界(逐点遍历)的不精确版本的GFB获得一个近似解的基础上,一个容易验证的终止标准。一路上,我们证明了复杂性界的放松和不精确的不动点迭代构建的非扩张平均运营商的组合。这些结果适用于更普遍的GFB时,用来找到一个零的总和$n > 0$极大单调算子和一个co-coercive运营商的希尔伯特空间。的理论研究结果与视频处理的实验举例说明。
2014-02-10 math.OC
Convergence analysis of the stochastic reflected forward-backward splitting algorithm
本文提出并分析了一种新的求解单调包含的随机算法的收敛性,该单调包含是一个极大单调算子和一个单调Lipschitzian算子之和。该算法只需要Lipschitzian算子的无偏估计。我们得到了强单调情形下的速度$\mathcal{O}(log(n)/n)$在期望中,以及一般情形下的几乎必然收敛.此外,在上下文中的应用凹凸鞍点问题,我们得到的原始-对偶间隙率。特别是,我们还获得了$\mathcal{O}(1/n)$率收敛的原始-对偶间隙中的确定性设置。
2021-02-17 math.OC
On the strong convergence of forward-backward splitting in reconstructing jointly sparse signals
我们考虑重建一个无限集的稀疏,有限维向量,共享一个共同的稀疏模式,从不完整的测量的问题。这与工作[17]形成对比,其中单个矢量信号可以是无限维的,并且[28]将上述工作扩展到有限数量的无限维矢量的联合稀疏恢复。在我们的例子中,考虑到联合稀疏性和促进耦合的非零组件,我们采用了凸松弛方法与混合范数惩罚$\ell_{2,1}$。本文讨论了用前后分裂算法计算具有这种松弛的线性反问题的解。然而,由于解矩阵具有无限多列,[17]的论点不再适用。因此,我们建立了新的强收敛的算法,特别是当一组联合稀疏向量是无限的。
2021-11-26 math.OC
On the Convergence of the Iterative Shrinkage/Thresholding Algorithm With a Weakly Convex Penalty
我们考虑迭代收缩/阈值算法(ISTA)适用于一个费用函数组成的数据保真度项和惩罚项。惩罚是非凸的,但是惩罚的增加由数据保真度项来解释,使得总费用函数是凸的。我们提供了一个推广的收敛结果ISTA看作是一个向前向后分裂算法。我们还通过实验证明,对于当前的设置,在ISTA中使用大步长可以比现有的凸情况下提出的方案(如TwIST或FISTA)更快地收敛。
2015-11-12 math.OC
A variable metric extension of the forward--backward--forward algorithm for monotone operators
本文提出了在希尔伯特空间中求极大单调算子与Lipschitz单调算子之和的零点的前-后-前算法的变度量推广。反过来,这个框架提供了一个可变的度量分裂算法解决单调包含涉及合成算子的总和。几个分裂算法最近提出的文献中恢复的特殊情况。
2012-10-31 math.OC
An adaptive splitting algorithm for the sum of three operators
用于寻找算子和的零点的分裂算法通常涉及多个步骤,这些步骤被称为向前或向后步骤。前向步骤是显式使用运算符,后向步骤通过其预解式隐式涉及运算符。在本文中,我们研究了一个自适应分裂算法,寻找一个零的三个运营商的和。我们假设其中两个算子是广义单调的,它们的预解式是可计算的,而另一个算子是余强制的,但它的预解式是缺失的或计算代价很高。我们的分裂算法适应新的参数的运营商的广义单调性,并在同一时间,结合适当的向前和向后的步骤,以保证收敛到问题的解决方案。
2021-04-12 math.OC
A Stochastic forward-backward splitting method for solving monotone inclusions in Hilbert spaces
提出并分析了求解由极大单调算子与单值极大单调余算子之和构成的单调包含的一种新的随机前后分裂算法的收敛性.后者的框架有一些有趣的特殊情况下,包括变分不等式和凸最小化问题,而随机方法实际上是相关的数据扰动帐户。我们提出的算法是经典的确定性向前向后方法的随机扩展,并得到考虑的组合的极大单调算子的预解式与基于单值算子的随机估计的前一步。我们的研究提供了一个非渐近的误差分析的期望强单调的情况下,以及几乎必然收敛在较弱的假设。我们考虑的方法可以避免平均,一个功能的关键时,考虑基于稀疏性的方法,并为最小化问题,它允许获得匹配的收敛速度随机扩展所获得的所谓的加速方法。随机拟Fejer序列是证明几乎必然收敛的关键技术工具。
2015-02-20 math.OC
An adaptive forward-backward-forward splitting algorithm for solving pseudo-monotone inclusions
本文提出一种自适应前向-后向-前向分裂算法,用于求解分解为三个算子之和的伪单调算子包含问题,并基于自适应步长策略推导出次线性和线性/次线性收敛速率,数值实验验证了其优越性能。
2025-03-03 math.OC
On Quasi-Newton Forward--Backward Splitting: Proximal Calculus and Convergence
我们介绍了一个框架,拟牛顿向前-向后分裂算法(近拟牛顿法)与对角$\pm$秩- $r$对称正定矩阵引起的度量。这种特殊类型的度量允许对近端映射进行高效评估。这种效率的关键是在新的度量的一般邻近演算。通过使用对偶性,导出了将秩- $r$修改度量中的邻近映射与原始度量相关联的公式。我们还描述了一个大类的函数的邻近计算的有效实现,实现利用分段线性性质的对偶问题。然后,我们将这些结果加速复合凸最小化问题,从而导致优雅的拟牛顿法,我们证明收敛。该算法进行了测试的几个数值例子,并在文献中的替代品的全面列表进行比较。我们的拟牛顿分裂算法与规定的度量相比,优于国家的最先进的。该算法具有广泛的应用,包括信号处理,稀疏恢复,机器学习和分类,仅举几例。
2018-11-22 math.OC
Nonlinear three-operator splitting algorithms with momentum for monotone inclusions
针对含三类算子的结构化单调包含问题,本文提出三种嵌入非线性动量项的改进三算子分裂算法,证明其弱收敛性与强单调条件下的R-线性收敛率,经数值实验验证了算法性能优势。
2025-11-18 math.OC
On the acceleration of forward-backward splitting via an inexact Newton method
提出了一种求解两个凸函数之和的前向后截断牛顿法(FBTN),其中一个凸函数是光滑的。与其他近端牛顿方法不同,我们的方法不涉及可变度量的就业,而是基于重新制定的原始问题的连续可微函数的无约束极小化,向前向后包络(FBE)。我们引入了一个广义Hessian的FBE对称的广义雅可比矩阵的非线性方程组的最优性条件的问题。这使得共轭梯度法(CG)的就业有效地解决所产生的(正则化)线性系,这可能是不精确的。CG的使用防止了完整的(广义)雅可比矩阵的计算,因为它只需要(广义)方向导数。所得到的算法是全局(渐进)收敛,$Q$ -线性误差界条件下,并高达$Q$ -超线性和$Q$ -二次在可能的非孤立极限点的正则性假设。
2018-11-07 math.OC
Forward--Backward Splitting with Deviations for Monotone Inclusions
提出并研究了求解结构单调包含问题的前向后算法的一个弱收敛变形。我们的算法具有一个每次迭代的偏差向量,它提供了额外的自由度。对偏差向量保证收敛的唯一要求是,它的范数由一个可以在线计算的量限制。这种方法提供了很大的灵活性,并开辟了新的和改进的前向后为基础的算法的设计,同时保留整体收敛的保证。这些保证包括线性收敛的度量次正则性假设下,我们的方法,而不需要适应的算法参数。选择合适的单调算子允许将偏差合并到其他算法中,例如Chambolle-Pock和Krasnoselsky-Mann迭代。我们提出了一种新的惯性原始对偶法,通过选择沿动量方向的偏差,并决定其大小使用范数条件。数值实验证明了我们的收敛性声明,并表明,即使是这种简单的偏差向量的选择可以提高性能,相比,例如,标准的Chambolle-Pock算法
2022-08-12 math.OC
Preconditioning of a Generalized Forward-Backward Splitting and Application to Optimization on Graphs
本文给出了一个求解具有$B$余度的极大单调算子之和$\sum_{i=1}^{n} A_i + B$的零点的广义前向后分裂算法的预条件,该预条件只涉及$B$的计算和每个$A_i$的预解式的计算.这允许特别地最小化具有$f$平滑的形式$\sum_{i=1}^n g_i + f$的泛函,仅使用$f$的梯度的计算和每个$g_i$的邻近算子的计算。通过调整底层度量,这样的预处理可以服务于两个实际目的:第一,它可以加速收敛,或者第二,它可以简化某些$i$的$A_i$的预解式的计算。此外,在许多感兴趣的情况下,我们的预处理策略允许关于一些辅助变量的存储和计算的经济性。特别是,我们展示了这种方法如何处理大规模的,非光滑的,凸优化问题结构上的图形,出现在许多图像处理或学习应用程序,它比较有利的替代文献。
2015-07-06 math.OC
Variable Stepsize Distributed Forward-Backward Splitting Methods as Relocated Fixed-Point Iterations
Centro de Modelamiento Matemático (CNRS IRL2807), Universidad de Chile(智利大学数学建模中心);School of Science, RMIT University(皇家墨尔本理工大学理学院);School of Mathematics & Statistics, The University of Melbourne(墨尔本大学数学与统计学院)
本文提出一种可变步长分布式前向-后向分裂方法,通过重新定位固定点迭代解决结构单调包含问题,并在稀疏优化中验证其有效性。
2026-09-23 math.OC
Accelerated Convergence of a Second-Order Dynamical System and its Application to Splitting Algorithms for Comonotone Inclusions
School of Mathematics and Statistics, Chongqing Technology and Business University(重庆工商大学数学与统计学院)
本文提出一种新型二阶动力系统,经分析其具有加速收敛性,时间离散化后得到双惯性Halpern前向-后向分裂算法,数值实验验证了该算法在分裂可行性等问题上的有效性。
2026-09-03 math.OC
An inertial forward-backward-forward primal-dual splitting algorithm for solving monotone inclusion problems
引入并研究了一个逼近极大单调算子与单值单调Lipschitz算子和的零点集的惯性向前向后向前分裂算法的收敛性质.利用积空间方法,我们将其推广到线性组合与平行和型单调算子的混合包含问题的求解。我们以这种方式获得一个惯性向前向后向前原始对偶分裂算法的主要特点的事实,即在迭代方案中,所有的运营商分别访问通过向前或向后评估。我们也提出了变分的情况下,当一个人有兴趣在解决一个原始-对偶对凸优化问题与复杂的目标函数。
2014-02-21 math.FA math.OC
A mirror inertial forward-reflected-backward splitting: Global convergence and linesearch extension beyond convexity and Lipschitz smoothness
针对相对光滑性下的结构化非凸最小化问题,本文提出带对偶空间惯性步、允许负惯性值的Bregman惯性前向-反射-后向分裂算法,通过新乘积空间包络函数结合广义凹KL性质证明全局收敛性与速率,并给出线搜索扩展。
2022-12-03 math.OC
Decentralized Multi-Agent Optimization Based on a Penalty Method
针对一般的凸约束多智能体最优化问题,提出了一种分散惩罚算法。每个辅助惩罚问题用一种特殊的并行下降分裂方法近似求解。该方法可以在计算网络中实现,其中每个代理仅向最近的邻居发送信息。在相当弱的假设条件下,该方法的收敛性。我们还描述了一个专业化的可行性问题的建议的方法。
2020-08-10 math.OC
An Alternating Direction Method with Increasing Penalty for Stable Principal Component Pursuit
稳定主元追踪(Stable Principal Component Pursuit,SPCP)是一个非光滑的凸优化问题,它的解使得即使只有一小部分数据是可观测的,也能可靠地恢复被密集噪声矩阵破坏的数据矩阵的低秩和稀疏分量。本文提出了一种求解SPCP的新算法。该算法是一个修改的交替方向法的乘法器(ADMM),我们使用一个递增序列的罚参数,而不是一个固定的罚款。该算法是基于部分变量分裂和工作直接与非光滑目标函数。我们证明了原始序列和对偶序列在罚参数序列上在较弱的条件下收敛。据我们所知,这是第一个收敛结果的可变罚款ADMM时,罚款是没有界的,目标函数是非光滑的,它的次微分不是一致有界的。使用部分变量分裂和采用递增序列的惩罚乘数,一起,显着减少所需的迭代次数,以实现实际的可行性。我们的初步计算测试表明,该算法在实践中非常好,并优于ASALM,一个国家的最先进的ADMM算法的SPCP问题与一个常数罚参数。
2015-02-09 math.OC