Warped Proximal Iterations for Monotone Inclusions
集值算子的预解式在数学的各个分支中起着核心作用,特别是在设计和分析求解单调包含的分裂算法中。我们提出了这个概念的推广,称为翘曲预解式,这是一个辅助算子的帮助下构建的。翘曲的预解式的性质进行了调查和连接与现有的概念。提出了基于翘曲预解式的弱收敛和强收敛原理,不仅提供了分裂算法的综合视图,而且还构成了一种有效的设备,以产生新的解决方法,具有挑战性的包含问题。
2020-06-22 math.OC
An Inexact Halpern-accelerated Preconditioned Generalized Proximal Point Algorithm for the Maximal Monotone Inclusion Problem
Sun Yat-sen University(中山大学);National University of Singapore(新加坡国立大学);University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校)
本文提出一种非精确 Halpern 加速预条件广义近端点算法,结合锚定、非精确预解与全范围松弛,求解极大单调包含问题,并给出 O(1/k²) 收敛率及 pADMM 和 PDHG 的非精确加速版本。
2026-10-06 math.OC
Inertial Quasi-Newton Methods for Monotone Inclusion: Efficient Resolvent Calculus and Primal-Dual Methods
本文提出惯性拟牛顿前向-后向分裂算法求解单调包含问题,开发高效预解算子演算,证明收敛性,并实例化原始-对偶混合梯度方法,在图像处理中验证优越性能。
2024-03-15 math.OC
A primal-dual splitting algorithm for composite monotone inclusions with minimal lifting
本文研究了求解复合单调包含问题的预解式分裂算法。这些一般问题的目标是寻找由线性算子组成的极大单调算子和的零点。我们的主要贡献是建立了复合单调包含的第一个最小提升原对偶分裂算法。具体而言,所提出的计划减少了基本的不动点运营商定义的积空间的尺寸相比,其他算法,而不需要额外的评估的预解算子。我们证明了这种新算法的收敛性,并分析了它在图像去模糊和去噪问题中的性能。这项工作也有助于理论的预解分裂算法的最小提升定理最近证明的Malitsky和谭计划与预解参数。
2022-02-19 math.OC
Solving Non-Monotone Inclusions Using Monotonicity of Pairs of Operators
本文利用算子对单调性,提出广义近端点算法求解非单调包含问题,并证明其在温和条件下的弱、强及线性收敛性。
2025-01-23 math.OC
An inexact inertial projective splitting algorithm with strong convergence
针对涉及有限多个极大单调算子之和的复合单调包含问题,提出具有强收敛性的不精确惯性投影分裂算法,通过半空间交集投影确保强收敛,建立迭代复杂度结果,还推导采用前向-后向等步骤的变体。
2025-07-07 math.OC
Integral Resolvent and Proximal Mixtures
本文基于希尔伯特直积分理论提出积分预解式混合与积分近端混合,将有限族单调算子和凸函数的混合推广到任意族,并应用于复合单调包含系统的松弛。
2024-08-12 math.FA math.OC
A simplified proof of weak convergence in Douglas-Rachford method to a solution of the unnderlying inclusion problem
Douglas-Rachford方法是求两个极大单调算子和的零点的分裂算法。在一般情况下,该方法弱收敛于基本单调包含问题的解,这是一个30年来的公开问题,作者在7年前证明了这一点。当时提出的证明充满了技术细节,因为我们考虑了带有可求和错误的不精确版本。本说明的目的是提出一个简化的证明这一结果。
2018-09-07 math.FA math.OC
Convergence and Stability Analysis of a Generalized Proximal Point Algorithm and Its Inexact Version
Ton Duc Thang University(胡志明市通德大学);Wayne State University(韦恩州立大学);Université de Limoges(利摩日大学)
本文在希尔伯特空间中引入自适应强单调性概念,建立广义邻近点算法(GPPA)求解非单调包含问题近似解的线性收敛性,同时研究了存在非递减误差时的不精确广义邻近点算法(IGPPA)。
2026-11-13 math.OC
Self-concordant inclusions: A unified framework for path-following generalized Newton-type algorithms
本文研究了一类称为“自协调包含”的单调包含问题,它涵盖了三个基本的凸优化公式作为特例。我们开发了一个新的广义牛顿型框架来解决这个包含。我们的框架包括三个计划:全步骤,阻尼步骤和路径跟踪方法作为具体的例子,同时允许使用不精确计算,以形成广义牛顿方向。我们证明了全步和阻尼步算法的局部平方收敛。然后,我们提出了一个新的两阶段不精确路径跟踪方案解决这个单调包含具有$\mathcal{O}\left(\sqrtν\log(1/\varepsilon)\right)$ -最坏情况下的迭代复杂性,以实现$\varepsilon$ -解决方案,其中$ν$是障碍参数和$\varepsilon$是一个理想的精度。作为副产品,我们定制我们的计划,以解决三个凸问题:凹凸鞍点,非光滑约束凸规划,非光滑凸规划与线性约束。我们还提供了三个数值例子来说明我们的理论和现有的方法进行比较。
2017-07-24 math.OC
A relative-error inertial-relaxed inexact projective splitting algorithm
针对结构化单调包含问题中的极大单调算子之和问题,提出并研究了一个具有相对误差的惯性松弛非精确投影分裂算法.所提出的算法受益于惯性和松弛效应的组合,这两者都由一定范围内的参数控制。我们提出了这些参数的充分条件,并研究了它们之间的相互作用,以保证我们的算法产生的序列的弱收敛。此外,该算法还受益于不精确的子问题解决方案内的相对误差标准。说明性的数值实验LASSO问题表明,与以前的(非惯性和精确)版本的投影分裂时,有一定的改善。
2023-01-24 math.OC
Accelerated differential inclusion for convex optimization
本文提出了一个求解无约束凸优化的二阶微分包含。在连续水平下,得到了解的存在性,并得到了一个新的李雅普诺夫函数随解的轨迹指数衰减。然后在离散层,基于连续模型的数值离散化,提出了两种非精确邻近点法,并通过离散的李雅普诺夫函数建立了新的收敛速度。
2022-02-28 math.OC
A primal-dual splitting algorithm for monotone inclusions with applications
School of Mathematics and Information Science, Guangzhou University(广州大学数学与信息科学学院)
提出一种新的原始-对偶分裂算法,用于求解实Hilbert空间中一类结构化的单调包含问题,该算法统一并推广了多种现有方法,并证明了弱收敛与强收敛性。
2026-09-01 math.OC
A new splitting method for solving composite monotone inclusions involving parallel-sum operators
本文提出了一种新的原始-对偶分裂方法来求解包含Lipschitz算子和平行和型单调算子的复合包含问题。我们的方法扩展了\cite{Siopt4}中的框架,以一种非平凡的方式更一般的一类单调包含。其主要思想是用相关的Kuhn-Tucker集表示原始问题和对偶问题的解集,然后开发一种投影方法来连续逼近Kuhn-Tucker集的可行点。我们提出了一个分裂算法的基础上每个最大单调算子的预解式,以构建一个原始对偶序列,弱收敛到原问题的解决方案。该方法的主要特点是只分别使用每个单调算子的预解式,这与文献中已有的方法不同。作为一个副产品,我们的算法可以专门解决复合凸最小化问题,独立使用每个目标组件的近似算子,并配备了弱收敛保证。
2015-07-25 math.OC
A primal-dual backward reflected forward splitting algorithm for structured monotone inclusions
本文提出一种原对偶后向反射前向分裂方法,用于求解实Hilbert空间中的结构化单调包含问题,支持算子非精确计算,并证明了在相应条件下的强收敛与弱收敛性。
2024-01-10 math.OC
A Splitting Framework for Composite Semimonotone Inclusions
Center for Advanced Intelligence Project, RIKEN(理化学研究所先进智能项目中心);School of Science, RMIT University(皇家墨尔本理工大学理学院);Department of Mathematical Informatics, Graduate School of Information Science and Technology, University of Tokyo(东京大学大学院信息理工学系研究科数学信息学专业);RIKEN(理化学研究所)
该研究提出带仿射约束复合半单调包含的通用分裂框架,通过算子-向量对分离隐式包含与仿射约束,可构造适配算法,扩展现有方法并获更优收敛保证。
2026-08-18 math.OC
An Inexact Halpern Iteration with Application to Distributionally Robust Optimization
University of Maryland College Park(马里兰大学学院公园分校);Weierstrass Institute for Applied Analysis and Stochastics Berlin, Germany(柏林应用分析与随机学研究所);National University of Singapore(新加坡国立大学)
本文提出确定性和随机设置下的不精确Halpern迭代,放宽了不精确条件并保持$O(k^{-1})$收敛速率,应用于两类Wasserstein分布鲁棒优化问题,支持随机一阶方法和非线性凸-凹损失函数的不精确计算。
2025-05-27 cs.LG math.OC
An Inexact Proximal Linearized DC Algorithm with Provably Terminating Inner Loop
Tokyo Institute of Technology(东京工业大学)
针对现有不精确DC算法内循环无法保证有限终止的问题,本文利用ε-次微分提出了不精确近端线性化DC算法tPLDCA,在保证收敛性的同时实现了内循环有限次终止,并给出了可行实现与数值验证。
2025-09-16 math.OC
Linear Convergence of Resolvent Splitting with Minimal Lifting and its Application to a Primal-Dual Algorithm
本文证明最小提升预解分裂算法在有限个极大单调算子求零问题上的线性收敛,并推广至含下确界卷积的凸优化对偶原始算法,数值实验验证于图像去噪。
2024-12-17 math.OC
A Douglas-Rachford type primal-dual method for solving inclusions with mixtures of composite and parallel-sum type monotone operators
Chemnitz University of Technology(德累斯顿工业大学)
本文提出两种原始-对偶分裂算法,基于不精确Douglas-Rachford分裂方法,分别在不同希尔伯特空间中求解涉及复合与并行和型单调算子混合的包含问题,允许在每次迭代中分别处理有界线性算子和集值算子,并通过数值实验验证其在定位和图像去模糊问题中的性能。
2012-12-03 cs.NA math.FA math.NA
Convergence Rates with Inexact Non-expansive Operators
本文给出了由非扩张算子构造的非精确Krasnosel'skiii-Mann迭代的收敛速度分析。我们的结果包括两个主要部分:我们首先建立全局逐点遍历迭代复杂性界,然后,在度量次正则性假设下,我们建立局部线性收敛的距离的迭代的不动点。所得到的迭代复杂度结果可用于分析文献中各种单调算子分裂方法的收敛速度,包括Forward-Backward、广义Forward-Backward、Douglas-Rachford、乘子交替方向法和原始-对偶分裂方法.对于这些方法,我们还开发了易于验证的终止标准,找到一个近似解,这可以看作是一个推广的终止标准的经典梯度下降法。最后,我们开发了一个并行分析的非平稳Krasnosel'skiii-Mann迭代。通过将所得结果应用于一大类结构单调包含和凸优化问题,说明了所得结果的有效性。对信号与图像处理中的一些大规模反问题进行了实验研究。
2015-09-16 math.OC
Backward-Forward-Reflected-Backward Splitting for Three Operator Monotone Inclusions
在这项工作中,我们提出并分析了两个分裂算法找到一个零的总和的三个单调算子,其中一个被假定为Lipschitz连续。这些算法的每次迭代需要一个前向评价的Lipschitz连续算子和一个预解评价的其他两个运营商。通过专门的两个算子包含,我们恢复的前向反射向后和反射向前向后分裂方法作为特殊情况。所提出的算法的灵感来自于上述反射分裂算法的连续时间邻近点法的离散化的解释。
2020-01-21 math.OC
A Note on the Forward-Douglas--Rachford Splitting for Monotone Inclusion and Convex Optimization
我们揭示了结构上的“三个运营商”版本的前向道格拉斯-Rachford分裂算法找到一个零的总和最大单调算子$A + B + C$,其中$B$是cocoercive,只涉及计算$B$和预解式的$A$和$C$,分别。我们表明,它是一个简单的扩展,我们提出的不动点算法作为一个推广的向前向后分裂算法,最初设计用于寻找一个零的任意数量的最大单调算子$\sum_{i=1}^n A_i + B$,其中$B$是cocoercive,只涉及计算$B$和每个$A_i$的预解式。我们认为,前者是“真正的”前向道格拉斯-Rachford分裂算法,在文献中最初使用这个名称。然后,我们突出的扩展到任意数量的最大单调算子的分裂,$\sum_{i=1}^{n} A_i + B + C$,在一个配方承认预处理运营商。最后,我们在非光滑凸优化的背景下,实验证明其利益。
2018-04-27 math.OC
Primal-dual splitting algorithm for solving inclusions with mixtures of composite, Lipschitzian, and parallel-sum monotone operators
我们提出了一个原始-对偶分裂算法求解单调包含涉及的混合和,线性组合,并平行和集值和Lipschitz算子。该算法的一个重要特征是,在制定中存在的Lipschitzian算子可以通过显式步骤单独处理,而集值算子通过其预解式单独处理。此外,该算法是高度并行的,因为它的大多数步骤可以同时执行。这项工作汇集并显着扩展了各种类型的结构化单调包含问题及其解决方法。特别注意凸极小化问题的应用。
2011-08-07 math.OC
An outer reflected forward-backward splitting algorithm for solving monotone inclusions
单调包含在解决信号和图像处理、机器学习、医学图像重建等领域的各种凸优化问题中有着广泛的应用。本文提出了一种新的分裂算法,即外反射前向-后向分裂算法,用于求极大单调算子、单调Lipschitz算子和余强制算子之和的零点.在对迭代参数较弱的条件下,证明了算法的收敛性。作为应用,我们将所提出的算法用于求解包含单调Lipschitz算子、余强制算子以及算子的并行和的复合单调包含问题。该算法的优点是它是一个完全分裂的算法,其中Lipschitz算子和余强制算子通过显式步骤处理,极大单调算子通过它们的预解式处理.
2020-09-26 math.OC
Resolvent Moreau identities without monotonicity: theory and applications to Gabay duality, Douglas--Rachford and ADMM
Curtin University(科廷大学);University of the Bundeswehr Munich(德国联邦国防军慕尼黑大学)
本文提出了一种不依赖单调性的残差Moreau恒等式,用于研究Gabay对偶、Douglas-Rachford和ADMM方法,展示了其在非单调包含问题中的应用,并设计了收敛的残差同伦方案来解决非凸正则化最小绝对偏差问题。
2026-05-18 math.OC
Continuous dynamics related to monotone inclusions and non-smooth optimization problems
本综述的目的是介绍变分分析用于隐式一阶和二阶动力系统求解单调包含和非光滑最优化问题的主要重要技术和工具。对于非光滑函数,微分方程可用预解式(在极大单调集值算子的情况下)或邻近算子表示。所产生的轨迹的渐近分析依赖于李雅普诺夫理论,其中适当的能量泛函起着决定性的作用。虽然大部分的文件是有关单调包含和凸优化问题在变分的情况下,我们也提出了解决非凸优化问题的动力系统的结果,其中使用的Kurdyka-Lojasiewicz属性。
2020-06-30 math.OC
Distributed Proximal-Correction Algorithm for the Sum of Maximal Monotone Operators in Multi-Agent Network
本文研究多智能体网络中极大单调算子之和的包含问题,提出了一种带有累积校正项的分布式邻近点算法,并证明了其在精确与非精确准则下的收敛性及线性收敛率,数值实验验证了其良好性能。
2023-10-24 math.OC
Primal-dual splitting for structured composite monotone inclusions with or without cocoercivity
RMIT University(皇家墨尔本理工大学);University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);The University of Melbourne(墨尔本大学)
本文提出了一种对偶分裂算法,用于解决包含有限个多值算子、多值算子与有界线性算子的组合以及可能无co-coercivity的单值算子的广泛结构复合单调包含问题。该算法不仅统一了几种当前算法,还为通过图结构生成新算法提供了蓝图。
2026-05-13 math.OC
A Stochastic forward-backward splitting method for solving monotone inclusions in Hilbert spaces
提出并分析了求解由极大单调算子与单值极大单调余算子之和构成的单调包含的一种新的随机前后分裂算法的收敛性.后者的框架有一些有趣的特殊情况下,包括变分不等式和凸最小化问题,而随机方法实际上是相关的数据扰动帐户。我们提出的算法是经典的确定性向前向后方法的随机扩展,并得到考虑的组合的极大单调算子的预解式与基于单值算子的随机估计的前一步。我们的研究提供了一个非渐近的误差分析的期望强单调的情况下,以及几乎必然收敛在较弱的假设。我们考虑的方法可以避免平均,一个功能的关键时,考虑基于稀疏性的方法,并为最小化问题,它允许获得匹配的收敛速度随机扩展所获得的所谓的加速方法。随机拟Fejer序列是证明几乎必然收敛的关键技术工具。
2015-02-20 math.OC
Splitting Algorithms for Distributionally Robust Optimization
本文针对离散分布下的分布鲁棒优化问题,提出基于邻近算子和单调包含预解式的两类分裂算法,并通过带不确定性的 Couette 反问题与去噪问题验证比较其效率。
2024-10-28 math.OC
Inertial Douglas-Rachford splitting for monotone inclusion problems
University of Vienna(维也纳大学);Chemnitz University of Technology(开姆尼茨工业大学)
本文提出一种惯性 Douglas-Rachford 分解算法,用于求解 Hilbert 空间中两个极大单调算子之和的零点,并分析其收敛性。通过产品空间方法,将结果应用于求解涉及线性复合和并行和类型算子的单调包含问题,提供单独访问极大单调映射的迭代方案。
2014-03-28 cs.NA math.FA math.NA
Nonlinear Forward-Backward Splitting with Momentum Correction
针对非线性预解式算法的收敛问题,本文以非线性动量项替代校正投影步骤,降低迭代成本,并统一推导、扩展多种前向-后向及原始-对偶方法。
2023-09-29 math.OC
Nonlinear Forward-Backward Algorithm for Solving Non-monotone+Lipschitz Inclusions with Applications to Adjoint Mismatch Problems
Université Paris-Saclay, CentraleSupélec, CVN, Inria(巴黎萨克雷大学、中央苏佩莱克学院、CVN、Inria);Universidad de Concepción(康塞普西翁大学)
本文针对因伴随近似破坏单调性而无法用标准分裂方法的问题,提出非线性前向-后向算法,证明其收敛性并推广了部分流行算法的收敛保证,通过信号恢复实验验证了方法的适用性。
2026-08-25 math.OC
On the proximal point algorithms for solving the monotone inclusion problem
本文针对单调包含问题,通过Yosida正则化改进近端点算法,并引入收缩变体及两个新版本,在非遍历和遍历意义下建立了多种收敛速率。
2023-12-22 math.OC
Variance-Reduced Splitting Schemes for Monotone Stochastic Generalized Equations
The Pennsylvania State University(宾夕法尼亚州立大学)
我们考虑单调包含问题的运营商可能是期望值,一类问题,包括凸随机最优化问题,以及子类的随机变分不等式和平衡问题。分裂方案的直接应用是复杂的,因为需要在每一步解决期望值映射的问题,这是通过使用采样来解决的问题。因此,我们提出了一种解决映射中的不确定性的方法:方差减少的随机修改的前向-后向分裂方案(vr-SMFBS)。在约束设置中,我们考虑结构化设置时的地图可以分解成一个期望值的地图A和一个最大单调映射B与一个听话的预解式。我们表明,建议的计划配备了a.s.收敛保证,线性(强单调A)和O(1/k)(单调A)的收敛速度,同时实现最佳的甲骨文复杂度界限。单调制度中的利率声明似乎是第一个,并依赖于利用菲茨帕特里克缺口函数的单调夹杂物。此外,这些方案依赖于对噪声的较弱矩要求,并允许在强单调区域中减弱对预言机的无偏性要求。一类两阶段随机变分不等式问题的初步数值结果反映了这些发现,并表明方差约化概形优于随机逼近计划和样本平均逼近方法。当预解式计算昂贵时,获得确定性收敛速度的好处变得更加突出。
2021-10-18 cs.LG math.OC
Forward-Backward-Half Forward Algorithm for Solving Monotone Inclusions
Tseng算法通过每次迭代两次评估单调连续算子来找到最大单调算子和单调连续算子之和的零点。在本文中,我们修改了Tseng的算法,寻找一个零的三个运营商的和,我们添加了一个余强制运营商的包含。由于余度算子和单调Lipschitz算子的和是单调Lipschitz的,我们可以使用Tseng的方法来解决这个问题,但每次迭代都要实现两次两个算子,而不考虑一个算子的余度性质。相反,在我们的方法中,虽然{连续单调}算子仍然必须被评估两次,但我们通过每次迭代仅评估一次来利用一个算子的余度。此外,当cocoercive或{连续单调}运营商是零,它减少到曾的或向前向后分裂,分别统一,以这种方式两种算法。此外,我们提供了一个{预处理}版本的方法,包括非自伴线性算子的计算预解式和单值算子。这种方法允许我们{也}扩展以前的变量度量版本的曾的和向前向后的方法,并简化其条件的基础指标。我们还利用非自伴线性算子在原对偶积空间中按块成三角形的情形来求解原对偶复合单调包含,得到了Gauss-Seidel型算法,推广了文献中已有的几种原对偶方法.最后,我们探讨{障碍问题,经验风险最小化,分布式优化和非线性规划的应用,我们通过一些数值模拟来说明该方法的性能。
2018-03-23 math.OC
On the Bredies-Chenchene-Lorenz-Naldi algorithm
本文补充Bredies等人提出的算法框架分析,通过关联底层算子不动点集的投影,在线性关系下获得强收敛结果,并给出实例验证。
2025-04-23 math.FA math.OC
Monotonicity of Pairs of Operators and Generalized Inertial Proximal Method
Ton Duc Thang University(胡志明市通德大学);National School of Applied Sciences, Sidi Mohammed Ben Abdellah University(阿卜杜勒阿齐兹·本·阿卜杜拉大学国立应用科学学院);University of Limoges(利摩日大学)
本文提出了一种基于算子对单调性的广义惯性近点算法,解决了关联映射设计问题,并证明了算法的收敛性,通过数值实验验证了其有效性。
2026-01-19 math.OC
Preconditioning PDE-constrained optimization with $\rm L^1$-sparsity and control constraints
Università degli Studi di Firenze(佛罗伦萨大学);Università di Bologna(博洛尼亚大学);Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所)
本文提出了一种鲁棒的预条件器,用于解决包含L1稀疏性和控制约束的PDE约束优化问题,通过结合线搜索策略和近似方法,使半光滑牛顿法适用于实际问题,并通过理论分析和数值实验验证了方法的鲁棒性。
2016-11-22 cs.NA math.NA math.OC
Primal-dual extrapolation methods for monotone inclusions under local Lipschitz continuity
University of Minnesota(明尼苏达大学)
针对一个极大单调算子与一个局部Lipschitz连续算子之和的单调包含问题,提出带回溯线搜索的原始-对偶外推方法,将非强单调情形的运算复杂度从O(ε^{-2})提升至O(ε^{-1}log ε^{-1}),并推广至凸锥优化、鞍点与变分不等式问题。
2024-08-31 cs.LG cs.NA math.NA
Anchored Extra-Proximal Methods: Optimal Higher-Order Methods for Monotone Inclusion Problems
Google Research(谷歌研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
提出锚定额外近端框架,结合锚定外推与相对误差非精确近端更新,构造高阶方法,在切向残差准则下达到最优预言机复杂度,并给出匹配下界。
2026-11-10 cs.LG math.OC stat.ML
Stochastic Bregman Subgradient Methods for Nonsmooth Nonconvex Optimization Problems
本文研究目标函数缺乏Clarke正则性时的随机Bregman次梯度方法,通过微分包含建立收敛性,提出非精确求解与动量集成机制,并验证其在训练非光滑神经网络中的有效性。
2025-05-29 math.OC
Anisotropic Proximal Point Algorithm
KU Leuven(荷语鲁汶大学)
本文提出了一种各向异性近端点算法,通过非线性双空间预条件方法解决单调和相对协单调包含问题,并推导了任意阶收敛速度。
2025-12-29 math.OC
An Augmented Lagrangian Primal-Dual Semismooth Newton Method for Multi-Block Composite Optimization
本文针对带线性约束的多块凸复合优化问题,提出基于可微增广拉格朗日函数的ALPDSN半光滑牛顿法,证明其全局收敛与超线性收敛速率,数值实验验证了方法的高效性与鲁棒性。
2024-05-16 math.OC
The First Optimal Algorithm for Smooth and Strongly-Convex-Strongly-Concave Minimax Optimization
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Institute for Information Transmission Problems RAS(俄罗斯科学院信息传输问题研究所)
本文研究了光滑强凸-强凹极小极大最优化问题。Zhang等人(2021)和Ibrahim等人(2020)建立了关于找到$ε$精确解所需的梯度评估数量的下限$Ω\left(\sqrt{κ_xκ_y} \log \frac{1}ε\right)$,其中$κ_x$和$κ_y$是强凸性和强非凸性假设的条件数。然而,现有的最先进的方法不匹配这个下限:Lin等人(2020)和Wang和Li(2020)的算法分别具有梯度评估复杂度$\mathcal{O}\left( \sqrt{κ_xκ_y}\log^3\frac{1}ε\right)$和$\mathcal{O}\left( \sqrt{κ_xκ_y}\log^3 (κ_xκ_y)\log\frac{1}ε\right)$。我们通过提供具有$\mathcal{O}\left(\sqrt{κ_xκ_y}\log\frac{1}ε\right)$梯度评估复杂度的第一算法来解决这个基本问题。我们设计我们的算法分为三个步骤:(i)我们通过逐点共轭函数将原始问题重新表示为最小化问题;(ii)我们将邻近点法的特定变体应用于重新表示的问题;(iii)我们使用单调包含中算子范数约简的最优算法不精确地计算邻近算子。
2022-05-11 cs.LG math.OC
Relaxed and inertial nonlinear Forward-Backward algorithm
Universidad de O’Higgins(奥希金斯大学);Universidad de Chile(智利大学);Universidad de Concepción(康塞普西翁大学);Universidad de Tarapacá(塔拉帕卡大学)
本文提出了一种放松和惯性非线性前向-反向算法,研究其收敛性并验证了其在优化和图像恢复中的有效性。
2025-12-01 math.OC
On the computation of equilibria in monotone and potential stochastic hierarchical games
我们考虑一类分层非合作$N$ -局中人博弈,其中第$i$局中人求解一个带平衡约束的参数化随机数学规划(MPEC),并指出在给定对手决策的情况下,MPEC中第$i$局中人的隐式形式在局中人策略是凸的.我们在两个不同的制度:(a){ \em单调制度。}当局中人特定的隐式问题是凸的时,则平衡的充要条件由随机包含给出。在算子的单调性假设下,我们提出了一种方差减少的随机逼近点方案,该方案在单调/强单调制度下解决逼近点问题时达到了确定的收敛速度,并且该方案的特征在于最佳或接近最佳的样本复杂性保证。(b){ \em潜力。}当游戏的隐式形式承认一个势函数,我们开发了一个异步放松不精确平滑最近的最佳反应框架。我们考虑这个游戏的平滑对应,每个玩家的问题是通过随机平滑平滑。值得注意的是,在适当的假设下,我们证明了一个$η$ -平滑的游戏承认一个$η$ -近似纳什均衡的原始游戏。我们提出的方案产生的序列,几乎肯定收敛到一个$η$ -近似纳什均衡。平滑框架允许开发一个方差减少零阶计划,这样的问题,承认一个快速的收敛速率。对一类多领导者多跟随者对策的数值研究表明,方差减小的邻近方案提供了显着更好的精度和更低的运行时间。放松的最佳反应计划规模以及将问题的大小,一般表现出更大的稳定性比其非放松对应。
2022-02-22 math.OC