Halpern iteration for a finite family of quasinonexpansive mappings on a complete geodesic space with curvature bounded above by one
在曲率上有界的完备测地空间中,考虑了有限族拟非扩张映象的Halpern迭代格式,并证明了到其公共不动点的强收敛定理.
2019-11-16 math.FA math.OC
New operator designs for Halpern iterations with explicit rates under Hölder error bounds
School of Applied Mathematics, FGV(应用数学学院,FGV);Department of Mathematics, UFSC(数学系,UFSC)
针对有限个闭凸集交集上的最佳逼近问题,研究拟非扩张算子的Halpern型迭代的渐近行为,在Hölder误差界假设下导出可行性和范数误差的显式收敛速率。
2026-07-07 math.OC
From Halpern's Fixed-Point Iterations to Nesterov's Accelerated Interpretations for Root-Finding Problems
The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文通过将Halpern迭代与Nesterov加速方法等价转换,推导出求根问题的新收敛率,并改进了非单调算子的加速梯度方法。
2026-04-15 math.OC
Stochastic Halpern Iteration with Variance Reduction for Stochastic Monotone Inclusions
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Pontificia Universidad Católica de Chile(智利天主教大学)
我们研究随机单调包含问题,它广泛出现在机器学习应用中,包括鲁棒回归和对抗学习。我们提出了新的变种随机Halpern迭代递归方差减少。在共强制(更一般地是Lipschitz单调)设置中,我们的算法通过$\mathcal{O}(\frac{1}{ε^3})$随机算子评估获得了算子的$ε$范数,这显着改善了现有单调包含求解器所需的最新技术水平的$\mathcal{O}(\frac{1}{ε^4})$随机算子评估。应用于相同的问题类。我们进一步展示了如何耦合的随机Halpern迭代与预定的重新启动计划,以解决随机单调包含问题的${\mathcal{O}}(\frac{\log(1/ε)}{ε^2})$随机算子评估下额外的锐度或强单调性假设的一个拟议的变种。
2023-01-08 cs.LG math.OC
Minimax-optimal Halpern iterations for Lipschitz maps
Universidad de Santiago de Chile(圣地亚哥智利大学);Pontificia Universidad Católica de Chile(智利天主教 Pontificia 大学);Seoul National University(首尔大学)
本文提出了Lipschitz映射的最优Halpern迭代方案,通过最小化紧界确定最优算法,并扩展至无界域和仿射映射。
2026-01-22 math.OC math.ST stat.TH
A Banach-Space Theory of Markovian Halpern Iteration for Non-Expansive Maps
Elmore Family School of Electrical and Computer Engineering, Purdue University(普渡大学埃尔莫尔家族电气与计算机工程学院)
本文针对马尔可夫轨迹下非扩张算子不动点的随机逼近问题,提出方差缩减的马尔可夫 PAGE-Halpern 方法,在巴拿赫空间等场景下降低了样本复杂度并建立了高概率保证。
2026-09-28 cs.LG math.OC
Halpern Iteration for Near-Optimal and Parameter-Free Monotone Inclusion and Strong Solutions to Variational Inequalities
UW-Madison(威斯康星大学麦迪逊分校)
我们利用非扩张映射、单调Lipschitz算子和邻近映射之间的联系来获得近优(即,最佳的多对数因子的迭代复杂性)和参数的方法解决单调包含问题。这些结果立即转化为近似变分不等式问题的强解的近最优保证,近似凸-凹极小-极大最优化问题,并最小化极小-极大最优化问题的梯度范数。我们的分析是基于一个新的和简单的潜在的Halpern迭代的收敛性证明,一个经典的迭代寻找非扩张映射的不动点。此外,我们提供了一系列的算法减少,突出不同的问题类之间的连接,并导致下界,证明近最优的研究方法。
2020-04-11 cs.DS cs.LG math.OC
Asymptotic regularity of a generalised stochastic Halpern scheme
本文提出了一种广义随机Halpern迭代方案,提供了其渐进行为速率的统一分析,并探讨了其在强化学习中的应用。
2025-12-18 cs.LG math.OC math.PR
Halpern Acceleration of the Inexact Proximal Point Method of Rockafellar
Dongguan University of Technology(东莞理工学院)
本文提出了一种Halpern加速的不精确近端点法,用于解决最大单调包含问题,并在约束凸优化中扩展了该方法,实现了O(1/k²)和线性收敛速度。
2026-01-07 math.OC
An Inexact Halpern Iteration with Application to Distributionally Robust Optimization
University of Maryland College Park(马里兰大学学院公园分校);Weierstrass Institute for Applied Analysis and Stochastics Berlin, Germany(柏林应用分析与随机学研究所);National University of Singapore(新加坡国立大学)
本文提出确定性和随机设置下的不精确Halpern迭代,放宽了不精确条件并保持$O(k^{-1})$收敛速率,应用于两类Wasserstein分布鲁棒优化问题,支持随机一阶方法和非线性凸-凹损失函数的不精确计算。
2025-05-27 cs.LG math.OC
Halpern Iteration Achieves $\tilde{\mathcal{O}}(ε^{-1/p})$ $p$th-Order Oracle Complexity for Monotone Variational Inequalities
IIIS, Tsinghua University(清华大学智能产业研究院);College of AI, Tsinghua University(清华大学人工智能学院);Apex Intelligence(顶点智能科技);School of Mathematical Sciences, Tongji University(同济大学数学科学学院);Department of Artificial Intelligence, Westlake University(西湖大学人工智能系)
针对光滑单调变分不等式求解,提出结合大步长非精确Halpern迭代与NPE的Halpern-NPE方法及p阶推广,提升了p≥2时的收敛速率,p=1时匹配经典外梯度法结果。
2026-08-11 cs.AI math.OC
Quantitative results on a Halpern-type proximal point algorithm
本文应用证据挖掘方法分析了Boikanyo和Morocanu关于Halpern型邻近点法强收敛性的一个结果。因此,我们得到定量版本的结果,提供统一的有效率的渐近正则性和亚稳定性。
2021-02-26 math.LO math.OC
On the Rate of Asymptotic Regularity of Iterative Methods for Nonexpansive Mappings in CAT(0) Spaces and Hyperbolic Optimization
本文将Banach和Hilbert空间中的渐近正则性证明技术扩展到完备CAT(0)空间,并引入双曲优化的Halpern型优化器作为欧几里得HalpernSGD的非线性对应。
2026-06-23 math.FA math.OC
Optimal error bounds for nonexpansive fixed-point iterations in normed spaces
本文研究了计算非扩张映射不动点的一般Mann迭代法的最优误差界和收敛速度。我们寻找迭代,实现最小的不动点残差后,$n$步骤,最小化最坏情况下的约束$\|x^n-Tx^n\|\le R_n$来自一个嵌套的家庭的最佳运输问题。我们证明了这个界是紧的,使最小化$R_n$产生最优迭代。从数值结果的启发,我们确定迭代,达到率$R_n=O(1/n)$,我们也证明是最好的可能。特别是,我们证明了经典的Halpern迭代实现这一最佳速率的几个替代步长,我们确定解析的最佳步长,达到最小的最坏情况下的残差在每一步$n$,与紧界$R_n\approx\frac{4}{n+4}$。我们还确定了仿射非扩张映射的最佳Halpern步长,我们得到了确切的$R_n=\frac{1}{n+1}$。最后,我们表明,经典的Krasnosel'ski \u的最佳速率-曼迭代是$Ω(1/\sqrt{n})$,并提出了数值证据表明,即使扩展的变体不能达到更快的速度。
2022-05-12 math.OC
Stochastic Halpern iteration in normed spaces and applications to reinforcement learning
Universidad Adolfo Ibáñez(阿道弗·伊巴涅斯大学);Facultad de Ingeniería y Ciencias(工程与科学学院);Escuela de Ingeniería Industrial(工业工程学院)
本文研究带小批量的随机 Halpern 迭代,证明其在非扩张与 γ-压缩算子中的预言机复杂度及下界,并据此提出适用于平均/折扣回报 MDP 的无模型强化学习算法。
2025-05-09 cs.LG math.OC stat.ML
Variance Reduced Halpern Iteration for Finite-Sum Monotone Inclusions
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Wisconsin Institute for Discovery, University of Wisconsin–Madison(威斯康星大学麦迪逊分校威斯康星发现研究所)
本文针对有限和单调包含问题提出采用方差缩减的 Halpern 迭代变体,将预言机复杂度改进至近最优的 $\widetilde{\mathcal{O}}(n+\sqrt{n}L\varepsilon^{-1})$,较现有方法提升最多 $\sqrt{n}$ 倍。
2023-10-26 cs.LG math.OC
Halpern-Type Accelerated and Splitting Algorithms For Monotone Inclusions
本文提出了一类新的求解极大单调方程和单调包含的加速算法。我们的方法没有使用Nesterov的加速方法,而是依赖于[32]中所谓的Halpern型定点迭代,最近被许多研究人员利用,包括[24,70]。首先,我们基于Popov过去的求解极大单调方程$G(x) = 0$的额外梯度方法,导出了文[70]中锚定额外梯度格式的一个新变体。我们表明,我们的方法实现了相同的$\mathcal{O}(1/k)$收敛速度(到一个常数因子)的锚定额外的梯度算法上的运营商规范$\Vert G(x_k)\Vert$,但只需要一个评估$G$在每次迭代,其中$k$是迭代计数器。其次,我们发展了两个分裂算法来逼近两个极大单调算子之和的零点。第一种算法源于锚定超梯度法并结合分裂技术,而第二种算法是它的Popov变体,可以降低每次迭代的复杂度。这两种算法似乎是新的,可以被看作是加速的道格拉斯-Rachford(DR)分裂方法的变种。它们都实现了与问题相关的前向-后向残差算子$G_γ(\cdot)$的范数$\Vert G_γ(x_k)\Vert$上的$\mathcal{O}(1/k)$率。我们还提出了一个新的加速Douglas-Rachford分裂方案来解决这个问题,实现$\mathcal{O}(1/k)$收敛速度$\Vert G_γ(x_k)\Vert$下,只有最大单调的假设。最后,我们指定了我们的第一个算法来解决凹…
2021-12-06 math.OC stat.ML
HPPP: Halpern-type Preconditioned Proximal Point Algorithms and Applications to Image Restoration
Department of Mathematics, National University of Defense Technology(数学系,国防科技大学)
HPPP算法通过结合Halpern迭代方法的强收敛性和加速特性,改进了退化PPP方法,并应用于图像恢复中的PnP先验加速
2025-11-21 cs.CV math.OC
Quadratic rates of asymptotic regularity for the Tikhonov-Mann iteration
本文在W-双曲空间中计算了Tikhonov-Mann迭代的二次渐近正则性。这种迭代是Bot,Csetnek和Meier最近在希尔伯特空间中定义的修正的Mann迭代的非线性设置的推广。此外,我们表明,道格拉斯-Rachfors和向前向后的算法与Tikhonov正则化项的特殊情况下,在希尔伯特空间,我们的Tikhonov-Mann迭代。
2022-02-18 math.OC
A Unifying View of Anchoring via Operator-Side Tikhonov Regularization
UC Berkeley(加州大学伯克利分校)
本文提出锚定固定点和单调方程方法可通过在基础方法查询的算子上添加消失的Tikhonov正则项来统一构造,并分析了四种变体的残差收敛率。
2026-05-29 cs.LG math.OC
Rates of asymptotic regularity of the Tikhonov-Mann iteration for families of mappings
该研究将希尔伯特空间中非扩张映射族的Krasnoselskii-Mann型强收敛迭代推广至W-双曲空间,算出其有效渐近正则速率,同时把Tikhonov-Mann迭代的相关结果从单映射拓展到映射族。
2023-06-13 math.OC
Convergence rate analysis for averaged fixed point iterations in the presence of Hölder regularity
本文在希尔伯特空间中建立了由平均算子生成的不动点迭代的次线性和线性收敛性。我们的结果是在有界Hölder正则性假设下实现的,该假设推广了著名的有界线性正则性概念。作为我们的结果的应用,我们提供了一个收敛速度分析Krasnoselskiii-Mann迭代,循环投影算法,道格拉斯-Rachford可行性算法以及一些变种。在重要的情况下,其中的基础集是凸多项式在有限维空间中所描述的凸集,我们表明,Hölder正则性自动满足,从次线性收敛如下。
2016-08-18 math.OC
Quantitative asymptotic regularity of the VAM iteration with error terms for m-accretive operators in Banach spaces
本文利用证明挖掘方法,研究了Banach空间中m-增生算子带误差项的粘性逼近方法(VAM)的渐近正则性,并通过应用Sabach和Shtern的引理为具体参数序列计算出线性速率。
2024-06-25 math.OC
Abstract strongly convergent variants of the proximal point algorithm
证明了CAT(0)空间中Halpern型和Tikhonov型邻近点法强收敛的抽象形式.此外,我们得出统一的和可计算的亚稳态率(在道的意义上),这些迭代使用证明挖掘技术。
2022-11-21 math.LO math.OC
Provable Parameter-Free Fixed-Point Algorithms with Linear Convergence Rates
The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Posts and Telecommunications Institute of Technology(邮电技术学院);Fire and Rescue Academy(消防救援学院)
本文提出两种无参数及自适应Halpern不动点算法,结合Tikhonov正则化得到求解余强制方程的无参数方法,还推导了无参数Nesterov加速变体,均具线性收敛性,实验显示其性能优于或相当现有自适应不动点方法。
2026-10-12 math.OC stat.ML
Rates of (T-)asymptotic regularity of the generalized Krasnoselskii-Mann-type iteration
本文用证明挖掘方法计算广义Krasnoselskii-Mann型迭代的渐近正则性速率,并在特殊参数下得到二次速率。
2025-01-22 math.LO math.OC
Quartic Regularity
在本文中,我们提出了新的线性收敛的二阶方法,最小化凸四次多项式。该框架被应用于设计优化方案,它可以解决一般的凸问题,满足一个新的四次正则性条件。它假设目标函数的四阶导数是正定性和有界的。对于这类问题,适当的四次正则化阻尼牛顿法具有全局线性收敛速率。我们讨论了这一结果的几个重要后果。特别是,它可以用来构造新的二阶方法的框架内的高阶近似点计划。这些方法具有收敛速度$\tilde O(k^{-p})$,其中$k$是迭代计数器,$p$等于3、4或5,波浪线表示辅助问题的复杂性边界中存在对数因子,这些辅助问题在方案的每次迭代中求解。
2022-01-13 math.OC
Quantitative metastability of the Tikhonov-Mann iteration for countable families of mappings
本文研究了CAT(0)空间中可数映射族的Tikhonov-Mann迭代,获得了其亚稳态速率,并将其作为强收敛版Krasnoselskii-Mann迭代及单映射迭代的推广。
2024-06-05 math.OC
Random Function Iterations for Consistent Stochastic Feasibility
本文研究了在相容情形下(在Butnariu和Flåm(1995)的意义下),在几种不同的情形下,在不动点映射的正则性限制递减的假设下,随机不动点迭代的收敛性.迭代是马尔可夫链,并为这项研究的目的,收敛是非常严格的条款理解。我们证明了Nedić(2011)提出的随机投影算法的几何(线性)期望收敛的充分条件,实际上是迭代随机函数的几何(线性)期望收敛的必要条件.
2018-09-21 math.OC
An induction theorem and nonlinear regularity models
利用Banach,Schauder,Lusternik和Graves的迭代方法,研究了集值映射$F:X\times R_+\rightrightarrows Y$的一般非线性正则性模型,其中$X$和$Y$是度量空间.也就是说,我们修正了Khanh,J. Math. Anal.应用程序、118(1986),并利用它获得研究正则性/开放性性质的基本估计。我们还证明了在建立其它正则性准则时,它可以代替Ekeland变分原理.然后,我们应用归纳定理和上述估计,建立我们的模型的正则性/开放性的全局和局部版本的标准,并演示如何将定义和标准转化为传统的设置的集值映射$F:X\rightrightarrows Y$。
2015-07-17 math.OC
Necessary conditions for linear convergence of iterated expansive, set-valued mappings with application to alternating projections
本文给出了违反通常的非扩张性质的映射的不动点迭代以某种形式单调的必要条件。我们发现,最合理的线性型单调的不动点序列的概念意味着{ \em度量次正则}。这是专门的交替投影迭代的度量次正则性属性采取不同的几何特征集的交点称为{ \em subtransversality}。我们更一般的结果不动点迭代专门建立的必要性subtransversality一致的可行性与一些合理类型的顺序单调性,根据不同程度的假设的规则性的集合。
2018-05-25 math.OC
Sublinear Convergence Rates of Extragradient-Type Methods: A Survey on Classical and Recent Developments
G. M. Korpelevich于1976年提出的方法是近似解鞍点问题及其扩展问题如变分不等式和单调包含的一个著名的方法。多年来,在文献中已经提出并研究了EG的许多变体。最近,这些方法由于在机器学习和鲁棒优化中的新应用而受到欢迎。在这项工作中,我们调查的EG方法及其变种的最新发展,近似解的非线性方程和包含,重点是单调性和共亚单调设置。我们提供了一个统一的收敛性分析不同类别的算法,强调次线性最佳和最后的收敛速度收敛速度。我们还讨论了最近的加速EG的Halpern固定点迭代和Nesterov的加速技术的基础上的变种。我们的方法使用简单的参数和基本的数学工具,使证明尽可能基本,同时保持一般性,以涵盖广泛的问题。
2023-03-30 math.OC stat.ML
Rate of metastability of an iterative algorithm for quadratic optimization
本研究运用证明挖掘方法定量分析Xu的定理,得到二次优化迭代算法的亚稳定速率与部分渐近正则速率,还求出特定序列的二次渐近正则速率。
2025-06-12 math.LO math.OC
On the rate of convergence of Krasnoselski-Mann iterations and their connection with sums of Bernoullis
Universidad de Chile(智利大学)
本文建立了非扩张映射不动点计算的Krasnoselski-Mann迭代的收敛速率估计,解决了Baillon-Bruck猜想,并通过建立迭代与非齐次伯努利试验和之间的随机过程联系以及利用新的Hoeffding型不等式来证明。
2012-11-29 cs.NA math.FA math.NA
Extragradient-Type Methods with $\mathcal{O} (1/k)$ Last-Iterate Convergence Rates for Co-Hypomonotone Inclusions
本文提出两种Nesterov加速的外梯度方法求解余次单调包含问题,分别基于Tseng分裂和“过去”FBFS方案,在适当条件下证明残差范数达到$\mathcal{O}(1/k)$末次迭代收敛速率,并给出额外锚定梯度方法的对比分析。
2023-10-14 math.OC stat.ML
Policy iteration for the deterministic control problems -- a viscosity approach
本文针对连续时间确定性最优控制问题,提出通过空间有限差分添加粘性项的半离散格式,证明策略迭代指数收敛并给出误差界,同时研究了时空全离散格式下的收敛速率与离散化误差。
2025-04-09 cs.NA math.AP math.NA
Convergence Rate Analysis for Fixed-Point Iterations of Generalized Averaged Nonexpansive Operators
我们估计了一类非线性算子的不动点迭代的收敛速度,这类算子的部分动机是解凸优化问题。引入了具有正指数的广义平均非扩张(GAN)算子的概念,并给出了GAN算子不动点迭代的收敛速度分析。所提出的广义平均非扩张性比平均非扩张性弱,但比非扩张性强。证明了正指数GAN算子的不动点迭代收敛于其不动点,并根据指数的取值范围估计了局部收敛速度(收敛速度与相邻迭代点之间的距离有关).我们证明了正指数严格小于1的GAN算子的不动点迭代可以达到指数整体收敛速度(收敛速度表示为解与顶点之间的距离).进一步,当GAN算子也是H $\ddot{\text{o}}$ lder正则算子时,我们建立了GAN算子的不动点迭代的整体收敛速度,它依赖于广义平均非扩张性指数和H $\ddot{\text{o}}$ lder正则性指数.然后,我们将所建立的理论应用于数据科学中经常出现的三种类型的凸优化问题,设计用于解决这些最优化问题的不动点迭代算法,并分析其收敛特性。
2021-08-15 cs.NA math.NA math.OC
On the Convergence of the Policy Iteration for Infinite-Horizon Nonlinear Optimal Control Problems
本文研究了无限时域非线性自治最优控制中策略迭代在有界计算域内的收敛性挑战,证明了其可行性取决于广义HJB方程解的存在性、唯一性与正则性,并提出一种保证计算域前向不变性的构造性方法及充分条件,最后通过网格数值实验验证了理论。
2025-07-14 cs.NA math.NA math.OC
Linear and strong convergence of algorithms involving averaged nonexpansive operators
University of British Columbia(不列颠哥伦比亚大学);Université Paul Sabatier(图卢兹第三大学)
本文研究了平均非扩张算子的正则性概念,结合其不动点集的正则性,得出了准循环、循环和随机迭代的线性和强收敛结果,并给出了Borwein-Tam方法和循环锚定Douglas-Rachford算法的新收敛结果,最后通过数值比较展示了这些方法在求解凸可行性问题中的性能。
2014-02-22 cs.NA math.FA math.NA