Line Search for Averaged Operator Iteration
凸优化的许多一阶算法,如前向后分裂、Douglas-Rachford分裂和乘子的交替方向法(ADMM),都可以表示为非扩张映射的平均迭代。在本文中,我们提出了一个线搜索平均迭代,保持理论上的收敛保证,同时往往加快实际收敛。我们讨论了几个一般情况下,线搜索的额外计算成本是适度的节省相比。
2016-06-27 math.OC
How averaged is the composition of two linear projections?
投影算子是分析和优化中的基本算法算子。众所周知,这些算子是强非扩张的;然而,它们的复合一般只是平均的,不再是强非扩张的。本文引入平均模,给出了两个线性投影算子合成的精确结果。因此,我们推导出Ogura-Yamada界的组合模是尖锐的。
2023-03-24 math.FA math.OC
Conical averagedness and convergence analysis of fixed point algorithms
研究了平均非扩张算子的锥扩张及其在不动点算法收敛性分析中的作用。系统地研究了锥平均算子的各种性质,特别是松弛、凸组合和复合下的稳定性。得到了广义单调算子的预解式的锥平均性质。然后利用这些属性,以分析的收敛性的邻近点法,向前向后算法,和自适应道格拉斯-Rachford算法。我们的研究统一,改进和投射新的光在这些主题的最近研究。
2020-11-30 math.OC
Lipschitz Certificates for Layered Network Structures Driven by Averaged Activation Operators
获得尖锐的Lipschitz常数的前馈神经网络是必不可少的,以评估其鲁棒性,面对其输入的扰动。我们推导出这样的常数的上下文中的一般分层网络模型,涉及非扩张平均运营商和仿射运营商的组合物。通过利用这种架构,我们的分析精细地捕捉层之间的相互作用,产生更紧密的Lipschitz常数比那些从产品的各个层组的界限。所提出的框架,特别是前馈神经网络中遇到的许多实际情况。我们的Lipschitz常数估计在采用标量非线性函数的结构的情况下得到进一步改进,其中包括标准卷积网络作为特殊情况。
2020-06-20 math.OC
Convergence Rate Analysis for Fixed-Point Iterations of Generalized Averaged Nonexpansive Operators
我们估计了一类非线性算子的不动点迭代的收敛速度,这类算子的部分动机是解凸优化问题。引入了具有正指数的广义平均非扩张(GAN)算子的概念,并给出了GAN算子不动点迭代的收敛速度分析。所提出的广义平均非扩张性比平均非扩张性弱,但比非扩张性强。证明了正指数GAN算子的不动点迭代收敛于其不动点,并根据指数的取值范围估计了局部收敛速度(收敛速度与相邻迭代点之间的距离有关).我们证明了正指数严格小于1的GAN算子的不动点迭代可以达到指数整体收敛速度(收敛速度表示为解与顶点之间的距离).进一步,当GAN算子也是H $\ddot{\text{o}}$ lder正则算子时,我们建立了GAN算子的不动点迭代的整体收敛速度,它依赖于广义平均非扩张性指数和H $\ddot{\text{o}}$ lder正则性指数.然后,我们将所建立的理论应用于数据科学中经常出现的三种类型的凸优化问题,设计用于解决这些最优化问题的不动点迭代算法,并分析其收敛特性。
2021-08-15 cs.NA math.NA math.OC
Computing the resolvent of the sum of maximally monotone operators with the averaged alternating modified reflections algorithm
本文推广平均交替修正反射算法以计算极大单调算子之和的预解式,提出强收敛的新分裂方法,并借助乘积空间重构给出两种并行变体。
2018-12-18 math.OC
How averaged is the projection?
本文研究投影算子的平均化程度,通过发展平均算子理论给出精确下界,并分析了算子复合的平均化性质,从而强化了投影算子强非扩张的经典结论。
2025-07-22 cs.NA math.FA math.NA
Linear and strong convergence of algorithms involving averaged nonexpansive operators
University of British Columbia(不列颠哥伦比亚大学);Université Paul Sabatier(图卢兹第三大学)
本文研究了平均非扩张算子的正则性概念,结合其不动点集的正则性,得出了准循环、循环和随机迭代的线性和强收敛结果,并给出了Borwein-Tam方法和循环锚定Douglas-Rachford算法的新收敛结果,最后通过数值比较展示了这些方法在求解凸可行性问题中的性能。
2014-02-22 cs.NA math.FA math.NA
Controllability and observability for non-autonomous evolution equations: the averaged Hautus test
我们考虑非自治演化系统的可观测性问题(即,管理系统的操作者依赖于时间)。我们引入了一个平均Hautus条件,并证明了对于斜伴随算子,它是精确能观性的特征.接下来,我们将其扩展到更一般的运营商类的增长条件下,相关的演化家庭。我们给出了具有不定常势的薛定谔方程和具有不定常阻尼系数的阻尼波动方程的应用。
2018-02-26 math.AP math.OC
Time-Varying Convex Optimization via Time-Varying Averaged Operators
设计有效的算法来跟踪连续变化的凸优化问题的优化器在许多应用中是关键。一种可能的策略是以恒定速率对时变问题进行采样,并解决由此产生的时不变问题。在许多情况下,这可能在计算上过于繁重。另一种策略是建立一个迭代算法,该算法生成一系列近似优化器,每次通过算法的一次迭代获得新的采样时不变问题时,都会对这些近似优化器进行细化。这些类型的算法被称为运行。现有算法的一个主要局限性是对时变凸函数的强凸性和强光滑性的基本假设。此外,约束仅在简单情况下处理。这限制了当前运行算法来解决相关问题的能力,例如$\ell_1$ -正则化优化程序。在本文中,这些假设被解除,利用平均算子理论和一个相当全面的框架,随时间变化的凸优化。在这样做的过程中,一些广泛使用的算法的运行版本的收敛特性的新结果。
2017-11-27 math.OC
Natural Policy Gradient as Doubly Smoothed Policy Iteration: A Bellman-Operator Framework
Edwardson School of Industrial Engineering, Purdue University(工业工程学院,普渡大学)
本文提出双重平滑策略迭代框架,将自然策略梯度等方法统一为贝尔曼算子形式,证明其分布无关的几何收敛性,且无需修改MDP或引入额外正则化。
2026-05-11 cs.LG math.OC stat.ML
Computing Wasserstein Barycenter via operator splitting: the method of averaged marginals
针对平衡与非平衡 Wasserstein 重心计算的大规模线性或凸非光滑优化难题,提出基于 Douglas–Rachford 分裂、可并行随机化的平均边缘分布算法。
2024-10-24 math.OC
Relaxed Averaged Alternating Reflections for Diffraction Imaging
我们报告迭代相位恢复算法的进展。利用凸优化理论,对相位恢复的非凸优化问题进行了研究。我们提出了平均交替反射算子的一种松弛方法,并确定了凸情形下相关算子的不动点集。数值研究支持我们的理论观察,并证明了该算法的有效性相比,目前的最先进的。
2004-05-12 math-ph math.MP math.OC
Linear Convergence and Error Bounds for Optimization Without Strong Convexity
Tilburg University(蒂尔堡大学);Carnegie Mellon University(卡内基梅隆大学);Lehigh University(利哈伊大学)
本文证明局部误差界条件是平均算子不动点迭代线性收敛的充要条件,为无强凸性下ADMM等算法提供了通用收敛分析框架。
2025-10-31 math.OC
Firmly nonexpansive and Kirszbraun-Valentine extensions: a constructive approach via monotone operator theory
利用我们最近关于单调算子的构造性扩张的基于近似平均的结果,我们为著名的Kirszbraun-Valentine定理和强非扩张映射的扩张提供了一种新的方法.
2008-07-08 math.FA math.OC
Convergence rate analysis for averaged fixed point iterations in the presence of Hölder regularity
本文在希尔伯特空间中建立了由平均算子生成的不动点迭代的次线性和线性收敛性。我们的结果是在有界Hölder正则性假设下实现的,该假设推广了著名的有界线性正则性概念。作为我们的结果的应用,我们提供了一个收敛速度分析Krasnoselskiii-Mann迭代,循环投影算法,道格拉斯-Rachford可行性算法以及一些变种。在重要的情况下,其中的基础集是凸多项式在有限维空间中所描述的凸集,我们表明,Hölder正则性自动满足,从次线性收敛如下。
2016-08-18 math.OC
A variable metric extension of the forward--backward--forward algorithm for monotone operators
本文提出了在希尔伯特空间中求极大单调算子与Lipschitz单调算子之和的零点的前-后-前算法的变度量推广。反过来,这个框架提供了一个可变的度量分裂算法解决单调包含涉及合成算子的总和。几个分裂算法最近提出的文献中恢复的特殊情况。
2012-10-31 math.OC
Comparing Averaged Relaxed Cutters and Projection Methods: Theory and Examples
我们专注于收敛分析的平均松弛刀具,特别是变量-取决于如何选择参数-类似\emph{alternating projections},\emph{Douglas--Rachford method},\emph{relaxed reflect-reflect},或\emph{Peaceman--Rachford}方法。这种方法经常被用来解决凸可行性问题。投影算法的标准收敛性分析是基于相关算子的\emph{firm nonexpansivity}性质。然而,如果约束集上的投影被切割器(分离超平面上的投影)所取代,则失去了牢固的非扩张性。我们提供了一个家庭的相关平均松弛刀具方法的收敛性证明在合理的假设下,依靠一个简单的几何参数。这使我们能够澄清与松弛因子的允许选择相关的细节,突出精确(坚定非扩张)和近似(强准非扩张)设置之间的区别。我们提供说明性的例子,并讨论该方法的实际实现。
2018-10-04 math.OC
On extension results for n-cyclically monotone operators in reflexive Banach spaces
本文利用Fenchel对偶给出了自反巴拿赫空间中n-循环单调算子的一些推广结果。这样我们就肯定地回答了Bauschke和Wang在[4]中提出的一个问题。
2009-12-03 math.FA math.OC