Inertial Modified S-Iteration Process for Split Monotone Inclusion and Fixed Point Problem In Real Hilbert Space
本文提出了一种改进的S-迭代法,并结合惯性外推法,求出了实希尔伯特空间中分裂单调包含问题和不动点问题的公共解,目的是建立逼近公共解的强收敛定理,在适当的条件下,该问题是可解的.我们还提供了一个数值例子,以表明我们的算法加速工作良好。
2021-10-08 cs.NA math.FA math.NA
An inertial Tseng's type proximal algorithm for nonsmooth and nonconvex optimization problems
University of Vienna(维也纳大学)
本文研究了在非凸情况下,通过非光滑函数与光滑函数之和的最小化问题,提出了一种具有惯性和记忆效应的前向-后向-前向近似算法,并证明了其收敛性。
2014-06-03 cs.NA math.NA math.OC
Inertial randomized Kaczmarz algorithms for solving coherent linear systems
本研究针对相干线性系统求解问题,将双子空间Kaczmarz方法视为交替惯性随机Kaczmarz算法并提出更优收敛速率估计,进一步提出多步惯性随机Kaczmarz算法加速收敛,实验验证其性能显著更优。
2023-06-14 cs.NA math.NA math.OC
On inertial Levenberg-Marquardt type methods for solving nonlinear ill-posed operator equations
本文提出基于LM迭代的惯性型方法求解非线性不适定算子方程,证明了精确数据下的单调收敛性和含噪数据下的稳定性与半收敛性,并通过椭圆PDE和机器学习参数识别实验验证其计算效率优于经典LM方法。
2024-06-11 cs.NA math.NA
Proximal and Contraction method with Relaxed Inertial and Correction Terms for Solving Mixed Variational Inequality Problems
University of the Witwatersrand(威特沃特斯兰德大学);University of KwaZulu-Natal(夸祖鲁-纳塔尔大学)
本文提出了一种结合松弛惯性与修正项的近端与收缩方法,用于高效求解混合变分不等式问题,并通过实验验证了其有效性。
2025-11-23 cs.NA math.NA math.OC
On inertial iterated Tikhonov methods for solving ill-posed problems
本文提出一种基于迭代 Tikhonov 格式的隐式两点惯性方法,用于线性不适定算子方程,证明了精确与含噪数据下的收敛及稳定性质,并通过逆势和图像去模糊实验验证其计算效率。
2024-01-26 cs.NA math.NA
Chebyshev Inertial Landweber Algorithm for Linear Inverse Problems
定义在复/实Hilbert空间上的Landweber算法是求解线性逆问题的一种梯度下降算法。我们的贡献是提出了一种新的方法来加速收敛的Landweber算法。本文首先将Chebyshev惯性迭代理论推广到Hilbert空间上的Landweber算法。上界的收敛速度阐明了所提出的方法的全局收敛速度。切比雪夫惯性Landweber算法可以应用到广泛的类的信号恢复问题的希尔伯特空间,包括连续信号的反卷积。在本文中开发的理论讨论自然会导致一种新的实用信号恢复算法。作为示范,推导了一种基于投影Landweber算法的MIMO检测算法。与MMSE检测器相比,所提出的MIMO检测算法实现了更小的符号出错率。
2020-01-17 cs.IT cs.NA math.IT
An inertial alternating direction method of multipliers
University of Vienna(维也纳大学)
本文提出一种惯性交替方向乘子法,通过引入惯性效应改进经典ADMM算法,深入研究其收敛性,并扩展至求解具有有限和凸函数目标的优化问题。
2014-04-17 cs.NA math.NA math.OC
Deep Null Space Learning for Inverse Problems: Convergence Analysis and Rates
University of Innsbruck(因斯布鲁克大学)
本文提出了一种新的两步深度学习框架,通过引入空域网络和M正则化方法,解决了逆问题中缺乏理论支持的问题,并推导了收敛速度。
2018-08-15 cs.NA math.NA
Inertial Block Proximal Methods for Non-Convex Non-Smooth Optimization
我们提出了惯性版本的块坐标下降法解决非凸非光滑复合最优化问题。与当前最先进的加速一阶方法相比,我们的方法具有三个主要优势:(1)它们允许使用两个不同的外推点来评估梯度并添加惯性力(我们将凭经验证明它比使用单个外推点更有效),(2)它们允许随机挑选要更新的变量块,以及(3)它们不需要重新启动步骤。在较弱的假设下证明了生成序列的渐近收敛性,在一些附加的假设下证明了生成序列的整体收敛性,并给出了收敛速度.我们部署所提出的方法来解决非负矩阵分解(NMF),并表明它们与最先进的NMF算法竞争。还提供了关于非负近似规范多进分解(也称为非负张量因子分解)的其他实验。
2020-06-01 cs.NA math.NA math.OC
Projection and contraction methods with double inertial steps for variational inclusion problems on Hilbert spaces
King Fahd University of Petroleum & Minerals(国王法赫德国王石油矿物大学)
研究希尔伯特空间上变分包含问题,提出三种含双惯性技术的投影收缩算法,\(\algoO\)弱收敛,\(\algoT\)在强单调性下\(R\)-线性收敛,\(\algoDIM\)强收敛到最小范数解,通过数值模拟验证\(\algoT\)收敛性,并应用于相关问题与现有方法比较。
2026-07-29 cs.NA math.NA math.OC
Local and Global Convergence of an Inertial Version of Forward-Backward Splitting
最优化中一个非常有趣的问题是最小化两个闭的、真的和凸函数的和,其中一个是光滑的,另一个具有计算上廉价的邻近算子。在本文中,我们分析了一个家庭的惯性向前向后分裂(I-FBS)算法来解决这个问题。我们首先应用全局李雅普诺夫分析I-FBS和证明弱收敛到一个极小的迭代在一个真正的希尔伯特空间。然后,我们表明,算法实现局部线性收敛的“稀疏优化”,这是重要的特殊情况下,非光滑项是$\ell_1$ -范数。这个结果在限制强凸或严格互补条件下成立,并且我们不要求目标是严格凸的。对于某些参数的选择,我们确定迭代次数的上界,直到迭代被限制在包含解集的流形上,并且线性收敛成立。稀疏优化的局部线性收敛结果适用于Beck和Teboulle的快速迭代收缩和软收缩保持算法(FISTA),这是I-FBS的特定参数选择。尽管它的最佳的全局目标函数收敛速度,我们表明,FISTA是不是最佳的稀疏优化的局部收敛率。我们确定局部最优的参数选择的I-FBS家庭。最后,我们提出了一种方法,它继承了FISTA优秀的全局速度,但也有优秀的局部速度。
2017-01-23 cs.NA math.NA math.OC
Distributed stochastic inertial-accelerated methods with delayed derivatives for nonconvex problems
随机梯度法是求解随机最优化问题的主要方法。在光滑非凸问题上,一些加速技术被用来提高SGM的收敛速度。然而,很少有人探索应用某种加速技术的随机次梯度方法(SsGM)的非光滑非凸问题。此外,很少有人努力分析(加速)SsGM与延迟衍生物。信息延迟自然发生在分布式系统中,其中计算工作者彼此不协调。本文提出了一种求解非光滑非凸随机最优化问题的惯性近似SsGM。该方法可以保证收敛,即使在分布式环境中的延迟导数信息。对三类非凸问题:弱凸非光滑凸正则化问题、复合非凸非光滑凸正则化问题和光滑非凸问题建立了收敛速度结果.对于每个问题类,对于$K$迭代,收敛速度是梯度范数平方的期望值的$O(1/K^{\frac{1}{2}})$。在分布式环境中,所提出的方法的收敛速度将被信息延迟减慢。然而,对于后两个问题类,慢化效果将随着迭代次数的增加而衰减。我们测试所提出的方法在三个应用程序。数值结果清楚地表明了使用基于惯性的加速度的优点。此外,我们观察到更高的并行化速度在异步更新同步对应,虽然前者使用延迟导数。我们的信源编码发布于https://github.com/RPI-OPT/Inertial-SsGM
2021-12-23 cs.DC cs.NA math.NA
Inertial Douglas-Rachford splitting for monotone inclusion problems
University of Vienna(维也纳大学);Chemnitz University of Technology(开姆尼茨工业大学)
本文提出一种惯性 Douglas-Rachford 分解算法,用于求解 Hilbert 空间中两个极大单调算子之和的零点,并分析其收敛性。通过产品空间方法,将结果应用于求解涉及线性复合和并行和类型算子的单调包含问题,提供单独访问极大单调映射的迭代方案。
2014-03-28 cs.NA math.FA math.NA
Penalty schemes with inertial effects for monotone inclusion problems
University of Vienna(维也纳大学)
本文提出一种基于惩罚项的分裂算法,用于求解包含最大单调算子和凸正常 cone 的单调包含问题,证明了弱泛化收敛性,并在强单调性假设下实现强非泛化收敛。
2015-12-14 cs.NA math.FA math.NA
Several self-adaptive inertial projection algorithms for solving split variational inclusion problems
针对无限维希尔伯特空间中的分裂变分包含问题,提出了多种采用无需算子范数的自适应步长的惯性投影算法,证明了其强收敛性,并通过实验验证了方法性能。
2020-11-16 cs.NA math.FA math.NA
Local and Global Convergence of a General Inertial Proximal Splitting Scheme
Coordinated Science Laboratory, University of Illinois, Urbana, IL 61801, USA(协调科学实验室,伊利诺伊大学,厄巴纳,伊利诺伊州,61801,美国)
本文研究了希尔伯特空间中的凸复合最优化问题,提出了一种通用的惯性近端分裂算法(GIPSA),并证明了其迭代序列的平方增量和累积点的最优性,以及在最小值存在时的弱收敛性。进一步分析了ℓ1正则化优化问题,展示了GIPSA在特定参数选择下的局部收敛性和局部线性收敛性,以及其在FISTA变体中的应用。
2016-02-08 cs.LG cs.NA math.NA
On a randomized small-block Lanczos method for large-scale null space computations
本文提出一种随机小块Lanczos方法,通过随机对角扰动和随机初始向量,使块大小可小于零度(甚至为1),在保证收敛性的同时降低内存和计算开销,并支持增量计算零空间。
2025-10-28 cs.NA math.NA
A continuous perspective on the inertial corrected primal-dual proximal splitting
本文从连续视角重新诠释IC-PDPS算法,将其重建为半隐式欧拉格式,导出两个等价的二阶ODE模型,并用Lyapunov函数分析拉格朗日间隙的收敛性。
2024-05-23 cs.NA math.NA math.OC
Phase Retrieval with One or Two Diffraction Patterns by Alternating Projection with Null Initialization
National Chung Hsing University(国立中兴大学);University of California, Davis(加州大学戴维斯分校)
本文提出多种交替投影方法解决最多两个编码衍射图案的相位恢复问题,通过空初始化提高收敛速度和准确性,证明了其在非凸优化中的全局收敛性。
2016-04-28 cs.NA math.NA physics.data-an
A Visual-inertial Navigation Method for High-Speed Unmanned Aerial Vehicles
Beijing University of Posts and Telecommunications(北京邮电大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
研究了高速高空无人机的单目摄像定位问题。提出了一种利用视觉和惯性器件互补的导航方法,以克服无人机水平飞行时的奇异性。通过分离线性部分和非线性部分,改进了定位问题的数学模型,用线性等式约束优化问题代替了非线性最小二乘问题。为了避免序列无约束极小化方法(罚方法)在最优点附近的病态性,基于微分代数动力系统构造了一种半隐式连续信赖域方法来求解线性等式约束优化问题.除了传统的常微分方程数值方法在有限积分区间上的收敛性分析外,还分析了半隐式连续方法在无穷积分区间上的全局收敛性。最后给出了数值结果。
2020-02-12 cs.CV cs.NA cs.SY