Biorthogonal Greedy Algorithms in Convex Optimization
随着贪婪算法被广泛应用于构造关于给定元素集的凸函数的稀疏极小问题,凸优化中的贪婪逼近问题成为一个很有前途的研究方向。本文给出了巴拿赫空间上极小化凸函数的一类贪婪型算法的统一分析方法。具体来说,我们定义了一类弱双正交贪婪算法的凸优化,其中包含了广泛的贪婪算法。我们分析了引入类的算法,并建立了收敛性,收敛速率,和数值稳定性,这是理解的意义上说,该算法的步骤被允许不精确地执行,但控制计算的不准确性。我们证明了下列著名的凸优化算法--弱Chebyshev贪婪算法(co)和带自由松弛的弱贪婪算法(co)--属于这一类,并引入了一个新的算法--重标弱松弛贪婪算法(co).提出的数值实验证明了上述贪婪算法的实际性能相比,优化与正则化,这是传统的方法构造稀疏极小值的凸最小化的设置。
2022-04-25 cs.NA math.NA math.OC
On Greedy Algorithms with bounded cumulative coherence
针对具有有界累积相干性的字典,研究了纯贪婪算法和正交贪婪算法的收敛速度的上下界估计。
2009-11-08 cs.NA math.NA
On greedy approximation in complex Banach spaces
本文将实Banach空间中除WCGA外的若干贪婪逼近算法结果推广到复Banach空间,扩展了复情形下的一般贪婪逼近理论。
2024-09-29 cs.NA math.FA math.NA
On the optimality of Orthogonal Greedy Algorithm for M-coherent dictionaries
本文证明了正交贪婪算法(正交匹配追踪)在M-相干字典的前[1/(20M)]步中提供几乎最优的逼近。
2010-03-28 cs.NA math.NA
On the Approximate Weak Chebyshev Greedy Algorithm in Uniformly Smooth Banach Spaces
本文研究了均匀光滑Banach空间中的贪心逼近问题,提出了一种改进的近似弱切比雪夫贪心算法(AWCGA),并证明了在特定扰动和误差下,该算法的收敛条件与传统弱切比雪夫贪心算法相同,且在某些情况下具有相同性能。
2015-10-17 cs.NA math.NA
The Weak Chebyshev Greedy Algorithm (WCGA) in $L^p (\log L)^α$ spaces
在一致光滑Banach空间$\mathbb{X}$中,给出了弱Chebyshev贪婪算法(WCGA)的Lebesgue型不等式的一些新结果.首先,我们推广Temlyakov的结果,覆盖的情况下,光滑模和所谓的A3参数不一定是幂函数。其次,我们将这个新的定理应用到Zygmund空间$\mathbb{X}=L^p(\log L)^α$,$1<p<\infty$和$α\in\mathbb{R}$,并表明,当使用Haar系统时,当迭代次数为$ϕ(N)=O(N^{\max\{1,2/p'\}} \,(\log N)^{|α| p'})$时,$N$ -稀疏信号的最佳恢复发生。此外,当$p\leq 2$时,该量是尖锐的。最后,还给出了三角系统情况下的$ϕ(N)$的表达式,在$L^2(\log L)^α$的特殊情况下,具有$α>0$,其形式为$ϕ(N)\approx \log(\log N)$。
2022-09-12 cs.NA math.CT math.FA
Rescaled Pure Greedy Algorithm for Hilbert and Banach Spaces
本文提出对纯贪婪算法的简单修改,证明其在凸组合字典元素类上具有最优收敛速度。
2015-05-14 cs.NA math.NA
Greedy algorithms for high-dimensional eigenvalue problems
本文提出两种新的贪心算法用于计算高维本征值问题的最低本征值及其相关本征向量,证明了算法及其正交化版本的收敛性,并通过数值测试案例验证了算法性能,与Ammar和Chinesta提出的另一种贪心算法进行比较。
2013-04-09 cs.NA math.NA
Greedy algorithms for learning via exponential-polynomial splines
基于核的方案是最先进的数据学习技术。在这项工作中,我们扩展了一些想法基于核的贪婪算法的指数多项式样条,其主要缺点包括可能的过度拟合和随之而来的振荡的近似。为了部分地克服这个问题,我们介绍了两种算法,执行的样条插值点的最小化的样本残差($f$ -贪婪)的基础上,或上界的近似误差的样条勒贝格函数($λ$ -贪婪)的基础上的自适应选择。这两种方法都允许我们获得采样点的自适应选择,即样条节点。然而,虽然{ $f$ -贪婪}选择是针对一个特定的目标函数,但$λ$ -贪婪算法与函数值无关,并使我们能够定义先验最优插值节点。
2021-10-13 cs.NA math.NA
Analysis of target data-dependent greedy kernel algorithms: Convergence rates for $f$-, $f \cdot P$- and $f/P$-greedy
已知核空间中的数据相关贪婪算法提供快速收敛的插值,同时非常容易实现和高效运行。尽管有这些实验证据,但还没有详细的理论提出。这种情况是不令人满意的,特别是当与数据无关的$P$ -贪婪算法的情况相比,最佳的收敛速度是可用的,尽管它的性能通常是劣于目标数据相关的算法。在这项工作中,我们填补了这一空白,首先定义了一个新的规模的贪婪算法插值,包括所有现有的在一个独特的分析,其中的依赖程度的选择标准的功能数据被量化的一个真正的参数。然后,我们证明了新的收敛速度,考虑到这个程度,我们表明,可能高达对数因子,目标数据相关的选择策略提供更快的收敛。特别是,我们第一次获得目标数据自适应插值的收敛速度,比均匀点给出的,而不需要任何特殊的假设的目标函数。一些例子证实了率。这些结果是通过对一般希尔伯特空间中的贪婪算法进行新的分析而得到的。
2021-05-16 cs.NA math.NA
On the convergence of generalized kernel-based interpolation by greedy data selection algorithms
本文在极简假设下证明广义核插值方法的收敛性,并进一步证明贪心数据选择算法在全有界采样泛函集上的收敛性,以计算机断层成像数值实验加以验证。
2024-11-25 cs.NA math.NA
Convergence Rates for Greedy Kaczmarz Algorithms, and Faster Randomized Kaczmarz Rules Using the Orthogonality Graph
Kaczmarz方法是求解线性等式和不等式系统的迭代算法,迭代地投影到这些约束上。最近,Strohmer和Vershynin [J. Fourier Anal.应用程序、15(2):262-278,2009]给出了该算法的非渐近收敛率分析,促使Kaczmarz方法的许多扩展和推广。而不是在这项工作中分析的随机选择规则,在本文中,我们讨论贪婪和近似贪婪的选择规则。我们表明,在某些应用中,贪婪选择和随机选择的计算成本是相当的,并且在许多情况下,贪婪选择规则比随机选择规则提供更快的收敛速度。此外,我们给出了一个特定的贪婪规则的Kaczmarz方法的第一个多步分析,并提出了一个可证明的快速随机选择规则的矩阵与许多成对正交行。
2016-12-22 cs.NA math.NA
Some New Convergence Analysis and Applications of POD-Greedy Algorithms
该研究推导了弱POD-Greedy方法的新熵数收敛估计,提出结合EIM的EIM-POD-Greedy方法并给出熵基收敛分析,数值实验验证其优于传统方法。
2025-01-14 cs.NA math.NA
Convergence and rate of convergence of some greedy algorithms in convex optimization
University of South Carolina(南卡罗来纳大学);Steklov Institute of Mathematics(斯捷克洛夫数学研究所)
本文系统研究了凸优化中广泛应用的三种贪心型算法的近似版本,分析了在评估存在误差时的收敛性及收敛速率。
2014-12-10 cs.NA math.NA stat.ML
Influence of sampling on the convergence rates of greedy algorithms for parameter-dependent random variables
本文的主要重点是提供一个数学研究的算法提出了\cite{boyaval2010variance},作者提出了一个方差减少技术的计算参数依赖的期望使用减少的基础范例。研究了Monte-Carlo抽样对贪婪算法理论性质的影响。特别是,使用浓度不等式的经验测量Wasserstein距离证明在\cite{fournier2015rate},我们提供了充分条件的样本个数用于计算经验方差在每次迭代的贪婪过程,以保证所得到的方法算法是一个弱的贪婪算法具有高概率。这些理论结果是不完全实用的,因此,我们提出了一个启发式的程序来选择在每次迭代的Monte Carlo样本的数量,从这个理论研究的启发,它提供了令人满意的结果在几个数值测试情况下。
2021-09-23 cs.NA math.NA
Randomized Greedy Algorithms for Neural Network Optimization
本文将正交贪心算法(OGA)扩展到凸优化问题并确立其最优收敛速率,提出随机离散字典方法解决计算成本问题,通过实验验证分析并展示随机字典在字典大小上的优势。
2025-04-17 cs.NA math.NA
Entropy-based convergence rates of greedy algorithms
本文利用紧集与字典凸包的度量熵,分别建立参数化 PDE 贪心约化基方法和正交贪心算法的尖锐收敛估计,改进经典宽度分析及已有结果。
2024-10-27 cs.NA math.NA
Convergence rate of the data-independent $P$-greedy algorithm in kernel-based approximation
Institute for Applied Analysis and Numerical Simulation, University of Stuttgart(斯图加特大学应用分析与数值模拟研究所)
本文研究了基于核方法的 $P$-贪心算法的收敛率,通过减少基方法中的贪心算法收敛理论,证明了在生成Sobolev空间的核情况下,该算法的收敛率接近最优,并证明了所选点在Sobolev空间核下渐近均匀分布。
2016-12-08 cs.NA math.NA
Improving Greedy Algorithms for Rational Approximation
本文提出两种改进的贪心算法,用于在一致范数下对分数阶拉普拉斯算子进行有理逼近,以构建对称正定的移位拉普拉斯算子序列,并有效预条件Darcy-Stokes耦合问题。
2024-07-22 cs.NA math.NA
Efficient Least Residual Greedy Algorithms for Sparse Recovery
我们提出了一种新的分阶段策略,以改善稀疏恢复的贪婪算法。我们证明了它的效率,合成和分析稀疏先验,在这两种情况下,我们证明了它的计算效率和竞争力的重建精度。在合成的情况下,我们还提供了理论上的保证,与现有的完美的重建边界的松弛为基础的求解器和其他复杂的贪婪算法的信号恢复。
2020-04-14 cs.IT cs.NA math.IT
A new analysis of empirical interpolation methods and Chebyshev greedy algorithms
Zhejiang University(浙江大学)
本文提出基于熵数的广义经验插值方法和切比雪夫贪心算法的新收敛估计,改进了传统分析方法并提升了收敛速率。
2024-12-24 cs.NA math.NA
Greedy Approach for Low-Rank Matrix Recovery
我们描述了简单的贪婪矩阵完成算法提供了一个有效的方法,从不完整的损坏的条目恢复低秩矩阵。我们提供的数值证据表明,即使在最简单的实现,贪婪的方法可能会增加现有算法的恢复能力显着。
2013-04-15 cs.IT cs.NA math.IT
Greedy multiscale kernel algorithms
USI Lugano(卢加诺瑞士意大利大学);University of Hamburg(汉堡大学);LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文结合多尺度核近似与贪心核算法提出贪心多尺度核算法,证明其收敛速率与单尺度f-贪心算法相当,且稳定性更优,通过数值实验验证了其在误差、时间和条件数上的表现。
2026-10-16 cs.NA math.NA
Be greedy and learn: efficient and certified algorithms for parametrized optimal control problems
研究参数化线性二次最优控制问题,结合贪婪降基方法与机器学习代理模型加速在线求解,扩展贪婪控制算法并实现误差估计向机器学习模型的转移以提供后验误差认证,数值实验验证了方法的高效性。
2023-07-28 cs.NA math.NA math.OC
Orthogonal greedy algorithm for linear operator learning with shallow neural network
School of Mathematics, Jilin University(吉林大学数学学院);Department of Mathematics, Texas State University(德克萨斯州立大学数学系)
本文将正交贪心算法扩展到线性算子学习,提出核估计与逐点核估计方法,显著提升精度并给出最优近似速率理论保证。
2025-01-06 cs.LG cs.NA math.NA
Finding Minima in Complex Landscapes: Annealed, Greedy and Reluctant Algorithms
针对具有多谷景观的复杂系统优化问题,提出一类结合退火与平衡贪婪-不情愿策略的新动力学算法,以驱动系统趋向成本函数的最深最小值,并在自旋玻璃的Sherrington-Kirkpatrick模型上展示了结果。
2004-07-30 cs.NA math-ph math.MP