Damped inertial dynamics with vanishing Tikhonov regularization: strong asymptotic convergence towards the minimum norm solution
在希尔伯特空间中,我们提供了一个快速的动态方法,包括在寻找凸极小化问题的最小范数解的分层极小化问题。为此,我们研究了阻尼惯性动力学与Tikhonov正则化产生的轨迹的收敛性质。当时间趋于无穷大时,Tikhonov正则化参数应该趋于零,而不是太快,这是使轨迹强烈地收敛到最小范数的$f$的最小值的关键性质。根据强凸函数重球方法的结构,粘性阻尼系数与Tikhonov正则化参数的平方根成正比。因此,它也收敛到零,这将确保值的快速收敛。准确地说,根据适当的调整这些参数,李雅普诺夫分析的基础上,我们表明,轨迹强烈收敛到最小范数的最小值,我们提供的收敛速度的值。我们展示了一个权衡之间的属性的快速收敛的值,和属性的强收敛到最小范数的解决方案。这项研究改进了以前的几个作品,这种类型的结果是在限制性假设下获得的。
2021-07-31 math.OC
Iterative thresholding algorithm based on non-convex method for modified lp-norm regularization minimization
最近,$ł_{p}$ -范数正则化最小化问题$(P_{p}^λ)$在压缩感知领域引起了极大的关注.然而,问题$(P_{p}^λ)$中的$ł_{p}$ -范数$\|x\|_{p}^{p}$对所有$p\in(0,1)$都是非凸的和非Lipschitz的,目前还没有很多优化理论和方法被提出来解决这个问题.事实上,它对所有$p\in(0,1)$和$λ>0$都是NP难的。本文研究了两个改进的$ł_{p}$正则化极小化问题来逼近NP难问题$(P_{p}^λ)$。受Half算法和$2/3$算法在稀疏信号恢复问题中的良好性能的启发,提出了两种迭代阈值算法,分别用于解决问题$(P_{p,1/2,ε}^λ)$和$(P_{p,2/3,ε}^λ)$。数值结果表明,在某些稀疏信号恢复问题中,对于适当的$p\in(0,1)$,我们的算法可以有效地找到稀疏信号。
2018-04-25 math.OC
Reweighted nuclear norm regularization: A SPARSEVA approach
本文的目的是发展一种方法来估计高阶FIR和ARX模型使用最小二乘与重加权核范数正则化。通常情况下,在重新加权方案中的调整参数的选择是计算昂贵的,因此,我们建议使用SPARSEVA(SPARSe估计基于验证标准)框架来克服这个问题。此外,我们建议使用的预测误差准则(PEC)选择的SPARSEVA算法中的调谐参数。数值算例表明,该方法与传统的交叉验证技术有着密切的联系,但计算量要小得多。
2015-07-21 math.OC
Accelerated gradient methods with strong convergence to the minimum norm minimizer: a dynamic approach combining time scaling, averaging, and Tikhonov regularization
在Hilbert框架下,对于凸可微优化问题,我们考虑了通过结合时间尺度和平均技术与Tikhonov正则化得到的加速梯度法。我们从连续的最速下降动态与一个额外的Tikhonov正则化项,其系数渐近消失。我们提供了一个广泛的一阶发展方程的李雅普诺夫分析。然后,我们适用于这个动态的时间缩放和平均最近推出的Attouch,博特和阮的方法。因此,我们得到一个惯性动态,其中涉及粘性阻尼与Nesterov的方法,隐式海森阻尼和Tikhonov正则化。在一个适当的参数设置,只是使用詹森不等式,而不需要另一个李雅普诺夫分析,我们表明,轨迹在同一时间有几个显着的属性:它们提供了一个快速收敛的值,快速收敛的梯度为零,和强收敛到最小范数最小。这些结果完善和改进了作者以前的结果。
2022-11-18 math.OC
Selecting Regularization Parameters for nuclear norm type minimization problems
由噪声观测值重构低秩矩阵有着广泛的应用。它可以转化为一个约束核范数最小化问题,其中约束的界$η$是明确给出的,或者可以由噪声的概率分布来估计。当应用拉格朗日方法来寻找最小值时,可以通过奇异值阈值算子来获得解,其中阈值参数$λ$与拉格朗日乘子有关。在本文中,我们首先证明了极小值和观测矩阵之间的差异的Frobenius范数是$λ$的严格递增函数。由此,我们推导出$λ$在$η$方面的封闭形式解。当$η$已知时,该结果可用于求解约束核范数型极小化问题。对于无约束核范数型正则化问题,我们的结果允许我们利用差异原理自动选择合适的正则化参数。所得到的正则化参数与Stein的无偏风险估计(SURE)方法所得到的正则化参数相当(有时甚至更好),而求解最小化问题的成本可降低11- 18倍。仿真实验和实际MRI数据进行验证所提出的方法。
2022-04-13 math.OC
$L_p$-norm regularization algorithms for optimization over permutation matrices
置换矩阵的最优化问题广泛地出现在设施布局,芯片设计,调度,模式识别,计算机视觉,图匹配等。由于这个问题是NP-困难的,由于组合性质的置换矩阵,我们放松变量是更容易处理的双随机阵和添加$L_p$ -范数($0 < p < 1$)正则项的目标函数。当正则化参数足够大时,$L_p$正则化问题的最优解与原问题的最优解相同。进一步建立了稳定点非零元的下界估计以及局部极小元与置换矩阵之间的联系。然后我们提出了一个局部加细的$L_p$正则化算法。该算法采用投影梯度法,采用Barzilai-Borwein步长的非单调线性搜索近似求解一系列$L_p$正则化子问题.如果与某些局部搜索方法、割平面技术以及一种新的负邻近点方法相结合,其性能将得到进一步的提高。QAPLIB和带宽最小化问题的大量数值结果表明,我们提出的算法往往可以找到合理的高质量的解决方案在一个有竞争力的时间量。
2016-08-31 math.OC
Nearly optimal first-order methods for convex optimization under gradient norm measure: An adaptive regularization approach
在一阶方法的发展中,复合)凸优化问题,其中具有Lipschitz连续梯度的光滑函数被最小化,梯度(分别,梯度映射)范数成为基本的最优性度量。在此度量下,具有最佳迭代复杂度的固定迭代算法是已知的,而确定此迭代次数以获得期望的精度需要从初始点到最优解集的距离的先验知识。在本文中,我们报告了一个自适应正则化方法,它获得了接近最优的迭代复杂度,而不知道的最优解集的距离。为了获得更快的自适应收敛,我们其次采用这种方法来构建一个一阶的方法,是自适应的Hölderian误差界条件(或等价地,梯度性质),它涵盖了适度广泛的应用。所提出的方法达到了接近最优的迭代复杂度的梯度映射规范。
2020-10-05 math.OC
A Nesterov type algorithm with double Tikhonov regularization: fast convergence of the function values and strong convergence to the minimal norm solution
本文研究带双重Tikhonov正则化的Nesterov型算法,证明其强收敛到光滑凸函数最小范数解,且保持$\mathcal{O}(n^{-2})$最优收敛速率,并给出离散速度与梯度估计。
2023-08-09 math.OC
Convex optimization via inertial algorithms with vanishing Tikhonov regularization: fast convergence to the minimum norm solution
在一个希尔伯特的框架中,对于一般凸可微函数$f$的最小化,我们引入了新的惯性动力学和算法,产生的轨迹和迭代收敛到最小的$f$与最小范数的最小值。我们的研究是基于非自治版本的Polyak重球方法,其中,在时间$t$,与强凸函数通过添加到$f$一个Tikhonov正则化项与消失系数$ε(t)$。在该动态中,阻尼系数与吉洪诺夫正则化参数$ε(t)$的平方根成比例。通过调整$ε(t)$向零收敛的速度,我们将获得向$f$的下极值的快速收敛,以及向$f$的极小元集的最小范数的轨迹的强收敛.特别是,我们得到了一个改进的版本的动态苏博伊德-坎迪斯的加速梯度法的Nesterov。这项研究自然会导致相应的一阶算法得到的时间离散化。在适当的下连续凸函数$f$的情况下,我们详细研究了近似算法,并证明了它们具有相似的性质。
2021-04-24 math.OC
An Inexact Projected Regularized Newton Method for Fused Zero-norms Regularization Problems
针对带盒约束的融合零范数正则化问题,本文提出近端梯度与不精确投影正则化牛顿的混合算法,证明其收敛性并建立超线性收敛速率,数值实验验证了模型与算法的优越性。
2023-12-25 math.OC
Sparse Regularization via Convex Analysis
线性方程的稀疏近似解是经典的L1范数正则化最小二乘法,但这种方法往往低估了真实解。作为L1范数的替代,本文提出了一类非凸的罚函数,它保持了最小二乘费用函数的凸性,避免了L1范数正则化的系统低估特性.所提出的罚函数是对最小最大凹罚函数的一种多元推广。它被定义在一个新的多元推广的胡贝尔函数,这反过来又是通过下卷积定义。所提出的稀疏正则化最小二乘费用函数可以通过包括简单计算的近似算法来最小化。
2018-03-19 math.OC
Parameter Choices for Sparse Regularization with the $\ell_1$ Norm
我们考虑一个正则化问题,其目标函数由一个凸保真度项和一个正则化项组成,该正则化项由线性变换和$\ell_1$范数组成。实验结果表明,使用$\ell_1$范数进行正则化可以提高正则解的稀疏性.本文的目的是从理论上理解正则化参数对正则化解的稀疏性的影响。我们在解的变换矩阵下建立了稀疏性的一个刻画。当保真度项具有特殊的结构并且变换矩阵与单位矩阵一致时,所得到的表征可以被视为正则化参数选择策略,利用该策略,正则化问题具有具有一定水平的稀疏性的解。我们研究了正则化参数的选择,使正则化项的不适定性和促进稀疏的正则化解决方案。数值实验表明,正则化参数的选择可以平衡的稀疏性的正则化问题的解决方案,其逼近的保真度函数的最小值。
2022-05-15 cs.NA math.NA math.OC
Solving $\ell^p\!$-norm regularization with tensor kernels
在本文中,我们讨论了如何一个合适的家庭张量核可以用来有效地解决$\ell^p$正则化学习方法的非参数扩展。我们的主要贡献是提出了一个快速的对偶算法,并表明它可以有效地解决问题。我们的结果对比最近的研究结果表明,核方法不能扩展到希尔伯特设置。数值实验验证了该方法的有效性。
2017-10-18 math.OC stat.ML
Data Filtering for Cluster Analysis by $\ell_0$-Norm Regularization
提出了一种基于加权$\ell_0$ -范数惩罚最小化最小二乘函数的聚类分析数据过滤方法。为了克服目标函数的不连续性,采用光滑非凸函数逼近$\ell_0$ -范数.证明了逼近问题的全局极小值点收敛于原问题的全局极小值点。该方法还利用了一种合适的技术来选择罚参数。最后提供的合成和真实数据集的数值结果,显示一些现有的聚类方法可以从建议的过滤策略的优势。
2017-05-22 math.OC stat.ML
On data usage and predictive behavior of data-driven predictive control with 1-norm regularization
该研究分析了带1-范数正则化的数据驱动预测控制的数据使用与预测行为,支持离线移除未使用数据并可与真实系统先验知识比较对称结构及数据使用情况,以评估方案对有效控制的适用性。
2025-07-08 cs.SY eess.SY math.OC
HyperSpectral classification with adaptively weighted L1-norm regularization and spatial postprocessing
稀疏回归方法已被证明在诸如图像压缩、语声编码、信道均衡、线性回归和分类等广泛的信号处理问题中是有效的。本文在稀疏分解算法SUnSAL的基础上,引入了像素自适应L1范数正则化项,提出了一种新的高光谱图像分类的凸方法。为了进一步增强类的可分性,该算法使用RBF核进行核化,并通过空间预处理和后处理操作的组合来改善最终结果。结果表明,该方法是竞争的最先进的算法,如SVM-CK,KSOMP-CK和KSSP-CK。
2018-03-06 cs.CV math.OC
Minimum norm interpolation by perceptra: Explicit regularization and implicit bias
Texas A&M University(德克萨斯A&M大学);Iowa State University(爱荷华州立大学);University of Pittsburgh(匹兹堡大学)
本研究分析浅层ReLU网络插值行为,证明在特定权重衰减下经验风险最小化器收敛至最小范数插值,并数值探究优化算法的隐式偏差。
2023-11-10 cs.LG math.OC stat.ML
Improving Generalization and Convergence by Enhancing Implicit Regularization
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Institute for Advanced Algorithms Research (Shanghai)((上海)高级算法研究院);School of Data Science, University of Science and Technology of China(中国科学技术大学数据科学学院);ByteDance Research(字节跳动研究部);Center for Machine Learning Research, Peking University(北京大学机器学习研究中心);AI for Science Institute(人工智能与科学研究院)
本研究提出隐式正则化增强IRE框架,解耦平坦与陡峭方向动力学以加速平坦解发现,可适配通用优化器且开销低,在图像分类、大模型预训练中提升泛化与收敛速度,并提供SAM下收敛的理论保证。
2024-10-31 cs.LG math.OC stat.ML
Extended-Krylov-subspace methods for trust-region and norm-regularization subproblems
Computational Mathematics Theme, Scientific Computing Department, Rutherford Appleton Laboratory(拉瑟福德·阿普尔顿实验室科学计算部计算数学主题)
本文提出了一种基于扩展Krylov子空间的方法,用于高效求解信任区域和范数正则化子问题,通过低维子空间和高效根寻找方法提升计算效率。
2026-03-02 cs.NA math.NA math.OC
Quadratic Surface Support Vector Machine with L1 Norm Regularization
Institute for Mathematics and its Applications, University of Minnesota(明尼苏达大学数学及其应用研究所);College of Information Science and Engineering, Northeastern University(东北大学信息科学与工程学院);Precima, a NielsenIQ Company(普雷西玛(尼耳森艾克集团旗下公司))
我们提出$\ell_1$范数正则化二次曲面支持向量机模型用于监督学习中的二进制分类。我们建立了所需的理论性质,包括最优解的存在性和唯一性,减少到标准支持向量机(几乎)线性可分数据集,和检测真正的稀疏模式(几乎)二次可分数据集,如果惩罚参数的$\ell_1$范数是足够大的。我们还通过在合成和公开可用的基准数据集上进行各种数值实验,证明了它们有前途的实际效率。
2021-01-30 cs.LG math.OC stat.ML
An NEPv Approach for Feature Selection via Orthogonal OCCA with the (2,1)-norm Regularization
提出基于(2,1)-范数正则化正交典型相关分析的特征选择模型,采用NEPv方法求解,所得OCCA-FS方法全局收敛且分类性能优于现有方法。
2025-02-25 cs.NA math.NA math.OC
Linear System Identification via Atomic Norm Regularization
本文提出了一种从噪声测量中辨识线性系的新算法。所提出的算法平衡的数据保真度项与一组单极滤波器引起的范数。我们提出了一个凸优化问题,近似地解决了原子范数最小化问题,并确定未知系统的噪声线性测量。这个问题可以通过标准的免费软件有效解决。我们提供严格的统计保证,明确约束的估计误差(在H_2范数)的稳定半径,汉克尔奇异值的真实系统和测量的数量。这些结果反过来又产生复杂性界和渐近一致性。我们提供了数值实验证明我们的方法估计线性系从各种线性测量的有效性。
2012-04-03 cs.IT math.IT math.OC
A Novel Regularization Based on the Error Function for Sparse Recovery
正则化在解决不适定问题中起着重要的作用,它通过添加关于所需解的额外信息,如稀疏性。许多正则化项通常涉及一些向量范数,例如,$L_1$和$L_2$规范。在本文中,我们提出了一种新的正则化框架,使用误差函数来近似单位阶跃函数。它可以被认为是$L_0$范数的代理函数。误差函数关于其内参数的渐近行为表明,当参数分别逼近$0$和$\infty,$时,所提出的正则化方法可以逼近标准的$L_0$和$L_1$范数.从统计学上讲,它也比$L_1$方法偏倚更小。然后,我们将误差函数的约束或无约束的模型时,从欠定线性系恢复稀疏信号。在计算上,这两个问题都可以通过迭代加权$L_1$(IRL 1)算法保证收敛。大量的实验结果表明,所提出的方法优于国家的最先进的方法在各种稀疏恢复场景。
2020-07-06 cs.NA math.NA math.OC
System Identification via Nuclear Norm Regularization
研究了利用Hankel核范数正则化辨识低阶线性系统的问题。Hankel正则化鼓励Hankel矩阵的低秩,其映射到系统的低秩。我们提供了新的统计分析,这种正规化,并仔细对比它与非正规化普通最小二乘(OLS)估计。我们的分析导致新的界限估计的脉冲响应和汉克尔矩阵与线性系统。我们首先设计了一个输入激励,并表明汉克尔正则化使人们能够恢复系统使用最佳数量的观察,在真正的系统顺序,并实现强大的统计估计率。令人惊讶的是,我们证明了输入设计确实很重要,通过显示直观的选择,如i.i.d.高斯输入导致可证明的次优样本复杂度。为了更好地理解正则化的好处,我们还重新审视了OLS估计量。除了改进现有的边界,我们实验确定正则化方法何时优于OLS:(1)对于具有缓慢脉冲响应衰减的低阶系统,OLS方法在样本复杂度方面表现不佳,(2)正则化返回的Hankel矩阵具有更清晰的奇异值间隙,易于识别系统阶次,(3)Hankel正则化对超参数选择不太敏感。最后,我们通过联合训练验证过程建立模型选择保证,在该过程中,我们调整正则化参数以获得接近最优的估计。
2022-03-30 cs.LG cs.SY eess.SY
Approximate Regularization Path for Nuclear Norm Based H2 Model Reduction
KTH–Royal Institute of Technology(皇家理工学院);ACCESS Linnaeus Center(ACCESS林奈斯中心)
本文研究了利用Hankel矩阵核范数进行动态系统降阶,通过正则化路径方法平衡模型拟合与复杂度,提出基于对偶间隙上界确定何时精确计算最优解的策略,高效计算正则化路径。
2014-07-22 cs.SY eess.SY math.OC
Implicit Regularization and Convergence for Weight Normalization
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Pennsylvania(宾夕法尼亚大学);Google Research(谷歌研究院);Princeton University(普林斯顿大学);Microsoft Research(微软研究院)
标准化方法,如批次[Ioffe和Szegedy,2015],重量[Salimansand Kingma,2016],实例[Ulyanov等人,2016]和层归一化[Baet al.,2016]已广泛应用于现代机器学习。在这里,我们研究了权重归一化(WN)方法[Salimans和Kingma,2016]和一种称为过参数化最小二乘回归的重新参数化投影梯度下降(rPGD)的变体。WN和rPGD用尺度g和单位向量w重新参数化权重,因此目标函数变得非凸。我们表明,这种非凸制定了有益的正则化效果相比,梯度下降的原始目标。这些方法自适应正则化的权重和收敛接近最小的l2范数的解决方案,即使初始化远离零。对于一定的步长g和w,我们表明,他们可以收敛到最小范数解。这与梯度下降的行为不同,梯度下降仅在特征矩阵的范围空间中的点处开始时才收敛到最小范数解,因此对初始化更敏感。
2022-08-30 cs.CV cs.LG math.OC
Hybrid Conditional Gradient - Smoothing Algorithms with Applications to Sparse and Low Rank Regularization
École Centrale Paris(巴黎中央理工学院);KU Leuven(鲁汶大学)
研究了求解有界集上多项复合凸优化问题的混合条件梯度光滑算法。这些例子包括正则化问题与几个规范作为惩罚和规范约束。HCGS将条件梯度法扩展到具有多个非光滑项的情况,其中标准条件梯度法可能难以应用。HCGS算法借用了平滑邻近方法的技术,需要一阶计算(次梯度和邻近运算)。与近似方法不同,HCGS受益于条件梯度法的优点,这使得它在某些大规模最优化问题上更有效。我们证明了这些优势与模拟上的两个矩阵最优化问题:正则化的矩阵结合$\ell_1$和迹范数罚款;和稀疏PCA的凸松弛。
2014-04-15 cs.LG math.OC stat.ML
Iterative Regularization with k-support Norm: An Important Complement to Sparse Recovery
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Nanjing University(南京大学);Jilin University(吉林大学)
提出基于k-support范数的迭代正则化算法IRKSN,通过早停机制实现稀疏恢复,放宽了传统$\ell_1$范数方法的适用条件,并给出了具有显式常数的模型误差早停界限,实现标准线性收敛率。
2024-03-19 cs.LG eess.SP math.OC