Reweighted Quasi Norm Regularized Low-Rank Factorization for Matrix Robust PCA
本文针对矩阵补全中非凸分解缺乏理论保证的问题,提出一种加权矩阵拟范数分解新策略,构建了加权对数范数和 Schatten-$q$ 拟范数的双线性分解模型,并采用 ADMM 算法求解且证明了其收敛性。
2024-03-27 math.OC
Lower Complexity Bounds for Minimizing Regularized Functions
本文建立了极小化正则化凸函数的一阶方法的预言复杂度的下界。我们考虑目标的复合表示。光滑部分具有$ν\in [0, 1]$度的Hölder连续梯度,并且可以通过黑盒本地oracle访问。合成部分是规范的幂。我们证明了在大规模设置为欧几里德范数的一阶方法的最佳可能的速度是$O(k^{- p(1 + 3ν) / (2(p - 1 - ν))})$的顺序为功能性残留,其中$k$是迭代计数器和$p$是正则化的权力。我们的公式涵盖了几种情况,包括通过一阶梯度法计算立方正则化牛顿步,在这种情况下,速率变为$O(k^{-6})$。它可以通过快速梯度法来实现。因此,我们的结果证明后一种速率是最优的。我们还发现了非欧几里德规范的复杂性下界。
2022-02-09 math.OC
Column $\ell_{2,0}$-norm regularized factorization model of low-rank matrix recovery and its computation
本文研究了低秩矩阵恢复问题的列$\ell_{2,0}$ -正则因子分解模型及其计算。引入因子矩阵的列$\ell_{2,0}$ -范数,以提高因子矩阵的列稀疏性和低秩解的稀疏性。对于这种非凸的不连续最优化问题,我们提出了一种带外推的交替优化-最小化(AMM)方法,以及一种混合AMM方法,该方法首先提出了一种优化交替邻近方法来寻找具有较少非零列的初始因子对,然后采用带外推的AMM来最小化光滑非凸损失。我们提供了整体收敛分析所提出的AMM方法,并将其应用到矩阵完成问题的非均匀采样计划。通过模拟数据和实际数据进行了数值实验,并与核范数正则化因子分解模型和最大范数正则化凸模型进行了比较,结果表明,列$\ell_{2,0}$正则化因子分解模型具有在较短时间内提供较低误差和秩的解的优势.
2021-12-26 math.OC stat.ML
An Inexact Projected Regularized Newton Method for Fused Zero-norms Regularization Problems
针对带盒约束的融合零范数正则化问题,本文提出近端梯度与不精确投影正则化牛顿的混合算法,证明其收敛性并建立超线性收敛速率,数值实验验证了模型与算法的优越性。
2023-12-25 math.OC
Tuning parameter selection for the adaptive nuclear norm regularized trace regression
针对自适应核范数正则化迹回归,本文提出基于自由度无偏估计的 BIC 调优参数选择方法,并证明其秩一致性。
2024-05-11 math.OC stat.ME
A regularized Newton method for $\ell_q$-norm composite optimization problems
本文针对非凸非光滑的 $\ell_q$-范数正则化复合优化问题,提出混合近端梯度与子空间正则化牛顿法的 HpgSRN 算法,证明了其在温和条件下的有限步收敛与超线性收敛速率,且数值实验表明其计算时间显著优于 ZeroFPR。
2023-06-25 math.OC
Newton method for $\ell_0$-regularized optimization
正则化是稀疏优化中常用的一种方法。这导致了正则化优化,旨在最小化表征稀疏性的$\ell_0$范数或其连续代理。从代理的连续性到$\ell_0$范数的离散性,最具挑战性的模型是$\ell_0$ -正则化优化。为了克服这一困难,有大量的工作在发展数值有效的方法。然而,他们中的大多数人只享受要么(子)序列收敛到一个固定的点从确定性优化的角度来看,或之间的距离,每个子序列和任何给定的稀疏参考点是有界的误差界的概率意义上。在本文中,我们开发了一个牛顿型方法的$\ell_0$ -正则化优化,并证明了所产生的序列收敛到一个稳定点的标准假设下,全球和二次,从理论上解释,我们的方法是能够执行令人惊讶的好。
2020-08-14 math.OC
Error bound of critical points and KL property of exponent $1/2$ for squared F-norm regularized factorization
South China University of Technology(华南理工大学)
研究了含噪声低秩矩阵恢复问题的平方F(robenius)范数正则化分解形式。在对损失函数的Hessian约束条件数作适当假设的情况下,对于秩不大于真矩阵秩的非严格临界点,得到了误差界.然后,对于平方F-范数正则化因子分解最小二乘损失函数,在有噪声和全样本情况下,建立了其指数$1/2$在全局极小点集上的KL性质,并在有噪声和部分样本情况下,对一类临界点得到了该性质.这些理论研究结果也证实了解决平方F-范数正则因式分解问题的加速交替最小化方法。
2021-06-26 cs.LG math.OC stat.ML
Burer-Monteiro factorizability of nuclear norm regularized optimization
Columbia University(哥伦比亚大学);The Hong Kong Polytechnic University(香港理工大学)
研究核范数正则化最小化问题与其Burer-Monteiro因子分解问题之间的对应关系,在RIP型假设下证明因子问题的二阶稳定点对应全局最小解,并给出紧的RIP常数。
2026-06-29 math.OC
Group zero-norm regularized robust loss minimization: proximal MM method and statistical error bound
本文研究组零范数正则化鲁棒损失最小化问题,提出近端MM算法求解等价DC代理优化问题,证明其在KL性质下的全局收敛性并推导统计误差界,数值实验验证了其优于pADMM的计算效率。
2025-05-29 math.OC
KL property of exponent $1/2$ of $\ell_{2,0}$-norm and DC regularized factorizations for low-rank matrix recovery
South China University of Technology(华南理工大学)
本文研究秩正则化损失最小化问题的因式分解形式。为了满足只有粗略估计可用于真矩阵的秩的情况,将$\ell_{2,0}$范数正则化项添加到因子化的损失函数以自适应地降低秩;并且考虑因子分解中的模糊性,然后引入平衡项。对于最小二乘损失,在对采样算子的条件数作一定限制的假设下,建立了非光滑分解复合函数的指数$1/2$及其等价DC重构在其全局极小点集上的KL性质.我们还证实了理论研究结果,通过应用一个近似的线性化交替最小化方法的正则化因式分解。
2019-08-24 cs.LG math.OC stat.ML
Revisiting $L_q(0\leq q<1)$ Norm Regularized Optimization
本文统一研究 $q\in[0,1)$ 的 $L_q$ 范数正则化问题,结合邻近算子与半光滑 Newton 法提出追踪算法,并证明其可达到超线性乃至二次收敛。
2024-07-05 math.OC
Notes on the discretization of TV-NORM regularized inverse potential problems
INRIA(法国国家信息与自动化研究所);Vanderbilt University(范德堡大学)
本文提出了一种针对三维赋值测度上线性逆问题正则化所引发的优化问题的离散化方法,其判据为数据的二次残差并附加测度全变差惩罚。
2026-10-06 cs.NA math.GM math.NA
Fast convergence rates and trajectory convergence of a Tikhonov regularized inertial primal\mbox{-}dual dynamical system with time scaling and vanishing damping
本文提出一种带有时间缩放和消失阻尼的Tikhonov正则化惯性原对偶动力系统求解Hilbert空间线性约束凸优化问题,证明了基于重缩放正则化参数衰减速度的快速收敛速率及轨迹强弱收敛性,并通过数值实验验证理论。
2024-04-23 math.OC
Accelerating nuclear-norm regularized low-rank matrix optimization through Burer-Monteiro decomposition
Institute of Statistical Mathematics(统计数学研究所);Department of Mathematics University of Maryland at College Park(大学数学系);Institute of Operations Research and Analytics National University of Singapore(运营研究与分析国家大学研究所);Department of Mathematics and Institute of Operations Research and Analytics National University of Singapore(大学数学系和运营研究与分析国家大学研究所)
BM-Global通过布勒-蒙特罗分解加速核范数正则化的低秩矩阵优化,实现快速收敛和高效参数调优。
2026-02-12 cs.LG math.OC
Safe subspace screening for the adaptive nuclear norm regularized trace regression
针对自适应核范数正则化迹回归的计算加速问题,提出基于矩阵分解与最优条件的安全子空间筛选规则,嵌入交替方向乘子法,通过消除非活跃子空间降维提速,经模拟与真实数据集实验验证了有效性。
2024-04-15 math.OC stat.ME
Trace Norm Regularized Tensor Classification and Its Online Learning Approaches
提出一种基于迹范数正则化的张量分类算法,利用加速近端梯度和Douglas-Rachford分裂技术解决优化问题,并扩展至在线学习。
2011-09-07 cs.NA math.NA math.OC
Conditional Gradient Algorithms for Norm-Regularized Smooth Convex Optimization
受信号处理和机器学习中的一些应用的启发,我们考虑两个凸优化问题,其中,给定锥$K$,范数$\|\cdot\|$和光滑凸函数$f$,我们希望1)最小化锥和$f$的水平集的交集上的范数,或者2)最小化锥上的$f$和范数的倍数之和。我们专注于的情况下,(a)的问题的尺寸太大,允许内点算法,(b)$\|\cdot\|$是“太复杂”,允许计算便宜的Bregman预测所需的一阶近端梯度算法。另一方面,我们假设{在$K$和单位$\|\cdot\|$ -ball的交集上最小化线性型是相对容易的}。激励的例子给出了核范数与$K$是整个空间的矩阵,或半正定锥空间的对称矩阵,和全变差规范的空间的二维图像。我们讨论的版本的条件梯度算法能够处理我们感兴趣的问题,提供相关的理论效率估计,并概述了一些应用。
2013-03-28 math.OC stat.CO stat.ML
Sparse Portfolio Selection via Quasi-Norm Regularization
在本文中,我们提出了$\ell_p$ -范数正则化模型,以寻求接近最优的稀疏投资组合。这些稀疏解决方案降低了项目组合实现和管理的复杂性。理论结果建立,以保证稀疏的二阶KKT点的$\ell_p$ -范数正则化模型。更有趣的是,我们提出了一个理论,涉及稀疏的KKT点与投影相关性和投影夏普比率。我们还设计了一个内点算法,在多项式时间内得到了$\ell_p$ -范数模型的近似二阶KKT解,并在标准普尔500指数(2008-2012)和国际市场数据上对我们的$\ell_p$ -范数模型进行了检验。计算结果表明,$\ell_p$ -范数正则化模型可以生成任意稀疏度的投资组合,其投资组合方差和投资组合收益率与基数约束下的非正则化Markowitz模型相当.我们对组合模型的分析使我们得出结论,稀疏性与过拟合完全没有直接关系。相反,我们发现稀疏缓和过度拟合只是间接的。组合$\ell_1$ - $\ell_p$模型表明,适当选择杠杆,即卖空所产生的额外购买力的大小,可以减轻过度拟合;组合$\ell_2$ - $\ell_p$模型能够产生超过1/N策略和所有$\ell_1$和$\ell_2$正则化投资组合的极高绩效投资组合。
2013-12-22 math.OC q-fin.PM
Schatten-$p$ Quasi-Norm Regularized Matrix Optimization via Iterative Reweighted Singular Value Minimization
本文研究了Schatten-p准范数正则化的矩阵最小化问题,提出了一种迭代加权奇异值最小化方法,证明了其收敛性并展示了其在解质量和速度上的优势。
2016-10-31 cs.LG cs.NA math.NA
l1-norm regularized l1-norm best-fit lines
针对NP难的稀疏鲁棒一维子空间估计问题,提出基于线性松弛与比值排序的l1范数正则化l1范数拟合算法,具备多项式复杂度、无需初始化、可复现、速度快、稀疏性与拟合权衡更优的特点。
2024-03-06 cs.LG math.OC stat.ML
New Computational and Statistical Aspects of Regularized Regression with Application to Rare Feature Selection and Aggregation
Technicolor AI Lab(特艺集团人工智能实验室);Marshall School of Business, University of Southern California(南加州大学马歇尔商学院);University of Washington(华盛顿大学)
关于目标模型属性的先验知识通常是离散或组合的描述。这项工作提供了一个统一的计算框架,定义规范,促进这种结构。更具体地说,我们开发了相关的工具,涉及这些规范的优化只考虑到所需模型的非凸集的正交投影预言。作为一个例子,我们研究了一个规范,我们称之为双稀疏规范,促进向量与几个非零的项目,只有几个不同的值。我们进一步讨论了如何在这种情况下,K-均值算法可以作为底层的投影预言机,以及它如何可以有效地表示为一个二次约束的二次规划。我们研究这个规范的动机是在存在罕见特征的情况下的正则化回归,这对高维统计和一般机器学习中的各种方法提出了挑战。建议的估计过程的目的是执行自动特征选择和聚合,我们开发的统计界限。边界是通用的,并提供了一个基于范数的正则化的统计框架。边界依赖于新的几何量,我们试图详细说明。
2019-04-10 cs.LG math.OC math.ST
$L_{2,1}$-Norm Regularized Quaternion Matrix Completion Using Sparse Representation and Quaternion QR Decomposition
University of Macau(澳门大学);Yunnan University(云南大学);Sun Yat-sen University Cancer Center(中山大学肿瘤防治中心)
本文提出基于四元数QR分解和$L_{2,1}$范数的QLNM-QQR彩色图像补全方法,并改进出IRQLNM-QQR和QLNM-QQR-SR,有效降低计算复杂度且优于现有方法。
2023-09-07 cs.CV math.OC
Quantitative Convergence of Quadratically Regularized Linear Programs
本研究量化了二次正则化线性规划解的收敛性,给出了正则化参数的精确阈值及阈值前后的次优性界限,并应用于最优输运,揭示了与数据点数的依赖关系。
2025-04-22 math.AP math.OC math.PR
The Proxy Step-size Technique for Regularized Optimization on the Sphere Manifold
Institut Pascal(帕斯卡研究所);Université Clermont Auvergne(克莱蒙奥弗涅大学);CHU Clermont-Ferrand(克莱蒙费朗大学医院)
我们给出了正则化优化问题$g (\boldsymbol{x}) + h (\boldsymbol{x})$的一个有效解,其中$\boldsymbol{x}$约束在单位球面$\Vert \boldsymbol{x} \Vert_2 = 1$上.这里$g (\cdot)$是单位球$\{\boldsymbol{x} : \Vert \boldsymbol{x} \Vert_2 \le 1 \}$内具有Lipschitz连续梯度的光滑代价,而$h (\cdot)$通常是非光滑的,但是是凸的和绝对齐次的,\textit{e.g.,} ~范数正则化子及其组合。我们的解决方案是基于黎曼近似梯度,使用一个想法,我们称之为\textit{proxy step-size} -一个标量变量,我们证明是单调的,相对于实际的步长在一个区间内。对于凸的、绝对齐次的$h(\cdot)$,代理步长普遍存在,它以封闭形式决定了实际步长和切线更新,从而决定了完整的邻近梯度迭代。基于这些见解,我们设计了一个使用代理步长的黎曼邻近梯度方法。我们证明,我们的方法收敛到一个临界点,指导下的线搜索技术的基础上的$g(\cdot)$成本。所提出的方法可以在几行代码中实现。我们通过将核范数,$\ell_1$范数和核谱范数正则化应用于三个经典的计算机视觉问题来展示其实用性。这些改进是一致的,并得到了数值实验的支持。
2022-09-05 cs.RO math.OC
Dynamic Proximal Gradient Algorithms for Schatten-$p$ Quasi-Norm Regularized Problems
Zhejiang Normal University(浙江师范大学);H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院 H. 米尔顿·斯图尔特工业与系统工程学院);School of Mathematical Sciences, Shenzhen University(深圳大学数学科学学院);School of Mathematical Sciences, Zhejiang University(浙江大学数学科学学院);Department of Applied Mathematics, The Hong Kong Polytechnic University(香港理工大学应用数学系)
本文提出一种动态近端梯度算法,通过Cayley变换降低计算复杂性,并在不同p值下证明了算法的亚线性或线性收敛性,同时验证了其高效性。
2026-02-27 cs.NA math.NA math.OC
Power of $\ell_1$-Norm Regularized Kaczmarz Algorithms for High-Order Tensor Recovery
University of Kentucky(肯塔基大学)
针对高阶张量恢复问题,提出带$\ell_1$-范数正则化幂次的新型Kaczmarz算法,含分块与加速变体并完成收敛性分析,实验验证其在图像视频处理任务中的有效性。
2024-05-14 cs.CV cs.NA math.NA
Randomized regularized extended Kaczmarz algorithms for tensor recovery
最近提出了随机正则化Kaczmarz算法来求解具有{ \it consistent}线性测量的张量恢复模型。在这项工作中,我们提出了一种新的算法的基础上的随机扩展Kaczmarz算法(在期望线性收敛到唯一的最小范数最小二乘解的线性系)的张量恢复模型与{ \it不一致}的线性测量。证明了算法在期望条件下的线性收敛。最后给出了张量最小二乘问题和稀疏张量恢复问题的数值实验。
2021-12-16 cs.NA math.NA math.OC
Parameter Choices for Sparse Regularization with the $\ell_1$ Norm
我们考虑一个正则化问题,其目标函数由一个凸保真度项和一个正则化项组成,该正则化项由线性变换和$\ell_1$范数组成。实验结果表明,使用$\ell_1$范数进行正则化可以提高正则解的稀疏性.本文的目的是从理论上理解正则化参数对正则化解的稀疏性的影响。我们在解的变换矩阵下建立了稀疏性的一个刻画。当保真度项具有特殊的结构并且变换矩阵与单位矩阵一致时,所得到的表征可以被视为正则化参数选择策略,利用该策略,正则化问题具有具有一定水平的稀疏性的解。我们研究了正则化参数的选择,使正则化项的不适定性和促进稀疏的正则化解决方案。数值实验表明,正则化参数的选择可以平衡的稀疏性的正则化问题的解决方案,其逼近的保真度函数的最小值。
2022-05-15 cs.NA math.NA math.OC
Simple Error Bounds for Regularized Noisy Linear Inverse Problems
考虑通过求解套索算法的变型:$\hat{\mathbf{x}}=\arg\min_\mathbf{x}\{ \|\mathbf{y}-\mathbf{A}\mathbf{x}\|_2+λf(\mathbf{x})\}$,从线性、欠定和噪声测量$\mathbf{y}=\mathbf{A}\mathbf{x}_0+\mathbf{z}$估计结构化信号$\mathbf{x}_0$。这里,$f$是旨在提升$\mathbf{x}_0$的结构的凸函数,例如提升稀疏性的$\ell_1$ -范数或提升低秩性的核范数。我们假设$\mathbf{A}$的条目是独立的并且是正态分布的,并且对噪声向量$\mathbf{z}$不做任何假设,除了它独立于$\mathbf{A}$之外。在这种通用的设置下,我们推导出一个一般的,非渐近的和相当紧的估计误差$\|\hat{\mathbf{x}}-\mathbf{x}_0\|_2$的$\ell_2$ -范数上界。我们的界限本质上是几何的,并且遵循一个简单的公式; $λ$、$f$和$\mathbf{x}_0$的作用都由单个汇总参数$δ(λ\partial((f(\mathbf{x}_0)))$捕获,该参数称为到缩放次微分的高斯平方距离。我们将我们的结果连接到文献,并通过模拟验证其有效性。
2014-01-25 cs.IT math.IT math.OC
Monotonicity in Quadratically Regularized Linear Programs
针对二次正则化线性规划,研究正则化参数松弛时解支撑集的单调性,证明其等价于多面体的几何性质,验证低维最优传输问题成立但高维不成立,并将几何视角应用于Erdős问题。
2025-04-14 math.CO math.OC math.PR