Precise Error Analysis of the LASSO under Correlated Designs
在本文中,我们考虑的问题,恢复稀疏信号从噪声的线性测量使用所谓的LASSO制定。我们假设一个相关的高斯设计矩阵与加性高斯噪声。利用凸高斯最小-最大定理(CGMT),我们精确地分析了相关设计矩阵下LASSO的高维渐近性能。我们定义了适当的性能指标,如均方误差(MSE),支持恢复的概率,元素差错率(EER)和余弦相似性。通过数值模拟验证了理论分析的正确性。
2020-09-16 cs.IT math.IT math.ST
Measurement Error in Lasso: Impact and Correction
当协变量的数量很大时,使用套索惩罚的回归是执行降维的流行工具。在套索的许多应用中,如在基因组学中,协变量受到测量误差的影响。我们研究了测量误差对具有套索惩罚的线性回归的影响,包括分析和模拟实验。然后考虑一种简单的方法来校正套索中的测量误差。在大样本限制下,校正的套索在与具有完美测量的套索非常相似的条件下产生符号一致的协变量选择,而未校正的套索对数据的协方差结构需要更严格的条件。最后,我们建议的方法来纠正测量误差在广义线性模型与套索惩罚,我们研究经验与逻辑斯谛回归的模拟实验,也适用于与微阵列数据的分类问题。我们看到,在类似的真阳性水平下,校正后的lasso选择的假阳性比标准lasso少。因此,校正的套索可以用于在基因组分析中获得更保守的协变量选择。
2014-02-14 stat.ME
False Discoveries Occur Early on the Lasso Path
在回归设置中,解释变量具有非常低的相关性,并且效应相对较少,每个效应的幅度都很大,我们希望Lasso能够以很少的错误找到重要的变量。本文表明,在一个政权的线性稀疏-这意味着一个非零效应的变量的分数往往是一个常数,但小-这不能真正的情况下,即使当设计变量是随机独立的。我们证明了真实特征和空特征总是散布在Lasso路径上,并且无论效应大小有多强,这种现象都会发生。我们得到了一个尖锐的渐近权衡之间的假和真的积极率,或等价地,之间的措施,第一和第二类错误沿拉索路径。(假阴性率)在临界值下,然后在Lasso路径上的任何地方,(假阳性率)将需要超过给定的阈值,使得我们永远不会同时具有低水平的两个错误。我们的分析使用近似消息传递(AMP)理论的工具以及新元素来处理Lasso正则化参数的可能自适应选择。
2016-09-15 cs.IT math.IT math.ST
Asymptotic Analysis of LASSOs Solution Path with Implications for Approximate Message Passing
本文关注的性能的LASSO(也称为基追踪去噪)恢复稀疏信号从欠采样,随机,噪声测量。我们考虑从$n$随机和噪声线性观测值$y= Ax_o + w$中恢复信号$x_o \in \mathbb{R}^N$,其中$A$是测量矩阵,$w$是噪声。LASSO估计由用$\hat{x}_λ = \arg \min_x \frac{1}{2} \|y-Ax\|_2^2 + λ\|x\|_1$求解优化问题$x_o$给出。尽管在理论分析的LASSO解决方案的重大进展,很少有人知道它的行为作为一个函数的正则化参数PDMATHAMT。在本文中,我们研究了两个问题的渐近设置(即,其中$N \rightarrow \infty$,$n \rightarrow \infty$,而比率$n/N$收敛到$(0,1)$中的固定数):(i)活动集$\|\hat{x}_λ\|_0/N$的大小如何表现为$λ$的函数,以及(ii)均方误差$\|\hat{x}_λ - x_o\|_2^2/N$如何表现为$λ$的函数?然后,我们采用这些结果在一个新的,可靠的算法解决LASSO的基础上近似消息传递(AMP)。
2013-09-23 cs.IT math.IT math.ST
The generalized Lasso with non-linear observations
研究了当信号属于埋在高维空间中的低维集合时,从非线性观测值中估计信号的问题。在实践中经常使用的一种粗略的启发式假设,非线性观测可以被视为噪声线性观测,因此可以使用广义Lasso估计信号。这很吸引人,因为这个程序有大量高效的、专门的求解器。正如噪声可以通过投影到较低维空间上来减少一样,当在重建中使用信号结构时,来自用线性观测对非线性观测进行建模的误差将大大减少。我们允许一般的信号结构,只假设信号属于R^n中的某个集合K。我们考虑非线性的单指数模型。我们的理论允许非线性是不连续的,不是一对一的,甚至是未知的。我们假设测量矩阵为随机高斯模型,但允许行具有未知的协方差矩阵。作为我们的结果的特殊情况下,我们恢复近最优理论的噪声线性观测,也给出了第一个理论精度保证1位压缩感知与未知的协方差矩阵的测量向量。
2015-11-16 cs.IT math.IT math.ST
Online Hyperparameter-Free Sparse Estimation Method
在本文中,我们推导出一个在线估计稀疏参数向量,不像LASSO方法,不需要调整任何超参数。该算法是基于协方差匹配的方法,相当于一个加权版本的平方根LASSO。该估计器的计算复杂性与在线版本的正则化最小二乘(RLS)和LASSO具有相同的数量级。我们提供了一个可行的和不可行的实施LASSO和RLS的数值比较,以说明所提出的在线超参数估计的优势。
2015-05-06 math.ST stat.TH
Bolasso: model consistent Lasso estimation through the bootstrap
INRIA(法国国家信息与自动化研究所);Laboratoire d’Informatique de l’Ecole Normale Supérieure(巴黎高等师范学院信息学实验室);CNRS(法国国家科学研究中心);ENS(巴黎高等师范学院)
我们考虑用l1范数正则化的最小二乘线性回归问题,这个问题通常被称为Lasso。在本文中,我们提出了一个详细的渐近分析的模型一致性的Lasso。对于正则化参数的各种衰减,我们计算正确模型选择的概率的渐近等价(即,变量选择)。对于一个特定的速率衰减,我们表明,Lasso选择所有的变量,应该进入模型的概率趋于一个指数快速,而它选择所有其他变量的严格正概率。我们表明,这个属性意味着,如果我们运行的Lasso的几个自举复制一个给定的样本,然后交叉的Lasso自举估计的支持,导致一致的模型选择。这种新的变量选择算法,被称为Bolasso,相比其他线性回归方法的合成数据和数据集的UCI机器学习库。
2008-04-08 cs.LG math.ST stat.ML
A framework to characterize performance of LASSO algorithms
本文考虑求解具有稀疏解的\emph{noisy}欠定线性方程组。一个无噪声的等价物吸引了巨大的关注,在最近几年,首先,由于工作的\cite{CRT,CanRomTao06,DonohoPol},它被证明在一个统计和大的维度的背景下,一个稀疏的未知向量(稀疏成比例的向量的长度)可以恢复从一个欠定系统通过一个简单的多项式$\ell_1$优化算法。\cite{CanRomTao06}进一步确定,即使当方程是\emph{noisy}时,也可以通过$\ell_1$的SOCP噪声等价物获得近似解,该近似解(在$\ell_2$范数意义上)不超过来自稀疏未知向量的噪声的常数倍。在我们最近的作品\cite{StojnicCSetam09,StojnicUpper10}中,我们创建了一个强大的机制,帮助我们准确地描述了$\ell_1$优化在无噪声情况下的性能(如\cite{StojnicEquiv10}所示,如果数学公理设置良好,则必须如此,\cite{StojnicCSetam09,StojnicUpper10}的结果与\cite{DonohoPol}的相应精确结果绝对一致)。在本文中,我们设计了一个机制,强大的那些从\cite{StojnicCSetam09,StojnicUpper10},可以处理分析的LASSO类型的算法(和许多其他),可以(或通常是)用于“解决”噪声欠定系统。然后,使用该机制…
2013-03-29 cs.IT math.IT math.OC
Robust Lasso with missing and grossly corrupted observations
本文研究了从严重损坏的线性测量值$y = X β^{\star} + e^{\star} + w$中精确恢复稀疏向量$β^{\star}$的问题,其中$e^{\star}$是一个稀疏差错向量,其非零项可能是无界的,而$w$是一个有界噪声。我们提出了一个所谓的扩展Lasso优化,它考虑到稀疏先验信息的$β^{\star}$和$e^{\star}$。我们的第一个结果表明,扩展的Lasso可以忠实地恢复回归以及腐败向量。我们的分析依赖于设计矩阵$X$的扩展限制特征值的概念。我们的第二组结果适用于一般类的高斯设计矩阵$X$与i.i.d行$\oper N(0, Σ)$,我们可以建立一个令人惊讶的结果:扩展的Lasso可以恢复确切的有符号支持$β^{\star}$和$e^{\star}$仅从$Ω(k \log p \log n)$的意见,即使腐败的分数是任意接近一。我们的分析还表明,实现精确符号支持所需的观测量确实是最优的。
2011-12-06 cs.IT math.IT math.ST
Detection Estimation and Grid matching of Multiple Targets with Single Snapshot Measurements
在这项工作中,我们探讨的问题,检测窄带,远场目标的数量和估计其相应的方向从单快照测量。将稀疏信号恢复(SSR)原理应用于多目标的单快拍检测与估计。在SSR框架中,DoA估计问题是基于网格的,并且可以被视为套索优化问题。然而,SSR框架DoA估计引起的网格失配的问题,当未知的目标(源)是不匹配的估计网格选择的阵列导向矩阵的建设在接收机。已知块稀疏恢复框架通过使用组套索估计器联合估计目标及其来自估计网格的对应偏移来减轻网格失配问题。相应的检测问题简化为估计套索的最佳正则化参数($τ$)(在完美网格匹配的情况下)或组套索估计问题,用于实现正确检测的所需概率($P_c$)。我们提出了渐近和有限样本检验统计量检测所需的$P_c$在中等到高的信噪比的源的数量。一旦检测到源的数量,或者等效地估计了最佳$\hatτ$,则可以通过在$\hatτ$处求解套索或组套索问题来执行DoA的相应估计和网格匹配
2017-05-22 cs.IT math.IT stat.AP
A Library of Mirrors: Deep Neural Nets in Low Dimensions are Convex Lasso Models with Reflection Features
Stanford University(斯坦福大学)
本文证明在1-D数据上训练深度神经网络等价于求解具有离散字典矩阵的凸Lasso问题,发现深层网络会产生训练数据的反射特征,为全局最优网络的解景观和闭式解提供了理论见解。
2024-07-24 cs.AI cs.LG cs.NE
The Generalized Lasso with Nonlinear Observations and Generative Priors
National University of Singapore(新加坡国立大学)
在本文中,我们研究的问题,从噪声的非线性测量信号估值估计的未知$n$维信号的范围内的$L$ -Lipschitz连续生成模型与有界$k$维输入。我们假设的亚高斯测量,这是满足广泛的测量模型,如线性,逻辑,1位,和其他量化模型。此外,我们认为对抗腐败对这些测量的影响。我们的分析基于广义Lasso方法(Plan和Vershynin,2016)。我们首先提供了一个非统一的恢复保证,它指出,根据i.i.d.~高斯测量,大致$O\left(\frac{k}{ε^2}\log L\right)$样本足以恢复$ε$的$\ell_2$ -误差,并且该方案对对抗性噪声是鲁棒的。然后,我们将这一结果应用到神经网络生成模型中,并讨论了对其他模型和非独立同分布模型的各种扩展。测量.此外,我们表明,我们的结果可以扩展到均匀恢复保证下的一个所谓的本地嵌入属性的假设,这是由1位和删失Tobit模型所满足的。
2020-10-08 cs.IT cs.LG math.IT
Slope meets Lasso: improved oracle bounds and optimality
我们表明,两个多项式时间的方法,拉索估计自适应选择的调整参数和斜率估计,自适应实现精确的极小极大预测和$\ell_2$估计率$(s/n)\log (p/s)$在高维线性回归类的$s$ -稀疏目标向量$\mathbb R^p$。这是在Lasso的限制特征值(RE)条件下以及在对Slope的设计的稍微更多约束的假设下完成的。主要结果具有尖锐的预言不等式的形式,考虑到模型的误设定误差。当模型被很好地指定时,还得到了用$1\le q\le 2$的$\ell_q$估计误差的极小极大最优界。结果是非渐近的,并保持在概率和期望。我们对设计施加的假设是满足高概率的一个大类的随机矩阵与独立的,可能各向异性分布的行。我们给出了一个比较分析的条件下,可以得到的拉索和斜率估计的预言界。特别地,我们证明了几个已知的条件,如RE条件和稀疏特征值条件是等价的,如果回归的$\ell_2$ -范数一致有界。
2017-05-24 math.ST stat.TH
The LASSO Estimator: Distributional Properties
最小绝对收缩和选择算子(LASSO)是一种流行的同时估计和模型选择的技术。关于LASSO估计的大样本渐近分布性质已经有很多研究,但是众所周知,渐近结果可能会给出LASSO估计的实际有限样本行为的错误图像。对于正交模型的特殊情况,LASSO估计量的有限样本分布已经在前面进行了研究。本文的目的是推广高斯噪声中实线性测量模型的LASSO估计的有限样本分布性质。本文首先导出了LASSO估计的有限样本特征函数的表达式,然后利用Fourier切片定理得到了LASSO估计的线性变换的一维分量的边缘密度函数的近似表达式。
2016-07-02 math.ST stat.AP stat.TH
Handling correlated and repeated measurements with the smoothed multivariate square-root Lasso
Université Paris Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会);Univ. Montpellier(蒙彼利埃大学);CNRS(法国国家科学研究中心)
稀疏促进范数是高维回归中常用的范数。这种Lasso型估计的一个局限性是,最佳正则化参数取决于未知的噪声水平。诸如伴随Lasso的估计器通过联合估计噪声水平和回归系数来解决这种依赖性。此外,在许多应用中,数据是通过对多个测量值取平均值来获得的:这降低了噪声方差,但它显著减少了样本量,并阻止了精细的噪声建模。在这项工作中,我们提出了一个伴随估计,可以应付复杂的噪声结构,通过使用非平均测量。由此产生的优化问题是凸的,并服从,由于平滑理论,最先进的优化技术,利用稀疏的解决方案。在玩具数据集、逼真的模拟数据和真实的神经成像数据上证明了实际益处。
2020-09-03 cs.LG math.OC stat.AP
The Lasso error is bounded iff its active set size is bounded away from n in the proportional regime
本文在比例机制下证明 Lasso 的 L2 风险有界当且仅当其活跃变量数远离样本量 n,并利用该等价关系给出相变的简化证明,同时将分析扩展到常数阶小调节参数。
2025-01-05 math.ST stat.TH
Low solution rank of the matrix LASSO under RIP with consequences for rank-constrained algorithms
Institute of Mathematics, EPFL(洛桑联邦理工学院数学研究所)
研究揭示在RIP条件下,矩阵LASSO解具有低秩性,对非凸秩约束优化方法有理论影响,证明低秩投影梯度下降可线性收敛至LASSO解,且Burer-Monteiro分解问题的非凸景观良性。
2025-04-22 math.OC math.ST stat.TH
Efficient Path Algorithms for Clustered Lasso and OSCAR
The Institute of Statistical Mathematics(统计数学研究所)
在高维回归中,根据其对结果的影响进行特征聚类通常与特征选择一样重要。为此,聚类Lasso和八角形收缩和回归聚类算法(OSCAR)被用来自动生成特征组,分别由成对$L_1$范数和成对$L_\infty$范数。本文提出了有效的路径算法聚类Lasso和OSCAR的正则化参数来构建解决方案的路径。尽管穷举成对正则化中的项太多,但通过使用这些项的对称性来降低其计算成本。利用图论的有关理论,导出了检验各特征组次梯度方程的简单等价条件。数值实验结果表明,所提出的算法比现有的算法更有效。
2020-06-16 cs.LG stat.CO stat.ML
Compressed Sensing for Block-Sparse Smooth Signals
我们提出了重建算法的光滑信号块稀疏从他们的压缩测量。我们通过组稀疏最小绝对收缩选择算子(LASSO)以及通过潜在的组LASSO正则化来解决不同组大小的问题。我们通过融合实现信号的平滑。我们开发低复杂度的求解器,我们提出的配方,通过交替方向的乘法器。
2013-09-10 cs.IT math.IT math.ST
Weighted Lasso Estimates for Sparse Logistic Regression: Non-asymptotic Properties with Measurement Error
University of Science and Technology of China(中国科学技术大学);Peking University(北京大学);Central China Normal University(华中师范大学)
当我们对高维系统感兴趣并关注分类性能时,$\ell_{1}$惩罚的逻辑斯谛回归变得越来越重要和流行。然而,当不同系数的惩罚都相同并且与数据无关时,Lasso估计可能会有问题。利用McDiarmid不等式给出了两类依赖于协变量的加权Lasso估计。在给定样本量$n$和协变量维数$p$的情况下,我们所提出的方法的有限样本行为由非渐近预言不等式(如$\ell_{1}$ -未知参数的估计误差和平方预测误差)来说明.我们在模拟数据上比较了我们的方法和以前的加权估计的性能,然后将这些方法应用于实际数据的分析。
2020-06-11 cs.LG stat.ML
Asymptotically Exact Error Analysis for the Generalized $\ell_2^2$-LASSO
给定未知信号$\mathbf{x}_0\in\mathbb{R}^n$和线性噪声测量$\mathbf{y}=\mathbf{A}\mathbf{x}_0+σ\mathbf{v}\in\mathbb{R}^m$,广义$\ell_2^2$-LASSO求解$\hat{\mathbf{x}}:=\arg\min_{\mathbf{x}}\frac{1}{2}\|\mathbf{y}-\mathbf{A}\mathbf{x}\|_2^2 + σλf(\mathbf{x})$。这里,$f$是凸正则化函数(例如,$\ell_1$ -范数,核范数),旨在提升$\mathbf{x}_0$的结构(例如,稀疏,低秩),并且$λ\geq 0$是正则化器参数。一个相关的优化问题,虽然不流行或众所周知,但通常被称为广义$\ell_2$-LASSO,并采用$\hat{\mathbf{x}}:=\arg\min_{\mathbf{x}}\|\mathbf{y}-\mathbf{A}\mathbf{x}\|_2 + λf(\mathbf{x})$的形式,并已在[1]中进行了分析。[1]进一步对广义$\ell_2^2$-LASSO算法的性能进行了分析。本文严格地建立了这些关系。我们用归一化平方误差$\mathrm{NSE}(σ):=\|\hat{\mathbf{x}}-\mathbf{x}_0\|_2^2/σ^2$来…
2015-02-22 cs.IT math.IT math.ST
High-dimensional graphs and variable selection with the Lasso
多元正态分布的逆协方差阵中的零元模式对应于变量之间的条件独立约束。协方差选择的目的是从数据中估计这些结构零点。我们表明,邻域选择与Lasso是一个计算上有吸引力的替代标准的协方差选择稀疏高维图。邻域选择分别估计图中每个节点的条件独立性限制,因此等价于高斯线性模型的变量选择。我们表明,建议的邻域选择方案是一致的稀疏高维图。一致性取决于罚参数的选择。最优预测的预言值不会导致一致的邻域估计。相反,控制错误地加入图的一些不同的连通性组件的概率,稀疏图的一致性估计实现(指数率),即使当变量的数量增长的观察的数量上升到一个任意的权力。
2006-08-01 math.ST stat.TH
On the Duality between Network Flows and Network Lasso
Aalto University(阿尔托大学)
许多应用生成具有内在网络结构的数据,诸如时间序列数据、图像数据或社交网络数据。网络Lasso(nLasso)最近被提出作为用于网络数据的机器学习模型的联合聚类和优化的方法。nLasso将Lasso从稀疏线性模型扩展到聚类图形信号。本文探讨了nLasso和网络流优化的对偶性。我们表明,在一个非常精确的意义上,nLasso是相当于一个最小成本流问题的数据网结构。我们的主要技术成果是通过某些网络流的存在nLasso解决方案的简洁表征。主要概念结果是nLasso方法和基本图形算法(例如集群或最大流)之间的有用链接。
2020-03-28 cs.LG math.OC stat.ML
Distributional Hardness Against Preconditioned Lasso via Erasure-Robust Designs
MIT(麻省理工学院);Stanford(斯坦福大学);UCLA(加州大学洛杉矶分校)
人们普遍认为病态高斯随机设计的稀疏线性回归表现出统计/计算差距,但令人惊讶的是,这种信念的正式证据很少,即使是在限制类算法的例子中也很难。最近的工作表明,对于某些协方差矩阵,大类的预处理Lasso程序可证明不能成功的多项式稀疏信号与次线性数量的样本。然而,这个下限只表明,对于每个预处理器,至少存在一个信号,它无法成功恢复。这留下了一种可能性,例如,尝试多个不同的预处理器可以解决每个稀疏线性回归问题。在这项工作中,我们证明了一个更强的下界,克服了这个问题。对于一个适当的协方差矩阵,我们构建一个单一的信号分布,任何可逆预处理的Lasso程序失败的概率很高,除非它收到一个线性数量的样本。令人惊讶的是,在我们的下限的核心是一个新的积极的结果,在压缩传感。我们表明,标准的稀疏随机设计具有很高的概率强大的对抗性测量擦除,在这个意义上说,如果$b$测量被删除,那么所有,但$O(b)$的坐标的信号仍然是信息理论上可识别的。据我们所知,这是第一次在压缩感知中研究任意稀疏信号在擦除下的部分可恢复性。
2022-03-05 cs.DS cs.IT cs.LG
A Power and Prediction Analysis for Knockoffs with Lasso Statistics
Knockoffs是一个新的框架,用于控制涉及复杂统计模型的多个假设检验问题中的错误发现率(FDR)。虽然第一类错误控制一直受到重视,但对第二类错误的研究却少得多。在本文中,我们分析了假阴性率,或等效地,与拉索解决方案的路径下的i.i.d.高斯设计,并发现仿制品渐近实现接近最优功率相对于一个无所不知的神谕。此外,我们证明,对于稀疏信号,通过敲除滤波进行模型选择实现了接近理想的预测误差相比,一个拉索甲骨文配备了充分的知识的未知回归系数的分布。身份证。采用高斯设计来利用关于Lasso估计的经验分布的结果,这使得knockoff和oracle程序的功效计算成为可能。
2017-12-18 stat.ME
Oracle Inequalities for High Dimensional Vector Autoregressions
本文建立了平稳向量自回归模型中LASSO的预测误差和估计精度的非渐近预言不等式。这些不等式用于建立LASSO的一致性,即使当参数的数量比样本量大得多的数量级。我们也给出了条件下,没有相关的变量被排除在外。接下来,给出了自适应LASSO选择正确稀疏模式的非渐近概率。然后,我们给出的条件下,自适应LASSO揭示了正确的稀疏模式渐近。我们建立了非零系数的估计渐近等价于Oracle辅助最小二乘估计。这用于表明非零系数估计值的收敛速率与仅包括相关协变量的最小二乘法的收敛速度相同。
2014-05-15 math.ST stat.ML stat.TH
The Lasso Problem and Uniqueness
套索是稀疏线性回归的流行工具,特别是对于变量数量p超过观测数量n的问题。但是当p>n时,Lasso准则不是严格凸的,因此它可能没有唯一的最小值。一个重要的问题是:什么时候套索解是明确的(唯一的)?我们回顾了文献中的结果,这表明,如果预测变量是从一个连续的概率分布,那么有一个独特的套索解决方案的概率为1,无论大小的n和p。我们还表明,这一结果很容易扩展到$\ell_1$惩罚最小化问题在广泛的损失函数。第二个重要的问题是:我们如何处理套索解的非唯一性?根据上述结果,这种情况实际上仅在一些预测变量是离散的时,或者在对连续预测变量测量执行了一些后处理时出现。虽然我们当然不能声称对这样一个广泛的问题提供了一个完整的答案,但我们确实在理解非独特性的某些方面取得了进展。首先,我们扩展了LARS算法计算套索解决方案的路径,以涵盖非唯一的情况下,使此路径算法适用于任何预测矩阵。接下来,我们推导出一个简单的方法来计算组件明智的不确定性在套索解决方案的任何给定的问题的情况下,基于线性规划。最后,我们回顾了一些统一的性质的套索解决方案的文献中的结果,也指出了特殊形式的解决方案,具有独特的属性。
2012-11-04 math.ST stat.TH
An Equivalence between the Lasso and Support Vector Machines
ETH Zürich(苏黎世联邦理工学院)
我们研究了机器学习和信号处理中两种基本工具的关系,即用于分类的支持向量机和用于回归的Lasso技术。我们表明,由此产生的优化问题是等价的,在以下意义上。给定$\ell_2$ -损失软余量(或硬余量)SVM的任何实例,我们构造具有相同最优解的Lasso实例,反之亦然。因此,用于SVM和Lasso的许多现有优化算法也可以应用于相应的其他问题实例。此外,等效性允许SVM和Lasso的许多已知理论见解在两种设置之间转换。一个这样的含义给出了一个简单的核化版本的Lasso,类似于SVM设置中使用的内核。另一个结果是Lasso解决方案的稀疏性等于相应SVM实例的支持向量的数量,并且可以使用筛选规则来修剪支持向量集。此外,我们可以将这两个问题的次线性时间算法联系起来,并给出一个新的Lasso算法。我们还研究了这两种方法的正则化路径。
2014-04-25 cs.LG stat.ML
Improved Support Recovery Guarantees for the Group Lasso With Applications to Structural Health Monitoring
本文考虑了从带噪线性测量中估计未知高维信号的问题,{当}假设信号在{已知的,}固定字典中具有\emph{group-sparse}结构。我们考虑根据自然概率模型生成的信号,并建立新的条件下,一组指数的非零组的信号(称为组级支持)可以准确地估计通过组拉索。我们的研究结果加强了现有的基于一致性的分析,表现出众所周知的“平方根”瓶颈,允许可恢复的非零组的数量几乎是一样大的组的总数。我们还建立了一个充分的恢复条件有关的非零组的数量和信噪比(量化的非零组的平方欧几里德范数和随机加性{测量}噪声的方差的比率),并验证这一趋势的经验。最后,我们研究的影响,我们的研究结果的背景下,结构健康监测的应用程序,其中组拉索的方法有利于分层的传播声波场,通过扫描激光多普勒测振仪在材料表面上获得,成对立的组件,其中之一表示内部材料缺陷的位置。
2018-05-19 cs.IT math.IT stat.ML
Detection and Estimation of Multiple DoA Targets with Single Snapshot Measurements
在本文中,我们探讨的问题,检测窄带,远场目标的数量和估计其相应的波达方向(DoAs)从单快拍测量。我们使用的原则稀疏信号恢复(SSR)的检测和估计的多个目标。在SSR框架中,DoA估计问题是基于网格的,并且可以被视为套索优化问题。相应的DoA检测问题简化为估计套索问题的最佳正则化参数($τ$),以实现所需的正确检测概率($P_c$)。我们提出了有限样本和渐近检验统计量检测所需的$P_c$在中等到高的信噪比的源的数量。一旦检测到源的数量,或者等效地估计了最佳$\hatτ$,则可以通过求解具有设置为$\hatτ$的正则化参数的套索来估计对应的DoA。
2017-09-11 cs.IT math.IT math.PR
Efficient sparse semismooth Newton methods for the clustered lasso problem
我们专注于解决集群套索问题,这是一个最小二乘问题的$\ell_1$型惩罚施加在两个系数和他们的成对差异学习组结构的回归参数。在这里,我们首先将聚类套索正则化器重新表示为加权有序套索正则化器,这对于将计算成本从$O(n^2)$降低到$O(n\log (n))$至关重要。然后,我们提出了一个不精确的半光滑牛顿增广拉格朗日({ \sc Ssnal})算法来解决集群套索问题或其对偶通过这个等价的制定,这取决于是否样本量是大于尺寸的功能。{ \sc Ssnal}算法的一个重要组成部分是计算聚类套索正则化子的邻近映射的广义雅可比矩阵。基于新的配方,我们推导出一个有效的程序,其计算。给出了{ \sc Ssnal}算法的整体收敛和局部线性收敛性的综合结果。为了说明和比较的目的,我们还总结/设计了几个一阶方法,可以用来解决正在考虑的问题,但与新的制定的集群套索正则化的关键改进。作为我们的算法的适用性的演示,数值实验上的集群套索问题进行。实验表明,对于聚类套索问题,{ \sc Ssnal}算法的性能明显优于最佳替代算法。
2019-05-01 math.OC stat.ML
Uniform Consistency of the Highly Adaptive Lasso Estimator of Infinite Dimensional Parameters
考虑我们观察到随机变量的$n$独立同分布副本的情况,其中概率分布已知是指定统计模型的元素。我们感兴趣的是估计一个无限维的目标参数,最大限度地减少了指定的损失函数的期望。在\cite{generally_efficient_TMLE}中,我们定义了一个估计,最大限度地减少经验风险的所有多元实值cadlag函数的变化范数有界的一些常数$M$在参数空间中,并选择$M$与交叉验证。我们将该估计量称为高度自适应Lasso估计量,因为约束可以被公式化为非常大量的基函数的系数a的线性组合的和上的界$M$。具体地,在目标参数是条件均值的情况下,则可以使用标准LASSO回归估计器来实现。在\cite{generally_efficient_TMLE}中,我们证明了HAL-估计量是关于t.以比$n^{-1/2}$更快的速率(即,比$n^{-1/4}$ w.r.t.更快。一个范数),即使参数空间是完全非参数的。这个速率所需的唯一假设是真参数函数具有有限变差范数。基于损失的相异度通常等价于$L^2(P_0)$型范数的平方。本文证明了在弱连续条件下,HAL估计也是一致相合的。
2017-09-19 math.ST stat.TH
Enhanced Lasso Recovery on Graph
Loyola Marymount University(洛约拉马利蒙特大学);University of California Los Angeles(加州大学洛杉矶分校)
这项工作的目的是恢复信号稀疏的图形。压缩感知提供了从一些线性测量中恢复信号的技术,而图形傅立叶分析提供了一种图形上的信号表示。在本文中,我们利用这两个框架,介绍了一个新的Lasso恢复算法的图。更确切地说,我们提出了一个非凸,非光滑的算法,优于标准的凸Lasso技术。我们在三个基准图数据集上进行了数值实验。
2015-06-19 cs.LG stat.ML
Consistent Parameter Estimation for LASSO and Approximate Message Passing
我们考虑的问题,恢复一个矢量$β_o \in \mathbb{R}^p$从$n$随机和噪声的线性观测$y= Xβ_o + w$,其中$X$是测量矩阵和$w$是噪声。LASSO估计由优化问题$\hatβ_λ = \arg \min_β \frac{1}{2} \|y-Xβ\|_2^2 + λ\| β\|_1$的解给出。在求解该优化问题的迭代算法中,近似消息传递算法(AMP)因其快速收敛性而受到关注。尽管在理论分析的LASSO和AMP的估计取得了重大进展,很少有人知道他们的行为作为一个函数的正则化参数$λ$,或therehold参数$τ^t$。例如,以下基本问题尚未在文献中研究:(i)如何的活动集$\|\hatβ^λ\|_0/p$的大小表现为$λ$的函数?(ii)均方误差$\|\hatβ_λ - β_o\|_2^2/p$如何作为$λ$的函数?(iii)作为$τ^1, \ldots, τ^{t-1}$的函数,$\|β^t - β_o \|_2^2/p$的行为如何?提出这些问题将有助于解决$λ$或$τ^1, τ^2, \ldots$最佳调整方面的实际挑战。本文回答了这些问题的渐近设置,并展示了如何将这些结果可以用于导出简单的和理论上最优的方法来调整参数$τ^1, \ldots, τ^t$为AMP或$λ$为LASSO。探讨了AMP参数的最优整定与LASSO参数最优整定之间的关系。
2015-11-04 cs.IT math.IT math.OC
A Complex-LASSO Approach for Localizing Forced Oscillations in Power Systems
我们研究的问题,本地化多个源的强迫振荡(FO)和估计他们的特性,如频率,相位和幅度,使用噪声PMU测量。对于每个源的位置,我们的输入振荡模型作为一个未知的正弦项的总和。这使我们能够在频域中的未知正弦波频率处获得测量与输入之间的线性关系。我们确定这些频率阈值的噪声测量的经验频谱。假设FO位置的数量和每个位置处的正弦曲线的数量是稀疏的,我们将位置恢复问题转换为复域中的$\ell_1$正则化最小二乘问题-即,复杂的LASSO(线性收缩和选择算子)。我们数值求解这个优化问题,使用复值坐标下降法,并显示其效率的IEEE 68总线,16机和WECC 179总线,29机系统。
2022-01-19 stat.AP
Localization and Estimation of Unknown Forced Inputs: A Group LASSO Approach
本文研究了线性动力系统在初态未知的情况下,从噪声测量中定位一组稀疏强迫输入的问题。这个问题与检测电力网络中的强迫振动特别相关。我们将测量表示为包括初态和随时间分组的输入的加性模型,两者都根据基函数进行扩展(即,冲激响应系数)。使用这个模型,与概率保证,我们恢复的位置,同时估计的初态和强迫输入使用一个变体的组LASSO(线性绝对收缩和选择算子)方法。具体来说,我们提供了一个严格的上界:(i)的概率,组LASSO估计错误地识别源位置,和(ii)的$\ell_2$ -范数的估计误差。我们的界限明确地依赖于测量范围的长度,噪声统计,输入和传感器的数量,以及冲激响应矩阵的奇异值。我们的理论分析是第一个提供一个完整的治疗组LASSO估计的线性动力系统下的输入输出延迟的假设。最后,我们验证了我们的结果的合成模型和IEEE 68总线,16机系统。
2022-01-19 math.OC stat.ME
An Alternating Direction Method of Multipliers Algorithm for the Weighted Fused LASSO Signal Approximator
针对加权广义融合 LASSO 信号逼近器(wFLSA)转化为广义 LASSO 后单次迭代复杂度高达 $O(p^4)$ 的问题,提出专为 wFLSA 等价问题定制的 ADMM 算法,将复杂度降至 $O(p^2)$,并通过 R 包 wflsa 公开。
2024-07-25 stat.ME
Direction of arrival estimation using robust complex Lasso
Lasso(最小绝对收缩和选择算子)是一种流行的同时进行线性回归估计和变量选择的技术。在本文中,我们提出了一种新的鲁棒Lasso方法,遵循M-估计的精神。我们定义$M$ -Lasso估计的回归和规模的解决方案,广义零次梯度方程。本文的另一个独特之处是,我们考虑复值测量和回归参数,这需要仔细的数学表征的问题。提出了一种用于计算$M$ -Lasso解的显式且有效的算法,该算法具有与用于计算Lasso解的最新算法相当的计算复杂度。在单次快拍的情况下,说明了$M$ -Lasso方法的波达方向(DoA)估计。
2016-05-12 stat.CO stat.ME
Precise Error Analysis of the $\ell_2$-LASSO
在许多信号处理应用中出现的经典问题要求从欠定、噪声、线性测量$y=Ax_0+z\in R^m$重建未知的$k$ -稀疏信号$x_0\in R^n$。一种标准方法是求解以下凸程序$\hat x=\arg\min_x \|y-Ax\|_2 + λ\|x\|_1$,称为$\ell_2$ -LASSO。我们假设感测矩阵$A$和噪声向量$z$的条目是具有方差$1/m$和$σ^2$的独立同分布高斯。在大系统的极限时,问题的尺寸增长到无穷大,但在恒定的速率,我们\emph{precisely}特征的归一化平方误差$\|\hat x-x_0\|^2_2/σ^2$的限制行为。我们的数值例子验证了我们的理论预测。
2015-02-17 math.OC math.ST stat.TH
Model-Consistent Sparse Estimation through the Bootstrap
Laboratoire d’Informatique de l’Ecole Normale Supérieure(巴黎高等师范学院计算机实验室)
我们考虑的最小二乘线性回归问题与正则化的$\ell^1$ -范数,一个问题通常被称为套索。在本文中,我们首先提出了一个详细的渐近分析的模型一致性的Lasso在低维设置。对于正则化参数的各种衰减,我们计算正确模型选择的概率的渐近等价。对于一个特定的速率衰减,我们表明,Lasso选择所有的变量,应该进入模型的概率趋于一个指数快速,而它选择所有其他变量的严格正概率。我们表明,这个属性意味着,如果我们运行的Lasso的几个自举复制一个给定的样本,然后交叉的Lasso自举估计的支持,导致一致的模型选择。这种新的变量选择程序,被称为Bolasso,扩展到高维设置的可证明一致的两步程序。
2009-01-21 cs.LG stat.ML
The non-overlapping statistical approximation to overlapping group lasso
University of Virginia(弗吉尼亚大学);University of Minnesota, Twin Cities(明尼苏达大学双城分校)
本文提出一种可分离惩罚来近似重叠组 lasso,证明其是最紧可分离松弛且估计量统计等价,同时大幅提升大规模高维问题中的计算效率。
2024-02-20 cs.LG stat.ML
Black Boxes and Looking Glasses: Multilevel Symmetries, Reflection Planes, and Convex Optimization in Deep Networks
Stanford University(斯坦福大学)
本文证明使用绝对值激活的深度神经网络可转化为等价凸 Lasso 问题,揭示了深度网络相比浅层网络天然倾向于多级对称结构,并通过数值实验验证了理论。
2024-10-11 cs.LG stat.ML
High-dimensional log contrast models with measurement errors
针对高维成分数据回归中协变量测量误差的挑战,提出Eric Lasso方法,同时处理成分性质与测量误差,并建立估计误差界与符号一致选择性质,通过模拟和实际数据验证其性能。
2024-07-21 stat.AP stat.ME
A Note on Coding and Standardization of Categorical Variables in (Sparse) Group Lasso Regression
分类回归变量通常通过引入一组指标变量来处理,并施加线性约束以确保在存在截距的情况下的可识别性,或者等效地,使用各种编码方案之一。如Yuan和Lin [J. R.中央集权主义者Soc. B,68(2006),49-67],组套索是在具有分类协变量的设置中执行变量选择的自然且计算上方便的方法。正如Simon和Tibshirani所指出的那样[Stat.罪恶22(2011),983-1001],借助于列子矩阵的逐块正交归一化的“标准化”,每个列子矩阵对应于一组变量,可以显著提高性能。在这篇笔记中,我们详细研究了分类预测变量的特殊情况下的标准化方面。主要结果是,正交归一化是不需要的;列的设计矩阵的缩放,然后重新缩放和居中的系数被证明具有完全相同的效果。在相互作用的情况下可以实现类似的减少。扩展到所谓的稀疏组套索,它还促进组内稀疏,被认为是。适当的标准化的重要性说明通过广泛的模拟。
2018-05-17 stat.CO stat.ME stat.ML
Square Root LASSO: Well-posedness, Lipschitz stability and the tuning trade off
本文研究平方根LASSO的适定性与参数敏感性,提出弱、中间、强三种正则性条件并刻画解映射的Lipschitz及可微性质,揭示其噪声鲁棒调参以更高调参敏感性为代价,并用数值实验验证理论结论。
2024-03-29 eess.SP math.OC stat.AP
Penalized Likelihood Methods for Estimation of Sparse High Dimensional Directed Acyclic Graphs
有向无环图(DAG)通常用于表示图形模型中随机变量之间的因果关系。这些模型的应用出现在物理和生物系统的研究中,其中节点之间的有向边表示系统组件对彼此的影响。从观测数据估计DAG的一般问题在计算上是NP困难的,而且两个有向图在观测上可能是等价的。当节点表现出自然排序时,估计有向图的问题就归结为估计网络结构的问题。在本文中,我们提出了一种惩罚似然方法,直接估计的DAG的邻接矩阵。同时考虑了套索和自适应套索惩罚,提出了一种有效的高维DAG估计算法。本文研究了当变量数随样本量增长到无穷大时,两种惩罚的变量选择一致性。我们表明,虽然套索只能一致地估计真实的网络在严格的假设下,自适应套索实现这一任务在温和的正则条件。所提出的方法的性能进行比较,替代方法在模拟,以及真实的,数据的例子。
2009-11-28 math.ST stat.ME stat.ML
Performance Bounds for LASSO under Multiplicative Noise: Applications to Pooled RT-PCR Testing
该研究针对RT-PCR乘性噪声场景下缺乏Lasso性能界的问题,改编Hunt等人的通用技术,推导了Lasso及其加权版本的高概率性能界与数据依赖权重,并通过模拟混合RT-PCR数据实验验证了结果。
2023-08-28 math.ST stat.TH
LASSO-Based Multiple-Line Outage Identification In Partially Observable Power Systems
相量测量单元(PMU)为现代电力系统创造了充足的实时监测机会。其中,线路故障的检测和识别仍然是一个至关重要的,但具有挑战性的任务。目前的停电识别工作在PMU全面部署和单线停电方面取得了成功。然而,性能下降的多线中断与部分系统的可观测性。我们提出了一个新的框架,多线停电识别使用部分节点电压测量。使用交流(AC)潮流模型,停电的相角签名提取和用于分组线路到最小的可诊断集群。识别,然后制定成欠定稀疏回归问题解决套索。在PMU覆盖率为25%和50%的IEEE 39节点系统上进行了测试,所提出的识别方法对单线和双线停电的准确率分别为93%和80%。我们的研究表明,交流潮流是更好地捕捉停电模式和牺牲一些精度可以产生实质性的提高识别精度。这些发现有助于未来控制方案的发展,帮助电力系统抵抗和恢复停电中断的实时。
2022-06-05 cs.SY eess.SY stat.AP
A Generalized Ridge Regression and Convolutional LASSO
Nagoya Mathematical and Information Science Research(名古屋数学与信息科学研究)
该研究推导Hodrick-Prescott滤波的对偶理论,构建两种趋势表示,提出闭式C³卷积LASSO,经数值验证和基准测试,成功分离NVIDIA股价增长区间断点。
2026-09-01 stat.ME
Dictionary LASSO: Guaranteed Sparse Recovery under Linear Transformation
我们考虑以下信号恢复问题:给定测量矩阵$Φ\in \mathbb{R}^{n\times p}$和由$c = Φθ^* + ε$构造的噪声观测向量$c\in \mathbb{R}^{n}$,其中$ε\in \mathbb{R}^{n}$是其条目遵循i.i.d.如果$Dθ^*$是稀疏的,如何恢复信号$θ^*$ {线性变换下的\rca} $D\in\mathbb{R}^{m\times p}$?一个自然的方法,使用凸优化是解决以下问题:$$\min_θ {1\over 2}\|Φθ- c\|^2 + λ\|Dθ\|_1.$$本文提供了一个上限的估计误差,并显示了一致性的性质,这种方法假设设计矩阵$Φ$是一个高斯随机矩阵。具体地说,我们证明了:1)在无噪声情况下,如果$D$的条件数有界,并且测量数$n\geq Ω(s\log(p))$(其中$s$是稀疏数),则真解可以以高概率恢复;以及2)在有噪声的情况下,如果$D$的条件数有界并且测量比$s\log(p)$增加得快,即,$s\log(p)=o(n)$,当$p$和$s$趋于无穷大时,估计误差以概率1收敛到零。我们的结果是一致的特殊情况$D=\bold{I}_{p\times p}$(相当于LASSO)和改善现有的分析。$D$的条件数在我们的分析中起着关键作用。我们考虑了两种情况下的条件数,包括融合LASSO和随机图:融合LASSO情况下的…
2013-07-20 stat.ML
Fused Lasso for Feature Selection using Structural Information
Central University of Finance and Economics(中央财经大学);University of York(约克大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
特征选择已被证明是高维数据分析的一个强大的预处理步骤。然而,大多数最先进的方法往往忽略了成对样本之间的结构相关性信息,这可以封装有用的信息,用于改进特征选择的性能。此外,他们通常认为候选特征的相关性等同于选择的特征的相关性,一些不太相关的特征可能被误解为显着的特征。为了克服这些问题,我们提出了一种新的特征选择方法,利用成对样本之间的结构相关性。我们的想法是基于原始的矢量特征转换为基于结构的特征图表示,将样本之间的结构关系,并定义一个新的评估措施,计算成对的特征组合的联合重要性的目标特征图。此外,我们制定了相应的特征子集选择问题到一个最小二乘回归模型相关联的融合套索正则化,同时最大限度地提高联合相关性,并尽量减少所选功能的冗余。为了有效地解决优化问题,开发了一种迭代算法来识别最具鉴别力的特征。实验证明了该方法的有效性。
2019-06-28 cs.LG stat.ML
Simulation-Selection-Extrapolation: Estimation in High-Dimensional Errors-in-Variables Models
本文考虑高维环境下的变量误差模型,其中协变量的数量可以远远大于样本量,并且只有少量的非零协变量。协变量中测量误差的存在会导致严重偏倚的参数估计,并且也会影响惩罚方法(如套索)恢复真实稀疏模式的能力。提出了一种新的估计方法SIMSELEX(SIMulation-SELection-EXTRAPOLATION)。该过程通过基于组套索的变量选择步骤增强了传统的SIMEX方法。SIMSELEX估计量在变量选择方面表现良好,并且具有比忽略测量误差的朴素估计量显著更低的估计误差。SIMSELEX可应用于各种变量误差设置,包括线性模型、广义线性模型和Cox生存模型。此外,还展示了SIMSELEX如何应用于基于样条的回归模型。SIMSELEX估计量与线性模型的校正套索和圆锥规划估计量以及逻辑斯谛回归模型的条件分数套索进行比较。最后,该方法被用来分析一个微阵列数据集,其中包含有利的组织学Wilms肿瘤的基因表达测量。
2018-08-30 stat.ME
MEBoost: Variable Selection in the Presence of Measurement Error
本文提出了一种新的方法,当协变量的测量误差的回归模型中的变量选择。我们提出的迭代算法,MEBoost,遵循估计方程,校正协变量测量误差定义的路径。通过仿真,我们评估了我们的方法,并将其性能与最近提出的凸条件套索(CoCoLasso)和不纠正测量误差的“天真”套索进行比较。增加测量误差的程度会增加预测误差并降低准确协变量选择的概率,但使用MEBoost时这种准确性损失最不明显。我们通过分析盒装午餐研究的数据来说明MEBoost在实践中的使用,盒装午餐研究是一项营养临床试验,其中几个变量是基于自我报告的,因此测量有误差。
2017-10-25 stat.CO stat.ML
CoCoLasso for High-dimensional Error-in-variables Regression
大量的理论和应用工作一直致力于高维回归干净的数据。然而,在许多应用中,我们经常会遇到数据损坏的情况,其中丢失的数据和测量误差不容忽视。Loh和Wainwright(2012)提出了一种非凸的Lasso修改,用于在有噪声和缺失数据的情况下进行高维回归。人们普遍认为,凸性的优点从根本上有助于套索的成功和流行。鉴于此,我们提出了一种名为CoCoLasso的新方法,该方法是凸的,可以处理一般类型的损坏数据集,包括附加测量误差和随机缺失数据的情况。我们建立了CoCoLasso的估计误差界及其渐近符号一致选择性质。我们进一步阐明了标准的交叉验证技术如何在存在测量误差的情况下产生误导,并通过使用CoCoLasso中的基本思想开发了一种新的校正交叉验证技术。校正的交叉验证有其自身的重要性。通过仿真研究,我们证明了我们的方法优于非凸方法的性能。
2016-01-01 math.ST stat.TH