Cox's proportional hazards model with a high-dimensional and sparse regression parameter
本文讨论了D. R. Cox在一个高维和稀疏设置的回归参数。为了估计回归参数,应用Dantzig选择器。证明了模型的Dantzig选择器的变量选择一致性。这一性质使我们能够降低参数的维数,并构造回归参数和累积基线风险函数的渐近正态估计。
2017-10-28 math.ST stat.TH
Tree Search Network for Sparse Regression
School of Electrical Engineering, Korea Advanced Institute of Science and Technology(韩国科学技术院电气工程学院)
我们考虑经典的稀疏回归问题的恢复稀疏信号$x_0$给定的测量向量$y = Φx_0+w$。提出了一种基于深度神经网络的稀疏回归树搜索算法。TSN通过执行具有修剪的树搜索来提高为稀疏回归设计的深度神经网络的信号重构性能。在无噪声和有噪声的情况下都可以观察到,TSN恢复合成信号和真实信号的复杂度比传统的树搜索低,并且对于广泛用于稀疏回归的各种类型的感测矩阵$Φ$,TSN优于现有算法。
2019-04-01 cs.LG eess.SP stat.ML
Joint estimation of sparse multivariate regression and conditional graphical models
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
多元回归模型是对经典的一元回归模型的自然推广,用于拟合多个响应.在本文中,我们提出了一个高维多元条件回归模型,用于构造多元回归系数矩阵的稀疏估计,该矩阵考虑了多个响应之间的依赖结构。所提出的方法分解成一系列的惩罚条件对数似然的协变量和其他响应的条件下的每个响应的多元回归问题。它允许同时估计稀疏回归系数矩阵和稀疏逆协方差阵。针对协变量的发散维度和响应数量建立了渐进选择一致性和正态性。所提出的方法的有效性也证明了在各种模拟的例子,以及应用程序的多形性胶质母细胞瘤癌症数据。
2013-06-19 cs.LG stat.ML
Smooth Sparse Coding via Marginal Regression for Learning Sparse Representations
Georgia Tech(佐治亚理工学院);Baidu Inc.(百度公司)
我们提出并分析了一种新的框架,学习稀疏表示,基于两种统计技术:核平滑和边际回归。所提出的方法提供了一个灵活的框架,将特征相似性或时间信息存在于数据集,通过非参数核平滑。我们提供了泛化界的字典学习使用平滑稀疏编码,并显示如何样本的复杂性取决于所使用的核函数的L1范数。此外,我们建议使用边际回归获得稀疏代码,这显着提高了速度,并允许一个扩展到大字典的大小很容易。我们证明了所提出的方法的优点,无论是在精度和速度方面,通过大量的实验,在几个真实的数据集。此外,我们还演示了如何使用所提出的方法来改善半监督稀疏编码。
2012-10-03 cs.LG stat.ML
Swapping Variables for High-Dimensional Sparse Regression with Correlated Measurements
我们考虑高维稀疏线性回归问题,使用少量的线性测量,被噪声污染的稀疏向量的准确估计。众所周知,当测量矩阵包含高度相关的列时,标准的计算上易处理的稀疏回归算法-如Lasso,正交匹配追踪(OMP)及其扩展-性能很差。为了解决这个缺点,我们开发了一个简单的贪婪算法,称为SWAP,迭代交换变量,直到收敛。SWAP在处理具有高相关性的度量矩阵时非常有效。事实上,我们证明了SWAP输出真正的支持,在稀疏向量的非零元素的位置,在一个相对温和的条件下的测量矩阵。此外,我们表明,SWAP可以用来提高任何稀疏回归算法的性能。我们经验证明SWAP的优势,通过比较它与几个国家的最先进的稀疏回归算法。
2014-02-22 cs.IT math.IT math.ST
Sparse Poisson Regression with Penalized Weighted Score Function
本文提出了一种新的惩罚方法来求解稀疏Poisson回归问题。与$\ell_1$惩罚对数似然估计不同,我们的新方法可以看作是惩罚加权评分函数方法。我们证明了在较弱的条件下,我们的估计量是$\ell_1$相容的,并且调节参数可以预先指定,这与平方根Lasso具有相同的良好性质.
2017-03-11 math.ST stat.TH
A Safe Screening Rule for Sparse Logistic Regression
Computer Science and Engineering, Arizona State University, USA(亚利桑那州立大学计算机科学与工程学院,美国);SAS Institute Inc., USA(美国SAS研究所)
l1正则化逻辑回归(或稀疏逻辑回归)是一种广泛使用的同时进行分类和特征选择的方法。虽然最近的许多努力已经致力于其有效的实施,其应用到高维数据仍然构成了重大挑战。在本文中,我们提出了一种快速有效的稀疏逻辑回归筛选规则(Slores)来识别解决方案向量中的0分量,这可能会导致要进入优化的特征数量大幅减少。Slores的一个吸引人的特点是,数据集只需要扫描一次就可以运行筛选,与解决稀疏逻辑回归问题相比,其计算成本可以忽略不计。此外,Slores是独立的稀疏逻辑回归的求解器,因此Slores可以与任何现有的求解器集成,以提高效率。我们已经评估了Slores使用高维数据集从不同的应用程序。大量的实验结果表明,Slores优于现有的国家的最先进的筛选规则和解决稀疏逻辑回归的效率提高了一个数量级。
2013-07-18 cs.LG stat.ML
Communication-efficient sparse regression: a one-shot approach
Stanford University(斯坦福大学);Dartmouth College(达特茅斯学院)
我们设计了一个一次性的方法,分布稀疏回归在高维设置。关键思想是平均“去偏”或“去偏”的套索估计。我们表明,只要数据集没有被分割到太多的机器上,这种方法就能以与套索相同的速度收敛。我们还将该方法推广到广义线性模型。
2015-08-11 cs.LG stat.ML
Robust and Sparse Estimation of Linear Regression Coefficients with Heavy-tailed Noises and Covariates
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学)
研究了线性回归系数的抗差稀疏估计。本文所解决的情况是,协变量和噪声是从重尾分布中采样的,并且协变量和噪声被恶意离群值污染。我们的估计量可以有效地计算。此外,估计的误差界是接近最优的。
2022-10-09 cs.LG stat.ML
Conditional Sparse Coding and Grouped Multivariate Regression
Carnegie Mellon University(卡内基梅隆大学);University of Chicago(芝加哥大学)
我们研究的问题,多元回归的数据是自然分组,回归矩阵是估计为每组。我们提出了一种方法,在该方法中,低秩参数矩阵的字典估计跨组,和字典元素的稀疏线性组合估计在每个组内形成一个模型。我们将该方法称为条件稀疏编码,因为它是以协变量向量X为条件的响应向量Y的编码过程。这种方法捕获跨组的共享信息,同时适应每个组内的结构。它利用了在计算机视觉和计算神经科学中成功开发的稀疏编码背后的相同直觉。我们提出了一种算法的条件稀疏编码,分析其理论性质的预测精度,并提出了模拟和脑成像实验的结果,比较新技术,以减少秩回归。
2012-06-27 cs.LG stat.ML
Noise Statistics Oblivious GARD For Robust Regression With Sparse Outliers
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
在许多信号处理应用中,被高斯噪声(内点)和可能的无界稀疏离群点污染的线性回归模型是常见的。稀疏恢复启发的鲁棒回归(SRIRR)技术被证明可以在这样的回归模型中提供高质量的估计性能。不幸的是,大多数SRIRR技术假定\textit{a priori}知道噪声统计,如内点噪声方差或离群点统计,如离群点的数量。内点和外点噪声统计量都很少为\textit{a priori}所知,这限制了许多SRIRR算法的有效操作。本文提出了一种新的噪声统计无关算法称为残差比阈值GARD(RRT GARD)的鲁棒回归稀疏离群值的存在。RRT-GARD是通过修改最近提出的噪声统计相关的贪婪算法鲁棒去噪(GARD)。有限样本和渐近分析结果表明,RRT-GARD执行几乎类似的GARD与\textit{a priori}知识的噪声统计。真实和合成数据集的数值模拟也表明了RRT-GARD具有很强的竞争力。
2018-09-19 cs.LG stat.ML
Conditional Uncorrelation and Efficient Non-approximate Subset Selection in Sparse Regression
Xi’an Jiaotong University(西安交通大学);State Key Laboratory of Management and Control for Complex Systems(复杂系统管理与控制国家重点实验室)
给定$m$ $d$ -维响应变量和$n$ $d$ -维预测变量,稀疏回归为线性近似$1\leq k \leq d-1$的每个响应变量找到最多$k$预测变量.稀疏回归中的关键问题是子集选择,这通常具有很高的计算代价。近年来,提出了许多改进的近似子集选择方法。然而,非近似的子集选择方法却很少受到关注,而这对于数据分析中的许多问题是非常必要的。本文从相关性的角度考虑稀疏回归问题,给出了条件不相关性的计算公式。在此基础上,提出了一种有效的非近似子集选择方法,该方法不需要计算回归方程中的任何系数。通过该方法,稀疏回归中每个候选子集的计算复杂性从$O(\frac{1}{6}{k^3}+mk^2+mkd)$降低到$O(\frac{1}{6}{k^3}+\frac{1}{2}mk^2)$。由于维数$d$一般为观测或实验的个数且足够大,因此该方法可以大大提高非近似子集选择的效率。
2020-11-24 cs.LG stat.ML
Nonconvex Sparse Logistic Regression with Weakly Convex Regularization
Tsinghua University(清华大学)
在这项工作中,我们提出了适合稀疏逻辑回归模型的弱凸正则化非凸优化问题。这个想法是基于这样的发现,即作为$\ell_0$伪范数的近似的弱凸函数能够比常用的$\ell_1$范数更好地诱导稀疏性。对于一类弱凸稀疏诱导函数,证明了相应稀疏Logistic回归问题的非凸性,并研究了其局部最优性条件和排除平凡解的正则化参数的选择.尽管非凸性,基于近似梯度下降的方法来解决一般弱凸稀疏逻辑回归,并从理论上研究其收敛性。然后将一般框架应用于一个具体的弱凸函数,并给出了局部最优性的一个充分必要条件。在这种情况下,作为一个迭代的坚定收缩算法的解决方案的方法实例化,其有效性在数值实验中证明了随机生成的和真实的数据集。
2017-08-07 cs.LG stat.ML
On Regularized Sparse Logistic Regression
Clemson University(克莱姆森大学)
本文提出统一框架求解L1正则化逻辑回归,可扩展至非凸正则项,并用新线搜索保证单调收敛,实验证明算法在二分类中高效实现分类与特征选择。
2023-10-12 cs.AI cs.LG stat.ML
A New Greedy Algorithm for Multiple Sparse Regression
Yahoo! Labs(雅虎实验室)
本文提出了一种新的多维稀疏回归算法,其中的任务是估计的支持和几个(通常相关)稀疏向量的值从一些嘈杂的线性测量。我们的算法是一个“向前向后”的贪婪过程-唯一-操作两个不同的对象类。特别是,我们将目标稀疏向量组织为矩阵;我们的算法涉及迭代添加和删除矩阵的(a)单个元素和(b)整行(对应于共享特征)。分析上,我们建立了我们的算法管理恢复的支持(确切)和值(近似)的稀疏向量,假设类似于现有的方法的基础上凸优化。然而,我们的算法有一个小得多的计算复杂度。也许最有趣的是,它被经验地认为需要明显更少的样本。我们的代表了第一次尝试扩展贪婪算法的类模型,只能/最好的组件结构假设(稀疏和组稀疏,在我们的情况下)的组合表示。
2012-06-07 cs.LG stat.ML
Detection boundary in sparse regression
研究了带有高斯噪声的线性回归模型中p维参数稀疏向量的检测问题。我们建立检测边界,即,当样本量n和维数p都趋于无穷大时,成功检测的可能性的充要条件。测试程序,实现这一边界也展出。我们的结果包括高维设置(p>> n)。主要的信息是,在某些条件下,已被证明的高斯序列模型的检测边界现象,扩展到高维线性回归。最后,当噪声方差未知时,我们建立检测边界。有趣的是,检测边界有时取决于高维环境中的方差知识。
2010-09-09 math.ST stat.TH
Sparse Volterra and Polynomial Regression Models: Recoverability and Estimation
University of Minnesota(明尼苏达大学)
Volterra和多项式回归模型在非线性系统辨识和推理任务中起着重要作用。从神经科学到全基因组关联分析等令人兴奋的应用都建立在这些模型的基础上,并具有简约性的额外要求。这一要求具有很高的解释价值,但不幸的是,不能满足最小二乘或核回归方法。为此,压缩采样(CS)的方法,已经成功的线性回归设置,可以提供一个可行的替代方案。CS稀疏Volterra和多项式模型的可行性是这项工作的核心主题。一个共同的稀疏回归任务,最初提出的两个模型。建立在(加权)拉索为基础的计划,一个自适应RLS型算法稀疏多项式回归。多项式模型的可辨识性受到维数的严重挑战。然而,根据CS原理,当这些模型稀疏时,它们可以通过少得多的测量来恢复。为了量化足够数量的测量给定水平的稀疏性,受限制的等距属性(RIP)进行了研究,在常见的多项式回归设置,概括已知的结果,其线性对应。新的(加权)自适应CS算法稀疏多项式建模的优点是通过合成以及真实数据测试基因型-表型分析验证。
2011-09-07 cs.IT cs.LG math.IT
Sparse Regression and Adaptive Feature Generation for the Discovery of Dynamical Systems
我们研究了稀疏回归方法的性能,并提出了新的技术,从数据中提取动力系统的控制方程。我们首先看一下Brunton等人提出的从数据中学习可解释方程形式的通用方法,然后为此目的进行LASSO。然后,我们提出了一个新的算法,使用的对偶LASSO优化更高的精度和稳定性。在第二部分中,我们提出了一种新的算法,学习候选函数库在一个完全的数据驱动的方式来提取动力系统的控制方程。这是通过正交多项式空间上的顺序阈值岭回归(STRidge)来实现的。以Lorenz 63系统和二次Lorenz系统为例,说明了这三种方法的性能。
2019-03-21 cs.LG stat.ML
Sparse Tensor Additive Regression
Deepmind;The University of Iowa(爱荷华大学);University of Georgia(佐治亚大学);University of Miami(迈阿密大学);Yahoo Research(雅虎研究院);Purdue University(普渡大学)
张量在医学成像和数字营销等现代应用中越来越普遍。在本文中,我们提出了一个稀疏张量加性回归(STAR)模型的标量响应作为一个灵活的非参数函数的张量协变量。该模型有效地利用了张量加性回归中的稀疏和低秩结构。我们将参数估计转化为一个非凸优化问题,并提出了一种有效的惩罚交替最小化算法。我们建立了一个非渐近误差界的估计从每个迭代的算法,这揭示了优化误差和统计收敛速度之间的相互作用。我们通过广泛的比较模拟研究证明了STAR的有效性,并将其应用于在线广告的点击率预测。
2021-03-05 cs.LG stat.ML
Sparse Mixed Linear Regression with Guarantees: Taming an Intractable Problem with Invex Relaxation
Purdue University(普渡大学)
在本文中,我们研究了稀疏混合线性回归问题的未标记的数据集,从两个不同的回归参数向量的线性测量产生。由于数据是未标记的,因此我们的任务不仅是找出回归参数向量的良好近似,而且还要正确标记数据集。在其原始形式中,该问题是NP-难的。解决这个问题的最流行的算法(如期望最大化)有一种倾向,停留在局部最小值。我们提供了一个新的不变凸松弛这个棘手的问题,导致一个解决方案,可证明的理论保证。这种松弛使得能够准确地恢复数据标签。此外,我们恢复的回归参数向量的支持和符号匹配的真实参数向量的密切近似。我们的配方使用精心构造的原始对偶证人框架的不变凸问题。此外,我们表明,我们的方法的样本复杂度是对数的回归参数向量的维数。
2022-06-02 cs.LG stat.ML
Adaptive sparseness for correntropy-based robust regression via automatic relevance determination
Institute of Innovative Research, Tokyo Institute of Technology(东京工业大学创新研究院);ATR Neural Information Analysis Laboratories(ATR神经信息分析实验室)
针对基于MCC的鲁棒回归,提出在贝叶斯框架下结合ARD技术实现自适应稀疏的MCC-ARD方法,避免了L1正则化的超参数调优,并在实验中展现出更优的预测与特征选择能力。
2023-01-31 cs.LG stat.ML
Multivariate functional group sparse regression: functional predictor selection
在本文中,我们提出了方法的功能预测选择和光滑的功能系数估计同时在标量函数回归问题下的高维多元函数数据设置。特别是,我们开发了两种方法的功能组稀疏回归下的一般希尔伯特空间的无限维。我们证明了算法的收敛性和一致性的估计和选择(预言性质)在无限维Hilbert空间。仿真研究表明,该方法在函数系数的选择和估计方面都是有效的。功能磁共振成像(fMRI)的应用揭示了人类大脑中与ADHD和智商相关的区域。
2021-07-08 math.ST q-bio.NC stat.AP
Sparse Hierarchical Regression with Polynomials
Operations Research Center, Massachusetts Institute of Technology(麻省理工学院运筹学中心)
提出了一种新的精确分层稀疏多项式回归方法。我们的回归量是次数$r$多项式,它依赖于最多的$k$输入,最多计数$\ell$单项项,最小化其预测误差的平方和。以前的分层稀疏规范与现代大数据设置非常一致,其中许多输入与预测目的无关,并且需要控制回归量的函数复杂性以避免过度拟合。我们提出了一个两步的方法来解决这个层次稀疏回归问题。首先,我们使用极快的输入排序启发式算法丢弃不相关的输入。其次,我们利用现代切割平面整数优化方法来解决我们所得到的减少层次$(k, \ell)$稀疏问题。我们的方法,以确定所有$k$相关的输入和所有$\ell$单项条款的能力经验表明,经历一个相变。至关重要的是,同样的转变也表现在我们拒绝所有不相关的特征和单项式的能力上。在我们的方法是统计强大的政权,其计算复杂性是有趣的Lasso为基础的几何学。所提出的工作填补了一个空白,缺乏强大的纪律非线性稀疏回归方法在高维设置。经验表明,我们的方法可以扩展到具有输入维度$p\approx 1,000$的$n\approx 10,000$观测的回归问题。
2017-09-28 cs.LG math.OC stat.ML
PIANO: A Fast Parallel Iterative Algorithm for Multinomial and Sparse Multinomial Logistic Regression
多项逻辑斯谛回归是一种被广泛研究的分类工具,并且已经广泛用于图像处理、计算机视觉和生物信息学等领域。在监督分类场景下,多项逻辑斯谛回归模型通过优化似然目标来学习权重向量以区分任何两个类别。随着大数据时代的到来,数据的泛滥导致了权向量的高维化,也导致了大量的类,这使得经典的模型估计方法在计算上变得不可行。针对这一问题,本文提出了一种并行迭代算法:多元逻辑斯谛回归并行迭代算法(PIANO)。该算法基于优化最小化过程,能够并行更新权向量的每个元素。此外,我们还表明,PIANO可以很容易地扩展到解决稀疏多项式逻辑斯谛回归问题-一个广泛研究的问题,因为它有吸引力的特征选择属性。特别地,我们将PIANO扩展到求解具有l1和l0正则化的稀疏多项逻辑斯谛回归问题。我们还证明了PIANO收敛到多项式和稀疏多项式逻辑斯谛回归问题的一个平稳点。仿真结果表明,该算法在收敛速度上优于现有方法。
2020-02-21 cs.LG math.OC stat.ML
A Unified Framework for Sparse Relaxed Regularized Regression: SR3
University of Washington(华盛顿大学)
正则化回归问题普遍存在于统计建模、信号处理和机器学习中。稀疏回归在科学模型发现中尤其重要,包括压缩传感应用、变量选择和高维分析。我们提出了一个广泛的框架稀疏松弛正则化回归,称为SR 3。关键思想是解决正则化问题的松弛,这与最先进的方法相比有三个优点:(1)松弛问题的解在误差、假阳性和条件方面是优越的,(2)松弛允许用于凸和非凸公式的极快算法,以及(3)该方法适用于复合正则化子,例如全变差(TV)及其非凸变体。我们证明了SR3的优势(计算效率,更高的精度,更快的收敛速度,更大的灵活性)在一系列的正则化回归问题的合成和真实的数据,包括压缩感知,LASSO,矩阵完成,电视正则化,和组稀疏的应用。为了促进可重复的研究,我们还提供了一个配套的MATLAB软件包来实现这些示例。
2018-11-08 cs.LG math.OC stat.ML
Robust and Sparse Regression in GLM by Stochastic Optimization
The Graduate University for Advanced Studies(高级研究大学院大学);The Institute of Statistical Mathematics(统计数学研究所);Nagoya University Graduate School of Medicine(名古屋大学医学研究科)
本文提出基于γ-散度的鲁棒稀疏广义线性模型,采用随机优化方法提高高维数据下的鲁棒性和稀疏性,通过随机化随机投影梯度下降法实现高效参数估计。
2018-02-09 stat.ME stat.ML
Sparse semiparametric regression when predictors are mixture of functional and high-dimensional variables
针对函数型与高维变量混合的回归降维问题,提出结合稀疏线性思想与半参数方法的灵活模型,推导相关渐近结果,并通过模拟实验和Tecator数据集应用验证方法有效性。
2024-01-26 math.ST stat.ME stat.TH
Bayesian sparse multiple regression for simultaneous rank reduction and variable selection
我们开发了一种贝叶斯方法,旨在同时估计低秩和行稀疏矩阵的高维多响应线性回归模型。我们考虑了精心设计的收缩前的矩阵的回归系数,从而避免了需要指定一个先验的秩,并缩小回归矩阵对低秩和行稀疏结构。我们提供了理论支持,所提出的方法,通过证明极小极大最优的后验均值下的预测风险在超高的维度设置的预测因子的数量可以增长相对于样本量的次指数。一个一步的后处理方案引起的估计系数矩阵的行上的组套索处罚变量的选择,与默认选择的调谐参数。我们还提供了一个估计的秩使用一种新的优化函数实现降维的协变量空间。我们展示了所提出的方法在一个广泛的模拟研究和一个真实的数据例子的性能。
2019-04-09 math.ST stat.ME stat.TH
Sparse Reduced-Rank Regression for Simultaneous Rank and Variable Selection via Manifold Optimization
The University of Electro-Communications(电气通信大学)
针对高真实秩下降秩回归系数估计失效的问题,提出基于稀疏正则化与流形优化的同时秩与变量选择算法,实现准确估计并验证有效性。
2019-11-01 cs.LG stat.ME stat.ML
Balancing Statistical and Computational Precision: A General Theory and Applications to Sparse Regression
现代技术正在产生越来越多的数据。利用这些数据需要既有统计上的合理性又有计算效率的方法。通常,统计和计算方面被分开处理。在本文中,我们提出了一种方法来纠缠这两个方面的背景下,正则化估计。将我们的方法应用于稀疏和组稀疏回归,我们表明它可以在统计和计算上改进标准管道。
2022-09-14 stat.CO stat.ME stat.ML
Sparse principal component regression via singular value decomposition approach
The University of Electro-Communications(电气通信大学)
主成分回归(PCR)是一个两阶段的过程:第一阶段执行主成分分析(PCA),第二阶段构建回归模型,其解释变量由第一阶段获得的主成分代替。由于PCA仅使用解释变量进行,因此主成分没有关于响应变量的信息。为了解决这个问题,我们提出了一个单阶段的PCR过程中的奇异值分解方法。我们的方法是基于两个损失函数,回归损失和PCA损失,稀疏正则化。所提出的方法使我们能够获得主成分负荷,拥有解释变量和响应变量的信息。提出了一种利用乘子交替方向法的估计算法。我们进行数值研究,以显示所提出的方法的有效性。
2020-02-21 cs.LG stat.ME stat.ML
Robust and Sparse Regression via $γ$-divergence
在高维数据中,已经提出了许多稀疏回归方法。然而,它们可能对离群值不稳健。近年来,人们研究了利用密度幂权进行抗差参数估计,并讨论了相应的发散性。其中一个这样的分歧是$γ$ -分歧和鲁棒估计使用$γ$ -分歧是已知的具有很强的鲁棒性。本文研究了基于$γ$ -散度的稳健稀疏回归问题。我们扩展的$γ$ -发散回归问题,并表明,它具有很强的鲁棒性下,即使在严重污染的离群值是异质的。损失函数由稀疏正则化的$γ$ -散度的经验估计构造,参数估计被定义为损失函数的最小值。为了得到鲁棒的稀疏估计,我们提出了一种有效的更新算法,该算法具有单调递减的损失函数的性质。特别地,我们详细讨论了一个线性回归问题与$L_1$正则化。在数值实验和实际数据分析中,我们看到所提出的方法优于过去的鲁棒和稀疏的方法。
2016-08-29 stat.ME stat.ML
Relaxed Sparse Eigenvalue Conditions for Sparse Estimation via Non-convex Regularized Regression
Department of Automation, Tsinghua University, Beijing 100084, P.R.China(自动化系,清华大学,北京100084,中国);State Key Lab of Intelligent Technologies and Systems(智能技术与系统国家重点实验室);Tsinghua National Laboratory for Information Science and Technology(TNList)(信息科学与技术国家实验室(清华大学))
本文研究了非凸正则化回归中稀疏估计的松弛特征值条件,证明了非凸正则化在稀疏估计中的有效性,并展示了坐标下降法在获得近似全局解中的应用。
2014-02-12 cs.LG cs.NA math.NA
Optimal Sketching Bounds for Sparse Linear Regression
Adobe Research(Adobe研究院);TU Dortmund University(多特蒙德工业大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Aarhus University(奥胡斯大学);Carnegie Mellon University(卡内基梅隆大学)
本文研究了多种损失函数下稀疏线性回归的oblivious sketching,给出了紧致的草图行数上界,揭示了其与稀疏恢复问题在草图化难度上的分离,并为铰链式损失及LASSO回归提供了最优草图界限。
2023-04-05 cs.DS cs.LG stat.ML
Robust 1-bit compressed sensing and sparse logistic regression: A convex programming approach
本文发展了关于噪声1位压缩感知和稀疏二项回归的理论结果。我们表明,一个单一的凸规划给出了一个准确的估计信号,或系数向量,这两个模型。我们证明了R^n中的s-稀疏信号可以使用一个简单的凸规划从m = O(slog(n/s))的单比特测量中精确估计。即使每个测量位以接近1/2的概率翻转,这仍然是真的。最坏的情况下(对抗)的噪声也可以考虑,并得出一致的结果,所有稀疏的输入。在稀疏逻辑回归的术语中,我们证明了O(slog(n/s))Bernoulli试验足以估计R^n中近似s-稀疏的系数向量。此外,相同的凸规划适用于几乎所有的广义线性模型,其中链接函数可能是未知的。据我们所知,这些是将稀疏逻辑回归理论与1位压缩感知联系在一起的第一个结果。我们的结果适用于一般的信号结构,除了稀疏性,只需要知道信号所在的集合K的大小。大小由K的平均宽度给出,K是一个可计算的量,其平方作为维数的鲁棒扩展。
2012-07-19 cs.IT math.IT math.ST
Keeping greed good: sparse regression under design uncertainty with application to biomass characterization
在本文中,我们考虑经典的测量误差回归的情况下,我们的独立,或设计,观察变量与几个源的加性噪声。我们将表明,我们的激励示例的重复测量的设计和因变量可以利用,以提高稀疏回归算法。具体而言,我们估计方差并使用它来缩放设计变量。我们从几个角度证明了缩放的有效性,并使用两种最广泛使用的稀疏算法:最小角度回归(LARS)和Dantzig选择器(DS)的生物质表征数据集进行经验验证。
2012-07-08 stat.AP stat.CO stat.ME
Sparse Private LASSO Logistic Regression
Booz Allen Hamilton(博思艾伦汉密尔顿);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);Air Force Research Laboratory(空军研究实验室)
针对现有差分隐私LASSO逻辑回归多生成稠密解、削弱LASSO惩罚效用的问题,提出先训练非隐私模型确定可私有化非零系数数、再选模的稀疏差分隐私方法,在合成与真实数据集上验证了性能。
2023-04-29 cs.CR cs.LG
A note relating ridge regression and OLS p-values to preconditioned sparse penalized regression
当设计矩阵具有标准正交列时,普通最小二乘(OLS)解的“软阈值”产生Lasso解[Tibshirani,1996]。如果使用Puffer预处理Lasso [Jia and Rohe,2012],则该结果从正交设计推广到满秩设计(定理1)。定理2改进了Puffer预处理器,使Lasso选择与去除具有最大p值的OLS解的元素相同的模型。使用广义的Puffer预处理器,定理3将岭回归与预处理的Lasso联系起来;该结果是针对高维设置,p > n。其中标准Lasso类似于向前选择[Efron等人,2004],定理1,2和3表明,预处理拉索更类似于向后淘汰。这些结果适用于l1以上的稀疏惩罚;对于广泛的稀疏和非凸技术(例如SCAD和MC+),结果适用于所有局部极小值。
2014-12-03 stat.ME stat.ML
Learning Fast Approximations of Sparse Nonlinear Regression
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
将迭代算法展开为深度神经网络的想法已广泛应用于解决稀疏编码问题,在收敛速度方面提供了扎实的理论分析和优越的经验性能。然而,对于稀疏非线性回归问题,由于非线性的复杂性,很少利用类似的想法。在这项工作中,我们通过引入非线性学习迭代收缩保持算法(NLISTA)来弥合这一差距,该算法在适当的条件下可以达到线性收敛。合成数据上的实验证实了我们的理论结果,并表明我们的方法优于国家的最先进的方法。
2020-10-26 cs.LG
Sparse Bilinear Logistic Regression
Rice University(莱斯大学);UCLA(加州大学洛杉矶分校)
在本文中,我们介绍了稀疏双线性逻辑斯谛回归的概念,涉及解释变量是二维矩阵的判定问题。这些问题在计算机视觉、脑机接口、风格/内容因子分解和并行因子分析中很常见。底层的最优化问题是双凸的,我们研究它的解决方案,并开发了一个有效的算法的基础上块坐标下降。给出了算法整体收敛的理论保证,并利用Kurdyka-Schojasiewicz不等式估计了算法的渐近收敛速度.一系列的模拟和真实数据的实验表明,稀疏双线性逻辑斯谛回归优于目前的技术在几个重要的应用。
2014-04-15 cs.CV cs.LG math.OC
Rank-one Convexification for Sparse Regression
University of California, Berkeley(加州大学伯克利分校);University of Pittsburgh(匹兹堡大学)
稀疏回归模型由于其易于解释性和出色的样本外性能而日益流行。然而,稀疏回归的精确模型与$\ell_0$约束限制的支持的估计是一个具有挑战性的(\NP硬)非凸优化问题。在本文中,我们得到了新的强凸松弛稀疏回归。这些松弛是基于理想的(凸包)配方秩一二次项与指标变量。新的松弛可以制定为半定优化问题在一个扩展的空间,更强大和更一般的比国家的最先进的配方,包括透视重构和配方与反向休伯罚款和极小极大凹罚函数。此外,建议的秩一加强可以被解释为一个\textit{non-separable, non-convex, unbiased}稀疏诱导正则化,它动态地调整其惩罚根据误差函数的形状,而不会引起偏见的稀疏解决方案。在我们的基准数据集的计算实验中,提出的二次曲线公式在几秒钟内解决,并导致非凸$\ell_0$ -问题的接近最优的解决方案(0.4\%的最优性差距)。此外,从统计的角度来看,所得到的估计也优于其他凸方法,实现了高预测精度和良好的可解释性。
2020-10-18 cs.LG math.OC stat.ME
Sparse High-Dimensional Regression: Exact Scalable Algorithms and Phase Transitions
我们提出了一种新的二元凸重构稀疏回归问题,构成了一个新的对偶的角度来看。我们设计了一种新的割平面法,并提供证据表明,它可以解决可证明的最优性的稀疏回归问题的样本量n和数量的回归p在100,000秒,这是两个数量级优于目前的最先进的,在秒。解决非常高维问题的能力使我们能够观察到新的相变现象。传统的复杂性理论认为问题的难度随着问题的大小而增加,与此相反,稀疏回归问题具有这样的性质,即随着样本个数$n$的增加,问题变得更容易,因为解决方案恢复了100%的真实信号,并且我们的方法非常快地解决了问题(实际上比Lasso更快),而对于小的样本个数n,我们的方法需要更长的时间来解决问题,但重要的是,最优解提供了统计上更相关的回归量。我们认为,我们的精确稀疏回归方法提出了一个更好的替代启发式方法目前可用。
2017-09-28 math.OC stat.ML
A Discussion on Practical Considerations with Sparse Regression Methodologies
Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院)
稀疏线性回归是一个广阔的领域,有许多不同的算法可用于构建模型。发表在《统计科学》上的两篇新论文研究了几种稀疏回归方法的比较性能,包括套索和子集选择。全面的实证分析使研究人员能够证明每个估计量的相对优点,并为从业人员提供指导。在这次讨论中,我们总结和比较这两项研究,我们检查的协议和分歧点,旨在为用户提供清晰度和价值。作者们已经开始了一场非常有建设性的对话,我们的目标是继续下去。
2021-02-08 cs.LG stat.AP stat.ME
Dependent relevance determination for smooth and structured sparse regression
在许多问题设置中,参数向量不仅是稀疏的,而且以非零系数倾向于聚集在一起的方式依赖。我们将这种依赖形式称为“区域稀疏性”。经典的稀疏回归方法,如套索和自动相关性确定(ARD),它们将参数建模为先验独立的,因此不利用这种依赖关系。在这里,我们介绍了一个分层模型的光滑,区域稀疏的权重向量和张量在线性回归设置。我们的方法代表了一个层次的相关性确定框架的扩展,在那里我们添加了一个转换后的高斯过程模型回归权重的先验方差之间的依赖关系。我们将其与傅立叶系数的先验方差的结构化模型相结合,从而消除了不必要的高频。由此产生的先验知识鼓励权重同时在两个不同的基中是区域稀疏的。我们发展了拉普拉斯近似和蒙特卡罗马尔可夫链(MCMC)采样,以提供有效的推断后验。此外,一个两阶段的凸松弛的拉普拉斯近似的方法也提供放松不可避免的非凸优化过程中。最后,我们显示了实质性的改进,从大脑成像的模拟和真实数据集的可比方法。
2019-01-24 stat.ML
The CDF penalty:sparse and quasi unbiased estimation in regression models
在高维回归建模中,预测变量中包含的候选协变量数量相当大,变量选择至关重要。在这项工作中,我们提出了一个新的惩罚,能够保证稀疏的变量选择,即完全为零的回归系数估计,和准无偏的“选定”的变量在高维回归模型的系数。仿真结果表明,我们的建议执行不差于它的竞争对手,同时始终确保解决方案是唯一的。
2022-12-16 stat.ME
Lass-0: sparse non-convex regression by local search
我们使用L1正则化(也称为Lasso)作为初始化步骤来计算L0正则化线性回归的近似解。我们的算法,Lass-0(“Lass零”),使用计算效率的逐步搜索,以确定一个局部最优的L0解决方案,任何L1正则化解决方案。我们提出的理论结果的一致性下的正交性和适当的处理冗余功能。经验上,我们使用合成数据来证明Lass-0解决方案比L1正则化模型更接近真实的稀疏支持。此外,在现实世界的数据中,Lass-0找到了比L1正则化更简约的解决方案,同时保持了类似的预测精度。
2016-02-17 stat.ML
Sparse Bayesian Learning via Stepwise Regression
Cornell University(康奈尔大学)
稀疏贝叶斯学习(SBL)是一个强大的框架,用于在概率模型中实现稀疏性。在这里,我们提出了一个坐标上升算法SBL称为相关匹配追踪(RMP),并表明,由于其噪声方差参数为零,RMP表现出惊人的连接逐步回归。此外,我们得到新的保证逐步回归算法,这也揭示了RMP。我们对前向回归的保证改进了具有噪声的正交匹配追踪的确定性和概率结果。我们对确定系统的后向回归的分析最终在子集选择问题的最优解的残差上有界,如果满足,则保证结果的最优性。据我们所知,这个界限是第一个可以在多项式时间内计算的,并且主要取决于矩阵的最小奇异值。我们报告使用各种特征选择算法的数值实验。值得注意的是,RMP及其限制性变体都是有效的,并保持了相关特征的强大性能。
2021-06-11 cs.IT cs.LG math.IT
A regression algorithm for accelerated lattice QCD that exploits sparse inference on the D-Wave quantum annealer
我们提出了一种回归算法,该算法利用D-Wave量子退火机上针对稀疏推理优化的学习字典。在这种回归算法中,我们将自变量和因变量连接为组合向量,并将它们之间的高阶相关性编码到针对稀疏重建优化的字典中。在测试数据集上,将因变量初始化为其平均值,然后获得组合向量的稀疏重建,其中因变量通常被移动到更接近其真实值,如在标准修复或去噪任务中那样。在这里,一个量子退火器,它可能可以利用一个完全纠缠的初始状态,以更好地探索复杂的能量景观,是用来解决高度非凸稀疏编码优化问题。使用D-Wave 2000 Q量子退火机对晶格量子色动力学模拟数据进行了回归算法验证,取得了良好的预测性能。使用20到64之间的六个不同的全连接逻辑量子比特的数量值来执行回归测试。缩放结果表明,更大数量的量子比特提供更好的预测精度。
2021-01-04 hep-lat quant-ph stat.ML
Sequential scaled sparse factor regression
多变量响应和预测因子之间的大规模关联分析具有重要的实际意义,例如包括社交媒体营销和危机管理在内的现代商业应用。尽管快速的方法进步,如何获得可扩展的估计与自由调整的正则化参数仍然不清楚一般的噪声协方差结构。本文提出了一种新的回归方法-序贯尺度稀疏因子回归(SESS),该方法基于一种新的观点,即通过正则特征值分解,可以将低秩稀疏回归系数矩阵的恢复问题分解为多个单变量响应稀疏回归问题。它结合了序贯估计和缩放稀疏回归的优点,从而共享从这两种方法继承的稀疏参数的可扩展性和免调属性。逐步凸公式,序贯因子回归框架和调优不敏感性使SESS在大数据应用中具有高度的可扩展性。还提供了全面的理论依据与新的见解高维多响应回归。通过仿真研究和股票空头利率数据分析,证明了该方法的可扩展性和有效性。
2020-11-17 stat.ME
Exhaustive search for sparse variable selection in linear regression
本文提出了一种K稀疏穷举搜索(ES-K)方法和一种K稀疏近似穷举搜索(AES-K)方法,用于线性回归中变量的选择。通过这些方法,假设解释变量的最优组合是K-稀疏的,则对变量的K-稀疏组合进行了详尽的测试。通过收集穷尽计算ES-K的结果,可以将用于选择稀疏变量的各种近似方法概括为状态密度。有了这个态密度,我们可以比较不同的方法来选择稀疏变量,如松弛和采样。对于解释变量的组合爆炸是至关重要的大型问题,AES-K方法使状态密度有效地重建通过使用复制交换蒙特卡罗方法和多重直方图方法。将ES-K和AES-K方法应用于Ia型超新星的观测数据,证实了天文学上在预先给定适当K值的情况下的传统认识。然而,我们发现很难从数据中确定K。通过虚拟测量和分析,我们认为这是由于数据不足造成的。
2017-07-07 stat.ML
Fair Sparse Regression with Clustering: An Invex Relaxation for a Combinatorial Problem
Purdue University(普渡大学)
在本文中,我们研究了有偏数据集上的公平稀疏回归问题,其中偏置依赖于一个隐藏的二进制属性。隐藏属性的存在通过将稀疏回归和聚类与未知的二进制标签相结合,为问题增加了额外的复杂性。相应的优化问题是组合的,但我们提出了一个新的放松它作为一个\emph{invex}优化问题。据我们所知,这是一个组合问题的第一个不变凸松弛。我们表明,在我们的模型中包含的去偏置/公平约束的性能没有不利影响。相反,它支持恢复隐藏属性。我们恢复的回归参数向量的支持与真实的参数向量完全匹配。此外,我们同时解决聚类问题,恢复每个样本的隐藏属性的确切值。我们的方法使用精心构造的原始对偶证人提供理论保证的组合问题。为此,我们表明,我们的方法的样本复杂度是对数的回归参数向量的维数。
2021-06-14 cs.LG
Multivariate regression modeling in integrative analysis via sparse regularization
本文提出一种基于稀疏正则化的整合分析多元回归建模方法,利用交替方向乘子法实现变量与组选择,并通过模拟和污水处理微生物数据验证其优于单一数据集分析。
2023-04-15 stat.ME stat.ML
A block-sparse Tensor Train Format for sample-efficient high-dimensional Polynomial Regression
TU Berlin(柏林工业大学)
低秩张量是高维最小二乘问题的一个既定框架。我们建议扩展这个框架,包括块稀疏的概念。在多项式回归的上下文中,每个稀疏模式对应于齐次多元多项式的某个子空间。这使我们能够调整伪空间以更好地与已知样本复杂度结果保持一致。在数值实验中测试所得到的方法,并证明了提高计算资源利用率和样本效率。
2021-04-29 cs.LG cs.NA math.NA
An Ordered Lasso and Sparse Time-Lagged Regression
我们考虑回归的情况下,这是很自然的顺序约束的系数。我们提出了一个顺序约束版本的L1-正则化回归,这个问题,并展示了如何有效地解决它使用著名的池相邻违规者算法作为其邻近算子。这一思想的主要应用是时滞回归,我们根据前K个时间点的特征预测时间t的结果。在这种情况下,很自然地假设系数随着我们远离t而衰减,因此阶约束是合理的。潜在的应用包括金融时间序列和基于临床测量的动态患者结局预测。我们用真实和模拟数据来说明这个想法。
2014-06-03 stat.AP stat.ML