High-dimensional Joint Sparsity Random Effects Model for Multi-task Learning
Georgia Institute of Technology(佐治亚理工学院);Baidu Inc.(百度公司);Rutgers University(罗格斯大学)
近年来,多任务学习中的联合稀疏正则化方法引起了人们的广泛关注。传统的凸公式采用组Lasso松弛来实现跨任务的联合稀疏性。虽然这种方法导致一个简单的凸公式,它遭受了几个问题,由于松弛。为了解决这个问题,我们将联合稀疏多任务学习视为一个专门的随机效应模型,并推导出一个涉及两个步骤的凸松弛方法。第一步使用我们称为稀疏协方差编码的凸公式学习系数的协方差矩阵;第二步基于第一步中获得的协方差矩阵使用稀疏二次正则化器解决岭回归问题。结果表明,这种方法产生了一个渐近最优的二次正则化的多任务学习设置时,任务的数量接近无穷大。实验结果表明,通过该模型获得的凸公式显着优于组Lasso(和相关的多阶段公式
2013-09-26 cs.LG stat.ML
Group selection and shrinkage: Structured sparsity for semiparametric additive models
针对统计与机器学习中的组结构稀疏问题,提出结合组子集选择与收缩、支持组任意重叠的结构化稀疏估计器,构建优化框架并给出误差界,在半参数可加建模等任务中表现更优,且提供grpsel开源实现。
2024-03-08 stat.ME stat.ML
StabJGL: a stability approach to sparsity and similarity selection in multiple network reconstruction
针对高维组学数据中联合图形套索参数选择不佳的问题,提出结合模型稳定性与似然相似性选择的stabJGL方法,提升多网络重建性能并发现新关联。
2023-06-20 stat.ME
Variable selection, monotone likelihood ratio and group sparsity
在关键变量选择问题中,我们得到了所有$s$ -稀疏向量类上的精确非渐近极小极大选择器,它也是关于一致先验的贝叶斯选择器。虽然这个最佳选择器是,在一般情况下,在多项式时间内,不能实现,我们表明,它的听话的对手(扫描选择器)达到极大极小预期汉明风险的因素2内,也是确切的极大极小错误恢复的概率。因此,我们建立明确的下界下的单调似然比的属性,我们得到一个严格的最佳可分离的选择风险的极小极大风险的特征。我们应用这些一般性的结果推导出充要条件的精确和几乎完全恢复的位置模型与光尾分布和高斯噪声下的组变量选择的问题。
2021-12-30 math.ST stat.TH
LLM Sparsity Prior for Robust Feature Selection
Department of Statistics, Rice University(统计学系,里士满大学);Department of Computer Science, Rice University(计算机科学系,里士满大学)
提出 LLM 稀疏先验 (LSP) 方法,通过将 LLM 生成的权重整合到 Spike-and-Slab 模型的先验包含概率中,并利用层次超先验动态调整权重影响,实现鲁棒的高维特征选择,在急性肾损伤数据集上提升了预测准确性和临床相关特征识别。
2026-05-21 cs.LG stat.ME stat.ML
Optimization with Sparsity-Inducing Penalties
INRIA(法国国家信息与自动化研究所);Laboratoire d’Informatique de l’Ecole Normale Supérieure(巴黎高等师范学院计算机实验室);University of California(加利福尼亚大学)
稀疏估计方法旨在使用或获得数据或模型的简约表示。它们最初致力于线性变量选择,但现在已经出现了许多扩展,例如结构化稀疏或内核选择。事实证明,许多相关的估计问题可以通过用适当的非光滑范数正则化经验风险来转化为凸优化问题。本文的目标是从一个一般的角度来介绍专门用于这种稀疏诱导处罚的优化工具和技术。我们涵盖近端方法,块坐标下降,重新加权$\ell_2$惩罚技术,工作集和同伦方法,以及非凸配方和扩展,并提供了一个广泛的实验,从计算的角度来看,各种算法进行比较。
2011-11-22 cs.LG math.OC stat.ML
Dual-sPLS: a family of Dual Sparse Partial Least Squares regressions for feature selection and prediction with tunable sparsity; evaluation on simulated and near-infrared (NIR) data
Université Saint-Joseph(圣约瑟夫大学);Université Claude Bernard Lyon 1(里昂第一大学);IFP Energies nouvelles(法国石油与新能源研究院)
本文提出 Dual-sPLS 稀疏偏最小二乘回归族,通过对偶范数惩罚和收缩比率参数实现可调稀疏性,在模拟与真实 NIR 化学数据上取得良好预测与解释效果。
2023-01-17 cs.LG math.OC stat.ML
Sparse Neural Additive Model: Interpretable Deep Learning with Feature Selection via Group Sparsity
University of Pennsylvania(宾夕法尼亚大学)
可解释的机器学习在保持可解释性的同时表现出令人印象深刻的性能。特别是,神经可加模型(NAM)为黑盒深度学习提供了可解释性,并在广义可加模型的大家族中实现了最先进的精度。为了使NAM具有特征选择并提高泛化能力,我们提出了稀疏神经添加模型(SNAM),该模型采用组稀疏正则化(例如Group LASSO),其中每个特征由子网络学习,该子网络的可训练参数被聚类为一组。我们研究了SNAM的理论特性,采用新的技术来处理非参数真理,从而扩展了经典的稀疏线性模型,如LASSO,它只适用于参数真理。具体来说,我们证明了SNAM与次梯度和近端梯度下降证明收敛到零训练损失为$t\to\infty$,和SNAM的估计误差渐近消失为$n\to\infty$。我们还证明了SNAM,类似于LASSO,可以有精确的支持恢复,即完美的特征选择,适当的正则化。此外,我们表明,SNAM可以很好地推广,并保持“可识别性”,恢复每个功能的效果。通过大量的实验验证了我们的理论,并进一步证明了SNAM的良好的准确性和效率。
2022-02-25 cs.LG math.ST stat.ML
Optimality of Graphlet Screening in High Dimensional Variable Selection
考虑一个线性回归模型,其中设计矩阵X具有n行和p列。我们假设(a)p比n大得多,(b)系数向量beta在只有一小部分坐标为非零的意义上是稀疏的,以及(c)格拉姆矩阵G = X ′ X在每行具有相对较少的大坐标(G的对角线被归一化为1)的意义上是稀疏的。G的稀疏性自然地导致了所谓的强依赖图(GOSD)的稀疏性。我们发现一个有趣的信号稀疏性和图形稀疏性之间的相互作用,这确保了在一个广泛的背景下,一组真正的信号分解成许多不同的小尺寸组件的GOSD,不同的组件是断开的。我们提出了Graphlet筛选(GS)作为一种新的变量选择方法,这是一个两阶段的筛选和清洁方法。GS的关键方法创新是使用GOSD来指导筛选和清洗。与计算成本为p^m的m变量蛮力筛选相比,GS在筛选中仅具有p的计算成本(高达一些多log(p)因子)。我们通过极大极小汉明距离来衡量任何变量选择过程的性能。我们表明,在一个非常广泛的类的情况下,GS实现了最佳的收敛速率的汉明距离。有些令人惊讶的是,众所周知的程序子集选择和套索是速率非最佳的,即使在非常简单的设置,甚至当他们的调谐参数是理想的设置。
2014-06-13 math.ST stat.ME stat.ML
Multi-Task Learning for Sparsity Pattern Heterogeneity: Statistical and Computational Perspectives
MIT Operations Research Center(麻省理工学院运筹学中心);Machine Learning Team, National Institute on Mental Health(美国国家精神卫生研究所机器学习团队);Department of Physiology and Pharmacology, Department of Neurosurgery, Wake Forest School of Medicine(韦克森林大学医学院生理与药理学系、神经外科系);Department of Biostatistics, Harvard School of Public Health(哈佛大学公共卫生学院生物统计学系);Department of Data Science, Dana Farber Cancer Institute(达纳-法伯癌症研究院数据科学系);MIT Sloan Schools of Management(麻省理工学院斯隆管理学院)
本文提出了一种新的多任务学习方法,通过允许不同任务间稀疏性模式和非零系数值的差异,提升变量选择和预测性能。
2025-12-05 stat.ME stat.ML
Sparse Oracle Inequalities for Variable Selection via Regularized Quantization
我们给出了关于通过加权Lasso $k$ -均值算法结合量化和变量选择的过程的预言不等式。结果是来自一般家庭的权重,它可以调整到大小的变量以不同的方式的影响。此外,这些理论的保证证明,以适应相应的稀疏性的最佳码本,如果合适的。即使没有稀疏性假设的最佳码本,我们的程序被证明是接近稀疏近似的最佳码本,已经做了回归的广义线性模型。如果最佳码本有一个稀疏的支持,我们还表明,这种支持可以渐近恢复,给误分类概率的渐近上界。这些结果与高斯混合模型在任意维度的稀疏性假设的手段,这是基于模型的聚类的标准分布。
2016-07-06 math.ST stat.TH
An Iteratively Re-weighted Method for Problems with Sparsity-Inducing Norms
Northwestern Polytechnical University(西北工业大学);University of Pittsburgh(匹兹堡大学)
针对多任务学习、子空间聚类、特征选择、鲁棒主成分分析等机器学习任务中经常遇到的稀疏范数难以处理的问题,提出了一种具有可靠收敛保证的迭代重加权方法(IRW).我们研究其收敛速度,通过大量的实验上的真实数据。此外,为了验证IRW的实用性,我们使用它来解决一个具体的鲁棒特征选择模型,具有复杂的目标函数。实验结果表明,该模型与所提出的优化方法相结合,显着优于替代方法。
2019-07-02 cs.LG stat.ML
Structured sparsity through convex optimization
INRIA(法国国家信息与自动化研究所);University of California, Berkeley(加州大学伯克利分校)
稀疏估计方法旨在使用或获得数据或模型的简约表示。虽然自然地转换为组合优化问题,但变量或特征选择通过$\ell_1$ -范数的正则化允许凸松弛。在本文中,我们考虑的情况下,我们不仅感兴趣的稀疏性,但一些结构先验知识是可用的。我们表明,$\ell_1$规范,然后可以扩展到结构化的规范建立在不相交或重叠的变量组,导致一个灵活的框架,可以处理各种结构。我们目前的应用程序无监督学习,结构稀疏主成分分析和层次字典学习,并在非线性变量选择的背景下,监督学习。
2012-04-20 cs.LG stat.ML
Information-theoretic limits on sparsity recovery in the high-dimensional and noisy setting
研究了在高斯测量集成下,恢复一个固定但未知的向量$β^* \in \real^p based on a set of $ n $ noisy observations arises in a variety of settings, including subset selection in regression, graphical model selection, signal denoising, compressive sensing, and constructive approximation. Of interest are conditions on the model dimension $ p $, the sparsity index $ s $ (number of non-zero entries in $ β^* $), and the number of observations $ n $ that are necessary and/or sufficient to ensure asymptotically perfect recovery of the sparsity pattern. This paper focuses on the information-theoretic limits of sparsity recovery: in…
2007-02-20 cs.IT math.IT math.ST
LassoNet: A Neural Network with Feature Sparsity
Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校);Gematria Technologies(Gematria科技公司)
为了使神经网络更具可解释性,最近已经做了很多工作,一个明显的方法是安排网络只使用可用特征的子集。在线性模型中,Lasso(或$\ell_1$正则化)回归将零权重分配给最不相关或冗余的特征,并广泛用于数据科学。但是,Lasso仅适用于线性模型。在这里,我们介绍LassoNet,一个具有全局特征选择的神经网络框架。我们的方法强制执行一个层次结构:特别是一个功能可以参与一个隐藏的单位,只有当它的线性代表是活跃的。与其他神经网络的特征选择方法不同,我们的方法使用了一个修改后的目标函数的约束条件,所以集成的特征选择与参数学习直接。因此,它提供了一个完整的正则化路径的解决方案与一系列的特征稀疏。在系统实验中,LassoNet在特征选择和回归方面的表现明显优于最先进的方法。LassoNet方法使用投影近端梯度下降,并直接推广到深度网络。它可以通过向标准神经网络添加几行代码来实现。
2021-06-16 cs.LG stat.ML
Gradient Hard Thresholding Pursuit for Sparsity-Constrained Optimization
Cornell University(康奈尔大学);Rutgers University(罗格斯大学)
本文将硬阈值化追求算法推广到稀疏约束凸优化问题,通过梯度下降与硬阈值化步骤交替,证明其在收敛速度和参数估计精度上的强保证,并在稀疏逻辑回归和稀疏精度矩阵估计中优于现有方法。
2013-11-25 cs.LG cs.NA math.NA
Linear Inverse Problems with Norm and Sparsity Constraints
我们描述了两个非传统的线性回归算法,称为GAME和CLASH。这些方法的突出特点是,他们利用凸$\ell_1$ -球和非凸$\ell_0$ -稀疏约束稀疏恢复联合。为了建立GAME和CLASH的理论近似保证,我们涵盖了从博弈论、凸优化和组合优化等一系列有趣的主题。我们说明,这些方法导致改进的理论保证和经验性能超越凸和非凸求解器。
2015-07-20 cs.IT math.IT math.OC
Discriminative variable selection for clustering with the sparse Fisher-EM algorithm
最近,由于对高维数据聚类的需求越来越大,对聚类变量选择的兴趣也越来越大。变量的选择特别允许简化聚类和结果的解释。现有的方法已经证明了聚类变量选择的效率,但结果要么是非常耗时或不够稀疏,在高维空间。这项工作提出了通过在Fisher-期望最大化算法的加载矩阵中引入稀疏性来执行鉴别变量的选择。这种聚类方法最近已被提出的同时可视化和聚类的高维数据。它是基于一个潜在的混合模型,适合的数据到一个低维的判别子空间。在这项工作中,提出了三种不同的方法,通过$\ell_{1}$型惩罚引入稀疏的判别子空间的方向矩阵。模拟和真实世界的数据集与现有方法的实验比较表明,所提出的方法的兴趣。应用程序的分割的高光谱图像的行星火星。
2012-04-10 math.ST stat.ME stat.TH
Variable Selection in High Dimensions with Random Designs and Orthogonal Matching Pursuit
针对随机设计,分析了正交匹配追踪(OMP)变量选择的性能。当与确定性的情况相比时,由于性能在这里是在对设计矩阵的分布求平均之后测量的,因此可以对系数向量具有远不那么严格的稀疏性约束。我们证明了对于精确稀疏向量,OMP的性能与Lasso算法的已知结果相似[ \textit{IEEE Trans. Inform. Theory} \textbf{55}(2009)2183--2202]。此外,变量的选择下,一个更宽松的稀疏性假设的系数向量,从而只有控制的$\ell_1$规范的较小的系数,也进行了分析。作为这些结果的结果,我们还表明,系数估计满足强预言型不等式。
2011-09-04 stat.ML
Numerical Characterization of Support Recovery in Sparse Regression with Correlated Design
稀疏回归经常在不同的科学环境中作为特征选择方法。科学数据的一个普遍的方面,阻碍了特征选择和估计是预测特征之间的强相关性的存在。这些基本问题往往没有意识到的从业者,jeapordize从估计模型得出的结论。另一方面,稀疏诱导正则化回归(如Lasso)的理论结果在很大程度上通过渐近性解决了选择一致性的条件,而忽略了模型选择的问题,从而选择正则化参数。在这个数值研究中,我们解决这些问题,通过详尽的表征几个回归估计的性能,再加上一系列的模型选择策略。这些估计和选择标准进行了检查,在相关的回归问题与不同程度的信号噪声,非零模型系数的分布,和模型稀疏。我们的研究结果揭示了一个基本的权衡假阳性和假阴性控制在所有的回归估计和模型选择标准检查。此外,我们能够在数值上探索调制的信号-噪声比和频谱特性的设计协方差阵的所有考虑的算法的选择精度降低的过渡点。总的来说,我们发现,SCAD加上BIC或经验贝叶斯模型选择执行最好的功能选择在考虑的回归问题。
2021-03-23 stat.AP stat.ME
Solar: $L_0$ solution path averaging for fast and accurate variable selection in high-dimensional data
University of Sydney(悉尼大学)
我们提出了一个新的变量选择算法,子样本排序最小角度回归(太阳),和它的坐标下降推广,太阳cd。Solar使用$L_0$范数重建套索路径,并对子样本之间的结果解路径求平均值。路径平均保留了信息变量的排名信息,同时平均了对高维的敏感性,提高了变量选择的稳定性,效率和准确性。我们证明:(i)以高概率,路径平均在平均$L_0$路径上完美地将信息变量与冗余变量分离;(ii)太阳变量选择是一致和准确的;以及(iii)太阳忽略弱信号的概率对于有限的样本量是可控的。我们还证明:(i)太阳能产量,在小于lasso计算负荷的$1/3$的情况下,在稀疏性方面相对于lasso有实质性改进(ii)与Lasso安全/强规则和变量筛选相比,Solar在很大程度上避免了冗余变量的选择和在存在复杂依赖结构的情况下对信息变量的拒绝;(iii)太阳能的稀疏性和稳定性保存了数据分裂假设检验的剩余自由度,提高了对具有有限$n$的弱信号的选择后推断的准确性;(iv)在自举选择中用太阳能代替套索(例如,bolasso或稳定性选择)产生多层变量排序方案,其在仅一个套索实现的计算负载的情况下改善选择稀疏性和排序准确性;以及(v)给定计算资源,太阳能自举选择比并行化自举套索的理论最大加速(由Amdahl定律确认)快得多(计算时间低98%)。
2022-05-06 cs.LG stat.ML
Robust Nonparametric Regression via Sparsity Control with Application to Load Curve Data Cleansing
非参数方法广泛适用于统计推断问题,因为它们依赖于一些建模假设。在这种情况下,这里提倡的新面貌渗透了变量选择和压缩抽样的好处,以稳健非参数回归对离群值-即数据明显偏离假设的模型。一个变分对应的最小修剪平方回归密切相关的L0-(伪)范数正则化估计,鼓励稀疏的向量明确建模的离群值。这种连接建议有效的求解器的基础上凸松弛,这自然会导致一个变分M型估计相当于最小绝对收缩和选择算子(拉索)。通过合理调整正则化参数来识别离群值,这相当于控制Lasso解决方案的整个鲁棒化路径上离群值向量的稀疏性。减少偏差和增强的泛化能力是一个有吸引力的功能后,取代L0(伪)范数与非凸替代获得的改进估计。新的强大的基于样条的平滑器被用来清洗负荷曲线数据,这是一个关键的任务,有助于在设想的智能电网系统的操作决策。计算机模拟和实际负荷曲线数据的测试证实了新的稀疏控制的鲁棒估计的有效性。
2011-04-04 stat.ML
Taking Advantage of Sparsity in Multi-Task Learning
本文研究了多元线性回归方程的估计问题,它既可用于预测,又可用于变量选择。根据最近关于多任务学习的工作Argyriou et al. [2008],我们假设回归向量共享相同的稀疏模式。这意味着相关预测变量的集合在不同的方程中是相同的。这一假设使我们考虑将Group Lasso作为候选估计方法。我们证明了该估计具有良好的稀疏性预言不等式和变量选择性质。结果在设计矩阵上的特定限制特征值条件和相干条件下成立,这自然扩展了Bickel等人[2007],Lounici [2008]的近期工作。特别是,在多任务学习场景中,任务的数量可以增长,我们能够完全消除边界中预测变量数量的影响。最后,我们展示了如何将我们的结果扩展到更一般的噪声分布,我们只需要方差是有限的。
2009-03-09 math.ST stat.ML stat.TH
Structured variable selection in support vector machines
在将支持向量机(SVM)应用于高维分类问题时,为了消除不相关预测因子的影响,通常在SVM中加入稀疏结构。Lasso和其他变量选择技术已成功地用于SVM中,以执行自动变量选择。在某些问题中,变量之间存在自然的层次结构。因此,为了具有可解释的SVM分类器,重要的是在SVM中执行稀疏性时尊重遗传原则。然而,许多变量选择方法不尊重遗传原则。在本文中,我们通过使用最初在Yuan,Joseph和Zou(2007)中提出的所谓结构化变量选择(SVS)框架,在SVM中执行稀疏性和遗传性原则。我们最小化经验铰链损失下的一组线性不等式约束和套索型惩罚。该解总是服从期望遗传原理,具有稀疏性。新的SVM分类器可以有效地拟合,因为优化问题是一个线性规划。这项工作的另一个贡献是提出了一个非参数扩展的SVS框架,我们提出了非参数遗传支持向量机。仿真和实际数据的使用来说明所提出的方法的优点。
2008-02-22 math.ST stat.ML stat.TH
Sparse Estimation by Exponential Weighting
考虑具有固定设计和高斯噪声的回归模型,其中回归函数可以潜在地由允许给定字典中的稀疏表示的函数很好地近似。本文采用指数权重来利用这种潜在的稀疏性,实现稀疏模式聚合的原则。这种模型选择采取稀疏估计,使我们能够在几个流行的框架,包括普通稀疏,融合稀疏和组稀疏的稀疏预言不等式。这些理论结果的一个显著方面是,它们在任何条件下都不存在于字典中。此外,我们描述了一个有效的实现稀疏模式聚合的原则,相比之下,一些基本的数值例子的最先进的程序。
2013-01-07 math.ST stat.ME stat.TH
Structured nonlinear variable selection
Geneva School of Business Administration, HES-SO(日内瓦工商管理学院,瑞士西部应用科学与艺术大学);University of Geneva(日内瓦大学)
我们研究结构稀疏方法的变量选择在回归问题中的目标依赖于非线性的输入。我们专注于一般的非线性函数不限制先验的函数空间的可加性模型。我们提出了两个新的正则化的基础上偏导数作为非线性等价的群套索和弹性网。我们制定的再生核希尔伯特空间的学习框架内的问题,并显示如何变分问题可以重新制定成一个更实际的有限维等价。我们开发了一个新的算法,来自ADMM的原则,完全依赖于封闭形式的邻近运营商。我们探索我们的新算法的经验性质的非线性变量选择的基础上衍生物(NVSD)的一组实验,并确认我们的结构稀疏模型和算法的预测和变量选择精度方面的有利性能。
2018-05-16 cs.LG stat.ML
The sparsity and bias of the Lasso selection in high-dimensional linear regression
Meinshausen和Buhlmann [Ann. Statistist. 34(2006)1436- 1462]表明,对于高斯图形模型中的邻域选择,在邻域稳定性条件下,LASSO是一致的,即使当变量的数量比样本量更高阶时。Zhao和Yu [(2006)J. Machine Learning Research 7 2541--2567]在线性回归的上下文中将邻域稳定性条件形式化为强不可表示条件。该论文表明,在这种条件下,LASSO精确地选择非零回归系数的集合,只要这些系数以一定的速率远离零。本文假设理想模型外的回归系数很小,但不一定为零。在稀疏Riesz条件下的设计变量的相关性,我们证明了LASSO选择一个模型的正确顺序的维度,控制的水平所确定的小回归系数和阈值偏差的贡献所选择的模型的偏差,并选择所有系数的更大的顺序比所选择的模型的偏差。此外,由于这种速率一致性的LASSO模型选择,它被证明是误差平方和的平均响应和$\ell_α$ -损失的回归系数收敛在最佳可能的速率在给定的条件下。我们的结果的一个有趣的方面是,变量的数量的对数可以是相同的顺序为某些随机相关设计的样本量。
2008-08-07 math.ST stat.TH
Accuracy and stability of solar variable selection comparison under complicated dependence structures
University of Sydney(悉尼大学)
在本文中,我们专注于子样本有序最小角度回归(太阳能)的经验变量选择概率-一种新的三维重新设计的套索-经验数据具有复杂的依赖结构,因此,严重的多重共线性和分组效应问题。以往的研究表明,Solar在很大程度上用最小角回归和$\mathcal{L}_1$收缩来解决几个已知的高维问题。在相同的计算量下,solar在稀疏性(平均选择变量数减少37- 64%)、稳定性和变量选择的准确性方面比两种lasso求解器(lasso的最小角度回归和坐标下降)有了很大的改进。模拟还表明,太阳能增强了变量选择的鲁棒性,以不同的设置的不可表示的条件和变化的依赖结构假设在回归分析。为了验证改进的方法也适用于实证研究,我们选取了前列腺癌数据和悉尼房价数据,并应用弹性网和Solar两种套索解算器进行比较。结果表明:lasso算法受分组效应的影响,随机丢弃相关性强的变量,结果不可靠且不可解释;弹性网对分组效应具有较强的鲁棒性,但当数据的依赖结构复杂时,它完全丧失了变量选择的稀疏性;(iii)太阳能显示出其对复杂的依赖结构和分组效应的优越鲁棒性,返回具有更好的稳定性和稀疏性的变量选择结果。代码可以在https://github.com/isaac2math/solar_application上找到
2020-12-16 cs.LG stat.ML
High-dimensional variable selection with heterogeneous signals: A precise asymptotic perspective
本文研究异质微弱信号下高维稀疏回归的精确支撑恢复,证明BSS可达信息论最优阈值而边际筛选会失效,并提出计算高效且具模型一致性的两阶段ETS框架。
2023-07-17 math.ST stat.TH
Backhaul-Constrained Multi-Cell Cooperation Leveraging Sparsity and Spectral Clustering
研究了蜂窝上行链路中回程业务受限的多小区协作处理问题。针对减少回程开销,稀疏正则化的多小区接收滤波器的设计问题。无论是非结构化的分布式合作,以及集群合作,其中基站组形成紧密合作,被认为是。动态分簇协作,稀疏均衡器和协作簇是共同确定的,通过交替最小化的谱聚类和组稀疏回归的基础上解决。此外,分散实现的非结构化和集群合作计划的可扩展性,鲁棒性和计算效率。大量的数值试验验证了所提出的方法的有效性。
2015-10-14 cs.IT cs.NI math.IT
An improved chromosome formulation for genetic algorithms applied to variable selection with the inclusion of interaction terms
遗传算法是解决变量选择问题的一种众所周知的方法。由于它们是非参数的,并且可以使用各种各样的适应度函数,因此它们非常适合作为变量选择包装器,可以应用于许多不同的模型。在几乎所有的情况下,在这些遗传算法中使用的染色体配方包括一个二进制向量的长度为n的n个潜在的变量,表明存在或不存在的相应的变量。虽然上述染色体公式对于相对小的n表现出良好的性能,但是当n的大小变得非常大时,特别是当考虑相互作用项时,存在潜在的问题。我们引入了一个修改的标准染色体配方,允许更好的可扩展性和模型稀疏时,相互作用项包括在预测搜索空间。实验结果表明,索引的染色体配方表现出更高的计算效率和稀疏性的高维数据集的相互作用条款相比,标准的染色体配方。
2016-04-22 cs.NE stat.ML
Robust PCA as Bilinear Decomposition with Outlier-Sparsity Regularization
主成分分析(PCA)被广泛用于降维,在涉及高维数据的各种应用中具有良好的记录优点,包括计算机视觉、偏好测量和生物信息学。在这种情况下,这里提倡的新外观渗透了变量选择和压缩采样的好处,以鲁棒PCA对离群值。一个低秩双线性因子分析模型的最小二乘估计密切相关的$\ell_0$ -(伪)范数正则化的标准,鼓励稀疏矩阵明确建模的离群值。这种连接建议强大的PCA计划的基础上凸松弛,这自然会导致一个家庭的强大的估计,包括胡贝尔的最佳M-类作为一个特殊情况。通过调整正则化参数来识别离群值,这相当于控制离群值矩阵沿着(组)最小绝对收缩和选择算子(Lasso)解决方案的整个鲁棒化路径的稀疏性。除了其与鲁棒统计的紧密联系之外,所开发的离群感知PCA框架是通用的,以适应新的和可扩展的算法:i)随着新数据的实时获取,鲁棒地跟踪低秩信号子空间;以及ii)在(可能)无限维特征空间中鲁棒地确定主成分。合成和真实数据测试证实了所提出的强大的PCA计划的有效性,当用于识别异常的反应,在人格评估调查,以及揭开社区的社交网络,和入侵者从视频监控数据。
2011-11-08 cs.IT math.IT stat.ML
TV-min and Greedy Pursuit for Constrained Joint Sparsity and Application to Inverse Scattering
本文提出了一个压缩感知的约束联合稀疏(CJS),其中包括全变差最小化(TV-min)作为一个例子的一般框架。TV-和2-范数误差界,独立的环境尺寸,推导出CJS版本的基追踪和正交匹配追踪。作为一个应用程序的结果扩展Cand`es,Romberg和陶的证明精确恢复分段常数对象与无噪声不完整的傅立叶数据的情况下,有噪声的数据。
2012-12-19 math.OC
Dictionary Subselection Using an Overcomplete Joint Sparsity Model
Institute for Digital Communications (IDCom), The University of Edinburgh(爱丁堡大学数字通信研究所(IDCom));Paris Diderot University(巴黎第七大学);Institut Langevin(朗之万研究所)
许多自然信号表现出稀疏表示,只要一个合适的描述模型。这里,考虑线性生成模型,其中许多基于稀疏性的信号处理技术依赖于这样的简化模型。由于该模型对于许多类信号通常是未知的,因此我们需要基于领域知识或使用一些样本信号来选择这样的模型。本文提出了一种新的范例为基础的线性模型(称为字典)的选择,这样的稀疏反问题的方法。字典选择的问题,这也被称为字典学习在这种情况下,首先重新制定为一个联合稀疏模型。这里的联合稀疏模型不同于标准的联合稀疏模型,因为它考虑了在所选子空间的范围内每个信号的表示中的过完备性。新的字典选择范例检查与一些合成和现实的模拟。
2013-06-10 cs.LG math.OC stat.ML
Sparsity Regularized and Robust Mean Variance Portfolio Selection Under Ellipsoidal Uncertainty
Bilkent University(比尔肯特大学);EPFL(洛桑联邦理工学院)
针对椭球不确定性下的均值-方差投资组合选择,提出带$\ell_0$惩罚的稳健稀疏优化框架,刻画极值结构并设计分支定界算法及高效剪枝规则,实验验证其有效性与竞争力。
2026-09-11 cs.LG math.OC stat.ML
Enhancing Unsupervised Feature Selection via Double Sparsity Constrained Optimization
Shanghai University(上海大学);Northeastern University(东北大学);Sun Yat-sen University(中山大学)
本文提出 DSCOFS 方法,在 PCA 框架中引入 $\ell_{2,0}$-范数和 $\ell_0$-范数双重稀疏约束,并设计邻近交替极小化算法,以提升无监督特征选择的判别力、稳定性和聚类性能。
2025-01-01 cs.LG math.OC
A multilevel based reweighting algorithm with joint regularizers for sparse recovery
稀疏性是一个关键的概念,它允许恢复的信号,二次采样的速率显着低于所需的Nyquist-Shannon采样定理。我们提出的框架使用任意的多尺度变换,如那些建立在小波或剪切波,作为一个稀疏性促进之前,允许将图像分解成不同的尺度,使图像特征可以被最佳地提取。为了进一步利用恢复信号的稀疏性,我们将Candès等人引入的重新加权$\ell^1$的方法,其中迭代更新的权重说明了信号的多级结构。这是通过直接将这种方法合并到一个分裂Bregman算法框架。此外,我们加入了总广义变分(TGV)作为第二个正则化分裂Bregman算法。然后将所得算法应用于信号和图像处理中一项经典且广泛考虑的任务,即根据傅里叶测量值重建图像。我们的数值实验表明,在相对较低的计算成本相比,许多其他行之有效的方法,并强烈建议稀疏性更好地利用我们的方法有很大的改善的性能。
2017-05-30 math.OC
Jointly Sparse Blind Deconvolution via Riemannian Optimization
School of Mathematics and Statistics, Xi’an Jiaotong University(西安交通大学数学与统计学院);College of Electronic Engineering, National University of Defense Technology(国防科技大学电子工程学院);School of Mathematical Sciences,University of Science and Technology of China(中国科学技术大学数学科学学院)
针对盲反卷积中联合稀疏性利用的难题,本文提出促进联合稀疏性的优化问题,开发黎曼优化算法,建立理论保证并通过数值实验验证其可降低样本复杂度、提升恢复性能。
2026-08-06 cs.IT math.IT math.OC
Joint Reproduction Number and Spatial Connectivity Structure Estimation via Graph Sparsity-Promoting Penalized Functional
Nantes Université, École Centrale Nantes, CNRS, LS2N, UMR 6004(南特大学,中央理工-南特学院,法国国家科学研究中心,LS2N实验室)
本文提出了一种联合估计再生产数和空间连接结构的方法,以提高流行病监测的准确性和稳健性。
2026-01-13 eess.SP math.OC stat.AP
Structured Sparsity Promoting Functions
受高维线性回归中基于极小极大凹罚的变量选择方法的启发,提出了一种由凸稀疏促进函数及其Moreau包络构造结构化凸凸稀疏促进函数的简单方法.这些函数的属性是通过利用它们的结构来开发的。特别是,我们提供稀疏性保证的一般家庭的功能。进一步研究了几种特殊函数的邻近算子的性质,包括闭凸集的指示函数、分段二次函数以及它们的线性组合。为了证明这些属性,提出了几个具体的例子和现有的实例作为特殊情况。
2018-09-18 math.OC
Sparse Portfolio Selection via Quasi-Norm Regularization
在本文中,我们提出了$\ell_p$ -范数正则化模型,以寻求接近最优的稀疏投资组合。这些稀疏解决方案降低了项目组合实现和管理的复杂性。理论结果建立,以保证稀疏的二阶KKT点的$\ell_p$ -范数正则化模型。更有趣的是,我们提出了一个理论,涉及稀疏的KKT点与投影相关性和投影夏普比率。我们还设计了一个内点算法,在多项式时间内得到了$\ell_p$ -范数模型的近似二阶KKT解,并在标准普尔500指数(2008-2012)和国际市场数据上对我们的$\ell_p$ -范数模型进行了检验。计算结果表明,$\ell_p$ -范数正则化模型可以生成任意稀疏度的投资组合,其投资组合方差和投资组合收益率与基数约束下的非正则化Markowitz模型相当.我们对组合模型的分析使我们得出结论,稀疏性与过拟合完全没有直接关系。相反,我们发现稀疏缓和过度拟合只是间接的。组合$\ell_1$ - $\ell_p$模型表明,适当选择杠杆,即卖空所产生的额外购买力的大小,可以减轻过度拟合;组合$\ell_2$ - $\ell_p$模型能够产生超过1/N策略和所有$\ell_1$和$\ell_2$正则化投资组合的极高绩效投资组合。
2013-12-22 math.OC q-fin.PM
Sparsity-leveraging Reconfiguration of Smart Distribution Systems
University of Minnesota(明尼苏达大学)
针对含分布式发电的三相配电网,提出基于群稀疏性的凸优化重构方法,通过调整稀疏性参数实现辐射状或弱环网配置,并纳入电压约束。
2014-01-31 cs.SY eess.SY math.OC
Half-Space Proximal Stochastic Gradient Method for Group-Sparsity Regularized Problem
利用组稀疏性进行优化对于增强加工学习应用中的模型可解释性是重要的,例如,特征选择、压缩感知和模型压缩。然而,对于大规模的随机训练问题,有效的组稀疏性探索通常很难实现。特别地,最先进的随机最优化算法通常仅生成稠密解。为了克服这一不足,我们提出了一种随机方法--半空间随机投影梯度(HSPG)方法来搜索解的高群体稀疏性,同时保持收敛性。通过简单的Prox-SG步骤初始化,HSPG方法依赖于一种新的半空间步骤,以大大提高稀疏水平。在数字上,HSPG证明了它在深度神经网络中的优越性,例如,VGG 16,ResNet 18和MobileNetV 1,通过计算更高的群体稀疏性,竞争目标值和泛化精度的解决方案。
2021-02-13 math.OC
Joint optimal power allocation and sensing threshold selection for SUs capacity maximization in SS CRNs
针对频谱共享认知无线电网络中次用户容量最大化问题,提出了一种联合最优功率分配和感知门限选择的方法。因此,最优功率分配(OPA)和频谱感知(SpSe)被认为是在SS CRNs模型。结果表明,这种联合优化选择通过最大化SU的容量来提高SU的性能。
2012-12-02 math.OC
Nonparametric sparsity and regularization
Istituto Italiano di Tecnologia(意大利技术研究院);University of Genova(热那亚大学)
在这项工作中,我们感兴趣的监督学习和变量选择的问题时,输入-输出依赖性描述的非线性函数依赖于几个变量。我们的目标是考虑一个稀疏的非参数模型,从而避免线性或加性模型。其关键思想是利用偏导数来衡量模型中每个变量的重要性。基于这种直觉,我们提出了一个新的非参数稀疏性的概念和相应的最小二乘正则化方案。利用再生核希尔伯特空间和近似方法理论的概念和结果,我们表明,所提出的学习算法对应于一个最小化问题,可以证明解决的迭代过程。所得到的估计的一致性性质的研究,无论是在预测和选择性能。一个广泛的实证分析表明,所提出的方法表现良好,相对于国家的最先进的方法。
2012-08-13 cs.LG math.OC stat.ML
Safe Screening Rules for Generalized Double Sparsity Learning
在高维环境中,稀疏模型在计算和统计效率方面表现出了强大的能力。我们考虑变量选择问题与广泛的同时稀疏正则化,同时执行功能明智和组明智的稀疏性。该分析利用了向量空间中$εq$ -范数的引入,该范数被证明与混合正则化密切相关,并且自然地导致对偶公式。讨论了原始/对偶最优解和最优值的性质,为筛选规则的设计提供了依据。我们几个快速安全的筛选规则的一般框架,规则,丢弃不活跃的功能/组在早期阶段,保证是不活跃的精确解,导致显着的增益计算速度。
2021-09-24 math.OC stat.CO
Subset selection in sparse matrices
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Georgia Institute of Technology(佐治亚理工学院);ETH Zürich(苏黎世联邦理工学院)
在子集选择中,我们搜索涉及一小部分变量的最佳线性预测器。从计算复杂性的角度来看,子集选择是NP难的,并且已知很少有类可以在多项式时间内求解。主要使用离散几何的工具,我们表明,原始数据矩阵的一些稀疏性条件,使我们能够在多项式时间内解决这个问题。
2020-02-06 cs.CC cs.LG math.OC