Robust Nonparametric Regression via Sparsity Control with Application to Load Curve Data Cleansing
非参数方法广泛适用于统计推断问题，因为它们依赖于一些建模假设。在这种情况下，这里提倡的新面貌渗透了变量选择和压缩抽样的好处，以稳健非参数回归对离群值-即数据明显偏离假设的模型。一个变分对应的最小修剪平方回归密切相关的L0-（伪）范数正则化估计，鼓励稀疏的向量明确建模的离群值。这种连接建议有效的求解器的基础上凸松弛，这自然会导致一个变分M型估计相当于最小绝对收缩和选择算子（拉索）。通过合理调整正则化参数来识别离群值，这相当于控制Lasso解决方案的整个鲁棒化路径上离群值向量的稀疏性。减少偏差和增强的泛化能力是一个有吸引力的功能后，取代L0（伪）范数与非凸替代获得的改进估计。新的强大的基于样条的平滑器被用来清洗负荷曲线数据，这是一个关键的任务，有助于在设想的智能电网系统的操作决策。计算机模拟和实际负荷曲线数据的测试证实了新的稀疏控制的鲁棒估计的有效性。
2011-04-04 stat.ML
Hierarchical sparsity priors for regression models
我们专注于稀疏回归问题的日益重要的领域，其中有许多变量，其中一个大的子集的影响可以忽略不计。本文介绍了分层先验分布的建设时，被认为是相关的影响。这些先验允许回归系数之间的依赖性，并鼓励不同的回归系数向零收缩。这些先验的性质进行了讨论和应用的线性模型与相互作用和广义可加模型作为例证。涉及不同层次的相互作用的遗传思想也包括在内。
2014-07-22 math.ST stat.ME stat.TH
Implicit Regularization for Group Sparsity
Texas A&M University（德克萨斯农工大学）；New York University（纽约大学）
我们研究了隐式正则化梯度下降结构稀疏通过一种新的神经重新参数化，我们称之为对角分组线性神经网络。我们展示了我们的重新参数化的以下有趣的性质：在平方回归损失上的梯度下降，没有任何明确的正则化，偏向于具有组稀疏结构的解决方案。与许多现有的理解隐式正则化的工作相比，我们证明了我们的训练轨迹不能通过镜像下降来模拟。我们分析了相应的回归问题在一般噪声设置的梯度动力学，并获得最小最优错误率。与使用对角线性网络的隐式稀疏正则化的现有界限相比，我们的分析与新的重新参数化显示出改进的样本复杂度。在退化的情况下，大小一组，我们的方法产生了一个新的算法稀疏线性回归。最后，我们证明了我们的方法的有效性与几个数值实验。
2023-01-29 cs.LG stat.ML
Regularizers for Structured Sparsity
研究了在稀疏模式结构的附加条件下学习稀疏线性回归向量的问题。这个问题与机器学习、统计学和信号处理有关。众所周知，线性回归可以受益于基础回归向量是稀疏的知识。选择这个向量的非零分量的组合问题可以通过用像$\ell_1$范数这样的凸罚函数正则化平方误差来“放松”。然而，在许多应用中，关于回归向量的结构及其稀疏模式的附加条件是可用的。将该信息引入到学习方法中可以导致估计误差的显著减小。在本文中，我们提出了一个家庭的凸罚函数，编码的先验知识的结构所形成的向量的绝对值的回归系数。该族包含$\ell_1$范数，并且足够灵活以包括具有实际和理论重要性的稀疏模式的不同模型。我们建立了这些罚函数的基本性质，并讨论了一些例子，他们可以明确计算。此外，我们提出了一个收敛的优化算法求解正则化最小二乘与这些惩罚函数。数值模拟突出了结构稀疏性的好处，我们的方法比Lasso方法和其他相关方法提供的优势。
2011-03-30 stat.ML
Tree-guided group lasso for multi-response regression with structured sparsity, with an application to eQTL mapping
我们考虑的问题估计稀疏的多响应回归函数，与应用表达数量性状位点（eQTL）定位，其目标是发现影响基因表达水平的遗传变异。特别是，我们调查的收缩技术能够捕捉到一个给定的层次结构的响应，如层次聚类树与叶节点的响应和内部节点的集群相关的响应在多个粒度，我们试图利用这种结构来恢复协变量相关的每个层次定义的集群的响应。我们提出了一个树引导组套索，或树套索，估计多响应回归下，采用一种新的惩罚函数从树构造的结构稀疏。我们描述了一个系统的加权方案，重叠的组中的树罚，使每个回归系数被惩罚在一个平衡的方式，尽管不均匀的多重性的组成员的回归系数，由于组之间的重叠。为了有效的优化，我们采用了一个平滑的近端梯度方法，最初开发的一般类的结构稀疏诱导处罚。使用模拟和酵母数据集，我们证明了我们的方法在预测误差和恢复真实稀疏模式方面表现出优越的性能，与其他学习多变量响应回归的方法相比。
2012-09-28 q-bio.GN q-bio.QM stat.AP
Sparse Reduced Rank Regression With Nonconvex Regularization
The Hong Kong University of Science and Technology（香港科技大学）
研究了稀疏降秩回归模型的估计问题。SRRR模型被广泛应用于信号处理、计量经济学等领域的降维和变量选择。该问题的目标是最小化最小二乘损失，并考虑到正交性约束。在文献中，凸稀疏诱导函数已被用于SRRR。在这项工作中，提出了一个非凸函数更好的稀疏诱导。基于交替极小化（或投影）方法，提出了一种求解非凸优化问题的有效算法。数值仿真结果表明，该算法是更有效的基准方法相比，非凸函数可以导致更好的估计精度。
2018-03-20 cs.LG q-fin.CP stat.ME
Sparsity oracle inequalities for the Lasso
本文研究了随机设计下非参数回归中$\ell_1$ -惩罚最小二乘的预言性质。我们证明了惩罚最小二乘估计满足稀疏预言不等式，即，根据oracle vector的非零分量的数量来确定边界。即使当模型的维数（远）大于样本量且回归矩阵不正定时，结果也是有效的。它们可用于高维线性回归、非参数自适应回归估计和任意估计量的集结问题。
2007-05-23 math.ST stat.TH
Efficient Smoothed Concomitant Lasso Estimation for High Dimensional Regression
LTCI, CNRS, Télécom ParisTech, Université Paris-Saclay（巴黎萨克雷大学 法国国家科学研究中心 巴黎高科电信学院 LTCI实验室）；Université Paris-Est, Cermics (ENPC)（巴黎东大学 国立路桥学校应用数学与科学计算研究中心）
在高维环境中，稀疏结构对于效率至关重要，无论是在存储器，计算还是性能方面。通常考虑$\ell_1$惩罚以在这种情况下实施稀疏性。稀疏强制方法，Lasso是一个典型的例子，是解决高维问题的热门候选人。为了提高效率，他们依赖于调整参数交易数据拟合与稀疏。对于Lasso理论来说，这个调谐参数应该与噪声电平成比例，但后者在实践中通常是未知的。一种可能的补救措施是联合优化回归参数以及噪声水平。这在文献中被认为有几个名称：例如Scaled-Lasso，Square-root Lasso，Concurrently Lasso estimation，并且可能对置信集或不确定性量化感兴趣。在这项工作中，说明了平滑伴随套索公式的数值困难后，我们提出了一个修改，我们创造了平滑伴随套索，旨在增加数值稳定性。我们提出了一个高效和准确的求解器，导致计算成本不超过一个套索膨胀。我们利用快速Lasso解算器成功背后的标准成分：坐标下降算法，结合安全筛选规则，通过消除早期不相关的特征来实现速度效率。
2016-06-08 cs.LG math.OC stat.ML
$L_1$-norm Regularized Indefinite Kernel Logistic Regression
School of Statistics and Data Science, Qufu Normal University（统计与数据科学学院，曲阜师范大学）；Dongfang College, ShanDong University of Finance and Economics（东方学院，山东财经大学）
核逻辑斯谛回归（KLR）是一种功能强大的分类方法，广泛应用于不同的领域。在许多现实世界的场景中，不定核比正定核捕获更多的特定于域的结构信息。提出了一种新的$L_1$ -范数正则化不定核逻辑斯谛回归（RIKLR）模型，该模型通过引入$L_1$ -范数惩罚函数来扩展已有的IKLR框架.这种正则化的引入增强了可解释性和推广性，同时将非光滑性和非凸性引入优化领域。为了解决这些挑战，理论上接地和计算效率的近端线性化算法的开发。在多个基准数据集上的实验结果表明，该方法在准确性和稀疏性方面都具有优异的性能。
2025-10-30 cs.LG stat.ML
Generalization Error Bounds for Multiclass Sparse Linear Classifiers
Tel Aviv University（特拉维夫大学）
我们考虑高维多类分类稀疏多项式逻辑斯谛回归。与二进制分类不同，在多类设置中，可以考虑与回归系数矩阵上的不同结构假设相关的稀疏度的整个可能概念谱。我们提出了一个计算上可行的特征选择过程的基础上惩罚的最大似然与凸处罚捕获一个特定类型的稀疏在手。特别是，我们认为全球稀疏性，双行稀疏性，低秩稀疏性，并表明，与适当选择的调整参数的派生插件分类器达到最小最大的泛化误差界（误分类过度风险）内相应的类的多类稀疏线性分类器。所开发的方法是通用的，也可以适用于其他类型的稀疏性。
2023-01-15 cs.LG math.ST stat.ME
A block-sparse Tensor Train Format for sample-efficient high-dimensional Polynomial Regression
TU Berlin（柏林工业大学）
低秩张量是高维最小二乘问题的一个既定框架。我们建议扩展这个框架，包括块稀疏的概念。在多项式回归的上下文中，每个稀疏模式对应于齐次多元多项式的某个子空间。这使我们能够调整伪空间以更好地与已知样本复杂度结果保持一致。在数值实验中测试所得到的方法，并证明了提高计算资源利用率和样本效率。
2021-04-29 cs.LG cs.NA math.NA
Nonconvex Sparse Logistic Regression with Weakly Convex Regularization
Tsinghua University（清华大学）
在这项工作中，我们提出了适合稀疏逻辑回归模型的弱凸正则化非凸优化问题。这个想法是基于这样的发现，即作为$\ell_0$伪范数的近似的弱凸函数能够比常用的$\ell_1$范数更好地诱导稀疏性。对于一类弱凸稀疏诱导函数，证明了相应稀疏Logistic回归问题的非凸性，并研究了其局部最优性条件和排除平凡解的正则化参数的选择.尽管非凸性，基于近似梯度下降的方法来解决一般弱凸稀疏逻辑回归，并从理论上研究其收敛性。然后将一般框架应用于一个具体的弱凸函数，并给出了局部最优性的一个充分必要条件。在这种情况下，作为一个迭代的坚定收缩算法的解决方案的方法实例化，其有效性在数值实验中证明了随机生成的和真实的数据集。
2017-08-07 cs.LG stat.ML
Regularized Matrix Regression
现代技术正在产生大量具有复杂结构的数据。例如，在二维数字成像、流式细胞术和脑电图中，当针对两个基础变量的每个组合获得测量值时，经常出现矩阵型协变量。为了解决这些数据产生的科学问题，需要将矩阵作为协变量的新回归方法，并且由于矩阵数据的多维性和复杂结构，稀疏性或其他形式的正则化至关重要。流行的套索和相关的正则化方法取决于真实信号的非零系数的数量的稀疏性。然而，对于矩阵数据，真实信号通常是低秩结构，或者可以很好地近似于低秩结构。因此，稀疏性通常是以矩阵参数的低秩的形式，这可能严重违反经典套索的假设。本文提出了一类基于谱正则化的正则矩阵回归方法。提出了一种高效、可扩展的估计算法，推导了沿正则化路径进行模型选择的自由度公式，并通过仿真和实际算例验证了该方法的优越性能。
2012-04-15 stat.CO stat.ME
Robust Regression and Lasso
McGill University（麦吉尔大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
Lasso或$\ell^1$正则化最小二乘法因其显著的稀疏性而被广泛研究。本文表明，Lasso的解决方案，除了其稀疏性，具有鲁棒性：它是一个强大的优化问题的解决方案。这有两个重要的后果。首先，鲁棒性提供了一个连接的正则化的物理属性，即保护免受噪声。这允许正则化的原则性选择，特别是，通过考虑不同的不确定性集，得到也产生凸优化问题的Lasso的推广。其次，鲁棒性本身可以用作探索解决方案的不同属性的途径。特别是，它示出的解决方案的鲁棒性解释了为什么解决方案是稀疏的。分析以及具体的结果，得到不同的标准稀疏性的结果，提供不同的几何直观。进一步证明了鲁棒优化公式与核密度估计有关，并在此基础上直接利用鲁棒性给出了Lasso相容性的证明.最后，一个定理说，稀疏性和算法的稳定性相互矛盾，因此Lasso是不稳定的，提出。
2008-11-11 cs.IT cs.LG math.IT
Provable Guarantees for Sparsity Recovery with Deterministic Missing Data Patterns
Purdue University（普渡大学）
我们研究的问题，一贯恢复的稀疏模式的回归参数向量的相关观测确定性缺失的数据模式使用Lasso。我们考虑的情况下，观察到的数据集是由一个确定性的，非均匀的过滤器。在具有确定性缺失结构的数据集中恢复稀疏模式可以说比在均匀随机场景中恢复更具挑战性。本文利用审查过滤器的拓扑性质，提出了一种有效的缺失值填补算法。然后，我们提供了新的理论结果的稀疏模式的精确恢复使用建议的插补策略。我们的分析表明，在一定的统计和拓扑条件下，可以在多项式时间和对数样本复杂度内以高概率一致地恢复隐藏的稀疏模式。
2022-06-10 cs.LG stat.ML
Structured Sparse Regression via Greedy Hard-Thresholding
Microsoft Research（微软研究院）；Technicolor R & I（汤姆逊研发中心）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
一些学习应用程序需要解决高维回归问题，其中相关特征属于少量（重叠）组。对于非常大的数据集和标准稀疏性约束下，硬阈值方法已被证明是非常有效的，但这种方法需要NP硬投影时，处理重叠的群体。在本文中，我们表明，这种NP难预测不仅可以避免呼吁子模块优化，但这样的方法来与强有力的理论保证，即使在存在条件不佳的数据（即当两个功能有相关性$\geq 0.99$），现有的分析无法处理。这些方法表现出一个有趣的计算精度的权衡，并可以扩展到显着困难的问题，如稀疏重叠组。真实和合成数据上的实验验证了我们的主张，并表明所提出的方法比其他贪婪和凸松弛技术学习组结构稀疏的速度快几个数量级。
2016-05-27 cs.LG stat.ML
Greedy Sparsity-Constrained Optimization
Carnegie Mellon University（卡内基梅隆大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
提出一种贪婪算法GraSP，用于近似任意形式代价函数的稀疏最小值，并在代价函数满足稳定受限Hessian或稳定受限线性化时保证收敛到真稀疏最优解的有界距离内。
2013-01-06 cs.NA math.NA math.OC
High Dimensional Gaussian Graphical Regression Models with Covariates
虽然高斯图模型已被广泛应用于许多科学领域，相对有限的进展已取得联系图结构的外部协变量。我们提出了一个高斯图回归模型，它回归的平均值和精度矩阵的高斯图模型的协变量。在共表达数量性状基因座（QTL）研究的背景下，我们的方法可以确定遗传变异和临床状况如何调节受试者级别的网络结构，并恢复群体级别和受试者级别的基因网络。我们的框架鼓励协变量对均值和精度矩阵的影响稀疏。特别是对于精度矩阵，我们规定同时稀疏，即，组稀疏性和元素稀疏性，分别对有效协变量及其对网络边缘的影响。我们首先在已知均值参数的情况下建立变量选择一致性，然后在均值未知依赖于外部协变量的情况下建立更具挑战性的变量选择一致性，并在这两种情况下建立估计精度参数的$\ell_2$收敛速度和选择一致性。我们提出的方法的实用性和有效性证明，通过模拟研究和应用程序与脑癌患者的共表达QTL研究。
2022-01-29 math.ST stat.ME stat.TH
The folded concave Laplacian spectral penalty learns block diagonal sparsity patterns with the strong oracle property
结构稀疏性是现代统计工具包的重要组成部分。我们说一组模型参数具有块对角稀疏性，直到排列，如果它的元素可以被视为具有多个连通分量的图的边。例如，具有K个变量块的块对角相关阵对应于具有K个连通分量的图，其节点是变量，其边是相关性。这种类型的稀疏性捕获模型参数的聚类。为了学习块对角稀疏模式，我们开发了折叠凹拉普拉斯谱惩罚，并提供了一个优化最小化算法产生的非凸问题。我们表明，该算法具有吸引力的计算和统计保证收敛到Oracle估计后，两个步骤的高概率，即使在高维设置。然后，该理论证明在几个经典的问题，包括协方差估计，线性回归，和逻辑斯谛回归。
2021-10-09 math.ST stat.ME stat.TH
Adaptive Sparse Group Lasso Penalized Quantile Regression via Dual ADMM
Hebei University of Technology（河北工业大学）；University of Connecticut（康涅狄格大学）；University of Pennsylvania（宾夕法尼亚大学）
本文提出一种自适应稀疏组Lasso惩罚分位数回归方法，通过交替方向乘子法优化参数，实现组内和组间稀疏性，经模拟和实证验证其有效性与计算效率。
2026-04-22 stat.CO
Functional Adaptive Double-Sparsity Estimator for Functional Linear Regression Model with Multiple Functional Covariates
针对多维传感器信号导致标量对函数回归模型解释困难的问题，提出功能自适应双重稀疏估计器，通过函数变量选择和零子区间识别实现全局与局部稀疏，具有oracle性质，并在Kinect传感器研究中有效刻画关节运动与健康的关联。
2024-06-27 math.ST stat.ME stat.TH
Principled Inference in Dense High-Dimensional Linear Models via Local Conditional Sparsity
Guangxi Normal University（广西师范大学）；University of Michigan（密歇根大学）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出NLNR框架，通过局部条件稀疏性在高维线性模型中实现坐标wise推断，建立估计量的一致性和渐近正态性，并开发阈值筛选和提升变体以提升有限样本性能。
2026-04-13 stat.ME
Multi-task Learning for Gaussian Graphical Regressions with High Dimensional Covariates
高斯图回归是一种强有力的方法，它可以对协变量的高斯图模型的精度矩阵进行回归，允许响应变量和协变量的数量远远超过样本量。模型拟合通常通过单独的节点式套索回归进行，忽略这些回归中的网络诱导结构。因此，错误率很高，特别是当节点数量很大时。我们提出了一个多任务学习估计拟合高斯图形回归模型，我们设计了一个跨任务组稀疏惩罚和任务内元素稀疏惩罚，分别管理活动协变量的稀疏性及其对图形的影响。对于计算，我们考虑一个有效的增广拉格朗日算法，它解决了子问题的半光滑牛顿法。对于理论，我们证明了基于多任务学习的估计的错误率比单独的节点式套索估计的错误率有很大的改善，因为跨任务惩罚借用了跨任务的信息。为了解决任务纠缠在一个复杂的相关结构的主要挑战，我们建立了一个新的尾部概率界相关的重尾（次指数）变量与任意相关结构，一个有用的理论结果本身。最后，我们的方法的效用是通过模拟以及应用到与脑癌患者的基因共表达网络研究证明。
2022-05-21 stat.ME stat.ML
Linear Inverse Problems with Norm and Sparsity Constraints
我们描述了两个非传统的线性回归算法，称为GAME和CLASH。这些方法的突出特点是，他们利用凸$\ell_1$ -球和非凸$\ell_0$ -稀疏约束稀疏恢复联合。为了建立GAME和CLASH的理论近似保证，我们涵盖了从博弈论、凸优化和组合优化等一系列有趣的主题。我们说明，这些方法导致改进的理论保证和经验性能超越凸和非凸求解器。
2015-07-20 cs.IT math.IT math.OC
Sparse Estimation by Exponential Weighting
考虑具有固定设计和高斯噪声的回归模型，其中回归函数可以潜在地由允许给定字典中的稀疏表示的函数很好地近似。本文采用指数权重来利用这种潜在的稀疏性，实现稀疏模式聚合的原则。这种模型选择采取稀疏估计，使我们能够在几个流行的框架，包括普通稀疏，融合稀疏和组稀疏的稀疏预言不等式。这些理论结果的一个显著方面是，它们在任何条件下都不存在于字典中。此外，我们描述了一个有效的实现稀疏模式聚合的原则，相比之下，一些基本的数值例子的最先进的程序。
2013-01-07 math.ST stat.ME stat.TH
Bayesian Factor-adjusted Sparse Regression
研究了协变量高度相关的高维线性回归。在这种设置中，传统的稀疏性假设的回归系数往往不能成立，因此，许多模型选择程序不工作。为了应对这一挑战，我们通过因子结构对协变量的变化进行建模。具体而言，协变量之间的强相关性由共同因素解释，其余变异被解释为每个协变量的特质成分。这导致了一个因素调整回归模型，共同因素和特质成分作为协变量。我们相应地推广了传统的稀疏性假设，并假设所有的共同因素，但只有少数的特质组件的响应。然后提出了一种具有尖峰和平板先验的贝叶斯方法用于参数估计和模型选择。模拟研究表明，我们的贝叶斯方法优于其套索模拟，表现出不敏感的高估的共同因素的数量，支付一个可以忽略不计的代价，在没有相关性的情况下，并扩大以及增加样本量，维数和稀疏。美国债券风险溢价和宏观经济指标的真实数据集上的数值结果为我们的方法提供了强有力的支持。
2019-03-23 math.ST stat.ME stat.TH
High SNR Consistent Compressive Sensing Without Signal and Noise Statistics
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
在欠定线性回归模型、\textit{aka}、压缩感知中恢复稀疏向量的支持在许多信号处理应用中是重要的。高SNR一致性（HSC），即，随着信噪比（SNR）的增加，支撑恢复技术正确识别支撑的能力是一个越来越流行的标准，以限定支撑恢复技术的高SNR最优性。文献中可用于支持恢复技术的HSC结果适用于欠定线性回归模型，如最小绝对收缩和选择算子（LASSO），正交匹配追踪（OMP）等，假设\textit{a priori}噪声方差或信号稀疏性的知识。然而，这两个参数在大多数实际应用中是不可用的。此外，在欠定回归模型中估计噪声方差或信号稀疏性是极其困难的。这限制了现有HSC结果的实用性。在这篇文章中，我们提出了两种技术，\textit{viz.}，剩余比最小化（RRM）和剩余比阈值与适应（RRTA）操作OMP算法没有\textit{a priroi}知识的噪声方差和信号稀疏性，并建立了他们的HSC解析和数值。据我们所知，这是第一个也是唯一一个在欠定回归模型中报告HSC的噪声统计不经意算法。
2018-11-17 cs.LG eess.SP stat.ML
Nonconvex sparse regularization for deep neural networks and its optimality
University of Notre Dame（圣母大学）；Seoul National University（首尔国立大学）
最近的理论研究证明，通过在一定稀疏性约束下最小化经验风险获得的深度神经网络（DNN）估计量可以获得回归和分类问题的最佳收敛速度。然而，稀疏性约束要求知道真实模型的某些属性，这在实践中是不可用的。此外，由于稀疏约束的离散性质，计算是困难的。在本文中，我们提出了一种新的惩罚估计方法稀疏DNN，解决了上述问题存在的稀疏性约束。我们建立了一个预言不等式的建议稀疏惩罚DNN估计的超额风险，并推导出几个学习任务的收敛速度。特别是，我们证明了稀疏惩罚估计可以自适应地获得各种非参数回归问题的极小极大收敛速度。对于计算，我们开发了一个有效的基于梯度的优化算法，保证单调减少的目标函数。
2021-08-09 cs.LG math.ST stat.ML
The sparsity and bias of the Lasso selection in high-dimensional linear regression
Meinshausen和Buhlmann [Ann. Statistist. 34（2006）1436- 1462]表明，对于高斯图形模型中的邻域选择，在邻域稳定性条件下，LASSO是一致的，即使当变量的数量比样本量更高阶时。Zhao和Yu [（2006）J. Machine Learning Research 7 2541--2567]在线性回归的上下文中将邻域稳定性条件形式化为强不可表示条件。该论文表明，在这种条件下，LASSO精确地选择非零回归系数的集合，只要这些系数以一定的速率远离零。本文假设理想模型外的回归系数很小，但不一定为零。在稀疏Riesz条件下的设计变量的相关性，我们证明了LASSO选择一个模型的正确顺序的维度，控制的水平所确定的小回归系数和阈值偏差的贡献所选择的模型的偏差，并选择所有系数的更大的顺序比所选择的模型的偏差。此外，由于这种速率一致性的LASSO模型选择，它被证明是误差平方和的平均响应和$\ell_α$ -损失的回归系数收敛在最佳可能的速率在给定的条件下。我们的结果的一个有趣的方面是，变量的数量的对数可以是相同的顺序为某些随机相关设计的样本量。
2008-08-07 math.ST stat.TH
Joint Variable Selection for Data Envelopement Analysis via Group Sparsity
本研究发展一个资料驱动的群组变数选择方法，以应用于资料分析（DEA），一个非参数线性规划方法来估计生产边界。所提出的方法扩展组Lasso（最小绝对收缩和选择算子）设计变量选择（通常预定义的）组变量的线性回归模型的DEA模型。特别是，一个特殊的约束版本的组Lasso的损失函数适用于DEA模型中的变量选择推导和求解的一个新的定制算法的基础上的交替方向法的乘数（ADMM）。本研究进一步进行了深入的评估，提出的方法对两个广泛使用的变量选择方法-效率贡献的措施（ECM）的方法和基于回归（RB）的测试-在DEA通过蒙特卡洛模拟。仿真结果表明，我们的方法提供了更有利的性能相比，其基准。
2014-02-16 math.OC stat.ME
Taking Advantage of Sparsity in Multi-Task Learning
本文研究了多元线性回归方程的估计问题，它既可用于预测，又可用于变量选择。根据最近关于多任务学习的工作Argyriou et al. [2008]，我们假设回归向量共享相同的稀疏模式。这意味着相关预测变量的集合在不同的方程中是相同的。这一假设使我们考虑将Group Lasso作为候选估计方法。我们证明了该估计具有良好的稀疏性预言不等式和变量选择性质。结果在设计矩阵上的特定限制特征值条件和相干条件下成立，这自然扩展了Bickel等人[2007]，Lounici [2008]的近期工作。特别是，在多任务学习场景中，任务的数量可以增长，我们能够完全消除边界中预测变量数量的影响。最后，我们展示了如何将我们的结果扩展到更一般的噪声分布，我们只需要方差是有限的。
2009-03-09 math.ST stat.ML stat.TH
LassoNet: A Neural Network with Feature Sparsity
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）；Gematria Technologies（Gematria科技公司）
为了使神经网络更具可解释性，最近已经做了很多工作，一个明显的方法是安排网络只使用可用特征的子集。在线性模型中，Lasso（或$\ell_1$正则化）回归将零权重分配给最不相关或冗余的特征，并广泛用于数据科学。但是，Lasso仅适用于线性模型。在这里，我们介绍LassoNet，一个具有全局特征选择的神经网络框架。我们的方法强制执行一个层次结构：特别是一个功能可以参与一个隐藏的单位，只有当它的线性代表是活跃的。与其他神经网络的特征选择方法不同，我们的方法使用了一个修改后的目标函数的约束条件，所以集成的特征选择与参数学习直接。因此，它提供了一个完整的正则化路径的解决方案与一系列的特征稀疏。在系统实验中，LassoNet在特征选择和回归方面的表现明显优于最先进的方法。LassoNet方法使用投影近端梯度下降，并直接推广到深度网络。它可以通过向标准神经网络添加几行代码来实现。
2021-06-16 cs.LG stat.ML
$χ^2$-confidence sets in high-dimensional regression
我们研究了一个高维回归模型。目的是为给定的一组回归系数构造置信集，将所有其他回归系数视为冗余参数。我们应用一个一步的过程与平方根Lasso作为初始估计和多元平方根Lasso构建一个替代Fisher信息矩阵。多元平方根Lasso基于核范数损失和$\ell_1$ -惩罚。我们表明，这个过程导致一个渐近$χ^2$分布的枢轴，与剩余项仅取决于初始估计的$\ell_1$误差。我们发现，根据$\ell_1$ -稀疏条件下的回归系数$β^0$的平方根拉索产生一致的噪声方差估计，我们建立尖锐的预言不等式表明，剩余项是小的进一步稀疏条件下的$β^0$和相容性条件的设计。
2015-09-15 math.ST stat.TH
$L_1$-Penalization in Functional Linear Regression with Subgaussian Design
本文研究了随机次高斯设计和实值响应下的函数回归。重点是其中的回归函数可以很好地近似的一个功能的线性模型与斜率函数是“稀疏”的意义上，它可以表示为一个小数目的分离良好的“尖峰”的总和的问题。这可以看作是一个扩展，现在经典的稀疏估计问题的情况下，无限字典。我们研究了基于惩罚经验风险最小化二次损失和复杂性惩罚定义的$L_1$ -范数（LASSO的连续版本）的回归函数的估计。主要目标是引入几个重要的参数，在这类问题的稀疏性特征，并证明尖锐的甲骨文不等式显示如何连续LASSO估计的$L_2$ -错误取决于基本的稀疏性的问题。
2014-09-14 math.ST stat.TH
Continuation of Nesterov's Smoothing for Regression with Structured Sparsity in High-Dimensional Neuroimaging
预测模型可用于高维脑图像，以诊断临床状况。通过结构化稀疏性的空间正则化在这种情况下提供了新的视角，并降低了模型过拟合的风险，同时通过强制解决方案遵守特定领域的约束来提供可解释的神经成像签名。总变分（TV）在将预测区域从背景中分割出来的同时，增强了解决方案的空间平滑性。我们考虑最小化光滑凸损失，非光滑凸惩罚（其邻近算子是已知的）和广泛的可能的复杂，非光滑凸结构的处罚，如电视或重叠组拉索的总和的问题。现有的求解器要么是有限的功能，他们可以最小化或在他们的实际能力，以扩展到高维成像数据。Nesterov的平滑技术可以用来最小化大量的非光滑凸结构的惩罚，但合理的精度需要一个小的平滑参数，这减慢了收敛速度。为了受益于Nesterov的平滑技术的多功能性，我们提出了一个一阶连续算法，CONESTA，它自动生成一个序列的平滑参数减少。所生成的序列保持最佳收敛速度朝向任何全局期望的精度。我们的主要贡献是：提出了一种对偶间隙的表达式来探测当前距离全局最优解的距离，以适应平滑参数和收敛速度。我们提供了一个收敛速度，这是一个经典的近端梯度平滑方法的改进。我们在模拟和高维结构神经成像数据上证明，CONESTA在收敛速度和精度方面明显优于许多最先进的求解器。
2018-04-22 stat.ML
Feature Selection and Regularization in Multi-Class Classification: An Empirical Study of One-vs-Rest Logistic Regression with Gradient Descent Optimization and L1 Sparsity Constraints
Department of Computer Science and Software Engineering, Auburn University, Alabama, USA（计算机科学与软件工程系，阿伯茨费尔德大学，美国阿拉巴马州）；Department of Information and Communication Technology, Bangladesh University of Professionals, Dhaka, Bangladesh（信息与通信技术系，孟加拉国专业大学，达卡）
本研究实证评估一对多逻辑回归在UCI葡萄酒多分类任务中的表现，比较梯度下降与scikit-learn求解器，并验证L1正则化在特征稀疏性与精度间的权衡，提出5特征最优子集以实现低成本高效部署。
2025-10-22 cs.AI cs.LG
Sparse Sliced Inverse Regression via Cholesky Matrix Penalization
我们介绍了一种新的稀疏切片逆回归估计称为Cholesky矩阵惩罚和自适应版本实现稀疏估计的中心子空间的尺寸。新的估计使用的协变量的协方差阵的Cholesky分解，并包括在目标函数中的正则化项，以实现稀疏的计算效率的方式。我们建立的理论值的调谐参数，实现估计和变量选择的一致性的中心子空间。此外，我们提出了一个新的投影信息准则来选择我们提出的估计的调整参数，并证明了新的标准有利于选择的一致性。Cholesky矩阵惩罚估计量继承了Matrix Lasso和Lasso切片逆回归估计量的优点，在数值研究中具有优越的性能，并可适用于文献中的其他充分维方法。
2021-04-20 stat.ME
Localized Lasso for High-Dimensional Regression
Kyoto University（京都大学）；NTT Communication Science Laboratories（NTT通信科学实验室）；University College London（伦敦大学学院）；Aalto University（阿尔托大学）
我们引入了本地化的Lasso，它适用于学习模型，这些模型在高维$d$和小样本量$n$的问题中既可解释又具有高预测能力。更具体地说，我们考虑由局部稀疏模型定义的函数，每个数据点一个。我们引入了样本网络正则化来借用模型之间的强度，以及样本排他性组稀疏性（也称为，$\ell_{1,2}$范数）以将多样性引入局部模型中的特征集的选择中。局部模型的稀疏模式的相似性方面的解释。成本函数是凸的，因此具有全局最优解。此外，我们提出了一个简单而有效的基于迭代最小二乘的局部Lasso优化过程，它不需要一个调整参数，并保证收敛到全局最优解。经验表明，该解决方案优于模拟和基因组个性化医学数据的替代方案。
2016-10-14 cs.LG stat.ME stat.ML
Model selection for high-dimensional linear regression with dependent observations
National Tsing Hua University（国立清华大学）
研究了正交贪婪算法（OGA）在具有相依观测的高维回归模型中的预测能力。在各种稀疏性条件下，得到了OGA预测误差的收敛速度。为了防止OGA的过拟合，我们引入了一个高维赤池的信息准则（HDAIC）来确定OGA的迭代次数。这项工作的一个关键贡献是表明，OGA，与HDAIC结合使用，可以实现最佳的收敛速度，而不需要知道底层的高维模型是多么稀疏。
2019-06-18 cs.LG math.ST stat.ML
Sparse Sliced Inverse Regression Via Lasso
对于多指标模型，最近的研究表明，当且仅当$ρ=\lim\frac{p}{n}=0$，其中$p$是维数，$n$是样本量，切片逆回归（SIR）对于估计充分降维（SDR）空间是一致的.因此，当$p$具有与$n$相同或更高阶时，必须施加诸如稀疏性的附加假设，以便确保SIR的一致性。通过构造由估计的条件协方差阵的顶部特征向量组成的人工响应变量，我们引入了一个简单的Lasso回归方法来获得SDR空间的估计。由此产生的算法，Lasso-SIR，被证明是一致的，并在一定的稀疏条件下达到最佳的收敛速度时，$p$是为了$o(n^2λ^2)$，其中$λ$是广义信噪比。我们还证明了优越的性能Lasso-SIR与现有的方法相比，通过广泛的数值研究和几个实际数据的例子。
2018-06-17 math.ST stat.ME stat.TH
Backhaul-Constrained Multi-Cell Cooperation Leveraging Sparsity and Spectral Clustering
研究了蜂窝上行链路中回程业务受限的多小区协作处理问题。针对减少回程开销，稀疏正则化的多小区接收滤波器的设计问题。无论是非结构化的分布式合作，以及集群合作，其中基站组形成紧密合作，被认为是。动态分簇协作，稀疏均衡器和协作簇是共同确定的，通过交替最小化的谱聚类和组稀疏回归的基础上解决。此外，分散实现的非结构化和集群合作计划的可扩展性，鲁棒性和计算效率。大量的数值试验验证了所提出的方法的有效性。
2015-10-14 cs.IT cs.NI math.IT
Numerical Characterization of Support Recovery in Sparse Regression with Correlated Design
稀疏回归经常在不同的科学环境中作为特征选择方法。科学数据的一个普遍的方面，阻碍了特征选择和估计是预测特征之间的强相关性的存在。这些基本问题往往没有意识到的从业者，jeapordize从估计模型得出的结论。另一方面，稀疏诱导正则化回归（如Lasso）的理论结果在很大程度上通过渐近性解决了选择一致性的条件，而忽略了模型选择的问题，从而选择正则化参数。在这个数值研究中，我们解决这些问题，通过详尽的表征几个回归估计的性能，再加上一系列的模型选择策略。这些估计和选择标准进行了检查，在相关的回归问题与不同程度的信号噪声，非零模型系数的分布，和模型稀疏。我们的研究结果揭示了一个基本的权衡假阳性和假阴性控制在所有的回归估计和模型选择标准检查。此外，我们能够在数值上探索调制的信号-噪声比和频谱特性的设计协方差阵的所有考虑的算法的选择精度降低的过渡点。总的来说，我们发现，SCAD加上BIC或经验贝叶斯模型选择执行最好的功能选择在考虑的回归问题。
2021-03-23 stat.AP stat.ME
Sparsity considerations for dependent observations
本文的目的是提供一个全面的介绍，在相依观测的背景下，L1-惩罚估计的研究。我们定义了一个一般的$\ell_{1}$ -惩罚估计，用于解决随机最优化问题。这个估计量是回归估计设置中的LASSO。最近的文献对LASSO的统计性能提供了强有力的理论保证，然而，他们通常只处理iid的情况。在这里，我们研究了各种依赖假设下的估计量。
2011-08-07 math.ST stat.TH
Confidence sets in sparse regression
考虑了具有$n$响应变量和$p$参数（可能是$p\ge n$）的高维线性模型的置信集构造问题.如果稀疏估计的速率不超过$n^{-1/4}$，则完全诚实的自适应推断是可能的，否则稀疏自适应置信集仅存在于稀疏估计器存在的参数空间的严格子集上。根据参数空间上的最小$\ell^2$ -分离条件，给出了参数向量具有固定稀疏度的置信集存在的充要条件.设计条件涵盖稀疏模型中使用的常见相干性假设，包括（可能相关的）亚高斯设计。
2013-12-18 math.ST stat.TH
Logistic regression and Ising networks: prediction and estimation when violating lasso assumptions
伊辛模型最初是为了在统计物理学中模拟固体的磁化而开发的。作为一个二进制变量的网络，成为“活跃”的概率只取决于直接的邻居，伊辛模型似乎适合于许多其他过程。例如，它最近被应用于心理学，以模拟精神障碍的共同发生。它已被证明，在伊辛网络中的变量（节点）之间的连接可以估计与一系列的逻辑斯谛回归。这自然会导致这样的模型如何预测新的观察和如何以及伊辛模型的参数可以使用逻辑斯谛回归估计的问题。在这里，我们专注于高维设置更多的参数比观察，并考虑违反假设的套索。特别是，我们确定的后果时，稀疏性和限制特征值假设不满足预测和估计。我们解释使用的想法连接副本（极端多重共线性）的事实，即预测变得更好时，稀疏性或多重共线性不满意。我们用模拟来说明这些结果。
2018-07-28 math.ST stat.TH
The Price of Competition: Effect Size Heterogeneity Matters in High Dimensions
在高维稀疏回归中，在固定稀疏水平的同时增加信噪比是否总是会导致更好的模型选择？对于高维稀疏回归问题，令人惊讶的是，在本文中，我们回答了这个问题的否定在政权的线性稀疏的Lasso方法，依赖于一个新的概念，我们长期效应大小异质性。粗略地说，如果一个回归系数向量的非零项具有显著不同的量值，则该向量具有高效应量异质性。从这个新的措施的观点，我们证明了假阳性率和真阳性率实现最佳的权衡一致沿Lasso路径时，该措施是最大的在一定意义上，和最坏的权衡时，它是最小的意义上，所有非零效应大小大致相等。此外，我们证明了第一次假选择发生得更早时，效应大小异质性是最小的，比当它是最大的。这两种现象的根本原因是，打个比方，在进入模型时，效应大小相同的变量之间的“竞争”。总之，我们的研究结果表明，效应量异质性应作为一个重要的补充措施，在高维回归问题的分析中的稀疏性的回归系数。我们的证明使用近似消息传递理论的技术，以及一种新的技术来估计第一个假变量的秩。
2022-03-09 cs.IT math.IT math.ST
The Smooth-Lasso and other $\ell_1+\ell_2$-penalized methods
我们考虑一个线性回归问题，在高维设置的协变量$p$的数量可以远远大于样本量$n$。在这种情况下，通常假设回归向量\textit的稀疏性，即，回归向量包含许多零分量。我们提出了一个基于两个惩罚项的Lasso型估计量$\hatβ^{Quad}$（其中“$Quad$”代表二次）。第一个是回归系数的$\ell_1$范数，用于利用Lasso估计器所做的回归的稀疏性，而第二个是二次惩罚项，用于捕获关于问题设置的一些附加信息。我们详细介绍两种特殊情况：Elastic-Net $\hatβ^{EN}$，处理变量之间可能存在相关性的稀疏问题; Smooth-Lasso $\hatβ^{SL}$，响应已知连续回归系数变化缓慢的稀疏问题（在某些情况下，这也可以解释为连续变量之间的相关性）。从理论的角度来看，我们建立了变量选择一致性结果，并表明$\hatβ^{Quad}$实现了稀疏不等式，即\textit，一个边界的数量方面的非零组件的“真正的”回归向量。这些结果是在一个比Lasso所用的更弱的Gram矩阵假设下提供的。在某些情况下，这保证了一个显着的改善，套索。仿真结果表明，S-Lasso $\hatβ^{SL}$算法在估计精度上优于Lasso算法、Elastic-Net $\hatβ^{EN}$算法和Fused-Lasso算法。当回归向量是“平滑的”，即\textit，当回归的未知参数的连续系数之间的…
2011-10-07 math.ST stat.TH
Interplay of minimax estimation and minimax support recovery under sparsity
本文研究了高维线性回归模型稀疏估计的尺度极小极大性。我们提出了比经典极大极小理论更乐观的下界，从而改进了已有的结果。作为我们研究的结果，我们恢复了全局极大极小的尖锐结果。固定信噪比的尺度，我们证明了估计误差可以小于全局极小极大误差。我们构造了一个新的最优估计的尺度极小极大稀疏估计。最佳的自适应过程也被描述。
2018-10-12 math.ST stat.TH
Robust Fused Lasso Penalized Huber Regression with Nonasymptotic Property and Implementation Studies
对于现实中的一些特殊数据，如基因数据，相邻的基因可能具有相似的功能。因此，确保相邻基因之间的平滑性是非常必要的。但是，在这种情况下，标准的套索惩罚似乎不再合适了。另一方面，在高维统计中，一些数据集很容易被离群值污染或包含重尾分布的变量，这使得许多传统的方法不足。为了解决这两个问题，本文提出了一种用于稳健估计和推理的自适应Huber回归，其中，融合套索惩罚用于鼓励系数的稀疏性以及它们的差的稀疏性，即，系数分布的局部恒定性。理论上，我们建立了它的非渐近估计误差界下的$\ell_2$ -范数在高维设置。所提出的估计方法被公式化为一个凸的、非光滑的和可分离的优化问题，因此，可以采用交替方向的乘子方法。最后，我们进行了模拟研究和实际癌症数据的研究，这表明所提出的估计方法是更强大的和预测。
2022-09-28 stat.ME
Group Lasso for generalized linear models in high dimension
如今，越来越多的数据是可用的，我们必须处理的模型在高维（协变量的数量远远大于样本量）。在稀疏性假设下，我们有理由希望能够对回归参数做出很好的估计。这种稀疏性假设以及将协变量块结构化为具有相似行为模式的组例如在基因组学中是非常自然的。大量的科学文献存在的高斯线性模型，包括Lasso估计，也组Lasso估计，促进组稀疏下的组的先验知识。我们将此群Lasso方法推广到广义线性模型，并研究了此估计对于稀疏高维广义线性模型的收敛速度.在对协变量的假设和对设计矩阵的条件下，给出了预测误差和估计误差的预言不等式。我们证明了这种估计的能力，恢复良好的稀疏近似的真实模型。最后，我们将这些结果扩展到弹性网惩罚的情况，并将其应用于所谓的泊松回归情况，该情况与逻辑斯谛回归相反，在本文中尚未研究。
2014-01-22 math.ST stat.TH
Flexible Variable Selection for Recovering Sparsity in Nonadditive Nonparametric Models
在非加性非参数模型中恢复稀疏性的变量选择一直是一个挑战。这个问题变得更加困难，由于在建模高维变量之间的未知的相互作用项的复杂性。目前没有变量选择方法来克服这些限制。因此，在本文中，我们提出了一个变量选择方法，通过连接核机器与非参数多元回归模型。我们的方法的优点是，它可以：（1）恢复稀疏性，（2）自动建模未知和复杂的相互作用，（3）连接几个现有的方法，包括线性非负绞绳，核学习和自动相关决定因素（ARD），和（4）提供灵活性的添加剂和非添加剂非参数模型。我们的方法可以看作是一个非负绞喉法的非线性版本。我们用最小二乘核机器对平滑函数进行建模，并构造非负的绞刑架目标函数作为相似矩阵的函数。由于多元回归相似性矩阵可以写成与输入变量相对应的单变量相似性矩阵的加法形式，因此对每个单变量相似性矩阵应用稀疏尺度参数可以揭示其与响应变量的相关性。我们还推导出我们的方法的渐近性质，并表明，它提供了一个平方根相合估计量的尺度参数。在一定条件下，证明了稀疏性满足一致的初始核函数系数，并给出了稀疏性的充分必要条件。提出了一种高效的坐标下降/后拟合算法。我们的变量选择方法也提出了一个rescovery程序，以提高功率。
2012-06-13 stat.ME
Multi-Kernel Regression with Sparsity Constraint
EPFL（洛桑联邦理工学院）
在本文中，我们提供了一个广义全变差（gTV）正则化的监督学习的Banach空间公式。我们确定类的核函数，在这个框架中是允许的。然后，我们提出了一个变化的监督学习在连续域混合搜索空间与gTV正则化。我们表明，该解决方案承认一个自适应位置的多核扩展。在该表示中，活动内核的数量由数据点的数量上限，而gTV正则化对内核系数施加$\ell_1$惩罚。最后，我们数值说明我们的理论的结果。
2020-12-17 cs.LG stat.ML
Fundamental limits and algorithms for sparse linear regression with sublinear sparsity
University of Cambridge（剑桥大学）
本文为次线性稀疏度机制下的稀疏线性回归建立了精确的归一化互信息和MMSE渐近表达式，通过推广自适应插值方法并提出改进的AMP算法以严格分析了其状态演化，证明了传统线性假设对稀疏信号并非必要。
2023-04-08 cs.IT cs.LG math.IT
Binary Kernel Logistic Regression: a sparsity-inducing formulation and a convergent decomposition training algorithm
DEIB, Politecnico di Milano（米兰理工大学DEIB学院）；Centro di Eccellenza DEWS, DISIM, Università degli Studi dell’Aquila（阿奎拉大学DISIM学院）
本文提出了一种二元核对数回归方法，通过诱导稀疏性并保持高测试精度，实现了预测准确性和稀疏性之间的良好平衡。
2025-12-22 cs.LG math.OC
