Fast and Robust Sparsity Learning over Networks: A Decentralized Surrogate Median Regression Approach
Shanghai Jiao Tong University（上海交通大学）；Iowa State University（爱荷华州立大学）
分散稀疏学习由于其快速增长的应用，最近吸引了大量的关注。为了得到鲁棒的稀疏估计，一个自然的想法是采用非光滑中值损失结合$\ell_1$稀疏正则化。然而，大多数现有的方法遭受由{ \em double}非光滑目标引起的慢收敛性能。为了加快计算速度，本文提出了一种分散代理中值回归（deSMR）方法，有效地解决了分散稀疏学习问题。我们表明，我们提出的算法具有线性收敛速度与一个简单的实现。我们还研究了统计保证，它表明，我们提出的估计实现了近预言收敛速度，而没有任何限制的网络节点的数量。此外，我们建立了稀疏支持恢复的理论结果。数值实验和实际数据的研究证明了该方法的有效性。
2022-02-11 cs.LG stat.ME stat.ML
A Sparsity Inducing Nuclear-Norm Estimator (SpINNEr) for Matrix-Variate Regression in Brain Connectivity Analysis
经典的标量响应回归方法将协变量视为向量，并估计相应的回归系数向量。然而，在医学应用中，回归量通常是多维数组的形式。例如，人们可能对使用MRI成像来识别哪些大脑区域与健康结果相关感兴趣。矢量化二维图像阵列是一种不令人满意的方法，因为它破坏了图像的固有空间结构，并且在计算上具有挑战性。我们提出了一种替代方法-正则化矩阵回归-其中的矩阵的回归系数被定义为一个解决方案的具体优化问题。该方法，称为SParsity诱导核范数估计（SpINNEr），同时施加两种惩罚类型的回归系数矩阵-核范数和套索范数-鼓励低秩矩阵的解决方案，也有进入式稀疏。交替方向乘子法（ADMM）的一个特定的实现是用来建立一个快速和有效的数值求解器。我们的模拟表明，SpINNEr在估计准确性方面优于其他方法，当与响应相关的条目（代表大脑的功能连接）被安排在连接良好的社区中时。SpINNEr用于研究HIV相关结果与人脑功能连接之间的关联。
2020-01-30 cs.NA math.NA math.OC
Fundamental limits and algorithms for sparse linear regression with sublinear sparsity
University of Cambridge（剑桥大学）
本文为次线性稀疏度机制下的稀疏线性回归建立了精确的归一化互信息和MMSE渐近表达式，通过推广自适应插值方法并提出改进的AMP算法以严格分析了其状态演化，证明了传统线性假设对稀疏信号并非必要。
2023-04-08 cs.IT cs.LG math.IT
Implicit Regularization for Group Sparsity
Texas A&M University（德克萨斯农工大学）；New York University（纽约大学）
我们研究了隐式正则化梯度下降结构稀疏通过一种新的神经重新参数化，我们称之为对角分组线性神经网络。我们展示了我们的重新参数化的以下有趣的性质：在平方回归损失上的梯度下降，没有任何明确的正则化，偏向于具有组稀疏结构的解决方案。与许多现有的理解隐式正则化的工作相比，我们证明了我们的训练轨迹不能通过镜像下降来模拟。我们分析了相应的回归问题在一般噪声设置的梯度动力学，并获得最小最优错误率。与使用对角线性网络的隐式稀疏正则化的现有界限相比，我们的分析与新的重新参数化显示出改进的样本复杂度。在退化的情况下，大小一组，我们的方法产生了一个新的算法稀疏线性回归。最后，我们证明了我们的方法的有效性与几个数值实验。
2023-01-29 cs.LG stat.ML
Minimax Semiparametric Learning With Approximate Sparsity
该研究针对高维下精确稀疏假设适用范围有限的问题，形式化近似稀疏性概念，推导其下回归斜率与平均导数的极小极大速率，提出达最优速率的估计器，还发现有序与无序非参数回归的最优性边界存在差异。
2025-07-31 econ.EM math.ST stat.ML
Dynamic sparsity on dynamic regression models
在目前的工作中，我们考虑的变量选择和收缩的高斯动态线性回归贝叶斯框架内。特别是，我们提出了一种新的方法，允许随时间变化的稀疏性，基于扩展的尖峰和板先验的动态模型。这是通过为时变系数的方差分配适当的马尔可夫切换先验来完成的，扩展了Ishwaran和Rao（2005）以前的工作。此外，我们研究了不同的先验，包括过程方差的常见反向伽玛先验，以及其他混合先验分布，例如尖峰和平板的伽玛先验，这导致系数的正态伽玛先验的混合（Griffin ad Brown，2010）。从这个意义上说，我们的先验可以被视为一个动态变量选择先验，它在每个时间点诱导平滑（通过板）或收缩到零（通过尖峰）。用于后验计算的MCMC方法使用可以在每个时间点假设二进制状态的马尔可夫潜变量来生成系数的方差。通过这种方式，我们的模型是一个动态混合模型，因此，我们可以使用Gerlach等人（2000）的算法来生成潜在过程，而无需对状态进行调节。最后，通过模拟示例和真实数据应用程序来举例说明我们的方法。
2020-09-29 stat.CO stat.ME stat.ML
Sparse Reduced Rank Regression With Nonconvex Regularization
The Hong Kong University of Science and Technology（香港科技大学）
研究了稀疏降秩回归模型的估计问题。SRRR模型被广泛应用于信号处理、计量经济学等领域的降维和变量选择。该问题的目标是最小化最小二乘损失，并考虑到正交性约束。在文献中，凸稀疏诱导函数已被用于SRRR。在这项工作中，提出了一个非凸函数更好的稀疏诱导。基于交替极小化（或投影）方法，提出了一种求解非凸优化问题的有效算法。数值仿真结果表明，该算法是更有效的基准方法相比，非凸函数可以导致更好的估计精度。
2018-03-20 cs.LG q-fin.CP stat.ME
Iterative Hessian Sketch in Input Sparsity Time
University of Warwick（华威大学）
可扩展的算法来解决优化和回归任务，甚至近似，需要与大型数据集一起工作。在本文中，我们研究有效的技术，从矩阵素描解决各种凸约束回归问题。我们采用“迭代海森素描”（IHS），并表明快速CountSketch和稀疏的约翰逊-林登施特劳斯变换产生的最先进的精度保证IHS下，同时大大提高了时间成本。其结果是，我们获得了显着更快的算法约束回归，稀疏和密集的输入。我们的经验结果表明，对于稀疏数据，我们可以以大约100倍的速度汇总数据，而令人惊讶的是，对于密集数据，我们可以以10倍的速度汇总数据！因此，可以比现有技术更快地找到精确到最优解的机器精度内的解。
2019-10-30 cs.DS cs.LG stat.ML
Sparsity by Default: The Theory and Practice of ARD in Gaussian Process Regression for Variable Selection
George Mason University（乔治梅森大学）
本文系统梳理了高斯过程回归中自动相关性确定（ARD）的理论基础、算法实践与渐近性质，论证其通过边际似然实现有效稀疏性，并对比多种变量选择方法，指出其优势在于与核学习集成、软件支持广泛且成本低。
2026-09-29 cs.LG stat.ML
Sparsity-Promoting Bayesian Dynamic Linear Models
近年来，由于涉及大量预测因子的回归和分类应用的数量增加，稀疏性促进先验变得越来越受欢迎。在随时间收集观测值的时间序列应用中，假设基本稀疏模式是固定的通常是不现实的。我们在这里提出了一个灵活的贝叶斯线性模型的动态稀疏建模的原始类。建议的模型类扩展了现有的贝叶斯文献稀疏回归广义多元双曲分布。通过分析结果和模拟研究的模型的属性进行了探索。我们展示了一个金融应用程序的模型，它表明，它准确地代表了股票和衍生品数据分析中看到的模式，并能够通过过滤人工资产组合来检测重大事件。
2012-03-01 stat.CO stat.ME stat.ML
Dual-sPLS: a family of Dual Sparse Partial Least Squares regressions for feature selection and prediction with tunable sparsity; evaluation on simulated and near-infrared (NIR) data
Université Saint-Joseph（圣约瑟夫大学）；Université Claude Bernard Lyon 1（里昂第一大学）；IFP Energies nouvelles（法国石油与新能源研究院）
本文提出 Dual-sPLS 稀疏偏最小二乘回归族，通过对偶范数惩罚和收缩比率参数实现可调稀疏性，在模拟与真实 NIR 化学数据上取得良好预测与解释效果。
2023-01-17 cs.LG math.OC stat.ML
A novel sparsity and clustering regularization
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）
我们提出了一种新的稀疏性和聚类（SPARsity and Clustering，简称SPARMN）正则化器，它是对以前的八角形收缩和聚类回归算法（OSCAR）的改进，其中，所提出的正则化器由$K$稀疏约束和限制在$K$最大分量上的成对$\ell_{\infty}$范数组成。所提出的正则化是能够单独执行$K$ -稀疏性，并鼓励非零是相等的幅度。此外，它可以准确地对特征进行分组，而不会缩小它们的大小。事实上，OSCAR与OSCAR密切相关，因此前者的邻近算子可以基于后者的邻近算子有效地计算，从而允许使用邻近分裂算法来解决OSCAR正则化问题。在合成数据和基准乳腺癌数据上的实验表明，该方法是一种具有竞争力的群体稀疏诱导正则化回归和分类。
2014-02-20 cs.CV cs.LG stat.ML
Generalization Error Bounds for Multiclass Sparse Linear Classifiers
Tel Aviv University（特拉维夫大学）
我们考虑高维多类分类稀疏多项式逻辑斯谛回归。与二进制分类不同，在多类设置中，可以考虑与回归系数矩阵上的不同结构假设相关的稀疏度的整个可能概念谱。我们提出了一个计算上可行的特征选择过程的基础上惩罚的最大似然与凸处罚捕获一个特定类型的稀疏在手。特别是，我们认为全球稀疏性，双行稀疏性，低秩稀疏性，并表明，与适当选择的调整参数的派生插件分类器达到最小最大的泛化误差界（误分类过度风险）内相应的类的多类稀疏线性分类器。所开发的方法是通用的，也可以适用于其他类型的稀疏性。
2023-01-15 cs.LG math.ST stat.ME
$L_1$-norm Regularized Indefinite Kernel Logistic Regression
School of Statistics and Data Science, Qufu Normal University（统计与数据科学学院，曲阜师范大学）；Dongfang College, ShanDong University of Finance and Economics（东方学院，山东财经大学）
核逻辑斯谛回归（KLR）是一种功能强大的分类方法，广泛应用于不同的领域。在许多现实世界的场景中，不定核比正定核捕获更多的特定于域的结构信息。提出了一种新的$L_1$ -范数正则化不定核逻辑斯谛回归（RIKLR）模型，该模型通过引入$L_1$ -范数惩罚函数来扩展已有的IKLR框架.这种正则化的引入增强了可解释性和推广性，同时将非光滑性和非凸性引入优化领域。为了解决这些挑战，理论上接地和计算效率的近端线性化算法的开发。在多个基准数据集上的实验结果表明，该方法在准确性和稀疏性方面都具有优异的性能。
2025-10-30 cs.LG stat.ML
Multi-task Learning for Gaussian Graphical Regressions with High Dimensional Covariates
高斯图回归是一种强有力的方法，它可以对协变量的高斯图模型的精度矩阵进行回归，允许响应变量和协变量的数量远远超过样本量。模型拟合通常通过单独的节点式套索回归进行，忽略这些回归中的网络诱导结构。因此，错误率很高，特别是当节点数量很大时。我们提出了一个多任务学习估计拟合高斯图形回归模型，我们设计了一个跨任务组稀疏惩罚和任务内元素稀疏惩罚，分别管理活动协变量的稀疏性及其对图形的影响。对于计算，我们考虑一个有效的增广拉格朗日算法，它解决了子问题的半光滑牛顿法。对于理论，我们证明了基于多任务学习的估计的错误率比单独的节点式套索估计的错误率有很大的改善，因为跨任务惩罚借用了跨任务的信息。为了解决任务纠缠在一个复杂的相关结构的主要挑战，我们建立了一个新的尾部概率界相关的重尾（次指数）变量与任意相关结构，一个有用的理论结果本身。最后，我们的方法的效用是通过模拟以及应用到与脑癌患者的基因共表达网络研究证明。
2022-05-21 stat.ME stat.ML
Gap Safe screening rules for sparsity enforcing penalties
在高维回归设置中，稀疏强制惩罚已被证明有助于正则化数据拟合项。最近引入的一种称为筛选规则的技术建议忽略优化中的一些变量，利用解决方案的预期稀疏性，从而导致更快的求解器。当过程保证不会错误地丢弃变量时，这些规则被称为安全的。在这项工作中，我们提出了一个统一的框架，广义线性模型正则化与标准的稀疏执行处罚，如$\ell_1$或$\ell_1/\ell_2$规范。我们的技术允许安全地丢弃比以前认为的安全规则更多的变量，特别是对于低正则化参数。我们提出的间隙安全规则（所谓的，因为它们依赖于对偶间隙计算）可以应付任何迭代求解器，但特别适合（块）坐标下降方法。应用于许多标准学习任务，Lasso，稀疏组Lasso，多任务Lasso，二进制和多项式逻辑斯谛回归等，我们在所有测试数据集上报告了与先前提出的安全规则相比的显著加速。
2017-12-27 cs.LG math.OC stat.CO
Continuation of Nesterov's Smoothing for Regression with Structured Sparsity in High-Dimensional Neuroimaging
预测模型可用于高维脑图像，以诊断临床状况。通过结构化稀疏性的空间正则化在这种情况下提供了新的视角，并降低了模型过拟合的风险，同时通过强制解决方案遵守特定领域的约束来提供可解释的神经成像签名。总变分（TV）在将预测区域从背景中分割出来的同时，增强了解决方案的空间平滑性。我们考虑最小化光滑凸损失，非光滑凸惩罚（其邻近算子是已知的）和广泛的可能的复杂，非光滑凸结构的处罚，如电视或重叠组拉索的总和的问题。现有的求解器要么是有限的功能，他们可以最小化或在他们的实际能力，以扩展到高维成像数据。Nesterov的平滑技术可以用来最小化大量的非光滑凸结构的惩罚，但合理的精度需要一个小的平滑参数，这减慢了收敛速度。为了受益于Nesterov的平滑技术的多功能性，我们提出了一个一阶连续算法，CONESTA，它自动生成一个序列的平滑参数减少。所生成的序列保持最佳收敛速度朝向任何全局期望的精度。我们的主要贡献是：提出了一种对偶间隙的表达式来探测当前距离全局最优解的距离，以适应平滑参数和收敛速度。我们提供了一个收敛速度，这是一个经典的近端梯度平滑方法的改进。我们在模拟和高维结构神经成像数据上证明，CONESTA在收敛速度和精度方面明显优于许多最先进的求解器。
2018-04-22 stat.ML
Generalized Linear Models with Structured Sparsity Estimators
North Carolina State University（北卡罗来纳州立大学）
本文在广义线性模型中引入结构稀疏估计。Stucky和van de Geer（2018）最近针对固定设计和正态误差引入了最小二乘损失中的结构稀疏估计。我们扩展他们的结果去偏结构稀疏估计与广义线性模型为基础的损失。结构化稀疏估计是指在所选范数中使用可能的稀疏结构的惩罚损失函数。这些包括加权群套索，套索和规范产生的凸锥。最大的困难是不清楚如何证明两个预言不等式。第一个是初始惩罚广义线性模型估计。由于不清楚特定的可行加权逐点回归如何适合惩罚广义线性模型的预言不等式，我们需要第二个预言不等式来获得广义线性模型的二阶偏导数的样本估计的近似逆的预言界。我们的贡献有五个方面：1。通过证明隐含条件而不是假设隐含条件，将已有的预言不等式结果推广到惩罚广义线性模型中。其中一个关键问题是一个样本单点边界条件的证明及其在预言不等式中的应用。2.我们的研究结果甚至覆盖非次高斯误差和回归。3.我们提供了一个可行的加权nodewise回归证明，推广了文献中的结果，从一个简单的l_1范数的使用，从凸锥产生的规范。4.我们认识到，在可行的逐节点回归证明中使用的范数应该弱于或等于惩罚广义线性模型损失中的范数。5.通过求广义线性模型损失的奇异样本二阶偏导数的近似逆，可以消除第一步估计的偏差。
2021-04-29 cs.LG econ.EM stat.ML
Slowly Varying Regression under Sparsity
Sloan School of Management, Massachusetts Institute of Technology（麻省理工学院斯隆管理学院）；HEC Paris（巴黎高等商学院）；Operations Research Center, Massachusetts Institute of Technology（麻省理工学院运筹学中心）；Technology and Operations Management Unit, Harvard Business School（哈佛商学院技术与运营管理系）；McKinsey & Company（麦肯锡公司）
本文提出稀疏缓变回归框架，将参数估计转化为可精确松弛为二元凸优化的混合整数问题，并开发高效算法与启发式方法，实验证明其在精度、预测和时间上优于现有方法，且可扩展至数千参数。
2023-11-11 cs.LG math.OC stat.CO
Decoupling Shrinkage and Selection for the Bayesian Quantile Regression
本文将连续先验的解耦收缩和稀疏性思想推广到贝叶斯分位数回归（BQR）。该过程遵循两个步骤：在第一步中，我们收缩分位数回归后，通过国家的最先进的连续先验和在第二步中，我们稀疏后，通过一个有效的变体的自适应套索，信号自适应变量选择（SAVS）算法。我们提出了一个新的变体的SAVS自动选择的惩罚，通过分位数特定的损失函数，是有效的高维。我们在大规模的模拟表明，我们的选择过程降低了偏见，而不管数据中的真实的潜在稀疏程度，相比非稀疏回归后验。我们将我们的两步方法应用于高维风险增长（GaR）练习。保留非稀疏后验的预测准确性，同时产生可解释的分位数特定变量选择结果。我们的程序可用于向政策制定者传达哪些变量会导致宏观经济下行风险。
2021-07-18 econ.EM stat.ML
GRASP: Grouped Regression with Adaptive Shrinkage Priors
Department of Data Science and AI, Monash University（墨尔本大学数据科学与人工智能系）；Department for Information Systems, University of Haifa（海法大学信息系）
GRASP提出基于NBP先验的简单贝叶斯分组回归框架，直接控制尾部实现自适应稀疏性，并量化组内收缩相关性，实证显示鲁棒性。
2025-06-22 cs.LG stat.ME stat.ML
Sparse Quantile Huber Regression for Efficient and Robust Estimation
我们考虑新的配方和稀疏分位数回归在高维设置的方法。分位数回归在许多应用中起着重要作用，包括基因选择中的异常值稳健探索性分析。此外，考虑到分位数回归中的稀疏性，在给定预测变量的情况下，可以探索响应变量的整个条件分布，因此可以更全面地了解重要的预测变量。我们提出了一个广义的OMP算法的变量选择，以失配损失是传统的分位数损失或光滑的版本，我们称之为分位数Huber，并比较所得的贪婪方法与凸稀疏正则化的配方。我们应用最近提出的内点方法来有效地解决所有凸公式以及凸子问题的广义OMP设置，提供- vide一致估计的理论保证，并证明我们的方法使用模拟和基因组数据集的实证研究的性能。
2014-02-19 cs.DS math.OC stat.ME
Testability of high-dimensional linear models with non-sparse structures
近年来，在可能非稀疏的高维模型下理解统计推断得到了广泛的关注。对于一个给定的回归系数的组成部分，我们表明，问题的难度取决于相应行的协变量的精度矩阵的稀疏性，而不是回归系数的稀疏性。我们开发了统一的和基本上统一的不可测试性的新概念，允许在广泛的替代品的测试的局限性的研究。一致不可测性确定了一个备选方案的集合，使得任何检验对该组中任何备选方案的功效渐近至多等于标称大小。新的建设的影响，包括新的极大极小可测性的结果，在目前的结果形成鲜明对比，不依赖于稀疏的回归参数。我们确定了新的可测试性和功能相关性之间的权衡。特别是，我们表明，在弱特征相关性的模型中，极大极小下界可以通过测试，其功率具有$\sqrt{n}$率，而不管模型稀疏性的大小。
2019-11-25 math.ST stat.ME stat.ML
Taking Advantage of Sparsity in Multi-Task Learning
本文研究了多元线性回归方程的估计问题，它既可用于预测，又可用于变量选择。根据最近关于多任务学习的工作Argyriou et al. [2008]，我们假设回归向量共享相同的稀疏模式。这意味着相关预测变量的集合在不同的方程中是相同的。这一假设使我们考虑将Group Lasso作为候选估计方法。我们证明了该估计具有良好的稀疏性预言不等式和变量选择性质。结果在设计矩阵上的特定限制特征值条件和相干条件下成立，这自然扩展了Bickel等人[2007]，Lounici [2008]的近期工作。特别是，在多任务学习场景中，任务的数量可以增长，我们能够完全消除边界中预测变量数量的影响。最后，我们展示了如何将我们的结果扩展到更一般的噪声分布，我们只需要方差是有限的。
2009-03-09 math.ST stat.ML stat.TH
Adaptive posterior concentration rates for sparse high-dimensional linear regression with random design and unknown error variance
本文研究了随机设计与未知误差方差下的稀疏高维线性回归，证明了后验集中速率对未知稀疏度的自适应能力，并利用 fractional posterior 和 oracle inequalities 将分析扩展至模型误设情况。
2024-05-29 math.ST stat.ML stat.TH
ReFACTor: Practical Low-Rank Matrix Estimation Under Column-Sparsity
数据分析和统计遗传学中的各种问题都要求从噪声观测中恢复列稀疏的低秩矩阵。我们提出了ReFACTor，经典的截断奇异值分解（TSVD）算法的一个简单的变化。在以前的稀疏主成分分析（PCA）算法相比，我们的算法可以证明揭示一个低秩信号矩阵更好，往往显着优于，比广泛使用的TSVD，使之成为选择的算法列稀疏性被怀疑。从经验上讲，我们观察到，即使底层信号不稀疏，ReFACTor也始终优于TSVD，这表明使用ReFACTor而不是TSVD和PCA通常是安全的。该算法实现非常简单，其运行时间由PCA的运行时间决定，使其与标准主成分分析一样实用。
2017-05-22 stat.ML
Matroid Regression
Freie Universität Berlin（柏林自由大学）
我们提出了一种代数组合方法求解大型稀疏线性系方程局部-也就是说，一种方法，它可以计算单个评估的信号，而不计算整个信号。该方法只在稀疏的系统，而不是在其大小的规模，并允许提供任何解决方案的方法的误差估计。在我们的方法的核心是所谓的回归拟阵，与稀疏模式，它允许取代大矩阵的逆与核矩阵的逆是恒定的大小相关联的组合对象。我们表明，我们的方法提供了最好的线性无偏估计（BLUE）的设置和高斯噪声假设下的最小方差无偏估计（MVUE），此外，我们表明，要反转的核矩阵的大小可以与准确性进行权衡。
2014-03-04 cs.DM cs.LG math.ST
Structured Sparse Regression via Greedy Hard-Thresholding
Microsoft Research（微软研究院）；Technicolor R & I（汤姆逊研发中心）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
一些学习应用程序需要解决高维回归问题，其中相关特征属于少量（重叠）组。对于非常大的数据集和标准稀疏性约束下，硬阈值方法已被证明是非常有效的，但这种方法需要NP硬投影时，处理重叠的群体。在本文中，我们表明，这种NP难预测不仅可以避免呼吁子模块优化，但这样的方法来与强有力的理论保证，即使在存在条件不佳的数据（即当两个功能有相关性$\geq 0.99$），现有的分析无法处理。这些方法表现出一个有趣的计算精度的权衡，并可以扩展到显着困难的问题，如稀疏重叠组。真实和合成数据上的实验验证了我们的主张，并表明所提出的方法比其他贪婪和凸松弛技术学习组结构稀疏的速度快几个数量级。
2016-05-27 cs.LG stat.ML
Linear Inverse Problems with Norm and Sparsity Constraints
我们描述了两个非传统的线性回归算法，称为GAME和CLASH。这些方法的突出特点是，他们利用凸$\ell_1$ -球和非凸$\ell_0$ -稀疏约束稀疏恢复联合。为了建立GAME和CLASH的理论近似保证，我们涵盖了从博弈论、凸优化和组合优化等一系列有趣的主题。我们说明，这些方法导致改进的理论保证和经验性能超越凸和非凸求解器。
2015-07-20 cs.IT math.IT math.OC
Local Region Sparse Learning for Image-on-Scalar Regression
Purdue University（普渡大学）；University of Alberta（阿尔伯塔大学）；MD Anderson Cancer Center（MD安德森癌症中心）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
识别与某些疾病相关的感兴趣区域（ROI）对公共卫生有很大的影响。同时对像素值施加稀疏性和提取活动区域极大地使图像分析复杂化。我们通过在图像-标量回归的框架中引入一种新的区域选择惩罚来解决这些挑战。我们的惩罚将平滑裁剪绝对偏差（SCAD）正则化（强制稀疏）和全变差（TV）正则化的SCAD（强制空间连续）结合到一个组中，该组将连续的空间区域分割为零值背景。该算法基于交替方向乘子法（ADMM），将非凸优化问题分解为两个具有显式解的迭代优化问题。所提出的方法的另一个优点是开发了分治学习算法，从而允许缩放到大图像。几个例子，并与其他国家的最先进的方法的实验结果进行了比较。
2016-05-27 cs.LG stat.ML
Efficient Smoothed Concomitant Lasso Estimation for High Dimensional Regression
LTCI, CNRS, Télécom ParisTech, Université Paris-Saclay（巴黎萨克雷大学 法国国家科学研究中心 巴黎高科电信学院 LTCI实验室）；Université Paris-Est, Cermics (ENPC)（巴黎东大学 国立路桥学校应用数学与科学计算研究中心）
在高维环境中，稀疏结构对于效率至关重要，无论是在存储器，计算还是性能方面。通常考虑$\ell_1$惩罚以在这种情况下实施稀疏性。稀疏强制方法，Lasso是一个典型的例子，是解决高维问题的热门候选人。为了提高效率，他们依赖于调整参数交易数据拟合与稀疏。对于Lasso理论来说，这个调谐参数应该与噪声电平成比例，但后者在实践中通常是未知的。一种可能的补救措施是联合优化回归参数以及噪声水平。这在文献中被认为有几个名称：例如Scaled-Lasso，Square-root Lasso，Concurrently Lasso estimation，并且可能对置信集或不确定性量化感兴趣。在这项工作中，说明了平滑伴随套索公式的数值困难后，我们提出了一个修改，我们创造了平滑伴随套索，旨在增加数值稳定性。我们提出了一个高效和准确的求解器，导致计算成本不超过一个套索膨胀。我们利用快速Lasso解算器成功背后的标准成分：坐标下降算法，结合安全筛选规则，通过消除早期不相关的特征来实现速度效率。
2016-06-08 cs.LG math.OC stat.ML
Bivariate Matrix-valued Linear Regression (BMLR): Finite-sample performance under Identifiability and Sparsity Assumptions
Cornell University（康奈尔大学）；Capital Fund Management（资本基金管理公司）
本文提出双变量矩阵值线性回归模型，通过显式优化免费估计器在可识别性和稀疏性假设下实现参数高效估计，并通过实验验证其在有限样本下的性能。
2025-12-04 math.ST stat.ML stat.TH
Nonconvex sparse regularization for deep neural networks and its optimality
University of Notre Dame（圣母大学）；Seoul National University（首尔国立大学）
最近的理论研究证明，通过在一定稀疏性约束下最小化经验风险获得的深度神经网络（DNN）估计量可以获得回归和分类问题的最佳收敛速度。然而，稀疏性约束要求知道真实模型的某些属性，这在实践中是不可用的。此外，由于稀疏约束的离散性质，计算是困难的。在本文中，我们提出了一种新的惩罚估计方法稀疏DNN，解决了上述问题存在的稀疏性约束。我们建立了一个预言不等式的建议稀疏惩罚DNN估计的超额风险，并推导出几个学习任务的收敛速度。特别是，我们证明了稀疏惩罚估计可以自适应地获得各种非参数回归问题的极小极大收敛速度。对于计算，我们开发了一个有效的基于梯度的优化算法，保证单调减少的目标函数。
2021-08-09 cs.LG math.ST stat.ML
Hierarchical Compound Poisson Factorization
Princeton University（普林斯顿大学）
基于分层Gamma-Poisson结构的非负矩阵分解模型在极稀疏的数据集中有效地捕获用户和项目行为，使其成为协同过滤应用程序的理想选择。特别是层次泊松分解（HPF）已被证明是成功的可扩展的推荐系统与极端稀疏。然而，HPF遭受稀疏模型（没有评级）和响应模型（评级的值）的紧密耦合，这限制了后者的表达能力。在这里，我们介绍了分层复合泊松分解（HCPF），具有良好的伽玛泊松结构和HPF的可扩展性，高维极稀疏矩阵。更重要的是，HCPF将稀疏模型从响应模型中分离出来，使我们能够为响应选择最合适的分布。HCPF可以捕获二元、非负离散、非负连续和零膨胀连续响应。我们比较了HCPF与HPF在9个离散数据集和3个连续数据集上的表现，并得出结论，HCPF比HPF更好地捕捉了稀疏性和响应之间的关系。
2016-05-26 cs.AI cs.LG stat.ML
Chi-square and normal inference in high-dimensional multi-task regression
在$B^*$的行稀疏假设下，针对具有$p$协变量、$T$任务和$n$观测值的多任务线性模型，提出了大小为$p\times T$的未知系数矩阵$B^*$的卡方和正态推断方法.允许行稀疏度$s$、维度$p$和任务数$T$随$n$增长。在高维区域$p\ggg n$中，为了利用行稀疏性，考虑MT Lasso。我们建立在MT Lasso的基础上，采用去偏置方案来校正由惩罚引起的偏置。该方案需要引入一个新的数据驱动对象，称为交互矩阵，它可以捕获不同任务中噪声向量和残差之间的有效相关性。这个矩阵是psd，大小为$T\times T$，可以有效地计算。交互作用矩阵使我们能够在高斯设计和对应于Frobenius范数一致性的$\frac{sT+s\log(p/s)}{n}\to0$下导出渐近正态和$χ^2_T$结果。对于已知和未知设计协方差$Σ$，这些渐近分布结果生成$B^*$单个条目的有效置信区间和$B^*$单行的有效置信椭圆。虽然以前的建议在分组变量回归要求行稀疏$s\lesssim\sqrt n$常数取决于$T$和对数因子$n,p$，去偏置方案使用的交互矩阵提供了置信区间和$χ^2_T$置信椭圆的条件下${\min(T^2,\log^8p)}/{n}\to 0$和$$ \frac{sT+s\log(p/s)+\|Σ^{-1}e_j\|_0\log p}{n}\to0, \quad \frac{\…
2021-07-16 math.ST stat.ML stat.TH
T-LoHo: A Bayesian Regularization Model for Structured Sparsity and Smoothness on Graphs
图形通常用于表示复杂的数据结构。在处理图结构数据的模型中，多变量参数可能不仅表现出稀疏模式，而且在零和非零参数都倾向于聚集在一起的意义上具有结构稀疏性和平滑性。我们提出了一个新的先验的高维参数与图形关系，被称为基于树的低秩马蹄（T-LoHo）模型，推广流行的单变量贝叶斯马蹄收缩之前的多变量设置，同时检测结构稀疏性和光滑性。T-LoHo先验可以嵌入到许多高维分层模型中。为了说明它的效用，我们将其应用到正则化贝叶斯高维回归问题，其中的回归系数由一个图连接，使得到的集群具有灵活的形状，并满足集群邻接约束相对于图。我们设计了一个有效的马尔可夫链蒙特卡罗算法，提供完整的贝叶斯推断与模型参数的不确定性措施，如集群的数量。我们提供了理论研究的聚类效应和后验浓度的结果。最后，我们说明了该模型的性能与模拟研究和道路网络上的异常检测的实际数据应用。结果表明，与其他竞争方法（如稀疏融合套索）相比，有了很大的改进。
2021-10-27 stat.ME stat.ML
Backhaul-Constrained Multi-Cell Cooperation Leveraging Sparsity and Spectral Clustering
研究了蜂窝上行链路中回程业务受限的多小区协作处理问题。针对减少回程开销，稀疏正则化的多小区接收滤波器的设计问题。无论是非结构化的分布式合作，以及集群合作，其中基站组形成紧密合作，被认为是。动态分簇协作，稀疏均衡器和协作簇是共同确定的，通过交替最小化的谱聚类和组稀疏回归的基础上解决。此外，分散实现的非结构化和集群合作计划的可扩展性，鲁棒性和计算效率。大量的数值试验验证了所提出的方法的有效性。
2015-10-14 cs.IT cs.NI math.IT
Greedy Sparsity-Constrained Optimization
Carnegie Mellon University（卡内基梅隆大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
提出一种贪婪算法GraSP，用于近似任意形式代价函数的稀疏最小值，并在代价函数满足稳定受限Hessian或稳定受限线性化时保证收敛到真稀疏最优解的有界距离内。
2013-01-06 cs.NA math.NA math.OC
Information Theoretic Limits for Linear Prediction with Graph-Structured Sparsity
Krannert School of Management（克兰纳特管理学院）；Purdue University（普渡大学）；Department of Computer Science（计算机科学系）
我们分析了在有噪线性预测设置中进行稀疏向量恢复所需的样本数量。该模型包括线性回归和分类等问题。我们专注于结构化图模型。特别地，我们证明了Hegde等人提出的加权图模型的足够数量的样本也是必要的。我们使用的Fano的不平等，以及构造合奏作为我们的主要工具，在建立信息论的下限。
2017-05-06 cs.IT cs.LG math.IT
Total Least Squares Regression in Input Sparsity Time
Northeast Normal University（东北师范大学）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
在总最小二乘问题中，给出一个$m \times n$矩阵$A$和一个$m \times d$矩阵$B$，并试图“校正”$A$和$B$，获得矩阵$\hat{A}$和$\hat{B}$，从而存在满足等式$\hat{A}X = \hat{B}$的$X$。通常情况下，问题是过约束的，这意味着$m \gg \max(n,d)$。解决方案$\hat{A}, \hat{B}$的成本由$\|A-\hat{A}\|_F^2 + \|B - \hat{B}\|_F^2$给出。我们给出了一个算法来寻找一个解决方案$X$的线性系统$\hat{A}X=\hat{B}$的成本$\|A-\hat{A}\|_F^2 + \|B-\hat{B}\|_F^2$最多是一个乘法$(1+ε)$的因素倍的最佳成本，添加剂的错误$η$，可能是一个任意小的功能$n$。重要的是，我们的运行时间是$\tilde{O}( \mathrm{nnz}(A) + \mathrm{nnz}(B) ) + \mathrm{poly}(n/ε) \cdot d$，其中对于矩阵$C$，$\mathrm{nnz}(C)$表示其非零条目的数量。重要的是，我们的运行时间并不直接依赖于大参数$m$。由于已知总最小二乘回归可通过低秩近似求解，因此自然的方法是调用用于近似低秩近似的快速算法，从该低秩近似获得矩阵$\hat{A}$和$\hat{B}$，然后求解$…
2019-09-27 cs.DS cs.LG stat.ML
Scaling Up Differentially Private LASSO Regularized Logistic Regression via Faster Frank-Wolfe Iterations
Booz Allen Hamilton（博兹艾伦汉密尔顿公司）
本文针对稀疏输入数据上的差分隐私回归训练问题，提出一种能感知稀疏性的 Frank-Wolfe 算法，显著降低 LASSO 正则化逻辑回归的训练时间，最高可加速 2200 倍。
2023-10-30 cs.LG stat.CO stat.ML
