Structured Sparsity via Alternating Direction Methods
Columbia University（哥伦比亚大学）
我们考虑一类稀疏学习问题，在高维特征空间正则化的结构稀疏诱导规范，其中包括先验知识的组结构的功能。由于正则化项的非光滑性和不可分离性，这类问题常常对优化算法提出相当大的挑战。在本文中，我们专注于两个常用的稀疏诱导正则化项，重叠组Lasso惩罚$l_1/l_2$ -范数和$l_1/l_\infty$ -范数。我们提出了一个统一的框架，基于增广拉格朗日方法，在此框架下，这两种类型的正则化及其变体的问题可以有效地解决。作为该框架的核心构建块，我们开发了新的算法，使用交替的部分线性化/分裂技术，我们证明了这些算法的加速版本需要$O(\frac{1}{\sqrtε})$迭代，以获得$ε$ -最优解。为了证明我们的算法的效率和相关性，我们在一组数据集上进行了测试，并将其应用于两个现实问题，以比较两种规范的相对优点。
2011-12-15 cs.AI math.OC stat.ML
Low-Rank Inducing Norms with Optimality Interpretations
Cambridge University（剑桥大学）；Lund University（隆德大学）
具有秩约束的最优化问题出现在诸如控制、机器学习和图像分析等许多不同的领域中。由于秩约束是非凸的，这些问题通常通过凸松弛近似求解。核范数正则化是处理这类问题的流行的凸化技术。本文引入一族低秩诱导范数和正则化子，其中包括核范数作为特例。给出了求解秩约束最优化问题的后验保证。我们评估了三个矩阵完成问题的低秩诱导范数的性能。在所有的例子中，核范数启发式优于基于其他低秩诱导范数的凸松弛。对于其中两个问题，存在低秩诱导范数，成功地恢复部分未知矩阵，而核范数失败。这些低秩诱导规范被证明是可表示为半定程序。此外，这些范数具有廉价的可计算的邻近映射，这使得使用一阶方法也可以解决大规模的问题。
2018-06-11 cs.LG math.OC stat.ML
Sparsity by Worst-Case Penalties
本文提出了一种新的解释稀疏处罚，如弹性网和组套索。除了提供一个新的观点，这些惩罚计划，我们的方法在一个统一的优化策略的结果。我们的实验表明，这种策略，弹性网络上实施，是计算上非常有效的中小型问题。我们的配套软件可以非常准确地解决问题，达到机器精度，并且能够在所需的时间内通过竞争最先进的算法获得粗略估计。我们在真实和人工数据集上说明，这种准确性是解决方案支持的正确性所必需的，这是稀疏诱导惩罚的可解释性的重要因素。
2017-07-19 stat.CO stat.ML
Tight Performance Bounds for Compressed Sensing With Conventional and Group Sparsity
本文研究了从少量线性观测值中恢复一组稀疏向量的问题。在过去，常用的方法是使用各种“群体稀疏诱导”规范，如群体LASSO规范。通过使用凸松弛理论，我们表明，它也可以使用$\ell_1$ -范数最小化组稀疏恢复。我们引入了一个新的概念，称为组鲁棒零空间属性（GRNSP），并表明，在适当的条件下，一个组版本的限制等距属性（GRIP）意味着GRNSP，从而导致组稀疏恢复。当所有群的大小相等时，我们的界比已知的界保守性小。此外，我们的研究结果甚至适用于群体规模不同的情况。当专门为传统的稀疏性，我们的界限减少到一个众所周知的“最好的”稀疏恢复的条件。GRNSP和GRIP之间的这种关系是新的，即使是传统的稀疏性，并大大简化了一些已知结果的证明。使用这种关系，我们推导出的$\ell_p$ -范数的残差向量的所有$p \in [1,2]$，而不仅仅是当$p = 2$。当测量矩阵由一个亚高斯随机变量的随机样本组成时，我们给出了测量数的界，它比目前已知的界保守。
2018-07-28 stat.ML
Error Bounds for Compressed Sensing Algorithms With Group Sparsity: A Unified Approach
在压缩感知中，为了从可能有噪声的测量中恢复稀疏或近似稀疏的向量，最流行的方法是$\ell_1$ -范数最小化。[1]中给出了真实向量和估计向量之间误差的$\ell_2$范数的上界，[2]中进行了回顾，而[3]中给出了$\ell_1$范数的界。当未知向量不是常规稀疏而是“组稀疏”时，在文献中已经提出了$\ell_1$ -范数的各种替代方案，包括组LASSO、稀疏组LASSO和具有树结构重叠组的组LASSO。然而，这些修改后的目标函数中的任何一个都没有误差界限。本文基于可分解范数和$γ$ -可分解范数的概念，给出了一种统一的方法来推导真向量与其逼近之间的误差上界。给出的边界覆盖了上面提到的所有规范，也为将来选择规范以适应稀疏性的替代形式提供了指导。
2015-12-29 stat.ML
DeepHoyer: Learning Sparser Neural Network with Differentiable Scale-Invariant Sparsity Measures
Duke University（杜克大学）
在寻求稀疏和有效的神经网络模型，许多以前的工作研究强制执行L1或L0正则化，以鼓励在训练过程中的权重稀疏。L0正则化器直接测量参数稀疏性，并且对参数值的缩放是不变的，但它不能提供有用的梯度，因此需要复杂的优化技术。L1正则化子几乎处处可微，并且可以很容易地用梯度下降进行优化。然而，它不是尺度不变的，导致所有参数的收缩率相同，这在增加稀疏性方面是低效的。受传统压缩感知问题中使用的Hoyer测度（L1和L2范数之间的比值）的启发，我们提出了DeepHoyer，这是一组稀疏诱导正则化器，几乎处处可微，并且具有尺度不变性。我们的实验表明，在相同的精度水平下，强制执行DeepHoyer正则化器可以产生比以前的作品更稀疏的神经网络模型。我们还表明，DeepHoyer可以应用于元素和结构修剪。
2020-01-19 cs.LG stat.ML
Kinetic Energy Plus Penalty Functions for Sparse Estimation
本文提出并研究了一类稀疏诱导罚函数。由于罚函数与狭义相对论中的动能有关，我们称之为\emph{kinetic energy plus}（KEP）函数。我们利用$χ^2$ -距离函数的凹共轭构造了KEP函数，并提出了利用$q=1$构造KEP函数的一些新的见解.特别地，我们推导了一个基于KEP函数的阈值算子，并证明了它的数学性质和在稀疏建模中的渐近性质。此外，我们表明，坐标下降算法是特别适合的KEP功能。此外，我们还讨论了KEP与罚函数$\ell_{1/2}$和MCP之间的关系。理论和实证分析验证了KEP函数在高维数据建模中的有效性和高效性。
2014-07-06 stat.ML
Group Sparse Additive Models
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）
我们考虑非参数加性模型中稀疏变量的选择问题，利用协变量之间结构的先验知识来鼓励一组变量中的那些变量被联合选择。以前的工作要么研究参数设置中的组稀疏性（例如，GroupLasso），或者在不利用结构信息的情况下解决非参数设置中的问题（例如，稀疏加性模型）。在本文中，我们提出了一种新的方法，称为组稀疏加性模型（GroupSpAM），它可以处理组稀疏加性模型。我们将l1/l2范数推广到Hilbert空间作为GroupSpAM中的稀疏诱导惩罚。此外，我们推导出一个新的阈值条件，以确定在组水平的功能稀疏，并提出了一个有效的块坐标下降算法来构建的估计。我们通过模拟证明，GroupSpAM在支持恢复和预测准确性方面大大优于竞争方法，并在真实的乳腺癌数据集上进行了比较实验。
2012-06-18 cs.LG stat.ML
Smoothing Proximal Gradient Method for General Structured Sparse Learning
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）；Tepper School of Business, Carnegie Mellon University（卡内基梅隆大学泰珀商学院）
我们研究的问题，学习高维回归模型正则化的结构稀疏诱导惩罚编码的输入或输出侧的先验结构信息。我们考虑两种广泛采用的惩罚类型作为我们的激励示例：1）基于l1/l2混合范数惩罚的重叠组套索惩罚，以及2）图引导融合惩罚。对于这两种类型的惩罚，由于其不可分离性，开发一个有效的优化方法仍然是一个具有挑战性的问题。在本文中，我们提出了一个通用的优化方法，称为平滑邻近梯度方法，它可以解决结构稀疏回归问题的光滑凸损失和广泛的结构稀疏诱导惩罚。我们的方法是基于Nesterov的一般平滑技术。它实现了比标准的一阶方法，次梯度方法更快的收敛速度，并且比最广泛使用的邻域点方法更具可扩展性。数值结果表明，所提出的方法的效率和可扩展性。
2012-02-14 cs.LG stat.ML
Convex Fused Lasso Denoising with Non-Convex Regularization and its use for Pulse Detection
我们提出了一个凸公式的融合套索信号逼近问题的非凸罚函数。融合套索信号模型的目的是从噪声观测中估计稀疏的分段常数信号。最初，$\ell_1$范数被用作融合套索信号近似问题的稀疏诱导凸罚函数。然而，$\ell_1$范数低估了信号值。非凸稀疏诱导罚函数更好地估计信号值。在本文中，我们展示了如何确保凸的融合套索信号逼近问题的非凸罚函数。我们进一步推导出一个计算效率高的算法，使用优化最小化技术。我们应用建议的融合套索方法检测脉冲。
2015-12-07 math.OC math.ST stat.TH
Linear Inverse Problems with Norm and Sparsity Constraints
我们描述了两个非传统的线性回归算法，称为GAME和CLASH。这些方法的突出特点是，他们利用凸$\ell_1$ -球和非凸$\ell_0$ -稀疏约束稀疏恢复联合。为了建立GAME和CLASH的理论近似保证，我们涵盖了从博弈论、凸优化和组合优化等一系列有趣的主题。我们说明，这些方法导致改进的理论保证和经验性能超越凸和非凸求解器。
2015-07-20 cs.IT math.IT math.OC
Structured sparsity through convex optimization
INRIA（法国国家信息与自动化研究所）；University of California, Berkeley（加州大学伯克利分校）
稀疏估计方法旨在使用或获得数据或模型的简约表示。虽然自然地转换为组合优化问题，但变量或特征选择通过$\ell_1$ -范数的正则化允许凸松弛。在本文中，我们考虑的情况下，我们不仅感兴趣的稀疏性，但一些结构先验知识是可用的。我们表明，$\ell_1$规范，然后可以扩展到结构化的规范建立在不相交或重叠的变量组，导致一个灵活的框架，可以处理各种结构。我们目前的应用程序无监督学习，结构稀疏主成分分析和层次字典学习，并在非线性变量选择的背景下，监督学习。
2012-04-20 cs.LG stat.ML
A phase transition for finding needles in nonlinear haystacks with LASSO artificial neural networks
Shandong University（山东大学）；University of Geneva（日内瓦大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
为了拟合稀疏线性关联，具有单个超参数的LASSO稀疏诱导惩罚可证明地允许在某些制度中以高概率恢复重要特征（针），即使样本量小于输入向量（干草堆）的维度。最近，被称为人工神经网络（ANN）的学习器在许多机器学习任务中取得了巨大成功，特别是拟合非线性关联。小学习率、随机梯度下降算法和大训练集有助于应对深度神经网络中参数数量的爆炸。然而，很少有人工神经网络学习器被开发和研究，以在非线性干草堆中找到针。由一个单一的超参数驱动，我们的ANN学习器，像稀疏的线性关联，表现出一个相变的概率检索针，我们没有观察到与其他ANN学习器。为了选择我们的惩罚参数，我们推广了Donoho和Johnstone（1994）的通用阈值，这是一个比保守（太多的错误检测）和昂贵的交叉验证更好的规则。基于模拟退火的思想，我们提出了一种热启动稀疏诱导算法来解决高维、非凸、不可微的优化问题。我们进行精确的蒙特卡罗模拟，以显示我们的方法的有效性。
2022-01-21 cs.LG stat.ML
C-HiLasso: A Collaborative Hierarchical Sparse Modeling Framework
University of Minnesota（明尼苏达大学）；Technion（以色列理工学院）
稀疏建模是一个强大的数据分析和处理框架。传统上，通过求解L1正则化线性回归问题（通常称为Lasso或Basis Pursuit）来执行该框架中的编码。在这项工作中，我们结合了稀疏诱导属性的套索模型在个别功能水平，与块稀疏属性的组套索模型，稀疏组的功能进行联合编码，获得稀疏模式层次结构。这就产生了层次套索（HiLasso），它显示了重要的实际建模优势。然后，我们将这种方法扩展到协作的情况下，一组同时编码的信号在较高的（组）水平上共享相同的稀疏模式，但不一定在较低的（组内）水平，获得协作HiLasso模型（C-HiLasso）。这样的信号然后共享相同的活动组或类，但不一定是相同的活动集。该模型非常适合于源识别和分离等应用。一个有效的优化过程，保证收敛到全局最优，开发这些新的模型。新的框架和优化方法的基本介绍是补充与实验的例子和理论结果的恢复保证所提出的模型。
2011-03-04 cs.CV stat.ML
The Trimmed Lasso: Sparsity and Robustness
线性回归稀疏建模的非凸罚方法是近年来研究的热点。在这里，我们研究了一个家庭的非凸罚函数，我们称之为修剪套索，并提供了精确的控制所需的稀疏估计水平。我们分析了它的结构性质，并在这样做表明：1）绘制之间的相似性鲁棒统计和鲁棒优化，我们表明，修剪Lasso正则化最小二乘问题可以被看作是一个广义形式的总最小二乘在一个特定的模型的不确定性。相比之下，通过鲁棒优化透镜观察的相同的不确定性模型导致凸SLOPE（或OWL）惩罚。2)此外，在有关修剪的套索常用的稀疏诱导罚函数，我们提供了一个简洁的特征之间的连接修剪的Lasso样的方法和罚函数是坐标方式可分离的，表明修剪的处罚suburbs现有的坐标方式可分离的处罚，严格的遏制一般。3)最后，我们描述了各种精确和启发式算法，现有的和新的，修剪Lasso正则化估计问题。我们包括不同的方法和相应的算法实现之间的比较。
2017-08-15 math.OC math.ST stat.CO
Sparsity-Inducing Categorical Prior Improves Robustness of the Information Bottleneck
Michigan State University（密歇根州立大学）；Argonne National Laboratory（阿贡国家实验室）；Google Research（谷歌研究院）
信息瓶颈框架提供了一种系统的方法来学习表示，压缩输入中的滋扰信息，并提取有关预测的语义上有意义的信息。然而，选择固定所有数据的维度的先验分布会限制这种方法用于学习鲁棒表示的灵活性。我们提出了一种新的稀疏诱导穗板分类先验，使用稀疏性作为一种机制，以提供灵活性，允许每个数据点学习自己的维度分布。此外，它提供了一种机制，用于学习潜在变量和稀疏度的联合分布，因此可以考虑潜在空间中的完全不确定性。通过在MNIST、CIFAR-10和ImageNet数据上使用分布内和分布外学习场景进行的一系列实验，我们表明，与传统的固定维先验以及文献中提出的潜变量模型的其他稀疏诱导机制相比，所提出的方法提高了准确性和鲁棒性。
2022-10-28 cs.LG stat.ME stat.ML
Regularization vs. Relaxation: A conic optimization perspective of statistical variable selection
Department of Mathematics, Washington State University（数学系，华盛顿州立大学）；Department of Statistics, University of Connecticut（统计系，康涅狄格大学）；Department of Industrial and Systems Engineering, University of Wisconsin-Madison（工业与系统工程系，威斯康星大学麦迪逊分校）
本文从锥优化视角探讨变量选择问题，证明MCP和反Huber惩罚函数可视为视角松弛的特例，并通过半定松弛解决，结合Goemans-Williamson方法获得近似解。
2015-10-20 cs.LG cs.NA math.NA
A first-order optimization algorithm for statistical learning with hierarchical sparsity structure
在许多统计学习问题中，期望最优解符合由有向无圈图表示的先验已知稀疏结构。通过凸正则化子来诱导这样的结构需要利用组重叠的非光滑罚函数。我们的研究重点是评价Jacob等人（2009）开发的潜在重叠组套索的近端操作符。我们实现了一个乘法器的交替方向法与共享计划，以解决大规模的基础最优化问题的情况下有效地。在不存在强凸性的情况下，利用误差界理论证明了算法的全局线性收敛性。更具体地说，当目标函数中的非光滑部分不具有多面体epigraph时，本文有助于建立原始和对偶误差界。我们还研究了图的结构对算法收敛速度的影响。详细的数值模拟研究不同的图形结构支持所提出的算法和两个应用程序中的学习。
2020-10-18 math.OC stat.CO
Tree-guided group lasso for multi-response regression with structured sparsity, with an application to eQTL mapping
我们考虑的问题估计稀疏的多响应回归函数，与应用表达数量性状位点（eQTL）定位，其目标是发现影响基因表达水平的遗传变异。特别是，我们调查的收缩技术能够捕捉到一个给定的层次结构的响应，如层次聚类树与叶节点的响应和内部节点的集群相关的响应在多个粒度，我们试图利用这种结构来恢复协变量相关的每个层次定义的集群的响应。我们提出了一个树引导组套索，或树套索，估计多响应回归下，采用一种新的惩罚函数从树构造的结构稀疏。我们描述了一个系统的加权方案，重叠的组中的树罚，使每个回归系数被惩罚在一个平衡的方式，尽管不均匀的多重性的组成员的回归系数，由于组之间的重叠。为了有效的优化，我们采用了一个平滑的近端梯度方法，最初开发的一般类的结构稀疏诱导处罚。使用模拟和酵母数据集，我们证明了我们的方法在预测误差和恢复真实稀疏模式方面表现出优越的性能，与其他学习多变量响应回归的方法相比。
2012-09-28 q-bio.GN q-bio.QM stat.AP
Smoothing proximal gradient method for general structured sparse regression
Carnegie Mellon University（卡内基梅隆大学）
我们研究的问题估计高维回归模型正则化的结构化稀疏诱导惩罚编码的输入或输出变量的先验结构信息。我们考虑两种广泛采用的这类惩罚作为激励的例子：（1）一般的群套索惩罚，从群套索惩罚推广;（2）图引导的融合套索惩罚，从融合套索惩罚推广。对于这两种类型的惩罚，由于其不可分离性和非光滑性，开发一个有效的优化方法仍然是一个具有挑战性的问题。在本文中，我们提出了一种通用的优化方法，平滑邻近梯度（SPG）方法，它可以解决结构稀疏回归问题的任何光滑凸损失下的结构稀疏诱导罚款的广泛频谱。我们的方法结合了一个有效的近端梯度方法的平滑技术。它的收敛速度明显快于标准的一阶方法，次梯度方法，并且比最广泛使用的邻域点方法更具可扩展性。我们的方法的效率和可扩展性的模拟实验和真实的遗传数据集上证明。
2012-06-29 cs.LG math.OC stat.AP
Differentially Private Empirical Risk Minimization with Sparsity-Inducing Norms
Imperial College London（帝国理工学院）
差分隐私关注的是预测质量，同时衡量隐私对个人的信息包含在数据中的影响。我们考虑差分私人风险最小化问题的正则化诱导结构稀疏。已知这些正则化子是凸的，但它们通常是不可微的。分析了标准的差分隐私算法，如输出扰动、Frank-Wolfe和目标扰动。输出扰动是一种差分私有算法，已知其在最小化强凸风险方面表现良好。以前的作品已经推导出的额外的风险界限是独立的维度。在本文中，我们假设了一类特殊的凸但非光滑的正则化，诱导结构稀疏性和损失函数的广义线性模型。我们还考虑差分私人Frank-Wolfe算法来优化风险最小化问题的对偶。我们推导出这两种算法的超额风险界限。这两个界都依赖于对偶范数的单位球的高斯宽度。我们还证明了风险最小化问题的目标扰动等价于对偶优化问题的输出扰动。这是第一个工作，分析了双重优化问题的风险最小化问题的背景下，差分隐私。
2019-05-13 cs.LG stat.ML
Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks
Stanford University（斯坦福大学）
本文研究并行 ReLU 网络的训练问题，提出路径正则化以揭示隐藏凸性并诱导群稀疏，同时给出全多项式时间近似算法及全局最优性保证。
2023-09-26 cs.AI cs.LG stat.ML
Sparse within Sparse Gaussian Processes using Neighbor Information
Eurecom（欧洲通信学院）；National University of Singapore（新加坡国立大学）
基于诱导变量的高斯过程近似与变分推断技术相结合，使得最先进的稀疏方法能够通过基于小批量的学习来大规模地推断GP。在这项工作中，我们解决了稀疏GP的一个局限性，这是由于在处理大量的诱导变量而不对诱导输入施加特殊结构的挑战。特别是，我们引入了一种新的分层先验，它对诱导变量集施加稀疏性。我们对待我们的模型变分，我们的实验表明相当大的计算增益相比，标准的稀疏GP的诱导变量的稀疏性时，考虑到最近的诱导输入的随机小批量的数据实现。我们进行了广泛的实验验证，证明了我们的方法的有效性相比，国家的最先进的。我们的方法使使用稀疏GP使用大量的诱导点，而不会产生高昂的计算成本的可能性。
2021-07-20 cs.LG stat.ML
Weakly decomposable regularization penalties and structured sparsity
在文献中已经表明，Lasso估计，或l1-惩罚最小二乘估计，享有良好的预言性质。本文探讨了哪些特殊性质的l1罚允许尖锐的预言结果，然后将这种情况扩展到一般的范数为基础的罚款，满足弱分解条件。
2012-12-10 math.ST stat.TH
HALO: Learning to Prune Neural Networks with Shrinkage
Cornell University（康奈尔大学）
深度神经网络通过从非结构化数据中提取丰富的特征集，在各种任务中实现了最先进的性能，但这种性能与模型大小密切相关。用于诱导稀疏性和减小模型大小的现代技术是（1）网络修剪，（2）使用稀疏诱导惩罚进行训练，以及（3）与网络的权重联合训练二进制掩码。我们从贝叶斯分层模型的角度研究了不同的稀疏性诱导惩罚，并提出了一种新的惩罚称为分层自适应套索（HALO），它通过可训练的参数学习自适应地稀疏给定网络的权重。当用于训练过参数化网络时，我们的惩罚产生具有高精度的小子网络，而无需微调。从经验上讲，在图像识别任务中，我们发现HALO能够学习高度稀疏的网络（只有5%的参数），在相同稀疏度水平下，与最先进的幅度修剪方法相比，性能有显着提高。代码可在https://github.com/skyler120/sparsity-halo上获得。
2021-02-28 cs.CV cs.LG stat.ML
Powerpropagation: A sparsity inducing weight reparameterisation
DeepMind（深度思维）；Gatsby Unit, UCL（伦敦大学学院盖茨比研究组）；University College London（伦敦大学学院）
稀疏神经网络的训练正在成为一种越来越重要的工具，用于减少模型在训练和评估时的计算足迹，以及实现模型的有效扩展。虽然多年来的大量工作一直致力于专门的修剪技术，很少注意到基于梯度的训练对模型稀疏性的固有影响。在这项工作中，我们介绍Powerpropagation，一个新的权重参数化的神经网络，导致固有的稀疏模型。利用梯度下降的行为，我们的方法产生了权重更新，表现出“富人更富”的动态，使低幅度的参数基本上不受学习的影响。以这种方式训练的模型表现出类似的性能，但具有在零处具有显著更高密度的分布，允许安全地修剪更多参数。Powerpropagation是通用的，直观的，便宜的和简单的实现，可以很容易地与各种其他技术相结合。为了突出它的通用性，我们在两个非常不同的环境中探索它：首先，根据最近的工作，我们研究了它对资源受限环境下稀疏训练的影响。在这里，我们将Powerpropagation与传统的权重修剪技术以及最新的最先进的稀疏到稀疏算法相结合，在ImageNet基准测试中表现出卓越的性能。其次，我们提倡使用稀疏性来克服灾难性遗忘，压缩表示允许以固定的模型容量容纳大量的任务。在所有情况下，我们的重新参数化大大提高了现成方法的有效性。
2021-10-06 cs.AI cs.LG stat.ML
Efficient Proximal Mapping Computation for Unitarily Invariant Low-Rank Inducing Norms
低秩诱导酉不变范数被引入到低秩稀疏约束的凸化问题中。它们是酉不变范数的凸包络和上界秩约束的指示函数。这个家庭中最著名的成员是所谓的核规范。为了用邻近分裂方法解决涉及这类范数的最优化问题，需要有效的方法来计算低秩诱导范数的邻近映射。这是已知的核规范，但不是为大多数其他成员的低级别诱导家庭。这项工作提供了一个框架，减少了近端映射评估到嵌套的二进制搜索，其中每次迭代需要一个更简单的问题的解决方案。这个更简单的问题往往可以解决分析，因为它是证明了所谓的低秩诱导弗罗贝纽斯和谱范数。此外，该框架允许计算这些规范与增加凸函数和投影到他们的epigraphs的组合物的近端映射。这有额外的优点，我们也可以处理的复合物的增加凸函数和低秩诱导模的邻近分裂方法。
2018-10-17 math.OC stat.ML
Sparse Bayesian Unsupervised Learning
本文研究了无监督高维环境下的变量选择、聚类和估计问题。我们的方法是基于拟合约束高斯混合模型，在那里我们学习的集群数量$K$和相关变量$S$的集合使用广义贝叶斯后验与稀疏诱导先验。我们证明了一个稀疏预言不等式，表明该过程选择最佳参数$K$和$S$。该过程使用基于面向聚类的贪婪建议的梅特罗波利斯-黑斯廷斯算法来实现，这使得收敛到后验非常快。
2014-01-30 stat.ML
Training for Faster Adversarial Robustness Verification via Inducing ReLU Stability
Massachusetts Institute of Technology（麻省理工学院）
我们探讨的概念协同设计的背景下，神经网络验证。具体来说，我们的目标是训练深度神经网络，不仅对对抗性扰动具有鲁棒性，而且其鲁棒性可以更容易地验证。为此，我们确定了网络模型的两个属性--权重稀疏性和所谓的ReLU稳定性--这两个属性会显著影响相应验证任务的复杂性。我们证明，提高权重稀疏性本身已经使我们能够把计算上棘手的验证问题变成易于处理的问题。然后，提高ReLU稳定性会导致验证时间增加4- 13倍。我们的方法的一个重要特点是它的“普遍性”，也就是说，它可以与广泛的培训程序和核查办法一起使用。
2019-04-23 cs.CR cs.LG cs.NE
Adaptive Inducing Points Selection For Gaussian Processes
TU Berlin（柏林工业大学）
高斯过程（\textbf{GPs}）是一种灵活的非参数模型，具有很强的概率解释。虽然作为对时间序列执行推断的标准选择，但GP在流设置中工作的技术很少。\cite{bui2017streaming}开发了一种有效的变分方法，通过使用稀疏技术来训练在线GP：整个观测集由一组较小的诱导点（\textbf{IPs}）近似，并使用新数据进行移动。IP地址的数目和位置对算法的性能有很大的影响。除了优化它们的位置之外，我们还建议根据GP的属性和数据的结构自适应地添加新点。
2021-07-21 cs.LG stat.ML
On the Self-Penalization Phenomenon in Feature Selection
University of California, Berkeley（加州大学伯克利分校）；The Voleon Group（沃利恩集团）
我们描述了一种基于一族内核最小化的隐式稀疏诱导机制：\begin{equation*} \min_{β, f}~\widehat{\mathbb{E}}[L(Y, f(β^{1/q} \odot X)] + λ_n \|f\|_{\mathcal{H}_q}^2~~\text{subject to}~~β\ge 0, \end{equation*}，其中$L$是损失，$\odot$是坐标乘法，$\mathcal{H}_q$是基于内核$k_q(x, x') = h(\|x-x'\|_q^q)$的再现内核Hilbert空间，其中$\|\cdot\|_q$是$\ell_q$范数。使用梯度下降来优化这个目标相对于$β$导致精确稀疏平稳点的概率很高。稀疏性是在不使用任何公知的显式稀疏化技术的情况下实现的，例如惩罚（例如，$\ell_1$）、提前停止或后处理（例如，剪切）。作为一个应用程序，我们使用这种稀疏诱导机制，建立算法一致的特征选择。
2021-10-12 cs.LG math.ST stat.ML
Hospital Readmission Prediction - Applying Hierarchical Sparsity Norms for Interpretable Models
State University of New York at Buffalo（纽约州立大学布法罗分校）
再入院率已成为衡量医疗质量的关键指标之一。可接受的再入院已被确定为降低成本和改善医疗服务的主要目标之一。然而，大多数用于理解再入院的数据驱动的研究已经产生了具有中等性能的黑盒分类和预测模型，这使得它们不能在医院的决策支持系统中有效地使用。在本文中，我们提出了一个应用程序的结构稀疏诱导规范预测再入院风险的患者的基础上，他们的病史和人口统计。大多数现有的研究都集中在医院利用率，测试结果等，为每次住院分配再入院标签。然而，我们专注于根据病史为患者分配再入院风险标签。我们的重点是解释模型，以提高再入院问题的理解。为了实现这一点，我们利用域诱导的层次结构可用于疾病代码的分类算法的功能。我们使用基于树的稀疏诱导正则化策略，明确使用域层次结构。由此产生的模型不仅优于标准的正则化过程，而且是高度稀疏和可解释的。我们分析了模型，并确定了几个重要的因素，有再入院风险的影响。其中一些因素符合现有的信念，例如，住院期间手术并发症和感染的影响。其他因素，如精神障碍和药物滥用对重新入院的影响，为一些预先存在但未经证实的假设提供了经验证据。分析还揭示了以前未发现的联系，例如缺乏住房和营养不良等社会经济因素的影响。
2018-04-03 cs.LG stat.ML
Stochastic Iterative Hard Thresholding for Graph-structured Sparsity Optimization
SUNY at Albany（纽约州立大学奥尔巴尼分校）
随机优化算法以较低的每次迭代成本连续更新模型，这使得它们适合大规模数据分析。这种算法已经被广泛研究用于结构化稀疏模型，其中稀疏信息是非常具体的，例如，凸稀疏诱导范数或$\ell^0$ -范数。然而，这些规范不能直接应用于复杂的（非凸）图结构稀疏模型的问题，这在疾病爆发和社交网络等有重要的应用。在本文中，我们提出了一种基于随机梯度的方法来解决图结构稀疏约束问题，不限于最小二乘损失。我们证明了我们的算法具有线性收敛到一个常数的错误，这是竞争对手在批量学习设置。我们进行了大量的实验，以显示所提出的算法的效率和有效性。
2019-05-09 cs.AI cs.LG stat.ML
Stochastic Variance-Reduced Iterative Hard Thresholding in Graph Sparsity Optimization
Texas A&M University（德克萨斯农工大学）
针对复杂非凸图稀疏模型，本文提出两种基于随机方差缩减梯度的优化方法GraphSVRG-IHT和GraphSCSG-IHT，并构建理论框架证明其具有线性收敛速度。
2024-07-24 cs.AI cs.LG stat.ML
Efficient Algorithm for Extremely Large Multi-task Regression with Massive Structured Sparsity
我们开发了一种高度可扩展的优化方法，称为“分层组阈值”，用于解决多任务回归模型的输入和输出空间上具有复杂的结构稀疏约束。尽管最近出现了几种有效的优化算法来处理复杂的稀疏诱导正则化器，但在实际的高维问题中，需要强制执行的（数百万个）稀疏模式仍然是一个公开的挑战，因为所有现有的算法必须在每次迭代中穷尽地处理所有这样的模式，这在计算上是禁止的。我们提出的算法解决了可扩展性问题，同时和系统地筛选出多组系数。我们采用层次树表示的组约束，以加快的过程中去除不相关的约束，利用组稀疏性之间的包含关系，从而避免在每个优化步骤中处理所有的约束，并需要优化操作只有少数优秀的系数。在我们的实验中，我们证明了我们的方法在模拟数据集上的效率，并在检测与基因表达性状相关的遗传变异的应用中。
2012-08-15 q-bio.QM stat.ML
Exploring Large Feature Spaces with Hierarchical Multiple Kernel Learning
INRIA（法国国家信息与自动化研究所）；Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院计算机实验室）；CNRS（法国国家科学研究中心）；ENS（巴黎高等师范学院）
对于监督学习和无监督学习，正定核允许使用大的且可能无限维的特征空间，其计算成本仅取决于观测的数量。这通常是通过欧几里德或希尔伯特范数对预测函数进行惩罚来完成的。在本文中，我们探讨了稀疏诱导范数，如l1-范数或块l1-范数的惩罚。我们假设，内核分解成一个大的总和，可以嵌入在一个有向无环图的个别基础内核，我们表明，它是可以通过一个分层的多内核学习框架，在多项式时间中选择内核的数量进行内核选择。这个框架自然适用于非线性变量选择;我们对合成数据集和UCI存储库数据集的广泛模拟表明，通过稀疏诱导范数有效地探索大特征空间可以带来最先进的预测性能。
2008-09-09 cs.LG stat.ML
Exclusive Sparsity Norm Minimization with Random Groups via Cone Projection
University of Rochester（罗切斯特大学）
许多实际应用，如基因表达分析，多任务学习，图像识别，信号处理和医学数据分析追求稀疏的解决方案的特征选择的目的，特别是有利于非零\emph{evenly}分布在不同的群体。排他性稀疏性范数已被广泛用于此目的。然而，对于排它性稀疏范数优化问题还缺乏系统的研究。本文从优化的角度提供了两个主要的贡献：1）我们提供了几个有效的算法来解决排他性稀疏范数最小化的光滑损失或铰链损失（非光滑损失）。所有算法均达到最优收敛速度$O(1/k^2)$（$k$为迭代次数）。据我们所知，这是第一次保证这样的收敛速度为一般的排他性稀疏范数最小化; 2）在群信息不足以定义唯一稀疏范数的情况下，我们提出用随机分组方案来构造群，并证明了如果群的个数选择适当，非零（真实特征）将以理想的方式以高概率被分组。实验结果验证了所提出的算法的有效性，以及随机分组方案对所提出的排他性SVM公式的有效性。
2015-10-27 cs.LG stat.ML
Network Flow Algorithms for Structured Sparsity
INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE（法国国家信息与自动化研究所）
我们考虑一类学习问题，涉及一个结构化的稀疏诱导规范定义为$\ell_\infty$ -规范的变量组的总和。而大量的努力已经投入到开发快速优化方法时，组是不相交的或嵌入在一个特定的层次结构，我们在这里解决的情况下，一般重叠组。为此，我们表明，相应的优化问题与网络流优化。更确切地说，与我们考虑的范数相关的邻近问题是二次最小费用流问题的对偶。我们提出了一个有效的程序，计算其解决方案，正是在多项式时间。我们的算法可扩展到数百万个变量，并为结构化稀疏模型开辟了一系列全新的应用。我们提出了几个图像和视频数据的实验，证明了我们的方法对各种问题的适用性和可扩展性。
2010-08-31 cs.LG stat.ML
Penalising the biases in norm regularisation enforces sparsity
INRIA（法国国家信息与自动化研究所）；LMO（数学与优化实验室）；EPFL（洛桑联邦理工学院）
本文针对一维数据单隐层ReLU网络，揭示了参数范数正则化中惩罚偏置项会引入额外加权因子，从而强制最小范数插值器具有唯一性和稀疏性。
2025-04-08 cs.LG stat.ML
Selective Factor Extraction in High Dimensions
本文研究了有监督和无监督学习中的同时特征选择和提取问题。我们提出并研究了选择性降秩回归，用于从输入特征的简约子集中构建最佳解释因子。所提出的估计享有尖锐的预言不等式，并与预测信息准则的模型选择，他们适应未知的稀疏性，通过控制秩和行支持的系数矩阵。一类算法的开发，可以容纳各种凸和非凸稀疏诱导处罚，并可用于在高维多变量数据的秩约束变量筛选。本文还展示了在宏观经济学和计算机视觉中的应用，以演示如何通过联合变量选择和投影有效地捕获低维数据结构。
2016-10-25 stat.ME stat.ML
Improving Sparsity in Kernel Adaptive Filters Using a Unit-Norm Dictionary
Center for Mathematical Modeling Universidad de Chile Email
核自适应滤波器是一类自适应非线性时间序列模型，具有从序列数据中学习表达性自回归模式的能力。然而，对于平凡的单调信号，它们很难执行准确的预测，同时将计算复杂度保持在期望的范围内。这是因为当新的观察结果与算法过去看到的结果相差甚远时，它们会被合并到字典中。我们提出了一种新的方法来内核自适应滤波，比较新的观察对字典样本的单位范数（归一化）版本，这意味着新的观察，看起来像以前的样本，但有不同的幅度不添加到字典。我们通过提出单位范数高斯核来实现这一点，并为这种新的核定义了一个稀疏化标准。这种新的方法验证了两个真实世界的数据集对标准KAF的归一化均方误差和字典大小。
2017-07-13 cs.LG stat.ML
Generalized Linear Models with Structured Sparsity Estimators
North Carolina State University（北卡罗来纳州立大学）
本文在广义线性模型中引入结构稀疏估计。Stucky和van de Geer（2018）最近针对固定设计和正态误差引入了最小二乘损失中的结构稀疏估计。我们扩展他们的结果去偏结构稀疏估计与广义线性模型为基础的损失。结构化稀疏估计是指在所选范数中使用可能的稀疏结构的惩罚损失函数。这些包括加权群套索，套索和规范产生的凸锥。最大的困难是不清楚如何证明两个预言不等式。第一个是初始惩罚广义线性模型估计。由于不清楚特定的可行加权逐点回归如何适合惩罚广义线性模型的预言不等式，我们需要第二个预言不等式来获得广义线性模型的二阶偏导数的样本估计的近似逆的预言界。我们的贡献有五个方面：1。通过证明隐含条件而不是假设隐含条件，将已有的预言不等式结果推广到惩罚广义线性模型中。其中一个关键问题是一个样本单点边界条件的证明及其在预言不等式中的应用。2.我们的研究结果甚至覆盖非次高斯误差和回归。3.我们提供了一个可行的加权nodewise回归证明，推广了文献中的结果，从一个简单的l_1范数的使用，从凸锥产生的规范。4.我们认识到，在可行的逐节点回归证明中使用的范数应该弱于或等于惩罚广义线性模型损失中的范数。5.通过求广义线性模型损失的奇异样本二阶偏导数的近似逆，可以消除第一步估计的偏差。
2021-04-29 cs.LG econ.EM stat.ML
Error Bounds for Generalized Group Sparsity
Columbia University（哥伦比亚大学）
在高维统计推断中，稀疏正则化在系数估计的一致性和收敛速度方面显示出优势。我们考虑一个广义版本的稀疏群套索，同时捕获元素的稀疏性和组的稀疏性。我们陈述了一个普适定理，证明了该定理可以得到不同形式的双稀疏正则化的一致性和收敛速度的结果。结果的普遍性在于各种收敛速度的推广单正则化的情况下，如LASSO和组LASSO和双正则化的情况下，如稀疏组LASSO。我们的分析确定了一个广义范数的$ε$ -范数，这提供了一个双重制定我们的双重稀疏正则化。
2020-08-08 cs.LG stat.ME stat.ML
Study of Sparsity-Aware Subband Adaptive Filtering Algorithms with Adjustable Penalties
Southwest University of Science and Technology（西南科技大学）；Southwest Jiaotong University（西南交通大学）；PUC-Rio（里约热内卢天主教大学）；University of York（约克大学）；Sichuan University（四川大学）
我们提出了两个稀疏感知归一化子带自适应滤波器（NSAF）算法，通过使用梯度下降法，以最小化的组合的原始NSAF代价函数和l1范数惩罚函数的滤波器系数。这种l1范数惩罚利用了系统在系数更新公式中的稀疏性，从而提高了识别稀疏系统时的性能。与现有的工作相比，所提出的算法具有较低的计算复杂度，相当的性能。我们研究和设计这些稀疏感知NSAF算法的统计模型，在均方意义上涉及他们的瞬态和稳态行为。这项研究依赖于向量化参数和对分析滤波器组施加的仿酉假设，因此不限制输入信号为高斯分布或具有另一种分布。此外，我们建议自适应调整稀疏吸引项的强度参数。最后，稀疏系统辨识的仿真结果证明了我们的理论结果的有效性。
2018-10-16 cs.LG eess.SP stat.ML
Convex and Network Flow Optimization for Structured Sparsity
University of California（加利福尼亚大学）；INRIA（法国国家信息与自动化研究所）；Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院计算机实验室）；CNRS（法国国家科学研究中心）
本文考虑一类学习问题，其正则化条件为变量组上l_2-或l_无穷范数之和的结构稀疏诱导范数。而大量的努力已经投入到开发快速优化技术时，组是不相交的或嵌入在一个层次结构中，我们在这里解决的情况下，一般重叠组。为此，我们提出了两种不同的策略：一方面，我们证明了与l_infinity-norms的总和相关的邻近算子可以通过求解二次最小成本流问题在多项式时间内精确计算，允许使用加速的邻近梯度法。另一方面，我们使用近端分裂技术，并解决一个等价的配方与非重叠的群体，但在更高的维度和额外的约束。我们提出了高效和可扩展的算法，利用这两种策略，这是显着快于替代方法。我们说明了这些方法与几个问题，如CUR矩阵分解，多任务学习的树结构字典，视频序列中的背景减除，图像去噪小波，自然图像补丁和地形字典学习。
2011-09-16 cs.LG math.OC stat.ML
Orthant Based Proximal Stochastic Gradient Method for $\ell_1$-Regularized Optimization
Microsoft（微软）；Johns Hopkins University（约翰斯·霍普金斯大学）；Zhejiang University（浙江大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Washington（华盛顿大学）；University of Denver（丹佛大学）
稀疏诱导正则化问题在机器学习应用中无处不在，从特征选择到模型压缩。在本文中，我们提出了一种新的随机方法-基于正交的邻近随机梯度法（OBProx-SG）-来解决可能是最流行的例子，即，L1正则化问题OBProx-SG方法包含两个步骤：（i）用于预测解的支持覆盖的邻近随机梯度步骤;以及（ii）用于通过正交面投影积极增强稀疏水平的正交步骤。与现有技术的方法相比，与Prox-SG、RDA和Prox-SVRG相比，OBProx-SG不仅能收敛到全局最优解（在凸情形下）或稳定点（在非凸情形下），而且能显著提高解的稀疏性。特别是在大量的凸问题上，OBProx-SG在稀疏性探索和目标值方面全面优于现有方法。此外，在非凸深度神经网络上的实验，例如，MobileNetV 1和ResNet 18通过在不牺牲泛化精度的情况下实现更高稀疏性的解决方案，进一步证明了其优越性。
2020-07-23 cs.LG math.OC stat.ML
