Hierarchical Ensemble Kalman Methods with Sparsity-Promoting Generalized Gamma Hyperpriors
本文介绍了一种计算框架，将灵活的正则化技术集成卡尔曼方法的非线性反问题。所提出的方法近似的最大后验概率（MAP）估计的分层贝叶斯模型，其特征在于由一个条件高斯先验和广义伽玛超先验。选择合适的超参数会产生稀疏促进正则化。我们提出了一种迭代算法的MAP估计，它交替更新未知的集合卡尔曼方法和更新超参数的正则化，以促进稀疏性。我们的方法的有效性证明在几个计算实例，包括压缩传感和地下水流逆问题。
2022-05-19 cs.NA math.NA math.OC
Sparsity enforcing priors in inverse problems via Normal variance mixtures: model selection, algorithms and applications
当考虑贝叶斯方法时，反问题的解的稀疏结构可以使用不同的稀疏性执行先验来建模。模型未知量的解析表达式可以通过构建基于稀疏性强制分布的分层模型来获得，该稀疏性强制分布通过共轭先验来表示。我们考虑具有此性质的重尾分布：t分布，表示为正态尺度混合，混合分布为逆Gamma分布，拉普拉斯分布，也可以表示为正态尺度混合，混合分布为指数分布，或者可以表示为正态逆尺度混合，混合分布为逆Γ分布，双曲分布、方差-Γ分布、正态-逆高斯分布，所有这三种分布都使用广义双曲分布通过共轭分布表示。对于所有的分布迭代算法推导出分层模型的基础上，考虑到正向模型的不确定性。对于估计，使用通过变分贝叶斯近似（Vibration Bayesian Approximation，Vibration Bayesian Approximation）的最大后验（Maximum A Posterior，MAP）和后验均值（Posterior Mean，PM）。在三维计算机断层扫描（3D-CT）和时间生物学的应用中，所得到的算法的性能进行了比较。最后，一个理论研究的稀疏执行算法之间的比较，通过贝叶斯方法和稀疏执行算法发出的正则化技术，如LASSO和其他一些。
2017-05-29 stat.AP
Repulsive mixtures via the sparsity-inducing partition prior
本文提出基于 Selberg Dirichlet 分布的稀疏诱导划分（SIP）先验，利用排斥项促进混合权重稀疏，并给出后验采样算法，在多种混合模型、模拟和儿童 BMI 生物医学数据中验证其效果。
2025-09-30 stat.ME
Sparse Bayesian Optimization
Princeton University（普林斯顿大学）；Meta
贝叶斯优化（BO）是一个强大的方法，样本效率优化的黑箱目标函数。然而，BO在推荐系统等领域的应用通常需要考虑配置的可解释性和简单性，这是BO文献中以前没有研究过的设置。为了使BO对这种设置有用，我们提出了几种基于正则化的方法，使我们能够发现稀疏和更可解释的配置。我们提出了一种新的可微松弛同伦连续的基础上，使得它可以直接与$L_0$正则化的目标稀疏。我们确定规则化BO的故障模式，并开发了一种无超参数的方法，稀疏性探索贝叶斯优化（SEBO），旨在同时最大限度地提高目标目标和稀疏性。SEBO和固定正则化的基础上的方法进行评估合成和现实世界的问题，我们表明，我们能够有效地优化稀疏性。
2023-03-03 cs.AI cs.LG math.OC
T-LoHo: A Bayesian Regularization Model for Structured Sparsity and Smoothness on Graphs
图形通常用于表示复杂的数据结构。在处理图结构数据的模型中，多变量参数可能不仅表现出稀疏模式，而且在零和非零参数都倾向于聚集在一起的意义上具有结构稀疏性和平滑性。我们提出了一个新的先验的高维参数与图形关系，被称为基于树的低秩马蹄（T-LoHo）模型，推广流行的单变量贝叶斯马蹄收缩之前的多变量设置，同时检测结构稀疏性和光滑性。T-LoHo先验可以嵌入到许多高维分层模型中。为了说明它的效用，我们将其应用到正则化贝叶斯高维回归问题，其中的回归系数由一个图连接，使得到的集群具有灵活的形状，并满足集群邻接约束相对于图。我们设计了一个有效的马尔可夫链蒙特卡罗算法，提供完整的贝叶斯推断与模型参数的不确定性措施，如集群的数量。我们提供了理论研究的聚类效应和后验浓度的结果。最后，我们说明了该模型的性能与模拟研究和道路网络上的异常检测的实际数据应用。结果表明，与其他竞争方法（如稀疏融合套索）相比，有了很大的改进。
2021-10-27 stat.ME stat.ML
Sparsity information and regularization in the horseshoe and other shrinkage priors
马蹄先验已被证明是稀疏贝叶斯估计的一个值得注意的替代方案，但以前有两个问题。首先，还没有系统的方式来基于关于参数向量中的稀疏度的先验信息来指定全局收缩超参数的先验。第二，马蹄先验具有不期望的性质，即不可能单独指定关于稀疏性的信息和最大系数的正则化量，这对于弱识别的参数（诸如在数据分离的情况下的逻辑斯谛回归系数）可能是有问题的。本文针对这两个问题提出了解决方案。我们引入了一个概念的有效数量的非零参数，显示一个直观的方式制定前的全局超参数的稀疏性假设的基础上，并认为，以前的默认选择是可疑的，基于他们的倾向，有利于解决方案与更多的unshrinking参数比我们通常期望的先验。此外，我们引入了一个推广的马蹄先验，称为正则化马蹄，它允许我们指定一个最小的正则化水平的最大值。我们表明，新的先验可以被认为是连续对应的钉和板前有限板宽度，而原来的马蹄铁类似的钉和板的无限宽的板。对合成和真实世界数据的数值实验说明了这两个理论进步的好处。
2017-07-06 stat.ME
Estimating the health effects of environmental mixtures using Bayesian semiparametric regression and sparsity inducing priors
人类经常暴露于化学品和其他环境因素的混合物中，这使得量化与环境混合物相关的健康影响成为制定充分保护人类健康的环境政策的关键目标。对接触环境混合物的影响进行量化提出了若干统计挑战。通常情况下，暴露于多种污染物会相互作用，从而影响结果。此外，结果与某些暴露（如某些金属）之间的风险-响应关系可能表现出复杂的非线性形式，因为某些暴露在不同的暴露范围内可能是有益的，也可能是有害的。为了估计复杂混合物的健康影响，我们提出了一个灵活的贝叶斯方法，允许暴露相互作用，并与结果有非线性关系。我们使用多变量尖峰和板先验来诱导稀疏性，以确定哪些曝光与结果相关，以及哪些曝光相互作用。所提出的方法是可解释的，因为我们可以使用包含到模型中的后验概率来识别相互作用的污染物。我们说明了我们的方法的能力，使用模拟数据来估计复杂的功能，并将我们的方法应用于两项研究，以确定哪些环境污染物对健康产生不利影响。
2019-10-29 stat.ME
Support Recovery in Mixture Models with Sparse Parameters
University of California, San Diego（加州大学圣地亚哥分校）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
混合模型被广泛用于拟合复杂和多模态数据集。在本文中，我们研究了高维稀疏的潜在参数向量的混合，并考虑这些向量的支持恢复的问题。虽然混合模型中的参数学习已经得到了很好的研究，但稀疏性约束仍然相对未被探索。参数向量的稀疏性是各种设置中的自然约束，并且支持度恢复是参数估计的主要步骤。我们提供了有效的算法支持恢复，具有对数样本的复杂性依赖于潜在空间的维数。我们的算法是相当普遍的，即它们适用于1）许多不同的典型分布的混合，包括均匀，泊松，拉普拉斯，高斯等。2）混合的线性回归和线性分类器与高斯协变量在不同的假设下的未知参数。在大多数这些设置中，我们的结果是对问题的第一个保证，而在其余的，我们的结果提供了对现有作品的改进。
2022-09-10 cs.IT cs.LG math.IT
Learning Sparsity and Block Diagonal Structure in Multi-View Mixture Models
科学研究越来越多地收集多种形式的数据，从多个角度调查一种现象。在综合数据分析中，重要的是要了解信息是如何在这些不同的数据源中异构分布的。为此，我们考虑一个参数聚类模型的主题在一个多视图数据集（即多个来源的数据从同一组的主题），其中每个视图轻微地遵循混合模型。在两个视图的情况下，它们之间的依赖性由集群成员矩阵参数捕获，我们的目标是学习这个矩阵的结构（例如零模式）。首先，我们开发了一个惩罚似然方法来估计稀疏模式的聚类成员矩阵。对于块对角结构的特定情况下，我们开发了一个约束似然公式，该矩阵被约束为块对角排列的行和列。为了加强块对角约束，我们提出了一种新的优化方法的基础上对称图拉普拉斯算子。我们通过对癌症遗传学和神经科学数据集的模拟和应用来展示这些方法的性能。这两种方法自然都可以扩展到多个视图。
2020-12-30 stat.ME
Sparse Bayesian Inference with Regularized Gaussian Distributions
正则化是变分反问题中对问题参数进行假设的常用工具。其中一个假设是稀疏性，通常使用套索和类全变差正则化来提升稀疏性。虽然许多这样的正则化反问题的解决方案可以被认为是精心选择的后验分布的最大概率点，这些分布的样本通常不是稀疏的。在本文中，我们提出了一个框架，隐式地定义一个概率分布，结合了稀疏性的影响施加正则化与高斯分布。与连续分布不同，这些隐式分布可以将正概率分配给稀疏向量。我们研究这些正则化分布的各种正则化函数，包括总变差正则化和分段线性凸函数。我们将所开发的理论应用于贝叶斯线性逆问题的不确定性量化，并推导出贝叶斯分层模型的吉布斯采样器。为了说明我们的稀疏诱导框架和连续分布之间的差异，我们将我们的框架应用于小规模去模糊和计算机断层扫描的例子。
2023-02-14 math.ST stat.TH
Dynamic sparsity on dynamic regression models
在目前的工作中，我们考虑的变量选择和收缩的高斯动态线性回归贝叶斯框架内。特别是，我们提出了一种新的方法，允许随时间变化的稀疏性，基于扩展的尖峰和板先验的动态模型。这是通过为时变系数的方差分配适当的马尔可夫切换先验来完成的，扩展了Ishwaran和Rao（2005）以前的工作。此外，我们研究了不同的先验，包括过程方差的常见反向伽玛先验，以及其他混合先验分布，例如尖峰和平板的伽玛先验，这导致系数的正态伽玛先验的混合（Griffin ad Brown，2010）。从这个意义上说，我们的先验可以被视为一个动态变量选择先验，它在每个时间点诱导平滑（通过板）或收缩到零（通过尖峰）。用于后验计算的MCMC方法使用可以在每个时间点假设二进制状态的马尔可夫潜变量来生成系数的方差。通过这种方式，我们的模型是一个动态混合模型，因此，我们可以使用Gerlach等人（2000）的算法来生成潜在过程，而无需对状态进行调节。最后，通过模拟示例和真实数据应用程序来举例说明我们的方法。
2020-09-29 stat.CO stat.ME stat.ML
Distribution-Free Tests for Sparse Heterogeneous Mixtures
我们考虑从非参数的角度来检测稀疏异质混合物的问题，并在所有效应具有相同符号时开发无分布检验。具体而言，我们假设零分布关于零对称，而真实效应具有正中位数。我们评估的精确性能的经典测试的中位数（t检验，符号检验）和经典测试的对称性（符号秩，Smirnov，总游程数，最长游程检验）表明，他们都不是渐近最优的正态混合模型在所有稀疏制度。然后，我们提出两个新的测试。主要的一个是一种形式的高等批评，或安德森-达林，测试对称性。它被证明是渐近最优的正常的混合模型，和其他广义高斯混合模型，在所有的稀疏制度。我们的数值实验证实了我们的理论发现。
2013-11-15 math.ST stat.TH
Adaptive Bayesian Estimation of Mixed Discrete-Continuous Distributions under Smoothness and Sparsity
我们考虑非参数估计的混合离散-连续分布各向异性光滑条件下的离散部分的分布和可能增加的支持点的数量。对于这些设置，我们推导出在全变差距离的估计率的下界。接下来，我们考虑一个非参数混合正态模型，该模型使用连续潜变量作为观测的离散部分。我们发现，在这个模型中的后验合同率等于派生的下界的对数因子。因此，贝叶斯混合正态模型可以用于混合离散-连续分布的最优自适应估计。
2018-06-19 econ.EM math.ST stat.TH
Bayesian Structured Sparsity from Gaussian Fields
对结构稀疏性的大量研究有助于分析许多不同的应用。然而，在这项工作中很少有贝叶斯程序。在这里，我们开发了一个贝叶斯模型的结构化稀疏性，使用一个高斯过程（GP）共享参数的稀疏诱导前的比例特征相似性定义的任意正定内核。对于线性回归，回归系数上的这种稀疏诱导先验是将混合模型转换为法线的尺度混合的典型尖峰和平板先验的松弛。这种先验保留了包含参数的显式后验概率-现在使用GP概率先验分布-但通过潜在高斯场的椭圆切片采样实现了易于处理的计算。我们使用关联映射的基因组应用或识别与连续性状相关的遗传变异来激励这种先验的发展。我们的贝叶斯结构稀疏模型产生稀疏的结果，大大提高了灵敏度和精度相对于可比的方法。通过模拟，我们发现三个属性是这种改进的关键：i）在协变量中建模结构，ii）使用包含的后验概率进行显著性检验，iii）模型平均。我们目前的结果，从应用该模型到一个大型的基因组数据集，以证明计算的易处理性。
2014-07-08 q-bio.GN stat.ME
Fiedler Regularization: Learning Neural Networks with Graph Sparsity
Duke University（杜克大学）
我们引入了一种新的深度学习正则化方法，该方法结合并尊重神经网络的底层图形结构。现有的正则化方法通常专注于以全局方式丢弃/惩罚权重，而忽略了神经网络的连接结构。我们建议使用神经网络的底层图的Fiedler值作为正则化的工具。我们通过谱图理论为这种方法提供了理论支持。我们列出了Fiedler值的几个有用的属性，使其适合正则化。我们提供了一个近似的，变分的方法，在实际训练的神经网络的快速计算。我们提供这种近似的界限。我们提供了一个替代的，但等价的制定这个框架的结构加权L1处罚的形式，从而将我们的方法稀疏感应。我们在数据集上进行了实验，将Fiedler正则化与传统的正则化方法（如dropout和weight decay）进行了比较。结果证明了Fiedler正则化的有效性。
2020-08-15 cs.LG stat.ML
Implicit Regularization for Group Sparsity
Texas A&M University（德克萨斯农工大学）；New York University（纽约大学）
我们研究了隐式正则化梯度下降结构稀疏通过一种新的神经重新参数化，我们称之为对角分组线性神经网络。我们展示了我们的重新参数化的以下有趣的性质：在平方回归损失上的梯度下降，没有任何明确的正则化，偏向于具有组稀疏结构的解决方案。与许多现有的理解隐式正则化的工作相比，我们证明了我们的训练轨迹不能通过镜像下降来模拟。我们分析了相应的回归问题在一般噪声设置的梯度动力学，并获得最小最优错误率。与使用对角线性网络的隐式稀疏正则化的现有界限相比，我们的分析与新的重新参数化显示出改进的样本复杂度。在退化的情况下，大小一组，我们的方法产生了一个新的算法稀疏线性回归。最后，我们证明了我们的方法的有效性与几个数值实验。
2023-01-29 cs.LG stat.ML
On Sparsity Inducing Regularization Methods for Machine Learning
Ecole Centrale de Paris（巴黎中央理工学院）；EPFL（洛桑联邦理工学院）；University at Albany（奥尔巴尼大学）；University College London（伦敦大学学院）
在过去的几年里，人们对基于稀疏正则化的学习方法产生了极大的兴趣。在本文中，我们讨论了一类一般的方法，其中的正则化可以表示为一个凸函数$ω$与一个线性函数的组合。此设置包括几种方法，如组套索，融合套索，多任务学习等等。我们提出了一个一般的方法来解决这类正则化问题，在假设的邻近算子的功能$ω$。此外，我们评论这种方法的应用支持向量机，弗拉基米尔Vapnik的开创性工作开创的技术。
2013-03-25 cs.LG stat.ML
Exploiting the Full Capacity of Deep Neural Networks while Avoiding Overfitting by Targeted Sparsity Regularization
Westfälische Wilhelms-Universität Münster（明斯特大学）
过度拟合是在相对较小的数据集上训练深度神经网络时最常见的问题之一。在这里，我们证明了神经网络激活稀疏性是过拟合的可靠指标，我们利用它来提出新的有针对性的稀疏性可视化和正则化策略。基于这些策略，我们能够以有针对性的逐层方式理解和抵消由激活稀疏性和滤波器相关性引起的过拟合。我们的研究结果表明，有针对性的稀疏正则化可以有效地用于正则化众所周知的数据集和架构，显着提高图像分类性能，同时优于dropout和批量归一化。最终，我们的研究揭示了对激活稀疏性和网络容量这两个矛盾概念的新见解，证明了有针对性的稀疏性正则化能够实现显著和有区别的特征学习，同时利用深度模型的全部容量，即使在过度训练的情况下也不会出现过度拟合。
2020-02-21 cs.CV cs.LG stat.ML
Error Bounds for Generalized Group Sparsity
Columbia University（哥伦比亚大学）
在高维统计推断中，稀疏正则化在系数估计的一致性和收敛速度方面显示出优势。我们考虑一个广义版本的稀疏群套索，同时捕获元素的稀疏性和组的稀疏性。我们陈述了一个普适定理，证明了该定理可以得到不同形式的双稀疏正则化的一致性和收敛速度的结果。结果的普遍性在于各种收敛速度的推广单正则化的情况下，如LASSO和组LASSO和双正则化的情况下，如稀疏组LASSO。我们的分析确定了一个广义范数的$ε$ -范数，这提供了一个双重制定我们的双重稀疏正则化。
2020-08-08 cs.LG stat.ME stat.ML
Sparsity via Sparse Group $k$-max Regularization
STADIUS, ESAT, KU Leuven（STADIUS、ESAT、鲁汶大学）；Research Center for Intelligent Robotics, Zhejiang Lab（之江实验室智能机器人研究中心）；School of Mechanical Engineering and Automation, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）机械工程与自动化学院）
本文提出稀疏组 $k$-max 正则化方法，同时增强组间与组内稀疏性且不限制变量幅度，以更紧密近似 $l_0$ 范数，并设计迭代软阈值算法，通过实验验证了其有效性与灵活性。
2024-02-13 cs.LG stat.ML
Robust Clustering Using Outlier-Sparsity Regularization
University of Minnesota（明尼苏达大学）
尽管传统的聚类算法，如K-means和概率聚类的流行，他们的聚类结果是敏感的离群数据的存在。即使是一些离群值也会损害这些算法识别有意义的隐藏结构的能力，从而使其结果不可靠。本文提出了鲁棒的聚类算法，不仅旨在聚类的数据，但也确定离群值。新的方法依赖于罕见的离群值在数据中的存在，这转化为稀疏在一个明智的选择域。利用孤立点域的稀疏性，提出了孤立点感知的鲁棒K均值和概率聚类方法。他们的新颖之处在于识别离群值，同时通过精心选择的正则化在离群值域中实现稀疏性。一个块坐标下降的方法来获得迭代算法的收敛性保证和小的额外的计算复杂性相对于他们的非鲁棒同行。还开发了鲁棒聚类算法的内核化版本，以有效地处理高维数据，识别非线性可分离的聚类，甚至是未用向量表示的聚类对象。在人工和真实数据集上的数值试验验证了新算法的性能和适用性。
2011-04-22 cs.LG stat.ML
Beyond Sparsity: Tree Regularization of Deep Models for Interpretability
Stanford University（斯坦福大学）；Harvard University SEAS（哈佛大学工程与应用科学学院）；University of Basel（巴塞尔大学）；University of Siena（锡耶纳大学）
缺乏可解释性仍然是许多应用程序采用深度模型的关键障碍。在这项工作中，我们显式地正则化深度模型，以便人类用户可以在很短的时间内逐步完成预测背后的过程。具体来说，我们训练深度时间序列模型，使它们的类概率预测具有高准确性，同时由节点很少的决策树紧密建模。使用直观的玩具示例以及治疗败血症和HIV的医疗任务，我们证明了这种新的树正则化产生的模型比简单的L1或L2惩罚更容易让人类模拟，而不会牺牲预测能力。
2017-11-16 cs.LG stat.ML
Multi-Kernel Regression with Sparsity Constraint
EPFL（洛桑联邦理工学院）
在本文中，我们提供了一个广义全变差（gTV）正则化的监督学习的Banach空间公式。我们确定类的核函数，在这个框架中是允许的。然后，我们提出了一个变化的监督学习在连续域混合搜索空间与gTV正则化。我们表明，该解决方案承认一个自适应位置的多核扩展。在该表示中，活动内核的数量由数据点的数量上限，而gTV正则化对内核系数施加$\ell_1$惩罚。最后，我们数值说明我们的理论的结果。
2020-12-17 cs.LG stat.ML
A novel sparsity and clustering regularization
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）
我们提出了一种新的稀疏性和聚类（SPARsity and Clustering，简称SPARMN）正则化器，它是对以前的八角形收缩和聚类回归算法（OSCAR）的改进，其中，所提出的正则化器由$K$稀疏约束和限制在$K$最大分量上的成对$\ell_{\infty}$范数组成。所提出的正则化是能够单独执行$K$ -稀疏性，并鼓励非零是相等的幅度。此外，它可以准确地对特征进行分组，而不会缩小它们的大小。事实上，OSCAR与OSCAR密切相关，因此前者的邻近算子可以基于后者的邻近算子有效地计算，从而允许使用邻近分裂算法来解决OSCAR正则化问题。在合成数据和基准乳腺癌数据上的实验表明，该方法是一种具有竞争力的群体稀疏诱导正则化回归和分类。
2014-02-20 cs.CV cs.LG stat.ML
Sparse Deep Learning Models with the $\ell_1$ Regularization
Syracuse University（雪城大学）；Jilin University（吉林大学）；Old Dominion University（奥多明尼昂大学）
本文研究 ℓ1 正则化参数对神经网络稀疏度的影响，推导单参数与多参数稀疏模型，并提出迭代选参算法以获得满足预定稀疏度且逼近精度良好的网络。
2024-08-05 cs.LG math.OC stat.ML
Transcendental Regularization of Finite Mixtures:Theoretical Guarantees and Practical Limitations
Rochester Institute of Technology（罗切斯特技术学院）
本文提出超越正则化方法，用于解决有限混合模型在高维空间中的退化问题，提供理论保证并揭示其实际限制。
2026-02-03 cs.LG stat.ML
Structured Sparsity and Generalization
UCL（伦敦大学学院）
我们提出了一个数据相关的推广界的一大类正则化算法，实现结构化稀疏约束。该界可以应用于标准的平方范数正则化，Lasso，群Lasso，具有重叠群的群Lasso的某些版本，多核学习和其他正则化方案。在所有这些情况下，都获得了有竞争力的结果。我们的界限的一个新的特点是，它可以应用于一个无限维的设置，如Lasso在一个可分离的希尔伯特空间或多核学习与可数数量的内核。
2011-09-02 cs.LG stat.ML
Only sparsity based loss function for learning representations
INSOFE（INSOFE（因索夫教育研究学院））；Hyderabad（海得拉巴（印度城市，此处可能指机构所在地，但按要求提取机构，故主要机构为INSOFE））
我们研究了神经网络中稀疏表示的出现。我们证明了在正则化的无监督模型中，稀疏性的出现是输入数据样本沿高度非线性或不连续流形分布的结果。我们还得出了类似的论点歧视性训练的网络和目前的实验来支持这一假设。基于我们对稀疏性的研究，我们引入了一个新的损失函数，它可以用作自动编码器和MLP等模型的正则化项。此外，相同的损失函数也可以用作用于学习有效表示的无监督单层神经网络模型的成本函数。
2019-03-07 cs.LG stat.ML
Disentanglement via Mechanism Sparsity Regularization: A New Principle for Nonlinear ICA
Mila（米拉人工智能研究所）；DIRO, Université de Montréal（蒙特利尔大学计算机科学与运筹学系）；ServiceNow Research（ServiceNow研究院）；Tübingen AI Center, University of Tübingen（蒂宾根大学蒂宾根人工智能中心）；Google Research（谷歌研究院）
这项工作引入了一种新的原则，我们称之为通过机制稀疏正则化，它可以应用于当感兴趣的潜在因素稀疏依赖于过去的潜在因素和/或观察到的辅助变量。我们提出了一种表示学习方法，通过同时学习潜在的因素和稀疏的因果关系图形模型，将它们联系起来，诱导解开。我们开发了一个严格的可识别性理论，建立在最近的非线性独立成分分析（ICA）的结果，形式化这一原则，并显示如何潜在的变量可以恢复到置换，如果一个正规化的潜在机制是稀疏的，如果一些图形连接标准是满足数据生成过程。作为我们框架的一个特例，我们展示了如何利用未知目标干预潜在因素来解开它们，从而进一步建立ICA和因果关系之间的联系。我们提出了一种基于VAE的方法，在该方法中，通过二进制掩码学习和正则化潜在机制，并通过在模拟中学习解纠缠表示来验证我们的理论。
2022-02-23 cs.LG stat.ML
Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks
Stanford University（斯坦福大学）
本文研究并行 ReLU 网络的训练问题，提出路径正则化以揭示隐藏凸性并诱导群稀疏，同时给出全多项式时间近似算法及全局最优性保证。
2023-09-26 cs.AI cs.LG stat.ML
Improving Molecular Graph Neural Network Explainability with Orthonormalization and Induced Sparsity
Bayer AG（拜耳公司）
确定分子的哪些部分驱动分子图卷积神经网络（GCNN）的预测可能是困难的。为了提供帮助，我们提出了两种简单的正则化技术，用于GCNN的训练：批量表示正交归一化（BRO）和Gini正则化。BRO受分子轨道理论的启发，鼓励图形卷积运算生成正交节点嵌入。Gini正则化应用于输出层的权重，并限制模型可以用于进行预测的维度数量。我们证明了Gini和BRO正则化可以提高人工基准数据集上最先进的GCNN属性方法的准确性。在现实世界中，我们证明了药物化学家更喜欢从正则化模型中提取的解释。虽然我们只在GCNN的上下文中研究这些正则化器，但两者都可以应用于其他类型的神经网络
2021-08-31 cs.LG stat.ML
Continual Learning with Node-Importance based Adaptive Group Sparse Regularization
Sungkyunkwan University（成均馆大学）
我们提出了一种新的正则化为基础的持续学习方法，称为自适应组稀疏性为基础的持续学习（AGS-CL），使用两个组稀疏性为基础的惩罚。我们的方法选择性地采用两个惩罚时，学习每个节点的重要性，这是自适应更新后，学习每个新的任务。通过利用用于学习的近似梯度下降方法，保证了模型的精确稀疏性和冻结性，并且因此，学习器可以随着学习的继续而显式地控制模型容量。此外，作为一个关键的细节，我们重新初始化的权重与不重要的节点后，学习每个任务，以防止负迁移，导致灾难性遗忘，并促进新任务的有效学习。在整个广泛的实验结果中，我们表明，我们的AGS-CL使用更少的额外内存空间来存储正则化参数，并且在监督和强化学习任务的代表性持续学习基准上，它的性能显着优于几个最先进的基线。
2021-05-29 cs.LG stat.ML
Campfire: Compressible, Regularization-Free, Structured Sparse Training for Hardware Accelerators
Stanford University（斯坦福大学）
本文研究了CNN的结构化稀疏训练，采用逐步修剪技术，在一定数量的epoch之后产生固定的稀疏权重矩阵。我们简化了强制稀疏性的结构，以减少正则化引起的开销。所提出的训练方法Campfire在卷积核和滤波器内探索粒度修剪。我们研究了修剪持续时间，稀疏水平，和学习率配置方面的各种权衡。我们表明，我们的方法在完整的ImageNet上创建了ResNet-50和ResNet-50 v1.5的稀疏版本，同时保持在可忽略的<1%的准确性损失范围内。为了确保这种类型的稀疏训练不会损害网络的鲁棒性，我们还演示了网络在存在对抗攻击的情况下的行为。我们的研究结果表明，与70%的目标稀疏，超过75%的前1的准确性是可以实现的。
2020-01-13 cs.LG stat.ML
SeReNe: Sensitivity based Regularization of Neurons for Structured Sparsity in Neural Networks
University of Turin（都灵大学）；Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）
深度神经网络包含数百万个可学习的参数，这使得它们在资源受限的设备上的部署成为问题。SeReNe（基于灵敏度的神经元正则化）是一种学习具有结构的稀疏拓扑的方法，利用神经灵敏度作为正则化器。我们将神经元的灵敏度定义为网络输出相对于神经元活动变化的变化。神经元的灵敏度越低，如果神经元输出改变，则网络输出受到的扰动就越小。通过在代价函数中包含神经元灵敏度作为正则化项，我们能够修剪具有低灵敏度的神经元。由于整个神经元被修剪，而不是单个参数，实际的网络足迹减少成为可能。我们在多个网络架构和数据集上的实验结果与最先进的参考文献相比，具有竞争力的压缩比。
2021-02-07 cs.AI cs.LG stat.ML
Nonparametric sparsity and regularization
Istituto Italiano di Tecnologia（意大利技术研究院）；University of Genova（热那亚大学）
在这项工作中，我们感兴趣的监督学习和变量选择的问题时，输入-输出依赖性描述的非线性函数依赖于几个变量。我们的目标是考虑一个稀疏的非参数模型，从而避免线性或加性模型。其关键思想是利用偏导数来衡量模型中每个变量的重要性。基于这种直觉，我们提出了一个新的非参数稀疏性的概念和相应的最小二乘正则化方案。利用再生核希尔伯特空间和近似方法理论的概念和结果，我们表明，所提出的学习算法对应于一个最小化问题，可以证明解决的迭代过程。所得到的估计的一致性性质的研究，无论是在预测和选择性能。一个广泛的实证分析表明，所提出的方法表现良好，相对于国家的最先进的方法。
2012-08-13 cs.LG math.OC stat.ML
Group-Sparse Signal Denoising: Non-Convex Regularization, Convex Optimization
Polytechnic Institute of New York University（纽约大学理工学院）
具有稀疏促进凸正则化的凸优化是用于估计噪声中的稀疏信号的标准方法。为了比凸正则化更强地促进稀疏性，采用非凸优化也是标准实践。在本文中，我们采用第三种方法。我们利用一个非凸的正则化项，这样总成本函数（包括数据一致性和正则化项）是凸的。因此，稀疏性比标准凸公式更强有力地促进，但不会牺牲凸优化的吸引人的方面（唯一的最小值，鲁棒算法等）。我们使用这个想法，以改善最近开发的“重叠组收缩”（OGS）算法的去噪组稀疏信号。该算法应用于语音增强问题，在信噪比和感知质量方面都取得了良好的效果。
2013-11-30 cs.CV cs.LG stat.ML
Dropout Regularization in Hierarchical Mixture of Experts
Bloomberg L.P.（彭博有限合伙企业）；Boğaziçi University（博阿齐奇大学）
Dropout是一种非常有效的防止过拟合的方法，近年来已成为多层神经网络的常用正则化器。专家的分层混合专家模型是定义软决策树的分层选通模型，其中叶对应于专家，并且决策节点对应于在其子节点之间进行软选择的选通模型，并且因此，该模型定义输入空间的软分层划分。在这项工作中，我们提出了一个变体的辍学分层混合专家模型，是忠实于树层次结构定义的模型，而不是有一个平坦的，unitwise独立的应用辍学，因为一个有多层感知器。我们表明，在合成回归数据和MNIST和CIFAR-10数据集上，我们提出的dropout机制可以防止树上的过度拟合，具有许多级别，提高了泛化能力，并提供了更平滑的拟合。
2018-12-25 cs.LG stat.ML
Inertial Regularization and Selection (IRS): Sequential Regression in High-Dimension and Sparsity
在本文中，我们开发了一个新的序列回归建模方法的数据流。数据流在我们周围很常见，例如，在零售企业中，每天都在不断收集销售数据。需求预测模型是数据的重要结果，需要使用新的传入数据不断更新。当存在a）高维和稀疏性，b）需要自适应地使用先验知识，和/或c）系统中的结构变化时，这种建模中的主要挑战出现。所提出的方法通过在损失函数中引入自适应L1惩罚和惯性项来解决这些挑战，因此称为惯性正则化和选择（IRS）。前一项执行模型选择以处理第一个挑战，而后一项显示为解决最后两个挑战。递归估计算法的开发，并显示出优于常用的状态空间模型，如卡尔曼滤波器，在实验研究和实际数据。
2017-01-10 stat.ML
Factorization Machines with Regularization for Sparse Feature Interactions
Hokkaido University（北海道大学）
因式分解机（FM）是基于二阶特征交互的机器学习预测模型，具有稀疏正则化的FM被称为稀疏FM。这样的正则化使得能够进行特征选择，其选择最相关的特征以进行准确的预测，因此它们可以有助于提高模型的准确性和可解释性。然而，由于FM使用二阶特征交互，特征的选择通常会导致结果模型中许多相关特征交互的丢失。在这种情况下，具有专门为尝试实现交互级稀疏性的特征交互选择而设计的正则化的FM可能是优选的，而不是仅用于尝试实现特征级稀疏性的特征选择的FM。在本文中，我们提出了一个新的正则化计划的功能模块中的功能交互选择。所提出的正则化算子是特征交互矩阵的$\ell_1$正则化算子的上界，该特征交互矩阵是从FM的参数矩阵计算的。对于特征交互选择，我们提出的正则化器使特征交互矩阵稀疏，而不限制现有方法所施加的稀疏模式。我们还描述了有效的邻近算法，建议FM和现有的理论分析和新的正则化。此外，我们将讨论如何将我们的想法应用或扩展到更准确的特征选择和其他相关模型，如高阶FM和全子集模型。在人工数据集和真实数据集上的分析和实验结果表明了所提方法的有效性。
2021-04-01 cs.LG stat.ML
Regularization can make diffusion models more efficient
University of Hamburg（汉堡大学）
该研究针对扩散模型计算成本高的问题，提出利用统计学中的稀疏性概念，通过数学证明和实验验证表明，引入稀疏性可降低计算复杂度并提升样本质量，从而实现更高效的扩散模型。
2026-08-14 cs.LG math.ST stat.ML
Sparsity regularization via tree-structured environments for disentangled representations
McGill University（麦吉尔大学）；Mila；Valence Labs（Valence实验室）；Université de Montréal（蒙特利尔大学）；Samsung - SAIT AI Lab（三星-SAIT人工智能实验室）
针对多相关环境下的因果表征学习问题，提出基于树结构的稀疏正则化方法TBR，利用环境间映射的稀疏变化约束识别潜在因果变量，在模拟和真实基因表达数据上均取得优于现有方法的效果。
2024-06-10 cs.LG stat.ML
Fast learning rate of multiple kernel learning: Trade-off between sparsity and smoothness
我们研究了多核学习（MKL）与$\ell_1$和弹性网络正则化的学习率。弹性网络正则化是用于诱导稀疏性的$\ell_1$正则化器和用于控制平滑性的$\ell_2$正则化器的组合。我们专注于稀疏设置，其中内核的总数很大，但地面真值的非零分量的数量相对较小，并且显示出比$\ell_1$和弹性网络正则化的学习速率更快的收敛速率。我们的分析揭示了正则化函数的选择和性能之间的一些关系。如果地面真理是光滑的，我们显示了更快的收敛速度的弹性网络正则化与更少的条件比$\ell_1$ -正则化;否则，更快的收敛速度的$\ell_1$ -正则化。
2013-08-26 math.ST stat.ML stat.TH
Sparsity, Regularization and Causality in Agricultural Yield: The Case of Paddy Rice in Peru
National University of Engineering（国立工程大学）；University of São Paulo（圣保罗大学）；Imperial College London（伦敦帝国学院）
本研究结合农业普查与遥感时间序列数据，利用稀疏回归和Elastic-Net正则化技术及变量动态变换，开发秘鲁水稻产量预测模型，揭示了遥感变量与产量间的Granger因果关系，提升了预测精度以助力农业管理。
2024-09-25 cs.LG stat.AP stat.ME
Distributionally Robust Regularization of Sparse Integer Programming Trained Learning Models
IBM Research（IBM研究院）
针对规则集稀疏性与预测精度的权衡，本文提出基于分布鲁棒优化和列生成的稀疏规则集合集成学习方法，并通过理论与实验证明其在泛化、计算成本和可解释性上的优势。
2026-10-16 cs.AI cs.LG math.OC
Nonconvex sparse regularization for deep neural networks and its optimality
University of Notre Dame（圣母大学）；Seoul National University（首尔国立大学）
最近的理论研究证明，通过在一定稀疏性约束下最小化经验风险获得的深度神经网络（DNN）估计量可以获得回归和分类问题的最佳收敛速度。然而，稀疏性约束要求知道真实模型的某些属性，这在实践中是不可用的。此外，由于稀疏约束的离散性质，计算是困难的。在本文中，我们提出了一种新的惩罚估计方法稀疏DNN，解决了上述问题存在的稀疏性约束。我们建立了一个预言不等式的建议稀疏惩罚DNN估计的超额风险，并推导出几个学习任务的收敛速度。特别是，我们证明了稀疏惩罚估计可以自适应地获得各种非参数回归问题的极小极大收敛速度。对于计算，我们开发了一个有效的基于梯度的优化算法，保证单调减少的目标函数。
2021-08-09 cs.LG math.ST stat.ML
Sparse Reduced Rank Regression With Nonconvex Regularization
The Hong Kong University of Science and Technology（香港科技大学）
研究了稀疏降秩回归模型的估计问题。SRRR模型被广泛应用于信号处理、计量经济学等领域的降维和变量选择。该问题的目标是最小化最小二乘损失，并考虑到正交性约束。在文献中，凸稀疏诱导函数已被用于SRRR。在这项工作中，提出了一个非凸函数更好的稀疏诱导。基于交替极小化（或投影）方法，提出了一种求解非凸优化问题的有效算法。数值仿真结果表明，该算法是更有效的基准方法相比，非凸函数可以导致更好的估计精度。
2018-03-20 cs.LG q-fin.CP stat.ME
Iterative Hard Thresholding with Adaptive Regularization: Sparser Solutions Without Sacrificing Runtime
MIT（麻省理工学院）；Yahoo! Research（雅虎研究院）
我们提出了一个简单的修改迭代硬阈值（IHT）算法，恢复渐近稀疏的解决方案作为条件数的函数。当目标是最小化凸函数$f(x)$，条件数$κ$服从$x$是$s$ -稀疏向量时，标准IHT保证是具有松弛稀疏性$O(sκ^2)$的解，而我们提出的算法正则化IHT返回具有稀疏性$O(sκ)$的解。我们的算法显着提高了ARHT也找到了稀疏$O(sκ)$的解决方案，因为它不需要在每次迭代中重新优化（因此更快），是确定性的，不需要最佳解值$f(x^*)$或最佳稀疏水平$s$的知识。我们的主要技术工具是一个自适应正则化框架，其中算法逐步学习$\ell_2$正则化项的权重，这将允许收敛到稀疏的解决方案。我们还将此框架应用于低秩优化，在那里我们实现了类似的改善，从$κ^2$到$κ$的最知名的条件数依赖。
2022-04-11 cs.DS cs.IT cs.LG
Robust PCA as Bilinear Decomposition with Outlier-Sparsity Regularization
主成分分析（PCA）被广泛用于降维，在涉及高维数据的各种应用中具有良好的记录优点，包括计算机视觉、偏好测量和生物信息学。在这种情况下，这里提倡的新外观渗透了变量选择和压缩采样的好处，以鲁棒PCA对离群值。一个低秩双线性因子分析模型的最小二乘估计密切相关的$\ell_0$ -（伪）范数正则化的标准，鼓励稀疏矩阵明确建模的离群值。这种连接建议强大的PCA计划的基础上凸松弛，这自然会导致一个家庭的强大的估计，包括胡贝尔的最佳M-类作为一个特殊情况。通过调整正则化参数来识别离群值，这相当于控制离群值矩阵沿着（组）最小绝对收缩和选择算子（Lasso）解决方案的整个鲁棒化路径的稀疏性。除了其与鲁棒统计的紧密联系之外，所开发的离群感知PCA框架是通用的，以适应新的和可扩展的算法：i）随着新数据的实时获取，鲁棒地跟踪低秩信号子空间;以及ii）在（可能）无限维特征空间中鲁棒地确定主成分。合成和真实数据测试证实了所提出的强大的PCA计划的有效性，当用于识别异常的反应，在人格评估调查，以及揭开社区的社交网络，和入侵者从视频监控数据。
2011-11-08 cs.IT math.IT stat.ML
SuperMix: Sparse Regularization for Mixtures
Institut Camille Jordan（卡米尔·若尔当研究所）；École Centrale de Lyon（里昂中央理工学院）；Toulouse School of Economics（图卢兹经济学院）；Institut Universitaire de France（法兰西大学研究院）；CNRS（法国国家科学研究中心）；INSA（法国国立应用科学学院）
研究了核混合模型中离散混合测度$μ$ 0的统计估计问题.利用测度空间上l1-正则化的一些最新进展，我们提出了一种“数据拟合和正则化”凸规划，用于从混合律样本中以无网格的方式估计$μ$ 0，这种方法被称为Beurling-LASSO.我们的贡献是双重的：我们推导出我们的数据拟合项的带宽上的下界，其仅取决于$μ$ 0的支持及其所谓的“最小分离”，以确保定量的支持定位误差界;并且在所谓的“非退化源条件”下，我们推导出非渐近支持稳定性属性。后者表明，对于一个足够大的样本量n，我们的估计量具有与目标$μ$ 0一样多的加权狄拉克质量，在振幅和局部收敛到真实的。最后，我们还介绍了一些基于“滑动Frank-Wolfe”或“圆锥粒子梯度下降”的求解该凸规划的算法。设计一个所谓的“双证书”，这是适合我们的设置，这个估计的统计性能进行了研究。最后讨论了一些经典的情形，如超光滑分布（如高斯分布）和普通光滑分布（如拉普拉斯分布）的混合。
2020-06-18 cs.LG math.ST stat.ML
The role of regularization in classification of high-dimensional noisy Gaussian mixture
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CEA（法国原子能和替代能源委员会）；Institut de physique théorique（理论物理研究所）；Laboratoire de Physique de l’Ecole normale supérieure（巴黎高等师范学院物理实验室）；ENS（巴黎高等师范学院）；Université PSL（巴黎文理研究大学）；Sorbonne Université（索邦大学）；Université de Paris（巴黎大学）；John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）
我们考虑一个高维混合的两个高斯在嘈杂的制度，即使是一个先知知道集群的中心错误分类一个小的，但有限的分数点。我们提供了一个严格的分析的推广误差的正则化凸分类器，包括岭，铰链和逻辑斯谛回归，在高维极限的样本数$n$和他们的维度$d$去无穷大，而他们的比率是固定的$α= n/d$。我们讨论令人惊讶的效果，在某些情况下，允许达到贝叶斯最优性能的正则化。我们还说明了低正则化时的插值峰值，并分析了两个簇各自大小的作用。
2020-02-26 cond-mat.dis-nn cs.LG math.ST
Structured Sparsity via Alternating Direction Methods
Columbia University（哥伦比亚大学）
我们考虑一类稀疏学习问题，在高维特征空间正则化的结构稀疏诱导规范，其中包括先验知识的组结构的功能。由于正则化项的非光滑性和不可分离性，这类问题常常对优化算法提出相当大的挑战。在本文中，我们专注于两个常用的稀疏诱导正则化项，重叠组Lasso惩罚$l_1/l_2$ -范数和$l_1/l_\infty$ -范数。我们提出了一个统一的框架，基于增广拉格朗日方法，在此框架下，这两种类型的正则化及其变体的问题可以有效地解决。作为该框架的核心构建块，我们开发了新的算法，使用交替的部分线性化/分裂技术，我们证明了这些算法的加速版本需要$O(\frac{1}{\sqrtε})$迭代，以获得$ε$ -最优解。为了证明我们的算法的效率和相关性，我们在一组数据集上进行了测试，并将其应用于两个现实问题，以比较两种规范的相对优点。
2011-12-15 cs.AI math.OC stat.ML
Sparse Kernel Canonical Correlation Analysis via $\ell_1$-regularization
典型相关分析（CCA）是一种用于寻找两组变量之间线性关系的多元统计技术。核CCA的核推广已被提出来发现数据集之间的非线性关系。尽管它们被广泛使用，但它们有一个共同的局限性，那就是它们的解决方案缺乏稀疏性。本文考虑稀疏核CCA，提出了一种新的稀疏核CCA算法（SKCCA）。我们的算法是基于核CCA和最小二乘之间的关系。通过惩罚对偶向量的$\ell_{1}$ -范数引入对偶变换的稀疏性。实验结果表明，该算法不仅在计算稀疏对偶变换方面表现良好，而且可以缓解核CCA的过拟合问题。
2017-01-16 stat.ML
Sparse Estimation with Generalized Beta Mixture and the Horseshoe Prior
在本文中，使用广义贝塔混合（GBM）和马蹄分布作为先验的贝叶斯压缩感知框架。分布被认为是在一个两层的分层模型，使相应的推理问题服从期望最大化（EM）。我们提出了一个明确的，代数EM更新规则的模型，产生两个快速和实验验证的信号恢复算法。实验结果表明，我们的算法优于国家的最先进的方法在广泛的稀疏水平和幅度的重建精度，收敛速度和稀疏性。对于具有高幅度的稀疏信号，可以观察到最大的改善。
2014-11-10 cs.IT math.IT stat.ML
Low Complexity Regularization of Linear Inverse Problems
逆问题和正则化理论是当代信号处理的一个中心主题，其目标是从未知信号的部分间接测量（可能是噪声测量）中重建未知信号，目前恢复未知信号的标准方法是求解一个凸优化问题，该问题需要一些关于其结构的先验知识。事实证明，这在成像科学、统计学和机器学习中经常遇到的许多问题中是有效的。本章回顾了正则化先验促进符合简单/低复杂性概念的解决方案的领域的最新进展。这些先验知识包括稀疏性和组稀疏性（以捕获自然信号和图像的可压缩性），全变差和分析稀疏性（以促进分段规律性）和低秩（作为稀疏性到矩阵值数据的自然扩张）。我们的目标是提供一个统一的治疗所有这些正规化下一个保护伞，即部分光滑理论。这个框架是非常通用的，可以容纳所有刚才提到的低复杂度正则化器，以及许多其他正则化器。部分光滑被证明是编码低维模型的规范方法，这些模型可以是线性空间或更一般的光滑流形。这篇评论的目的是作为一个一站式商店走向的理论性质的理解，所以正规化的解决方案。它涵盖了一个大的频谱，包括：（i）恢复保证和稳定性的噪音，无论是在$\ell^2$ -稳定性和模型（流形）识别;（ii）对所涉参数扰动的灵敏度分析（特别是观测值），并应用于无偏风险估计;（iii）前向-后向邻近分裂方案的收敛性质，其特别适合于解决相应的大规模正则化最优化问题。
2014-12-08 cs.IT math.IT math.OC
