DropCluster: A structured dropout for convolutional networks
Stevens Institute of Technology（斯蒂文斯理工学院）；Amazon Web Services（亚马逊网络服务）
本文提出 DropCluster 结构化正则化方法，通过对卷积层特征聚类并随机丢弃簇来克服传统 Dropout 忽略局部结构且不适应数据的问题，在多个数据集上验证其能更有效控制过拟合。
2025-06-03 cs.CV cs.LG stat.ML
Reducing Transformer Depth on Demand with Structured Dropout
Facebook AI Research（Facebook人工智能研究（FAIR））；LORIA（洛林研究所（法国国家信息与自动化研究所洛林分部））
过参数化的Transformer网络已经在各种自然语言处理任务（例如机器翻译、语言建模和问答）中获得了现有技术水平的结果。这些模型包含数以亿计的参数，需要大量的计算，并使它们易于过拟合。在这项工作中，我们探索了LayerDrop，这是一种结构化dropout，它在训练过程中具有正则化效果，并允许在推理时进行有效的修剪。特别是，我们表明，它是可能的，从一个大型网络中选择任何深度的子网络，而不必微调它们，对性能的影响有限。我们证明了我们的方法的有效性，通过提高最先进的机器翻译，语言建模，摘要，问答和语言理解基准。此外，我们表明，与从头开始训练或使用蒸馏相比，我们的方法可以产生更高质量的小型BERT模型。
2019-09-25 cs.CL cs.LG stat.ML
ASNI: Adaptive Structured Noise Injection for shallow and deep neural networks
MINES ParisTech, PSL Research University（巴黎高等矿业学院，PSL研究大学）；Institut Curie, PSL Research University（居里研究所，PSL研究大学）；INSERM（法国国家健康与医学研究院）；Google Brain（谷歌大脑）
Dropout是神经网络训练中的一种正则化技术，其中单元激活以给定的概率\emph{independently}随机设置为零。在这项工作中，我们提出了一个概括的辍学和其他乘性噪声注入计划浅和深神经网络，其中应用到不同的单位的随机噪声是不独立的，但遵循联合分布是固定的或在训练过程中估计。我们提供了关于为什么这种自适应结构化噪声注入（ASNI）可能是相关的理论见解，并根据经验证实它有助于提高简单前馈和卷积神经网络的准确性，解开隐藏层表示，并导致更稀疏的表示。我们提出的方法是一个简单的修改经典的dropout，不需要额外的计算开销。
2019-09-21 cs.LG stat.ML
Group selection and shrinkage: Structured sparsity for semiparametric additive models
针对统计与机器学习中的组结构稀疏问题，提出结合组子集选择与收缩、支持组任意重叠的结构化稀疏估计器，构建优化框架并给出误差界，在半参数可加建模等任务中表现更优，且提供grpsel开源实现。
2024-03-08 stat.ME stat.ML
Spike-and-Slab Priors for Function Selection in Structured Additive Regression Models
结构化加性回归为复杂的高斯和非高斯回归模型提供了一个通用框架，预测因子包括非线性函数和表面、空间效应、变化系数、随机效应和其他回归项的任意组合。结构化加法回归的巨大灵活性使得函数选择成为一项具有挑战性和重要性的任务，旨在（1）选择相关的协变量，（2）选择协变量对预测因子影响的适当和简约表示，以及（3）确定所需的交互作用。我们提出了一个尖峰和板前结构的功能选择，允许包括或排除单个系数以及代表特定模型项的系数块。一种新的乘法参数扩展需要获得良好的混合和收敛性能的马尔可夫链蒙特卡罗模拟方法，并诱导理想的收缩性能。在模拟研究和（真实的）基准分类数据中，我们研究了对超参数设置的敏感性，并将性能与竞争对手进行了比较。我们的方法的灵活性和适用性证明了在加性分段指数模型与时变效应的右删失生存时间的重症监护患者脓毒症。在一个广泛的附录中讨论了地质可加性和可加性混合logit模型的应用。
2011-12-02 stat.AP stat.ME
Structured Bayesian Pruning via Log-Normal Multiplicative Noise
基于丢弃的正则化方法可以被视为在训练期间向神经网络的不同部分注入具有预定义幅度的随机噪声。最近的研究表明，贝叶斯丢弃过程不仅提高了泛化能力，而且通过自动设置每个权重的单个噪声幅度，导致了极其稀疏的神经结构。然而，这种稀疏性几乎不能用于加速，因为它是非结构化的。在本文中，我们提出了一种新的贝叶斯模型，该模型考虑了神经网络的计算结构，并提供了结构化的稀疏性，例如删除CNN中的神经元和/或卷积通道。为此，我们将噪声注入神经元输出，同时保持权重不规则化。我们建立了概率模型，适当的截断对数一致先验的噪声和截断对数正态变分近似，以确保在证据下界的KL-项计算在封闭形式。该模型通过从计算图中移除具有低SNR的元素来实现结构化稀疏，并在许多深度神经架构上提供显着的加速。该模型很容易实现，因为它可以作为一个单独的dropout层来制定。
2017-11-04 stat.ML
Stochastic Variational Inference for Structured Additive Distributional Regression
University of Göttingen（哥廷根大学）；Max-Planck-Institute for Multidisciplinary Sciences（马克斯·普朗克多学科研究所）；The Ohio State University（俄亥俄州立大学）
本文针对结构化加性分布回归提出一种随机变分推断框架，通过摊销型变分族实现高效近似贝叶斯推断，在模拟与实际数据集上验证其比现有方法计算更快且ELBO值更高。
2026-08-31 stat.CO
GRASP: Grouped Regression with Adaptive Shrinkage Priors
Department of Data Science and AI, Monash University（墨尔本大学数据科学与人工智能系）；Department for Information Systems, University of Haifa（海法大学信息系）
GRASP提出基于NBP先验的简单贝叶斯分组回归框架，直接控制尾部实现自适应稀疏性，并量化组内收缩相关性，实证显示鲁棒性。
2025-06-22 cs.LG stat.ME stat.ML
Tree Ensembles with Rule Structured Horseshoe Regularization
提出了一种新的贝叶斯模型，用于灵活的非线性回归和分类使用树集成。该模型基于Friedman和Popescu（2008）中的RuleFit方法，其中在L1-正则化回归中使用来自决策树和线性项的规则。我们修改RuleFit取代L1正则化的马蹄事先，这是众所周知的，给积极收缩的噪声预测，而留下的重要信号基本上不变。当大量规则被用作预测器时，这一点尤其重要，因为其中许多规则只会产生噪声。我们的马蹄先验有一个额外的分层，它将更多的收缩先验应用于具有大量分裂的规则，以及仅由少数观察值满足的规则。我们先验的积极噪声收缩也使得有可能用来自随机森林的额外一组树来补充Friedman和Popescu（2008）中的提升规则，这为集合带来了理想的多样性。我们从后验分布使用一个非常有效的，易于实现的吉布斯采样器的样本。在16个数据集上，新模型的性能优于RuleFit、BART和随机森林等最先进的方法。该模型和它的解释证明了众所周知的波士顿住房数据，并对癌症分类的基因表达数据。用于解释模型结果的后验采样、预测和图形工具在公开可用的R软件包中实现。
2018-02-15 stat.ME stat.ML
Spike-and-slab shrinkage priors for structurally sparse Bayesian neural networks
Computational Science Initiative, Brookhaven National Laboratory（布鲁克海文国家实验室计算科学倡议）；Department of Statistics and Probability, Michigan State University（密歇根州立大学统计与概率系）
本文提出结构稀疏贝叶斯神经网络，利用尖峰-平板组Lasso和Horseshoe先验剪除冗余节点，实现高效压缩与低延迟推理。
2024-08-21 cs.LG stat.ME stat.ML
Delta-STN: Efficient Bilevel Optimization for Neural Networks using Structured Response Jacobians
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
神经网络的超参数优化问题可以很好地表述为一个双层优化问题。虽然对神经网络的双层优化的研究一直由隐式微分和展开主导，但是诸如自调整网络（STNs）的超网络最近由于其摊销内部目标的优化的能力而获得了牵引力。在本文中，我们诊断了STNs训练中的几个微妙的病理。基于这些观察结果，我们提出了$Δ$，一种改进的超网络架构，它比STNs更有效地稳定训练和优化超参数。关键思想是专注于准确地近似最佳响应雅可比矩阵，而不是完整的最佳响应函数;我们通过重新参数化超网络并围绕当前参数线性化网络来实现这一点。我们的经验表明，我们的$Δ$ -正则化超参数（例如，权重衰减，辍学，剪切孔的数量）可以调整更高的精度，更快的收敛速度，并提高稳定性相比，现有的方法。
2020-10-26 cs.LG stat.ML
Learning Cluster Structured Sparsity by Reweighting
Wuhan University（武汉大学）
近年来，将迭代算法展开为有限长度前馈神经网络的范式在稀疏恢复领域取得了巨大的成功。受益于可用的训练数据，学习网络在速度和精度方面都达到了最先进的性能。然而，稀疏性背后的结构，对稀疏信号的支持施加约束，通常是一个必要的先验知识，但在现有的网络中很少考虑。在本文中，我们的目标是弥合这一差距。具体来说，利用迭代重加权$\ell_1$最小化（IRL 1）算法，我们提出了学习集群结构的稀疏性（CSS）通过rewegihting自适应。特别是，我们首先将重新加权迭代收缩算法（RwISTA）展开为一个端到端的可训练深度架构，称为RW-LISTA。在此基础上，提出了一种全局和局部加权的聚类结构稀疏学习方法。数值实验进一步表明，我们的算法对经典算法和基于学习的网络在不同的任务的优越性。
2019-10-11 cs.LG eess.SP stat.ML
Dirichlet Scale Mixture Priors for Bayesian Neural Networks
Department of Statistics & Data Science, University of Oslo（统计与数据科学系，奥斯陆大学）
本文提出狄利克雷尺度混合先验用于贝叶斯神经网络，通过结构化收缩解决现有局限，提升模型稀疏性、鲁棒性和预测性能。
2026-02-23 cs.LG stat.ML
Training Structured Neural Networks Through Manifold Identification and Variance Reduction
Academia Sinica（中央研究院）
本文提出了一种训练神经网络的算法（RMDA），该算法中引入了一个正则化项来提升期望的结构。RMDA不会引起额外的计算与动量近端SGD，并实现方差减小，而不需要的目标函数是有限和形式。通过从非线性优化流形识别的工具，我们证明，经过有限次迭代，所有的迭代RMDA具有所需的结构相同的正则化诱导的渐近收敛的稳定点，即使在存在的工程技巧，如数据增强和辍学，复杂的训练过程。训练神经网络与结构稀疏的实验证实，方差减少是必要的，这样的识别，并表明RMDA因此显着优于现有的方法，这项任务。对于非结构化稀疏性，RMDA也优于最先进的修剪方法，验证了通过正则化训练结构化NN的好处。
2022-03-18 cs.LG math.OC stat.ML
Self-Tuning Networks: Bilevel Optimization of Hyperparameters using Structured Best-Response Functions
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
超参数优化可以用公式表示为双层优化问题，其中训练集上的最优参数取决于超参数。我们的目标是通过将紧凑近似拟合到最佳响应函数来适应神经网络的正则化超参数，该函数将超参数映射到最佳权重和偏差。我们展示了如何通过将最佳响应建模为单个网络来构建神经网络的可扩展最佳响应近似，该网络的隐藏单元在正则化器上有条件地被选通。我们证明了这种近似，通过显示具有L2正则化雅可比矩阵的浅线性网络的确切最佳响应可以由类似的门控机制表示。我们使用基于梯度的超参数优化算法拟合该模型，该算法在当前超参数周围近似最佳响应和使用近似最佳响应函数优化超参数之间交替。与其他基于梯度的方法不同，我们不需要区分训练损失与超参数，允许我们调整离散超参数，数据增强超参数和辍学概率。由于超参数是在线适应的，我们的方法发现超参数时间表，可以超过固定的超参数值。从经验上讲，我们的方法在大规模深度学习问题上优于竞争的超参数优化方法。我们将在训练过程中在线更新自己的超参数的网络称为自调优网络（STNs）。
2019-03-07 cs.LG stat.ML
Spatially-Coupled Neural Network Architectures
Texas A&M University（德克萨斯农工大学）
在这项工作中，我们利用稀疏编码技术的进步，以减少在一个完全连接的神经网络的可训练参数的数量。虽然文献中的大多数作品都采用了$\ell_1$正则化、DropOut或DropConnect技术来诱导稀疏性，但我们的方案将特征重要性作为在网络中有效分配可训练参数（资源）的标准。即使保证了稀疏性，$\ell_1$正则化也需要在深度神经网络中的所有资源上进行训练。DropOut/DropConnect技术通过丢弃隐藏层中的神经元/边缘的随机集合来减少训练阶段中可训练参数的数量。然而，这两种技术在丢弃神经元/边缘时都不注意数据中的底层结构。此外，这些框架需要与完全连接的神经网络中的参数数量相当的存储空间。我们解决了上述问题，一个更结构化的架构灵感来自空间耦合稀疏结构。所提出的架构被证明具有类似于传统的完全连接的神经网络与辍学的性能，但实现了$94\%$减少的训练参数。大量的模拟和所提出的方案的性能与传统的神经网络架构进行了比较。
2019-07-03 cs.IT cs.LG math.IT
DASNet: Dynamic Activation Sparsity for Neural Network Efficiency Improvement
Duke University（杜克大学）；Black Sesame Technologies（黑芝麻科技）
为了提高嵌入式系统中神经网络的执行速度和效率，降低模型规模和计算复杂性是关键。除了传统的压缩技术之外，权重修剪和量化、去除不重要的激活可以减少数据通信的量和计算成本。与权重参数不同，激活模式与输入数据直接相关，从而动态变化。为了调节动态激活稀疏性（DAS），在这项工作中，我们提出了一种通用的低成本方法的基础上赢家通吃（WTA）辍学技术。通过建议的WTA丢弃增强的网络，即\textit{DASNet}，具有改进的稀疏水平的结构化激活稀疏性。与静态特征图修剪方法相比，DASNet提供了更好的计算成本降低。WTA技术可以很容易地应用于深度神经网络，而不会产生额外的训练变量。更重要的是，DASNet可以与其他压缩技术（如权重修剪和量化）无缝集成，而不会影响准确性。我们在各种网络和数据集上的实验显示了显着的运行时加速，精度损失可以忽略不计。
2019-09-13 cs.LG cs.NE stat.ML
T-LoHo: A Bayesian Regularization Model for Structured Sparsity and Smoothness on Graphs
图形通常用于表示复杂的数据结构。在处理图结构数据的模型中，多变量参数可能不仅表现出稀疏模式，而且在零和非零参数都倾向于聚集在一起的意义上具有结构稀疏性和平滑性。我们提出了一个新的先验的高维参数与图形关系，被称为基于树的低秩马蹄（T-LoHo）模型，推广流行的单变量贝叶斯马蹄收缩之前的多变量设置，同时检测结构稀疏性和光滑性。T-LoHo先验可以嵌入到许多高维分层模型中。为了说明它的效用，我们将其应用到正则化贝叶斯高维回归问题，其中的回归系数由一个图连接，使得到的集群具有灵活的形状，并满足集群邻接约束相对于图。我们设计了一个有效的马尔可夫链蒙特卡罗算法，提供完整的贝叶斯推断与模型参数的不确定性措施，如集群的数量。我们提供了理论研究的聚类效应和后验浓度的结果。最后，我们说明了该模型的性能与模拟研究和道路网络上的异常检测的实际数据应用。结果表明，与其他竞争方法（如稀疏融合套索）相比，有了很大的改进。
2021-10-27 stat.ME stat.ML
Posterior Contraction for Sparse Neural Networks in Besov Spaces with Intrinsic Dimensionality
University of Maryland（马里兰大学）；Yonsei University（延世大学）
本文证明稀疏贝叶斯神经网络在贝索夫空间上达到依赖内在维数的最优后验收缩率，缓解维数灾难，并实现速率自适应，为高维结构化估计提供理论依据。
2025-10-24 cs.LG stat.ML
Bayesian group latent factor analysis with structured sparsity
潜因子模型是一种典型的统计工具，用于探索性分析n个样本中具有p个特征的观测矩阵的低维线性结构。我们开发了一个结构化的贝叶斯组因子分析模型，该模型将因子模型扩展到多个耦合观测矩阵;在两个观测的情况下，这减少到典型相关分析的贝叶斯模型。这项工作的主要贡献是仔细定义了一个结构化的贝叶斯先验，鼓励元素和列的收缩，并导致高维数据的理想行为。特别是，我们的模型在联合因子加载矩阵上放置了一个结构化的先验，在三个级别上进行正则化，这使得与任意观测子集的结构化方差对应的潜在因子的元素稀疏性和无监督恢复成为可能。此外，我们的结构化先验允许密集和稀疏的潜在因素，使所有功能或只有一个子集的功能之间的协变都可以恢复。在此模型中，我们使用快速参数扩展期望最大化方法进行参数估计。我们验证了我们的方法与大量的结构和真实数据的模拟数据，对一些国家的最先进的方法进行比较。这些结果说明了我们的模型的有用特性，包括i）在存在密集效应的情况下恢复稀疏信号; ii）自然扩展到大量观测的能力; iii）灵活的观测和因子特定的正则化，以恢复具有各种稀疏水平和解释的方差百分比的因子;以及iv）易于处理的推理，可扩展到现代基因组和文档数据大小。
2015-11-11 q-bio.QM stat.ME stat.ML
Multiple Output Regression with Latent Noise
在高维数据中，由同时影响多个目标变量的观测和未观测因素引起的结构化噪声通过掩盖通常较弱的信号而对建模提出了严峻的挑战。因此，（1）解释多输出回归中的结构噪声是至关重要的。此外，（2）需要对回归权重的相关结构进行假设。我们注意到，两者都可以在潜变量模型中以自然的方式制定，其中感兴趣的信号和噪声都是通过相同的潜因子介导的。在这种假设下，信号模型通过鼓励对相关目标的类似影响，从噪声模型中借用强度。我们引入了一个超参数的\emph{latent signal-to-noise ratio}，这是重要的建模弱信号，和一个有序的无限维收缩前，解决了旋转不可识别的降秩回归模型。代谢物，基因表达，功能磁共振成像测量，和宏观经济时间序列数据的模拟和预测实验表明，我们的模型等于或超过国家的最先进的性能，特别是，优于假设独立的噪声和信号模型的标准方法。
2016-02-03 stat.ML
Uncertainty quantification for trustworthy deep learning: Methods and measures
Faculty of Computer Science, Dalhousie University（达尔豪斯大学计算机科学学院）
本综述针对深度学习的不确定性量化，梳理五大类方法及相关任务，整合评估框架，还探讨大语言模型不确定性与开放研究方向，为可信深度学习提供结构化批判性参考。
2026-07-31 cs.LG stat.ML
Clustering units in neural networks: upstream vs downstream information
University of Pennsylvania（宾夕法尼亚大学）；Mila Québec AI Institute（Mila魁北克人工智能研究所）；McGill University（麦吉尔大学）
有人假设，人工神经网络中的某种形式的“模块化”结构应该对学习、组合和泛化有用。然而，定义和量化模块化仍然是一个悬而未决的问题。我们将检测功能模块的问题转化为检测功能相似单元的集群的问题。这就引出了一个问题，是什么让两个单元在功能上相似。为此，我们考虑两大类方法：那些定义相似性的基础上如何单位响应结构化的变化输入（“上游”），以及那些基于隐藏的单位激活的变化如何影响输出（“下游”）。我们进行了一项实证研究，量化模块化的隐藏层表示的简单前馈，全连接的网络，在一系列的超参数。对于每个模型，我们使用各种上游和下游措施来量化每层隐藏单元之间的成对关联，然后使用网络科学中的既定工具通过最大化其“模块化得分”来对其进行聚类。我们发现了两个令人惊讶的结果：第一，dropout极大地增加了模块化，而其他形式的权重正则化的效果更温和。其次，虽然我们观察到，通常有很好的协议内的上游方法和下游方法的集群，有一点协议的集群分配在这两个家庭的方法。这对表征学习具有重要意义，因为它表明，找到反映输入结构的模块化表征（例如解纠缠）可能是学习反映输出结构的模块化表征（例如组合性）的不同目标。
2022-03-22 cs.LG cs.NE stat.ML
Noise Injection Node Regularization for Robust Learning
Raymond and Beverly Sackler School of Physics and Astronomy（雷蒙德与贝弗利·萨克勒物理与天文学院）；Tel-Aviv University（特拉维夫大学）；Berkeley Center for Theoretical Physics（伯克利理论物理中心）；University of California, Berkeley（加州大学伯克利分校）；NHETC, Department of Physics and Astronomy（物理与天文系新泽西高能理论中心（NHETC））；Rutgers University（罗格斯大学）
本研究提出噪声注入节点正则化NINR方法，通过在训练时向深度神经网络注入结构化噪声提升鲁棒性，无需改动原有网络与算法，对非结构化噪声等扰动效果优于现有方法，且能维持干净数据上的泛化性能。
2022-10-27 cond-mat.dis-nn cond-mat.stat-mech cs.AI
