Dropout Regularization in Extended Generalized Linear Models based on Double Exponential Families
University of Hamburg（汉堡大学）；National University of Singapore（新加坡国立大学）；Technische Universität Dortmund（多特蒙德工业大学）；Research Center Trustworthy Data Science and Security（可信数据科学与安全研究中心）
本文研究基于双指数族的扩展广义线性模型中的Dropout正则化，理论证明其偏好稀有重要特征，并应用于B样条自适应平滑，实验表明优于惩罚最大似然方法。
2024-07-28 cs.LG stat.ML
On the Regularization Properties of Structured Dropout
Mathematical Institute for Data Science, Johns Hopkins University（约翰斯·霍普金斯大学数据科学数学研究所）
Dropout及其扩展（例如，DropBlock和DropConnect）是用于训练神经网络的流行算法，在实践中已被证明可以提高泛化性能。然而，对它们的优化和正则化性质的理论理解仍然难以捉摸。最近的工作表明，在单隐层线性网络的情况下，Dropout是一种用于最小化正则化损失的随机梯度下降方法，并且正则化器诱导低秩和平衡的解。在这项工作中，我们表明，对于单隐藏层线性网络，DropBlock诱导谱k-支撑范数正则化，并促进低秩和具有相等范数因子的解决方案。我们还证明了DropBlock的全局极小值可以以封闭形式计算，并且DropConnect等价于Dropout。然后，我们表明，这些结果中的一些可以扩展到一般类的Dropout策略，并在一些假设下，深度非线性网络时，Dropout应用到最后一层。我们验证了我们的理论主张和假设实验常用的网络架构。
2020-06-20 cs.LG stat.ML
Dropout Regularization in Hierarchical Mixture of Experts
Bloomberg L.P.（彭博有限合伙企业）；Boğaziçi University（博阿齐奇大学）
Dropout是一种非常有效的防止过拟合的方法，近年来已成为多层神经网络的常用正则化器。专家的分层混合专家模型是定义软决策树的分层选通模型，其中叶对应于专家，并且决策节点对应于在其子节点之间进行软选择的选通模型，并且因此，该模型定义输入空间的软分层划分。在这项工作中，我们提出了一个变体的辍学分层混合专家模型，是忠实于树层次结构定义的模型，而不是有一个平坦的，unitwise独立的应用辍学，因为一个有多层感知器。我们表明，在合成回归数据和MNIST和CIFAR-10数据集上，我们提出的dropout机制可以防止树上的过度拟合，具有许多级别，提高了泛化能力，并提供了更平滑的拟合。
2018-12-25 cs.LG stat.ML
Dropout Training as Adaptive Regularization
Stanford University（斯坦福大学）
Dropout和其他特征噪声方案通过人为破坏训练数据来控制过拟合。对于广义线性模型，dropout执行一种形式的自适应正则化。使用这种观点，我们表明，辍学正则化是一阶等效的L2正则化应用后，通过估计的逆对角费舍尔信息矩阵的功能。我们还与在线学习算法AdaGrad建立了联系，并发现AdaGrad的近亲通过反复解决线性丢弃正则化问题来操作。通过将dropout转换为正则化，我们开发了一种自然的半监督算法，该算法使用未标记的数据来创建更好的自适应正则化器。我们将这个想法应用于文档分类任务，并表明它始终提高了dropout训练的性能，改善了IMDB评论数据集上的最新结果。
2013-11-01 cs.LG stat.ME stat.ML
Neuron-Specific Dropout: A Deterministic Regularization Technique to Prevent Neural Networks from Overfitting & Reduce Dependence on Large Training Samples
Perry High School（佩里高中）
为了开发其输入和输出之间的复杂关系，深度神经网络训练和调整大量参数。为了使这些网络以高精度工作，需要大量的数据。然而，有时，训练所需的数据量并不存在或无法获得。Neuron-specific dropout（NSDropout）是解决这个问题的工具。NSDropout查看模型中一个层的训练过程和验证过程。通过比较数据集中每个类的每个神经元产生的平均值，网络能够丢弃目标单元。该层能够预测模型在测试期间正在查看哪些特征或噪声，这些特征或噪声在查看验证样本时不存在。与dropout不同的是，“稀疏”网络不能在测试中“非稀疏”。神经元特定的dropout已被证明可以实现类似的，如果不是更好的，测试精度与传统方法，包括dropout和其他正则化方法相比，数据少得多。实验表明，特定于神经元的丢弃减少了网络过拟合的机会，并减少了图像识别中监督学习任务对大训练样本的需求，同时产生了一流的结果。
2022-01-13 cs.LG stat.ML
On Dropout and Nuclear Norm Regularization
Johns Hopkins University（约翰斯·霍普金斯大学）
我们给出了具有平方损失的深度线性网络中dropout诱导的显式正则化子的形式和完整刻画。我们表明：（a）显式正则化是由一个$\ell_2$ -路径正则化和其他条款，也重新缩放不变，（b）的凸包络的诱导正则化是平方核范数的网络地图，和（c）对于一个足够大的辍学率，我们刻画的辍学目标的全局最优值。我们验证了我们的理论研究结果与实证结果。
2019-05-28 cs.AI cs.LG stat.ML
The Hybrid Bootstrap: A Drop-in Replacement for Dropout
正则化是预测模型构建的重要组成部分。混合自举是一种正则化技术，其功能类似于dropout，除了特征是从其他训练点重新采样而不是用零替换。我们表明，混合引导提供了优越的性能辍学。我们还提出了一种基于采样的技术，以简化超参数的选择。接下来，我们为卷积神经网络提供一种替代采样技术。最后，我们证明了使用基于树的模型的非图像任务的混合引导的功效。
2018-01-22 cs.LG stat.ML
Implicit regularization of dropout
Shanghai Jiao Tong University（上海交通大学）
本研究推导并验证了dropout的隐式正则化理论，发现其能使隐藏神经元权重凝聚并找到更平坦的极小值，从而提升泛化能力，为全面理解dropout奠定基础。
2023-04-10 cs.LG
Explicit Dropout: Deterministic Regularization for Transformer Architectures
Faculty of Information Technology and Communications（信息科技与通信学院）；Department of Electrical and Computer Engineering（电气与计算机工程系）
本文提出显式Dropout作为Transformer架构的确定性正则化方法，通过直接纳入训练损失来表达Dropout，提供对注意力和前馈网络层的更精细控制，并在多个任务中表现优异。
2026-04-22 cs.LG
Data Dropout in Arbitrary Basis for Deep Network Regularization
University of Central Florida（中佛罗里达大学）
训练高容量深度网络的一个重要问题是确保训练后的网络在训练数据集之外的新输入下工作良好。Dropout是一种有效的正则化技术，可以提高网络泛化能力，其中给定数据和提取特征的元素的随机子集在训练过程中被设置为零。在本文中，提出了一种新的随机正则化技术，在该技术中，我们保留了数据的随机部分，而不必关闭神经元/数据元素。在所提出的方法，其中传统的辍学被证明是一个特殊的情况下，随机数据辍学是在任意的基础上进行，因此指定广义辍学。我们还提出了一个框架，使所提出的技术可以有效地应用于卷积神经网络。数值实验表明，所提出的技术产生显着的性能增益。广义Dropout为Dropout的概念提供了新的视角，表明了通过使用不同的基矩阵可以获得不同的性能增益，并为如何选择最佳基矩阵以获得最大性能增益开辟了新的研究课题。
2017-12-05 cs.CV cs.LG stat.ML
On the Inductive Bias of Dropout
UC Santa Cruz（加州大学圣克鲁兹分校）；Microsoft（微软）
Dropout是一种简单但有效的学习技术，用于神经网络和其他设置。需要对dropout有一个合理的理论理解，以确定何时应用dropout以及如何最有效地使用它。在本文中，我们继续探索dropout作为由Wager等人开创的正则化器。我们专注于线性分类，其中错误分类损失（即逻辑回归中使用的逻辑损失）的凸代理被最小化。我们展示：（a）当丢弃正则化准则具有唯一的最小值时，（b）当丢弃正则化惩罚随着权重变为无穷大时，并且当它保持有界时，（c）随着各个权重从0增加，丢弃正则化可以是非单调的，以及（d）丢弃正则化惩罚可能不是凸的。最后一点特别令人惊讶，因为dropout正则化与任何凸损失代理的组合总是凸函数。为了对比dropout正则化与$L_2$正则化，我们形式化了不同的源何时与不同的正则化更兼容的概念。然后，我们展示的分布是可证明的更兼容的dropout正则化比$L_2$正则化，反之亦然。这些来源提供了对dropout和$L_2$正则化的归纳偏差如何不同的额外见解。对于$L_1$正则化，我们给出了一些类似的结果.
2015-02-17 cs.AI cs.LG cs.NE
RotationOut as a Regularization Method for Neural Network
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一种新的正则化方法，RotationOut，神经网络。与独立处理每个神经元/通道的Dropout不同，RotationOut将其输入层视为整个向量，并通过随机旋转向量来引入正则化。RotationOut也可以用于卷积层和递归层，只需进行少量修改。我们进一步使用噪声分析方法来解释RotationOut和Dropout之间在共适应减少方面的差异。使用这种方法，我们还展示了如何将RotationOut/Dropout与批量归一化一起使用。在视觉和语言任务中进行了大量的实验，以证明所提出的方法的有效性。代码可从\url{https://github.com/RotationOut/RotationOut}获得。
2019-11-18 cs.LG stat.ML
An ETF view of Dropout regularization
School of Electrical Engineering（工程学院）；Tel Aviv University（特拉维夫大学）
Dropout是深度学习中流行的正则化技术。然而，其成功的原因仍然没有完全理解。本文从框架理论的角度对辍学现象进行了新的阐释。通过与模拟信道编码的最新发展建立联系，我们建议对于具有线性编码器的某个自编码器家族，使用丢弃正则化优化编码器会导致等角紧帧（ETF）。由于这种优化是非凸的，我们添加了另一种正则化，通过最小化网络中滤波器之间的互相关来促进这种结构。我们证明了它在前馈和递归网络中的卷积层和全连接层中的适用性。所有这些结果表明，确实有一个辍学和ETF结构的正则化线性操作之间的关系。
2020-08-19 cs.AI cs.IT cs.LG
Continuum Dropout for Neural Differential Equations
针对神经微分方程难以应用Dropout而易过拟合的问题，本文基于交替更新过程提出通用正则化技术Continuum Dropout，可提升模型泛化能力、量化预测不确定性，在多类任务上性能优于现有正则化方法。
2025-11-18 cs.LG stat.ML
Learning Deep Networks from Noisy Labels with Dropout Regularization
Wayne State University（韦恩州立大学）
大型数据集通常具有不可靠的标签-例如从亚马逊的Mechanical Turk或社交媒体平台获得的标签-并且在错误标记的数据集上训练的分类器通常表现出较差的性能。我们提出了一种简单有效的技术，用于在训练深度神经网络时考虑标签噪声。我们使用softmax层来增强标准深度网络，该层对标签噪声统计进行建模。然后，我们通过端到端的随机梯度下降在（可能是错误标记的）数据集上联合训练深度网络和噪声模型。增强模型是超定的，因此为了鼓励学习非平凡的噪声模型，我们在训练期间对噪声模型的权重应用dropout正则化。在CIFAR-10和MNIST数据集的噪声版本上的数值实验表明，所提出的dropout技术优于最先进的方法。
2017-05-09 cs.CV cs.LG stat.ML
Adaptive Tabu Dropout for Regularization of Deep Neural Network
United International University（联合国际大学）；Brac University（BRAC大学）
本文提出自适应禁忌丢弃机制，通过禁忌任期和基于训练表现自动选择任期来增强深度神经网络正则化的多样性，实验证明其优于标准丢弃和基本禁忌丢弃。
2024-12-31 cs.LG
Asymptotics of Stochastic Gradient Descent with Dropout Regularization in Linear Models
University of Chicago（芝加哥大学）；University of Twente（特文特大学）
该研究建立了带Dropout正则化的SGD及平均SGD迭代的渐近理论，提出长期协方差在线估计器，实验验证大样本下置信区间接近标称覆盖概率。
2024-09-11 cs.LG math.ST stat.ML
Analytic theory of dropout regularization
Rudolf Peierls Centre for Theoretical Physics, University of Oxford（奥xford大学鲁道夫佩尔尔斯理论物理中心）；Graduate Center, City University of New York（纽约城市大学研究生中心）；Joseph Henry Laboratories of Physics, Princeton University（普林斯顿大学约瑟夫亨利物理实验室）
本文通过高维极限下的常微分方程解析研究了两层神经网络中dropout的动力学，揭示了其减少隐藏节点相关性、缓解标签噪声的作用，并指出最优dropout概率随噪声水平增加而增大。
2025-09-08 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Dropout as a Low-Rank Regularizer for Matrix Factorization
Istituto Italiano di Tecnologia（意大利技术研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
矩阵分解（MF）和近似问题的正则化已经以许多不同的方式进行。由于其在深度学习中的流行，dropout也被应用于这类问题。尽管dropout有着坚实的经验表现，但它作为正则化子的理论性质对于这类问题仍然非常难以捉摸。在本文中，我们提出了一个理论分析的脱落MF，其中伯努利随机变量用于下降列的因素。我们证明了辍学和完全确定性模型MF中的因素是正规化的平方欧几里德规范的列的产品的总和之间的等价性。此外，我们检查的情况下，一个可变大小的分解，我们证明了辍学达到全局最小值的凸逼近问题（平方）核范数正则化。因此，我们可以得出结论，dropout可以作为一个低秩正则化与数据相关的奇异值阈值。
2017-10-13 cs.LG stat.ML
Information Geometry of Dropout Training
The Graduate University for Advanced Studies (SOKENDAI)（综合研究大学院大学（SOKENDAI））；The Institute of Statistical Mathematics（统计数学研究所）
Dropout是神经网络训练中最常用的正则化技术之一。由于它的力量和简单的想法，辍学已被广泛分析，并提出了许多变种。本文从信息几何的观点统一讨论了丢弃的几个性质。我们证明了dropout对模型流形的正则化性能依赖于曲率的大小。然后，我们表明，dropout基本上对应于依赖于费舍尔信息的正则化，并支持这一结果从数值实验。这种从不同角度对该技术的理论分析有望极大地帮助理解仍处于起步阶段的神经网络。
2022-06-22 cs.IT cs.LG math.IT
Differentially Private Variational Dropout
Boğaziçi University（海峡大学）
具有大量参数的深度神经网络是高度灵活的学习系统。这种网络的高度灵活性带来了一些严重的问题，如过拟合，正则化被用来解决这个问题。目前流行的一种有效的正则化技术是dropout。通常，神经网络所需的大量数据集合包含敏感信息，例如患者的病史，并且应该保护训练数据的隐私。在本文中，我们修改了最近提出的变分辍学技术，提供了一个优雅的贝叶斯解释辍学，并表明，在变分辍学的固有噪声可以利用，以获得一定程度的差分隐私。训练神经网络的迭代性质对隐私保护估计提出了挑战，因为多次迭代增加了添加的噪声量。我们克服了这一点，使用一个宽松的概念，差分隐私，称为集中差分隐私，它提供了更严格的估计整体隐私损失。我们在基准数据集上证明了我们的隐私保护变分丢弃算法的准确性。
2017-12-16 cs.LG stat.ML
Gating Dropout: Communication-efficient Regularization for Sparsely Activated Transformers
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Microsoft（微软）
稀疏激活的Transformers，如混合专家模型（MoE），已收到极大的兴趣，由于其惊人的缩放能力，使戏剧性地增加模型的大小，而不会显着增加计算成本。为了实现这一点，MoE模型在Transformers中用专家混合子层替换前馈子层，并使用门控网络将每个令牌路由到其分配的专家。由于这种模型的有效训练的常见做法需要在不同的机器上分配专家和令牌，这种路由策略通常会产生巨大的跨机器通信成本，因为令牌及其分配的专家可能驻留在不同的机器上。在本文中，我们提出了\emph{Gating Dropout}，它允许令牌忽略门控网络，并留在他们的本地机器，从而减少跨机器通信。与传统的dropout类似，我们还证明了Gating Dropout在训练过程中具有正则化效果，从而提高了泛化性能。我们在多语言机器翻译任务上验证了门控丢弃的有效性。我们的研究结果表明，门控Dropout改进了最先进的MoE模型，具有更快的挂钟时间收敛速度和更好的BLEU分数，适用于各种模型大小和数据集。
2022-07-04 cs.LG
Macro-block dropout for improved regularization in training end-to-end speech recognition models
Samsung Electronics（三星电子）；Samsung Research（三星研究院）
本文提出了一种新的正则化算法称为宏块丢弃。过拟合问题一直是训练大型神经网络模型的一个难题。dropout技术已被证明是简单但非常有效的正则化，可以防止训练过程中复杂的协同适应。在我们的工作中，我们定义了一个宏块，其中包含大量的单元从输入到递归神经网络（RNN）。我们不是对每个单元应用dropout，而是对每个宏块应用随机dropout。该算法在保持平均丢弃率不变的情况下，对每一层应用不同的丢弃率，具有更好的正则化效果。在我们的实验中，使用递归神经网络传感器（RNN-T），该算法显示相对于LibriSpeech测试-干净和测试-其他的传统辍学的字出错率（WRs）的4.30%和6.13%的改善。在基于注意力的编码器-解码器（AED）模型下，该算法在相同的测试集上比传统的丢弃算法分别提高了4.36%和5.85%。
2022-12-29 cs.CL cs.LG cs.SD
Effective and Efficient Dropout for Deep Convolutional Neural Networks
National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）；Beijing Institute of Technology（北京理工大学）
基于卷积神经网络（CNN）的应用已经变得无处不在，其中非常需要适当的正则化。为了防止大型神经网络模型的过拟合，dropout作为一种有效的正则化技术在实践中得到了广泛的应用。然而，最近的许多工作表明，标准的dropout是无效的，甚至不利于CNN的训练。在本文中，我们重新审视了这个问题，并研究了各种dropout变体，试图改进CNN现有的基于dropout的正则化技术。我们将标准dropout的失败归因于dropout的随机性与其后续的批量归一化（BN）之间的冲突，并建议通过将dropout操作放置在卷积操作之前而不是BN来减少冲突，或者通过用组归一化（GN）代替BN来完全解决这个问题。我们进一步引入了一个结构上更合适的dropout变体Drop-Conv 2d，它为深度CNN提供了更高效和更有效的正则化。这些dropout变体可以很容易地集成到CNN的构建块中，并在现有的深度学习平台中实现。在包括CIFAR，SVHN和ImageNet在内的基准数据集上进行了广泛的实验，以比较现有的构建块和建议的辍学训练。结果表明，我们的构建块比最先进的CNN有显著的改进，这主要是由于更好的正则化和隐式模型集成效应。
2020-07-28 cs.CV cs.LG
Max-Pooling Dropout for Regularization of Convolutional Neural Networks
Fudan University（复旦大学）
最近，dropout在深度学习中的使用越来越多。对于深度卷积神经网络，已知dropout在全连接层中工作良好。然而，其在池化层中的效果仍然不清楚。本文证明了最大池化dropout等价于在训练时基于多项分布随机选择激活。鉴于这一见解，我们主张采用我们提出的概率加权池，而不是常用的最大池，在测试时作为模型平均。经验证据验证了概率加权池的优越性。我们还比较了最大池辍学和随机池，这两个引入随机性的基础上，多项分布在汇集阶段。
2015-12-04 cs.CV cs.LG cs.NE
Investigating the Relationship Between Dropout Regularization and Model Complexity in Neural Networks
用于减少方差的Dropout正则化在深度学习模型中几乎无处不在。我们通过训练2,000个神经网络来探索丢失率和模型复杂度之间的关系，这些神经网络配置有丢失率和每个密集层中隐藏单元数量的随机组合，在我们选择的三个数据集上。所生成的图具有z轴上的二进制交叉熵损失和二进制精度，质疑了在增加丢失率的同时向密集层增加深度肯定会提高性能的常见假设。我们还发现了两个超参数之间的复杂相关性，我们通过构建额外的机器学习和深度学习模型来量化这些超参数，这些模型预测每个密集层中给定一些隐藏单元的最佳辍学率。线性回归和多项式逻辑回归需要使用任意阈值来选择回归中包括的成本数据点，并分别为成本数据点分配二元分类。这些机器学习模型的性能一般，因为它们的天真本质阻止了复杂决策边界的建模。转向深度学习模型，我们构建了神经网络，该网络可以在给定每个密集层中隐藏单元的数量、期望的成本和模型的期望精度的情况下预测最佳辍学率。然而，这种尝试遇到了一个数学错误，可以归因于垂直线测试的失败。最终的深度学习模型是一个神经网络，其决策边界代表了之前生成的2,000个数据点。这个最终的模型使我们设计出一种很有前途的方法来调整超参数，以最大限度地减少计算费用，同时最大限度地提高性能。该策略可以应用于任何模型超参数，并有望在工业模型中进行更有效的调整。
2021-08-26 cs.LG
Dynamic Dropout: Leveraging Conway's Game of Life for Neural Networks Regularization
ULPGC
本文提出用康威生命游戏替代静态丢弃，通过动态单元停用进行神经网络正则化，在CIFAR-10上达到与传统丢弃相当的性能，并提升深层架构的泛化能力。
2025-10-25 cs.AI cs.CV cs.LG
Length Generalization Needs Proper Regularization
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Instituto de Telecomunicações（电信研究所）；ELLIS Unit Lisbon（ELLIS 里斯本分部）；Gandara AI
本研究揭示长度泛化不仅依赖架构，还受训练正则化影响；权重衰减阻碍外推，而调整dropout位置可显著改善，并提出VPAD策略进一步提升外推性能。
2026-10-06 cs.LG
Ising-Dropout: A Regularization Method for Training and Compression of Deep Neural Networks
University of Toronto（多伦多大学）
过拟合是训练机器学习模型的主要问题，特别是深度神经网络。这个问题可能是由不平衡的数据集和模型参数的初始化引起的，这使模型过于接近训练数据，并且负面地影响模型对于看不见的数据的泛化性能。最初的dropout是一种正则化技术，用于在训练过程中随机丢弃隐藏单元。在本文中，我们提出了一种自适应技术，明智地删除在一个深神经网络的伊辛能量的网络中的可见和隐藏的单元。初步结果表明，该方法在保持原有网络分类性能的同时，避免了在每个训练周期中对不必要的网络参数进行优化。单元的退出状态也可以应用于训练的（推理）模型。对于MNIST和Fashion-MNIST数据集上的分类任务，该技术可以分别将网络的参数数量压缩到41.18%和55.86%。
2019-02-07 cs.LG cs.NE
Exploiting semi-supervised training through a dropout regularization in end-to-end speech recognition
Idiap Research Institute（伊迪亚普研究所）；Adobe Research（奥多比研究院）
在本文中，我们探讨了各种方法的半监督学习的端到端的自动语音识别（ASR）框架。我们方法的第一步涉及在有限数量的标记数据上训练种子模型。通过数据选择机制采用额外的未标记语音数据以获得最佳假设输出，进一步用于重新训练种子模型。然而，单一假设可能无法很好地捕捉模型的不确定性。相对于这种技术，我们采用了辍学机制，以捕捉的不确定性，通过获得多个假设的文本转录的语音记录。我们假设自动生成的转录的话语的多样性将隐含地增加模型的可靠性。最后，数据选择过程也适用于这些假设的成绩单，以减少不确定性。在免费提供的TEDLIUM语料库和专有的Adobe内部数据集上的实验表明，与基线模型相比，所提出的方法显着减少了ASR错误。
2019-08-08 cs.LG cs.SD eess.AS
Scheduled DropHead: A Regularization Method for Transformer Models
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们介绍了DropHead，这是一种专门为正则化多头注意力机制而设计的结构化dropout方法，它是Transformer的关键组件，这是一种用于各种NLP任务的最先进模型。与传统的随机丢弃单元或连接的丢弃机制相比，所提出的DropHead是一种结构化的丢弃方法。它在训练期间丢弃整个注意力头部，并且防止多头注意力模型被一小部分注意力头部支配，同时还降低了过拟合训练数据的风险，从而更有效地利用多头注意力机制。基于对多头注意力机制学习动态的研究，提出了一种特定的丢弃率调度方案，自适应地调整DropHead的丢弃率，以达到更好的正则化效果.在机器翻译和文本分类基准数据集上的实验结果证明了该方法的有效性。
2020-11-01 cs.CL cs.LG
Dropout with Tabu Strategy for Regularizing Deep Neural Networks
Griffith University（格里菲斯大学）；Jinan University（暨南大学）
Dropout已被证明是一种有效的正则化技术，可以防止深度神经网络（DNN）中神经元的协同适应。它在DNN的训练阶段以概率$p$随机丢弃单元。Dropout还提供了一种近似地以指数方式有效地组合许多不同的神经网络架构的方法。在本文中，我们在dropout中加入了一个多样化策略，目的是在适当的迭代次数内生成更多不同的神经网络结构。将标记上次前向传播中丢弃的单元。然后，如果在最后一次前向传播中已标记了当前FP中用于丢弃的所选单元，则将保留它们。我们只标记最后一次向前传播的单元。我们称这种新技术为Tabu Dropout。与标准Dropout相比，Tabu Dropout没有额外的参数，而且计算成本很低。在MNIST、Fashion-MNIST数据集上进行的实验表明，Tabu Dropout算法提高了标准Dropout算法的性能。
2018-08-29 cs.LG stat.ML
Pretraining Language Models with Subword Regularization: An Empirical Study of BPE Dropout in Low-Resource NLP
Department of Computer Science, Stellenbosch University（斯瓦茨堡大学计算机科学系）
本文研究了在低资源NLP中预训练时应用BPE Dropout对下游性能的影响，发现随机分词在预训练和微调时均优于仅在微调时应用，尤其在数据较少时表现更佳。
2026-05-13 cs.CL cs.LG
Differentially Private Dropout
Boğaziçi University（海峡大学）
训练神经网络所需的大量数据集合通常包含敏感信息，例如患者的病史，并且必须保护训练数据的隐私。在本文中，我们介绍了一个辍学技术，提供了一个优雅的贝叶斯解释辍学，并表明，固有的噪声添加，与正则化的主要目标，可以利用获得一定程度的差分隐私。训练神经网络的迭代性质对隐私保护估计提出了挑战，因为多次迭代增加了添加的噪声量。我们克服了这一点，使用一个宽松的概念，差分隐私，称为集中差分隐私，它提供了更严格的估计整体隐私损失。我们在基准数据集上证明了我们的隐私保护dropout算法的准确性。
2017-11-30 cs.LG stat.ML
Relevance-driven Input Dropout: an Explanation-guided Regularization Technique
Fraunhofer Heinrich Hertz Institute, Department of Artificial Intelligence（弗劳恩霍夫海因里希·赫茨研究所人工智能部门）；Lehrstuhl für Angewandte Mathematik, University of Bayreuth（拜罗伊特大学应用数学研究所）；Technische Universität Berlin（柏林技术大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；Centre of eXplainable Artificial Intelligence, Technological University Dublin（解释性人工智能中心，都柏林技术大学）
针对ML模型过拟合问题，提出相关性驱动的输入Dropout（RelDrop）方法，通过选择性遮挡输入中最相关区域促使模型利用更多特征，从而提升模型鲁棒性和泛化性能。
2025-05-27 cs.AI cs.LG
Do Neural Topic Models Really Need Dropout? Analysis of the Effect of Dropout in Topic Modeling
Indian Association for the Cultivation of Science（印度科学培养协会）
Dropout是一种广泛使用的正则化技巧，用于解决在小数据集上训练的大型前馈神经网络中的过拟合问题，该数据集在保留的测试子集上表现不佳。虽然这种正则化技巧的有效性已经在卷积神经网络中得到了广泛的研究，但缺乏对无监督模型的分析，特别是基于VAE的神经主题模型。在本文中，我们已经分析了辍学的后果，在编码器中，以及在解码器的VAE架构中的三个广泛使用的神经主题模型，即上下文主题模型（CTM），EMLDA，和嵌入式主题模型（ETM）使用四个公开可用的数据集。我们的特征辍学的影响，这些模型的质量和预测性能的生成的主题。
2023-03-28 cs.CL cs.LG
Enhancing Transformer Training Efficiency with Dynamic Dropout
ASCENDING inc.（ASCENDING公司）
本文提出 Dynamic Dropout 技术，通过动态调整 dropout 率以平衡正则化与模型容量，在 Shakespeare_char 数据集上显著加速 GPT 模型训练并提升推理效率，其中基于验证损失的调度策略表现最佳。
2024-11-05 cs.LG
Fraternal Dropout
Jagiellonian University（雅盖隆大学）；MILA, Université de Montréal（蒙特利尔大学MILA研究所）；CIFAR Senior Fellow（CIFAR高级研究员）
循环神经网络（RNN）是一类重要的神经网络体系结构，可用于语言建模和序列预测。然而，与前馈神经网络相比，优化RNN更难。在文献中已经提出了许多技术来解决这个问题。在本文中，我们提出了一个简单的技术称为兄弟辍学，利用辍学来实现这一目标。具体来说，我们建议使用不同的dropout掩码来训练RNN的两个相同副本（共享参数），同时最小化它们（softmax之前）预测之间的差异。通过这种方式，我们的正则化鼓励RNN的表示对dropout mask保持不变，从而具有鲁棒性。我们表明，我们的正则化项是上限的期望线性辍学目标，已被证明是解决差距，由于辍学的训练和推理阶段之间的差异。我们评估了我们的模型，并在两个基准数据集- Penn Treebank和Wikitext-2上的序列建模任务中取得了最先进的结果。我们还表明，我们的方法导致图像字幕（Microsoft COCO）和半监督（CIFAR-10）任务的性能提高了显着的利润。
2018-03-28 cs.AI cs.LG stat.ML
Y-Drop: A Conductance based Dropout for fully connected layers
School of ECE, National Technical University of Athens（雅典国立技术大学电气与计算机工程学院）；ILSP, Athena RC（雅典娜研究中心语言与语音处理研究所）；Behavioral Signal Technologies（行为信号技术公司）
本研究提出基于神经元电导的正则化方法Y-Drop，通过提高重要神经元的丢弃概率增强正则化效果，其缩放性优于 vanilla dropout，在多数据集和架构上仅需少量调参即可取得更优性能。
2024-09-11 cs.LG cs.NE
Compressing Features for Learning with Noisy Labels
KU Leuven（鲁汶大学）；Samsung AI Center（三星人工智能中心）；Tencent AI lab（腾讯人工智能实验室）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
监督学习可以被看作是从输入数据中提取相关信息到特征表示中。当监督是嘈杂的时，这个过程变得困难，因为提取的信息可能不相关。事实上，最近的研究表明，网络很容易过拟合所有标签，包括那些被破坏的标签，因此很难推广到干净的数据集。在本文中，我们专注于带噪声标签的学习问题，并将压缩归纳偏差引入网络架构，以缓解这种过拟合问题。更确切地说，我们重新审视了一个经典的正则化称为Dropout和它的变种嵌套Dropout。Dropout可以作为其特征丢弃机制的压缩约束，而Nested Dropout进一步学习有序特征表示w.r.t.特征重要性。此外，压缩正则化的训练模型进一步与Co-teaching相结合，以提高性能。在理论上，我们对压缩正则化下的目标函数进行了偏差-方差分解。我们针对单一模型和联合教学进行了分析。这种分解提供了三个见解：（i）它表明过拟合确实是使用有噪标签学习的一个问题;（ii）通过信息瓶颈公式，它解释了为什么提出的特征压缩有助于对抗标签噪音;（iii）它解释了将压缩正则化纳入联合教学带来的性能提升。实验表明，我们的简单方法可以在具有真实世界标签噪声的基准测试（包括Clothing 1 M和ANIMAL-10 N）上具有与最先进的方法相当甚至更好的性能。我们的实现可以在https://yingyichen-cyy.github.io/CompressFeatNoisyLabels/上获…
2022-06-27 cs.LG stat.ML
Neural Network Regularization via Robust Weight Factorization
University of Guelph（圭尔夫大学）
在训练大型神经网络时，正则化是必不可少的。由于深度神经网络可以在数学上解释为通用函数逼近器，因此它们在记忆训练数据中的采样噪声方面是有效的。这导致对不可见数据的泛化能力较差。因此，毫不奇怪，一种新的正则化技术Dropout是多伦多大学ImageNet 2012年获奖作品的部分原因。目前，Dropout（以及相关方法，如DropConnect）是正则化大型神经网络的最有效方法。这相当于在训练时有效地访问大量相关模型，同时在测试时将它们聚合为单个预测器。所提出的FaMe模型旨在应用类似的策略，但学习每个权重矩阵的因子分解，使得因子对噪声具有鲁棒性。
2015-01-05 cs.LG cs.NE stat.ML
Dropout Training for Support Vector Machines
Tsinghua University（清华大学）
丢弃和其他特征噪声方案在通过人为破坏训练数据来控制过拟合方面显示出有希望的结果。虽然人们对广义线性模型进行了广泛的理论和实证研究，但对于监督学习最成功的方法之一支持向量机的研究却很少。本文提出了线性支持向量机的辍学训练。为了解决非光滑铰链损失在破坏分布下的难以处理的期望，我们通过探索数据增强技术，开发了一种迭代重加权最小二乘（IRLS）算法。我们的算法迭代地最小化期望的重新加权最小二乘问题，其中重新的权重有封闭形式的解决方案。类似的思想被应用于开发一个新的IRLS算法的期望逻辑损失下的腐败分布。我们的算法提供了关于辍学训练中铰链损失和逻辑损失之间的联系和差异的见解。在几个真实数据集上的实验结果表明，辍学训练的有效性显着提高线性支持向量机的分类精度。
2014-04-16 cs.LG
Dropout as a Structured Shrinkage Prior
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）；Alan Turing Institute（艾伦·图灵研究所）；University of California, Irvine（加州大学欧文分校）
深度神经网络的丢弃正则化是一种神秘而有效的防止过拟合的工具。其成功的解释范围从防止“共同适应”的权重，它是一种廉价的贝叶斯推断的形式。我们提出了一个新的框架来理解神经网络中的乘性噪声，考虑了连续分布以及伯努利噪声（即辍学）。我们发现，乘性噪声诱导结构化收缩先验网络的权重。我们通过尺度混合物的重新参数化性质得到等价性，而不需要调用任何近似。鉴于等价性，我们然后表明，辍学的蒙特卡罗训练目标接近边际MAP估计。我们利用这些见解，提出了一种新的收缩框架resnets，terning之前的“自动深度确定”，因为它是网络深度的自动相关性确定的自然模拟。最后，我们研究了两种推理策略，改进了回归基准中的MAP近似。
2019-05-29 cs.LG stat.ML
Correcting the Dropout-LayerNorm Expectation Gap Improves Protein Structure Models
University of Oxford（牛津大学）；Recursion（Recursion公司）
本研究揭示了Dropout后接LayerNorm在评估时产生的系统性偏差，提出闭式一阶修正（DLC），在十个蛋白质结构模型上以极小计算开销提升准确性0.3%-13%，为预训练模型提供免费改进。
2026-09-29 cs.LG q-bio.BM
MaxDropout: Deep Neural Network Regularization Based on Maximum Output Values
Federal University of Sao Carlos - UFSCar（圣卡洛斯联邦大学）；Petróleo Brasileiro - Petrobras（巴西国家石油公司）；São Paulo State University - UNESP（圣保罗州立大学）
在深度学习场景中出现了不同的技术，例如卷积神经网络、深度信念网络和长短期记忆网络。在锁步中，正则化方法，其目的是通过惩罚权重连接或关闭某些单元来防止过拟合，也得到了广泛的研究。在这篇论文中，我们提出了一种名为MaxDropout的新方法，这是一种用于深度神经网络模型的正则化器，它通过移除（关闭）突出的神经元（即，最活跃的）在每个隐藏层中。该模型迫使较少的激活单元学习更多的代表性信息，从而提供稀疏性。关于实验，我们表明，它是可能的，以改善现有的神经网络和神经网络中提供更好的结果时，Dropout被MaxDropout取代。该方法在图像分类中进行了评估，实现了与现有正则化器（如Cutout和RandomErasing）相当的结果，还通过用MaxDropout替换现有层来提高使用Dropout的神经网络的准确性。
2020-07-27 cs.LG stat.ML
Compacting Neural Network Classifiers via Dropout Training
Alexa Machine Learning, Amazon（亚马逊Alexa机器学习）
我们介绍了dropout压缩，一种用于训练前馈神经网络的新方法，该方法实现了用dropout正则化训练大型模型的性能增益，但提取了一个紧凑的神经网络以提高运行时效率。在所提出的方法中，我们引入了一个稀疏诱导先验的每单位的辍学保留概率，使优化器可以有效地修剪隐藏的单元在训练过程中。通过改变先验超参数，我们可以控制最终网络的大小。我们对几个真实世界的语音识别任务进行了dropout压缩和竞争方法的系统比较，发现dropout压缩在隐藏单元少于50%的情况下实现了相当的准确性，在运行时加速了2.5倍。
2017-05-24 cs.LG cs.NE stat.ML
Estimating Implicit Regularization in Deep Learning
University of Pennsylvania（宾夕法尼亚大学）
本文提出通过梯度匹配方法估计深度学习中的隐式正则化，验证了其在处理复杂网络时的有效性，并展示了在Dropout等方法中的应用。
2026-11-05 cs.LG stat.ML
Disturbing Target Values for Neural Network Regularization
Institute of Computer Science（计算机科学研究所）；University of Hildesheim（希尔德斯海姆大学）
已经开发了各种正则化技术，例如L2正则化，Dropout，DisturbLabel（DL）以防止过拟合。DL是一个新来的人，他通过随机翻转一小部分目标标签，并在这个失真的数据上训练神经网络，从而不学习训练数据，来正则化损失层。据观察，在训练过程中的高置信度标签导致过拟合问题，DL随机选择干扰标签，而不管标签的置信度如何。为了解决DL的这一缺点，我们提出了一种新的正则化技术，即方向扰动标签（Directional DisturbLabel，简写为DIR），它利用类概率来推断置信标签，并使用这些标签来正则化模型。这种主动正则化在训练过程中利用模型行为，以更直接的方式对其进行正则化。为了解决回归问题，我们还提出了DisturbValue（DV）和DisturbError（DE）。DE仅使用预定义的置信标签来干扰目标值。DV类似于DL随机地将噪声注入目标值的一部分。在本文中，6和8个数据集分别用于验证我们的方法在分类和回归任务的鲁棒性。最后，我们证明了我们的方法与DisturbLabel，L2正则化和Dropout相当或优于它们。此外，我们通过将我们的方法与L2正则化或Dropout相结合，在超过一半的数据集中实现了最佳性能。
2021-10-11 cs.LG
Spectral Wavelet Dropout: Regularization in the Wavelet Domain
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Stuttgart（斯图加特大学）
本文提出谱小波丢弃（SWD）正则化方法，通过在小波域随机丢弃特征图的细节频带来提升 CNN 泛化能力，并以更少的超参数和更低计算复杂度在 CIFAR 和 Pascal VOC 上取得有竞争力或更优的性能。
2024-09-27 cs.CV cs.LG
Deep Counterfactual Networks with Propensity-Dropout
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）
我们提出了一种新的方法，用于从观察数据中推断治疗（干预）的个体化因果效应。我们的方法将因果推理概念化为多任务学习问题;我们使用深度多任务网络对受试者的潜在结果进行建模，该网络具有事实和反事实结果之间的一组共享层以及一组特定结果层。观测数据中的选择偏差的影响通过一个倾向-丢弃正则化方案来减轻，在该方案中，网络通过依赖于相关倾向分数的丢弃概率来细化每个训练样本。网络在交替的阶段进行训练，在每个阶段中，我们使用两个潜在结果（治疗和控制群体）之一的训练样本来更新共享层和相应结果特定层的权重。基于真实世界的观测研究数据进行的实验表明，我们的算法优于最先进的。
2017-06-19 cs.LG stat.ML
Variational Adaptive Noise and Dropout towards Stable Recurrent Neural Networks
National Institute of Informatics (NII)（国家信息研究所）；The Graduate University for Advanced Studies (SOKENDAI)（高级研究大学）；Department of Electronics and Electrical Engineering, Faculty of Science and Technology, Keio University（科技学部电子电气工学科，庆应大学）
本文提出变分自适应噪声与Dropout方法，通过变分推断实现RNNs的稳定学习，有效模仿序列和周期性行为。
2025-06-02 cs.LG cs.RO
Regularizing Recurrent Networks - On Injected Noise and Norm-based Methods
Technische Universität München（慕尼黑工业大学）
在过去的几十年里，并行处理的进步导致了多层感知器（MLP）应用和深度学习的激增。递归神经网络（RNN）通过提供一种处理序列数据的方法，为前馈MLP提供了额外的表示能力。然而，RNN很难使用传统的误差反向传播方法进行训练，因为很难将许多时间步长上的输入相关联。来自MLP领域的正则化方法，如dropout和噪声权重训练，在简单的RNN上没有得到充分的应用和测试。此外，已经提出了解决方案来改善RNN的收敛性，但不足以改善其长期依赖性记忆能力。在这项研究中，我们的目标是实证评估复调音乐数据集上RNN的记忆和泛化能力。这些模型使用注入噪声、随机丢弃、基于范数的正则化器进行训练，并与初始化良好的普通RNN和快速丢弃等高级正则化方法进行比较。我们得出结论，有证据表明，噪声训练并不能提高性能，这是我们之前在RNN优化方面的一些工作所证明的。
2014-10-21 cs.LG stat.ML
Regularizing Neural Networks by Stochastically Training Layer Ensembles
University of Toronto（多伦多大学）
丢弃和类似的随机神经网络正则化方法通常被解释为隐含地对大量模型进行平均。我们提出了STE（随机训练的集成）层，它通过训练具有随机正则化的权重矩阵的集成来增强这种方法的平均特性，同时显式地平均输出。这提供了更强的正则化，在测试时没有额外的计算成本。我们使用标准的网络拓扑结构，在各种图像分类任务上表现出一致的改进。
2019-11-21 cs.LG stat.ML
R-Block: Regularized Block of Dropout for convolutional networks
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
本文提出R-Block，一种基于互学习策略的卷积层正则化方法，通过最小化具有不同drop区域的子模型输出分布损失，解决了传统结构化dropout训练与推理不一致的问题，实验证明其性能优于现有变体。
2023-07-27 cs.CV cs.LG
