Data Augmentation via Levy Processes
如果一个文档是关于旅行的,我们可能会期望文档的简短片段也应该是关于旅行的。我们介绍了一个一般的框架,将这些类型的不变性到一个判别分类。该框架将数据想象为从Levy过程的一个切片中提取。如果我们在较早的时间点对Levy过程进行切片,我们将获得额外的伪示例,这些伪示例可用于训练分类器。我们证明了该方案具有两个理想的性质:它保留了贝叶斯决策边界,并且它相当于在我们将时间倒回0的极限中拟合生成模型。我们的构造捕获了流行的方案,如高斯特征噪声和辍学训练,以及承认新的概括。
2016-03-21 stat.ML
Dropout: Explicit Forms and Capacity Control
Johns Hopkins University(约翰斯·霍普金斯大学);University of California, Berkeley(加州大学伯克利分校);TTI Chicago(芝加哥丰田技术研究所)
我们研究了在各种机器学习问题中由dropout提供的容量控制。首先,我们研究了矩阵完备化的dropout,在那里它诱导了一个依赖于数据的正则化子,在期望中,它等于因子乘积的加权迹范数。在深度学习中,我们证明了由于dropout导致的数据依赖正则化子直接控制了底层深度神经网络的Rademacher复杂度。这些发展使我们能够在矩阵完成以及训练深度神经网络中为dropout算法给出具体的泛化误差范围。我们在真实世界的数据集上评估了我们的理论研究结果,包括MovieLens,MNIST和Fashion-MNIST。
2020-03-06 cs.LG stat.ML
Guided Dropout
IIIT-Delhi(德里印度理工学院)
Dropout通常用于深度神经网络,以防止过度拟合。通常,dropout训练从神经网络的隐藏层调用节点的\textit{random drop}。这是我们的假设,一个指导选择的节点智能辍学可以导致更好的推广相比,传统的辍学。在这项研究中,我们提出了“引导式丢弃”来训练深度神经网络,它通过测量每个节点的强度来丢弃节点。我们还证明,传统的辍学是一个特定的情况下,建议指导辍学。在包括MNIST、CIFAR10、CIFAR100、SVHN和Tiny ImageNet在内的多个数据集上进行的实验评估证明了所提出的引导丢弃的有效性。
2018-12-10 cs.LG stat.ML
Self-Augmentation: Generalizing Deep Networks to Unseen Classes for Few-Shot Learning
Korea University(高丽大学)
少样本学习的目标是用几个训练样本对看不见的类进行分类。虽然最近的工作表明,标准的小批量训练与精心设计的训练策略可以提高不可见类的泛化能力,但深度网络中的众所周知的问题,如记忆训练统计数据,对于少样本学习的探索较少。为了解决这个问题,我们提出了自我增强,巩固自我混合和自我升华。具体来说,我们利用一个区域辍学技术称为自混合,其中一个补丁的图像被替换成其他值在同一个图像。然后,我们采用一个骨干网络,具有辅助分支与自己的分类器,以加强知识共享。最后,我们提出了一个局部表示学习器,以进一步利用一些训练样本为看不见的类。实验结果表明,该方法在当前流行的Few-Shot基准测试中的性能优于现有方法,并提高了泛化能力。
2020-08-04 cs.CV cs.LG stat.ML
A Close Look at Deep Learning with Small Data
Sapienza University of Rome(罗马大学);Dpt. of Computer, Control, and Management Engineering(计算机、控制与管理工程系)
在这项工作中,我们在有限大小的数据集上使用不同的深度学习架构进行了各种各样的实验。根据我们的研究,我们表明,模型的复杂性是一个关键因素时,每个类只有几个样本。从文献中,我们表明,在某些配置中,可以使用低复杂度模型来改进现有技术。例如,在缺乏训练样本和没有数据增强的问题中,低复杂度的卷积神经网络表现得比最先进的架构更好。此外,我们表明,即使是标准的数据增强可以提高识别性能的大幅度。这一结果表明,在数据有限的情况下,需要开发更复杂的数据生成/增强管道。最后,我们表明,dropout,一个广泛使用的正则化技术,保持其作为一个很好的正则化的作用,即使数据是稀缺的。我们的研究结果是经验验证流行的CIFAR-10,时尚MNIST和SVHN基准的子采样版本。
2020-10-25 cs.LG stat.ML
Adaptive Network Sparsification with Dependent Variational Beta-Bernoulli Dropout
University of Oxford(牛津大学);AITRICS;KAIST(韩国科学技术院)
虽然变分丢弃方法已被证明对网络稀疏化是有效的,但它们仍然是次优的,因为它们在不考虑输入数据的情况下为每个神经元设置丢弃率。由于这种与输入无关的丢弃,每个神经元在输入上都是通用的,这使得在没有精度损失的情况下很难稀疏网络。为了克服这一限制,我们提出了自适应变分辍学的概率是从稀疏诱导β伯努利先验。它允许每个神经元进化为通用或特定于某些输入,或者完全丢弃。这种输入自适应的稀疏诱导丢弃允许产生的网络容忍更大程度的稀疏性,而不会通过消除特征之间的冗余而失去其表达能力。我们在多个公共数据集上验证了我们的依赖变分β-Bernoulli dropout,在这些数据集上,它获得了比基线方法显着更紧凑的网络,并且在基础网络上具有一致的精度改进。
2019-03-04 cs.LG stat.ML
Differentially Private Variational Dropout
Boğaziçi University(海峡大学)
具有大量参数的深度神经网络是高度灵活的学习系统。这种网络的高度灵活性带来了一些严重的问题,如过拟合,正则化被用来解决这个问题。目前流行的一种有效的正则化技术是dropout。通常,神经网络所需的大量数据集合包含敏感信息,例如患者的病史,并且应该保护训练数据的隐私。在本文中,我们修改了最近提出的变分辍学技术,提供了一个优雅的贝叶斯解释辍学,并表明,在变分辍学的固有噪声可以利用,以获得一定程度的差分隐私。训练神经网络的迭代性质对隐私保护估计提出了挑战,因为多次迭代增加了添加的噪声量。我们克服了这一点,使用一个宽松的概念,差分隐私,称为集中差分隐私,它提供了更严格的估计整体隐私损失。我们在基准数据集上证明了我们的隐私保护变分丢弃算法的准确性。
2017-12-16 cs.LG stat.ML
Differentially Private Dropout
Boğaziçi University(海峡大学)
训练神经网络所需的大量数据集合通常包含敏感信息,例如患者的病史,并且必须保护训练数据的隐私。在本文中,我们介绍了一个辍学技术,提供了一个优雅的贝叶斯解释辍学,并表明,固有的噪声添加,与正则化的主要目标,可以利用获得一定程度的差分隐私。训练神经网络的迭代性质对隐私保护估计提出了挑战,因为多次迭代增加了添加的噪声量。我们克服了这一点,使用一个宽松的概念,差分隐私,称为集中差分隐私,它提供了更严格的估计整体隐私损失。我们在基准数据集上证明了我们的隐私保护dropout算法的准确性。
2017-11-30 cs.LG stat.ML
Reducing Overfitting in Deep Networks by Decorrelating Representations
Virginia Tech(弗吉尼亚理工大学);Université de Montréal(蒙特利尔大学);Facebook AI Research (FAIR)(脸书人工智能研究院);Microsoft Research(微软研究院)
训练深度神经网络的一个主要挑战是防止过拟合。许多技术,如数据增强和新颖的正则化器,如Dropout,已被提出来防止过拟合,而不需要大量的训练数据。在这项工作中,我们提出了一个新的正则化称为DeCov导致显着减少过拟合(如训练和val性能之间的差异所示),更好的推广。我们的正则化器通过最小化隐藏激活的互协方差来鼓励深度神经网络中的多样化或非冗余表示。这种简单的直觉已经在过去的许多作品中被探索过,但令人惊讶的是,从未被用作监督学习中的正则化器。在一系列数据集和网络架构上的实验表明,这种损失总是减少过拟合,同时几乎总是保持或提高泛化性能,并经常提高Dropout的性能。
2016-06-10 cs.LG stat.ML
On Convergence and Generalization of Dropout Training
Johns Hopkins University(约翰斯·霍普金斯大学);Department of Computer Science(计算机科学系)
我们研究了具有整流线性单元(ReLU)激活的双层神经网络中的辍学问题。在温和的过度参数化,并假设限制内核可以分离的数据分布与一个积极的利润率,我们表明,辍学训练与逻辑损失达到$ε$ -次优的测试误差在$O(1/ε)$迭代。
2020-10-23 cs.LG stat.ML
Multiple Imputation for Biomedical Data using Monte Carlo Dropout Autoencoders
West University of Timisoara(蒂米什瓦拉西部大学);University of Ljubljana(卢布尔雅那大学)
由于复杂的实验设置,缺失值在生物医学数据中很常见。为了处理这个问题,已经提出了许多方法,从忽略不完整的实例到各种数据填补方法。随着最近深度神经网络的兴起,缺失数据填补的领域已经面向数据分布的建模。本文提出了一种基于Monte Carlo dropout的方法(变分)Autoencoders,它不仅提供了非常好的适应数据的分布,而且还允许生成新的数据,适应每个特定的实例。实验结果表明,该方法可以有效地提高插补误差和预测相似度。
2020-05-13 cs.LG stat.ML
Neuron-Specific Dropout: A Deterministic Regularization Technique to Prevent Neural Networks from Overfitting & Reduce Dependence on Large Training Samples
Perry High School(佩里高中)
为了开发其输入和输出之间的复杂关系,深度神经网络训练和调整大量参数。为了使这些网络以高精度工作,需要大量的数据。然而,有时,训练所需的数据量并不存在或无法获得。Neuron-specific dropout(NSDropout)是解决这个问题的工具。NSDropout查看模型中一个层的训练过程和验证过程。通过比较数据集中每个类的每个神经元产生的平均值,网络能够丢弃目标单元。该层能够预测模型在测试期间正在查看哪些特征或噪声,这些特征或噪声在查看验证样本时不存在。与dropout不同的是,“稀疏”网络不能在测试中“非稀疏”。神经元特定的dropout已被证明可以实现类似的,如果不是更好的,测试精度与传统方法,包括dropout和其他正则化方法相比,数据少得多。实验表明,特定于神经元的丢弃减少了网络过拟合的机会,并减少了图像识别中监督学习任务对大训练样本的需求,同时产生了一流的结果。
2022-01-13 cs.LG stat.ML
Dropout with Tabu Strategy for Regularizing Deep Neural Networks
Griffith University(格里菲斯大学);Jinan University(暨南大学)
Dropout已被证明是一种有效的正则化技术,可以防止深度神经网络(DNN)中神经元的协同适应。它在DNN的训练阶段以概率$p$随机丢弃单元。Dropout还提供了一种近似地以指数方式有效地组合许多不同的神经网络架构的方法。在本文中,我们在dropout中加入了一个多样化策略,目的是在适当的迭代次数内生成更多不同的神经网络结构。将标记上次前向传播中丢弃的单元。然后,如果在最后一次前向传播中已标记了当前FP中用于丢弃的所选单元,则将保留它们。我们只标记最后一次向前传播的单元。我们称这种新技术为Tabu Dropout。与标准Dropout相比,Tabu Dropout没有额外的参数,而且计算成本很低。在MNIST、Fashion-MNIST数据集上进行的实验表明,Tabu Dropout算法提高了标准Dropout算法的性能。
2018-08-29 cs.LG stat.ML
Adversarial Dropout for Recurrent Neural Networks
Clova AI Research, NAVER Corp.(NAVER公司Clova AI研究中心);KAIST(韩国科学技术院);AI Center, SK Telecom(SK电讯AI中心)
成功的应用程序处理序列数据,如文本和语音,需要提高循环神经网络(RNN)的泛化性能。RNN的丢弃技术被引入以响应这些需求,但我们推测RNN的丢弃可以通过采用对抗概念来改进。本文研究了通过利用有意生成的丢弃掩码来改善RNN的丢弃的方法。具体来说,本研究中使用的引导性退出被称为对抗性退出,它会随着时间的推移对抗性地断开主要用于预测正确目标的神经元。我们的分析表明,我们的正则化器由原始和重新配置的RNN之间的间隙组成,是随机丢弃的训练和推理阶段之间间隙的上界。我们证明了最小化正则化器可以提高RNN在顺序MNIST任务,半监督文本分类任务和语言建模任务中的dropout的有效性。
2019-04-22 cs.LG stat.ML
An Efficient Hardware-Oriented Dropout Algorithm
Kyushu Institute of Technology(九州工业大学)
提出了一种面向硬件的丢弃算法,该算法适用于现场可编程门阵列(FPGA)实现。在深度神经网络(DNN)中,当网络过度训练并且太好地适应训练数据时,就会发生过拟合。因此,它们无法预测用作测试数据的不可见数据。丢弃是DNN中经常应用的一种常见技术,用于克服这个问题。通常,由于功率和存储器约束,在嵌入式系统中实现DNN的这种训练算法是困难的。训练DNN是功耗、时间和内存密集型的;然而,嵌入式系统需要低功耗和实时处理。FPGA具有并行处理的特点和低功耗的特点,非常适合嵌入式系统,但由于其存储空间有限和体系结构的不同,使得通用的神经网络算法难以应用。因此,我们提出了一个面向硬件的丢弃算法,可以有效地利用FPGA的特点,所需的内存较少。软件程序验证表明,该方法的性能是相同的传统的辍学,和硬件综合表明,它导致显着的资源减少。
2019-11-14 cs.LG stat.ML
Wasserstein Dropout
Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);Fraunhofer Center for Machine Learning(弗劳恩霍夫机器学习中心);University of Bonn(波恩大学);University of Bochum(波鸿大学)
尽管对安全的机器学习具有重要意义,但神经网络的不确定性量化问题还远未解决。估计神经不确定性的最新方法通常是混合的,将参数模型与显式或隐式(基于辍学)集成相结合。我们采取另一种途径,并提出了一种新的方法,不确定性量化回归任务,Wasserstein辍学,这是纯粹的非参数。从技术上讲,它通过基于丢弃的子网络分布来捕获任意的不确定性。这是通过一个新的目标,最大限度地减少标签分布和模型分布之间的Wasserstein距离。一个广泛的实证分析表明,Wasserstein dropout优于最先进的方法,香草测试数据以及下的分布转移,在产生更准确和稳定的不确定性估计。
2021-12-02 cs.LG stat.ML
Data Dropout in Arbitrary Basis for Deep Network Regularization
University of Central Florida(中佛罗里达大学)
训练高容量深度网络的一个重要问题是确保训练后的网络在训练数据集之外的新输入下工作良好。Dropout是一种有效的正则化技术,可以提高网络泛化能力,其中给定数据和提取特征的元素的随机子集在训练过程中被设置为零。在本文中,提出了一种新的随机正则化技术,在该技术中,我们保留了数据的随机部分,而不必关闭神经元/数据元素。在所提出的方法,其中传统的辍学被证明是一个特殊的情况下,随机数据辍学是在任意的基础上进行,因此指定广义辍学。我们还提出了一个框架,使所提出的技术可以有效地应用于卷积神经网络。数值实验表明,所提出的技术产生显着的性能增益。广义Dropout为Dropout的概念提供了新的视角,表明了通过使用不同的基矩阵可以获得不同的性能增益,并为如何选择最佳基矩阵以获得最大性能增益开辟了新的研究课题。
2017-12-05 cs.CV cs.LG stat.ML
Dropout Training as Adaptive Regularization
Stanford University(斯坦福大学)
Dropout和其他特征噪声方案通过人为破坏训练数据来控制过拟合。对于广义线性模型,dropout执行一种形式的自适应正则化。使用这种观点,我们表明,辍学正则化是一阶等效的L2正则化应用后,通过估计的逆对角费舍尔信息矩阵的功能。我们还与在线学习算法AdaGrad建立了联系,并发现AdaGrad的近亲通过反复解决线性丢弃正则化问题来操作。通过将dropout转换为正则化,我们开发了一种自然的半监督算法,该算法使用未标记的数据来创建更好的自适应正则化器。我们将这个想法应用于文档分类任务,并表明它始终提高了dropout训练的性能,改善了IMDB评论数据集上的最新结果。
2013-11-01 cs.LG stat.ME stat.ML
From Random to Supervised: A Novel Dropout Mechanism Integrated with Global Information
Beijing University of Post and Telecommunication(北京邮电大学);Beijing Normal University(北京师范大学)
Dropout用于通过在训练期间从神经网络随机丢弃单元来避免过拟合。受dropout方法的启发,提出了一种结合全局信息的dropout方法GI-Dropout,用于改进神经网络的文本分类。与传统的dropout方法不同,在dropout方法中,单元根据相同的概率随机丢弃,我们的目标是使用基于数据集全局信息的显式指令来指导训练过程。使用GI-Dropout,模型应该更加关注不明显的特征或模式。实验结果表明,辍学的有效性与全球信息的七个文本分类任务,包括情感分析和主题分类。
2018-10-10 cs.CL cs.LG stat.ML
Confidence Calibration for Convolutional Neural Networks Using Structured Dropout
Cornell University(康奈尔大学);MIT(麻省理工学院);MGH(麻省总医院)
在分类应用中,我们通常希望概率预测反映置信度或不确定性。Dropout是一种常用的训练技术,最近已与贝叶斯推理联系起来,产生了一种有效的方法来量化神经网络模型中的不确定性。然而,如前所述,使用dropout的天真实现计算的置信度估计可能校准不良,特别是在使用卷积网络时。在本文中,通过集成学习的镜头,我们关联的校准误差与模型之间的相关性与辍学。受此启发,我们探索使用结构化的辍学,以促进模型的多样性和提高置信度校准。我们使用SVHN,CIFAR-10和CIFAR-100数据集,从经验上比较使用各种dropout技术获得的模型多样性和置信误差。我们还展示了贝叶斯主动学习应用中结构化辍学的优点。
2019-06-23 cs.CV cs.LG stat.ML
Learning Deep Networks from Noisy Labels with Dropout Regularization
Wayne State University(韦恩州立大学)
大型数据集通常具有不可靠的标签-例如从亚马逊的Mechanical Turk或社交媒体平台获得的标签-并且在错误标记的数据集上训练的分类器通常表现出较差的性能。我们提出了一种简单有效的技术,用于在训练深度神经网络时考虑标签噪声。我们使用softmax层来增强标准深度网络,该层对标签噪声统计进行建模。然后,我们通过端到端的随机梯度下降在(可能是错误标记的)数据集上联合训练深度网络和噪声模型。增强模型是超定的,因此为了鼓励学习非平凡的噪声模型,我们在训练期间对噪声模型的权重应用dropout正则化。在CIFAR-10和MNIST数据集的噪声版本上的数值实验表明,所提出的dropout技术优于最先进的方法。
2017-05-09 cs.CV cs.LG stat.ML
Distributional Balancing with Machine Learning for Clinical Trial Augmentation Using Real-World Data
Rutgers University(罗格斯大学)
针对临床试验中协变量分布难以均衡的问题,提出DBML方法,通过变分自编码器检测异常、重新加权匹配分布并采样对照组,在协变量均衡上优于现有匹配与加权算法。
2026-09-22 stat.ME stat.ML
Surprising properties of dropout in deep networks
University of California, Santa Cruz(加州大学圣克鲁兹分校);Google(谷歌)
我们分析了具有整流线性单元和二次损失的深度网络中的丢包。我们的结果揭示了dropout和更传统的正则化器(如权重衰减)之间令人惊讶的差异。例如,在一些简单的数据集上,dropout训练产生负权重,即使输出是输入的总和。这与dropout不鼓励权重的共同适应的建议相对应。我们还表明,dropout惩罚可以在网络的深度呈指数增长,而权重衰减惩罚基本上保持线性,并且dropout对输入特征,输出和网络权重的各种重新缩放不敏感。最后一个不敏感性意味着不存在辍学训练标准的孤立局部最小值。我们的工作揭示了dropout的新特性,扩展了我们对dropout成功原因的理解,并为进一步的进展奠定了基础。
2017-04-19 cs.AI cs.LG cs.NE
Analytic theory of dropout regularization
Rudolf Peierls Centre for Theoretical Physics, University of Oxford(奥xford大学鲁道夫佩尔尔斯理论物理中心);Graduate Center, City University of New York(纽约城市大学研究生中心);Joseph Henry Laboratories of Physics, Princeton University(普林斯顿大学约瑟夫亨利物理实验室)
本文通过高维极限下的常微分方程解析研究了两层神经网络中dropout的动力学,揭示了其减少隐藏节点相关性、缓解标签噪声的作用,并指出最优dropout概率随噪声水平增加而增大。
2025-09-08 cond-mat.dis-nn cond-mat.stat-mech cs.LG