Dropout with Expectation-linear Regularization
Carnegie Mellon University（卡内基梅隆大学）；Harvard University（哈佛大学）
Dropout是一种简单而有效的训练深度神经网络的方法，已经取得了许多令人印象深刻的经验成功，并催生了许多最近的理论研究。然而，由于易处理性的考虑，dropout的训练和推理阶段之间的差距在很大程度上仍然没有得到充分的重视。在这项工作中，我们首先制定辍学作为一个易于处理的近似一些潜在的变量模型，导致一个干净的参数共享视图，并使进一步的理论分析。然后，我们引入（近似）期望线性丢弃神经网络，其推理间隙，我们能够正式表征。在数学上，我们表明，我们提出的测量的推理间隙可以用来规范的标准辍学的训练目标，从而在\emph{explicit}控制的差距。我们的方法是简单和有效的标准dropout。我们进一步证明了由于期望线性化的精度损失的上界，描述类的输入分布，期望线性化容易。在三个图像分类基准数据集上的实验表明，减少推理间隙确实可以一致地提高性能。
2017-02-15 cs.LG stat.ML
Dropout Inference in Bayesian Neural Networks with Alpha-divergences
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
为了使用真实世界的贝叶斯深度学习模型获得不确定性估计，需要实际的推理近似。例如，丢弃变分推理（VI）已用于机器视觉和医学应用，但VI可能严重低估模型的不确定性。α-发散是VI KL目标的替代发散，它能够避免VI的不确定性低估。但这些方法在实际应用中存在一定的困难：现有的方法只能使用高斯近似分布，并且需要对现有模型进行根本性的修改，因此对实践者的应用受到限制。我们提出了一个重新参数化的α发散目标，推导出一个简单的推理技术，连同辍学，可以很容易地实现与现有的模型，只需改变损失的模型。我们证明了改进的不确定性估计和精度相比，VI在辍学网络。我们研究我们的模型的认知不确定性远离使用对抗图像的数据，表明这些可以通过检查我们的模型的不确定性从非对抗图像区分。
2017-03-08 cs.LG stat.ML
Bayesian posterior approximation with stochastic ensembles
Stockholm University（斯德哥尔摩大学）；University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
提出将 dropout 等随机方法与深度集成的随机神经网络集成，通过变分推断近似 Bayesian 后验，在玩具问题和 CIFAR 上比常用基线提供更准确的后验估计。
2024-01-03 cs.CV cs.LG stat.ML
Bayesian Dropout
Dropout最近成为一种强大而简单的方法，用于训练神经网络，防止随机遗漏神经元的协同适应。辍学目前没有明确的建模假设，到目前为止，排除了贝叶斯建模的采用。使用贝叶斯熵推理，我们表明，辍学可以被解释为最优推理的约束。我们证明了这一点上的分析听话的回归模型提供了贝叶斯解释其机制，规范化和防止共同适应，以及其连接到其他贝叶斯技术。我们还讨论了两个一般的近似技术，适用于一般模型的贝叶斯辍学，一个基于解析近似和随机变分技术。这些技术，然后应用到贝叶斯逻辑斯谛回归的问题，并提高性能的模型变得更加错误。我们的框架根源辍学作为一个理论上合理和实用的统计建模工具，使贝叶斯挖掘辍学培训的好处。
2022-05-17 stat.ML
Neuromorphic Acceleration for Approximate Bayesian Inference on Neural Networks via Permanent Dropout
Virginia Tech（弗吉尼亚理工学院暨州立大学）；Argonne National Laboratory（阿贡国家实验室）
随着神经网络开始为社会执行越来越重要的任务，从驾驶汽车到确定药物开发的候选人，它们在预测中执行不确定性量化（UQ）的能力的价值也在迅速上升。永久丢弃是神经网络UQ的一种流行方法，涉及将随机性注入模型的推理阶段，并为每个测试数据创建许多预测。这将深度神经网络的计算和能量负担从训练阶段转移到推理阶段。最近的工作已经证明了经典深度神经网络到其尖峰对应物的近无损转换。我们使用这些结果来证明在尖峰神经网络上进行永久丢弃的推理阶段的可行性，从而减轻该技术的计算和能量负担，这对于其在大规模或边缘平台上的使用至关重要。我们通过Nengo尖峰神经模拟器在用于癌症治疗的联合药物治疗数据集上展示了所提出的方法，其中UQ是至关重要的。我们的研究结果表明，尖峰近似给出了一个预测分布几乎无法区分的经典网络。
2019-04-29 cs.LG cs.NE stat.ML
Loss-Calibrated Approximate Inference in Bayesian Neural Networks
University of Oxford（牛津大学）
贝叶斯神经网络的近似推理中的当前方法最小化库尔贝克-莱布勒散度以近似权重上的真实后验。然而，这种近似没有最终应用的知识，因此不能保证给定任务的最佳预测。为了使更合适的特定于任务的近似，我们引入了一个新的损失校准证据下限贝叶斯神经网络的监督学习的背景下，通知贝叶斯决策理论。通过引入依赖于效用函数的下限，我们确保我们的近似比具有非对称效用函数的应用程序的传统方法实现更高的效用。此外，在使用dropout推理时，我们强调我们的新目标与标准dropout神经网络的目标相同，只是增加了一个依赖于效用的惩罚项。我们展示了我们的新的损失校准模型与说明性的医疗例子和限制模型容量实验，并突出故障模式的可比加权交叉熵的方法。最后，我们展示了我们的方法的可扩展性，以现实世界的应用程序与自动驾驶数据集上的每像素语义分割。
2018-05-10 cs.LG stat.ML
Protein Language Model Zero-Shot Fitness Predictions are Improved by Inference-only Dropout
University of Cambridge（剑桥大学）
本研究通过在蛋白质语言模型推理时注入dropout层并平均输出，无需重训练即可提升零样本适应性预测性能，在ProteinGym子集上验证有效。
2025-05-31 cs.LG
Known Unknowns: Uncertainty Quality in Bayesian Neural Networks
University of Campinas (Unicamp)（坎皮纳斯州立大学 (Unicamp)）
我们使用异常检测来评估神经网络的不确定性质量。我们从候选模型的预测中提取不确定性度量（例如熵），使用这些度量作为异常检测器的特征，并衡量检测器区分已知类别和未知类别的程度。我们将更高的不确定性质量分配给候选模型，从而产生更好的检测器。我们还提出了一种新的方法，称为单样本贝叶斯近似（OSBA）的贝叶斯神经网络的变分近似采样。我们在两个数据集上进行了实验，MNIST和CIFAR 10。我们比较了以下候选神经网络模型：极大似然，贝叶斯丢弃，OSBA和-对于MNIST --标准变分近似。我们表明，贝叶斯丢弃和OSBA提供更好的不确定性信息比极大似然，基本上相当于标准的变分近似，但更快。
2016-12-23 cs.LG cs.NE stat.ML
Variational Gaussian Dropout is not Bayesian
高斯乘性噪声通常用作确定性神经网络训练中的随机正则化技术。最近的一篇论文将该技术重新解释为贝叶斯神经网络中近似推理的特定算法;随后进行了几次扩展。我们发现，在所有上述出版物中使用的对数均匀先验一般不会导致一个适当的后验，因此在这样的模型中的贝叶斯推断是不适定的。独立于对数均匀先验，相关权重噪声近似具有导致无限目标或高过拟合风险的进一步问题。上述情况意味着，所报告的稀疏性所获得的解决方案不能解释贝叶斯或相关的最小描述长度参数。因此，我们从非贝叶斯的角度研究的目标，提供其以前未知的分析形式，允许精确的梯度评估，并表明，后来提出的添加剂重新参数化引入最小值不存在于原来的乘法参数化。最后讨论了研究的意义和未来的研究方向。
2017-11-08 stat.ML
Global SNR Estimation of Speech Signals using Entropy and Uncertainty Estimates from Dropout Networks
Samsung R&D Institute India, Bangalore（三星印度班加罗尔研发中心）
本文提出了两种新的方法来估计语音信号的全局信噪比。在这两种方法中，语音识别系统中使用的深度神经网络-隐马尔可夫模型（DNN-HMM）声学模型被用于SNR估计的附加任务。在第一种方法中，计算DNN-HMM输出的熵。最近关于baidu深度学习的研究表明，使用dropout训练的DNN-HMM可以通过将其近似为深度高斯过程来估计模型的不确定性。在第二种方法中，这种近似用于获得模型不确定性估计。噪声特定的回归用于从熵和模型不确定性预测SNR。DNN-HMM在GRID语料库上进行训练，并在来自DEMAND噪声数据库的不同噪声配置文件上进行测试，SNR水平范围为-10 dB至30 dB。
2018-04-12 cs.AI eess.AS eess.SP
On approximating dropout noise injection
IT University of Copenhagen（哥本哈根信息技术大学）
本文探讨了假设的推导出的等效性之间的辍学噪声注入和$L_2$正则化的负对数损失的逻辑回归。我们证明了近似方法是基于发散的泰勒展开，使得随后的工作使用这种近似来比较dropout训练的逻辑回归模型与标准正则化模型，不幸的是，到目前为止，这种近似方法是没有根据的。此外，近似方法被证明是无效的，使用任何强大的约束。我们展示了这一发现如何扩展到使用交叉熵预测层的一般神经网络拓扑结构。
2019-06-02 cs.LG stat.ML
Structured Bayesian Pruning via Log-Normal Multiplicative Noise
基于丢弃的正则化方法可以被视为在训练期间向神经网络的不同部分注入具有预定义幅度的随机噪声。最近的研究表明，贝叶斯丢弃过程不仅提高了泛化能力，而且通过自动设置每个权重的单个噪声幅度，导致了极其稀疏的神经结构。然而，这种稀疏性几乎不能用于加速，因为它是非结构化的。在本文中，我们提出了一种新的贝叶斯模型，该模型考虑了神经网络的计算结构，并提供了结构化的稀疏性，例如删除CNN中的神经元和/或卷积通道。为此，我们将噪声注入神经元输出，同时保持权重不规则化。我们建立了概率模型，适当的截断对数一致先验的噪声和截断对数正态变分近似，以确保在证据下界的KL-项计算在封闭形式。该模型通过从计算图中移除具有低SNR的元素来实现结构化稀疏，并在许多深度神经架构上提供显着的加速。该模型很容易实现，因为它可以作为一个单独的dropout层来制定。
2017-11-04 stat.ML
Bayesian Few-Shot Classification with One-vs-Each Pólya-Gamma Augmented Gaussian Processes
Vector Institute, University of Toronto（向量研究所，多伦多大学）
Few-Shot分类（FSC）是在给定小的标记数据集的情况下使分类器适应看不见的类的任务，是迈向类人机器学习的重要一步。贝叶斯方法非常适合解决在Few-Shot场景中过度拟合的基本问题，因为它们允许从业者指定先验信念并根据观察到的数据更新这些信念。当代的贝叶斯Few-Shot分类方法保持了模型参数的后验分布，这很慢，并且需要随模型大小而扩展的存储。相反，我们提出了一个基于Pólya-Gamma增强和one-vs-each softmax近似的新组合的高斯过程分类器，使我们能够有效地边缘化函数而不是模型参数。我们证明了改进的准确性和不确定性量化标准的Few-Shot分类基准和Few-Shot域转移任务。
2021-01-21 cs.LG stat.ML
Posterior-Guided Neural Architecture Search
University of Science Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
神经结构搜索的出现极大地推动了网络设计的研究。最近的建议，如基于梯度的方法或一次性的方法显着提高NAS的效率。在本文中，我们制定的NAS问题从贝叶斯的角度来看。我们提出明确估计联合后验分布对网络架构和权重。因此，提出了一种混合网络表示，使我们能够利用变分丢弃，使后验分布的近似变得完全基于梯度和高效。然后提出了一种后验引导抽样方法，对候选体系结构进行抽样并直接进行评估。作为一种贝叶斯方法，我们的后验引导NAS（PGNAS）避免了调整一些超参数，并在后验概率空间中实现了非常有效的架构采样。有趣的是，它还导致对一次性NAS中使用的权重共享的更深入的了解，并自然地消除了由权重共享引起的采样架构和权重之间的不匹配。我们验证我们的PGNAS方法的基本图像分类任务。Cifar-10、Cifar-100和ImageNet上的结果表明，PGNAS在NAS方法中实现了搜索精度和速度之间的良好权衡。例如，在Cifar 10和Cifar 100上搜索一个非常有竞争力的架构需要11个GPU天，测试错误率分别为1.98%和14.28%。
2019-12-06 cs.LG stat.ML
Dropout as a Low-Rank Regularizer for Matrix Factorization
Istituto Italiano di Tecnologia（意大利技术研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
矩阵分解（MF）和近似问题的正则化已经以许多不同的方式进行。由于其在深度学习中的流行，dropout也被应用于这类问题。尽管dropout有着坚实的经验表现，但它作为正则化子的理论性质对于这类问题仍然非常难以捉摸。在本文中，我们提出了一个理论分析的脱落MF，其中伯努利随机变量用于下降列的因素。我们证明了辍学和完全确定性模型MF中的因素是正规化的平方欧几里德规范的列的产品的总和之间的等价性。此外，我们检查的情况下，一个可变大小的分解，我们证明了辍学达到全局最小值的凸逼近问题（平方）核范数正则化。因此，我们可以得出结论，dropout可以作为一个低秩正则化与数据相关的奇异值阈值。
2017-10-13 cs.LG stat.ML
Dropout as a Structured Shrinkage Prior
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）；Alan Turing Institute（艾伦·图灵研究所）；University of California, Irvine（加州大学欧文分校）
深度神经网络的丢弃正则化是一种神秘而有效的防止过拟合的工具。其成功的解释范围从防止“共同适应”的权重，它是一种廉价的贝叶斯推断的形式。我们提出了一个新的框架来理解神经网络中的乘性噪声，考虑了连续分布以及伯努利噪声（即辍学）。我们发现，乘性噪声诱导结构化收缩先验网络的权重。我们通过尺度混合物的重新参数化性质得到等价性，而不需要调用任何近似。鉴于等价性，我们然后表明，辍学的蒙特卡罗训练目标接近边际MAP估计。我们利用这些见解，提出了一种新的收缩框架resnets，terning之前的“自动深度确定”，因为它是网络深度的自动相关性确定的自然模拟。最后，我们研究了两种推理策略，改进了回归基准中的MAP近似。
2019-05-29 cs.LG stat.ML
Universal Approximation in Dropout Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）
我们证明了两个普遍的逼近定理的范围dropout神经网络。这些是前馈神经网络，其中每个边缘被赋予一个随机$\{0,1\}$值滤波器，具有两种操作模式：在第一种模式中，每个边缘输出乘以其随机滤波器，从而产生随机输出，而在第二种模式中，每个边缘输出乘以其滤波器的期望，从而产生确定性输出。通常在训练期间使用随机模式，而在测试和预测期间使用确定性模式。这两个定理都有以下形式：给定一个函数来近似和一个阈值$\varepsilon>0$，存在一个丢弃网络，它在概率上和在$L^q$中是$\varepsilon$ -接近的。第一个定理适用于随机模式下的丢弃网络。它对激活函数的假设很少，适用于广泛的网络类别，甚至可以应用于神经网络以外的近似方案。核心是一种代数性质，表明确定性网络可以与随机网络在预期中完全匹配。第二个定理提出了更强有力的假设，并给出了更强有力的结果。给定一个函数来近似，它提供了一个同时在两种模式下近似的网络的存在。证明组件是由独立副本递归替换边，以及将所得较大网络耦合到输入的特殊第一层替换。被近似的函数被假定为一般赋范空间的元素，并且近似在相应的范数中被度量。网络是明确构建的。由于证明方法的不同，这两个结果对随机丢弃网络的逼近性质给出了独立的见解。由此，我们建立了dropout神经网络广泛地满足普适逼近性质。
2020-12-18 cs.LG math.PR stat.ML
L2AE-D: Learning to Aggregate Embeddings for Few-shot Learning with Meta-level Dropout
University of Nottingham（诺丁汉大学）；Automated Scheduling Optimisation and Planning (ASAP) Research Group（自动调度优化与规划（ASAP）研究组）
本文提出L2AE-D方法，通过通道注意力聚合嵌入并引入元级Dropout，缓解少样本学习中的元级过拟合，在Omniglot和miniImageNet上达到最先进性能。
2019-04-08 cs.CV cs.LG
To Drop or Not to Drop: Robustness, Consistency and Differential Privacy Properties of Dropout
Microsoft Research（微软研究院）；Stony Brook University（石溪大学）；Yahoo Labs（雅虎实验室）；Apple Inc（苹果公司）
训练深度信念网络（DBN）需要优化具有大量参数的非凸函数。自然地，现有的基于梯度下降（GD）的方法倾向于任意差的局部最小值。在本文中，我们严格表明，这种局部极小值可以避免（近似误差），通过使用辍学技术，广泛使用的启发式在这一领域。特别是，我们表明，通过随机删除一个隐藏层神经网络的几个节点，训练目标函数，达到一定的近似误差，减少了乘法因子。另一方面，我们表明，对于训练凸经验风险最小化器（ERM），dropout实际上充当了“稳定器”或正则化器。也就是说，一个简单的基于辍学的GD方法凸ERMs是稳定的，在面对任意变化的任何一个训练点。使用上述断言，我们表明，辍学提供快速的泛化误差学习（凸）广义线性模型（GLM）。此外，利用上述的dropout的稳定性，我们设计了基于dropout的差分隐私算法来解决ERM。因此，学习的GLM保留了每个单独训练点的隐私，同时为新的测试点提供准确的预测。最后，我们在凸ERM的背景下实证验证了我们对dropout的稳定性断言，并令人惊讶地表明，对于几个基准数据集，dropout的性能显着优于（就预测准确性而言）基于L2正则化的方法。
2015-03-06 cs.LG cs.NE stat.ML
Dropout Inference with Non-Uniform Weight Scaling
GE Research（通用电气研究院）
作为正则化的Dropout已被广泛用于防止训练神经网络的过拟合。在训练过程中，单元及其连接被随机丢弃，这可以被认为是从原始模型中采样许多不同的子模型。在测试时，权重缩放和蒙特卡罗近似是两种广泛应用的方法来近似输出。当所有子模型都是低偏差复杂学习器时，这两种方法都能很好地工作。然而，在这项工作中，我们展示了一些子模型的行为更接近高偏差模型的场景，并且非均匀权重缩放是一种更好的近似推理。
2022-04-27 cs.CV cs.LG
Hardware-Aware Neural Dropout Search for Reliable Uncertainty Prediction on FPGA
Imperial College London（帝国理工学院）
针对现有基于Dropout的贝叶斯神经网络手动配置效率低、性能欠佳的问题，提出硬件感知的神经Dropout搜索框架，自动优化网络与FPGA实现，在能效和算法性能上均优于现有方案。
2024-06-23 cs.AR cs.LG
Tensor Regression Networks with various Low-Rank Tensor Approximations
RIKEN Center for AIP（理化学研究所AIP中心）；McGill University（麦吉尔大学）
张量回归网络实现了神经网络的高压缩率，同时对性能的影响很小。它们通过对全连接层的权重矩阵施加低张量秩结构来做到这一点。近年来，人们从压缩能力的角度对张量回归网络进行了研究，但对低秩张量结构的正则化效应的研究还不够深入。我们使用各种低秩张量近似来研究张量回归网络，旨在比较不同低秩约束的压缩和正则化能力。我们评估的压缩和正则化性能的建议模型与深和浅的卷积神经网络。我们的实验结果表明，全局平均池层优于张量回归层，当应用于CIFAR-10数据集的深度卷积神经网络时。相反，当使用少量样本进行训练时，具有张量回归层和dropout函数的浅层卷积神经网络的测试误差低于全局平均池和具有dropout函数的全连接层。
2018-11-29 cs.LG stat.ML
Revisiting Softmax for Uncertainty Approximation in Text Classification
University of Copenhagen（哥本哈根大学）
针对文本分类中MC Dropout不确定性近似计算成本高的问题，本文通过多数据集多架构实证对比，发现低成本的softmax的不确定性估计效果具竞争力，可作为计算资源受限时的替代方案。
2023-07-19 cs.CL cs.LG
STAMP: A shot-type-aware areal multilevel Poisson model for league-wide comparison of basketball shot charts
Graduate School of Informatics, Nagoya University（名古屋大学情报大学院）；Center for Advanced Intelligence Project, RIKEN（理化学研究所先进智能项目中心）
本文提出STAMP模型，通过泊松似然和基于控球的暴露偏移，联合建模球队在预定义区域、赛季和投篮类型上的投篮尝试，实现对投篮类型特性的公平比较。
2026-03-25 stat.AP stat.ME
Modality-Aware Zero-Shot Pruning and Sparse Attention for Efficient Multimodal Edge Inference
Northwestern University（西北大学）
本文提出SentryFuse框架，通过模态感知的剪枝和稀疏注意力机制，在无需微调的情况下提升多模态边缘推断的效率与准确性，实现12.7%的平均精度提升和28.2%的内存减少。
2026-04-10 cs.LG
Self-Augmentation: Generalizing Deep Networks to Unseen Classes for Few-Shot Learning
Korea University（高丽大学）
少样本学习的目标是用几个训练样本对看不见的类进行分类。虽然最近的工作表明，标准的小批量训练与精心设计的训练策略可以提高不可见类的泛化能力，但深度网络中的众所周知的问题，如记忆训练统计数据，对于少样本学习的探索较少。为了解决这个问题，我们提出了自我增强，巩固自我混合和自我升华。具体来说，我们利用一个区域辍学技术称为自混合，其中一个补丁的图像被替换成其他值在同一个图像。然后，我们采用一个骨干网络，具有辅助分支与自己的分类器，以加强知识共享。最后，我们提出了一个局部表示学习器，以进一步利用一些训练样本为看不见的类。实验结果表明，该方法在当前流行的Few-Shot基准测试中的性能优于现有方法，并提高了泛化能力。
2020-08-04 cs.CV cs.LG stat.ML
Approximation Property of Dropout Neural Networks: Sobolev Rates and Confidence Bounds
本文研究Dropout ReLU网络对Sobolev函数类的逼近，给出网络规模的上界与下界，并证明在固定或对数深度下精度指数匹配，揭示了随机保留边对逼近能力的影响。
2026-10-05 cs.LG cs.NA math.NA
Characteristics of Monte Carlo Dropout in Wide Neural Networks
Fraunhofer Institute for Intelligent Analysis and Information Systems IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Ruhr-University Bochum（波鸿鲁尔大学）
蒙特卡罗（MC）丢弃是神经网络（NN）不确定性估计的一种最新方法。它被解释为近似执行贝叶斯推理。基于以前的工作的高斯过程的近似宽和深神经网络随机权重，我们研究了广泛的未经训练的神经网络下dropout的极限分布更严格，并证明了他们也收敛到高斯过程的固定集的权重和偏见。我们勾勒出一个论点，即这个属性也可能适用于无限宽的前馈网络，这些网络是用（全批）梯度下降训练的。该理论是对比的实证分析中，我们发现相关性和非高斯行为的预激活有限宽度NN。因此，我们研究（强）相关的预激活如何在具有强相关权重的NN中诱导非高斯行为。
2020-07-10 cs.LG math.ST stat.ML
Convergence, design and training of continuous-time dropout as a random batch method
本文研究受控微分方程中的连续时间 dropout，提出随机批近似方法，证明轨迹误差 O(h) 和训练一致性，并分析采样策略与误差常数关系，实验验证了神经 ODE 上的有效性。
2026-09-15 cs.LG math.OC
Unreliable Uncertainty Estimates with Monte Carlo Dropout
Department of Data Science, Norwegian University of Life Sciences（数据科学系，挪威生命科学大学）；SINTEF AS, Department of Mathematics and Cybernetics（SINTEF公司，数学与自动化系）
本文指出蒙特卡洛滴落在估计不确定性时不可靠，尤其在插值和外推区域表现不佳，不如传统贝叶斯方法可靠。
2025-12-16 cs.LG
Lyapunov-Based Dropout Deep Neural Network (Lb-DDNN) Controller
University of Florida（佛罗里达大学）
本文提出一种基于Lyapunov的Dropout深度神经网络自适应控制器，通过逐层随机去激活权重和实时权重自适应律缓解过拟合，并证明跟踪误差渐近收敛，仿真显示跟踪误差、函数逼近误差和控制代价均显著优于无dropout基线。
2023-10-30 cs.LG cs.SY eess.SY
Federated Dropout: Convergence Analysis and Resource Allocation
ShanghaiTech University（上海科技大学）；University of Aberdeen（阿伯丁大学）；Southern University of Science and Technology（南方科技大学）；The University of Edinburgh（爱丁堡大学）；The University of Hong Kong（香港大学）
本文针对联邦丢弃法缺乏理论收敛性分析的问题，利用泰勒展开证明梯度方差随丢弃率 γ 以 γ/(1−γ) 增大，并据此提出联合优化丢弃率与带宽分配的低复杂度算法，以在时延和资源约束下最小化损失函数。
2024-12-31 cs.IT cs.LG math.IT
GFlowOut: Dropout with Generative Flow Networks
Mila Quebec AI Institute（米拉魁北克人工智能研究所）；Broad Institute of MIT and Harvard（麻省理工学院-哈佛大学博德研究所）；University of Montreal（蒙特利尔大学）；McGill University（麦吉尔大学）；Lelapa AI（莱拉帕人工智能公司）；National University of Singapore（新加坡国立大学）；Google DeepMind（谷歌DeepMind）；Technical University of Munich（慕尼黑工业大学）
本文提出GFlowOut方法，利用生成流网络（GFlowNets）学习dropout掩码的后验分布，以解决传统变分推断在多模态后验和样本相关性利用上的挑战，提升模型对分布外数据的泛化能力及下游任务的不确定性估计性能。
2023-06-24 cs.AI cs.LG
An Anomaly Detection Method for Satellites Using Monte Carlo Dropout
University of Waterloo（滑铁卢大学）；National Research Council Canada（加拿大国家研究委员会）
近年来，人们对利用神经网络进行卫星遥测异常检测产生了极大的兴趣。对于AD的目的，目前的方法集中在预测或重建的时间序列，他们不能衡量的可靠性水平或正确检测的概率。虽然贝叶斯神经网络（BNN）为基础的方法是众所周知的时间序列的不确定性估计，他们是计算上棘手的。在本文中，我们提出了一个易于处理的近似BNN的基础上的蒙特卡罗（MC）的辍学方法捕捉卫星遥测时间序列中的不确定性，而不牺牲精度。对于时间序列预测，我们采用了一个NN，它由几个长短期记忆（LSTM）层组成，后面是各种密集层。我们在每个LSTM层内部和密集层之前使用MC dropout进行不确定性估计。利用所提出的不确定性区域和后处理滤波器，我们可以有效地捕获异常点。数值结果表明，我们提出的时间序列AD方法优于现有的方法，从预测精度和AD的角度。
2022-11-27 cs.AI cs.LG eess.SP
Spatial-SpinDrop: Spatial Dropout-based Binary Bayesian Neural Network with Spintronics Implementation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CEA（法国原子能和替代能源委员会）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；IRIG-Spintec（格勒诺布尔微电子与纳米技术研究所自旋电子与纳米技术实验室）；RevoAI GmbH（RevoAI有限公司）
本文提出MC-SpatialDropout，一种基于空间丢弃和自旋电子器件的二值贝叶斯神经网络，利用器件随机性高效实现硬件丢弃，使模块数减少9倍、能耗降低94.11倍，同时保持预测性能与不确定性估计。
2023-06-16 cs.AI cs.AR cs.ET
MC-CIM: Compute-in-Memory with Monte-Carlo Dropouts for Bayesian Edge Intelligence
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Intel（英特尔）
我们提出了MC-CIM，一个计算内存（CIM）框架的强大，但低功耗，贝叶斯边缘智能。具有确定性权重的深度神经网络（DNN）无法表达其预测不确定性，因此对预测错误的后果是致命的应用（如手术机器人）构成了严重风险。为了解决这一限制，DNN的贝叶斯推理得到了关注。使用贝叶斯推理，不仅可以提取预测本身，还可以提取预测置信度，用于规划风险感知行动。然而，DNN的贝叶斯推理在计算上是昂贵的，不适合实时和/或边缘部署。使用蒙特卡罗丢弃（MC-丢弃）的贝叶斯DNN的近似已经显示出高鲁棒性以及低计算复杂性。为了提高该方法的计算效率，我们讨论了一种新的CIM模块，除了在内存中的权重输入标量积，可以执行内存中的概率丢弃，以支持该方法。我们还提出了一个计算重用的MC-Dropout的重新表述，其中每个连续的实例可以利用前一次迭代的乘积和计算。更进一步，我们讨论了如何利用组合优化方法对随机实例进行最优排序，以最小化总体MC-Dropout工作量。提出了基于CIM的MC-Dropout执行的应用程序的MNIST字符识别和自主无人机的视觉里程计（VO）进行了讨论。该框架可靠地提供了预测的信心，在MC-CIM施加的非理想性在很大程度上。建议的MC-CIM采用16 x31 SRAM阵列、0.85 V电源、16 nm低待机功耗（LSTP）技术，在其最佳计算和外设配置下，30个MC-Dropout概率推理实例消耗27.…
2021-11-13 cs.AR cs.LG cs.RO
Simultaneous Perturbation Stochastic Approximation for Few-Shot Learning
Saint Petersburg State University（圣彼得堡国立大学）；Institute of Problems in Mechanical Engineering, Russian Academy of Sciences（俄罗斯科学院机械工程问题研究所）；Herzen State Pedagogical University（赫尔岑国立师范大学）
少样本学习是机器学习的一个重要研究领域，它要求分类器能够适应训练集之外的新类别。然而，每个类只有少量的例子可用于训练。这是这种类型的学习算法的关键问题之一，导致显著的不确定性。我们攻击这个问题通过随机随机逼近。在本文中，我们建议考虑新的多任务损失函数，并提出了基于原型网络方法的SPSA类少样本学习方法。我们提供了一个理论依据和实验分析这种方法。在基准数据集上的实验结果表明，该方法优于原始原型网络。
2020-06-09 cs.LG math.OC stat.ML
Scale-Dropout: Estimating Uncertainty in Deep Neural Networks Using Stochastic Scale
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CEA（法国原子能和替代能源委员会）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；IRIG-Spintec（格勒诺布尔微电子与纳米技术研究所-自旋电子学与纳米技术实验室）；RevoAI GmbH（RevoAI有限公司）
本文提出 Scale Dropout 正则化技术及 MC-Scale Dropout 贝叶斯二值神经网络，仅用一个随机单元实现高效不确定性估计，并设计自旋电子存内计算架构，在保证预测性能的同时大幅降低能耗。
2024-01-11 cs.AI cs.ET cs.LG
SHOT-VAE: Semi-supervised Deep Generative Models With Label-aware ELBO Approximations
Zhejiang University（浙江大学）；University of Maryland（马里兰大学）
半监督变分自编码器（VAE）已经获得了强有力的结果，但也遇到了挑战，即良好的ELBO值并不总是意味着准确的推断结果。在本文中，我们调查并提出了两个问题的原因：（1）ELBO目标不能直接利用标签信息。(2)存在一个瓶颈值，在此值之后继续优化ELBO将不会提高推理准确性。在实验结果的基础上，我们提出了SHOT-VAE来解决这些问题，而无需引入额外的先验知识。SHOT-VAE提供了两个贡献：（1）一个新的ELBO近似称为平滑ELBO，将标签预测损失集成到ELBO。(2)基于最优插值的近似，通过减少ELBO和数据似然之间的裕度来打破ELBO值瓶颈。SHOT-VAE在具有10 k标签的CIFAR-100上实现了25.30%出错率的良好性能，并且在具有4k标签的CIFAR-10上将出错率降低到6.11%。
2020-12-08 cs.LG
Deep Learning Approximation: Zero-Shot Neural Network Speedup
神经网络为一系列问题提供了高精度的解决方案，但由于前向传递期间的计算和存储器要求，因此在生产系统中运行成本很高。给定一个经过训练的网络，我们提出了一种称为深度学习近似的技术，通过只操纵网络结构和系数，而不需要重新训练或访问训练数据，在训练所需时间的一小部分内构建一个更快的网络。加速是通过应用一系列顺序的独立优化来实现的，这些优化减少了执行前向传递所需的浮点运算（FLOP）。首先，应用无损优化，然后使用奇异值分解（SVD）和低秩矩阵分解进行有损近似。根据用户指定的单个参数，通过权衡相对精度损失和FLOP减少来选择最佳近似。在使用YOLO网络的PASCAL VOC 2007上，我们展示了网络前向传递的端到端2倍加速，mAP下降了5%，可以通过微调重新获得。
2018-06-15 cs.CV cs.LG stat.ML
DDDM: a Brain-Inspired Framework for Robust Classification
Institute of Neuroscience, Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心神经科学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Center for Brain Science and Brain-Inspired Technology（上海脑科学与类脑研究中心）；University of Science and Technology of China（中国科学技术大学）
尽管深度人工神经网络在广泛的现实任务中表现出色，但它对输入噪声非常敏感，特别是对抗性扰动。相反，人类和动物的大脑就不那么脆弱了。与大多数深度神经网络执行的一次性推理相反，大脑通常通过证据积累机制来解决决策问题，当面对嘈杂的输入时，这种机制可能会以时间换取准确性。漂移-扩散模型（DDM）很好地描述了这一机制。在DDM中，决策被建模为一个过程，在这个过程中，有噪声的证据朝着一个阈值积累。受DDM的启发，提出了一种结合测试阶段丢弃和DDM的基于丢弃的漂移扩散模型（DDDM），用于提高任意神经网络的鲁棒性。丢弃在网络中产生时间上不相关的噪声，以对抗扰动，而证据积累机制则保证了合理的决策精度。在图像，语音和文本分类任务中测试的DDDM增强的神经网络都显着优于其本地同行，证明了DDDM作为针对对抗攻击的任务不可知防御。
2022-05-01 cs.LG cs.NE
Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation
Google Inc.（谷歌公司）；Google Research（谷歌研究院）
已经提出了许多方法来量化与深度神经网络的输出相关联的预测不确定性。其中，集成方法往往导致国家的最先进的结果，虽然他们需要修改的训练过程，并在计算上昂贵的训练和推理。在本文中，我们提出了一种新的基于单模型的方法。其主要思想是受到这样一种观察的启发，即我们可以通过从高斯分布中绘制模型来“模拟”一个集合，其形式类似于渐近正态理论、无穷小Jackknife、贝叶斯神经网络的拉普拉斯近似以及随机梯度下降中的轨迹。然而，我们不是使用“集成”中的每个模型来预测，然后聚合它们的预测，而是集成了高斯分布和神经网络的softmax输出。我们使用一个平均场近似公式来计算这个解析难处理的积分。所提出的方法有几个吸引人的属性：它作为一个合奏，而不需要多个模型，它使封闭形式的近似推理只使用高斯的第一和第二时刻。从经验上讲，所提出的方法相比，最先进的方法，包括深度集成，温度缩放，辍学和贝叶斯神经网络，在标准的不确定性估计任务的竞争力。它在分布外检测方面也优于许多方法。
2021-05-09 cs.LG stat.ML
Dropout MPC: An Ensemble Neural MPC Approach for Systems with Learned Dynamics
University of Ioannina（约阿尼纳大学）
针对神经网络模型在不确定系统中可靠性不足的问题，提出Dropout MPC算法，利用Monte-Carlo dropout构建集成预测控制器并通过加权投票优化轨迹，提升了控制可靠性并实现不确定性估计。
2024-06-04 cs.AI cs.LG cs.RO
Gaussian Process Meta Few-shot Classifier Learning via Linear Discriminant Laplace Approximation
Samsung AI Center（三星人工智能中心）；University of Edinburgh（爱丁堡大学）
元学习Few-Shot分类是机器学习中的一个新兴问题，最近受到了极大的关注，其目标是学习一个模型，该模型可以快速适应新的任务，只有很少的标记数据。我们考虑贝叶斯高斯过程（GP）的方法，其中我们元学习的GP先验，并适应一个新的任务进行的GP预测模型从后验推理。我们采用拉普拉斯后验近似，但为了避免迭代梯度步骤，寻找MAP解决方案，我们引入了一种新的线性判别分析（LDA）插件作为MAP解决方案的替代品。在本质上，MAP解是由LDA估计近似的，但考虑到GP先验，我们采用先验范数调整来估计LDA的共享方差参数，这确保了调整后的估计与GP先验一致。这使得封闭形式的可微GP后验和预测分布成为可能，从而允许快速Meta训练。我们表现出相当大的改进，在以前的方法。
2021-12-13 cs.LG
Scaling Learning based Policy Optimization for Temporal Logic Tasks by Controller Network Dropout
University of Southern California（南加州大学）；Toyota NA R&D（丰田北美研发中心）
本文提出一种基于模型的方法，利用前馈神经网络学习DT-STL任务的反馈控制器，并引入控制器网络dropout的新型梯度近似算法，解决了长跨度任务中的梯度消失与爆炸问题，实现了可扩展的反向传播。
2024-08-27 cs.AI cs.LG cs.RO
Uncertainty Intervals for Graph-based Spatio-Temporal Traffic Prediction
University of Amsterdam（阿姆斯特丹大学）
许多交通预测应用依赖于不确定性估计而不是平均预测。统计流量预测文献有一个完整的子领域专门用于不确定性建模，但最近的深度学习流量预测模型要么缺乏这一功能，要么做出限制其实用性的特定假设。我们提出了分位数图Wavenet，一个时空神经网络，它被训练来估计密度给定的测量以前的时间步，条件分位数。我们的密度估计方法完全由我们的神经网络参数化，内部不使用似然近似。分位数损失函数是不对称的，这使得可以对偏斜密度进行建模。这种方法产生不确定性估计，而不需要在推理过程中进行采样，例如在Monte Carlo Dropout中，这使得我们的方法也很有效。
2020-12-09 cs.LG stat.ML
Adaptive Prompt Tuning: Vision Guided Prompt Tuning with Cross-Attention for Fine-Grained Few-Shot Learning
Faculty of Science and Engineering, University of Groningen（格罗宁根大学科学与工程学院）；TNO（荷兰国防技术研究院）
提出基于交叉注意力的自适应提示调优方法，利用视觉输入动态优化CLIP文本提示，提升少样本细粒度分类性能，并集成蒙特卡洛Dropout增强预测可靠性。
2025-01-01 cs.AI cs.CV cs.LG
Regression Networks for Meta-Learning Few-Shot Classification
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
我们提出了回归网络的问题，Few-Shot分类，其中一个分类器必须推广到新的类中没有看到的训练集，只有少量的例子，每个类。在高维嵌入空间中，数据的方向通常包含比幅度更丰富的信息。除此之外，最先进的Few-Shot度量方法（将距离与聚合类表示进行比较）已显示出优越的性能。结合这两个见解，我们提出通过回归每个类子空间中的最接近近似值，同时使用回归误差作为距离度量来元学习嵌入点的分类。与最近的少样本学习方法类似，回归网络反映了一种简单的归纳偏差，这在这种有限的数据制度中是有益的，并且它们实现了出色的结果，特别是当可以用多个样本形成更多的聚合类表示时。
2020-06-18 cs.CV cs.LG stat.ML
A Kings Ransom for Encryption: Ransomware Classification using Augmented One-Shot Learning and Bayesian Approximation
Newcastle University（纽卡斯尔大学）
新出现的勒索软件变体通过处理和分析大数据，对管理现代生活各个方面的计算机系统构成了越来越大的威胁。虽然最近各种基于安全的方法都集中在网络或系统级别的勒索软件检测和分类上，但以前从未尝试过针对外行用户的易于使用的感染后勒索软件分类。在本文中，我们研究了对系统感染的勒索软件进行分类的可能性，这些勒索软件仅基于使用任何现代移动终端中常见的消费者相机捕获的启动画面或赎金说明的屏幕截图。为了训练和评估我们的系统，我们创建了一个包含50个著名勒索软件变体的闪屏的样本数据集。在我们的数据集中，每个勒索软件只有一个训练图像可用。我们没有创建勒索软件截图的大型训练数据集，而是通过精心设计的数据增强技术模拟截图捕获条件，从而实现简单高效的一次性学习。此外，使用通过贝叶斯近似获得的模型不确定性，我们确保特殊输入情况，如不相关的非勒索软件图像和以前未见过的勒索软件变体，可以正确识别以进行特殊处理，而不会被错误分类。广泛的实验评估证明了我们工作的有效性，勒索软件分类的准确率高达93.6%。
2019-08-19 cs.CR cs.CV cs.LG
SLiM: One-shot Quantization and Sparsity with Low-rank Approximation for LLM Weight Compression
University of Toronto（多伦多大学）；Google DeepMind（谷歌DeepMind）；NVIDIA Research（NVIDIA研究）
本文提出一次性压缩框架SLIM，将硬件友好的量化、半结构化稀疏性与低秩近似相集成，通过概率量化、剪枝及新颖显著性函数补偿误差，显著提升了模型精度并降低了内存和推理开销。
2025-08-14 cs.AI cs.LG cs.PF
Uncertainty estimation of pedestrian future trajectory using Bayesian approximation
Virginia Tech（弗吉尼亚理工大学）；Virginia Tech Transportation Institute（弗吉尼亚理工交通研究所）
过去行人轨迹预测的研究主要集中在确定性预测，只提供未来状态的点估计。这些未来的估计可以帮助自动驾驶汽车规划其轨迹并避免碰撞。然而，在动态交通场景下，基于确定性预测的规划是不可信的。相反，以一定的置信度估计与预测状态相关联的不确定性可以导致鲁棒的路径规划。因此，作者建议在预测过程中使用确定性方法无法捕获的随机近似来量化这种不确定性。目前的方法是简单的，并适用于贝叶斯近似推理过程中的标准神经网络架构估计不确定性。作者比较了概率神经网络（NN）模型与标准确定性模型之间的预测。结果表明，与确定性预测相比，概率模型的平均预测路径更接近地面实况。进一步研究了权值随机丢失和长期预测对未来状态不确定性的影响。结果发现，概率模型产生更好的性能指标，如平均位移误差（ADE）和最终位移误差（FDE）。最后，该研究已扩展到多个数据集，为每个模型提供全面的比较。
2022-05-04 cs.LG
Is the Meta-Learning Idea Able to Improve the Generalization of Deep Neural Networks on the Standard Supervised Learning?
Computer Science Department State University of New York at Binghamton（纽约州立大学宾汉姆顿分校计算机科学系）
为了在不引入更多参数的情况下获得更好的性能，已经在提高深度神经网络（DNN）的泛化能力方面做出了大量努力。另一方面，元学习方法在少样本学习中对新任务表现出强大的泛化能力。直观的、少样本学习比标准的监督学习更具挑战性，因为每个目标类只有很少的训练样本或没有训练样本。由此产生的自然问题是，元学习思想是否可以用于提高DNN在标准监督学习上的泛化能力。在本文中，我们提出了一种新的基于元学习的DNN训练过程（MLTP），并证明了元学习的想法确实可以提高DNN的泛化能力。MLTP通过将一批训练样本视为一个任务来模拟元训练过程。其关键思想是，用于提高当前任务性能的梯度下降步骤也应该提高新的任务性能，这被当前用于训练神经网络的标准过程所忽略。MLTP还受益于所有现有的训练技术，如dropout、权重衰减和批量归一化。我们通过在三个基准数据集上训练各种小型和大型神经网络来评估MLTP，即，CIFAR-10、CIFAR-100和Tiny ImageNet。实验结果表明，在所有不同大小的DNN上，泛化性能都得到了一致的提高，这验证了MLTP的承诺，并证明了元学习思想确实能够提高DNN在标准监督学习上的泛化能力。
2020-02-27 cs.CV cs.LG stat.ML
Zero-shot protein stability prediction by inverse folding models: a free energy interpretation
Technical University of Denmark（丹麦技术大学）；Novonesis；University of Copenhagen（哥本哈根大学）；Novo Nordisk（诺维泽德）
本文从自由能角度解释逆折叠模型在零样本蛋白质稳定性预测中的成功，指出似然比是简化近似，并提出改进方法，实证显示可显著提升性能。
2025-10-27 cs.AI cs.LG q-bio.BM
TreeFlash: Parallel AR-Approximation for Faster Speculative Decoding
ETH Zurich（苏黎世联邦理工学院）
提出TreeFlash，通过MLP层近似自回归分布，在保持O(1)解码时间复杂度的同时，提升树形推测解码的块效率和加速比。
2026-06-02 cs.LG
