On the universal approximation property of radial basis function neural networks
University of Edinburgh（爱丁堡大学）；French-Azerbaijani University（法阿大学）
本文提出将平滑因子替换为平移的新型RBF神经网络，并在特定条件下证明了其能够任意精度逼近d维欧几里得空间紧子集上的连续多元函数。
2023-04-08 cs.LG stat.ML
The universal approximation theorem for complex-valued neural networks
Technical University of Munich（慕尼黑工业大学）；University of Vienna（维也纳大学）；Catholic University of Eichstätt-Ingolstadt（艾希施泰特-因戈尔施塔特天主教大学）
我们推广了经典的神经网络的通用逼近定理的情况下，复值神经网络。准确地说，我们认为前馈网络与复杂的激活功能$σ: \mathbb{C} \to \mathbb{C}$，其中每个神经元执行操作$\mathbb{C}^N \to \mathbb{C}, z \mapsto σ(b + w^T z)$与权重$w \in \mathbb{C}^N$和偏置$b \in \mathbb{C}$，并与$σ$应用组件。我们完全刻画了这些激活函数$σ$的相关的复杂网络具有普遍的逼近属性，这意味着他们可以一致地逼近任何连续函数的任意紧子集的$\mathbb{C}^d$任意好。与真实网络的经典情况不同，产生具有普适逼近性质的网络的“好激活函数”集合取决于人们是否考虑深层网络或浅层网络而显著不同：对于至少有两个隐藏层的深层网络，只要$σ$既不是多项式，也不是全纯函数或反全纯函数，普适逼近性质就成立。另一方面，浅网络是通用的当且仅当$σ$的实部或虚部不是多调和函数。
2022-12-11 cs.LG math.FA stat.ML
Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning
University of Cambridge（剑桥大学）
深度学习工具在应用机器学习中获得了极大的关注。然而，这种回归和分类工具并不能捕捉模型的不确定性。相比之下，贝叶斯模型提供了一个基于数学的框架来推理模型的不确定性，但通常会带来高昂的计算成本。在本文中，我们开发了一个新的理论框架，将深度神经网络（NN）中的辍学训练作为深度高斯过程中的近似贝叶斯推断。这一理论的直接结果为我们提供了使用dropout NN对不确定性建模的工具-从迄今为止被丢弃的现有模型中提取信息。这缓解了在深度学习中表示不确定性的问题，而不会牺牲计算复杂性或测试准确性。我们进行了广泛的研究辍学的不确定性的性质。以MNIST为例，对回归和分类任务进行了各种网络架构和非线性评估。与现有的最先进的方法相比，我们在预测对数似然和RMSE方面有了相当大的改进，并通过在深度强化学习中使用dropout的不确定性来完成。
2016-10-04 cs.LG stat.ML
Global universal approximation of functional input maps on weighted spaces
Vienna University（维也纳大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出了一种在加权空间上实现函数输入映射的神经网络结构，并利用加权Stone-Weierstrass定理证明了其在连续函数和路径空间函数逼近中的全局通用逼近能力，同时探讨了其在不确定性量化中的应用。
2025-12-02 cs.LG math.FA math.PR
Sumformer: Universal Approximation for Efficient Transformers
Ludwig-Maximilians-Universität München（慕尼黑路德维希-马克西米利安大学）；Stanford University（斯坦福大学）；Technical University of Munich（慕尼黑工业大学）
本文提出Sumformer这一新颖简单架构，首次为Linformer和Performer建立通用逼近理论，并证明单层注意力Transformer即可实现通用逼近。
2023-07-05 cs.CL cs.LG stat.ML
The Universal Approximation Property
Eidgenössische Technische Hochschule Zürich（苏黎世联邦理工学院）
各种机器学习模型的通用近似属性目前仅在个案基础上被理解，限制了新的理论上合理的神经网络架构的快速发展，并模糊了我们对当前模型潜力的理解。本文致力于克服这些挑战，提出了一个表征，表示，构造方法，和存在性的结果，其中每个适用于任何普遍的逼近器上的大多数函数空间的实际利益。我们的表征结果是用来描述激活功能允许前馈架构，以保持其通用的近似能力时，多个约束施加在其最终层和其剩余层只有稀疏连接。这些包括重新缩放和移位的Leaky ReLU激活函数，但不包括ReLU激活函数。我们的构造和表示结果用于展示前馈架构的简单修改，该架构可以在整个欧几里德输入空间上均匀地近似具有非病态增长的任何连续函数。这改进了前馈架构的已知能力。
2020-11-28 cs.LG math.DS stat.ML
An elementary proof of a universal approximation theorem
Texas Tech University（德克萨斯理工大学）
本文给出了适用于三层隐藏层且激活函数递增、连续、有界的神经网络的通用近似定理的初等证明，仅用本科分析学工具，结果虽弱于已知最佳但证明更简单。
2024-12-21 cs.LG
Dropout as a Low-Rank Regularizer for Matrix Factorization
Istituto Italiano di Tecnologia（意大利技术研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
矩阵分解（MF）和近似问题的正则化已经以许多不同的方式进行。由于其在深度学习中的流行，dropout也被应用于这类问题。尽管dropout有着坚实的经验表现，但它作为正则化子的理论性质对于这类问题仍然非常难以捉摸。在本文中，我们提出了一个理论分析的脱落MF，其中伯努利随机变量用于下降列的因素。我们证明了辍学和完全确定性模型MF中的因素是正规化的平方欧几里德规范的列的产品的总和之间的等价性。此外，我们检查的情况下，一个可变大小的分解，我们证明了辍学达到全局最小值的凸逼近问题（平方）核范数正则化。因此，我们可以得出结论，dropout可以作为一个低秩正则化与数据相关的奇异值阈值。
2017-10-13 cs.LG stat.ML
Interval Universal Approximation for Neural Networks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；The Chinese University of Hong Kong（香港中文大学）
为了验证神经网络的安全性和鲁棒性，研究人员已经成功地应用了抽象解释，主要是使用区间抽象域。在本文中，我们研究了神经网络验证的区间域的理论力量和限制。首先，我们介绍了区间通用逼近（IUA）定理。IUA表明，神经网络不仅可以近似任何连续函数$f$（通用近似），正如我们几十年来所知道的那样，而且我们可以找到一个神经网络，使用任何行为良好的激活函数，其区间边界是$f$（将$f$应用于一组输入的结果）的集合语义的任意接近近似。我们称这种近似为区间近似。我们的定理将Baader等人（2020）的最新结果从ReLU推广到了一类丰富的激活函数，我们称之为可压扁函数。此外，IUA定理意味着我们总是可以使用几乎任何实际的激活函数在$\ell_\infty$ -范数下构造可证明鲁棒的神经网络。其次，我们研究了构造神经网络的计算复杂性，这些神经网络适合于精确的区间分析。这是一个至关重要的问题，因为我们的建设性证明IUA是指数的近似域的大小。我们把这个问题归结为用可压缩的激活函数来近似神经网络的范围的问题。我们证明了值域逼近问题（RA）是一个$Δ_2$ -中间问题，它严格比$\mathsf{NP}$ -完全问题难，假设$\mathsf{coNP}\not\subset \mathsf{NP}$ .因此，IUA是一个固有的困难问题：无论我们考虑什么抽象域或计算工具来实现区间近似，都没有有效的构造这样一个通用近…
2021-07-14 cs.LG cs.PL stat.ML
Universal approximation results for neural networks with non-polynomial activation function over non-compact domains
Nanyang Technological University, Division of Mathematical Sciences（南洋理工大学数学科学学院）
本文将单隐层前馈神经网络的通用逼近性质从紧域扩展到非紧域，在非多项式激活函数条件下证明了其在 $L^p$-空间、加权 $C^k$-空间和加权 Sobolev 空间中的逼近能力，并给出了与维数无关的收敛速率。
2025-07-07 cs.LG cs.NE math.CA
Attention Mechanism, Max-Affine Partition, and Universal Approximation
Fudan University（复旦大学）；Northwestern University（西北大学）；UC Berkeley（加州大学伯克利分校）；Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）
本文证明了具有最小附加结构的单层单头自注意力与交叉注意力机制具备泛逼近能力，通过将注意力解释为输入域划分机制设计权重，从而在多种范数下实现对连续或可积函数的逼近。
2025-04-28 cs.AI cs.LG stat.ML
Structured Dropout Variational Inference for Bayesian Neural Networks
VinAI Research（VinAI研究院）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Hanoi University of Science and Technology（河内科技大学）
贝叶斯深度网络中的近似推理表现出如何在保持计算效率和可扩展性的同时产生高保真后验近似的困境。我们通过引入一种新颖的变分结构逼近来应对这一挑战，该逼近的灵感来自Dropout正则化的贝叶斯解释。具体地说，我们重点研究了Dropout后验模型中因子分解结构的可分解性，并提出了一种改进的方法，称为变分结构Dropout（VSD）。VSD采用正交变换来学习具有合理复杂度的变分高斯噪声的结构化表示，从而在近似后验中引入统计依赖性。从理论上讲，VSD成功地解决了以前的变差丢弃方法的病理，从而提供了一个标准的贝叶斯理由。我们进一步表明，VSD诱导自适应正则化项与几个理想的属性，有助于更好的推广。最后，我们进行了广泛的实验，标准的基准测试，以证明VSD的有效性超过国家的最先进的变分方法的预测精度，不确定性估计，和分布外检测。
2021-10-29 cs.LG stat.ML
Dropout as a Structured Shrinkage Prior
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）；Alan Turing Institute（艾伦·图灵研究所）；University of California, Irvine（加州大学欧文分校）
深度神经网络的丢弃正则化是一种神秘而有效的防止过拟合的工具。其成功的解释范围从防止“共同适应”的权重，它是一种廉价的贝叶斯推断的形式。我们提出了一个新的框架来理解神经网络中的乘性噪声，考虑了连续分布以及伯努利噪声（即辍学）。我们发现，乘性噪声诱导结构化收缩先验网络的权重。我们通过尺度混合物的重新参数化性质得到等价性，而不需要调用任何近似。鉴于等价性，我们然后表明，辍学的蒙特卡罗训练目标接近边际MAP估计。我们利用这些见解，提出了一种新的收缩框架resnets，terning之前的“自动深度确定”，因为它是网络深度的自动相关性确定的自然模拟。最后，我们研究了两种推理策略，改进了回归基准中的MAP近似。
2019-05-29 cs.LG stat.ML
Universal approximation property of ODENet and ResNet with a single activation function
Kanazawa University（金泽大学）；Tokyo University of Marine Science and Technology（东京海洋大学）
本文证明仅使用单一激活函数与仿射映射复合作为向量场的ODENet和ResNet，即可一致逼近任意一般向量场的ODENet，揭示了受限结构下的通用逼近能力。
2024-10-22 cs.AI cs.LG cs.NA
Universality and approximation bounds for echo state networks with random weights
Huawei Technologies Co., Ltd.（华为技术有限公司）；City University of Hong Kong（香港城市大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文研究了具有随机内部权重的回声状态网络的均匀逼近问题，提出了一种替代构造，证明了一般激活函数下的普适性，并针对 ReLU 激活函数给出了显式采样过程构造及逼近误差量化。
2023-12-04 cs.LG cs.NA cs.NE
Universal Approximation of Operators with Transformers and Neural Integral Operators
Department of Mathematics and Statistics（数学与统计学系）；Idaho State University Physical Science Complex（爱达荷州立大学物理科学中心）；S. 8th Ave., Stop 8085（921 S. 8th Ave., Stop 8085）；Pocatello, ID 83209, USA
本文研究变换器和神经积分算子在Banach空间中算子的通用逼近性质，证明变换器可逼近Hölder空间间的积分算子，神经积分算子的推广形式可逼近任意Banach空间间的算子，改进的变换器可逼近任意Banach空间间的算子。
2026-04-24 cs.LG cs.NA math.NA
Achieve the Minimum Width of Neural Networks for Universal Approximation
Beijing Normal University（北京师范大学）
神经网络的通用逼近属性（UAP）是深度学习的基础，众所周知，宽神经网络是$L^p$范数和连续/一致范数内连续函数的通用逼近器。然而，UAP的确切最小宽度$w_{\min}$尚未得到彻底研究。最近，使用解码器-存储器-编码器方案，\citet{Park2021Minimum}发现ReLU网络的$L^p$-UAP和ReLU+STEP网络的$C$都有$w_{\min} = \max(d_x+1,d_y)$，其中$d_x,d_y$分别是输入和输出维度。在本文中，我们考虑具有任意一组激活函数的神经网络。我们证明了紧域上函数的$C$ -UAP和$L^p$ -UAP共享一个最小宽度的泛下界，即$w^*_{\min} = \max(d_x,d_y)$ .特别地，如果输入或输出维度大于1，则$L^p$ -UAP的临界宽度$w^*_{\min}$可以通过泄漏ReLU网络来实现。我们的构造是基于神经常微分方程的近似能力和神经网络近似流图的能力。对非单调或不连续的激活函数情形和一维情形也进行了讨论。
2023-02-04 cs.LG
Non-Euclidean Universal Approximation
Eidgenössische Technische Hochschule Zürich（苏黎世联邦理工学院）；University of Alberta（阿尔伯塔大学）
通常需要修改神经网络的输入和输出层，以适应大多数实际学习任务的特殊性。然而，这种变化对体系结构的近似能力的影响在很大程度上是不了解的。我们提出了一般条件描述的功能和读出地图，保持架构的能力，以近似任何连续的功能一致的紧凑。作为一个应用程序，我们表明，如果一个架构是能够通用的近似，然后修改其最后一层产生二进制值创建一个新的架构能够确定性地近似任何分类。特别是，我们获得了深度CNN和深度前馈网络的保证。我们的研究结果也在几何深度学习的范围内产生了影响。具体来说，当输入和输出空间的Cartan-Hadamard流形，我们得到几何意义的功能和读出地图满足我们的标准。因此，通常使用的非欧回归模型之间的对称正定矩阵空间扩展到通用DNN。同样的结果使我们能够表明，用于分层学习的双曲前馈网络是通用的。我们的结果也被用来表明，除了DNN的最后两层之外，随机化所有层的常见做法会产生一个概率为1的通用函数族。我们还提供了DNN的第一个条件（分别为：最后）几个层的连接和激活函数，其保证这些层可以具有等于输入的宽度（相应地，输出）空间的维度，同时不会对架构的近似能力产生负面影响。
2020-11-07 cs.LG cs.NE math.DG
Decomposition of Equivariant Maps via Invariant Maps: Application to Universal Approximation under Symmetry
Kyoto University（京都大学）；RIKEN（理化学研究所）；Kanazawa Institute of Technology（金泽工业大学）；Grenoble INP（格勒诺布尔理工学院）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文建立了群作用下等变映射与不变映射之间的一一对应关系，揭示了具有对称性的深度神经网络机制，并据此提出通用等变架构构造，分析了模型参数复杂度及ReLU网络的逼近率。
2024-09-25 cs.LG
Universal Approximation Theorem for Input-Connected Multilayer Perceptrons
本文提出输入连接多层感知机，证明其在单变量和向量输入情况下均能逼近任意连续函数，关键在于激活函数的非线性性。
2026-03-24 cs.LG cs.NE math.FA
Single-shot Bayesian approximation for neural networks
Elektrobit Automotive GmbH（Elektrobit汽车有限公司）；Zurich University of Applied Sciences（苏黎世应用科学大学）；University of Zurich（苏黎世大学）；Konstanz University of Applied Sciences（康斯坦茨应用科学大学）
针对贝叶斯神经网络测试时因采样导致计算慢的问题，提出基于矩传播的单次MC dropout近似方法，无需重训即可将标准dropout训练的NN转为BNN，在保证预测与不确定性估计效果的同时实现实时部署，结合深度集成可进一步提升性能。
2023-08-24 cs.LG stat.ML
Universal approximation and model compression for radial neural networks
Radboud University（拉德堡德大学）；Northeastern University（东北大学）
我们介绍了一类完全连接的神经网络，其激活函数，而不是逐点的，重新缩放的功能，只依赖于他们的范数的特征向量。我们称这种网络为径向神经网络，扩展了以前的工作旋转等变网络，考虑重新调整激活的一般性。我们证明了径向神经网络的普遍逼近定理，包括在更困难的情况下，有界宽度和无界域。我们的证明技术是新颖的，不同于那些在逐点的情况下。此外，径向神经网络在可训练参数的向量空间上表现出丰富的正交基变换对称性。分解出这些对称性导致一个实用的无损模型压缩算法。通过梯度下降对压缩模型的优化等效于对完整模型的投影梯度下降。
2023-02-16 cs.LG math.RT
Continuum Dropout for Neural Differential Equations
针对神经微分方程难以应用Dropout而易过拟合的问题，本文基于交替更新过程提出通用正则化技术Continuum Dropout，可提升模型泛化能力、量化预测不确定性，在多类任务上性能优于现有正则化方法。
2025-11-18 cs.LG stat.ML
Arbitrary-Depth Universal Approximation Theorems for Operator Neural Networks
Cornell University（康奈尔大学）；University of Connecticut（康涅狄格大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
算子神经网络（NN）的标准通用逼近定理对任意宽度和有界深度都成立。在这里，我们证明了有界宽度和任意深度的算子NN是连续非线性算子的通用逼近器。在我们的主要结果中，我们证明了，对于非多项式激活函数是连续可微的一个点与非零导数，可以构建一个运营商NN的宽度为5，其输入是实数与有限小数表示，这是任意接近任何给定的连续非线性算子。对于非仿射多项式激活函数，我们得到了类似的结果。我们还通过构造深度为$2k^3+8$和恒定宽度的算子ReLU NN来证明深度具有理论优势，这些深度和恒定宽度不能被深度为$k$的任何算子ReLU NN很好地近似，除非其宽度在$k$中是指数的。
2021-09-23 cs.LG cs.NA math.CA
Dropout Inference with Non-Uniform Weight Scaling
GE Research（通用电气研究院）
作为正则化的Dropout已被广泛用于防止训练神经网络的过拟合。在训练过程中，单元及其连接被随机丢弃，这可以被认为是从原始模型中采样许多不同的子模型。在测试时，权重缩放和蒙特卡罗近似是两种广泛应用的方法来近似输出。当所有子模型都是低偏差复杂学习器时，这两种方法都能很好地工作。然而，在这项工作中，我们展示了一些子模型的行为更接近高偏差模型的场景，并且非均匀权重缩放是一种更好的近似推理。
2022-04-27 cs.CV cs.LG
To Drop or Not to Drop: Robustness, Consistency and Differential Privacy Properties of Dropout
Microsoft Research（微软研究院）；Stony Brook University（石溪大学）；Yahoo Labs（雅虎实验室）；Apple Inc（苹果公司）
训练深度信念网络（DBN）需要优化具有大量参数的非凸函数。自然地，现有的基于梯度下降（GD）的方法倾向于任意差的局部最小值。在本文中，我们严格表明，这种局部极小值可以避免（近似误差），通过使用辍学技术，广泛使用的启发式在这一领域。特别是，我们表明，通过随机删除一个隐藏层神经网络的几个节点，训练目标函数，达到一定的近似误差，减少了乘法因子。另一方面，我们表明，对于训练凸经验风险最小化器（ERM），dropout实际上充当了“稳定器”或正则化器。也就是说，一个简单的基于辍学的GD方法凸ERMs是稳定的，在面对任意变化的任何一个训练点。使用上述断言，我们表明，辍学提供快速的泛化误差学习（凸）广义线性模型（GLM）。此外，利用上述的dropout的稳定性，我们设计了基于dropout的差分隐私算法来解决ERM。因此，学习的GLM保留了每个单独训练点的隐私，同时为新的测试点提供准确的预测。最后，我们在凸ERM的背景下实证验证了我们对dropout的稳定性断言，并令人惊讶地表明，对于几个基准数据集，dropout的性能显着优于（就预测准确性而言）基于L2正则化的方法。
2015-03-06 cs.LG cs.NE stat.ML
Variational Bayesian dropout: pitfalls and fixes
University of Cambridge（剑桥大学）；Uber AI Labs（优步人工智能实验室）
Dropout是一种用于训练神经网络的随机正则化技术，最近被重新解释为贝叶斯神经网络的一种特定类型的近似推理算法。重新解释的主要贡献是提供了一个理论框架，用于分析和扩展算法。我们表明，所提出的框架遭受几个问题，从未定义的或病理行为的真正的后相关使用不适当的先验，一个不明确的变分目标由于奇异性的近似分布相对于真正的后。我们的分析不适当的对数均匀先验变分高斯辍学表明，病理是一般不可挽回的，算法仍然有效，只是因为变分制定取消了一些病理。为了解决奇异性问题，我们提出了拟KL（QKL）发散，一个新的近似推理目标的近似高维分布。我们发现，基于离散化和噪声的变分伯努利辍学的动机有QKL作为限制。本文从理论上和一个简单的实例上研究了QKL的性质，结果表明，满秩高斯与简并高斯的QKL最优逼近自然地导出了主成分分析解。
2018-07-05 cs.LG stat.ML
Dropout with Expectation-linear Regularization
Carnegie Mellon University（卡内基梅隆大学）；Harvard University（哈佛大学）
Dropout是一种简单而有效的训练深度神经网络的方法，已经取得了许多令人印象深刻的经验成功，并催生了许多最近的理论研究。然而，由于易处理性的考虑，dropout的训练和推理阶段之间的差距在很大程度上仍然没有得到充分的重视。在这项工作中，我们首先制定辍学作为一个易于处理的近似一些潜在的变量模型，导致一个干净的参数共享视图，并使进一步的理论分析。然后，我们引入（近似）期望线性丢弃神经网络，其推理间隙，我们能够正式表征。在数学上，我们表明，我们提出的测量的推理间隙可以用来规范的标准辍学的训练目标，从而在\emph{explicit}控制的差距。我们的方法是简单和有效的标准dropout。我们进一步证明了由于期望线性化的精度损失的上界，描述类的输入分布，期望线性化容易。在三个图像分类基准数据集上的实验表明，减少推理间隙确实可以一致地提高性能。
2017-02-15 cs.LG stat.ML
Dropout Inference in Bayesian Neural Networks with Alpha-divergences
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
为了使用真实世界的贝叶斯深度学习模型获得不确定性估计，需要实际的推理近似。例如，丢弃变分推理（VI）已用于机器视觉和医学应用，但VI可能严重低估模型的不确定性。α-发散是VI KL目标的替代发散，它能够避免VI的不确定性低估。但这些方法在实际应用中存在一定的困难：现有的方法只能使用高斯近似分布，并且需要对现有模型进行根本性的修改，因此对实践者的应用受到限制。我们提出了一个重新参数化的α发散目标，推导出一个简单的推理技术，连同辍学，可以很容易地实现与现有的模型，只需改变损失的模型。我们证明了改进的不确定性估计和精度相比，VI在辍学网络。我们研究我们的模型的认知不确定性远离使用对抗图像的数据，表明这些可以通过检查我们的模型的不确定性从非对抗图像区分。
2017-03-08 cs.LG stat.ML
Bayesian posterior approximation with stochastic ensembles
Stockholm University（斯德哥尔摩大学）；University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
提出将 dropout 等随机方法与深度集成的随机神经网络集成，通过变分推断近似 Bayesian 后验，在玩具问题和 CIFAR 上比常用基线提供更准确的后验估计。
2024-01-03 cs.CV cs.LG stat.ML
Mean field theory for deep dropout networks: digging up gradient backpropagation deeply
University of Technology Sydney（悉尼科技大学）；Northwestern University（西北大学）；Xiamen University（厦门大学）
近年来，平均场理论被应用于神经网络的研究，并取得了很大的成功。该理论已被应用于各种神经网络结构，包括CNN，RNN，残差网络和批量归一化。不可避免的是，最近的工作也涵盖了dropout的使用。平均场理论表明，存在的深度尺度限制了信号传播和梯度反向传播的最大深度。然而，梯度反向传播是在梯度独立性假设下导出的，即前馈期间使用的权重独立于反向传播中使用的权重。这不是神经网络在真实环境中的训练方式。相反，在前馈步骤中使用的相同权重需要被携带到其对应的反向传播。利用这一现实条件，我们对线性dropout网络进行了理论计算，并对dropout网络进行了一系列实验。我们的实验结果表明，一个有趣的现象，长度梯度可以反向传播的一个单一的输入和一对输入是由相同的深度尺度。此外，我们还研究了梯度统计度量的方差和均值之间的关系，并显示出普适性的出现。最后，我们通过一系列使用MNIST和CIFAR10的实验研究了深度dropout网络的最大可训练长度，并提供了一个比原始工作更精确的描述可训练长度的经验公式。
2020-04-13 cs.LG stat.ML
R-Drop: Regularized Dropout for Neural Networks
Soochow University（苏州大学）；Microsoft Research Asia（微软亚洲研究院）
Dropout是一种强大且广泛使用的技术，用于规范深度神经网络的训练。本文介绍了一种简单的正则化策略，即R-Drop，它迫使由dropout生成的不同子模型的输出分布彼此一致。具体而言，对于每个训练样本，R-Drop最小化通过dropout采样的两个子模型的输出分布之间的双向KL发散。理论分析表明，R-Drop减少了模型参数的自由度，并补充了dropout。在$\bf{5}$广泛使用的深度学习任务（总共$\bf{18}$数据集）上进行的实验，包括神经机器翻译，抽象摘要，语言理解，语言建模和图像分类，表明R-Drop是普遍有效的。特别是，当应用于微调大规模预训练模型时，它会产生实质性的改进，例如，ViT、RoBERTa-large和BART，并在WMT 14英语$\to$德语翻译（$\bf{30.91}$ BLEU）和WMT 14英语$\to$法语翻译（$\bf{43.95}$ BLEU）上使用普通Transformer模型实现了最先进的（SOTA）性能，甚至超过了使用超大规模数据训练的模型和专家设计的Transformer模型的高级变体。我们的代码可以在GitHub{ \url{https://github.com/dropreg/R-Drop} }上找到。
2021-10-29 cs.LG
Approximation Property of Dropout Neural Networks: Sobolev Rates and Confidence Bounds
本文研究Dropout ReLU网络对Sobolev函数类的逼近，给出网络规模的上界与下界，并证明在固定或对数深度下精度指数匹配，揭示了随机保留边对逼近能力的影响。
2026-10-05 cs.LG cs.NA math.NA
Tensor Regression Networks with various Low-Rank Tensor Approximations
RIKEN Center for AIP（理化学研究所AIP中心）；McGill University（麦吉尔大学）
张量回归网络实现了神经网络的高压缩率，同时对性能的影响很小。它们通过对全连接层的权重矩阵施加低张量秩结构来做到这一点。近年来，人们从压缩能力的角度对张量回归网络进行了研究，但对低秩张量结构的正则化效应的研究还不够深入。我们使用各种低秩张量近似来研究张量回归网络，旨在比较不同低秩约束的压缩和正则化能力。我们评估的压缩和正则化性能的建议模型与深和浅的卷积神经网络。我们的实验结果表明，全局平均池层优于张量回归层，当应用于CIFAR-10数据集的深度卷积神经网络时。相反，当使用少量样本进行训练时，具有张量回归层和dropout函数的浅层卷积神经网络的测试误差低于全局平均池和具有dropout函数的全连接层。
2018-11-29 cs.LG stat.ML
Characteristics of Monte Carlo Dropout in Wide Neural Networks
Fraunhofer Institute for Intelligent Analysis and Information Systems IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Ruhr-University Bochum（波鸿鲁尔大学）
蒙特卡罗（MC）丢弃是神经网络（NN）不确定性估计的一种最新方法。它被解释为近似执行贝叶斯推理。基于以前的工作的高斯过程的近似宽和深神经网络随机权重，我们研究了广泛的未经训练的神经网络下dropout的极限分布更严格，并证明了他们也收敛到高斯过程的固定集的权重和偏见。我们勾勒出一个论点，即这个属性也可能适用于无限宽的前馈网络，这些网络是用（全批）梯度下降训练的。该理论是对比的实证分析中，我们发现相关性和非高斯行为的预激活有限宽度NN。因此，我们研究（强）相关的预激活如何在具有强相关权重的NN中诱导非高斯行为。
2020-07-10 cs.LG math.ST stat.ML
Neuromorphic Acceleration for Approximate Bayesian Inference on Neural Networks via Permanent Dropout
Virginia Tech（弗吉尼亚理工学院暨州立大学）；Argonne National Laboratory（阿贡国家实验室）
随着神经网络开始为社会执行越来越重要的任务，从驾驶汽车到确定药物开发的候选人，它们在预测中执行不确定性量化（UQ）的能力的价值也在迅速上升。永久丢弃是神经网络UQ的一种流行方法，涉及将随机性注入模型的推理阶段，并为每个测试数据创建许多预测。这将深度神经网络的计算和能量负担从训练阶段转移到推理阶段。最近的工作已经证明了经典深度神经网络到其尖峰对应物的近无损转换。我们使用这些结果来证明在尖峰神经网络上进行永久丢弃的推理阶段的可行性，从而减轻该技术的计算和能量负担，这对于其在大规模或边缘平台上的使用至关重要。我们通过Nengo尖峰神经模拟器在用于癌症治疗的联合药物治疗数据集上展示了所提出的方法，其中UQ是至关重要的。我们的研究结果表明，尖峰近似给出了一个预测分布几乎无法区分的经典网络。
2019-04-29 cs.LG cs.NE stat.ML
Neural Variational Dropout Processes
Seoul National University（首尔国立大学）
该研究提出神经变分Dropout过程这一贝叶斯元学习方法，通过任务特定dropout建模后验、低秩伯努利专家模型实现高效映射，结合新型先验优化推断，在多类少样本任务中取得优异性能。
2025-10-22 cs.AI cs.LG
Convergence, design and training of continuous-time dropout as a random batch method
本文研究受控微分方程中的连续时间 dropout，提出随机批近似方法，证明轨迹误差 O(h) 和训练一致性，并分析采样策略与误差常数关系，实验验证了神经 ODE 上的有效性。
2026-09-15 cs.LG math.OC
Lyapunov-Based Dropout Deep Neural Network (Lb-DDNN) Controller
University of Florida（佛罗里达大学）
本文提出一种基于Lyapunov的Dropout深度神经网络自适应控制器，通过逐层随机去激活权重和实时权重自适应律缓解过拟合，并证明跟踪误差渐近收敛，仿真显示跟踪误差、函数逼近误差和控制代价均显著优于无dropout基线。
2023-10-30 cs.LG cs.SY eess.SY
Known Unknowns: Uncertainty Quality in Bayesian Neural Networks
University of Campinas (Unicamp)（坎皮纳斯州立大学 (Unicamp)）
我们使用异常检测来评估神经网络的不确定性质量。我们从候选模型的预测中提取不确定性度量（例如熵），使用这些度量作为异常检测器的特征，并衡量检测器区分已知类别和未知类别的程度。我们将更高的不确定性质量分配给候选模型，从而产生更好的检测器。我们还提出了一种新的方法，称为单样本贝叶斯近似（OSBA）的贝叶斯神经网络的变分近似采样。我们在两个数据集上进行了实验，MNIST和CIFAR 10。我们比较了以下候选神经网络模型：极大似然，贝叶斯丢弃，OSBA和-对于MNIST --标准变分近似。我们表明，贝叶斯丢弃和OSBA提供更好的不确定性信息比极大似然，基本上相当于标准的变分近似，但更快。
2016-12-23 cs.LG cs.NE stat.ML
Unreliable Uncertainty Estimates with Monte Carlo Dropout
Department of Data Science, Norwegian University of Life Sciences（数据科学系，挪威生命科学大学）；SINTEF AS, Department of Mathematics and Cybernetics（SINTEF公司，数学与自动化系）
本文指出蒙特卡洛滴落在估计不确定性时不可靠，尤其在插值和外推区域表现不佳，不如传统贝叶斯方法可靠。
2025-12-16 cs.LG
Federated Dropout: Convergence Analysis and Resource Allocation
ShanghaiTech University（上海科技大学）；University of Aberdeen（阿伯丁大学）；Southern University of Science and Technology（南方科技大学）；The University of Edinburgh（爱丁堡大学）；The University of Hong Kong（香港大学）
本文针对联邦丢弃法缺乏理论收敛性分析的问题，利用泰勒展开证明梯度方差随丢弃率 γ 以 γ/(1−γ) 增大，并据此提出联合优化丢弃率与带宽分配的低复杂度算法，以在时延和资源约束下最小化损失函数。
2024-12-31 cs.IT cs.LG math.IT
Loss-Calibrated Approximate Inference in Bayesian Neural Networks
University of Oxford（牛津大学）
贝叶斯神经网络的近似推理中的当前方法最小化库尔贝克-莱布勒散度以近似权重上的真实后验。然而，这种近似没有最终应用的知识，因此不能保证给定任务的最佳预测。为了使更合适的特定于任务的近似，我们引入了一个新的损失校准证据下限贝叶斯神经网络的监督学习的背景下，通知贝叶斯决策理论。通过引入依赖于效用函数的下限，我们确保我们的近似比具有非对称效用函数的应用程序的传统方法实现更高的效用。此外，在使用dropout推理时，我们强调我们的新目标与标准dropout神经网络的目标相同，只是增加了一个依赖于效用的惩罚项。我们展示了我们的新的损失校准模型与说明性的医疗例子和限制模型容量实验，并突出故障模式的可比加权交叉熵的方法。最后，我们展示了我们的方法的可扩展性，以现实世界的应用程序与自动驾驶数据集上的每像素语义分割。
2018-05-10 cs.LG stat.ML
Spatial-SpinDrop: Spatial Dropout-based Binary Bayesian Neural Network with Spintronics Implementation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CEA（法国原子能和替代能源委员会）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；IRIG-Spintec（格勒诺布尔微电子与纳米技术研究所自旋电子与纳米技术实验室）；RevoAI GmbH（RevoAI有限公司）
本文提出MC-SpatialDropout，一种基于空间丢弃和自旋电子器件的二值贝叶斯神经网络，利用器件随机性高效实现硬件丢弃，使模块数减少9倍、能耗降低94.11倍，同时保持预测性能与不确定性估计。
2023-06-16 cs.AI cs.AR cs.ET
MC-CIM: Compute-in-Memory with Monte-Carlo Dropouts for Bayesian Edge Intelligence
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Intel（英特尔）
我们提出了MC-CIM，一个计算内存（CIM）框架的强大，但低功耗，贝叶斯边缘智能。具有确定性权重的深度神经网络（DNN）无法表达其预测不确定性，因此对预测错误的后果是致命的应用（如手术机器人）构成了严重风险。为了解决这一限制，DNN的贝叶斯推理得到了关注。使用贝叶斯推理，不仅可以提取预测本身，还可以提取预测置信度，用于规划风险感知行动。然而，DNN的贝叶斯推理在计算上是昂贵的，不适合实时和/或边缘部署。使用蒙特卡罗丢弃（MC-丢弃）的贝叶斯DNN的近似已经显示出高鲁棒性以及低计算复杂性。为了提高该方法的计算效率，我们讨论了一种新的CIM模块，除了在内存中的权重输入标量积，可以执行内存中的概率丢弃，以支持该方法。我们还提出了一个计算重用的MC-Dropout的重新表述，其中每个连续的实例可以利用前一次迭代的乘积和计算。更进一步，我们讨论了如何利用组合优化方法对随机实例进行最优排序，以最小化总体MC-Dropout工作量。提出了基于CIM的MC-Dropout执行的应用程序的MNIST字符识别和自主无人机的视觉里程计（VO）进行了讨论。该框架可靠地提供了预测的信心，在MC-CIM施加的非理想性在很大程度上。建议的MC-CIM采用16 x31 SRAM阵列、0.85 V电源、16 nm低待机功耗（LSTP）技术，在其最佳计算和外设配置下，30个MC-Dropout概率推理实例消耗27.…
2021-11-13 cs.AR cs.LG cs.RO
GFlowOut: Dropout with Generative Flow Networks
Mila Quebec AI Institute（米拉魁北克人工智能研究所）；Broad Institute of MIT and Harvard（麻省理工学院-哈佛大学博德研究所）；University of Montreal（蒙特利尔大学）；McGill University（麦吉尔大学）；Lelapa AI（莱拉帕人工智能公司）；National University of Singapore（新加坡国立大学）；Google DeepMind（谷歌DeepMind）；Technical University of Munich（慕尼黑工业大学）
本文提出GFlowOut方法，利用生成流网络（GFlowNets）学习dropout掩码的后验分布，以解决传统变分推断在多模态后验和样本相关性利用上的挑战，提升模型对分布外数据的泛化能力及下游任务的不确定性估计性能。
2023-06-24 cs.AI cs.LG
Convergence of Byzantine-Resilient Gradient Tracking via Probabilistic Edge Dropout
本文提出GT-PD方法，通过概率边丢弃和自中心投影，实现对抗通信下的收敛性，针对部分隔离情况引入GT-PD-L，通过漏积分控制跟踪误差，提升鲁棒性。
2026-11-10 cs.LG cs.MA cs.SY
Neural Machine Translation without Embeddings
The Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦特尼克计算机科学学院）；Facebook AI Research（Facebook人工智能研究院）
许多NLP模型都是在由手工标记化规则和启发式子词归纳算法产生的子词标记序列上操作的。一个简单的通用替代方案是通过UTF-8将每个计算机化的文本表示为字节序列，避免了对嵌入层的需要，因为令牌类型（256）比维度少。令人惊讶的是，用每个字节的独热表示替换无处不在的嵌入层并没有损害性能;从英语到10种不同语言的字节到字节机器翻译实验显示BLEU的一致改进，与字符级甚至标准子字级模型相媲美。更深入的研究表明，无嵌入模型与解码器输入丢弃的组合相当于令牌丢弃，这特别有利于字节到字节模型。
2021-04-12 cs.CL cs.LG stat.ML
Neural Network Regularization via Robust Weight Factorization
University of Guelph（圭尔夫大学）
在训练大型神经网络时，正则化是必不可少的。由于深度神经网络可以在数学上解释为通用函数逼近器，因此它们在记忆训练数据中的采样噪声方面是有效的。这导致对不可见数据的泛化能力较差。因此，毫不奇怪，一种新的正则化技术Dropout是多伦多大学ImageNet 2012年获奖作品的部分原因。目前，Dropout（以及相关方法，如DropConnect）是正则化大型神经网络的最有效方法。这相当于在训练时有效地访问大量相关模型，同时在测试时将它们聚合为单个预测器。所提出的FaMe模型旨在应用类似的策略，但学习每个权重矩阵的因子分解，使得因子对噪声具有鲁棒性。
2015-01-05 cs.LG cs.NE stat.ML
Scale-Dropout: Estimating Uncertainty in Deep Neural Networks Using Stochastic Scale
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CEA（法国原子能和替代能源委员会）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；IRIG-Spintec（格勒诺布尔微电子与纳米技术研究所-自旋电子学与纳米技术实验室）；RevoAI GmbH（RevoAI有限公司）
本文提出 Scale Dropout 正则化技术及 MC-Scale Dropout 贝叶斯二值神经网络，仅用一个随机单元实现高效不确定性估计，并设计自旋电子存内计算架构，在保证预测性能的同时大幅降低能耗。
2024-01-11 cs.AI cs.ET cs.LG
Universal Approximation of Residual Flows in Maximum Mean Discrepancy
University of California San Diego（加州大学圣地亚哥分校）
规范化流是一类灵活的深度生成模型，提供简单的似然计算。尽管它们在经验上取得了成功，但对它们的表现力几乎没有理论上的理解。在这项工作中，我们研究了剩余流，一类由Lipschitz剩余块组成的归一化流。我们证明了剩余流在最大平均偏差下是普适逼近器。我们提供了上界的残差块的数量，以实现在不同的假设下近似。
2021-06-25 cs.LG stat.ML
Universal Approximation Theorem for Equivariant Maps by Group CNNs
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能研究中心）
群对称性在各种各样的数据分布中是固有的。保持对称性的数据处理被描述为等变映射，并且通常在实现高性能方面有效。卷积神经网络（CNN）被认为是具有等变的模型，并被证明可以近似于某些特定群体的等变映射。然而，CNN的通用近似定理已经根据每个组和设置使用单独的技术分别推导出来。本文提供了一个统一的方法，以获得通用的逼近定理等变映射的CNN在各种设置。作为其显著的优点，我们可以处理非紧群的无限维空间之间的非线性等变映射。
2020-12-27 cs.LG stat.ML
Quantitative Universal Approximation Bounds for Deep Belief Networks
Imperial College London（帝国理工学院）
我们证明了具有二进制隐藏单元的深度信念网络可以在对可见节点的父密度非常温和的可积性要求下近似任何多元概率密度。该近似在$q\in[1,\infty]$的$L^q$ -范数（$q=\infty$对应于上确界范数）和库尔贝克-莱布勒散度中测量。此外，我们建立了清晰的定量界的近似误差的隐单元的数量。
2022-08-18 cs.LG stat.ML
The universal approximation power of finite-width deep ReLU networks
ETH Zürich（苏黎世联邦理工学院）；University of Vienna（维也纳大学）
我们表明，有限宽度的深度ReLU神经网络产生率失真最佳近似（Bölcskei等人，2018年）的多项式，加窗正弦函数，一维振荡纹理，和维尔斯特拉斯函数，分形函数是连续的，但无处可微。连同他们最近建立的仿射函数系统的普遍逼近性质（Bölcskei等人，2018），这表明深度神经网络近似由仿射群、Weyl-Heisenberg群或通过扭曲甚至某些分形生成的截然不同的信号结构，所有这些都具有近似误差，神经元数量呈指数衰减。我们还证明了在足够光滑的函数的近似中，有限宽度深度网络需要比有限深度宽网络严格更小的连通性。
2018-06-05 cs.LG stat.ML
