Smooth function approximation by deep neural networks with general activation functions
Seoul National University(首尔大学)
人们对深度神经网络的表达能力越来越感兴趣。然而,关于这个主题的大多数现有工作只关注特定的激活函数,如ReLU或sigmoid。在本文中,我们研究了具有广泛激活函数的深度神经网络的逼近能力。这类激活函数包含了大多数常用的激活函数。我们推导出所需的深度,宽度和稀疏性的深度神经网络,以近似任何Hölder光滑函数到一个给定的近似误差的大类激活函数。基于我们的近似误差分析,我们推导出在回归和分类问题中具有一般激活函数的深度神经网络估计的极大极小最优性。
2019-06-27 cs.LG stat.ML
Approximation Rates of Shallow Neural Networks: Barron Spaces, Activation Functions and Optimality Analysis
School of Mathematical Sciences, Shenzhen University, Shenzhen 518060, China(深圳大学数学科学学院)
本文分析采用指数幂型及 ReLU$^{k}$ 激活函数的浅层神经网络,在 Barron 与 Sobolev 空间中建立多范数最优逼近速率,揭示系数、光滑性约束及维数灾难的影响。
2025-10-21 cs.LG
DeepBern-Nets: Taming the Complexity of Certifying Neural Networks using Bernstein Polynomial Activations and Precise Bound Propagation
University of California, Irvine(加州大学欧文分校)
本文提出 DeepBern-Nets,利用 Bernstein 多项式替代 ReLU 激活函数,并设计 Bern-IBP 算法高效计算输出紧密边界,显著提升了大规模神经网络形式化认证的可扩展性与准确率。
2023-05-22 cs.LG
Generating Accurate Pseudo-labels in Semi-Supervised Learning and Avoiding Overconfident Predictions via Hermite Polynomial Activations
矫正线性单位(ReLU)是在视觉中的各种各样的任务中最广泛使用的激活函数之一。最近的理论结果表明,尽管它们具有出色的实际性能,但在各种情况下,用基扩展(例如,多项式)可以从优化和泛化的角度产生显著的益处。不幸的是,现有的结果仍然局限于网络与一对夫妇的层,这些结果的实际可行性尚不清楚。受其中一些结果的启发,我们探索使用Hermite多项式展开作为深度网络中ReLU的替代品。虽然我们的监督学习实验没有提供明确的结论,但我们发现这种策略在半监督学习(SSL)/转导学习设置中提供了相当大的好处。我们仔细开发了这个想法,并展示了如何使用基于Hermite多项式的激活可以提高伪标签的准确性和可观的财务节省(由于并发运行时的好处)。此外,我们通过理论分析表明,网络(与厄米激活)提供了鲁棒性噪声和其他有吸引力的数学属性。
2020-03-31 cs.AI cs.CV cs.LG
Universal approximation results for neural networks with non-polynomial activation function over non-compact domains
Nanyang Technological University, Division of Mathematical Sciences(南洋理工大学数学科学学院)
本文将单隐层前馈神经网络的通用逼近性质从紧域扩展到非紧域,在非多项式激活函数条件下证明了其在 $L^p$-空间、加权 $C^k$-空间和加权 Sobolev 空间中的逼近能力,并给出了与维数无关的收敛速率。
2025-07-07 cs.LG cs.NE math.CA
Activation-Adjacent Layer Normalization: Effects on Approximation Power
Beihang University(北京航空航天大学);Hangzhou International Innovation Institute, Beihang University(北京航空航天大学杭州国际创新研究院)
本研究探讨激活相邻的LN、RMSNorm等归一化对浅层AN、PN网络近似能力的影响,推导了不同归一化下的近似宽度边界,通过实验验证了预测的近似率。
2026-10-16 cs.LG
Minimum width for universal approximation using squashable activation functions
Korea University(高丽大学);GIST(光州科学技术院)
本文研究一般激活函数下无界深度网络实现万能逼近的最小宽度,提出可压缩函数概念并证明最小宽度为max{dx,dy,2}(dx=dy=1时需单调性),且该结果适用于非仿射解析函数和一类分段函数。
2025-04-10 cs.LG
A More Accurate Approximation of Activation Function with Few Spikes Neurons
Seoul National University of Science and Technology(首尔科学技术大学);Korea Institute of Science and Technology(韩国科学技术研究院)
本文提出基于趋势的参数初始化方法TBPI,利用时间依赖性改善少脉冲神经元训练,从而更精确地逼近Swish等复杂非线性激活函数。
2024-08-19 cs.LG cs.NE
Fast and Private Inference of Deep Neural Networks by Co-designing Activation Functions
University of Waterloo(滑铁卢大学);Royal Bank of Canada(加拿大皇家银行)
针对MPC加密DNN推理中ReLU非线性层导致的高延迟问题,本文协同设计多项式激活与单轮MPC协议,并提出配套训练算法,在最高2300万参数模型上实现3至110倍加速且保持精度。
2024-04-16 cs.CR cs.LG
Polynomial Composition Activations: Unleashing the Dynamics of Large Language Models
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Seed-Foundation-Model, ByteDance(字节跳动种子大模型部);Capital University of Economics and Business(首都经济贸易大学)
该研究提出新型多项式组合激活函数PolyCom,经理论证明其网络有最优逼近速率,替换大语言模型传统激活后可捕捉数据高阶交互,显著提升准确率与收敛速度。
2025-03-20 cs.AI cs.CL cs.LG
On Polynomial Approximations for Privacy-Preserving and Verifiable ReLU Networks
University of Southern California (USC)(南加州大学)
针对隐私保护可验证推理中ReLU替换问题,提出带一阶项的二次多项式激活函数,在CIFAR和Tiny ImageNet上比平方函数准确率提升最高10.4%。
2024-02-06 cs.CR cs.IT cs.LG
Function Approximation with Randomly Initialized Neural Networks for Approximate Model Reference Adaptive Control
University of Minnesota(明尼苏达大学)
本文定义了软化积分表示方法,为缺乏直接积分表示的激活函数构建目标函数积分表示,从而为多种常用激活函数的随机初始化神经网络提供逼近保证。
2023-04-05 cs.LG math.OC
Deep Network Approximation: Beyond ReLU to Diverse Activation Functions
本文研究了深度神经网络对多种激活函数的表达能力,证明了ReLU网络可通过特定激活函数网络近似,且在特定子集下可进一步减小规模参数。
2026-06-24 cs.LG stat.ML
Exponential Approximation Rates and Parameter Efficiency of Learnable Bernstein Activations
Department of Electrical Engineering and Computer Science, University of California, Irvine(电气工程与计算机科学系,加州大学 Irvine 分校)
本文研究了可学习伯恩斯坦多项式激活函数的深度网络,证明其近似误差以O(n^{-L})速率衰减,比ReLU等激活函数快得多,且在多个科学数据集上验证了其参数效率和收敛速度优势。
2026-05-13 cs.AI cs.LG cs.NA
SAU: Smooth activation function using convolution with approximate identities
众所周知的激活函数,如ReLU或Leaky ReLU,在原点是不可微的。多年来,人们使用各种平滑技术提出了许多ReLU的平滑近似。我们提出了新的光滑近似的不可微的激活函数通过卷积它与近似的身份。特别是,我们提出了Leaky ReLU的平滑近似,并表明它们在各种数据集和模型中优于几个众所周知的激活函数。我们称这个函数为平滑激活单元(SAU)。用SAU代替ReLU,我们在CIFAR100数据集上使用ShuffleNet V2(2.0x)模型获得了5.12%的改进。
2021-09-27 cs.AI cs.CV cs.LG
Approximating Activation Functions
University of Cambridge(剑桥大学)
ReLU被广泛认为是神经网络中激活函数的默认选择。然而,存在需要更复杂的功能的情况。特别是,递归神经网络(如LSTM)广泛使用双曲正切函数和sigmoid函数。这些函数的计算成本很高。我们使用函数近似技术来开发这些函数的替代品,并在三种流行的网络配置上对其进行经验评估。我们找到了安全的近似值,可以在CPU上的训练时间上提高10%到37%。这些近似适用于我们考虑的所有情况,我们相信是使用这些激活函数的所有网络的适当替代。我们还开发了范围近似,仅适用于在某些情况下,由于其输入域的限制。我们的范围近似在网络训练时间上提高了20%到53%的性能。我们的函数也匹配或大大超过Theano和Word 2 Vec实现中使用的ad-hoc近似。
2020-01-17 cs.LG cs.PF stat.ML
On Approximation Capabilities of ReLU Activation and Softmax Output Layer in Neural Networks
York University(约克大学);Department of Electrical Engineering and Computer Science(电气工程与计算机科学系)
在本文中,我们将完善的通用逼近器理论扩展到使用无界ReLU激活函数和非线性softmax输出层的神经网络。我们已经证明,使用ReLU激活函数的足够大的神经网络可以逼近$L^1$中的任何函数,达到任意精度。此外,我们的理论结果表明,使用非线性softmax输出层的足够大的神经网络也可以近似$L^1$中的任何指标函数,这相当于任何现实的多类模式分类问题中的互斥类标签。据我们所知,这项工作是在神经网络中使用softmax输出层进行模式分类的第一个理论依据。
2020-02-10 cs.LG cs.NE stat.ML
Function approximation with zonal function networks with activation functions analogous to the rectified linear unit functions
Institute of Mathematical Sciences, Claremont Graduate University(数学科学研究所,克莱蒙特研究生大学)
本文研究了在q维球面上的区域函数网络的近似性质,探讨了非正定激活函数的逼近特性,并建立了相应的光滑性类别和逼近性质。
2018-07-08 cs.LG cs.NA math.NA
Shallow neural network approximation in mixed Sobolev spaces
Zhejiang University(浙江大学)
该研究建立浅层神经网络对混合Sobolev空间的逼近理论,提出傅里叶块原理,确定ReLUᵏ等多种激活函数的最优逼近指数,为相关逼近问题提供了理论框架。
2026-10-08 cs.LG cs.NA math.NA
BinaryDuo: Reducing Gradient Mismatch in Binary Activation Network by Coupling Binary Activations
POSTECH(浦项科技大学)
二进制神经网络(BNN)由于其计算成本降低和内存节省而引起了人们的兴趣。然而,BNN遭受性能下降,主要是由于二值化激活引起的梯度失配。先前的工作试图通过减少在前向传递中使用的激活函数与在后向传递中使用的其可微近似之间的差异来解决梯度失配问题,这是一种间接测量。在这项工作中,我们使用平滑损失函数的梯度来更好地估计量化神经网络中的梯度失配。使用梯度失配估计器的分析表明,使用更高的激活精度比修改激活函数的可微近似更有效。基于观察,我们提出了一种新的二元激活网络训练方案,称为BinaryDuo,其中两个二元激活在训练过程中耦合到一个三元激活中。实验结果表明,BinaryDuo在各种基准测试中的性能优于最先进的BNN,具有相同的参数和计算成本。
2020-02-16 cs.LG stat.ML
Universal approximation property of ODENet and ResNet with a single activation function
Kanazawa University(金泽大学);Tokyo University of Marine Science and Technology(东京海洋大学)
本文证明仅使用单一激活函数与仿射映射复合作为向量场的ODENet和ResNet,即可一致逼近任意一般向量场的ODENet,揭示了受限结构下的通用逼近能力。
2024-10-22 cs.AI cs.LG cs.NA
Provable wavelet-based neural approximation
Department of Mathematics, Yonsei University(延世大学数学系);Johann Radon Institute for Computational and Applied Mathematics (RICAM)(约翰·拉恩研究所);Department of Mathematical Sciences, Korea Advanced Institute of Science and Technology(韩国科学技术院数学科学系)
本文提出基于小波框架的理论,为广泛激活函数(含振荡与非光滑)的神经网络给出可证明的万能逼近条件及误差界,提升架构设计灵活性。
2025-04-23 cs.LG math.CA stat.ML
Learning Expressive Random Feature Models via Parametrized Activations
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院)
提出RFLAF模型,将激活函数参数化为基函数加权和,扩展函数空间,理论证明样本和随机特征数量需求,实验显示RBF和样条基优于其他模型且RBF计算效率更高。
2026-06-23 cs.LG
It's Much Easier for Neural Networks to learn Game of Life Dynamics with the Right Activation Function: Polynomial Kolmogorov-Arnold Networks
Independent Researcher(独立研究员);Cross Labs, Cross Compass Ltd., Japan(日本Cross Compass有限公司Cross实验室)
本文发现使用多项式激活函数(特别是二次多项式)的神经网络能更可靠地学习康威生命游戏动态,挑战了默认使用ReLU和扩大网络规模的做法。
2026-08-17 cs.LG cs.NE nlin.CG
Stochastic Neural Networks with Monotonic Activation Functions
Carnegie Mellon University(卡内基梅隆大学);University of Alberta(阿尔伯塔大学)
我们提出了一个拉普拉斯近似,创建一个随机单位从任何光滑的单调激活函数,仅使用高斯噪声。本文研究了这种随机逼近在训练一族与Bregman发散密切相关的受限玻尔兹曼机(RBM)中的应用。这个家族,我们称之为指数家族RBM(Exp-RBM),是指数家族Harmoniums的一个子集,通过选择每个神经元的平滑单调非线性来表达家族成员。使用对比发散和高斯近似,我们表明Exp-RBM可以使用新的随机单元学习有用的表示。
2016-07-22 cs.LG cs.NE stat.ML
Beyond ReLU: How Activations Affect Neural Kernels and Random Wide Networks
INRIA University of Stuttgart(INRIA 斯图加特大学)
本文研究了非ReLU激活函数对神经内核和随机宽网络的影响,推导了这些内核的RKHS特性,并分析了不同激活函数在不同网络深度下的表现。
2026-04-27 cs.LG stat.ML
On the Role of Activation Functions in EEG-To-Text Decoder
University Of Strathclyde(斯特拉斯克莱德大学)
本文通过测试不同激活函数优化 EEG 生成文本的神经网络性能,发现高次多项式和 leaky ReLU 在不同 n-gram 评估下各有优势,且无需改变模型架构。
2024-10-16 cs.LG
Advancing Constrained Monotonic Neural Networks: Achieving Universal Approximation Beyond Bounded Activations
University of Padova(帕多瓦大学)
本文推广了单调MLP的通用逼近理论,证明交替侧饱和激活与非负权重约束、凸单调激活与非正权重约束的等价关系,并提出按权重符号自适应调整激活函数的替代公式,从而简化初始化并提升训练稳定性。
2025-05-06 cs.AI cs.LG stat.ML
Variations on the Chebyshev-Lagrange Activation Function
Winterlight Labs(温特莱特实验室);University of Toronto(多伦多大学);Surgical Safety Technologies(手术安全技术公司);Li Ka Shing Knowledge Institute, St Michael’s Hospital(圣迈克尔医院李嘉诚知识研究所);Vector Institute for Artificial Intelligence(矢量人工智能研究所)
我们试图提高神经网络的数据效率,并提出了新的实现参数化分段多项式激活函数。参数是每个隐藏单元n+1个切比雪夫节点的y坐标,节点之间的拉格朗日插值产生[-1,1]上的多项式。我们展示了在合成数据集上处理[-1,1]之外输入的不同方法的结果,发现在从两端计算某种形式的线性外推的模型中,表达能力和插值精度都有显着提高。我们在图像分类(MNIST和CIFAR-10)和最小相关向量(DementiaBank)上展示了具有竞争力或最先进的性能,当我们在深度残差架构中用线性外推的Chebyshev-Lagrange激活替换ReLU或tanh时。
2019-06-24 cs.AI cs.LG stat.ML
Minimum Width for Universal Approximation
KAIST(韩国科学技术院);MIT(麻省理工学院)
研究了宽度有界网络的泛逼近性质,作为经典的深度有界网络泛逼近结果的对偶。然而,使通用近似的临界宽度还没有被精确地表征在输入尺寸$d_x$和输出尺寸$d_y$方面。在这项工作中,我们为使用ReLU激活函数的网络提供了这个方向的第一个明确结果:$L^p$函数的通用近似所需的最小宽度正好是$\max\{d_x+1,d_y\}$。我们还证明了相同的结论不适用于ReLU的一致近似,但适用于额外的阈值激活函数。我们的证明技术也可以用来推导出一个更严格的上限的最小宽度所需的通用近似使用网络一般激活函数。
2020-06-16 cs.LG stat.ML
Highly Accurate CNN Inference Using Approximate Activation Functions over Homomorphic Encryption
Waseda University(早稻田大学)
在大数据时代,基于云的机器学习即服务(MLaaS)引起了相当大的关注。然而,当处理敏感数据时,如财务和医疗数据,就会出现隐私问题,因为云服务器可以访问客户端的原始数据。在云中处理敏感数据的一种常见方法是使用同态加密,它允许在不解密的情况下对加密数据进行计算。以往的研究通常采用低次多项式映射函数,如平方函数,进行数据分类。然而,这种技术导致低分类精度。在这项研究中,我们试图提高分类精度的卷积神经网络(CNN)的推理处理,同时使用同态加密。我们采用了一个激活函数,近似谷歌的Swish激活函数,同时使用四阶多项式。我们还采用批量归一化来归一化Swish函数的输入,以拟合输入范围,从而使误差最小化。我们使用微软的Cheon-Kim-Kim-Song(CKKS)方案的简单加密算术库在同态加密上实现了CNN推理标记。实验评估证实,MNIST和CIFAR-10的分类准确率分别为99.22%和80.48%,比以前的方法分别提高了0.04%和4.11%。
2020-12-02 cs.CR cs.LG stat.ML
Ladder Polynomial Neural Networks
Tufts University(塔夫茨大学)
多项式函数具有许多有用的分析性质,但它们很少用作学习模型,因为它们的函数类被认为是受限的。这项工作表明,当训练得当时,多项式函数可以成为强大的学习模型。特别地,这项工作构造多项式前馈神经网络使用产品激活,一个新的激活函数构造的乘法。新的神经网络是一个多项式函数,并提供其多项式阶数的精确控制。它可以通过标准训练技术进行训练,例如批量归一化和dropout。这个新的前馈网络覆盖了几个以前的多项式模型作为特殊情况。与普通的前馈神经网络相比,多项式前馈网络具有一些有趣量的封闭形式计算,这在贝叶斯学习中非常有用。在一系列的回归和分类任务的实证研究中,所提出的模型优于以往的多项式模型。
2021-06-29 cs.LG cs.NE
Learning a Single Neuron for Non-monotonic Activation Functions
Peking University(北京大学)
我们研究了梯度下降(GD)学习单个神经元$\mathbf{x}\mapsto σ(\mathbf{w}^T\mathbf{x})$的问题。现有的所有正结果都局限于$σ$是单调的情形。然而,最近观察到非单调激活函数在许多应用中优于传统的单调激活函数。为了填补这一空白,我们建立了可学习性,而不假设单调性。具体地说,当输入分布是标准高斯分布时,我们证明了$σ$上的温和条件(例如,$σ$具有支配线性部分)足以保证多项式时间和多项式样本中的可学习性。此外,通过对激活函数的更强假设,输入分布的条件可以放宽到边缘分布的非退化。我们注意到,我们的条件$σ$满足实际的非单调激活函数,如SiLU/Swish和GELU。我们还讨论了我们的积极结果是如何与现有的两层神经网络训练的负面结果。
2022-02-16 cs.LG cs.NE math.OC
PRISM: Privacy-preserving Inference System with Homomorphic Encryption and Modular Activation
针对机器学习模型部署中数据隐私与非线性激活函数不兼容同态加密的问题,提出PRISM框架,用同态兼容近似函数替代非线性激活并重构CNN架构,在CIFAR-10上实现94.4%准确率,平衡了隐私保护与计算效率。
2025-11-11 cs.AI cs.CR cs.LG
Expressivity and Approximation Properties of Deep Neural Networks with ReLU$^k$ Activation
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);The Pennsylvania State University(宾夕法尼亚州立大学)
本文通过构造性证明研究了ReLU$^k$深度网络精确表示高次多项式的能力,建立了参数规模上界,并证明了其在Sobolev空间、解析函数及多种变差空间中的逼近性质与适应性。
2024-01-11 cs.LG cs.NA cs.NE
Universal Approximation with Deep Narrow Networks
University of Oxford(牛津大学)
经典的通用逼近定理适用于任意宽度和有界深度的神经网络。在这里,我们考虑自然的“双”的情况下,网络的宽度和任意深度。确切地说,令$n$为输入神经元的数目,$m$为输出神经元的数目,令$ρ$为任何非仿射连续函数,在某点具有连续非零导数。然后,我们证明了任意深度,宽度$n + m + 2$和激活函数$ρ$的神经网络类在$C(K; \mathbb{R}^m)$中是稠密的,对于$K \subseteq \mathbb{R}^n$,具有$K$紧。这涵盖了在实践中可能使用的每一个激活函数,并且还包括多项式激活函数,这与该定理的经典版本不同,并且提供了深窄网络和浅宽网络之间的质的差异。然后,我们考虑这个结果的几个扩展。特别是我们考虑无处可微的激活函数,密度在非紧域的$L^p$ -范数,以及如何宽度可能会减少到只是$n + m + 1$的“最”激活函数。
2020-06-08 cs.LG math.CA stat.ML
Measuring Model Complexity of Neural Networks with Curve Activation Functions
Simon Fraser University(西蒙弗雷泽大学);Microsoft Research(微软研究院)
度量深度神经网络的模型复杂度是一个基础问题。现有的关于模型复杂性的文献主要集中在具有分段线性激活函数的神经网络上。具有一般曲线激活函数的神经网络的模型复杂性是一个悬而未决的问题。为了应对这一挑战,本文首先提出了线性近似神经网络(简称LANN),这是一种分段线性框架,用于近似具有曲线激活函数的给定深度模型。LANN为每个神经元的激活函数构造单独的分段线性逼近,并最小化线性区域的数量以满足所需的逼近度。然后,我们分析了由LANN形成的线性区域的数量的上界,并推导出基于上界的复杂性度量。为了检验复杂性度量的有用性,我们通过实验探索了神经网络的训练过程并检测过拟合。我们的研究结果表明,过拟合的发生与训练过程中模型复杂度的增加呈正相关。我们发现$L^1$和$L^2$正则化抑制了模型复杂度的增加。最后,我们提出了两种方法来防止过拟合直接约束模型的复杂性,即神经元修剪和定制的$L^1$正则化。
2020-06-16 cs.LG stat.ML
DAPA: Distribution Aware Piecewise Activation Functions for On-Device Transformer Inference and Training
Singapore University of Technology and Design(新加坡科技设计大学)
本文提出DAPA,一种基于预激活数据分布的分段激活函数,通过非均匀分段提升泛化能力,并利用分布加权均方误差量化以减少硬件资源消耗,实验证明其在GELU计算和DSP利用率上均有显著提升。
2026-03-19 cs.LG
Deep Neural Networks with General Activations: Super-Convergence in Sobolev Norms
本文研究了深度全连接神经网络在Sobolev空间W^{n,∞}中的逼近结果,证明其在W^{m,p}范数下的误差率优于传统数值方法,揭示了深度网络在求解偏微分方程时的超收敛特性。
2026-03-23 cs.LG cs.NA math.NA
Smoothness Adaptivity in Constant-Depth Neural Networks: Optimal Rates via Smooth Activations
Department of Mathematical Sciences, Tsinghua University(清华大学数学科学系);School of Mathematical Sciences, Peking University(北京大学数学科学学院);Center for Machine Learning Research, Peking University(北京大学机器学习研究中心);AI for Science Institute, Beijing(北京人工智能科学研究院)
本研究证明,使用平滑激活函数的常深神经网络能够通过增加宽度实现最优的平滑适应性,而非平滑激活函数如ReLU则受限于深度增长。
2026-02-28 cs.LG cs.NA math.NA
Enhancing Neural Function Approximation: The XNet Outperforming KAN
Oxford Suzhou Centre for Advanced Research(牛津苏州高等研究院);Northwestern University(西北大学);Soochow University(苏州大学);Great Bay University(大湾区大学)
针对神经函数逼近问题,提出采用柯西积分激活函数的单层XNet架构,理论证明其可实现任意阶多项式收敛,实验显示其在多任务上逼近误差最多降50000倍、训练加速最多10倍,性能优于传统MLP和KAN。
2025-02-14 cs.AI cs.LG
Approximating smooth functions by deep neural networks with sigmoid activation function
Technische Universität Darmstadt(达姆施塔特工业大学)
我们研究了具有sigmoid激活函数的深度神经网络(DNN)的能力。最近,研究表明,DNN近似于紧致集上的任何$d$维光滑函数,其阶数为$W^{-p/d}$,其中$W$是网络中非零权重的数量,$p$是函数的光滑度。不幸的是,这些比率仅适用于一类特殊的稀疏连接DNN。我们问自己,对于更简单和更一般的类,我们是否可以显示相同的近似率,即,DNN仅由其宽度和深度定义。在这篇文章中,我们证明了具有固定深度和$M^d$阶宽度的DNN实现了$M^{-2p}$的近似率。作为结论,我们定量地描述了DNN的逼近能力在网络中的总权重$W_0$方面,并显示了$W_0^{-p/d}$的逼近率。这个更一般的结果最终帮助我们理解哪种网络拓扑保证了特定的目标精度。
2020-10-08 cs.LG math.ST stat.TH
Uniform Approximation with Quadratic Neural Networks
Johann Radon Institute of Computational and Applied Mathematics (RICAM)(约翰·拉东计算与应用数学研究所);Austrian Academy of Sciences(奥地利科学院)
本研究证明,使用ReQU激活函数的深度神经网络能以固定层数和\\(\mathcal{O}(ε^{-d/2r})\\)个神经元均匀逼近Hölder正则函数,并推广至RePU激活函数族。
2024-11-09 cs.LG math.FA
Neural networks with superexpressive activations and integer weights
给出了激活函数$σ$的一个例子,使得具有激活$\{σ, \lfloor\cdot\rfloor\}$、整数权重和取决于$d$的固定架构的网络近似于$[0,1]^d$上的连续函数。推导出$\varepsilon$ -Hölder连续函数逼近所需的整数权重范围,从而导致给定$n$样本的未知$β$ -Hölder连续函数的神经网络回归估计具有$n^{\frac{-2β}{2β+d}}\log_2n$阶收敛速度。
2021-05-29 cs.LG stat.ML
Analytical aspects of non-differentiable neural networks
Università di Trento(特伦托大学);ETH Zürich(苏黎世联邦理工学院)
计算深度学习的研究已经通过简化激活函数或量化激活和权重,将相当大的努力引向深度神经网络的面向硬件的优化。由此产生的网络的不可微性(甚至不连续性)带来了一些具有挑战性的问题,特别是与学习过程有关的问题。在本文中,我们解决了几个问题,量化的神经网络和逼近技术的不可微网络的表达能力。首先,我们肯定地回答QNN是否具有与DNN相同的表现力的问题,在$L^{\infty}$规范中近似Lipschitz函数。然后,考虑到一个连续但不一定是可微的网络,我们描述了一种逐层随机正则化技术来产生可微近似,我们展示了这种正则化方法如何提供优雅的定量估计。最后,我们考虑网络定义的Heaviside型激活函数,并证明了他们的一个逐点逼近结果,通过光滑网络适当的假设下,正则化的激活。
2020-11-03 cs.LG math.OC
Linear Independence of Polynomial Compositions and Identifiability of Deep Neural Networks
KTH Stockholm(瑞典皇家理工学院);Digital Futures(数字未来机构);AI4S AB Stockholm(AI4S AB 斯德哥尔摩公司);University of Ferrara(费拉拉大学)
该研究针对深度学习理论问题提出多项式复合线性独立的猜想,证明了若干情形,还将其应用于完全解决浅层多项式网络等深度全连接神经网络的可识别性问题。
2026-08-28 cs.LG math.AC math.AG
Approximation of Lipschitz Functions using Deep Spline Neural Networks
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
Lipschitz约束神经网络在机器学习中有着广泛的应用。由于设计和训练表达性Lipschitz约束网络非常具有挑战性,因此需要改进方法和更好的理论理解。不幸的是,事实证明,ReLU网络在这种情况下具有可证明的缺点。因此,我们建议使用可学习的样条激活函数,至少有3个线性区域。我们证明,这种选择是最佳的所有组件明智的$1$ -Lipschitz激活函数的意义上说,没有其他的重量约束架构可以近似一个更大的功能类。此外,这种选择至少与最近引入的用于谱范数约束权重的非分量Groupsort激活函数一样具有表达性。以前发表的数值结果支持我们的理论研究结果。
2022-04-13 cs.LG math.OC
Minimum Width of Deep Narrow Networks for Universal Approximation
Huazhong University of Science and Technology(华中科技大学)
本文研究了深度窄网络的最小宽度以实现通用逼近能力,通过分析不同激活函数的特性,得出了新的宽度下界和上界结论。
2025-11-23 cs.LG
Universality and approximation bounds for echo state networks with random weights
Huawei Technologies Co., Ltd.(华为技术有限公司);City University of Hong Kong(香港城市大学);The Hong Kong University of Science and Technology(香港科技大学)
本文研究了具有随机内部权重的回声状态网络的均匀逼近问题,提出了一种替代构造,证明了一般激活函数下的普适性,并针对 ReLU 激活函数给出了显式采样过程构造及逼近误差量化。
2023-12-04 cs.LG cs.NA cs.NE
Bounds on the Approximation Power of Feedforward Neural Networks
Sharif University(谢里夫大学);Telecom ParisTech(巴黎高等电信学院)
研究了具有分段线性激活函数的一般前馈神经网络的逼近能力。首先,在近似误差和网络的深度和宽度方面建立了网络大小的下限。这些界限改进了某些函数类的最新界限,例如强凸函数。其次,建立了两个权值相同但激活函数不同的神经网络的差异的上界。
2018-06-29 cs.IT cs.LG math.IT
Sharp Bounds on the Approximation Rates, Metric Entropy, and $n$-widths of Shallow Neural Networks
Pennsylvania State University(宾夕法尼亚州立大学)
本文通过引入光滑参数化字典和脊函数类下界方法,建立了浅层神经网络变分空间在逼近率、度量熵和n-宽度上的精确上下界,涵盖ReLU^k及有界变差sigmoidal等激活函数。
2024-02-22 cs.IT cs.LG math.IT
SignReLU neural network and its approximation ability
City University of Hong Kong(香港城市大学);The University of Sydney(悉尼大学)
本文提出SignReLU激活函数,理论证明其网络逼近能力优于有理和ReLU网络,实验验证其与ReLU等相比具有竞争力的实际性能。
2023-08-30 cs.GT cs.LG eess.IV
Sharp Lower Bounds on the Approximation Rate of Shallow Neural Networks
我们考虑了浅层神经网络关于变分范数的逼近率。对于S形和ReLU激活函数,已经建立了这些速率的上限,但是这些速率是否尖锐仍然是一个重要的开放问题。在这篇文章中,我们提供了一个解决这个问题的方法,证明了尖锐的下界的近似率浅神经网络,这是通过下界的$L^2$度量熵的凸包的神经网络基函数。此外,我们的方法还给出了这个凸包的$n$宽度的尖锐下界,这表明,对应于浅神经网络的变化空间不能有效地近似线性方法。这些下限适用于具有有界变差的S形激活函数和作为ReLU的幂的激活函数。我们的结果还量化了Barron谱范数比变分范数强多少,并结合以前的结果,在ReLU激活函数的情况下,给出了$L^\infty$度量熵的对数因子的渐近性。
2021-09-08 cs.LG math.ST stat.ML
Padé Activation Units: End-to-end Learning of Flexible Activation Functions in Deep Networks
TU Darmstadt(达姆施塔特工业大学);Centre for Cognitive Science, TU Darmstadt(达姆施塔特工业大学认知科学中心)
深度网络学习的性能在很大程度上取决于与每个神经元相关联的非线性激活函数的选择。然而,决定最佳激活并不简单,选择取决于架构,超参数,甚至数据集。通常,这些激活在训练之前用手固定。在这里,我们演示了如何通过使用灵活的参数有理函数来消除对第一次拾取固定激活函数的依赖。由此产生的Padé激活单元(PAU)既可以近似常见的激活函数,也可以学习新的,同时提供紧凑的表示。我们的经验证据表明,使用PAU的端到端学习深度网络可以提高预测性能。此外,PAU为具有可证明鲁棒性的近似铺平了道路。https://github.com/ml-research/pau
2020-02-04 cs.LG cs.NE