A Unified and Constructive Framework for the Universality of Neural Networks
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出一个统一且构造性的框架,证明任何nAI激活函数在紧集连续函数空间上具有普适性,并带来构造性证明、新激活函数发现及精确网络架构等优势。
2023-05-07 cs.LG cs.NA math.NA
Minimum width for universal approximation using squashable activation functions
Korea University(高丽大学);GIST(光州科学技术院)
本文研究一般激活函数下无界深度网络实现万能逼近的最小宽度,提出可压缩函数概念并证明最小宽度为max{dx,dy,2}(dx=dy=1时需单调性),且该结果适用于非仿射解析函数和一类分段函数。
2025-04-10 cs.LG
Universal approximation property of ODENet and ResNet with a single activation function
Kanazawa University(金泽大学);Tokyo University of Marine Science and Technology(东京海洋大学)
本文证明仅使用单一激活函数与仿射映射复合作为向量场的ODENet和ResNet,即可一致逼近任意一般向量场的ODENet,揭示了受限结构下的通用逼近能力。
2024-10-22 cs.AI cs.LG cs.NA
Comparing heterogeneous entities using artificial neural networks of trainable weighted structural components and machine-learned activation functions
Vody LLC(Vody有限责任公司)
为了比较不同类型的实体和结构组件,使用人工神经网络范例来交叉比较异构文档之间的结构组件。将可训练的加权结构分量输入到神经元的机器学习激活函数中。该模型用于匹配新闻文章和视频,其中输入和激活函数分别由词向量和加权结构分量之间的余弦相似性度量组成。该模型以不同的权重进行了测试,将视频与新闻文章匹配的准确率高达59.2%。开发了一个用于为新闻文章推荐相关视频的移动应用程序用户界面,以展示消费者价值,包括其对交叉销售不相关类别产品的潜在有用性。
2018-01-09 cs.AI cs.IR cs.LG
Universality and approximation bounds for echo state networks with random weights
Huawei Technologies Co., Ltd.(华为技术有限公司);City University of Hong Kong(香港城市大学);The Hong Kong University of Science and Technology(香港科技大学)
本文研究了具有随机内部权重的回声状态网络的均匀逼近问题,提出了一种替代构造,证明了一般激活函数下的普适性,并针对 ReLU 激活函数给出了显式采样过程构造及逼近误差量化。
2023-12-04 cs.LG cs.NA cs.NE
Universal Approximation with Deep Narrow Networks
University of Oxford(牛津大学)
经典的通用逼近定理适用于任意宽度和有界深度的神经网络。在这里,我们考虑自然的“双”的情况下,网络的宽度和任意深度。确切地说,令$n$为输入神经元的数目,$m$为输出神经元的数目,令$ρ$为任何非仿射连续函数,在某点具有连续非零导数。然后,我们证明了任意深度,宽度$n + m + 2$和激活函数$ρ$的神经网络类在$C(K; \mathbb{R}^m)$中是稠密的,对于$K \subseteq \mathbb{R}^n$,具有$K$紧。这涵盖了在实践中可能使用的每一个激活函数,并且还包括多项式激活函数,这与该定理的经典版本不同,并且提供了深窄网络和浅宽网络之间的质的差异。然后,我们考虑这个结果的几个扩展。特别是我们考虑无处可微的激活函数,密度在非紧域的$L^p$ -范数,以及如何宽度可能会减少到只是$n + m + 1$的“最”激活函数。
2020-06-08 cs.LG math.CA stat.ML
The Universal Approximation Property
Eidgenössische Technische Hochschule Zürich(苏黎世联邦理工学院)
各种机器学习模型的通用近似属性目前仅在个案基础上被理解,限制了新的理论上合理的神经网络架构的快速发展,并模糊了我们对当前模型潜力的理解。本文致力于克服这些挑战,提出了一个表征,表示,构造方法,和存在性的结果,其中每个适用于任何普遍的逼近器上的大多数函数空间的实际利益。我们的表征结果是用来描述激活功能允许前馈架构,以保持其通用的近似能力时,多个约束施加在其最终层和其剩余层只有稀疏连接。这些包括重新缩放和移位的Leaky ReLU激活函数,但不包括ReLU激活函数。我们的构造和表示结果用于展示前馈架构的简单修改,该架构可以在整个欧几里德输入空间上均匀地近似具有非病态增长的任何连续函数。这改进了前馈架构的已知能力。
2020-11-28 cs.LG math.DS stat.ML
On the failure of ReLU activation for physics-informed machine learning
Smead Aerospace Engineering Sciences University of Colorado(斯梅德航空航天工程科学大学)
本研究揭示ReLU在物理信息机器学习中的失效原因,指出自动微分对不连续场的导数处理不当导致性能下降。
2025-12-15 cs.LG
Universal approximation with complex-valued deep narrow neural networks
Mathematical Institute for Machine Learning and Data Science (MIDS), Catholic University of Eichstätt–Ingolstadt (KU)(艾希施泰特-英戈尔施塔特天主教大学 机器学习与数据科学数学研究所)
该研究探究了有界宽度任意深度复值神经网络的通用性,证明其激活函数需满足非全纯、非反全纯、非$\boldsymbol{\rm R}$-仿射条件,并给出了不同情况下的宽度需求及光滑非多调激活函数的定量逼近界。
2024-11-26 cs.LG math.FA stat.ML
On Approximation Capabilities of ReLU Activation and Softmax Output Layer in Neural Networks
York University(约克大学);Department of Electrical Engineering and Computer Science(电气工程与计算机科学系)
在本文中,我们将完善的通用逼近器理论扩展到使用无界ReLU激活函数和非线性softmax输出层的神经网络。我们已经证明,使用ReLU激活函数的足够大的神经网络可以逼近$L^1$中的任何函数,达到任意精度。此外,我们的理论结果表明,使用非线性softmax输出层的足够大的神经网络也可以近似$L^1$中的任何指标函数,这相当于任何现实的多类模式分类问题中的互斥类标签。据我们所知,这项工作是在神经网络中使用softmax输出层进行模式分类的第一个理论依据。
2020-02-10 cs.LG cs.NE stat.ML
The universal approximation theorem for complex-valued neural networks
Technical University of Munich(慕尼黑工业大学);University of Vienna(维也纳大学);Catholic University of Eichstätt-Ingolstadt(艾希施泰特-因戈尔施塔特天主教大学)
我们推广了经典的神经网络的通用逼近定理的情况下,复值神经网络。准确地说,我们认为前馈网络与复杂的激活功能$σ: \mathbb{C} \to \mathbb{C}$,其中每个神经元执行操作$\mathbb{C}^N \to \mathbb{C}, z \mapsto σ(b + w^T z)$与权重$w \in \mathbb{C}^N$和偏置$b \in \mathbb{C}$,并与$σ$应用组件。我们完全刻画了这些激活函数$σ$的相关的复杂网络具有普遍的逼近属性,这意味着他们可以一致地逼近任何连续函数的任意紧子集的$\mathbb{C}^d$任意好。与真实网络的经典情况不同,产生具有普适逼近性质的网络的“好激活函数”集合取决于人们是否考虑深层网络或浅层网络而显著不同:对于至少有两个隐藏层的深层网络,只要$σ$既不是多项式,也不是全纯函数或反全纯函数,普适逼近性质就成立。另一方面,浅网络是通用的当且仅当$σ$的实部或虚部不是多调和函数。
2022-12-11 cs.LG math.FA stat.ML
Trainable Compound Activation Functions for Machine Learning
Fraunhofer FKIE(弗劳恩霍夫高频物理与雷达技术研究所)
激活函数(AF)是神经网络的必要组成部分,它允许函数的近似,但目前使用的AF通常是简单的单调递增函数。在本文中,我们提出了可训练的复合AF(TCA)组成的一个移动和缩放的简单AF的总和。与增加层相比,TCA提高了具有较少参数的网络的有效性。TCA在生成网络中具有特殊的解释,因为它们使用混合分布有效地估计数据的每个维度的边缘分布,减少模态并使线性降维更有效。当用于限制玻尔兹曼机(RBM),它们导致一种新型的RBM与基于混合的随机单元。在使用RBM、深度信念网络(DBN)、投影信念网络(PBN)和变分自动编码器(VAE)的实验中证明了改进的性能。
2022-04-25 cs.LG
Expressive Power of Floating-Point Neural Networks with Arbitrary Reduction Orders and Inexact Activation Implementations
Department of Mathematics and Statistics, Sejong University(数学与统计学系,世宗大学);Department of Mathematical Sciences, GIST(数学科学系,韩国科学技术院);Department of Computer Science, POSTECH(计算机科学系,POSTECH);Department of Artificial Intelligence, Korea University(人工智能系,韩国大学)
本文研究在广义浮点执行语义下(包括任意归约顺序和具有有界ulp误差的不精确激活实现),浮点神经网络能否精确表示浮点域上的任意函数,并引入通用可区分性框架,证明第一层区分每对不同输入的能力是通用可表示性的必要条件,同时在温和条件下证明适当形式的可区分性也是充分条件,从而为Sigmoid、tanh、ReLU等实际激活函数建立了通用可表示性结果。
2026-05-27 cs.LG
How important are activation functions in regression and classification? A survey, performance comparison, and future directions
Brown University(布朗大学)
Inspired by biological neurons, the activation functions play an essential part in the learning process of any artificial neural network commonly used in many real-world problems. Various activation functions have been proposed in the literature for classification as well as regression tasks. In this work, we survey the activation functions that have been employed in the past as well as the current state-of-the-art. In particular, we present various developments in activation functions over the years and the advantages as well as disadvantages or limitations of these activation functions . We …
2022-12-28 cs.LG
Interval Universal Approximation for Neural Networks
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);The Chinese University of Hong Kong(香港中文大学)
为了验证神经网络的安全性和鲁棒性,研究人员已经成功地应用了抽象解释,主要是使用区间抽象域。在本文中,我们研究了神经网络验证的区间域的理论力量和限制。首先,我们介绍了区间通用逼近(IUA)定理。IUA表明,神经网络不仅可以近似任何连续函数$f$(通用近似),正如我们几十年来所知道的那样,而且我们可以找到一个神经网络,使用任何行为良好的激活函数,其区间边界是$f$(将$f$应用于一组输入的结果)的集合语义的任意接近近似。我们称这种近似为区间近似。我们的定理将Baader等人(2020)的最新结果从ReLU推广到了一类丰富的激活函数,我们称之为可压扁函数。此外,IUA定理意味着我们总是可以使用几乎任何实际的激活函数在$\ell_\infty$ -范数下构造可证明鲁棒的神经网络。其次,我们研究了构造神经网络的计算复杂性,这些神经网络适合于精确的区间分析。这是一个至关重要的问题,因为我们的建设性证明IUA是指数的近似域的大小。我们把这个问题归结为用可压缩的激活函数来近似神经网络的范围的问题。我们证明了值域逼近问题(RA)是一个$Δ_2$ -中间问题,它严格比$\mathsf{NP}$ -完全问题难,假设$\mathsf{coNP}\not\subset \mathsf{NP}$ .因此,IUA是一个固有的困难问题:无论我们考虑什么抽象域或计算工具来实现区间近似,都没有有效的构造这样一个通用近…
2021-07-14 cs.LG cs.PL stat.ML
Stochastic Neural Networks with Monotonic Activation Functions
Carnegie Mellon University(卡内基梅隆大学);University of Alberta(阿尔伯塔大学)
我们提出了一个拉普拉斯近似,创建一个随机单位从任何光滑的单调激活函数,仅使用高斯噪声。本文研究了这种随机逼近在训练一族与Bregman发散密切相关的受限玻尔兹曼机(RBM)中的应用。这个家族,我们称之为指数家族RBM(Exp-RBM),是指数家族Harmoniums的一个子集,通过选择每个神经元的平滑单调非线性来表达家族成员。使用对比发散和高斯近似,我们表明Exp-RBM可以使用新的随机单元学习有用的表示。
2016-07-22 cs.LG cs.NE stat.ML
Neural networks for neurocomputing circuits: a computational study of tolerance to noise and activation function non-uniformity when machine learning materials properties
National Taiwan University(国立台湾大学);Institute of Science Tokyo(东京科学大学)
本研究针对模拟神经计算电路中NN面临的噪声和NAF非均匀性问题,结合材料信息学应用展开计算分析,发现单隐藏层、较大规模及低过拟合模型噪声耐受性更强,且实际NAF形状重训练可缓解非均匀性影响。
2025-10-13 cs.LG cs.NE
A Machine Learning Framework for Weighted Least Squares GNSS Positioning based on Activation Functions
Department of Electrical and Computer Engineering, McGill University(麦吉尔大学电气与计算机工程系)
本文提出了一种基于激活函数的加权最小二乘GNSS定位机器学习框架,通过使用信号质量指标作为训练特征,利用集成学习算法识别低质量信号,并通过激活函数将机器学习预测的分数转换为适当的权重以提高定位精度。
2026-05-20 cs.LG
Hardware/Software Codesign for Training/Testing Multiple Neural Networks on Multiple FPGAs
大多数用于FPGA的神经网络设计是不灵活的。在本文中,我们提出了一个灵活的VHDL结构,将允许任何神经网络在多个FPGA上实现。此外,VHDL结构允许测试以及训练多个神经网络。VHDL设计由多个处理器组组成。有两种类型的处理器组:迷你向量机处理器组和激活处理器组。每个处理器组由单独的迷你向量机和激活处理器组成。迷你向量机将向量运算应用于数据,而激活处理器将激活函数应用于数据。实现了一个环形缓冲区来连接各个处理器组。
2020-03-23 cs.AR cs.LG cs.SE
State-space Models with Layer-wise Nonlinearity are Universal Approximators with Exponential Decaying Memory
National University of Singapore(新加坡国立大学)
本文证明堆叠带逐层非线性激活的状态空间模型可通用逼近任意连续序列映射,同时指出其仍存在指数衰减记忆问题,并通过数值实验验证。
2023-11-01 cs.AI cs.LG math.DS
English to Bangla Machine Translation Using Recurrent Neural Network
East West University(东西大学)
在自然语言处理中,递归神经网络在机器翻译中的应用越来越多。除了其他语言,孟加拉语包含大量的词汇。改进英语到孟加拉语的机器翻译将是对孟加拉语处理的重大贡献。本文描述了一个英语到孟加拉语机器翻译系统的体系结构。该系统已实现的编码器-解码器的循环神经网络。该模型使用基于知识的上下文向量来映射英语和孟加拉语单词。在这里测量基于激活函数的模型的性能。在编码层采用线性激活函数,在解码层采用双曲正切激活函数,性能最佳。从GRU和LSTM层的执行来看,GRU的表现要优于LSTM。注意力层采用softmax和sigmoid激活函数实现。该模型的方法在交叉熵损失度量方面优于以前的最先进的系统。读者可以从本文中很容易地了解到英语到孟加拉语的机器翻译的结构和有效的激活函数。
2021-06-14 cs.CL cs.LG
Restricted Boltzmann Machines as Models of Interacting Variables
Kavli Institute for Systems Neuroscience and Centre for Neural Computation, Norwegian University of Science and Technology(挪威科技大学 Kavli 系统神经科学研究所与神经计算中心);SISSA—Cognitive Neuroscience(SISSA 认知神经科学)
我们研究了具有不同激活函数的受限玻尔兹曼机(RBM)的分布类型,通过研究隐藏节点的激活函数对它们施加在观察到的二进制节点上的边缘分布的影响来表达。我们报告的确切表达这些边际的形式的一个模型的相互作用的显式形式的相互作用取决于隐藏节点的激活函数的二元变量。我们详细研究了这些相互作用的性质,并评估了RBM近似二进制变量分布的准确性如何取决于隐藏节点激活函数和隐藏节点的数量。当推断的RBM参数是弱的,一个直观的模式被发现的相互作用项的表达,大大减少了激活函数之间的差异。我们证明了弱参数近似对于在MNIST数据集上训练的不同RBM是一个很好的近似。有趣的是,在这些情况下,映射揭示了推断的模型本质上是低阶相互作用模型。
2021-03-29 cond-mat.dis-nn cs.LG physics.data-an
Minimum Width of Deep Narrow Networks for Universal Approximation
Huazhong University of Science and Technology(华中科技大学)
本文研究了深度窄网络的最小宽度以实现通用逼近能力,通过分析不同激活函数的特性,得出了新的宽度下界和上界结论。
2025-11-23 cs.LG
Minimal Width for Universal Property of Deep RNN
Seoul National University(首尔国立大学)
递归神经网络(RNN)是一种广泛使用的深度学习网络,用于处理序列数据。无限宽RNN可以模拟动力系统,可以近似紧致域中的任何开放动力系统。一般来说,在实践中,具有有限宽度的深网络比宽网络更有效;然而,深窄结构的通用近似定理尚未得到广泛研究。在这项研究中,我们证明了深窄RNN的普适性,并表明普适性的最小宽度的上界可以与数据的长度无关。具体来说,我们证明了具有ReLU激活的深度RNN可以分别近似宽度为$d_x+d_y+2$和$\max\{d_x+1,d_y\}$的任何连续函数或$L^p$函数,其中目标函数将$\mathbb{R}^{d_x}$中的有限向量序列映射到$\mathbb{R}^{d_y}$中的有限向量序列。我们还计算了激活函数为$\tanh$或更大时所需的额外宽度。此外,我们还证明了其他递归网络(如双向RNN)的普适性。将多层感知器和RNN连接起来,我们的理论和证明技术可以成为进一步研究深度RNN的第一步。
2023-03-29 cs.LG stat.ML
A Universal Approximation Result for Difference of log-sum-exp Neural Networks
Politecnico di Torino(都灵理工大学);IEIIT-CNR Torino(意大利国家研究委员会电子、电信与信息工程研究所都灵分部);INRIA(法国国家信息与自动化研究所);Ecole polytechnique(巴黎综合理工学院)
我们证明了一个神经网络,其输出作为两个前馈网络的输出的差异,指数激活函数在隐层和对数激活函数在输出节点(LSE网络)是一个光滑的通用逼近凸,紧集上的连续函数。通过使用对数变换,这类网络映射到一个家庭的减免费比率的广义posynomials,我们也证明了是普遍的逼近器的正函数的对数凸,紧凑的子集的正正交。差分-LSE网络相对于经典前馈神经网络的主要优点在于,在标准训练阶段之后,它们提供用于设计的代理模型,该代理模型具有特定的凸函数差分形式,这使得它们可经由相对有效的数值方法来优化。特别是,通过适应现有的差分凸算法,这些模型,我们得到了一个算法进行有效的优化设计。我们通过将其应用于2型糖尿病患者饮食的数据驱动设计来说明所提出的方法。
2019-05-21 cs.LG cs.NE
Activation Functions, Statistics and Learning of Higher-Order Interactions in Restricted Boltzmann Machines
Kavli Institute for Systems Neuroscience, Norwegian University of Science and Technology(Kavli系统神经科学研究所,挪威科学技术大学);Department of Mathematics, King’s College London(伦敦国王学院数学系)
本文研究了受限玻尔兹曼机中激活函数对高阶相互作用统计学和学习的影响,分析了四种常见激活函数在不同参数范围内的表示和学习能力。
2026-06-24 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Comparative Performance Analysis of Neural Networks Architectures on H2O Platform for Various Activation Functions
National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"(乌克兰国立技术大学“伊戈尔·西科尔斯基基辅理工学院”)
深度学习(深度结构化学习、分层学习或深度机器学习)是基于一组算法的机器学习的一个分支,这些算法试图通过使用具有复杂结构或以其他方式由多个非线性变换组成的多个处理层来对数据中的高级抽象进行建模。在本文中,我们提出了在H2O平台上测试神经网络架构的各种激活函数,停止度量和其他参数的机器学习算法的结果。对于单线程模式下的手写数字MNIST数据库的用例,证明了这些参数的盲选可以极大地增加运行时间(2-3阶),而不会显着增加精度。这一结果对于现有的和新的机器学习方法的优化,特别是对于图像识别问题,有着至关重要的影响。
2017-07-16 cs.CV cs.LG cs.PF
Predicting Stress-strain Behaviors of Additively Manufactured Materials via Loss-based and Activation-based Physics-informed Machine Learning
本文提出基于物理信息机器学习的框架,通过嵌入物理定律提升预测性能和一致性,针对添加剂制造材料的应力-应变曲线进行预测,使用LSTM模型分别预测弹性与塑性区域,实验表明该方法在多个数据集上表现优异。
2026-03-15 cs.LG
Minimum width for universal approximation using ReLU networks on compact domain
Korea University(高丽大学);Ajou University(亚洲大学)
本文证明紧域上 ReLU-Like 深度网络实现 $L^p$ 通用逼近的最小宽度为 $\max\{d_x,d_y,2\}$,并给出一般激活函数一致逼近的宽度下界,揭示两类逼近的宽度差异。
2024-03-05 cs.LG stat.ML
Minimum Block Width for Universal Approximation by Residual Neural Networks with Inner Width One
School of Mathematics and Statistics, Huazhong University of Science and Technology(华中科技大学数学与统计学院);Hubei Key Laboratory of Engineering Modeling and Scientific Computing, Huazhong University of Science and Technology(湖北省工程建模与科学计算重点实验室)
研究残差神经网络通用逼近性质,针对特定激活函数建立块宽度上下界,证明内部宽度为1时在紧致域上实现\(L^p\)逼近的最小块宽度,还给出特定块宽度网络能实现一致逼近及宽度小于某值不能逼近所有目标函数的结论。
2026-08-11 cs.LG stat.ML
Universal approximation and model compression for radial neural networks
Radboud University(拉德堡德大学);Northeastern University(东北大学)
我们介绍了一类完全连接的神经网络,其激活函数,而不是逐点的,重新缩放的功能,只依赖于他们的范数的特征向量。我们称这种网络为径向神经网络,扩展了以前的工作旋转等变网络,考虑重新调整激活的一般性。我们证明了径向神经网络的普遍逼近定理,包括在更困难的情况下,有界宽度和无界域。我们的证明技术是新颖的,不同于那些在逐点的情况下。此外,径向神经网络在可训练参数的向量空间上表现出丰富的正交基变换对称性。分解出这些对称性导致一个实用的无损模型压缩算法。通过梯度下降对压缩模型的优化等效于对完整模型的投影梯度下降。
2023-02-16 cs.LG math.RT
SBAF: A New Activation Function for Artificial Neural Net based Habitability Classification
PES University South Campus(PES大学南校区);Indian Statistical Institute(印度统计研究所);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
我们探讨了在人工神经网络(ANN)中使用一种新的激活函数将系外行星分为不同类别的有效性。我们称之为Saha-Bora激活函数(SBAF),因为其动机来自于长期以来对使用高级微积分来建模系外行星可居住性评分的理解。该函数被证明具有很好的分析性质,似乎不受本地振荡问题。该手稿提出的分析性质的激活函数和架构上实现的功能。关键词:天文信息学,机器学习,系外行星,人工神经网络,激活函数。
2018-06-06 astro-ph.IM cs.LG stat.ML
Structural Correspondence and Universal Approximation in Diagonal plus Low-Rank Neural Networks
Department of Industrial Engineering & Operations Research(工业工程与运筹学系)
本文研究了严格限制在低秩流形上的神经网络的极限,提出结构对应框架,证明在低秩层中加入少量稀疏对角元素即可实现通用逼近,并展示乘法深度优于加法宽度的参数-表达性比例。
2026-11-13 cs.LG
Studying Various Activation Functions and Non-IID Data for Machine Learning Model Robustness
ICNS Lab(ICNS实验室);Cyber Florida, University of South Florida(Cyber Florida,佛罗里达大学)
本文研究了不同激活函数和非IID数据对机器学习模型鲁棒性的影响,提出改进的对抗训练方法并验证了数据共享的有效性。
2025-12-03 cs.CV cs.LG
Distributionally robust approximation property of neural networks
University of Mannheim(曼海姆大学)
本文证明了几类神经网络在弱紧测度族下具有一致通用逼近性质,通过Orlicz空间稠密性扩展了经典定理,涵盖前馈、深窄及函数输入网络。
2026-10-30 cs.LG math.FA math.PR
Kähler Geometry of Quiver Varieties and Machine Learning
Boston University(波士顿大学)
我们开发了一个代数几何公式的神经网络在机器学习中使用的模空间的框架表示。我们在模上的万有丛上找到了与一般线性群的GIT商构造相容的自然Hermitian度量,并证明了它们的里奇曲率给出了模上的Kähler度量.利用复曲面矩映射构造激活函数,证明了由复射影空间构造的多元激活函数的普适逼近定理。
2021-02-10 cs.LG math.AG
Arbitrary-Depth Universal Approximation Theorems for Operator Neural Networks
Cornell University(康奈尔大学);University of Connecticut(康涅狄格大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
算子神经网络(NN)的标准通用逼近定理对任意宽度和有界深度都成立。在这里,我们证明了有界宽度和任意深度的算子NN是连续非线性算子的通用逼近器。在我们的主要结果中,我们证明了,对于非多项式激活函数是连续可微的一个点与非零导数,可以构建一个运营商NN的宽度为5,其输入是实数与有限小数表示,这是任意接近任何给定的连续非线性算子。对于非仿射多项式激活函数,我们得到了类似的结果。我们还通过构造深度为$2k^3+8$和恒定宽度的算子ReLU NN来证明深度具有理论优势,这些深度和恒定宽度不能被深度为$k$的任何算子ReLU NN很好地近似,除非其宽度在$k$中是指数的。
2021-09-23 cs.LG cs.NA math.CA
An elementary proof of a universal approximation theorem
Texas Tech University(德克萨斯理工大学)
本文给出了适用于三层隐藏层且激活函数递增、连续、有界的神经网络的通用近似定理的初等证明,仅用本科分析学工具,结果虽弱于已知最佳但证明更简单。
2024-12-21 cs.LG
On the Activation Function Dependence of the Spectral Bias of Neural Networks
Pennsylvania State University(宾夕法尼亚州立大学);University of Southern California(南加州大学)
神经网络是通用函数逼近器,尽管被显著地过度参数化,但已知其泛化良好。我们从神经网络的谱偏置的角度来研究这种现象。我们的贡献是双重的。首先,我们通过利用与有限元法理论的联系,为ReLU神经网络的谱偏差提供了理论解释。其次,基于这一理论,我们预测,切换的激活函数的分段线性B-样条,即帽子功能,将消除这种光谱偏差,我们在各种设置经验验证。我们的实证研究还表明,使用随机梯度下降和ADAM,具有Hat激活函数的神经网络的训练速度明显更快。结合之前的工作,显示帽子激活函数也提高了图像分类任务的泛化精度,这表明使用帽子激活在某些问题上提供了比ReLU显著的优势。
2022-09-06 cs.LG
Improving Siamese Networks for One Shot Learning using Kernel Based Activation functions
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
缺乏大量的训练数据一直是机器学习中解决许多问题的制约因素,这使得One Shot Learning成为机器学习中最有趣的想法之一。它旨在从一个或仅几个训练样本中学习有关对象类别的信息。在深度学习中,这个学习过程通常是通过适当的目标函数(即损失函数)和嵌入提取(即架构)来完成的。在本文中,我们讨论了基于度量的深度学习架构,用于一次性学习,如Siamese神经网络,并提出了一种使用Kafnets(用于神经网络的基于内核的非参数激活函数)通过学习具有相对较少的epoch数的适当嵌入来提高其准确性的方法。使用内核激活函数,我们能够获得强有力的结果,在嵌入结构、收敛损失和准确性方面超过了基于ReLU的深度学习模型。
2019-10-22 cs.CV cs.LG
Achieve the Minimum Width of Neural Networks for Universal Approximation
Beijing Normal University(北京师范大学)
神经网络的通用逼近属性(UAP)是深度学习的基础,众所周知,宽神经网络是$L^p$范数和连续/一致范数内连续函数的通用逼近器。然而,UAP的确切最小宽度$w_{\min}$尚未得到彻底研究。最近,使用解码器-存储器-编码器方案,\citet{Park2021Minimum}发现ReLU网络的$L^p$-UAP和ReLU+STEP网络的$C$都有$w_{\min} = \max(d_x+1,d_y)$,其中$d_x,d_y$分别是输入和输出维度。在本文中,我们考虑具有任意一组激活函数的神经网络。我们证明了紧域上函数的$C$ -UAP和$L^p$ -UAP共享一个最小宽度的泛下界,即$w^*_{\min} = \max(d_x,d_y)$ .特别地,如果输入或输出维度大于1,则$L^p$ -UAP的临界宽度$w^*_{\min}$可以通过泄漏ReLU网络来实现。我们的构造是基于神经常微分方程的近似能力和神经网络近似流图的能力。对非单调或不连续的激活函数情形和一维情形也进行了讨论。
2023-02-04 cs.LG
m-arcsinh: An Efficient and Reliable Function for SVM and MLP in scikit-learn
University California Irvine(加利福尼亚大学欧文分校)
本文描述了“m-arcsinh”,反双曲正弦函数(“arcsinh”)的修改(“m-”)版本。核函数和激活函数使基于机器学习(ML)的算法(如支持向量机(SVM)和多层感知器(MLP))能够以监督的方式从数据中学习。在开源Python库“scikit-learn”中实现的m-arcsinh在此分别作为SVM和MLP的高效可靠的内核和激活函数提出。讨论了scikit-learn和加州大学欧文分校(UCI)机器学习存储库中15个(N = 15)数据集上分类任务的可靠性和收敛速度的改进。实验结果表明,整体竞争力的分类性能的支持向量机和MLP,通过所提出的功能实现。此功能相比,黄金标准内核和激活函数,展示了其整体的竞争力的可靠性,无论所涉及的分类任务的复杂性。
2020-09-16 cs.CV cs.LG cs.MS
PRISM: Privacy-preserving Inference System with Homomorphic Encryption and Modular Activation
针对机器学习模型部署中数据隐私与非线性激活函数不兼容同态加密的问题,提出PRISM框架,用同态兼容近似函数替代非线性激活并重构CNN架构,在CIFAR-10上实现94.4%准确率,平衡了隐私保护与计算效率。
2025-11-11 cs.AI cs.CR cs.LG
The unbearable lightness of Restricted Boltzmann Machines: Theoretical Insights and Biological Applications
Kavli Institute for Systems Neuroscience(卡弗里系统神经科学研究所);NTNU(挪威科技大学);Imperial College London(伦敦帝国学院)
本文综述RBM激活函数的理论优劣及其在神经、蛋白质与免疫数据分析中的应用,并指出开放问题对神经网络研究的意义。
2025-01-08 cond-mat.dis-nn cs.LG physics.data-an
Optimizing Neural Networks through Activation Function Discovery and Automatic Weight Initialization
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Cognizant(高知特)
本文提出通过发现更强大的激活函数和建立更稳健的权重初始化技术来优化神经网络,证明了针对特定任务定制方案、联合优化组件及使用学习表示的有效性,推动了全自动化机器学习的发展。
2023-04-06 cs.LG
Using Restricted Boltzmann Machines to Model Molecular Geometries
Yale University(耶鲁大学)
分子的精确物理描述可以通过求解薛定谔方程来获得;然而,这些计算是棘手的,甚至近似也是麻烦的。基于经验数据估计原子间势的力场也很耗时。本文提出了一种新的方法来建模的一组物理参数,利用有限玻尔兹曼机的快速学习能力和代表性的权力。通过在从头算数据上训练机器,我们可以预测与从头算分布相匹配的分子构型分布中的新数据。在本文中,我们介绍了一种新的基于Tanh激活函数的RBM,并对具有不同激活函数的RBM进行了比较,包括sigmoid,Gaussian和(Leaky)ReLU。最后,我们证明了高斯RBM模型的能力,如水和乙烷的小分子。
2020-12-13 cs.LG physics.chem-ph
Understanding Two-Layer Neural Networks with Smooth Activation Functions
Shuitu Institute of Applied Mathematics(Suitu 应用数学研究所)
研究具有平滑激活函数的两层神经网络训练解,提出泰勒级数展开构建等四个原则,证明任意输入维度通用逼近,揭示解空间奥秘,丰富逼近理论。
2026-07-09 cs.AI cs.LG cs.NA
A survey on recently proposed activation functions for Deep Learning
人工神经网络(ANN),通常被称为神经网络,是一类机器学习算法,并且已经取得了广泛的成功,其灵感来自于人类大脑的生物结构。神经网络具有从数据中学习复杂函数近似的能力,因此具有固有的强大功能。这种泛化能力已经能够影响涉及图像识别、语音识别、自然语言处理等的多学科领域。激活函数是神经网络的重要组成部分。它们定义了给定一组输入的网络中一个节点的输出。本综述讨论了神经网络中激活函数的主要概念,包括:深度神经网络简介,什么是激活函数及其如何在神经网络中使用的总结,它们最常见的属性,不同类型的激活函数,激活函数面临的一些挑战,限制和替代解决方案,最后的评论。
2022-04-07 cs.AI cs.LG
A Modified Batch Intrinsic Plasticity Method for Pre-training the Random Coefficients of Extreme Learning Machines
Purdue University(普渡大学)
在极端学习机(ELM)中,隐层系数是随机设置和固定的,而神经网络的输出层系数是通过最小二乘法计算的。ELM中随机分配的系数是影响其性能和精度显着。在本文中,我们提出了一种改进的批内禀塑性(modBIP)方法预训练的随机系数的ELM神经网络。该方法与批处理本征塑性(BIP)方法基于相同的原理,即通过增强神经网络中每个节点的信息传输来设计。它在两个突出方面不同于BIP。首先,modBIP在其算法中不涉及激活函数,并且它可以与神经网络中的任何激活函数一起应用。相反,BIP在其构造中使用激活函数的逆,并且要求激活函数是可逆的(或单调的)。modBIP方法可以与经常使用的非单调激活函数(例如高斯,swish,高斯误差线性单元和径向基类型函数)一起工作,BIP可以与这些函数一起分解。其次,modBIP以最小尺寸在随机间隔上生成目标样本,这导致与ELM结合时的高精度计算结果。在数值模拟中,组合ELM/modBIP方法的精度明显高于ELM/BIP方法。用浅层和深层神经网络对偏微分方程的函数逼近和边值/初值问题进行了充分的数值实验。他们表明,组合ELM/modBIP方法产生高度准确的模拟结果,其准确性是不敏感的随机系数初始化的神经网络。这与没有预先训练随机系数的ELM结果形成鲜明对比。
2021-03-14 cs.LG cs.NA math.NA
NEAR: A Training-Free Pre-Estimator of Machine Learning Model Performance
ETH Zurich(苏黎世联邦理工学院)
本文提出无需训练的零成本代理 NEAR,通过激活前后矩阵的有效秩评估网络表达能力,在多个 NAS 基准上实现与准确率的强相关,并可用于选择层规模、激活函数和初始化方案。
2025-02-19 cond-mat.dis-nn cs.LG physics.chem-ph
Fractional Optimizers Meet Fractal Activation Functions: An Empirical Study of Multi-Scale Optimization in Neural Network
SBA Research gGmbH(SBA研究有限责任公司);University of Vienna(维也纳大学)
该研究在统一实验框架下实证探究分数阶优化器与分形激活函数的配对效果,发现正则化式分数缩放与选定分形激活函数适配性较好,自适应记忆优于普通记忆替换,可控分数阶记忆具研究潜力。
2026-08-18 cs.AI cs.LG
Activation Functions Considered Harmful: Recovering Neural Network Weights through Controlled Channels
School of Computer Science University of Birmingham(计算机科学学院 英国伯明翰大学);School of Computer Science Durham University(计算机科学学院 唐斯大学)
本研究发现特权攻击者可利用神经网络激活函数的输入相关内存访问模式,借助SGX-Step框架从Intel SGX飞地中窃取模型参数,实验验证了攻击有效性,并指出需加强机器学习实现的侧信道验证。
2025-10-02 cs.CR cs.LG
Universal Properties of Activation Sparsity in Modern Large Language Models
本研究提出了一种通用框架,系统研究了现代大语言模型中激活稀疏性的通用性质,并揭示了其随着模型规模增大而增强的潜力。
2026-02-18 cs.LG
Universal Activation Verbalizer: A Unified Framework for Cross-Model Activation Explanation
New Jersey Institute of Technology(新泽西理工学院);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Cisco Research(思科研究);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
提出通用激活词化器(UAV)框架,通过共享解码器和轻量适配器将异构模型的隐藏表示转化为自然语言解释,支持跨模型家族和规模的激活词化,在分类、事实检索和要点总结任务中与强基线竞争。
2026-09-01 cs.CL cs.LG