Approximation Rates of Shallow Neural Networks: Barron Spaces, Activation Functions and Optimality Analysis
School of Mathematical Sciences, Shenzhen University, Shenzhen 518060, China(深圳大学数学科学学院)
本文分析采用指数幂型及 ReLU$^{k}$ 激活函数的浅层神经网络,在 Barron 与 Sobolev 空间中建立多范数最优逼近速率,揭示系数、光滑性约束及维数灾难的影响。
2025-10-21 cs.LG
Learnable Activation Functions in Physics-Informed Neural Networks for Solving Partial Differential Equations
Computational Science and Engineering Department, Informatics Institute(计算科学与工程系,信息学院)
针对物理信息神经网络求解偏微分方程时的谱偏差与收敛不稳定问题,系统对比可学习激活函数的MLP与KAN的性能,揭示表达性与收敛稳定性的权衡,为神经PDE求解器设计提供参考。
2025-06-13 cs.LG cs.NE
FlexAct: Why Learn when you can Pick?
University of California Los Angeles(加州大学洛杉矶分校)
研究聚焦深度学习中激活函数学习,核心方法是用Gumbel-Softmax技巧在预定义函数集里离散可微选优,主要贡献是提升预测精度与架构灵活性,为复杂场景下神经架构发展助力。
2026-07-08 cs.LG
Lynx: Enabling Efficient MoE Inference through Dynamic Batch-Aware Expert Selection
Georgia Institute of Technology(佐治亚理工学院)
本文提出Lynx系统,通过利用MoE训练中的负载平衡损失特性,减少专家调用总数,从而在不依赖工作负载的情况下实现高效的MoE推理,提升了吞吐量并保持了低的精度损失。
2026-05-18 cs.DC cs.LG
Deep Asymmetric Networks with a Set of Node-wise Variant Activation Functions
Electronics and Telecommunications Research Institute (ETRI)(电子与电信研究所(ETRI));Ulsan National Institute of Science and Technology (UNIST)(蔚山科学技术院(UNIST))
这项工作提出了一套节点的变种激活函数的深度非对称网络。节点的灵敏度受激活函数选择的影响,使得具有较小索引的节点变得越来越敏感。因此,由节点学习的特征按照节点索引的重要性排序。非对称网络不仅学习输入特征,还学习这些特征的重要性。可以修剪非对称网络中较不重要的节点以降低网络的复杂性,并且可以重新训练修剪后的网络而不会导致性能损失。我们使用浅和深不对称网络以及从著名网络转移的深不对称网络来验证特征排序属性。
2019-05-17 cs.CV cs.LG cs.NE
Variational Neural Networks: Every Layer and Neuron Can Be Unique
激活函数的选择对神经网络的性能有很大的影响。激活函数的选择缺乏指导原则是可悲的。为了解决这个问题,我们引入了变分神经网络,其中的激活函数被表示为一个线性组合的可能的候选函数,并通过最小化损失函数使用梯度下降方法获得最佳的激活。损失函数关于这些展开系数的梯度公式是实现梯度下降算法的核心,在这里我们导出这些梯度公式。
2018-10-14 cs.AI cs.LG stat.ML
Breaking the Conventional Forward-Backward Tie in Neural Networks: Activation Functions
University of Salerno(萨勒诺大学);Campus UniSA(UniSA校区);Kebula srl(Kebula公司);University of Sannio(萨恩尼奥大学)
本文通过数学分析和在MLP、CNN、BNN上的实验,证明放宽前向-后向对称性、用简单或随机梯度替代传统梯度不影响学习,甚至能提升稳定性,使平坦或不可微激活函数(如阶跃函数)可有效训练。
2025-09-08 cs.AI cs.LG cs.NE
SmartMixed: A Two-Phase Training Strategy for Adaptive Activation Function Learning in Neural Networks
Independent Researcher(独立研究者);Toronto, Canada(加拿大多伦多);Toronto Ontario Canada(加拿大多伦多)
提出SmartMixed两阶段训练策略,通过可微硬混合机制让神经元自适应选择激活函数,第二阶段固定选择以保持推理效率,在MNIST上验证了不同层神经元的激活函数偏好。
2026-07-08 cs.AI cs.LG
Optimizing food taste sensory evaluation through neural network-based taste electroencephalogram channel selection
Northeast Electric Power University(东北电力大学)
针对多通道味觉EEG数据的通道选择难题,本文提出CAM-Attention方法,结合CNN-CSA与Grad-CAM模型实现通道筛选,降低计算负担的同时可有效区分四种味觉,为食品味觉感官评价提供技术支持。
2024-09-19 cs.AI cs.LG eess.SP
On the Impact of the Activation Function on Deep Neural Networks Training
University of Oxford(牛津大学)
深度神经网络的权值初始化和激活函数对训练过程的性能有着至关重要的影响。不适当的选择可能导致前向传播期间输入信息的丢失以及反向传播期间梯度的指数消失/爆炸。了解未经训练的随机网络的理论特性是识别哪些深度网络可以成功训练的关键,正如Samuel等人(2017)最近所证明的那样,对于深度前馈神经网络,只有特定选择的超参数称为“混沌边缘”才能产生良好的性能。虽然Samuel等人(2017)的工作讨论了可训练性问题,但我们在这里关注的是训练加速和整体表现。我们对混沌边缘进行了全面的理论分析,并表明我们确实可以调整初始化参数和激活函数,以加速训练并提高性能。
2019-05-26 cs.AI cs.LG stat.ML
Sensitivity-Aware Thresholding and Token Routing for Activation Sparsification in Large Language Models
Santa Clara University(圣塔克拉拉大学);Sogang University(西江大学)
研究大语言模型中如何在保留模型质量时减少计算,提出灵敏度感知阈值处理方法SATS及轻量级令牌路由框架,经实验评估,SATS在匹配稀疏度时优于基线,令牌路由有更好的质量-吞吐量权衡,改进方法可提升大语言模型权衡效果。
2026-07-13 cs.CL cs.LG
Embed Me If You Can: A Geometric Perceptron
Linköping University(林雪平大学)
利用机器学习解决涉及点云的几何任务是一个具有挑战性的问题。标准的前馈神经网络结合了线性层,或者如果包括偏置参数,则结合了仿射层和激活函数。他们的几何建模是有限的,这激励了以前的工作,介绍多层超球感知器(MLHP)。其组成部分,即,超球神经元,通过应用欧氏空间的共形嵌入而获得。借助Clifford代数,它可以实现为输入和权重的笛卡尔点积。如果以与输入空间几何的维度一致的方式应用嵌入,则模型单元的决策表面变成超球面的组合,并且使得决策过程在几何上可为人类解释。我们的MLHP模型的扩展,多层几何感知器(MLGP),及其各自的层单元,即,几何神经元与3D几何结构一致,并提供学习系数的几何处理。特别地,几何神经元激活在3D中是等距的,这对于旋转和平移等方差是必要的。当分类的3D俄罗斯方块形状,我们定量地表明,我们的模型不需要激活函数在隐藏层以外的嵌入优于香草多层感知器。在数据中存在噪声的情况下,我们的模型也优于MLHP。
2021-08-18 cs.LG stat.ML
A Method on Searching Better Activation Functions
Tsinghua University(清华大学);Tianjin University(天津大学);Anhui Polytechnic University(安徽工程大学)
本文提出基于信息熵的激活函数优化方法(EAFO),从理论上证明最差激活函数存在性,并推导出CRReLU激活函数,在视觉Transformer和LLM微调任务上优于现有ReLU修正和GELU。
2024-05-22 cs.AI cs.LG
Learnable Spectral Activations
Technion – Israel Institute of Technology(以色列理工学院);NVIDIA(英伟达);Institute of Science and Technology Austria (ISTA)(奥地利科学技术学院)
本文提出可学习的频谱激活函数(LSA),用残差截断傅里叶级数替代固定非线性,通过独立梯度解耦特征选择与频谱整形,在音频、图像、神经辐射场等任务中提升重建质量。
2026-10-19 cs.CV cs.LG
Exploiting Activation Sparsity with Dense to Dynamic-k Mixture-of-Experts Conversion
IDEAS NCBR;Warsaw University of Technology(华沙理工大学);Jagiellonian University(雅盖隆大学);Sapienza University of Rome(罗马第一大学)
本文提出D2DMoE方法,通过正则化基础模型的激活稀疏性并引入按token动态调整专家数量的dynamic-$k$选择规则,将密集网络转换为MoE层,在NLP和视觉任务中实现最高60%推理成本降低且保持性能。
2024-11-12 cs.LG
Efficient and Interpretable Neural Networks Using Complex Lehmer Transform
University of Toronto(多伦多大学);York University(约克大学)
提出采用加权Lehmer变换激活函数的神经网络,扩展至复数域以捕获相位敏感关系,在提升可解释性与计算效率的同时于基准数据集上实现具竞争力的准确率。
2025-01-25 cs.AI cs.LG
Comparative Performance Analysis of Neural Networks Architectures on H2O Platform for Various Activation Functions
National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"(乌克兰国立技术大学“伊戈尔·西科尔斯基基辅理工学院”)
深度学习(深度结构化学习、分层学习或深度机器学习)是基于一组算法的机器学习的一个分支,这些算法试图通过使用具有复杂结构或以其他方式由多个非线性变换组成的多个处理层来对数据中的高级抽象进行建模。在本文中,我们提出了在H2O平台上测试神经网络架构的各种激活函数,停止度量和其他参数的机器学习算法的结果。对于单线程模式下的手写数字MNIST数据库的用例,证明了这些参数的盲选可以极大地增加运行时间(2-3阶),而不会显着增加精度。这一结果对于现有的和新的机器学习方法的优化,特别是对于图像识别问题,有着至关重要的影响。
2017-07-16 cs.CV cs.LG cs.PF
LLM Router: Rethinking Routing with Prefill Activations
NVIDIA(英伟达)
本文提出基于预填激活的路由方法,通过分离编码器和目标模型,提升路由性能,实验显示其在成本和准确性上均优于传统方法。
2026-08-13 cs.CL cs.LG
XShare: Collaborative in-Batch Expert Sharing for Faster MoE Inference
ASU(亚利桑那州立大学);Amazon Web Services(亚马逊网络服务)
XShare通过动态适应批次和高效贪心算法,减少专家激活并提升MoE推理效率。
2026-02-06 cs.AI cs.LG
L*ReLU: Piece-wise Linear Activation Functions for Deep Fine-grained Visual Categorization
Graz University of Technology(格拉茨工业大学)
深度神经网络在过去几年中为图像视觉分类的重大改进铺平了道路。然而,即使任务高度变化,复杂性和难度不同,现有的解决方案大多建立在相同的架构决策上。这也适用于激活函数(AF)的选择,其中大多数方法建立在整流线性单元(ReLU)上。然而,在本文中,我们表明,选择一个适当的AF有一个显着的影响的分类精度,特别是,如果罚款,微妙的细节是相关的。因此,我们建议通过使用分段线性函数(我们称之为L*ReLU)来通过AF对特征的缺失和存在程度进行建模。通过这种方式,我们可以确保所需的属性,同时仍然继承ReLU在计算效率方面的优势。我们展示了我们的方法的细粒度视觉分类(FGVC)的任务,在七个不同的基准数据集上运行实验。结果不仅证明了优越的结果,而且对于不同的任务,具有不同的特性,选择不同的AF。
2019-10-27 cs.CV cs.LG stat.ML
Does Bielik Know What It Doesn't Know? Activation Dispersion Separates Entity Familiarity from Factual Reliability Across Model Scale
Prosit AS(Prosit公司)
研究大语言模型中实体熟悉度与事实可靠性,通过两种无监督离散度度量及有监督线性探测,在比埃利克模型上区分不同实体,发现激活离散度信号在模型规模上与事实可靠性表现不同,已知实体中区分正误更难,模型几乎不弃权。
2026-07-09 cs.CL cs.LG
Autonomy-of-Experts Models
Renmin University of China(中国人民大学);Tencent(腾讯);Southeast University(东南大学);University of Macau(澳门大学);Wuhan University(武汉大学)
针对MoE模型中路由器决策与专家执行分离导致的次优选择问题,提出AoE范式,通过专家基于内部激活范数自主选择并利用低秩分解降低开销,在700M至4B参数模型上证明其优于传统MoE。
2025-05-30 cs.AI cs.CL cs.LG
Frequency Is Not Sensitivity Identifying Safety-Sensitive Experts in Sparse MoE LLM
University of Hawaii at Manoa(夏威夷大学马诺阿分校)
本研究提出用路由器梯度敏感性替代激活频率来识别稀疏MoE大语言模型中的安全敏感专家,实验表明该方法在多种架构和预算下能更有效地降低恶意提示的拒绝率,且不损害生成质量。
2026-10-05 cs.AI cs.CR cs.LG
Band Selection from Hyperspectral Images Using Attention-based Convolutional Neural Networks
Silesian University of Technology(西里西亚工业大学);KP Labs(KP实验室)
本文介绍了新的注意力为基础的卷积神经网络选择波段的高光谱图像。所提出的方法在不同深度处重复使用卷积激活,在门控机制的帮助下识别频谱中信息量最大的区域。我们的注意力技术是模块化的,易于实现,并且可以使用梯度下降进行端到端的无缝训练。我们严格的实验表明,配备了注意力机制的深度模型可以提供高质量的分类,并反复识别训练数据中的重要波段,从而可以创建保留最有意义特征的精细且极其紧凑的集合。
2020-01-09 cs.CV cs.LG stat.ML
PolyGLU: State-Conditional Activation Routing in Transformer Feed-Forward Networks
Independent researcher(独立研究者)
PolyGLU通过动态路由机制使FFN神经元可选择四种激活函数,提升模型灵活性和性能,实验表明其在标准基准测试中表现优异。
2026-03-07 cs.AI cs.ET cs.LG
Neural Network Architecture Search with Differentiable Cartesian Genetic Programming for Regression
设计复杂的神经网络架构的能力,使有效的训练随机梯度下降已在深度学习领域的许多成就的关键。然而,开发这样的架构仍然是一个充满挑战和资源密集型的过程,充满了反复试验。总而言之,网络拓扑结构与其数据建模能力之间的关系仍然知之甚少。我们建议编码神经网络与笛卡尔遗传编程(dCGPANN)的可微变体,并提出了一个模因算法的架构设计:本地搜索与梯度下降学习网络参数,而进化算子作用于dCGPANN基因塑造网络架构,朝着更快的学习。研究这样的学习方案的一个特定实例,我们能够通过学习如何重新布线和修剪链接,适应激活函数,并为选定的回归任务引入跳过连接来改进起始前馈拓扑。演进的网络架构需要更少的空间用于网络参数,并且在给定相同的时间量的情况下,平均误差显著更低。
2019-07-03 cs.NE
Multi-Behavioral Evolved Substrates Through Neuromodulation and Activation Selection
University of Neuchâtel(纳沙泰尔大学);University College Dublin(都柏林大学学院)
本研究通过CPPN间接编码基板,结合神经调节与每任务激活函数选择,克服了单调激活函数在奇偶校验任务上的75%演化搜索上限,实现多行为基板100%的5任务同时成功率,表明计算原语应为可演化特征。
2026-10-02 cs.AI cs.NE
Combinatorially Generated Piecewise Activation Functions
在神经进化文献中,研究主要集中在人工神经网络中节点、连接和权重的进化。很少有人尝试发展激活函数。演化激活函数的研究主要集中在演化函数参数和通过从固定的激活函数池中选择来开发异构网络。提出了一种通过组合生成分段激活函数来增强异构人工神经网络表达能力的新方法。我使用ArcTan和Sigmoid在增强拓扑的NeuroEvolution上演示了这种技术,并表明它在非马尔可夫双极点平衡上优于原始算法。这种技术通过证明非常规激活函数与规范选择的竞争性,扩展了它们的前景,并为人工神经网络的自动模型选择的进一步探索引入了一个范围。
2016-05-17 cs.NE
Continuous Cartesian Genetic Programming based representation for Multi-Objective Neural Architecture Search
INAOE(国家天体物理光学与电子研究所)
提出基于连续 CGP 的块链式 CNN 表示,并结合多种 MOEA 实现多目标 NAS,在 CIFAR-10/100 上取得兼具准确率与低复杂度的竞争力结果。
2023-06-05 cs.CV cs.NE
Learning Specialized Activation Functions for Physics-informed Neural Networks
Tsinghua University(清华大学);University of Pennsylvania(宾夕法尼亚大学)
本文揭示了PINNs优化困难与激活函数的联系,提出通过学习候选激活函数组合并引入自适应斜率来构建专门的自适应激活函数,有效缓解了优化困难并在多个基准上验证了其可解释性与有效性。
2023-08-08 cs.LG cs.NA cs.NE