arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2409.19239cs.LGcs.NE
收藏

Zorro：一个扩展 ReLU 和 GELU 的灵活且可微的参数化激活函数族

Zorro: A Flexible and Differentiable Parametric Family of Activation Functions That Extends ReLU and GELU

Universidad Tecnológica Nacional（阿根廷国立技术大学）；Facultad Regional Tucumán（图库曼地区学院）

Matias Roodschild, Jorge Gotay-Sardiñas, Victor A. Jimenez, Adrian Will

备注：
13 pages, 7 figures, 9 tables
阅读 PDF
arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出Zorro激活函数族，通过融合ReLU与Sigmoid实现连续可微且灵活可调，替代ReLU以避免梯度爆炸和神经元死亡，并在多种架构上验证其有效性。

摘要：

即使在诸如 Transformer 和扩展 LSTM（xLSTM）等近期神经网络架构以及卷积神经网络等传统架构中，激活函数也几乎是所有神经网络不可或缺的组成部分。它们能够实现更有效的训练并捕捉非线性数据模式。过去 30 年中已提出超过 400 种函数，包括具有固定参数或可训练参数的函数，但只有少数被广泛使用。ReLU 是最常用的激活函数之一，GELU 和 Swish 变体也越来越多地出现。然而，ReLU 存在不可微点和梯度爆炸问题，而测试 GELU 和 Swish 变体的不同参数会产生不同的结果，需要更多参数来适应数据集和架构。本文引入了一组名为 Zorro 的新型激活函数，这是一个连续可微且灵活的族，包含五个主要函数，融合了 ReLU 和 Sigmoid。Zorro 函数平滑且具有适应性，可作为信息门控，在 0-1 范围内与 ReLU 对齐，为 ReLU 提供了一种替代方案，无需归一化、不会出现神经元死亡或梯度爆炸。Zorro 还能近似 Swish、GELU 和 DGELU 等函数，提供参数以适应不同的数据集和架构。我们在全连接、卷积和 Transformer 架构上对其进行了测试，以证明其有效性。

英文摘要：

Even in recent neural network architectures such as Transformers and Extended LSTM (xLSTM), and traditional ones like Convolutional Neural Networks, Activation Functions are an integral part of nearly all neural networks. They enable more effective training and capture nonlinear data patterns. More than 400 functions have been proposed over the last 30 years, including fixed or trainable parameters, but only a few are widely used. ReLU is one of the most frequently used, with GELU and Swish variants increasingly appearing. However, ReLU presents non-differentiable points and exploding gradient issues, while testing different parameters of GELU and Swish variants produces varying results, needing more parameters to adapt to datasets and architectures. This article introduces a novel set of activation functions called Zorro, a continuously differentiable and flexible family comprising five main functions fusing ReLU and Sigmoid. Zorro functions are smooth and adaptable, and serve as information gates, aligning with ReLU in the 0-1 range, offering an alternative to ReLU without the need for normalization, neuron death, or gradient explosions. Zorro also approximates functions like Swish, GELU, and DGELU, providing parameters to adjust to different datasets and architectures. We tested it on fully connected, convolutional, and transformer architectures to demonstrate its effectiveness.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

↑