高斯误差线性单元（GELUs）
Gaussian Error Linear Units (GELUs)
AI总结：
本文提出GELU激活函数，利用标准高斯累积分布函数按输入值加权，并在视觉、NLP和语音任务上实证优于ReLU与ELU。
摘要：
我们提出高斯误差线性单元（GELU），这是一种高性能神经网络激活函数。GELU激活函数为$xΦ(x)$，其中$Φ(x)$是标准高斯累积分布函数。GELU非线性根据输入的值对其加权，而不是像ReLU（$x\mathbf{1}_{x>0}$）那样根据输入的符号进行门控。我们对GELU非线性与ReLU和ELU激活进行了实证评估，发现在所考察的所有计算机视觉、自然语言处理和语音任务中，性能均有提升。
英文摘要：
We propose the Gaussian Error Linear Unit (GELU), a high-performing neural network activation function. The GELU activation function is $xΦ(x)$, where $Φ(x)$ the standard Gaussian cumulative distribution function. The GELU nonlinearity weights inputs by their value, rather than gates inputs by their sign as in ReLUs ($x\mathbf{1}_{x>0}$). We perform an empirical evaluation of the GELU nonlinearity against the ReLU and ELU activations and find performance improvements across all considered computer vision, natural language processing, and speech tasks.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
