增强的QKNorm规范化用于具有Lp范数的神经Transformer
Enhanced QKNorm normalization for neural transformers with the Lp norm
AI总结：
本文提出了一种基于Lp范数的QKNorm规范化方法，用于改进神经Transformer的稳定性与性能。
摘要：
查询和键向量的规范化是Transformer架构的重要组成部分。它确保了无论这些向量的规模如何，学习都能保持稳定。一些规范化方法已经存在。在本初步工作中，提出了一种QKNorm规范方案的推广。该方法基于Lp范数，允许使用非欧几里得范数。实验结果展示了该方法在简单问题中的适用性。
英文摘要：
The normalization of query and key vectors is an essential part of the Transformer architecture. It ensures that learning is stable regardless of the scale of these vectors. Some normalization approaches are available. In this preliminary work, a generalization of the QKNorm normalization scheme is proposed. The approach is based on the Lp norm, allowing non-Euclidean norms to be employed. Experimental results demonstrate the suitability of the method for a simple problem.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
