Fast and Stable Triangular Inversion for Delta-Rule Linear Transformers
快速且稳定的三角矩阵求逆用于Delta规则线性变换器
机构 * Computing Systems Lab(计算系统实验室) ; Huawei Technologies Switzerland(华为技术瑞士)
AI总结 本文研究了Delta规则线性变换器中快速且稳定的三角矩阵求逆方法,通过分析直接和迭代算法,探讨了矩阵乘法丰富的算法在现代硬件上的高效利用,实验验证了不同方法在低精度浮点表示下的性能和稳定性,实现了三角矩阵求逆的4.3倍加速,从而提升整个层级性能并保持端到端模型精度。
Comments Preprint