IBM

Structured Recurrent Mixers for Massively Parallelized Sequence Generation

结构化递归混合器用于大规模并行序列生成

Benjamin L. Badger

机构 * IBM 纠错

AI总结 本文提出了一种结构化递归混合器架构，能够在训练时实现序列并行表示与推理时的递归表示之间的代数转换，从而在不依赖专用内核或设备特定内存管理的情况下提高训练效率、输入信息容量和推理吞吐量。