IBM

Variable-Width Transformers

变宽Transformer

Zhaofeng Wu, Oliver Sieberling, Shawn Tan, Rameswar Panda, Yury Polyanskiy, Yoon Kim

机构 * MIT（麻省理工学院） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室） 纠错

AI总结 提出一种中间窄、两端宽的变宽Transformer架构，通过无参数残差缩放机制实现非均匀容量分配，在语言模型困惑度、FLOPs和KV缓存上优于均匀宽度基线。