Dynamic Short Convolutions Improve Transformers
动态短卷积改进Transformer
机构 * Massachusetts Institute of Technology(麻省理工学院) ; MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
AI总结 本文提出动态短卷积作为新的神经网络原语,通过输入依赖的滤波器增强Transformer,在语言建模中相比标准Transformer和静态短卷积变体持续提升性能,并带来计算优势。