How Many Heads Make an SSM? A Unified Framework for Attention and State Space Models
多少个头才能构成一个SSM?一种统一的注意力和状态空间模型框架
机构 * Ali Ghodsi
专题命中 视觉定位与Grounding :grounding(abstract);分类 cs.AI、cs.LG
AI总结 本文提出了一种统一框架,通过输入依赖的有效交互操作符,分析了注意力和状态空间模型的表达性和可训练性权衡,并推导了三个理论结果。