Mechanistic evaluation of Transformers and state space models
Transformer 与状态空间模型的机制性评估
机构 * Stanford University(斯坦福大学)
AI总结 本文通过实验发现Transformer和基于SSM的模型在联想回忆任务中表现优异,而其他SSM模型表现不佳,揭示了不同架构在归纳学习机制上的差异。
Comments 9 page main text, 22 pages total
作者
Natural Language Processing
Transformer 与状态空间模型的机制性评估
机构 * Stanford University(斯坦福大学)
AI总结 本文通过实验发现Transformer和基于SSM的模型在联想回忆任务中表现优异,而其他SSM模型表现不佳,揭示了不同架构在归纳学习机制上的差异。
Comments 9 page main text, 22 pages total