Apple（苹果）

Associative-State Universal Transformers: Sparse Retrieval Meets Structured Recurrence

关联状态通用变换器：稀疏检索与结构递归的结合

Liu Xiao

机构 * Apple MPS（苹果MPS） 纠错

AI总结 本文提出UniMatrix系列模型，通过结构递归状态和稀疏检索机制，在保持参数效率的同时提升语言模型性能，但长程行为仍需进一步优化。