Memory-Efficient Looped Transformer: Decoupling Compute from Memory in Looped Language Models
内存高效的循环变换器:在循环语言模型中解耦计算与内存
机构 * Qualcomm AI Research(高通人工智能研究)
AI总结 本文提出了一种内存高效的循环变换器(MELT),通过解耦推理深度与内存消耗,实现了常数内存的迭代推理,同时保持了LoopLM的性能,仅需轻量级的后训练过程。
Comments 22 pages, 5 figures, 11 tables