MoNe: Modular Neural Memory for Efficient Long Context Inference
MoNe:用于高效长上下文推理的模块化神经记忆
机构 * Qualcomm AI Research(高通人工智能研究部门) ; Qualcomm Technologies, Inc(高通技术公司)
AI总结 研究提出MoNe,一种可附加到冻结预训练Transformer的轻量级模块化神经记忆,通过两阶段设计实现高效长上下文推理,在128K令牌场景下较ICL降低约80%计算与内存开销,泛化性能优于ICL。