Scalable Knowledge Editing for Mixture-of-Experts LLMs via Tensor-Structured Updates
基于张量结构更新的混合专家LLM可扩展知识编辑
机构 * OpenAI ; DeepSeek-AI ; Qwen Team(Qwen团队) ; Shazeer et al.(Shazeer等人) ; Molodtsov et al.(Molodtsov等人)
AI总结 本文提出一种针对混合专家架构LLM的知识编辑方法,通过张量结构和Woodbury矩阵恒等式实现高效参数更新,提升编辑效率6倍,扩展了知识编辑的应用范围。
Comments 17 pages, 3 architectures, 1 figure, 6 tables