arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2210.07229cs.CLcs.LG
收藏

在Transformer中批量编辑记忆

Mass-Editing Memory in a Transformer

MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Northeastern University(东北大学);Technion – IIT(以色列理工学院)

Kevin Meng, Arnab Sen Sharma, Alex Andonian, Yonatan Belinkov, David Bau

AI总结:

本文提出MEMIT方法,通过直接更新大语言模型实现数千条记忆关联的批量编辑,在GPT-J和GPT-NeoX上验证其可扩展性远超以往工作。

摘要:

近期工作在用新记忆更新大语言模型方面展现出令人兴奋的前景,以替换过时信息或添加专业知识。然而,这类工作主要局限于更新单个关联。我们开发了MEMIT,一种用大量记忆直接更新语言模型的方法,实验证明它可为GPT-J(6B)和GPT-NeoX(20B)扩展至数千个关联,比先前工作高出数个数量级。代码和数据见https://memit.baulab.info。

英文摘要:

Recent work has shown exciting promise in updating large language models with new memories, so as to replace obsolete information or add specialized knowledge. However, this line of work is predominantly limited to updating single associations. We develop MEMIT, a method for directly updating a language model with many memories, demonstrating experimentally that it can scale up to thousands of associations for GPT-J (6B) and GPT-NeoX (20B), exceeding prior work by orders of magnitude. Our code and data are at https://memit.baulab.info.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑