正交表示编辑：解耦大型语言模型批量知识编辑中的语义纠缠
Orthogonal Representation Editing: Decoupling Semantic Entanglement in Batch Knowledge Editing of LLMs
AI总结：
针对批量知识编辑中语义表示纠缠导致性能下降的问题，提出正交表示编辑（ORE），通过构建通用语义子空间并对编辑向量施加正交约束来解耦纠缠，并引入门控非线性表示头自适应学习编辑位置，实验表明ORE在跨语言场景中表现优异。
摘要：
知识编辑旨在高效更新大型语言模型中的事实信息，而无需完全重新训练。然而，现有方法在批量知识编辑中仍存在性能下降问题。我们发现语义表示纠缠（例如重叠概念和共享句法模式）会在表示空间中累积干扰并降低编辑精度。为弥补这一不足，本文提出正交表示编辑（ORE），该方法通过构建通用语义子空间并对编辑向量施加正交约束，在大型语言模型的隐藏表示空间中进行编辑，有效解耦语义纠缠。此外，我们引入门控非线性表示头，以实现编辑位置的适应性学习和知识注入的精确控制。大量实验表明，ORE优于现有方法，并在跨语言知识编辑场景中取得了卓越性能。我们在此 https URL 发布代码。
英文摘要：
Knowledge editing aims to efficiently update factual information in Large Language Models (LLMs) without full retraining. However, existing methods still suffer from performance degradation in batch knowledge editing. We identify that semantic representation entanglement, such as overlapping concepts and shared syntactic patterns, accumulates interference in the representation space and reduces editing precision. To bridge this gap, in this paper, we propose Orthogonal Representation Editing (ORE), which performs edits in the hidden representation space of LLMs by constructing a general semantic subspace and enforcing orthogonal constraints on edit vectors, effectively decoupling semantic entanglement. Furthermore, we introduce a gated non-linear representation head to enable adaptive learning of editing locations and precise control over knowledge injection. Extensive experiments show that ORE outperforms existing methods and achieves superior performance in cross-lingual knowledge editing scenarios. We release our code at https://github.com/YVVH/ORE.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
