Aligner：对齐大型语言模型时，一个全局 Token 可抵数百万参数
Aligner: One Global Token is Worth Millions of Parameters When Aligning Large Language Models
AI总结：
本文提出 PEFT 方法 Aligner，通过全局共享可调节 Token 修改各层注意力，仅用 5,000 参数即可在指令遵循与价值对齐上媲美 LoRA，并揭示 LLM 对形式与知识的正交处理机制。
摘要：
我们提出 Aligner，这是一种用于对齐数十亿参数规模大型语言模型（LLM）的新型参数高效微调（PEFT）方法。Aligner 采用独特设计，构建一组全局共享的可调节 Token，用以修改每一层的注意力。值得注意的是，使用该方法时，即便只采用一个仅占 5,000 个参数的 Token，Aligner 仍能取得与 LoRA 等需要数百万参数的最先进 LLM 适配方法相当的性能。这一能力在指令遵循和价值对齐任务中均得到验证。除了参数效率实现多个数量级的提升外，Aligner 对 LLM 内部机制提供的洞察也具有价值。我们方法的架构特征、有效性以及实验表明，LLM 对“形式”和“知识”的内部处理在一定程度上是以正交方式分离的。这一发现有望推动关于 LLM 机制理解和价值对齐的新研究。
英文摘要：
We introduce Aligner, a novel Parameter-Efficient Fine-Tuning (PEFT) method for aligning multi-billion-parameter-sized Large Language Models (LLMs). Aligner employs a unique design that constructs a globally shared set of tunable tokens that modify the attention of every layer. Remarkably with this method, even when using one token accounting for a mere 5,000 parameters, Aligner can still perform comparably well to state-of-the-art LLM adaptation methods like LoRA that require millions of parameters. This capacity is substantiated in both instruction following and value alignment tasks. Besides the multiple order-of-magnitude improvement in parameter efficiency, the insight Aligner provides into the internal mechanisms of LLMs is also valuable. The architectural features and efficacy of our method, in addition to our experiments demonstrate that an LLM separates its internal handling of "form" and "knowledge" in a somewhat orthogonal manner. This finding promises to motivate new research into LLM mechanism understanding and value alignment.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
