对齐器：解耦大语言模型与对齐过程
Aligners: Decoupling LLMs and Alignment
AI总结：
本文提出训练可复用的对齐器模型来解耦LLM与对齐过程，利用合成数据训练对齐器和检查器以指导对齐器小队，实验表明该方法能一致提升多种LLM在指令遵循和红队测试上的表现。
摘要：
大语言模型（LLMs）需要与人类期望对齐，以确保其在大多数应用中的安全性和实用性。对齐具有挑战性、成本高昂，并且需要针对每个LLM和每个对齐标准重复进行。我们提出通过训练对齐器（aligner）模型来解耦LLM与对齐过程，这些对齐器可按需用于针对给定标准对齐任意LLM，从而也减少对齐对性能可能产生的负面影响。我们训练对齐器模型的方法仅依赖由（带提示的）LLM生成的合成数据，并且可以容易地针对多种对齐标准进行调整。我们使用相同的合成数据训练检查器（inspectors），即二分类的失对齐分类模型，以指导由多个对齐器组成的“小队”（squad）。我们的实证结果表明，在多个指令遵循和红队测试数据集上，将对齐器小队应用于各种LLM（包括聊天对齐模型）时，性能得到了一致的提升。
英文摘要：
Large Language Models (LLMs) need to be aligned with human expectations to ensure their safety and utility in most applications. Alignment is challenging, costly, and needs to be repeated for every LLM and alignment criterion. We propose to decouple LLMs and alignment by training aligner models that can be used to align any LLM for a given criteria on an as-needed basis, thus also reducing the potential negative impacts of alignment on performance. Our recipe for training the aligner models solely relies on synthetic data generated with a (prompted) LLM and can be easily adjusted for a variety of alignment criteria. We use the same synthetic data to train inspectors, binary miss-alignment classification models to guide a "squad" of multiple aligners. Our empirical results demonstrate consistent improvements when applying aligner squad to various LLMs, including chat-aligned models, across several instruction-following and red-teaming datasets.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
