使用SFT和DPO改进LLM的安全性与有用性：对OPT-350M的研究
Improving LLM Safety and Helpfulness using SFT and DPO: A Study on OPT-350M
AI总结：
本研究通过SFT、DPO及其组合方法对齐OPT-350M，基于Anthropic数据集评估，发现SFT+DPO在安全性和有用性指标上最优，为对齐流程提供基础。
摘要：
本研究调查了对齐技术，即监督微调（SFT）、直接偏好优化（DPO）以及结合SFT+DPO的方法，在提升OPT-350M语言模型的安全性和有用性方面的有效性。利用Anthropic Helpful-Harmless RLHF数据集，我们训练并评估了四个模型：基础OPT-350M、一个SFT模型、一个DPO模型，以及一个同时使用SFT和DPO训练的模型。我们引入了三个关键评估指标：无害率（HmR）、有用率（HpR）和综合对齐分数（CAS），这些指标均源自奖励模型的输出。结果表明，虽然SFT优于DPO，但结合SFT+DPO的模型在所有指标上均优于其他所有模型，展示了这些技术的互补性。我们的发现还突出了噪声数据、有限的GPU资源和训练约束所带来的挑战。本研究全面展示了微调策略如何影响模型对齐，并为未来工作中更稳健的对齐流程奠定了基础。
英文摘要：
This research investigates the effectiveness of alignment techniques, Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO), and a combined SFT+DPO approach on improving the safety and helpfulness of the OPT-350M language model. Utilizing the Anthropic Helpful-Harmless RLHF dataset, we train and evaluate four models: the base OPT350M, an SFT model, a DPO model, and a model trained with both SFT and DPO. We introduce three key evaluation metrics: Harmlessness Rate (HmR), Helpfulness Rate (HpR), and a Combined Alignment Score (CAS), all derived from reward model outputs. The results show that while SFT outperforms DPO, The combined SFT+DPO model outperforms all others across all metrics, demonstrating the complementary nature of these techniques. Our findings also highlight challenges posed by noisy data, limited GPU resources, and training constraints. This study offers a comprehensive view of how fine-tuning strategies affect model alignment and provides a foundation for more robust alignment pipelines in future work.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
