arXiv 2606.128812026-06-15cs.CLcs.LG

面向聊天机器人微调的直接偏好优化：一项实证研究

Direct Preference Optimization for Chatbot Fine-Tuning: An Empirical Study

University of Science and Technology of China（中国科学技术大学）

Dezhi Yu, Yvonne Qiu, ShuoJia Fu

备注：: 7 pages, 3 figures, 1 table. All authors contributed equally

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文实证研究直接偏好优化（DPO）在聊天机器人微调中的应用，表明其简化训练流程、提升计算效率且性能有竞争力，但存在训练不稳定性。

摘要：

我们提出了一种使用直接偏好优化（DPO）微调大型语言模型的方法，这是一种强化学习技术。我们的实验结果表明，DPO简化了训练流程，提高了计算效率，并实现了有竞争力的性能。使用BLEU、ROUGE和余弦相似度指标的评估表明，模型有效学习并收敛，尽管需要进一步研究以解决观察到的训练不稳定性。

英文摘要：

We present an approach to fine-tuning large language models using Direct Preference Optimization (DPO), a reinforcement learning technique. Our experimental results demonstrate that DPO simplifies the training pipeline, improves computational efficiency, and achieves competitive performance. The evaluation using BLEU, ROUGE, and cosine similarity metrics indicates effective learning and convergence, though further investigation is needed to address observed training instability.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。