通过直接质量优化实现神经机器翻译的跨语言人类偏好对齐
Cross-lingual Human-Preference Alignment for Neural Machine Translation with Direct Quality Optimization
AI总结：
本文提出DQO方法，用预训练翻译质量估计模型替代人类偏好，并将DPO式对齐用于NMT，仅在部分语言上训练即可提升多语言模型的整体翻译质量。
摘要：
来自人类反馈的强化学习（RLHF）以及直接偏好优化（DPO）等衍生技术，是用于将通用基础模型重新适配到特定任务的任务对齐算法。我们表明，将任务对齐应用于神经机器翻译（NMT）可解决NMT中现有的任务—数据不匹配问题，从而使多语言模型在所有语言上取得改进，即使任务对齐仅应用于其中一部分语言。为此，我们提出了直接质量优化（DQO），这是DPO的一种变体，利用预训练的翻译质量估计模型作为人类偏好的代理，并通过自动指标和人工评估验证了这些改进。
英文摘要：
Reinforcement Learning from Human Feedback (RLHF) and derivative techniques like Direct Preference Optimization (DPO) are task-alignment algorithms used to repurpose general, foundational models for specific tasks. We show that applying task-alignment to neural machine translation (NMT) addresses an existing task--data mismatch in NMT, leading to improvements across all languages of a multilingual model, even when task-alignment is only applied to a subset of those languages. We do so by introducing Direct Quality Optimization (DQO), a variant of DPO leveraging a pre-trained translation quality estimation model as a proxy for human preferences, and verify the improvements with both automatic metrics and human evaluation.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
