面向音频大语言模型中英双语码转换语音识别的直接偏好优化
Direct Preference Optimization for English-Mandarin Code-Switching Speech Recognition in Audio LLMs
AI总结：
针对音频大语言模型在英中码转换语音转录中的系统失败，提出使用直接偏好优化（DPO）对齐模型，通过构建偏好对（保留混合语言内容 vs 模仿失败模式）训练模型，实现词错误率降低最高89.6%（分布内）和20.0%（分布外）。
摘要：
音频大语言模型（Audio LLMs）尽管具有强大的多语言能力，但在转录码转换语音时表现出系统性失败。聚焦英中双语，我们识别出三种失败模式：语言省略、翻译替代转录和幻觉。我们应用直接偏好优化（DPO）来对齐模型，构建偏好对，其中选择响应保留混合语言内容，而拒绝响应模仿失败模式。在100K对（570小时）上训练三个Audio LLMs，我们观察到一致的行为转变：模型学会在提示转录时保留语言组成而非翻译。这种对齐使得词错误率降低高达89.6%（分布内）和20.0%（分布外）。我们的发现表明，DPO可以有效地从多语言Audio LLMs中引出正确的码转换转录行为。
英文摘要：
Audio large language models (Audio LLMs) exhibit systematic failures in transcribing code-switching speech despite strong multilingual capabilities. Focusing on English-Mandarin, we identify three failure modes: language omission, translation-instead-of-transcription, and hallucination. We apply Direct Preference Optimization (DPO) to align models, constructing preference pairs in which chosen responses preserve mixed-language content while rejected responses mimic failure patterns. Training three Audio LLMs on 100K pairs (570 hours), we observe consistent behavioral shifts: models learn to preserve language composition rather than translating when prompted for transcription. This alignment yields MER reductions up to 89.6% (in-distribution) and 20.0% (out-of-distribution). Our findings suggest DPO can effectively elicit correct code-switching transcription behavior from multilingual Audio LLMs.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
