面向端到端语音翻译的模态空间软对齐
Soft Alignment of Modality Space for End-to-end Speech Translation
AI总结：
针对端到端语音翻译中模态差异阻碍跨模态跨语言迁移、硬对齐会降低文本表示质量的问题，提出基于对抗训练的软对齐方法，在保留模态质量的同时构建模态不变空间，在MuST-C数据集上表现优于硬对齐且媲美专用翻译模型。
摘要：
端到端语音翻译（ST）旨在通过统一模型将语音转换为目标文本。语音与文本模态之间的固有差异往往会阻碍有效的跨模态与跨语言迁移。现有方法通常对单个语音和文本片段采用硬对齐（H-Align），这可能会降低文本表示的质量。为解决这一问题，我们提出软对齐（S-Align），利用对抗训练对齐两种模态的表示空间。S-Align在保留各模态自身质量的同时，构建出一个模态不变空间。在MuST-C数据集的三种语言上开展的实验表明，S-Align在多个任务中表现优于H-Align，且翻译能力与专用翻译模型相当。
英文摘要：
End-to-end Speech Translation (ST) aims to convert speech into target text within a unified model. The inherent differences between speech and text modalities often impede effective cross-modal and cross-lingual transfer. Existing methods typically employ hard alignment (H-Align) of individual speech and text segments, which can degrade textual representations. To address this, we introduce Soft Alignment (S-Align), using adversarial training to align the representation spaces of both modalities. S-Align creates a modality-invariant space while preserving individual modality quality. Experiments on three languages from the MuST-C dataset show S-Align outperforms H-Align across multiple tasks and offers translation capabilities on par with specialized translation models.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
