本文描述了 NAIST 提交至 IWSLT 2024 评估活动同声传译赛道的系统:英语到{德语、日语、中文}的语音到文本翻译,以及英语到日语的语音到语音翻译。我们开发了一个多语言端到端语音到文本翻译模型,该模型结合了两个预训练语言模型 HuBERT 和 mBART。我们使用两种解码策略训练该模型:局部一致性(Local Agreement,LA)和 AlignAtt。提交的模型采用 LA 策略,因为在之前的模型中 LA 策略优于 AlignAtt 策略。我们的语音到语音翻译方法采用级联结构,由上述语音到文本模型和一个增量式文本到语音(TTS)模块组成,该模块集成了音素估计模型、并行声学模型和并行 WaveGAN 声码器。我们通过在估计模型中应用带有 AlignAtt 策略的 Transformer 架构来改进增量式 TTS。结果表明,升级后的 TTS 模块有助于提升系统性能。
英文摘要:
This paper describes NAIST's submission to the simultaneous track of the IWSLT 2024 Evaluation Campaign: English-to-{German, Japanese, Chinese} speech-to-text translation and English-to-Japanese speech-to-speech translation. We develop a multilingual end-to-end speech-to-text translation model combining two pre-trained language models, HuBERT and mBART. We trained this model with two decoding policies, Local Agreement (LA) and AlignAtt. The submitted models employ the LA policy because it outperformed the AlignAtt policy in previous models. Our speech-to-speech translation method is a cascade of the above speech-to-text model and an incremental text-to-speech (TTS) module that incorporates a phoneme estimation model, a parallel acoustic model, and a parallel WaveGAN vocoder. We improved our incremental TTS by applying the Transformer architecture with the AlignAtt policy for the estimation model. The results show that our upgraded TTS module contributed to improving the system performance.
MLLP-VRAIN UPV system for the IWSLT 2025 Simultaneous Speech Translation Translation task
Machine Learning and Language Processing, VRAIN, Universitat Politècnica de València(机器学习与语言处理、VRAIN、瓦伦西亚理工大学);Departament d’Informàtica, Escola Tècnica Superior d’Enginyeria, Universitat de València(信息系、工程技术学校、瓦伦西亚大学)
Lost in Interpretation: Predicting Untranslated Terminology in Simultaneous Interpretation
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
同声传译,即实时地将一种语言翻译成另一种语言,是一项固有的困难和艰巨的任务。口译员面临的最大挑战之一是准确翻译专有名词,数字或其他实体等困难术语。智能计算机辅助口译(CAI)工具可以分析口语并检测口译员可能未翻译的术语,从而减少翻译错误并提高口译员的表现。在本文中,我们提出了一个任务,预测哪些术语同传译员将留下未翻译的,并检查方法,执行这项任务,使用监督序列标签。我们描述了一些特定于任务的功能,明确设计,以表明当一个口译员可能会努力翻译一个词。在新注释版本的NAIST同声传译语料库上的实验结果(Shimizu et al.,2014)表明我们提出的方法的承诺。
MT Metrics Correlate with Human Ratings of Simultaneous Speech Translation
Charles University, Faculty of Mathematics and Physics(查理大学数学与物理学院);Institute of Formal Applied Linguistics(形式与应用语言学研究所);National Institute of Information Communications Technology(国立信息与通信技术研究所)