The Volctrans Neural Speech Translation System for IWSLT 2021
ByteDance AI Lab（字节跳动人工智能实验室）
本文介绍了Volctranss团队提交给IWITH 2021的系统。我们参与离线语音翻译和文本到文本的同声翻译轨道。对于离线语音翻译，我们最好的端到端模型在Must-C测试集上的基准测试中实现了8.1 BLEU改进，甚至接近强大级联解决方案的结果。对于文本到文本的同声翻译，我们探索优化wait-k模型的最佳实践。因此，我们最终提交的系统在相同的延迟机制下超过了基准，约为7 BLEU。我们将公布我们的代码和模型，以促进未来的研究工作和工业应用。本文介绍了Volctranss团队提交给IWITH 2021的系统。我们参与离线语音翻译和文本到文本的同声翻译轨道。对于离线语音翻译，我们最好的端到端模型在Must-C测试集上的基准测试中实现了7.9的BLEU改进，甚至接近强大级联解决方案的结果。对于文本到文本的同声翻译，我们探索优化wait-k模型的最佳实践。因此，我们最终提交的系统在相同的延迟机制下超过了基准，约为7 BLEU。我们在\url{https://github.com/bytedance/neurst/tree/master/examples/iwslt21}上发布了我们的代码和模型，以促进未来的研究工作和工业应用。
2021-06-30 cs.CL cs.SD eess.AS
ON-TRAC Consortium End-to-End Speech Translation Systems for the IWSLT 2019 Shared Task
本文介绍了为2019年IWITHEN评估的端到端模型任务开发的ON-TRAC联盟翻译系统，用于英语到葡萄牙语对。ON-TRAC联盟由来自三个法国学术实验室的研究人员组成：LIA（阿维尼翁大学），LIG（格勒诺布尔阿尔卑斯大学）和LIUM（勒芒大学）。构建为具有注意力机制的神经编码器-解码器架构的单个端到端模型用于对应于两个EN-PT评估集的两个主要提交：（1）TED（Must-C）和（2）How2。在本文中，我们特别研究了汇集异构语料库进行训练的影响，目标标记化（字符或BPE）的影响，语音输入分割的影响，我们还将我们最好的端到端模型（BLEU在Must-C上为26.91，在How2验证集上为43.82）与管道（ASR+MT）方法进行了比较。
2019-10-30 cs.CL cs.SD eess.AS
ESPnet-ST IWSLT 2021 Offline Speech Translation System
Kyoto University（京都大学）；Carnegie Mellon University（卡内基梅隆大学）；Northwestern Polytechnical University（西北工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文介绍了ESPnet-ST集团在离线语音翻译赛道上提交的IWITH 2021。今年，我们在训练数据、架构和音频分割方面做了各种努力。在数据方面，我们研究了用于端到端（E2 E）语音翻译的序列级知识蒸馏（SeqKD）。具体来说，我们使用了来自多位教师的多参考SeqKD，这些教师接受了不同数量的bitext培训。在架构方面，我们采用了Conformer编码器和Multi-Decoder架构，该架构在统一的编码器-解码器模型中为语音识别和翻译任务配备了专用解码器，并在推理过程中支持在源语言和目标语言空间中进行搜索。我们还通过使用pyannote.audio工具包和合并多个短片段以进行长上下文建模来显着改进音频分割。实验评估表明，它们中的每一个都有助于大大提高翻译性能。我们最好的E2 E系统将所有上述技术与模型集成相结合，在tst 2021的2-ref上实现了31.4 BLEU，在tst 2021的两个单一参考上实现了21.2 BLEU和19.3 BLEU。
2021-07-06 cs.CL cs.SD eess.AS
NAIST Simultaneous Speech Translation System for IWSLT 2024
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文提出 NAIST 在 IWSLT 2024 同声传译赛道上的系统，通过结合 HuBERT 和 mBART 构建多语言端到端语音翻译模型，并采用级联增量式 TTS 模块实现语音到语音翻译，其中升级后的 TTS 模块有效提升了整体系统性能。
2024-06-30 cs.CL cs.SD eess.AS
ON-TRAC Consortium Systems for the IWSLT 2022 Dialect and Low-resource Speech Translation Tasks
Avignon University（阿维尼翁大学）；Le Mans University（勒芒大学）；ELYADATA；Grenoble Alpes University（格勒诺布尔阿尔卑斯大学）；Airbus（空中客车公司）
本文介绍了ON-TRAC联盟翻译系统开发的两个挑战轨道特色的IWITH2022评估活动：低资源和方言语音翻译。对于突尼斯阿拉伯语-英语数据集（低资源和方言轨道），我们构建了一个端到端模型作为我们的联合主要提交，并将其与利用大型微调wav2vec 2.0模型进行ASR的级联模型进行比较。我们的研究结果表明，在我们的设置中，管道方法仍然非常有竞争力，并且通过使用迁移学习，它们可以优于语音翻译（ST）的端到端模型。对于Tamasheq-French数据集（低资源轨道），我们的主要提交利用了在234小时的Tamasheq音频上训练的wav2vec 2.0模型的中间表示，而我们的对比模型使用Tamasheq音频的法语语音转录作为Conformer语音翻译架构的输入，该架构联合训练了自动语音识别，ST和机器翻译损失。我们的研究结果强调，与大型现成模型相比，在较小的目标数据集上训练的自监督模型对低资源端到端ST微调更有效。结果还表明，即使是近似的语音音译可以提高ST分数。
2022-05-04 cs.CL cs.SD eess.AS
End-to-End Speech-Translation with Knowledge Distillation: FBK@IWSLT2020
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
本文介绍了FBK参与IWITH 2020离线语音翻译（ST）任务的情况。该任务评估系统将英语TED演讲音频翻译成德语文本的能力。测试会谈有两个版本：一个包含已经用自动工具分割的数据，另一个是没有任何分割的原始数据。参与者可以决定是否进行自定义细分。我们使用提供的分割。我们的系统是一个端到端的模型的基础上适应的Transformer的语音数据。它的训练过程是本文的主要重点，它基于：i）迁移学习（ASR预训练和知识蒸馏），ii）数据增强（SpecAugment，时间拉伸和合成数据），iii）将合成和真实数据标记为不同的域，iv）使用CTC损失的多任务学习。最后，在单词级知识蒸馏的训练完成后，我们的ST模型使用标签平滑交叉熵进行微调。我们最好的模型在Must-C En-De测试集上获得了29 BLEU，与最近的论文相比，这是一个很好的结果，并且在使用VAD分割的相同数据上获得了23.7 BLEU，这表明需要研究解决这种特定数据条件的解决方案。
2020-06-04 cs.CL cs.SD eess.AS
SimulSeamless: FBK at IWSLT 2024 Simultaneous Speech Translation
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
本文介绍FBK团队在IWSLT 2024同声语音翻译评测中提出的SimulSeamless系统，该系统结合AlignAtt策略与中等配置的SeamlessM4T模型，无需重训练即可实现同声推理，在多语言对上取得了优于往届的结果，且支持上百种语言互译。
2024-06-20 cs.AI cs.CL cs.SD
ELITR Non-Native Speech Translation at IWSLT 2020
Charles University（查理大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Edinburgh（爱丁堡大学）
本文是在IWITR 2020上为非母语语音翻译任务提交的ELITR系统。我们描述了系统的离线ASR，实时ASR，和我们的级联方法，以离线和实时同步。我们从现有的系统池中选择我们的主要候选人，开发一个新的端到端的通用ASR系统，以及一个基于非母语语音训练的混合ASR。所提供的小验证集使我们无法执行复杂的验证，但我们提交了所有的候选测试集进行对比评估。
2020-06-05 cs.CL
The NPU-MSXF Speech-to-Speech Translation System for IWSLT 2023 Speech-to-Speech Translation Task
Northwestern Polytechnical University（西北工业大学）；Nanjing University（南京大学）；MaShang Consumer Finance Co., Ltd（马上消费金融股份有限公司）
本文提出NPU-MSXF级联语音到语音翻译系统，通过多源数据增强、ROVER分数融合、三阶段微调及两阶段TTS框架，实现英语到中文的高准确率、高自然度和强鲁棒性翻译。
2023-07-10 cs.SD eess.AS
KIT's Multilingual Speech Translation System for IWSLT 2023
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出 KIT 参加 IWSLT 2023 多语言赛道的语音翻译系统，通过 kNN-MT 领域适配与 adapter 融合增强数据，使级联系统在科学演讲翻译上显著优于端到端模型。
2023-07-12 cs.CL cs.SD
The USFD Spoken Language Translation System for IWSLT 2014
University of Sheffield（谢菲尔德大学）
谢菲尔德大学（USFD）于2014年参加了国际口语翻译研讨会（IWSTO）。本文将介绍USFD系统在IWESCDMA中的应用。自动语音识别（ASR）是通过两个多通道深度神经网络系统与适应和重新评分技术。机器翻译是通过基于短语的系统来实现的。USFD主系统采用了最先进的ASR和MT技术，并在使用IWITH2014数据的英语到法语和英语到德语语音到文本翻译任务中给出了23.45和14.75的BLEU分数。USFD对比系统通过使用质量评估系统对ASR输出进行重新评分，从而优化更好的翻译，从而探索ASR和MT的集成。这使得IWITH2012和2014年的评估数据分别进一步提高了0.54和0.26 BLEU。
2015-09-13 cs.CL
The HW-TSC's Offline Speech Translation Systems for IWSLT 2021 Evaluation
Huawei Translation Services Center（华为翻译服务中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文介绍了我们参与IWITOS-2021离线语音翻译任务的工作。我们的系统是以级联的形式构建的，包括说话人日志化模块、自动语音识别模块和机器翻译模块。我们直接使用LIUM SpkDiarization工具作为diarization模块。ASR模块使用改进的Transformer编码器，通过多源训练，使用来自不同源的三个ASR数据集进行训练。MT模块在大规模WMT新闻翻译数据集上进行预训练，并在TED语料库上进行微调。我们的方法在2021年测试集中获得了24.6的BLEU分数。
2021-08-09 cs.CL
Fine-tuning on Clean Data for End-to-End Speech Translation: FBK @ IWSLT 2018
FBK（布鲁诺·凯斯勒基金会）
本文介绍了FBK在IWITH 2018上提交的端到端英语-德语语音翻译任务。我们的系统依赖于基于LSTM和CNN的最先进的模型，其中CNN用于减少音频输入的时间维度，这通常比机器翻译输入高得多。我们的模型仅在为任务发布的音频到文本并行数据上进行训练，并在原始训练语料库的清洁子集上进行微调。权重归一化和标签平滑的增加使基线系统在我们的验证集上提高了1.0个BLEU点。最终提交的文件还包括训练运行中的检查点平均值以及在多次运行期间训练的模型的集成解码。在测试数据上，我们最好的单个模型获得了9.7的BLEU分数，而集成模型获得了10.24的BLEU分数。
2018-10-16 cs.CL cs.LG cs.SD
GMU Systems for the IWSLT 2025 Low-Resource Speech Translation Shared Task
George Mason University（乔治·马歇尔大学）
本文介绍了GMU用于IWSLT 2025低资源语音翻译共享任务的系统，通过微调SeamlessM4T-v2构建ASR、MT、E2E ST及级联系统，发现直接微调效果强劲，ASR编码器初始化能提升未训练语言的性能，多任务训练略有帮助。
2025-05-27 cs.CL
BeaverTalk: Oregon State University's IWSLT 2025 Simultaneous Speech Translation System
Oregon State University（俄勒冈州立大学）
本文介绍了IWSLT 2025同声语音翻译级联系统BeaverTalk，采用VAD分割、Whisper Large V2语音识别和微调后的Gemma 3 12B模型，利用单句记忆库实现低延迟与高延迟场景下的英德及英中翻译。
2025-05-29 cs.CL cs.LG
Efficient yet Competitive Speech Translation: FBK@IWSLT2022
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；NVIDIA AI Technology Center（英伟达人工智能技术中心）
FBK在IWSLT 2022中提出轻量级语音翻译策略，通过去除ASR预训练、数据过滤和解决音频分割不匹配来降低训练成本，并在保持翻译质量的同时取得显著提升。
2022-05-05 cs.CL
KIT's Low-resource Speech Translation Systems for IWSLT2025: System Enhancement with Synthetic Data and Model Regularization
Karlsruhe Institute of Technology（卡尔斯鲁厄工业大学）
KIT通过合成数据和模型正则化提升低资源语音翻译系统性能，实验显示在ASR、MT和ST任务中均取得显著改进。
2025-11-02 cs.AI cs.CL
Bemba Speech Translation: Exploring a Low-Resource African Language
Kreasof AI Research Labs（Kreasof人工智能研究实验室）；African Institute for Mathematical Sciences (AIMS)（非洲数学科学研究所）；Trinity College Dublin（都柏林三一学院）
本文针对IWSLT 2025低资源赛道，基于Whisper和NLLB-200构建Bemba到英语的级联语音翻译系统，并采用回译等数据增强技术探究合成数据的影响。
2025-06-02 cs.CL cs.SD eess.AS
Assessing Evaluation Metrics for Speech-to-Speech Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；ETH Zürich（苏黎世联邦理工学院）
语音到语音翻译将机器翻译与语音合成相结合，引入了单独任务中不存在的评估挑战。如何自动评估语音到语音翻译是一个开放的问题，以前没有被探索。翻译成语音而不是文本通常是由不成文的语言或没有标准化拼写的语言所驱动的。然而，我们表明，以前使用的自动度量这项任务是最好的标准化的高资源语言。在这项工作中，我们首先评估语音到语音翻译的当前指标，其次评估翻译到方言变体而不是标准化语言如何影响各种评估方法。
2021-10-26 cs.CL cs.SD eess.AS
SpeechMatrix: A Large-Scale Mined Corpus of Multilingual Speech-to-Speech Translations
Meta AI Research（Meta人工智能研究院）；Inria（法国国家信息与自动化研究所）
我们提出了SpeechMatrix，一个大规模的多语言语料库的语音到语音翻译挖掘从欧洲议会录音的真实讲话。它包含136个语言对的语音对齐，总共41.8万小时的语音。为了评估这种并行语音的质量，我们仅在挖掘数据上训练双语语音到语音翻译模型，并在EuroParl-ST，VoxPopuli和FLEURS测试集上建立广泛的基线结果。通过SpeechMatrix的多语言性，我们还探索了多语言语音到语音翻译，这是一个很少有其他作品涉及的主题。我们还证明了使用混合专家的模型预训练和稀疏缩放可以大大提高翻译性能。挖掘的数据和模型是免费提供的。
2022-11-08 cs.CL cs.SD eess.AS
WACO: Word-Aligned Contrastive Learning for Speech Translation
University of California, Santa Barbara（加州大学圣巴巴拉分校）；ByteDance AI Lab（字节跳动人工智能实验室）
针对极低资源语音翻译，本文提出词对齐对比学习方法WACO，通过对比学习对齐语音与文本的词级表示，在MuST-C和IWSLT 2023马耳他语-英语上仅用1小时数据即超越最佳基线9个以上BLEU分。
2023-07-07 cs.CL cs.SD eess.AS
CVSS Corpus and Massively Multilingual Speech-to-Speech Translation
Google Research（谷歌研究院）
我们介绍了CVSS，一个大规模的多语言到英语的语音到语音翻译（S2 ST）语料库，涵盖了从21种语言到英语的并行S2 ST对。CVSS源自Common Voice语音语料库和CoVoST 2语音到文本翻译（ST）语料库，通过使用最先进的TTS系统将CoVoST 2的翻译文本合成为语音。提供了两种版本的翻译语音：1）CVSS-C：所有翻译语音都是单个高质量的规范语音; 2）CVSS-T：翻译语音是从相应的源语音转移的语音。此外，CVSS还提供了与翻译语音中的发音相匹配的规范化翻译文本。在每个版本的CVSS上，我们分别建立了多语种直接S2 ST模型和级联S2 ST模型，验证了语料库的有效性。为了构建强大的级联S2 ST基线，我们在CoVoST 2上训练了一个ST模型，它比之前在没有额外数据的语料库上训练的最先进模型性能高出5.8 BLEU。尽管如此，直接S2 ST模型的性能在从头开始训练时接近强级联基线，并且在从匹配ST模型初始化时，ASR转录翻译只有0.1或0.7 BLEU差异。
2022-06-26 cs.CL cs.SD eess.AS
Discriminative Self-training for Punctuation Prediction
Speech Lab, Alibaba Group（阿里巴巴集团语音实验室）
自动语音识别（ASR）输出文本的标点预测对于提高ASR文本的可读性和提高下游自然语言处理应用的性能起着至关重要的作用。然而，实现良好的标点符号预测性能往往需要大量的标记语音转录，这是昂贵和费力的。在本文中，我们提出了一个判别式自训练方法加权损失和判别标签平滑利用未标记的语音成绩单。在英语IWSLT2011基准测试集和内部汉语口语数据集上的实验结果表明，该方法在强基线（包括BERT、RoBERTa和ELECTRA模型）上取得了显著的标点符号预测精度提高。所提出的判别式自训练方法优于香草自训练方法。我们建立了一个新的国家的最先进的（SOTA）在IWSLT2011测试集，优于目前的SOTA模型的F $_1$的1.3%的绝对增益。
2021-06-18 cs.CL
Direct Speech-to-speech Translation without Textual Annotation using Bottleneck Features
ByteDance AI-Lab（字节跳动人工智能实验室）
语音翻译是直接将不同语言之间的语音转换为另一种语音，在同声传译等任务中具有巨大的潜力。最先进的模型通常包含用于音素序列预测的辅助模块，这需要对训练数据集进行文本注释。我们提出了一个直接的语音到语音翻译模型，可以在没有任何文本注释或内容信息的情况下训练。我们建议使用瓶颈特征作为模型的中间训练目标，而不是在模型中引入辅助音素预测任务，以确保系统的翻译性能。对普通话-粤语语音翻译的实验结果表明，该方法是可行的，其性能可以与级联系统的翻译和合成质量相媲美。
2022-12-12 cs.CL cs.SD eess.AS
Impact of Encoding and Segmentation Strategies on End-to-End Simultaneous Speech Translation
Naver Labs Europe
在IWITH 2020的同声翻译共享任务的推动下，最近提出了有前途的端到端在线语音翻译方法。它们包括增量地编码语音输入（以源语言）和解码相应的文本（以目标语言），在延迟和翻译质量之间具有最佳可能的折衷。本文研究了端到端同步语音翻译的两个关键方面：（a）如何有效地编码连续的语音流，以及（b）如何分割语音流，以便在读（R：编码输入）和写（W：解码输出）操作之间进行最佳交替。我们扩展了我们之前提出的端到端在线解码策略，并表明虽然用ULSTM编码取代BLSTM会降低离线模式下的性能，但它实际上提高了在线模式下的效率和性能。我们还测量了不同方法对语音信号进行分段的影响（使用固定的间隔边界，Oracle单词边界或随机设置的边界），并表明我们最好的端到端在线解码策略是令人惊讶的是，在我们的英语-德语语音翻译设置上，在固定大小的块上交替进行R/W操作。
2021-06-14 cs.CL cs.SD eess.AS
Advancing Speech Translation: A Corpus of Mandarin-English Conversational Telephone Speech
Raytheon BBN（雷神BBN技术公司）
本文构建了123小时汉英电话会话语音翻译语料库，通过微调通用翻译模型，目标域BLEU提升超8点，验证了匹配训练数据的关键作用。
2024-03-25 cs.CL cs.SD eess.AS
Efficient Speech Translation through Model Compression and Knowledge Distillation
ADAPT Centre School of Computer Science and Statistics（ADAPT中心计算机科学与统计学学院）
针对大型音频语言模型计算需求大的问题，本文结合迭代层剪枝、QLoRA和知识蒸馏，在IWSLT 2025模型压缩赛道中使Qwen2-Audio-7B-Instruct的参数与存储减半，且保留97-100%翻译质量。
2025-06-02 cs.CL cs.SD eess.AS
Improving Speech-to-Speech Translation Through Unlabeled Text
Meta AI
直接语音到语音翻译（S2 ST）是翻译范式中最具挑战性的问题之一，由于S2 ST数据的显着稀缺。虽然已经通过级联预训练语音识别（ASR）、机器翻译（MT）和文本到语音（TTS）模型来努力增加来自未标记语音的数据大小;但是未标记文本仍然相对未被充分利用来改进S2 ST。我们提出了一种有效的方法来利用大量现有的未标记的文本从不同的语言来创建大量的S2 ST数据，通过应用各种声学效果，以提高S2 ST的性能所产生的合成数据。从经验上讲，我们的方法优于西班牙语-英语翻译的最高2 BLEU。所提出的方法的显着收益证明在极低的资源设置为西班牙语-英语和俄语-英语翻译。
2022-10-26 cs.CL cs.SD eess.AS
From Speech-to-Speech Translation to Automatic Dubbing
Amazon（亚马逊）
我们提出了增强语音到语音翻译管道，以执行自动配音。我们的架构具有神经机器翻译生成首选长度的输出，翻译与原始语音片段的韵律对齐，神经文本到语音与每个话语的持续时间的微调，最后，音频渲染以丰富文本到语音输出与从原始音频中提取的背景噪声和混响。我们报告的自动配音的摘录TED演讲从英语到意大利语，这措施的自动配音的感知自然度和每个建议的增强的相对重要性的主观评价。
2020-02-02 cs.CL cs.SD eess.AS
Direct Simultaneous Speech-to-Speech Translation with Variational Monotonic Multihead Attention
Johns Hopkins University（约翰斯·霍普金斯大学）；Meta；Maastricht University（马斯特里赫特大学）
本文提出了一种直接同步语音到语音翻译（Simul-S2 ST）模型。我们的方法利用了离散单元直接语音到语音翻译的最新进展，其中以无监督方式学习的离散表示序列而不是连续的频谱图特征，从模型中预测并直接传递给声码器进行语音合成。我们还引入了变分单调多头注意（V-MMA），以应对语音同传中低效的策略学习的挑战。然后，同时策略对源语音特征和目标离散单元进行操作。我们进行了实证研究，比较级联和直接的方法对Fisher西班牙语-英语和Must-C英语-西班牙语数据集。直接同步模型通过在翻译质量和延迟之间实现更好的折衷而优于级联模型。
2022-01-12 cs.CL cs.SD eess.AS
Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation
Meta AI
直接语音到语音翻译（S2 ST）模型遭受数据稀缺问题，因为与包括自动语音识别（ASR）、机器翻译（MT）和文本到语音（TTS）合成的常规级联系统可用的数据量相比，几乎不存在并行S2 ST数据。在这项工作中，我们探索了使用未标记语音数据和数据增强的自监督预训练来解决这个问题。我们利用最近提出的语音到单元翻译（S2 UT）框架，该框架将目标语音编码为离散表示，并通过研究语音编码器和离散单元解码器的预训练，将适用于语音到文本翻译（S2 T）的预训练和有效的部分微调技术转移到S2 UT域。我们对西班牙语-英语翻译的实验表明，与平均6.6-12.1 BLEU增益的多任务学习相比，自监督预训练始终提高了模型性能，并且可以进一步与数据增强技术相结合，该技术应用MT来创建弱监督训练数据。音频样本可在https://facebookresearch.github.io/speech_translation/enhanced_direct_s2st_units/index.html上获得。
2022-09-13 cs.CL cs.SD eess.AS
Exploring Phoneme-Level Speech Representations for End-to-End Speech Translation
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
以前的语音端到端翻译工作主要使用帧级特征作为语音表示，这会创建比文本更长、更稀疏的序列。我们表明，一个天真的方法来创建压缩音素的语音表示是更有效和高效的翻译比传统的帧级语音功能。具体来说，我们为语音帧生成音素标签，并对具有相同标签的连续帧进行平均，以创建更短，更高级别的源序列进行翻译。我们在高资源和低资源语言对上都看到了高达5个BLEU的改进，训练时间减少了60%。我们的改进适用于多种数据大小和两种语言对。
2019-06-04 cs.CL cs.SD eess.AS
Dub-S2ST: Textless Speech-to-Speech Translation for Seamless Dubbing
Korea Advanced Institute of Science and Technology（韩国科学技术院）
Dub-S2ST通过无文本语音到语音翻译模型实现无缝配音，保留语音特征并提升翻译质量。
2025-12-29 cs.CL cs.SD eess.AS
Speech Segmentation Optimization using Segmented Bilingual Speech Corpus for End-to-end Speech Translation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
语音分割是将长语音分割成短语音段的过程，是语音翻译的关键。流行的VAD工具，如WebRTC VAD，通常依赖于基于暂停的分段。不幸的是，语音中的停顿不一定与句子边界匹配，句子可以通过很短的停顿连接起来，这很难被VAD检测到。在这项研究中，我们提出了一种语音分割方法，使用二进制分类模型训练使用分割的双语语音语料库。我们还提出了一种混合的方法，结合VAD和上述语音分割方法。实验结果表明，该方法更适合级联和端到端ST系统比传统的分割方法。混合方法进一步提高了翻译性能。
2022-07-13 cs.CL cs.SD eess.AS
High-Fidelity Simultaneous Speech-To-Speech Translation
Kyutai
本文提出Hibiki，一种基于多流语言模型的仅解码器同时语音翻译模型，通过弱监督方法学习逐词延迟，实现高质量、高保真的实时语音到语音翻译，并在法英任务上达到最先进性能。
2025-02-26 cs.CL cs.SD eess.AS
TranSentence: Speech-to-speech Translation via Language-agnostic Sentence-level Speech Encoding without Language-parallel Data
Korea University（高丽大学）
提出无需语言平行数据的语音到语音翻译模型 TranSentence，通过语言无关句子级语音编码和单语数据训练实现跨语言语音生成，并扩展至多语言翻译且性能优于其他模型。
2024-01-17 cs.CL cs.SD eess.AS
MSLM-S2ST: A Multitask Speech Language Model for Textless Speech-to-Speech Translation with Speaker Style Preservation
Carnegie Mellon University（卡内基梅隆大学）；Meta AI；The Chinese University of Hong Kong（香港中文大学）
本文提出多任务语音语言模型MSLM，一种仅解码器架构，在不依赖文本数据的情况下实现保留说话人风格的多语言语音到语音翻译。
2024-03-19 cs.CL cs.SD eess.AS
SimulS2S-LLM: Unlocking Simultaneous Inference of Speech LLMs for Speech-to-Speech Translation
Department of Engineering, University of Cambridge（剑桥大学工程系）；Shanghai Jiao Tong University（上海交通大学）
提出SimulS2S-LLM，通过离线训练和测试时策略实现语音LLM的同步语音到语音翻译，利用边界感知提示和增量波束搜索，在CVSS上以相似延迟提升ASR-BLEU 3分。
2025-04-22 cs.CL cs.SD eess.AS
Joint Pre-Training with Speech and Bilingual Text for Direct Speech to Speech Translation
Microsoft Research Asia（微软亚洲研究院）
直接语音到语音翻译（S2 ST）是一个有吸引力的研究课题，与级联S2 ST相比具有许多优点。然而，直接S2 ST遭受数据稀缺的问题，因为从源语言的语音到目标语言的语音的语料库是非常稀少的。为了解决这个问题，我们在本文中提出了一个Speech 2S模型，该模型使用未配对的语音和双语文本数据进行联合预训练，用于直接语音到语音翻译任务。通过有效地利用成对的文本数据，Speech 2S能够建模从源语言到目标语言的跨语言语音转换。我们在Europarl-ST和VoxPopuli数据集上验证了所提出的Speech 2S的性能。实验结果表明，与仅编码器的预训练模型相比，Speech 2S的BLEU分数提高了约5分，并且比现有的最先进的模型1具有竞争力甚至更好的性能。
2022-10-31 cs.CL cs.SD eess.AS
Simple and Effective Unsupervised Speech Translation
Meta - Fundamental AI Research (FAIR)（Meta基础人工智能研究院（FAIR））
用于训练语音任务模型的标记数据量对于大多数语言是有限的，然而，对于需要覆盖两种不同语言的标记数据的语音翻译，数据稀缺性加剧。为了解决这个问题，我们研究了一种简单而有效的方法来构建语音翻译系统，而无需标记数据，通过利用无监督语音识别，机器翻译和语音合成的最新进展，无论是在管道方法中，还是生成伪标签用于训练端到端的语音翻译模型。此外，我们提出了一个无监督领域自适应技术的预训练的语音模型，提高了下游无监督语音识别的性能，特别是对于低资源设置。实验表明，在Libri-Trans基准测试中，无监督语音到文本翻译的性能比以前的无监督技术高出3.2 BLEU，在CoVoST 2上，我们最好的系统在五个X-En方向上的性能比两年前最好的有监督端到端模型（没有预训练）高出5.0 BLEU。我们还报告了MuST-C和CVSS基准测试的竞争结果。
2022-10-18 cs.CL cs.SD eess.AS
LibriS2S: A German-English Speech-to-Speech Translation Corpus
Maastricht University（马斯特里赫特大学）
最近，我们看到人们对语音到文本翻译的兴趣越来越大。这导致了这一领域令人惊讶的进步。相比之下，语音翻译领域的活动仍然有限，尽管克服语言障碍至关重要。我们认为，限制因素之一是能否获得适当的训练数据。我们通过创建LibriS2S来解决这个问题，据我们所知，LibriS2S是第一个公开的德语和英语之间的语音到语音训练语料库。对于这个语料库，我们使用了独立创建的德语和英语音频，从而使两种语言的文本发音没有偏见。这允许创建新的文本到语音和语音到语音翻译模型，其直接学习以基于源语言的发音来生成语音信号。使用这个创建的语料库，我们提出了文本到语音模型的基础上，最近提出的FastSpeech 2模型，集成了源语言信息的例子。我们通过调整模型来实现这一点，以将源语音中的音高、能量或转录等信息作为额外的输入。
2022-04-22 cs.CL cs.SD eess.AS
Textless Direct Speech-to-Speech Translation with Discrete Speech Representation
Google Research（谷歌研究院）
语音到语音翻译（Speech-to-Speech Translation，S2 ST）的研究近年来发展迅速。许多端到端的系统已经被提出，并显示出优于传统的级联系统，这往往是由识别，翻译和合成子系统。然而，大多数端到端系统在训练期间仍然依赖于中间文本监督，这使得它不适合没有书面形式的语言。在这项工作中，我们提出了一种新的模型，无文本的Translatotron，它是基于Translatotron 2，用于训练一个端到端的直接S2 ST模型，没有任何文本的监督。代替如在Translatotron 2中那样与预测目标音素的辅助任务联合训练，所提出的模型使用预测从学习或随机语音量化器获得的离散语音表示的辅助任务。当使用无监督语音数据预训练的语音编码器用于这两个模型时，所提出的模型在多语言CVSS-C语料库以及双语Fisher西班牙语-英语语料库上获得的翻译质量几乎与Translatotron 2相当。在后者上，它比现有的最先进的无文本模型的性能高出+18.5 BLEU。
2022-10-31 cs.CL cs.SD eess.AS
Direct Speech to Speech Translation: A Review
Aligarh Muslim University（阿里格尔穆斯林大学）
本文综述了直接语音到语音翻译技术，对比级联模型与端到端直接模型的优劣，指出直接模型在保留韵律和降低延迟方面的优势及其在数据、算力和低资源语言上的挑战，并展望未来方向。
2025-03-03 cs.CL cs.SD eess.AS
Self-Supervised Representations Improve End-to-End Speech Translation
Facebook AI（Facebook人工智能）
端到端语音到文本翻译可以提供更简单，更小的系统，但面临着数据稀缺的挑战。预训练方法可以利用未标记的数据，并且已被证明在数据稀缺的情况下是有效的。在这项工作中，我们探讨了自我监督的预训练语音表示是否可以在高资源和低资源环境中有益于语音翻译任务，它们是否可以很好地转移到其他语言，以及它们是否可以有效地与其他有助于改善低资源端到端语音翻译的常用方法相结合，例如使用预训练的高资源语音识别系统。我们证明，自我监督的预训练特征可以持续提高翻译性能，跨语言迁移允许扩展到各种语言，而无需或只需很少的调整。
2020-10-25 cs.CL cs.SD eess.AS
Breaking the Data Barrier: Towards Robust Speech Translation via Adversarial Stability Training
NetEase Youdao Information Technology (Beijing) Co., LTD.（网易有道信息技术（北京）有限公司）
在流水线语音翻译系统中，自动语音识别（ASR）系统会将识别错误传递给下游的机器翻译（MT）系统。标准的机器翻译系统通常在由干净文本组成的并行语料库上进行训练，并且在具有识别噪声的文本上表现不佳，这是语音翻译界众所周知的差距。在本文中，我们提出了一个训练架构，旨在使神经机器翻译模型对语音识别错误更强大。我们的方法同时使用对抗学习和数据增强来解决编码器和解码器的问题。在IWSLT2018语音翻译任务上的实验结果表明，我们的方法可以弥合ASR输出和MT输入之间的差距，在有噪声的ASR输出上比基线高出2.83 BLEU，同时在干净文本上保持接近的性能。
2019-10-28 cs.CL eess.AS
Analyzing Speech Unit Selection for Textless Speech-to-Speech Translation
LIA - Avignon Universite（阿维尼翁大学LIA研究所）；University of Cambridge（剑桥大学）
本研究探讨了无文本语音到语音翻译中目标语音单元的选择标准，通过下游任务分析发现，重合成性能优异的单元未必能提升翻译效能，揭示了目标特征选择对系统整体性能的复杂影响。
2024-07-08 cs.CL cs.LG cs.SD
Code-Switching without Switching: Language Agnostic End-to-End Speech Translation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了a）一个语言无关的端到端语音翻译模型（LAST），和b）一个数据增强策略，以提高代码切换（CS）的性能。随着全球化的发展，在流利的演讲中，多种语言越来越多地互换使用。这样的CS使传统的语音识别和翻译复杂化，因为我们必须识别首先说的是哪种语言，然后应用依赖于语言的识别器和随后的翻译组件来生成期望的目标语言输出。这样的流水线引入延迟和错误。在本文中，我们消除了需要，通过治疗语音识别和翻译作为一个统一的端到端的语音翻译问题。通过用两种输入语言训练LAST，我们将语音解码为一种目标语言，而不管输入语言是什么。LAST在单语使用中提供了相当的识别和语音翻译准确性，同时在观察到CS时大大降低了延迟和出错率。
2022-11-09 cs.CL cs.LG cs.SD
StreamSpeech: Simultaneous Speech-to-Speech Translation with Multi-task Learning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）；School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院）
提出StreamSpeech模型，通过多任务学习统一框架联合学习翻译与同声策略，实现离线与同声语音识别、翻译及合成的无缝处理，在CVSS基准上达到SOTA，并提供高质量中间结果。
2024-06-05 cs.AI cs.CL cs.SD
MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
Meta AI
我们介绍MuAViC，一个多语言的视听语料库，用于强大的语音识别和强大的语音到文本的翻译，提供1200小时的视听语音在9种语言。它完全转录，涵盖6个英语到X的翻译以及6个X到英语的翻译方向。据我们所知，这是第一个视听语音到文本翻译的开放基准，也是多语言视听语音识别的最大开放基准。我们的基线结果表明，MuAViC是有效的建立噪声鲁棒的语音识别和翻译模型。我们在https://github.com/facebookresearch/muavic上提供语料库。
2023-03-07 cs.CL eess.AS
End-to-End Simultaneous Speech Translation with Differentiable Segmentation
University of Chinese Academy of Sciences（中国科学院大学）
本文提出可微分分段（DiSeg）方法，通过期望训练实现与翻译模型联合优化，直接学习有益于翻译的语音分段，在端到端同声传译中取得最优性能。
2023-06-18 cs.AI cs.CL cs.SD
Speech-to-speech Translation between Untranscribed Unknown Languages
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN（理化学研究所）
在本文中，我们探索了一种在没有任何转录或语言监督的情况下训练语音到语音翻译任务的方法。我们提出的方法包括两个步骤：首先，我们训练和生成离散表示与无监督的长期发现与离散量化自动编码器。其次，我们训练序列到序列模型，该模型直接将源语言语音映射到目标语言的离散表示。我们所提出的方法可以直接生成目标语音，而无需任何辅助或预训练步骤与源或目标转录。据我们所知，这是第一个在未转录的未知语言之间进行纯语音到语音翻译的工作。
2019-10-05 cs.CL cs.LG cs.SD
Direct speech-to-speech translation with a sequence-to-sequence model
Google（谷歌）
我们提出了一种基于注意力的序列到序列神经网络，它可以直接将语音从一种语言翻译成另一种语言的语音，而不依赖于中间文本表示。该网络是端到端训练的，学习将语音频谱图映射到另一种语言的目标频谱图，对应于翻译的内容（不同的规范语音）。我们进一步展示了使用源扬声器的声音合成翻译语音的能力。我们在两个西班牙语到英语的语音翻译数据集上进行了实验，发现所提出的模型的性能略低于直接语音到文本翻译模型和文本到语音合成模型的基线级联，证明了该方法在这个非常具有挑战性的任务上的可行性。
2019-06-25 cs.CL cs.LG cs.SD
Translatotron 2: High-quality direct speech-to-speech translation with voice preservation
Google Research（谷歌研究院）
我们提出了Translatotron 2，这是一种可以端到端训练的神经直接语音到语音翻译模型。Translatotron 2由一个语音编码器，一个语言解码器，一个声学合成器和一个将它们连接在一起的注意力模块组成。在三个数据集上的实验结果一致表明，Translatotron 2在翻译质量（高达+15.5 BLEU）和语音生成质量上都大大优于原始Translatotron，并且接近级联系统。此外，我们提出了一个简单的方法，用于保存扬声器的声音从源语音到翻译语音在不同的语言。与现有的方法不同，该方法能够保留每个扬声器的声音，而不需要扬声器分割。此外，与现有方法相比，它更好地保护了说话者的隐私，并减轻了潜在的滥用语音克隆创建欺骗音频伪影。
2022-05-17 cs.CL cs.LG cs.SD
TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation
Shanghai Jiao Tong University（上海交通大学）；Microsoft（微软公司）
针对端到端语音到语音翻译性能弱于级联模型、数据稀缺的问题，提出TransVIP框架，以级联用数据集+联合概率实现端到端推理，搭配双编码器保留音色与等时性，法英翻译效果超越现有SOTA模型。
2024-10-31 cs.AI cs.CL cs.SD
