Code-Switching without Switching: Language Agnostic End-to-End Speech Translation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了a）一个语言无关的端到端语音翻译模型（LAST），和b）一个数据增强策略，以提高代码切换（CS）的性能。随着全球化的发展，在流利的演讲中，多种语言越来越多地互换使用。这样的CS使传统的语音识别和翻译复杂化，因为我们必须识别首先说的是哪种语言，然后应用依赖于语言的识别器和随后的翻译组件来生成期望的目标语言输出。这样的流水线引入延迟和错误。在本文中，我们消除了需要，通过治疗语音识别和翻译作为一个统一的端到端的语音翻译问题。通过用两种输入语言训练LAST，我们将语音解码为一种目标语言，而不管输入语言是什么。LAST在单语使用中提供了相当的识别和语音翻译准确性，同时在观察到CS时大大降低了延迟和出错率。
2022-11-09 cs.CL cs.LG cs.SD
Speech-to-speech Translation between Untranscribed Unknown Languages
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN（理化学研究所）
在本文中，我们探索了一种在没有任何转录或语言监督的情况下训练语音到语音翻译任务的方法。我们提出的方法包括两个步骤：首先，我们训练和生成离散表示与无监督的长期发现与离散量化自动编码器。其次，我们训练序列到序列模型，该模型直接将源语言语音映射到目标语言的离散表示。我们所提出的方法可以直接生成目标语音，而无需任何辅助或预训练步骤与源或目标转录。据我们所知，这是第一个在未转录的未知语言之间进行纯语音到语音翻译的工作。
2019-10-05 cs.CL cs.LG cs.SD
Translatotron 2: High-quality direct speech-to-speech translation with voice preservation
Google Research（谷歌研究院）
我们提出了Translatotron 2，这是一种可以端到端训练的神经直接语音到语音翻译模型。Translatotron 2由一个语音编码器，一个语言解码器，一个声学合成器和一个将它们连接在一起的注意力模块组成。在三个数据集上的实验结果一致表明，Translatotron 2在翻译质量（高达+15.5 BLEU）和语音生成质量上都大大优于原始Translatotron，并且接近级联系统。此外，我们提出了一个简单的方法，用于保存扬声器的声音从源语音到翻译语音在不同的语言。与现有的方法不同，该方法能够保留每个扬声器的声音，而不需要扬声器分割。此外，与现有方法相比，它更好地保护了说话者的隐私，并减轻了潜在的滥用语音克隆创建欺骗音频伪影。
2022-05-17 cs.CL cs.LG cs.SD
Duplex Diffusion Models Improve Speech-to-Speech Translation
NVIDIA（英伟达）
本文提出双工扩散模型，通过将扩散概率模型应用于可逆双工Conformer两侧，首次实现可逆语音翻译，显著提升ASR-BLEU分数。
2023-05-22 cs.CL cs.LG cs.SD
Assessing Evaluation Metrics for Speech-to-Speech Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；ETH Zürich（苏黎世联邦理工学院）
语音到语音翻译将机器翻译与语音合成相结合，引入了单独任务中不存在的评估挑战。如何自动评估语音到语音翻译是一个开放的问题，以前没有被探索。翻译成语音而不是文本通常是由不成文的语言或没有标准化拼写的语言所驱动的。然而，我们表明，以前使用的自动度量这项任务是最好的标准化的高资源语言。在这项工作中，我们首先评估语音到语音翻译的当前指标，其次评估翻译到方言变体而不是标准化语言如何影响各种评估方法。
2021-10-26 cs.CL cs.SD eess.AS
M-Adapter: Modality Adaptation for End-to-End Speech-to-Text Translation
Monash University（莫纳什大学）
端到端的语音到文本翻译模型通常使用预训练的语音编码器和预训练的文本解码器进行初始化。这导致预训练和微调之间的显著训练间隙，这主要是由于来自编码器的语音输出和到解码器的文本输入之间的模态差异。在这项工作中，我们的目标是弥合语音和文本之间的模态差距，以提高翻译质量。我们提出了M-Adapter，一个新的基于transformer的模块，以适应语音表示文本。在缩小语音序列的同时，M-Adapter通过对语音序列的全局和局部依赖关系进行建模，产生语音到文本翻译所需的特征。我们的实验结果表明，我们的模型在Must-C En $\rightarrow$ DE数据集上的性能优于强基线，最高可达1个BLEU分数。\footnote{Our code is available at https://github.com/mingzi151/w2v2-st.}
2022-07-03 cs.CL cs.LG cs.SD
Translatotron 3: Speech to Speech Translation with Monolingual Data
Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）；Tel-Aviv University（特拉维夫大学）
Translatotron 3提出一种仅用单语数据实现无监督直接语音到语音翻译的方法，结合掩码自编码器、无监督嵌入映射和反向翻译，在保持副语言信息的同时超越级联基线系统。
2024-01-16 cs.CL cs.LG cs.SD
SpeechMatrix: A Large-Scale Mined Corpus of Multilingual Speech-to-Speech Translations
Meta AI Research（Meta人工智能研究院）；Inria（法国国家信息与自动化研究所）
我们提出了SpeechMatrix，一个大规模的多语言语料库的语音到语音翻译挖掘从欧洲议会录音的真实讲话。它包含136个语言对的语音对齐，总共41.8万小时的语音。为了评估这种并行语音的质量，我们仅在挖掘数据上训练双语语音到语音翻译模型，并在EuroParl-ST，VoxPopuli和FLEURS测试集上建立广泛的基线结果。通过SpeechMatrix的多语言性，我们还探索了多语言语音到语音翻译，这是一个很少有其他作品涉及的主题。我们还证明了使用混合专家的模型预训练和稀疏缩放可以大大提高翻译性能。挖掘的数据和模型是免费提供的。
2022-11-08 cs.CL cs.SD eess.AS
UWSpeech: Speech to Speech Translation for Unwritten Languages
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）
现有的语音到语音翻译系统严重依赖于目标语言的文本：它们通常将源语言翻译成目标文本，然后从文本合成目标语音，或者直接将目标文本与目标语音一起辅助训练。然而，这些方法不能应用于没有书面文本或音素的非书面目标语言。在本文中，我们开发了一个非书面语言的翻译系统，命名为UWSpeech，它将目标非书面语音转换成离散令牌转换器，然后将源语言语音翻译成目标离散令牌翻译器，最后合成目标语音从目标离散令牌逆变器。本文提出了一种增强矢量量化变分自编码器（VQ-VAE）和跨语言（XL）语音识别能力的方法XL-VAE，对UWSpeech的变换器和反相器进行联合训练。在Fisher西班牙语-英语会话翻译数据集上的实验表明，UWSpeech的性能比直接翻译和VQ-VAE基线分别高出约16和10个BLEU点，充分展示了UWSpeech的优势和潜力。
2020-12-17 cs.CL eess.AS
CVSS Corpus and Massively Multilingual Speech-to-Speech Translation
Google Research（谷歌研究院）
我们介绍了CVSS，一个大规模的多语言到英语的语音到语音翻译（S2 ST）语料库，涵盖了从21种语言到英语的并行S2 ST对。CVSS源自Common Voice语音语料库和CoVoST 2语音到文本翻译（ST）语料库，通过使用最先进的TTS系统将CoVoST 2的翻译文本合成为语音。提供了两种版本的翻译语音：1）CVSS-C：所有翻译语音都是单个高质量的规范语音; 2）CVSS-T：翻译语音是从相应的源语音转移的语音。此外，CVSS还提供了与翻译语音中的发音相匹配的规范化翻译文本。在每个版本的CVSS上，我们分别建立了多语种直接S2 ST模型和级联S2 ST模型，验证了语料库的有效性。为了构建强大的级联S2 ST基线，我们在CoVoST 2上训练了一个ST模型，它比之前在没有额外数据的语料库上训练的最先进模型性能高出5.8 BLEU。尽管如此，直接S2 ST模型的性能在从头开始训练时接近强级联基线，并且在从匹配ST模型初始化时，ASR转录翻译只有0.1或0.7 BLEU差异。
2022-06-26 cs.CL cs.SD eess.AS
Leveraging Pseudo-labeled Data to Improve Direct Speech-to-Speech Translation
Bytedance（字节跳动）
直接语音到语音翻译（S2 ST）近年来受到越来越多的关注。由于数据稀缺和复杂的语音到语音映射，这项任务非常具有挑战性。在本文中，我们报告了我们最近在S2 ST的成就。首先，我们建立了一个S2 ST Transformer基线，它优于原来的Translatotron。其次，我们利用伪标记的外部数据，并获得了一个新的国家的最先进的Fisher英语到西班牙语测试集的结果。事实上，我们利用伪数据与流行的技术相结合，这些技术在应用于S2 ST时并不平凡。此外，我们评估我们的方法在句法相似（西班牙语-英语）和遥远（英语-汉语）的语言对。我们的实现可以在https://github.com/fengpeng-yue/speech-to-speech-translation上获得。
2022-05-18 cs.CL eess.AS
CSTNet: Contrastive Speech Translation Network for Self-Supervised Speech Representation Learning
Le Mans University（勒芒大学）
世界上7,000种语言中有一半以上濒临灭绝。记录语言的传统方法是收集音频数据，然后由训练有素的语言学家在不同的粒度级别上进行手动注释。这个耗时而艰苦的过程可以从机器学习中受益。许多濒危语言没有任何正字法形式，但通常有双语和受过高资源语言训练的发言者。获得与语音对应的文本翻译相对容易。在这项工作中，我们提供了一个多模态机器学习框架的语音表示学习，通过利用两种模态之间的相关性，即语音及其相应的文本翻译。在这里，我们构建了一个卷积神经网络音频编码器，能够从语音中提取语言表示。训练音频编码器以在对比学习框架中执行语音翻译检索任务。通过评估电话识别任务上的学习表示，我们证明了语言表示出现在音频编码器的内部表示作为学习的副产品执行检索任务。
2020-08-05 cs.CL cs.LG cs.SD
Direct Speech-to-speech Translation without Textual Annotation using Bottleneck Features
ByteDance AI-Lab（字节跳动人工智能实验室）
语音翻译是直接将不同语言之间的语音转换为另一种语音，在同声传译等任务中具有巨大的潜力。最先进的模型通常包含用于音素序列预测的辅助模块，这需要对训练数据集进行文本注释。我们提出了一个直接的语音到语音翻译模型，可以在没有任何文本注释或内容信息的情况下训练。我们建议使用瓶颈特征作为模型的中间训练目标，而不是在模型中引入辅助音素预测任务，以确保系统的翻译性能。对普通话-粤语语音翻译的实验结果表明，该方法是可行的，其性能可以与级联系统的翻译和合成质量相媲美。
2022-12-12 cs.CL cs.SD eess.AS
CoVoST 2 and Massively Multilingual Speech-to-Text Translation
Facebook AI
语音翻译最近成为一个越来越受欢迎的研究课题，部分原因是基准数据集的发展。然而，目前的数据集涵盖的语言数量有限。为了促进大规模多语言语音翻译和低资源语言对语音翻译的研究，我们发布了CoVoST 2，这是一个大规模多语言语音翻译语料库，涵盖了从21种语言到英语和从英语到15种语言的翻译。这是迄今为止从总量和语言覆盖范围来看最大的开放数据集。数据健全性检查提供有关数据质量的证据，这些数据在CC0许可证下发布。我们还提供广泛的语音识别、双语和多语言机器翻译以及语音翻译基线，并提供开源实现。
2020-10-24 cs.CL cs.SD eess.AS
Breaking the Data Barrier: Towards Robust Speech Translation via Adversarial Stability Training
NetEase Youdao Information Technology (Beijing) Co., LTD.（网易有道信息技术（北京）有限公司）
在流水线语音翻译系统中，自动语音识别（ASR）系统会将识别错误传递给下游的机器翻译（MT）系统。标准的机器翻译系统通常在由干净文本组成的并行语料库上进行训练，并且在具有识别噪声的文本上表现不佳，这是语音翻译界众所周知的差距。在本文中，我们提出了一个训练架构，旨在使神经机器翻译模型对语音识别错误更强大。我们的方法同时使用对抗学习和数据增强来解决编码器和解码器的问题。在IWSLT2018语音翻译任务上的实验结果表明，我们的方法可以弥合ASR输出和MT输入之间的差距，在有噪声的ASR输出上比基线高出2.83 BLEU，同时在干净文本上保持接近的性能。
2019-10-28 cs.CL eess.AS
Advancing Speech Translation: A Corpus of Mandarin-English Conversational Telephone Speech
Raytheon BBN（雷神BBN技术公司）
本文构建了123小时汉英电话会话语音翻译语料库，通过微调通用翻译模型，目标域BLEU提升超8点，验证了匹配训练数据的关键作用。
2024-03-25 cs.CL cs.SD eess.AS
PolyVoice: Language Models for Speech to Speech Translation
ByteDance（字节跳动）
本研究提出基于语言模型的S2ST框架PolyVoice，采用无监督离散语音单元适配无文字语言，结合VALL-E X构建单元音频模型保留原语音特征，在中英、英西翻译任务中实现高翻译与音频质量。
2023-06-13 cs.CL eess.AS
ON-TRAC Consortium for End-to-End and Simultaneous Speech Translation Challenge Tasks at IWSLT 2020
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；Avignon Université（阿维尼翁大学）；Le Mans Université（勒芒大学）
本文介绍了ON-TRAC联盟翻译系统，该系统是为2020年IWTECH评估活动中的两个挑战轨道开发的，即离线语音翻译和同步语音翻译。ON-TRAC联盟由来自三个法国学术实验室的研究人员组成：LIA（阿维尼翁大学），LIG（格勒诺布尔阿尔卑斯大学）和LIUM（勒芒大学）。基于注意力的编码器-解码器模型，经过端到端训练，用于我们提交到离线语音翻译轨道。我们的贡献集中在数据增强和多个模型的集成上。在同步语音翻译轨道中，我们为文本到文本子任务构建了基于transformer的wait-k模型。对于语音到文本的同声翻译，我们附加一个等待k MT系统的混合ASR系统。我们提出了一种算法来控制ASR+MT级联的延迟，并在两个子任务上实现良好的延迟质量折衷。
2020-05-24 cs.CL eess.AS
Improving Speech-to-Speech Translation Through Unlabeled Text
Meta AI
直接语音到语音翻译（S2 ST）是翻译范式中最具挑战性的问题之一，由于S2 ST数据的显着稀缺。虽然已经通过级联预训练语音识别（ASR）、机器翻译（MT）和文本到语音（TTS）模型来努力增加来自未标记语音的数据大小;但是未标记文本仍然相对未被充分利用来改进S2 ST。我们提出了一种有效的方法来利用大量现有的未标记的文本从不同的语言来创建大量的S2 ST数据，通过应用各种声学效果，以提高S2 ST的性能所产生的合成数据。从经验上讲，我们的方法优于西班牙语-英语翻译的最高2 BLEU。所提出的方法的显着收益证明在极低的资源设置为西班牙语-英语和俄语-英语翻译。
2022-10-26 cs.CL cs.SD eess.AS
Consecutive Decoding for Speech-to-text Translation
ByteDance AI Lab（字节跳动人工智能实验室）
语篇翻译是将源语言的语音直接翻译成目标语言的文本，近年来受到了广泛的关注。然而，语音识别和机器翻译在单个模型中的结合给直接跨模态跨语言映射带来了沉重的负担。为了降低学习难度，我们提出了一种语音到文本翻译的集成方法-其核心思想是用一个解码器生成源译文和目标译文。它有利于模型训练，从而可以充分利用额外的大型平行文本语料库来增强语音翻译训练。我们的方法在三个主流数据集上进行了验证，包括增强LibriSpeech英法数据集，IWSLT 2018英德数据集和TED英中数据集。实验表明，我们提出的COSTT优于或等同于以前的国家的最先进的方法在三个数据集。我们已经在\url{https://github.com/dqqcasia/st}上发布了我们的代码。
2022-04-15 cs.CL eess.AS
From Speech-to-Speech Translation to Automatic Dubbing
Amazon（亚马逊）
我们提出了增强语音到语音翻译管道，以执行自动配音。我们的架构具有神经机器翻译生成首选长度的输出，翻译与原始语音片段的韵律对齐，神经文本到语音与每个话语的持续时间的微调，最后，音频渲染以丰富文本到语音输出与从原始音频中提取的背景噪声和混响。我们报告的自动配音的摘录TED演讲从英语到意大利语，这措施的自动配音的感知自然度和每个建议的增强的相对重要性的主观评价。
2020-02-02 cs.CL cs.SD eess.AS
Fluent Translations from Disfluent Speech in End-to-End Speech Translation
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
由于会话语音现象，特别是不流利的存在，语音的口语翻译应用受到影响。随着端到端语音翻译模型的兴起，之前作为语音识别和机器翻译之间的中间步骤的处理步骤（如不流利消除）需要被纳入模型架构中。我们使用一个序列到序列的模型，从嘈杂的，不流利的语音流畅的文本与不流利使用最近收集的“复制编辑”的参考Fisher西班牙语-英语数据集删除。我们能够直接生成流畅的翻译，并介绍有关如何评估这项任务成功的考虑因素。这项工作为一项新的任务提供了一个基线，即翻译会话语音并联合消除不流利。
2019-06-03 cs.CL
Towards Unsupervised Speech-to-Text Translation
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个框架，用于建立语音到文本翻译（ST）系统，只使用单语语音和文本语料库，换句话说，从一个源语言和独立的文本从一个目标语言的语音话语。与传统的级联系统和端到端架构相反，我们的系统不需要任何标记数据（即，训练期间转录的源音频或并行源和目标文本语料库），使其特别适用于双语资源很少甚至为零的语言对。该框架利用从单语语料库中推断出的跨模态双语词典来支持ST系统，该词典将对应于口语单词的每个源语音段映射到其目标文本翻译。对于看不见的源语音话语，系统首先对话语中的每个语音段执行逐字翻译。通过利用语言模型和序列去噪自动编码器来提供关于目标语言的先验知识来改进翻译。实验结果表明，尽管缺乏监督，我们的无监督系统实现了与监督端到端模型相当的BLEU分数。我们还提供消融分析来检查我们系统中每个组件的实用性。
2018-11-04 cs.CL cs.LG cs.SD
Direct Simultaneous Speech-to-Speech Translation with Variational Monotonic Multihead Attention
Johns Hopkins University（约翰斯·霍普金斯大学）；Meta；Maastricht University（马斯特里赫特大学）
本文提出了一种直接同步语音到语音翻译（Simul-S2 ST）模型。我们的方法利用了离散单元直接语音到语音翻译的最新进展，其中以无监督方式学习的离散表示序列而不是连续的频谱图特征，从模型中预测并直接传递给声码器进行语音合成。我们还引入了变分单调多头注意（V-MMA），以应对语音同传中低效的策略学习的挑战。然后，同时策略对源语音特征和目标离散单元进行操作。我们进行了实证研究，比较级联和直接的方法对Fisher西班牙语-英语和Must-C英语-西班牙语数据集。直接同步模型通过在翻译质量和延迟之间实现更好的折衷而优于级联模型。
2022-01-12 cs.CL cs.SD eess.AS
From Start to Finish: Latency Reduction Strategies for Incremental Speech Synthesis in Simultaneous Speech-to-Speech Translation
Maastricht University（马斯特里赫特大学）；Meta AI；Johns Hopkins University（约翰斯·霍普金斯大学）
语音到语音翻译（S2 ST）将输入语音转换为另一种语言的语音。实时的传送S2 ST的挑战是翻译和语音合成模块之间的累积延迟。虽然最近增量文本到语音（iTTS）模型已经显示出很大的质量改进，但它们通常需要额外的未来文本输入才能达到最佳性能。在这项工作中，我们最大限度地减少了初始等待时间的iTTS通过适应上游语音翻译器生成高质量的伪前瞻语音合成器。在减轻初始延迟后，我们证明了合成语音的持续时间对延迟也起着至关重要的作用。我们将其形式化为延迟度量，然后提出一种简单而有效的延迟缩减方法。我们的方法始终将延迟降低0.2-0.5秒，而不会牺牲语音翻译质量。
2022-07-15 cs.CL cs.SD eess.AS
Dialectal Speech Recognition and Translation of Swiss German Speech to Standard German Text: Microsoft's Submission to SwissText 2021
Microsoft（微软）
本文介绍了SwissText 2021年关于瑞士德语语音到标准德语文本的共享任务3中的获胜方法，这是一项关于方言识别和翻译的公开竞赛。瑞士德语是指在瑞士德语区使用的众多阿勒曼尼方言。瑞士德语在发音、词汇和语法上与标准德语有很大的不同。这对以德语为母语的人来说是难以理解的。此外，它缺乏标准化的书面文字。为了解决具有挑战性的任务，我们提出了一个混合自动语音识别系统的词典，包括翻译，第一遍的语言模型，处理瑞士德国的特殊性，一个转移学习声学模型和一个强大的神经语言模型的第二遍重新评分。我们的提交在盲对话测试集上达到46.04%的BLEU，并以12%的相对优势优于第二大竞争对手。
2021-07-01 cs.CL cs.LG cs.SD
Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation
Meta AI
直接语音到语音翻译（S2 ST）模型遭受数据稀缺问题，因为与包括自动语音识别（ASR）、机器翻译（MT）和文本到语音（TTS）合成的常规级联系统可用的数据量相比，几乎不存在并行S2 ST数据。在这项工作中，我们探索了使用未标记语音数据和数据增强的自监督预训练来解决这个问题。我们利用最近提出的语音到单元翻译（S2 UT）框架，该框架将目标语音编码为离散表示，并通过研究语音编码器和离散单元解码器的预训练，将适用于语音到文本翻译（S2 T）的预训练和有效的部分微调技术转移到S2 UT域。我们对西班牙语-英语翻译的实验表明，与平均6.6-12.1 BLEU增益的多任务学习相比，自监督预训练始终提高了模型性能，并且可以进一步与数据增强技术相结合，该技术应用MT来创建弱监督训练数据。音频样本可在https://facebookresearch.github.io/speech_translation/enhanced_direct_s2st_units/index.html上获得。
2022-09-13 cs.CL cs.SD eess.AS
Leveraging unsupervised and weakly-supervised data to improve direct speech-to-speech translation
Google Research（谷歌研究院）
不依赖中间文本表示的端到端语音到语音翻译（S2 ST）是一个迅速兴起的研究前沿。最近的工作表明，这种直接S2 ST系统的性能接近传统的级联S2 ST在可比的数据集上训练时。然而，在实践中，直接S2 ST的性能受到成对S2 ST训练数据的可用性的限制。在这项工作中，我们探索了多种方法，利用更广泛的无监督和弱监督语音和文本数据来提高基于Translatotron 2的直接S2 ST的性能。使用我们最有效的方法，与之前在没有额外数据的情况下训练的最先进的方法相比，CVSS-C语料库上21种语言对的直接S2 ST的平均翻译质量提高了+13.6 BLEU（或相对+113%）。低资源语言的改善更显着（平均增加398%）。我们的比较研究为S2 ST和语音表示学习的未来研究方向提出了建议。
2022-06-27 cs.CL cs.LG cs.SD
Exploring Phoneme-Level Speech Representations for End-to-End Speech Translation
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
以前的语音端到端翻译工作主要使用帧级特征作为语音表示，这会创建比文本更长、更稀疏的序列。我们表明，一个天真的方法来创建压缩音素的语音表示是更有效和高效的翻译比传统的帧级语音功能。具体来说，我们为语音帧生成音素标签，并对具有相同标签的连续帧进行平均，以创建更短，更高级别的源序列进行翻译。我们在高资源和低资源语言对上都看到了高达5个BLEU的改进，训练时间减少了60%。我们的改进适用于多种数据大小和两种语言对。
2019-06-04 cs.CL cs.SD eess.AS
Dub-S2ST: Textless Speech-to-Speech Translation for Seamless Dubbing
Korea Advanced Institute of Science and Technology（韩国科学技术院）
Dub-S2ST通过无文本语音到语音翻译模型实现无缝配音，保留语音特征并提升翻译质量。
2025-12-29 cs.CL cs.SD eess.AS
Speech Segmentation Optimization using Segmented Bilingual Speech Corpus for End-to-end Speech Translation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
语音分割是将长语音分割成短语音段的过程，是语音翻译的关键。流行的VAD工具，如WebRTC VAD，通常依赖于基于暂停的分段。不幸的是，语音中的停顿不一定与句子边界匹配，句子可以通过很短的停顿连接起来，这很难被VAD检测到。在这项研究中，我们提出了一种语音分割方法，使用二进制分类模型训练使用分割的双语语音语料库。我们还提出了一种混合的方法，结合VAD和上述语音分割方法。实验结果表明，该方法更适合级联和端到端ST系统比传统的分割方法。混合方法进一步提高了翻译性能。
2022-07-13 cs.CL cs.SD eess.AS
High-Fidelity Simultaneous Speech-To-Speech Translation
Kyutai
本文提出Hibiki，一种基于多流语言模型的仅解码器同时语音翻译模型，通过弱监督方法学习逐词延迟，实现高质量、高保真的实时语音到语音翻译，并在法英任务上达到最先进性能。
2025-02-26 cs.CL cs.SD eess.AS
TranSentence: Speech-to-speech Translation via Language-agnostic Sentence-level Speech Encoding without Language-parallel Data
Korea University（高丽大学）
提出无需语言平行数据的语音到语音翻译模型 TranSentence，通过语言无关句子级语音编码和单语数据训练实现跨语言语音生成，并扩展至多语言翻译且性能优于其他模型。
2024-01-17 cs.CL cs.SD eess.AS
MSLM-S2ST: A Multitask Speech Language Model for Textless Speech-to-Speech Translation with Speaker Style Preservation
Carnegie Mellon University（卡内基梅隆大学）；Meta AI；The Chinese University of Hong Kong（香港中文大学）
本文提出多任务语音语言模型MSLM，一种仅解码器架构，在不依赖文本数据的情况下实现保留说话人风格的多语言语音到语音翻译。
2024-03-19 cs.CL cs.SD eess.AS
Does Translation-Enhanced Speech Encoder Pre-training Affect Speech LLMs?
SB Intuitions
研究翻译增强的语音编码器预训练对语音大语言模型的影响，通过实验证明该方法能改善跨模态整合并提升下游任务性能。
2026-06-25 cs.CL cs.SD eess.AS
Synchronous Speech Recognition and Speech-to-Text Translation with Interactive Decoding
Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Baidu Inc.（百度公司）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
语篇翻译是将源语言的语音翻译成目标语言的文本，近年来受到了广泛的关注。与传统的流水线系统相比，端到端ST模型具有更低的延迟、更小的模型大小和更少的错误传播的潜在好处。然而，众所周知，如果没有作为中间体的transmix，实现这样一个模型是非常困难的。现有的工作通常应用多任务学习，以提高翻译质量，通过联合训练端到端ST连同自动语音识别（ASR）。然而，该方法中的不同任务不能利用彼此的信息，这限制了改进。另一些工作提出了一个两阶段的模型，其中第二个模型可以使用隐藏状态从第一个，但其级联方式极大地影响了训练和推理过程的效率。在本文中，我们提出了一种新的交互式注意力机制，使ASR和ST同步和交互地执行在一个单一的模型。具体地说，译文和翻译的生成不仅依赖于其先前的输出，而且还依赖于其他任务中预测的输出。在TED语音翻译语料库上的实验表明，该模型在语音翻译质量和语音识别性能上均优于强基线。
2019-12-16 cs.CL cs.LG
SimulS2S-LLM: Unlocking Simultaneous Inference of Speech LLMs for Speech-to-Speech Translation
Department of Engineering, University of Cambridge（剑桥大学工程系）；Shanghai Jiao Tong University（上海交通大学）
提出SimulS2S-LLM，通过离线训练和测试时策略实现语音LLM的同步语音到语音翻译，利用边界感知提示和增量波束搜索，在CVSS上以相似延迟提升ASR-BLEU 3分。
2025-04-22 cs.CL cs.SD eess.AS
Isochrony-Controlled Speech-to-Text Translation: A study on translating from Sino-Tibetan to Indo-European Languages
本文提出一种等时性控制的端到端语音翻译方法，通过向解码器提供时间信息以预测语音和停顿时长，实现翻译时长与源音频的严格对齐，在CoVoST 2上取得了高语音重叠率且BLEU仅微降。
2024-11-11 cs.CL eess.AS
The USTC-NEL Speech Translation system at IWSLT 2018
University of Science and Technology of China（中国科学技术大学）；IFLYTEK Co. LTD.（科大讯飞股份有限公司）
本文介绍了USTC-NEL系统在2018年IWITHING评估中的语音翻译任务。该系统是一个传统的流水线系统，包括3个模块：语音识别，后处理和机器翻译。我们训练一组混合HMM模型用于语音识别，对于机器翻译，我们训练基于Transformer的神经机器翻译模型，以语音识别输出样式文本作为输入。在IWIT 2018任务上进行的实验表明，与KIT的基线系统相比，我们的系统实现了14.9 BLEU的改进。
2018-12-06 cs.CL cs.SD eess.AS
FST: the FAIR Speech Translation System for the IWSLT21 Multilingual Shared Task
Facebook AI Research（Facebook AI研究院）
在本文中，我们描述了我们的端到端多语言语音翻译系统，该系统提交给了IWITH2021多语言语音翻译共享任务的评估活动。我们的系统是通过利用跨模式、任务和语言的迁移学习构建的。首先，我们利用通用的多语言模块，这些模块使用大量未标记和标记的数据进行预训练。我们进一步通过联合训练两个任务来实现从文本任务到语音任务的知识转移。最后，我们的多语言模型在语音翻译任务特定的数据上进行微调，以达到最佳的翻译结果。实验结果表明，我们的系统优于报告的系统，包括端到端和级联的方法，由一个很大的利润。在某些翻译方向上，我们在公共多语言TEDx测试集上评估的语音翻译结果甚至可以与使用Oracle语音转录作为输入的强大文本到文本翻译系统的结果相媲美。
2021-08-14 cs.CL cs.SD eess.AS
Joint Pre-Training with Speech and Bilingual Text for Direct Speech to Speech Translation
Microsoft Research Asia（微软亚洲研究院）
直接语音到语音翻译（S2 ST）是一个有吸引力的研究课题，与级联S2 ST相比具有许多优点。然而，直接S2 ST遭受数据稀缺的问题，因为从源语言的语音到目标语言的语音的语料库是非常稀少的。为了解决这个问题，我们在本文中提出了一个Speech 2S模型，该模型使用未配对的语音和双语文本数据进行联合预训练，用于直接语音到语音翻译任务。通过有效地利用成对的文本数据，Speech 2S能够建模从源语言到目标语言的跨语言语音转换。我们在Europarl-ST和VoxPopuli数据集上验证了所提出的Speech 2S的性能。实验结果表明，与仅编码器的预训练模型相比，Speech 2S的BLEU分数提高了约5分，并且比现有的最先进的模型1具有竞争力甚至更好的性能。
2022-10-31 cs.CL cs.SD eess.AS
Cross-modal Contrastive Learning for Speech Translation
ByteDance（字节跳动）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
我们如何才能学习口语和书面语的统一表征？学习语义相似的语音和文本的相似表示对于语音翻译是重要的。为此，我们提出了ConST，一种跨模态的对比学习方法，用于端到端的语音到文本翻译。我们在流行的基准测试Must-C上评估ConST和各种以前的基线。实验结果表明，所提出的ConST始终优于以前的方法，并实现了平均BLEU为29.4。分析进一步验证了ConST确实缩小了不同模态的表示差距-其学习表示将跨模态语音文本检索的准确率从4%提高到88%。代码和模型可在https://github.com/ReneeYe/ConST上获得。
2022-05-05 cs.CL eess.AS
mSLAM: Massively multilingual joint pre-training for speech and text
Google, USA（谷歌（美国））
我们提出了mSLAM，一种多语言语音和语言模型，它通过对多种语言中大量未标记的语音和文本进行联合预训练来学习语音和文本的跨语言跨模态表示。mSLAM将语音的w2 v-BERT预训练与字符级文本的SpanBERT预训练相结合，以及配对语音和转录数据的连接主义时间分类（CTC）损失，以学习能够在共享表示空间中学习和表示语音和文本信号的单个模型。我们在几个下游语音理解任务上评估了mSLAM，发现与仅语音预训练相比，与文本的联合预训练提高了语音翻译，语音意图分类和语音语言识别的质量，同时在多语言ASR上具有竞争力。我们的语音翻译模型演示了zero-shot文本翻译，而无需看到任何文本翻译数据，为表示的跨模态对齐提供了证据。mSLAM还受益于多模态微调，通过在微调过程中直接利用文本翻译数据，进一步提高语音翻译的质量。我们的实证分析强调了大规模多模式预培训带来的机遇和挑战，为未来的研究提出了方向。
2022-02-03 cs.CL cs.LG
Jointly Optimizing Translations and Speech Timing to Improve Isochrony in Automatic Dubbing
AWS AI Labs（亚马逊云科技人工智能实验室）；Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）
自动配音是将视频中的原始语音翻译成目标语言语音的过程。新的目标语言语音应满足等时性，也就是说，新的语音应与原始视频的时间对齐，包括嘴部动作，停顿，手势等，在本文中，我们提出了一个模型，直接优化翻译以及生成的翻译的语音持续时间的训练。我们表明，该系统生成的语音，更好地匹配的原始语音的时间，相比以前的工作，同时简化了系统架构。
2023-02-25 cs.CL cs.SD eess.AS
Simultaneous Speech-to-Speech Translation System with Neural Incremental ASR, MT, and TTS
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文介绍了一个新开发的，同时神经语音到语音翻译系统及其评价。该系统由三个全增量神经处理模块组成，分别用于自动语音识别（ASR）、机器翻译（MT）和文本到语音合成（TTS）。我们研究了其在系统的耳语音跨度和说话延迟以及模块级性能的整体延迟。
2020-11-11 cs.CL
Simple and Effective Unsupervised Speech Translation
Meta - Fundamental AI Research (FAIR)（Meta基础人工智能研究院（FAIR））
用于训练语音任务模型的标记数据量对于大多数语言是有限的，然而，对于需要覆盖两种不同语言的标记数据的语音翻译，数据稀缺性加剧。为了解决这个问题，我们研究了一种简单而有效的方法来构建语音翻译系统，而无需标记数据，通过利用无监督语音识别，机器翻译和语音合成的最新进展，无论是在管道方法中，还是生成伪标签用于训练端到端的语音翻译模型。此外，我们提出了一个无监督领域自适应技术的预训练的语音模型，提高了下游无监督语音识别的性能，特别是对于低资源设置。实验表明，在Libri-Trans基准测试中，无监督语音到文本翻译的性能比以前的无监督技术高出3.2 BLEU，在CoVoST 2上，我们最好的系统在五个X-En方向上的性能比两年前最好的有监督端到端模型（没有预训练）高出5.0 BLEU。我们还报告了MuST-C和CVSS基准测试的竞争结果。
2022-10-18 cs.CL cs.SD eess.AS
LibriS2S: A German-English Speech-to-Speech Translation Corpus
Maastricht University（马斯特里赫特大学）
最近，我们看到人们对语音到文本翻译的兴趣越来越大。这导致了这一领域令人惊讶的进步。相比之下，语音翻译领域的活动仍然有限，尽管克服语言障碍至关重要。我们认为，限制因素之一是能否获得适当的训练数据。我们通过创建LibriS2S来解决这个问题，据我们所知，LibriS2S是第一个公开的德语和英语之间的语音到语音训练语料库。对于这个语料库，我们使用了独立创建的德语和英语音频，从而使两种语言的文本发音没有偏见。这允许创建新的文本到语音和语音到语音翻译模型，其直接学习以基于源语言的发音来生成语音信号。使用这个创建的语料库，我们提出了文本到语音模型的基础上，最近提出的FastSpeech 2模型，集成了源语言信息的例子。我们通过调整模型来实现这一点，以将源语音中的音高、能量或转录等信息作为额外的输入。
2022-04-22 cs.CL cs.SD eess.AS
Textless Speech-to-Speech Translation With Limited Parallel Data
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；New York University（纽约大学）
提出PFB框架，仅需数十小时平行语音数据即可训练文本无关的语音到语音翻译模型，通过预训练、微调和反向翻译，在多个语言对和领域上达到接近高资源基线的性能。
2024-11-06 cs.CL eess.AS
Leveraging Synthetic Audio Data for End-to-End Low-Resource Speech Translation
Bering Lab（贝林实验室）
本文针对低资源爱尔兰语到英语语音翻译，提出基于 Whisper 的端到端系统，利用语音反向翻译、噪声增强等合成音频数据增强方法提升翻译性能。
2024-06-27 cs.CL cs.SD eess.AS
Textless Direct Speech-to-Speech Translation with Discrete Speech Representation
Google Research（谷歌研究院）
语音到语音翻译（Speech-to-Speech Translation，S2 ST）的研究近年来发展迅速。许多端到端的系统已经被提出，并显示出优于传统的级联系统，这往往是由识别，翻译和合成子系统。然而，大多数端到端系统在训练期间仍然依赖于中间文本监督，这使得它不适合没有书面形式的语言。在这项工作中，我们提出了一种新的模型，无文本的Translatotron，它是基于Translatotron 2，用于训练一个端到端的直接S2 ST模型，没有任何文本的监督。代替如在Translatotron 2中那样与预测目标音素的辅助任务联合训练，所提出的模型使用预测从学习或随机语音量化器获得的离散语音表示的辅助任务。当使用无监督语音数据预训练的语音编码器用于这两个模型时，所提出的模型在多语言CVSS-C语料库以及双语Fisher西班牙语-英语语料库上获得的翻译质量几乎与Translatotron 2相当。在后者上，它比现有的最先进的无文本模型的性能高出+18.5 BLEU。
2022-10-31 cs.CL cs.SD eess.AS
Direct Speech to Speech Translation: A Review
Aligarh Muslim University（阿里格尔穆斯林大学）
本文综述了直接语音到语音翻译技术，对比级联模型与端到端直接模型的优劣，指出直接模型在保留韵律和降低延迟方面的优势及其在数据、算力和低资源语言上的挑战，并展望未来方向。
2025-03-03 cs.CL cs.SD eess.AS
StreamSpeech: Simultaneous Speech-to-Speech Translation with Multi-task Learning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）；School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院）
提出StreamSpeech模型，通过多任务学习统一框架联合学习翻译与同声策略，实现离线与同声语音识别、翻译及合成的无缝处理，在CVSS基准上达到SOTA，并提供高质量中间结果。
2024-06-05 cs.AI cs.CL cs.SD
Streaming Speech-to-Text Translation with a SpeechLLM
Samsung, AI Center – Cambridge, United Kingdom（三星，人工智能中心——剑桥，英国）
本文提出基于LLM的流式语音到文本翻译架构，通过学习输出token和判断音频充足性，实现低延迟的实时翻译，实验显示其翻译质量接近非流式基准，但延迟仅1-2秒。
2026-05-14 cs.AI cs.CL eess.AS
Self-Supervised Representations Improve End-to-End Speech Translation
Facebook AI（Facebook人工智能）
端到端语音到文本翻译可以提供更简单，更小的系统，但面临着数据稀缺的挑战。预训练方法可以利用未标记的数据，并且已被证明在数据稀缺的情况下是有效的。在这项工作中，我们探讨了自我监督的预训练语音表示是否可以在高资源和低资源环境中有益于语音翻译任务，它们是否可以很好地转移到其他语言，以及它们是否可以有效地与其他有助于改善低资源端到端语音翻译的常用方法相结合，例如使用预训练的高资源语音识别系统。我们证明，自我监督的预训练特征可以持续提高翻译性能，跨语言迁移允许扩展到各种语言，而无需或只需很少的调整。
2020-10-25 cs.CL cs.SD eess.AS
