From Speech-to-Speech Translation to Automatic Dubbing
Amazon（亚马逊）
我们提出了增强语音到语音翻译管道，以执行自动配音。我们的架构具有神经机器翻译生成首选长度的输出，翻译与原始语音片段的韵律对齐，神经文本到语音与每个话语的持续时间的微调，最后，音频渲染以丰富文本到语音输出与从原始音频中提取的背景噪声和混响。我们报告的自动配音的摘录TED演讲从英语到意大利语，这措施的自动配音的感知自然度和每个建议的增强的相对重要性的主观评价。
2020-02-02 cs.CL cs.SD eess.AS
Direct Simultaneous Speech-to-Speech Translation with Variational Monotonic Multihead Attention
Johns Hopkins University（约翰斯·霍普金斯大学）；Meta；Maastricht University（马斯特里赫特大学）
本文提出了一种直接同步语音到语音翻译（Simul-S2 ST）模型。我们的方法利用了离散单元直接语音到语音翻译的最新进展，其中以无监督方式学习的离散表示序列而不是连续的频谱图特征，从模型中预测并直接传递给声码器进行语音合成。我们还引入了变分单调多头注意（V-MMA），以应对语音同传中低效的策略学习的挑战。然后，同时策略对源语音特征和目标离散单元进行操作。我们进行了实证研究，比较级联和直接的方法对Fisher西班牙语-英语和Must-C英语-西班牙语数据集。直接同步模型通过在翻译质量和延迟之间实现更好的折衷而优于级联模型。
2022-01-12 cs.CL cs.SD eess.AS
Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation
Meta AI
直接语音到语音翻译（S2 ST）模型遭受数据稀缺问题，因为与包括自动语音识别（ASR）、机器翻译（MT）和文本到语音（TTS）合成的常规级联系统可用的数据量相比，几乎不存在并行S2 ST数据。在这项工作中，我们探索了使用未标记语音数据和数据增强的自监督预训练来解决这个问题。我们利用最近提出的语音到单元翻译（S2 UT）框架，该框架将目标语音编码为离散表示，并通过研究语音编码器和离散单元解码器的预训练，将适用于语音到文本翻译（S2 T）的预训练和有效的部分微调技术转移到S2 UT域。我们对西班牙语-英语翻译的实验表明，与平均6.6-12.1 BLEU增益的多任务学习相比，自监督预训练始终提高了模型性能，并且可以进一步与数据增强技术相结合，该技术应用MT来创建弱监督训练数据。音频样本可在https://facebookresearch.github.io/speech_translation/enhanced_direct_s2st_units/index.html上获得。
2022-09-13 cs.CL cs.SD eess.AS
Exploring Phoneme-Level Speech Representations for End-to-End Speech Translation
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
以前的语音端到端翻译工作主要使用帧级特征作为语音表示，这会创建比文本更长、更稀疏的序列。我们表明，一个天真的方法来创建压缩音素的语音表示是更有效和高效的翻译比传统的帧级语音功能。具体来说，我们为语音帧生成音素标签，并对具有相同标签的连续帧进行平均，以创建更短，更高级别的源序列进行翻译。我们在高资源和低资源语言对上都看到了高达5个BLEU的改进，训练时间减少了60%。我们的改进适用于多种数据大小和两种语言对。
2019-06-04 cs.CL cs.SD eess.AS
Dub-S2ST: Textless Speech-to-Speech Translation for Seamless Dubbing
Korea Advanced Institute of Science and Technology（韩国科学技术院）
Dub-S2ST通过无文本语音到语音翻译模型实现无缝配音，保留语音特征并提升翻译质量。
2025-12-29 cs.CL cs.SD eess.AS
Speech Segmentation Optimization using Segmented Bilingual Speech Corpus for End-to-end Speech Translation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
语音分割是将长语音分割成短语音段的过程，是语音翻译的关键。流行的VAD工具，如WebRTC VAD，通常依赖于基于暂停的分段。不幸的是，语音中的停顿不一定与句子边界匹配，句子可以通过很短的停顿连接起来，这很难被VAD检测到。在这项研究中，我们提出了一种语音分割方法，使用二进制分类模型训练使用分割的双语语音语料库。我们还提出了一种混合的方法，结合VAD和上述语音分割方法。实验结果表明，该方法更适合级联和端到端ST系统比传统的分割方法。混合方法进一步提高了翻译性能。
2022-07-13 cs.CL cs.SD eess.AS
TranSentence: Speech-to-speech Translation via Language-agnostic Sentence-level Speech Encoding without Language-parallel Data
Korea University（高丽大学）
提出无需语言平行数据的语音到语音翻译模型 TranSentence，通过语言无关句子级语音编码和单语数据训练实现跨语言语音生成，并扩展至多语言翻译且性能优于其他模型。
2024-01-17 cs.CL cs.SD eess.AS
MSLM-S2ST: A Multitask Speech Language Model for Textless Speech-to-Speech Translation with Speaker Style Preservation
Carnegie Mellon University（卡内基梅隆大学）；Meta AI；The Chinese University of Hong Kong（香港中文大学）
本文提出多任务语音语言模型MSLM，一种仅解码器架构，在不依赖文本数据的情况下实现保留说话人风格的多语言语音到语音翻译。
2024-03-19 cs.CL cs.SD eess.AS
SimulS2S-LLM: Unlocking Simultaneous Inference of Speech LLMs for Speech-to-Speech Translation
Department of Engineering, University of Cambridge（剑桥大学工程系）；Shanghai Jiao Tong University（上海交通大学）
提出SimulS2S-LLM，通过离线训练和测试时策略实现语音LLM的同步语音到语音翻译，利用边界感知提示和增量波束搜索，在CVSS上以相似延迟提升ASR-BLEU 3分。
2025-04-22 cs.CL cs.SD eess.AS
The USTC-NEL Speech Translation system at IWSLT 2018
University of Science and Technology of China（中国科学技术大学）；IFLYTEK Co. LTD.（科大讯飞股份有限公司）
本文介绍了USTC-NEL系统在2018年IWITHING评估中的语音翻译任务。该系统是一个传统的流水线系统，包括3个模块：语音识别，后处理和机器翻译。我们训练一组混合HMM模型用于语音识别，对于机器翻译，我们训练基于Transformer的神经机器翻译模型，以语音识别输出样式文本作为输入。在IWIT 2018任务上进行的实验表明，与KIT的基线系统相比，我们的系统实现了14.9 BLEU的改进。
2018-12-06 cs.CL cs.SD eess.AS
FST: the FAIR Speech Translation System for the IWSLT21 Multilingual Shared Task
Facebook AI Research（Facebook AI研究院）
在本文中，我们描述了我们的端到端多语言语音翻译系统，该系统提交给了IWITH2021多语言语音翻译共享任务的评估活动。我们的系统是通过利用跨模式、任务和语言的迁移学习构建的。首先，我们利用通用的多语言模块，这些模块使用大量未标记和标记的数据进行预训练。我们进一步通过联合训练两个任务来实现从文本任务到语音任务的知识转移。最后，我们的多语言模型在语音翻译任务特定的数据上进行微调，以达到最佳的翻译结果。实验结果表明，我们的系统优于报告的系统，包括端到端和级联的方法，由一个很大的利润。在某些翻译方向上，我们在公共多语言TEDx测试集上评估的语音翻译结果甚至可以与使用Oracle语音转录作为输入的强大文本到文本翻译系统的结果相媲美。
2021-08-14 cs.CL cs.SD eess.AS
Joint Pre-Training with Speech and Bilingual Text for Direct Speech to Speech Translation
Microsoft Research Asia（微软亚洲研究院）
直接语音到语音翻译（S2 ST）是一个有吸引力的研究课题，与级联S2 ST相比具有许多优点。然而，直接S2 ST遭受数据稀缺的问题，因为从源语言的语音到目标语言的语音的语料库是非常稀少的。为了解决这个问题，我们在本文中提出了一个Speech 2S模型，该模型使用未配对的语音和双语文本数据进行联合预训练，用于直接语音到语音翻译任务。通过有效地利用成对的文本数据，Speech 2S能够建模从源语言到目标语言的跨语言语音转换。我们在Europarl-ST和VoxPopuli数据集上验证了所提出的Speech 2S的性能。实验结果表明，与仅编码器的预训练模型相比，Speech 2S的BLEU分数提高了约5分，并且比现有的最先进的模型1具有竞争力甚至更好的性能。
2022-10-31 cs.CL cs.SD eess.AS
Simple and Effective Unsupervised Speech Translation
Meta - Fundamental AI Research (FAIR)（Meta基础人工智能研究院（FAIR））
用于训练语音任务模型的标记数据量对于大多数语言是有限的，然而，对于需要覆盖两种不同语言的标记数据的语音翻译，数据稀缺性加剧。为了解决这个问题，我们研究了一种简单而有效的方法来构建语音翻译系统，而无需标记数据，通过利用无监督语音识别，机器翻译和语音合成的最新进展，无论是在管道方法中，还是生成伪标签用于训练端到端的语音翻译模型。此外，我们提出了一个无监督领域自适应技术的预训练的语音模型，提高了下游无监督语音识别的性能，特别是对于低资源设置。实验表明，在Libri-Trans基准测试中，无监督语音到文本翻译的性能比以前的无监督技术高出3.2 BLEU，在CoVoST 2上，我们最好的系统在五个X-En方向上的性能比两年前最好的有监督端到端模型（没有预训练）高出5.0 BLEU。我们还报告了MuST-C和CVSS基准测试的竞争结果。
2022-10-18 cs.CL cs.SD eess.AS
LibriS2S: A German-English Speech-to-Speech Translation Corpus
Maastricht University（马斯特里赫特大学）
最近，我们看到人们对语音到文本翻译的兴趣越来越大。这导致了这一领域令人惊讶的进步。相比之下，语音翻译领域的活动仍然有限，尽管克服语言障碍至关重要。我们认为，限制因素之一是能否获得适当的训练数据。我们通过创建LibriS2S来解决这个问题，据我们所知，LibriS2S是第一个公开的德语和英语之间的语音到语音训练语料库。对于这个语料库，我们使用了独立创建的德语和英语音频，从而使两种语言的文本发音没有偏见。这允许创建新的文本到语音和语音到语音翻译模型，其直接学习以基于源语言的发音来生成语音信号。使用这个创建的语料库，我们提出了文本到语音模型的基础上，最近提出的FastSpeech 2模型，集成了源语言信息的例子。我们通过调整模型来实现这一点，以将源语音中的音高、能量或转录等信息作为额外的输入。
2022-04-22 cs.CL cs.SD eess.AS
Textless Direct Speech-to-Speech Translation with Discrete Speech Representation
Google Research（谷歌研究院）
语音到语音翻译（Speech-to-Speech Translation，S2 ST）的研究近年来发展迅速。许多端到端的系统已经被提出，并显示出优于传统的级联系统，这往往是由识别，翻译和合成子系统。然而，大多数端到端系统在训练期间仍然依赖于中间文本监督，这使得它不适合没有书面形式的语言。在这项工作中，我们提出了一种新的模型，无文本的Translatotron，它是基于Translatotron 2，用于训练一个端到端的直接S2 ST模型，没有任何文本的监督。代替如在Translatotron 2中那样与预测目标音素的辅助任务联合训练，所提出的模型使用预测从学习或随机语音量化器获得的离散语音表示的辅助任务。当使用无监督语音数据预训练的语音编码器用于这两个模型时，所提出的模型在多语言CVSS-C语料库以及双语Fisher西班牙语-英语语料库上获得的翻译质量几乎与Translatotron 2相当。在后者上，它比现有的最先进的无文本模型的性能高出+18.5 BLEU。
2022-10-31 cs.CL cs.SD eess.AS
Direct Speech to Speech Translation: A Review
Aligarh Muslim University（阿里格尔穆斯林大学）
本文综述了直接语音到语音翻译技术，对比级联模型与端到端直接模型的优劣，指出直接模型在保留韵律和降低延迟方面的优势及其在数据、算力和低资源语言上的挑战，并展望未来方向。
2025-03-03 cs.CL cs.SD eess.AS
Self-Supervised Representations Improve End-to-End Speech Translation
Facebook AI（Facebook人工智能）
端到端语音到文本翻译可以提供更简单，更小的系统，但面临着数据稀缺的挑战。预训练方法可以利用未标记的数据，并且已被证明在数据稀缺的情况下是有效的。在这项工作中，我们探讨了自我监督的预训练语音表示是否可以在高资源和低资源环境中有益于语音翻译任务，它们是否可以很好地转移到其他语言，以及它们是否可以有效地与其他有助于改善低资源端到端语音翻译的常用方法相结合，例如使用预训练的高资源语音识别系统。我们证明，自我监督的预训练特征可以持续提高翻译性能，跨语言迁移允许扩展到各种语言，而无需或只需很少的调整。
2020-10-25 cs.CL cs.SD eess.AS
Direct Punjabi to English speech translation using discrete units
Wayne State University（韦恩州立大学）；Utah State University（犹他州立大学）；University of Delaware（特拉华大学）
本文提出一种基于离散声学单元和Transformer的直接旁遮普语到英语语音翻译模型U2UT，实验表明其BLEU分数比S2UT模型高3.69，推动了低资源语言语音翻译研究。
2024-02-25 cs.CL cs.SD eess.AS
Multilingual Speech-to-Speech Translation into Multiple Target Languages
Meta AI Research（Meta人工智能研究院）
本文提出首个支持多种目标语言的多语言S2ST系统，通过S2MU掩码非目标语言单元并结合语言嵌入与LID辅助损失训练多语言声码器，在英译16种目标语言上优于双语模型。
2023-07-17 cs.CL cs.SD eess.AS
NeurST: Neural Speech Translation Toolkit
ByteDance（字节跳动）
NeurST是一个用于神经语音翻译的开源工具包。该工具包主要专注于端到端语音翻译，易于使用，修改和扩展到高级语音翻译研究和产品。NeurST旨在促进NLP研究人员的语音翻译研究，并为该领域建立可靠的基准。它为特征提取、数据预处理、分布式训练和评估提供了一步一步的方法。在本文中，我们将介绍NeurST的框架设计，并显示不同的基准数据集的实验结果，这可以被视为未来研究的可靠基线。该工具包可在https://github.com/bytedance/neurst/上公开获取，我们将在https://st-benchmark.github.io/上与其他同行和研究一起不断更新NeurST的性能。
2021-06-15 cs.CL cs.SD eess.AS
The IWSLT 2021 BUT Speech Translation Systems
Brno University of Technology（布尔诺理工大学）
本文介绍了BUT为IWSLT 2021开发的英语到德语离线语音翻译（ST）系统。它们基于联合训练的自动语音识别-机器翻译模型。它们的性能在MustC-Common测试集上进行了评估。在这项工作中，我们从具有大量单独的ASR训练数据和MT训练数据以及少量的语音翻译训练数据的角度来研究它们的效率。大量的ASR和MT训练数据被用于预训练ASR和MT模型。语音翻译数据用于通过定义从语音到翻译的端到端可区分路径来联合优化ASR-MT模型。为此，我们使用ASR解码器的内部连续表示作为MT模块的输入。我们表明，语音翻译可以进一步提高训练ASR解码器联合MT模块使用大量的纯文本MT训练数据。我们还通过训练能够生成标点文本的ASR模块，而不是将标点任务留给MT模块来显示显着的改进。
2021-07-13 cs.CL cs.SD eess.AS
Tackling data scarcity in speech translation using zero-shot multilingual machine translation techniques
Mediaan
最近，端到端语音翻译（ST）由于避免了错误传播而受到了极大的关注。然而，这一方法受到数据稀缺的影响。它严重依赖于直接ST数据，并且在利用语音转录和文本翻译数据方面效率较低，这些数据通常更容易获得。在多语言文本翻译的相关领域中，已经提出了用于zero-shot翻译的若干技术。其主要思想是增加不同语言中语义相似的句子的相似性。我们研究这些想法是否可以应用到语音翻译，通过建立ST模型训练语音转录和文本翻译数据。我们研究了数据增强和辅助损失函数的效果。这些技术成功应用于使用有限ST数据的Few-Shot ST，与直接端到端ST相比，BLEU点提高了+12.9，与从ASR模型微调的ST模型相比，BLEU点提高了+3.1。
2022-01-26 cs.CL cs.SD eess.AS
Lightweight Audio Segmentation for Long-form Speech Translation
NAVER Cloud（NAVER云）；KAIST（韩国科学技术院）
本文提出面向长语音翻译的轻量级音频分割模型，通过带标点 ASR 预训练并与底层 ST 系统适当集成，以更小模型规模提升翻译质量。
2024-06-15 cs.CL cs.SD eess.AS
Multilingual Simultaneous Speech Translation
Maastricht University（马斯特里赫特大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
为会议等活动期间的同步语音翻译而设计的应用程序需要在显示翻译文本时平衡质量和延迟，以提供良好的用户体验。构建在线口语翻译系统的一种常见方法是利用为离线语音翻译构建的模型。基于一种适应端到端单语模型的技术，我们研究了多语言模型和不同的架构（端到端和级联）执行在线语音翻译的能力。在多语言TEDx语料库，我们表明，该方法推广到不同的架构。我们看到不同语言和架构在延迟减少方面有类似的收益（相对40%）。然而，在适应在线模式后，端到端架构导致的翻译质量损失较小。此外，该方法甚至可扩展到zero-shot方向。
2022-03-29 cs.CL cs.SD eess.AS
A Holistic Cascade System, benchmark, and Human Evaluation Protocol for Expressive Speech-to-Speech Translation
Meta AI
表达性语音到语音翻译（S2ST）旨在将源语音的韵律属性传递到目标语音，同时保持翻译的准确性。现有的研究表达S2ST是有限的，通常集中在一个单一的表现力方面的时间。同样，这个研究领域缺乏标准的评估协议和精心策划的基准数据集。在这项工作中，我们提出了一个整体的级联系统表达S2ST，结合多种韵律传输技术以前只考虑在隔离。我们在电视剧领域策划了一个基准表现力测试集，并在有声读物领域探索了第二个数据集。最后，我们提出了一个人的评价协议，以评估多个表达层面的语音对。实验结果表明，双语标注器可以评估的质量，在S2ST系统的表达保留，整体建模方法优于单方面系统。音频样本可以通过我们的演示网页访问：https://facebookresearch.github.io/speech_translation/cascade_expressive_s2st。
2023-01-25 cs.CL cs.SD eess.AS
StreamUni: Achieving Streaming Speech Translation with a Unified Large Speech-Language Model
Li Auto（利奥汽车）
本文提出 StreamUni，通过统一的大型语音语言模型结合语音思维链实现流式语音翻译，同时完成语音分割、策略决策与翻译生成，并在无需大量策略训练的情况下达到最先进性能。
2025-07-13 cs.CL cs.SD eess.AS
Bemba Speech Translation: Exploring a Low-Resource African Language
Kreasof AI Research Labs（Kreasof人工智能研究实验室）；African Institute for Mathematical Sciences (AIMS)（非洲数学科学研究所）；Trinity College Dublin（都柏林三一学院）
本文针对IWSLT 2025低资源赛道，基于Whisper和NLLB-200构建Bemba到英语的级联语音翻译系统，并采用回译等数据增强技术探究合成数据的影响。
2025-06-02 cs.CL cs.SD eess.AS
ESPnet-ST: All-in-One Speech Translation Toolkit
Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）；Johns Hopkins University（约翰斯·霍普金斯大学）；NTT Communication Science Laboratories（日本电信电话通信科学实验室）；Waseda University（早稻田大学）；Nagoya University（名古屋大学）；Human Dataware Lab. Co., Ltd.（人类数据软件实验室有限公司）
我们介绍了ESPnet-ST，它是专为在一个单一的框架中快速开发语音到语音翻译系统。ESPnet-ST是端到端语音处理工具包ESPnet中的一个新项目，它集成或新实现了自动语音识别、机器翻译和用于语音翻译的文本到语音功能。我们为各种基准数据集提供包括数据预处理、特征提取、训练和解码管道在内的一体化配方。我们的可重复结果可以匹配甚至优于当前最先进的性能;这些预训练模型可下载。该工具包可在https://github.com/espnet/espnet上公开查阅。
2020-09-30 cs.CL cs.SD eess.AS
Efficient Speech Translation with Dynamic Latent Perceivers
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Meta AI
Transformers是近年来语音翻译的主流架构，在翻译质量方面取得了显著的进步。由于语音信号比其文本对应物长，并且由于Transformer的二次复杂性，下采样步骤对于其在语音翻译中的采用是必不可少的。相反，在这项研究中，我们建议使用感知器编码器映射的语音输入到一个固定长度的潜在表示，以减轻复杂性。此外，我们引入了一种新的训练感知器的方法，使用动态潜在访问（DLA），在没有任何额外计算开销的情况下解锁更大的潜在空间。具有DLA的语音转文本感知器可以在MuST-C中的三种语言对上匹配Transformer基线的性能。最后，DLA训练的模型在推理时很容易适应DLA，并且可以灵活地部署各种计算预算，而不会显着降低翻译质量。
2023-03-14 cs.CL cs.SD eess.AS
Impact of Encoding and Segmentation Strategies on End-to-End Simultaneous Speech Translation
Naver Labs Europe
在IWITH 2020的同声翻译共享任务的推动下，最近提出了有前途的端到端在线语音翻译方法。它们包括增量地编码语音输入（以源语言）和解码相应的文本（以目标语言），在延迟和翻译质量之间具有最佳可能的折衷。本文研究了端到端同步语音翻译的两个关键方面：（a）如何有效地编码连续的语音流，以及（b）如何分割语音流，以便在读（R：编码输入）和写（W：解码输出）操作之间进行最佳交替。我们扩展了我们之前提出的端到端在线解码策略，并表明虽然用ULSTM编码取代BLSTM会降低离线模式下的性能，但它实际上提高了在线模式下的效率和性能。我们还测量了不同方法对语音信号进行分段的影响（使用固定的间隔边界，Oracle单词边界或随机设置的边界），并表明我们最好的端到端在线解码策略是令人惊讶的是，在我们的英语-德语语音翻译设置上，在固定大小的块上交替进行R/W操作。
2021-06-14 cs.CL cs.SD eess.AS
Representation Purification for End-to-End Speech Translation
School of Informatics, Xiamen University（厦门大学信息学院）
针对语音到文本翻译中音色、节奏等内容无关因素限制知识迁移效率的问题，提出SRPSE框架纯化语音表示，排除无关成分，在MuST-C等数据集上显著提升多设置下的翻译性能。
2024-12-05 cs.CL cs.SD eess.AS
Scheduled Interleaved Speech-Text Training for Speech-to-Speech Translation with LLMs
Sony Group CorporationJapan（索尼集团日本公司）；Sony EuropeGermany（索尼欧洲德国分公司）；Carnegie Mellon UniversityUSA（卡内基梅隆大学美国分校）
针对大语言模型适配语音模态时数据不足的问题，提出调度式交错语音-文本训练法，通过词级交错文本并逐步降比实现渐进模态适配，在CVSS数据集上微调LLaMA3.2-1B验证了其对翻译性能的提升作用，低资源语言效果更明显。
2025-06-12 cs.CL cs.SD eess.AS
Multilingual Speech Translation with Unified Transformer: Huawei Noah's Ark Lab at IWSLT 2021
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文介绍了华为诺亚方舟实验室提交给IWIE 2021多语言语音翻译（MultiST）任务的系统。我们为MultiST模型使用统一的Transformer架构，以便来自不同模态的数据（即，语音和文本）和不同的任务（即，语音识别、机器翻译和语音翻译）可以用来增强模型的能力。具体地，语音和文本输入首先被馈送到不同的特征提取器以分别提取声学和文本特征。然后，这些特征由共享的编码器-解码器架构处理。我们应用了几种训练技术来提高性能，包括多任务学习，任务级课程学习，数据增强等。我们的最终系统在监督语言对上取得了比双语基线更好的结果，并在zero-shot语言对上产生了合理的结果。
2021-06-22 cs.CL cs.SD eess.AS
Improving speech translation by fusing speech and text
Nanjing University（南京大学）；ByteDance（字节跳动）
针对语音与文本间的三层模态差距，提出跨模态模型FST，支持语音、文本及融合输入，通过跨模态对齐技术在多个基准上显著提升语音翻译性能且不损害机器翻译效果。
2023-05-23 cs.CL cs.SD eess.AS
Efficient Speech Translation with Pre-trained Models
Maastricht University（马斯特里赫特大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
当构建最先进的语音翻译模型时，由于大的训练数据大小和复杂的模型，对大的计算资源的需要是显著的障碍。预训练模型的可用性是有效构建强大的语音翻译系统的一个有希望的机会。在第一步中，我们研究了基于预训练模型构建级联和端到端语音翻译系统的有效策略。使用这种策略，我们可以在单个GPU上训练和应用模型。虽然端到端模型显示出优于级联模型的转换性能，但该技术的应用对额外的端到端训练数据的需求有限制。在第二步中，我们提出了一个额外的相似性损失，以鼓励模型为语音和转录生成类似的隐藏表示。在端到端训练数据有限的情况下，使用这种技术可以提高数据效率，并将翻译质量提高6个BLEU点。
2022-11-09 cs.CL cs.SD eess.AS
Textless Acoustic Model with Self-Supervised Distillation for Noise-Robust Expressive Speech-to-Speech Translation
Meta AI
本文提出一种结合 DINO 自监督蒸馏的无文本 U2S 生成器，通过捕获噪声无关的表现力表征，在保持干净环境性能的同时显著提升噪声环境下表现力语音到语音翻译的鲁棒性。
2024-06-04 cs.CL cs.SD eess.AS
AdaTranS: Adapting with Boundary-based Shrinking for End-to-End Speech Translation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
为了缓解端到端语音翻译中的数据稀缺问题，对语音识别和机器翻译的数据进行预训练被认为是一项重要的技术。然而，语音和文本之间的模态差距阻碍了ST模型从预训练模型有效地继承知识。在这项工作中，我们提出了AdaTransS端到端ST。它适应语音特征与一个新的收缩机制，以减轻语音和文本特征之间的长度不匹配预测词的边界。在MUST-C数据集上的实验表明，AdaTransS比其他基于收缩的方法具有更高的推理速度和更低的内存占用率。进一步的实验还表明，AdaTransS可以配备额外的对齐损失，以进一步提高性能。
2022-12-17 cs.CL cs.SD eess.AS
ComSL: A Composite Speech-Language Model for End-to-End Speech-to-Text Translation
Shanghai Jiao Tong University（上海交通大学）；Microsoft Cloud and AI（微软云与人工智能部门）；Microsoft Research Asia（微软亚洲研究院）
针对语音-语言联合训练的数据和GPU消耗大及模态差距问题，提出基于复合预训练架构的ComSL模型，结合跨模态与迁移学习，在CoVoST2上以31.5 BLEU刷新21语言语音到英语翻译纪录。
2023-10-14 cs.CL cs.SD eess.AS
CVSS-X: A Multilingual Speech-to-Speech Translation Corpus for 28 Languages
Federal University of Goiás（戈亚斯联邦大学）；Federal University of Mato Grosso（马托格罗索联邦大学）；São Paulo State University（圣保罗州立大学）
CVSS-X是一个大规模合成语音到语音翻译语料库，支持英语到28种语言的翻译，总时长超16,000小时，提供标准语音和跨语言克隆两种变体，质量与CVSS相当，促进双向多语种翻译研究。
2026-09-16 cs.CL cs.SD eess.AS
The USTC-NELSLIP Systems for Simultaneous Speech Translation Task at IWSLT 2021
University of Science and Technology of China（中国科学技术大学）；iFlytek Research（讯飞研究院）
本文介绍了中国科学技术大学-奈斯利普公司提交的IWSLT 2021同步语音翻译任务。我们提出了一种新的同声翻译模型，交叉注意增强转换器（CAAT），它将传统的RNN-T扩展到没有单调约束的序列到序列任务，例如，同声传译语音到文本（S2 T）和文本到文本（T2 T）的同声翻译任务的实验表明，CAAT实现了更好的质量-延迟权衡相比，\textit{wait-k}，以前的国家的最先进的方法之一。基于CAAT体系结构和数据增强，我们在这次评估活动中建立了S2 T和T2 T同声翻译系统。与去年的最佳系统相比，我们的S2 T同声翻译系统在所有延迟状态下平均提高了11.3 BLEU，我们的T2 T同声翻译系统平均提高了4.6 BLEU。
2021-07-09 cs.CL cs.SD eess.AS
Structured-based Curriculum Learning for End-to-end English-Japanese Speech Translation
Graduate School of Information Science, Nara Institute of Science and Technology（奈良先端科学技术大学院大学信息科学研究生院）
序列到序列的基于注意力的神经网络架构已经被证明为机器翻译和语音识别提供了一个强大的模型。最近，一些作品试图扩展模型的端到端的语音翻译任务。然而，这些模型的有用性仅在具有相似句法和词序的语言对上进行了研究（例如，英语-法语或英语-西班牙语）。在这项工作中，我们专注于端到端的语音翻译任务的句法遥远的语言对（例如，英语-日语），需要遥远的单词重新排序。为了引导编码者-解码者注意模型学习这一难题，我们提出了一种基于结构化的课程学习策略。与传统的课程学习，逐渐强调困难的数据的例子，我们形式化的学习策略，从更容易的网络结构，更困难的网络结构。在这里，我们从语音识别或基于文本的机器翻译任务的端到端编码器-解码器开始训练，然后逐渐转移到端到端语音翻译任务。实验结果表明，与没有课程学习的方法相比，所提出的方法可以提供显着的改善。
2018-02-13 cs.CL cs.SD eess.AS
Enhancing expressivity transfer in textless speech-to-speech translation
Avignon Universite（阿维尼翁大学）；University of Cambridge（剑桥大学）
本研究提出一种在离散语音单元级别利用多语言情感嵌入的方法，以增强无文本语音到语音翻译中的表现力迁移，实验证明其优于现有系统。
2023-10-11 cs.CL cs.SD eess.AS
Simultaneous Speech-to-Speech Translation Without Aligned Data
LIA, University of Avignon, France（LIA，阿维尼翁大学，法国）
Hibiki-Zero无需词级对齐数据，通过句子级对齐和强化学习策略实现高精度的同时语音翻译，支持多种语言并提升翻译质量与效率。
2026-07-23 cs.CL cs.SD eess.AS
End-to-End Speech Translation for Code Switched Speech
Johns Hopkins University（约翰斯·霍普金斯大学）；Apple（苹果公司）
语码转换是指不同语言中的词汇和短语在语言交际中相互转换的现象。由于底层系统通常是单语的，CS可能会对NLP的准确性提出重大挑战。在这项工作中，我们专注于CS在英语/西班牙语会话的语音翻译（ST）的任务，生成和评估成绩单和翻译的背景下。为了评估模型在这项任务上的性能，我们创建了一个新的ST语料库，来自现有的公共数据集。我们在两个维度上探索各种ST架构：级联（转录然后翻译）与端到端（联合转录和翻译）以及单向（源->目标）与双向（源<->目标）。我们表明，我们的ST架构，特别是我们的双向端到端架构，执行CS语音，即使没有CS训练数据使用。
2022-04-11 cs.CL cs.SD eess.AS
Improving Cascaded Unsupervised Speech Translation with Denoising Back-translation
National Taiwan University（国立台湾大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出去噪反向翻译方法构建无监督级联语音翻译系统，在CoVoST 2和CVSS上取得与早期监督方法相当的结果，并将BLEU分数提升0.7--0.9。
2023-05-12 cs.CL cs.SD eess.AS
Analyzing Speech Unit Selection for Textless Speech-to-Speech Translation
LIA - Avignon Universite（阿维尼翁大学LIA研究所）；University of Cambridge（剑桥大学）
本研究探讨了无文本语音到语音翻译中目标语音单元的选择标准，通过下游任务分析发现，重合成性能优异的单元未必能提升翻译效能，揭示了目标特征选择对系统整体性能的复杂影响。
2024-07-08 cs.CL cs.LG cs.SD
DUB: Discrete Unit Back-translation for Speech Translation
Fudan University（复旦大学）；ByteDance AI Lab（字节跳动人工智能实验室）
提出离散单元回译（DUB）方法，通过无监督离散单元表示语音以弥合模态鸿沟，将机器翻译回译技术应用于直接语音翻译，在MuST-C上平均提升5.5 BLEU，并在低资源场景下取得与依赖外部数据的现有方法相当的性能。
2023-05-19 cs.CL cs.SD eess.AS
Enhancing Speech-to-Speech Translation with Multiple TTS Targets
Carnegie Mellon University（卡内基梅隆大学）；Meta AI
本文针对直接语音到语音翻译的数据稀缺问题，提出一种利用不同TTS系统的多个目标语音联合优化S2ST的多任务框架，在Fisher数据集上取得2.8 BLEU提升。
2023-04-10 cs.CL cs.SD eess.AS
Code-Switching without Switching: Language Agnostic End-to-End Speech Translation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了a）一个语言无关的端到端语音翻译模型（LAST），和b）一个数据增强策略，以提高代码切换（CS）的性能。随着全球化的发展，在流利的演讲中，多种语言越来越多地互换使用。这样的CS使传统的语音识别和翻译复杂化，因为我们必须识别首先说的是哪种语言，然后应用依赖于语言的识别器和随后的翻译组件来生成期望的目标语言输出。这样的流水线引入延迟和错误。在本文中，我们消除了需要，通过治疗语音识别和翻译作为一个统一的端到端的语音翻译问题。通过用两种输入语言训练LAST，我们将语音解码为一种目标语言，而不管输入语言是什么。LAST在单语使用中提供了相当的识别和语音翻译准确性，同时在观察到CS时大大降低了延迟和出错率。
2022-11-09 cs.CL cs.LG cs.SD
Decision Attentive Regularization to Improve Simultaneous Speech Translation Systems
Samsung Research（三星研究院）
同声翻译系统在处理传入输入流中的部分源句子的同时开始产生输出。这些系统需要决定何时读取更多的输入，何时写入输出。这些决定取决于源/目标语言的结构和包含在部分输入序列中的信息。因此，读/写决策策略在不同的输入模态之间保持相同，即，语音和文本。这促使我们利用对应于语音输入的文本转录来改进同步语音到文本翻译（SimulST）。我们提出了决策注意正则化（DAR），以改善决策政策的SimulST系统通过使用同步文本到文本翻译（SimulMT）的任务。我们还从离线语音翻译领域扩展了几种技术，以探索SimulMT任务在提高SimulST性能方面的作用。总体而言，我们在Must-C英语-德语（EnDe）SimulST任务的不同延迟机制中实现了34.66%/4.5 BLEU的基线模型改进。
2022-06-17 cs.CL cs.SD eess.AS
Curriculum Pre-training for End-to-End Speech Translation
Nankai University（南开大学）；Microsoft Research Asia（微软亚洲研究院）
端到端语音翻译对编码器造成了沉重的负担，因为它必须同时转录，理解和学习跨语言语义。为了获得强大的编码器，传统方法在ASR数据上对其进行预训练以捕获语音特征。然而，我们认为，仅通过简单的语音识别来预训练编码器是不够的，应该考虑高级语言知识。受此启发，我们提出了一个课程预训练方法，其中包括一个初级课程的转录学习和两个高级课程的理解话语和映射两种语言的话。这些课程的难度正在逐渐增加。实验表明，我们的课程预训练方法导致显着改善En-De和En-Fr语音翻译基准。
2020-04-21 cs.CL cs.SD eess.AS
StreamSpeech: Simultaneous Speech-to-Speech Translation with Multi-task Learning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）；School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院）
提出StreamSpeech模型，通过多任务学习统一框架联合学习翻译与同声策略，实现离线与同声语音识别、翻译及合成的无缝处理，在CVSS基准上达到SOTA，并提供高质量中间结果。
2024-06-05 cs.AI cs.CL cs.SD
Speech-to-Speech Translation For A Real-world Unwritten Language
Meta AI
我们研究语音到语音翻译（S2 ST），将语音从一种语言翻译成另一种语言，并专注于构建系统来支持没有标准文本编写系统的语言。我们使用英语-台湾闽南语作为案例研究，并提出了一个端到端的解决方案，从训练数据收集，建模选择到基准数据集发布。首先，我们介绍了创建人类注释数据，从大型未标记语音数据集中自动挖掘数据，并采用伪标记来产生弱监督数据的努力。在建模方面，我们利用了最新的进展，将自监督离散表示应用于S2 ST中的预测目标，并显示了在模型训练中利用普通话（一种类似于福建话的语言）的额外文本监督的有效性。最后，我们发布了一个S2 ST基准集，以促进未来在这一领域的研究。该演示可以在https://huggingface.co/spaces/facebook/Hokkien_Translation上找到。
2022-11-11 cs.CL cs.SD eess.AS
SkinAugment: Auto-Encoding Speaker Conversions for Automatic Speech Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；Facebook（脸书）
我们提出了自动编码说话人转换的训练数据增强自动语音翻译。这种技术直接转换音频序列，导致音频合成为类似于另一个说话者的声音。我们的方法相比毫不逊色SpecAugment英语$\to$法语和英语$\to$罗马尼亚语自动语音翻译（AST）的任务，以及低资源英语自动语音识别（ASR）的任务。此外，在消融中，我们展示了增强数据的数量和多样性的好处。最后，我们表明，我们可以结合我们的方法与增强机器翻译的成绩单，以获得一个有竞争力的端到端AST模型，优于一个非常强大的级联模型上的英语$\to$法国AST任务。我们的方法是足够的一般，它可以应用到其他语音生成和分析任务。
2020-02-27 cs.CL cs.SD eess.AS
