Leveraging Pseudo-labeled Data to Improve Direct Speech-to-Speech Translation
Bytedance（字节跳动）
直接语音到语音翻译（S2 ST）近年来受到越来越多的关注。由于数据稀缺和复杂的语音到语音映射，这项任务非常具有挑战性。在本文中，我们报告了我们最近在S2 ST的成就。首先，我们建立了一个S2 ST Transformer基线，它优于原来的Translatotron。其次，我们利用伪标记的外部数据，并获得了一个新的国家的最先进的Fisher英语到西班牙语测试集的结果。事实上，我们利用伪数据与流行的技术相结合，这些技术在应用于S2 ST时并不平凡。此外，我们评估我们的方法在句法相似（西班牙语-英语）和遥远（英语-汉语）的语言对。我们的实现可以在https://github.com/fengpeng-yue/speech-to-speech-translation上获得。
2022-05-18 cs.CL eess.AS
Breaking the Data Barrier: Towards Robust Speech Translation via Adversarial Stability Training
NetEase Youdao Information Technology (Beijing) Co., LTD.（网易有道信息技术（北京）有限公司）
在流水线语音翻译系统中，自动语音识别（ASR）系统会将识别错误传递给下游的机器翻译（MT）系统。标准的机器翻译系统通常在由干净文本组成的并行语料库上进行训练，并且在具有识别噪声的文本上表现不佳，这是语音翻译界众所周知的差距。在本文中，我们提出了一个训练架构，旨在使神经机器翻译模型对语音识别错误更强大。我们的方法同时使用对抗学习和数据增强来解决编码器和解码器的问题。在IWSLT2018语音翻译任务上的实验结果表明，我们的方法可以弥合ASR输出和MT输入之间的差距，在有噪声的ASR输出上比基线高出2.83 BLEU，同时在干净文本上保持接近的性能。
2019-10-28 cs.CL eess.AS
DTW-Align: Bridging the Modality Gap in End-to-End Speech Translation with Dynamic Time Warping Alignment
Department of Advanced Computing Sciences（高级计算科学系）
本文提出DTW-Align方法，在训练期间利用动态时间规整对齐语音与文本嵌入，以更准确、更快速地弥合端到端语音翻译中的模态鸿沟，并在低资源场景下多数语言方向上优于现有方法。
2025-09-23 cs.CL
PolyVoice: Language Models for Speech to Speech Translation
ByteDance（字节跳动）
本研究提出基于语言模型的S2ST框架PolyVoice，采用无监督离散语音单元适配无文字语言，结合VALL-E X构建单元音频模型保留原语音特征，在中英、英西翻译任务中实现高翻译与音频质量。
2023-06-13 cs.CL eess.AS
ON-TRAC Consortium for End-to-End and Simultaneous Speech Translation Challenge Tasks at IWSLT 2020
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；Avignon Université（阿维尼翁大学）；Le Mans Université（勒芒大学）
本文介绍了ON-TRAC联盟翻译系统，该系统是为2020年IWTECH评估活动中的两个挑战轨道开发的，即离线语音翻译和同步语音翻译。ON-TRAC联盟由来自三个法国学术实验室的研究人员组成：LIA（阿维尼翁大学），LIG（格勒诺布尔阿尔卑斯大学）和LIUM（勒芒大学）。基于注意力的编码器-解码器模型，经过端到端训练，用于我们提交到离线语音翻译轨道。我们的贡献集中在数据增强和多个模型的集成上。在同步语音翻译轨道中，我们为文本到文本子任务构建了基于transformer的wait-k模型。对于语音到文本的同声翻译，我们附加一个等待k MT系统的混合ASR系统。我们提出了一种算法来控制ASR+MT级联的延迟，并在两个子任务上实现良好的延迟质量折衷。
2020-05-24 cs.CL eess.AS
Bridging Speech and Textual Pre-trained Models with Unsupervised ASR
Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（台湾大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Meta AI
口语语言理解是从口语中提取高级语义的任务。以前的工作已经研究了语音自监督模型和文本预训练模型的使用，这些模型对各种SLU任务都有合理的改进。然而，由于语音信号和文本标记之间的不匹配模态，以前的方法通常需要复杂的框架设计。这项工作提出了一个简单而有效的无监督范式，它连接语音和文本预训练模型，从而为SLU中的各种任务提供了一个无监督的语音到语义预训练模型。具体来说，我们建议使用无监督自动语音识别（ASR）作为连接器，连接语音和文本预训练模型中使用的不同模态。我们的实验表明，无监督ASR本身可以改善语音自监督模型的表示。更重要的是，它被证明是语音和文本预训练模型之间的有效连接器，提高了五种不同SLU任务的性能。值得注意的是，在口语问答方面，我们在具有挑战性的NMSQA基准测试中达到了最先进的结果。
2022-11-06 cs.CL cs.SD eess.AS
Consecutive Decoding for Speech-to-text Translation
ByteDance AI Lab（字节跳动人工智能实验室）
语篇翻译是将源语言的语音直接翻译成目标语言的文本，近年来受到了广泛的关注。然而，语音识别和机器翻译在单个模型中的结合给直接跨模态跨语言映射带来了沉重的负担。为了降低学习难度，我们提出了一种语音到文本翻译的集成方法-其核心思想是用一个解码器生成源译文和目标译文。它有利于模型训练，从而可以充分利用额外的大型平行文本语料库来增强语音翻译训练。我们的方法在三个主流数据集上进行了验证，包括增强LibriSpeech英法数据集，IWSLT 2018英德数据集和TED英中数据集。实验表明，我们提出的COSTT优于或等同于以前的国家的最先进的方法在三个数据集。我们已经在\url{https://github.com/dqqcasia/st}上发布了我们的代码。
2022-04-15 cs.CL eess.AS
Bridging the Modality Gap for Speech-to-Text Translation
National Laboratory of Pattern Recognition, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
端到端语音翻译是将一种语言的语音通过端到端的方式翻译成另一种语言的文本。现有的大多数方法都采用具有单个编码器的编码器-解码器结构来同时学习声学表示和语义信息，这忽略了语音和文本模态的差异，使编码器过载，导致学习这样的模型非常困难。为了解决这些问题，我们提出了一个语音到文本适配语音翻译（STAST）模型，其目的是通过弥合语音和文本之间的模态差距，以提高端到端的模型性能。具体来说，我们将语音翻译编码器解耦为三个部分，并引入收缩机制来匹配语音表示的长度与相应的文本转录。为了获得更好的语义表示，我们将基于文本的翻译模型完全集成到STAST中，以便在同一个潜在空间中训练两个任务。此外，我们引入了跨模态自适应方法来拉近语音和文本表示之间的距离。在英法和英德语音翻译语料库上的实验结果表明，该模型的性能明显优于强基线，达到了新的最先进的性能。
2020-10-28 cs.CL
T5lephone: Bridging Speech and Text Self-supervised Models for Spoken Language Understanding via Phoneme level T5
MediaTek Research（联发科研究院）；National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
在口语语言理解（SLU）中，一种自然的解决方案是将预训练的语音模型（例如HuBERT）和预训练的语言模型（PLM，例如T5）连接起来。大多数以前的作品使用预训练的语言模型与基于子词的标记。然而，输入设备的粒度影响语音模型输出和语言模型输入的对齐，并且具有基于字符的标记化的PLM未被充分探索。在这项工作中，我们进行了广泛的研究如何PLMs与不同的标记化策略影响口语语言理解任务，包括口语问答（SQA）和语音翻译（ST）。我们进一步扩展了这个想法，创建了T5lephone（发音为电话），这是T5的一个变体，使用音素化文本进行预训练。我们使用现有的PLM初始化T5lephone，使用相对轻量级的计算资源对其进行预训练。我们在NMSQA上达到了最先进的水平，T5lephone型号超过了T5，在端到端SQA和ST上有其他类型的设备。
2022-11-01 cs.CL cs.SD eess.AS
Assessing Evaluation Metrics for Speech-to-Speech Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；ETH Zürich（苏黎世联邦理工学院）
语音到语音翻译将机器翻译与语音合成相结合，引入了单独任务中不存在的评估挑战。如何自动评估语音到语音翻译是一个开放的问题，以前没有被探索。翻译成语音而不是文本通常是由不成文的语言或没有标准化拼写的语言所驱动的。然而，我们表明，以前使用的自动度量这项任务是最好的标准化的高资源语言。在这项工作中，我们首先评估语音到语音翻译的当前指标，其次评估翻译到方言变体而不是标准化语言如何影响各种评估方法。
2021-10-26 cs.CL cs.SD eess.AS
Isochrony-Controlled Speech-to-Text Translation: A study on translating from Sino-Tibetan to Indo-European Languages
本文提出一种等时性控制的端到端语音翻译方法，通过向解码器提供时间信息以预测语音和停顿时长，实现翻译时长与源音频的严格对齐，在CoVoST 2上取得了高语音重叠率且BLEU仅微降。
2024-11-11 cs.CL eess.AS
Bridging the Language Gap: Synthetic Voice Diversity via Latent Mixup for Equitable Speech Recognition
University of California Los Angeles, Department of Statistics（加州大学洛杉矶分校统计学系）
本文提出了一种通过潜在混合提升合成语音多样性的方法，以改善低资源语言的语音识别性能。
2025-11-25 cs.CL
SpeechMatrix: A Large-Scale Mined Corpus of Multilingual Speech-to-Speech Translations
Meta AI Research（Meta人工智能研究院）；Inria（法国国家信息与自动化研究所）
我们提出了SpeechMatrix，一个大规模的多语言语料库的语音到语音翻译挖掘从欧洲议会录音的真实讲话。它包含136个语言对的语音对齐，总共41.8万小时的语音。为了评估这种并行语音的质量，我们仅在挖掘数据上训练双语语音到语音翻译模型，并在EuroParl-ST，VoxPopuli和FLEURS测试集上建立广泛的基线结果。通过SpeechMatrix的多语言性，我们还探索了多语言语音到语音翻译，这是一个很少有其他作品涉及的主题。我们还证明了使用混合专家的模型预训练和稀疏缩放可以大大提高翻译性能。挖掘的数据和模型是免费提供的。
2022-11-08 cs.CL cs.SD eess.AS
Bridging Modalities: Enhancing Cross-Modality Hate Speech Detection with Few-Shot In-Context Learning
Singapore University of Technology and Design（新加坡科技设计大学）
针对跨模态仇恨言论检测能力迁移不足的问题，本研究利用大语言模型少样本上下文学习开展实验，证实文本仇恨样本可提升视觉-语言仇恨分类准确率，且文本示例效果更优，为检测系统优化提供了思路。
2024-10-08 cs.CL
CVSS Corpus and Massively Multilingual Speech-to-Speech Translation
Google Research（谷歌研究院）
我们介绍了CVSS，一个大规模的多语言到英语的语音到语音翻译（S2 ST）语料库，涵盖了从21种语言到英语的并行S2 ST对。CVSS源自Common Voice语音语料库和CoVoST 2语音到文本翻译（ST）语料库，通过使用最先进的TTS系统将CoVoST 2的翻译文本合成为语音。提供了两种版本的翻译语音：1）CVSS-C：所有翻译语音都是单个高质量的规范语音; 2）CVSS-T：翻译语音是从相应的源语音转移的语音。此外，CVSS还提供了与翻译语音中的发音相匹配的规范化翻译文本。在每个版本的CVSS上，我们分别建立了多语种直接S2 ST模型和级联S2 ST模型，验证了语料库的有效性。为了构建强大的级联S2 ST基线，我们在CoVoST 2上训练了一个ST模型，它比之前在没有额外数据的语料库上训练的最先进模型性能高出5.8 BLEU。尽管如此，直接S2 ST模型的性能在从头开始训练时接近强级联基线，并且在从匹配ST模型初始化时，ASR转录翻译只有0.1或0.7 BLEU差异。
2022-06-26 cs.CL cs.SD eess.AS
Direct Speech-to-speech Translation without Textual Annotation using Bottleneck Features
ByteDance AI-Lab（字节跳动人工智能实验室）
语音翻译是直接将不同语言之间的语音转换为另一种语音，在同声传译等任务中具有巨大的潜力。最先进的模型通常包含用于音素序列预测的辅助模块，这需要对训练数据集进行文本注释。我们提出了一个直接的语音到语音翻译模型，可以在没有任何文本注释或内容信息的情况下训练。我们建议使用瓶颈特征作为模型的中间训练目标，而不是在模型中引入辅助音素预测任务，以确保系统的翻译性能。对普通话-粤语语音翻译的实验结果表明，该方法是可行的，其性能可以与级联系统的翻译和合成质量相媲美。
2022-12-12 cs.CL cs.SD eess.AS
CoVoST 2 and Massively Multilingual Speech-to-Text Translation
Facebook AI
语音翻译最近成为一个越来越受欢迎的研究课题，部分原因是基准数据集的发展。然而，目前的数据集涵盖的语言数量有限。为了促进大规模多语言语音翻译和低资源语言对语音翻译的研究，我们发布了CoVoST 2，这是一个大规模多语言语音翻译语料库，涵盖了从21种语言到英语和从英语到15种语言的翻译。这是迄今为止从总量和语言覆盖范围来看最大的开放数据集。数据健全性检查提供有关数据质量的证据，这些数据在CC0许可证下发布。我们还提供广泛的语音识别、双语和多语言机器翻译以及语音翻译基线，并提供开源实现。
2020-10-24 cs.CL cs.SD eess.AS
Bridging Speech and Text: Enhancing ASR with Pinyin-to-Character Pre-training in LLMs
Hunan University（湖南大学）；Nanyang Technological University（南洋理工大学）
本文提出在LLM中通过拼音到字符预训练增强ASR性能，在AISHELL-1上实现19.0%的相对提升。
2024-09-24 cs.CL cs.SD eess.AS
Attention Focusing for Neural Machine Translation by Bridging Source and Target Embeddings
Soochow University（苏州大学）；University of Lisbon（里斯本大学）；Alibaba Group（阿里巴巴集团）
在神经机器翻译中，将单词的源序列编码成向量，在解码阶段从该向量生成目标序列。与统计机器翻译不同的是，源单词和它们可能的目标对应物之间的关联没有显式地存储。源字和目标字位于长信息处理过程的两端，在源编码和目标解码阶段都由隐藏状态介导。这使得源词有可能被错误地翻译成目标词，而该目标词不是目标语言中任何可接受的对等词。在本文中，我们试图通过一种被称为桥接源和目标词嵌入的方法来缩短源和目标词之间的距离，从而加强它们之间的关联。我们尝试了三种策略：（1）源端桥接模型，其中源词嵌入向输出目标序列移动一步;（2）目标端桥接模型，其探索更相关的源词嵌入以预测目标序列;（3）直接桥接模式，它直接连接源语和目标语词嵌入，以尽量减少一个词被另一个词翻译时的错误。本文提出的实验和分析表明，所提出的桥接模型是能够显着提高质量的句子翻译，在一般情况下，对齐和翻译的个别源词与目标词，特别是。
2018-05-10 cs.CL
CIF-PT: Bridging Speech and Text Representations for Spoken Language Understanding via Continuous Integrate-and-Fire Pre-Training
ByteDance（字节跳动）
本文提出CIF-PT预训练范式，利用连续积分发放对齐语音与文本表示，并在SLURP基准上超越最先进模型，提升口语语言理解性能。
2023-05-27 cs.CL cs.MM eess.AS
Advancing Speech Translation: A Corpus of Mandarin-English Conversational Telephone Speech
Raytheon BBN（雷神BBN技术公司）
本文构建了123小时汉英电话会话语音翻译语料库，通过微调通用翻译模型，目标域BLEU提升超8点，验证了匹配训练数据的关键作用。
2024-03-25 cs.CL cs.SD eess.AS
Improving Speech-to-Speech Translation Through Unlabeled Text
Meta AI
直接语音到语音翻译（S2 ST）是翻译范式中最具挑战性的问题之一，由于S2 ST数据的显着稀缺。虽然已经通过级联预训练语音识别（ASR）、机器翻译（MT）和文本到语音（TTS）模型来努力增加来自未标记语音的数据大小;但是未标记文本仍然相对未被充分利用来改进S2 ST。我们提出了一种有效的方法来利用大量现有的未标记的文本从不同的语言来创建大量的S2 ST数据，通过应用各种声学效果，以提高S2 ST的性能所产生的合成数据。从经验上讲，我们的方法优于西班牙语-英语翻译的最高2 BLEU。所提出的方法的显着收益证明在极低的资源设置为西班牙语-英语和俄语-英语翻译。
2022-10-26 cs.CL cs.SD eess.AS
Acquisition of Translation Lexicons for Historically Unwritten Languages via Bridging Loanwords
The College of New Jersey（新泽西学院）；The Ohio State University（俄亥俄州立大学）
随着社交媒体等非正式电子通信的出现，历史上不成文的口语第一次在代码转换严重的环境中被写入。我们提出了一种方法，通过使用专家知识，在这些设置中，有大约为零的资源以外的语言线人，甚至可能没有大量的单语数据的翻译词典的部分。我们调查诱导摩洛哥Darija英语翻译词汇通过法语借词桥接到英语，并发现一个有用的词汇诱导人工辅助翻译和统计机器翻译。
2017-08-20 cs.CL
From Speech-to-Speech Translation to Automatic Dubbing
Amazon（亚马逊）
我们提出了增强语音到语音翻译管道，以执行自动配音。我们的架构具有神经机器翻译生成首选长度的输出，翻译与原始语音片段的韵律对齐，神经文本到语音与每个话语的持续时间的微调，最后，音频渲染以丰富文本到语音输出与从原始音频中提取的背景噪声和混响。我们报告的自动配音的摘录TED演讲从英语到意大利语，这措施的自动配音的感知自然度和每个建议的增强的相对重要性的主观评价。
2020-02-02 cs.CL cs.SD eess.AS
Gender Lost In Translation: How Bridging The Gap Between Languages Affects Gender Bias in Zero-Shot Multilingual Translation
Maastricht University（马斯特里赫特大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文研究零样本多语言神经机器翻译中的性别偏见，发现语言无关表示可减轻男性偏见，且桥接语言性别屈折程度越高，枢轴翻译在性别保留公平性上越优于零样本翻译。
2023-05-26 cs.CL
Direct Simultaneous Speech-to-Speech Translation with Variational Monotonic Multihead Attention
Johns Hopkins University（约翰斯·霍普金斯大学）；Meta；Maastricht University（马斯特里赫特大学）
本文提出了一种直接同步语音到语音翻译（Simul-S2 ST）模型。我们的方法利用了离散单元直接语音到语音翻译的最新进展，其中以无监督方式学习的离散表示序列而不是连续的频谱图特征，从模型中预测并直接传递给声码器进行语音合成。我们还引入了变分单调多头注意（V-MMA），以应对语音同传中低效的策略学习的挑战。然后，同时策略对源语音特征和目标离散单元进行操作。我们进行了实证研究，比较级联和直接的方法对Fisher西班牙语-英语和Must-C英语-西班牙语数据集。直接同步模型通过在翻译质量和延迟之间实现更好的折衷而优于级联模型。
2022-01-12 cs.CL cs.SD eess.AS
Fluent Translations from Disfluent Speech in End-to-End Speech Translation
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
由于会话语音现象，特别是不流利的存在，语音的口语翻译应用受到影响。随着端到端语音翻译模型的兴起，之前作为语音识别和机器翻译之间的中间步骤的处理步骤（如不流利消除）需要被纳入模型架构中。我们使用一个序列到序列的模型，从嘈杂的，不流利的语音流畅的文本与不流利使用最近收集的“复制编辑”的参考Fisher西班牙语-英语数据集删除。我们能够直接生成流畅的翻译，并介绍有关如何评估这项任务成功的考虑因素。这项工作为一项新的任务提供了一个基线，即翻译会话语音并联合消除不流利。
2019-06-03 cs.CL
Kid-Whisper: Towards Bridging the Performance Gap in Automatic Speech Recognition for Children VS. Adults
University of Maryland（马里兰大学）；Stanford University（斯坦福大学）
针对儿童ASR数据少、性能差的问题，本研究通过高效预处理MyST儿童语音语料库优化Whisper模型，显著降低词错误率且效果可泛化，为儿童语音识别提供可行方案。
2024-05-15 cs.CL cs.SD eess.AS
From Start to Finish: Latency Reduction Strategies for Incremental Speech Synthesis in Simultaneous Speech-to-Speech Translation
Maastricht University（马斯特里赫特大学）；Meta AI；Johns Hopkins University（约翰斯·霍普金斯大学）
语音到语音翻译（S2 ST）将输入语音转换为另一种语言的语音。实时的传送S2 ST的挑战是翻译和语音合成模块之间的累积延迟。虽然最近增量文本到语音（iTTS）模型已经显示出很大的质量改进，但它们通常需要额外的未来文本输入才能达到最佳性能。在这项工作中，我们最大限度地减少了初始等待时间的iTTS通过适应上游语音翻译器生成高质量的伪前瞻语音合成器。在减轻初始延迟后，我们证明了合成语音的持续时间对延迟也起着至关重要的作用。我们将其形式化为延迟度量，然后提出一种简单而有效的延迟缩减方法。我们的方法始终将延迟降低0.2-0.5秒，而不会牺牲语音翻译质量。
2022-07-15 cs.CL cs.SD eess.AS
Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation
Meta AI
直接语音到语音翻译（S2 ST）模型遭受数据稀缺问题，因为与包括自动语音识别（ASR）、机器翻译（MT）和文本到语音（TTS）合成的常规级联系统可用的数据量相比，几乎不存在并行S2 ST数据。在这项工作中，我们探索了使用未标记语音数据和数据增强的自监督预训练来解决这个问题。我们利用最近提出的语音到单元翻译（S2 UT）框架，该框架将目标语音编码为离散表示，并通过研究语音编码器和离散单元解码器的预训练，将适用于语音到文本翻译（S2 T）的预训练和有效的部分微调技术转移到S2 UT域。我们对西班牙语-英语翻译的实验表明，与平均6.6-12.1 BLEU增益的多任务学习相比，自监督预训练始终提高了模型性能，并且可以进一步与数据增强技术相结合，该技术应用MT来创建弱监督训练数据。音频样本可在https://facebookresearch.github.io/speech_translation/enhanced_direct_s2st_units/index.html上获得。
2022-09-13 cs.CL cs.SD eess.AS
Exploring Phoneme-Level Speech Representations for End-to-End Speech Translation
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
以前的语音端到端翻译工作主要使用帧级特征作为语音表示，这会创建比文本更长、更稀疏的序列。我们表明，一个天真的方法来创建压缩音素的语音表示是更有效和高效的翻译比传统的帧级语音功能。具体来说，我们为语音帧生成音素标签，并对具有相同标签的连续帧进行平均，以创建更短，更高级别的源序列进行翻译。我们在高资源和低资源语言对上都看到了高达5个BLEU的改进，训练时间减少了60%。我们的改进适用于多种数据大小和两种语言对。
2019-06-04 cs.CL cs.SD eess.AS
Dub-S2ST: Textless Speech-to-Speech Translation for Seamless Dubbing
Korea Advanced Institute of Science and Technology（韩国科学技术院）
Dub-S2ST通过无文本语音到语音翻译模型实现无缝配音，保留语音特征并提升翻译质量。
2025-12-29 cs.CL cs.SD eess.AS
Speech Segmentation Optimization using Segmented Bilingual Speech Corpus for End-to-end Speech Translation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
语音分割是将长语音分割成短语音段的过程，是语音翻译的关键。流行的VAD工具，如WebRTC VAD，通常依赖于基于暂停的分段。不幸的是，语音中的停顿不一定与句子边界匹配，句子可以通过很短的停顿连接起来，这很难被VAD检测到。在这项研究中，我们提出了一种语音分割方法，使用二进制分类模型训练使用分割的双语语音语料库。我们还提出了一种混合的方法，结合VAD和上述语音分割方法。实验结果表明，该方法更适合级联和端到端ST系统比传统的分割方法。混合方法进一步提高了翻译性能。
2022-07-13 cs.CL cs.SD eess.AS
High-Fidelity Simultaneous Speech-To-Speech Translation
Kyutai
本文提出Hibiki，一种基于多流语言模型的仅解码器同时语音翻译模型，通过弱监督方法学习逐词延迟，实现高质量、高保真的实时语音到语音翻译，并在法英任务上达到最先进性能。
2025-02-26 cs.CL cs.SD eess.AS
TranSentence: Speech-to-speech Translation via Language-agnostic Sentence-level Speech Encoding without Language-parallel Data
Korea University（高丽大学）
提出无需语言平行数据的语音到语音翻译模型 TranSentence，通过语言无关句子级语音编码和单语数据训练实现跨语言语音生成，并扩展至多语言翻译且性能优于其他模型。
2024-01-17 cs.CL cs.SD eess.AS
MSLM-S2ST: A Multitask Speech Language Model for Textless Speech-to-Speech Translation with Speaker Style Preservation
Carnegie Mellon University（卡内基梅隆大学）；Meta AI；The Chinese University of Hong Kong（香港中文大学）
本文提出多任务语音语言模型MSLM，一种仅解码器架构，在不依赖文本数据的情况下实现保留说话人风格的多语言语音到语音翻译。
2024-03-19 cs.CL cs.SD eess.AS
Does Translation-Enhanced Speech Encoder Pre-training Affect Speech LLMs?
SB Intuitions
研究翻译增强的语音编码器预训练对语音大语言模型的影响，通过实验证明该方法能改善跨模态整合并提升下游任务性能。
2026-06-25 cs.CL cs.SD eess.AS
SimulS2S-LLM: Unlocking Simultaneous Inference of Speech LLMs for Speech-to-Speech Translation
Department of Engineering, University of Cambridge（剑桥大学工程系）；Shanghai Jiao Tong University（上海交通大学）
提出SimulS2S-LLM，通过离线训练和测试时策略实现语音LLM的同步语音到语音翻译，利用边界感知提示和增量波束搜索，在CVSS上以相似延迟提升ASR-BLEU 3分。
2025-04-22 cs.CL cs.SD eess.AS
Do Spoken Language Models Hear Speech as They Read Text? Bridging Structural Gaps Between Speech and Text
Maum AI Inc.（Maum AI公司）；KAIST（韩国科学技术院）；Atmanity Inc.（Atmanity公司）
该研究针对现有口语语言模型（SLMs）未充分解决语音与文本结构差异的问题，提出解耦长度不匹配与语义对齐的框架，经多基准实验验证其性能可与强基线媲美，凸显了明确解决语音文本结构差异的重要性。
2026-08-25 cs.AI cs.CL
The USTC-NEL Speech Translation system at IWSLT 2018
University of Science and Technology of China（中国科学技术大学）；IFLYTEK Co. LTD.（科大讯飞股份有限公司）
本文介绍了USTC-NEL系统在2018年IWITHING评估中的语音翻译任务。该系统是一个传统的流水线系统，包括3个模块：语音识别，后处理和机器翻译。我们训练一组混合HMM模型用于语音识别，对于机器翻译，我们训练基于Transformer的神经机器翻译模型，以语音识别输出样式文本作为输入。在IWIT 2018任务上进行的实验表明，与KIT的基线系统相比，我们的系统实现了14.9 BLEU的改进。
2018-12-06 cs.CL cs.SD eess.AS
FST: the FAIR Speech Translation System for the IWSLT21 Multilingual Shared Task
Facebook AI Research（Facebook AI研究院）
在本文中，我们描述了我们的端到端多语言语音翻译系统，该系统提交给了IWITH2021多语言语音翻译共享任务的评估活动。我们的系统是通过利用跨模式、任务和语言的迁移学习构建的。首先，我们利用通用的多语言模块，这些模块使用大量未标记和标记的数据进行预训练。我们进一步通过联合训练两个任务来实现从文本任务到语音任务的知识转移。最后，我们的多语言模型在语音翻译任务特定的数据上进行微调，以达到最佳的翻译结果。实验结果表明，我们的系统优于报告的系统，包括端到端和级联的方法，由一个很大的利润。在某些翻译方向上，我们在公共多语言TEDx测试集上评估的语音翻译结果甚至可以与使用Oracle语音转录作为输入的强大文本到文本翻译系统的结果相媲美。
2021-08-14 cs.CL cs.SD eess.AS
Joint Pre-Training with Speech and Bilingual Text for Direct Speech to Speech Translation
Microsoft Research Asia（微软亚洲研究院）
直接语音到语音翻译（S2 ST）是一个有吸引力的研究课题，与级联S2 ST相比具有许多优点。然而，直接S2 ST遭受数据稀缺的问题，因为从源语言的语音到目标语言的语音的语料库是非常稀少的。为了解决这个问题，我们在本文中提出了一个Speech 2S模型，该模型使用未配对的语音和双语文本数据进行联合预训练，用于直接语音到语音翻译任务。通过有效地利用成对的文本数据，Speech 2S能够建模从源语言到目标语言的跨语言语音转换。我们在Europarl-ST和VoxPopuli数据集上验证了所提出的Speech 2S的性能。实验结果表明，与仅编码器的预训练模型相比，Speech 2S的BLEU分数提高了约5分，并且比现有的最先进的模型1具有竞争力甚至更好的性能。
2022-10-31 cs.CL cs.SD eess.AS
Direct speech-to-speech translation with discrete units
Meta AI；Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一个直接的语音到语音翻译（S2ST）模型，从一种语言的语音翻译到另一种语言的语音，而不依赖于中间文本生成。我们通过首先在目标语音上应用自监督离散语音编码器，然后训练序列到序列语音到单元翻译（S2UT）模型来预测目标语音的离散表示来解决这个问题。当目标文本成绩单可用时，我们设计了一个联合语音和文本训练框架，使模型能够在同一推理过程中同时生成双模态输出（语音和文本）。Fisher西班牙语-英语数据集上的实验表明，与预测谱图特征的基线直接S2ST模型相比，所提出的框架产生6.7 BLEU的改进。当在没有任何文本记录的情况下进行训练时，我们的模型性能与预测频谱图并使用文本监督进行训练的模型相当，这表明我们的系统在非书面语言之间进行翻译的潜力。音频样本可在www.example.com上获得。
2022-03-21 cs.CL cs.LG eess.AS
Jointly Optimizing Translations and Speech Timing to Improve Isochrony in Automatic Dubbing
AWS AI Labs（亚马逊云科技人工智能实验室）；Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）
自动配音是将视频中的原始语音翻译成目标语言语音的过程。新的目标语言语音应满足等时性，也就是说，新的语音应与原始视频的时间对齐，包括嘴部动作，停顿，手势等，在本文中，我们提出了一个模型，直接优化翻译以及生成的翻译的语音持续时间的训练。我们表明，该系统生成的语音，更好地匹配的原始语音的时间，相比以前的工作，同时简化了系统架构。
2023-02-25 cs.CL cs.SD eess.AS
Simple and Effective Unsupervised Speech Translation
Meta - Fundamental AI Research (FAIR)（Meta基础人工智能研究院（FAIR））
用于训练语音任务模型的标记数据量对于大多数语言是有限的，然而，对于需要覆盖两种不同语言的标记数据的语音翻译，数据稀缺性加剧。为了解决这个问题，我们研究了一种简单而有效的方法来构建语音翻译系统，而无需标记数据，通过利用无监督语音识别，机器翻译和语音合成的最新进展，无论是在管道方法中，还是生成伪标签用于训练端到端的语音翻译模型。此外，我们提出了一个无监督领域自适应技术的预训练的语音模型，提高了下游无监督语音识别的性能，特别是对于低资源设置。实验表明，在Libri-Trans基准测试中，无监督语音到文本翻译的性能比以前的无监督技术高出3.2 BLEU，在CoVoST 2上，我们最好的系统在五个X-En方向上的性能比两年前最好的有监督端到端模型（没有预训练）高出5.0 BLEU。我们还报告了MuST-C和CVSS基准测试的竞争结果。
2022-10-18 cs.CL cs.SD eess.AS
LibriS2S: A German-English Speech-to-Speech Translation Corpus
Maastricht University（马斯特里赫特大学）
最近，我们看到人们对语音到文本翻译的兴趣越来越大。这导致了这一领域令人惊讶的进步。相比之下，语音翻译领域的活动仍然有限，尽管克服语言障碍至关重要。我们认为，限制因素之一是能否获得适当的训练数据。我们通过创建LibriS2S来解决这个问题，据我们所知，LibriS2S是第一个公开的德语和英语之间的语音到语音训练语料库。对于这个语料库，我们使用了独立创建的德语和英语音频，从而使两种语言的文本发音没有偏见。这允许创建新的文本到语音和语音到语音翻译模型，其直接学习以基于源语言的发音来生成语音信号。使用这个创建的语料库，我们提出了文本到语音模型的基础上，最近提出的FastSpeech 2模型，集成了源语言信息的例子。我们通过调整模型来实现这一点，以将源语音中的音高、能量或转录等信息作为额外的输入。
2022-04-22 cs.CL cs.SD eess.AS
Leveraging Synthetic Audio Data for End-to-End Low-Resource Speech Translation
Bering Lab（贝林实验室）
本文针对低资源爱尔兰语到英语语音翻译，提出基于 Whisper 的端到端系统，利用语音反向翻译、噪声增强等合成音频数据增强方法提升翻译性能。
2024-06-27 cs.CL cs.SD eess.AS
Simultaneous Speech-to-Speech Translation System with Neural Incremental ASR, MT, and TTS
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文介绍了一个新开发的，同时神经语音到语音翻译系统及其评价。该系统由三个全增量神经处理模块组成，分别用于自动语音识别（ASR）、机器翻译（MT）和文本到语音合成（TTS）。我们研究了其在系统的耳语音跨度和说话延迟以及模块级性能的整体延迟。
2020-11-11 cs.CL
Textless Direct Speech-to-Speech Translation with Discrete Speech Representation
Google Research（谷歌研究院）
语音到语音翻译（Speech-to-Speech Translation，S2 ST）的研究近年来发展迅速。许多端到端的系统已经被提出，并显示出优于传统的级联系统，这往往是由识别，翻译和合成子系统。然而，大多数端到端系统在训练期间仍然依赖于中间文本监督，这使得它不适合没有书面形式的语言。在这项工作中，我们提出了一种新的模型，无文本的Translatotron，它是基于Translatotron 2，用于训练一个端到端的直接S2 ST模型，没有任何文本的监督。代替如在Translatotron 2中那样与预测目标音素的辅助任务联合训练，所提出的模型使用预测从学习或随机语音量化器获得的离散语音表示的辅助任务。当使用无监督语音数据预训练的语音编码器用于这两个模型时，所提出的模型在多语言CVSS-C语料库以及双语Fisher西班牙语-英语语料库上获得的翻译质量几乎与Translatotron 2相当。在后者上，它比现有的最先进的无文本模型的性能高出+18.5 BLEU。
2022-10-31 cs.CL cs.SD eess.AS
Direct Speech to Speech Translation: A Review
Aligarh Muslim University（阿里格尔穆斯林大学）
本文综述了直接语音到语音翻译技术，对比级联模型与端到端直接模型的优劣，指出直接模型在保留韵律和降低延迟方面的优势及其在数据、算力和低资源语言上的挑战，并展望未来方向。
2025-03-03 cs.CL cs.SD eess.AS
Streaming Speech-to-Text Translation with a SpeechLLM
Samsung, AI Center – Cambridge, United Kingdom（三星，人工智能中心——剑桥，英国）
本文提出基于LLM的流式语音到文本翻译架构，通过学习输出token和判断音频充足性，实现低延迟的实时翻译，实验显示其翻译质量接近非流式基准，但延迟仅1-2秒。
2026-05-14 cs.AI cs.CL eess.AS
Self-Supervised Representations Improve End-to-End Speech Translation
Facebook AI（Facebook人工智能）
端到端语音到文本翻译可以提供更简单，更小的系统，但面临着数据稀缺的挑战。预训练方法可以利用未标记的数据，并且已被证明在数据稀缺的情况下是有效的。在这项工作中，我们探讨了自我监督的预训练语音表示是否可以在高资源和低资源环境中有益于语音翻译任务，它们是否可以很好地转移到其他语言，以及它们是否可以有效地与其他有助于改善低资源端到端语音翻译的常用方法相结合，例如使用预训练的高资源语音识别系统。我们证明，自我监督的预训练特征可以持续提高翻译性能，跨语言迁移允许扩展到各种语言，而无需或只需很少的调整。
2020-10-25 cs.CL cs.SD eess.AS
Does Joint Training Really Help Cascaded Speech Translation?
RWTH Aachen University（亚琛工业大学）
目前，在语音翻译中，直接的方法-将识别系统与翻译系统级联-提供了最先进的结果。然而，诸如来自自动语音识别系统的错误传播之类的基本挑战仍然存在。为了缓解这些问题，最近，人们将注意力转向直接数据，并提出各种联合训练方法。在这项工作中，我们试图回答联合训练是否真的有助于级联语音翻译的问题。我们回顾了最近的论文的主题，并探讨了联合训练标准边缘化的转录后验概率。我们的研究结果表明，一个强大的级联基线可以减少使用联合训练获得的任何改善，我们建议联合训练的替代方案。我们希望这项工作可以作为当前语音翻译领域的一个更新，并激励研究寻找更有效和创造性的方法来利用语音翻译的直接数据。
2022-11-24 cs.CL cs.LG eess.AS
Direct Punjabi to English speech translation using discrete units
Wayne State University（韦恩州立大学）；Utah State University（犹他州立大学）；University of Delaware（特拉华大学）
本文提出一种基于离散声学单元和Transformer的直接旁遮普语到英语语音翻译模型U2UT，实验表明其BLEU分数比S2UT模型高3.69，推动了低资源语言语音翻译研究。
2024-02-25 cs.CL cs.SD eess.AS
