From Speech-to-Speech Translation to Automatic Dubbing
Amazon(亚马逊)
我们提出了增强语音到语音翻译管道,以执行自动配音。我们的架构具有神经机器翻译生成首选长度的输出,翻译与原始语音片段的韵律对齐,神经文本到语音与每个话语的持续时间的微调,最后,音频渲染以丰富文本到语音输出与从原始音频中提取的背景噪声和混响。我们报告的自动配音的摘录TED演讲从英语到意大利语,这措施的自动配音的感知自然度和每个建议的增强的相对重要性的主观评价。
2020-02-02 cs.CL cs.SD eess.AS
Direct Simultaneous Speech-to-Speech Translation with Variational Monotonic Multihead Attention
Johns Hopkins University(约翰斯·霍普金斯大学);Meta;Maastricht University(马斯特里赫特大学)
本文提出了一种直接同步语音到语音翻译(Simul-S2 ST)模型。我们的方法利用了离散单元直接语音到语音翻译的最新进展,其中以无监督方式学习的离散表示序列而不是连续的频谱图特征,从模型中预测并直接传递给声码器进行语音合成。我们还引入了变分单调多头注意(V-MMA),以应对语音同传中低效的策略学习的挑战。然后,同时策略对源语音特征和目标离散单元进行操作。我们进行了实证研究,比较级联和直接的方法对Fisher西班牙语-英语和Must-C英语-西班牙语数据集。直接同步模型通过在翻译质量和延迟之间实现更好的折衷而优于级联模型。
2022-01-12 cs.CL cs.SD eess.AS
Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation
Meta AI
直接语音到语音翻译(S2 ST)模型遭受数据稀缺问题,因为与包括自动语音识别(ASR)、机器翻译(MT)和文本到语音(TTS)合成的常规级联系统可用的数据量相比,几乎不存在并行S2 ST数据。在这项工作中,我们探索了使用未标记语音数据和数据增强的自监督预训练来解决这个问题。我们利用最近提出的语音到单元翻译(S2 UT)框架,该框架将目标语音编码为离散表示,并通过研究语音编码器和离散单元解码器的预训练,将适用于语音到文本翻译(S2 T)的预训练和有效的部分微调技术转移到S2 UT域。我们对西班牙语-英语翻译的实验表明,与平均6.6-12.1 BLEU增益的多任务学习相比,自监督预训练始终提高了模型性能,并且可以进一步与数据增强技术相结合,该技术应用MT来创建弱监督训练数据。音频样本可在https://facebookresearch.github.io/speech_translation/enhanced_direct_s2st_units/index.html上获得。
2022-09-13 cs.CL cs.SD eess.AS
Exploring Phoneme-Level Speech Representations for End-to-End Speech Translation
Carnegie Mellon University(卡内基梅隆大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
以前的语音端到端翻译工作主要使用帧级特征作为语音表示,这会创建比文本更长、更稀疏的序列。我们表明,一个天真的方法来创建压缩音素的语音表示是更有效和高效的翻译比传统的帧级语音功能。具体来说,我们为语音帧生成音素标签,并对具有相同标签的连续帧进行平均,以创建更短,更高级别的源序列进行翻译。我们在高资源和低资源语言对上都看到了高达5个BLEU的改进,训练时间减少了60%。我们的改进适用于多种数据大小和两种语言对。
2019-06-04 cs.CL cs.SD eess.AS
Dub-S2ST: Textless Speech-to-Speech Translation for Seamless Dubbing
Korea Advanced Institute of Science and Technology(韩国科学技术院)
Dub-S2ST通过无文本语音到语音翻译模型实现无缝配音,保留语音特征并提升翻译质量。
2025-12-29 cs.CL cs.SD eess.AS
Speech Segmentation Optimization using Segmented Bilingual Speech Corpus for End-to-end Speech Translation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
语音分割是将长语音分割成短语音段的过程,是语音翻译的关键。流行的VAD工具,如WebRTC VAD,通常依赖于基于暂停的分段。不幸的是,语音中的停顿不一定与句子边界匹配,句子可以通过很短的停顿连接起来,这很难被VAD检测到。在这项研究中,我们提出了一种语音分割方法,使用二进制分类模型训练使用分割的双语语音语料库。我们还提出了一种混合的方法,结合VAD和上述语音分割方法。实验结果表明,该方法更适合级联和端到端ST系统比传统的分割方法。混合方法进一步提高了翻译性能。
2022-07-13 cs.CL cs.SD eess.AS
High-Fidelity Simultaneous Speech-To-Speech Translation
Kyutai
本文提出Hibiki,一种基于多流语言模型的仅解码器同时语音翻译模型,通过弱监督方法学习逐词延迟,实现高质量、高保真的实时语音到语音翻译,并在法英任务上达到最先进性能。
2025-02-26 cs.CL cs.SD eess.AS
TranSentence: Speech-to-speech Translation via Language-agnostic Sentence-level Speech Encoding without Language-parallel Data
Korea University(高丽大学)
提出无需语言平行数据的语音到语音翻译模型 TranSentence,通过语言无关句子级语音编码和单语数据训练实现跨语言语音生成,并扩展至多语言翻译且性能优于其他模型。
2024-01-17 cs.CL cs.SD eess.AS
MSLM-S2ST: A Multitask Speech Language Model for Textless Speech-to-Speech Translation with Speaker Style Preservation
Carnegie Mellon University(卡内基梅隆大学);Meta AI;The Chinese University of Hong Kong(香港中文大学)
本文提出多任务语音语言模型MSLM,一种仅解码器架构,在不依赖文本数据的情况下实现保留说话人风格的多语言语音到语音翻译。
2024-03-19 cs.CL cs.SD eess.AS
SimulS2S-LLM: Unlocking Simultaneous Inference of Speech LLMs for Speech-to-Speech Translation
Department of Engineering, University of Cambridge(剑桥大学工程系);Shanghai Jiao Tong University(上海交通大学)
提出SimulS2S-LLM,通过离线训练和测试时策略实现语音LLM的同步语音到语音翻译,利用边界感知提示和增量波束搜索,在CVSS上以相似延迟提升ASR-BLEU 3分。
2025-04-22 cs.CL cs.SD eess.AS
The USTC-NEL Speech Translation system at IWSLT 2018
University of Science and Technology of China(中国科学技术大学);IFLYTEK Co. LTD.(科大讯飞股份有限公司)
本文介绍了USTC-NEL系统在2018年IWITHING评估中的语音翻译任务。该系统是一个传统的流水线系统,包括3个模块:语音识别,后处理和机器翻译。我们训练一组混合HMM模型用于语音识别,对于机器翻译,我们训练基于Transformer的神经机器翻译模型,以语音识别输出样式文本作为输入。在IWIT 2018任务上进行的实验表明,与KIT的基线系统相比,我们的系统实现了14.9 BLEU的改进。
2018-12-06 cs.CL cs.SD eess.AS
FST: the FAIR Speech Translation System for the IWSLT21 Multilingual Shared Task
Facebook AI Research(Facebook AI研究院)
在本文中,我们描述了我们的端到端多语言语音翻译系统,该系统提交给了IWITH2021多语言语音翻译共享任务的评估活动。我们的系统是通过利用跨模式、任务和语言的迁移学习构建的。首先,我们利用通用的多语言模块,这些模块使用大量未标记和标记的数据进行预训练。我们进一步通过联合训练两个任务来实现从文本任务到语音任务的知识转移。最后,我们的多语言模型在语音翻译任务特定的数据上进行微调,以达到最佳的翻译结果。实验结果表明,我们的系统优于报告的系统,包括端到端和级联的方法,由一个很大的利润。在某些翻译方向上,我们在公共多语言TEDx测试集上评估的语音翻译结果甚至可以与使用Oracle语音转录作为输入的强大文本到文本翻译系统的结果相媲美。
2021-08-14 cs.CL cs.SD eess.AS
Joint Pre-Training with Speech and Bilingual Text for Direct Speech to Speech Translation
Microsoft Research Asia(微软亚洲研究院)
直接语音到语音翻译(S2 ST)是一个有吸引力的研究课题,与级联S2 ST相比具有许多优点。然而,直接S2 ST遭受数据稀缺的问题,因为从源语言的语音到目标语言的语音的语料库是非常稀少的。为了解决这个问题,我们在本文中提出了一个Speech 2S模型,该模型使用未配对的语音和双语文本数据进行联合预训练,用于直接语音到语音翻译任务。通过有效地利用成对的文本数据,Speech 2S能够建模从源语言到目标语言的跨语言语音转换。我们在Europarl-ST和VoxPopuli数据集上验证了所提出的Speech 2S的性能。实验结果表明,与仅编码器的预训练模型相比,Speech 2S的BLEU分数提高了约5分,并且比现有的最先进的模型1具有竞争力甚至更好的性能。
2022-10-31 cs.CL cs.SD eess.AS
Simple and Effective Unsupervised Speech Translation
Meta - Fundamental AI Research (FAIR)(Meta基础人工智能研究院(FAIR))
用于训练语音任务模型的标记数据量对于大多数语言是有限的,然而,对于需要覆盖两种不同语言的标记数据的语音翻译,数据稀缺性加剧。为了解决这个问题,我们研究了一种简单而有效的方法来构建语音翻译系统,而无需标记数据,通过利用无监督语音识别,机器翻译和语音合成的最新进展,无论是在管道方法中,还是生成伪标签用于训练端到端的语音翻译模型。此外,我们提出了一个无监督领域自适应技术的预训练的语音模型,提高了下游无监督语音识别的性能,特别是对于低资源设置。实验表明,在Libri-Trans基准测试中,无监督语音到文本翻译的性能比以前的无监督技术高出3.2 BLEU,在CoVoST 2上,我们最好的系统在五个X-En方向上的性能比两年前最好的有监督端到端模型(没有预训练)高出5.0 BLEU。我们还报告了MuST-C和CVSS基准测试的竞争结果。
2022-10-18 cs.CL cs.SD eess.AS
LibriS2S: A German-English Speech-to-Speech Translation Corpus
Maastricht University(马斯特里赫特大学)
最近,我们看到人们对语音到文本翻译的兴趣越来越大。这导致了这一领域令人惊讶的进步。相比之下,语音翻译领域的活动仍然有限,尽管克服语言障碍至关重要。我们认为,限制因素之一是能否获得适当的训练数据。我们通过创建LibriS2S来解决这个问题,据我们所知,LibriS2S是第一个公开的德语和英语之间的语音到语音训练语料库。对于这个语料库,我们使用了独立创建的德语和英语音频,从而使两种语言的文本发音没有偏见。这允许创建新的文本到语音和语音到语音翻译模型,其直接学习以基于源语言的发音来生成语音信号。使用这个创建的语料库,我们提出了文本到语音模型的基础上,最近提出的FastSpeech 2模型,集成了源语言信息的例子。我们通过调整模型来实现这一点,以将源语音中的音高、能量或转录等信息作为额外的输入。
2022-04-22 cs.CL cs.SD eess.AS
Textless Direct Speech-to-Speech Translation with Discrete Speech Representation
Google Research(谷歌研究院)
语音到语音翻译(Speech-to-Speech Translation,S2 ST)的研究近年来发展迅速。许多端到端的系统已经被提出,并显示出优于传统的级联系统,这往往是由识别,翻译和合成子系统。然而,大多数端到端系统在训练期间仍然依赖于中间文本监督,这使得它不适合没有书面形式的语言。在这项工作中,我们提出了一种新的模型,无文本的Translatotron,它是基于Translatotron 2,用于训练一个端到端的直接S2 ST模型,没有任何文本的监督。代替如在Translatotron 2中那样与预测目标音素的辅助任务联合训练,所提出的模型使用预测从学习或随机语音量化器获得的离散语音表示的辅助任务。当使用无监督语音数据预训练的语音编码器用于这两个模型时,所提出的模型在多语言CVSS-C语料库以及双语Fisher西班牙语-英语语料库上获得的翻译质量几乎与Translatotron 2相当。在后者上,它比现有的最先进的无文本模型的性能高出+18.5 BLEU。
2022-10-31 cs.CL cs.SD eess.AS
Direct Speech to Speech Translation: A Review
Aligarh Muslim University(阿里格尔穆斯林大学)
本文综述了直接语音到语音翻译技术,对比级联模型与端到端直接模型的优劣,指出直接模型在保留韵律和降低延迟方面的优势及其在数据、算力和低资源语言上的挑战,并展望未来方向。
2025-03-03 cs.CL cs.SD eess.AS
End-to-end Contrastive Language-Speech Pretraining Model For Long-form Spoken Question Answering
本文提出CLSR模型,通过将音频特征转换为文本表示,提升长音频问答任务的性能,实验表明其优于现有方法。
2026-04-11 cs.CL cs.SD
Self-Supervised Representations Improve End-to-End Speech Translation
Facebook AI(Facebook人工智能)
端到端语音到文本翻译可以提供更简单,更小的系统,但面临着数据稀缺的挑战。预训练方法可以利用未标记的数据,并且已被证明在数据稀缺的情况下是有效的。在这项工作中,我们探讨了自我监督的预训练语音表示是否可以在高资源和低资源环境中有益于语音翻译任务,它们是否可以很好地转移到其他语言,以及它们是否可以有效地与其他有助于改善低资源端到端语音翻译的常用方法相结合,例如使用预训练的高资源语音识别系统。我们证明,自我监督的预训练特征可以持续提高翻译性能,跨语言迁移允许扩展到各种语言,而无需或只需很少的调整。
2020-10-25 cs.CL cs.SD eess.AS
Direct Punjabi to English speech translation using discrete units
Wayne State University(韦恩州立大学);Utah State University(犹他州立大学);University of Delaware(特拉华大学)
本文提出一种基于离散声学单元和Transformer的直接旁遮普语到英语语音翻译模型U2UT,实验表明其BLEU分数比S2UT模型高3.69,推动了低资源语言语音翻译研究。
2024-02-25 cs.CL cs.SD eess.AS
Multilingual Speech-to-Speech Translation into Multiple Target Languages
Meta AI Research(Meta人工智能研究院)
本文提出首个支持多种目标语言的多语言S2ST系统,通过S2MU掩码非目标语言单元并结合语言嵌入与LID辅助损失训练多语言声码器,在英译16种目标语言上优于双语模型。
2023-07-17 cs.CL cs.SD eess.AS
NeurST: Neural Speech Translation Toolkit
ByteDance(字节跳动)
NeurST是一个用于神经语音翻译的开源工具包。该工具包主要专注于端到端语音翻译,易于使用,修改和扩展到高级语音翻译研究和产品。NeurST旨在促进NLP研究人员的语音翻译研究,并为该领域建立可靠的基准。它为特征提取、数据预处理、分布式训练和评估提供了一步一步的方法。在本文中,我们将介绍NeurST的框架设计,并显示不同的基准数据集的实验结果,这可以被视为未来研究的可靠基线。该工具包可在https://github.com/bytedance/neurst/上公开获取,我们将在https://st-benchmark.github.io/上与其他同行和研究一起不断更新NeurST的性能。
2021-06-15 cs.CL cs.SD eess.AS
Local Prototype Reconstruction for Text-Compatible Speech-to-LLM Bridge Pretraining
KU Leuven(鲁汶大学);Academia Sinica(中央研究院)
该研究针对语音-LLM桥接模块,提出局部原型重构(LPR)正则化器,通过量化词法流形兼容性提升其迁移性能,在多语种ASR和语音翻译任务上效果显著,且诊断方法可预测桥接模块的可复用性。
2026-10-09 cs.CL cs.SD
The IWSLT 2021 BUT Speech Translation Systems
Brno University of Technology(布尔诺理工大学)
本文介绍了BUT为IWSLT 2021开发的英语到德语离线语音翻译(ST)系统。它们基于联合训练的自动语音识别-机器翻译模型。它们的性能在MustC-Common测试集上进行了评估。在这项工作中,我们从具有大量单独的ASR训练数据和MT训练数据以及少量的语音翻译训练数据的角度来研究它们的效率。大量的ASR和MT训练数据被用于预训练ASR和MT模型。语音翻译数据用于通过定义从语音到翻译的端到端可区分路径来联合优化ASR-MT模型。为此,我们使用ASR解码器的内部连续表示作为MT模块的输入。我们表明,语音翻译可以进一步提高训练ASR解码器联合MT模块使用大量的纯文本MT训练数据。我们还通过训练能够生成标点文本的ASR模块,而不是将标点任务留给MT模块来显示显着的改进。
2021-07-13 cs.CL cs.SD eess.AS
Tackling data scarcity in speech translation using zero-shot multilingual machine translation techniques
Mediaan
最近,端到端语音翻译(ST)由于避免了错误传播而受到了极大的关注。然而,这一方法受到数据稀缺的影响。它严重依赖于直接ST数据,并且在利用语音转录和文本翻译数据方面效率较低,这些数据通常更容易获得。在多语言文本翻译的相关领域中,已经提出了用于zero-shot翻译的若干技术。其主要思想是增加不同语言中语义相似的句子的相似性。我们研究这些想法是否可以应用到语音翻译,通过建立ST模型训练语音转录和文本翻译数据。我们研究了数据增强和辅助损失函数的效果。这些技术成功应用于使用有限ST数据的Few-Shot ST,与直接端到端ST相比,BLEU点提高了+12.9,与从ASR模型微调的ST模型相比,BLEU点提高了+3.1。
2022-01-26 cs.CL cs.SD eess.AS
Lightweight Audio Segmentation for Long-form Speech Translation
NAVER Cloud(NAVER云);KAIST(韩国科学技术院)
本文提出面向长语音翻译的轻量级音频分割模型,通过带标点 ASR 预训练并与底层 ST 系统适当集成,以更小模型规模提升翻译质量。
2024-06-15 cs.CL cs.SD eess.AS
Multilingual Simultaneous Speech Translation
Maastricht University(马斯特里赫特大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
为会议等活动期间的同步语音翻译而设计的应用程序需要在显示翻译文本时平衡质量和延迟,以提供良好的用户体验。构建在线口语翻译系统的一种常见方法是利用为离线语音翻译构建的模型。基于一种适应端到端单语模型的技术,我们研究了多语言模型和不同的架构(端到端和级联)执行在线语音翻译的能力。在多语言TEDx语料库,我们表明,该方法推广到不同的架构。我们看到不同语言和架构在延迟减少方面有类似的收益(相对40%)。然而,在适应在线模式后,端到端架构导致的翻译质量损失较小。此外,该方法甚至可扩展到zero-shot方向。
2022-03-29 cs.CL cs.SD eess.AS
A Holistic Cascade System, benchmark, and Human Evaluation Protocol for Expressive Speech-to-Speech Translation
Meta AI
表达性语音到语音翻译(S2ST)旨在将源语音的韵律属性传递到目标语音,同时保持翻译的准确性。现有的研究表达S2ST是有限的,通常集中在一个单一的表现力方面的时间。同样,这个研究领域缺乏标准的评估协议和精心策划的基准数据集。在这项工作中,我们提出了一个整体的级联系统表达S2ST,结合多种韵律传输技术以前只考虑在隔离。我们在电视剧领域策划了一个基准表现力测试集,并在有声读物领域探索了第二个数据集。最后,我们提出了一个人的评价协议,以评估多个表达层面的语音对。实验结果表明,双语标注器可以评估的质量,在S2ST系统的表达保留,整体建模方法优于单方面系统。音频样本可以通过我们的演示网页访问:https://facebookresearch.github.io/speech_translation/cascade_expressive_s2st。
2023-01-25 cs.CL cs.SD eess.AS
StreamUni: Achieving Streaming Speech Translation with a Unified Large Speech-Language Model
Li Auto(利奥汽车)
本文提出 StreamUni,通过统一的大型语音语言模型结合语音思维链实现流式语音翻译,同时完成语音分割、策略决策与翻译生成,并在无需大量策略训练的情况下达到最先进性能。
2025-07-13 cs.CL cs.SD eess.AS
Bemba Speech Translation: Exploring a Low-Resource African Language
Kreasof AI Research Labs(Kreasof人工智能研究实验室);African Institute for Mathematical Sciences (AIMS)(非洲数学科学研究所);Trinity College Dublin(都柏林三一学院)
本文针对IWSLT 2025低资源赛道,基于Whisper和NLLB-200构建Bemba到英语的级联语音翻译系统,并采用回译等数据增强技术探究合成数据的影响。
2025-06-02 cs.CL cs.SD eess.AS
XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale
Meta AI;Hugging Face;Google AI(谷歌人工智能)
本文提出了XLS-R,一个大规模的跨语言的语音表示学习模型的基础上wav 2 vec 2.0。我们用128种语言的近50万小时的公开语音音频训练了多达2B个参数的训练模型,这比已知的最大的先前工作的公开数据多了一个数量级。我们的评估涵盖了广泛的任务,领域,数据制度和语言,包括高资源和低资源。在CoVoST-2语音翻译基准测试中,我们在21个翻译方向上将先前的最先进水平平均提高了7.4 BLEU。对于语音识别,XLS-R改进了BABEL,MLS,CommonVoice以及VoxPopuli上最知名的先前工作,相对平均降低了14-34%的出错率。XLS-R还在VoxLingua 107语言识别方面开创了一个新的领域。此外,我们表明,有足够的模型大小,跨语言的预训练可以优于英语的预训练时,翻译英语语音到其他语言,有利于单语预训练的设置。我们希望XLS-R可以帮助改善世界上更多语言的语音处理任务。
2021-12-16 cs.CL cs.SD eess.AS
ESPnet-ST: All-in-One Speech Translation Toolkit
Kyoto University(京都大学);RIKEN AIP(理化学研究所先进智能项目中心);Johns Hopkins University(约翰斯·霍普金斯大学);NTT Communication Science Laboratories(日本电信电话通信科学实验室);Waseda University(早稻田大学);Nagoya University(名古屋大学);Human Dataware Lab. Co., Ltd.(人类数据软件实验室有限公司)
我们介绍了ESPnet-ST,它是专为在一个单一的框架中快速开发语音到语音翻译系统。ESPnet-ST是端到端语音处理工具包ESPnet中的一个新项目,它集成或新实现了自动语音识别、机器翻译和用于语音翻译的文本到语音功能。我们为各种基准数据集提供包括数据预处理、特征提取、训练和解码管道在内的一体化配方。我们的可重复结果可以匹配甚至优于当前最先进的性能;这些预训练模型可下载。该工具包可在https://github.com/espnet/espnet上公开查阅。
2020-09-30 cs.CL cs.SD eess.AS
Efficient Speech Translation with Dynamic Latent Perceivers
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Meta AI
Transformers是近年来语音翻译的主流架构,在翻译质量方面取得了显著的进步。由于语音信号比其文本对应物长,并且由于Transformer的二次复杂性,下采样步骤对于其在语音翻译中的采用是必不可少的。相反,在这项研究中,我们建议使用感知器编码器映射的语音输入到一个固定长度的潜在表示,以减轻复杂性。此外,我们引入了一种新的训练感知器的方法,使用动态潜在访问(DLA),在没有任何额外计算开销的情况下解锁更大的潜在空间。具有DLA的语音转文本感知器可以在MuST-C中的三种语言对上匹配Transformer基线的性能。最后,DLA训练的模型在推理时很容易适应DLA,并且可以灵活地部署各种计算预算,而不会显着降低翻译质量。
2023-03-14 cs.CL cs.SD eess.AS
Impact of Encoding and Segmentation Strategies on End-to-End Simultaneous Speech Translation
Naver Labs Europe
在IWITH 2020的同声翻译共享任务的推动下,最近提出了有前途的端到端在线语音翻译方法。它们包括增量地编码语音输入(以源语言)和解码相应的文本(以目标语言),在延迟和翻译质量之间具有最佳可能的折衷。本文研究了端到端同步语音翻译的两个关键方面:(a)如何有效地编码连续的语音流,以及(b)如何分割语音流,以便在读(R:编码输入)和写(W:解码输出)操作之间进行最佳交替。我们扩展了我们之前提出的端到端在线解码策略,并表明虽然用ULSTM编码取代BLSTM会降低离线模式下的性能,但它实际上提高了在线模式下的效率和性能。我们还测量了不同方法对语音信号进行分段的影响(使用固定的间隔边界,Oracle单词边界或随机设置的边界),并表明我们最好的端到端在线解码策略是令人惊讶的是,在我们的英语-德语语音翻译设置上,在固定大小的块上交替进行R/W操作。
2021-06-14 cs.CL cs.SD eess.AS
Representation Purification for End-to-End Speech Translation
School of Informatics, Xiamen University(厦门大学信息学院)
针对语音到文本翻译中音色、节奏等内容无关因素限制知识迁移效率的问题,提出SRPSE框架纯化语音表示,排除无关成分,在MuST-C等数据集上显著提升多设置下的翻译性能。
2024-12-05 cs.CL cs.SD eess.AS
Scheduled Interleaved Speech-Text Training for Speech-to-Speech Translation with LLMs
Sony Group CorporationJapan(索尼集团日本公司);Sony EuropeGermany(索尼欧洲德国分公司);Carnegie Mellon UniversityUSA(卡内基梅隆大学美国分校)
针对大语言模型适配语音模态时数据不足的问题,提出调度式交错语音-文本训练法,通过词级交错文本并逐步降比实现渐进模态适配,在CVSS数据集上微调LLaMA3.2-1B验证了其对翻译性能的提升作用,低资源语言效果更明显。
2025-06-12 cs.CL cs.SD eess.AS
Analyzing Speech Unit Selection for Textless Speech-to-Speech Translation
LIA - Avignon Universite(阿维尼翁大学LIA研究所);University of Cambridge(剑桥大学)
本研究探讨了无文本语音到语音翻译中目标语音单元的选择标准,通过下游任务分析发现,重合成性能优异的单元未必能提升翻译效能,揭示了目标特征选择对系统整体性能的复杂影响。
2024-07-08 cs.CL cs.LG cs.SD
Code-Switching without Switching: Language Agnostic End-to-End Speech Translation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
我们提出了a)一个语言无关的端到端语音翻译模型(LAST),和b)一个数据增强策略,以提高代码切换(CS)的性能。随着全球化的发展,在流利的演讲中,多种语言越来越多地互换使用。这样的CS使传统的语音识别和翻译复杂化,因为我们必须识别首先说的是哪种语言,然后应用依赖于语言的识别器和随后的翻译组件来生成期望的目标语言输出。这样的流水线引入延迟和错误。在本文中,我们消除了需要,通过治疗语音识别和翻译作为一个统一的端到端的语音翻译问题。通过用两种输入语言训练LAST,我们将语音解码为一种目标语言,而不管输入语言是什么。LAST在单语使用中提供了相当的识别和语音翻译准确性,同时在观察到CS时大大降低了延迟和出错率。
2022-11-09 cs.CL cs.LG cs.SD
StreamSpeech: Simultaneous Speech-to-Speech Translation with Multi-task Learning
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Key Laboratory of AI Safety, Chinese Academy of Sciences(中国科学院人工智能安全重点实验室);School of Future Science and Engineering, Soochow University(苏州大学未来科学与工程学院)
提出StreamSpeech模型,通过多任务学习统一框架联合学习翻译与同声策略,实现离线与同声语音识别、翻译及合成的无缝处理,在CVSS基准上达到SOTA,并提供高质量中间结果。
2024-06-05 cs.AI cs.CL cs.SD
Preserving Speaker Information in Direct Speech-to-Speech Translation with Non-Autoregressive Generation and Pretraining
Graduate School of Engineering, Tohoku University(东大理工大学研究生院)
本文提出一种基于自监督预训练和特征融合策略的直接语音到语音翻译方法,在保留说话人特征的同时实现非自回归生成,相比SC-S2UT提升了BLEU分数和说话人相似度,且推理时间仅增加0.04秒。
2025-11-07 cs.MM cs.SD eess.AS
End-to-End Simultaneous Speech Translation with Differentiable Segmentation
University of Chinese Academy of Sciences(中国科学院大学)
本文提出可微分分段(DiSeg)方法,通过期望训练实现与翻译模型联合优化,直接学习有益于翻译的语音分段,在端到端同声传译中取得最优性能。
2023-06-18 cs.AI cs.CL cs.SD
Speech-to-speech Translation between Untranscribed Unknown Languages
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN(理化学研究所)
在本文中,我们探索了一种在没有任何转录或语言监督的情况下训练语音到语音翻译任务的方法。我们提出的方法包括两个步骤:首先,我们训练和生成离散表示与无监督的长期发现与离散量化自动编码器。其次,我们训练序列到序列模型,该模型直接将源语言语音映射到目标语言的离散表示。我们所提出的方法可以直接生成目标语音,而无需任何辅助或预训练步骤与源或目标转录。据我们所知,这是第一个在未转录的未知语言之间进行纯语音到语音翻译的工作。
2019-10-05 cs.CL cs.LG cs.SD
Direct speech-to-speech translation with a sequence-to-sequence model
Google(谷歌)
我们提出了一种基于注意力的序列到序列神经网络,它可以直接将语音从一种语言翻译成另一种语言的语音,而不依赖于中间文本表示。该网络是端到端训练的,学习将语音频谱图映射到另一种语言的目标频谱图,对应于翻译的内容(不同的规范语音)。我们进一步展示了使用源扬声器的声音合成翻译语音的能力。我们在两个西班牙语到英语的语音翻译数据集上进行了实验,发现所提出的模型的性能略低于直接语音到文本翻译模型和文本到语音合成模型的基线级联,证明了该方法在这个非常具有挑战性的任务上的可行性。
2019-06-25 cs.CL cs.LG cs.SD
Translatotron 2: High-quality direct speech-to-speech translation with voice preservation
Google Research(谷歌研究院)
我们提出了Translatotron 2,这是一种可以端到端训练的神经直接语音到语音翻译模型。Translatotron 2由一个语音编码器,一个语言解码器,一个声学合成器和一个将它们连接在一起的注意力模块组成。在三个数据集上的实验结果一致表明,Translatotron 2在翻译质量(高达+15.5 BLEU)和语音生成质量上都大大优于原始Translatotron,并且接近级联系统。此外,我们提出了一个简单的方法,用于保存扬声器的声音从源语音到翻译语音在不同的语言。与现有的方法不同,该方法能够保留每个扬声器的声音,而不需要扬声器分割。此外,与现有方法相比,它更好地保护了说话者的隐私,并减轻了潜在的滥用语音克隆创建欺骗音频伪影。
2022-05-17 cs.CL cs.LG cs.SD
TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation
Shanghai Jiao Tong University(上海交通大学);Microsoft(微软公司)
针对端到端语音到语音翻译性能弱于级联模型、数据稀缺的问题,提出TransVIP框架,以级联用数据集+联合概率实现端到端推理,搭配双编码器保留音色与等时性,法英翻译效果超越现有SOTA模型。
2024-10-31 cs.AI cs.CL cs.SD
Duplex Diffusion Models Improve Speech-to-Speech Translation
NVIDIA(英伟达)
本文提出双工扩散模型,通过将扩散概率模型应用于可逆双工Conformer两侧,首次实现可逆语音翻译,显著提升ASR-BLEU分数。
2023-05-22 cs.CL cs.LG cs.SD
The NPU-MSXF Speech-to-Speech Translation System for IWSLT 2023 Speech-to-Speech Translation Task
Northwestern Polytechnical University(西北工业大学);Nanjing University(南京大学);MaShang Consumer Finance Co., Ltd(马上消费金融股份有限公司)
本文提出NPU-MSXF级联语音到语音翻译系统,通过多源数据增强、ROVER分数融合、三阶段微调及两阶段TTS框架,实现英语到中文的高准确率、高自然度和强鲁棒性翻译。
2023-07-10 cs.SD eess.AS
CTC-based Non-autoregressive Textless Speech-to-Speech Translation
University of Chinese Academy of Sciences(中国科学院大学);School of Future Science and Engineering, Soochow University(苏州大学未来科学与工程学院);Key Laboratory of AI Safety, Chinese Academy of Sciences(中国科学院人工智能安全重点实验室)
本文研究基于CTC的非自回归语音到语音翻译,结合预训练、知识蒸馏及glancing training等技术,在保持与自回归模型相当翻译质量的同时实现最高26.81倍解码加速。
2024-06-11 cs.AI cs.CL cs.SD
Improving End-to-end Speech Translation by Leveraging Auxiliary Speech and Text Data
Northeastern University(东北大学);NiuTrans Research(牛翻译研究所);Tencent Minority-Mandarin Translation(腾讯少数民族语言翻译)
我们提出了一种方法,用于将文本编码器引入预先训练的端到端语音翻译系统。它增强了适应一种模态的能力(即,源语言语音)到另一个(即,源语言文本)。因此,语音翻译模型可以从未标记和标记数据中学习,特别是当源语言文本数据丰富时。除此之外,我们提出了一种去噪方法来构建一个强大的文本编码器,可以处理正常和嘈杂的文本数据。我们的系统在Must-C En-De、En-Fr和LibriSpeech En-Fr任务上设置了新的最先进技术。
2022-12-04 cs.AI cs.CL cs.SD
SeamlessExpressiveLM: Speech Language Model for Expressive Speech-to-Speech Translation with Chain-of-Thought
Meta AI
提出单一语音语言模型SeamlessExpressiveLM,利用思维链提示将语音到语音翻译分解为语义翻译与风格迁移两步,在语义质量和风格迁移上优于级联模型且参数效率更高。
2024-05-30 cs.AI cs.CL cs.SD
Translatotron 3: Speech to Speech Translation with Monolingual Data
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind);Tel-Aviv University(特拉维夫大学)
Translatotron 3提出一种仅用单语数据实现无监督直接语音到语音翻译的方法,结合掩码自编码器、无监督嵌入映射和反向翻译,在保持副语言信息的同时超越级联基线系统。
2024-01-16 cs.CL cs.LG cs.SD
A Unit-based System and Dataset for Expressive Direct Speech-to-Speech Translation
Tsinghua University(清华大学);ByteDance(字节跳动)
本文针对语音翻译忽略副语言信息的问题,构建了精确匹配的多语言电影数据集,并结合多种韵律迁移技术,提出一种直接语音到语音翻译系统,在保持准确性与自然度的同时有效保留了副语言细节。
2025-02-01 cs.CL cs.CV cs.MM
CSTNet: Contrastive Speech Translation Network for Self-Supervised Speech Representation Learning
Le Mans University(勒芒大学)
世界上7,000种语言中有一半以上濒临灭绝。记录语言的传统方法是收集音频数据,然后由训练有素的语言学家在不同的粒度级别上进行手动注释。这个耗时而艰苦的过程可以从机器学习中受益。许多濒危语言没有任何正字法形式,但通常有双语和受过高资源语言训练的发言者。获得与语音对应的文本翻译相对容易。在这项工作中,我们提供了一个多模态机器学习框架的语音表示学习,通过利用两种模态之间的相关性,即语音及其相应的文本翻译。在这里,我们构建了一个卷积神经网络音频编码器,能够从语音中提取语言表示。训练音频编码器以在对比学习框架中执行语音翻译检索任务。通过评估电话识别任务上的学习表示,我们证明了语言表示出现在音频编码器的内部表示作为学习的副产品执行检索任务。
2020-08-05 cs.CL cs.LG cs.SD
SpeechT: Findings of the First Mentorship in Speech Translation
Yasmin Moslem(未知);Juan Julián Cea Morán(未知);Mariano Gonzalez-Gomez(未知);Muhammad Hazim Al Farouq(未知);Farah Abdou(未知);Satarupa Deb(未知)
本文报告首届语音翻译指导计划SpeechT的开展情况,参与者通过数据准备、建模和前沿研究,探索数据增强并比较端到端与级联系统,覆盖多种非英语语言。
2025-06-02 cs.CL cs.SD