Audio-visual Multi-channel Recognition of Overlapped Speech
Tencent AI Lab(腾讯人工智能实验室)
重叠语音的自动语音识别(ASR)至今仍是一项极具挑战性的任务。为此,多通道麦克风阵列数据被广泛用于最先进的ASR系统中。基于视觉模态对声信号失真的不变性,提出了一种分离前端和识别后端紧密结合的视听多通道重叠语音识别系统。开发了一系列基于\textit{TF masking}、\textit{filter\&sum}和\textit{mask-based MVDR}波束形成方法的视听多通道语音分离前端组件。为了减少分离和识别组件之间的错误成本不匹配,它们使用连接主义时间分类(CTC)损失函数或具有尺度不变信噪比(Si-SNR)错误成本的多任务标准插值进行联合微调。实验结果表明,该多通道AVSR系统在使用唇读句子2(LRS 2)数据集的模拟和重放构建的重叠语音上,其绝对词错误率(WER)分别比基线纯音频ASR系统降低了6.81%(相对值为26.83%)和22.22%(相对值为56.87%).
2020-11-18 cs.CL cs.SD eess.AS
Building a Unified Code-Switching ASR System for South African Languages
Stellenbosch University(斯泰伦博斯大学)
我们提出了我们的第一个努力,建立一个单一的多语种自动语音识别(ASR)系统,可以处理代码切换(CS)语音在同一人群中讲的五种语言。这与相关的先前工作,专注于在双语情况下的CS语音识别。最近,我们编制了一个小型的五种语言语料库的南非肥皂剧讲话,其中包含的例子之间的CS 5种语言发生在不同的情况下,如使用英语作为矩阵语言和切换到其他土著语言。本文提出的ASR系统在4个语料库上进行了训练,这些语料库包括英语-isiZulu,英语-isiXhosa,英语-Sethem和英语-Seshem CS语音。在这些语言对上训练的多个语言模型的内插使ASR系统能够假设来自这5种语言的混合单词序列。我们评估各种国家的最先进的声学模型训练的5种语言的训练数据和报告ASR的准确性和语言识别性能的发展和测试集的南非多语种肥皂剧语料库。
2018-07-28 cs.CL
Fast and accurate factorized neural transducer for text adaption of end-to-end speech recognition models
Microsoft Speech Group(微软语音组)
神经传感器由于其自然的流式传输能力,成为目前最流行的语音识别端到端模型。然而,它是具有挑战性的,以适应它与纯文本数据。因子化神经传感器(FNT)模型的提出,以减轻这个问题。与标准神经传感器模型相比,FNT对纯文本适应数据的适应能力的提高是以降低准确性为代价的。我们提出了几种方法来提高FNT模型的性能。它们是:在训练过程中增加CTC准则,在自适应过程中增加KL发散损失,使用预训练的语言模型来播种词汇预测器,以及通过用n-gram语言模型内插词汇预测器的有效自适应方法。这些方法的组合结果在一个相对的字错误率从标准的FNT模型减少了9.48%。此外,使用词汇预测器的n-gram插值极大地提高了自适应速度,具有令人满意的自适应性能。
2023-02-23 cs.CL cs.SD eess.AS
Learn Spelling from Teachers: Transferring Knowledge from Language Models to Sequence-to-Sequence Speech Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
将外部语言模型集成到序列到序列语音识别系统中是不平凡的。以前的作品利用线性插值或融合网络来集成外部语言模型。然而,这些方法引入了外部组件,并增加了解码计算量。在本文中,我们提出了一种基于知识蒸馏的训练方法,将外部语言模型集成到序列到序列模型中。在大规模外部文本上训练的递归神经网络语言模型生成软标签来指导序列到序列模型训练。因此,语言模型扮演着教师的角色。这种方法在测试过程中不会向序列到序列模型添加任何外部组件。该方法可以灵活地与浅层融合技术结合进行解码。实验在中文公共数据集AISHELL-1和CLMAD上进行。我们的方法实现了一个字符的错误率为9.3%,这是相对减少了18.42%相比,香草序列到序列模型。
2019-07-13 cs.CL eess.AS
Internal Language Model Estimation for Domain-Adaptive End-to-End Speech Recognition
Microsoft Corporation(微软公司)
在没有明确划分声学模型和语言模型的端到端(E2 E)自动语音识别(ASR)中,外部语言模型(LM)的集成仍然是一个具有挑战性的任务。在这项工作中,我们提出了一种内部LM估计(ILME)方法,以促进外部LM与所有预先存在的E2 E模型的更有效集成,而无需额外的模型训练,包括最流行的递归神经网络转换器(RNN-T)和基于注意力的编码器-解码器(AED)模型。使用音频-转录对进行训练,E2 E模型隐式地学习内部LM,该LM表征源域中的训练数据。使用ILME,估计E2 E模型的内部LM评分,并从E2 E模型和外部LM评分之间的对数线性插值中减去。当消除其声学分量时,内部LM分数近似为E2 E模型的输出。ILME可以缓解训练和测试之间的域不匹配,或改善多域E2 E ASR。ILME使用30 K小时训练的RNN-T和AED模型进行实验,在域外LibriSpeech和域内Microsoft生产测试集上,从Shallow Fusion分别实现了高达15.5%和6.8%的相对单词错误率降低。
2020-11-03 cs.CL cs.LG cs.SD
Revisiting Interpolation Augmentation for Speech-to-Text Generation
College of Computer Science and Technology, Harbin Engineering University(哈尔滨工程大学计算机科学与技术学院);School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);ByteDance(字节跳动);NiuTrans Research(NiuTrans研究院)
针对低资源场景下语音转文本生成系统标注数据不足的问题,本文深入研究插值增强技术的效用,发现采用合适策略可在多种任务、架构和数据规模下显著提升性能,为资源受限场景下的鲁棒S2T系统提供新方向。
2024-06-22 cs.CL eess.AS
Speech-FT: Merging Pre-trained And Fine-Tuned Speech Representation Models For Cross-Task Generalization
Speech-FT通过两阶段微调框架在保持跨任务泛化能力的同时提升性能,实验表明其在多种任务中表现优于传统微调方法。
2026-04-25 cs.AI cs.CL cs.SD
Analyzing Speech Unit Selection for Textless Speech-to-Speech Translation
LIA - Avignon Universite(阿维尼翁大学LIA研究所);University of Cambridge(剑桥大学)
本研究探讨了无文本语音到语音翻译中目标语音单元的选择标准,通过下游任务分析发现,重合成性能优异的单元未必能提升翻译效能,揭示了目标特征选择对系统整体性能的复杂影响。
2024-07-08 cs.CL cs.LG cs.SD
Simultaneous Speech-to-Speech Translation System with Neural Incremental ASR, MT, and TTS
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
本文介绍了一个新开发的,同时神经语音到语音翻译系统及其评价。该系统由三个全增量神经处理模块组成,分别用于自动语音识别(ASR)、机器翻译(MT)和文本到语音合成(TTS)。我们研究了其在系统的耳语音跨度和说话延迟以及模块级性能的整体延迟。
2020-11-11 cs.CL
Unified Speech-Text Pre-training for Speech Translation and Recognition
Meta AI
我们描述了一种方法,联合预训练语音和文本的编码器-解码器建模框架的语音翻译和识别。该方法结合了四个自我监督和监督的子任务的跨模态学习。自监督语音子任务利用未标记的语音数据,并且(自)监督文本到文本子任务利用丰富的文本训练数据。包括两个辅助监督语音任务,以统一语音和文本建模空间。我们的贡献在于将文本语料库中的语言信息整合到语音预训练中。详细的分析揭示了子任务之间的学习干扰。两个预训练配置的语音翻译和识别,分别,以减轻子任务的干扰。实验结果表明,该方法能有效地将语音和文本信息融合到一个模型中。它在Must-C语音翻译数据集上实现了1.7到2.3的BLEU改进,并且在Librispeech语音识别任务上与wav2vec 2.0相当。
2022-04-11 cs.CL
End-to-end Automatic Speech Recognition and Speech Translation: Integration of Speech Foundational Models and LLMs
Charles University(查尔斯大学);Faculty of Mathematics and Physics(数学与物理系);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
本文提出结合预训练语音编码器与LLMs的端到端架构,同时执行ASR和ST任务,在英德翻译中超越SeamlessM4T并匹敌级联系统,COMET指标提升达8%。
2025-10-11 cs.CL
LibriVoxDeEn: A Corpus for German-to-English Speech Translation and German Speech Recognition
Heidelberg University(海德堡大学);Computational Linguistics(计算语言学);IWR Heidelberg University(海德堡大学IWR研究所)
我们提出了一个语料库的德语音频,德语文本,英语翻译,德语有声读物的基础上,对齐的三元组。语音翻译数据由110小时的音频材料组成,与超过50 k个平行句子对齐。包括与德语文本对齐的547小时德语语音的甚至更大的数据集可用于语音识别。音频数据是读语音,因此不流利程度低。音频和句子对齐的质量已经通过人工评估进行了检查,表明语音对齐质量通常非常高。句子对齐质量与常用的平行翻译数据相当,并且可以通过自动对齐分数的截止值进行调整。据我们所知,该语料库是迄今为止最大的德语语音识别和端到端德语到英语语音翻译资源。
2020-03-04 cs.CL
MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
Meta AI
我们介绍MuAViC,一个多语言的视听语料库,用于强大的语音识别和强大的语音到文本的翻译,提供1200小时的视听语音在9种语言。它完全转录,涵盖6个英语到X的翻译以及6个X到英语的翻译方向。据我们所知,这是第一个视听语音到文本翻译的开放基准,也是多语言视听语音识别的最大开放基准。我们的基线结果表明,MuAViC是有效的建立噪声鲁棒的语音识别和翻译模型。我们在https://github.com/facebookresearch/muavic上提供语料库。
2023-03-07 cs.CL eess.AS
MSLM-S2ST: A Multitask Speech Language Model for Textless Speech-to-Speech Translation with Speaker Style Preservation
Carnegie Mellon University(卡内基梅隆大学);Meta AI;The Chinese University of Hong Kong(香港中文大学)
本文提出多任务语音语言模型MSLM,一种仅解码器架构,在不依赖文本数据的情况下实现保留说话人风格的多语言语音到语音翻译。
2024-03-19 cs.CL cs.SD eess.AS
UWSpeech: Speech to Speech Translation for Unwritten Languages
Zhejiang University(浙江大学);Microsoft Research Asia(微软亚洲研究院)
现有的语音到语音翻译系统严重依赖于目标语言的文本:它们通常将源语言翻译成目标文本,然后从文本合成目标语音,或者直接将目标文本与目标语音一起辅助训练。然而,这些方法不能应用于没有书面文本或音素的非书面目标语言。在本文中,我们开发了一个非书面语言的翻译系统,命名为UWSpeech,它将目标非书面语音转换成离散令牌转换器,然后将源语言语音翻译成目标离散令牌翻译器,最后合成目标语音从目标离散令牌逆变器。本文提出了一种增强矢量量化变分自编码器(VQ-VAE)和跨语言(XL)语音识别能力的方法XL-VAE,对UWSpeech的变换器和反相器进行联合训练。在Fisher西班牙语-英语会话翻译数据集上的实验表明,UWSpeech的性能比直接翻译和VQ-VAE基线分别高出约16和10个BLEU点,充分展示了UWSpeech的优势和潜力。
2020-12-17 cs.CL eess.AS
CVSS Corpus and Massively Multilingual Speech-to-Speech Translation
Google Research(谷歌研究院)
我们介绍了CVSS,一个大规模的多语言到英语的语音到语音翻译(S2 ST)语料库,涵盖了从21种语言到英语的并行S2 ST对。CVSS源自Common Voice语音语料库和CoVoST 2语音到文本翻译(ST)语料库,通过使用最先进的TTS系统将CoVoST 2的翻译文本合成为语音。提供了两种版本的翻译语音:1)CVSS-C:所有翻译语音都是单个高质量的规范语音; 2)CVSS-T:翻译语音是从相应的源语音转移的语音。此外,CVSS还提供了与翻译语音中的发音相匹配的规范化翻译文本。在每个版本的CVSS上,我们分别建立了多语种直接S2 ST模型和级联S2 ST模型,验证了语料库的有效性。为了构建强大的级联S2 ST基线,我们在CoVoST 2上训练了一个ST模型,它比之前在没有额外数据的语料库上训练的最先进模型性能高出5.8 BLEU。尽管如此,直接S2 ST模型的性能在从头开始训练时接近强级联基线,并且在从匹配ST模型初始化时,ASR转录翻译只有0.1或0.7 BLEU差异。
2022-06-26 cs.CL cs.SD eess.AS
Speech to Speech Translation with Translatotron: A State of the Art Review
International University of Grand-Bassam(大巴萨姆国际大学);Covenant University(圣约大学);HRA, Institute for Systems Science, Durban University of Technology(德班理工大学系统科学研究所HRA中心);Walter Sisulu University(沃尔特·西苏鲁大学);Summit University(萨米特大学)
本文综述语音到语音翻译技术,重点梳理 Google 的 Translatotron 1、2、3 如何由概念验证发展到在部分方面超越级联模型,并指出其弥合非洲语言与成熟语言差距的潜力。
2025-02-19 cs.AI cs.CL
SeamlessExpressiveLM: Speech Language Model for Expressive Speech-to-Speech Translation with Chain-of-Thought
Meta AI
提出单一语音语言模型SeamlessExpressiveLM,利用思维链提示将语音到语音翻译分解为语义翻译与风格迁移两步,在语义质量和风格迁移上优于级联模型且参数效率更高。
2024-05-30 cs.AI cs.CL cs.SD
PolyVoice: Language Models for Speech to Speech Translation
ByteDance(字节跳动)
本研究提出基于语言模型的S2ST框架PolyVoice,采用无监督离散语音单元适配无文字语言,结合VALL-E X构建单元音频模型保留原语音特征,在中英、英西翻译任务中实现高翻译与音频质量。
2023-06-13 cs.CL eess.AS
Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation
Meta AI
直接语音到语音翻译(S2 ST)模型遭受数据稀缺问题,因为与包括自动语音识别(ASR)、机器翻译(MT)和文本到语音(TTS)合成的常规级联系统可用的数据量相比,几乎不存在并行S2 ST数据。在这项工作中,我们探索了使用未标记语音数据和数据增强的自监督预训练来解决这个问题。我们利用最近提出的语音到单元翻译(S2 UT)框架,该框架将目标语音编码为离散表示,并通过研究语音编码器和离散单元解码器的预训练,将适用于语音到文本翻译(S2 T)的预训练和有效的部分微调技术转移到S2 UT域。我们对西班牙语-英语翻译的实验表明,与平均6.6-12.1 BLEU增益的多任务学习相比,自监督预训练始终提高了模型性能,并且可以进一步与数据增强技术相结合,该技术应用MT来创建弱监督训练数据。音频样本可在https://facebookresearch.github.io/speech_translation/enhanced_direct_s2st_units/index.html上获得。
2022-09-13 cs.CL cs.SD eess.AS
Improving Speech-to-Speech Translation Through Unlabeled Text
Meta AI
直接语音到语音翻译(S2 ST)是翻译范式中最具挑战性的问题之一,由于S2 ST数据的显着稀缺。虽然已经通过级联预训练语音识别(ASR)、机器翻译(MT)和文本到语音(TTS)模型来努力增加来自未标记语音的数据大小;但是未标记文本仍然相对未被充分利用来改进S2 ST。我们提出了一种有效的方法来利用大量现有的未标记的文本从不同的语言来创建大量的S2 ST数据,通过应用各种声学效果,以提高S2 ST的性能所产生的合成数据。从经验上讲,我们的方法优于西班牙语-英语翻译的最高2 BLEU。所提出的方法的显着收益证明在极低的资源设置为西班牙语-英语和俄语-英语翻译。
2022-10-26 cs.CL cs.SD eess.AS
A Textless Metric for Speech-to-Speech Comparison
Naver Labs Europe(欧洲Naver实验室);LNE(法国国家计量测试实验室)
该研究提出一种基于HuBERT等语音转单元编码器的无文本语音比较指标,可用于无可靠ASR系统的语言的语音翻译评估,同时证实强ASR下的ASR-BLEU也无法很好替代真实文本BLEU。
2023-07-20 cs.CL cs.SD eess.AS
TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation
Shanghai Jiao Tong University(上海交通大学);Microsoft(微软公司)
针对端到端语音到语音翻译性能弱于级联模型、数据稀缺的问题,提出TransVIP框架,以级联用数据集+联合概率实现端到端推理,搭配双编码器保留音色与等时性,法英翻译效果超越现有SOTA模型。
2024-10-31 cs.AI cs.CL cs.SD
StreamSpeech: Simultaneous Speech-to-Speech Translation with Multi-task Learning
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Key Laboratory of AI Safety, Chinese Academy of Sciences(中国科学院人工智能安全重点实验室);School of Future Science and Engineering, Soochow University(苏州大学未来科学与工程学院)
提出StreamSpeech模型,通过多任务学习统一框架联合学习翻译与同声策略,实现离线与同声语音识别、翻译及合成的无缝处理,在CVSS基准上达到SOTA,并提供高质量中间结果。
2024-06-05 cs.AI cs.CL cs.SD
The Mason-Alberta Phonetic Segmenter: A forced alignment system based on deep neural networks and interpolation
George Mason University(乔治梅森大学);University of Alberta(阿尔伯塔大学);Northern Arizona University(北亚利桑那大学)
本文提出基于深度神经网络的强制对齐系统MAPS,通过将声学建模视为标注任务并引入插值技术突破10毫秒边界精度限制,在测试集上使10毫秒内准确边界数量相对Montreal Forced Aligner提升27.92%。
2023-10-24 cs.CL cs.LG cs.SD
Unlocking Fine-Grained and Within-Utterance Speaking Style Control in Prompt-Based Text-to-Speech Models
Department of Artificial Intelligence, Sungkyunkwan University, Korea(全州大学人工智能系);Department of Computer Science and Engineering, Sungkyunkwan University, Korea(全州大学计算机科学与工程系)
针对基于提示的TTS模型缺乏细粒度控制和句内风格变化的问题,提出句间风格插值和句内风格过渡技术,通过嵌入空间方向向量插值和KV缓存交换及滑动窗口注意力掩码实现平滑风格控制。
2026-04-09 cs.AI cs.CL
Real-Time Statistical Speech Translation
Polish Japanese Institute of Information Technology(波兰日本信息技术学院)
本研究探讨统计机器翻译方法,以实现语音的实时的自动翻译。这种系统可以与语音识别和合成软件一起用于管道中,以便在外国人之间产生实时的语音通信系统。我们从代表三种不同类型的人类语音的口语程序中获得了三个主要的数据集。TED、Europarl和OPUS平行文本语料库被用作语言模型训练的基础,用于翻译系统的开发调整和测试。我们还进行了实验,涉及词性标注,复合词分裂,线性语言模型插值,TrueCasing和形态句法分析。我们使用BLEU、NIST、METEOR和TER度量标准评估了各种数据准备对翻译结果的影响,并试图给出哪种度量标准最适合PL-EN语言对的答案。
2015-09-30 cs.CL stat.ML
Distilling a Pretrained Language Model to a Multilingual ASR Model
Sogang University(西江大学)
多语种语音数据往往存在长尾语言分布,导致性能下降。然而,多语言文本数据更容易获得,从而产生更有用的通用语言模型。因此,我们有动机将嵌入在训练有素的教师文本模型中的丰富知识提取到学生语音模型中。我们提出了一种新的方法称为蒸馏一个语言模型语音模型(蒸馏-L2 S),对齐两个不同的模态的潜在表示。细微的差异由收缩机制、最近邻插值和可学习的线性投影层处理。我们证明了我们的蒸馏方法的有效性,将其应用到多语种自动语音识别(ASR)的任务。我们提取了基于transformer的跨语言语言模型(InfoXLM),同时为每种语言微调了大规模多语言ASR模型(XLSR-wav 2 vec 2.0)。我们展示了我们的方法在CommonVoice数据集的20种低资源语言上的优越性,这些语言的语音数据少于100小时。
2022-06-25 cs.AI cs.CL cs.SD
Knowledge distillation from language model to acoustic model: a hierarchical multi-task learning approach
Hanyang University(汉阳大学)
使用自监督学习的预训练语言模型(LM)的显著性能导致了自然语言处理研究的重大范式转变。与这些变化相一致,利用具有大规模基于深度学习的LM的语音识别系统的性能是语音识别研究的主要课题。在将LM应用于语音识别系统的各种方法中,在本文中,我们专注于跨模态知识蒸馏方法,该方法在具有不同模态的两种类型的深度神经网络之间传输知识。我们提出了一个声学模型结构与多个辅助输出层的跨模态蒸馏和证明,所提出的方法有效地弥补了现有的标签插值蒸馏方法的缺点。此外,我们将所提出的方法扩展到分层蒸馏方法,使用在不同单位(句音,单音和子词)训练的LM,并通过消融研究揭示了分层蒸馏方法的有效性。
2021-10-20 cs.CL cs.LG cs.SD
Direct speech-to-speech translation with discrete units
Meta AI;Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一个直接的语音到语音翻译(S2ST)模型,从一种语言的语音翻译到另一种语言的语音,而不依赖于中间文本生成。我们通过首先在目标语音上应用自监督离散语音编码器,然后训练序列到序列语音到单元翻译(S2UT)模型来预测目标语音的离散表示来解决这个问题。当目标文本成绩单可用时,我们设计了一个联合语音和文本训练框架,使模型能够在同一推理过程中同时生成双模态输出(语音和文本)。Fisher西班牙语-英语数据集上的实验表明,与预测谱图特征的基线直接S2ST模型相比,所提出的框架产生6.7 BLEU的改进。当在没有任何文本记录的情况下进行训练时,我们的模型性能与预测频谱图并使用文本监督进行训练的模型相当,这表明我们的系统在非书面语言之间进行翻译的潜力。音频样本可在www.example.com上获得。
2022-03-21 cs.CL cs.LG eess.AS
Direct speech-to-speech translation with a sequence-to-sequence model
Google(谷歌)
我们提出了一种基于注意力的序列到序列神经网络,它可以直接将语音从一种语言翻译成另一种语言的语音,而不依赖于中间文本表示。该网络是端到端训练的,学习将语音频谱图映射到另一种语言的目标频谱图,对应于翻译的内容(不同的规范语音)。我们进一步展示了使用源扬声器的声音合成翻译语音的能力。我们在两个西班牙语到英语的语音翻译数据集上进行了实验,发现所提出的模型的性能略低于直接语音到文本翻译模型和文本到语音合成模型的基线级联,证明了该方法在这个非常具有挑战性的任务上的可行性。
2019-06-25 cs.CL cs.LG cs.SD
Speech-to-speech Translation between Untranscribed Unknown Languages
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN(理化学研究所)
在本文中,我们探索了一种在没有任何转录或语言监督的情况下训练语音到语音翻译任务的方法。我们提出的方法包括两个步骤:首先,我们训练和生成离散表示与无监督的长期发现与离散量化自动编码器。其次,我们训练序列到序列模型,该模型直接将源语言语音映射到目标语言的离散表示。我们所提出的方法可以直接生成目标语音,而无需任何辅助或预训练步骤与源或目标转录。据我们所知,这是第一个在未转录的未知语言之间进行纯语音到语音翻译的工作。
2019-10-05 cs.CL cs.LG cs.SD
SpeechX: Neural Codec Language Model as a Versatile Speech Transformer
Microsoft Corporation(微软公司);Microsoft Research Asia(微软亚洲研究院)
本文提出多功能语音生成模型SpeechX,通过结合神经编解码器语言建模与多任务学习及任务相关提示,统一实现零样本TTS及多种语音转换任务,并在多项任务上取得优于专用模型的性能。
2024-06-25 cs.CL cs.LG cs.SD
SpeechAlign: a Framework for Speech Translation Alignment Evaluation
Meta FAIR;Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
本文提出SpeechAlign评估框架,包含基于英德文本对齐构建的Speech Gold Alignment数据集及SAER与TW-SAER两项新指标,用于评估语音翻译模型中的源-目标对齐质量,并对开源模型进行了基准测试。
2024-04-25 cs.CL
TranSentence: Speech-to-speech Translation via Language-agnostic Sentence-level Speech Encoding without Language-parallel Data
Korea University(高丽大学)
提出无需语言平行数据的语音到语音翻译模型 TranSentence,通过语言无关句子级语音编码和单语数据训练实现跨语言语音生成,并扩展至多语言翻译且性能优于其他模型。
2024-01-17 cs.CL cs.SD eess.AS
Cross-Lingual Transfer Learning for Speech Translation
针对数据受限下扩展多语言基础模型的语音翻译能力问题,以Whisper为例,利用语音检索揭示其共享语义空间,通过仅英中数据微调解码器,实现零样本跨语言迁移并提升多语言到中文的翻译性能。
2025-02-11 cs.CL
Assessing Evaluation Metrics for Speech-to-Speech Translation
Johns Hopkins University(约翰斯·霍普金斯大学);ETH Zürich(苏黎世联邦理工学院)
语音到语音翻译将机器翻译与语音合成相结合,引入了单独任务中不存在的评估挑战。如何自动评估语音到语音翻译是一个开放的问题,以前没有被探索。翻译成语音而不是文本通常是由不成文的语言或没有标准化拼写的语言所驱动的。然而,我们表明,以前使用的自动度量这项任务是最好的标准化的高资源语言。在这项工作中,我们首先评估语音到语音翻译的当前指标,其次评估翻译到方言变体而不是标准化语言如何影响各种评估方法。
2021-10-26 cs.CL cs.SD eess.AS
Speech Segmentation Optimization using Segmented Bilingual Speech Corpus for End-to-end Speech Translation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
语音分割是将长语音分割成短语音段的过程,是语音翻译的关键。流行的VAD工具,如WebRTC VAD,通常依赖于基于暂停的分段。不幸的是,语音中的停顿不一定与句子边界匹配,句子可以通过很短的停顿连接起来,这很难被VAD检测到。在这项研究中,我们提出了一种语音分割方法,使用二进制分类模型训练使用分割的双语语音语料库。我们还提出了一种混合的方法,结合VAD和上述语音分割方法。实验结果表明,该方法更适合级联和端到端ST系统比传统的分割方法。混合方法进一步提高了翻译性能。
2022-07-13 cs.CL cs.SD eess.AS
Joint Pre-Training with Speech and Bilingual Text for Direct Speech to Speech Translation
Microsoft Research Asia(微软亚洲研究院)
直接语音到语音翻译(S2 ST)是一个有吸引力的研究课题,与级联S2 ST相比具有许多优点。然而,直接S2 ST遭受数据稀缺的问题,因为从源语言的语音到目标语言的语音的语料库是非常稀少的。为了解决这个问题,我们在本文中提出了一个Speech 2S模型,该模型使用未配对的语音和双语文本数据进行联合预训练,用于直接语音到语音翻译任务。通过有效地利用成对的文本数据,Speech 2S能够建模从源语言到目标语言的跨语言语音转换。我们在Europarl-ST和VoxPopuli数据集上验证了所提出的Speech 2S的性能。实验结果表明,与仅编码器的预训练模型相比,Speech 2S的BLEU分数提高了约5分,并且比现有的最先进的模型1具有竞争力甚至更好的性能。
2022-10-31 cs.CL cs.SD eess.AS
Fluent and Low-latency Simultaneous Speech-to-Speech Translation with Self-adaptive Training
Baidu Research(百度研究院);Kwai Inc.(快手公司);Oregon State University(俄勒冈州立大学)
同步语音到语音翻译非常有用,但极具挑战性,因为它需要与源语言语音同时生成目标语言语音,只有几秒钟的延迟。此外,它需要连续翻译一串句子,但所有最近的解决方案都只关注单句场景。因此,当前的方法在说话者说话更快时逐渐积累延迟,并且在说话者说话更慢时引入不自然的停顿。为了克服这些问题,我们提出了自适应翻译(SAT),灵活地调整翻译的长度,以适应不同的源语音速率。在类似的翻译质量水平(由BLEU测量)下,我们的方法在两个Zh En方向上生成更流畅的目标语音(由自然度度量MOS测量),其延迟比基线低得多<->。
2020-10-21 cs.AI cs.CL
LibriS2S: A German-English Speech-to-Speech Translation Corpus
Maastricht University(马斯特里赫特大学)
最近,我们看到人们对语音到文本翻译的兴趣越来越大。这导致了这一领域令人惊讶的进步。相比之下,语音翻译领域的活动仍然有限,尽管克服语言障碍至关重要。我们认为,限制因素之一是能否获得适当的训练数据。我们通过创建LibriS2S来解决这个问题,据我们所知,LibriS2S是第一个公开的德语和英语之间的语音到语音训练语料库。对于这个语料库,我们使用了独立创建的德语和英语音频,从而使两种语言的文本发音没有偏见。这允许创建新的文本到语音和语音到语音翻译模型,其直接学习以基于源语言的发音来生成语音信号。使用这个创建的语料库,我们提出了文本到语音模型的基础上,最近提出的FastSpeech 2模型,集成了源语言信息的例子。我们通过调整模型来实现这一点,以将源语音中的音高、能量或转录等信息作为额外的输入。
2022-04-22 cs.CL cs.SD eess.AS
Does Translation-Enhanced Speech Encoder Pre-training Affect Speech LLMs?
SB Intuitions
研究翻译增强的语音编码器预训练对语音大语言模型的影响,通过实验证明该方法能改善跨模态整合并提升下游任务性能。
2026-06-25 cs.CL cs.SD eess.AS
Jointly Optimizing Translations and Speech Timing to Improve Isochrony in Automatic Dubbing
AWS AI Labs(亚马逊云科技人工智能实验室);Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心)
自动配音是将视频中的原始语音翻译成目标语言语音的过程。新的目标语言语音应满足等时性,也就是说,新的语音应与原始视频的时间对齐,包括嘴部动作,停顿,手势等,在本文中,我们提出了一个模型,直接优化翻译以及生成的翻译的语音持续时间的训练。我们表明,该系统生成的语音,更好地匹配的原始语音的时间,相比以前的工作,同时简化了系统架构。
2023-02-25 cs.CL cs.SD eess.AS
CoVoST 2 and Massively Multilingual Speech-to-Text Translation
Facebook AI
语音翻译最近成为一个越来越受欢迎的研究课题,部分原因是基准数据集的发展。然而,目前的数据集涵盖的语言数量有限。为了促进大规模多语言语音翻译和低资源语言对语音翻译的研究,我们发布了CoVoST 2,这是一个大规模多语言语音翻译语料库,涵盖了从21种语言到英语和从英语到15种语言的翻译。这是迄今为止从总量和语言覆盖范围来看最大的开放数据集。数据健全性检查提供有关数据质量的证据,这些数据在CC0许可证下发布。我们还提供广泛的语音识别、双语和多语言机器翻译以及语音翻译基线,并提供开源实现。
2020-10-24 cs.CL cs.SD eess.AS