Cascaded Models With Cyclic Feedback For Direct Speech Translation
Heidelberg University(海德堡大学);Computational Linguistics(计算语言学);IWR, Heidelberg University(海德堡大学IWR研究所)
针对直接语音翻译数据稀缺问题,提出带循环反馈的ASR-MT级联模型,通过自训练优化ASR、微调MT提升拼写容忍度,在德英翻译任务上取得优于同条件端到端模型的BLEU提升。
2021-02-11 cs.CL
Augmenting Librispeech with French Translations: A Multimodal Corpus for Direct Speech Translation Evaluation
LIG(格勒诺布尔信息学实验室);UGA(格勒诺布尔阿尔卑斯大学);G-INP(格勒诺布尔国立理工学院);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);LIDILEM(语言、话语、文本、语言与认知跨学科研究实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
口语翻译(spoken language translation,缩写为EMT)中的最近的工作已经尝试在学习或解码期间不使用源语言转录的情况下构建端到端的语音到文本的翻译。然而,虽然大量的并行文本(例如Europarl、OpenSubtitles)可用于训练机器翻译系统,但是不存在包括与目标语言的文本对齐的源语言的语音的大型(100 h)和开源并行语料库。本文试图填补这一空白,增加现有的(单语)语料库:LibriSpeech。该语料库用于自动语音识别,来自LibriVox项目的有声读物,并经过仔细的分段和对齐。在从LibriSpeech中收集与英语有声读物相对应的法语电子书后,我们将句子级别的语音片段与各自的翻译对齐,并获得236 h的可用并行数据。本文介绍了处理的细节,以及进行人工评估的一个小的子集的语料库。该评估表明,自动对齐分数与双语对齐质量的人类判断合理相关。我们相信,这个语料库(这是在线提供)是有用的直接语音翻译或更一般的口语翻译实验的可复制实验。
2018-02-09 cs.CL
Automatic Quality Assessment for Speech Translation Using Joint ASR and MT Features
Laboratoire d’Informatique de Grenoble, University of Grenoble Alpes(格勒诺布尔计算机科学实验室,格勒诺布尔阿尔卑斯大学)
本文研究口语翻译质量的自动评估。这个相对较新的任务被定义和形式化为一个序列标签问题,其中根据一个大的特征集,将假设中的每个单词标记为好或坏。我们提出了几个字的信心估计(WCE)的基础上,我们的自动评估转录(ASR)的质量,翻译(MT)的质量,或两者兼而有之(结合ASR+MT)。这项研究工作是可能的,因为我们建立了一个特定的语料库,其中包含6.7k的话语,其中一个五元组包括:ASR输出,逐字记录,文本翻译,语音翻译和翻译后编辑。我们使用联合ASR和MT特征进行WCE的多次实验的结论是,MT特征仍然是最有影响力的,而ASR特征可以带来有趣的补充信息。我们的鲁棒质量估计器可用于重新评分语音翻译图或在交互式语音翻译或计算机辅助语音到文本场景中向用户提供反馈。
2016-09-20 cs.CL
BLASER: A Text-Free Speech-to-Speech Translation Evaluation Metric
Meta AI
端到端语音到语音翻译(S2 ST)通常使用基于文本的指标进行评估。这意味着生成的语音必须被自动转录,使得评估取决于自动语音识别(ASR)系统的可用性和质量。在本文中,我们提出了一个无文本的端到端S2 ST的评价指标,命名为BLASER,以避免对ASR系统的依赖。BLASER利用多语言多模态编码器将源输入、翻译输出和参考的语音片段直接编码到共享的嵌入空间中,并计算翻译质量的分数,该分数可用作人类评估的代理。为了评估我们的方法,我们从超过40 k的人类注释中构建了训练和评估集,涵盖了七个语言方向。BLASER的最佳结果是通过在人类评分的监督下进行训练来实现的。我们发现,当在句子水平上进行评估时,BLASER与人类判断的相关性明显优于ASR依赖的指标,包括所有翻译方向的ASR-SENTBLEU和其中五个方向的ASR-COMET。我们的分析表明,将语音和文本作为输入组合到BLASER中并不会增加与人类分数的相关性,但是当使用语音时,可以实现最佳相关性,这激发了我们的研究目标。此外,我们表明,使用ASR的参考是有害的基于文本的指标。
2022-12-16 cs.CL
Investigating the Reordering Capability in CTC-based Non-Autoregressive End-to-End Speech Translation
National Taiwan University(台湾大学)
我们研究了使用连接主义时间分类(CTC)建立非自回归语音到文本翻译模型的可能性,并使用基于CTC的自动语音识别作为辅助任务,以提高性能。由于CTC的单调性假设,它在翻译上的成功是违反直觉的,因此我们分析了它的重排能力。Kendall的tau距离被引入作为定量度量,基于梯度的可视化提供了一种直观的方式来更仔细地观察模型。分析表明,Transformer编码器具有改变语序的能力,并指出了非自回归语音翻译的未来研究方向。
2021-05-11 cs.CL
A Practical Evaluation Method for Long-Form Simultaneous Speech-to-Speech Translation
Carnegie Mellon University(卡内基梅隆大学)
针对长语音同声翻译评估困难的问题,提出一种基于ASR、强制对齐和句子嵌入对齐的实用方法,实现句子级延迟与质量度量,揭示现有系统在长语音上延迟累积严重。
2026-08-10 cs.CL
DiffNorm: Self-Supervised Normalization for Non-autoregressive Speech-to-speech Translation
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出DiffNorm,一种基于扩散的自监督归一化策略,通过去噪损坏语音特征简化数据分布,并结合无分类器引导正则化非自回归Transformer,在CVSS基准上显著提升语音到语音翻译质量与推理速度。
2024-10-21 cs.CL
Lattice Transformer for Speech Translation
Alibaba Group Inc.(阿里巴巴集团)
序列建模的最新进展突出了Transformer架构的优势,特别是在实现最先进的机器翻译结果方面。然而,取决于上游系统,例如,语音识别或分词,翻译系统的输入可能变化很大。这项工作的目标是扩展Transformer的注意力机制,除了传统的顺序输入之外,还可以自然地消耗晶格。我们首先提出了一个通用的格型Transformer的语音翻译的输入是输出的自动语音识别(ASR),其中包含多个路径和后验分数。为了充分利用来自格结构的额外信息,我们开发了一种新的可控格注意力机制来获得潜在表征。在LDC西班牙语-英语语音翻译语料库上,我们的实验表明,lattice Transformer的泛化效果明显更好,并且优于Transformer基线和lattice LSTM。此外,我们在WMT 2017汉英翻译任务中验证了我们的方法,该任务使用来自不同BPE分割的格输入。在这项任务中,我们还观察了强基线的改进。
2019-06-13 cs.CL
A case study on using speech-to-translation alignments for language documentation
University of Notre Dame(圣母大学)
对于许多低资源或濒危语言,口语资源更有可能用翻译而不是翻译来注释。最近的工作利用这种注释来产生语音到翻译的对齐,而无需访问任何文本transmittance。我们调查是否提供这样的信息可以帮助产生更好的(不匹配的)众包transmittance,这反过来可能是有价值的训练语音识别系统,并表明,他们确实可以通过一个小规模的案例研究作为概念验证是有益的。我们还提出了一个简单的语音感知字符串平均技术,产生更高质量的transmittance。
2017-02-14 cs.CL
Disentangling ASR and MT Errors in Speech Translation
University Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LIG(格勒诺布尔信息实验室)
本文的主要目的是研究口语翻译的自动质量评估。更确切地说,我们调查的错误,可能是由于转录(ASR)或翻译(MT)模块。本文研究了使用基于联合ASR和MT特征的单个分类器自动检测机器学习错误。我们评估2级(好/坏)和3级(好/坏ASR/坏MT)标记任务。3类问题需要解开语音翻译输出中的ASR和MT错误,我们提出了两个标签提取方法,这个非平凡的步骤。这使得-作为副产品-定性分析的翻译错误及其来源(他们是由于转录或翻译步骤?)我们内部的大型法语到英语语音翻译语料库。
2017-09-03 cs.CL
MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
Meta AI
我们介绍MuAViC,一个多语言的视听语料库,用于强大的语音识别和强大的语音到文本的翻译,提供1200小时的视听语音在9种语言。它完全转录,涵盖6个英语到X的翻译以及6个X到英语的翻译方向。据我们所知,这是第一个视听语音到文本翻译的开放基准,也是多语言视听语音识别的最大开放基准。我们的基线结果表明,MuAViC是有效的建立噪声鲁棒的语音识别和翻译模型。我们在https://github.com/facebookresearch/muavic上提供语料库。
2023-03-07 cs.CL eess.AS
SimulSeamless: FBK at IWSLT 2024 Simultaneous Speech Translation
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
本文介绍FBK团队在IWSLT 2024同声语音翻译评测中提出的SimulSeamless系统,该系统结合AlignAtt策略与中等配置的SeamlessM4T模型,无需重训练即可实现同声推理,在多语言对上取得了优于往届的结果,且支持上百种语言互译。
2024-06-20 cs.AI cs.CL cs.SD
UWSpeech: Speech to Speech Translation for Unwritten Languages
Zhejiang University(浙江大学);Microsoft Research Asia(微软亚洲研究院)
现有的语音到语音翻译系统严重依赖于目标语言的文本:它们通常将源语言翻译成目标文本,然后从文本合成目标语音,或者直接将目标文本与目标语音一起辅助训练。然而,这些方法不能应用于没有书面文本或音素的非书面目标语言。在本文中,我们开发了一个非书面语言的翻译系统,命名为UWSpeech,它将目标非书面语音转换成离散令牌转换器,然后将源语言语音翻译成目标离散令牌翻译器,最后合成目标语音从目标离散令牌逆变器。本文提出了一种增强矢量量化变分自编码器(VQ-VAE)和跨语言(XL)语音识别能力的方法XL-VAE,对UWSpeech的变换器和反相器进行联合训练。在Fisher西班牙语-英语会话翻译数据集上的实验表明,UWSpeech的性能比直接翻译和VQ-VAE基线分别高出约16和10个BLEU点,充分展示了UWSpeech的优势和潜力。
2020-12-17 cs.CL eess.AS
Breaking the Data Barrier: Towards Robust Speech Translation via Adversarial Stability Training
NetEase Youdao Information Technology (Beijing) Co., LTD.(网易有道信息技术(北京)有限公司)
在流水线语音翻译系统中,自动语音识别(ASR)系统会将识别错误传递给下游的机器翻译(MT)系统。标准的机器翻译系统通常在由干净文本组成的并行语料库上进行训练,并且在具有识别噪声的文本上表现不佳,这是语音翻译界众所周知的差距。在本文中,我们提出了一个训练架构,旨在使神经机器翻译模型对语音识别错误更强大。我们的方法同时使用对抗学习和数据增强来解决编码器和解码器的问题。在IWSLT2018语音翻译任务上的实验结果表明,我们的方法可以弥合ASR输出和MT输入之间的差距,在有噪声的ASR输出上比基线高出2.83 BLEU,同时在干净文本上保持接近的性能。
2019-10-28 cs.CL eess.AS
PolyVoice: Language Models for Speech to Speech Translation
ByteDance(字节跳动)
本研究提出基于语言模型的S2ST框架PolyVoice,采用无监督离散语音单元适配无文字语言,结合VALL-E X构建单元音频模型保留原语音特征,在中英、英西翻译任务中实现高翻译与音频质量。
2023-06-13 cs.CL eess.AS
CVSS Corpus and Massively Multilingual Speech-to-Speech Translation
Google Research(谷歌研究院)
我们介绍了CVSS,一个大规模的多语言到英语的语音到语音翻译(S2 ST)语料库,涵盖了从21种语言到英语的并行S2 ST对。CVSS源自Common Voice语音语料库和CoVoST 2语音到文本翻译(ST)语料库,通过使用最先进的TTS系统将CoVoST 2的翻译文本合成为语音。提供了两种版本的翻译语音:1)CVSS-C:所有翻译语音都是单个高质量的规范语音; 2)CVSS-T:翻译语音是从相应的源语音转移的语音。此外,CVSS还提供了与翻译语音中的发音相匹配的规范化翻译文本。在每个版本的CVSS上,我们分别建立了多语种直接S2 ST模型和级联S2 ST模型,验证了语料库的有效性。为了构建强大的级联S2 ST基线,我们在CoVoST 2上训练了一个ST模型,它比之前在没有额外数据的语料库上训练的最先进模型性能高出5.8 BLEU。尽管如此,直接S2 ST模型的性能在从头开始训练时接近强级联基线,并且在从匹配ST模型初始化时,ASR转录翻译只有0.1或0.7 BLEU差异。
2022-06-26 cs.CL cs.SD eess.AS
Synchronous Speech Recognition and Speech-to-Text Translation with Interactive Decoding
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Baidu Inc.(百度公司);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
语篇翻译是将源语言的语音翻译成目标语言的文本,近年来受到了广泛的关注。与传统的流水线系统相比,端到端ST模型具有更低的延迟、更小的模型大小和更少的错误传播的潜在好处。然而,众所周知,如果没有作为中间体的transmix,实现这样一个模型是非常困难的。现有的工作通常应用多任务学习,以提高翻译质量,通过联合训练端到端ST连同自动语音识别(ASR)。然而,该方法中的不同任务不能利用彼此的信息,这限制了改进。另一些工作提出了一个两阶段的模型,其中第二个模型可以使用隐藏状态从第一个,但其级联方式极大地影响了训练和推理过程的效率。在本文中,我们提出了一种新的交互式注意力机制,使ASR和ST同步和交互地执行在一个单一的模型。具体地说,译文和翻译的生成不仅依赖于其先前的输出,而且还依赖于其他任务中预测的输出。在TED语音翻译语料库上的实验表明,该模型在语音翻译质量和语音识别性能上均优于强基线。
2019-12-16 cs.CL cs.LG
Speech to Speech Translation with Translatotron: A State of the Art Review
International University of Grand-Bassam(大巴萨姆国际大学);Covenant University(圣约大学);HRA, Institute for Systems Science, Durban University of Technology(德班理工大学系统科学研究所HRA中心);Walter Sisulu University(沃尔特·西苏鲁大学);Summit University(萨米特大学)
本文综述语音到语音翻译技术,重点梳理 Google 的 Translatotron 1、2、3 如何由概念验证发展到在部分方面超越级联模型,并指出其弥合非洲语言与成熟语言差距的潜力。
2025-02-19 cs.AI cs.CL
Improving Speech-to-Speech Translation Through Unlabeled Text
Meta AI
直接语音到语音翻译(S2 ST)是翻译范式中最具挑战性的问题之一,由于S2 ST数据的显着稀缺。虽然已经通过级联预训练语音识别(ASR)、机器翻译(MT)和文本到语音(TTS)模型来努力增加来自未标记语音的数据大小;但是未标记文本仍然相对未被充分利用来改进S2 ST。我们提出了一种有效的方法来利用大量现有的未标记的文本从不同的语言来创建大量的S2 ST数据,通过应用各种声学效果,以提高S2 ST的性能所产生的合成数据。从经验上讲,我们的方法优于西班牙语-英语翻译的最高2 BLEU。所提出的方法的显着收益证明在极低的资源设置为西班牙语-英语和俄语-英语翻译。
2022-10-26 cs.CL cs.SD eess.AS
Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation
Meta AI
直接语音到语音翻译(S2 ST)模型遭受数据稀缺问题,因为与包括自动语音识别(ASR)、机器翻译(MT)和文本到语音(TTS)合成的常规级联系统可用的数据量相比,几乎不存在并行S2 ST数据。在这项工作中,我们探索了使用未标记语音数据和数据增强的自监督预训练来解决这个问题。我们利用最近提出的语音到单元翻译(S2 UT)框架,该框架将目标语音编码为离散表示,并通过研究语音编码器和离散单元解码器的预训练,将适用于语音到文本翻译(S2 T)的预训练和有效的部分微调技术转移到S2 UT域。我们对西班牙语-英语翻译的实验表明,与平均6.6-12.1 BLEU增益的多任务学习相比,自监督预训练始终提高了模型性能,并且可以进一步与数据增强技术相结合,该技术应用MT来创建弱监督训练数据。音频样本可在https://facebookresearch.github.io/speech_translation/enhanced_direct_s2st_units/index.html上获得。
2022-09-13 cs.CL cs.SD eess.AS
MSLM-S2ST: A Multitask Speech Language Model for Textless Speech-to-Speech Translation with Speaker Style Preservation
Carnegie Mellon University(卡内基梅隆大学);Meta AI;The Chinese University of Hong Kong(香港中文大学)
本文提出多任务语音语言模型MSLM,一种仅解码器架构,在不依赖文本数据的情况下实现保留说话人风格的多语言语音到语音翻译。
2024-03-19 cs.CL cs.SD eess.AS
End-to-End Speech-Translation with Knowledge Distillation: FBK@IWSLT2020
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
本文介绍了FBK参与IWITH 2020离线语音翻译(ST)任务的情况。该任务评估系统将英语TED演讲音频翻译成德语文本的能力。测试会谈有两个版本:一个包含已经用自动工具分割的数据,另一个是没有任何分割的原始数据。参与者可以决定是否进行自定义细分。我们使用提供的分割。我们的系统是一个端到端的模型的基础上适应的Transformer的语音数据。它的训练过程是本文的主要重点,它基于:i)迁移学习(ASR预训练和知识蒸馏),ii)数据增强(SpecAugment,时间拉伸和合成数据),iii)将合成和真实数据标记为不同的域,iv)使用CTC损失的多任务学习。最后,在单词级知识蒸馏的训练完成后,我们的ST模型使用标签平滑交叉熵进行微调。我们最好的模型在Must-C En-De测试集上获得了29 BLEU,与最近的论文相比,这是一个很好的结果,并且在使用VAD分割的相同数据上获得了23.7 BLEU,这表明需要研究解决这种特定数据条件的解决方案。
2020-06-04 cs.CL cs.SD eess.AS
Fine-tuning on Clean Data for End-to-End Speech Translation: FBK @ IWSLT 2018
FBK(布鲁诺·凯斯勒基金会)
本文介绍了FBK在IWITH 2018上提交的端到端英语-德语语音翻译任务。我们的系统依赖于基于LSTM和CNN的最先进的模型,其中CNN用于减少音频输入的时间维度,这通常比机器翻译输入高得多。我们的模型仅在为任务发布的音频到文本并行数据上进行训练,并在原始训练语料库的清洁子集上进行微调。权重归一化和标签平滑的增加使基线系统在我们的验证集上提高了1.0个BLEU点。最终提交的文件还包括训练运行中的检查点平均值以及在多次运行期间训练的模型的集成解码。在测试数据上,我们最好的单个模型获得了9.7的BLEU分数,而集成模型获得了10.24的BLEU分数。
2018-10-16 cs.CL cs.LG cs.SD
Simple and Effective Unsupervised Speech Translation
Meta - Fundamental AI Research (FAIR)(Meta基础人工智能研究院(FAIR))
用于训练语音任务模型的标记数据量对于大多数语言是有限的,然而,对于需要覆盖两种不同语言的标记数据的语音翻译,数据稀缺性加剧。为了解决这个问题,我们研究了一种简单而有效的方法来构建语音翻译系统,而无需标记数据,通过利用无监督语音识别,机器翻译和语音合成的最新进展,无论是在管道方法中,还是生成伪标签用于训练端到端的语音翻译模型。此外,我们提出了一个无监督领域自适应技术的预训练的语音模型,提高了下游无监督语音识别的性能,特别是对于低资源设置。实验表明,在Libri-Trans基准测试中,无监督语音到文本翻译的性能比以前的无监督技术高出3.2 BLEU,在CoVoST 2上,我们最好的系统在五个X-En方向上的性能比两年前最好的有监督端到端模型(没有预训练)高出5.0 BLEU。我们还报告了MuST-C和CVSS基准测试的竞争结果。
2022-10-18 cs.CL cs.SD eess.AS
Direct Speech to Speech Translation: A Review
Aligarh Muslim University(阿里格尔穆斯林大学)
本文综述了直接语音到语音翻译技术,对比级联模型与端到端直接模型的优劣,指出直接模型在保留韵律和降低延迟方面的优势及其在数据、算力和低资源语言上的挑战,并展望未来方向。
2025-03-03 cs.CL cs.SD eess.AS
Analyzing Speech Unit Selection for Textless Speech-to-Speech Translation
LIA - Avignon Universite(阿维尼翁大学LIA研究所);University of Cambridge(剑桥大学)
本研究探讨了无文本语音到语音翻译中目标语音单元的选择标准,通过下游任务分析发现,重合成性能优异的单元未必能提升翻译效能,揭示了目标特征选择对系统整体性能的复杂影响。
2024-07-08 cs.CL cs.LG cs.SD
Streaming Speech-to-Text Translation with a SpeechLLM
Samsung, AI Center – Cambridge, United Kingdom(三星,人工智能中心——剑桥,英国)
本文提出基于LLM的流式语音到文本翻译架构,通过学习输出token和判断音频充足性,实现低延迟的实时翻译,实验显示其翻译质量接近非流式基准,但延迟仅1-2秒。
2026-05-14 cs.AI cs.CL eess.AS
Self-Supervised Representations Improve End-to-End Speech Translation
Facebook AI(Facebook人工智能)
端到端语音到文本翻译可以提供更简单,更小的系统,但面临着数据稀缺的挑战。预训练方法可以利用未标记的数据,并且已被证明在数据稀缺的情况下是有效的。在这项工作中,我们探讨了自我监督的预训练语音表示是否可以在高资源和低资源环境中有益于语音翻译任务,它们是否可以很好地转移到其他语言,以及它们是否可以有效地与其他有助于改善低资源端到端语音翻译的常用方法相结合,例如使用预训练的高资源语音识别系统。我们证明,自我监督的预训练特征可以持续提高翻译性能,跨语言迁移允许扩展到各种语言,而无需或只需很少的调整。
2020-10-25 cs.CL cs.SD eess.AS
Does Joint Training Really Help Cascaded Speech Translation?
RWTH Aachen University(亚琛工业大学)
目前,在语音翻译中,直接的方法-将识别系统与翻译系统级联-提供了最先进的结果。然而,诸如来自自动语音识别系统的错误传播之类的基本挑战仍然存在。为了缓解这些问题,最近,人们将注意力转向直接数据,并提出各种联合训练方法。在这项工作中,我们试图回答联合训练是否真的有助于级联语音翻译的问题。我们回顾了最近的论文的主题,并探讨了联合训练标准边缘化的转录后验概率。我们的研究结果表明,一个强大的级联基线可以减少使用联合训练获得的任何改善,我们建议联合训练的替代方案。我们希望这项工作可以作为当前语音翻译领域的一个更新,并激励研究寻找更有效和创造性的方法来利用语音翻译的直接数据。
2022-11-24 cs.CL cs.LG eess.AS
Code-Switching without Switching: Language Agnostic End-to-End Speech Translation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
我们提出了a)一个语言无关的端到端语音翻译模型(LAST),和b)一个数据增强策略,以提高代码切换(CS)的性能。随着全球化的发展,在流利的演讲中,多种语言越来越多地互换使用。这样的CS使传统的语音识别和翻译复杂化,因为我们必须识别首先说的是哪种语言,然后应用依赖于语言的识别器和随后的翻译组件来生成期望的目标语言输出。这样的流水线引入延迟和错误。在本文中,我们消除了需要,通过治疗语音识别和翻译作为一个统一的端到端的语音翻译问题。通过用两种输入语言训练LAST,我们将语音解码为一种目标语言,而不管输入语言是什么。LAST在单语使用中提供了相当的识别和语音翻译准确性,同时在观察到CS时大大降低了延迟和出错率。
2022-11-09 cs.CL cs.LG cs.SD
StreamSpeech: Simultaneous Speech-to-Speech Translation with Multi-task Learning
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Key Laboratory of AI Safety, Chinese Academy of Sciences(中国科学院人工智能安全重点实验室);School of Future Science and Engineering, Soochow University(苏州大学未来科学与工程学院)
提出StreamSpeech模型,通过多任务学习统一框架联合学习翻译与同声策略,实现离线与同声语音识别、翻译及合成的无缝处理,在CVSS基准上达到SOTA,并提供高质量中间结果。
2024-06-05 cs.AI cs.CL cs.SD
The IWSLT 2021 BUT Speech Translation Systems
Brno University of Technology(布尔诺理工大学)
本文介绍了BUT为IWSLT 2021开发的英语到德语离线语音翻译(ST)系统。它们基于联合训练的自动语音识别-机器翻译模型。它们的性能在MustC-Common测试集上进行了评估。在这项工作中,我们从具有大量单独的ASR训练数据和MT训练数据以及少量的语音翻译训练数据的角度来研究它们的效率。大量的ASR和MT训练数据被用于预训练ASR和MT模型。语音翻译数据用于通过定义从语音到翻译的端到端可区分路径来联合优化ASR-MT模型。为此,我们使用ASR解码器的内部连续表示作为MT模块的输入。我们表明,语音翻译可以进一步提高训练ASR解码器联合MT模块使用大量的纯文本MT训练数据。我们还通过训练能够生成标点文本的ASR模块,而不是将标点任务留给MT模块来显示显着的改进。
2021-07-13 cs.CL cs.SD eess.AS
Lightweight Audio Segmentation for Long-form Speech Translation
NAVER Cloud(NAVER云);KAIST(韩国科学技术院)
本文提出面向长语音翻译的轻量级音频分割模型,通过带标点 ASR 预训练并与底层 ST 系统适当集成,以更小模型规模提升翻译质量。
2024-06-15 cs.CL cs.SD eess.AS
StreamUni: Achieving Streaming Speech Translation with a Unified Large Speech-Language Model
Li Auto(利奥汽车)
本文提出 StreamUni,通过统一的大型语音语言模型结合语音思维链实现流式语音翻译,同时完成语音分割、策略决策与翻译生成,并在无需大量策略训练的情况下达到最先进性能。
2025-07-13 cs.CL cs.SD eess.AS
ESPnet-ST: All-in-One Speech Translation Toolkit
Kyoto University(京都大学);RIKEN AIP(理化学研究所先进智能项目中心);Johns Hopkins University(约翰斯·霍普金斯大学);NTT Communication Science Laboratories(日本电信电话通信科学实验室);Waseda University(早稻田大学);Nagoya University(名古屋大学);Human Dataware Lab. Co., Ltd.(人类数据软件实验室有限公司)
我们介绍了ESPnet-ST,它是专为在一个单一的框架中快速开发语音到语音翻译系统。ESPnet-ST是端到端语音处理工具包ESPnet中的一个新项目,它集成或新实现了自动语音识别、机器翻译和用于语音翻译的文本到语音功能。我们为各种基准数据集提供包括数据预处理、特征提取、训练和解码管道在内的一体化配方。我们的可重复结果可以匹配甚至优于当前最先进的性能;这些预训练模型可下载。该工具包可在https://github.com/espnet/espnet上公开查阅。
2020-09-30 cs.CL cs.SD eess.AS
Multilingual Speech Translation with Unified Transformer: Huawei Noah's Ark Lab at IWSLT 2021
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文介绍了华为诺亚方舟实验室提交给IWIE 2021多语言语音翻译(MultiST)任务的系统。我们为MultiST模型使用统一的Transformer架构,以便来自不同模态的数据(即,语音和文本)和不同的任务(即,语音识别、机器翻译和语音翻译)可以用来增强模型的能力。具体地,语音和文本输入首先被馈送到不同的特征提取器以分别提取声学和文本特征。然后,这些特征由共享的编码器-解码器架构处理。我们应用了几种训练技术来提高性能,包括多任务学习,任务级课程学习,数据增强等。我们的最终系统在监督语言对上取得了比双语基线更好的结果,并在zero-shot语言对上产生了合理的结果。
2021-06-22 cs.CL cs.SD eess.AS
TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation
Shanghai Jiao Tong University(上海交通大学);Microsoft(微软公司)
针对端到端语音到语音翻译性能弱于级联模型、数据稀缺的问题,提出TransVIP框架,以级联用数据集+联合概率实现端到端推理,搭配双编码器保留音色与等时性,法英翻译效果超越现有SOTA模型。
2024-10-31 cs.AI cs.CL cs.SD
AdaTranS: Adapting with Boundary-based Shrinking for End-to-End Speech Translation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
为了缓解端到端语音翻译中的数据稀缺问题,对语音识别和机器翻译的数据进行预训练被认为是一项重要的技术。然而,语音和文本之间的模态差距阻碍了ST模型从预训练模型有效地继承知识。在这项工作中,我们提出了AdaTransS端到端ST。它适应语音特征与一个新的收缩机制,以减轻语音和文本特征之间的长度不匹配预测词的边界。在MUST-C数据集上的实验表明,AdaTransS比其他基于收缩的方法具有更高的推理速度和更低的内存占用率。进一步的实验还表明,AdaTransS可以配备额外的对齐损失,以进一步提高性能。
2022-12-17 cs.CL cs.SD eess.AS
Duplex Diffusion Models Improve Speech-to-Speech Translation
NVIDIA(英伟达)
本文提出双工扩散模型,通过将扩散概率模型应用于可逆双工Conformer两侧,首次实现可逆语音翻译,显著提升ASR-BLEU分数。
2023-05-22 cs.CL cs.LG cs.SD
ComSL: A Composite Speech-Language Model for End-to-End Speech-to-Text Translation
Shanghai Jiao Tong University(上海交通大学);Microsoft Cloud and AI(微软云与人工智能部门);Microsoft Research Asia(微软亚洲研究院)
针对语音-语言联合训练的数据和GPU消耗大及模态差距问题,提出基于复合预训练架构的ComSL模型,结合跨模态与迁移学习,在CoVoST2上以31.5 BLEU刷新21语言语音到英语翻译纪录。
2023-10-14 cs.CL cs.SD eess.AS
From Tens of Hours to Tens of Thousands: Scaling Back-Translation for Speech Recognition
StatNLP Research Group, Singapore University of Technology and Design(新加坡科技设计大学统计自然语言处理研究组);ByteDance Seed(字节跳动种子)
本文提出语音回译方法,利用TTS将文本转为合成语音,以数十小时真实数据生成海量训练数据,显著提升多语言ASR性能。
2025-05-22 cs.CL cs.SD eess.AS
End-to-End Speech Translation of Arabic to English Broadcast News
Le Mans Université(勒芒大学);Elyadata
语音翻译是将源语言中的语音信号直接翻译成外语文本的任务。长期以来,ST任务一直使用具有两个模块的流水线方法来解决:首先是源语言的自动语音识别(ASR),然后是文本到文本的机器翻译(MT)。在过去的几年里,我们已经看到了使用序列到序列深度神经网络模型的端到端方法的范式转变。本文介绍了我们对第一个广播新闻端到端的阿拉伯语到英语语音翻译系统的发展所做的努力。从独立的ASR和MT LDC版本开始,我们能够识别大约92小时的阿拉伯语录音,这些录音的人工转录也在片段一级翻译成英语。这些数据被用于训练和比较多个场景下的管道和端到端语音翻译系统,包括迁移学习和数据增强技术。
2022-12-11 cs.AI cs.CL cs.LG
Structured-based Curriculum Learning for End-to-end English-Japanese Speech Translation
Graduate School of Information Science, Nara Institute of Science and Technology(奈良先端科学技术大学院大学信息科学研究生院)
序列到序列的基于注意力的神经网络架构已经被证明为机器翻译和语音识别提供了一个强大的模型。最近,一些作品试图扩展模型的端到端的语音翻译任务。然而,这些模型的有用性仅在具有相似句法和词序的语言对上进行了研究(例如,英语-法语或英语-西班牙语)。在这项工作中,我们专注于端到端的语音翻译任务的句法遥远的语言对(例如,英语-日语),需要遥远的单词重新排序。为了引导编码者-解码者注意模型学习这一难题,我们提出了一种基于结构化的课程学习策略。与传统的课程学习,逐渐强调困难的数据的例子,我们形式化的学习策略,从更容易的网络结构,更困难的网络结构。在这里,我们从语音识别或基于文本的机器翻译任务的端到端编码器-解码器开始训练,然后逐渐转移到端到端语音翻译任务。实验结果表明,与没有课程学习的方法相比,所提出的方法可以提供显着的改善。
2018-02-13 cs.CL cs.SD eess.AS
IMS' Systems for the IWSLT 2021 Low-Resource Speech Translation Task
Institute for Natural Language Processing, University of Stuttgart(斯图加特大学自然语言处理研究所)
本文介绍了IMS团队提交给IWTECH 2021低资源语音翻译共享任务的内容。我们利用最先进的模型结合几个数据增强,多任务和迁移学习方法的自动语音识别(ASR)和机器翻译(MT)的步骤,我们的级联系统。此外,我们还探讨了一个完整的端到端的语音翻译(ST)模型的可行性,在非常有限的地面真值标记的数据量的情况下。我们最好的系统在所有提交的系统中实现了最好的性能,刚果斯瓦希里语到英语和法语的BLEU得分分别为7.7和13.7,沿海斯瓦希里语到英语的BLEU得分为14.9。
2021-06-30 cs.CL cs.SD eess.AS
SeamlessExpressiveLM: Speech Language Model for Expressive Speech-to-Speech Translation with Chain-of-Thought
Meta AI
提出单一语音语言模型SeamlessExpressiveLM,利用思维链提示将语音到语音翻译分解为语义翻译与风格迁移两步,在语义质量和风格迁移上优于级联模型且参数效率更高。
2024-05-30 cs.AI cs.CL cs.SD
Curriculum Pre-training for End-to-End Speech Translation
Nankai University(南开大学);Microsoft Research Asia(微软亚洲研究院)
端到端语音翻译对编码器造成了沉重的负担,因为它必须同时转录,理解和学习跨语言语义。为了获得强大的编码器,传统方法在ASR数据上对其进行预训练以捕获语音特征。然而,我们认为,仅通过简单的语音识别来预训练编码器是不够的,应该考虑高级语言知识。受此启发,我们提出了一个课程预训练方法,其中包括一个初级课程的转录学习和两个高级课程的理解话语和映射两种语言的话。这些课程的难度正在逐渐增加。实验表明,我们的课程预训练方法导致显着改善En-De和En-Fr语音翻译基准。
2020-04-21 cs.CL cs.SD eess.AS
Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Facebook AI(Facebook人工智能研究院)
我们介绍了双解码器Transformer,一个新的模型架构,共同执行自动语音识别(ASR)和多语言语音翻译(ST)。我们的模型基于原始的Transformer架构(Vaswani等人,2017),但由两个解码器组成,每个解码器负责一个任务(ASR或ST)。我们的主要贡献在于这些解码器是如何相互作用的:一个解码器可以通过双重注意力机制来关注不同的信息源。我们提出了两个变种,这些架构对应于两个不同级别的解码器之间的依赖关系,称为并行和交叉双解码器Transformers,分别。在MuST-C数据集上进行的大量实验表明,我们的模型在多语言环境中的翻译性能优于先前报道的最高翻译性能,并且优于双语一对一的结果。此外,我们的并行模型表明没有权衡ASR和ST相比,香草多任务架构。我们的代码和预培训模型可在https://github.com/formiel/speech-translation上获得。
2020-11-02 cs.CL cs.SD eess.AS
When End-to-End is Overkill: Rethinking Cascaded Speech-to-Text Translation
School of Software Tsinghua University(清华大学软件学院);IIIS Tsinghua University(清华大学信息科学技术学院)
本文指出级联语音到文本翻译仍有价值,通过将ASR的多个候选和自监督语音特征纳入机器翻译,有效缓解了错误传播并提升了翻译精确度。
2025-02-01 cs.AI cs.CL cs.MM
Dialectal Speech Recognition and Translation of Swiss German Speech to Standard German Text: Microsoft's Submission to SwissText 2021
Microsoft(微软)
本文介绍了SwissText 2021年关于瑞士德语语音到标准德语文本的共享任务3中的获胜方法,这是一项关于方言识别和翻译的公开竞赛。瑞士德语是指在瑞士德语区使用的众多阿勒曼尼方言。瑞士德语在发音、词汇和语法上与标准德语有很大的不同。这对以德语为母语的人来说是难以理解的。此外,它缺乏标准化的书面文字。为了解决具有挑战性的任务,我们提出了一个混合自动语音识别系统的词典,包括翻译,第一遍的语言模型,处理瑞士德国的特殊性,一个转移学习声学模型和一个强大的神经语言模型的第二遍重新评分。我们的提交在盲对话测试集上达到46.04%的BLEU,并以12%的相对优势优于第二大竞争对手。
2021-07-01 cs.CL cs.LG cs.SD
CoSTA: Code-Switched Speech Translation using Aligned Speech-Text Interleaving
Indian Institute of Technology Bombay(印度孟买理工学院)
本文提出端到端模型 CoSTA,利用预训练 ASR 与 MT 模块及对齐语音-文本交错融合,解决印度语码转换语音英译的数据稀缺问题,并发布多语种评测基准,最高提升 3.5 BLEU。
2024-06-16 cs.CL cs.LG cs.SD
Direct Models for Simultaneous Translation and Automatic Subtitling: FBK@IWSLT2023
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
本文介绍FBK在IWSLT 2023的参与工作,利用直接架构完成同声传译与自动字幕生成任务,通过复用离线模型知识及调整ST模型,在降低延迟并提升字幕质量方面取得显著增益。
2023-09-27 cs.AI cs.CL cs.SD
Compact Speech Translation Models via Discrete Speech Units Pretraining
School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
提出一种基于离散语音单元预训练的紧凑语音翻译模型方法,无需转录文本,在CoVoST-2上以SSS模型一半大小实现三个指标的稳定提升。
2024-06-26 cs.CL cs.SD eess.AS
Dealing with training and test segmentation mismatch: FBK@IWSLT2021
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
本文针对IWSLT 2021离线语音翻译任务中训练与测试数据分割不匹配问题,提出基于Transformer的直接模型,采用知识蒸馏与两步微调流程,并结合自定义混合分割方法,有效缩小了自动与人工分割间的性能差距。
2021-06-28 cs.CL cs.SD eess.AS
Fluent Translations from Disfluent Speech in End-to-End Speech Translation
Carnegie Mellon University(卡内基梅隆大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
由于会话语音现象,特别是不流利的存在,语音的口语翻译应用受到影响。随着端到端语音翻译模型的兴起,之前作为语音识别和机器翻译之间的中间步骤的处理步骤(如不流利消除)需要被纳入模型架构中。我们使用一个序列到序列的模型,从嘈杂的,不流利的语音流畅的文本与不流利使用最近收集的“复制编辑”的参考Fisher西班牙语-英语数据集删除。我们能够直接生成流畅的翻译,并介绍有关如何评估这项任务成功的考虑因素。这项工作为一项新的任务提供了一个基线,即翻译会话语音并联合消除不流利。
2019-06-03 cs.CL