Low Latency ASR for Simultaneous Speech Translation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
用户研究表明，减少我们的同步演讲翻译系统的延迟应该是最重要的目标。因此，我们研究了几种技术来减少自动语音识别和语音翻译模块这两个组件的延迟。由于通常使用的提交延迟不适合我们的连续流解码情况，我们专注于字延迟。我们使用它来分析我们当前系统的性能，并确定改进的机会。为了最大限度地减少延迟，我们结合了运行解码与流解码时用于识别稳定部分假设的技术和用于动态输出更新的协议，该协议允许修改转录的最新部分。这种组合减少了字级的延迟，其中字是最终的，将来不会再次更新，从18.1秒到1.1秒，而不会牺牲字错误率方面的性能。
2020-03-22 cs.CL cs.SD eess.AS
Simple and Effective Unsupervised Speech Translation
Meta - Fundamental AI Research (FAIR)（Meta基础人工智能研究院（FAIR））
用于训练语音任务模型的标记数据量对于大多数语言是有限的，然而，对于需要覆盖两种不同语言的标记数据的语音翻译，数据稀缺性加剧。为了解决这个问题，我们研究了一种简单而有效的方法来构建语音翻译系统，而无需标记数据，通过利用无监督语音识别，机器翻译和语音合成的最新进展，无论是在管道方法中，还是生成伪标签用于训练端到端的语音翻译模型。此外，我们提出了一个无监督领域自适应技术的预训练的语音模型，提高了下游无监督语音识别的性能，特别是对于低资源设置。实验表明，在Libri-Trans基准测试中，无监督语音到文本翻译的性能比以前的无监督技术高出3.2 BLEU，在CoVoST 2上，我们最好的系统在五个X-En方向上的性能比两年前最好的有监督端到端模型（没有预训练）高出5.0 BLEU。我们还报告了MuST-C和CVSS基准测试的竞争结果。
2022-10-18 cs.CL cs.SD eess.AS
Direct Speech to Speech Translation: A Review
Aligarh Muslim University（阿里格尔穆斯林大学）
本文综述了直接语音到语音翻译技术，对比级联模型与端到端直接模型的优劣，指出直接模型在保留韵律和降低延迟方面的优势及其在数据、算力和低资源语言上的挑战，并展望未来方向。
2025-03-03 cs.CL cs.SD eess.AS
Self-Supervised Representations Improve End-to-End Speech Translation
Facebook AI（Facebook人工智能）
端到端语音到文本翻译可以提供更简单，更小的系统，但面临着数据稀缺的挑战。预训练方法可以利用未标记的数据，并且已被证明在数据稀缺的情况下是有效的。在这项工作中，我们探讨了自我监督的预训练语音表示是否可以在高资源和低资源环境中有益于语音翻译任务，它们是否可以很好地转移到其他语言，以及它们是否可以有效地与其他有助于改善低资源端到端语音翻译的常用方法相结合，例如使用预训练的高资源语音识别系统。我们证明，自我监督的预训练特征可以持续提高翻译性能，跨语言迁移允许扩展到各种语言，而无需或只需很少的调整。
2020-10-25 cs.CL cs.SD eess.AS
The IWSLT 2021 BUT Speech Translation Systems
Brno University of Technology（布尔诺理工大学）
本文介绍了BUT为IWSLT 2021开发的英语到德语离线语音翻译（ST）系统。它们基于联合训练的自动语音识别-机器翻译模型。它们的性能在MustC-Common测试集上进行了评估。在这项工作中，我们从具有大量单独的ASR训练数据和MT训练数据以及少量的语音翻译训练数据的角度来研究它们的效率。大量的ASR和MT训练数据被用于预训练ASR和MT模型。语音翻译数据用于通过定义从语音到翻译的端到端可区分路径来联合优化ASR-MT模型。为此，我们使用ASR解码器的内部连续表示作为MT模块的输入。我们表明，语音翻译可以进一步提高训练ASR解码器联合MT模块使用大量的纯文本MT训练数据。我们还通过训练能够生成标点文本的ASR模块，而不是将标点任务留给MT模块来显示显着的改进。
2021-07-13 cs.CL cs.SD eess.AS
Lightweight Audio Segmentation for Long-form Speech Translation
NAVER Cloud（NAVER云）；KAIST（韩国科学技术院）
本文提出面向长语音翻译的轻量级音频分割模型，通过带标点 ASR 预训练并与底层 ST 系统适当集成，以更小模型规模提升翻译质量。
2024-06-15 cs.CL cs.SD eess.AS
Dissecting User-Perceived Latency of On-Device E2E Speech Recognition
Facebook AI
随着智能手机和智能扬声器等语音设备变得越来越普遍，人们对构建可直接在设备上运行的自动语音识别（ASR）系统的兴趣越来越大;端到端（E2 E）语音识别模型，如递归神经网络换能器及其变体，最近已成为该任务的主要候选者。除了准确和紧凑之外，这样的系统还需要以低用户感知延迟（UPL）解码语音，一旦说出就产生单词。这项工作研究了各种技术-模型架构，训练标准，解码超参数和端点参数-对UPL的影响。我们的分析表明，模型大小的度量（参数，输入块大小）或计算的度量（例如，FLOPS，RTF）反映了模型处理输入帧的能力，并不总是与观察到的UPL密切相关。因此，传统的算法延迟测量可能不足以准确地捕获在嵌入式设备上部署模型时观察到的延迟。相反，我们发现影响令牌发射延迟和端点行为的因素对UPL有更大的影响。我们实现了延迟和字出错率之间的最佳权衡时，执行ASR联合端点，同时利用最近提出的对齐正则化机制。
2021-08-11 cs.CL cs.SD eess.AS
StreamUni: Achieving Streaming Speech Translation with a Unified Large Speech-Language Model
Li Auto（利奥汽车）
本文提出 StreamUni，通过统一的大型语音语言模型结合语音思维链实现流式语音翻译，同时完成语音分割、策略决策与翻译生成，并在无需大量策略训练的情况下达到最先进性能。
2025-07-13 cs.CL cs.SD eess.AS
ESPnet-ST: All-in-One Speech Translation Toolkit
Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）；Johns Hopkins University（约翰斯·霍普金斯大学）；NTT Communication Science Laboratories（日本电信电话通信科学实验室）；Waseda University（早稻田大学）；Nagoya University（名古屋大学）；Human Dataware Lab. Co., Ltd.（人类数据软件实验室有限公司）
我们介绍了ESPnet-ST，它是专为在一个单一的框架中快速开发语音到语音翻译系统。ESPnet-ST是端到端语音处理工具包ESPnet中的一个新项目，它集成或新实现了自动语音识别、机器翻译和用于语音翻译的文本到语音功能。我们为各种基准数据集提供包括数据预处理、特征提取、训练和解码管道在内的一体化配方。我们的可重复结果可以匹配甚至优于当前最先进的性能;这些预训练模型可下载。该工具包可在https://github.com/espnet/espnet上公开查阅。
2020-09-30 cs.CL cs.SD eess.AS
Speech is More Than Words: Do Speech-to-Text Translation Systems Leverage Prosody?
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Apple（苹果公司）
本研究针对语音转文本翻译系统的韵律利用问题，提出评估方法与ContraProST基准，实验发现端到端系统韵律感知能力优于级联系统，且现有系统韵律信号常不足以影响翻译。
2024-10-31 cs.CL cs.SD eess.AS
Multilingual Speech Translation with Unified Transformer: Huawei Noah's Ark Lab at IWSLT 2021
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文介绍了华为诺亚方舟实验室提交给IWIE 2021多语言语音翻译（MultiST）任务的系统。我们为MultiST模型使用统一的Transformer架构，以便来自不同模态的数据（即，语音和文本）和不同的任务（即，语音识别、机器翻译和语音翻译）可以用来增强模型的能力。具体地，语音和文本输入首先被馈送到不同的特征提取器以分别提取声学和文本特征。然后，这些特征由共享的编码器-解码器架构处理。我们应用了几种训练技术来提高性能，包括多任务学习，任务级课程学习，数据增强等。我们的最终系统在监督语言对上取得了比双语基线更好的结果，并在zero-shot语言对上产生了合理的结果。
2021-06-22 cs.CL cs.SD eess.AS
Low-Latency Speaker-Independent Continuous Speech Separation
Microsoft（微软）
说话人独立连续语音分离（SI-CSS）是将可能包含未知说话人的重叠语音的连续音频流转换成固定数量的连续信号的任务，每个连续信号不包含重叠语音段。从SI-CSS的输出通道之一非确定性地生成每个话语的分离或清洁版本，而不将其拆分并分发到多个通道。典型的应用场景是转录使用麦克风阵列记录的多方对话，例如会议。输出信号可以简单地发送到语音识别引擎，因为它们不包括语音重叠。先前的SI-CSS方法使用用置换不变训练和数据驱动的波束形成器训练的神经网络，因此需要很多处理延迟。本文提出了一种低延迟的SI-CSS方法，其性能与基于麦克风阵列的会议转录任务中的先前方法相当，这是通过（1）使用新的语音分离网络架构结合双缓冲方案和（2）使用一组固定波束形成器和神经后滤波器执行增强来实现的。
2019-04-13 cs.CL cs.SD eess.AS
AdaTranS: Adapting with Boundary-based Shrinking for End-to-End Speech Translation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
为了缓解端到端语音翻译中的数据稀缺问题，对语音识别和机器翻译的数据进行预训练被认为是一项重要的技术。然而，语音和文本之间的模态差距阻碍了ST模型从预训练模型有效地继承知识。在这项工作中，我们提出了AdaTransS端到端ST。它适应语音特征与一个新的收缩机制，以减轻语音和文本特征之间的长度不匹配预测词的边界。在MUST-C数据集上的实验表明，AdaTransS比其他基于收缩的方法具有更高的推理速度和更低的内存占用率。进一步的实验还表明，AdaTransS可以配备额外的对齐损失，以进一步提高性能。
2022-12-17 cs.CL cs.SD eess.AS
Minimum Latency Training of Sequence Transducers for Streaming End-to-End Speech Recognition
Yahoo Japan Corporation（雅虎日本公司）；Carnegie Mellon University（卡内基梅隆大学）
序列转换器，如RNN-T和Conformer-T，是端到端语音识别最有前途的模型之一，特别是在延迟和准确性都很重要的流媒体场景中。虽然已经研究了各种方法（例如，受限训练和FastEmit）来减少延迟，但是延迟的减少通常伴随着准确性的显著降低。我们认为，这种次优性能可能是因为没有以前的方法显式建模和减少延迟。在本文中，我们提出了一种新的训练方法来显式建模和减少延迟的序列传感器模型。首先，我们定义在网格上的每个对角线的预期延迟，并表明其梯度可以有效地计算内的向前向后算法。然后，我们用这个预期的延迟来增加换能器损耗，从而实现延迟和精度之间的最佳权衡。在WSJ数据集上的实验结果表明，所提出的最小延迟训练将因果Conformer-T的延迟从220 ms降低到27 ms，WER下降0.7%，并且优于传统的限制性训练（110 ms）和FastEmit（67 ms）方法。
2022-11-04 cs.CL cs.SD eess.AS
ComSL: A Composite Speech-Language Model for End-to-End Speech-to-Text Translation
Shanghai Jiao Tong University（上海交通大学）；Microsoft Cloud and AI（微软云与人工智能部门）；Microsoft Research Asia（微软亚洲研究院）
针对语音-语言联合训练的数据和GPU消耗大及模态差距问题，提出基于复合预训练架构的ComSL模型，结合跨模态与迁移学习，在CoVoST2上以31.5 BLEU刷新21语言语音到英语翻译纪录。
2023-10-14 cs.CL cs.SD eess.AS
From Tens of Hours to Tens of Thousands: Scaling Back-Translation for Speech Recognition
StatNLP Research Group, Singapore University of Technology and Design（新加坡科技设计大学统计自然语言处理研究组）；ByteDance Seed（字节跳动种子）
本文提出语音回译方法，利用TTS将文本转为合成语音，以数十小时真实数据生成海量训练数据，显著提升多语言ASR性能。
2025-05-22 cs.CL cs.SD eess.AS
Dynamic Latency for CTC-Based Streaming Automatic Speech Recognition With Emformer
SenseTime Research（商汤科技研究院）；Beijing University of Posts and Telecommunications（北京邮电大学）
流自动语音识别模型与非流模型相比性能较差，这是由于缺乏未来的上下文。为了提高流式模型的性能和降低计算复杂性，本文采用了一种帧级模型，该模型采用高效的扩充存储器Transformer块和动态延迟训练方法，用于流式自动语音识别。将长范围历史上下文存储到扩充存储体中，作为对编码器中使用的有限历史上下文的补充。键和值通过缓存机制缓存，并在下一个块中重用以减少计算。之后，提出了一种动态延迟训练方法，以获得更好的性能，并同时支持低和高延迟推理。我们的实验是在基准960 h LibriSpeech数据集上进行的。在平均延迟为640 ms的情况下，我们的模型与截断块式Transformer相比，在测试-clean上实现了6.0%的相对WER降低，在测试-other上实现了3.0%的相对WER降低。
2022-03-29 cs.CL cs.SD eess.AS
Structured-based Curriculum Learning for End-to-end English-Japanese Speech Translation
Graduate School of Information Science, Nara Institute of Science and Technology（奈良先端科学技术大学院大学信息科学研究生院）
序列到序列的基于注意力的神经网络架构已经被证明为机器翻译和语音识别提供了一个强大的模型。最近，一些作品试图扩展模型的端到端的语音翻译任务。然而，这些模型的有用性仅在具有相似句法和词序的语言对上进行了研究（例如，英语-法语或英语-西班牙语）。在这项工作中，我们专注于端到端的语音翻译任务的句法遥远的语言对（例如，英语-日语），需要遥远的单词重新排序。为了引导编码者-解码者注意模型学习这一难题，我们提出了一种基于结构化的课程学习策略。与传统的课程学习，逐渐强调困难的数据的例子，我们形式化的学习策略，从更容易的网络结构，更困难的网络结构。在这里，我们从语音识别或基于文本的机器翻译任务的端到端编码器-解码器开始训练，然后逐渐转移到端到端语音翻译任务。实验结果表明，与没有课程学习的方法相比，所提出的方法可以提供显着的改善。
2018-02-13 cs.CL cs.SD eess.AS
IMS' Systems for the IWSLT 2021 Low-Resource Speech Translation Task
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
本文介绍了IMS团队提交给IWTECH 2021低资源语音翻译共享任务的内容。我们利用最先进的模型结合几个数据增强，多任务和迁移学习方法的自动语音识别（ASR）和机器翻译（MT）的步骤，我们的级联系统。此外，我们还探讨了一个完整的端到端的语音翻译（ST）模型的可行性，在非常有限的地面真值标记的数据量的情况下。我们最好的系统在所有提交的系统中实现了最好的性能，刚果斯瓦希里语到英语和法语的BLEU得分分别为7.7和13.7，沿海斯瓦希里语到英语的BLEU得分为14.9。
2021-06-30 cs.CL cs.SD eess.AS
MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
Meta AI
我们介绍MuAViC，一个多语言的视听语料库，用于强大的语音识别和强大的语音到文本的翻译，提供1200小时的视听语音在9种语言。它完全转录，涵盖6个英语到X的翻译以及6个X到英语的翻译方向。据我们所知，这是第一个视听语音到文本翻译的开放基准，也是多语言视听语音识别的最大开放基准。我们的基线结果表明，MuAViC是有效的建立噪声鲁棒的语音识别和翻译模型。我们在https://github.com/facebookresearch/muavic上提供语料库。
2023-03-07 cs.CL eess.AS
Analyzing Speech Unit Selection for Textless Speech-to-Speech Translation
LIA - Avignon Universite（阿维尼翁大学LIA研究所）；University of Cambridge（剑桥大学）
本研究探讨了无文本语音到语音翻译中目标语音单元的选择标准，通过下游任务分析发现，重合成性能优异的单元未必能提升翻译效能，揭示了目标特征选择对系统整体性能的复杂影响。
2024-07-08 cs.CL cs.LG cs.SD
Code-Switching without Switching: Language Agnostic End-to-End Speech Translation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了a）一个语言无关的端到端语音翻译模型（LAST），和b）一个数据增强策略，以提高代码切换（CS）的性能。随着全球化的发展，在流利的演讲中，多种语言越来越多地互换使用。这样的CS使传统的语音识别和翻译复杂化，因为我们必须识别首先说的是哪种语言，然后应用依赖于语言的识别器和随后的翻译组件来生成期望的目标语言输出。这样的流水线引入延迟和错误。在本文中，我们消除了需要，通过治疗语音识别和翻译作为一个统一的端到端的语音翻译问题。通过用两种输入语言训练LAST，我们将语音解码为一种目标语言，而不管输入语言是什么。LAST在单语使用中提供了相当的识别和语音翻译准确性，同时在观察到CS时大大降低了延迟和出错率。
2022-11-09 cs.CL cs.LG cs.SD
StreamSpeech: Simultaneous Speech-to-Speech Translation with Multi-task Learning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）；School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院）
提出StreamSpeech模型，通过多任务学习统一框架联合学习翻译与同声策略，实现离线与同声语音识别、翻译及合成的无缝处理，在CVSS基准上达到SOTA，并提供高质量中间结果。
2024-06-05 cs.AI cs.CL cs.SD
TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation
Shanghai Jiao Tong University（上海交通大学）；Microsoft（微软公司）
针对端到端语音到语音翻译性能弱于级联模型、数据稀缺的问题，提出TransVIP框架，以级联用数据集+联合概率实现端到端推理，搭配双编码器保留音色与等时性，法英翻译效果超越现有SOTA模型。
2024-10-31 cs.AI cs.CL cs.SD
Duplex Diffusion Models Improve Speech-to-Speech Translation
NVIDIA（英伟达）
本文提出双工扩散模型，通过将扩散概率模型应用于可逆双工Conformer两侧，首次实现可逆语音翻译，显著提升ASR-BLEU分数。
2023-05-22 cs.CL cs.LG cs.SD
M-Adapter: Modality Adaptation for End-to-End Speech-to-Text Translation
Monash University（莫纳什大学）
端到端的语音到文本翻译模型通常使用预训练的语音编码器和预训练的文本解码器进行初始化。这导致预训练和微调之间的显著训练间隙，这主要是由于来自编码器的语音输出和到解码器的文本输入之间的模态差异。在这项工作中，我们的目标是弥合语音和文本之间的模态差距，以提高翻译质量。我们提出了M-Adapter，一个新的基于transformer的模块，以适应语音表示文本。在缩小语音序列的同时，M-Adapter通过对语音序列的全局和局部依赖关系进行建模，产生语音到文本翻译所需的特征。我们的实验结果表明，我们的模型在Must-C En $\rightarrow$ DE数据集上的性能优于强基线，最高可达1个BLEU分数。\footnote{Our code is available at https://github.com/mingzi151/w2v2-st.}
2022-07-03 cs.CL cs.LG cs.SD
SeamlessExpressiveLM: Speech Language Model for Expressive Speech-to-Speech Translation with Chain-of-Thought
Meta AI
提出单一语音语言模型SeamlessExpressiveLM，利用思维链提示将语音到语音翻译分解为语义翻译与风格迁移两步，在语义质量和风格迁移上优于级联模型且参数效率更高。
2024-05-30 cs.AI cs.CL cs.SD
Dynamic latency speech recognition with asynchronous revision
Bytedance AI-Lab（字节跳动人工智能实验室）
在这项工作中，我们提出了一种推理技术，异步修订，统一流和非流语音识别模型。具体来说，我们实现动态延迟只有一个模型，通过使用任意的右上下文推理。该模型由用于音频编码的卷积层堆栈组成。在推理阶段，可以异步地修改编码器和解码器的历史状态，以在延迟和模型的准确性之间进行权衡。为了减轻训练和推理的不匹配，我们提出了一种训练技术，段裁剪，它随机地将输入的话语分成几个具有前向连接的段。这使我们能够获得动态延迟语音识别结果，并大大提高了准确性。实验结果表明，与流媒体模型相比，本文提出的基于异步修改的动态延迟模型相对性能提高了8%~ 14%.
2020-11-03 cs.SD eess.AS
UWSpeech: Speech to Speech Translation for Unwritten Languages
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）
现有的语音到语音翻译系统严重依赖于目标语言的文本：它们通常将源语言翻译成目标文本，然后从文本合成目标语音，或者直接将目标文本与目标语音一起辅助训练。然而，这些方法不能应用于没有书面文本或音素的非书面目标语言。在本文中，我们开发了一个非书面语言的翻译系统，命名为UWSpeech，它将目标非书面语音转换成离散令牌转换器，然后将源语言语音翻译成目标离散令牌翻译器，最后合成目标语音从目标离散令牌逆变器。本文提出了一种增强矢量量化变分自编码器（VQ-VAE）和跨语言（XL）语音识别能力的方法XL-VAE，对UWSpeech的变换器和反相器进行联合训练。在Fisher西班牙语-英语会话翻译数据集上的实验表明，UWSpeech的性能比直接翻译和VQ-VAE基线分别高出约16和10个BLEU点，充分展示了UWSpeech的优势和潜力。
2020-12-17 cs.CL eess.AS
Breaking the Data Barrier: Towards Robust Speech Translation via Adversarial Stability Training
NetEase Youdao Information Technology (Beijing) Co., LTD.（网易有道信息技术（北京）有限公司）
在流水线语音翻译系统中，自动语音识别（ASR）系统会将识别错误传递给下游的机器翻译（MT）系统。标准的机器翻译系统通常在由干净文本组成的并行语料库上进行训练，并且在具有识别噪声的文本上表现不佳，这是语音翻译界众所周知的差距。在本文中，我们提出了一个训练架构，旨在使神经机器翻译模型对语音识别错误更强大。我们的方法同时使用对抗学习和数据增强来解决编码器和解码器的问题。在IWSLT2018语音翻译任务上的实验结果表明，我们的方法可以弥合ASR输出和MT输入之间的差距，在有噪声的ASR输出上比基线高出2.83 BLEU，同时在干净文本上保持接近的性能。
2019-10-28 cs.CL eess.AS
PolyVoice: Language Models for Speech to Speech Translation
ByteDance（字节跳动）
本研究提出基于语言模型的S2ST框架PolyVoice，采用无监督离散语音单元适配无文字语言，结合VALL-E X构建单元音频模型保留原语音特征，在中英、英西翻译任务中实现高翻译与音频质量。
2023-06-13 cs.CL eess.AS
Latency-Controlled Neural Architecture Search for Streaming Speech Recognition
Tencent AI Lab（腾讯人工智能实验室）
神经结构搜索（NAS）已引起人们的广泛关注，并已被探索用于自动语音识别（ASR）。在这项工作中，我们专注于流ASR场景，并提出了延迟控制的NAS声学建模。首先，基于香草神经架构，正常细胞被改变为因果细胞以控制架构的总延迟。其次，提出了一种具有较小感受野的修正操作空间，以生成具有低延迟的最终架构。大量的实验表明：1）基于所提出的神经网络结构，可以分别在vanilla和修正后的操作空间中学习中延迟为550ms（毫秒）和低延迟为190ms的神经网络。2)对于低延迟设置，在10k小时的大规模数据集上，与混合CLDNN基线相比，评估网络可以实现超过19%（四个测试集的平均值）的相对改进。
2021-09-14 cs.SD eess.AS
VoiceChat-TTS: A Low-Latency Continuous Speech Synthesis Model for Interactive Agents
NVIDIA Corporation（英伟达公司）
针对现有语音模型延迟高、无法处理用户插话的问题，提出VoiceChat-TTS模型，由LLM文本令牌流驱动，支持语句中途中断且不重置KV缓存，在保证高语音质量的同时实现低延迟连续语音合成。
2026-08-17 cs.CL eess.AS
When End-to-End is Overkill: Rethinking Cascaded Speech-to-Text Translation
School of Software Tsinghua University（清华大学软件学院）；IIIS Tsinghua University（清华大学信息科学技术学院）
本文指出级联语音到文本翻译仍有价值，通过将ASR的多个候选和自监督语音特征纳入机器翻译，有效缓解了错误传播并提升了翻译精确度。
2025-02-01 cs.AI cs.CL cs.MM
Listening or Reading? Evaluating Speech Awareness in Chain-of-Thought Speech-to-Text Translation
Barcelona Supercomputing Center, Spain（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya, Spain（加泰罗尼亚理工大学）；DFKI GmbH, Saarland Informatics Campus, Saarbrücken, Germany（DFKI GmbH萨尔兰信息技术校区）
该研究评估CoT式S2TT系统的语音感知能力，发现其仍依赖转录文本，未充分利用语音，需构建明确整合声学信息的翻译架构。
2026-08-20 cs.CL cs.SD
PSLM: Parallel Generation of Text and Speech with LLMs for Low-Latency Spoken Dialogue Systems
rinna Co., Ltd.（rinna公司）
本文提出PSLM，通过扩展大语言模型输入输出序列实现文本与语音并行生成，在口语问答中降低延迟并保持内容质量，并进一步利用多序列语音生成减少延迟。
2024-10-03 cs.AI cs.CL cs.LG
Transformer in action: a comparative study of transformer-based acoustic models for large scale speech recognition applications
Facebook AI（Facebook人工智能研究院）
本文综述了Transformer及其可流化的变体--基于Emformer的声学模型在大规模语音识别中的应用。我们将基于Transformer的声学模型与工业规模任务的LSTM模型进行了比较。具体来说，我们将Emformer与延迟控制的BLSTM（LCBLSTM）在中等延迟任务上进行比较，并将LSTM在低延迟任务上进行比较。在低延迟语音助理任务中，Emformer获得24%至26%的相对单词出错率降低（WERR）。对于中等延迟场景，与模型大小和延迟相似的LCBLSTM相比，Emformer在视频描述数据集上获得了跨4种语言的显著WERR，推理实时因素减少了2-3倍。
2020-10-29 cs.CL cs.SD
Simultaneous Speech-to-Speech Translation System with Neural Incremental ASR, MT, and TTS
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文介绍了一个新开发的，同时神经语音到语音翻译系统及其评价。该系统由三个全增量神经处理模块组成，分别用于自动语音识别（ASR）、机器翻译（MT）和文本到语音合成（TTS）。我们研究了其在系统的耳语音跨度和说话延迟以及模块级性能的整体延迟。
2020-11-11 cs.CL
Streaming Speech-to-Text Translation with a SpeechLLM
Samsung, AI Center – Cambridge, United Kingdom（三星，人工智能中心——剑桥，英国）
本文提出基于LLM的流式语音到文本翻译架构，通过学习输出token和判断音频充足性，实现低延迟的实时翻译，实验显示其翻译质量接近非流式基准，但延迟仅1-2秒。
2026-05-14 cs.AI cs.CL eess.AS
Does Joint Training Really Help Cascaded Speech Translation?
RWTH Aachen University（亚琛工业大学）
目前，在语音翻译中，直接的方法-将识别系统与翻译系统级联-提供了最先进的结果。然而，诸如来自自动语音识别系统的错误传播之类的基本挑战仍然存在。为了缓解这些问题，最近，人们将注意力转向直接数据，并提出各种联合训练方法。在这项工作中，我们试图回答联合训练是否真的有助于级联语音翻译的问题。我们回顾了最近的论文的主题，并探讨了联合训练标准边缘化的转录后验概率。我们的研究结果表明，一个强大的级联基线可以减少使用联合训练获得的任何改善，我们建议联合训练的替代方案。我们希望这项工作可以作为当前语音翻译领域的一个更新，并激励研究寻找更有效和创造性的方法来利用语音翻译的直接数据。
2022-11-24 cs.CL cs.LG eess.AS
LibriVoxDeEn: A Corpus for German-to-English Speech Translation and German Speech Recognition
Heidelberg University（海德堡大学）；Computational Linguistics（计算语言学）；IWR Heidelberg University（海德堡大学IWR研究所）
我们提出了一个语料库的德语音频，德语文本，英语翻译，德语有声读物的基础上，对齐的三元组。语音翻译数据由110小时的音频材料组成，与超过50 k个平行句子对齐。包括与德语文本对齐的547小时德语语音的甚至更大的数据集可用于语音识别。音频数据是读语音，因此不流利程度低。音频和句子对齐的质量已经通过人工评估进行了检查，表明语音对齐质量通常非常高。句子对齐质量与常用的平行翻译数据相当，并且可以通过自动对齐分数的截止值进行调整。据我们所知，该语料库是迄今为止最大的德语语音识别和端到端德语到英语语音翻译资源。
2020-03-04 cs.CL
End-to-end Automatic Speech Recognition and Speech Translation: Integration of Speech Foundational Models and LLMs
Charles University（查尔斯大学）；Faculty of Mathematics and Physics（数学与物理系）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本文提出结合预训练语音编码器与LLMs的端到端架构，同时执行ASR和ST任务，在英德翻译中超越SeamlessM4T并匹敌级联系统，COMET指标提升达8%。
2025-10-11 cs.CL
Towards speech-to-text translation without speech recognition
University of Edinburgh（爱丁堡大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
我们探讨了在低资源情况下将语音翻译成文本的问题，在这种情况下，既没有自动语音识别（ASR），也没有机器翻译（MT），但我们有音频形式的训练数据与文本翻译配对。我们提出了这个问题的第一个系统应用到一个现实的多说话者数据集，CALLHOME西班牙语-英语语音翻译语料库。我们的方法使用无监督术语发现（UTD）来聚类音频中的重复模式，创建一个伪文本，我们将其与翻译配对以创建一个并行文本，并训练一个简单的词袋MT模型。我们确定了系统所面临的挑战，发现跨扬声器UTD的困难导致召回率低，但我们的系统仍然能够正确翻译测试数据中的一些内容词。
2017-02-13 cs.CL
Unified Speech-Text Pre-training for Speech Translation and Recognition
Meta AI
我们描述了一种方法，联合预训练语音和文本的编码器-解码器建模框架的语音翻译和识别。该方法结合了四个自我监督和监督的子任务的跨模态学习。自监督语音子任务利用未标记的语音数据，并且（自）监督文本到文本子任务利用丰富的文本训练数据。包括两个辅助监督语音任务，以统一语音和文本建模空间。我们的贡献在于将文本语料库中的语言信息整合到语音预训练中。详细的分析揭示了子任务之间的学习干扰。两个预训练配置的语音翻译和识别，分别，以减轻子任务的干扰。实验结果表明，该方法能有效地将语音和文本信息融合到一个模型中。它在Must-C语音翻译数据集上实现了1.7到2.3的BLEU改进，并且在Librispeech语音识别任务上与wav2vec 2.0相当。
2022-04-11 cs.CL
Cascaded Models With Cyclic Feedback For Direct Speech Translation
Heidelberg University（海德堡大学）；Computational Linguistics（计算语言学）；IWR, Heidelberg University（海德堡大学IWR研究所）
针对直接语音翻译数据稀缺问题，提出带循环反馈的ASR-MT级联模型，通过自训练优化ASR、微调MT提升拼写容忍度，在德英翻译任务上取得优于同条件端到端模型的BLEU提升。
2021-02-11 cs.CL
Dynamic Behaviour of Connectionist Speech Recognition with Strong Latency Constraints
KTH (Royal Institute of Technology)（瑞典皇家理工学院）
本文研究强延迟约束下联结主义语音识别中多层感知器、语言模型时间依赖长度与维特比解码器延迟三者的交互关系，通过两项实验揭示其对实时口唇运动生成任务的影响。
2024-01-12 cs.AI cs.CV cs.LG
Augmenting Librispeech with French Translations: A Multimodal Corpus for Direct Speech Translation Evaluation
LIG（格勒诺布尔信息学实验室）；UGA（格勒诺布尔阿尔卑斯大学）；G-INP（格勒诺布尔国立理工学院）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；LIDILEM（语言、话语、文本、语言与认知跨学科研究实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
口语翻译（spoken language translation，缩写为EMT）中的最近的工作已经尝试在学习或解码期间不使用源语言转录的情况下构建端到端的语音到文本的翻译。然而，虽然大量的并行文本（例如Europarl、OpenSubtitles）可用于训练机器翻译系统，但是不存在包括与目标语言的文本对齐的源语言的语音的大型（100 h）和开源并行语料库。本文试图填补这一空白，增加现有的（单语）语料库：LibriSpeech。该语料库用于自动语音识别，来自LibriVox项目的有声读物，并经过仔细的分段和对齐。在从LibriSpeech中收集与英语有声读物相对应的法语电子书后，我们将句子级别的语音片段与各自的翻译对齐，并获得236 h的可用并行数据。本文介绍了处理的细节，以及进行人工评估的一个小的子集的语料库。该评估表明，自动对齐分数与双语对齐质量的人类判断合理相关。我们相信，这个语料库（这是在线提供）是有用的直接语音翻译或更一般的口语翻译实验的可复制实验。
2018-02-09 cs.CL
Automatic Quality Assessment for Speech Translation Using Joint ASR and MT Features
Laboratoire d’Informatique de Grenoble, University of Grenoble Alpes（格勒诺布尔计算机科学实验室，格勒诺布尔阿尔卑斯大学）
本文研究口语翻译质量的自动评估。这个相对较新的任务被定义和形式化为一个序列标签问题，其中根据一个大的特征集，将假设中的每个单词标记为好或坏。我们提出了几个字的信心估计（WCE）的基础上，我们的自动评估转录（ASR）的质量，翻译（MT）的质量，或两者兼而有之（结合ASR+MT）。这项研究工作是可能的，因为我们建立了一个特定的语料库，其中包含6.7k的话语，其中一个五元组包括：ASR输出，逐字记录，文本翻译，语音翻译和翻译后编辑。我们使用联合ASR和MT特征进行WCE的多次实验的结论是，MT特征仍然是最有影响力的，而ASR特征可以带来有趣的补充信息。我们的鲁棒质量估计器可用于重新评分语音翻译图或在交互式语音翻译或计算机辅助语音到文本场景中向用户提供反馈。
2016-09-20 cs.CL
BLASER: A Text-Free Speech-to-Speech Translation Evaluation Metric
Meta AI
端到端语音到语音翻译（S2 ST）通常使用基于文本的指标进行评估。这意味着生成的语音必须被自动转录，使得评估取决于自动语音识别（ASR）系统的可用性和质量。在本文中，我们提出了一个无文本的端到端S2 ST的评价指标，命名为BLASER，以避免对ASR系统的依赖。BLASER利用多语言多模态编码器将源输入、翻译输出和参考的语音片段直接编码到共享的嵌入空间中，并计算翻译质量的分数，该分数可用作人类评估的代理。为了评估我们的方法，我们从超过40 k的人类注释中构建了训练和评估集，涵盖了七个语言方向。BLASER的最佳结果是通过在人类评分的监督下进行训练来实现的。我们发现，当在句子水平上进行评估时，BLASER与人类判断的相关性明显优于ASR依赖的指标，包括所有翻译方向的ASR-SENTBLEU和其中五个方向的ASR-COMET。我们的分析表明，将语音和文本作为输入组合到BLASER中并不会增加与人类分数的相关性，但是当使用语音时，可以实现最佳相关性，这激发了我们的研究目标。此外，我们表明，使用ASR的参考是有害的基于文本的指标。
2022-12-16 cs.CL
Investigating the Reordering Capability in CTC-based Non-Autoregressive End-to-End Speech Translation
National Taiwan University（台湾大学）
我们研究了使用连接主义时间分类（CTC）建立非自回归语音到文本翻译模型的可能性，并使用基于CTC的自动语音识别作为辅助任务，以提高性能。由于CTC的单调性假设，它在翻译上的成功是违反直觉的，因此我们分析了它的重排能力。Kendall的tau距离被引入作为定量度量，基于梯度的可视化提供了一种直观的方式来更仔细地观察模型。分析表明，Transformer编码器具有改变语序的能力，并指出了非自回归语音翻译的未来研究方向。
2021-05-11 cs.CL
A Practical Evaluation Method for Long-Form Simultaneous Speech-to-Speech Translation
Carnegie Mellon University（卡内基梅隆大学）
针对长语音同声翻译评估困难的问题，提出一种基于ASR、强制对齐和句子嵌入对齐的实用方法，实现句子级延迟与质量度量，揭示现有系统在长语音上延迟累积严重。
2026-08-10 cs.CL
DiffNorm: Self-Supervised Normalization for Non-autoregressive Speech-to-speech Translation
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出DiffNorm，一种基于扩散的自监督归一化策略，通过去噪损坏语音特征简化数据分布，并结合无分类器引导正则化非自回归Transformer，在CVSS基准上显著提升语音到语音翻译质量与推理速度。
2024-10-21 cs.CL
Synchronous Speech Recognition and Speech-to-Text Translation with Interactive Decoding
Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Baidu Inc.（百度公司）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
语篇翻译是将源语言的语音翻译成目标语言的文本，近年来受到了广泛的关注。与传统的流水线系统相比，端到端ST模型具有更低的延迟、更小的模型大小和更少的错误传播的潜在好处。然而，众所周知，如果没有作为中间体的transmix，实现这样一个模型是非常困难的。现有的工作通常应用多任务学习，以提高翻译质量，通过联合训练端到端ST连同自动语音识别（ASR）。然而，该方法中的不同任务不能利用彼此的信息，这限制了改进。另一些工作提出了一个两阶段的模型，其中第二个模型可以使用隐藏状态从第一个，但其级联方式极大地影响了训练和推理过程的效率。在本文中，我们提出了一种新的交互式注意力机制，使ASR和ST同步和交互地执行在一个单一的模型。具体地说，译文和翻译的生成不仅依赖于其先前的输出，而且还依赖于其他任务中预测的输出。在TED语音翻译语料库上的实验表明，该模型在语音翻译质量和语音识别性能上均优于强基线。
2019-12-16 cs.CL cs.LG
Speech to Speech Translation with Translatotron: A State of the Art Review
International University of Grand-Bassam（大巴萨姆国际大学）；Covenant University（圣约大学）；HRA, Institute for Systems Science, Durban University of Technology（德班理工大学系统科学研究所HRA中心）；Walter Sisulu University（沃尔特·西苏鲁大学）；Summit University（萨米特大学）
本文综述语音到语音翻译技术，重点梳理 Google 的 Translatotron 1、2、3 如何由概念验证发展到在部分方面超越级联模型，并指出其弥合非洲语言与成熟语言差距的潜力。
2025-02-19 cs.AI cs.CL
