PROST-LLM: Progressively Enhancing the Speech-to-Speech Translation Capability in LLMs
The Chinese University of Hong Kong Huawei Artificial Intelligence Laboratory (Leibniz)（香港中文大学华为人工智能实验室（莱布尼茨））
PROST-LLM通过逐步增强方法提升大语言模型在语音到语音翻译中的能力，采用三任务学习和模态链方法，结合自我采样和回译生成偏好对，最终通过偏好优化提升翻译性能。
2026-01-23 cs.CL
RASST: Retrieval-Augmented Simultaneous Speech Translation
Johns Hopkins University（约翰霍普金斯大学）；Carnegie Mellon University（卡内基梅隆大学）
针对同声传译中罕见术语翻译不准的问题，提出检索增强方法RASST，通过轻量级语音-文本检索器提供分块术语提示，并合成训练数据教会模型何时应用检索术语，在ACL 60/60和ESO测试集上术语准确率提升近40%，BLEU提升最多3点。
2026-06-16 cs.CL
Optimizing Rare Word Accuracy in Direct Speech Translation with a Retrieval-and-Demonstration Approach
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of California, Irvine（加州大学欧文分校）
本文提出检索与演示方法，通过改造直接语音翻译模型并结合跨模态检索器获取相似示例，显著提升罕见词翻译准确率。
2024-10-01 cs.CL
PHRASED: Phrase Dictionary Biasing for Speech Translation
Microsoft USA（微软公司）
针对语音翻译中短语稀少且难译的问题，提出PHRASED短语词典偏置方法，并在流式转导器模型与多模态大语言模型上验证，显著提升短语翻译与召回表现。
2025-06-10 cs.AI cs.CL cs.SD
Does Translation-Enhanced Speech Encoder Pre-training Affect Speech LLMs?
SB Intuitions
研究翻译增强的语音编码器预训练对语音大语言模型的影响，通过实验证明该方法能改善跨模态整合并提升下游任务性能。
2026-06-25 cs.CL cs.SD eess.AS
SimulS2S-LLM: Unlocking Simultaneous Inference of Speech LLMs for Speech-to-Speech Translation
Department of Engineering, University of Cambridge（剑桥大学工程系）；Shanghai Jiao Tong University（上海交通大学）
提出SimulS2S-LLM，通过离线训练和测试时策略实现语音LLM的同步语音到语音翻译，利用边界感知提示和增量波束搜索，在CVSS上以相似延迟提升ASR-BLEU 3分。
2025-04-22 cs.CL cs.SD eess.AS
STEB: A Speech-to-Speech Translation Expressiveness Benchmark for Evaluating Beyond Translation Fidelity
Hong Kong University of Science and Technology（香港科技大学）；Tencent Youtu Lab（腾讯优图实验室）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
提出STEB基准，通过描述-总结框架评估语音到语音翻译在情感、场景风格和非语言发声方面的表现力，发现现有系统在语义保真度上表现良好但表现力保留不足。
2026-06-25 cs.AI cs.SD
Listening or Reading? Evaluating Speech Awareness in Chain-of-Thought Speech-to-Text Translation
Barcelona Supercomputing Center, Spain（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya, Spain（加泰罗尼亚理工大学）；DFKI GmbH, Saarland Informatics Campus, Saarbrücken, Germany（DFKI GmbH萨尔兰信息技术校区）
该研究评估CoT式S2TT系统的语音感知能力，发现其仍依赖转录文本，未充分利用语音，需构建明确整合声学信息的翻译架构。
2026-08-20 cs.CL cs.SD
Scheduled Interleaved Speech-Text Training for Speech-to-Speech Translation with LLMs
Sony Group CorporationJapan（索尼集团日本公司）；Sony EuropeGermany（索尼欧洲德国分公司）；Carnegie Mellon UniversityUSA（卡内基梅隆大学美国分校）
针对大语言模型适配语音模态时数据不足的问题，提出调度式交错语音-文本训练法，通过词级交错文本并逐步降比实现渐进模态适配，在CVSS数据集上微调LLaMA3.2-1B验证了其对翻译性能的提升作用，低资源语言效果更明显。
2025-06-12 cs.CL cs.SD eess.AS
Speech is More Than Words: Do Speech-to-Text Translation Systems Leverage Prosody?
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Apple（苹果公司）
本研究针对语音转文本翻译系统的韵律利用问题，提出评估方法与ContraProST基准，实验发现端到端系统韵律感知能力优于级联系统，且现有系统韵律信号常不足以影响翻译。
2024-10-31 cs.CL cs.SD eess.AS
STEMM: Self-learning with Speech-text Manifold Mixup for Speech Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；ByteDance AI Lab（字节跳动人工智能实验室）；University of Chinese Academy of Sciences（中国科学院大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
如何在有限的标记数据中学习更好的语音表示，以进行端到端的语音到文本翻译（ST）？现有的技术往往试图转移强大的机器翻译（MT）的能力，ST，但忽略了跨模态的表示差异。在本文中，我们提出了语音文本流形混合（STEMM）的方法来校准这种差异。具体来说，我们混合了不同模态的表示序列，并将单模态语音序列和多模态混合序列并行地作为翻译模型的输入，并使用自学习框架正则化其输出预测。在MuST-C语音翻译基准上的实验和进一步的分析表明，该方法有效地消除了跨模态表示差异，并在8个翻译方向上取得了显著的改善。
2022-03-20 cs.AI cs.CL
Fluent and Low-latency Simultaneous Speech-to-Speech Translation with Self-adaptive Training
Baidu Research（百度研究院）；Kwai Inc.（快手公司）；Oregon State University（俄勒冈州立大学）
同步语音到语音翻译非常有用，但极具挑战性，因为它需要与源语言语音同时生成目标语言语音，只有几秒钟的延迟。此外，它需要连续翻译一串句子，但所有最近的解决方案都只关注单句场景。因此，当前的方法在说话者说话更快时逐渐积累延迟，并且在说话者说话更慢时引入不自然的停顿。为了克服这些问题，我们提出了自适应翻译（SAT），灵活地调整翻译的长度，以适应不同的源语音速率。在类似的翻译质量水平（由BLEU测量）下，我们的方法在两个Zh En方向上生成更流畅的目标语音（由自然度度量MOS测量），其延迟比基线低得多<->。
2020-10-21 cs.AI cs.CL
Language translation, and change of accent for speech-to-speech task using diffusion model
CMINDS, IIT Bombay（CMINDS，IIT博亚学院）；CSE, IIT Bombay（计算机科学与工程系，IIT博亚学院）
本文提出一种基于扩散模型的统一框架，将语音翻译与口音转换重新表述为条件生成任务，以源语音转写为条件生成目标梅尔频谱图，实现翻译与口音适应的联合优化，相比传统流水线参数更高效。
2025-05-04 cs.AI cs.CL
Speech to Speech Translation with Translatotron: A State of the Art Review
International University of Grand-Bassam（大巴萨姆国际大学）；Covenant University（圣约大学）；HRA, Institute for Systems Science, Durban University of Technology（德班理工大学系统科学研究所HRA中心）；Walter Sisulu University（沃尔特·西苏鲁大学）；Summit University（萨米特大学）
本文综述语音到语音翻译技术，重点梳理 Google 的 Translatotron 1、2、3 如何由概念验证发展到在部分方面超越级联模型，并指出其弥合非洲语言与成熟语言差距的潜力。
2025-02-19 cs.AI cs.CL
RedApt: An Adaptor for wav2vec 2 Encoding \\ Faster and Smaller Speech Translation without Quality Compromise
Monash University（莫纳什大学）
语音翻译（ST）中的预先训练的语音Transformers已经促进了最先进的（SotA）结果;然而，使用这样的编码器在计算上是昂贵的。为了改善这一点，我们提出了一种新的Reducer Adaptor块，RedApt，它可以无缝集成在任何基于transformer的语音编码架构中。将预训练的wav 2 vec 2语音编码器与RedApt集成，可带来41%的加速，33%的内存减少，推理时的FLOP减少24%。令我们惊讶的是，我们的ST模型与RedApt在Must-C的8个语言对上的平均BLEU得分超过了SotA架构。
2022-10-16 cs.AI cs.CL
Overcoming Latency Bottlenecks in On-Device Speech Translation: A Cascaded Approach with Alignment-Based Streaming MT
Meta AI.（Meta AI）
本文提出一种基于对齐的级联流式机器翻译方法，通过利用ASR语言线索和束搜索剪枝技术，在端侧实时语音翻译中有效平衡质量与延迟，缩小了与非流式系统的差距。
2025-08-18 cs.AI cs.CL
Fluent Translations from Disfluent Speech in End-to-End Speech Translation
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
由于会话语音现象，特别是不流利的存在，语音的口语翻译应用受到影响。随着端到端语音翻译模型的兴起，之前作为语音识别和机器翻译之间的中间步骤的处理步骤（如不流利消除）需要被纳入模型架构中。我们使用一个序列到序列的模型，从嘈杂的，不流利的语音流畅的文本与不流利使用最近收集的“复制编辑”的参考Fisher西班牙语-英语数据集删除。我们能够直接生成流畅的翻译，并介绍有关如何评估这项任务成功的考虑因素。这项工作为一项新的任务提供了一个基线，即翻译会话语音并联合消除不流利。
2019-06-03 cs.CL
NaturalFlow: Reducing Disruptive Pauses for Natural Speech Flow in Simultaneous Speech-to-Speech Translation
IPAI and ECE, Seoul National University（首尔大学IPAI与ECE）；Department of AI, University of Seoul（首尔市立大学人工智能系）
提出一个流畅性感知优化框架，通过利用模型内部信号（如语言多样性和语音时长的时间变异性）最小化块间静音，在同步翻译的低延迟和连续翻译的自然流畅之间找到平衡点。
2026-06-12 cs.AI cs.CL cs.SD
Simultaneous Speech-to-Speech Translation System with Neural Incremental ASR, MT, and TTS
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文介绍了一个新开发的，同时神经语音到语音翻译系统及其评价。该系统由三个全增量神经处理模块组成，分别用于自动语音识别（ASR）、机器翻译（MT）和文本到语音合成（TTS）。我们研究了其在系统的耳语音跨度和说话延迟以及模块级性能的整体延迟。
2020-11-11 cs.CL
T-Modules: Translation Modules for Zero-Shot Cross-Modal Machine Translation
Meta AI；Inria（法国国家信息与自动化研究所）
我们提出了一种新的方法来执行语音和文本之间的zero-shot跨模态转换的翻译任务。多语言语音和文本被编码在一个联合的固定大小的表示空间。然后，我们比较了解码这些多模式和多语言固定大小表示的不同方法，从而实现语言和模式之间的零镜头翻译（zero-shot translation）。我们所有的模型都是在不需要跨模态标记翻译数据的情况下进行训练的。尽管是固定大小的表示，我们在几个文本和语音翻译任务上取得了非常有竞争力的结果。特别是，我们显著提高了Must-C上zero-shot语音翻译的最新水平。在我们的框架中实现语音解码器，我们介绍了zero-shot直接语音到语音和文本到语音翻译的第一个结果。
2022-11-10 cs.CL
StreamSpeech: Simultaneous Speech-to-Speech Translation with Multi-task Learning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）；School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院）
提出StreamSpeech模型，通过多任务学习统一框架联合学习翻译与同声策略，实现离线与同声语音识别、翻译及合成的无缝处理，在CVSS基准上达到SOTA，并提供高质量中间结果。
2024-06-05 cs.AI cs.CL cs.SD
Fused Acoustic and Text Encoding for Multimodal Bilingual Pretraining and Speech Translation
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
近年来，文本和语音的表示学习已经成功地改善了许多与语言相关的任务。然而，所有现有的方法都受到两个限制：（a）它们仅从一种输入模态学习，而诸如端到端语音翻译的任务需要语音和文本的统一表示，并且因此，（b）它们不能利用各种大规模文本和语音数据，并且它们的性能受到并行语音翻译数据的稀缺性的限制。我们提出了一种融合的声学和文本掩蔽语言模型（FAT-MLM），其从各种类型的语料库（包括用于语音识别和机器翻译的并行数据，甚至纯语音和文本数据）联合学习声学和文本输入的统一表示。在此跨模态表示学习框架内，我们进一步提出了一个融合声学和文本语音翻译（FAT-ST）的端到端模型。三个翻译方向的实验表明，通过FAT-MLM的微调，我们提出的语音翻译模型大大提高了翻译质量，最高可达+5.9 BLEU。
2021-09-14 cs.CL
SimulMT to SimulST: Adapting Simultaneous Text Translation to End-to-End Simultaneous Speech Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；Facebook AI（脸书人工智能研究院）
文本同步翻译和端到端语音翻译近年来取得了很大的进展，但很少有人将这些任务结合在一起。我们研究如何适应同步文本翻译方法，如等待k和单调多头注意端到端同步语音翻译通过引入一个预决策模块。详细分析了将固定和灵活的预决策与固定和灵活的策略相结合的延迟质量权衡。我们还设计了一个新的计算感知延迟度量，改编自平均滞后。
2020-11-03 cs.CL
Cross-Lingual Transfer Learning for Speech Translation
针对数据受限下扩展多语言基础模型的语音翻译能力问题，以Whisper为例，利用语音检索揭示其共享语义空间，通过仅英中数据微调解码器，实现零样本跨语言迁移并提升多语言到中文的翻译性能。
2025-02-11 cs.CL
LibriVoxDeEn: A Corpus for German-to-English Speech Translation and German Speech Recognition
Heidelberg University（海德堡大学）；Computational Linguistics（计算语言学）；IWR Heidelberg University（海德堡大学IWR研究所）
我们提出了一个语料库的德语音频，德语文本，英语翻译，德语有声读物的基础上，对齐的三元组。语音翻译数据由110小时的音频材料组成，与超过50 k个平行句子对齐。包括与德语文本对齐的547小时德语语音的甚至更大的数据集可用于语音识别。音频数据是读语音，因此不流利程度低。音频和句子对齐的质量已经通过人工评估进行了检查，表明语音对齐质量通常非常高。句子对齐质量与常用的平行翻译数据相当，并且可以通过自动对齐分数的截止值进行调整。据我们所知，该语料库是迄今为止最大的德语语音识别和端到端德语到英语语音翻译资源。
2020-03-04 cs.CL
Towards Fluent Translations from Disfluent Speech
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
当从语音翻译时，需要特别考虑会话语音现象，如不流利。大多数机器翻译训练数据由格式良好的书面文本组成，在翻译自发语音时会导致问题。以前的工作在语音识别（ASR）和机器翻译（MT）之间引入了一个中间步骤，以消除不流畅，使数据更好地匹配典型的翻译文本，并显着提高性能。然而，随着端到端语音翻译系统的兴起，这个中间步骤必须被纳入序列到序列架构中。此外，尽管存在翻译的语音数据集，但它们通常是没有许多不流利的新闻或排练的语音（例如TED），或者不流利被翻译成参考文献（例如Fisher）。为了从不流利的语音中生成干净的翻译，需要对干净的引用进行评估。我们介绍了一个语料库的Fisher西班牙语-英语数据集的清理目标数据为这项任务。我们比较了不同的架构如何处理不流畅，并为消除端到端翻译中的不流畅提供了一个基线。
2018-11-07 cs.CL
End-to-end Automatic Speech Recognition and Speech Translation: Integration of Speech Foundational Models and LLMs
Charles University（查尔斯大学）；Faculty of Mathematics and Physics（数学与物理系）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本文提出结合预训练语音编码器与LLMs的端到端架构，同时执行ASR和ST任务，在英德翻译中超越SeamlessM4T并匹敌级联系统，COMET指标提升达8%。
2025-10-11 cs.CL
End-to-End Speech Translation of Arabic to English Broadcast News
Le Mans Université（勒芒大学）；Elyadata
语音翻译是将源语言中的语音信号直接翻译成外语文本的任务。长期以来，ST任务一直使用具有两个模块的流水线方法来解决：首先是源语言的自动语音识别（ASR），然后是文本到文本的机器翻译（MT）。在过去的几年里，我们已经看到了使用序列到序列深度神经网络模型的端到端方法的范式转变。本文介绍了我们对第一个广播新闻端到端的阿拉伯语到英语语音翻译系统的发展所做的努力。从独立的ASR和MT LDC版本开始，我们能够识别大约92小时的阿拉伯语录音，这些录音的人工转录也在片段一级翻译成英语。这些数据被用于训练和比较多个场景下的管道和端到端语音翻译系统，包括迁移学习和数据增强技术。
2022-12-11 cs.AI cs.CL cs.LG
SpeechAlign: a Framework for Speech Translation Alignment Evaluation
Meta FAIR；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文提出SpeechAlign评估框架，包含基于英德文本对齐构建的Speech Gold Alignment数据集及SAER与TW-SAER两项新指标，用于评估语音翻译模型中的源-目标对齐质量，并对开源模型进行了基准测试。
2024-04-25 cs.CL
End-to-End Simultaneous Speech Translation with Differentiable Segmentation
University of Chinese Academy of Sciences（中国科学院大学）
本文提出可微分分段（DiSeg）方法，通过期望训练实现与翻译模型联合优化，直接学习有益于翻译的语音分段，在端到端同声传译中取得最优性能。
2023-06-18 cs.AI cs.CL cs.SD
MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
Meta AI
我们介绍MuAViC，一个多语言的视听语料库，用于强大的语音识别和强大的语音到文本的翻译，提供1200小时的视听语音在9种语言。它完全转录，涵盖6个英语到X的翻译以及6个X到英语的翻译方向。据我们所知，这是第一个视听语音到文本翻译的开放基准，也是多语言视听语音识别的最大开放基准。我们的基线结果表明，MuAViC是有效的建立噪声鲁棒的语音识别和翻译模型。我们在https://github.com/facebookresearch/muavic上提供语料库。
2023-03-07 cs.CL eess.AS
SpeechQE: Estimating the Quality of Direct Speech Translation
University of Maryland（马里兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对语音翻译质量估计研究不足的问题，该工作定义SpeechQE任务、构建基准，提出利用预训练文本LLM的端到端系统，验证其优于级联文本质量估计系统，并发布数据模型推动相关研究。
2024-10-28 cs.CL
Towards speech-to-text translation without speech recognition
University of Edinburgh（爱丁堡大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
我们探讨了在低资源情况下将语音翻译成文本的问题，在这种情况下，既没有自动语音识别（ASR），也没有机器翻译（MT），但我们有音频形式的训练数据与文本翻译配对。我们提出了这个问题的第一个系统应用到一个现实的多说话者数据集，CALLHOME西班牙语-英语语音翻译语料库。我们的方法使用无监督术语发现（UTD）来聚类音频中的重复模式，创建一个伪文本，我们将其与翻译配对以创建一个并行文本，并训练一个简单的词袋MT模型。我们确定了系统所面临的挑战，发现跨扬声器UTD的困难导致召回率低，但我们的系统仍然能够正确翻译测试数据中的一些内容词。
2017-02-13 cs.CL
TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation
Shanghai Jiao Tong University（上海交通大学）；Microsoft（微软公司）
针对端到端语音到语音翻译性能弱于级联模型、数据稀缺的问题，提出TransVIP框架，以级联用数据集+联合概率实现端到端推理，搭配双编码器保留音色与等时性，法英翻译效果超越现有SOTA模型。
2024-10-31 cs.AI cs.CL cs.SD
Unified Speech-Text Pre-training for Speech Translation and Recognition
Meta AI
我们描述了一种方法，联合预训练语音和文本的编码器-解码器建模框架的语音翻译和识别。该方法结合了四个自我监督和监督的子任务的跨模态学习。自监督语音子任务利用未标记的语音数据，并且（自）监督文本到文本子任务利用丰富的文本训练数据。包括两个辅助监督语音任务，以统一语音和文本建模空间。我们的贡献在于将文本语料库中的语言信息整合到语音预训练中。详细的分析揭示了子任务之间的学习干扰。两个预训练配置的语音翻译和识别，分别，以减轻子任务的干扰。实验结果表明，该方法能有效地将语音和文本信息融合到一个模型中。它在Must-C语音翻译数据集上实现了1.7到2.3的BLEU改进，并且在Librispeech语音识别任务上与wav2vec 2.0相当。
2022-04-11 cs.CL
Assessing Evaluation Metrics for Speech-to-Speech Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；ETH Zürich（苏黎世联邦理工学院）
语音到语音翻译将机器翻译与语音合成相结合，引入了单独任务中不存在的评估挑战。如何自动评估语音到语音翻译是一个开放的问题，以前没有被探索。翻译成语音而不是文本通常是由不成文的语言或没有标准化拼写的语言所驱动的。然而，我们表明，以前使用的自动度量这项任务是最好的标准化的高资源语言。在这项工作中，我们首先评估语音到语音翻译的当前指标，其次评估翻译到方言变体而不是标准化语言如何影响各种评估方法。
2021-10-26 cs.CL cs.SD eess.AS
BSTC: A Large-Scale Chinese-English Speech Translation Dataset
Baidu Inc.（百度公司）
本文介绍了一个大规模的汉英语音翻译数据集BSTC（Baidu Speech Translation Corpus）。该数据集是基于一系列许可的演讲或讲座视频构建的，包括约68小时的普通话数据，其手动转录和翻译成英语，以及通过自动语音识别（ASR）模型进行的自动转录。我们还邀请了三名经验丰富的口译员在模拟会议环境中同时为测试会谈进行口译。该语料库对自动同声翻译的研究和实用系统的开发具有一定的促进作用。我们已经组织了同声翻译任务，并使用该语料库来评估自动同声翻译系统。
2021-04-27 cs.CL
EmoAra: Emotion-Preserving English Speech Transcription and Cross-Lingual Translation with Arabic Text-to-Speech
MBZUAI（穆罕默德·本·拉希德智能技术研究所）
EmoAra通过整合语音情感识别、自动语音识别、机器翻译和文本到语音技术，实现英语语音转录与阿拉伯语音输出的跨语言翻译，保留情感细微差别。
2026-02-01 cs.CL
ArzEn-ST: A Three-way Speech Translation Corpus for Code-Switched Egyptian Arabic - English
New York University Abu Dhabi（纽约大学阿布扎比分校）；University of Stuttgart（斯图加特大学）；The German University in Cairo（开罗德国大学）
我们提出了我们的工作，收集ArzEn-ST，代码转换埃及阿拉伯语-英语语音翻译语料库。该语料库是ArzEn语音语料库的扩展，该语料库是通过对双语者的非正式采访收集的。在这项工作中，我们收集了两个方向的翻译，单语埃及阿拉伯语和单语英语，形成了一个三向语音翻译语料库。我们公开提供翻译指南和语料库。我们还报告了用于机器翻译和语音翻译任务的基线系统的结果。我们相信这是一个有价值的资源，可以激励和促进进一步的研究从语言学的角度来研究语码转换现象，并可用于训练和评估自然语言处理系统。
2022-11-22 cs.CL
CTC-based Non-autoregressive Textless Speech-to-Speech Translation
University of Chinese Academy of Sciences（中国科学院大学）；School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）
本文研究基于CTC的非自回归语音到语音翻译，结合预训练、知识蒸馏及glancing training等技术，在保持与自回归模型相当翻译质量的同时实现最高26.81倍解码加速。
2024-06-11 cs.AI cs.CL cs.SD
Improving End-to-end Speech Translation by Leveraging Auxiliary Speech and Text Data
Northeastern University（东北大学）；NiuTrans Research（牛翻译研究所）；Tencent Minority-Mandarin Translation（腾讯少数民族语言翻译）
我们提出了一种方法，用于将文本编码器引入预先训练的端到端语音翻译系统。它增强了适应一种模态的能力（即，源语言语音）到另一个（即，源语言文本）。因此，语音翻译模型可以从未标记和标记数据中学习，特别是当源语言文本数据丰富时。除此之外，我们提出了一种去噪方法来构建一个强大的文本编码器，可以处理正常和嘈杂的文本数据。我们的系统在Must-C En-De、En-Fr和LibriSpeech En-Fr任务上设置了新的最先进技术。
2022-12-04 cs.AI cs.CL cs.SD
Cross-lingual topic prediction for speech using translations
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Stellenbosch University（斯泰伦博斯大学）
在低资源语言中有大量未注释的语音，我们能否按主题对语音进行分类？我们在低资源语言的少量语音与高资源语言的文本翻译配对的情况下考虑这个问题。我们开发了一个有效的跨语言主题分类器，通过使用最近的直接语音到文本翻译模型，对20小时的翻译语音进行训练。虽然翻译很差，但它们仍然足够好，可以在70%的时间内正确分类1分钟语音片段的主题-比多数类基线提高20%。这样的系统可能对人道主义应用有用，如危机应对，在这种情况下，必须快速评估以外国低资源语言输入的语音，以便采取进一步行动。
2020-03-29 cs.CL
SeamlessExpressiveLM: Speech Language Model for Expressive Speech-to-Speech Translation with Chain-of-Thought
Meta AI
提出单一语音语言模型SeamlessExpressiveLM，利用思维链提示将语音到语音翻译分解为语义翻译与风格迁移两步，在语义质量和风格迁移上优于级联模型且参数效率更高。
2024-05-30 cs.AI cs.CL cs.SD
What does it take to get state of the art in simultaneous speech-to-speech translation?
toby（托比）
该研究针对同声语音翻译模型中幻觉引发的延迟尖峰问题，通过系统实验各类输入参数与条件提出优化方法，证实精细输入管理结合策略性参数调整可显著改善模型延迟表现。
2024-09-14 cs.CL
Cascaded Models With Cyclic Feedback For Direct Speech Translation
Heidelberg University（海德堡大学）；Computational Linguistics（计算语言学）；IWR, Heidelberg University（海德堡大学IWR研究所）
针对直接语音翻译数据稀缺问题，提出带循环反馈的ASR-MT级联模型，通过自训练优化ASR、微调MT提升拼写容忍度，在德英翻译任务上取得优于同条件端到端模型的BLEU提升。
2021-02-11 cs.CL
SpeechMatrix: A Large-Scale Mined Corpus of Multilingual Speech-to-Speech Translations
Meta AI Research（Meta人工智能研究院）；Inria（法国国家信息与自动化研究所）
我们提出了SpeechMatrix，一个大规模的多语言语料库的语音到语音翻译挖掘从欧洲议会录音的真实讲话。它包含136个语言对的语音对齐，总共41.8万小时的语音。为了评估这种并行语音的质量，我们仅在挖掘数据上训练双语语音到语音翻译模型，并在EuroParl-ST，VoxPopuli和FLEURS测试集上建立广泛的基线结果。通过SpeechMatrix的多语言性，我们还探索了多语言语音到语音翻译，这是一个很少有其他作品涉及的主题。我们还证明了使用混合专家的模型预训练和稀疏缩放可以大大提高翻译性能。挖掘的数据和模型是免费提供的。
2022-11-08 cs.CL cs.SD eess.AS
On Knowledge Distillation for Direct Speech Translation
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；AppTek
直接语音翻译（ST）已被证明是一个复杂的任务，需要从它的子任务：自动语音识别（ASR）和机器翻译（MT）的知识转移。对于机器翻译来说，知识蒸馏是最有前途的知识转移技术之一。在本文中，我们比较了不同的解决方案，以提取知识的序列到序列的任务，如ST。此外，我们分析了这种方法的最终缺点，以及如何减轻他们保持翻译质量方面的好处。
2020-12-09 cs.CL
Task Arithmetic can Mitigate Synthetic-to-Real Gap in Automatic Speech Recognition
National Taiwan University（台湾大学）；Stanford University（斯坦福大学）
针对自动语音识别中合成数据微调存在的合成到真实分布差距问题，提出SYN2REAL任务向量方法，利用任务向量算术缓解该差距，在SLURP数据集上词错误率较基线平均提升10.03%，多域任务向量平均可进一步提升目标域性能。
2024-10-05 cs.AI cs.CL cs.LG
End-to-End Automatic Speech Translation of Audiobooks
Univ. Grenoble-Alpes（格勒诺布尔-阿尔卑斯大学）；Univ. Lille（里尔大学）
我们调查了端到端的语音到文本的翻译语料库的有声读物专门增强这项任务。以前的作品研究了极端的情况下，源语言转录是不可用的学习，也没有解码，但我们也研究了一个中途的情况下，源语言转录只在训练时间。在这种情况下，单个模型被训练成在单遍中将源语音解码成目标文本。实验结果表明，在该系统中可以训练出紧凑高效的端到端语音翻译模型。我们还分发了语料库，并希望我们在这个语料库上的语音翻译基线将在未来受到挑战。
2018-02-12 cs.CL
Index-Translate: A Multilingual Translation Model Family -- Text, Speech, Controlled Dubbing, and Long-Document Translation
Index LLM Team（Index LLM 团队）
Index-Translate是一个多语言翻译模型家族，通过共享基础与专门训练结合，在通用、语音、配音和长文档翻译上达到前沿性能。
2026-10-14 cs.CL
CVSS Corpus and Massively Multilingual Speech-to-Speech Translation
Google Research（谷歌研究院）
我们介绍了CVSS，一个大规模的多语言到英语的语音到语音翻译（S2 ST）语料库，涵盖了从21种语言到英语的并行S2 ST对。CVSS源自Common Voice语音语料库和CoVoST 2语音到文本翻译（ST）语料库，通过使用最先进的TTS系统将CoVoST 2的翻译文本合成为语音。提供了两种版本的翻译语音：1）CVSS-C：所有翻译语音都是单个高质量的规范语音; 2）CVSS-T：翻译语音是从相应的源语音转移的语音。此外，CVSS还提供了与翻译语音中的发音相匹配的规范化翻译文本。在每个版本的CVSS上，我们分别建立了多语种直接S2 ST模型和级联S2 ST模型，验证了语料库的有效性。为了构建强大的级联S2 ST基线，我们在CoVoST 2上训练了一个ST模型，它比之前在没有额外数据的语料库上训练的最先进模型性能高出5.8 BLEU。尽管如此，直接S2 ST模型的性能在从头开始训练时接近强级联基线，并且在从匹配ST模型初始化时，ASR转录翻译只有0.1或0.7 BLEU差异。
2022-06-26 cs.CL cs.SD eess.AS
Bridging the Modality Gap for Speech-to-Text Translation
National Laboratory of Pattern Recognition, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
端到端语音翻译是将一种语言的语音通过端到端的方式翻译成另一种语言的文本。现有的大多数方法都采用具有单个编码器的编码器-解码器结构来同时学习声学表示和语义信息，这忽略了语音和文本模态的差异，使编码器过载，导致学习这样的模型非常困难。为了解决这些问题，我们提出了一个语音到文本适配语音翻译（STAST）模型，其目的是通过弥合语音和文本之间的模态差距，以提高端到端的模型性能。具体来说，我们将语音翻译编码器解耦为三个部分，并引入收缩机制来匹配语音表示的长度与相应的文本转录。为了获得更好的语义表示，我们将基于文本的翻译模型完全集成到STAST中，以便在同一个潜在空间中训练两个任务。此外，我们引入了跨模态自适应方法来拉近语音和文本表示之间的距离。在英法和英德语音翻译语料库上的实验结果表明，该模型的性能明显优于强基线，达到了新的最先进的性能。
2020-10-28 cs.CL
Modular Speech-to-Text Translation for Zero-Shot Cross-Modal Transfer
Meta AI；Inria（法国国家信息与自动化研究所）
该研究针对语音到文本翻译任务，提出对采用共享固定大小表征的独立编解码器模块化方法进行多语言训练，显著提升了零样本跨模态语音翻译效果，在多语言上优于基于XLSR的有监督方法。
2023-10-05 cs.CL
Improving the quality of Gujarati-Hindi Machine Translation through part-of-speech tagging and stemmer-assisted transliteration
Cummins College of Engineering for Women（卡明斯女子工程学院）；Banasthali University（班纳斯塔利大学）
印度语言的机器翻译是一个新兴的研究领域。音译就是我们在设计翻译系统时设计的一个这样的模块。音译是指将源语言文本映射为目标语言。简单的映射降低了整个翻译系统的效率。我们建议使用词干和词性标注的音译。如果我们使用词性标记和词干辅助音译，翻译的有效性可以得到提高。我们已经表明，古吉拉特语的大部分内容在被翻译为印地语的过程中得到音译。
2013-07-12 cs.CL
