EmoAra: Emotion-Preserving English Speech Transcription and Cross-Lingual Translation with Arabic Text-to-Speech
MBZUAI（穆罕默德·本·拉希德智能技术研究所）
EmoAra通过整合语音情感识别、自动语音识别、机器翻译和文本到语音技术，实现英语语音转录与阿拉伯语音输出的跨语言翻译，保留情感细微差别。
2026-02-01 cs.CL
ArzEn-ST: A Three-way Speech Translation Corpus for Code-Switched Egyptian Arabic - English
New York University Abu Dhabi（纽约大学阿布扎比分校）；University of Stuttgart（斯图加特大学）；The German University in Cairo（开罗德国大学）
我们提出了我们的工作，收集ArzEn-ST，代码转换埃及阿拉伯语-英语语音翻译语料库。该语料库是ArzEn语音语料库的扩展，该语料库是通过对双语者的非正式采访收集的。在这项工作中，我们收集了两个方向的翻译，单语埃及阿拉伯语和单语英语，形成了一个三向语音翻译语料库。我们公开提供翻译指南和语料库。我们还报告了用于机器翻译和语音翻译任务的基线系统的结果。我们相信这是一个有价值的资源，可以激励和促进进一步的研究从语言学的角度来研究语码转换现象，并可用于训练和评估自然语言处理系统。
2022-11-22 cs.CL
Cross-lingual topic prediction for speech using translations
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Stellenbosch University（斯泰伦博斯大学）
在低资源语言中有大量未注释的语音，我们能否按主题对语音进行分类？我们在低资源语言的少量语音与高资源语言的文本翻译配对的情况下考虑这个问题。我们开发了一个有效的跨语言主题分类器，通过使用最近的直接语音到文本翻译模型，对20小时的翻译语音进行训练。虽然翻译很差，但它们仍然足够好，可以在70%的时间内正确分类1分钟语音片段的主题-比多数类基线提高20%。这样的系统可能对人道主义应用有用，如危机应对，在这种情况下，必须快速评估以外国低资源语言输入的语音，以便采取进一步行动。
2020-03-29 cs.CL
Improving the quality of Gujarati-Hindi Machine Translation through part-of-speech tagging and stemmer-assisted transliteration
Cummins College of Engineering for Women（卡明斯女子工程学院）；Banasthali University（班纳斯塔利大学）
印度语言的机器翻译是一个新兴的研究领域。音译就是我们在设计翻译系统时设计的一个这样的模块。音译是指将源语言文本映射为目标语言。简单的映射降低了整个翻译系统的效率。我们建议使用词干和词性标注的音译。如果我们使用词性标记和词干辅助音译，翻译的有效性可以得到提高。我们已经表明，古吉拉特语的大部分内容在被翻译为印地语的过程中得到音译。
2013-07-12 cs.CL
Towards a Deep Understanding of Multilingual End-to-End Speech Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
本文利用SVCCA分析22种语言的多语言端到端语音翻译模型表示，发现数据有限时语言相似性失效、良好对齐数据可提升翻译质量且编码器表示能预测语音特征，并提出结合低资源与相关高资源语言的更有效方法。
2023-10-31 cs.CL
Evaluating and Preserving Lexical Stress in English-to-Chinese Speech-to-Speech Translation
The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））；Shenzhen Loop Area Institute, China（深圳环域研究所）
针对英汉语音翻译中词汇重音跨语言传递不足的问题，构建重音标注数据集和普通话重音检测器，提出跨语言重音评估指标，并微调CosyVoice3构建重音感知S2ST系统，实验表明该系统在重音翻译能力上显著优于现有系统。
2026-06-16 cs.CL
Scalable Multilingual Multimodal Machine Translation with Speech-Text Fusion
Harbin Institute of Technology（哈尔滨工业大学）；Pengcheng Laboratory（鹏城实验室）
本文提出一种语音引导的机器翻译框架，通过融合语音和文本提升多语言翻译性能，并在多个基准上取得新突破。
2026-03-03 cs.CL
SeamlessM4T: Massively Multilingual & Multimodal Machine Translation
Meta AI；INRIA（法国国家信息与自动化研究所）；UC Berkeley（加州大学伯克利分校）
本文提出统一多模态翻译模型SeamlessM4T，基于100万小时语音数据和w2v-BERT 2.0，支持百种语言的语音与文本双向翻译及识别，在FLEURS上显著超越SOTA并开源。
2023-10-25 cs.CL
Assessing Evaluation Metrics for Speech-to-Speech Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；ETH Zürich（苏黎世联邦理工学院）
语音到语音翻译将机器翻译与语音合成相结合，引入了单独任务中不存在的评估挑战。如何自动评估语音到语音翻译是一个开放的问题，以前没有被探索。翻译成语音而不是文本通常是由不成文的语言或没有标准化拼写的语言所驱动的。然而，我们表明，以前使用的自动度量这项任务是最好的标准化的高资源语言。在这项工作中，我们首先评估语音到语音翻译的当前指标，其次评估翻译到方言变体而不是标准化语言如何影响各种评估方法。
2021-10-26 cs.CL cs.SD eess.AS
STEMM: Self-learning with Speech-text Manifold Mixup for Speech Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；ByteDance AI Lab（字节跳动人工智能实验室）；University of Chinese Academy of Sciences（中国科学院大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
如何在有限的标记数据中学习更好的语音表示，以进行端到端的语音到文本翻译（ST）？现有的技术往往试图转移强大的机器翻译（MT）的能力，ST，但忽略了跨模态的表示差异。在本文中，我们提出了语音文本流形混合（STEMM）的方法来校准这种差异。具体来说，我们混合了不同模态的表示序列，并将单模态语音序列和多模态混合序列并行地作为翻译模型的输入，并使用自学习框架正则化其输出预测。在MuST-C语音翻译基准上的实验和进一步的分析表明，该方法有效地消除了跨模态表示差异，并在8个翻译方向上取得了显著的改善。
2022-03-20 cs.AI cs.CL
ON-TRAC Consortium for End-to-End and Simultaneous Speech Translation Challenge Tasks at IWSLT 2020
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；Avignon Université（阿维尼翁大学）；Le Mans Université（勒芒大学）
本文介绍了ON-TRAC联盟翻译系统，该系统是为2020年IWTECH评估活动中的两个挑战轨道开发的，即离线语音翻译和同步语音翻译。ON-TRAC联盟由来自三个法国学术实验室的研究人员组成：LIA（阿维尼翁大学），LIG（格勒诺布尔阿尔卑斯大学）和LIUM（勒芒大学）。基于注意力的编码器-解码器模型，经过端到端训练，用于我们提交到离线语音翻译轨道。我们的贡献集中在数据增强和多个模型的集成上。在同步语音翻译轨道中，我们为文本到文本子任务构建了基于transformer的wait-k模型。对于语音到文本的同声翻译，我们附加一个等待k MT系统的混合ASR系统。我们提出了一种算法来控制ASR+MT级联的延迟，并在两个子任务上实现良好的延迟质量折衷。
2020-05-24 cs.CL eess.AS
StressTransfer: Stress-Aware Speech-to-Speech Translation with Emphasis Preservation
The Chinese University of Hong Kong, China（香港中文大学）；Nara Institute of Science and Technology（奈良科学技術大学）
提出StressTransfer系统，利用LLM将源语言词级压力转为目标语言标签以指导TTS，通过自动数据生成和LLM-as-Judge评估，在保留强调的同时维持翻译质量与自然度。
2025-10-15 cs.AI cs.CL
Consecutive Decoding for Speech-to-text Translation
ByteDance AI Lab（字节跳动人工智能实验室）
语篇翻译是将源语言的语音直接翻译成目标语言的文本，近年来受到了广泛的关注。然而，语音识别和机器翻译在单个模型中的结合给直接跨模态跨语言映射带来了沉重的负担。为了降低学习难度，我们提出了一种语音到文本翻译的集成方法-其核心思想是用一个解码器生成源译文和目标译文。它有利于模型训练，从而可以充分利用额外的大型平行文本语料库来增强语音翻译训练。我们的方法在三个主流数据集上进行了验证，包括增强LibriSpeech英法数据集，IWSLT 2018英德数据集和TED英中数据集。实验表明，我们提出的COSTT优于或等同于以前的国家的最先进的方法在三个数据集。我们已经在\url{https://github.com/dqqcasia/st}上发布了我们的代码。
2022-04-15 cs.CL eess.AS
From Speech-to-Speech Translation to Automatic Dubbing
Amazon（亚马逊）
我们提出了增强语音到语音翻译管道，以执行自动配音。我们的架构具有神经机器翻译生成首选长度的输出，翻译与原始语音片段的韵律对齐，神经文本到语音与每个话语的持续时间的微调，最后，音频渲染以丰富文本到语音输出与从原始音频中提取的背景噪声和混响。我们报告的自动配音的摘录TED演讲从英语到意大利语，这措施的自动配音的感知自然度和每个建议的增强的相对重要性的主观评价。
2020-02-02 cs.CL cs.SD eess.AS
Direct Simultaneous Speech-to-Speech Translation with Variational Monotonic Multihead Attention
Johns Hopkins University（约翰斯·霍普金斯大学）；Meta；Maastricht University（马斯特里赫特大学）
本文提出了一种直接同步语音到语音翻译（Simul-S2 ST）模型。我们的方法利用了离散单元直接语音到语音翻译的最新进展，其中以无监督方式学习的离散表示序列而不是连续的频谱图特征，从模型中预测并直接传递给声码器进行语音合成。我们还引入了变分单调多头注意（V-MMA），以应对语音同传中低效的策略学习的挑战。然后，同时策略对源语音特征和目标离散单元进行操作。我们进行了实证研究，比较级联和直接的方法对Fisher西班牙语-英语和Must-C英语-西班牙语数据集。直接同步模型通过在翻译质量和延迟之间实现更好的折衷而优于级联模型。
2022-01-12 cs.CL cs.SD eess.AS
NaturalFlow: Reducing Disruptive Pauses for Natural Speech Flow in Simultaneous Speech-to-Speech Translation
IPAI and ECE, Seoul National University（首尔大学IPAI与ECE）；Department of AI, University of Seoul（首尔市立大学人工智能系）
提出一个流畅性感知优化框架，通过利用模型内部信号（如语言多样性和语音时长的时间变异性）最小化块间静音，在同步翻译的低延迟和连续翻译的自然流畅之间找到平衡点。
2026-06-12 cs.AI cs.CL cs.SD
Dub-S2ST: Textless Speech-to-Speech Translation for Seamless Dubbing
Korea Advanced Institute of Science and Technology（韩国科学技术院）
Dub-S2ST通过无文本语音到语音翻译模型实现无缝配音，保留语音特征并提升翻译质量。
2025-12-29 cs.CL cs.SD eess.AS
Isochrony-Controlled Speech-to-Text Translation: A study on translating from Sino-Tibetan to Indo-European Languages
本文提出一种等时性控制的端到端语音翻译方法，通过向解码器提供时间信息以预测语音和停顿时长，实现翻译时长与源音频的严格对齐，在CoVoST 2上取得了高语音重叠率且BLEU仅微降。
2024-11-11 cs.CL eess.AS
Overcoming Latency Bottlenecks in On-Device Speech Translation: A Cascaded Approach with Alignment-Based Streaming MT
Meta AI.（Meta AI）
本文提出一种基于对齐的级联流式机器翻译方法，通过利用ASR语言线索和束搜索剪枝技术，在端侧实时语音翻译中有效平衡质量与延迟，缩小了与非流式系统的差距。
2025-08-18 cs.AI cs.CL
The USTC-NEL Speech Translation system at IWSLT 2018
University of Science and Technology of China（中国科学技术大学）；IFLYTEK Co. LTD.（科大讯飞股份有限公司）
本文介绍了USTC-NEL系统在2018年IWITHING评估中的语音翻译任务。该系统是一个传统的流水线系统，包括3个模块：语音识别，后处理和机器翻译。我们训练一组混合HMM模型用于语音识别，对于机器翻译，我们训练基于Transformer的神经机器翻译模型，以语音识别输出样式文本作为输入。在IWIT 2018任务上进行的实验表明，与KIT的基线系统相比，我们的系统实现了14.9 BLEU的改进。
2018-12-06 cs.CL cs.SD eess.AS
Joint Pre-Training with Speech and Bilingual Text for Direct Speech to Speech Translation
Microsoft Research Asia（微软亚洲研究院）
直接语音到语音翻译（S2 ST）是一个有吸引力的研究课题，与级联S2 ST相比具有许多优点。然而，直接S2 ST遭受数据稀缺的问题，因为从源语言的语音到目标语言的语音的语料库是非常稀少的。为了解决这个问题，我们在本文中提出了一个Speech 2S模型，该模型使用未配对的语音和双语文本数据进行联合预训练，用于直接语音到语音翻译任务。通过有效地利用成对的文本数据，Speech 2S能够建模从源语言到目标语言的跨语言语音转换。我们在Europarl-ST和VoxPopuli数据集上验证了所提出的Speech 2S的性能。实验结果表明，与仅编码器的预训练模型相比，Speech 2S的BLEU分数提高了约5分，并且比现有的最先进的模型1具有竞争力甚至更好的性能。
2022-10-31 cs.CL cs.SD eess.AS
mSLAM: Massively multilingual joint pre-training for speech and text
Google, USA（谷歌（美国））
我们提出了mSLAM，一种多语言语音和语言模型，它通过对多种语言中大量未标记的语音和文本进行联合预训练来学习语音和文本的跨语言跨模态表示。mSLAM将语音的w2 v-BERT预训练与字符级文本的SpanBERT预训练相结合，以及配对语音和转录数据的连接主义时间分类（CTC）损失，以学习能够在共享表示空间中学习和表示语音和文本信号的单个模型。我们在几个下游语音理解任务上评估了mSLAM，发现与仅语音预训练相比，与文本的联合预训练提高了语音翻译，语音意图分类和语音语言识别的质量，同时在多语言ASR上具有竞争力。我们的语音翻译模型演示了zero-shot文本翻译，而无需看到任何文本翻译数据，为表示的跨模态对齐提供了证据。mSLAM还受益于多模态微调，通过在微调过程中直接利用文本翻译数据，进一步提高语音翻译的质量。我们的实证分析强调了大规模多模式预培训带来的机遇和挑战，为未来的研究提出了方向。
2022-02-03 cs.CL cs.LG
MixSpeech: Cross-Modality Self-Learning with Audio-Visual Stream Mixup for Visual Speech Translation and Recognition
Zhejiang University（浙江大学）
多媒体通信促进了全球人民之间的互动。然而，尽管研究人员探索跨语言翻译技术，如机器翻译和音频语音翻译，以克服语言障碍，仍然是视觉语音的跨语言研究不足。这种研究的缺乏主要是由于缺乏包含视觉语音和翻译文本对的数据集。在本文中，我们提出了\textbf{AVMuST-TED}，第一个数据集\textbf{A} \textbf{V}视觉\textbf{Mu} ltilingual \textbf{S} peech \textbf{T} translation，来自\textbf{TED}会谈。然而，视觉语音不像音频语音那样可区分，使得难以开发从源语音音素到目标语言文本的映射。为了解决这个问题，我们提出了MixSpeech，这是一个跨模态的自学习框架，它利用音频语音来规范视觉语音任务的训练。为了进一步减少跨模态差距及其对知识转移的影响，我们建议采用混合语音，这是通过插入音频和视频流，随着课程学习策略，以调整混合比例需要。MixSpeech增强了嘈杂环境中的语音翻译，将AVMuST-TED上四种语言的BLEU分数提高了+1.4至+4.2。此外，它在CMLR（11.1%），LRS 2（25.5%）和LRS 3（28.0%）上的唇读中达到了最先进的性能。
2023-03-09 cs.CL cs.CV
POTSA: A Cross-Lingual Speech Alignment Framework for Speech-to-Text Translation
Tianjin Key Laboratory of Cognitive Computing and Application, Tianjin University（天津大学认知计算与应用天津市重点实验室）；Nanyang Technological University（南洋理工大学）；Huiyan Technology Company, Ltd.（慧眼科技有限公司）；Chinese Academy of Sciences（中国科学院）；Tibet University（西藏大学）
本文提出POTSA框架，通过最优传输和跨语言平行语音对缓解多语言语音翻译中的语义偏见问题，实验显示在FLEURS数据集上取得SOTA性能，提升BLEU分数。
2026-03-31 cs.CL cs.SD
Tackling data scarcity in speech translation using zero-shot multilingual machine translation techniques
Mediaan
最近，端到端语音翻译（ST）由于避免了错误传播而受到了极大的关注。然而，这一方法受到数据稀缺的影响。它严重依赖于直接ST数据，并且在利用语音转录和文本翻译数据方面效率较低，这些数据通常更容易获得。在多语言文本翻译的相关领域中，已经提出了用于zero-shot翻译的若干技术。其主要思想是增加不同语言中语义相似的句子的相似性。我们研究这些想法是否可以应用到语音翻译，通过建立ST模型训练语音转录和文本翻译数据。我们研究了数据增强和辅助损失函数的效果。这些技术成功应用于使用有限ST数据的Few-Shot ST，与直接端到端ST相比，BLEU点提高了+12.9，与从ASR模型微调的ST模型相比，BLEU点提高了+3.1。
2022-01-26 cs.CL cs.SD eess.AS
RosettaSpeech: Zero-Shot Speech-to-Speech Translation without Parallel Speech
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）
RosettaSpeech通过单语语音-文本数据和机器翻译监督，实现无需平行语音数据的零样本语音到语音翻译，取得领先的ASR-BLEU得分并保留说话人声音。
2026-02-15 cs.CL cs.LG eess.AS
Impact of Encoding and Segmentation Strategies on End-to-End Simultaneous Speech Translation
Naver Labs Europe
在IWITH 2020的同声翻译共享任务的推动下，最近提出了有前途的端到端在线语音翻译方法。它们包括增量地编码语音输入（以源语言）和解码相应的文本（以目标语言），在延迟和翻译质量之间具有最佳可能的折衷。本文研究了端到端同步语音翻译的两个关键方面：（a）如何有效地编码连续的语音流，以及（b）如何分割语音流，以便在读（R：编码输入）和写（W：解码输出）操作之间进行最佳交替。我们扩展了我们之前提出的端到端在线解码策略，并表明虽然用ULSTM编码取代BLSTM会降低离线模式下的性能，但它实际上提高了在线模式下的效率和性能。我们还测量了不同方法对语音信号进行分段的影响（使用固定的间隔边界，Oracle单词边界或随机设置的边界），并表明我们最好的端到端在线解码策略是令人惊讶的是，在我们的英语-德语语音翻译设置上，在固定大小的块上交替进行R/W操作。
2021-06-14 cs.CL cs.SD eess.AS
Representation Purification for End-to-End Speech Translation
School of Informatics, Xiamen University（厦门大学信息学院）
针对语音到文本翻译中音色、节奏等内容无关因素限制知识迁移效率的问题，提出SRPSE框架纯化语音表示，排除无关成分，在MuST-C等数据集上显著提升多设置下的翻译性能。
2024-12-05 cs.CL cs.SD eess.AS
Improving speech translation by fusing speech and text
Nanjing University（南京大学）；ByteDance（字节跳动）
针对语音与文本间的三层模态差距，提出跨模态模型FST，支持语音、文本及融合输入，通过跨模态对齐技术在多个基准上显著提升语音翻译性能且不损害机器翻译效果。
2023-05-23 cs.CL cs.SD eess.AS
CTC-based Non-autoregressive Textless Speech-to-Speech Translation
University of Chinese Academy of Sciences（中国科学院大学）；School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）
本文研究基于CTC的非自回归语音到语音翻译，结合预训练、知识蒸馏及glancing training等技术，在保持与自回归模型相当翻译质量的同时实现最高26.81倍解码加速。
2024-06-11 cs.AI cs.CL cs.SD
The USTC-NELSLIP Systems for Simultaneous Speech Translation Task at IWSLT 2021
University of Science and Technology of China（中国科学技术大学）；iFlytek Research（讯飞研究院）
本文介绍了中国科学技术大学-奈斯利普公司提交的IWSLT 2021同步语音翻译任务。我们提出了一种新的同声翻译模型，交叉注意增强转换器（CAAT），它将传统的RNN-T扩展到没有单调约束的序列到序列任务，例如，同声传译语音到文本（S2 T）和文本到文本（T2 T）的同声翻译任务的实验表明，CAAT实现了更好的质量-延迟权衡相比，\textit{wait-k}，以前的国家的最先进的方法之一。基于CAAT体系结构和数据增强，我们在这次评估活动中建立了S2 T和T2 T同声翻译系统。与去年的最佳系统相比，我们的S2 T同声翻译系统在所有延迟状态下平均提高了11.3 BLEU，我们的T2 T同声翻译系统平均提高了4.6 BLEU。
2021-07-09 cs.CL cs.SD eess.AS
Improving Cascaded Unsupervised Speech Translation with Denoising Back-translation
National Taiwan University（国立台湾大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出去噪反向翻译方法构建无监督级联语音翻译系统，在CoVoST 2和CVSS上取得与早期监督方法相当的结果，并将BLEU分数提升0.7--0.9。
2023-05-12 cs.CL cs.SD eess.AS
Attempt Towards Stress Transfer in Speech-to-Speech Machine Translation
International Institute of Information Technology - Hyderabad（印度信息技术学院海得拉巴分校）
针对印度教育场景下现有语音到语音机器翻译输出单调、缺乏重音的问题，本文构建带重音标注的印度英语数据集，提出基于FastPitch的可迁移重音的TTS架构，实现印度英语到印地语的重音迁移SSMT系统，提升教育内容质量与吸引力。
2024-03-07 cs.CL cs.SD eess.AS
AdaST: Dynamically Adapting Encoder States in the Decoder for End-to-End Speech-to-Text Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
针对端到端语音翻译中编码器声学表示静态固定的问题，本文提出AdaST模型，在解码器中依据隐藏状态动态调整声学状态，并以语音-文本混合注意替代传统交叉注意，在两个常用数据集上显著超越现有神经语音翻译模型。
2025-03-18 cs.CL cs.SD eess.AS
Decision Attentive Regularization to Improve Simultaneous Speech Translation Systems
Samsung Research（三星研究院）
同声翻译系统在处理传入输入流中的部分源句子的同时开始产生输出。这些系统需要决定何时读取更多的输入，何时写入输出。这些决定取决于源/目标语言的结构和包含在部分输入序列中的信息。因此，读/写决策策略在不同的输入模态之间保持相同，即，语音和文本。这促使我们利用对应于语音输入的文本转录来改进同步语音到文本翻译（SimulST）。我们提出了决策注意正则化（DAR），以改善决策政策的SimulST系统通过使用同步文本到文本翻译（SimulMT）的任务。我们还从离线语音翻译领域扩展了几种技术，以探索SimulMT任务在提高SimulST性能方面的作用。总体而言，我们在Must-C英语-德语（EnDe）SimulST任务的不同延迟机制中实现了34.66%/4.5 BLEU的基线模型改进。
2022-06-17 cs.CL cs.SD eess.AS
A Non-autoregressive Generation Framework for End-to-End Simultaneous Speech-to-Speech Translation
University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）；School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院）
本文提出非自回归端到端同声语音翻译框架NAST-S2X，统一语音到文本与语音到语音任务，通过并发生成多标记和CTC动态调延迟，在3秒内实现高质量同传并获28倍解码加速。
2024-10-19 cs.AI cs.CL cs.SD
Simultaneous Speech-to-Speech Translation System with Neural Incremental ASR, MT, and TTS
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文介绍了一个新开发的，同时神经语音到语音翻译系统及其评价。该系统由三个全增量神经处理模块组成，分别用于自动语音识别（ASR）、机器翻译（MT）和文本到语音合成（TTS）。我们研究了其在系统的耳语音跨度和说话延迟以及模块级性能的整体延迟。
2020-11-11 cs.CL
SimulMT to SimulST: Adapting Simultaneous Text Translation to End-to-End Simultaneous Speech Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；Facebook AI（脸书人工智能研究院）
文本同步翻译和端到端语音翻译近年来取得了很大的进展，但很少有人将这些任务结合在一起。我们研究如何适应同步文本翻译方法，如等待k和单调多头注意端到端同步语音翻译通过引入一个预决策模块。详细分析了将固定和灵活的预决策与固定和灵活的策略相结合的延迟质量权衡。我们还设计了一个新的计算感知延迟度量，改编自平均滞后。
2020-11-03 cs.CL
LibriVoxDeEn: A Corpus for German-to-English Speech Translation and German Speech Recognition
Heidelberg University（海德堡大学）；Computational Linguistics（计算语言学）；IWR Heidelberg University（海德堡大学IWR研究所）
我们提出了一个语料库的德语音频，德语文本，英语翻译，德语有声读物的基础上，对齐的三元组。语音翻译数据由110小时的音频材料组成，与超过50 k个平行句子对齐。包括与德语文本对齐的547小时德语语音的甚至更大的数据集可用于语音识别。音频数据是读语音，因此不流利程度低。音频和句子对齐的质量已经通过人工评估进行了检查，表明语音对齐质量通常非常高。句子对齐质量与常用的平行翻译数据相当，并且可以通过自动对齐分数的截止值进行调整。据我们所知，该语料库是迄今为止最大的德语语音识别和端到端德语到英语语音翻译资源。
2020-03-04 cs.CL
End-to-end Automatic Speech Recognition and Speech Translation: Integration of Speech Foundational Models and LLMs
Charles University（查尔斯大学）；Faculty of Mathematics and Physics（数学与物理系）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本文提出结合预训练语音编码器与LLMs的端到端架构，同时执行ASR和ST任务，在英德翻译中超越SeamlessM4T并匹敌级联系统，COMET指标提升达8%。
2025-10-11 cs.CL
Automatic Labelling of Speech Translation Errors
Charles University（查尔斯大学）；University of Edinburgh（爱丁堡大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对语音翻译缺乏置信度评估方法的问题，提出STEL标注协议，通过文本和多模态系统分析，发现直接语音处理对任务必要且与文本系统互补。
2026-06-04 cs.CL
SpeechAlign: a Framework for Speech Translation Alignment Evaluation
Meta FAIR；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文提出SpeechAlign评估框架，包含基于英德文本对齐构建的Speech Gold Alignment数据集及SAER与TW-SAER两项新指标，用于评估语音翻译模型中的源-目标对齐质量，并对开源模型进行了基准测试。
2024-04-25 cs.CL
Towards speech-to-text translation without speech recognition
University of Edinburgh（爱丁堡大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
我们探讨了在低资源情况下将语音翻译成文本的问题，在这种情况下，既没有自动语音识别（ASR），也没有机器翻译（MT），但我们有音频形式的训练数据与文本翻译配对。我们提出了这个问题的第一个系统应用到一个现实的多说话者数据集，CALLHOME西班牙语-英语语音翻译语料库。我们的方法使用无监督术语发现（UTD）来聚类音频中的重复模式，创建一个伪文本，我们将其与翻译配对以创建一个并行文本，并训练一个简单的词袋MT模型。我们确定了系统所面临的挑战，发现跨扬声器UTD的困难导致召回率低，但我们的系统仍然能够正确翻译测试数据中的一些内容词。
2017-02-13 cs.CL
Unified Speech-Text Pre-training for Speech Translation and Recognition
Meta AI
我们描述了一种方法，联合预训练语音和文本的编码器-解码器建模框架的语音翻译和识别。该方法结合了四个自我监督和监督的子任务的跨模态学习。自监督语音子任务利用未标记的语音数据，并且（自）监督文本到文本子任务利用丰富的文本训练数据。包括两个辅助监督语音任务，以统一语音和文本建模空间。我们的贡献在于将文本语料库中的语言信息整合到语音预训练中。详细的分析揭示了子任务之间的学习干扰。两个预训练配置的语音翻译和识别，分别，以减轻子任务的干扰。实验结果表明，该方法能有效地将语音和文本信息融合到一个模型中。它在Must-C语音翻译数据集上实现了1.7到2.3的BLEU改进，并且在Librispeech语音识别任务上与wav2vec 2.0相当。
2022-04-11 cs.CL
BSTC: A Large-Scale Chinese-English Speech Translation Dataset
Baidu Inc.（百度公司）
本文介绍了一个大规模的汉英语音翻译数据集BSTC（Baidu Speech Translation Corpus）。该数据集是基于一系列许可的演讲或讲座视频构建的，包括约68小时的普通话数据，其手动转录和翻译成英语，以及通过自动语音识别（ASR）模型进行的自动转录。我们还邀请了三名经验丰富的口译员在模拟会议环境中同时为测试会谈进行口译。该语料库对自动同声翻译的研究和实用系统的开发具有一定的促进作用。我们已经组织了同声翻译任务，并使用该语料库来评估自动同声翻译系统。
2021-04-27 cs.CL
What does it take to get state of the art in simultaneous speech-to-speech translation?
toby（托比）
该研究针对同声语音翻译模型中幻觉引发的延迟尖峰问题，通过系统实验各类输入参数与条件提出优化方法，证实精细输入管理结合策略性参数调整可显著改善模型延迟表现。
2024-09-14 cs.CL
Cascaded Models With Cyclic Feedback For Direct Speech Translation
Heidelberg University（海德堡大学）；Computational Linguistics（计算语言学）；IWR, Heidelberg University（海德堡大学IWR研究所）
针对直接语音翻译数据稀缺问题，提出带循环反馈的ASR-MT级联模型，通过自训练优化ASR、微调MT提升拼写容忍度，在德英翻译任务上取得优于同条件端到端模型的BLEU提升。
2021-02-11 cs.CL
On Knowledge Distillation for Direct Speech Translation
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；AppTek
直接语音翻译（ST）已被证明是一个复杂的任务，需要从它的子任务：自动语音识别（ASR）和机器翻译（MT）的知识转移。对于机器翻译来说，知识蒸馏是最有前途的知识转移技术之一。在本文中，我们比较了不同的解决方案，以提取知识的序列到序列的任务，如ST。此外，我们分析了这种方法的最终缺点，以及如何减轻他们保持翻译质量方面的好处。
2020-12-09 cs.CL
End-to-End Automatic Speech Translation of Audiobooks
Univ. Grenoble-Alpes（格勒诺布尔-阿尔卑斯大学）；Univ. Lille（里尔大学）
我们调查了端到端的语音到文本的翻译语料库的有声读物专门增强这项任务。以前的作品研究了极端的情况下，源语言转录是不可用的学习，也没有解码，但我们也研究了一个中途的情况下，源语言转录只在训练时间。在这种情况下，单个模型被训练成在单遍中将源语音解码成目标文本。实验结果表明，在该系统中可以训练出紧凑高效的端到端语音翻译模型。我们还分发了语料库，并希望我们在这个语料库上的语音翻译基线将在未来受到挑战。
2018-02-12 cs.CL
Index-Translate: A Multilingual Translation Model Family -- Text, Speech, Controlled Dubbing, and Long-Document Translation
Index LLM Team（Index LLM 团队）
Index-Translate是一个多语言翻译模型家族，通过共享基础与专门训练结合，在通用、语音、配音和长文档翻译上达到前沿性能。
2026-10-14 cs.CL
Bridging the Modality Gap for Speech-to-Text Translation
National Laboratory of Pattern Recognition, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
端到端语音翻译是将一种语言的语音通过端到端的方式翻译成另一种语言的文本。现有的大多数方法都采用具有单个编码器的编码器-解码器结构来同时学习声学表示和语义信息，这忽略了语音和文本模态的差异，使编码器过载，导致学习这样的模型非常困难。为了解决这些问题，我们提出了一个语音到文本适配语音翻译（STAST）模型，其目的是通过弥合语音和文本之间的模态差距，以提高端到端的模型性能。具体来说，我们将语音翻译编码器解耦为三个部分，并引入收缩机制来匹配语音表示的长度与相应的文本转录。为了获得更好的语义表示，我们将基于文本的翻译模型完全集成到STAST中，以便在同一个潜在空间中训练两个任务。此外，我们引入了跨模态自适应方法来拉近语音和文本表示之间的距离。在英法和英德语音翻译语料库上的实验结果表明，该模型的性能明显优于强基线，达到了新的最先进的性能。
2020-10-28 cs.CL
Modular Speech-to-Text Translation for Zero-Shot Cross-Modal Transfer
Meta AI；Inria（法国国家信息与自动化研究所）
该研究针对语音到文本翻译任务，提出对采用共享固定大小表征的独立编解码器模块化方法进行多语言训练，显著提升了零样本跨模态语音翻译效果，在多语言上优于基于XLSR的有监督方法。
2023-10-05 cs.CL
LLaST: Improved End-to-end Speech Translation System Leveraged by Large Language Models
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shanghai AI Laboratory（上海人工智能实验室）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文提出LLaST框架，通过架构设计、ASR增强训练、多语言数据增强和双LoRA优化，构建高性能LLM语音翻译系统，在CoVoST-2上表现优越。
2024-07-22 cs.CL
Augmenting Librispeech with French Translations: A Multimodal Corpus for Direct Speech Translation Evaluation
LIG（格勒诺布尔信息学实验室）；UGA（格勒诺布尔阿尔卑斯大学）；G-INP（格勒诺布尔国立理工学院）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；LIDILEM（语言、话语、文本、语言与认知跨学科研究实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
口语翻译（spoken language translation，缩写为EMT）中的最近的工作已经尝试在学习或解码期间不使用源语言转录的情况下构建端到端的语音到文本的翻译。然而，虽然大量的并行文本（例如Europarl、OpenSubtitles）可用于训练机器翻译系统，但是不存在包括与目标语言的文本对齐的源语言的语音的大型（100 h）和开源并行语料库。本文试图填补这一空白，增加现有的（单语）语料库：LibriSpeech。该语料库用于自动语音识别，来自LibriVox项目的有声读物，并经过仔细的分段和对齐。在从LibriSpeech中收集与英语有声读物相对应的法语电子书后，我们将句子级别的语音片段与各自的翻译对齐，并获得236 h的可用并行数据。本文介绍了处理的细节，以及进行人工评估的一个小的子集的语料库。该评估表明，自动对齐分数与双语对齐质量的人类判断合理相关。我们相信，这个语料库（这是在线提供）是有用的直接语音翻译或更一般的口语翻译实验的可复制实验。
2018-02-09 cs.CL
