Cross-Lingual Transfer Learning for Speech Translation
针对数据受限下扩展多语言基础模型的语音翻译能力问题，以Whisper为例，利用语音检索揭示其共享语义空间，通过仅英中数据微调解码器，实现零样本跨语言迁移并提升多语言到中文的翻译性能。
2025-02-11 cs.CL
LibriVoxDeEn: A Corpus for German-to-English Speech Translation and German Speech Recognition
Heidelberg University（海德堡大学）；Computational Linguistics（计算语言学）；IWR Heidelberg University（海德堡大学IWR研究所）
我们提出了一个语料库的德语音频，德语文本，英语翻译，德语有声读物的基础上，对齐的三元组。语音翻译数据由110小时的音频材料组成，与超过50 k个平行句子对齐。包括与德语文本对齐的547小时德语语音的甚至更大的数据集可用于语音识别。音频数据是读语音，因此不流利程度低。音频和句子对齐的质量已经通过人工评估进行了检查，表明语音对齐质量通常非常高。句子对齐质量与常用的平行翻译数据相当，并且可以通过自动对齐分数的截止值进行调整。据我们所知，该语料库是迄今为止最大的德语语音识别和端到端德语到英语语音翻译资源。
2020-03-04 cs.CL
Towards Fluent Translations from Disfluent Speech
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
当从语音翻译时，需要特别考虑会话语音现象，如不流利。大多数机器翻译训练数据由格式良好的书面文本组成，在翻译自发语音时会导致问题。以前的工作在语音识别（ASR）和机器翻译（MT）之间引入了一个中间步骤，以消除不流畅，使数据更好地匹配典型的翻译文本，并显着提高性能。然而，随着端到端语音翻译系统的兴起，这个中间步骤必须被纳入序列到序列架构中。此外，尽管存在翻译的语音数据集，但它们通常是没有许多不流利的新闻或排练的语音（例如TED），或者不流利被翻译成参考文献（例如Fisher）。为了从不流利的语音中生成干净的翻译，需要对干净的引用进行评估。我们介绍了一个语料库的Fisher西班牙语-英语数据集的清理目标数据为这项任务。我们比较了不同的架构如何处理不流畅，并为消除端到端翻译中的不流畅提供了一个基线。
2018-11-07 cs.CL
End-to-end Automatic Speech Recognition and Speech Translation: Integration of Speech Foundational Models and LLMs
Charles University（查尔斯大学）；Faculty of Mathematics and Physics（数学与物理系）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本文提出结合预训练语音编码器与LLMs的端到端架构，同时执行ASR和ST任务，在英德翻译中超越SeamlessM4T并匹敌级联系统，COMET指标提升达8%。
2025-10-11 cs.CL
Automatic Labelling of Speech Translation Errors
Charles University（查尔斯大学）；University of Edinburgh（爱丁堡大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对语音翻译缺乏置信度评估方法的问题，提出STEL标注协议，通过文本和多模态系统分析，发现直接语音处理对任务必要且与文本系统互补。
2026-06-04 cs.CL
SpeechAlign: a Framework for Speech Translation Alignment Evaluation
Meta FAIR；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文提出SpeechAlign评估框架，包含基于英德文本对齐构建的Speech Gold Alignment数据集及SAER与TW-SAER两项新指标，用于评估语音翻译模型中的源-目标对齐质量，并对开源模型进行了基准测试。
2024-04-25 cs.CL
SpeechQE: Estimating the Quality of Direct Speech Translation
University of Maryland（马里兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对语音翻译质量估计研究不足的问题，该工作定义SpeechQE任务、构建基准，提出利用预训练文本LLM的端到端系统，验证其优于级联文本质量估计系统，并发布数据模型推动相关研究。
2024-10-28 cs.CL
Towards speech-to-text translation without speech recognition
University of Edinburgh（爱丁堡大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
我们探讨了在低资源情况下将语音翻译成文本的问题，在这种情况下，既没有自动语音识别（ASR），也没有机器翻译（MT），但我们有音频形式的训练数据与文本翻译配对。我们提出了这个问题的第一个系统应用到一个现实的多说话者数据集，CALLHOME西班牙语-英语语音翻译语料库。我们的方法使用无监督术语发现（UTD）来聚类音频中的重复模式，创建一个伪文本，我们将其与翻译配对以创建一个并行文本，并训练一个简单的词袋MT模型。我们确定了系统所面临的挑战，发现跨扬声器UTD的困难导致召回率低，但我们的系统仍然能够正确翻译测试数据中的一些内容词。
2017-02-13 cs.CL
Unified Speech-Text Pre-training for Speech Translation and Recognition
Meta AI
我们描述了一种方法，联合预训练语音和文本的编码器-解码器建模框架的语音翻译和识别。该方法结合了四个自我监督和监督的子任务的跨模态学习。自监督语音子任务利用未标记的语音数据，并且（自）监督文本到文本子任务利用丰富的文本训练数据。包括两个辅助监督语音任务，以统一语音和文本建模空间。我们的贡献在于将文本语料库中的语言信息整合到语音预训练中。详细的分析揭示了子任务之间的学习干扰。两个预训练配置的语音翻译和识别，分别，以减轻子任务的干扰。实验结果表明，该方法能有效地将语音和文本信息融合到一个模型中。它在Must-C语音翻译数据集上实现了1.7到2.3的BLEU改进，并且在Librispeech语音识别任务上与wav2vec 2.0相当。
2022-04-11 cs.CL
BSTC: A Large-Scale Chinese-English Speech Translation Dataset
Baidu Inc.（百度公司）
本文介绍了一个大规模的汉英语音翻译数据集BSTC（Baidu Speech Translation Corpus）。该数据集是基于一系列许可的演讲或讲座视频构建的，包括约68小时的普通话数据，其手动转录和翻译成英语，以及通过自动语音识别（ASR）模型进行的自动转录。我们还邀请了三名经验丰富的口译员在模拟会议环境中同时为测试会谈进行口译。该语料库对自动同声翻译的研究和实用系统的开发具有一定的促进作用。我们已经组织了同声翻译任务，并使用该语料库来评估自动同声翻译系统。
2021-04-27 cs.CL
EmoAra: Emotion-Preserving English Speech Transcription and Cross-Lingual Translation with Arabic Text-to-Speech
MBZUAI（穆罕默德·本·拉希德智能技术研究所）
EmoAra通过整合语音情感识别、自动语音识别、机器翻译和文本到语音技术，实现英语语音转录与阿拉伯语音输出的跨语言翻译，保留情感细微差别。
2026-02-01 cs.CL
ArzEn-ST: A Three-way Speech Translation Corpus for Code-Switched Egyptian Arabic - English
New York University Abu Dhabi（纽约大学阿布扎比分校）；University of Stuttgart（斯图加特大学）；The German University in Cairo（开罗德国大学）
我们提出了我们的工作，收集ArzEn-ST，代码转换埃及阿拉伯语-英语语音翻译语料库。该语料库是ArzEn语音语料库的扩展，该语料库是通过对双语者的非正式采访收集的。在这项工作中，我们收集了两个方向的翻译，单语埃及阿拉伯语和单语英语，形成了一个三向语音翻译语料库。我们公开提供翻译指南和语料库。我们还报告了用于机器翻译和语音翻译任务的基线系统的结果。我们相信这是一个有价值的资源，可以激励和促进进一步的研究从语言学的角度来研究语码转换现象，并可用于训练和评估自然语言处理系统。
2022-11-22 cs.CL
Cross-lingual topic prediction for speech using translations
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Stellenbosch University（斯泰伦博斯大学）
在低资源语言中有大量未注释的语音，我们能否按主题对语音进行分类？我们在低资源语言的少量语音与高资源语言的文本翻译配对的情况下考虑这个问题。我们开发了一个有效的跨语言主题分类器，通过使用最近的直接语音到文本翻译模型，对20小时的翻译语音进行训练。虽然翻译很差，但它们仍然足够好，可以在70%的时间内正确分类1分钟语音片段的主题-比多数类基线提高20%。这样的系统可能对人道主义应用有用，如危机应对，在这种情况下，必须快速评估以外国低资源语言输入的语音，以便采取进一步行动。
2020-03-29 cs.CL
What does it take to get state of the art in simultaneous speech-to-speech translation?
toby（托比）
该研究针对同声语音翻译模型中幻觉引发的延迟尖峰问题，通过系统实验各类输入参数与条件提出优化方法，证实精细输入管理结合策略性参数调整可显著改善模型延迟表现。
2024-09-14 cs.CL
Cascaded Models With Cyclic Feedback For Direct Speech Translation
Heidelberg University（海德堡大学）；Computational Linguistics（计算语言学）；IWR, Heidelberg University（海德堡大学IWR研究所）
针对直接语音翻译数据稀缺问题，提出带循环反馈的ASR-MT级联模型，通过自训练优化ASR、微调MT提升拼写容忍度，在德英翻译任务上取得优于同条件端到端模型的BLEU提升。
2021-02-11 cs.CL
On Knowledge Distillation for Direct Speech Translation
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；AppTek
直接语音翻译（ST）已被证明是一个复杂的任务，需要从它的子任务：自动语音识别（ASR）和机器翻译（MT）的知识转移。对于机器翻译来说，知识蒸馏是最有前途的知识转移技术之一。在本文中，我们比较了不同的解决方案，以提取知识的序列到序列的任务，如ST。此外，我们分析了这种方法的最终缺点，以及如何减轻他们保持翻译质量方面的好处。
2020-12-09 cs.CL
End-to-End Automatic Speech Translation of Audiobooks
Univ. Grenoble-Alpes（格勒诺布尔-阿尔卑斯大学）；Univ. Lille（里尔大学）
我们调查了端到端的语音到文本的翻译语料库的有声读物专门增强这项任务。以前的作品研究了极端的情况下，源语言转录是不可用的学习，也没有解码，但我们也研究了一个中途的情况下，源语言转录只在训练时间。在这种情况下，单个模型被训练成在单遍中将源语音解码成目标文本。实验结果表明，在该系统中可以训练出紧凑高效的端到端语音翻译模型。我们还分发了语料库，并希望我们在这个语料库上的语音翻译基线将在未来受到挑战。
2018-02-12 cs.CL
Index-Translate: A Multilingual Translation Model Family -- Text, Speech, Controlled Dubbing, and Long-Document Translation
Index LLM Team（Index LLM 团队）
Index-Translate是一个多语言翻译模型家族，通过共享基础与专门训练结合，在通用、语音、配音和长文档翻译上达到前沿性能。
2026-10-14 cs.CL
Bridging the Modality Gap for Speech-to-Text Translation
National Laboratory of Pattern Recognition, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
端到端语音翻译是将一种语言的语音通过端到端的方式翻译成另一种语言的文本。现有的大多数方法都采用具有单个编码器的编码器-解码器结构来同时学习声学表示和语义信息，这忽略了语音和文本模态的差异，使编码器过载，导致学习这样的模型非常困难。为了解决这些问题，我们提出了一个语音到文本适配语音翻译（STAST）模型，其目的是通过弥合语音和文本之间的模态差距，以提高端到端的模型性能。具体来说，我们将语音翻译编码器解耦为三个部分，并引入收缩机制来匹配语音表示的长度与相应的文本转录。为了获得更好的语义表示，我们将基于文本的翻译模型完全集成到STAST中，以便在同一个潜在空间中训练两个任务。此外，我们引入了跨模态自适应方法来拉近语音和文本表示之间的距离。在英法和英德语音翻译语料库上的实验结果表明，该模型的性能明显优于强基线，达到了新的最先进的性能。
2020-10-28 cs.CL
Modular Speech-to-Text Translation for Zero-Shot Cross-Modal Transfer
Meta AI；Inria（法国国家信息与自动化研究所）
该研究针对语音到文本翻译任务，提出对采用共享固定大小表征的独立编解码器模块化方法进行多语言训练，显著提升了零样本跨模态语音翻译效果，在多语言上优于基于XLSR的有监督方法。
2023-10-05 cs.CL
LLaST: Improved End-to-end Speech Translation System Leveraged by Large Language Models
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shanghai AI Laboratory（上海人工智能实验室）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文提出LLaST框架，通过架构设计、ASR增强训练、多语言数据增强和双LoRA优化，构建高性能LLM语音翻译系统，在CoVoST-2上表现优越。
2024-07-22 cs.CL
Improving the quality of Gujarati-Hindi Machine Translation through part-of-speech tagging and stemmer-assisted transliteration
Cummins College of Engineering for Women（卡明斯女子工程学院）；Banasthali University（班纳斯塔利大学）
印度语言的机器翻译是一个新兴的研究领域。音译就是我们在设计翻译系统时设计的一个这样的模块。音译是指将源语言文本映射为目标语言。简单的映射降低了整个翻译系统的效率。我们建议使用词干和词性标注的音译。如果我们使用词性标记和词干辅助音译，翻译的有效性可以得到提高。我们已经表明，古吉拉特语的大部分内容在被翻译为印地语的过程中得到音译。
2013-07-12 cs.CL
Augmenting Librispeech with French Translations: A Multimodal Corpus for Direct Speech Translation Evaluation
LIG（格勒诺布尔信息学实验室）；UGA（格勒诺布尔阿尔卑斯大学）；G-INP（格勒诺布尔国立理工学院）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；LIDILEM（语言、话语、文本、语言与认知跨学科研究实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
口语翻译（spoken language translation，缩写为EMT）中的最近的工作已经尝试在学习或解码期间不使用源语言转录的情况下构建端到端的语音到文本的翻译。然而，虽然大量的并行文本（例如Europarl、OpenSubtitles）可用于训练机器翻译系统，但是不存在包括与目标语言的文本对齐的源语言的语音的大型（100 h）和开源并行语料库。本文试图填补这一空白，增加现有的（单语）语料库：LibriSpeech。该语料库用于自动语音识别，来自LibriVox项目的有声读物，并经过仔细的分段和对齐。在从LibriSpeech中收集与英语有声读物相对应的法语电子书后，我们将句子级别的语音片段与各自的翻译对齐，并获得236 h的可用并行数据。本文介绍了处理的细节，以及进行人工评估的一个小的子集的语料库。该评估表明，自动对齐分数与双语对齐质量的人类判断合理相关。我们相信，这个语料库（这是在线提供）是有用的直接语音翻译或更一般的口语翻译实验的可复制实验。
2018-02-09 cs.CL
Towards Real-World Streaming Speech Translation for Code-Switched Speech
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Apple（苹果公司）
本文聚焦真实世界语码切换语音翻译的流式设置及第三语言翻译，通过扩展Fisher和Miami数据集并训练模型，为离线与流式ST建立基线结果。
2023-10-23 cs.CL
PROST-LLM: Progressively Enhancing the Speech-to-Speech Translation Capability in LLMs
The Chinese University of Hong Kong Huawei Artificial Intelligence Laboratory (Leibniz)（香港中文大学华为人工智能实验室（莱布尼茨））
PROST-LLM通过逐步增强方法提升大语言模型在语音到语音翻译中的能力，采用三任务学习和模态链方法，结合自我采样和回译生成偏好对，最终通过偏好优化提升翻译性能。
2026-01-23 cs.CL
Listen and Translate: A Proof of Concept for End-to-End Speech-to-Text Translation
LIG, Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学LIG实验室）；Google DeepMind（谷歌DeepMind）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Inria（法国国家信息与自动化研究所）；UMR 9189 CRIStAL（CRIStAL联合研究单位（UMR 9189））；Systran（Systran公司）
本文首次尝试构建一个端到端的语音到文本翻译系统，该系统在学习或解码过程中不使用源语言转录。我们提出了一个模型，直接语音到文本的翻译，这给了一个小的法语-英语合成语料库有希望的结果。放松对源语言转录的需求将极大地改变语音翻译中的数据汇集方法，特别是在资源不足的情况下。例如，在以前的DARPA TRANSTAC项目（从阿拉伯方言口语翻译语音）中，大量的工作致力于收集语音记录（获得记录的先决条件通常是对几乎没有标准化拼写的语言的详细转录指南）。现在，如果语音到文本翻译的端到端方法是成功的，人们可以考虑通过要求双语说话者从目标语言文本话语直接说出源语言的语音来收集数据。这种方法的优点是适用于任何非书面（源）语言。
2016-12-06 cs.CL
Automatic Quality Assessment for Speech Translation Using Joint ASR and MT Features
Laboratoire d’Informatique de Grenoble, University of Grenoble Alpes（格勒诺布尔计算机科学实验室，格勒诺布尔阿尔卑斯大学）
本文研究口语翻译质量的自动评估。这个相对较新的任务被定义和形式化为一个序列标签问题，其中根据一个大的特征集，将假设中的每个单词标记为好或坏。我们提出了几个字的信心估计（WCE）的基础上，我们的自动评估转录（ASR）的质量，翻译（MT）的质量，或两者兼而有之（结合ASR+MT）。这项研究工作是可能的，因为我们建立了一个特定的语料库，其中包含6.7k的话语，其中一个五元组包括：ASR输出，逐字记录，文本翻译，语音翻译和翻译后编辑。我们使用联合ASR和MT特征进行WCE的多次实验的结论是，MT特征仍然是最有影响力的，而ASR特征可以带来有趣的补充信息。我们的鲁棒质量估计器可用于重新评分语音翻译图或在交互式语音翻译或计算机辅助语音到文本场景中向用户提供反馈。
2016-09-20 cs.CL
RASST: Retrieval-Augmented Simultaneous Speech Translation
Johns Hopkins University（约翰霍普金斯大学）；Carnegie Mellon University（卡内基梅隆大学）
针对同声传译中罕见术语翻译不准的问题，提出检索增强方法RASST，通过轻量级语音-文本检索器提供分块术语提示，并合成训练数据教会模型何时应用检索术语，在ACL 60/60和ESO测试集上术语准确率提升近40%，BLEU提升最多3点。
2026-06-16 cs.CL
Optimizing Rare Word Accuracy in Direct Speech Translation with a Retrieval-and-Demonstration Approach
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of California, Irvine（加州大学欧文分校）
本文提出检索与演示方法，通过改造直接语音翻译模型并结合跨模态检索器获取相似示例，显著提升罕见词翻译准确率。
2024-10-01 cs.CL
Towards a Deep Understanding of Multilingual End-to-End Speech Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
本文利用SVCCA分析22种语言的多语言端到端语音翻译模型表示，发现数据有限时语言相似性失效、良好对齐数据可提升翻译质量且编码器表示能预测语音特征，并提出结合低资源与相关高资源语言的更有效方法。
2023-10-31 cs.CL
BLASER: A Text-Free Speech-to-Speech Translation Evaluation Metric
Meta AI
端到端语音到语音翻译（S2 ST）通常使用基于文本的指标进行评估。这意味着生成的语音必须被自动转录，使得评估取决于自动语音识别（ASR）系统的可用性和质量。在本文中，我们提出了一个无文本的端到端S2 ST的评价指标，命名为BLASER，以避免对ASR系统的依赖。BLASER利用多语言多模态编码器将源输入、翻译输出和参考的语音片段直接编码到共享的嵌入空间中，并计算翻译质量的分数，该分数可用作人类评估的代理。为了评估我们的方法，我们从超过40 k的人类注释中构建了训练和评估集，涵盖了七个语言方向。BLASER的最佳结果是通过在人类评分的监督下进行训练来实现的。我们发现，当在句子水平上进行评估时，BLASER与人类判断的相关性明显优于ASR依赖的指标，包括所有翻译方向的ASR-SENTBLEU和其中五个方向的ASR-COMET。我们的分析表明，将语音和文本作为输入组合到BLASER中并不会增加与人类分数的相关性，但是当使用语音时，可以实现最佳相关性，这激发了我们的研究目标。此外，我们表明，使用ASR的参考是有害的基于文本的指标。
2022-12-16 cs.CL
Tied Multitask Learning for Neural Speech Translation
University of Notre Dame（圣母大学）
我们探索语音神经翻译的多任务模型，增强它们以反映两个直观的概念。首先，我们引入一个模型，其中第二个任务解码器接收来自第一个任务的解码器的信息，因为更高级别的中间表示应该提供有用的信息。其次，我们应用正则化，鼓励传递性和可逆性。我们表明，在联合训练的模型上应用这些概念可以提高低资源语音转录和翻译任务的性能。当使用注意力信息进行单词发现时，它也会带来更好的性能。
2018-04-26 cs.CL
Investigating the Reordering Capability in CTC-based Non-Autoregressive End-to-End Speech Translation
National Taiwan University（台湾大学）
我们研究了使用连接主义时间分类（CTC）建立非自回归语音到文本翻译模型的可能性，并使用基于CTC的自动语音识别作为辅助任务，以提高性能。由于CTC的单调性假设，它在翻译上的成功是违反直觉的，因此我们分析了它的重排能力。Kendall的tau距离被引入作为定量度量，基于梯度的可视化提供了一种直观的方式来更仔细地观察模型。分析表明，Transformer编码器具有改变语序的能力，并指出了非自回归语音翻译的未来研究方向。
2021-05-11 cs.CL
A Practical Evaluation Method for Long-Form Simultaneous Speech-to-Speech Translation
Carnegie Mellon University（卡内基梅隆大学）
针对长语音同声翻译评估困难的问题，提出一种基于ASR、强制对齐和句子嵌入对齐的实用方法，实现句子级延迟与质量度量，揭示现有系统在长语音上延迟累积严重。
2026-08-10 cs.CL
Evaluating and Preserving Lexical Stress in English-to-Chinese Speech-to-Speech Translation
The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））；Shenzhen Loop Area Institute, China（深圳环域研究所）
针对英汉语音翻译中词汇重音跨语言传递不足的问题，构建重音标注数据集和普通话重音检测器，提出跨语言重音评估指标，并微调CosyVoice3构建重音感知S2ST系统，实验表明该系统在重音翻译能力上显著优于现有系统。
2026-06-16 cs.CL
Speech-to-Speech Translation Pipelines for Conversations in Low-Resource Languages
HEIG-VD / HES-SO；Bhaasha Sàrl；EPFL（苏黎世联邦理工学院）
本文针对土耳其语、普什图语与法语之间的低资源语言对话翻译，构建并评估了60多条语音到语音翻译流水线，结合自动指标与人工评估确定了各方向最优方案，并发现组件排名具有相对独立性。
2025-06-02 cs.CL
A Case Study on Filtering for End-to-End Speech Translation
George Mason University（乔治梅森大学）；Archimedes AI Research Unit, RC Athena（阿基米德人工智能研究单元，RC雅典娜（希腊））
本研究通过案例证明，简单过滤技术可有效缩减嘈杂的大规模平行语料，提升端到端语音翻译模型性能，平均BLEU提高4.65。
2024-02-02 cs.CL
DiffNorm: Self-Supervised Normalization for Non-autoregressive Speech-to-speech Translation
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出DiffNorm，一种基于扩散的自监督归一化策略，通过去噪损坏语音特征简化数据分布，并结合无分类器引导正则化非自回归Transformer，在CVSS基准上显著提升语音到语音翻译质量与推理速度。
2024-10-21 cs.CL
Worse WER, but Better BLEU? Leveraging Word Embedding as Intermediate in Multitask End-to-End Speech Translation
National Taiwan University（台湾大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
语音翻译的目的是学习从源语言的语音到目标语言的文本的转换。以前的工作表明，多任务学习提高ST性能，其中识别解码器生成源语言的文本，翻译解码器根据识别解码器的输出获得最终的翻译。由于识别解码器的输出是否具有正确的语义比其准确性更重要，我们提出了改进的多任务ST模型，利用词嵌入作为中间。
2020-07-04 cs.CL
MELD-ST: An Emotion-aware Speech Translation Dataset
Technical University of Munich（慕尼黑工业大学）；Kyoto University（京都大学）；SenseTime（商汤科技）；National Institute of Informatics（情报信息研究所）
本文提出MELD-ST数据集，用于情感感知语音翻译，包含英日和英德语言对，各约1万条带情感标签的语音，实验表明情感标签微调可提升翻译性能。
2024-05-21 cs.CL
Evaluating Gender Bias in Speech Translation
Alexandria University（亚历山大大学）
科学界越来越意识到必须接受多元化，并始终代表主要和次要的社会群体。目前，对于不同类型的偏差没有标准的评估技术。因此，迫切需要提供评估集和协议来测量我们的自动系统中的现有偏差。评估偏见应该是在系统中减轻偏见的重要一步。本文介绍了WinoST，这是一款用于评估语音翻译中性别偏见的新的免费挑战赛。WinoST是WinoMT的语音版本，WinoMT是MT挑战集，两者都遵循评估协议来测量性别准确性。使用最先进的端到端语音翻译系统，我们报告了四种语言对的性别偏见评估，我们表明语音翻译的性别准确率比MT低23%以上。
2022-05-14 cs.CL
Lattice Transformer for Speech Translation
Alibaba Group Inc.（阿里巴巴集团）
序列建模的最新进展突出了Transformer架构的优势，特别是在实现最先进的机器翻译结果方面。然而，取决于上游系统，例如，语音识别或分词，翻译系统的输入可能变化很大。这项工作的目标是扩展Transformer的注意力机制，除了传统的顺序输入之外，还可以自然地消耗晶格。我们首先提出了一个通用的格型Transformer的语音翻译的输入是输出的自动语音识别（ASR），其中包含多个路径和后验分数。为了充分利用来自格结构的额外信息，我们开发了一种新的可控格注意力机制来获得潜在表征。在LDC西班牙语-英语语音翻译语料库上，我们的实验表明，lattice Transformer的泛化效果明显更好，并且优于Transformer基线和lattice LSTM。此外，我们在WMT 2017汉英翻译任务中验证了我们的方法，该任务使用来自不同BPE分割的格输入。在这项任务中，我们还观察了强基线的改进。
2019-06-13 cs.CL
Towards Speech Dialogue Translation Mediating Speakers of Different Languages
Kyoto University（京都大学）；National Institute of Information and Communications Technology（国立信息与通信技术研究所）；National Institute of Informatics（国立信息学研究所）
本文提出面向不同语言说话者的语音对话翻译任务，构建了SpeechBSD数据集，提出单语和双语上下文利用方式，并通过Whisper和mBART级联实验证明双语上下文效果更优。
2023-05-22 cs.CL
Scalable Multilingual Multimodal Machine Translation with Speech-Text Fusion
Harbin Institute of Technology（哈尔滨工业大学）；Pengcheng Laboratory（鹏城实验室）
本文提出一种语音引导的机器翻译框架，通过融合语音和文本提升多语言翻译性能，并在多个基准上取得新突破。
2026-03-03 cs.CL
Automatic Translation of Hate Speech to Non-hate Speech in Social Media Texts
Instituto Politécnico Nacional（国立理工学院）
本文提出将西班牙语仇恨言论在保留原意的前提下自动改写为非仇恨言论的新任务，并提供数据集与多个基线，采用 BLEU 等指标评估，以助力遏制在线仇恨言论传播。
2023-06-02 cs.CL
A High-Quality and Large-Scale Dataset for English-Vietnamese Speech Translation
VinAI Research（VinAI研究院）
在本文中，我们介绍了一个高质量和大规模的基准数据集的英语-越南语语音翻译与508个音频小时，由331 K三元组（翻译后的音频，英语源转录句子，越南语目标字幕句子）。我们还使用强基线进行了实证实验，发现传统的“级联”方法仍然优于现代的“端到端”方法。据我们所知，这是第一次大规模的英越语音翻译研究。我们希望我们的公开数据集和研究可以作为未来英越语音翻译研究和应用的起点。我们的数据集可在https://github.com/VinAIResearch/PhoST上获得
2022-08-08 cs.CL
A case study on using speech-to-translation alignments for language documentation
University of Notre Dame（圣母大学）
对于许多低资源或濒危语言，口语资源更有可能用翻译而不是翻译来注释。最近的工作利用这种注释来产生语音到翻译的对齐，而无需访问任何文本transmittance。我们调查是否提供这样的信息可以帮助产生更好的（不匹配的）众包transmittance，这反过来可能是有价值的训练语音识别系统，并表明，他们确实可以通过一个小规模的案例研究作为概念验证是有益的。我们还提出了一个简单的语音感知字符串平均技术，产生更高质量的transmittance。
2017-02-14 cs.CL
SeamlessM4T: Massively Multilingual & Multimodal Machine Translation
Meta AI；INRIA（法国国家信息与自动化研究所）；UC Berkeley（加州大学伯克利分校）
本文提出统一多模态翻译模型SeamlessM4T，基于100万小时语音数据和w2v-BERT 2.0，支持百种语言的语音与文本双向翻译及识别，在FLEURS上显著超越SOTA并开源。
2023-10-25 cs.CL
Disentangling ASR and MT Errors in Speech Translation
University Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（格勒诺布尔信息实验室）
本文的主要目的是研究口语翻译的自动质量评估。更确切地说，我们调查的错误，可能是由于转录（ASR）或翻译（MT）模块。本文研究了使用基于联合ASR和MT特征的单个分类器自动检测机器学习错误。我们评估2级（好/坏）和3级（好/坏ASR/坏MT）标记任务。3类问题需要解开语音翻译输出中的ASR和MT错误，我们提出了两个标签提取方法，这个非平凡的步骤。这使得-作为副产品-定性分析的翻译错误及其来源（他们是由于转录或翻译步骤？）我们内部的大型法语到英语语音翻译语料库。
2017-09-03 cs.CL
"Is Hate Lost in Translation?": Evaluation of Multilingual LGBTQIA+ Hate Speech Detection
University of New South Wales（新南威尔士大学）
本文评估了大型语言模型在英语、意大利语、中文和英语-泰米尔语中检测LGBTQIA+仇恨言论的能力，发现微调能持续提升性能，而机器翻译效果不一，且自动翻译难以捕捉语言的社会文化细微差别。
2024-10-24 cs.CL
Learning When to Commit from Partial Speech for End-to-End Simultaneous Speech Translation
Microsoft（微软）
本研究通过前缀监督适配语音语言模型，结合置信度阈值控制，在多轮解码下显著提升同声传译的质量-延迟权衡，并降低提交校准误差。
2026-10-05 cs.CL
MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
Meta AI
我们介绍MuAViC，一个多语言的视听语料库，用于强大的语音识别和强大的语音到文本的翻译，提供1200小时的视听语音在9种语言。它完全转录，涵盖6个英语到X的翻译以及6个X到英语的翻译方向。据我们所知，这是第一个视听语音到文本翻译的开放基准，也是多语言视听语音识别的最大开放基准。我们的基线结果表明，MuAViC是有效的建立噪声鲁棒的语音识别和翻译模型。我们在https://github.com/facebookresearch/muavic上提供语料库。
2023-03-07 cs.CL eess.AS
STEMM: Self-learning with Speech-text Manifold Mixup for Speech Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；ByteDance AI Lab（字节跳动人工智能实验室）；University of Chinese Academy of Sciences（中国科学院大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
如何在有限的标记数据中学习更好的语音表示，以进行端到端的语音到文本翻译（ST）？现有的技术往往试图转移强大的机器翻译（MT）的能力，ST，但忽略了跨模态的表示差异。在本文中，我们提出了语音文本流形混合（STEMM）的方法来校准这种差异。具体来说，我们混合了不同模态的表示序列，并将单模态语音序列和多模态混合序列并行地作为翻译模型的输入，并使用自学习框架正则化其输出预测。在MuST-C语音翻译基准上的实验和进一步的分析表明，该方法有效地消除了跨模态表示差异，并在8个翻译方向上取得了显著的改善。
2022-03-20 cs.AI cs.CL
Fluent and Low-latency Simultaneous Speech-to-Speech Translation with Self-adaptive Training
Baidu Research（百度研究院）；Kwai Inc.（快手公司）；Oregon State University（俄勒冈州立大学）
同步语音到语音翻译非常有用，但极具挑战性，因为它需要与源语言语音同时生成目标语言语音，只有几秒钟的延迟。此外，它需要连续翻译一串句子，但所有最近的解决方案都只关注单句场景。因此，当前的方法在说话者说话更快时逐渐积累延迟，并且在说话者说话更慢时引入不自然的停顿。为了克服这些问题，我们提出了自适应翻译（SAT），灵活地调整翻译的长度，以适应不同的源语音速率。在类似的翻译质量水平（由BLEU测量）下，我们的方法在两个Zh En方向上生成更流畅的目标语音（由自然度度量MOS测量），其延迟比基线低得多<->。
2020-10-21 cs.AI cs.CL
