Towards Visually-Guided Movie Subtitle Translation for Indic Languages
Department of Computer Science and Engineering（计算机科学与工程系）；Indian Institute of Technology Patna（印度理工学院帕纳布分校）
本文研究了视觉引导的电影字幕翻译，针对低资源印地语等语言，提出两种轻量视觉锚定策略，发现时间错位是长视频的主要障碍，而选择性视觉锚定能有效提升翻译质量。
2026-05-12 cs.CL
How Hateful are Movies? A Study and Prediction on Movie Subtitles
Universität Hamburg（汉堡大学）
在这项研究中，我们研究了检测电影中仇恨言论的技术。我们引入了一个新的数据集，从六部电影的字幕中收集，其中每个话语都被注释为仇恨，攻击或正常。我们应用迁移学习技术的领域自适应和微调现有的社交媒体数据集，即从Twitter和福克斯新闻。我们评估不同的表示，即，Bag of Words（BoW）、双向长短期记忆（Bi-LSTM）和来自Transformers（BERT）的双向编码器表示，11 k电影字幕。BERT模型获得了最佳的宏观平均F1分数，为77%。因此，我们表明，社交媒体领域的迁移学习在通过字幕对电影中的仇恨和攻击性言论进行分类方面是有效的。
2021-08-19 cs.CL
ArzEn-MultiGenre: An aligned parallel dataset of Egyptian Arabic song lyrics, novels, and subtitles, with English translations
University of Sharjah（沙迦大学）
该研究构建了 ArzEn-MultiGenre 平行语料库，涵盖歌曲、小说和字幕，含 25,557 个对齐片段，为机器翻译和跨语言研究提供金标准数据。
2025-08-02 cs.CL
From Speech to Subtitles: Evaluating ASR Models in Subtitling Italian Television Programs
Politecnico di Milano（米兰理工大学）
本文评估了四种最先进的ASR模型在意大利电视节目字幕任务中的表现，发现其在真实生产环境中的性能仍有待提升，但可作为提升人类生产力的有力工具。
2026-09-01 cs.CL
Problems with automating translation of movie/TV show subtitles
Amazon（亚马逊）
我们提出了27个问题，在自动化翻译的电影/电视节目字幕。我们将每个问题分为三类，即与文本翻译直接相关的问题，与字幕创建指南相关的问题，以及由于机器翻译（MT）引擎的适应性而引起的问题。我们还提出了一个翻译质量评估实验的结果，我们分享了16个关键问题的频率。我们表明，在自然语言处理的前沿工作的系统不执行字幕，并需要一些后处理解决方案来纠正这些问题
2019-09-04 cs.CL cs.LG stat.ML
Direct Speech Translation for Automatic Subtitling
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；Leiden University Centre for Linguistics（莱顿大学语言学中心）；Zoom Video Communications（Zoom视频通讯）
本文提出首个用于自动字幕生成的直接ST模型，利用单一模型直接生成目标语言字幕及时间戳，在7个语言对实验中优于级联系统且与生产工具竞争。
2023-07-25 cs.CL
Video-Helpful Multimodal Machine Translation
Kyoto University（京都大学）；Google Research（谷歌研究院）
本文针对现有多模态机器翻译数据集中视频未必有助于消歧的问题，提出包含大规模训练集和视频有帮助评估集的EVA数据集，并设计基于选择性注意力的SAFA模型，通过帧注意力损失和歧义增强方法显著提升翻译性能。
2023-10-31 cs.CL
CoVoST 2 and Massively Multilingual Speech-to-Text Translation
Facebook AI
语音翻译最近成为一个越来越受欢迎的研究课题，部分原因是基准数据集的发展。然而，目前的数据集涵盖的语言数量有限。为了促进大规模多语言语音翻译和低资源语言对语音翻译的研究，我们发布了CoVoST 2，这是一个大规模多语言语音翻译语料库，涵盖了从21种语言到英语和从英语到15种语言的翻译。这是迄今为止从总量和语言覆盖范围来看最大的开放数据集。数据健全性检查提供有关数据质量的证据，这些数据在CC0许可证下发布。我们还提供广泛的语音识别、双语和多语言机器翻译以及语音翻译基线，并提供开源实现。
2020-10-24 cs.CL cs.SD eess.AS
From Utterance to Vividity: Training Expressive Subtitle Translation LLM via Adaptive Local Preference Optimization
MAIS, Institute of Automation, Chinese Academy of Sciences（自动化研究所，中国科学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Hujing Digital Media & Entertainment Group（华景数字媒体与娱乐集团）；Geely AI lab（吉利AI实验室）
本研究提出ALPO方法，通过构建多方向字幕语料库，优化翻译LLM的表达性和生动性，提升翻译质量的多维评估性能。
2026-02-01 cs.AI cs.CL
Exploring Phoneme-Level Speech Representations for End-to-End Speech Translation
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
以前的语音端到端翻译工作主要使用帧级特征作为语音表示，这会创建比文本更长、更稀疏的序列。我们表明，一个天真的方法来创建压缩音素的语音表示是更有效和高效的翻译比传统的帧级语音功能。具体来说，我们为语音帧生成音素标签，并对具有相同标签的连续帧进行平均，以创建更短，更高级别的源序列进行翻译。我们在高资源和低资源语言对上都看到了高达5个BLEU的改进，训练时间减少了60%。我们的改进适用于多种数据大小和两种语言对。
2019-06-04 cs.CL cs.SD eess.AS
Is 42 the Answer to Everything in Subtitling-oriented Speech Translation?
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
由于每天都有大量视听内容，字幕对传播信息越来越重要。虽然神经机器翻译（NMT）可以加快翻译视听内容的过程，但是仍然需要大量的手动工作来转录源语言，以及将文本定位和分割成适当的字幕。在时间和分段方面创建适当的字幕在很大程度上取决于音频中存在的信息（话语持续时间，自然停顿）。在这项工作中，我们探讨了两种方法应用语音翻译（ST）的字幕：a）直接端到端和b）一个经典的级联方法。我们讨论的好处，有机会获得的源语言的语音，以提高所生成的字幕的空间和时间的字幕限制的一致性，并表明，长度是不是一切的情况下，面向字幕ST的答案。
2020-06-01 cs.CL
Simultaneous Speech Translation for Live Subtitling: from Delay to Display
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
本研究探索同声语音翻译用于实时字幕的可行性，通过让模型在翻译时预测字幕断点并提出滚动行显示模式，使阅读速度达标且延迟接近4秒，同时指出翻译质量差是当前面临的主要挑战。
2021-07-20 cs.CL
SubER: A Metric for Automatic Evaluation of Subtitle Quality
AppTek（AppTek公司）；Athena Consultancy（雅典娜咨询公司）
本文讨论了自动生成字幕的质量评估问题，它不仅包括机器转录或翻译语音的质量，而且还包括行分割和字幕定时的质量。我们提出了SubER -一个单一的新的度量标准的基础上编辑距离的变化，考虑到所有这些字幕属性。我们将其与现有的用于评估转录，翻译和字幕质量的指标进行比较。在后期编辑场景中仔细的人工评估表明，新的度量与后期编辑工作和直接人工评估分数具有高度相关性，优于仅考虑字幕文本的基线度量，例如WER和BLEU，以及现有的方法来集成分割和定时功能。
2022-05-11 cs.CL
Segmenting Subtitles for Correcting ASR Segmentation Errors
Columbia University（哥伦比亚大学）；University of Maryland（马里兰大学）；University of Edinburgh（爱丁堡大学）
典型的ASR系统使用纯声学信息将输入音频分割成话语，其可能不类似于用于口语翻译的常规机器翻译（MT）系统所期望的类似话语的单元。在这项工作中，我们提出了一个模型，用于纠正低资源语言的ASR模型的声学分割，以提高下游任务的性能。我们建议使用字幕作为代理数据集，用于校正ASR声学分割，通过对常见错误模式进行建模来创建合成声学话语。我们训练一个神经标记模型来纠正ASR声学分割，并表明它提高了MT和音频文档跨语言信息检索（CLIR）的下游性能。
2021-04-16 cs.CL
Direct Punjabi to English speech translation using discrete units
Wayne State University（韦恩州立大学）；Utah State University（犹他州立大学）；University of Delaware（特拉华大学）
本文提出一种基于离散声学单元和Transformer的直接旁遮普语到英语语音翻译模型U2UT，实验表明其BLEU分数比S2UT模型高3.69，推动了低资源语言语音翻译研究。
2024-02-25 cs.CL cs.SD eess.AS
Dodging the Data Bottleneck: Automatic Subtitling with Automatically Segmented ST Corpora
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；Zoom Video Communications（Zoom视频通讯公司）
字幕语音翻译（SubST）是通过插入符合特定显示准则的字幕中断来自动将语音数据翻译成格式良好的字幕的任务。与语音翻译（ST）类似，模型训练需要包括与其文本翻译配对的音频输入的并行数据。然而，在SubST中，文本还必须使用字幕分隔符进行注释。到目前为止，这一需求已经成为系统开发的瓶颈，正如公开可用的SubST语料库的缺乏所证实的那样。为了填补这一空白，我们提出了一种方法，将现有的ST语料库转换为SubST资源，而无需人工干预。我们建立了一个分割器模型，自动分割文本到适当的字幕，利用音频和文本在多模式的方式，实现高分割质量的zero-shot条件。与SubST系统分别训练手动和自动分割的结果相似的性能进行比较实验，表明我们的方法的有效性。
2022-11-16 cs.CL
Bemba Speech Translation: Exploring a Low-Resource African Language
Kreasof AI Research Labs（Kreasof人工智能研究实验室）；African Institute for Mathematical Sciences (AIMS)（非洲数学科学研究所）；Trinity College Dublin（都柏林三一学院）
本文针对IWSLT 2025低资源赛道，基于Whisper和NLLB-200构建Bemba到英语的级联语音翻译系统，并采用回译等数据增强技术探究合成数据的影响。
2025-06-02 cs.CL cs.SD eess.AS
DeepSubQE: Quality estimation for subtitle translations
Prime Video
由于自然语言的许多方面，如释义、风格、语法等的变化，涉及语言数据的任务的质量估计（QE）是困难的。根据手头的应用程序，可以有具有不同可接受程度的多个答案。在这项工作中，我们着眼于估计视频字幕的翻译质量。我们展示了现有的QE方法是如何不足的，并提出了我们的方法DeepSubQE作为一个系统来估计一对语言的字幕数据的翻译质量。我们依靠各种数据增强策略进行自动标记和合成训练。我们创建了一个混合网络，它学习双语数据的语义和语法特征，并将其与仅LSTM和仅CNN网络进行比较。我们提出的网络远远优于它们。
2020-04-22 cs.CL cs.LG stat.ML
Presenting Simultaneous Translation in Limited Space
Charles University（查理大学）
一些自动同步翻译长格式语音的方法允许修改输出，以低延迟换取准确性。为用户部署这些系统面临着在有限的空间（例如电视屏幕上的两行）中呈现字幕的问题。字幕必须及时、渐进地显示，并有足够的阅读时间。我们提供了一个算法的字幕。此外，我们提出了一种方法来估计的整体可用性的组合自动翻译和字幕的质量，延迟和稳定性的测试集上进行测量，并提出了一种改进的措施，翻译延迟。
2020-09-18 cs.CL
Context-Aware Subtitle Translation on CPU: Deployment-Driven Training, Evaluation, and Latency Design
National Yang Ming Chiao Tung University（国立阳明交通大学）
研究设备端英到繁体中字幕翻译，针对短输入等条件限制，通过替换词汇表、迁移嵌入空间及校准微调模型，在OpenSubtitles2024测试集上有较好胜率，苹果M2 Metal测量有加速，为实时字幕翻译提供优化方法。
2026-10-23 cs.AI cs.CL
Breaking Babel: A Self-Evolving Multi-Agent System for Long-Form Subtitle Translation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊）
提出自进化多智能体系统SMART，通过动态路由、多智能体混合及裁判优化循环，实现长篇字幕翻译，并在Subtitle Arena和MuSC基准上取得最优性能。
2026-10-02 cs.AI cs.CL cs.CV
Automatic Construction of Discourse Corpora for Dialogue Translation
Dublin City University（都柏林城市大学）；Huawei Technologies（华为技术）
提出了一种面向对话机器翻译的平行语篇语料库自动构建方法。首先，从互联网上抓取并收集平行字幕数据和对应的单语电影剧本数据。然后通过信息检索方法将脚本数据中的说话人和话语边界等标签映射到字幕数据中，从而将单语话语映射为双语文本。我们不仅评估映射结果，而且将说话人信息整合到翻译中。实验结果表明，该方法在说话人和对话边界标注上的准确率分别达到81.79%和98.64%，基于说话人的语言模型自适应可以使翻译质量提高约0.5个BLEU点。最后，我们公开发布了大约10万个带有人工说话人和对话边界标注的并行话语数据。
2016-05-22 cs.CL
Continuous Rating as Reliable Human Evaluation of Simultaneous Speech Translation
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本文研究了连续评分在同声语音翻译评估中的可靠性，通过对比事实问卷发现，具备至少有限源语言知识的评判者使用连续评分简单可靠，且高级用户更偏好低延迟。
2024-11-14 cs.CL
Video-guided Machine Translation with Global Video Context
Shenzhen University（深圳大学）；Shenzhen Technology University（深圳技术大学）
本文提出一种全局视频引导的多模态翻译框架，通过预训练语义编码器和向量数据库实现视频片段与字幕的语义关联，结合注意力机制提升翻译效果，在大规模纪录片数据集上验证了其在长视频场景中的有效性。
2026-04-08 cs.CL cs.CV
Refining Transcripts With TV Subtitles by Prompt-Based Weakly Supervised Training of ASR
Department Electrical Engineering ESAT-PSI KU Leuven University（电子工程系ESAT-PSI 卡尔·冯·斯特拉尔松大学）
本研究提出将电视字幕作为上下文提示而非直接监督信号，结合加权注意力机制，通过弱监督ASR训练迭代优化伪转录本，显著提升转录准确率，为训练鲁棒ASR系统提供高质量伪标记数据资源。
2025-09-01 cs.AI cs.CL
Neural Machine Translation with Extended Context
University of Helsinki（赫尔辛基大学）
我们研究了扩展上下文在基于注意力的神经机器翻译中的应用。我们的实验基础上翻译的电影字幕，并讨论了增加超过单个翻译单位的片段的效果。我们研究了使用扩展的源语言上下文以及双语上下文扩展。这些模型学习区分来自不同片段的信息，并且在翻译质量方面具有惊人的鲁棒性。在这项初步研究中，我们观察到有趣的跨领域注意模式，提高文本连贯性的翻译至少在某些情况下。
2017-08-20 cs.CL
A High-Quality and Large-Scale Dataset for English-Vietnamese Speech Translation
VinAI Research（VinAI研究院）
在本文中，我们介绍了一个高质量和大规模的基准数据集的英语-越南语语音翻译与508个音频小时，由331 K三元组（翻译后的音频，英语源转录句子，越南语目标字幕句子）。我们还使用强基线进行了实证实验，发现传统的“级联”方法仍然优于现代的“端到端”方法。据我们所知，这是第一次大规模的英越语音翻译研究。我们希望我们的公开数据集和研究可以作为未来英越语音翻译研究和应用的起点。我们的数据集可在https://github.com/VinAIResearch/PhoST上获得
2022-08-08 cs.CL
Fluent Translations from Disfluent Speech in End-to-End Speech Translation
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
由于会话语音现象，特别是不流利的存在，语音的口语翻译应用受到影响。随着端到端语音翻译模型的兴起，之前作为语音识别和机器翻译之间的中间步骤的处理步骤（如不流利消除）需要被纳入模型架构中。我们使用一个序列到序列的模型，从嘈杂的，不流利的语音流畅的文本与不流利使用最近收集的“复制编辑”的参考Fisher西班牙语-英语数据集删除。我们能够直接生成流畅的翻译，并介绍有关如何评估这项任务成功的考虑因素。这项工作为一项新的任务提供了一个基线，即翻译会话语音并联合消除不流利。
2019-06-03 cs.CL
Simultaneous Speech-to-Speech Translation System with Neural Incremental ASR, MT, and TTS
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文介绍了一个新开发的，同时神经语音到语音翻译系统及其评价。该系统由三个全增量神经处理模块组成，分别用于自动语音识别（ASR）、机器翻译（MT）和文本到语音合成（TTS）。我们研究了其在系统的耳语音跨度和说话延迟以及模块级性能的整体延迟。
2020-11-11 cs.CL
Construction of a Large-scale Japanese ASR Corpus on TV Recordings
Laboro.AI, Inc.（Laboro.AI公司）；The University of Tokyo（东京大学）
本文提出了一个新的大规模日语语音语料库的训练自动语音识别（ASR）系统。该语料库包含超过2,000小时的演讲，并根据日本电视录音及其字幕进行了转录。我们在这里开发了一个迭代的工作流程，以提取匹配的音频和字幕段从电视录像的基础上轻监督的音频到文本对齐的传统方法。我们使用建立在日本TEDx演示视频上的评估数据集来评估用我们的语料库训练的模型，并确认其性能优于用自发日语语料库（CSJ）训练的模型。实验结果表明，我们的语料库的有用性，培训ASR系统。该语料库与用于训练本文中报告的模型的Kaldi脚本一起向研究社区公开。
2021-03-26 cs.CL cs.SD eess.AS
T-Modules: Translation Modules for Zero-Shot Cross-Modal Machine Translation
Meta AI；Inria（法国国家信息与自动化研究所）
我们提出了一种新的方法来执行语音和文本之间的zero-shot跨模态转换的翻译任务。多语言语音和文本被编码在一个联合的固定大小的表示空间。然后，我们比较了解码这些多模式和多语言固定大小表示的不同方法，从而实现语言和模式之间的零镜头翻译（zero-shot translation）。我们所有的模型都是在不需要跨模态标记翻译数据的情况下进行训练的。尽管是固定大小的表示，我们在几个文本和语音翻译任务上取得了非常有竞争力的结果。特别是，我们显著提高了Must-C上zero-shot语音翻译的最新水平。在我们的框架中实现语音解码器，我们介绍了zero-shot直接语音到语音和文本到语音翻译的第一个结果。
2022-11-10 cs.CL
Creating Speech-to-Speech Corpus from Dubbed Series
American University of Beirut（贝鲁特美国大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
近年来，在各大媒体服务提供商的大力支持下，配音连续剧越来越受欢迎。研究表明，配音版的电视节目比带字幕的电视节目更受欢迎，这推动了这种流行。我们提出了一种无监督的方法来构建语音到语音语料库，对齐短段水平，产生一个平行的语音语料库在源语言和目标语言。我们的方法利用视频帧，语音识别，机器翻译，和噪声帧去除算法，以匹配两种语言的片段。为了验证所提出的方法的性能，我们将其应用于长和短的配音剪辑。在36小时的TR-AR配音系列中，我们的管道能够生成17小时的配对片段，约占语料库的47%。我们将我们的方法应用于另一种语言对EN-AR，以确保它足够强大，并且不会针对特定语言或特定语料库进行调整。无论语言对，配对段的准确率约为70%时，使用人类主观评价。语料库将免费提供给研究界。
2022-03-07 cs.CL
Fused Acoustic and Text Encoding for Multimodal Bilingual Pretraining and Speech Translation
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
近年来，文本和语音的表示学习已经成功地改善了许多与语言相关的任务。然而，所有现有的方法都受到两个限制：（a）它们仅从一种输入模态学习，而诸如端到端语音翻译的任务需要语音和文本的统一表示，并且因此，（b）它们不能利用各种大规模文本和语音数据，并且它们的性能受到并行语音翻译数据的稀缺性的限制。我们提出了一种融合的声学和文本掩蔽语言模型（FAT-MLM），其从各种类型的语料库（包括用于语音识别和机器翻译的并行数据，甚至纯语音和文本数据）联合学习声学和文本输入的统一表示。在此跨模态表示学习框架内，我们进一步提出了一个融合声学和文本语音翻译（FAT-ST）的端到端模型。三个翻译方向的实验表明，通过FAT-MLM的微调，我们提出的语音翻译模型大大提高了翻译质量，最高可达+5.9 BLEU。
2021-09-14 cs.CL
SimulMT to SimulST: Adapting Simultaneous Text Translation to End-to-End Simultaneous Speech Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；Facebook AI（脸书人工智能研究院）
文本同步翻译和端到端语音翻译近年来取得了很大的进展，但很少有人将这些任务结合在一起。我们研究如何适应同步文本翻译方法，如等待k和单调多头注意端到端同步语音翻译通过引入一个预决策模块。详细分析了将固定和灵活的预决策与固定和灵活的策略相结合的延迟质量权衡。我们还设计了一个新的计算感知延迟度量，改编自平均滞后。
2020-11-03 cs.CL
Cross-Lingual Transfer Learning for Speech Translation
针对数据受限下扩展多语言基础模型的语音翻译能力问题，以Whisper为例，利用语音检索揭示其共享语义空间，通过仅英中数据微调解码器，实现零样本跨语言迁移并提升多语言到中文的翻译性能。
2025-02-11 cs.CL
LibriVoxDeEn: A Corpus for German-to-English Speech Translation and German Speech Recognition
Heidelberg University（海德堡大学）；Computational Linguistics（计算语言学）；IWR Heidelberg University（海德堡大学IWR研究所）
我们提出了一个语料库的德语音频，德语文本，英语翻译，德语有声读物的基础上，对齐的三元组。语音翻译数据由110小时的音频材料组成，与超过50 k个平行句子对齐。包括与德语文本对齐的547小时德语语音的甚至更大的数据集可用于语音识别。音频数据是读语音，因此不流利程度低。音频和句子对齐的质量已经通过人工评估进行了检查，表明语音对齐质量通常非常高。句子对齐质量与常用的平行翻译数据相当，并且可以通过自动对齐分数的截止值进行调整。据我们所知，该语料库是迄今为止最大的德语语音识别和端到端德语到英语语音翻译资源。
2020-03-04 cs.CL
Towards Fluent Translations from Disfluent Speech
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
当从语音翻译时，需要特别考虑会话语音现象，如不流利。大多数机器翻译训练数据由格式良好的书面文本组成，在翻译自发语音时会导致问题。以前的工作在语音识别（ASR）和机器翻译（MT）之间引入了一个中间步骤，以消除不流畅，使数据更好地匹配典型的翻译文本，并显着提高性能。然而，随着端到端语音翻译系统的兴起，这个中间步骤必须被纳入序列到序列架构中。此外，尽管存在翻译的语音数据集，但它们通常是没有许多不流利的新闻或排练的语音（例如TED），或者不流利被翻译成参考文献（例如Fisher）。为了从不流利的语音中生成干净的翻译，需要对干净的引用进行评估。我们介绍了一个语料库的Fisher西班牙语-英语数据集的清理目标数据为这项任务。我们比较了不同的架构如何处理不流畅，并为消除端到端翻译中的不流畅提供了一个基线。
2018-11-07 cs.CL
End-to-end Automatic Speech Recognition and Speech Translation: Integration of Speech Foundational Models and LLMs
Charles University（查尔斯大学）；Faculty of Mathematics and Physics（数学与物理系）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本文提出结合预训练语音编码器与LLMs的端到端架构，同时执行ASR和ST任务，在英德翻译中超越SeamlessM4T并匹敌级联系统，COMET指标提升达8%。
2025-10-11 cs.CL
Automatic Labelling of Speech Translation Errors
Charles University（查尔斯大学）；University of Edinburgh（爱丁堡大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对语音翻译缺乏置信度评估方法的问题，提出STEL标注协议，通过文本和多模态系统分析，发现直接语音处理对任务必要且与文本系统互补。
2026-06-04 cs.CL
SpeechAlign: a Framework for Speech Translation Alignment Evaluation
Meta FAIR；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文提出SpeechAlign评估框架，包含基于英德文本对齐构建的Speech Gold Alignment数据集及SAER与TW-SAER两项新指标，用于评估语音翻译模型中的源-目标对齐质量，并对开源模型进行了基准测试。
2024-04-25 cs.CL
Context-Aware Neural Machine Translation Learns Anaphora Resolution
Yandex；University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
标准的机器翻译系统孤立地处理句子，因此忽略了额外的信息，即使扩展的上下文既可以防止歧义情况下的错误，又可以提高翻译的连贯性。我们引入了一个上下文感知的神经机器翻译模型，其设计方式是可以控制和分析从扩展上下文到翻译模型的信息流。我们用英语-俄语字幕数据集进行了实验，并观察到我们的模型捕获的大部分内容都涉及改善代词翻译。我们测量诱导注意分布和共指关系之间的对应关系，并观察到该模型隐含地捕捉回指。这与代词在翻译中需要性别化的句子的收益是一致的。除了在照应情况下的改进之外，该模型还在整体BLEU方面有所改进，无论是在其上下文不可知版本（+0.7）还是在上下文和源句子的简单连接（+0.6）上。
2018-05-25 cs.CL
SpeechQE: Estimating the Quality of Direct Speech Translation
University of Maryland（马里兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对语音翻译质量估计研究不足的问题，该工作定义SpeechQE任务、构建基准，提出利用预训练文本LLM的端到端系统，验证其优于级联文本质量估计系统，并发布数据模型推动相关研究。
2024-10-28 cs.CL
Towards speech-to-text translation without speech recognition
University of Edinburgh（爱丁堡大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
我们探讨了在低资源情况下将语音翻译成文本的问题，在这种情况下，既没有自动语音识别（ASR），也没有机器翻译（MT），但我们有音频形式的训练数据与文本翻译配对。我们提出了这个问题的第一个系统应用到一个现实的多说话者数据集，CALLHOME西班牙语-英语语音翻译语料库。我们的方法使用无监督术语发现（UTD）来聚类音频中的重复模式，创建一个伪文本，我们将其与翻译配对以创建一个并行文本，并训练一个简单的词袋MT模型。我们确定了系统所面临的挑战，发现跨扬声器UTD的困难导致召回率低，但我们的系统仍然能够正确翻译测试数据中的一些内容词。
2017-02-13 cs.CL
Unified Speech-Text Pre-training for Speech Translation and Recognition
Meta AI
我们描述了一种方法，联合预训练语音和文本的编码器-解码器建模框架的语音翻译和识别。该方法结合了四个自我监督和监督的子任务的跨模态学习。自监督语音子任务利用未标记的语音数据，并且（自）监督文本到文本子任务利用丰富的文本训练数据。包括两个辅助监督语音任务，以统一语音和文本建模空间。我们的贡献在于将文本语料库中的语言信息整合到语音预训练中。详细的分析揭示了子任务之间的学习干扰。两个预训练配置的语音翻译和识别，分别，以减轻子任务的干扰。实验结果表明，该方法能有效地将语音和文本信息融合到一个模型中。它在Must-C语音翻译数据集上实现了1.7到2.3的BLEU改进，并且在Librispeech语音识别任务上与wav2vec 2.0相当。
2022-04-11 cs.CL
BSTC: A Large-Scale Chinese-English Speech Translation Dataset
Baidu Inc.（百度公司）
本文介绍了一个大规模的汉英语音翻译数据集BSTC（Baidu Speech Translation Corpus）。该数据集是基于一系列许可的演讲或讲座视频构建的，包括约68小时的普通话数据，其手动转录和翻译成英语，以及通过自动语音识别（ASR）模型进行的自动转录。我们还邀请了三名经验丰富的口译员在模拟会议环境中同时为测试会谈进行口译。该语料库对自动同声翻译的研究和实用系统的开发具有一定的促进作用。我们已经组织了同声翻译任务，并使用该语料库来评估自动同声翻译系统。
2021-04-27 cs.CL
EmoAra: Emotion-Preserving English Speech Transcription and Cross-Lingual Translation with Arabic Text-to-Speech
MBZUAI（穆罕默德·本·拉希德智能技术研究所）
EmoAra通过整合语音情感识别、自动语音识别、机器翻译和文本到语音技术，实现英语语音转录与阿拉伯语音输出的跨语言翻译，保留情感细微差别。
2026-02-01 cs.CL
ArzEn-ST: A Three-way Speech Translation Corpus for Code-Switched Egyptian Arabic - English
New York University Abu Dhabi（纽约大学阿布扎比分校）；University of Stuttgart（斯图加特大学）；The German University in Cairo（开罗德国大学）
我们提出了我们的工作，收集ArzEn-ST，代码转换埃及阿拉伯语-英语语音翻译语料库。该语料库是ArzEn语音语料库的扩展，该语料库是通过对双语者的非正式采访收集的。在这项工作中，我们收集了两个方向的翻译，单语埃及阿拉伯语和单语英语，形成了一个三向语音翻译语料库。我们公开提供翻译指南和语料库。我们还报告了用于机器翻译和语音翻译任务的基线系统的结果。我们相信这是一个有价值的资源，可以激励和促进进一步的研究从语言学的角度来研究语码转换现象，并可用于训练和评估自然语言处理系统。
2022-11-22 cs.CL
Cross-lingual topic prediction for speech using translations
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Stellenbosch University（斯泰伦博斯大学）
在低资源语言中有大量未注释的语音，我们能否按主题对语音进行分类？我们在低资源语言的少量语音与高资源语言的文本翻译配对的情况下考虑这个问题。我们开发了一个有效的跨语言主题分类器，通过使用最近的直接语音到文本翻译模型，对20小时的翻译语音进行训练。虽然翻译很差，但它们仍然足够好，可以在70%的时间内正确分类1分钟语音片段的主题-比多数类基线提高20%。这样的系统可能对人道主义应用有用，如危机应对，在这种情况下，必须快速评估以外国低资源语言输入的语音，以便采取进一步行动。
2020-03-29 cs.CL
What does it take to get state of the art in simultaneous speech-to-speech translation?
toby（托比）
该研究针对同声语音翻译模型中幻觉引发的延迟尖峰问题，通过系统实验各类输入参数与条件提出优化方法，证实精细输入管理结合策略性参数调整可显著改善模型延迟表现。
2024-09-14 cs.CL
Cascaded Models With Cyclic Feedback For Direct Speech Translation
Heidelberg University（海德堡大学）；Computational Linguistics（计算语言学）；IWR, Heidelberg University（海德堡大学IWR研究所）
针对直接语音翻译数据稀缺问题，提出带循环反馈的ASR-MT级联模型，通过自训练优化ASR、微调MT提升拼写容忍度，在德英翻译任务上取得优于同条件端到端模型的BLEU提升。
2021-02-11 cs.CL
End-to-End Automatic Speech Translation of Audiobooks
Univ. Grenoble-Alpes（格勒诺布尔-阿尔卑斯大学）；Univ. Lille（里尔大学）
我们调查了端到端的语音到文本的翻译语料库的有声读物专门增强这项任务。以前的作品研究了极端的情况下，源语言转录是不可用的学习，也没有解码，但我们也研究了一个中途的情况下，源语言转录只在训练时间。在这种情况下，单个模型被训练成在单遍中将源语音解码成目标文本。实验结果表明，在该系统中可以训练出紧凑高效的端到端语音翻译模型。我们还分发了语料库，并希望我们在这个语料库上的语音翻译基线将在未来受到挑战。
2018-02-12 cs.CL
Index-Translate: A Multilingual Translation Model Family -- Text, Speech, Controlled Dubbing, and Long-Document Translation
Index LLM Team（Index LLM 团队）
Index-Translate是一个多语言翻译模型家族，通过共享基础与专门训练结合，在通用、语音、配音和长文档翻译上达到前沿性能。
2026-10-14 cs.CL
Bridging the Modality Gap for Speech-to-Text Translation
National Laboratory of Pattern Recognition, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
端到端语音翻译是将一种语言的语音通过端到端的方式翻译成另一种语言的文本。现有的大多数方法都采用具有单个编码器的编码器-解码器结构来同时学习声学表示和语义信息，这忽略了语音和文本模态的差异，使编码器过载，导致学习这样的模型非常困难。为了解决这些问题，我们提出了一个语音到文本适配语音翻译（STAST）模型，其目的是通过弥合语音和文本之间的模态差距，以提高端到端的模型性能。具体来说，我们将语音翻译编码器解耦为三个部分，并引入收缩机制来匹配语音表示的长度与相应的文本转录。为了获得更好的语义表示，我们将基于文本的翻译模型完全集成到STAST中，以便在同一个潜在空间中训练两个任务。此外，我们引入了跨模态自适应方法来拉近语音和文本表示之间的距离。在英法和英德语音翻译语料库上的实验结果表明，该模型的性能明显优于强基线，达到了新的最先进的性能。
2020-10-28 cs.CL
Modular Speech-to-Text Translation for Zero-Shot Cross-Modal Transfer
Meta AI；Inria（法国国家信息与自动化研究所）
该研究针对语音到文本翻译任务，提出对采用共享固定大小表征的独立编解码器模块化方法进行多语言训练，显著提升了零样本跨模态语音翻译效果，在多语言上优于基于XLSR的有监督方法。
2023-10-05 cs.CL
