ArzEn-MultiGenre: An aligned parallel dataset of Egyptian Arabic song lyrics, novels, and subtitles, with English translations
University of Sharjah（沙迦大学）
该研究构建了 ArzEn-MultiGenre 平行语料库，涵盖歌曲、小说和字幕，含 25,557 个对齐片段，为机器翻译和跨语言研究提供金标准数据。
2025-08-02 cs.CL
Breaking Babel: A Self-Evolving Multi-Agent System for Long-Form Subtitle Translation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊）
提出自进化多智能体系统SMART，通过动态路由、多智能体混合及裁判优化循环，实现长篇字幕翻译，并在Subtitle Arena和MuSC基准上取得最优性能。
2026-10-02 cs.AI cs.CL cs.CV
Subtitles to Segmentation: Improving Low-Resource Speech-to-Text Translation Pipelines
Columbia University（哥伦比亚大学）；University of Edinburgh（爱丁堡大学）
在这项工作中，我们专注于改善ASR输出分割的背景下，低资源的语言语音到文本的翻译。ASR输出分段是至关重要的，因为ASR系统使用纯声学信息对输入音频进行分段，并且不能保证输出类似音乐的分段。由于大多数机器翻译系统都希望将句子作为输入，因此输入较长的未分段段落可能会导致次优性能。我们探讨了使用电视节目和电影的字幕数据集来训练更好的ASR分割模型的可行性。我们进一步将词性（POS）标签和依赖标签信息（来自未分割的ASR输出）纳入我们的分割模型。我们表明，这种嘈杂的句法信息可以提高模型的准确性。我们评估我们的模型内在的分割质量和extramination上下游MT性能，以及下游任务，包括跨语言信息检索（CLIR）任务和人类相关性评估。我们的模型显示立陶宛语和保加利亚语的下游任务性能有所提高。
2020-10-19 cs.CL
Video-Helpful Multimodal Machine Translation
Kyoto University（京都大学）；Google Research（谷歌研究院）
本文针对现有多模态机器翻译数据集中视频未必有助于消歧的问题，提出包含大规模训练集和视频有帮助评估集的EVA数据集，并设计基于选择性注意力的SAFA模型，通过帧注意力损失和歧义增强方法显著提升翻译性能。
2023-10-31 cs.CL
Context-Aware Subtitle Translation on CPU: Deployment-Driven Training, Evaluation, and Latency Design
National Yang Ming Chiao Tung University（国立阳明交通大学）
研究设备端英到繁体中字幕翻译，针对短输入等条件限制，通过替换词汇表、迁移嵌入空间及校准微调模型，在OpenSubtitles2024测试集上有较好胜率，苹果M2 Metal测量有加速，为实时字幕翻译提供优化方法。
2026-10-23 cs.AI cs.CL
Simultaneous Speech Translation for Live Subtitling: from Delay to Display
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
本研究探索同声语音翻译用于实时字幕的可行性，通过让模型在翻译时预测字幕断点并提出滚动行显示模式，使阅读速度达标且延迟接近4秒，同时指出翻译质量差是当前面临的主要挑战。
2021-07-20 cs.CL
Generating Multilingual Parallel Corpus Using Subtitles
Amirkabir University of Technology（阿米尔卡比尔理工大学）
神经机器翻译虽然取得了显著的成果，但仍然存在一个很大的问题：缺乏或缺少许多语言的平行语料库。本文提出了一种从互联网上的开放源代码材料中提取任意语言对的并行语料库的方法。平行语料库的内容将从视频字幕中派生出来。它需要一组视频标题，具有一些属性，如发布日期，评级，持续时间等。查找和下载所需语言对的字幕对的过程是通过使用爬虫自动化的。最后从字幕中的同步对话中提取句子对。这种方法的主要问题是字幕对不同步。因此，字幕将在下载前进行验证。如果两个字幕不同步，则将处理该视频的另一个字幕，直到找到匹配的字幕。使用这种方法可以通过按类型过滤视频来制作基于上下文的并行语料库。基于上下文的语料库可以用于复杂的翻译，在确定内容主题后，通过不同的网络解码句子。语言在正式和非正式的风格上有很多不同，包括单词和句法。这种方法的另一个优点是可以制作语言非正式语体的语料库。因为大多数电影对白都是对话的一部分。所以他们有非正式的风格。生成的语料库的这一特征可以用于实时翻译器，以具有更准确的会话翻译。
2018-04-11 cs.CL
Segmenting Subtitles for Correcting ASR Segmentation Errors
Columbia University（哥伦比亚大学）；University of Maryland（马里兰大学）；University of Edinburgh（爱丁堡大学）
典型的ASR系统使用纯声学信息将输入音频分割成话语，其可能不类似于用于口语翻译的常规机器翻译（MT）系统所期望的类似话语的单元。在这项工作中，我们提出了一个模型，用于纠正低资源语言的ASR模型的声学分割，以提高下游任务的性能。我们建议使用字幕作为代理数据集，用于校正ASR声学分割，通过对常见错误模式进行建模来创建合成声学话语。我们训练一个神经标记模型来纠正ASR声学分割，并表明它提高了MT和音频文档跨语言信息检索（CLIR）的下游性能。
2021-04-16 cs.CL
SubER: A Metric for Automatic Evaluation of Subtitle Quality
AppTek（AppTek公司）；Athena Consultancy（雅典娜咨询公司）
本文讨论了自动生成字幕的质量评估问题，它不仅包括机器转录或翻译语音的质量，而且还包括行分割和字幕定时的质量。我们提出了SubER -一个单一的新的度量标准的基础上编辑距离的变化，考虑到所有这些字幕属性。我们将其与现有的用于评估转录，翻译和字幕质量的指标进行比较。在后期编辑场景中仔细的人工评估表明，新的度量与后期编辑工作和直接人工评估分数具有高度相关性，优于仅考虑字幕文本的基线度量，例如WER和BLEU，以及现有的方法来集成分割和定时功能。
2022-05-11 cs.CL
Is 42 the Answer to Everything in Subtitling-oriented Speech Translation?
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
由于每天都有大量视听内容，字幕对传播信息越来越重要。虽然神经机器翻译（NMT）可以加快翻译视听内容的过程，但是仍然需要大量的手动工作来转录源语言，以及将文本定位和分割成适当的字幕。在时间和分段方面创建适当的字幕在很大程度上取决于音频中存在的信息（话语持续时间，自然停顿）。在这项工作中，我们探讨了两种方法应用语音翻译（ST）的字幕：a）直接端到端和b）一个经典的级联方法。我们讨论的好处，有机会获得的源语言的语音，以提高所生成的字幕的空间和时间的字幕限制的一致性，并表明，长度是不是一切的情况下，面向字幕ST的答案。
2020-06-01 cs.CL
Presenting Simultaneous Translation in Limited Space
Charles University（查理大学）
一些自动同步翻译长格式语音的方法允许修改输出，以低延迟换取准确性。为用户部署这些系统面临着在有限的空间（例如电视屏幕上的两行）中呈现字幕的问题。字幕必须及时、渐进地显示，并有足够的阅读时间。我们提供了一个算法的字幕。此外，我们提出了一种方法来估计的整体可用性的组合自动翻译和字幕的质量，延迟和稳定性的测试集上进行测量，并提出了一种改进的措施，翻译延迟。
2020-09-18 cs.CL
Between Flexibility and Consistency: Joint Generation of Captions and Subtitles
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
语音翻译（ST）近来对于生成字幕而不需要中间源语言转录和定时（即字幕）受到越来越多的关注。然而，源字幕和目标字幕的联合生成不仅在两个解码过程相互通知时带来潜在的输出质量优势，而且在多语言场景中也经常需要。在这项工作中，我们专注于ST模型，产生一致的字幕，字幕的结构和词汇内容。我们进一步引入新的指标，评估字幕的一致性。我们的研究结果表明，联合解码导致提高性能和生成的字幕和字幕之间的一致性，同时仍然允许足够的灵活性，以产生符合特定语言的需求和规范的字幕。
2021-07-13 cs.CL
Dodging the Data Bottleneck: Automatic Subtitling with Automatically Segmented ST Corpora
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；Zoom Video Communications（Zoom视频通讯公司）
字幕语音翻译（SubST）是通过插入符合特定显示准则的字幕中断来自动将语音数据翻译成格式良好的字幕的任务。与语音翻译（ST）类似，模型训练需要包括与其文本翻译配对的音频输入的并行数据。然而，在SubST中，文本还必须使用字幕分隔符进行注释。到目前为止，这一需求已经成为系统开发的瓶颈，正如公开可用的SubST语料库的缺乏所证实的那样。为了填补这一空白，我们提出了一种方法，将现有的ST语料库转换为SubST资源，而无需人工干预。我们建立了一个分割器模型，自动分割文本到适当的字幕，利用音频和文本在多模式的方式，实现高分割质量的zero-shot条件。与SubST系统分别训练手动和自动分割的结果相似的性能进行比较实验，表明我们的方法的有效性。
2022-11-16 cs.CL
Video-guided Machine Translation with Global Video Context
Shenzhen University（深圳大学）；Shenzhen Technology University（深圳技术大学）
本文提出一种全局视频引导的多模态翻译框架，通过预训练语义编码器和向量数据库实现视频片段与字幕的语义关联，结合注意力机制提升翻译效果，在大规模纪录片数据集上验证了其在长视频场景中的有效性。
2026-04-08 cs.CL cs.CV
Direct Speech Translation for Automatic Subtitling
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；Leiden University Centre for Linguistics（莱顿大学语言学中心）；Zoom Video Communications（Zoom视频通讯）
本文提出首个用于自动字幕生成的直接ST模型，利用单一模型直接生成目标语言字幕及时间戳，在7个语言对实验中优于级联系统且与生产工具竞争。
2023-07-25 cs.CL
Automatic Construction of Discourse Corpora for Dialogue Translation
Dublin City University（都柏林城市大学）；Huawei Technologies（华为技术）
提出了一种面向对话机器翻译的平行语篇语料库自动构建方法。首先，从互联网上抓取并收集平行字幕数据和对应的单语电影剧本数据。然后通过信息检索方法将脚本数据中的说话人和话语边界等标签映射到字幕数据中，从而将单语话语映射为双语文本。我们不仅评估映射结果，而且将说话人信息整合到翻译中。实验结果表明，该方法在说话人和对话边界标注上的准确率分别达到81.79%和98.64%，基于说话人的语言模型自适应可以使翻译质量提高约0.5个BLEU点。最后，我们公开发布了大约10万个带有人工说话人和对话边界标注的并行话语数据。
2016-05-22 cs.CL
Detecting over/under-translation errors for determining adequacy in human translations
Amazon（亚马逊）
我们提出了一种新的方法来检测过度和不足的翻译（OT/UT）的一部分，充分的错误检查翻译评估。我们并不局限于机器翻译（MT）输出，而是专门针对具有人工生成翻译管道的应用程序。我们的系统的目标是从人类翻译的视频字幕中识别OT/UT错误，具有高错误召回率。我们通过在合成的训练数据上学习模型来实现这一点，而不需要参考翻译。我们比较了我们在预训练语言模型的嵌入上训练的各种分类网络与我们最好的GRU + CNN混合网络，在8种语言的高质量人工注释评估数据上实现了89.3%的准确率。
2021-04-01 cs.CL cs.LG
Continuous Rating as Reliable Human Evaluation of Simultaneous Speech Translation
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本文研究了连续评分在同声语音翻译评估中的可靠性，通过对比事实问卷发现，具备至少有限源语言知识的评判者使用连续评分简单可靠，且高级用户更偏好低延迟。
2024-11-14 cs.CL
Hermes the Polyglot: A Unified Framework to Enhance Expressiveness for Multimodal Interlingual Subtitling
MAIS, Institute of Automation, Chinese Academy of Sciences Beijing China；School of AI, University of\ Academy of Sciences Beijing China；Beijing Jiaotong University Beijing China；Geely AI lab Ningbo Zhejiang China；MAIS, Institute of Automation, Chinese Academy of Sciences；School of AI, University of\ Academy of Sciences；Beijing Jiaotong University；Geely AI lab
赫мес通过整合说话人分离、术语识别和表达力增强模块，提升了多模态跨语言字幕的表达力和连贯性，实现了最先进的字幕生成性能。
2026-01-31 cs.AI cs.CL
How2: A Large-scale Dataset for Multimodal Language Understanding
Carnegie Mellon University（卡内基梅隆大学）；Le Mans University（勒芒大学）；University of Copenhagen（哥本哈根大学）；University of Sheffield（谢菲尔德大学）
在本文中，我们介绍了How2，一个多模式的教学视频集合，带有英语字幕和众包葡萄牙语翻译。我们还提出了集成的序列到序列基线的机器翻译，自动语音识别，口语翻译和多模态摘要。通过为几个多模态自然语言任务提供数据和代码，我们希望激发对这些和类似挑战的更多研究，以更深入地了解语言处理中的多模态。
2018-12-07 cs.CL
A High-Quality and Large-Scale Dataset for English-Vietnamese Speech Translation
VinAI Research（VinAI研究院）
在本文中，我们介绍了一个高质量和大规模的基准数据集的英语-越南语语音翻译与508个音频小时，由331 K三元组（翻译后的音频，英语源转录句子，越南语目标字幕句子）。我们还使用强基线进行了实证实验，发现传统的“级联”方法仍然优于现代的“端到端”方法。据我们所知，这是第一次大规模的英越语音翻译研究。我们希望我们的公开数据集和研究可以作为未来英越语音翻译研究和应用的起点。我们的数据集可在https://github.com/VinAIResearch/PhoST上获得
2022-08-08 cs.CL
TG-ASR: Translation-Guided Learning with Parallel Gated Cross Attention for Low-Resource Automatic Speech Recognition
Dept. Computer Science and Information Engineering, National Taiwan Normal University, Taiwan（计算机科学与信息工程系，台湾国立台湾师范大学）；Institute of Computer Science, Academia Sinica, Taiwan（学术院计算机科学研究所，台湾）；United Link Co., Ltd., Taiwan（台湾联合链接有限公司）
TG-ASR通过并行门控交叉注意力机制，利用多语言翻译嵌入提升低资源环境下台语语音识别性能，实现14.77%的字符错误率降低。
2026-02-25 cs.AI cs.CL cs.SD
Content4All Open Research Sign Language Translation Datasets
University of Surrey（萨里大学）；Fincons Group（Fincons集团）；SWISSTXT
计算手语研究缺乏能够创建有用的现实应用程序的大规模数据集。迄今为止，大多数研究仅限于小型话语领域的原型系统，例如天气预报。为了解决这个问题并推动该领域的发展，我们发布了六个数据集，包括更大新闻领域的190小时镜头。其中，20个小时的镜头已由聋人专家和口译员注释，并公开供研究之用。在本文中，我们分享了为实现手语视频和字幕的对齐而开发的数据集收集过程和工具，以及基线翻译结果，以支持未来的研究。
2021-05-05 cs.CL cs.CV
Controlling the Output Length of Neural Machine Translation
Amazon（亚马逊）
神经机器翻译（NMT）的最新进展正在迅速扩大机器翻译的应用领域，并重塑目标质量水平。特别是，如果翻译必须符合某种特定的布局，则质量不仅应根据适当性和流畅性来衡量，还应根据长度来衡量。示例性情况是文档文件、字幕和配音脚本的翻译，其中输出长度理想地应该尽可能接近输入文本的长度。本文地址的第一次，尽我们所知，在NMT的输出长度控制的问题。我们研究了两种使用Transformer架构偏置输出长度的方法：i）将输出调节为给定的目标源长度比类，ii）使用长度信息丰富Transformer位置嵌入。我们的实验表明，这两种方法都可以诱导网络生成更短的翻译，并获得可解释的语言技能。
2019-10-25 cs.CL
Multi-Source Neural Machine Translation with Missing Data
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Carnegie Mellon University（卡内基梅隆大学）
多源翻译是一种利用多个输入（例如两种不同语言）来提高翻译准确性的方法。在本文中，我们研究的方法，多源神经机器翻译（NMT）使用不完整的多语言语料库，其中一些翻译是缺失的。在实践中，许多多语言语料库并不完整，因为很难提供所有相关语言的翻译（例如，在TED演讲中，大多数英语演讲只有TED支持的一小部分语言的字幕）。现有的多源翻译研究没有明确处理这种情况。本研究的重点是使用不完整的多语言语料库在多编码器NMT和混合NMT专家，并检查了一个非常简单的实现，缺失的源翻译被替换为一个特殊的符号<NULL>。这些方法允许我们在训练时和测试时使用不完整的语料库。在对真实的不完整多语种TED演讲语料库的实验中，使用令牌的多源NMT<NULL>获得了BLEU测量的更高的翻译准确率，而不是任何一对一NMT系统。
2018-06-08 cs.CL
When a Good Translation is Wrong in Context: Context-Aware Machine Translation Improves on Deixis, Ellipsis, and Lexical Cohesion
Yandex（扬达克斯）；University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
虽然机器翻译错误是由于缺少句子以外的上下文而引起的，但上下文感知的NMT系统的发展受到一些问题的阻碍。首先，标准度量对文档级翻译一致性的改进不敏感。其次，以前的工作上下文感知的NMT假设，对齐的并行数据包括完整的文件，而在大多数实际情况下，这样的文档级数据构成的可用并行数据的一小部分。为了解决第一个问题，我们进行了一项人类研究的英语-俄语字幕数据集，并确定指示，省略和词汇衔接的三个主要来源的不一致。然后，我们创建针对这些现象的测试集。为了解决第二个缺点，我们考虑了一个设置，其中与文档级对齐的数据相比，有大量的文档级数据可用。我们引入了一个模型，适合这种情况下，并证明了我们的新基准测试的上下文无关的基线上的主要收益，而不会牺牲性能与BLEU测量。
2019-06-07 cs.CL
Telemedicine as a special case of Machine Translation
Medical University of Warsaw（华沙医科大学）；Polish Telemedicine Society（波兰远程医疗协会）
机器翻译在质量方面发展得相当快。目前，我们在网上有几个机器翻译系统，它们提供合理的翻译。然而，这些系统并不完美，在某些特定领域，它们的质量可能会下降。本文探讨了不同的训练方法的效果时，它涉及到波兰-英语统计机器翻译系统用于医疗数据。EMEA平行文本语料库的许多元素和不相关的OPUS开放字幕项目被用作创建短语表和不同语言模型的基础，包括这些翻译系统的开发、调整和测试。BLEU、NIST、METEOR和TER指标已被用于评估各种系统的结果。我们的实验涉及的系统，包括词性标注，因子短语模型，层次模型，句法标记，和其他对齐方法。我们还对波兰语数据进行了深入分析，作为自动化数据处理（如真正的大小写或标点符号规范化阶段）之前的准备工作。标准化指标用于比较结果。分数低于15%意味着机器翻译引擎无法提供令人满意的质量，分数大于30%意味着翻译应该是可以理解的，没有问题，分数超过50表示翻译足够。BLEU、NIST、METEOR和TER的波兰语到英语翻译评分的平均结果相对较高，范围从70.58到82.72。最低分是64.38。英语翻译成波兰语的平均结果范围略低（67，58 - 78，97）。所提出的高质量机器翻译系统的现实生活中的实现，预计在一般的医疗实践和远程医疗。
2015-10-15 cs.CL
DIETA: A Decoder-only transformer-based model for Italian-English machine TrAnslation
Department of Informatics, Systems and Communication - DISCo, University of Milano-Bicocca, Italy（信息与通信系统系 - DISCo，米兰-比科卡大学）；NVIDIA AI Technology Center, Italy（NVIDIA人工智能技术中心）
DIETA是一种专为意大利-英语机器翻译设计的仅解码器Transformer模型，通过大规模语料库和新评估集实现高质量翻译性能。
2026-01-25 cs.AI cs.CL
From Brazilian Portuguese to European Portuguese
Instituto Superior Técnico（高等技术学院）；Universidade de Lisboa（里斯本大学）；INESC-ID
针对巴葡与欧葡资源不均影响欧葡翻译质量的问题，研究者依托神经技术构建巴葡转欧葡翻译系统，整理含500句的双参考黄金测试集，用平行语料微调多类大模型并结合自动、人工评估与ChatGPT 3.5 Turbo对比验证效果。
2024-08-14 cs.CL
GLaM-Sign: Greek Language Multimodal Lip Reading with Integrated Sign Language Accessibility
Institute of Informatics and Telecommunications, NCSR “Demokritos”（希腊德谟克利特国家科学研究中心信息与通信研究所）；University of West Attica（西阿提卡大学）
本文介绍 GLaM-Sign 希腊语多模态唇读数据集，整合音视频、转写与希腊手语翻译，以支持 DHH 群体并推动无障碍 AI 应用。
2025-01-09 cs.AI cs.CL
Data Selection with Feature Decay Algorithms Using an Approximated Target Side
ADAPT Centre（ADAPT中心）；Dublin City University（都柏林城市大学）
应用于神经机器翻译（NMT）的数据选择技术旨在通过检索句子的子集以用作训练数据来提高模型的性能。可能的数据选择技术之一是转换学习方法，它基于测试集（即待翻译的文档）选择数据。迄今为止，这些方法的局限性在于，使用源端测试集本身并不能保证选择具有正确翻译的句子，或者在给定测试集域的情况下选择合适的翻译。一些语料库，如字幕语料库，可能包含由于本地化或长度限制而导致翻译不准确的平行句子。为了尝试解决这个问题，在本文中，我们建议在选择合适的训练模型的训练对时，除了源端之外，还使用近似的目标端。这个近似的目标端是通过预翻译源端来构建的。在这项工作中，我们探讨了一个特定的数据选择方法，称为特征衰减算法（FDA）的一般思想的性能。我们训练德-英NMT模型的数据选择使用测试集（源），近似的目标侧，以及两者的混合。我们的研究结果表明，使用FDA的输出组合（使用测试集和近似的目标侧）建立的模型比单独使用测试集的模型表现更好。我们获得了超过1.5个BLEU点的统计学显着改善，超过所有数据训练的模型，超过0.5个BLEU点，超过仅使用源端信息的强大FDA基线。
2018-11-07 cs.CL
