Simultaneous Translation with Offline Speech and LLM Models in CUNI Submission to IWSLT 2025
Charles University（查理大学）
本文提出基于离线 Whisper 和 EuroLLM 的级联同声翻译系统，采用 AlignAtt 策略并注入术语，在 IWSLT 2025 任务中较基线提升 2-22 BLEU，并引入新的延迟度量。
2025-06-20 cs.CL
CUNI Non-Autoregressive System for the WMT 22 Efficient Translation Shared Task
Charles University（查理大学）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们提出了一个非自回归系统提交给WMT 22高效翻译共享任务。Helcl等人（2022）使用了我们的系统，试图在非自回归和自回归模型之间提供公平的比较。本次提交的文件旨在建立坚实的基线以及合理的评估方法，特别是在衡量解码速度方面。该模型本身是一个12层的Transformer模型，通过强自回归教师模型在知识提取数据集上使用连接主义时间分类进行训练。
2022-12-01 cs.CL
CUNI Submission in WMT22 General Task
Charles University（查理大学）
我们为WMT 22一般翻译任务提交CUNI-佛手柑。我们在英语$\rightarrow$捷克方向竞争。我们的提交进一步探讨了块回译技术。与以前的工作相比，我们衡量性能的COMET分数和命名实体的翻译准确性。我们评估了MBR解码与传统混合反向翻译训练相比的性能，并且当同时使用这两种技术时，我们显示出可能的协同作用。结果表明，这两种方法都是提高翻译质量的有效手段，当它们结合起来时会产生更好的效果。
2022-11-29 cs.CL
CUNI System for the WMT18 Multimodal Translation Task
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们提交我们的提交给WMT 18多模态翻译任务。我们提交的主要特点是应用自注意网络而不是递归神经网络。我们评估两种方法，将视觉功能的模型：第一，我们包括图像表示作为另一个输入到网络;第二，我们训练模型预测的视觉功能，并将其作为一个辅助目标。对于我们的提交，我们获得了文本和多模态的额外数据。这两种方法都比递归网络和自注意文本基线有了显着的改进。
2018-11-12 cs.CL
CUNI System for the WMT19 Robustness Task
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们提交了我们对WMT19鲁棒性任务的提交。我们的基准系统是查尔斯大学（CUNI）Transformer系统，该系统针对WMT 18新闻翻译共享任务进行了培训。定量结果表明，CUNI Transformer系统已经比任务组织者提供的基于LSTM的基线对噪声输入更加鲁棒。我们通过对域内噪声数据进行微调，进一步提高了模型的性能，而不会影响新闻领域的翻译质量。
2019-06-21 cs.CL
CUNI systems for WMT21: Terminology translation Shared Task
Charles University（查尔斯大学）
本文介绍了查尔斯大学提交的术语翻译共享任务在WMT21。这项任务的目的是设计一个系统，翻译某些术语的基础上提供的术语数据库，同时保持高的整体翻译质量。我们参加了英法双语比赛。我们的方法是基于提供所需的翻译以及输入句子，并训练模型使用这些提供的术语。我们在训练和推理过程中对术语进行词形化，以使模型能够学习如何在单词与术语数据库中提供的形式不同时生成正确的单词表面形式。我们的提交在精确匹配指标中排名第二，该指标评估了模型在翻译中产生所需术语的能力。
2021-09-20 cs.CL
CUNI-KIT System for Simultaneous Speech Translation Task at IWSLT 2022
Charles University（查理大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Maastricht University（马斯特里赫特大学）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们描述了我们提交给IWITH2022的同步语音翻译。我们探索策略，利用离线模型在同时设置，而不需要修改原始模型。在我们的实验中，我们表明，我们的在线化算法几乎与离线设置相当，而在测试集上的延迟方面，$3\times$比离线更快。我们还表明，在线离线模型优于最好的IWSLT2021同步系统在中等和高延迟制度，几乎是在低延迟制度的标准。我们公开了我们的系统。
2022-05-11 cs.CL
Multimodal Attention for Neural Machine Translation
LIUM, University of Le Mans（勒芒大学LIUM）；Galatasaray University（加拉塔萨雷大学）
注意力机制是神经机器翻译（NMT）的重要组成部分，据报道，与固定长度编码的序列到序列模型相比，它可以产生更丰富的源表示。最近，在图像描述的背景下，注意力的有效性也被探索。在这项工作中，我们评估的可行性的多模态注意力机制，同时集中在一个图像和它的自然语言的描述，在另一种语言中产生的描述。我们训练几个变种，我们提出的注意力机制的Multi30 k多语言图像描述数据集。我们发现，与文本NMT基线相比，BLEU和METEOR中每种模态的专用注意力达到了1.6分。
2016-09-13 cs.CL cs.NE
UMONS Submission for WMT18 Multimodal Translation Task
University of Mons（蒙斯大学）
本文介绍了在第三届机器翻译会议（WMT 18）上提出的多模态机器翻译任务的UMONS解决方案。我们探索一种新的架构，称为deepGRU，基于神经图像描述（NIC）的相关任务的最新发现。以下章节中介绍的模型可以为受约束的（英语，图像）->德语和（英语，图像）->法语子任务获得最佳METEOR翻译分数。
2018-10-15 cs.CL
Ensemble Sequence Level Training for Multimodal MT: OSU-Baidu WMT18 Multimodal Machine Translation System Report
Oregon State University（俄勒冈州立大学）；Baidu Research（百度研究院）
本文介绍了俄勒冈州立大学和百度研究院为WMT 2018多模态翻译共享任务联合开发的多模态机器翻译系统。在本文中，我们介绍了一种简单的方法，将图像信息，通过馈送图像特征到解码器端。我们还探索了不同的序列级训练方法，包括定时采样和强化学习，这导致了实质性的改进。我们的系统使用不同的架构和训练方法集成了几个模型，并在三个子任务中实现了最佳性能：任务1中的En-De和En-Cs以及任务1B中的（En+De+Fr）-Cs。
2018-08-31 cs.CL
Multimodal Compact Bilinear Pooling for Multimodal Neural Machine Translation
University of Mons（蒙斯大学）
在最先进的神经机器翻译中，在解码期间使用注意力机制来增强翻译。在每一步中，解码器都使用这种机制来关注源句子的不同部分，以便在输出目标单词之前收集最有用的信息。最近，注意力机制的有效性也被探索用于多模态任务，其中可以同时关注句子部分和图像区域。汇集两种模态的方法通常包括逐元素乘积、求和或串联。在本文中，我们评估了更先进的多模态紧凑双线性池化方法，它需要两个向量的外积来结合两种模态的注意力特征。这在以前已经被研究用于视觉问答。我们尝试了这种方法的多模态图像字幕翻译和基本的组合方法相比，显示改进。
2017-03-23 cs.CL
LIUM-CVC Submissions for WMT18 Multimodal Translation Task
Le Mans University（勒芒大学）；Universitat Autonoma de Barcelona（巴塞罗那自治大学）
本文描述了由LIUM和CVC为WMT 18多模态翻译共享任务开发的多模态神经机器翻译系统。今年，我们对之前的多模态注意力架构提出了几项修改，以便更好地整合卷积特征，并使用编码器端信息对其进行优化。根据自动评估指标METEOR，我们最终的约束提交在约束提交中排名第一的英语-法语和第二的英语-德语对。
2018-09-01 cs.CL
Debiasing Word Embeddings Improves Multimodal Machine Translation
Tokyo Metropolitan University（东京都立大学）
近年来，预训练的词嵌入已被证明适用于多模态神经机器翻译（NMT）模型，以解决可用数据集短缺的问题。然而，预训练的词嵌入的整合还没有被广泛探索。此外，据报道，在高维空间中预训练的词嵌入遭受hubness问题。虽然已经提出了一些去偏置技术来解决这个问题的其他自然语言处理任务，他们很少被研究多模态NMT模型。在这项研究中，我们研究了各种词嵌入，并介绍了两种去偏置技术的三个多模态NMT模型和两个语言对-英语-德语翻译和英语-法语翻译。通过我们的优化设置，多模态模型的整体性能在英语-德语翻译中提高了+1.93 BLEU和+2.02 METEOR，在英语-法语翻译中提高了+1.73 BLEU和+0.95 METEOR。
2019-06-22 cs.CL
LIUM-CVC Submissions for WMT17 Multimodal Translation Task
University of Le Mans（勒芒大学）；Universitat Autonoma de Barcelona（巴塞罗那自治大学）
本文描述了由LIUM和CVC为WMT 17多模态翻译共享任务开发的单模态和多模态神经机器翻译系统。我们主要探索了两种多模态架构，其中集成了全局视觉特征或卷积特征映射，以便从视觉上下文中受益。根据自动评估指标METEOR和BLEU，我们最终的系统在En-De和En-Fr语言对中排名第一。
2017-07-14 cs.CL
Multimodal Machine Translation with Embedding Prediction
Tokyo Metropolitan University（东京都立大学）
多模态机器翻译是神经机器翻译的一个重要应用。它帮助计算机深入理解视觉对象及其与自然语言的关系。然而，多模态NMT系统遭受可用训练数据的短缺，导致翻译稀有词的性能差。在NMT中，预训练的词嵌入已被证明可以改善低资源域的NMT，并提出了一种基于搜索的方法来解决罕见词问题。在这项研究中，我们有效地结合这两种方法在多模态NMT的背景下，并探讨我们如何能够充分利用预训练的词嵌入，以更好地翻译罕见的话。我们报告了1.24 METEOR和2.49 BLEU的整体性能改进，并实现了7.67的罕见词翻译F分数的提高。
2019-04-01 cs.CL
Hindi Visual Genome: A Dataset for Multimodal English-to-Hindi Machine Translation
Charles University（查理大学）；KIIT University（KIIT大学）
Visual Genome是一个将结构化图像信息与英语语言连接起来的数据集。我们提出了“印地语视觉基因组”，一个多模态数据集，由文本和图像组成，适用于英语-印地语多模态机器翻译任务和多模态研究。我们从Visual Genome中选择了简短的英语片段（标题）以及相关的图像，并通过手动后期编辑将其自动翻译为印地语，其中考虑了相关的图像。我们准备了一套31525段，伴随着一个挑战测试集的1400段。这个挑战测试集是通过基于嵌入相似性搜索（特别是）歧义英语单词并手动选择图像有助于解决歧义的单词来创建的。我们的数据集是第一个用于多模态英语-印地语机器翻译的数据集，可免费用于非商业研究目的。我们的印地语版本的Visual Genome还允许创建印地语图像标签或其他实用工具。印地语视觉基因组还在亚洲翻译研讨会（WAT）2019多模态翻译任务中服务。
2019-07-21 cs.CL
Visually Grounded Word Embeddings and Richer Visual Features for Improving Multimodal Neural Machine Translation
University of Mons（蒙斯大学）
在多模态神经机器翻译（MNMT）中，神经模型生成描述图像的翻译句子，给定图像本身和英语的一个源描述。这被认为是多模态图像字幕翻译任务。用卷积神经网络（CNN）处理图像以提取可由翻译模型利用的视觉特征。到目前为止，所使用的CNN是在目标检测和定位任务上进行预训练的。我们假设，更丰富的架构，如密集的字幕模型，可能更适合MNMT，并可能导致改进的翻译。我们将这种直觉扩展到词嵌入，在那里我们为我们的语料库词汇计算语言和视觉表示。我们结合并比较了不同的配置，
2017-12-16 cs.CL
A Visual Attention Grounding Neural Model for Multimodal Machine Translation
University of California, Davis（加州大学戴维斯分校）
我们介绍了一种新的多模态机器翻译模型，利用并行的视觉和文本信息。我们的模型共同优化了共享视觉语言嵌入和翻译器的学习。该模型利用了视觉注意力基础机制，将视觉语义与相应的文本语义联系起来。我们的方法在Multi30K和Ambient COCO数据集上获得了具有竞争力的最先进结果。我们还收集了一个新的多语言多模态产品描述数据集，以模拟真实世界的国际在线购物场景。在这个数据集上，我们的视觉注意力基础模型比其他方法表现得更好。
2018-08-28 cs.CL
An empirical study on the effectiveness of images in Multimodal Neural Machine Translation
University of Mons（蒙斯大学）
在最先进的神经机器翻译（NMT）中，在解码期间使用注意力机制来增强翻译。在每一步中，解码器都使用这种机制来关注源句子的不同部分，以便在输出目标单词之前收集最有用的信息。最近，注意力机制的有效性也被探索用于多模态任务，其中可以关注它们所描述的句子部分和图像区域。在本文中，我们比较了几种注意力机制在多模态翻译任务（英语，图像到德语）和评估的能力，利用图像，以提高翻译模型。我们在Multi30k数据集上的得分超过了最先进的水平，但我们仍然识别并报告了机器在翻译时的不同不当行为。
2017-07-04 cs.CL
Towards Multimodal Simultaneous Neural Machine Translation
Tokyo Metropolitan University（东京都立大学）
同声翻译是指在说话人的话语完成之前翻译一个句子，以实现多种语言的实时理解。由于在解码过程中输入信息的不足，这项任务比一般的整句翻译更具挑战性。为了缓解这一不足，我们提出了多模态同步神经机器翻译（MSNMT），它利用视觉信息作为一个额外的模态。我们对Multi30k数据集的实验表明，MSNMT在更及时的翻译情况下，以低延迟显著优于纯文本翻译。此外，我们通过对MSNMT进行对抗性评估来验证视觉信息在解码过程中的重要性，在该评估中，我们研究了模型在不一致输入模态下的表现，并分析了源语言和目标语言之间不同词序的影响。
2020-10-23 cs.CL
Multimodal Pivots for Image Caption Translation
Heidelberg University（海德堡大学）
我们提出了一种方法，以提高统计机器翻译的图像描述定义在视觉空间中的多模态枢轴。其核心思想是在一个以目标语言为标题的图像数据库中进行图像检索，并使用最相似的图像的标题对翻译输出进行跨语言重新排序。我们的方法不依赖于大量的域内并行数据的可用性，而仅依赖于可用的单语言字幕图像的大数据集，以及最先进的卷积神经网络来计算图像相似性。我们的实验评估显示，在强基线上，BLEU点的改进为1。
2016-06-13 cs.CL
Exploring the Necessity of Visual Modality in Multimodal Machine Translation using Authentic Datasets
College of Big Data and Internet, Shenzhen Technology University（深圳技术大学大数据与互联网学院）；College of Application and Technology, Shenzhen University（深圳大学应用技术学院）
本文基于 Tang 等人（2022）的通用 MMT 框架，利用真实翻译数据集和探测任务重新评估视觉模态，发现其对多数数据集有益但仅起可替代的补充作用，效果取决于图文对齐与一致性。
2024-04-09 cs.CL
Exploiting Multimodal Reinforcement Learning for Simultaneous Machine Translation
Imperial College London（伦敦帝国学院）；University of Sheffield（谢菲尔德大学）；Dublin City University（都柏林城市大学）
本文通过探讨两个主要概念来解决同步机器翻译（SiMT）的问题：（a）自适应策略，以学习高翻译质量和低延迟之间的良好权衡;（b）视觉信息，通过提供额外的（视觉）上下文信息来支持这一过程，这些信息可能在文本输入产生之前就可用。为此，我们提出了一个多模态的方法，同时机器翻译使用强化学习，与策略，以整合视觉和文本信息的代理和环境。我们提供了不同类型的视觉信息和集成策略如何影响同声翻译模型的质量和延迟的探索，并证明视觉线索导致更高的质量，同时保持低延迟。
2021-02-22 cs.CL
m3P: Towards Multimodal Multilingual Translation with Multimodal Prompt
State Key Lab of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；Department of Computer Science, University of British Columbia（不列颠哥伦比亚大学计算机科学系）
本文提出m3P框架，利用多模态提示引导多模态多语言神经机器翻译，通过引入视觉上下文作为语言无关表示，以图像为中心语言最小化不同语言表示距离，构建支持102种语言的InstrMulti102数据集，大幅超越基线方法。
2024-03-26 cs.AI cs.CL
OSU Multimodal Machine Translation System Report
Oregon State University（俄勒冈州立大学）
本文介绍了俄勒冈州立大学提交的共享WMT'17任务“多模态翻译任务I”。在这个任务中，所有的句子对都是不同语言的图像标题。这个任务和传统的机器翻译的关键区别在于，我们有相应的图像作为每个句子对的附加信息。在本文中，我们介绍了一个简单但有效的系统，该系统获取不同语言之间共享的图像，将其输入编码和解码端。我们报告我们的系统的性能，英语，法语和英语，德语与Flickr 30 K（域内）和MSCOCO（域外）数据集。我们的系统在MSCOCO数据集的英语-德语TER中达到了最好的性能。
2017-12-14 cs.CL
Added Toxicity Mitigation at Inference Time for Multimodal and Massively Multilingual Translation
FAIR, Meta（Meta AI 基础人工智能研究实验室）
提出MinTox流程，在推理时通过多模态毒性检测分类器识别并缓解翻译新增毒性，应用于SEAMLESSM4T系统，可过滤25%-95%毒性且保持翻译质量。
2023-11-11 cs.CL
The MeMAD Submission to the WMT18 Multimodal Translation Task
Aalto University（阿尔托大学）；EURECOM（欧洲通信学院）；University of Helsinki（赫尔辛基大学）
本文介绍了WMT多模态机器翻译共享任务的MeMAD项目入口。我们建议将Transformer神经机器翻译（NMT）架构适应于多模态设置。在本文中，我们还描述了与纯文本翻译系统导致我们这个选择的初步实验。根据flickr18的自动指标，我们拥有英语到德语和英语到法语的最高评分系统。实验结果表明，视觉特征对系统的识别效果影响较小。我们最大的收益来自于底层纯文本NMT系统的质量。我们发现，适当使用额外的数据是有效的。
2018-09-03 cs.CL
Good for Misconceived Reasons: An Empirical Revisiting on the Need for Visual Context in Multimodal Machine Translation
The University of Hong Kong（香港大学）；Tencent AI Lab（腾讯人工智能实验室）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；East China Normal University（华东师范大学）
神经多模态机器翻译（MMT）系统旨在通过用多模态信息扩展传统的纯文本翻译模型来执行更好的翻译。许多最近的研究报告的改进时，配备他们的模型与多式联运模块，尽管这种改进是否确实来自多式联运部分的争议。我们通过设计两个可解释的MMT模型来重新审视多模态信息在MMT中的贡献。令我们惊讶的是，尽管我们的模型复制了最近开发的多模态集成系统所获得的类似收益，但我们的模型学会了忽略多模态信息。经过进一步的研究，我们发现多模态模型相对于纯文本模型的改进实际上是正则化效应的结果。我们报告的实证研究结果，突出MMT模型的可解释性的重要性，并讨论我们的研究结果将如何有利于未来的研究。
2021-05-30 cs.AI cs.CL
A Survey of Vision-Language Pre-training from the Lens of Multimodal Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；Air Force Research Laboratory（空军研究实验室）
该综述从多模态机器翻译视角梳理视觉-语言预训练研究，总结相关架构、预训练目标与数据集，指出当前该领域在多模态翻译任务上研究不足，并推测未来发展方向。
2023-06-12 cs.CL
Multimodal Machine Translation through Visuals and Speech
University of Copenhagen（哥本哈根大学）；Imperial College London（帝国理工学院）；University of Helsinki（赫尔辛基大学）；Aalto University（阿尔托大学）
多模态机器翻译涉及从一个以上的模态提取信息，基于这样的假设，即额外的模态将包含输入数据的有用的替代视图。这一领域最突出的任务是口语翻译、图像引导翻译和视频引导翻译，它们分别利用音频和视觉形式。这些任务与语音识别、图像描述和视频描述的单语对应任务的区别在于需要模型以不同的语言生成输出。本调查回顾了这些任务的主要数据资源、围绕这些资源开展的评价活动、端到端和管道方法的最新技术水平以及性能评估方面的挑战。本文最后讨论了这些领域未来研究的方向：需要更广泛和更具挑战性的数据集，有针对性的模型性能评估，以及在输入和输出空间的多模态。
2019-11-28 cs.CL
Supervised Visual Attention for Simultaneous Multimodal Machine Translation
Imperial College London（帝国理工学院）
近年来，多模态机器翻译（MMT）的研究出现了激增，其中使用诸如图像的附加模态来提高文本系统的翻译质量。这种多模态系统的一个特别用途是同步机器翻译的任务，其中视觉上下文已被证明可以补充源句子提供的部分信息，特别是在翻译的早期阶段。在本文中，我们提出了第一个基于transformer的同步MMT架构，这是以前没有探索过的领域。此外，我们扩展了这个模型的辅助监督信号，指导其视觉注意力机制使用标记短语区域对齐。我们对三种语言方向进行了全面的实验，并使用自动度量和人工检查进行了彻底的定量和定性分析。我们的研究结果表明，（i）监督视觉注意力始终提高MMT模型的翻译质量，（ii）在启用监督损失的情况下对MMT进行微调，比从头开始训练MMT带来更好的性能。与最先进的模型相比，我们提出的模型实现了高达2.3 BLEU和3.5 METEOR点的改进。
2022-06-29 cs.CL
Detecting Concrete Visual Tokens for Multimodal Machine Translation
PAR Government Systems Corporation（PAR政府系统公司）；Air Force Research Laboratory（空军研究实验室）
针对多模态机器翻译的视觉接地与掩码挑战，提出多种具体视觉标记检测与选择方法，基于GRAM架构在合成多模态数据集上训练，实现了性能与视觉语境利用率的提升。
2024-03-05 cs.CL
Findings of the Second Shared Task on Multimodal Machine Translation and Multilingual Image Description
University of Edinburgh（爱丁堡大学）；University of Le Mans（勒芒大学）；University of Sheffield（谢菲尔德大学）
我们提出了多模态机器翻译和多语言图像描述的第二个共享任务的结果。9个小组向两项任务提交了19个系统。多模态翻译任务，其中的源语句是由图像补充，扩展了一种新的语言（法语）和两个新的测试集。更改了多语言图像描述任务，以便在测试时仅给出图像。与去年相比，多式联运系统有所改善，但纯文本系统仍具有竞争力。
2017-10-19 cs.CL cs.CV
On Vision Features in Multimodal Machine Translation
Northeastern University（东北大学）；NiuTrans Research（小牛翻译研究院）
以前关于多模式机器翻译（MMT）的工作主要集中在将视觉特征融入翻译的方式上，但很少关注视觉模型的质量。在这项工作中，我们调查的影响，视觉模型的MMT。鉴于Transformer在计算机视觉中越来越流行，我们尝试了各种强大的模型（如视觉Transformer）和增强的功能（如对象检测和图像描述）。我们开发了一个选择性注意模型来研究MMT中图像的块级贡献。在详细的探索任务中，我们发现更强的视觉模型有助于从视觉模态学习翻译。我们的研究结果还表明，需要仔细研究MMT模型，特别是当目前的基准是小规模和偏见。我们的代码可以在\url{https://github.com/libeineu/fairseq_mmt}中找到。
2022-03-17 cs.CL
IITP at WAT 2021: System description for English-Hindi Multimodal Translation Task
Indian Institute of Technology Patna（巴特那印度理工学院）
神经机器翻译（NMT）因其端到端的可训练灵活性而成为当今机器翻译的主流技术。然而，NMT仍然很难在低资源环境中正确翻译，特别是在遥远的语言对上。克服这一问题的方法之一是利用其他模式提供的信息。这个想法是，尽管语言不同，但源语言和目标语言说话者看到的是相同的东西，源语言和目标语言的视觉表示是相同的，这可以积极地帮助系统。多模态信息可以帮助NMT系统通过消除某些短语或单词上的歧义来改进翻译。我们参加了第八届亚洲翻译研讨会（WAT - 2021）的英语-印地语多模态翻译任务，并在评估和挑战子集中分别获得42.47和37.50的BLEU分数。
2021-07-04 cs.AI cs.CL
Scalable Multilingual Multimodal Machine Translation with Speech-Text Fusion
Harbin Institute of Technology（哈尔滨工业大学）；Pengcheng Laboratory（鹏城实验室）
本文提出一种语音引导的机器翻译框架，通过融合语音和文本提升多语言翻译性能，并在多个基准上取得新突破。
2026-03-03 cs.CL
Probing the Need for Visual Context in Multimodal Machine Translation
LIUM, Le Mans University（勒芒大学计算机信息实验室）；Imperial College London（帝国理工学院）
当前多模态机器翻译（MMT）的研究表明，视觉模态要么是不必要的，要么只是稍微有益的。我们认为，这是由于任务（Multi30K）唯一可用的数据集中使用了非常简单，简短和重复的句子，使源文本足以作为上下文。然而，在一般情况下，我们认为可以将视觉和文本信息结合起来，以便为翻译奠定基础。在本文中，我们探索的贡献，最先进的MMT模型的视觉模态进行系统的分析，我们部分剥夺了源端的文本上下文的模型。我们的研究结果表明，在有限的文本背景下，模型能够利用视觉输入来生成更好的翻译。这与当前的观点相矛盾，即MMT模型由于图像特征的质量或它们集成到模型中的方式而忽略视觉模态。
2019-06-02 cs.CL
Fused Acoustic and Text Encoding for Multimodal Bilingual Pretraining and Speech Translation
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
近年来，文本和语音的表示学习已经成功地改善了许多与语言相关的任务。然而，所有现有的方法都受到两个限制：（a）它们仅从一种输入模态学习，而诸如端到端语音翻译的任务需要语音和文本的统一表示，并且因此，（b）它们不能利用各种大规模文本和语音数据，并且它们的性能受到并行语音翻译数据的稀缺性的限制。我们提出了一种融合的声学和文本掩蔽语言模型（FAT-MLM），其从各种类型的语料库（包括用于语音识别和机器翻译的并行数据，甚至纯语音和文本数据）联合学习声学和文本输入的统一表示。在此跨模态表示学习框架内，我们进一步提出了一个融合声学和文本语音翻译（FAT-ST）的端到端模型。三个翻译方向的实验表明，通过FAT-MLM的微调，我们提出的语音翻译模型大大提高了翻译质量，最高可达+5.9 BLEU。
2021-09-14 cs.CL
Adding Multimodal Capabilities to a Text-only Translation Model
PAR Government Systems Corporation（PAR政府系统公司）；Air Force Research Laboratory（空军研究实验室）
针对现有多模态机器翻译模型过拟合Multi30k、在纯文本测试集表现差的问题，研究以高性能纯文本MT模型为基础，加入门控连接的视觉-文本适配器层，经视觉掩码预训练和Multi30k微调，实现两类数据集上的性能兼顾。
2024-03-05 cs.CL
LLaVA-NeuMT: Selective Layer-Neuron Modulation for Efficient Multilingual Multimodal Translation
University of Chinese Academy of Sciences（中国科学院大学）；The University of Queensland（昆士兰大学）
提出LLaVA-NeuMT框架，通过层选择与神经元级适配分离语言特有和无关表示，仅微调40%参数即在两个多语言多模态翻译数据集上达到SOTA。
2025-07-25 cs.CL cs.MM
Distill the Image to Nowhere: Inversion Knowledge Distillation for Multimodal Machine Translation
Tencent WeChat（腾讯微信）；Zhejiang University（浙江大学）
针对多模态机器翻译推理时依赖对齐图像的问题，提出 IKD-MMT，通过反转知识蒸馏从源文本生成多模态特征，在 Multi30k 上达到甚至超越图像必需框架的性能。
2023-04-21 cs.CL
GIIFT: Graph-guided Inductive Image-free Multimodal Machine Translation
Department of Computer Science University of Manchester（曼彻斯特大学计算机科学系）；Department of Advanced Information Technology Kyushu University（九州大学先进信息技术系）
GIIFT通过构建多模态场景图并采用两阶段图引导框架，在统一融合空间中学习多模态知识，实现了无需图像即可进行归纳式多模态翻译，并在Multi30K和WMT基准上达到最先进性能。
2025-10-08 cs.AI cs.CL
Multimodal Machine Translation with Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
多模态机器翻译是计算机视觉与语言处理相结合的应用之一。鉴于在机器翻译领域，许多最先进的算法仍然只采用文本信息，这是一项独特的任务。在这项工作中，我们探讨了强化学习在多模态机器翻译中的有效性。我们提出了一种基于Advantage Actor-Critic（A2 C）算法的新算法，该算法专门针对EMNLP 2018第三届机器翻译会议（WMT 18）的多模态机器翻译任务。我们在Multi 30 K多语言英语-德语图像描述数据集和Flickr 30 K图像实体数据集上实验了我们提出的算法。该模型采用图像和文本两种输入通道，使用翻译评价指标作为训练奖励，并取得了比监督学习MLE基线模型更好的结果。此外，我们还讨论了将强化学习用于机器翻译的前景和局限性。我们的实验结果表明，一个有前途的强化学习解决方案的一般任务的多模态序列到序列学习。
2018-05-07 cs.AI cs.CL cs.IR
Memory Reviving, Continuing Learning and Beyond: Evaluation of Pre-trained Encoders and Decoders for Multimodal Machine Translation
Department of Automation, Shanghai Jiao Tong University（上海交通大学自动化系）；School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；Labs, Huawei Technologies CO., LTD（华为技术有限公司2012实验室）
本研究系统评估预训练编码器与解码器在多模态机器翻译中的影响，发现预训练作用关键但不对称，解码器提升流畅度与准确性，编码器效果依赖视觉-文本对齐质量，为架构设计提供指导。
2025-04-25 cs.AI cs.CL
CaMMT: Benchmarking Culturally Aware Multimodal Machine Translation
MBZUAI（人工智能研究所）
本文提出人工整理的基准 CaMMT，包含超 5,800 组图像与英—地区语言平行字幕，用于评估五个视觉语言模型，发现视觉语境能提升文化特定项处理、消歧和性别标记等翻译质量。
2025-09-21 cs.CL
Vision Matters When It Should: Sanity Checking Multimodal Machine Translation Models
ETH Zürich（苏黎世联邦理工学院）；New York University（纽约大学）；University of Zürich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
多模态机器翻译（MMT）系统已被证明优于其纯文本神经机器翻译（NMT）同行时，视觉上下文是可用的。然而，最近的研究也表明，当相关图像被不相关的图像或噪声替换时，MMT模型的性能只受到轻微影响，这表明模型可能根本没有利用视觉上下文。我们假设这可能是由常用的评估基准（也称为Multi30K）的性质造成的，其中图像标题的翻译是在没有实际向翻译人员显示图像的情况下准备的。在本文中，我们提出了一个定性的研究，研究数据集在刺激视觉模态的杠杆作用的作用，我们提出的方法来突出的重要性，在数据集中的视觉信号，这表明改进的依赖模型的源图像。我们的研究结果表明，有效的MMT架构的研究目前受到缺乏合适的数据集和仔细考虑，必须采取在创建未来的MMT数据集，我们也提供了有用的见解。
2021-09-08 cs.CL
The Case for Evaluating Multimodal Translation Models on Text Datasets
PAR Government Systems Corporation（PAR政府系统公司）；Air Force Research Laboratory（空军研究实验室）
针对现有Multi30k测试集无法衡量MMT模型视觉信息利用能力与复杂句翻译能力的问题，提出结合CoMMuTE框架、WMT纯文本测试集与Multi30k的评估方案，发现仅用Multi30k训练的MMT模型在纯文本测试集上性能远低于纯文本MT模型。
2024-03-05 cs.CL
Make Imagination Clearer! Stable Diffusion-based Visual Imagination for Multimodal Machine Translation
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
提出基于 Stable Diffusion 的视觉想象网络，通过强化学习启发式反馈生成与源句一致的图像，显著提升多模态及纯文本机器翻译性能。
2025-01-06 cs.CL
TopicVD: A Topic-Based Dataset of Video-Guided Multimodal Machine Translation for Documentaries
College of Application and Technology, Shenzhen University, China（应用技术学院，深圳大学，中国）；College of Big Data and Internet, Shenzhen Technology University, China（大数据与互联网学院，深圳科技大学，中国）
本文构建了面向纪录片的基于主题的视频引导多模态机器翻译数据集TopicVD，并提出基于跨模态双向注意力的多模态机器翻译模型，实验证明视觉信息和全局上下文能有效提升纪录片翻译性能，同时揭示了领域自适应研究的必要性。
2025-05-09 cs.CL
LVP-M3: Language-aware Visual Prompt for Multilingual Multimodal Machine Translation
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
多模态机器翻译（MMT）致力于增强具有视觉特征的纯文本翻译，引起了自然语言处理和计算机视觉界的广泛关注。最近的进展仍然在努力为每个语言对训练单独的模型，这是昂贵的，当现实世界中语言的数量增加时是负担不起的。换句话说，尚未研究多语言多模态机器翻译（多语言MMT）任务，其旨在通过为多种语言提供共享语义空间来处理上述问题。此外，意象情态没有语言边界，这一点优于弥合语言之间的语义鸿沟。为此，我们首先提出了多语言MMT任务，建立两个新的多语言MMT基准数据集，涵盖七种语言。然后，提出了一个有效的基线LVP-M3使用视觉提示，以支持不同语言之间的翻译，它包括三个阶段（令牌编码，语言感知的视觉提示生成，和语言翻译）。在我们构建的基准数据集上的大量实验结果证明了LVP-M3方法对多语言MMT的有效性。
2022-11-28 cs.AI cs.CL
Beyond Triplet: Leveraging the Most Data for Multimodal Machine Translation
ByteDance（字节跳动）
针对多模态翻译数据稀缺和基准受限问题，提出2/3-Triplet框架利用大规模非三元组数据，并构建EMMT电商多模态数据集，显著提升现实场景翻译性能。
2023-09-03 cs.CL
EMMeTT: Efficient Multimodal Machine Translation Training
NVIDIA（英伟达）
本文提出多模态训练框架EMMeTT，通过均衡采样、高效数据迭代和2D分桶方案提升训练效率，使模型在保留神经机器翻译能力的同时，在自动语音翻译任务上超越基线。
2024-09-20 cs.CL cs.SD eess.AS
Scene Graph as Pivoting: Inference-time Image-free Unsupervised Multimodal Machine Translation with Visual Scene Hallucination
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
本文提出以场景图为枢轴的无监督多模态机器翻译方法，通过视觉场景幻觉机制在推理时从文本场景图生成伪视觉场景图，在Multi30K上显著超越基线BLEU分数。
2023-05-25 cs.CL
Improving Visual Sensitivity of LLMs on Multimodal Machine Translation with Metric-based Loss Weighting
Maastricht University（马斯特里赫特大学）；Warsaw University of Technology（华沙理工大学）；IDEAS Research Institute（IDEAS研究所）
提出基于度量的损失加权方法，利用PCXMI指标识别受益于图像的令牌并提高其损失，增强多模态翻译的视觉敏感性，在CoMMuTE数据集上准确率提升超7个百分点。
2026-09-28 cs.AI cs.CL
