Difficulty-Aware Machine Translation Evaluation
University of Macau（澳门大学）
机器翻译（MT）系统产生的高质量翻译结果仍然对自动评估提出了巨大的挑战。目前的机器翻译评估对每个句子成分给予了同样的关注，而现实世界考试的问题（例如，大学考试）有不同的难度和权重。在本文中，我们提出了一种新的难度意识的机器翻译评价指标，扩大了评估维度，考虑到翻译难度。大多数机器翻译系统无法预测的翻译将被视为困难的翻译，并在最终的评分函数中分配较大的权重，反之亦然。在WMT 19英语-德语机器人共享任务上的实验结果表明，我们提出的方法在人类相关性方面优于常用的MT指标。特别是，我们提出的方法表现良好，即使所有的MT系统都非常有竞争力，这是当大多数现有的指标无法区分它们。源代码可在https://github.com/NLP2CT/Difficulty-Aware-MT-Evaluation上免费获得。
2021-07-30 cs.AI cs.CL
Analyzing the Attention Heads for Pronoun Disambiguation in Context-aware Machine Translation Models
Maastricht University（马斯特里赫特大学）
本文分析上下文感知机器翻译模型中注意力头对代词消歧的影响，发现部分头未充分利用，微调后准确率提升最多5个百分点。
2024-12-15 cs.AI cs.CL cs.LG
StressTransfer: Stress-Aware Speech-to-Speech Translation with Emphasis Preservation
The Chinese University of Hong Kong, China（香港中文大学）；Nara Institute of Science and Technology（奈良科学技術大学）
提出StressTransfer系统，利用LLM将源语言词级压力转为目标语言标签以指导TTS，通过自动数据生成和LLM-as-Judge评估，在保留强调的同时维持翻译质量与自然度。
2025-10-15 cs.AI cs.CL
Gender Aware Spoken Language Translation Applied to English-Arabic
Microsoft AI & Research（微软人工智能与研究部）
口语翻译（Spoken Language Translation，缩写为EBT）的使用越来越广泛，并成为一种有助于跨越语言障碍的沟通工具。性别平等的挑战之一是从一种没有性别认同的语言翻译成一种有性别认同的语言，如英语翻译成阿拉伯语。在本文中，我们介绍了一种方法来解决这种限制，使神经机器翻译系统产生性别意识的翻译。我们表明，NMT系统可以模拟说话者/听话者的性别信息，产生性别意识的翻译。我们提出了一种方法来生成用于适应NMT系统产生性别意识的数据。所提出的方法可以实现显着提高翻译质量的2 BLEU点。
2018-02-26 cs.CL
Uncertainty-Aware Machine Translation Evaluation
Instituto de Telecomunicações（电信研究所）；Unbabel（Unbabel公司）；INESC-ID（葡萄牙系统与计算机工程研究所（里斯本分部））；Instituto Superior Técnico（高等技术学院）；LUMLIS (Lisbon ELLIS Unit)（里斯本ELLIS单元LUMLIS）
最近提出了几种基于神经的度量来评估机器翻译质量。然而，所有这些方法都采用点估计，这在分部一级提供的信息有限。更糟糕的是，它们是在嘈杂、有偏见和缺乏人类判断的情况下训练的，往往导致不可靠的质量预测。在本文中，我们介绍了不确定性感知MT评估和分析的可信度的预测质量。我们将COMET框架与两种不确定性估计方法（Monte Carlo dropout和deep ensembles）相结合，以获得质量分数和置信区间。我们比较了QT21数据集和WMT20指标任务中多个语言对的不确定性感知MT评估方法的性能，并使用MQM注释进行了增强。我们实验不同数量的参考文献，并进一步讨论了有用的不确定性意识的质量估计（没有参考文献），标志可能是关键的翻译错误。
2022-03-24 cs.CL cs.LG
GRAFT: A Graph-based Flow-aware Agentic Framework for Document-level Machine Translation
Indian Institute of Technology Bombay（印度理工学院班加罗尔分校）；DYSL-AI, DRDO（DYSL-AI，国防研究与发展组织）
本文提出GRAFT框架，利用LLM智能体结合图分割与DAG依赖建模进行文档级翻译，在多个翻译方向和领域上显著超越现有DocMT系统，有效提升语篇一致性与翻译质量。
2025-07-04 cs.AI cs.CL
LVP-M3: Language-aware Visual Prompt for Multilingual Multimodal Machine Translation
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
多模态机器翻译（MMT）致力于增强具有视觉特征的纯文本翻译，引起了自然语言处理和计算机视觉界的广泛关注。最近的进展仍然在努力为每个语言对训练单独的模型，这是昂贵的，当现实世界中语言的数量增加时是负担不起的。换句话说，尚未研究多语言多模态机器翻译（多语言MMT）任务，其旨在通过为多种语言提供共享语义空间来处理上述问题。此外，意象情态没有语言边界，这一点优于弥合语言之间的语义鸿沟。为此，我们首先提出了多语言MMT任务，建立两个新的多语言MMT基准数据集，涵盖七种语言。然后，提出了一个有效的基线LVP-M3使用视觉提示，以支持不同语言之间的翻译，它包括三个阶段（令牌编码，语言感知的视觉提示生成，和语言翻译）。在我们构建的基准数据集上的大量实验结果证明了LVP-M3方法对多语言MMT的有效性。
2022-11-28 cs.AI cs.CL
Context-aware Decoder for Neural Machine Translation using a Target-side Document-Level Language Model
The University of Tokyo（东京大学）
尽管已经提出了许多上下文感知神经机器翻译模型来将上下文纳入翻译中，但这些模型中的大多数都是在并行文档上进行端到端训练的。由于只有少数领域（和语言对）具有这样的文档级并行数据，因此我们无法在大多数领域中执行准确的上下文感知翻译。因此，我们提出了一个简单的方法，把一个文档级的语言模型的解码器转换成上下文感知的模型。我们的上下文感知解码器是建立在只有一个文档级并行语料库和单语语料库，因此没有文档级的并行数据是必要的。在理论上，本文的核心部分是利用上下文和当前句子之间的逐点互信息来表示上下文信息。我们证明了我们的方法的有效性，在三个语言对，英语到法语，英语到俄语，日语到英语，通过评估\textsc{bleu}和对比测试上下文感知翻译。
2021-11-15 cs.CL
Enhancing Machine Translation with Dependency-Aware Self-Attention
University of Copenhagen（哥本哈根大学）；Tokyo Institute of Technology（东京工业大学）
大多数神经机器翻译模型只依赖于成对的平行句子，假设句法信息是由注意力机制自动学习的。在这项工作中，我们研究了不同的方法，将句法知识的Transformer模型，并提出了一种新的，无参数，依赖意识的自我注意力机制，提高其翻译质量，特别是对于长句和低资源的情况下。我们展示了每种方法对WMT英语-德语和英语-土耳其语以及WAT英语-日语翻译任务的有效性。
2020-04-21 cs.CL
It Takes Two: A Dual Stage Approach for Terminology-Aware Translation
PES University（PES大学）
针对术语约束机器翻译问题，提出双阶段架构DuTerm，结合微调的术语感知NMT模型与提示型LLM后编辑模块，在WMT 2025术语任务语料上评估，发现LLM的上下文驱动术语处理优于严格约束，揭示关键权衡。
2025-11-07 cs.AI cs.CL
Enhancing Entity Aware Machine Translation with Multi-task Learning
Japan Advanced Institute of Science and Technology（日本先进科学研究院）
本文提出一种多任务学习方法，同时优化命名实体识别和机器翻译子任务，以提升实体感知机器翻译性能，并在SemEval 2025任务2数据集上验证了效果。
2025-06-23 cs.CL
Challenges in Context-Aware Neural Machine Translation
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）；University of Washington（华盛顿大学）
本文调查了上下文感知神经机器翻译在话语现象、上下文使用、模型架构和评估方面的挑战，并提出段落到段落翻译设置及中英文小说数据集以促进未来研究。
2023-10-23 cs.CL
Focused Concatenation for Context-Aware Neural Machine Translation
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Naver Labs Europe（NAVER欧洲实验室）
上下文感知神经机器翻译的一个简单的方法包括在饲料的标准编码器-解码器架构的连续句子的窗口，由当前的句子和一些句子从它的上下文连接到it. In这项工作中，我们提出了一个改进的连接方法，鼓励模型专注于翻译的当前句子，贴现目标上下文产生的损失。我们还提出了一个额外的改进，加强句子边界和相对句子距离的概念，促进模型符合上下文折扣的目标。我们评估我们的方法与平均翻译质量指标和对比测试集的翻译间的话语现象，证明其优越性香草拼接方法和其他复杂的上下文感知系统。
2022-10-24 cs.CL
Translate Smart, not Hard: Cascaded Translation Systems with Quality-Aware Deferral
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高级技术学院）；CentraleSupélec, Université Paris-Saclay（巴黎萨克雷大学中央高等电力学院）；Unbabel（Unbabel公司）；ELLIS Unit Lisbon（里斯本ELLIS单元）
针对级联翻译中弃权（不执行）规则设计难题，本文提出用现有 QE 指标决定是否调用大模型，使系统在仅 30%–50% 样本上调用大模型时达到同等性能，并经自动与人工评估验证。
2025-02-18 cs.AI cs.CL cs.LG
Variance-Aware Machine Translation Test Sets
University of Macau（澳门大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
我们发布了70个用于机器翻译（MT）评估的小而有区别的测试集，称为方差感知测试集（VAT），涵盖了从WMT 16到WMT 20比赛的35个翻译方向。通过一种新的方差感知过滤方法自动创建VAT，该方法过滤当前MT测试集的无差别测试实例，而无需任何人工劳动。实验结果表明，在主流语言对和测试集上，VAT在与人类判断的相关性方面优于原始WMT测试集。对VAT属性的进一步分析揭示了具有挑战性的语言特征（例如，低频词和专有名词的翻译）的竞争机器翻译系统，为构建未来的机器翻译测试集提供指导。测试集和准备方差感知MT测试集的代码可在https://github.com/NLP2CT/Variance-Aware-MT-Test-Sets上免费获得。
2021-11-07 cs.CL
Benchmarking Machine Translation with Cultural Awareness
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校）；Stanford University（斯坦福大学）
本文构建了带文化特定项标注的6语言对平行语料库并提出两种语用评估指标，用于评测机器翻译的文化意识，发现大语言模型在翻译缺乏目标文化对应项的CSI时优于神经机器翻译。
2024-10-19 cs.CL
Balancing Global Quality and Pronoun-Specific Feedback for Context-Aware Machine Translation
Indian Institute of Technology Patna（印度理工学院巴特那分校）；Indian Institute of Technology Jodhpur（印度理工学院焦特布尔分校）
本文提出ProNMT，一种结合全局质量与代词置信度反馈的迭代自训练方法，在上下文感知翻译中提升BLEU和COMET，表明针对性反馈需与全局信号及上下文结合才有效。
2026-09-15 cs.AI cs.CL
Context-Aware Learning for Neural Machine Translation
New York University（纽约大学）；CIFAR Azrieli Global Scholar（CIFAR Azrieli全球学者（注：CIFAR是加拿大高级研究所，非机构；此处按原文保留））
对大上下文神经机器翻译的兴趣，包括文档级和多模态翻译，一直在增长。许多作品提出了新的网络架构或评估方案，但潜在的有用的上下文有时仍然被较大的上下文翻译模型所忽略。在本文中，我们提出了一种新的学习算法，明确鼓励神经翻译模型考虑到额外的上下文使用多级成对排序损失。我们评估所提出的学习算法与基于transformer的大上下文翻译系统的文档级翻译。通过比较使用实际和随机上下文的性能，我们表明，使用该算法训练的模型对额外的上下文更敏感。
2019-03-12 cs.CL
Gloss2Text: Sign Language Gloss translation using LLMs and Semantically Aware Label Smoothing
George Mason University（乔治梅森大学）
针对手语Gloss2Text翻译任务，提出结合预训练LLMs、数据增强与语义感知标签平滑损失的改进方法，在PHOENIX Weather 2014T数据集上超越现有最优性能。
2024-07-12 cs.CL cs.CV cs.LG
Semantics-aware Attention Improves Neural Machine Translation
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
将句法结构整合到Transformer机器翻译中已经取得了积极的成果，但据我们所知，还没有工作试图这样做语义结构。在这项工作中，我们提出了两种新的无参数的方法注入语义信息到Transformers，都依赖于语义感知掩蔽（一些）的注意头。一种这样的方法通过场景感知自注意（SASA）头在编码器上操作。另一个在解码器上，通过场景感知交叉注意（SACrA）头。我们表现出一致的改进香草Transformer和语法感知模型的四种语言对。我们进一步表明，在一些语言对使用语义和句法结构时，额外的收益。
2022-05-24 cs.CL
Using Perturbed Length-aware Positional Encoding for Non-autoregressive Neural Machine Translation
NTT Communication Science Laboratories（NTT通信科学实验室）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
非自回归神经机器翻译（NAT）通常采用序列级知识蒸馏使用自回归神经机器翻译（AT）作为其教师模型。然而，NAT模型通常输出比AT模型更短的句子。在这项工作中，我们提出了序列级知识蒸馏（SKD）使用扰动长度感知位置编码，并将其应用到学生模型，Levenshtein Transformer。我们的方法优于标准Levenshtein Transformer的2.5点，在双语评估替补（BLEU）在最大的WMT 14德语到英语的翻译。NAT模型输出比基线NAT模型更长的句子。
2021-07-29 cs.CL
The Effectiveness of Morphology-aware Segmentation in Low-Resource Neural Machine Translation
Brandeis University（布兰迪斯大学）
该研究针对低资源神经机器翻译场景，对比BPE与LMVR、MORSEL等基于形态学的子词分词方法在英-尼、英-僧、英-哈翻译任务中的表现，发现不同分词方法无一致可靠的性能差异，最优方法随任务变化且统计上常无显著区别。
2021-03-20 cs.AI cs.CL
A Large-Scale Test Set for the Evaluation of Context-Aware Pronoun Translation in Neural Machine Translation
University of Zurich（苏黎世大学）；Amazon Research（亚马逊研究院）；Yandex Research（Yandex研究院）；University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
代词的翻译对机器翻译提出了一个特殊的挑战，因为它经常需要当前句子之外的上下文。最近的工作模型，可以访问跨句子边界的信息已经看到只有适度的改进，如BLEU的自动评估指标。然而，量化整体翻译质量的指标不足以衡量额外上下文带来的收益。我们认为，需要一种不同的评估，以评估如何以及模型翻译间的现象，如代词。因此，本文提出了一个测试套件的对比翻译，专门侧重于代词的翻译。此外，我们进行实验与几个上下文感知模型。我们表明，虽然这些系统的BLEU增益适中，但在我们的对比测试集上，它们在准确性方面大大优于基线。我们的实验也显示了多编码器架构的参数绑定的有效性。
2019-03-06 cs.CL
Context-Aware or Context-Insensitive? Assessing LLMs' Performance in Document-Level Translation
University of Amsterdam（阿姆斯特丹大学）
本研究针对文档级翻译中需句外上下文的词汇翻译问题，通过扰动和归因分析评估9个不同家族LLMs及2个基线模型的上下文利用能力，发现其文档翻译性能提升未体现在代词翻译上，强调需针对性微调以提升可靠性。
2025-02-14 cs.CL
Contrastive Learning for Context-aware Neural Machine TranslationUsing Coreference Information
Dept. of Electrical and Computer Engineering, Seoul National University（首尔大学电气与计算机工程系）；Automation and Systems Research Institute, Seoul National University（首尔大学自动化与系统研究所）
上下文感知神经机器翻译（NMT）融合了文本的上下文信息，可以提高文档级机器翻译的翻译质量。许多现有的上下文感知NMT的工作都集中在开发新的模型架构，将额外的上下文，并显示出一些有前途的结果。然而，大多数现有的作品依赖于交叉熵损失，从而限制了上下文信息的使用。在本文中，我们提出了CorefCL，一种新的数据增强和对比学习计划的基础上，源和上下文句子之间的共指。通过破坏自动检测到的上下文语句中的共指提及，CorefCL可以训练模型对共指不一致性敏感。我们在常见的上下文感知NMT模型和两个文档级翻译任务上实验了我们的方法。在实验中，我们的方法不断提高BLEU的比较模型上的英语-德语和英语-韩语任务。我们还表明，我们的方法显着提高了共指消解在英语-德语对比测试套件。
2021-09-13 cs.CL
Can Your Context-Aware MT System Pass the DiP Benchmark Tests? : Evaluation Benchmarks for Discourse Phenomena in Machine Translation
Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（赛富时亚洲研究院）；Warsaw University of Technology（华沙理工大学）
尽管越来越多的实例机器翻译（MT）系统，包括上下文信息，翻译质量的改善的证据是稀疏的，特别是语篇现象。像BLEU这样的流行指标没有足够的表现力或敏感性来捕捉质量的改进或下降，这些改进或下降在尺寸上很小，但在感知上很重要。我们介绍了第一个MT基准数据集，旨在跟踪和欢呼四个主要话语现象的改进：回指，词汇一致性，连贯性和可读性，以及话语连接翻译。我们还介绍了这些任务的评估方法，并在策划的数据集上评估了几个基线MT系统。令人惊讶的是，我们发现，现有的上下文感知模型并没有提高跨语言和现象一致的话语相关的翻译。
2020-04-30 cs.CL
Context-Aware Neural Machine Translation Learns Anaphora Resolution
Yandex；University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
标准的机器翻译系统孤立地处理句子，因此忽略了额外的信息，即使扩展的上下文既可以防止歧义情况下的错误，又可以提高翻译的连贯性。我们引入了一个上下文感知的神经机器翻译模型，其设计方式是可以控制和分析从扩展上下文到翻译模型的信息流。我们用英语-俄语字幕数据集进行了实验，并观察到我们的模型捕获的大部分内容都涉及改善代词翻译。我们测量诱导注意分布和共指关系之间的对应关系，并观察到该模型隐含地捕捉回指。这与代词在翻译中需要性别化的句子的收益是一致的。除了在照应情况下的改进之外，该模型还在整体BLEU方面有所改进，无论是在其上下文不可知版本（+0.7）还是在上下文和源句子的简单连接（+0.6）上。
2018-05-25 cs.CL
Isochrony-Aware Neural Machine Translation for Automatic Dubbing
Amazon（亚马逊）
我们介绍了任务的等时意识的机器翻译，其目的是在生成翻译适合配音。配音需要将源语言的内容以及语音停顿结构转换为目标语言，以实现视听连贯。实际上，这意味着正确地将停顿从源投影到目标，并确保目标语音段具有与对应的源语音段大致相同的持续时间。在这项工作中，我们提出了隐式和显式建模方法，将等时信息集成到神经机器翻译中。英语-德语/法语语言对自动度量的实验表明，最简单的考虑方法效果最好。结果通过翻译和配音视频的人工评估得到证实。
2022-07-08 cs.CL
Specification-Aware Machine Translation and Evaluation for Purpose Alignment
The Graduate University for Advanced Studies (SOKENDAI)（高级研究大学（SOKENDAI））；National Institute of Informatics（信息研究所）
本文提出规范感知机器翻译与评估框架，通过在33家公司投资者关系文本上的实验证明，规范指导的LLM翻译在人工评估中优于官方人工翻译，表明整合规范可提升专业翻译质量。
2025-09-22 cs.CL
When a Good Translation is Wrong in Context: Context-Aware Machine Translation Improves on Deixis, Ellipsis, and Lexical Cohesion
Yandex（扬达克斯）；University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
虽然机器翻译错误是由于缺少句子以外的上下文而引起的，但上下文感知的NMT系统的发展受到一些问题的阻碍。首先，标准度量对文档级翻译一致性的改进不敏感。其次，以前的工作上下文感知的NMT假设，对齐的并行数据包括完整的文件，而在大多数实际情况下，这样的文档级数据构成的可用并行数据的一小部分。为了解决第一个问题，我们进行了一项人类研究的英语-俄语字幕数据集，并确定指示，省略和词汇衔接的三个主要来源的不一致。然后，我们创建针对这些现象的测试集。为了解决第二个缺点，我们考虑了一个设置，其中与文档级对齐的数据相比，有大量的文档级数据可用。我们引入了一个模型，适合这种情况下，并证明了我们的新基准测试的上下文无关的基线上的主要收益，而不会牺牲性能与BLEU测量。
2019-06-07 cs.CL
Context-Aware Machine Translation with Source Coreference Explanation
Nara Institute of Science and Technology（奈良科学技术研究所）
本文针对上下文感知机器翻译中因上下文过长或模型复杂导致的解释消除效应，提出通过预测输入共指特征来解释翻译决策的模型，并在多个数据集上取得超过1.0 BLEU的提升。
2024-04-30 cs.CL
Syntax-aware Data Augmentation for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）；National Institute of Information and Communications Technology（信息通信研究机构）
数据增强是神经机器翻译（NMT）中通过生成额外的双语数据来提高性能的一种有效方法。在本文中，我们提出了一种新的数据增强神经机器翻译增强策略。与现有的数据增强方法简单地选择不同句子中具有相同概率的单词进行修改不同，我们通过考虑单词在句子中的作用来设置特定于句子的单词选择概率。我们使用输入句子的依存分析树作为一个有效的线索，以确定每个词在每个句子中的选择概率。我们提出的方法在WMT 14英语到德语数据集和IWSLT 14德语到英语数据集上进行了评估。大量的实验结果表明，我们提出的语法感知的数据增强方法可以有效地提高现有的翻译性能显着提高独立的方法。
2020-04-29 cs.CL
QUEST: Quality-Aware Metropolis-Hastings Sampling for Machine Translation
Instituto de Telecomunicações（电信研究所）；University of Washington（华盛顿大学）；Instituto Superior Técnico（高等技术学院）；Universidade de Lisboa（里斯本大学）；Unbabel（Unbabel公司）；ELLIS Unit Lisbon（里斯本ELLIS单元）
本文提出QUEST方法，利用Metropolis-Hastings采样从Gibbs分布的高密度区域生成高质量且多样化的机器翻译，避免单一重排序带来的指标作弊问题。
2024-10-15 cs.CL cs.LG
Quality-Aware Decoding for Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Instituto Superior Técnico（高等技术学院）；Instituto de Telecomunicações（电信研究所）；INESC-ID（里斯本系统与计算机工程研究所）；Unbabel
尽管近年来在机器翻译质量估计和评估方面取得了进展，但神经机器翻译（NMT）中的解码大多忽略了这一点，并且围绕着根据模型（MAP解码）找到最可能的翻译，近似于束搜索。在本文中，我们汇集了这两条线的研究，并提出了质量感知解码NMT，利用最近的突破，通过各种推理方法，如$N$ -最好的重新排序和最小贝叶斯风险解码的参考和基于参考的MT评估。我们在四个数据集和两个模型类中对各种可能的候选生成和排名方法进行了广泛的比较，发现质量感知解码始终优于基于MAP的解码，无论是根据最先进的自动度量（COMET和BLEURT）还是人工评估。我们的代码可在https://github.com/deep-spin/qaware-decode上获得。
2022-05-02 cs.CL
Scaling Attention Head Analysis via Gradient-Based Attribution in Context-Aware Machine Translation
Maastricht University（马斯特里赫特大学）
本文提出基于梯度的注意力头归因方法，通过反向传播Token级最大边际损失，在上下文感知机器翻译中实现大规模因果分析，发现通用型注意力头并揭示注意力与性能的非必然关联。
2026-09-24 cs.AI cs.CL
Measuring and Increasing Context Usage in Context-Aware Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Instituto Superior Técnico（高等技术学院）；Instituto de Telecomunicações（电信研究所）；Unbabel
神经机器翻译的最新研究已经证明了使用中间语境的必要性和可行性，中间语境是指来自当前翻译句子以外的句子的语境。然而，尽管目前的许多方法提出了理论上可以使用这种额外上下文的模型架构，但通常不清楚它们在翻译时实际使用了多少。在本文中，我们引入了一个新的度量，条件交叉互信息，量化这些模型的上下文的使用。使用这个度量标准，我们测量文档级机器翻译系统使用特定上下文的程度。我们发现，目标上下文被引用的源上下文，并在一个较长的上下文条件有一个递减的效果。然后，我们引入了一种新的，简单的训练方法，上下文感知的词辍学，增加上下文感知模型的上下文的使用。实验表明，我们的方法增加了上下文的使用，这反映了根据BLEU和COMET等指标的翻译质量，以及在照应代词解析和词汇衔接对比数据集上的性能。
2021-06-02 cs.CL
Improved Neural Machine Translation with a Syntax-Aware Encoder and Decoder
Nanjing University（南京大学）；University of Notre Dame（圣母大学）
大多数神经机器翻译（NMT）模型基于顺序编码器-解码器框架，该框架不使用语法信息。在本文中，我们改进了这个模型，明确纳入源端语法树。更具体地说，我们提出了（1）一个双向树编码器，学习顺序和树结构表示;（2）一个树覆盖模型，让注意力取决于源端语法。汉英翻译实验表明，我们提出的模型优于顺序注意模型，以及一个更强的基线与自底向上的树编码器和单词覆盖率。
2017-07-18 cs.CL
LANDeRMT: Detecting and Routing Language-Aware Neurons for Selectively Finetuning LLMs to Machine Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；School of Software, Tsinghua University（清华大学软件学院）；Baidu Inc（百度公司）
本文提出LANDeRMT框架，通过检测语言通用与语言特定神经元并进行选择性微调和条件感知路由，缓解大语言模型机器翻译微调中的灾难性遗忘与参数干扰，显著提升多语言对翻译质量。
2024-09-29 cs.CL
Increasing Visual Awareness in Multimodal Neural Machine Translation from an Information Theoretic Perspective
Tencent（腾讯）；Fudan University（复旦大学）；Nanjing University（南京大学）
多模态机器翻译旨在通过为源语句提供相应的图像来提高翻译质量。尽管MMT模型具有良好的性能，但仍然存在输入退化的问题：模型更多地关注文本信息，而视觉信息通常被忽视。在本文中，我们努力提高MMT性能，从信息论的角度来看，增加视觉意识。具体地说，我们将视觉信号分解为两部分：源特定信息和目标特定信息。我们使用互信息来量化它们，并提出了两种目标优化方法，以更好地利用视觉信号。在两个数据集上的实验表明，该方法可以有效地增强MMT模型的视觉感知能力，并在强基线下取得优异的结果。
2022-10-16 cs.CL cs.CV
Character-Aware Decoder for Translation into Morphologically Rich Languages
Johns Hopkins University（约翰斯·霍普金斯大学）
神经机器翻译（NMT）系统主要对单词（或子单词）进行操作，忽略较低级别的形态模式。我们提出了一个字符感知解码器，旨在捕捉这种模式时，翻译成形态丰富的语言。我们通过用卷积神经网络增强基于注意力的编码器-解码器模型的softmax和嵌入层来实现字符感知，该卷积神经网络对单词的拼写进行操作。为了研究各种形态现象的表现，我们使用TED多目标数据集将英语翻译成14种类型多样的目标语言。在这种低资源设置中，字符感知解码器提供了一致的改进，BLEU分数增益高达$+3.05$。此外，我们分析了所获得的收益和目标语言的属性之间的关系，并找到证据表明，我们的模型确实利用形态模式。
2019-06-18 cs.CL
HanoiT: Enhancing Context-aware Translation via Selective Context
Beihang University（北京航空航天大学）；The University of Hong Kong（香港大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出HanoiT端到端模型，通过逐层软选择机制筛选文档上下文中的噪声词，增强上下文感知神经机器翻译，并在四个基准上显著超越已有模型。
2023-01-17 cs.CL
Unsupervised Domain Adaptation for Neural Machine Translation with Domain-Aware Feature Embeddings
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
最近神经机器翻译模型的成功依赖于高质量域内数据的可用性。当特定于域的数据很少或不存在时，需要领域自适应。以前的无监督领域自适应策略包括用域内复制的单语或反向翻译的数据训练模型。然而，这些方法使用文本的通用表示，而不管域转移，这使得翻译模型无法控制特定域的输出条件。在这项工作中，我们提出了一种方法，通过辅助语言建模任务学习的域感知特征嵌入来适应模型。我们的方法允许模型分配特定领域的表示词和输出句子在所需的域。我们的实证结果证明了所提出的策略的有效性，在多个实验环境中实现了一致的改善。此外，我们表明，将我们的方法与反向翻译相结合可以进一步提高模型的性能。
2019-08-27 cs.CL
VISA: An Ambiguous Subtitles Dataset for Visual Scene-Aware Machine Translation
Kyoto University（京都大学）
现有的多模态机器翻译（MMT）数据集由图像和视频字幕或一般字幕组成，其很少包含语言歧义，使得视觉信息不那么有效以生成适当的翻译。本文介绍了一个新的数据集VISA，该数据集由4万个日英平行句对和相应的视频片段组成，其主要特征是：（1）平行句是电影和电视剧的字幕;（2）源字幕是模糊的，这意味着它们有多个可能的不同含义的翻译;（3）根据歧义产生的原因，将数据集分为多义词和省略词。我们表明，VISA是最新的MMT系统的挑战，我们希望该数据集可以促进MMT的研究。VISA数据集可在https://github.com/ku-nlp/VISA上获得。
2022-05-26 cs.CL
Context-Aware Monolingual Human Evaluation of Machine Translation
eBay（易贝）；Dublin City University（都柏林城市大学）
本文研究在无源文本条件下用上下文感知单语人工评估评价机器翻译，通过专业译员在单一系统和成对系统两种场景中与双语评估对比，证明其效果相当且高效可行。
2025-04-10 cs.CL cs.HC
Encoding Sentence Position in Context-Aware Neural Machine Translation with Concatenation
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Naver Labs Europe（Naver欧洲实验室）
本文研究在基于拼接的上下文感知机器翻译中，通过多种方法将句子位置显式编码至 token 表示，发现特定编码方法在上下文折扣损失下可提升英译俄效果，但英译德未见相同益处。
2023-04-04 cs.CL
Uncertainty-Aware Semantic Augmentation for Neural Machine Translation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Machine Intelligence Technology Lab, Alibaba Group（阿里巴巴集团机器智能技术实验室）
神经机器翻译（NMT）作为一种序列到序列生成任务，自然包含内在的不确定性，其中一种语言中的单个句子在另一种语言中具有多个有效的对应物。然而，NMT的主流方法仅从平行语料库中观察其中一个用于模型训练，而在推理时必须处理相同意义下的足够变化。这导致训练和推理阶段之间的数据分布的差异。为了解决这个问题，我们提出了不确定性感知的语义增强，它明确地捕捉多个语义等价的源句子之间的通用语义信息，并增强隐藏的表示与此信息更好的翻译。对各种翻译任务的大量实验表明，我们的方法显着优于强基线和现有的方法。
2020-10-09 cs.CL
FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation
Google Research（谷歌研究院）
本研究提出面向少样本区域感知机器翻译的基准FRMT，含英语转葡语、普通话各地域变体的专业译文，探索验证了自动评估指标与人工评估的相关性，给出基线模型及研究指南，相关资源已公开。
2023-10-03 cs.CL
Context-Aware Monolingual Repair for Neural Machine Translation
Yandex；University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
现代的句子级NMT系统通常会对孤立的句子进行合理的翻译。然而，当放在上下文中时，这些翻译可能最终彼此不一致。我们提出了一个单语DocRepair模型来纠正文档级翻译之间的不一致。DocRepair对一系列的句子级翻译进行自动后期编辑，在彼此的上下文中改进句子的翻译。对于训练，DocRepair模型只需要目标语言的单语文档级数据。它被训练为单语序列到序列模型，将不一致的句子组映射为一致的句子组。一致组来自原始训练数据;不一致组通过对每个孤立句子的往返翻译进行采样而获得。我们表明，这种方法成功地模仿不一致，我们的目标是解决：使用对比评价，我们在翻译的几个上下文现象在英俄翻译任务，以及BLEU分数的改善，显示出很大的改善。我们还进行了人工评估，并显示出注释者对校正翻译的强烈偏好。此外，我们还分析了单语数据难以捕捉的语篇现象。
2019-10-15 cs.CL
Improving Context-aware Neural Machine Translation with Target-side Context
Tokyo Metropolitan University（东京都立大学）
近年来，一些关于神经机器翻译（NMT）的研究试图通过使用多编码器和两个注意力机制来读取当前和先前的句子，以结合先前句子的上下文，从而使用文档级上下文。这些研究的结论是，目标方的上下文是没有那么有用的比源方的上下文。然而，我们认为目标端上下文不太有用的原因在于用于对这些上下文进行建模的架构。因此，在这项研究中，我们研究如何目标端上下文可以提高上下文感知神经机器翻译。我们提出了一种权重共享方法，其中NMT保存解码器状态，并在翻译当前句子时使用保存的状态计算注意力向量。我们的实验表明，目标端的上下文也是有用的，如果我们插入到NMT作为解码器状态时，翻译前一句话。
2019-09-02 cs.CL
Quality-Aware Translation Models: Efficient Generation and Quality Estimation in a Single Model
Google（谷歌）；Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对现有质量感知解码需额外模型计算效用函数、成本高的问题，提出训练NMT模型自身评估输出质量的方法，可大幅提升MBR解码速度，还能在单遍解码效率下实现媲美甚至优于质量重排序的质量增益。
2024-07-11 cs.AI cs.CL
TACTICS: Taxonomy-Aware Intelligent Corpus Sampling for Machine Translation
Amazon（亚马逊）
针对随机采样无法保证覆盖的问题，提出TACTICS方法，通过从风格指南归纳分类法并优化覆盖与分布保真度，在更少样本下准确评估机器翻译系统。
2026-10-08 cs.CL cs.LG
Importance-Aware Data Augmentation for Document-Level Neural Machine Translation
Monash University（莫纳什大学）；Google Research（谷歌研究院）
针对文档级神经机器翻译的数据稀疏问题，提出基于词元重要性的IADA数据增强算法，在三个基准上的表现优于现有基线与其他增强方法。
2024-01-27 cs.CL
Revisiting Context Choices for Context-aware Machine Translation
The University of Tokyo（东京大学）
本文重新审视了上下文感知机器翻译中的上下文选择问题，发现多源Transformer模型即使输入空上下文也能提升翻译效果，但提供正确且充足的上下文能显著提升翻译质量，而错误或域外上下文则会降低质量。
2021-09-07 cs.CL
Target-Agnostic Gender-Aware Contrastive Learning for Mitigating Bias in Multilingual Machine Translation
Seoul National University（首尔大学）；Microsoft Research Asia（微软亚洲研究院）
针对多语言机器翻译中的性别偏见，提出目标语言无关的性别感知对比学习（GACL），通过微调预训练模型提升性别准确性且不损害翻译性能，并验证其跨语言迁移性和模型规模适用性。
2023-11-10 cs.CL
