To Label or Not to Label: Hybrid Active Learning for Neural Machine Translation
Lahore University of Management Sciences（拉合尔管理科学大学）
本文提出混合不确定性与多样性采样（HUDS）策略，用于NMT领域适应，通过结合不确定性和多样性选择句子，显著降低了标注成本并提升了翻译性能。
2024-12-18 cs.CL cs.LG
Context-aware Decoder for Neural Machine Translation using a Target-side Document-Level Language Model
The University of Tokyo（东京大学）
尽管已经提出了许多上下文感知神经机器翻译模型来将上下文纳入翻译中，但这些模型中的大多数都是在并行文档上进行端到端训练的。由于只有少数领域（和语言对）具有这样的文档级并行数据，因此我们无法在大多数领域中执行准确的上下文感知翻译。因此，我们提出了一个简单的方法，把一个文档级的语言模型的解码器转换成上下文感知的模型。我们的上下文感知解码器是建立在只有一个文档级并行语料库和单语语料库，因此没有文档级的并行数据是必要的。在理论上，本文的核心部分是利用上下文和当前句子之间的逐点互信息来表示上下文信息。我们证明了我们的方法的有效性，在三个语言对，英语到法语，英语到俄语，日语到英语，通过评估\textsc{bleu}和对比测试上下文感知翻译。
2021-11-15 cs.CL
Enhancing Machine Translation with Dependency-Aware Self-Attention
University of Copenhagen（哥本哈根大学）；Tokyo Institute of Technology（东京工业大学）
大多数神经机器翻译模型只依赖于成对的平行句子，假设句法信息是由注意力机制自动学习的。在这项工作中，我们研究了不同的方法，将句法知识的Transformer模型，并提出了一种新的，无参数，依赖意识的自我注意力机制，提高其翻译质量，特别是对于长句和低资源的情况下。我们展示了每种方法对WMT英语-德语和英语-土耳其语以及WAT英语-日语翻译任务的有效性。
2020-04-21 cs.CL
Enhancing Entity Aware Machine Translation with Multi-task Learning
Japan Advanced Institute of Science and Technology（日本先进科学研究院）
本文提出一种多任务学习方法，同时优化命名实体识别和机器翻译子任务，以提升实体感知机器翻译性能，并在SemEval 2025任务2数据集上验证了效果。
2025-06-23 cs.CL
Challenges in Context-Aware Neural Machine Translation
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）；University of Washington（华盛顿大学）
本文调查了上下文感知神经机器翻译在话语现象、上下文使用、模型架构和评估方面的挑战，并提出段落到段落翻译设置及中英文小说数据集以促进未来研究。
2023-10-23 cs.CL
QUEST: Quality-Aware Metropolis-Hastings Sampling for Machine Translation
Instituto de Telecomunicações（电信研究所）；University of Washington（华盛顿大学）；Instituto Superior Técnico（高等技术学院）；Universidade de Lisboa（里斯本大学）；Unbabel（Unbabel公司）；ELLIS Unit Lisbon（里斯本ELLIS单元）
本文提出QUEST方法，利用Metropolis-Hastings采样从Gibbs分布的高密度区域生成高质量且多样化的机器翻译，避免单一重排序带来的指标作弊问题。
2024-10-15 cs.CL cs.LG
Focused Concatenation for Context-Aware Neural Machine Translation
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Naver Labs Europe（NAVER欧洲实验室）
上下文感知神经机器翻译的一个简单的方法包括在饲料的标准编码器-解码器架构的连续句子的窗口，由当前的句子和一些句子从它的上下文连接到it. In这项工作中，我们提出了一个改进的连接方法，鼓励模型专注于翻译的当前句子，贴现目标上下文产生的损失。我们还提出了一个额外的改进，加强句子边界和相对句子距离的概念，促进模型符合上下文折扣的目标。我们评估我们的方法与平均翻译质量指标和对比测试集的翻译间的话语现象，证明其优越性香草拼接方法和其他复杂的上下文感知系统。
2022-10-24 cs.CL
Competency-Aware Neural Machine Translation: Can Machine Translation Know its Own Translation Quality?
Alibaba Group Inc.（阿里巴巴集团）
神经机器翻译（NMT）经常因在没有意识的情况下发生故障而受到批评。能力意识的缺乏使NMT不可信。这与人工翻译形成鲜明对比，人工翻译在对预测有疑问时会提供反馈或进行进一步调查。为了填补这一空白，我们提出了一种新的能力意识的NMT扩展传统的NMT与自我估计，提供翻译的源语句，并估计其能力。自估计器对解码过程中的信息进行编码，然后检查它是否能重建源句子的原始语义。四个翻译任务的实验结果表明，该方法不仅完成翻译任务的完整性，但也提供了出色的性能质量评估。不依赖于任何参考或注释数据通常所需的国家的最先进的度量和质量估计方法，我们的模型产生了更高的相关性与人类的质量判断比各种上述方法，如BLEURT，彗星，BERTScore。定量和定性分析表明，在我们的模型更好的能力意识的鲁棒性。
2022-11-25 cs.AI cs.CL
Variance-Aware Machine Translation Test Sets
University of Macau（澳门大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
我们发布了70个用于机器翻译（MT）评估的小而有区别的测试集，称为方差感知测试集（VAT），涵盖了从WMT 16到WMT 20比赛的35个翻译方向。通过一种新的方差感知过滤方法自动创建VAT，该方法过滤当前MT测试集的无差别测试实例，而无需任何人工劳动。实验结果表明，在主流语言对和测试集上，VAT在与人类判断的相关性方面优于原始WMT测试集。对VAT属性的进一步分析揭示了具有挑战性的语言特征（例如，低频词和专有名词的翻译）的竞争机器翻译系统，为构建未来的机器翻译测试集提供指导。测试集和准备方差感知MT测试集的代码可在https://github.com/NLP2CT/Variance-Aware-MT-Test-Sets上免费获得。
2021-11-07 cs.CL
Benchmarking Machine Translation with Cultural Awareness
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校）；Stanford University（斯坦福大学）
本文构建了带文化特定项标注的6语言对平行语料库并提出两种语用评估指标，用于评测机器翻译的文化意识，发现大语言模型在翻译缺乏目标文化对应项的CSI时优于神经机器翻译。
2024-10-19 cs.CL
Incorporating Syntactic Uncertainty in Neural Machine Translation with Forest-to-Sequence Model
Monash University（蒙纳士大学）
在神经机器翻译模型中解释句法信息是一种补偿其对大量并行训练文本的需求的方法，特别是对于低资源语言对。以前的工作使用（不可避免地容易出错）解析器提供的语法信息一直很有前途。在本文中，我们提出了一个森林到序列的注意力神经机器翻译模型，利用指数级的源句子的分析树来补偿分析错误。我们的方法将解析树的集合表示为一个打包的森林，并学习从森林到目标句子的神经注意力转导模型。在英语到德语、汉语和波斯语的翻译实验中，我们的方法比树到序列和香草序列到序列神经翻译模型的优越性。
2017-11-24 cs.CL
Context-Aware Learning for Neural Machine Translation
New York University（纽约大学）；CIFAR Azrieli Global Scholar（CIFAR Azrieli全球学者（注：CIFAR是加拿大高级研究所，非机构；此处按原文保留））
对大上下文神经机器翻译的兴趣，包括文档级和多模态翻译，一直在增长。许多作品提出了新的网络架构或评估方案，但潜在的有用的上下文有时仍然被较大的上下文翻译模型所忽略。在本文中，我们提出了一种新的学习算法，明确鼓励神经翻译模型考虑到额外的上下文使用多级成对排序损失。我们评估所提出的学习算法与基于transformer的大上下文翻译系统的文档级翻译。通过比较使用实际和随机上下文的性能，我们表明，使用该算法训练的模型对额外的上下文更敏感。
2019-03-12 cs.CL
Uncertainty-Aware Semantic Augmentation for Neural Machine Translation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Machine Intelligence Technology Lab, Alibaba Group（阿里巴巴集团机器智能技术实验室）
神经机器翻译（NMT）作为一种序列到序列生成任务，自然包含内在的不确定性，其中一种语言中的单个句子在另一种语言中具有多个有效的对应物。然而，NMT的主流方法仅从平行语料库中观察其中一个用于模型训练，而在推理时必须处理相同意义下的足够变化。这导致训练和推理阶段之间的数据分布的差异。为了解决这个问题，我们提出了不确定性感知的语义增强，它明确地捕捉多个语义等价的源句子之间的通用语义信息，并增强隐藏的表示与此信息更好的翻译。对各种翻译任务的大量实验表明，我们的方法显着优于强基线和现有的方法。
2020-10-09 cs.CL
Semantics-aware Attention Improves Neural Machine Translation
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
将句法结构整合到Transformer机器翻译中已经取得了积极的成果，但据我们所知，还没有工作试图这样做语义结构。在这项工作中，我们提出了两种新的无参数的方法注入语义信息到Transformers，都依赖于语义感知掩蔽（一些）的注意头。一种这样的方法通过场景感知自注意（SASA）头在编码器上操作。另一个在解码器上，通过场景感知交叉注意（SACrA）头。我们表现出一致的改进香草Transformer和语法感知模型的四种语言对。我们进一步表明，在一些语言对使用语义和句法结构时，额外的收益。
2022-05-24 cs.CL
Using Perturbed Length-aware Positional Encoding for Non-autoregressive Neural Machine Translation
NTT Communication Science Laboratories（NTT通信科学实验室）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
非自回归神经机器翻译（NAT）通常采用序列级知识蒸馏使用自回归神经机器翻译（AT）作为其教师模型。然而，NAT模型通常输出比AT模型更短的句子。在这项工作中，我们提出了序列级知识蒸馏（SKD）使用扰动长度感知位置编码，并将其应用到学生模型，Levenshtein Transformer。我们的方法优于标准Levenshtein Transformer的2.5点，在双语评估替补（BLEU）在最大的WMT 14德语到英语的翻译。NAT模型输出比基线NAT模型更长的句子。
2021-07-29 cs.CL
NeoAMT: Neologism-Aware Agentic Machine Translation with Reinforcement Learning
The University of Tokyo（东京大学）；NTT Communication Science Laboratories, NTT, Inc.（NTT通信科学实验室，NTT公司）
提出NeoAMT框架，利用基于Wiktionary的搜索工具和强化学习训练翻译智能体，以提升包含新词的源句翻译质量。
2026-05-24 cs.AI cs.CL
A Large-Scale Test Set for the Evaluation of Context-Aware Pronoun Translation in Neural Machine Translation
University of Zurich（苏黎世大学）；Amazon Research（亚马逊研究院）；Yandex Research（Yandex研究院）；University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
代词的翻译对机器翻译提出了一个特殊的挑战，因为它经常需要当前句子之外的上下文。最近的工作模型，可以访问跨句子边界的信息已经看到只有适度的改进，如BLEU的自动评估指标。然而，量化整体翻译质量的指标不足以衡量额外上下文带来的收益。我们认为，需要一种不同的评估，以评估如何以及模型翻译间的现象，如代词。因此，本文提出了一个测试套件的对比翻译，专门侧重于代词的翻译。此外，我们进行实验与几个上下文感知模型。我们表明，虽然这些系统的BLEU增益适中，但在我们的对比测试集上，它们在准确性方面大大优于基线。我们的实验也显示了多编码器架构的参数绑定的有效性。
2019-03-06 cs.CL
Context-Aware or Context-Insensitive? Assessing LLMs' Performance in Document-Level Translation
University of Amsterdam（阿姆斯特丹大学）
本研究针对文档级翻译中需句外上下文的词汇翻译问题，通过扰动和归因分析评估9个不同家族LLMs及2个基线模型的上下文利用能力，发现其文档翻译性能提升未体现在代词翻译上，强调需针对性微调以提升可靠性。
2025-02-14 cs.CL
Contrastive Learning for Context-aware Neural Machine TranslationUsing Coreference Information
Dept. of Electrical and Computer Engineering, Seoul National University（首尔大学电气与计算机工程系）；Automation and Systems Research Institute, Seoul National University（首尔大学自动化与系统研究所）
上下文感知神经机器翻译（NMT）融合了文本的上下文信息，可以提高文档级机器翻译的翻译质量。许多现有的上下文感知NMT的工作都集中在开发新的模型架构，将额外的上下文，并显示出一些有前途的结果。然而，大多数现有的作品依赖于交叉熵损失，从而限制了上下文信息的使用。在本文中，我们提出了CorefCL，一种新的数据增强和对比学习计划的基础上，源和上下文句子之间的共指。通过破坏自动检测到的上下文语句中的共指提及，CorefCL可以训练模型对共指不一致性敏感。我们在常见的上下文感知NMT模型和两个文档级翻译任务上实验了我们的方法。在实验中，我们的方法不断提高BLEU的比较模型上的英语-德语和英语-韩语任务。我们还表明，我们的方法显着提高了共指消解在英语-德语对比测试套件。
2021-09-13 cs.CL
Can Your Context-Aware MT System Pass the DiP Benchmark Tests? : Evaluation Benchmarks for Discourse Phenomena in Machine Translation
Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（赛富时亚洲研究院）；Warsaw University of Technology（华沙理工大学）
尽管越来越多的实例机器翻译（MT）系统，包括上下文信息，翻译质量的改善的证据是稀疏的，特别是语篇现象。像BLEU这样的流行指标没有足够的表现力或敏感性来捕捉质量的改进或下降，这些改进或下降在尺寸上很小，但在感知上很重要。我们介绍了第一个MT基准数据集，旨在跟踪和欢呼四个主要话语现象的改进：回指，词汇一致性，连贯性和可读性，以及话语连接翻译。我们还介绍了这些任务的评估方法，并在策划的数据集上评估了几个基线MT系统。令人惊讶的是，我们发现，现有的上下文感知模型并没有提高跨语言和现象一致的话语相关的翻译。
2020-04-30 cs.CL
Context-Aware Neural Machine Translation Learns Anaphora Resolution
Yandex；University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
标准的机器翻译系统孤立地处理句子，因此忽略了额外的信息，即使扩展的上下文既可以防止歧义情况下的错误，又可以提高翻译的连贯性。我们引入了一个上下文感知的神经机器翻译模型，其设计方式是可以控制和分析从扩展上下文到翻译模型的信息流。我们用英语-俄语字幕数据集进行了实验，并观察到我们的模型捕获的大部分内容都涉及改善代词翻译。我们测量诱导注意分布和共指关系之间的对应关系，并观察到该模型隐含地捕捉回指。这与代词在翻译中需要性别化的句子的收益是一致的。除了在照应情况下的改进之外，该模型还在整体BLEU方面有所改进，无论是在其上下文不可知版本（+0.7）还是在上下文和源句子的简单连接（+0.6）上。
2018-05-25 cs.CL
Isochrony-Aware Neural Machine Translation for Automatic Dubbing
Amazon（亚马逊）
我们介绍了任务的等时意识的机器翻译，其目的是在生成翻译适合配音。配音需要将源语言的内容以及语音停顿结构转换为目标语言，以实现视听连贯。实际上，这意味着正确地将停顿从源投影到目标，并确保目标语音段具有与对应的源语音段大致相同的持续时间。在这项工作中，我们提出了隐式和显式建模方法，将等时信息集成到神经机器翻译中。英语-德语/法语语言对自动度量的实验表明，最简单的考虑方法效果最好。结果通过翻译和配音视频的人工评估得到证实。
2022-07-08 cs.CL
Disentangling Uncertainty in Machine Translation Evaluation
Instituto de Telecomunicações（电信研究所）；Unbabel；INESC-ID（里斯本系统与计算机工程研究所）；Instituto Superior Técnico（高等技术学院）；LUMLIS (Lisbon ELLIS Unit)（LUMLIS（里斯本ELLIS单元））
机器翻译（MT）的可训练评估指标与人类判断具有很强的相关性，但它们通常很难解释，并且可能在噪声或域外数据下产生不可靠的分数。最近的工作试图用简单的不确定性量化技术（蒙特卡洛丢弃和深度集成）来减轻这一点，但是这些技术（如我们所示）在几个方面受到限制-例如，它们无法区分不同类型的不确定性，并且它们消耗时间和内存。在本文中，我们提出了更强大，更有效的不确定性预测MT评估，我们评估他们的能力，针对不同来源的任意和认识的不确定性。为此，我们开发和比较COMET度量的训练目标，以增强其不确定性预测输出，包括异方差回归，发散最小化和直接不确定性预测。我们的实验表明，WMT指标任务数据集的不确定性预测结果得到了改善，计算成本大幅降低。此外，他们证明了这些预测的能力，以解决特定的不确定性原因在MT评价，如低质量的参考和域外数据。
2022-11-30 cs.CL
Specification-Aware Machine Translation and Evaluation for Purpose Alignment
The Graduate University for Advanced Studies (SOKENDAI)（高级研究大学（SOKENDAI））；National Institute of Informatics（信息研究所）
本文提出规范感知机器翻译与评估框架，通过在33家公司投资者关系文本上的实验证明，规范指导的LLM翻译在人工评估中优于官方人工翻译，表明整合规范可提升专业翻译质量。
2025-09-22 cs.CL
When a Good Translation is Wrong in Context: Context-Aware Machine Translation Improves on Deixis, Ellipsis, and Lexical Cohesion
Yandex（扬达克斯）；University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
虽然机器翻译错误是由于缺少句子以外的上下文而引起的，但上下文感知的NMT系统的发展受到一些问题的阻碍。首先，标准度量对文档级翻译一致性的改进不敏感。其次，以前的工作上下文感知的NMT假设，对齐的并行数据包括完整的文件，而在大多数实际情况下，这样的文档级数据构成的可用并行数据的一小部分。为了解决第一个问题，我们进行了一项人类研究的英语-俄语字幕数据集，并确定指示，省略和词汇衔接的三个主要来源的不一致。然后，我们创建针对这些现象的测试集。为了解决第二个缺点，我们考虑了一个设置，其中与文档级对齐的数据相比，有大量的文档级数据可用。我们引入了一个模型，适合这种情况下，并证明了我们的新基准测试的上下文无关的基线上的主要收益，而不会牺牲性能与BLEU测量。
2019-06-07 cs.CL
Beyond Glass-Box Features: Uncertainty Quantification Enhanced Quality Estimation for Neural Machine Translation
Alibaba Group（阿里巴巴集团）；College of Computer Science, Zhejiang University（浙江大学计算机科学与技术学院）
质量评估在机器翻译的应用中起着至关重要的作用。传统上，QE系统接受来自黑盒MT系统的原始源文本和翻译作为输入。近年来，有研究表明，量化引擎作为翻译的副产品，得益于翻译源机器翻译系统的模型和训练数据信息，被称为“玻璃盒子量化引擎”。本文将“玻璃盒QE”的定义推广到一般的不确定性量化，并设计了“黑箱”和“玻璃盒”两种方法，为改进QE的性能进行了新的尝试。我们提出了一个框架，融合不确定性量化的特征工程到一个预先训练的跨语言语言模型，以预测翻译质量。实验结果表明，该方法在WMT 2020 QE共享任务数据集上取得了较好的性能.
2021-09-15 cs.AI cs.CL
Context-Aware Machine Translation with Source Coreference Explanation
Nara Institute of Science and Technology（奈良科学技术研究所）
本文针对上下文感知机器翻译中因上下文过长或模型复杂导致的解释消除效应，提出通过预测输入共指特征来解释翻译决策的模型，并在多个数据集上取得超过1.0 BLEU的提升。
2024-04-30 cs.CL
Do Context-Aware Translation Models Pay the Right Attention?
Carnegie Mellon University（卡内基梅隆大学）；Instituto Superior Técnico（高等技术学院）；Instituto de Telecomunicações（电信研究所）；Unbabel
上下文感知的机器翻译模型被设计为利用上下文信息，但通常无法做到这一点。因此，他们不准确地消除歧义代词和多义词，需要上下文的决议。在本文中，我们提出了几个问题：人类译者使用什么语境来解决歧义词？模型是否对相同的上下文投入了大量的注意力？如果我们明确地训练他们这样做呢？为了回答这些问题，我们介绍了SCAT（支持上下文的歧义翻译），一个新的英语-法语数据集，包括支持上下文单词的14 K翻译，专业翻译发现有用的代词消歧。使用SCAT，我们进行了深入的分析，用于消除歧义，检查位置和词汇特征的支持词的上下文。此外，我们测量模型的注意力分数和SCAT的支持上下文之间的对齐程度，并应用引导注意力策略来鼓励两者之间的一致性。
2021-08-07 cs.AI cs.CL cs.LG
Uncertainty-Aware Balancing for Multilingual and Multi-Domain Neural Machine Translation Training
Monash University（莫纳什大学）；Huawei Technologies Co Ltd（华为技术有限公司）
多语言多领域翻译模型的学习是一个挑战，因为异构和不平衡的数据使得模型在现实世界中的不同语料库上收敛不一致。一种常见的做法是调整训练中每个语料库的份额，以便学习过程平衡，低资源案例可以从高资源案例中受益。然而，自动平衡方法通常取决于数据集内和数据集间的特征，这通常是不可知的或需要人为先验。在这项工作中，我们提出了一种方法，MultiUAT，动态调整训练数据的使用模型的不确定性的基础上的一小部分可信的清洁数据的多语料库机器翻译。我们用两类不确定性度量对多语言（16种语言，4种设置）和多域设置（4种用于域内，2种用于英德翻译的域外）进行了实验，并证明了我们的方法MultiUAT大大优于其基线，包括静态和动态策略。我们分析了跨域传输，并显示静态和基于相似性的方法的不足。
2021-09-06 cs.CL
Syntax-aware Data Augmentation for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）；National Institute of Information and Communications Technology（信息通信研究机构）
数据增强是神经机器翻译（NMT）中通过生成额外的双语数据来提高性能的一种有效方法。在本文中，我们提出了一种新的数据增强神经机器翻译增强策略。与现有的数据增强方法简单地选择不同句子中具有相同概率的单词进行修改不同，我们通过考虑单词在句子中的作用来设置特定于句子的单词选择概率。我们使用输入句子的依存分析树作为一个有效的线索，以确定每个词在每个句子中的选择概率。我们提出的方法在WMT 14英语到德语数据集和IWSLT 14德语到英语数据集上进行了评估。大量的实验结果表明，我们提出的语法感知的数据增强方法可以有效地提高现有的翻译性能显着提高独立的方法。
2020-04-29 cs.CL
Wat zei je? Detecting Out-of-Distribution Translations with Variational Transformers
University of Oxford（牛津大学）
我们使用Transformer模型的贝叶斯深度学习等价物检测神经机器翻译中的训练分布外句子。为此，我们开发了一种新的不确定性测量方法，专门用于离散随机变量的长序列，即输出句子中的单词。我们的新措施的不确定性解决了一个主要的棘手问题，在天真的应用现有的方法对长句。我们使用我们的新措施上的Transformer模型训练辍学近似推理。在使用WMT13和Europarl进行德英翻译的任务中，我们证明了在辍学不确定性的情况下，我们的措施能够识别何时使用与德语相同的单词类型的荷兰语源句子，而不是德语。
2020-06-08 cs.CL cs.LG stat.ML
Quality-Aware Decoding for Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Instituto Superior Técnico（高等技术学院）；Instituto de Telecomunicações（电信研究所）；INESC-ID（里斯本系统与计算机工程研究所）；Unbabel
尽管近年来在机器翻译质量估计和评估方面取得了进展，但神经机器翻译（NMT）中的解码大多忽略了这一点，并且围绕着根据模型（MAP解码）找到最可能的翻译，近似于束搜索。在本文中，我们汇集了这两条线的研究，并提出了质量感知解码NMT，利用最近的突破，通过各种推理方法，如$N$ -最好的重新排序和最小贝叶斯风险解码的参考和基于参考的MT评估。我们在四个数据集和两个模型类中对各种可能的候选生成和排名方法进行了广泛的比较，发现质量感知解码始终优于基于MAP的解码，无论是根据最先进的自动度量（COMET和BLEURT）还是人工评估。我们的代码可在https://github.com/deep-spin/qaware-decode上获得。
2022-05-02 cs.CL
Measuring and Increasing Context Usage in Context-Aware Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Instituto Superior Técnico（高等技术学院）；Instituto de Telecomunicações（电信研究所）；Unbabel
神经机器翻译的最新研究已经证明了使用中间语境的必要性和可行性，中间语境是指来自当前翻译句子以外的句子的语境。然而，尽管目前的许多方法提出了理论上可以使用这种额外上下文的模型架构，但通常不清楚它们在翻译时实际使用了多少。在本文中，我们引入了一个新的度量，条件交叉互信息，量化这些模型的上下文的使用。使用这个度量标准，我们测量文档级机器翻译系统使用特定上下文的程度。我们发现，目标上下文被引用的源上下文，并在一个较长的上下文条件有一个递减的效果。然后，我们引入了一种新的，简单的训练方法，上下文感知的词辍学，增加上下文感知模型的上下文的使用。实验表明，我们的方法增加了上下文的使用，这反映了根据BLEU和COMET等指标的翻译质量，以及在照应代词解析和词汇衔接对比数据集上的性能。
2021-06-02 cs.CL
Improved Neural Machine Translation with a Syntax-Aware Encoder and Decoder
Nanjing University（南京大学）；University of Notre Dame（圣母大学）
大多数神经机器翻译（NMT）模型基于顺序编码器-解码器框架，该框架不使用语法信息。在本文中，我们改进了这个模型，明确纳入源端语法树。更具体地说，我们提出了（1）一个双向树编码器，学习顺序和树结构表示;（2）一个树覆盖模型，让注意力取决于源端语法。汉英翻译实验表明，我们提出的模型优于顺序注意模型，以及一个更强的基线与自底向上的树编码器和单词覆盖率。
2017-07-18 cs.CL
LANDeRMT: Detecting and Routing Language-Aware Neurons for Selectively Finetuning LLMs to Machine Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；School of Software, Tsinghua University（清华大学软件学院）；Baidu Inc（百度公司）
本文提出LANDeRMT框架，通过检测语言通用与语言特定神经元并进行选择性微调和条件感知路由，缓解大语言模型机器翻译微调中的灾难性遗忘与参数干扰，显著提升多语言对翻译质量。
2024-09-29 cs.CL
Character-Aware Decoder for Translation into Morphologically Rich Languages
Johns Hopkins University（约翰斯·霍普金斯大学）
神经机器翻译（NMT）系统主要对单词（或子单词）进行操作，忽略较低级别的形态模式。我们提出了一个字符感知解码器，旨在捕捉这种模式时，翻译成形态丰富的语言。我们通过用卷积神经网络增强基于注意力的编码器-解码器模型的softmax和嵌入层来实现字符感知，该卷积神经网络对单词的拼写进行操作。为了研究各种形态现象的表现，我们使用TED多目标数据集将英语翻译成14种类型多样的目标语言。在这种低资源设置中，字符感知解码器提供了一致的改进，BLEU分数增益高达$+3.05$。此外，我们分析了所获得的收益和目标语言的属性之间的关系，并找到证据表明，我们的模型确实利用形态模式。
2019-06-18 cs.CL
HanoiT: Enhancing Context-aware Translation via Selective Context
Beihang University（北京航空航天大学）；The University of Hong Kong（香港大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出HanoiT端到端模型，通过逐层软选择机制筛选文档上下文中的噪声词，增强上下文感知神经机器翻译，并在四个基准上显著超越已有模型。
2023-01-17 cs.CL
Diving Deep into Context-Aware Neural Machine Translation
eBay, Inc.（易趣公司）；RWTH Aachen University（亚琛工业大学）；Human Language Technology and Pattern Recognition GroupRWTH Aachen University（亚琛工业大学人类语言技术与模式识别小组）
上下文感知的神经机器翻译（NMT）是利用附加上下文（例如，文档级翻译，或具有元信息。虽然有各种各样的架构和分析，不同的上下文感知NMT模型的有效性还没有得到很好的探讨。本文分析了文档级NMT模型在四个不同领域的性能与不同数量的并行文档级双语数据。我们进行了一组全面的实验，以调查文档级NMT的影响。我们发现，文档级NMT没有单一的最佳方法，而是不同的架构在不同的任务中脱颖而出。看看特定于任务的问题，如代词解析或标题翻译，我们发现上下文感知系统的改进，即使在像BLEU这样的语料库级别指标没有显着改善的情况下。我们还表明，文档级回译显着有助于弥补缺乏文档级的双文本。
2020-10-19 cs.AI cs.CL
Neural machine translation of clinical procedure codes for medical diagnosis and uncertainty quantification
Texas A&M University（德克萨斯农工大学）；Massachusetts General Hospital（麻省总医院）；Brookhaven National Laboratory（布鲁克海文国家实验室）
本文提出医学熵概念，利用基于ICD-9代码的神经机器翻译量化患者结果不确定性，并验证了操作与诊断序列的相关性及住院期间不确定性趋势建模的可行性。
2024-10-19 cs.AI cs.CL cs.LG
Lexically Cohesive Neural Machine Translation with Copy Mechanism
Osaka University（大阪大学）；Kyoto University（京都大学）
词汇衔接翻译在文档级翻译中保持了词汇选择的一致性。我们将复制机制应用到上下文感知神经机器翻译模型中，以允许从先前的翻译输出中复制单词。不同于以往的上下文感知神经机器翻译模型，处理所有的话语现象隐式，我们的模型显式地解决了词汇衔接问题，通过提高输出单词的概率一致。我们使用语篇翻译评估数据集进行了日英翻译实验。实验结果表明，与以往的上下文感知模型相比，该模型显著提高了词汇衔接能力。
2020-10-11 cs.AI cs.CL
Unsupervised Domain Adaptation for Neural Machine Translation with Domain-Aware Feature Embeddings
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
最近神经机器翻译模型的成功依赖于高质量域内数据的可用性。当特定于域的数据很少或不存在时，需要领域自适应。以前的无监督领域自适应策略包括用域内复制的单语或反向翻译的数据训练模型。然而，这些方法使用文本的通用表示，而不管域转移，这使得翻译模型无法控制特定域的输出条件。在这项工作中，我们提出了一种方法，通过辅助语言建模任务学习的域感知特征嵌入来适应模型。我们的方法允许模型分配特定领域的表示词和输出句子在所需的域。我们的实证结果证明了所提出的策略的有效性，在多个实验环境中实现了一致的改善。此外，我们表明，将我们的方法与反向翻译相结合可以进一步提高模型的性能。
2019-08-27 cs.CL
VISA: An Ambiguous Subtitles Dataset for Visual Scene-Aware Machine Translation
Kyoto University（京都大学）
现有的多模态机器翻译（MMT）数据集由图像和视频字幕或一般字幕组成，其很少包含语言歧义，使得视觉信息不那么有效以生成适当的翻译。本文介绍了一个新的数据集VISA，该数据集由4万个日英平行句对和相应的视频片段组成，其主要特征是：（1）平行句是电影和电视剧的字幕;（2）源字幕是模糊的，这意味着它们有多个可能的不同含义的翻译;（3）根据歧义产生的原因，将数据集分为多义词和省略词。我们表明，VISA是最新的MMT系统的挑战，我们希望该数据集可以促进MMT的研究。VISA数据集可在https://github.com/ku-nlp/VISA上获得。
2022-05-26 cs.CL
Encoding Sentence Position in Context-Aware Neural Machine Translation with Concatenation
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Naver Labs Europe（Naver欧洲实验室）
本文研究在基于拼接的上下文感知机器翻译中，通过多种方法将句子位置显式编码至 token 表示，发现特定编码方法在上下文折扣损失下可提升英译俄效果，但英译德未见相同益处。
2023-04-04 cs.CL
FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation
Google Research（谷歌研究院）
本研究提出面向少样本区域感知机器翻译的基准FRMT，含英语转葡语、普通话各地域变体的专业译文，探索验证了自动评估指标与人工评估的相关性，给出基线模型及研究指南，相关资源已公开。
2023-10-03 cs.CL
Context-Aware Monolingual Repair for Neural Machine Translation
Yandex；University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
现代的句子级NMT系统通常会对孤立的句子进行合理的翻译。然而，当放在上下文中时，这些翻译可能最终彼此不一致。我们提出了一个单语DocRepair模型来纠正文档级翻译之间的不一致。DocRepair对一系列的句子级翻译进行自动后期编辑，在彼此的上下文中改进句子的翻译。对于训练，DocRepair模型只需要目标语言的单语文档级数据。它被训练为单语序列到序列模型，将不一致的句子组映射为一致的句子组。一致组来自原始训练数据;不一致组通过对每个孤立句子的往返翻译进行采样而获得。我们表明，这种方法成功地模仿不一致，我们的目标是解决：使用对比评价，我们在翻译的几个上下文现象在英俄翻译任务，以及BLEU分数的改善，显示出很大的改善。我们还进行了人工评估，并显示出注释者对校正翻译的强烈偏好。此外，我们还分析了单语数据难以捕捉的语篇现象。
2019-10-15 cs.CL
Improving Context-aware Neural Machine Translation with Target-side Context
Tokyo Metropolitan University（东京都立大学）
近年来，一些关于神经机器翻译（NMT）的研究试图通过使用多编码器和两个注意力机制来读取当前和先前的句子，以结合先前句子的上下文，从而使用文档级上下文。这些研究的结论是，目标方的上下文是没有那么有用的比源方的上下文。然而，我们认为目标端上下文不太有用的原因在于用于对这些上下文进行建模的架构。因此，在这项研究中，我们研究如何目标端上下文可以提高上下文感知神经机器翻译。我们提出了一种权重共享方法，其中NMT保存解码器状态，并在翻译当前句子时使用保存的状态计算注意力向量。我们的实验表明，目标端的上下文也是有用的，如果我们插入到NMT作为解码器状态时，翻译前一句话。
2019-09-02 cs.CL
Difficulty-Aware Machine Translation Evaluation
University of Macau（澳门大学）
机器翻译（MT）系统产生的高质量翻译结果仍然对自动评估提出了巨大的挑战。目前的机器翻译评估对每个句子成分给予了同样的关注，而现实世界考试的问题（例如，大学考试）有不同的难度和权重。在本文中，我们提出了一种新的难度意识的机器翻译评价指标，扩大了评估维度，考虑到翻译难度。大多数机器翻译系统无法预测的翻译将被视为困难的翻译，并在最终的评分函数中分配较大的权重，反之亦然。在WMT 19英语-德语机器人共享任务上的实验结果表明，我们提出的方法在人类相关性方面优于常用的MT指标。特别是，我们提出的方法表现良好，即使所有的MT系统都非常有竞争力，这是当大多数现有的指标无法区分它们。源代码可在https://github.com/NLP2CT/Difficulty-Aware-MT-Evaluation上免费获得。
2021-07-30 cs.AI cs.CL
Analyzing the Attention Heads for Pronoun Disambiguation in Context-aware Machine Translation Models
Maastricht University（马斯特里赫特大学）
本文分析上下文感知机器翻译模型中注意力头对代词消歧的影响，发现部分头未充分利用，微调后准确率提升最多5个百分点。
2024-12-15 cs.AI cs.CL cs.LG
Importance-Aware Data Augmentation for Document-Level Neural Machine Translation
Monash University（莫纳什大学）；Google Research（谷歌研究院）
针对文档级神经机器翻译的数据稀疏问题，提出基于词元重要性的IADA数据增强算法，在三个基准上的表现优于现有基线与其他增强方法。
2024-01-27 cs.CL
Revisiting Context Choices for Context-aware Machine Translation
The University of Tokyo（东京大学）
本文重新审视了上下文感知机器翻译中的上下文选择问题，发现多源Transformer模型即使输入空上下文也能提升翻译效果，但提供正确且充足的上下文能显著提升翻译质量，而错误或域外上下文则会降低质量。
2021-09-07 cs.CL
Target-Agnostic Gender-Aware Contrastive Learning for Mitigating Bias in Multilingual Machine Translation
Seoul National University（首尔大学）；Microsoft Research Asia（微软亚洲研究院）
针对多语言机器翻译中的性别偏见，提出目标语言无关的性别感知对比学习（GACL），通过微调预训练模型提升性别准确性且不损害翻译性能，并验证其跨语言迁移性和模型规模适用性。
2023-11-10 cs.CL
Sequence Shortening for Context-Aware Machine Translation
Maastricht University（马斯特里赫特大学）
本研究针对上下文感知机器翻译，提出缓存源句潜在表示作为上下文的多编码器特例，并引入潜在分组与潜在选择两种序列缩短方法，在对比数据集上取得更高准确率，同时保持BLEU和COMET分数，提升可解释性并降低内存增长。
2024-02-02 cs.AI cs.CL cs.LG
Increasing Visual Awareness in Multimodal Neural Machine Translation from an Information Theoretic Perspective
Tencent（腾讯）；Fudan University（复旦大学）；Nanjing University（南京大学）
多模态机器翻译旨在通过为源语句提供相应的图像来提高翻译质量。尽管MMT模型具有良好的性能，但仍然存在输入退化的问题：模型更多地关注文本信息，而视觉信息通常被忽视。在本文中，我们努力提高MMT性能，从信息论的角度来看，增加视觉意识。具体地说，我们将视觉信号分解为两部分：源特定信息和目标特定信息。我们使用互信息来量化它们，并提出了两种目标优化方法，以更好地利用视觉信号。在两个数据集上的实验表明，该方法可以有效地增强MMT模型的视觉感知能力，并在强基线下取得优异的结果。
2022-10-16 cs.CL cs.CV
StressTransfer: Stress-Aware Speech-to-Speech Translation with Emphasis Preservation
The Chinese University of Hong Kong, China（香港中文大学）；Nara Institute of Science and Technology（奈良科学技術大学）
提出StressTransfer系统，利用LLM将源语言词级压力转为目标语言标签以指导TTS，通过自动数据生成和LLM-as-Judge评估，在保留强调的同时维持翻译质量与自然度。
2025-10-15 cs.AI cs.CL
