Challenges in Context-Aware Neural Machine Translation
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）；University of Washington（华盛顿大学）
本文调查了上下文感知神经机器翻译在话语现象、上下文使用、模型架构和评估方面的挑战，并提出段落到段落翻译设置及中英文小说数据集以促进未来研究。
2023-10-23 cs.CL
Focused Concatenation for Context-Aware Neural Machine Translation
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Naver Labs Europe（NAVER欧洲实验室）
上下文感知神经机器翻译的一个简单的方法包括在饲料的标准编码器-解码器架构的连续句子的窗口，由当前的句子和一些句子从它的上下文连接到it. In这项工作中，我们提出了一个改进的连接方法，鼓励模型专注于翻译的当前句子，贴现目标上下文产生的损失。我们还提出了一个额外的改进，加强句子边界和相对句子距离的概念，促进模型符合上下文折扣的目标。我们评估我们的方法与平均翻译质量指标和对比测试集的翻译间的话语现象，证明其优越性香草拼接方法和其他复杂的上下文感知系统。
2022-10-24 cs.CL
Variance-Aware Machine Translation Test Sets
University of Macau（澳门大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
我们发布了70个用于机器翻译（MT）评估的小而有区别的测试集，称为方差感知测试集（VAT），涵盖了从WMT 16到WMT 20比赛的35个翻译方向。通过一种新的方差感知过滤方法自动创建VAT，该方法过滤当前MT测试集的无差别测试实例，而无需任何人工劳动。实验结果表明，在主流语言对和测试集上，VAT在与人类判断的相关性方面优于原始WMT测试集。对VAT属性的进一步分析揭示了具有挑战性的语言特征（例如，低频词和专有名词的翻译）的竞争机器翻译系统，为构建未来的机器翻译测试集提供指导。测试集和准备方差感知MT测试集的代码可在https://github.com/NLP2CT/Variance-Aware-MT-Test-Sets上免费获得。
2021-11-07 cs.CL
Benchmarking Machine Translation with Cultural Awareness
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校）；Stanford University（斯坦福大学）
本文构建了带文化特定项标注的6语言对平行语料库并提出两种语用评估指标，用于评测机器翻译的文化意识，发现大语言模型在翻译缺乏目标文化对应项的CSI时优于神经机器翻译。
2024-10-19 cs.CL
Context-Aware Learning for Neural Machine Translation
New York University（纽约大学）；CIFAR Azrieli Global Scholar（CIFAR Azrieli全球学者（注：CIFAR是加拿大高级研究所，非机构；此处按原文保留））
对大上下文神经机器翻译的兴趣，包括文档级和多模态翻译，一直在增长。许多作品提出了新的网络架构或评估方案，但潜在的有用的上下文有时仍然被较大的上下文翻译模型所忽略。在本文中，我们提出了一种新的学习算法，明确鼓励神经翻译模型考虑到额外的上下文使用多级成对排序损失。我们评估所提出的学习算法与基于transformer的大上下文翻译系统的文档级翻译。通过比较使用实际和随机上下文的性能，我们表明，使用该算法训练的模型对额外的上下文更敏感。
2019-03-12 cs.CL
Semantics-aware Attention Improves Neural Machine Translation
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
将句法结构整合到Transformer机器翻译中已经取得了积极的成果，但据我们所知，还没有工作试图这样做语义结构。在这项工作中，我们提出了两种新的无参数的方法注入语义信息到Transformers，都依赖于语义感知掩蔽（一些）的注意头。一种这样的方法通过场景感知自注意（SASA）头在编码器上操作。另一个在解码器上，通过场景感知交叉注意（SACrA）头。我们表现出一致的改进香草Transformer和语法感知模型的四种语言对。我们进一步表明，在一些语言对使用语义和句法结构时，额外的收益。
2022-05-24 cs.CL
Using Perturbed Length-aware Positional Encoding for Non-autoregressive Neural Machine Translation
NTT Communication Science Laboratories（NTT通信科学实验室）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
非自回归神经机器翻译（NAT）通常采用序列级知识蒸馏使用自回归神经机器翻译（AT）作为其教师模型。然而，NAT模型通常输出比AT模型更短的句子。在这项工作中，我们提出了序列级知识蒸馏（SKD）使用扰动长度感知位置编码，并将其应用到学生模型，Levenshtein Transformer。我们的方法优于标准Levenshtein Transformer的2.5点，在双语评估替补（BLEU）在最大的WMT 14德语到英语的翻译。NAT模型输出比基线NAT模型更长的句子。
2021-07-29 cs.CL
A Large-Scale Test Set for the Evaluation of Context-Aware Pronoun Translation in Neural Machine Translation
University of Zurich（苏黎世大学）；Amazon Research（亚马逊研究院）；Yandex Research（Yandex研究院）；University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
代词的翻译对机器翻译提出了一个特殊的挑战，因为它经常需要当前句子之外的上下文。最近的工作模型，可以访问跨句子边界的信息已经看到只有适度的改进，如BLEU的自动评估指标。然而，量化整体翻译质量的指标不足以衡量额外上下文带来的收益。我们认为，需要一种不同的评估，以评估如何以及模型翻译间的现象，如代词。因此，本文提出了一个测试套件的对比翻译，专门侧重于代词的翻译。此外，我们进行实验与几个上下文感知模型。我们表明，虽然这些系统的BLEU增益适中，但在我们的对比测试集上，它们在准确性方面大大优于基线。我们的实验也显示了多编码器架构的参数绑定的有效性。
2019-03-06 cs.CL
Context-Aware or Context-Insensitive? Assessing LLMs' Performance in Document-Level Translation
University of Amsterdam（阿姆斯特丹大学）
本研究针对文档级翻译中需句外上下文的词汇翻译问题，通过扰动和归因分析评估9个不同家族LLMs及2个基线模型的上下文利用能力，发现其文档翻译性能提升未体现在代词翻译上，强调需针对性微调以提升可靠性。
2025-02-14 cs.CL
Contrastive Learning for Context-aware Neural Machine TranslationUsing Coreference Information
Dept. of Electrical and Computer Engineering, Seoul National University（首尔大学电气与计算机工程系）；Automation and Systems Research Institute, Seoul National University（首尔大学自动化与系统研究所）
上下文感知神经机器翻译（NMT）融合了文本的上下文信息，可以提高文档级机器翻译的翻译质量。许多现有的上下文感知NMT的工作都集中在开发新的模型架构，将额外的上下文，并显示出一些有前途的结果。然而，大多数现有的作品依赖于交叉熵损失，从而限制了上下文信息的使用。在本文中，我们提出了CorefCL，一种新的数据增强和对比学习计划的基础上，源和上下文句子之间的共指。通过破坏自动检测到的上下文语句中的共指提及，CorefCL可以训练模型对共指不一致性敏感。我们在常见的上下文感知NMT模型和两个文档级翻译任务上实验了我们的方法。在实验中，我们的方法不断提高BLEU的比较模型上的英语-德语和英语-韩语任务。我们还表明，我们的方法显着提高了共指消解在英语-德语对比测试套件。
2021-09-13 cs.CL
Can Your Context-Aware MT System Pass the DiP Benchmark Tests? : Evaluation Benchmarks for Discourse Phenomena in Machine Translation
Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（赛富时亚洲研究院）；Warsaw University of Technology（华沙理工大学）
尽管越来越多的实例机器翻译（MT）系统，包括上下文信息，翻译质量的改善的证据是稀疏的，特别是语篇现象。像BLEU这样的流行指标没有足够的表现力或敏感性来捕捉质量的改进或下降，这些改进或下降在尺寸上很小，但在感知上很重要。我们介绍了第一个MT基准数据集，旨在跟踪和欢呼四个主要话语现象的改进：回指，词汇一致性，连贯性和可读性，以及话语连接翻译。我们还介绍了这些任务的评估方法，并在策划的数据集上评估了几个基线MT系统。令人惊讶的是，我们发现，现有的上下文感知模型并没有提高跨语言和现象一致的话语相关的翻译。
2020-04-30 cs.CL
Context-Aware Neural Machine Translation Learns Anaphora Resolution
Yandex；University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
标准的机器翻译系统孤立地处理句子，因此忽略了额外的信息，即使扩展的上下文既可以防止歧义情况下的错误，又可以提高翻译的连贯性。我们引入了一个上下文感知的神经机器翻译模型，其设计方式是可以控制和分析从扩展上下文到翻译模型的信息流。我们用英语-俄语字幕数据集进行了实验，并观察到我们的模型捕获的大部分内容都涉及改善代词翻译。我们测量诱导注意分布和共指关系之间的对应关系，并观察到该模型隐含地捕捉回指。这与代词在翻译中需要性别化的句子的收益是一致的。除了在照应情况下的改进之外，该模型还在整体BLEU方面有所改进，无论是在其上下文不可知版本（+0.7）还是在上下文和源句子的简单连接（+0.6）上。
2018-05-25 cs.CL
Isochrony-Aware Neural Machine Translation for Automatic Dubbing
Amazon（亚马逊）
我们介绍了任务的等时意识的机器翻译，其目的是在生成翻译适合配音。配音需要将源语言的内容以及语音停顿结构转换为目标语言，以实现视听连贯。实际上，这意味着正确地将停顿从源投影到目标，并确保目标语音段具有与对应的源语音段大致相同的持续时间。在这项工作中，我们提出了隐式和显式建模方法，将等时信息集成到神经机器翻译中。英语-德语/法语语言对自动度量的实验表明，最简单的考虑方法效果最好。结果通过翻译和配音视频的人工评估得到证实。
2022-07-08 cs.CL
Specification-Aware Machine Translation and Evaluation for Purpose Alignment
The Graduate University for Advanced Studies (SOKENDAI)（高级研究大学（SOKENDAI））；National Institute of Informatics（信息研究所）
本文提出规范感知机器翻译与评估框架，通过在33家公司投资者关系文本上的实验证明，规范指导的LLM翻译在人工评估中优于官方人工翻译，表明整合规范可提升专业翻译质量。
2025-09-22 cs.CL
When a Good Translation is Wrong in Context: Context-Aware Machine Translation Improves on Deixis, Ellipsis, and Lexical Cohesion
Yandex（扬达克斯）；University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
虽然机器翻译错误是由于缺少句子以外的上下文而引起的，但上下文感知的NMT系统的发展受到一些问题的阻碍。首先，标准度量对文档级翻译一致性的改进不敏感。其次，以前的工作上下文感知的NMT假设，对齐的并行数据包括完整的文件，而在大多数实际情况下，这样的文档级数据构成的可用并行数据的一小部分。为了解决第一个问题，我们进行了一项人类研究的英语-俄语字幕数据集，并确定指示，省略和词汇衔接的三个主要来源的不一致。然后，我们创建针对这些现象的测试集。为了解决第二个缺点，我们考虑了一个设置，其中与文档级对齐的数据相比，有大量的文档级数据可用。我们引入了一个模型，适合这种情况下，并证明了我们的新基准测试的上下文无关的基线上的主要收益，而不会牺牲性能与BLEU测量。
2019-06-07 cs.CL
Context-Aware Machine Translation with Source Coreference Explanation
Nara Institute of Science and Technology（奈良科学技术研究所）
本文针对上下文感知机器翻译中因上下文过长或模型复杂导致的解释消除效应，提出通过预测输入共指特征来解释翻译决策的模型，并在多个数据集上取得超过1.0 BLEU的提升。
2024-04-30 cs.CL
Syntax-aware Data Augmentation for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）；National Institute of Information and Communications Technology（信息通信研究机构）
数据增强是神经机器翻译（NMT）中通过生成额外的双语数据来提高性能的一种有效方法。在本文中，我们提出了一种新的数据增强神经机器翻译增强策略。与现有的数据增强方法简单地选择不同句子中具有相同概率的单词进行修改不同，我们通过考虑单词在句子中的作用来设置特定于句子的单词选择概率。我们使用输入句子的依存分析树作为一个有效的线索，以确定每个词在每个句子中的选择概率。我们提出的方法在WMT 14英语到德语数据集和IWSLT 14德语到英语数据集上进行了评估。大量的实验结果表明，我们提出的语法感知的数据增强方法可以有效地提高现有的翻译性能显着提高独立的方法。
2020-04-29 cs.CL
Quality-Aware Decoding for Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Instituto Superior Técnico（高等技术学院）；Instituto de Telecomunicações（电信研究所）；INESC-ID（里斯本系统与计算机工程研究所）；Unbabel
尽管近年来在机器翻译质量估计和评估方面取得了进展，但神经机器翻译（NMT）中的解码大多忽略了这一点，并且围绕着根据模型（MAP解码）找到最可能的翻译，近似于束搜索。在本文中，我们汇集了这两条线的研究，并提出了质量感知解码NMT，利用最近的突破，通过各种推理方法，如$N$ -最好的重新排序和最小贝叶斯风险解码的参考和基于参考的MT评估。我们在四个数据集和两个模型类中对各种可能的候选生成和排名方法进行了广泛的比较，发现质量感知解码始终优于基于MAP的解码，无论是根据最先进的自动度量（COMET和BLEURT）还是人工评估。我们的代码可在https://github.com/deep-spin/qaware-decode上获得。
2022-05-02 cs.CL
Measuring and Increasing Context Usage in Context-Aware Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Instituto Superior Técnico（高等技术学院）；Instituto de Telecomunicações（电信研究所）；Unbabel
神经机器翻译的最新研究已经证明了使用中间语境的必要性和可行性，中间语境是指来自当前翻译句子以外的句子的语境。然而，尽管目前的许多方法提出了理论上可以使用这种额外上下文的模型架构，但通常不清楚它们在翻译时实际使用了多少。在本文中，我们引入了一个新的度量，条件交叉互信息，量化这些模型的上下文的使用。使用这个度量标准，我们测量文档级机器翻译系统使用特定上下文的程度。我们发现，目标上下文被引用的源上下文，并在一个较长的上下文条件有一个递减的效果。然后，我们引入了一种新的，简单的训练方法，上下文感知的词辍学，增加上下文感知模型的上下文的使用。实验表明，我们的方法增加了上下文的使用，这反映了根据BLEU和COMET等指标的翻译质量，以及在照应代词解析和词汇衔接对比数据集上的性能。
2021-06-02 cs.CL
Improved Neural Machine Translation with a Syntax-Aware Encoder and Decoder
Nanjing University（南京大学）；University of Notre Dame（圣母大学）
大多数神经机器翻译（NMT）模型基于顺序编码器-解码器框架，该框架不使用语法信息。在本文中，我们改进了这个模型，明确纳入源端语法树。更具体地说，我们提出了（1）一个双向树编码器，学习顺序和树结构表示;（2）一个树覆盖模型，让注意力取决于源端语法。汉英翻译实验表明，我们提出的模型优于顺序注意模型，以及一个更强的基线与自底向上的树编码器和单词覆盖率。
2017-07-18 cs.CL
LANDeRMT: Detecting and Routing Language-Aware Neurons for Selectively Finetuning LLMs to Machine Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；School of Software, Tsinghua University（清华大学软件学院）；Baidu Inc（百度公司）
本文提出LANDeRMT框架，通过检测语言通用与语言特定神经元并进行选择性微调和条件感知路由，缓解大语言模型机器翻译微调中的灾难性遗忘与参数干扰，显著提升多语言对翻译质量。
2024-09-29 cs.CL
Character-Aware Decoder for Translation into Morphologically Rich Languages
Johns Hopkins University（约翰斯·霍普金斯大学）
神经机器翻译（NMT）系统主要对单词（或子单词）进行操作，忽略较低级别的形态模式。我们提出了一个字符感知解码器，旨在捕捉这种模式时，翻译成形态丰富的语言。我们通过用卷积神经网络增强基于注意力的编码器-解码器模型的softmax和嵌入层来实现字符感知，该卷积神经网络对单词的拼写进行操作。为了研究各种形态现象的表现，我们使用TED多目标数据集将英语翻译成14种类型多样的目标语言。在这种低资源设置中，字符感知解码器提供了一致的改进，BLEU分数增益高达$+3.05$。此外，我们分析了所获得的收益和目标语言的属性之间的关系，并找到证据表明，我们的模型确实利用形态模式。
2019-06-18 cs.CL
HanoiT: Enhancing Context-aware Translation via Selective Context
Beihang University（北京航空航天大学）；The University of Hong Kong（香港大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出HanoiT端到端模型，通过逐层软选择机制筛选文档上下文中的噪声词，增强上下文感知神经机器翻译，并在四个基准上显著超越已有模型。
2023-01-17 cs.CL
A Systematic Analysis of Subwords and Cross-Lingual Transfer in Multilingual Translation
University of Cape Town（开普敦大学）
本文系统分析子词分割方法对多语言翻译中跨语言迁移的影响，发现子词正则化促进多语言建模协同，BPE更利于跨语言微调，并揭示正字法词边界差异比语言不相关性更阻碍迁移。
2024-03-29 cs.CL
Unsupervised Domain Adaptation for Neural Machine Translation with Domain-Aware Feature Embeddings
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
最近神经机器翻译模型的成功依赖于高质量域内数据的可用性。当特定于域的数据很少或不存在时，需要领域自适应。以前的无监督领域自适应策略包括用域内复制的单语或反向翻译的数据训练模型。然而，这些方法使用文本的通用表示，而不管域转移，这使得翻译模型无法控制特定域的输出条件。在这项工作中，我们提出了一种方法，通过辅助语言建模任务学习的域感知特征嵌入来适应模型。我们的方法允许模型分配特定领域的表示词和输出句子在所需的域。我们的实证结果证明了所提出的策略的有效性，在多个实验环境中实现了一致的改善。此外，我们表明，将我们的方法与反向翻译相结合可以进一步提高模型的性能。
2019-08-27 cs.CL
VISA: An Ambiguous Subtitles Dataset for Visual Scene-Aware Machine Translation
Kyoto University（京都大学）
现有的多模态机器翻译（MMT）数据集由图像和视频字幕或一般字幕组成，其很少包含语言歧义，使得视觉信息不那么有效以生成适当的翻译。本文介绍了一个新的数据集VISA，该数据集由4万个日英平行句对和相应的视频片段组成，其主要特征是：（1）平行句是电影和电视剧的字幕;（2）源字幕是模糊的，这意味着它们有多个可能的不同含义的翻译;（3）根据歧义产生的原因，将数据集分为多义词和省略词。我们表明，VISA是最新的MMT系统的挑战，我们希望该数据集可以促进MMT的研究。VISA数据集可在https://github.com/ku-nlp/VISA上获得。
2022-05-26 cs.CL
Encoding Sentence Position in Context-Aware Neural Machine Translation with Concatenation
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Naver Labs Europe（Naver欧洲实验室）
本文研究在基于拼接的上下文感知机器翻译中，通过多种方法将句子位置显式编码至 token 表示，发现特定编码方法在上下文折扣损失下可提升英译俄效果，但英译德未见相同益处。
2023-04-04 cs.CL
Uncertainty-Aware Semantic Augmentation for Neural Machine Translation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Machine Intelligence Technology Lab, Alibaba Group（阿里巴巴集团机器智能技术实验室）
神经机器翻译（NMT）作为一种序列到序列生成任务，自然包含内在的不确定性，其中一种语言中的单个句子在另一种语言中具有多个有效的对应物。然而，NMT的主流方法仅从平行语料库中观察其中一个用于模型训练，而在推理时必须处理相同意义下的足够变化。这导致训练和推理阶段之间的数据分布的差异。为了解决这个问题，我们提出了不确定性感知的语义增强，它明确地捕捉多个语义等价的源句子之间的通用语义信息，并增强隐藏的表示与此信息更好的翻译。对各种翻译任务的大量实验表明，我们的方法显着优于强基线和现有的方法。
2020-10-09 cs.CL
FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation
Google Research（谷歌研究院）
本研究提出面向少样本区域感知机器翻译的基准FRMT，含英语转葡语、普通话各地域变体的专业译文，探索验证了自动评估指标与人工评估的相关性，给出基线模型及研究指南，相关资源已公开。
2023-10-03 cs.CL
Context-Aware Monolingual Repair for Neural Machine Translation
Yandex；University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
现代的句子级NMT系统通常会对孤立的句子进行合理的翻译。然而，当放在上下文中时，这些翻译可能最终彼此不一致。我们提出了一个单语DocRepair模型来纠正文档级翻译之间的不一致。DocRepair对一系列的句子级翻译进行自动后期编辑，在彼此的上下文中改进句子的翻译。对于训练，DocRepair模型只需要目标语言的单语文档级数据。它被训练为单语序列到序列模型，将不一致的句子组映射为一致的句子组。一致组来自原始训练数据;不一致组通过对每个孤立句子的往返翻译进行采样而获得。我们表明，这种方法成功地模仿不一致，我们的目标是解决：使用对比评价，我们在翻译的几个上下文现象在英俄翻译任务，以及BLEU分数的改善，显示出很大的改善。我们还进行了人工评估，并显示出注释者对校正翻译的强烈偏好。此外，我们还分析了单语数据难以捕捉的语篇现象。
2019-10-15 cs.CL
Improving Context-aware Neural Machine Translation with Target-side Context
Tokyo Metropolitan University（东京都立大学）
近年来，一些关于神经机器翻译（NMT）的研究试图通过使用多编码器和两个注意力机制来读取当前和先前的句子，以结合先前句子的上下文，从而使用文档级上下文。这些研究的结论是，目标方的上下文是没有那么有用的比源方的上下文。然而，我们认为目标端上下文不太有用的原因在于用于对这些上下文进行建模的架构。因此，在这项研究中，我们研究如何目标端上下文可以提高上下文感知神经机器翻译。我们提出了一种权重共享方法，其中NMT保存解码器状态，并在翻译当前句子时使用保存的状态计算注意力向量。我们的实验表明，目标端的上下文也是有用的，如果我们插入到NMT作为解码器状态时，翻译前一句话。
2019-09-02 cs.CL
Importance-Aware Data Augmentation for Document-Level Neural Machine Translation
Monash University（莫纳什大学）；Google Research（谷歌研究院）
针对文档级神经机器翻译的数据稀疏问题，提出基于词元重要性的IADA数据增强算法，在三个基准上的表现优于现有基线与其他增强方法。
2024-01-27 cs.CL
Revisiting Context Choices for Context-aware Machine Translation
The University of Tokyo（东京大学）
本文重新审视了上下文感知机器翻译中的上下文选择问题，发现多源Transformer模型即使输入空上下文也能提升翻译效果，但提供正确且充足的上下文能显著提升翻译质量，而错误或域外上下文则会降低质量。
2021-09-07 cs.CL
Target-Agnostic Gender-Aware Contrastive Learning for Mitigating Bias in Multilingual Machine Translation
Seoul National University（首尔大学）；Microsoft Research Asia（微软亚洲研究院）
针对多语言机器翻译中的性别偏见，提出目标语言无关的性别感知对比学习（GACL），通过微调预训练模型提升性别准确性且不损害翻译性能，并验证其跨语言迁移性和模型规模适用性。
2023-11-10 cs.CL
Breeding Gender-aware Direct Speech Translation Systems
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
在自动语音翻译（ST）中，涉及单独的转录和翻译步骤的传统级联方法正在为越来越有竞争力和更强大的直接解决方案提供基础。特别地，通过在没有中间转录的情况下翻译语音音频数据，直接ST模型能够利用和保留存在于输入中的基本信息（例如，说话者的声音特征），否则这些信息在级联框架中丢失。虽然这种能力被证明是有用的性别翻译，直接ST仍然受到性别偏见，就像它的级联对应，以及机器翻译和许多其他自然语言处理应用。此外，完全依赖于声音生物特征作为性别线索的直接ST系统对于某些用户可能是不合适的并且可能是有害的。超越语音信号，在本文中，我们比较不同的方法来告知直接ST模型的扬声器的性别和测试他们的能力，处理性别翻译从英语到意大利语和法语。为了这个目的，我们手动注释大数据集与扬声器的性别信息，并使用它们的实验，反映不同的可能的现实世界的情况。我们的研究结果表明，性别意识直接ST解决方案可以显着优于强大的，但性别意识直接ST模型。特别是，性别标记词的翻译可以提高高达30分的准确性，同时保持整体翻译质量。
2020-12-09 cs.CL
Distilling Translations with Visual Awareness
University of Sheffield（谢菲尔德大学）；Imperial College London（帝国理工学院）
先前关于多模态机器翻译的工作已经表明，视觉信息仅在非常特定的情况下才需要，例如，在文本上下文不充分的情况下存在歧义的单词。因此，模型往往会学会忽略这些信息。我们提出了一个简单和完善的方法来解决这个问题，其中图像只使用第二阶段解码器。这种方法被联合训练以生成良好的初稿翻译，并通过（i）更好地利用目标语言文本上下文（左侧和右侧上下文）和（ii）利用视觉上下文来改进该草稿。这种方法导致了最先进的结果。此外，我们表明，它有能力从错误或丢失的单词在源语言恢复。
2019-06-18 cs.CL
Selective Attention for Context-aware Neural Machine Translation
Monash University（莫纳什大学）；Unbabel；Instituto de Telecomunicações（电信研究所）
尽管在高级NMT方面取得了进展，但目前的系统仍然无法实现完整文件的流畅，高质量的翻译。最近的工作在上下文感知NMT考虑只有几个以前的句子作为上下文，可能无法扩展到整个文档。为此，我们提出了一种新颖的和可扩展的自上而下的方法，层次注意力的上下文感知的NMT使用稀疏的注意力选择性地集中在相关的句子在文档的上下文中，然后出席这些句子中的关键词。我们还提出了基于句子或词级信息的单级注意方法。从这些注意力模块产生的文档级上下文表示被集成到Transformer模型的编码器或解码器中，这取决于我们是使用单语上下文还是双语上下文。我们在不同文档MT设置的英语-德语数据集上的实验和评估表明，我们的选择性注意方法不仅显着优于上下文无关的基线，而且在大多数情况下也超过了上下文感知的基线。
2019-05-24 cs.CL
Average Token Delay: A Duration-aware Latency Metric for Simultaneous Translation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
针对同声传译现有延迟指标忽略翻译持续时间的问题，提出关注部分翻译持续时间的 Average Token Delay (ATD) 指标，实验证明其在多数条件下与 Ear-Voice Span (EVS) 相关性最高。
2023-11-27 cs.CL
Cross-Preference Learning for Sentence-Level and Context-Aware Machine Translation
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；School of Computer Science and Artificial Intelligence, Zhengzhou University（郑州大学计算机与人工智能学院）；Huawei Translation Services Center（华为翻译服务中心）
本文提出跨偏好学习框架，通过整合内在和跨条件偏好，提升句子级和上下文感知机器翻译的互补效益，实验显示在多个任务中翻译质量与鲁棒性均有提升。
2026-09-07 cs.CL
Graph Convolutional Encoders for Syntax-aware Neural Machine Translation
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
我们提出了一个简单而有效的方法，将句法结构的神经注意力为基础的编码器-解码器模型的机器翻译。我们依赖于图卷积网络（GCN），这是最近开发的一类神经网络，用于对图结构数据进行建模。我们的GCN使用源句子的预测语法依赖树来产生对其语法邻居敏感的单词表示（即编码器的隐藏状态）。GCN将单词表示作为输入并产生单词表示作为输出，因此它们可以容易地作为层并入标准编码器（例如，在双向RNN或卷积神经网络之上）。我们评估其有效性与英语-德语和英语-捷克语翻译实验不同类型的编码器，并观察到实质性的改进，在所有考虑的设置，其语法不可知的版本。
2020-06-18 cs.CL
Syntax-Enhanced Neural Machine Translation with Syntax-Aware Word Representations
Tianjin University（天津大学）；Soochow University（苏州大学）
在神经机器翻译（NMT）中，神经网络翻译被证明是非常有效的。先前的NMT模型通过表示来自良好训练的解析系统的1-最佳树输出来集成语法，例如，代表性的Tree-RNN和Tree-Linearization方法，可能会受到错误传播的影响。在这项工作中，我们提出了一种新的方法来集成源端语法隐式NMT。其基本思想是使用经过良好训练的端到端依赖解析器的中间隐藏表示，这被称为语法感知单词表示（SAWR）。然后，我们简单地将这样的SAWR与普通的词嵌入连接起来，以增强基本的NMT模型。该方法可以直接集成到广泛使用的序列到序列（Seq 2Seq）NMT模型中。我们从一个具有代表性的基于RNN的Seq 2Seq基线系统开始，分别在汉英和英越翻译任务的两个基准数据集上测试了我们提出的方法的有效性。实验结果表明，与基线相比，该方法能够显著提高两个数据集的BLEU评分，汉英翻译为1.74分，英越翻译为0.80分。此外，该方法还优于显式Tree-RNN和Tree-Linearization方法。
2019-05-08 cs.CL
Syntax-Aware Complex-Valued Neural Machine Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
本文提出一种语法感知的复值编码器-解码器NMT方法，联合学习词级与语法级注意力，且可嵌入任意Seq2Seq框架，在两个数据集上显著提升BLEU，尤其适用于语法差异大的语言对。
2024-06-17 cs.CL
Does Multi-Encoder Help? A Case Study on Context-Aware Neural Machine Translation
Northeastern University（东北大学）；NiuTrans Research（小牛翻译研究院）；Institute of Psychology, CAS（中国科学院心理研究所）；Kingsoft AI Lab（金山人工智能研究院）
在编码器-解码器神经模型中，除了单个句子之外，多个编码器通常用于表示上下文信息。本文研究了文档级神经机器翻译（NMT）中的多编码器方法。令人惊讶的是，我们发现上下文编码器不仅对周围的句子进行编码，而且还表现为噪声生成器。这让我们重新思考多编码器在上下文感知翻译中的真正好处-一些改进来自鲁棒训练。我们比较了几种方法，这些编码器的训练中引入噪声和/或良好调整的辍学设置。实验结果表明，噪声训练在基于多编码器的NMT中起着重要作用，特别是当训练数据较小时。此外，我们建立了一个新的国家的最先进的IWFRF-EN任务，仔细使用噪声产生和辍学的方法。
2020-05-17 cs.CL
Divide and Rule: Effective Pre-Training for Context-Aware Multi-Encoder Translation Models
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Naver Labs Europe（Naver欧洲实验室）
多编码器模型是一个广泛的上下文感知神经机器翻译系统家族，旨在通过对当前句子旁边的文档级上下文信息进行编码来提高翻译质量。上下文编码由上下文参数进行，在文档级数据上进行训练。在这项工作中，我们讨论了有效训练这些参数的困难，由于需要上下文的单词的稀疏性（即，训练信号）以及它们的相关上下文。我们建议在分裂的句子对上预训练上下文参数，这可以有效地利用可用的数据，原因有两个。首先，它通过打破内部句法关系来增加上下文训练信号，从而推动模型更频繁地搜索上下文以消除歧义。其次，它简化了相关上下文的检索，因为上下文段变得更短。我们提出了四种不同的分裂方法，并评估我们的方法与BLEU和对比测试集。结果表明，它始终提高学习的上下文参数，无论是在低和高的资源设置。
2022-03-15 cs.CL
Towards String-to-Tree Neural Machine Translation
Bar-Ilan University（巴伊兰大学）
我们提出了一个简单的方法，将目标语言的句法信息在神经机器翻译系统中，通过转换成线性化，词汇化的选区树。WMT16德英新闻翻译任务的实验结果表明，与在相同数据集上训练的语法不可知的NMT基线相比，BLEU得分有所提高。对来自语法感知系统的翻译的分析表明，与基线相比，它在翻译期间执行更多的重新排序。一个小规模的人类评估也显示了语法感知系统的优势。
2017-05-06 cs.CL
Competency-Aware Neural Machine Translation: Can Machine Translation Know its Own Translation Quality?
Alibaba Group Inc.（阿里巴巴集团）
神经机器翻译（NMT）经常因在没有意识的情况下发生故障而受到批评。能力意识的缺乏使NMT不可信。这与人工翻译形成鲜明对比，人工翻译在对预测有疑问时会提供反馈或进行进一步调查。为了填补这一空白，我们提出了一种新的能力意识的NMT扩展传统的NMT与自我估计，提供翻译的源语句，并估计其能力。自估计器对解码过程中的信息进行编码，然后检查它是否能重建源句子的原始语义。四个翻译任务的实验结果表明，该方法不仅完成翻译任务的完整性，但也提供了出色的性能质量评估。不依赖于任何参考或注释数据通常所需的国家的最先进的度量和质量估计方法，我们的模型产生了更高的相关性与人类的质量判断比各种上述方法，如BLEURT，彗星，BERTScore。定量和定性分析表明，在我们的模型更好的能力意识的鲁棒性。
2022-11-25 cs.AI cs.CL
DePA: Improving Non-autoregressive Machine Translation with Dependency-Aware Decoder
Beijing Institute of Technology（北京理工大学）
针对非自回归机器翻译质量较低的问题，提出依赖感知解码器DePA，通过自回归前向后向预训练和注意力转换过程增强目标依赖建模，在WMT和IWSLT基准上实现最高1.88 BLEU增益且不增加推理延迟。
2023-08-02 cs.CL
Frequency-Aware Contrastive Learning for Neural Machine Translation
National Engineering Research Center for Software Engineering, Peking University（北京大学国家软件工程研究中心）；Alibaba Group（阿里巴巴集团）
低频词预测仍然是现代神经机器翻译（NMT）系统中的一个挑战。最近的自适应训练方法通过强调其在总体训练目标中的权重来促进不频繁词的输出。尽管低频词的召回率有所提高，但其预测精度却意外地受到自适应目标的阻碍。受到低频词形成更紧凑的嵌入空间的观察的启发，我们从表示学习的角度来解决这个挑战。具体来说，我们提出了一种基于词频的标记级对比学习方法，该方法根据对应的词频，以软对比的方式将每个解码步骤的隐藏状态从其他目标词的对应部分中推开。我们在广泛使用的NIST汉英和WMT14英德翻译任务上进行了实验。实验结果表明，我们提出的方法不仅可以显着提高翻译质量，而且还增强了词汇多样性和优化词的表示空间。进一步的研究表明，与相关的自适应训练策略相比，该方法在低频词预测上的优势在于在不牺牲准确率的前提下，能够在不同频率范围内保持词级召回的鲁棒性。
2021-12-29 cs.CL
SIREN: Situation-aware Index for Response and Emergency ActioNability in Crisis Translation
University of Macerata（马切拉塔大学）；LUMC（莱顿大学医学中心）；Leiden University（莱顿大学）；University of Naples “L’Orientale”（那不勒斯东方大学）
本研究提出SIREN人工评估框架，评估危机翻译的可操作性，通过对比ChatGPT-4o、Google Translate等系统的翻译，揭示不同系统在可操作性损失频率及失败性质上的差异，并发布相关危机翻译资源。
2026-10-14 cs.CL
NeoAMT: Neologism-Aware Agentic Machine Translation with Reinforcement Learning
The University of Tokyo（东京大学）；NTT Communication Science Laboratories, NTT, Inc.（NTT通信科学实验室，NTT公司）
提出NeoAMT框架，利用基于Wiktionary的搜索工具和强化学习训练翻译智能体，以提升包含新词的源句翻译质量。
2026-05-24 cs.AI cs.CL
Context-aware Neural Machine Translation for English-Japanese Business Scene Dialogues
University of Potsdam（波茨坦大学）；Carnegie Mellon University（卡内基梅隆大学）；Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）
本文探讨上下文感知如何提升英日商务对话的神经机器翻译性能，通过微调mBART模型并引入编码说话人轮次和场景类型的上下文标记，结合CXMI分析，证实增加上下文信息显著提升了翻译质量。
2023-11-20 cs.CL
Confidence-Aware Scheduled Sampling for Neural Machine Translation
Beijing Jiaotong University（北京交通大学）；Tencent Inc（腾讯公司）
调度采样是一种有效的方法，以减轻暴露偏差问题的神经机器翻译。它通过在训练过程中随机替换地面实况目标输入标记来模拟推理场景。尽管它取得了成功，但它的关键调度策略仅仅基于训练步骤，忽略了实时模型的能力，这限制了它的潜在性能和收敛速度。为了解决这个问题，我们提出了置信度感知计划抽样。具体来说，我们量化的模型预测的信心，在此基础上，我们设计细粒度的调度策略的实时模型的能力。通过这种方式，模型准确地暴露于高置信度位置的预测令牌和低置信度位置的真实令牌。此外，我们观察到香草计划抽样遭受退化到原来的教师强迫模式，因为大多数预测令牌是相同的地面真理令牌。因此，在上述置信度感知策略下，我们进一步暴露更多噪声令牌（例如，冗长和不正确的词序），而不是高置信度标记位置的预测值。我们在Transformer上评估了我们的方法，并在大规模WMT 2014英语-德语，WMT 2014英语-法语和WMT 2019中文-英语上进行了实验。实验结果表明，该方法在翻译质量和收敛速度上都明显优于Transformer和vanilla预定采样。
2021-07-22 cs.CL
Towards Reliable Neural Machine Translation with Consistency-Aware Meta-Learning
Soochow University（苏州大学）；Zhejiang University（浙江大学）；RoyalFlush AI Research Institute（RoyalFlush AI 研究院）
本文针对NMT对同义多样化输入翻译不稳定问题，提出基于MAML的一致性感知元学习框架CoNMT，通过外层学习一致元表示、内层学习到目标句的映射，在多个翻译任务上验证了其提升翻译质量和可靠性的效果。
2023-09-19 cs.CL
Sentiment-Aware Measure (SAM) for Evaluating Sentiment Transfer by Machine Translation Systems
University of Wolverhampton（伍尔弗汉普顿大学）；University of Surrey（萨里大学）；De Montfort University（德蒙福特大学）
在翻译以情感为主要信息的文本时，人类翻译者特别关注承载情感的词语。这是因为，如果对这些词的翻译不正确，就会错过原文的基本方面，即作者的感情。在网络世界中，机器翻译系统被广泛用于翻译用户生成内容（UGC），如评论，推文和社交媒体帖子，其中主要信息通常是作者对文本主题的积极或消极态度。在这种情况下，重要的是准确测量MT系统在传递正确的情感信息方面可以在多大程度上成为可靠的现实生活实用程序。本文解决了机器翻译评价领域中一个认识不足的问题，即判断自动度量在多大程度上与人类评价的黄金标准一致，以正确翻译情感。我们评估了传统的质量指标在发现情感的误译方面的有效性，特别是当它是MT输出中的唯一错误时。我们提出了一个数字的“情感贴近度”的措施，适当的评估的准确性，翻译的影响信息在UGC文本的MT系统。我们将证明，将这种情感感知措施可以显着提高一些可用的质量指标与人类判断的情感的准确翻译的相关性。
2021-10-05 cs.CL
