Using Whole Document Context in Neural Machine Translation
QWANT RESEARCH（夸万研究）
在机器翻译中，将文档视为一个整体有助于解决歧义和不一致。在本文中，我们提出了一种简单但有前途的方法来添加上下文信息的神经机器翻译。我们提出了一种方法来添加源上下文，捕获整个文档与准确的边界，考虑到每一个字。我们提供这些额外的信息，Transformer模型和研究我们的方法对三种语言对的影响。该方法在英-德、英-法和法-英文档级翻译任务中取得了良好的效果。我们观察到有趣的跨领域行为，其中模型学习使用文档级信息来提高翻译连贯性。
2019-10-16 cs.CL
Context-Aware or Context-Insensitive? Assessing LLMs' Performance in Document-Level Translation
University of Amsterdam（阿姆斯特丹大学）
本研究针对文档级翻译中需句外上下文的词汇翻译问题，通过扰动和归因分析评估9个不同家族LLMs及2个基线模型的上下文利用能力，发现其文档翻译性能提升未体现在代词翻译上，强调需针对性微调以提升可靠性。
2025-02-14 cs.CL
Document Context Neural Machine Translation with Memory Networks
Faculty of Information Technology, Monash University（莫纳什大学信息技术学院）
我们提出了一个文档级神经机器翻译模型，该模型使用记忆网络将源文档和目标文档上下文都考虑在内。我们将问题建模为结构化预测问题，观察变量和隐藏变量之间存在相互依赖关系，即，文档中的源句子及其未观察到的目标翻译。由此产生的结构化预测问题是用一个神经翻译模型来解决的，该模型配备了两个记忆组件，分别用于源端和目标端，以捕获文档的相互依赖性。我们对模型进行了端到端的训练，并提出了一种基于块坐标下降的迭代解码算法。从法语，德语和爱沙尼亚语文档的英语翻译的实验结果表明，我们的模型是有效的，在利用源和目标文档上下文，并在统计上显着优于以前的工作在BLEU和METEOR。
2018-05-16 cs.CL
A Comparison of Approaches to Document-level Machine Translation
Facebook AI Research（脸书人工智能研究院）
文档级机器翻译对周围句子的条件，以产生连贯的翻译。随着自定义模型架构和解码算法的引入，在这一领域最近已经有了很多工作。本文提出了一个系统的比较，从文献中选择的方法对两个基准文件级的现象评估套件存在。我们发现，一个简单的方法，纯粹基于回翻译单语文档级数据执行以及更详细的替代品，无论是在文档级的指标，以及人类的评价。
2021-01-26 cs.CL
Leveraging Discourse Rewards for Document-Level Neural Machine Translation
RoZetta Technology（罗泽塔科技）；University of Technology Sydney（悉尼科技大学）；Monash University（蒙纳士大学）
文档级机器翻译侧重于将整个文档从源语言翻译为目标语言。它被广泛认为是一项具有挑战性的任务，因为文档中单个句子的翻译需要在文档层面上保留话语的各个方面。然而，文档级翻译模型通常没有经过训练以明确确保话语质量。因此，在本文中，我们提出了一种训练方法，明确优化两个既定的话语指标，词汇衔接（LC）和连贯性（COH），通过使用强化学习目标。在四种不同语言对和三个翻译领域的实验表明，我们的训练方法能够实现比其他竞争方法更有凝聚力和连贯性的文档翻译，而不会影响参考翻译的忠实性。在Zh-En语言对的情况下，我们的方法在LC中实现了2.46个百分点（pp）的提高，在COH中实现了1.17个百分点的提高，而在同一时间，在BLEU得分中提高了0.63个百分点，在F_BERT中提高了0.47个百分点。
2020-10-19 cs.CL
Microsoft Translator at WMT 2019: Towards Large-Scale Document-Level Neural Machine Translation
Microsoft（微软）
本文介绍了微软翻译提交给WMT 19新闻翻译共享任务的英语-德语。我们的主要关注点是使用深度Transformer模型的文档级神经机器翻译。我们从强大的数据水平基线开始，在通过数据过滤和噪声反向翻译创建的大规模数据上进行训练，并发现反向翻译似乎主要有助于简化输入。我们探索微调技术，更深层次的模型和不同的集成策略来对抗这些影响。使用真实和合成并行数据中存在的文档边界，我们创建了多达1000个子字段的序列和训练Transformer翻译模型。我们实验与数据增强技术的较小的真实数据与文档边界和较大的真实数据没有边界。我们进一步探索了多任务训练，通过编码器上的BERT目标和用于文档级和文档级系统组合的两遍解码，将文档级源语言单语数据合并。根据初步的人类评估结果，评估人员强烈倾向于文档级系统，而不是我们的可比文档级系统。在基于源代码的直接评估中，文档级系统的得分似乎也高于人类参考。
2019-07-14 cs.CL
Two Intermediate Translations Are Better Than One: Fine-tuning LLMs for Document-level Translation Refinement
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Huawei Translation Services Center（华为翻译中心）
本文提出利用句子级和文档级两个中间翻译微调大语言模型进行文档级翻译精炼，并引入质量感知加权方法，在多个翻译任务上验证了其有效性。
2025-04-08 cs.CL
Modeling Context With Linear Attention for Scalable Document-Level Translation
MIT（麻省理工学院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；AWS AI（亚马逊云科技人工智能）；University of Washington（华盛顿大学）
文档级机器翻译利用句子间的依赖关系来产生更连贯和一致的翻译。然而，这些模型，主要是基于Transformers，很难扩展到长的文件，因为他们的注意层在序列长度的二次复杂性。最近的努力，有效的注意力提高可扩展性，但其对文件翻译的影响仍然是未知的。在这项工作中，我们研究了Peng et al.（2021）最近提出的线性注意力模型对文档翻译的有效性，并通过一个新的门来增强它，以促进近因诱导偏差。我们在IWITOS 2015和OpenSubtitles 2018上对Transformer模型进行了评估，结果表明，在具有类似或更好BLEU分数的长序列上，解码速度大幅提高。我们表明，间接门进一步提高了IWESTs的翻译质量。
2022-10-16 cs.CL
A Test Suite and Manual Evaluation of Document-Level NMT at WMT19
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
随着机器翻译质量的提高以及神经机器翻译（NMT）从句子级翻译向文档级翻译的转变，评估翻译系统的输出变得越来越困难。我们为WMT19提供了一个测试套件，旨在评估参与新闻翻译任务的机器翻译系统的话语现象。我们已经手动检查了输出，并确定了与文档级翻译相关的翻译错误类型。
2019-08-08 cs.CL
Learning Contextualized Sentence Representations for Document-Level Neural Machine Translation
Soochow University（苏州大学）；Sogou（搜狗）
文档级机器翻译将文档间的依赖性结合到源句子的翻译中。在本文中，我们提出了一个新的框架，通过训练神经机器翻译（NMT）来预测目标翻译和源句子的周围句子来建模跨句子依赖关系。通过强制NMT模型来预测源上下文，我们希望模型能够学习“上下文化”的源语句表示，这些表示可以捕获源端的文档级依赖关系。我们进一步提出了两种不同的方法来学习和集成这样的上下文句子嵌入到NMT：联合训练方法，联合训练NMT模型与源上下文预测模型和预训练和微调方法，预训练的源上下文预测模型上的大规模单语文档语料库，然后微调它与NMT模型。通过对汉英和英德翻译的实验表明，这两种方法都能在较强的文档级Transformer基础上显著提高翻译质量。
2020-03-30 cs.CL
On User Interfaces for Large-Scale Document-Level Human Evaluation of Machine Translation Outputs
Microsoft（微软）
最近的研究强调，需要在人类的机器翻译评估的文档上下文，但很少有研究已经做了用户界面对注释者的生产力和评估的可靠性的影响。在这项工作中，我们比较了人类的评估数据，从最后两个WMT评估活动收集通过两种不同的方法进行文件级评估。我们的分析表明，一个以文档为中心的方法来评估，其中注释器与整个文档上下文在屏幕上，导致更高质量的段和文档级的评估。它提高了段和文档分数之间的相关性，并增加了文档分数的注释者间的一致性，但对于注释者来说要花费更多的时间。
2021-04-21 cs.CL
DocHPLT: A Massively Multilingual Document-Level Translation Dataset
University of Edinburgh（爱丁堡大学）；University of Helsinki（赫尔辛基大学）
本文构建覆盖50种语言、含1.24亿文档对的 DocHPLT 数据集，通过保留完整文档的网页抽取流程支持文档级翻译，并证明微调 LLM 显著优于指令微调基线。
2025-09-29 cs.CL
Context-aware Decoder for Neural Machine Translation using a Target-side Document-Level Language Model
The University of Tokyo（东京大学）
尽管已经提出了许多上下文感知神经机器翻译模型来将上下文纳入翻译中，但这些模型中的大多数都是在并行文档上进行端到端训练的。由于只有少数领域（和语言对）具有这样的文档级并行数据，因此我们无法在大多数领域中执行准确的上下文感知翻译。因此，我们提出了一个简单的方法，把一个文档级的语言模型的解码器转换成上下文感知的模型。我们的上下文感知解码器是建立在只有一个文档级并行语料库和单语语料库，因此没有文档级的并行数据是必要的。在理论上，本文的核心部分是利用上下文和当前句子之间的逐点互信息来表示上下文信息。我们证明了我们的方法的有效性，在三个语言对，英语到法语，英语到俄语，日语到英语，通过评估\textsc{bleu}和对比测试上下文感知翻译。
2021-11-15 cs.CL
Extending Automatic Machine Translation Evaluation to Book-Length Documents
National Yang Ming Chiao Tung University（国家阳明交通大学）；NVIDIA
本文提出SEGALE评估方案，通过句子分割与对齐将自动指标扩展到长文档翻译，显著优于现有方案，并发现许多开放权重LLMs在最大上下文长度下无法有效翻译书籍级文档。
2025-09-21 cs.CL
Exploring Paracrawl for Document-level Neural Machine Translation
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Saarland University（萨尔大学）；Hasso-Plattner-Institut (HPI)（哈索·普拉特纳研究所）
本文针对文档级 NMT 缺乏大规模通用领域训练数据的问题，利用自动句子对齐从 Paracrawl 平行网页提取平行段落并训练模型，在 TED、News 和 Europarl 上取得优于句子级模型的效果。
2023-04-20 cs.CL
Document Graph for Neural Machine Translation
University of Macau（澳门大学）
以往的研究表明，上下文信息可以提高神经机器翻译（NMT）的性能。然而，大多数现有的文档级NMT方法只考虑少数几个先前的句子。如何利用整个文件作为全球背景仍然是一个挑战。为了解决这个问题，我们假设一个文档可以表示为一个图，连接相关的上下文，而不管它们的距离。我们采用了几种类型的关系，包括邻接，句法依赖，词汇一致性和共指，构建文档图。然后，我们将源和目标图与传统的Transformer架构与图卷积网络。在各种NMT基准测试中，包括IWITS-English-French，Chinese-English，WMT English-German和Opensubtitle English-Russian，实验表明，使用文档图可以显著提高翻译质量。大量的分析表明，文档图有利于捕捉语篇现象。
2021-09-14 cs.CL
Document Flattening: Beyond Concatenating Context for Document-Level Neural Machine Translation
Monash University（莫纳什大学）；Google Research（谷歌研究院）
文档级神经机器翻译的现有工作通常将几个连续的句子连接为伪文档，然后学习中间依赖关系。这种策略限制了模型利用来自远程上下文的信息的能力。我们克服了这一限制与一种新的文档扁平化（DocFlat）技术，集成了平批注意（FBA）和神经上下文门（NCG）到Transformer模型，利用信息超出伪文档边界。FBA允许模型关注批处理中的所有位置，并明确学习位置之间的关系，NCG从远程上下文中识别有用的信息。我们在三个英德翻译基准数据集上进行了全面的实验和分析，并验证了DocFlat的两个变体的有效性。实验结果表明，我们的方法优于强基线的统计意义上的BLEU，彗星和准确性的对比测试集。分析表明，DocFlat在捕获远程信息方面非常有效。
2023-02-16 cs.CL
Rethinking Document-level Neural Machine Translation
Nanjing University（南京大学）；ByteDance AI Lab（字节跳动人工智能实验室）；Peng Cheng Laboratory（鹏城实验室）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
本文的目的不是介绍一种新的模型，用于文档级神经机器翻译。相反，我们回到最初的Transformer模型，并希望回答以下问题：当前模型的能力是否足以进行文档级翻译？有趣的是，我们观察到，采用适当训练技术的原始Transformer可以在文档翻译方面取得很好的效果，即使长度为2000个单词。我们评估了这个模型和最近的几种方法在九个文档级数据集和两个文档级数据集在六种语言。实验表明，文档级Transformer模型在BLEU、四个词汇索引、三个新提出的辅助语言指标和人工评价等一系列综合指标上优于文档级模型和许多先前的方法。
2022-03-14 cs.CL
Enhancing Context Modeling with a Query-Guided Capsule Network for Document-level Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent Inc（腾讯公司）
上下文建模对于为文档级神经机器翻译生成连贯一致的翻译至关重要。目前广泛使用的文档级翻译方法通常通过层次注意网络将上下文信息压缩成一种表示形式。然而，这种方法既没有考虑上下文词之间的关系，也没有区分上下文词的角色。为了解决这个问题，我们提出了一个查询引导的胶囊网络聚类上下文信息到不同的角度，从目标翻译可能关注。实验结果表明，我们的方法可以显着优于强基线的多个数据集的不同领域。
2019-11-21 cs.CL
Capturing document context inside sentence-level neural machine translation models with self-training
New York University（纽约大学）；DeepMind（深度思维）
神经机器翻译（NMT）在训练和评估时可以说达到了人类水平。文档级神经机器翻译受到的关注较少，并且落后于文档级神经机器翻译。大多数建议的文档级的方法调查的方式，条件的模型上的几个源或目标句子，以捕捉文档上下文。这些方法需要在并行文档级语料库上从头开始训练专门的NMT模型。我们提出了一种方法，不需要在并行文档级语料库上训练一个专门的模型，并在解码时应用于训练的文档级NMT模型。我们从左到右多次处理文档，并在成对的源句子和生成的翻译上自我训练句子级模型。我们的方法加强了模型所做的选择，从而使文档中的其他句子更有可能做出相同的选择。我们在三个文档级数据集上评估了我们的方法：NIST中文-英文，WMT'19中文-英文和OpenSubtitles英文-俄文。我们证明了我们的方法比基线具有更高的BLEU分数和更高的人类偏好。我们的方法的定性分析表明，模型的选择是一致的整个文件。
2020-03-11 cs.CL
When and Why is Document-level Context Useful in Neural Machine Translation?
RWTH Aachen University（亚琛工业大学）
文档级上下文在孤立句子的神经机器翻译（NMT）中得到了广泛的关注。然而，文档级NMT的最新进展集中在上下文的复杂集成上，仅用少数选定的示例或有针对性的测试集来解释其改进。我们广泛地量化的原因，改进的文档级模型在一般的测试集，澄清的限制文档级上下文在NMT的有用性。我们发现，大多数的改进是不能解释为利用上下文。我们还表明，一个最小的编码是足够的上下文建模和很长的上下文是没有帮助的NMT。
2019-10-01 cs.CL
Document-level Neural Machine Translation with Associated Memory Network
Shanghai Jiao Tong University（上海交通大学）；National Institute of Information and Communications Technology（日本国立情报学研究所）
标准神经机器翻译（NMT）假设文档级上下文是独立的。大多数现有的文档级NMT方法都满足于对全局文档级信息的一知半解，而这项工作的重点是利用详细的文档级上下文的内存网络。从记忆中检测当前句子的最相关部分的记忆网络的能力呈现了对丰富的文档级上下文进行建模的自然解决方案。在这项工作中，建议的文档感知内存网络实现，以提高Transformer NMT基线。多个任务的实验表明，该方法显着提高了NMT的性能在强Transformer基线和其他相关研究。
2021-08-24 cs.CL
A Survey on Document-level Neural Machine Translation: Methods and Evaluation
Monash University（莫纳什大学）
机器翻译是自然语言处理中的一项重要任务，它使翻译过程自动化，减少了对人工翻译的依赖。随着神经网络的复兴，翻译质量超过了大多数语言对使用统计技术获得的翻译。直到几年前，几乎所有的神经翻译模型都是独立地翻译句子，而没有将更广泛的文档上下文和句子之间的相互依赖性结合起来。本文的目的是突出神经革命后在文档级机器翻译领域所做的主要工作，以便研究人员能够认识到该领域的现状和未来方向。我们提供了一个组织的文学的基础上的新颖性建模和架构，以及培训和解码策略。此外，我们还介绍了评估策略，以说明文档MT的改进，包括自动度量和以话语为目标的测试集。最后，我们提出了在这一研究领域的未来探索的可能途径。
2021-01-13 cs.CL
Applying Machine Translation to Two-Stage Cross-Language Information Retrieval
跨语言信息检索（CLIR），其中查询和文档是在不同的语言，需要查询和/或文档的翻译，以便将它们标准化为一个共同的表示。为此，使用机器翻译是一种有效的方法。然而，在翻译大规模的文档集合时，计算成本是令人望而却步的。为了解决这个问题，我们提出了一个两阶段的CLIR方法。首先，我们将给定的查询转换为文档语言，并检索有限数量的外国文档。其次，我们只将这些文档机器翻译成用户语言，并根据翻译结果对它们重新排序。我们还显示了我们的方法的有效性，通过使用日语查询和英语技术文档的实验。
2000-11-02 cs.CL
Investigating Length Issues in Document-level Machine Translation
Sorbonne Université & CNRS, ISIR（索邦大学与CNRS，ISIR）；Inria
本文通过设计新方法精确测量长度增加对文档级机器翻译输出的影响，实验发现翻译性能随输入文本长度增加而下降，且文档中较早出现的句子翻译质量更高，调整文档长度和位置嵌入分布仅能轻微缓解该问题，表明文档级MT性能尚未达到句子级MT水平。
2025-04-28 cs.CL
Improving LLM-based Document-level Machine Translation with Multi-Knowledge Fusion
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Huawei Translation Services Center（华为翻译服务中心）
本文提出融合文档摘要与实体翻译的多知识策略，用于改进基于 LLM 的文档级机器翻译，并在八项任务及三个模型上验证其 COMET 提升。
2025-03-15 cs.CL
English to Arabic machine translation of mathematical documents
Ibnou Zohr University（伊本佐赫尔大学）
本文提出面向英文 LATEX 数学文档的阿语翻译系统，以 Transformer 为核心并结合 RyDArab 与规则式表达式翻译，提升复杂数学内容翻译的准确性和流畅性。
2023-12-02 cs.CL
Modeling Discourse Structure for Document-level Neural Machine Translation
Xiamen University（厦门大学）；Xiaomi AI Lab, Xiaomi Inc.（小米公司小米人工智能实验室）
近年来，文档级神经机器翻译（NMT）已成为机器翻译界研究的热点。尽管它取得了成功，但大多数现有的研究忽略了待翻译输入文档的语篇结构信息，这在其他任务中已经证明是有效的。在本文中，我们提出了改进文档级NMT的话语结构信息的援助。我们的编码器是基于一个分层的注意力网络（HAN）。具体来说，我们首先解析输入文档，以获得其话语结构。然后，我们引入了一个基于transformer的路径编码器来嵌入每个词的话语结构信息。最后，我们结合的话语结构信息与词嵌入之前，它被送入编码器。在英语到德语数据集上的实验结果表明，我们的模型可以显着优于Transformer和Transformer+HAN。
2020-06-08 cs.CL
Dynamic Context Selection for Document-level Neural Machine Translation via Reinforcement Learning
National Laboratory of Pattern Recognition, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
文档级神经机器翻译已经取得了有吸引力的改进。然而，大多数现有的方法，粗略地使用在一个固定的范围内的所有上下文语句。他们忽略了这样一个事实，即不同的源句需要不同大小的上下文。为了解决这个问题，我们提出了一种有效的方法来选择动态上下文，使文档级翻译模型可以利用更有用的选择上下文句子，以产生更好的翻译。具体来说，我们引入了一个选择模块，它是独立的翻译模块评分每个候选上下文句子。然后，我们提出了两种策略，明确选择一个变量数量的上下文句子，并将它们送入翻译模块。我们通过强化学习对这两个模块进行端到端的训练。提出了一种新的奖励机制来鼓励用户选择和使用动态上下文语句。实验表明，该方法可以为不同的源语句选择自适应的上下文语句，并显着提高了文档级翻译方法的性能。
2020-10-09 cs.CL
An Interactive Machine Translation Framework for Modernizing Historical Documents
PRHLT Research Center（PRHLT研究中心）
由于人类语言的特性，历史文献很难被当代人理解。这就限制了专门研究这些文件所处时期的学者对它们的访问。现代化的目的是通过产生一个新的版本的历史文件，打破这一语言障碍，书面文件的原始语言的现代版本。然而，虽然现代化能够增加文档的理解力，但仍然远远不能产生无错误的版本。在这项工作中，我们提出了一个协作框架，在这个框架中，学者可以与机器一起工作，生成新的版本。我们在模拟环境中测试了我们的方法，显著减少了生成文档的现代化版本所需的人力。
2019-10-08 cs.CL
Document-Level Neural Machine Translation with Hierarchical Attention Networks
Idiap Research Institute（Idiap研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））
神经机器翻译（NMT）可以通过包含文档级上下文信息来改进。为此，我们提出了一个层次化的注意力模型，以结构化和动态的方式捕捉上下文。该模型集成在原始NMT架构中作为另一个抽象级别，以NMT模型自己以前的隐藏状态为条件。实验表明，分层注意力显着提高了BLEU分数超过一个强大的NMT基线与最先进的上下文感知方法，编码器和解码器都受益于上下文的互补方式。
2018-10-01 cs.CL
Escaping the sentence-level paradigm in machine translation
Microsoft（微软公司）
针对机器翻译长期局限于句子级范式的问题，本文提出结合标准Transformer架构、回译文档训练数据与生成式对比指标的方案，有效提升了多语言对的文档级翻译性能。
2024-05-16 cs.CL
Quality Estimation Reranking for Document-Level Translation
Yaraku, Inc（Yaraku公司）
本文评估了文档级翻译中的质量估计重排序，使用SLIDE和GEMBA-DA等指标，在32个候选下BLEURT-20提升最高达+5.09，验证了其有效性和低开销。
2025-10-10 cs.CL
Non-Autoregressive Document-Level Machine Translation
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）；Westlake Institute for Advanced Study（西湖高等研究院）
本文系统考察文档级机器翻译中的非自回归模型，提出源目标句子对齐设计以提升性能并验证高加速效果，同时揭示其在多模态、错位及语篇上下文建模上的局限。
2023-12-09 cs.CL
P-Transformer: Towards Better Document-to-Document Neural Machine Translation
Northwest Minzu University（西北民族大学）；Soochow University（苏州大学）；Huawei Translation Services Center（华为翻译服务中心）
通过Transformer从头开始直接训练文档到文档（Doc 2Doc）神经机器翻译（NMT），特别是在小数据集上，通常无法收敛。我们专门的探测任务表明：1）绝对位置和相对位置信息一旦到达编码器上层就会逐渐减弱甚至消失，2）编码器输出中绝对位置信息的消失导致Doc 2Doc NMT的训练失败。为了缓解这个问题，我们提出了一个位置感知的Transformer（P-Transformer），以提高绝对和相对位置信息的自我注意和交叉注意。具体地，我们整合绝对位置信息，即，位置嵌入，通过一个简单而有效的加法运算，在自注意和交叉注意中的查询键对中。此外，我们还整合了自我注意中的相对位置编码。所提出的P-变压器利用正弦位置编码，不需要任何任务指定的位置嵌入，段嵌入，或注意力机制。通过上述方法，我们使用P-Transformer构建了一个Doc 2Doc NMT模型，该模型以序列到序列（seq 2seq）的方式摄取源文档并完整地生成目标文档。此外，P-Transformer还可以应用于基于seq 2seq的文档到句子（Doc 2Sent）和句子到句子（Sent 2Sent）翻译。Doc 2Doc NMT的大量实验结果表明，P-Transformer在广泛使用的9个文档级数据集、7个语言对上的表现显著优于强基线，达到了新的水平。对话语现象的实验表明，我们的Doc 2Doc NMT模型在BLEU和话…
2022-12-12 cs.CL
TopicVD: A Topic-Based Dataset of Video-Guided Multimodal Machine Translation for Documentaries
College of Application and Technology, Shenzhen University, China（应用技术学院，深圳大学，中国）；College of Big Data and Internet, Shenzhen Technology University, China（大数据与互联网学院，深圳科技大学，中国）
本文构建了面向纪录片的基于主题的视频引导多模态机器翻译数据集TopicVD，并提出基于跨模态双向注意力的多模态机器翻译模型，实验证明视觉信息和全局上下文能有效提升纪录片翻译性能，同时揭示了领域自适应研究的必要性。
2025-05-09 cs.CL
Target-Side Augmentation for Document-Level Machine Translation
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Nanyang Technological University（南洋理工大学）；Westlake Institute for Advanced Study（西湖高等研究院）
针对文档级机器翻译的数据稀疏问题，提出用DA模型生成多个潜在目标译文以平滑训练分布，并在News和Europarl上取得新SOTA。
2023-06-04 cs.CL
Importance-Aware Data Augmentation for Document-Level Neural Machine Translation
Monash University（莫纳什大学）；Google Research（谷歌研究院）
针对文档级神经机器翻译的数据稀疏问题，提出基于词元重要性的IADA数据增强算法，在三个基准上的表现优于现有基线与其他增强方法。
2024-01-27 cs.CL
Doc2FRC: Length-Consistent Document-Level Machine Translation via Fixed-Range Chunking
The University of Tokyo（东京大学）；Kyoto University（京都大学）；Riken（理化学研究所）；Tohoku University（东北大学）
本文提出固定范围分块（FRC）方法，通过动态规划将文档划分为长度一致的块，减少训练与推理长度不匹配，并配合双边界匹配算法和多种训练策略，显著提升7B大语言模型的文档级翻译质量，在IWSLT2017及新构建的10语言测试集上均优于现有方法。
2026-09-14 cs.CL
Adapting Large Language Models for Document-Level Machine Translation
Monash University（莫纳什大学）；Google Research（谷歌研究院）
本研究针对特定语言对适配LLMs进行文档级机器翻译，通过多种微调方法、主干网络和翻译任务进行实验，发现专用模型有时超越GPT-4但仍存错误传播问题，为未来研究奠定基础。
2024-10-11 cs.CL
Using Context in Neural Machine Translation Training Objectives
University of Cambridge（剑桥大学）；Google（谷歌）
我们提出了神经机器翻译（NMT）训练，使用文档级指标和批量级文档。以前的NMT训练序列目标方法只关注句子BLEU等句子级指标，这些指标与所需的评估指标（通常是文档BLEU）不对应。同时，文档级NMT训练的研究主要集中在数据或模型的体系结构上，而不是训练过程。我们发现，这些研究的每一条线都有一个明确的空间，并建议将它们与一个允许在NMT训练目标中使用文档级评估指标的方案合并。我们首先从句子样本中抽取伪文档。然后，我们用蒙特卡洛采样近似预期的文档BLEU梯度，用作最小风险训练（MRT）中的成本函数。这种两级采样过程使NMT的性能优于序列MRT和最大似然训练。我们证明，培训是更强大的文档级指标比序列指标。我们进一步展示了NMT与TER和语法纠错（GEC）使用GLEU，这两个指标在文档级别的评估的改进。
2020-05-04 cs.CL
Addressing Zero-Resource Domains Using Document-Level Context in Neural Machine Translation
Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）
在没有训练数据的领域上实现令人满意的机器翻译性能是具有挑战性的。传统的有监督领域自适应不适合于解决这种零资源域，因为它依赖于域内并行数据。我们表明，当域中的并行数据是不可用的，访问文档级上下文可以更好地捕捉域的一般性相比，只有访问一个句子。访问更多的信息提供了更可靠的域估计。我们提出了两个文档级的Transformer模型，能够使用大的上下文大小，我们比较这些模型对强大的Transformer基线。我们获得的两个零资源域，我们研究的改进。我们还提供了一个分析，我们改变了上下文的数量，并查看了域内数据可用的情况。
2021-04-19 cs.CL
Towards Personalised and Document-level Machine Translation of Dialogue
University of Sheffield（谢菲尔德大学）
最先进的（SOTA）神经机器翻译（NMT）系统在句子级别翻译文本，忽略上下文：文本内信息，如前一句，和文本外信息，如说话者的性别。因此，有些句子翻译得不正确。个性化NMT（NMT）和文档级NMT（DocNMT）将此信息纳入翻译过程。这两个领域都是相对较新的，以前的工作是有限的。此外，没有现成的强有力的评估指标，这使得很难开发更好的系统，以及跟踪全球进展和比较不同的方法。本论文的研究重点是从英语、巴西葡萄牙语、德语、法语和波兰语这五种语言的电视字幕中提取对话的领域中的CNONMT和DocNMT。本文提出了三个主要的挑战：（1）将文本外信息直接纳入NMT系统;（2）改进衔接手段的机器翻译;（3）对NMT和DocNMT进行可靠的评估。
2021-02-11 cs.CL
Sentence Alignment with Parallel Documents Facilitates Biomedical Machine Translation
Tsinghua University（清华大学）；Chinese Academy of Medical Sciences/Peking Union Medical College（中国医学科学院/北京协和医学院）
目的：当今的神经机器翻译（NMT）可以达到接近人类水平的翻译质量，并极大地促进了国际交流，但缺乏平行语料库是开发高度专业化领域（如生物医学）翻译系统的关键问题。这项工作提出了一个无监督的算法，通过使用句子对齐从文档级翻译中获得并行语料库，并探讨了训练材料如何影响生物医学NMT系统的性能。材料与方法：通过混合文档级翻译来训练双语词嵌入（BWEs）以评估跨语言词相似度，并通过结合句子的语义和位置相似度来定义句子距离。句子的对齐被公式化为一个扩展的推土机距离问题。利用UpToDate中的双语文章和PubMed摘要的译文，利用该算法构建了一个汉英生物医学平行语料库，并将其用于NMT的训练和评估。结果如下：在两个手动对齐的翻译数据集上，该算法在1对1的情况下实现了准确的句子对齐，在多对多的情况下优于竞争算法。针对生物医学数据进行微调的NMT模型显著提高了域内翻译质量（zh-en：+17.72 BLEU; en-zh：+17.02 BLEU）。训练数据的大小和不同语料库的组合都会显著影响模型的性能。结论：该算法放松了句子对齐的假设，有效地生成准确的翻译对，有利于训练高质量的生物医学NMT模型。
2022-02-07 cs.CL
CzechDocs: A Multiway Parallel Dataset of Formatted Documents for Minority Languages in Czechia
Charles University, Faculty of Mathematics；Physics Institute of Formal
提出CzechDocs多路平行格式化文档数据集，覆盖捷克及少数民族语言，支持评估保留格式的机器翻译系统，并公开验证子集与评估工具。
2026-06-19 cs.CL
Document Sub-structure in Neural Machine Translation
University of Edinburgh（爱丁堡大学）；Alibaba Group（阿里巴巴集团）
当前的机器翻译（MT）方法要么孤立地翻译句子，忽略它们出现的上下文，要么在整个文档的级别上建模上下文，而没有文档可能具有的任何内部结构的概念。在这项工作中，我们考虑的事实是，文件很少是同质的文本块，而是由不同主题的部分。一些文档，如传记和百科全书条目，具有高度可预测的规则结构，其中各部分以不同的主题为特征。我们从Louis和Webber（2014）那里得到了启发，他们使用这些信息来改进统计MT，并将他们的建议转移到神经MT的框架中。我们比较了两种不同的方法，包括信息的主题部分，其中每个句子被发现：一个使用侧约束和其他使用基于缓存的模型。我们创建并发布我们运行实验的数据-来自维基百科传记的三种语言对（中文-英语，法语-英语，西班牙语-英语）的平行语料库，我们自动提取，保留文章中的部分边界。
2020-03-10 cs.CL
Two Demonstrations of the Machine Translation Applications to Historical Documents
Pattern Recognition and Human Language Technology Research Center（模式识别与人类语言技术研究中心）；Universitat Politècnica de València（瓦伦西亚理工大学）
我们提出了我们的示范两个机器翻译应用历史文件。第一项任务是用原始语言的现代版本编写一份历史文件的新版本。第二个应用程序仅限于文档的正字法。它使文档的拼写适应现代标准，以实现拼写的一致性，并弥补拼写惯例的不足。我们遵循一个交互式的，自适应的框架，允许用户引入纠正系统的假设。系统通过生成考虑到这些修正的新假设来对这些修正做出反应。一旦用户对系统的假设感到满意并验证了它，系统就按照在线学习策略调整其模型。该系统是按照客户端-服务器架构实现的。我们开发了一个与神经模型通信的网站。所有代码都是开源的，并且是公开的。演示在http://demosmt.prhlt.upv.es/mthd/上进行。
2021-02-02 cs.CL
Only 5\% Attention Is All You Need: Efficient Long-range Document-level Neural Machine Translation
Nanjing University（南京大学）；ByteDance（字节跳动）
针对长文档直接输入 Transformer 导致注意力计算开销过大的问题，本文提出轻量级选择层筛选少量 token，在保持翻译性能的同时实现最高约 95% 稀疏度和 93% 注意力计算节省。
2023-09-25 cs.CL
UDAAN: Machine Learning based Post-Editing tool for Document Translation
Indian Institute of Technology Bombay（印度理工学院孟买分校）
我们介绍UDAAN，一个开源的后期编辑工具，可以减少手动编辑工作，快速生成几种印度语言的可扩展标准文档。UDAAN有一个端到端的机器翻译（MT）和后期编辑管道，用户可以上传文档以获得原始MT输出。此外，用户可以使用我们的工具编辑原始翻译。UDAAN提供了几个优点：a）领域感知，基于词汇的词汇约束MT。b）为用户提供源-目标和目标-目标词典建议。替换是基于源文本和目标文本的词汇对齐。c）翻译建议基于用户交互期间创建的日志。d）源-目标句子对齐可视化，减少用户在编辑期间的认知负荷。e）我们工具的翻译输出有多种格式：docs、latex和PDF。我们还提供了使用大约100个域内词典进行词汇感知机器翻译的功能。虽然我们的实验仅限于英语到印地语的翻译，但我们的工具独立于源语言和目标语言。基于工具使用情况和用户反馈的实验结果表明，与从头开始翻译文档的基线方法相比，我们的工具将翻译时间加快了大约三倍。我们的工具适用于Windows和Linux平台。该工具在MIT许可下是开源的，可以从我们的网站https://www.udaanproject.org访问源代码。可以在https://www.youtube.com/channel/UClfK7iC8J7b22bj3GwAUaCw访问我们工具的各种功能的演示和教程视频。我们的MT管道可以在https://udaaniitb.aicte-india.o…
2022-11-21 cs.CL
Automatic Identification of Document Translations in Large Multilingual Document Collections
文本及其翻译是一种丰富的语言资源，可用于训练和测试基于语法的机器翻译系统和许多其他应用。在本文中，我们提出了一个工作系统，可以识别翻译和其他非常相似的文件之间的大量的候选人，通过表示文档内容与一个向量的词库术语从多语言词库，然后测量向量之间的语义相似性。对不同文本类型的测试表明，该系统可以在820个或更多文档的大搜索空间中以超过96%的精度检测翻译。该系统被调整为忽略特定语言的相似性，并给予第二语言的类似文档与相同语言的等效文档相同的相似性得分。该应用程序还可用于检测跨语言文档剽窃。
2006-09-12 cs.CL cs.IR
Better Document-Level Machine Translation with Bayes' Rule
DeepMind；University of Oxford（牛津大学）
我们表明，贝叶斯规则提供了一个有效的机制，创建文档翻译模型，可以从只有平行的句子和单语文档学习-一个令人信服的好处，因为平行的文件并不总是可用的。在我们的公式中，候选翻译的后验概率是候选输出文档的无条件（先验）概率和将候选输出翻译回源语言的“反向翻译概率”的乘积。我们提出的模型使用了一个强大的自回归语言模型作为目标语言文档的先验，但它假设每个句子都是独立地从目标语言翻译到源语言的。至关重要的是，在测试时，当观察到源文档时，文档语言模型先验在后验中诱导源句子的翻译之间的依赖性。该模型的独立性假设不仅使有效地利用现有的数据，但它另外承认一个实用的左到右波束搜索算法进行推理。实验表明，我们的模型受益于使用跨句子上下文的语言模型，它优于现有的文档翻译方法。
2020-07-02 cs.CL cs.LG
SMDT: Selective Memory-Augmented Neural Document Translation
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）；University of Science and Technology of China（中国科学技术大学）
现有的文档级神经机器翻译（NMT）模型已经充分探索了不同的上下文设置，为目标生成提供指导。然而，很少有人注意到开辟更多样化的语境丰富的语境信息。在本文中，我们提出了一个选择性记忆增强神经文档翻译模型来处理包含大的上下文假设空间的文档。具体来说，我们从训练语料库中检索相似的双语句子对来增强全局上下文，然后扩展具有选择机制的双流注意力模型来捕获局部上下文和多样化的全局上下文。这种统一的方法允许我们的模型在三个公开的文档级机器翻译数据集上进行优雅的训练，并且显著优于以前的文档级NMT模型。
2022-01-05 cs.AI cs.CL
Multilingual Document-Level Translation Enables Zero-Shot Transfer From Sentences to Documents
University of Edinburgh（爱丁堡大学）；Google Research（谷歌研究院）
文档级神经机器翻译（DocNMT）通过结合跨句子上下文来实现连贯的翻译。然而，对于大多数语言对来说，尽管并行句子很容易获得，但并行文档还是很短缺。在本文中，我们研究是否以及如何在DocNMT上下文建模是通过多语言建模可转移。我们专注于zero-shot传输的情况下，从教师语言的文档级数据的学生语言没有文件，但句子级数据，并首次将文档级翻译作为一个迁移学习问题。使用简单的基于拼接的DocNMT，我们探讨了3个因素对迁移的影响：具有文档级数据的教师语言的数量，训练时文档和句子级数据之间的平衡，以及并行文档的数据条件（真实与回译）。我们的实验在Europarl-7和IWITOS-10上显示了DocNMT多语言传输的可行性，特别是在文档特定的指标上。我们观察到，更多的教师语言和足够的数据平衡都有助于更好的传输质量。令人惊讶的是，传输对数据条件不太敏感，多语言DocNMT在回译或真正的文档对中提供了不错的性能。
2022-05-17 cs.CL cs.LG
Recovering document annotations for sentence-level bitext
Johns Hopkins University（约翰斯·霍普金斯大学）；Human Language Technology Center of Excellence（卓越人类语言技术中心）；Center of Language and Speech Processing（语言与言语处理中心）；Microsoft（微软公司）
本文为三个大规模多语言数据集重建文档级信息，提出文档级过滤技术以筛选上下文一致的译文，并训练模型在保证句子级翻译质量的同时提升文档级翻译效果。
2024-06-06 cs.CL
