A Case Study on Contextual Machine Translation in a Professional Scenario of Subtitling
University of Sheffield（谢菲尔德大学）；ZOO Digital Group PLC（ZOO数字集团有限公司）
本文通过工业案例研究验证了在电视字幕翻译中引入电影元数据等文本外上下文可显著减少译后编辑中的上下文相关错误，为完全上下文机器翻译提供了实证支持。
2024-06-27 cs.AI cs.CL cs.HC
Unsupervised Transfer Learning in Multilingual Neural Machine Translation with Cross-Lingual Word Embeddings
Institute for Anthropomatics and Robotics（人机与机器人研究所）；KIT - Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
在这项工作中，我们研究以无监督的方式向多语言NMT系统添加一种新语言。在利用预先训练的跨语言词嵌入的情况下，我们试图利用语言独立的多语言句子表示来轻松地推广到新的语言。在使用跨语言嵌入进行单词查找时，我们从一个完全看不见的源语言解码，这个过程我们称之为盲解码。使用包含几种罗曼语的基本语言从葡萄牙语中盲目解码，我们获得了葡萄牙语-英语的36.4 BLEU和俄语-英语的12.8 BLEU。为了训练从编码器语句表示到新的目标语言的映射，我们使用我们的模型作为自动编码器。仅仅是训练从葡萄牙语翻译到葡萄牙语，同时冻结编码器，我们就可以在英语-葡萄牙语上实现26 BLEU，并且在向输入添加人工噪声时达到28 BLEU。最后，我们通过非迭代回译探索了一种更实用的自适应方法，利用我们的模型通过盲解码产生高质量翻译的能力。这给我们带来了34.6 BLEU的英语-葡萄牙语，达到接近平价的模型适应真正的双语数据。
2021-03-11 cs.CL
The Blindness of Document-Level Translation Evaluation
AI-Bio Convergence Research Inst.（AI-生物融合研究所）；ETH Zurich（苏黎世联邦理工学院）；Soongsil University（崇实大学）；School of Software（软件学院）；Dept. of Intelligent Semiconductors（智能半导体系）
本研究通过反事实混合段落实验，发现文档级翻译评估的得分、排名和错误标注在连贯与不连贯文档间无显著差异，表明评估协议存在盲区，未能有效捕捉文档级质量。
2026-09-09 cs.CL cs.HC
HOPE: A Task-Oriented and Human-Centric Evaluation Framework Using Professional Post-Editing Towards More Effective MT Evaluation
Logrus Global LLC（罗格斯全球有限责任公司）；ADAPT Research Centre, Dublin City University（都柏林城市大学 ADAPT 研究中心）
传统的机器翻译自动评价指标由于准确率低、缺乏透明度、注重语言力学而不是语义、与人类质量评价的一致性较低而受到语言学家的广泛批评。在实际行业环境中，客户和翻译服务提供商（TSP）总是以类似MQM的记分卡形式进行人工评估。然而，传统的人工翻译质量评估执行成本高，涉及大量语言细节，提出了评分员间可靠性（IRR）的问题，并且不是为了衡量比优质翻译质量差的翻译质量。在这项工作中，我们介绍了HOPE，一个面向任务和以人为中心的评价框架，机器翻译输出的基础上，专业的编辑后注释。它只包含有限数量的常见错误类型，并使用评分模型与几何级数的错误罚分（EPP）反映错误的严重程度，以每个翻译单元。初步的实验工作进行的英语-俄语对MT输出的营销内容类型的文本从高技术领域表明，我们的评估框架是相当有效的反映MT输出质量的整体系统级性能和段级透明度，它增加了IRR的错误类型的解释。该方法有几个关键的优点，如测量和比较不完美的MT输出从不同的系统，能够表明人类的质量感知，立即估计的劳动力所需的MT输出，以优质，低成本和更快的应用，以及更高的内部收益率。我们的实验数据可在\url{https://github.com/lHan87/HOPE}上获得。
2021-12-27 cs.AI cs.CL
Democratizing Neural Machine Translation with OPUS-MT
University of Helsinki（赫尔辛基大学）；University of Milano-Bicocca（米兰比可卡大学）
本文介绍了OPUS生态系统，通过开发开放机器翻译模型与工具并集成到各类应用与工作流程中，旨在提高语言覆盖率和翻译质量，并推进模块化模型和紧凑实时翻译方案。
2023-07-04 cs.CL
Has Machine Translation Achieved Human Parity? A Case for Document-level Evaluation
University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
最近的研究表明，神经机器翻译在WMT中文-英文新闻翻译任务上与专业人工翻译实现了平等。我们经验性地测试这种说法与替代的评估协议，对比单个句子和整个文件的评估。在成对排名实验中，评估充分性和流畅性的人类评分员在评估文档时，与孤立的句子相比，对人类的偏好更强，而不是机器翻译。我们的研究结果强调，有必要转向文件级的评估，因为机器翻译提高到一定程度，在翻译水平上很难或不可能发现的错误成为区分不同翻译输出质量的决定性因素。
2018-08-21 cs.CL
A Set of Recommendations for Assessing Human-Machine Parity in Language Translation
University of Zurich（苏黎世大学）；ADAPT Centre, Dublin City University（都柏林城市大学ADAPT中心）；Carnegie Mellon University（卡内基梅隆大学）；University of Groningen（格罗宁根大学）
在过去的几年里，机器翻译的质量显著提高，以至于在一些实证调查中发现它与专业的人工翻译无法区分。我们重新评估哈桑等人。2018年对汉英新闻翻译的调查显示，人机对等的发现是由于评估设计的弱点-目前被认为是该领域的最佳实践。我们发现，专业的人工翻译包含显着更少的错误，并认为在人类评价的质量取决于评分员的选择，语言环境的可用性，并创建参考翻译。我们的研究结果要求重新审视当前的最佳实践，以评估强大的机器翻译系统，特别是人机对等，为此，我们根据我们的实证研究结果提供了一系列建议。
2020-04-03 cs.AI cs.CL
Neural Machine Translation Quality and Post-Editing Performance
Charles University（查理大学）；Memsource
我们测试了在专业翻译中使用机器翻译节省人类处理时间的自然期望。最后一项此类研究由Sanchez-Torron和Koehn（2016）使用基于短语的机器翻译进行，人为地降低了翻译质量。相比之下，我们专注于高质量的神经机器翻译（NMT），这已经成为最先进的方法，也被大多数翻译公司采用。本文通过对30多名专业翻译人员进行的英语-捷克语翻译的实验研究，考察了NMT的表现与后期编辑时间和质量之间的关系。在所有模型中，我们发现更好的机器翻译系统确实会导致这个行业环境中句子的变化更少。然而，系统质量和后期编辑时间之间的关系并不简单，与基于短语的MT的结果相反，BLEU绝对不是时间或最终输出质量的稳定预测因子。
2021-09-10 cs.CL cs.HC
On The Evaluation of Machine Translation Systems Trained With Back-Translation
Facebook AI Research（Facebook 人工智能研究院）
反向翻译是一种广泛使用的数据增强技术，它利用目标单语数据。然而，它的有效性受到了挑战，因为BLEU等自动度量仅在源代码本身是翻译或翻译的测试示例中显示出显着的改进。这被认为是由于翻译输入更好地匹配反翻译的训练数据。在这项工作中，我们表明，这一猜想是没有经验支持，回译提高了翻译质量的自然发生的文本，以及根据专业的人类翻译。我们提供了经验证据来支持这样的观点，即回译是首选的人类，因为它产生更流畅的输出。BLEU无法捕捉人类的偏好，因为当源句子是自然文本时，引用是抽象的。我们建议使用语言模型分数来补充BLEU，以衡量流利程度。
2020-08-18 cs.CL
Post-editing Productivity with Neural Machine Translation: An Empirical Assessment of Speed and Quality in the Banking and Finance Domain
TextShuttle AG（TextShuttle股份公司）；Institute of Computational Linguistics, University of Zurich（苏黎世大学计算语言学研究所）；Migros Bank AG（米格罗斯银行股份公司）
神经机器翻译（NMT）为自动翻译设定了新的质量标准，但其对译后生产率的影响仍有待深入研究。我们实证测试了NMT的加入，以及特定领域的翻译记忆和术语库，如何影响金融文本专业翻译的速度和质量。我们发现，即使是在研究环境中很少受到关注的语言对和少量用于系统适应的域内数据，NMT后期编辑也可以节省大量时间，并带来相等或稍好的质量。
2019-06-04 cs.CL
Unsupervised Clinical Language Translation
Massachusetts Institute of Technology（麻省理工学院）
随着患者获取医生的临床笔记变得普遍，将专业的临床术语翻译成外行人可以理解的语言对于改善患者与临床医生的沟通至关重要。这种翻译通过增强患者对自身健康状况的了解，从而提高患者对自身护理的参与度，从而产生更好的临床结果。现有的研究已经使用基于词典的单词替换或定义插入来满足需求。然而，这些方法受到专家策展的限制，专家策展难以扩展，并且难以推广到不共享重叠词汇的不可见数据集。相比之下，我们以完全无监督的方式处理临床单词和句子翻译问题。我们发现，一个框架，使用表示学习，双语词典归纳和统计机器翻译产生的最佳精度在10的0.827专业到消费者的单词翻译，和平均意见得分为4.10和4.28的5临床正确性和外行可读性，分别对句子翻译。我们的完全无监督策略克服了策展问题，并且临床上有意义的评估减少了不适当评估者的偏见，这在临床机器学习中至关重要。
2019-05-26 cs.CL cs.LG
Liaozhai through the Looking-Glass: On Paratextual Explicitation of Culture-Bound Terms in Machine Translation
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文提出机器翻译的副文本显化任务，基于《聊斋》四英译本构建560条专家对齐数据集，评估 LLM 的提示与检索表现，揭示其有益但仍弱于译者，并指出文化中介的开放性。
2025-09-27 cs.CL
Neural machine translation, corpus and frugality
CNRS-CRLAO（法国国家科学研究中心-东亚语言研究中心）
在机器翻译领域，学术界和工业界都对越来越强大的系统越来越感兴趣，使用数亿到数十亿个示例的语料库。这些系统代表了最先进的技术水平。在这里，我们捍卫开发并行<<frugal>>双语翻译系统的想法，并使用相对较小的语料库进行训练。基于标准人类专业翻译的观察，我们估计语料库最多应由源语言的7500万个示例的单语子语料库、目标语言的600万个示例的第二单语子语料库和600万个双示例的对齐双语子语料库组成。一个不太理想的替代方案是一个4750万双示例的对齐双语语料库。
2021-01-26 cs.CL
Prose2Poem: The Blessing of Transformers in Translating Prose to Persian Poetry
University of Guilan（吉兰大学）；Alzahra University（扎赫拉大学）；Shahid Beheshti University（沙希德·贝赫什提大学）
波斯诗歌一贯表达其哲学，智慧，演讲和理论的基础上，其对句，使其成为一个谜一样的语言本身的母语和非母语。然而，波斯散文和诗歌之间的显著差距使这两种文学作品的媒介少。在策划了一个平行的散文和它们的对等诗歌语料库之后，我们引入了一种新颖的神经机器翻译（NMT）方法，使用基于transformer的语言模型在极低的资源环境中将散文翻译为古代波斯诗歌。更具体地说，我们从头开始训练Transformer模型以获得初始翻译，并预训练BERT的不同变体以获得最终翻译。为了解决在诗意标准下使用掩蔽语言建模的挑战，我们将两个模型结合起来，并在自动和人工评估方面生成有效的诗歌。最后的结果证明了我们的小说诗歌辅助方法在文学专业人士和非专业人士中产生小说波斯诗歌的资格和创造力。
2022-09-21 cs.CL
Demonstration of a Neural Machine Translation System with Online Learning for Translators
PRHLT Research Center - Universitat Politècnica de València（瓦伦西亚理工大学PRHLT研究中心）；Pangeanic / B.I Europa - PangeaMT Technologies Division（Pangeanic/B.I Europa——PangeaMT技术部）
我们介绍了我们的系统，它实现了在线学习的神经机器翻译在生产环境中的演示。这些技术允许系统从翻译者提供的更正中不断学习。我们实施了一个端到端平台，将我们的机器翻译服务器集成到专业翻译人员最常用的用户界面之一：SDL Trados Studio。我们的目标是节省后期编辑工作，因为机器不断从人类的选择中学习，并使模型适应特定的领域或用户风格。
2019-06-21 cs.CL
On the Evaluation of Machine Translation for Terminology Consistency
George Mason University（乔治梅森大学）；NAVER Labs（NAVER实验室）；Facebook（脸书）；Johns Hopkins University（约翰斯·霍普金斯大学）
随着神经机器翻译（NMT）系统成为专业翻译管道的重要组成部分，越来越多的工作集中在将NMT与术语相结合。在许多情况下，特别是在领域自适应的情况下，人们期望MT输出遵守术语提供的约束。在这项工作中，我们提出了度量MT输出的一致性方面的领域术语。我们对5种语言的COVID-19领域进行研究，还进行针对术语的人类评估。我们开源了计算所有建议指标的代码：https://github.com/mahfuzibnalam/terminology_evaluation
2021-06-24 cs.CL
Creating Domain-Specific Translation Memories for Machine Translation Fine-tuning: The TRENCARD Bilingual Cardiology Corpus
Universitat Autònoma de Barcelona（巴塞罗那自治大学）
本文提出一种由译者主导的半自动翻译记忆构建方法，并据此从土耳其心脏病学期刊双语摘要构建了约80万词、5万句的TRENCARD土英双语语料库，用于机器翻译及大语言模型微调。
2024-09-04 cs.CL
Attaining the Unattainable? Reassessing Claims of Human Parity in Neural Machine Translation
University of Groningen（格罗宁根大学）；Dublin City University（都柏林城市大学）
我们重新评估了最近的一项研究（Hassan等人，2018年）声称，机器翻译（MT）已经达到了将新闻从中文翻译成英文的人类平等，使用成对排名并考虑了之前研究中没有考虑的三个变量：测试集的源端最初编写的语言，评估人员的翻译能力，以及提供的跨语境。如果我们只考虑原始文本（即不是从另一种语言翻译过来的，或者是西班牙语），那么我们就会发现证据表明人类平等还没有实现。我们比较了专业翻译人员的判断与非专家的判断，发现专家的判断导致更高的注释者间的一致性和更好的区分人类和机器翻译。此外，我们还分析了测试集的人工翻译，并确定了重要的翻译问题。最后，基于这些研究结果，我们提供了一套建议，为未来的人类评估MT。
2018-08-30 cs.CL
A User-Study on Online Adaptation of Neural Machine Translation to Human Post-Edits
Kazan Federal University（喀山联邦大学）；Heidelberg University（海德堡大学）
神经机器翻译（NMT）的优势已经被广泛验证，用于离线翻译口语和书面语的不同领域的几种语言对。然而，NMT的交互式学习的研究，以适应人类的后编辑迄今为止，仅限于模拟实验。我们提出了第一个用户研究的在线适应NMT用户后编辑领域的专利翻译。我们的研究涉及29名人类受试者（翻译学生），他们的后期编辑工作和翻译质量是在人类后期编辑和集成在线自适应学习算法的机器翻译系统的大约4,500次交互上测量的。我们的实验结果显示，根据几个评估指标，包括hTER，hBLEU和KSMR，由于NMT中的在线适应，人类编辑后的工作量显着减少。此外，我们发现NMT输出和授权专利中的专业翻译之间的BLEU/TER有显着改善，为在线自适应NMT在交互式设置中的优势提供了进一步的证据。
2018-09-18 cs.CL
The Impact of Post-editing and Machine Translation on Creativity and Reading Experience
University of Surrey（萨里大学）；University of Groningen（格罗宁根大学）
本文介绍了一项研究的结果，涉及一个虚构的故事从英语翻译成加泰罗尼亚语的三种模式：机器翻译（MT），后编辑（MTPE）和翻译没有援助（HT）。每一个翻译都被分析以评估其创造性。随后，88名加泰罗尼亚参与者以随机分配的方式阅读故事并完成调查。结果表明，HT提出了更高的创造力得分相比，MTPE和MT。HT在叙事参与和翻译接受方面也排名较高，而MTPE在享受方面排名略高。HT和MTPE在任何类别中均无统计学显著差异，而MT在所有测试变量中均无统计学显著差异。我们的结论是，当专业翻译人员介入这一过程时，创造力是最高的，特别是在没有任何帮助的情况下。我们假设，翻译中的创造性可能是提高阅读参与度和接受翻译文学文本的因素。
2021-01-15 cs.CL
Using Mechanical Turk to Build Machine Translation Evaluation Sets
Johns Hopkins University（约翰斯·霍普金斯大学）
构建机器翻译（MT）测试集是一项相对昂贵的任务。随着越来越多的语言对和越来越多的领域越来越需要机器翻译，有必要为每种情况构建测试集。在本文中，我们研究使用亚马逊的土耳其机器人（MTurk），使MT测试集便宜。我们发现MTurk可以用来制作比专业制作的测试集便宜得多的测试集。更重要的是，在多个MT系统的实验中，我们发现MTurk产生的测试集产生基本上相同的结论，系统性能的专业生产的测试集产量。
2014-10-20 cs.CL cs.LG stat.ML
Tencent's Multilingual Machine Translation System for WMT22 Large-Scale African Languages
Tencent AI Lab（腾讯人工智能实验室）
本文介绍了腾讯为WMT 22非洲语言大规模机器翻译评估共享任务开发的多语种机器翻译系统。我们参加了$\mathbf{constrained}$翻译跟踪，其中只允许组织者提供的数据和预训练模型。该任务是具有挑战性的，由于三个问题，包括缺乏训练数据的一些待评估的语言对，数据不平衡导致的语言对的不均匀优化，和多语言的诅咒。为了解决这些问题，我们采用数据增强，分布鲁棒优化，和语言族分组，分别开发我们的多语言神经机器翻译（MNMT）模型。我们提交的作品在盲测集的自动评估指标方面赢得了$\mathbf{1st\ place}$。代码、模型和详细的竞赛结果可在https://github.com/wxjiao/WMT2022-Large-Scale-African上获得。
2022-10-18 cs.CL
Facilitating Access to Multilingual COVID-19 Information via Neural Machine Translation
ADAPT Centre（ADAPT中心）；School of Computing, Dublin（都柏林计算机学院）
每天都有更多的人因接触COVID-19而感染和死亡。欧洲的一些国家，如西班牙、法国、英国和意大利，受到这种病毒的影响尤为严重。德国等其他国家似乎应对得非常好。卫生专业人员和公众都渴望获得有关病毒影响的最新信息，以及已被证明有效的治疗方法。在语言成为获取相关信息的障碍的情况下，机器翻译（MT）可以帮助人们吸收以不同语言发布的信息。我们经过COVID-19数据培训的MT系统可免费提供给任何人使用，以帮助将以德语、法语、意大利语、西班牙语发布的信息翻译成英语，以及相反的方向。
2020-05-01 cs.CL
FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation
Google Research（谷歌研究院）
本研究提出面向少样本区域感知机器翻译的基准FRMT，含英语转葡语、普通话各地域变体的专业译文，探索验证了自动评估指标与人工评估的相关性，给出基线模型及研究指南，相关资源已公开。
2023-10-03 cs.CL
Neural versus Phrase-Based Machine Translation Quality: a Case Study
FBK（FBK（布鲁诺·凯斯勒基金会））；University of Amsterdam（阿姆斯特丹大学）
在统计机器翻译（SMT）领域，神经方法（NMT）最近成为第一个能够挑战基于短语的方法（PBMT）长期主导地位的技术。特别是，在IWITH 2015年的评估活动中，NMT在英语-德语上的表现优于成熟的最先进的PBMT系统，由于词法和句法差异，英语-德语是一种特别困难的语言对。为了了解NMT在哪些方面提供了比PBMT更好的翻译质量，我们对神经与基于短语的SMT输出进行了详细的分析，利用专业翻译人员对IWITOS数据进行的高质量后期编辑。这是第一次，我们的分析提供了有用的见解，哪些语言现象最好由神经模型建模-例如动词的重新排序-同时指出了其他有待改进的方面。
2016-10-09 cs.CL
MTNT: A Testbed for Machine Translation of Noisy Text
Carnegie Mellon University（卡内基梅隆大学）
在大多数现代机器翻译（MT）系统中，噪声或不标准的输入文本会导致灾难性的误译，并且已经有越来越多的研究兴趣创建噪声鲁棒的MT系统。然而，到目前为止，还没有公开可用的具有自然发生的噪声输入和翻译的并行语料库，因此以前的工作已经求助于对合成创建的数据集进行评估。在本文中，我们提出了一个用于噪音文本（MTNT）的机器翻译的基准数据集，由Reddit（www.reddit.com）上的噪音评论和专业来源的翻译组成。我们委托将英语评论翻译成法语和日语，以及将法语和日语评论翻译成英语，每个语言对的句子数量为7 k-37 k。我们定性和定量地研究了该数据集中包含的噪声类型，然后证明了现有的MT模型在一些与噪声相关的现象上严重失败，即使在对一小部分域内数据训练集进行自适应之后。这表明，该数据集可以提供一个有吸引力的测试平台，为量身定制的方法来处理机器翻译中的噪声文本。这些数据可在www.cs.cmu.edu/~pmichel1/mtnt/上公开获取。
2018-09-02 cs.CL
Facilitating Terminology Translation with Target Lemma Annotations
Tilde（Tilde公司）；University of Latvia（拉脱维亚大学）
大多数关于机器翻译中术语整合的最新工作都假设术语翻译已经以适合于目标语言句子的形式进行了变形。然而，在专业翻译人员的日常工作中，很少有这种情况，因为翻译人员使用双语词汇表，其中术语以字典形式给出;找到正确的目标语言形式是翻译过程的一部分。我们认为，先验指定的目标语言形式的要求是不现实的，阻碍了以前的工作的实用性。在这项工作中，我们提出了训练机器翻译系统使用源端数据增强的方法，注释随机选择的源语言单词与他们的目标语言词元。我们表明，在这种增强数据上训练的系统很容易用于现实生活中的翻译场景中的术语集成。我们的实验术语翻译成形态复杂的波罗的海和乌拉尔语系的语言显示了高达7个BLEU点的基线系统，没有手段的术语集成和4个BLEU点的平均改善比以前的工作。人工评估的结果表明，在翻译成拉脱维亚语时，术语翻译准确性比以前的工作有47.7%的绝对提高。
2021-01-25 cs.CL
Low Resourced Machine Translation via Morpho-syntactic Modeling: The Case of Dialectal Arabic
New York University Abu Dhabi（纽约大学阿布扎比分校）；Ohio State University（俄亥俄州立大学）；Carnegie Mellon University Qatar（卡内基梅隆大学卡塔尔分校）
我们提出了第二次评估阿拉伯语方言到方言的机器翻译的努力，第一次利用外部资源超出了一个小的平行语料库。由于缺乏自然发生的平行数据，这个问题以前没有得到认真的关注;但它的重要性是由方言阿拉伯语的广泛使用和方言间变异的广度所证明的，与罗曼语相当。我们的研究结果表明，建模的形态和语法显着提高方言到方言的翻译，虽然优化这样的数据稀疏模型需要考虑方言之间的语言差异和可用数据和资源的性质。在单参考盲测试集上，未翻译的输入得分为6.5 BLEU，仅在并行数据上训练的模型达到14.6，枢轴技术和形态句法建模将性能显着提高到17.5。
2017-12-18 cs.CL
DiscoX: Benchmarking Discourse-Level Translation task in Expert Domains
ByteDance Seed（字节跳动Seed）；Peking University（北京大学）
DiscoX 是一个针对专家领域 discourse 级翻译任务的基准测试，通过专业精选文本和 Metric-S 评估系统，揭示了当前 LLM 在该任务上的不足。
2025-12-17 cs.AI cs.CL
Reranking Machine Translation Hypotheses with Structured and Web-based Language Models
SRI International（斯坦福国际研究院）
在本文中，我们研究了使用语言动机和计算效率高的结构化语言模型的重新排序N-最好的假设在统计机器翻译系统。这些语言模型是从约束依赖语法分析发展而来的，它紧密地结合了词汇知识、形态和词汇特征以及句法依赖约束。两种结构化的语言模型被应用于N-最佳重评分，一种是几乎解析的语言模型，另一种通过显式地建模词之间的句法依赖关系来利用更多的句法特征。我们还研究了有效和高效的语言建模方法，以使用从多达1太字的Web文档中提取的N元语法。我们将所有这些语言模型应用于NIST和DARPA GALE计划2006年和2007年机器翻译评估任务的N-best重新排名，并发现这些语言模型的组合在盲测试集上将BLEU分数绝对提高了1.6%。
2021-04-25 cs.CL
A Comparison of Transformer and Recurrent Neural Networks on Multilingual Neural Machine Translation
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；MMT Srl（MMT有限公司）
最近，神经机器翻译（NMT）已经扩展到多语言，即用单个系统处理多个翻译方向。多语种NMT表现出对纯双语系统的竞争力。值得注意的是，在低资源环境中，它被证明是有效和高效的，这要归功于跨语言强制共享的表征空间，并诱导了一种迁移学习。此外，多语言NMT能够在训练时从未见过的语言对之间进行所谓的zero-shot推理。尽管对这个框架的兴趣越来越大，但对多语言NMT模型的能力和能力的深入分析仍然缺失。基于此，我们的工作（i）提供了双语，多语言和zero-shot系统产生的翻译的定量和比较分析;（ii）研究了MT中目前占主导地位的两种神经结构的翻译质量，这两种结构是递归的和Transformer的;（iii）定量地探索了语言之间的接近程度如何影响zero-shot翻译。我们的分析利用了几个不同系统对自动翻译的多个专业后期编辑，并重点关注自动标准度量（BLEU和TER）和广泛使用的错误类别，即词汇，词法和词序错误。
2018-06-20 cs.CL
Domain-Specific Machine Translation to Translate Medicine Brochures in English to Sorani Kurdish
University of Kurdistan Hewlêr（库尔德斯坦大学（赫wlêr））
针对库尔德语药品说明书缺乏的问题，利用平行语料库训练统计机器翻译模型，将英文说明书译为索拉尼库尔德语，并通过医学词典后处理提升BLEU分数，人工评估显示翻译准确且清晰。
2025-01-23 cs.CL
Fine-grained evaluation of German-English Machine Translation based on a Test Suite
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
我们提出了一个分析的16个国家的最先进的MT系统的基础上，德国英语的语言动机的测试套件。测试套件由一组语言专业人员手动设计，以涵盖MT通常无法正确翻译的各种语言现象。它包含5，000个测试句子，涵盖14个类别的106种语言现象，并更加关注动词时态，方面和语气。机器翻译的输出是通过正则表达式以半自动的方式进行评估的，正则表达式只关注句子中与每个现象相关的部分。通过我们的分析，我们能够根据系统在这些类别上的性能进行比较。此外，我们揭示了特定系统的优点和缺点，我们确定的语法现象，MT的整体性能相对较低。
2019-10-16 cs.CL
Towards the evaluation of automatic simultaneous speech translation from a communicative perspective
Mainz University（美因茨大学）；KUDO
近年来，由于人工智能的进步，特别是在语音识别和机器翻译领域的进步，自动语音到语音和语音到文本翻译已经获得了动力。这类应用程序的质量通常使用自动度量标准（如BLEU）进行测试，主要目的是评估版本的改进或评估活动。然而，很少有人知道这样的系统的输出是如何被最终用户感知的，或者它们如何与人类在类似的交际任务中的表现进行比较。在本文中，我们提出了一个实验的结果，旨在评估实时语音翻译引擎的质量，通过比较它的专业同声传译的性能。要做到这一点，我们采用了一个框架开发的人类口译员的评估，并使用它来执行人工评估人类和机器的性能。在我们的样本中，我们发现人类口译员在可理解性方面表现更好，而机器在信息量方面表现稍好。研究的局限性和可能的增强所选择的框架进行了讨论。尽管其固有的局限性，这个框架的使用代表了第一步，以用户为中心，面向通信的方法来评估实时自动语音翻译。
2021-06-30 cs.CL
Distinguishing Translations by Human, NMT, and ChatGPT: A Linguistic and Statistical Approach
School of Foreign Languages, Shanghai Jiao Tong University（上海交通大学外国语学院）；Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；Institute of Corpus Studies and Applications, Shanghai International Studies University（上海外国语大学语料库研究与应用研究院）
本研究采用统计检验、机器学习和多维分析方法，分析了ChatGPT、NMT与人类翻译的语言特征与相似度，发现监督分类器能高效区分三者，且ChatGPT译文与NMT更为相似。
2024-10-12 cs.CL
What Level of Quality can Neural Machine Translation Attain on Literary Text?
University of Groningen（格罗宁根大学）；Dublin City University（都柏林城市大学）
鉴于一种新的机器翻译方法--神经机器翻译（NMT）的兴起及其在不同文本类型上的良好表现，我们评估了它在被认为是机器翻译最大挑战的文学文本上所能达到的翻译质量。具体来说，我们的目标是小说，可以说是最流行的文学文本类型。我们建立了一个文学适应NMT系统的英语到加泰罗尼亚语的翻译方向，并评估它对以前占主导地位的模式在MT：统计短语为基础的MT（PBSMT）的系统。为此，我们第一次训练机器翻译系统，包括NMT和PBSMT，在大量的文学文本（超过1亿字）上，并在从20世纪20年代到现在的12部广为人知的小说集上对它们进行评估。根据BLEU自动评价指标，NMT在所有考虑的小说上均显著优于PBSMT（p < 0.01）。总的来说，NMT比PBSMT相对改善11%（绝对3分）。对其中三本书的补充人工评估显示，NMT产生的翻译中有17%到34%（根据书籍的不同）（而PBSMT为8%和20%）被目标语言的母语使用者认为与专业翻译人员产生的翻译质量相当。
2018-01-15 cs.CL
Cross-lingual neural fuzzy matching for exploiting target-language monolingual corpora in computer-aided translation
Universitat d’Alacant（阿利坎特大学）
本文提出一种跨语言神经模糊匹配方法，利用目标语单语语料库弥补翻译记忆不足，通过跨语言句子嵌入检索翻译建议并用神经模型估计译后编辑工作量，实验证明其能有效提升CAT工具中翻译建议的数量与实用性。
2024-01-16 cs.CL
DivEMT: Neural Machine Translation Post-Editing Effort Across Typologically Diverse Languages
University of Groningen（格罗宁根大学）
本文介绍了DivEMT，首个涵盖多种类型学目标语言的神经机器翻译后编辑公开研究，通过18名专业译者的行为数据评估了Google Translate和mBART-50系统对翻译生产力的影响，发现后编辑虽普遍快于从零翻译，但增益幅度因语言类型学差异而显著不同。
2022-10-18 cs.CL
Context-Aware Monolingual Human Evaluation of Machine Translation
eBay（易贝）；Dublin City University（都柏林城市大学）
本文研究在无源文本条件下用上下文感知单语人工评估评价机器翻译，通过专业译员在单一系统和成对系统两种场景中与双语评估对比，证明其效果相当且高效可行。
2025-04-10 cs.CL cs.HC
Translation Artifacts in Cross-lingual Transfer Learning
HiTZ Center（HiTZ中心）；University of the Basque Country (UPV/EHU)（巴斯克大学）
人类和机器翻译在跨语言迁移学习中都扮演着核心角色：许多多语言数据集是通过专业翻译服务创建的，使用机器翻译来翻译测试集或训练集是一种广泛使用的迁移技术。在本文中，我们表明，这样的翻译过程可以引入微妙的工件，有显着的影响，在现有的跨语言模型。例如，在自然语言推理中，独立地翻译前提和假设可以减少它们之间的词汇重叠，而当前的模型对词汇重叠高度敏感。我们发现，以前的一些研究结果在跨语言迁移学习需要重新考虑在这种现象的光。基于所获得的见解，我们还将XNLI中的最先进技术分别提高了4.3和2.8个点，用于测试和zero-shot方法。
2020-12-14 cs.CL cs.LG
Findings of the First Shared Task on Machine Translation Robustness
Facebook AI（脸书人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）；Harvard University（哈佛大学）；MIT（麻省理工学院）；Qatar Computing Research Institute（卡塔尔计算研究所）；Google AI（谷歌人工智能研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们分享了第一个共享任务的发现，即提高机器翻译（MT）的鲁棒性。该任务提供了一个测试平台，代表了现实世界中部署的MT模型所面临的挑战，并促进了改进模型的新方法;对噪声输入和域失配的鲁棒性。我们专注于两种语言对（英语-法语和英语-日语），提交的系统在盲测集上进行评估，盲测集由Reddit上的嘈杂评论和专业翻译组成。作为一项新任务，我们收到了来自大学、公司、国家实验室等11个参与团队的23份提交，所有提交的系统都比基线有了很大的改进，最好的改进是+22.33 BLEU。我们通过人工判断和自动评估（BLEU）评估了提交的内容，显示出高度相关性（Pearson r = 0.94和0.95）。此外，我们使用compare-mt对提交的系统进行了定性分析，揭示了它们在处理这项任务中的挑战方面的显着差异。当人类判断和BLEU之间偶尔存在分歧时，这种分析提供了额外的见解，例如，更好地产生口语表达的系统从人类判断中获得更高的分数。
2019-07-03 cs.CL
Bootstrapping a Crosslingual Semantic Parser
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
语义解析的最新进展几乎不考虑英语以外的语言，但专业翻译可能会非常昂贵。我们将在单一语言（如英语）上训练的语义解析器适应新语言和具有最小注释的多个域。我们询问机器翻译是否是训练数据的适当替代品，并将其扩展到使用英语，释义和多语言预训练模型的联合训练来研究自举。我们开发了一个基于transformer的解析器，通过在多个编码器上集成注意力来结合释义，并在德语和中文中提供了新版本的ATIS和Overnight进行评估。实验结果表明，MT可以近似训练数据在一个新的语言准确的分析时，通过多个MT引擎的释义增强。考虑到MT是不够的，我们还发现，使用我们的方法实现的解析精度在2%的完整的翻译使用只有50%的训练数据。
2020-09-23 cs.CL
The FLORES-101 Evaluation Benchmark for Low-Resource and Multilingual Machine Translation
Facebook AI Research（脸书人工智能研究院）；LORIA（洛林计算机科学及其应用研究实验室）
阻碍低资源和多语言机器翻译取得进展的最大挑战之一是缺乏良好的评估基准。当前的评估基准要么缺乏对低资源语言的良好覆盖，要么只考虑有限的领域，要么质量低下，因为它们是使用半自动程序构建的。在这项工作中，我们介绍了FLORES-101评估基准，由3001句从英文维基百科中提取，涵盖了各种不同的主题和领域。这些句子由专业翻译人员通过精心控制的过程翻译成101种语言。由此产生的数据集可以更好地评估低资源语言长尾的模型质量，包括评估多对多多语言翻译系统，因为所有翻译都是多语言对齐的。通过公开发布这样一个高质量和高覆盖率的数据集，我们希望促进机器翻译社区及其他领域的进步。
2021-06-06 cs.AI cs.CL
Automatic Correction of Human Translations
University of California, Berkeley（加州大学伯克利分校）；Lilt（Lilt公司）
我们介绍了翻译纠错（TEC），自动纠正人类生成的翻译的任务。机器翻译（MT）中的不完美性长期以来一直激励着系统利用自动后期编辑来改进翻译。相比之下，很少有人关注自动纠正人类翻译的问题，尽管直觉认为人类会犯一些明显的错误，而机器很适合帮助解决这些错误，从错别字到翻译惯例的不一致。为了研究这一点，我们构建并发布了三个TEC数据集的Aced语料库。我们发现，TEC中的人为错误表现出更多样化的错误范围和更少的翻译流畅性错误比自动后期编辑数据集中的MT错误，这表明需要专门的TEC模型，专门纠正人为错误。我们发现，基于人为错误的合成错误的预训练将TEC F分数提高了5.1分。我们对9名专业翻译编辑进行了一项人机交互用户研究，发现在TEC系统的帮助下，他们的翻译质量显著提高。
2022-06-17 cs.CL cs.LG
$M^2PO$: Multi-Perspective Multi-Pair Preference Optimization for Machine Translation
Alibaba International Digital Commerce（阿里巴巴国际数字商业）
研究针对机器翻译中主流方法受误导性奖励信号影响的问题，提出$M^2PO$框架，通过双视角机制和多对目标优化偏好，实验证明该框架能使模型性能提升，超越开源基线并接近专有模型。
2026-07-29 cs.CL
Breeding Machine Translations: Evolutionary approach to survive and thrive in the world of automated evaluation
Charles University（查理大学）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本文提出用遗传算法修改机器翻译n-best列表，通过多指标适应度提升翻译质量，并利用单指标自动发现评估指标的对抗性盲点，证明无参考COMET鲁棒性更差。
2023-05-30 cs.CL
Investigating Test-Time Scaling with Reranking for Machine Translation
University of Amsterdam（阿姆斯特丹大学）；Sony Group Corporation（索尼集团）
本文首次系统性研究了机器翻译中的测试时扩展，通过在WMT24上使用best-of-N框架，发现TTS能提升高资源语言翻译质量，并分析了模型规模与计算预算的权衡关系。
2025-09-23 cs.CL
EnSiTa - A Trilingual Multi-Domain Parallel Dataset and Benchmark for Domain-Specific Machine Translation
Massey University（梅西大学）；University of Moratuwa（莫拉图瓦大学）；National University of Singapore（新加坡国立大学）；Utrecht University（乌得勒支大学）；Rowan University（罗文大学）；District General Hospital, Hambantota（汉班托塔地区综合医院）；WSO2
针对低资源语言专业领域平行数据稀缺问题，构建三语多领域数据集EnSiTa，系统评估多种模型与设置，为领域特定MT提供最全面的基准。
2026-09-25 cs.CL
TransBench: Benchmarking Machine Translation for Industrial-Scale Applications
Alibaba International Digital Commerce（阿里巴巴国际数字商务集团）；Beijing Language and Culture University（北京语言大学）
针对通用机器翻译评估基准与工业实际应用效果脱节的问题，本研究提出三级翻译能力评估框架，推出面向电商场景的工业机器翻译基准TransBench，整合多维度指标并开源工具，填补了专业领域翻译评估的空白。
2025-05-20 cs.CL
Measuring User's Mental Models of Speech Translation in Human-AI Collaboration
University of Maryland, College Park（马里兰大学学院公园分校）
通过跨语言问答框架研究用户对语音翻译系统的心理模型，发现用户通过实践和源语言知识能更好地预测系统错误，且提供语音转录有助于改善心理模型。
2026-06-24 cs.CL cs.HC
PharmMT: A Neural Machine Translation Approach to Simplify Prescription Directions
University of Michigan（密歇根大学）
医生和卫生专业人员在处方说明中使用的语言包括医学术语和隐含的指示，并在患者中造成许多混淆。人为干预以简化药房的语言可能会引入额外的错误，可能导致潜在的严重健康后果。我们提出了一种新的基于机器翻译的方法，PharmMT，自动和可靠地简化处方说明到患者友好的语言，从而显着减少药剂师的工作量。我们评估所提出的方法超过一个数据集，包括从一个大型邮购药店获得的超过530K处方。端到端系统实现了60.27的BLEU分数对药剂师生成的参考方向，一个39.6%的相对改善基于规则的规范化。药剂师判断94.3%的简化说明书是可用的，或者变化很小。这项工作证明了基于机器翻译的工具在现实生活中简化处方说明的可行性。
2022-04-08 cs.AI cs.CL
Putting words into the system's mouth: A targeted attack on neural machine translation using monolingual data poisoning
University of Melbourne（墨尔本大学）；Facebook AI（Facebook人工智能研究院）；Twitter Cortex；Amazon Alexa AI（亚马逊Alexa人工智能）
众所周知，神经机器翻译系统容易受到对抗性测试输入的影响，然而，正如我们在本文中所展示的那样，这些系统也容易受到训练攻击。具体来说，我们提出了一种中毒攻击，其中恶意的对手插入一个小的中毒样本的单语文本到训练集的系统训练使用回翻译。这个例子是为了诱导一个特定的，有针对性的翻译行为，如兜售错误信息。我们提出了两种方法来制作中毒的例子，并表明，只有极少数的情况下，只有0.02%的训练集，是足以制定一个成功的攻击。我们概述了一种防御方法，对上述攻击，部分改善了这个问题。然而，我们强调，这是现代NMT的盲点，需要立即关注。
2021-07-12 cs.CL cs.CR
Multi30K: Multilingual English-German Image Descriptions
University of Amsterdam（阿姆斯特丹大学）；Sheffield University（谢菲尔德大学）
我们引入Multi 30 K数据集来刺激多语言多模态研究。图像描述的最新进展几乎完全在英语数据集上得到了证明，但图像描述不应仅限于英语。该数据集扩展了Flickr 30 K数据集，i）由专业翻译人员在英语描述的子集上创建的德语翻译，以及ii）独立于原始英语描述的众包描述。我们概述了如何将数据用于多语言图像描述和多模式机器翻译，但我们预计数据将用于更广泛的任务。
2016-05-02 cs.CL cs.CV
QE4PE: Word-level Quality Estimation for Human Post-Editing
CLCG, University of Groningen（格罗宁根大学CLCG中心）；ETH Zürich（苏黎世联邦理工学院）；CSAI, Tilburg University（蒂尔堡大学CSAI中心）
本研究在真实场景中调查词级QE对人工译后编辑的影响，比较四种错误片段高亮模式，发现领域、语言和编辑速度是关键影响因素，凸显专业工作流程中准确性与可用性的差距。
2025-07-30 cs.CL cs.HC
