TranslateLocally: Blazing-fast translation running on the local CPU
School of Informatics（信息学院）；University of Edinburgh（爱丁堡大学）
每天都有数百万人牺牲自己的隐私和浏览习惯来换取在线机器翻译。有保密要求的公司和政府经常禁止在线翻译或支付额外费用来禁用日志记录。为了将控制权交还给最终用户并展示速度，我们开发了本地化。在台式机或笔记本电脑CPU上本地运行，即使在10年前的硬件上也能提供类似云的翻译速度和质量。开源软件基于Marian，可在Linux，Windows和macOS上运行。
2021-09-21 cs.CL
What do Neural Machine Translation Models Learn about Morphology?
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
神经机器翻译（MT）模型在保持简单的端到端架构的同时获得最先进的性能。然而，人们对这些模型在训练过程中学习源语言和目标语言的内容知之甚少。在这项工作中，我们分析了神经MT模型在不同粒度水平上学习到的表示，并通过外部词性和形态标记任务来经验性地评估学习形态的表示质量。我们沿着几个参数进行了彻底的调查：基于单词与基于字符的表示，编码层的深度，目标语言的身份，以及编码器与解码器表示。我们的数据驱动的定量评估揭示了神经MT系统的重要方面及其捕获单词结构的能力。
2018-10-22 cs.CL
What Level of Quality can Neural Machine Translation Attain on Literary Text?
University of Groningen（格罗宁根大学）；Dublin City University（都柏林城市大学）
鉴于一种新的机器翻译方法--神经机器翻译（NMT）的兴起及其在不同文本类型上的良好表现，我们评估了它在被认为是机器翻译最大挑战的文学文本上所能达到的翻译质量。具体来说，我们的目标是小说，可以说是最流行的文学文本类型。我们建立了一个文学适应NMT系统的英语到加泰罗尼亚语的翻译方向，并评估它对以前占主导地位的模式在MT：统计短语为基础的MT（PBSMT）的系统。为此，我们第一次训练机器翻译系统，包括NMT和PBSMT，在大量的文学文本（超过1亿字）上，并在从20世纪20年代到现在的12部广为人知的小说集上对它们进行评估。根据BLEU自动评价指标，NMT在所有考虑的小说上均显著优于PBSMT（p < 0.01）。总的来说，NMT比PBSMT相对改善11%（绝对3分）。对其中三本书的补充人工评估显示，NMT产生的翻译中有17%到34%（根据书籍的不同）（而PBSMT为8%和20%）被目标语言的母语使用者认为与专业翻译人员产生的翻译质量相当。
2018-01-15 cs.CL
What the Harm? Quantifying the Tangible Impact of Gender Bias in Machine Translation with a Human-centered Study
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；University of Groningen（格罗宁根大学）
本研究针对现有机器翻译性别偏见评估多依赖自动化方法、难以反映实际下游危害的问题，通过90名参与者的译后编辑行为实验，证实女性相关内容译后编辑成本更高，且现有偏见测量无法反映该差异，倡导以人为中心的偏见评估方法。
2024-10-07 cs.CL
Mention Attention for Pronoun Translation
School of Information Science（信息科学学院）；Beijing Language and Culture University（北京语言大学）；Department of Computer Science（计算机科学系）；IT University of Copenhagen（哥本哈根信息技术大学）
本文针对机器翻译中的代词翻译难题，提出在解码器中引入 mention attention 模块和 mention 分类器，以额外关注源 mentions 并结合目标侧上下文，实验证明该方法提升了 WMT17 英德翻译的 BLEU 和 APT 分数且不影响整体翻译质量。
2024-12-19 cs.CL
Inducing Grammars with and for Neural Machine Translation
Informatics Institute（信息学院）；University of Amsterdam（阿姆斯特丹大学）；Department of Computer Science（计算机科学系）；University of Washington（华盛顿大学）
机器翻译系统需要语义知识和语法理解。神经机器翻译（NMT）系统通常假设这些信息是由注意力机制和确保流畅性的解码器捕获的。最近的工作表明，合并显式语法减轻了建模这两种类型的知识的负担。然而，要求解析是昂贵的，并且没有探索模型在翻译期间需要什么语法的问题。为了解决这两个问题，我们引入了一个模型，同时翻译，同时诱导依赖树。通过这种方式，我们利用结构的好处，同时调查什么语法NMT必须诱导，以最大限度地提高性能。我们证明我们的依赖树是1。语言对依赖和2.提高翻译质量。
2018-05-28 cs.CL
Modeling Past and Future for Neural Machine Translation
Nanjing University（南京大学）；Toutiao AI Lab（字节跳动人工智能实验室）；University of Waterloo（滑铁卢大学）；Tencent AI Lab（腾讯人工智能实验室）
现有的神经机器翻译系统在解码阶段没有明确地对已经翻译的内容和没有翻译的内容进行建模。为了解决这个问题，我们提出了一种新的机制，将源信息分为两部分：翻译过去的内容和未翻译的未来的内容，这是由两个额外的递归层建模。过去和未来的内容被馈送到注意力模型和解码器状态，这为NMT系统提供了翻译和未翻译内容的知识。实验结果表明，该方法在汉英、德英和英德翻译任务中显著提高了翻译性能。具体而言，该模型优于传统的覆盖模型的翻译质量和对齐出错率。
2017-12-26 cs.CL
Towards Tailored Recovery of Lexical Diversity in Literary Machine Translation
Aalborg University（奥尔堡大学）；University of Groningen（格罗宁根大学）
本文针对文学机器翻译中词汇多样性损失问题，提出用区分原文与译文的分类器对候选翻译重排序，以恢复机器翻译丢失的词汇多样性，在31本英译荷书籍上验证了其效果接近人工翻译。
2024-08-30 cs.CL
When Abel Kills Cain: What Machine Translation Cannot Capture
本文以 Cain 与 Abel 的《圣经》故事为测试文本，考察 Google Translate 与 DeepL 的翻译错误及语言界面，建立错误类型并比较当代译本，指出机器翻译在文化文本阐释上的局限。
2024-04-02 cs.AI cs.CL
MMTE: Corpus and Metrics for Evaluating Machine Translation Quality of Metaphorical Language
The University of Sheffield（谢菲尔德大学）；University of Waterloo（滑铁卢大学）；UIBE（对外经济贸易大学）；The University of Manchester（曼彻斯特大学）
本文针对机器翻译中比喻性语言质量评估缺失的问题，提出了一套人工评估指标和一个多语言平行隐喻语料库，从隐喻对等性、情感、真实性和质量四方面评估，发现比喻表达翻译与字面表达不同。
2024-11-08 cs.CL
Phrase database Approach to structural and semantic disambiguation in English-Korean Machine Translation
Kim Il Sung University（金日成综合大学）
在机器翻译中，机器可读词典和标准的句法分析规则不足以保证英语短语到韩语的句法分析和翻译的准确性是一种普遍现象，这表现在由于结构和语义歧义而导致的误导性翻译结果。本文旨在通过将双语短语库应用于英朝机器翻译（EKMT）中，解决英语中常用短语因习语性和非语法性而产生的结构和语义歧义。本文首先从英语短语的定义出发，阐明了EKMT中的短语单元是什么，然后阐明了什么样的语言单元可以作为EKMT短语库的对象，最后通过举例说明短语库的格式，提出了一种建立短语库的方法，最后简要讨论了将该双语短语库应用于EKMT中进行结构和语义消歧的方法。
2015-03-19 cs.CL
Retrieve What Helps, Only When It Helps: Agentic Reinforcement Learning for Selective Retrieval-Augmented Machine Translation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊公司）
针对现有检索增强机器翻译策略统一化的问题，提出智能体强化学习框架SRAT，通过优化翻译质量学习检索决策，实验显示其在多类翻译任务上优于基线，将检索视为可学习动作更具优势。
2026-10-15 cs.AI cs.CL cs.IR
Learning to Discriminate Noises for Incorporating External Information in Neural Machine Translation
Nanjing University（南京大学）
以往的研究表明，将外部信息可以提高神经机器翻译（NMT）系统的翻译质量。然而，不可避免地有噪音的外部信息，严重降低了现有的方法可以从合并收到的好处。为了解决这个问题，本研究特别注意在合并过程中的噪声的识别。我们认为，在这些外部信息中存在两种噪声，即全局噪声和局部噪声，它们分别影响整个句子和特定单词的翻译。因此，我们提出了一个通用的框架，学习共同区分全局和局部噪声，使外部信息可以更好地利用。我们的模型是在来自原始平行语料库的数据集上训练的，没有任何外部标记数据或注释。在各种真实场景、语言对和神经架构中的实验结果表明，即使在非常嘈杂的条件下，区分噪声也能够更好地结合外部信息，从而显著提高翻译质量。
2018-11-19 cs.CL
Pay Less Attention with Lightweight and Dynamic Convolutions
Cornell University（康奈尔大学）；Facebook AI Research（Facebook人工智能研究）
自我注意是建立语言和图像生成模型的有效机制。它通过将每个元素与当前时间步进行比较来确定上下文元素的重要性。在本文中，我们证明了一个非常轻量级的卷积可以与报告的最佳自我注意结果竞争。接下来，我们介绍动态卷积，它比自注意更简单，更有效。我们仅根据当前时间步预测单独的卷积核，以确定上下文元素的重要性。这种方法所需的操作数量与输入长度成线性关系，而自我注意力是二次的。在大规模机器翻译、语言建模和抽象摘要上的实验表明，动态卷积优于强自注意模型。在WMT'14英语-德语测试集上，动态卷积达到了29.7 BLEU的最新水平。
2019-02-22 cs.CL
Neural versus Phrase-Based Machine Translation Quality: a Case Study
FBK（FBK（布鲁诺·凯斯勒基金会））；University of Amsterdam（阿姆斯特丹大学）
在统计机器翻译（SMT）领域，神经方法（NMT）最近成为第一个能够挑战基于短语的方法（PBMT）长期主导地位的技术。特别是，在IWITH 2015年的评估活动中，NMT在英语-德语上的表现优于成熟的最先进的PBMT系统，由于词法和句法差异，英语-德语是一种特别困难的语言对。为了了解NMT在哪些方面提供了比PBMT更好的翻译质量，我们对神经与基于短语的SMT输出进行了详细的分析，利用专业翻译人员对IWITOS数据进行的高质量后期编辑。这是第一次，我们的分析提供了有用的见解，哪些语言现象最好由神经模型建模-例如动词的重新排序-同时指出了其他有待改进的方面。
2016-10-09 cs.CL
A Survey of Orthographic Information in Machine Translation
Insight Centre for Data Analytics（洞察数据分析中心）；Data Science Institute（数据科学研究所）；National University of Ireland Galway（爱尔兰国立高威大学）
机器翻译是自然语言处理的应用之一，它已经在不同的语言中得到了探索。近年来，研究人员开始关注资源贫乏语言和密切相关语言的机器翻译。这些机器翻译系统的一个普遍的和潜在的问题是在正字法惯例的变化，导致许多问题，以传统的方法。用两种不同的正字法书写的两种语言不容易比较，但是正字法信息也可以用来改进机器翻译系统。本文综述了正字法对资源不足语言的机器翻译的影响。它介绍了资源不足的语言方面的机器翻译和如何利用正字法信息，以改善机器翻译。我们描述了以前在这方面的工作，讨论了什么基本的假设，并显示了如何拼写知识提高性能的机器翻译资源不足的语言。我们讨论了不同类型的机器翻译，并展示了最近的趋势，寻求连接正字法信息与完善的机器翻译方法。相当多的注意力给予当前的努力同源信息在不同层次的机器翻译和经验教训，可以从中吸取。此外，密切相关语言的多语言神经机器翻译在本次调查中得到了特别关注。本文最后讨论了在机器翻译的正字法信息的发展方向，重点是多语言设置和双语词典归纳。
2020-08-04 cs.CL
A Comparison of Transformer and Recurrent Neural Networks on Multilingual Neural Machine Translation
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；MMT Srl（MMT有限公司）
最近，神经机器翻译（NMT）已经扩展到多语言，即用单个系统处理多个翻译方向。多语种NMT表现出对纯双语系统的竞争力。值得注意的是，在低资源环境中，它被证明是有效和高效的，这要归功于跨语言强制共享的表征空间，并诱导了一种迁移学习。此外，多语言NMT能够在训练时从未见过的语言对之间进行所谓的zero-shot推理。尽管对这个框架的兴趣越来越大，但对多语言NMT模型的能力和能力的深入分析仍然缺失。基于此，我们的工作（i）提供了双语，多语言和zero-shot系统产生的翻译的定量和比较分析;（ii）研究了MT中目前占主导地位的两种神经结构的翻译质量，这两种结构是递归的和Transformer的;（iii）定量地探索了语言之间的接近程度如何影响zero-shot翻译。我们的分析利用了几个不同系统对自动翻译的多个专业后期编辑，并重点关注自动标准度量（BLEU和TER）和广泛使用的错误类别，即词汇，词法和词序错误。
2018-06-20 cs.CL
English-Lithuanian-English Machine Translation lexicon and engine: current state and future work
Kaunas University of Technology（考纳斯理工大学）
本文概述了英语-立陶宛语-英语机器翻译系统的现状。文章的第一部分描述了系统今天提出的问题，以及未来将采取什么行动来解决这些问题。文章的第二部分讨论了翻译过程中的主要问题。文章简要介绍了使用Google进行机器翻译的词义消歧技术。
2011-05-05 cs.CL
Syntactic Knowledge via Graph Attention with BERT in Machine Translation
University of Leeds（利兹大学）
针对Transformer深层句法建模不足的问题，提出SGB方法，利用GAT与BERT将句法依存特征作为显式知识融入机器翻译，实验证明其在三个任务中提升了翻译质量且未损失BLEU分数。
2023-05-22 cs.CL
Sarcasm SIGN: Interpreting Sarcasm with Sentiment Based Monolingual Machine Translation
Technion, IIT（以色列理工学院）
讽刺是一种说话的形式，说话者为了表达强烈的感情而说出与真实意思相反的话。换句话说，“讽刺是我所说的和不明白的人之间的巨大鸿沟。".在本文中，我们提出了一个新的任务，讽刺的解释，定义为一个非讽刺话语传达相同的信息作为原来的讽刺之一的生成。我们介绍了一个新的数据集的3000个讽刺的推文，每个解释由五个人类法官。针对单语机器翻译（MT）的任务，我们实验MT算法和评估措施。然后，我们提出了SIGN：一个基于MT的讽刺解释算法，目标是情感词，文本讽刺的定义元素。我们发现，虽然基于n-gram的自动测量的分数对于所有解释模型都是相似的，但SIGN的解释在充足性和情感极性方面被人类得分更高。最后，我们讨论了未来的研究方向，我们的新任务。
2017-04-22 cs.CL
Inference Strategies for Machine Translation with Conditional Masking
Google Research（谷歌研究院）
条件掩蔽语言模型（CMLM）训练已被证明是成功的非自回归和半自回归序列生成任务，如机器翻译。然而，给定一个经过训练的CMLM，最好的推理策略是什么还不清楚。我们制定掩蔽推理作为部分序列的条件概率的因式分解，表明这并不损害性能，并调查了一些简单的prostitics的动机，从这个角度来看。我们确定了一个阈值策略，具有优势的标准“掩码预测”算法，并提供分析其行为的机器翻译任务。
2020-10-20 cs.CL
xCOMET: Transparent Machine Translation Evaluation through Fine-grained Error Detection
Instituto de Telecomunicações（电信研究所）；CentraleSupélec（巴黎中央理工-高等电力学院）；Université Paris-Saclay（巴黎萨克雷大学）；Instituto Superior Técnico（高等理工学院）；University of Lisbon（里斯本大学）；Unbabel（Unbabel公司）；INESC-ID（葡萄牙系统与计算机工程研究所）
本文提出开源学习指标xCOMET，结合句子级评估与错误跨度检测，在多种评估任务中达到最先进性能，并能识别关键错误和幻觉，提升翻译评估的透明度。
2023-10-16 cs.CL
An Analysis of Attention Mechanisms: The Case of Word Sense Disambiguation in Neural Machine Translation
Uppsala University（乌普萨拉大学）；University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
最近的研究表明，神经机器翻译（NMT）中的编码器-解码器注意力机制不同于统计机器翻译中的词对齐。本文以NMT模型中的词义消歧为例，重点分析了编码器-解码器的注意力机制。我们假设注意力机制在翻译歧义词时更关注语境标记。我们探讨了翻译歧义名词时的注意分配模式。与直觉相反，我们发现，与其他名词相比，注意力机制可能会将更多的注意力分配给歧义名词本身，而不是上下文标记。我们的结论是，注意力机制是不是NMT模型的主要机制，以纳入上下文信息的词义消歧。实验结果表明，NMT模型学习编码上下文信息必要的WSD在编码器隐藏状态。对于Transformer模型中的注意力机制，我们揭示了前几层逐渐学习“对齐”源和目标令牌，最后几层学习从相关但未对齐的上下文令牌中提取特征。
2018-10-17 cs.CL
Token-level Adaptive Training for Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences (ICT/CAS)（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯微信AI模式识别中心）；Beijing Language and Culture University（北京语言大学）
自然语言中存在着语汇不平衡现象，不同语汇出现的频率不同，导致神经机器翻译中语汇的学习难度不同。vanilla NMT模型通常对不同频率的目标token采用平凡的等权目标，与golden token分布相比，它倾向于产生更多的高频token和更少的低频token。然而，低频标记可能携带关键的语义信息，一旦被忽略，将影响翻译质量。在本文中，我们探索了目标令牌级自适应目标的令牌频率的基础上，在训练过程中为每个目标令牌分配适当的权重。我们的目标是那些有意义但相对低频的词可以在目标中分配更大的权重，以鼓励模型更多地关注这些标记。我们的方法在ZH-EN，EN-RO和EN-DE翻译任务中的翻译质量得到了一致的改善，特别是在包含更多低频标记的句子中，与基线相比，我们可以分别获得1.68，1.02和0.52的BLEU增加。进一步的分析表明，我们的方法也可以提高翻译的词汇多样性。
2020-10-09 cs.CL
Controlling Translation Formality Using Pre-trained Multilingual Language Models
University of Maryland（马里兰大学）
本文介绍了马里兰大学提交给\iwslt的口语翻译形式控制特别任务，该任务评估了从英语到6种语言的翻译，这些语言具有不同的语法形式标记。我们调查在何种程度上可以解决这个问题的\textit{single multilingual model}，同时控制其输出的目标语言和正式。实验结果表明，该策略可以达到专用翻译模型所能达到的翻译质量和形式控制的效果。然而，底层预训练语言模型和微调样本的性质极大地影响结果。
2022-05-13 cs.CL
Only Send What You Need: Learning to Communicate Efficiently in Federated Multilingual Machine Translation
Elmore Family School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔家族电气与计算机工程学院）；Yonsei University（延世大学）
针对联邦多语言机器翻译中通信受限问题，提出基于元学习的自适应参数选择方法MetaSend，通过动态阈值过滤参数提升传输效率，在有限通信预算下于不同语言分布数据集上显著优于基线模型。
2025-04-18 cs.AI cs.CL
Don't Rule Out Monolingual Speakers: A Method For Crowdsourcing Machine Translation Data
University of Colorado Boulder（科罗拉多大学博尔德分校）
高性能的机器翻译（MT）系统可以帮助克服语言障碍，同时使每个人都可以用自己选择的语言进行交流和使用语言技术。然而，这样的系统需要大量的并行句子来进行训练，并且翻译器可能很难找到并且昂贵。在这里，我们提出了一个数据汇集策略MT，相比之下，是廉价和简单的，因为它不需要双语扬声器。基于人类对运动的特殊关注，我们使用图形交换格式（GIF）作为支点，从单语注释者那里收集平行句子。我们使用我们的策略来收集印地语，泰米尔语和英语的数据。作为基线，我们还使用图像作为枢轴收集数据。我们通过手动评估句子对的子集进行内在评估，并通过对收集的数据进行微调mBART进行外在评估。我们发现，通过GIF收集的句子质量确实更高。
2021-06-12 cs.CL
Low-resource Machine Translation: what for? who for? An observational study on a dedicated Tetun language translation service
School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息学院）；Instituto Nacional de Linguística, Dili（迪利国家语言研究所）；The Australian National University（澳大利亚国立大学）
通过分析 tetun$.$org 的 100,000 条请求，研究揭示 Tetun 用户多为移动端学生且需求集中于高资源语言到 Tetun 的教育等领域翻译，为低资源 MT 开发提供真实需求依据。
2025-04-02 cs.AI cs.CL
What about em? How Commercial Machine Translation Fails to Handle (Neo-)Pronouns
Universität Hamburg（汉堡大学）；Bocconi University（博科尼大学）；University of South Carolina（南卡罗来纳大学）；Aarhus University（奥胡斯大学）
本文研究商业机器翻译系统在处理第三人称新代词和性别中立代词时的失败，通过多语言翻译错误分析和母语者调查，为改进身份包容性机器翻译提供建议。
2023-05-25 cs.AI cs.CL cs.CY
Translation Word-Level Auto-Completion: What can we achieve out of the box?
ADAPT Centre（ADAPT中心）；School of Computing（计算学院）；National College of Ireland（爱尔兰国家学院）；Dublin City University（都柏林城市大学）
机器翻译的研究在多个领域取得了重要突破。虽然要在这一成功的基础上再接再厉还有很多工作要做，但我们认为，语言行业需要更好的方法来充分利用目前的成就。由于时间、资源和技能等多种因素的综合影响，企业倾向于将实用主义应用于其人工智能工作流程。因此，他们更关注结果，例如交付，运输，发布和功能，并在可能的情况下采用高水平的工作生产解决方案。被认为对翻译人员有帮助的功能包括句子级和单词级翻译、自动建议和自动完成。建议替代方案可以激励翻译人员，限制他们参考外部资源的需求，这有望提高他们的生产力。这项工作描述了我们提交给WMT的共享任务的词级自动完成，为中文到英文，英文到中文，德语到英语，和英语到德语的语言方向。我们研究了使用预训练模型和可用库中的开箱即用功能的可能性。我们采用随机抽样产生不同的替代品，这表明了良好的效果。此外，我们还介绍了基于CTranslate2的开源API，用于提供翻译、自动建议和自动完成。
2022-10-23 cs.CL cs.HC
Difficulty-Aware Machine Translation Evaluation
University of Macau（澳门大学）
机器翻译（MT）系统产生的高质量翻译结果仍然对自动评估提出了巨大的挑战。目前的机器翻译评估对每个句子成分给予了同样的关注，而现实世界考试的问题（例如，大学考试）有不同的难度和权重。在本文中，我们提出了一种新的难度意识的机器翻译评价指标，扩大了评估维度，考虑到翻译难度。大多数机器翻译系统无法预测的翻译将被视为困难的翻译，并在最终的评分函数中分配较大的权重，反之亦然。在WMT 19英语-德语机器人共享任务上的实验结果表明，我们提出的方法在人类相关性方面优于常用的MT指标。特别是，我们提出的方法表现良好，即使所有的MT系统都非常有竞争力，这是当大多数现有的指标无法区分它们。源代码可在https://github.com/NLP2CT/Difficulty-Aware-MT-Evaluation上免费获得。
2021-07-30 cs.AI cs.CL
Measuring User's Mental Models of Speech Translation in Human-AI Collaboration
University of Maryland, College Park（马里兰大学学院公园分校）
通过跨语言问答框架研究用户对语音翻译系统的心理模型，发现用户通过实践和源语言知识能更好地预测系统错误，且提供语音转录有助于改善心理模型。
2026-06-24 cs.CL cs.HC
You Are What You Train: Effects of Data Composition on Training Context-aware Machine Translation Models
Department of Advanced Computing Sciences（先进计算科学系）
本文通过构建受控比例的数据集验证了训练数据稀疏性是上下文感知机器翻译的关键瓶颈，并提出两种训练策略，在单语和多语设置的 ctxPro 评估中分别提升 6 和 8 个百分点。
2025-09-17 cs.AI cs.CL cs.LG
Prevent the Language Model from being Overconfident in Neural Machine Translation
Peking University（北京大学）；Tencent Inc（腾讯公司）
神经机器翻译（NMT）模型本质上是一个以源语句和部分翻译为条件的联合语言模型。因此，NMT模型自然涉及仅基于部分翻译来预测下一个标记的语言模型（LM）的机制。尽管NMT取得了成功，但它仍然存在幻觉问题，产生了流畅但不充分的翻译。其主要原因是，母语翻译在一定程度上过于注重译文的局部而忽视了原文，即对母语翻译的过度自信。因此，我们定义了NMT和LM之间的裕度，通过从每个令牌的NMT模型的预测概率中减去LM的预测概率来计算。边际与LM的过度自信程度负相关。基于该性质，我们提出了一个基于Margin-based令牌级目标（MTO）和基于Margin-based句子级目标（MSO），以最大化的边缘，防止LM过度自信。在WMT 14英-德、WMT 19中-英和WMT 14英-法翻译任务上的实验证明了我们方法的有效性，与Transformer基线相比，BLEU分别提高了1.36、1.50和0.63。人工评估进一步验证了我们的方法提高了翻译的充分性和流畅性。
2021-05-31 cs.AI cs.CL
Neural Machine Translation with Recurrent Attention Modeling
Carnegie Mellon University（卡内基梅隆大学）
在生成翻译的同时知道哪些词在先前的时间步骤中已经被注意到，这是预测未来将注意到哪些词的丰富信息来源。我们改进了Bahdanau et al.（2014）的注意力模型，通过使用每个输入单词的一个递归网络来明确地建模每个单词的先前和后续注意力水平之间的关系。这种架构很容易捕获信息特征，例如生育率和相对失真。在实验中，我们表明我们的参数化的注意力提高翻译质量。
2016-07-18 cs.CL cs.NE
What Do Compressed Multilingual Machine Translation Models Forget?
NAVER LABS Europe（NAVER欧洲实验室）；IDIAP Research Institute（IDIAP研究所）；EPFL（洛桑联邦理工学院）
本文研究了压缩技术对多语言神经机器翻译模型的影响，发现压缩虽对平均 BLEU 指标影响微小，却导致低资源语言性能显著下降，并放大了性别与语义偏见。
2023-06-27 cs.AI cs.CL cs.LG
Average Token Delay: A Latency Metric for Simultaneous Translation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
同声翻译是指在说话人说完话之前就开始翻译的任务。在其评估中，除了质量之外，我们还必须考虑翻译的延迟。等待时间优选地尽可能小，以便用户以小的延迟理解说话者所说的内容。现有的延迟度量集中在翻译何时开始，但没有充分考虑翻译何时结束。这意味着这样的指标不会惩罚由长翻译输出引起的延迟，这实际上会延迟用户的理解。在这项工作中，我们提出了一种新的延迟评估指标，称为平均令牌延迟（ATD），侧重于部分翻译的同步翻译的结束时间。我们通过模拟实例讨论了ATD的优点，并通过同声翻译实验研究了ATD和平均滞后的区别。
2023-02-09 cs.CL cs.SD
Quantifying Synthesis and Fusion and their Impact on Machine Translation
University of Edinburgh（爱丁堡大学）；New York University（纽约大学）；Aalborg University（奥尔堡大学）
形态类型学的理论工作提供了在连续尺度上测量形态多样性的可能性。然而，自然语言处理（NLP）的文献通常用严格的形态类型（例如融合或粘着）来标记整个语言。在这项工作中，我们建议减少刚性的索赔，通过量化形态类型学在词和段的水平。我们考虑Payne（2017）使用两个指标对形态进行分类的方法：合成（例如，分析到多合成）和融合（凝集到融合）。对于计算合成，我们测试无监督和监督形态分割方法的英语，德语和土耳其语，而融合，我们提出了一个半自动的方法，使用西班牙语作为案例研究。然后，我们分析了机器翻译质量与词（英语-土耳其语中的名词和动词，英语-西班牙语中的动词）和段水平（先前的语言对加上英语-德语两个方向）的合成和融合程度之间的关系。我们用人工评估来补充词级分析，总体而言，我们观察到这两个指标对机器翻译质量的影响是一致的。
2022-05-06 cs.AI cs.CL
Overcoming Catastrophic Forgetting beyond Continual Learning: Balanced Training for Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
神经网络在从动态数据分布中顺序学习多个任务时，往往会逐渐忘记先前学习的知识。这个问题被称为\textit{catastrophic forgetting}，这是神经网络的持续学习中的一个基本挑战。在这项工作中，我们观察到灾难性遗忘不仅发生在持续学习中，而且也影响了传统的静态训练。神经网络，特别是神经机器翻译模型，即使从静态训练集学习，也会遭受灾难性遗忘。具体来说，最终模型对训练样本的关注不平衡，最近暴露的样本比早期样本吸引更多的关注。其根本原因是训练样本在每次模型更新时都没有得到均衡的训练，因此我们将此问题命名为\textit{imbalanced training}。为了缓解这个问题，我们提出了补充在线知识蒸馏（COKD），它使用动态更新的教师模型训练特定的数据订单迭代提供补充知识的学生模型。多个机器翻译任务的实验结果表明，我们的方法成功地解决了不平衡的训练问题，并取得了实质性的改善强基线系统。
2022-03-18 cs.AI cs.CL
What Drives Cross-lingual Ranking? Retrieval Approaches with Multilingual Language Models
The Alan Turing Institute（艾伦·图灵研究所）；Queen Mary University of London（伦敦女王学院）；University College London（伦敦大学学院）
本文研究了跨语言检索中影响排序的因素，发现专门训练的密集检索模型和对比学习在低资源和跨脚本场景中表现更优，优于传统的翻译和单语言检索方法。
2025-11-24 cs.AI cs.CL cs.IR
What changes when you randomly choose BPE merge operations? Not much
Michtom School of Computer Science（米赫特姆计算机学院）；Brandeis University（布兰迪斯大学）
本研究提出三种BPE随机变体，探究随机化合并操作对形态丰富语言翻译任务的影响，发现两种变体性能与标准BPE相近，第三种降幅低于预期，揭示了BPE变体的研究价值。
2023-05-04 cs.AI cs.CL
Revisiting Machine Translation for Cross-lingual Classification
Reka AI（瑞卡人工智能）；Meta AI
本文重新审视跨语言分类中的机器翻译，表明通过使用更强的MT系统并缓解训练与推理文本不匹配，translate-test表现可大幅超越预期，最优方法高度依赖任务，挑战了多语言模型的主导地位。
2023-05-23 cs.AI cs.CL cs.LG
Paying More Attention to Source Context: Mitigating Unfaithful Translations from Large Language Model
Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）计算与智能学院）；Peng Cheng Laboratory, Shenzhen（鹏城实验室）
针对仅解码器 LLM 因偏向目标前缀而产生不忠实翻译的问题，本文从零样本提示的源/目标注意力调控与指令微调三方面增强源上下文关注，并在多语言测试中验证其可减少幻觉翻译。
2024-06-11 cs.AI cs.CL
An empirical analysis of phrase-based and neural machine translation
Universiteit van Amsterdam（阿姆斯特丹大学）；Tilburg University（蒂尔堡大学）；German Center for AI (DFKI)（德国人工智能研究中心）
两种流行的机器翻译（MT）类型是基于短语的和神经机器翻译系统。这两种类型的系统都由多个复杂的模型或层组成。这些模型和层中的每一个学习源语言的不同语言方面。然而，对于这些模型和层中的一些，尚不清楚哪些语言现象是学习的，或者这些信息是如何学习的。对于基于短语的机器翻译系统，通常很清楚每个模型学习了什么信息，问题是如何学习这些信息，特别是对于其短语重新排序模型。对于神经机器翻译系统，情况甚至更加复杂，因为在许多情况下，并不完全清楚学习了什么信息以及如何学习。为了阐明MT系统捕获的语言现象，我们分析了基于短语和神经MT系统中重要模型的行为。我们考虑短语的机器翻译系统的短语重新排序模型，以调查从一个短语内部的单词定义的短语重新排序行为的影响最大。此外，为了有助于神经MT系统的可解释性，我们研究了注意力模型的行为，注意力模型是神经MT系统的关键组成部分，也是基于短语的系统中最接近短语重排模型的模型。注意力模型与编码器隐藏状态表示一起形成神经MT中编码源侧语言信息的主要组件。为此，我们还分析了神经MT系统的编码器隐藏状态表示中捕获的信息。我们调查的程度，从源侧的语法和词汇语义信息被捕获的隐藏状态表示不同的神经MT架构。
2021-03-04 cs.AI cs.CL cs.LG
Cogs in a Machine, Doing What They're Meant to Do -- The AMI Submission to the WMT24 General Translation Task
The Árni Magnússon Institute for Icelandic Studies（冰岛研究阿尔尼·马格努森研究所）
本文介绍Árni Magnusson研究所提交至WMT24通用翻译任务的英冰翻译系统，通过多模型架构、数据筛选及LLM生成合成数据，显著提升了翻译质量。
2024-10-04 cs.CL
What does it take to get state of the art in simultaneous speech-to-speech translation?
toby（托比）
该研究针对同声语音翻译模型中幻觉引发的延迟尖峰问题，通过系统实验各类输入参数与条件提出优化方法，证实精细输入管理结合策略性参数调整可显著改善模型延迟表现。
2024-09-14 cs.CL
What Have We Achieved on Non-autoregressive Translation?
Westlake University（西湖大学）；Zhejiang University（浙江大学）
本文通过多维度含人工评估系统比较四种代表性 NAT 方法与 AT，发现 NAT 虽缩小差距但在可靠指标下仍落后，并指出显式依赖建模的关键作用。
2024-05-21 cs.CL
Explaining Translationese: why are Neural Classifiers Better and what do they Learn?
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Saarland University（萨尔兰大学）
最近的工作表明，神经特征和表示学习，例如BERT，实现了优于传统的基于人工特征工程的方法，例如SVM，在分类任务。以前的研究没有显示$(i)$的差异是因为特征，分类器或两者兼而有之，以及$(ii)$神经分类器实际上学习了什么。为了解决$(i)$，我们精心设计的实验，交换功能之间的BERT和SVM为基础的分类。我们表明，一个SVM美联储与BERT表示执行在最好的BERT分类器的水平，而BERT学习和使用手工制作的功能执行在一个SVM使用手工制作的功能。这表明性能差异是由于功能。为了解决$(ii)$，我们使用集成梯度，并发现$(a)$有迹象表明，手工制作的功能捕获的信息只是BERT学习的一个子集，而$(b)$部分BERT的最佳性能结果是由于BERT学习主题差异和虚假的相关性。
2022-10-24 cs.CL
Speech Translation with Speech Foundation Models and Large Language Models: What is There and What is Missing?
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
本文聚焦语音到文本翻译任务，通过分析相关论文提出SFMs与LLMs整合方案的统一视角，梳理经验教训并指出评估局限，为未来工作提供建议以明确该类方案的优劣势。
2024-11-29 cs.CL
What Does LLM Refinement Actually Improve? A Systematic Study on Document-Level Literary Translation
University of Amsterdam（阿姆斯特丹大学）；University of Cambridge（剑桥大学）；Amazon AGI（亚马逊人工智能研究院）
本文系统研究了文档级文学翻译中LLM精细化的效果，发现文档级MT后接段级精细化能带来稳定提升，而文档级精细化效果有限。通用精细化提示优于特定错误提示和评估后精细化策略。
2026-05-13 cs.CL
What do Large Language Models Need for Machine Translation Evaluation?
Centre for Translation Studies, University of Surrey（萨里大学翻译研究中心）；Institute for People-Centred AI, University of Surrey（萨里大学以人为本人工智能研究所）；Lancaster University（兰卡斯特大学）；Tilburg University（蒂尔堡大学）
本研究探究大型语言模型用于机器翻译评估所需的信息与提示技术，发现参考译文至关重要，大模型更受益于思维链提示，同时指出其评估可靠性存疑，并公开相关资源以支持复现。
2024-10-09 cs.CL
Pay Attention to What Matters
Huawei Technologies（华为技术有限公司）；École Polytechnique（巴黎综合理工学院）；Yale University（耶鲁大学）
本文提出GUIDE方法，通过提高指令token的注意力分数来增强LLM的指令遵循能力，并引入Influence度量分析指令传播，实验显示准确率提升29.4%至60.4%，优于自然提示和监督微调。
2024-09-19 cs.AI cs.CL
What Triggers my Model? Contrastive Explanations Inform Gender Choices by Translation Models
Language and Translation Technology Team, Ghent University（根特大学语言与翻译技术团队）
研究通过对比翻译分析，揭示了翻译模型中性别选择的触发因素，并展示如何通过理解模型决策来减轻性别偏见。
2026-03-04 cs.CL
Towards Style Alignment in Cross-Cultural Translation
University of Pennsylvania（宾夕法尼亚大学）
本文提出RASTA方法，通过检索增强的风格概念引导LLM在跨文化翻译中避免风格中性化，改善非西方语言的风格对齐。
2025-06-30 cs.CL
