Neural Machine Translation Leveraging Phrase-based Models in a Hybrid Search
eBay Inc.（eBay公司）
在本文中，我们介绍了一种混合搜索的注意力为基础的神经机器翻译（NMT）。当NMT模型的注意力集中在由该短语翻译的源词上时，利用统计MT模型学习的目标短语扩展了NMT束搜索中的假设。以这种方式添加的短语使用NMT模型进行评分，但也使用SMT特征，包括短语级翻译概率和目标语言模型。对德语->英语新闻领域和英语->俄语电子商务领域翻译任务的实验结果表明，与强大的NMT基线相比，在NMT搜索中使用基于短语的模型将MT质量提高了2.3% BLEU绝对值。
2017-08-10 cs.CL
Data Troubles in Sentence Level Confidence Estimation for Machine Translation
Google, Inc.（谷歌公司）；Carnegie Mellon（卡内基梅隆大学）
本文研究了神经机器翻译模型在性能谱的高端的上进行置信度估计的可行性。作为构建此类模型所需的数据注释过程的副产品，我们提出句子级准确性$SACC$作为翻译质量的简单、自解释的评估指标。在两个不同的注释器池上进行实验，其中一个由非专家注释器组成，（众包）和专家之一（专业）翻译人员表明，$SACC$可以根据注释者的翻译熟练程度而变化很大，尽管根据Krippendorff的alpha度量，两个池的可靠性大致相同;注释者间一致性的相对较低的值证实了这样的预期，即用于上下文外翻译的重复级二进制标记$good$ / $needs\ work$非常困难。对于根据非专家注释者池在$SACC = 0.89$上操作的英语-西班牙语翻译模型，我们可以导出置信度估计，其在具有0.95精度的“域内”测试集中标记0.5-0.6的$good$翻译。切换到专家注释器池会显著减少$SACC$：英语-西班牙语的$0.61$，使用与上面完全相同的数据进行测量。这迫使我们将CE模型操作点降低到0.9精度，同时正确标记数据中约0.20-0.25的$good$翻译。我们发现令人惊讶的程度CE依赖于用于标记数据的注释者池的熟练程度。这就引出了我们希望在实践中处理CE建模时提出的一个重要建议：将最终用户对所需领域中翻译质量的期望与注释者为CE训练数据分配二进制质量标签的需求相匹配至关重要。
2020-10-26 cs.CL cs.LG
Hybrid Data-Model Parallel Training for Sequence-to-Sequence Recurrent Neural Network Machine Translation
National Institute of Information and Communications Technology（信息通信研究机构）
减少训练时间是许多任务中的一个重要问题，例如涉及神经网络的专利翻译。数据并行和模型并行是在一台机器上使用多个图形处理单元（GPU）来减少训练时间的两种常见方法。本文提出了一种用于序列到序列（Seq 2Seq）循环神经网络（RNN）机器翻译的混合数据模型并行方法。我们将模型并行方法应用于Seq 2Seq模型的RNN编码器-解码器部分，并将数据并行方法应用于模型的attention-softmax部分。与使用1个GPU时的训练速度相比，使用4个GPU时，我们实现了4.13到4.20倍的速度提升，而不会影响机器翻译的准确性（以BLEU分数衡量）。
2019-09-09 cs.CL cs.DC cs.LG
Just Use XML: Revisiting Joint Translation and Label Projection
Language Technology Group（语言技术组）；University of Hamburg（汉堡大学）
本文提出LabelPigeon框架，通过XML标签联合执行翻译与标签投影，实验证明在11种语言中提升翻译质量，跨203种语言和不同标注复杂度下均取得显著改进，NER任务中达到+40.2 F1的提升。
2026-04-15 cs.AI cs.CL
Focus on the Target's Vocabulary: Masked Label Smoothing for Machine Translation
Peking University（北京大学）
标签平滑和词汇共享是神经机器翻译模型中广泛使用的两种技术。然而，我们认为，简单地应用这两种技术可能是冲突的，甚至导致次优性能。在分配平滑概率时，原始标签平滑会将源端词中不可能出现在目标语言中的词与目标语言中的词等同对待，这会使翻译模型产生偏差。为了解决这个问题，我们提出了屏蔽标签平滑（MLS），一个新的机制，掩盖了软标签的源端字的概率为零。简单而有效，MLS设法更好地集成标签平滑与词汇共享。我们广泛的实验表明，MLS在不同的数据集上，包括双语和多语种翻译，无论是翻译质量还是模型的校准，都比原始标签平滑得到了持续的改进。我们的代码发布于https://github.com/PKUnlp-icler/MLS
2022-03-11 cs.AI cs.CL
A Hybrid Model for Enhancing Lexical Statistical Machine Translation (SMT)
Sadat Academy for Management Sciences（萨达特管理科学院）
统计机器翻译系统的兴趣增加，目前由于在世界上的政治和社会事件。提出了一种基于统计机器翻译（SMT）的模型，该模型可以用于通过有效地结合不同的统计和自然语言处理（NLP）模型（诸如语言模型、对齐模型、基于短语的模型、重排序模型和翻译模型）来自动地将句子从源语言（英语）翻译成目标语言（阿拉伯语）。这些模型相结合，以提高统计机器翻译（SMT）的性能。在这项工作中使用了许多实现工具，如Moses，Gizaa++，IRSTLM，KenLM和BLEU。通过对该模型的实现和评价，以及与Google Translate等其他机器翻译系统的比较，证明了该模型增强了统计机器翻译的效果，是该领域一种可靠、高效的翻译模型。
2015-06-03 cs.CL
CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual Labeled Sequence Translation
Microsoft Research Asia（微软亚洲研究院）；The University of Hong Kong（香港大学）；Beihang University（北京航空航天大学）
命名实体识别（NER）面临着标注训练数据缺乏的问题，特别是对于没有标注数据的低资源语言。跨语言NER已经被提出来通过经由对齐的跨语言表示或机器翻译结果将知识从高资源语言转移到低资源语言来缓解这个问题。然而，跨语言NER方法的性能受到翻译或标签投影质量不理想的严重影响。为了解决这些问题，我们提出了一个跨语言实体投影框架（CROP），使zero-shot跨语言NER的帮助下，多语言标记序列翻译模型。具体地，目标序列首先被翻译成源语言，然后由源NER模型标记。我们进一步采用标记序列翻译模型，将标记序列映射回目标语言，并标记目标原始句子。最终，整个管道通过自我训练的方式集成到端到端模型中。两个基准测试的实验结果表明，我们的方法大大优于以前的强基线+3 7 F1分数的大幅度，并实现了最先进的性能。
2022-10-13 cs.CL
Hybrid Self-Attention Network for Machine Translation
Nanjing University of Science and Technology（南京理工大学）；Microsoft Research（微软研究院）；Shanxi University（山西大学）
编码器-解码器是神经机器翻译（NMT）的典型框架，为了提高翻译性能，人们开发了不同的结构。Transformer是最有前途的结构之一，它可以利用自我注意力机制从全局角度捕捉语义依赖。但是，它不能很好地区分不同标记的相对位置，例如位于当前标记左侧或右侧的标记，并且也不能关注当前标记周围的局部信息。为了解决这些问题，本文提出了一种新的注意力机制--混合自注意力网络（HySAN），该机制采用特定的自注意力网络模板，提取全局/局部信息、左/右部分上下文等多种语义信息。最后，通过引入挤压门，将不同类型的SAN组合在一起进行融合。三个机器翻译任务的实验结果表明，我们提出的框架优于Transformer基线显着，并取得了优于国家的最先进的NMT系统的结果。
2018-12-10 cs.CL
Comparison of SMT and RBMT; The Requirement of Hybridization for Marathi-Hindi MT
IIT Bombay（印度理工学院孟买分校）
我们在本文中提出了我们的工作之间的统计机器翻译（SMT）和基于规则的机器翻译从马拉地语到印地语的翻译比较。基于规则的系统虽然健壮，但需要大量的时间来构建。另一方面，统计机器翻译系统更容易创建、维护和改进。我们描述了一个基本的马拉地印地语SMT系统的发展，并评估其性能。通过详细的误差分析，指出了两种系统的优缺点。实际上，我们将看到，即使使用少量的训练语料库，统计机器翻译系统对于高质量的领域特定机器翻译也比基于规则的对应物具有许多优点。
2017-03-10 cs.CL
Intelligent Hybrid Man-Machine Translation Quality Estimation
Alexandria University（亚历山大大学）；Microsoft Research（微软研究院）
与使用不适合实时应用（例如，后期编辑）的当前评估度量相比，基于人类判断推断评估分数是非常宝贵的。然而，与基于对比源文本和翻译文本的指标的评估相比，这些判断的收集成本要高得多，特别是从专家翻译人员那里收集。这项工作介绍了一种新的方法，质量估计相结合的概率推理模型的基础上人类的判断，选择性的语言特征为基础的分数，其中建议的推理模型推断的可信度，以解决人类判断的稀缺性和不一致的问题。实验结果，使用具有挑战性的语言对，表现出改善与人类的判断，传统的评价指标。
2013-07-07 cs.CL
Hybrid-Regressive Neural Machine Translation
Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（威特沃特斯兰德大学）
在这项工作中，我们凭经验证实，非自回归翻译与迭代细化机制（IR-NAT）的加速鲁棒性差，因为它是解码批量大小和计算设备设置比自回归翻译（AT）更敏感。受此启发，我们试图探讨如何更好地结合自回归和非自回归翻译范式的优势。为此，我们证明，通过合成实验，促使少量的AT的预测可以促进一次性的非自回归翻译，以实现相当于IR-NAT的性能。按照这条线，我们提出了一个新的两阶段的翻译原型称为混合回归翻译（HRT）。具体地，HRT首先经由自回归（例如，每k个令牌进行预测，k>1），然后以非自回归方式一次填充所有先前跳过的令牌。我们还提出了一个技术包，有效地和高效地训练HRT，而不添加任何模型参数。HRT在WMT En-De任务上达到了最先进的BLEU分数28.49，并且无论批量大小和设备如何，都比AT快至少1.5倍。此外，HRT的另一个好处是，它成功地继承了AT在深编码器浅解码器架构中的良好特性。具体地说，与具有6层编码器和6层解码器的普通HRT相比，具有12层编码器和1层解码器的HRT的推理速度在GPU和CPU上进一步加倍，而没有BLEU损失。
2022-10-19 cs.CL
Label-Free Multi-Domain Machine Translation with Stage-wise Training
Communication University of China（中国传媒大学）；Samsung Research China - Beijing (SRC-B)（三星中国研究院-北京）
提出无标签多领域机器翻译模型，通过分阶段训练和Gumbel-Max路由，在德英翻译六个领域上超越多数有监督模型。
2023-05-06 cs.CL
Pseudo-Label Training and Model Inertia in Neural Machine Translation
AWS AI Labs（AWS人工智能实验室）
本文研究了神经机器翻译中的伪标签训练（PLT），发现PLT不仅能提升翻译质量，还能增强模型对更新和输入扰动的稳定性（即模型惯性），其机制在于分布简化。
2023-05-19 cs.CL
Modeling Source Syntax for Neural Machine Translation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Soochow University（苏州大学）；Tencent AI Lab（腾讯AI实验室）
尽管神经机器翻译（NMT）中的无语言学的序列到序列模型具有一定的隐式学习源句子的句法信息的能力，但本文表明源句法可以显式地并入NMT以有效地提供进一步的改进。具体来说，我们线性化源句子的分析树，以获得结构化的标签序列。在此基础上，我们提出了三种不同类型的编码器来将源语法纳入NMT：1）并行RNN编码器，学习单词和标签注释向量; 2）分层RNN编码器，在两级层次结构中学习单词和标签注释向量;以及3）混合RNN编码器，在单词和标签混合的序列上重复学习单词和标签注释向量。实验结果表明，本文提出的三种句法编码器都能有效地提高汉英翻译的准确率。值得注意的是，最简单的RNN编码器，即，混合RNN编码器产生最佳性能，显著提高了1.4个BLEU点。此外，从几个角度进行了深入的分析，以揭示源语法的好处NMT。
2017-05-02 cs.CL
The Devil Is in the Word Alignment Details: On Translation-Based Cross-Lingual Transfer for Token Classification Tasks
University of Würzburg Center for Artificial Intelligence and Data Science (CAIDAS)（乌尔姆大学人工智能与数据科学中心）
本文系统研究了词对齐器在基于翻译的跨语言迁移标签投影中的底层设计决策，发现优化算法、过滤和预分词可使其媲美基于标记的方法，并提出集成translate-train和translate-test预测的新策略，显著提升性能与鲁棒性。
2025-08-08 cs.CL
Statistical and Neural Methods for Cross-lingual Entity Label Mapping in Knowledge Graphs
King’s College London（伦敦国王学院）；Tilde（蒂尔德公司）
维基数据等知识库积累了大量的命名实体信息，如多语言标签，这对各种多语言和跨语言应用程序非常有用。然而，从信息一致性的角度来看，这样的标签不能保证跨语言匹配，这大大损害了它们在机器翻译等领域的有用性。在这项工作中，我们研究了应用单词和句子对齐技术，再加上匹配算法，以对齐跨语言的实体标签从维基数据中提取的10种语言。我们的研究结果表明，维基数据的主要标签之间的映射将大大提高（F1分数的$20$点）的任何方法。我们展示了依赖于句子嵌入的方法如何优于所有其他方法，即使是在不同的脚本中。我们相信，应用这些技术来衡量标签对的相似性，再加上一个知识库丰富的高质量的实体标签，是一个很好的资产，机器翻译。
2022-06-17 cs.CL cs.LG
Word, Subword or Character? An Empirical Study of Granularity in Chinese-English NMT
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
神经机器翻译（NMT）是一种新的机器翻译方法，它在多种语言对上的翻译性能优于传统的统计机器翻译（SMT）。翻译是一个开放词汇的问题，但现有的NMT系统大多使用固定词汇，这导致了对稀有词汇的翻译能力不足。这个问题可以通过使用不同的翻译粒度，如字符，子字和混合字字符来缓解。中文翻译是机器翻译中最困难的任务之一，然而，据我们所知，目前还没有任何其他的工作探索哪种翻译粒度最适合于中文翻译。本文以汉英非母语翻译为例进行了广泛的对比研究。此外，我们详细讨论了各种翻译粒度的优点和缺点。实验结果表明，在词汇量不大的情况下，子词模型的翻译效果最好，而词字混合模型的翻译效果最好。不同粒度的实验结果表明，Hybrid_BPE方法在汉英翻译任务中取得了最佳的效果。
2017-11-13 cs.CL
The Implicit Length Bias of Label Smoothing on Beam Search Decoding
Google Research（谷歌研究院）
标签平滑广泛应用于神经机器翻译（NMT）训练。虽然标签平滑在模型训练期间提供了期望的正则化效果，但在本文中，我们证明了它在束搜索解码过程中引入了长度偏差。我们的分析表明，标签平滑隐式地将长度惩罚项应用于输出序列，导致偏向于较短的翻译。我们还表明，对于一个完全优化的模型与标签平滑，翻译长度是隐含的上限由一个固定的常数独立于输入。我们验证了我们的理论，在推理时应用一个简单的整流功能，以恢复无偏分布的标签平滑模型预测。这种校正方法使WMT英语-德语、英语-法语、英语-捷克语和英语-中文任务的质量得到了一致的改善，在光束尺寸4时达到了+0.3 BLEU，在光束尺寸200时达到了+2.8 BLEU。
2022-05-02 cs.CL
Contextual Label Projection for Cross-Lingual Structured Prediction
University of California, Los Angeles（加州大学洛杉矶分校）；University of Southern California（南加州大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对现有跨语言标签投影方法准确率不足的问题，提出以译文为上下文的CLaP标签投影方法，借助多语言指令微调模型实现，在39种语言的两项结构化预测任务上取得显著F1提升，且在极低资源语言中具备应用潜力。
2024-04-14 cs.CL
Additive Interventions Yield Robust Multi-Domain Machine Translation Models
University of Maryland（马里兰大学）；Microsoft（微软）
加法干预是最近提出的一种用于控制神经机器翻译中目标侧属性的机制。与操纵原始源序列的基于标签的方法相比，干预通过直接调制序列中所有令牌的编码器表示来工作。我们研究了添加剂干预在大规模多域机器翻译环境中的作用，并比较了其在各种推理场景中的性能。我们发现，虽然基于干预的系统和基于标签的系统之间的性能差异很小，当域标签匹配的测试域，基于干预的系统是强大的标签错误，标签不确定性下，使他们成为一个有吸引力的选择。此外，我们发现，单域微调的优越性受到质疑时，训练数据的大小进行缩放，与以前的研究结果相矛盾。
2022-10-23 cs.CL
Jam or Cream First? Modeling Ambiguity in Neural Machine Translation with SCONES
Google Research（谷歌研究院）
神经机器翻译中的softmax层旨在对互斥令牌的分布进行建模。然而，机器翻译本质上是不确定的：同一个源语句可以有多个语义等价的翻译。因此，我们建议用多标签分类层代替softmax激活，这样可以更有效地对模糊性进行建模。我们称我们的损失函数为非排他性序列的单标签对比目标（SCONES）。我们表明，多标签输出层仍然可以使用SCONES损失函数在单个参考训练数据上进行训练。SCONES在六个翻译方向上产生一致的BLEU分数增益，特别是对于中等资源语言对和小波束大小。通过使用更小的光束尺寸，我们可以将推理速度提高3.9倍，并且仍然匹配或提高使用softmax获得的BLEU分数。此外，我们证明了SCONES可以用于训练NMT模型，该模型将最高概率分配给适当的翻译，从而减轻“束搜索诅咒”。对具有不同不确定性水平的合成语言对的额外实验表明，SCONES的改进可以归因于更好地处理歧义。
2022-05-02 cs.CL
Scalable Cross Lingual Pivots to Model Pronoun Gender for Translation
Google Research（谷歌研究院）
文档理解不足的机器翻译系统在将省略的或中性的代词翻译成具有性别代词的语言（例如，英文）。预测这些代词的潜在性别是困难的，因为它不是文本标记，而是必须从上下文中的共指提及推断。我们提出了一种新的跨语言旋转技术，用于自动生成高质量的性别标签，并表明这些数据可用于微调BERT分类器，对于西班牙语脱落的女性代词具有92%的F1，相比之下，神经机器翻译模型为30-51%，非微调BERT模型为54-71%。我们使用分类器中的标签来增强神经机器翻译模型，以改善代词翻译，同时仍然具有可并行化的翻译模型，每次翻译一个句子。
2020-06-16 cs.CL
Pronoun-Targeted Fine-tuning for NMT with Hybrid Losses
Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（Salesforce亚洲研究院）
流行的神经机器翻译模型训练使用反向翻译等策略来提高BLEU分数，这需要大量的额外数据和训练。我们引入了一类条件生成-判别混合损失，我们使用它来微调训练好的机器翻译模型。通过结合有针对性的微调目标和直观的重用训练数据的模型未能充分学习，我们提高了模型的性能，一个层次和上下文模型，而不使用任何额外的数据。我们的目标是通过微调来改进代词翻译，并在代词基准测试集上评估我们的模型。我们的上下文级别模型在WMT 14和IWSLT 13 De-En测试集上都显示出0.5 BLEU的改进，而我们的上下文模型则取得了最佳结果，在WMT 14 De-En测试集上从31.81 BLEU提高到32 BLEU，在IWSLT 13 De-En测试集上从32.10提高到33.13 BLEU，代词翻译也有相应的改进。我们进一步显示了我们的方法的普遍性，通过复制两个额外的语言对，Fr-En和CS-En的改进。代码可在<https://github.com/ntunlp/pronoun-finetuning>获得。
2020-10-15 cs.CL
Quality Estimation without Human-labeled Data
University of California Santa Barbara（加州大学圣巴巴拉分校）；Facebook AI（脸书人工智能）；Imperial College London（帝国理工学院）
质量评估的目的是在没有参考译文的情况下衡量翻译内容的质量。这对于需要高质量翻译的现实场景中的机器翻译系统至关重要。虽然存在许多用于质量估计的方法，但它们基于需要昂贵的人工标记数据的监督机器学习。作为一种替代方案，我们提出了一种技术，不依赖于人类注释的例子，而是使用合成的训练数据。我们在合成数据上训练了用于监督质量估计的现成架构，并表明所产生的模型在句子和单词级预测方面都实现了与在人类注释数据上训练的模型相当的性能。
2021-02-08 cs.CL
A Novel Approach to Dropped Pronoun Translation
Dublin City University（都柏林城市大学）；Huawei Technologies（华为技术有限公司）
代词脱落是机器翻译中的一个难题，代词脱落是指代词在源语言中经常脱落，而在目标语言中却应该保留。针对这一问题，我们提出了一种半监督的方法来回忆翻译中可能缺失的代词。首先，我们建立训练数据的DP生成的DP自动标记根据对齐信息从一个平行的语料库。其次，当不存在对应的参考时，我们为解码中的输入句子构建基于深度学习的DP生成器。更具体地说，生成是两个阶段：（1）DP位置检测，这是建模为一个连续的标签任务与循环神经网络;和（2）DP预测，它采用了多层感知器与丰富的功能。最后，我们将上述输出集成到我们的翻译系统中，通过从DP标记的训练数据中提取规则和翻译DP生成的输入句子来召回缺失的代词。实验结果表明，我们的方法取得了显着的改善1.58 BLEU点的翻译性能与66%的DP生成准确性的F-分数。
2016-04-21 cs.CL
Multi-Task Deep Learning for Legal Document Translation, Summarization and Multi-Label Classification
法律领域的数字化已经持续了几年。在这个过程中，不同机器学习（ML）技术的应用至关重要。诸如法律文件或合同条款的分类以及这些文件的翻译等任务具有高度相关性。另一方面，这一领域的数字化文件几乎无法获得，特别是在德国。当今，深度学习（DL）是一个热门话题，有许多出版物和各种应用。有时它提供的结果超过了人类的水平。因此，这种技术在法律领域也是可行的。然而，DL需要数千个样本才能提供像样的结果。这个问题的一个潜在解决方案是多任务DL，以实现迁移学习。这一办法或许能够克服法律领域的数据稀缺问题，特别是德语方面的数据稀缺问题。我们将最先进的多任务模型应用于三个任务：翻译，摘要和多标签分类。实验是在法律文档语料库上进行的，使用了几种任务组合以及各种模型参数。目标是为法律领域内的现有任务找到最佳配置。多任务DL方法在所有三项任务中的性能均优于最新技术水平。这为在法律领域更有效地整合DL技术开辟了新的方向。
2018-10-16 cs.CL cs.IR cs.LG
Machine Translation Model based on Non-parallel Corpus and Semi-supervised Transductive Learning
虽然平行语料库在机器翻译中有着不可替代的作用，但其规模和覆盖面仍超出实际需要。网络上的非平行语料资源在机器翻译和其他自然语言处理任务中具有不可估量的潜在价值。本文提出了一种半监督直推学习方法，用于统计机器翻译系统中训练语料的扩充，即从非平行语料中抽取平行句子。该方法只需要少量的标注语料和大量的未标注语料就可以构造出高性能的分类器，特别是在标注语料不足的情况下。实验结果表明，将非平行语料对齐和半监督直导学习方法相结合，可以更有效地利用各自的优势来提高机器翻译系统的性能。
2014-05-22 cs.CL
Alleviating Distribution Shift in Synthetic Data for Machine Translation Quality Estimation
National Key Laboratory for Novel Software Technology, Nanjing University, Nanjing, China（南京大学新型软件技术国家重点实验室）；Huawei Translation Services Center, Beijing, China（华为翻译服务中心）
提出DCSQE框架，通过约束束搜索、多样生成模型及参考引导标注缓解合成QE数据分布偏移，在监督和无监督设置下超越SOTA基线。
2025-06-18 cs.CL
Unsupervised Word-level Quality Estimation for Machine Translation Through the Lens of Annotators (Dis)agreement
CLCG, University of Groningen（格罗宁根大学认知语言学与认知科学研究中心）；ETH Zurich（苏黎世联邦理工学院）
针对机器翻译词级质量估计（WQE）现有技术成本高的问题，本研究提出利用语言模型可解释性与不确定性量化的无监督替代方案，经多标签评估发现其未开发潜力，同时揭示了监督方法在标签不确定性下的不足及单一标注者评估的脆弱性。
2025-05-29 cs.AI cs.CL cs.HC
Self-Guided Curriculum Learning for Neural Machine Translation
Nagoya University（名古屋大学）；The University of Sydney（悉尼大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Carnegie Mellon University（卡内基梅隆大学）
在机器学习领域，假设经过良好训练的模型能够恢复训练标签，即模型预测的合成标签应该尽可能接近地面真实标签。受此启发，我们提出了一个自我指导的课程策略，以鼓励神经机器翻译（NMT）模型的学习遵循上述恢复标准，其中我们投每个训练样本的恢复程度作为其学习难度。具体来说，我们采用句子级别的BLEU分数作为恢复程度的代理。与现有的课程依赖于语言先验知识或第三方语言模型不同，我们选择的学习难度更适合衡量NMT模型的知识掌握程度。在WMT 14 English $\Rightarrow$ German和WMT 17 Chinese $\Rightarrow$ English两个翻译基准测试上的实验表明，该方法可以在强基线Transformer上持续提高翻译性能。
2021-08-27 cs.AI cs.CL
Accelerating Transformer Decoding via a Hybrid of Self-attention and Recurrent Neural Network
Nankai University（南开大学）；Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）
由于高度并行化的架构，Transformer比基于RNN的模型更快地进行训练，并广泛用于机器翻译任务。然而，在推理时，每个输出单词需要先前生成的单词的所有隐藏状态，这限制了并行化能力，并且使其比基于RNN的算法慢得多。在本文中，我们系统地分析了Transformer和基于RNN的模型的不同组件的时间成本。在此基础上，我们提出了一种自注意和RNN结构的混合网络，其中，高度并行的自注意被用作编码器，简单的RNN结构被用作解码器。我们的混合网络解码速度比Transformer快4倍。此外，在知识蒸馏的帮助下，我们的混合网络实现了与原始Transformer相当的翻译质量。
2019-09-05 cs.CL
HydraQE: OSU's Submission for the IWSLT 2026 Speech Translation Metrics Shared Task
The Ohio State University（俄亥俄州立大学）
提出 HydraQE，一个基于 Qwen3-ASR 的端到端无参考语音翻译质量估计系统，通过可学习的稀疏标量混合和轻量双向 Transformer 实现跨模态交互，并在人类标注、MetricX-24 和 xCOMET 伪标签上训练三个预测头，优于级联文本基线。
2026-06-07 cs.CL
On the Inference Calibration of Neural Machine Translation
Tencent AI Lab（腾讯人工智能实验室）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）；Beijing Advanced Innovation Center for Language Resources（北京语言资源高精尖创新中心）；Tsinghua University（清华大学）
置信度校准旨在使模型预测等于真实正确性度量，对于神经机器翻译（NMT）非常重要，因为它能够在生成的输出中提供有用的翻译错误指标。虽然先前的研究表明，使用标签平滑训练的NMT模型在地面实况训练数据上得到了很好的校准，但我们发现，由于训练和推理之间的差异，在推理过程中，NMT仍然面临着严重的校准挑战。通过精心设计三种语言对的实验，我们的工作提供了校准和翻译性能之间的相关性以及误校准的语言特性的深入分析，并报告了一些有趣的发现，这些发现可能有助于人类更好地分析，理解和改进NMT模型。基于这些观察，我们进一步提出了一种新的分级标签平滑方法，可以提高推理校准和翻译性能。
2020-05-03 cs.CL
Unsupervised Identification of Translationese
University of Haifa（海法大学）
翻译文本与原始文本有着明显的不同，以至于监督文本分类方法可以高精度地区分它们。这些差异被证明是有用的统计机器翻译。然而，有人建议，翻译检测的准确性恶化时，分类器进行评估的领域之外，它是训练。我们表明，这确实是这样的，在各种评估方案。然后，我们表明，无监督分类是高度准确的这项任务。我们提出了一种方法来确定聚类结果的正确标签，然后使用标签进行投票，进一步提高准确性。此外，我们提出了一个简单的方法，在具有挑战性的情况下，混合域数据集的聚类，尽管领域相关的功能的优势，在相关的。其结果是一种有效的，完全无监督的方法，用于区分原始文本和翻译文本，可以以合理的准确度应用于新的领域。
2016-09-11 cs.CL
Why Neural Machine Translation Prefers Empty Outputs
DiDi Labs（滴滴实验室）；UC Santa Barbara（加州大学圣巴巴拉分校）
我们研究为什么神经机器翻译（NMT）系统分配高概率空翻译。我们发现两种解释。首先，标签平滑使正确长度的翻译不那么自信，使空翻译更容易最终超过它们。其次，NMT系统使用相同的高频EoS词来结束所有目标句子，而不管长度如何。这将创建一个隐式平滑，以增加零长度平移。在不同长度的目标句子中使用不同的EoS类型暴露并消除了这种隐含的平滑。
2020-12-24 cs.CL
TransAlign: Machine Translation Encoders are Strong Word Aligners, Too
University of Würzburg Center for Artificial Intelligence and Data Science (CAIDAS)（乌尔姆大学人工智能与数据科学中心（CAIDAS））
提出TransAlign，利用多语言机器翻译模型编码器进行词对齐，在跨语言迁移的词元分类任务中大幅优于现有词对齐器及非词对齐标签投影方法。
2025-10-31 cs.CL
Original or Translated? On the Use of Parallel Data for Translation Quality Estimation
Nanjing University（南京大学）；JD Explore Academy（京东探索研究院）；University of Amsterdam（阿姆斯特丹大学）
机器翻译质量评估（QE）是在没有人类书面参考的情况下评估翻译输出的任务。由于缺乏人工标注的QE数据，以前的工作试图利用丰富的未标注的并行语料库产生额外的训练数据与伪标签。在本文中，我们展示了并行数据和真实QE数据之间的一个显著差距：对于QE数据，严格保证源端是原始文本，目标端是翻译的（即翻译）。然而，对于并行数据，它是不加区别的，可能发生在源端或目标端。我们比较了不同翻译方向的并行数据在QE数据增强中的影响，发现使用并行语料库的源原始部分始终优于其目标原始部分。此外，由于WMT语料库缺乏方向信息的每一个平行的句子，我们训练一个分类器来区分源和目标的原始双语文本，并进行了分析，他们在风格和领域的差异。总之，这些研究结果表明，使用源原始并行数据的QE数据增强，这带来了高达4.0%和6.4%的相对改善相比，句子和单词水平的QE任务的未分化的数据分别。
2022-12-20 cs.CL
A Multi-task Learning Framework for Evaluating Machine Translation of Emotion-loaded User-generated Content
Centre for Translation Studies（翻译研究中心）；Institute for People-Centred AI（以人为本人工智能研究所）；University of Surrey（萨里大学）
针对现有机器翻译指标难以适配带情感的用户生成内容翻译评估的问题，研究构建了多任务数据集，提出带新型组合损失的多任务学习架构，取得了最优性能并给出全面分析。
2024-10-04 cs.CL
T-Modules: Translation Modules for Zero-Shot Cross-Modal Machine Translation
Meta AI；Inria（法国国家信息与自动化研究所）
我们提出了一种新的方法来执行语音和文本之间的zero-shot跨模态转换的翻译任务。多语言语音和文本被编码在一个联合的固定大小的表示空间。然后，我们比较了解码这些多模式和多语言固定大小表示的不同方法，从而实现语言和模式之间的零镜头翻译（zero-shot translation）。我们所有的模型都是在不需要跨模态标记翻译数据的情况下进行训练的。尽管是固定大小的表示，我们在几个文本和语音翻译任务上取得了非常有竞争力的结果。特别是，我们显著提高了Must-C上zero-shot语音翻译的最新水平。在我们的框架中实现语音解码器，我们介绍了zero-shot直接语音到语音和文本到语音翻译的第一个结果。
2022-11-10 cs.CL
SynCED-EnDe 2025: A Synthetic and Curated English - German Dataset for Critical Error Detection in Machine Translation
Rheinische Friedrich-Wilhelms-Universität Bonn（莱茵-威斯伐尔大学波恩分校）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉玛尔人工智能与机器学习研究所）；Fraunhofer IAIS（弗劳恩霍夫人工智能研究所）
SynCED-EnDe是一个平衡标注的英德关键错误检测数据集，含9000个句子对，通过细粒度辅助判断和丰富标注显著提升检测性能，助力机器翻译安全部署。
2025-10-01 cs.AI cs.CL
CTC-GMM: CTC guided modality matching for fast and accurate streaming speech translation
Microsoft（微软公司）
针对流式语音翻译标注数据成本高的问题，提出CTC-GMM方法，利用CTC压缩语音序列匹配文本序列，借助MT文本数据优化模型，在FLEURS、CoVoST2上提升准确率并加快GPU解码速度。
2024-10-07 cs.AI cs.CL eess.AS
Correcting Length Bias in Neural Machine Translation
University of Notre Dame（圣母大学）
本文研究了神经机器翻译中的两个问题。首先，在束搜索中，尽管更宽的束原则上应该有助于平移，但它通常会损害NMT。第二，NMT有一种倾向，即产生太短的翻译。在这里，我们认为，这些问题是密切相关的，都植根于标签偏见。我们表明，纠正简洁性问题几乎消除了波束问题;我们比较了一些常用的方法，发现一个简单的每个单词的奖励效果很好;我们介绍了一个简单而快速的方法来调整这个奖励使用感知器算法。
2018-08-31 cs.CL
Improving Cross-Lingual Transfer Learning for End-to-End Speech Recognition with Speech Translation
Facebook AI（脸书人工智能）
已知从高资源语言的迁移学习是改善低资源语言的端到端自动语音识别（ASR）的有效方式。然而，预训练或联合训练的编码器-解码器模型不共享相同语言的语言建模（解码器），这对于远距离目标语言可能是低效的。我们引入语音到文本翻译（ST）作为一项辅助任务，以纳入目标语言的额外知识，并实现从目标语言的转换。具体来说，我们首先将高资源的ASR成绩单翻译成目标低资源语言，然后训练ST模型。ST和目标ASR共享相同的基于注意力的编码器-解码器架构和词汇表。然后，前一个任务为后一个任务提供了一个完全预训练的模型，将字错误率（WER）降低到基线（从高资源ASR直接传输）的24.6%。我们表明，培训ST与人类翻译是没有必要的。使用机器翻译（MT）伪标签训练的ST带来了一致的收益。它甚至可以通过仅利用500 K MT示例来传输到目标ASR时优于使用人类标签的那些。即使使用来自低资源MT（200 K示例）的伪标签，ST增强的转移也使直接转移的WER降低了8.9%。
2020-10-09 cs.CL cs.SD eess.AS
Is Human Annotation Necessary? Iterative MBR Distillation for Error Span Detection in Machine Translation
Institute of Science Tokyo（东京科学研究所）；National Institute of Information and Communications Technology（信息与通信技术国家研究所）
提出一种基于最小贝叶斯风险解码的迭代MBR蒸馏自演化框架，利用现成大语言模型生成伪标签，无需人工标注即可在错误跨度检测任务上超越监督基线。
2026-09-02 cs.AI cs.CL
The Best of Both Worlds: Combining Recent Advances in Neural Machine Translation
Google AI（谷歌人工智能）
在过去的一年里，机器翻译（MT）的序列到序列（seq2seq）建模取得了快速进展。经典的基于RNN的MT方法首先被卷积seq2seq模型超越，然后被最近的Transformer模型超越。这些新方法中的每一种都包含一个基本架构，以及一组原则上适用于其他seq2seq架构的建模和训练技术。在本文中，我们梳理除了新的架构和他们的伴随技术在两个方面。首先，我们确定了几个关键的建模和训练技术，并将它们应用到RNN架构中，产生了一个新的RNMT+模型，该模型在基准WMT'14英语到法语和英语到德语任务上的性能优于所有三个基本架构。其次，我们分析了每个基本seq2seq架构的属性，并设计了新的混合架构，旨在结合他们的优势。我们的混合模型得到了进一步的改进，在两个基准数据集上的性能都优于RNMT+模型。
2018-04-27 cs.AI cs.CL
The USTC-NEL Speech Translation system at IWSLT 2018
University of Science and Technology of China（中国科学技术大学）；IFLYTEK Co. LTD.（科大讯飞股份有限公司）
本文介绍了USTC-NEL系统在2018年IWITHING评估中的语音翻译任务。该系统是一个传统的流水线系统，包括3个模块：语音识别，后处理和机器翻译。我们训练一组混合HMM模型用于语音识别，对于机器翻译，我们训练基于Transformer的神经机器翻译模型，以语音识别输出样式文本作为输入。在IWIT 2018任务上进行的实验表明，与KIT的基线系统相比，我们的系统实现了14.9 BLEU的改进。
2018-12-06 cs.CL cs.SD eess.AS
Applying a Hybrid Query Translation Method to Japanese/English Cross-Language Patent Retrieval
本文将现有的查询翻译方法应用于跨语言专利检索。在我们的方法中，多个字典被用来获得所有可能的翻译输入查询，搭配统计被用来解决翻译歧义。我们使用日/英并行专利摘要进行比较实验，我们的方法优于一个简单的基于字典的查询翻译方法，并实现了76%的单语检索的平均精度。
2002-06-24 cs.CL
Near Human-Level Performance in Grammatical Error Correction with Hybrid Machine Translation
University of Edinburgh（爱丁堡大学）；Microsoft（微软）
我们结合了两种最流行的自动语法纠错（GEC）方法：基于统计机器翻译（SMT）的GEC和基于神经机器翻译（NMT）的GEC。该混合动力系统在CoNLL-2014和JFLEG基准测试中取得了最新的结果。该GEC系统保留了SMT输出的准确性，同时生成了更流畅的句子，因为它是NMT的典型。我们的分析表明，所创建的系统比迄今为止报道的任何其他GEC系统更接近人类水平的性能。
2018-04-16 cs.CL
Gloss2Text: Sign Language Gloss translation using LLMs and Semantically Aware Label Smoothing
George Mason University（乔治梅森大学）
针对手语Gloss2Text翻译任务，提出结合预训练LLMs、数据增强与语义感知标签平滑损失的改进方法，在PHOENIX Weather 2014T数据集上超越现有最优性能。
2024-07-12 cs.CL cs.CV cs.LG
Semantic Label Drift in Cross-Cultural Translation
Department of Computer Science, National Center for Text Mining, The University of Manchester（计算机科学系，文本挖掘国家中心，曼彻斯特大学）；School of Computing, Queen’s University, Ontario, Canada（计算学院，加拿大皇后大学）；Computer Science, University of Illinois Chicago（计算机科学，伊利诺伊大学芝加哥分校）
本文研究了跨文化翻译中因文化差异导致的语义标签漂移问题，发现现代大语言模型在文化敏感领域易引发标签漂移，并揭示文化相似性对标签保真度的关键影响。
2025-10-29 cs.CL
TextHacker: Learning based Hybrid Local Search Algorithm for Text Hard-label Adversarial Attack
Huazhong University of Science and Technology（华中科技大学）；Huawei（华为）；Harbin Institute of Technology（哈尔滨工业大学）
现有的文本对抗攻击通常利用梯度或预测置信度来生成对抗样本，这使得它很难被部署到现实世界的应用中。为此，我们考虑一种很少研究但更严格的设置，即硬标签攻击，其中攻击者只能访问预测标签。特别地，我们发现我们可以通过对抗性示例上的单词替换引起的预测标签的变化来学习不同单词的重要性。基于这一观察，我们提出了一种新的对抗攻击，称为文本硬标签攻击者（TextHacker）。TextHacker随机干扰大量的单词来制作一个对抗性的例子。然后，TextHacker采用了一种混合局部搜索算法，从攻击历史中估计单词的重要性，以最大限度地减少对抗干扰。对文本分类和文本蕴涵的广泛评估表明，TextHacker在攻击性能和对手质量方面明显优于现有的硬标签攻击。
2022-10-24 cs.CL cs.LG
Beyond Voice Activity Detection: Hybrid Audio Segmentation for Direct Speech Translation
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；University of Trento（特伦托大学）
在直接语音翻译中，训练数据和运行时看到的数据之间的音频分割不匹配是一个主要问题。事实上，虽然系统通常是在手动分割的语料库上训练的，但在实际用例中，它们通常会呈现需要自动（和次优）分割的连续音频。在比较了现有的技术（基于VAD的，固定长度和混合分割方法），在本文中，我们提出了增强的混合解决方案，以产生更好的结果，而不牺牲延迟。通过对不同领域和语言对的实验，我们表明我们的方法优于所有其他技术，将传统的基于VAD的方法和最佳手动分割之间的差距缩小了至少30%。
2021-10-14 cs.CL cs.SD eess.AS
Efficient CTC Regularization via Coarse Labels for End-to-End Speech Translation
University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
对于端到端的语音翻译，使用源转录本或目标翻译作为标签，使用连接时间分类（CTC）目标正则化编码器可以大大提高质量度量。然而，CTC需要在词汇空间上额外的预测层，带来不可忽略的模型参数和计算开销，尽管该层通常不用于推理。在本文中，我们重新审视了CTC正则化对真正词汇标签的需求，并探索了减少CTC标签空间的策略，目标是在不降低质量的情况下提高效率。我们提出了粗标记CTC（CoLaCTC），通过简单的启发式规则，如使用截断，除法或模（MOD）操作合并词汇标签。尽管它很简单，但我们在4种源语言和8种目标语言上的实验表明，CoLaCTC特别是MOD可以将标签空间压缩到256甚至更高，获得训练效率（1.18倍~1.77倍加速，取决于原始词汇量），但仍然提供与CTC基线相当或更好的性能。我们还表明，CoLaCTC成功地推广到CTC正则化，无论使用转录或翻译标记。
2023-02-21 cs.CL cs.SD eess.AS
Image Classification for Arabic: Assessing the Accuracy of Direct English to Arabic Translations
Prince Sattam Bin Abdulaziz University（萨塔姆·本·阿卜杜勒阿齐兹大学）
图像分类是一个正在进行的研究挑战。大多数现有的研究集中在英语语言的图像分类，但很少有阿拉伯语的图像分类的研究。将图像分类扩展到阿拉伯语有几个应用。本研究探讨了一种方法，用于生成阿拉伯语标签的对象的图像。本研究中使用的方法涉及将ImageNet上当前可用的标签直接从英语翻译为阿拉伯语，ImageNet是一种常用于图像分类研究的数据库。本研究的目的是测试该方法的准确性。在这项研究中，从ImageNet中随机选择了2，887张标记的图像。所有标签都是使用谷歌翻译从英语翻译成阿拉伯语的。对翻译的准确性进行了评价。结果表明，65.6%的阿拉伯语标签是准确的。这项研究对图像分类文献做出了三个重要贡献：（1）它确定了为图像提供阿拉伯语标签的算法的基线准确度水平，（2）它提供了1，895张带有准确阿拉伯语标签的图像，（3）提供了从英语到阿拉伯语的图像标签翻译的准确性。
2019-07-07 cs.CL cs.CV
