Improving CAT Tools in the Translation Workflow: New Approaches and Evaluation
Saarland University（萨尔大学）；DFKI（德国人工智能研究中心）；University of Wolverhampton（伍尔弗汉普顿大学）；Jadavpur University（贾达普大学）
本文介绍了策略，以改善现有的基于网络的计算机辅助翻译（CAT）工具，名为CATaLog在线。CATaLog Online提供了一个具有简单而有用的项目管理工具的后期编辑环境。它提供来自翻译记忆库（TM）、机器翻译（MT）和自动后期编辑（APE）的翻译建议，并记录后期编辑活动的详细日志。为了测试本文提出的新方法，我们进行了用户研究的英语-德语翻译任务使用CATaLog在线。用户反馈显示，在某些方面，用户更喜欢使用CATaLog Online而不是现有的CAT工具，特别是通过选择MT系统的输出和利用TM建议的配色方案。
2019-08-16 cs.CL
Evaluating Language Translation Models by Playing Telephone
Stony Brook University（石溪大学）
针对现有翻译评估方法受限于语言模型能力的问题，提出无监督的多轮翻译数据生成方法，训练评估系统，在评分和选择任务上超越xCOMET。
2025-09-23 cs.CL
Better Alignment with Instruction Back-and-Forth Translation
University of Washington（华盛顿大学）；Meta FAIR
该研究提出指令往返翻译方法，基于网络语料构建高质量合成数据用于大语言模型对齐，在AlpacaEval上胜率优于多个常见指令数据集，兼具网络信息规模与回复质量优势。
2024-08-13 cs.AI cs.CL cs.LG
Vocabulary Selection Strategies for Neural Machine Translation
École polytechnique（巴黎综合理工学院）；Facebook AI Research（Facebook人工智能研究院）
经典的翻译模型通过基于输入句子选择翻译规则的子集来限制可能的输出空间。最近关于提高神经翻译模型效率的工作采用了类似的策略，将输出词汇限制为给定源的可能候选者的子集。在本文中，我们实验与上下文和嵌入为基础的选择方法和扩展以前的工作，更详细地检查速度和准确性的权衡。我们表明，在相同或仅可忽略不计的准确性变化的情况下，在WMT 15英语-德语和WMT 16英语-罗马尼亚语任务上，CPU上的解码时间可以减少高达90%，训练时间减少25%。这使得使用最先进的神经翻译系统在单个CPU核心上对英语-德语进行解码的时间超过每句140毫秒。
2016-10-01 cs.CL
Syntax-aware Data Augmentation for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）；National Institute of Information and Communications Technology（信息通信研究机构）
数据增强是神经机器翻译（NMT）中通过生成额外的双语数据来提高性能的一种有效方法。在本文中，我们提出了一种新的数据增强神经机器翻译增强策略。与现有的数据增强方法简单地选择不同句子中具有相同概率的单词进行修改不同，我们通过考虑单词在句子中的作用来设置特定于句子的单词选择概率。我们使用输入句子的依存分析树作为一个有效的线索，以确定每个词在每个句子中的选择概率。我们提出的方法在WMT 14英语到德语数据集和IWSLT 14德语到英语数据集上进行了评估。大量的实验结果表明，我们提出的语法感知的数据增强方法可以有效地提高现有的翻译性能显着提高独立的方法。
2020-04-29 cs.CL
Active Learning for Interactive Neural Machine Translation of Data Streams
Pattern Recognition and Human Language Technology Research Center（模式识别与人类语言技术研究中心）；Universitat Politècnica de València（瓦伦西亚理工大学）
我们研究应用主动学习技术，通过交互式神经机器翻译的无界数据流的翻译。其主要思想是从一个无限的源句子流中选择那些值得由人工智能监督的句子。用户将以交互方式翻译这些样本。一旦验证，这些数据对于调整神经机器翻译模型是有用的。我们提出了两种新的方法来选择要验证的样本。我们利用神经机器翻译系统的注意力机制的信息。我们的实验表明，将主动学习技术纳入该管道可以减少过程中所需的工作量，同时提高翻译系统的质量。此外，它能够平衡实现一定翻译质量所需的人力。此外，我们的神经系统的性能远远优于经典方法。
2018-10-25 cs.CL
On Using Very Large Target Vocabulary for Neural Machine Translation
Université de Montréal（蒙特利尔大学）
神经机器翻译是最近提出的一种纯粹基于神经网络的机器翻译方法，与现有的方法如基于短语的统计机器翻译相比，已经显示出有希望的结果。尽管最近取得了成功，但神经机器翻译在处理更大的词汇量方面有其局限性，因为训练复杂度以及解码复杂度与目标单词的数量成比例地增加。在本文中，我们提出了一种方法，使我们能够使用一个非常大的目标词汇，而不增加训练的复杂性，基于重要性采样。我们表明，解码可以有效地完成，即使与模型有一个非常大的目标词汇，只选择一个小的子集，整个目标词汇。经验发现，通过所提出的方法训练的模型优于具有小词汇量的基线模型以及基于LSTM的神经机器翻译模型。此外，当我们使用具有非常大的目标词汇的几个模型的集成时，我们在英语->德语翻译上实现了最先进的翻译性能（由BLEU测量），并且几乎与最先进的英语->法语翻译系统一样高。
2015-03-18 cs.CL
Machine Translation Customization via Automatic Training Data Selection from the Web
Amazon Alexa AI（亚马逊Alexa人工智能部门）
机器翻译（MT）系统，特别是在为工业环境设计时，是用来自Web的通用并行数据进行训练的。因此，他们的风格通常是由来自许多领域的平均值的单词/结构分布驱动的。相比之下，MT客户希望翻译专门针对他们的领域，他们通常能够提供文本样本。我们描述了一种定制MT系统的特定领域的方法，通过选择类似于目标客户数据的数据来训练神经翻译模型。我们使用单语目标数据构建文档分类器，例如，从Web抓取的数据中选择并行训练数据。最后，我们训练MT模型，我们自动选择的数据，获得一个专门的目标领域的系统。我们在WMT-18新闻领域翻译任务的基准测试中测试了我们的方法，以便与最先进的MT系统进行比较。结果表明，我们的模型在使用更少的数据和更小的模型的情况下优于顶级系统。
2021-02-20 cs.CL
Multitask Learning For Different Subword Segmentations In Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）
在神经机器翻译（NMT）中，使用子词和字符作为源和目标单元为罕见和未见过的单词的翻译提供了简单而灵活的解决方案。然而，选择最佳的子词切分涉及表达性和灵活性之间的权衡，并且是语言和词典相关的。我们提出了块多任务学习（BMTL），一种新的NMT架构，可以同时预测不同粒度的多个目标，无需搜索最佳分割策略。与单任务基线模型相比，我们的多任务模型在每个解码器上表现出高达1.7个BLEU点的改进，其中两个语言对IWSLT15和一个来自IWSLT19的数据集具有相同数量的参数。以不同粒度生成的多个假设可以作为后处理步骤进行组合，以提供更好的翻译，这比基线模型的假设组合有所改进，同时使用更少的参数。
2019-10-27 cs.CL
Selecting Machine-Translated Data for Quick Bootstrapping of a Natural Language Understanding System
Amazon（亚马逊）；University of Trento（特伦托大学）
本文研究了使用机器翻译（MT）来引导用于大规模语音控制设备的用例的新语言的自然语言理解（NLU）系统。我们的目标是减少为新语言获得注释语料库所需的成本和时间，同时仍然有足够大的用户请求覆盖范围。不同的方法过滤MT数据，以保持话语，提高NLU性能和语言特定的后处理方法进行了研究。这些方法在一个大规模的NLU任务中进行了测试，将大约1000万个训练话语从英语翻译成德语。结果表明，使用MT数据在基于语法和内部数据汇集基线上有很大的改进，同时大大减少了手动工作。滤波和后处理方法都进一步改善了结果。
2018-05-23 cs.CL
Hindi Visual Genome: A Dataset for Multimodal English-to-Hindi Machine Translation
Charles University（查理大学）；KIIT University（KIIT大学）
Visual Genome是一个将结构化图像信息与英语语言连接起来的数据集。我们提出了“印地语视觉基因组”，一个多模态数据集，由文本和图像组成，适用于英语-印地语多模态机器翻译任务和多模态研究。我们从Visual Genome中选择了简短的英语片段（标题）以及相关的图像，并通过手动后期编辑将其自动翻译为印地语，其中考虑了相关的图像。我们准备了一套31525段，伴随着一个挑战测试集的1400段。这个挑战测试集是通过基于嵌入相似性搜索（特别是）歧义英语单词并手动选择图像有助于解决歧义的单词来创建的。我们的数据集是第一个用于多模态英语-印地语机器翻译的数据集，可免费用于非商业研究目的。我们的印地语版本的Visual Genome还允许创建印地语图像标签或其他实用工具。印地语视觉基因组还在亚洲翻译研讨会（WAT）2019多模态翻译任务中服务。
2019-07-21 cs.CL
Coordinate System Selection for Minimum Error Rate Training in Statistical Machine Translation
最小出错率训练（MERT）是统计机器翻译中广泛使用的训练过程。该方法的一个普遍问题是搜索空间容易收敛于局部最优，且所得权值集不符合特征函数的真实分布。本文将坐标系选择引入到MERT的搜索算法中。与以前的方法不同，在以前的方法中，每个维度只对应于一个独立的特征函数，我们通过将其中一个维度移动到一个新的方向来创建多个坐标系。MERT的基本思想很简单，但很关键，即MERT的训练过程应该基于由搜索方向形成的坐标系，而不是直接基于特征函数。实验表明，通过调整集合结果选择坐标系，可以在没有任何其他语言知识的情况下获得更好的结果。
2014-05-10 cs.CL
Robust Tuning Datasets for Statistical Machine Translation
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）
我们探讨了自动制作用于统计机器翻译（SMT）的调优数据集的想法，该调优数据集使得SMT系统的超参数相对于参数调优算法的一些特定缺陷更加鲁棒。这是一个未充分探索的研究方向，可以更好地进行参数调整。在本文中，我们通过选择可用的句子对的子集来实现这一目标，这些句子对更适合于优化器，目标函数和评估措施的特定组合。我们展示了潜在的想法与成对排名优化（PRO）优化器，这是已知的产生太短的翻译。我们表明，学习问题可以减轻调整的发展集的子集，根据句子长度选择。特别是，使用最长的50%的调优语句，我们实现了两倍的调优加速，并改善了BLEU分数，与替代方案相媲美，而替代方案则修复了BLEU+1的平滑。
2017-10-01 cs.CL
Denoising Neural Machine Translation Training with Trusted Data and Online Data Selection
Google Research（谷歌研究院）
测量数据的领域相关性并识别或选择适合机器翻译（MT）的领域数据是一个研究得很好的主题，但去噪还没有。去噪涉及不同类型的数据质量，并试图减少数据噪声对MT训练，特别是神经MT（NMT）训练的负面影响。本文总结了域MT数据的测量和选择方法，并将其应用于去噪NMT训练。所提出的方法使用可信的数据和在线数据选择实现的去噪课程。该方法的内在和外在的评价表明，其显着的有效性NMT训练的数据与严重的噪音。
2018-08-31 cs.CL cs.LG stat.ML
Dynamic Data Selection and Weighting for Iterative Back-Translation
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；Department of Computer Science, George Mason University（乔治梅森大学计算机科学系）
在神经机器翻译（NMT）中，反向翻译被证明是一种有效的利用单语数据的方法，迭代地进行反向翻译可以进一步提高模型的性能。选择哪些单语数据进行反向翻译至关重要，因为我们要求得到的合成数据具有高质量并反映目标域。为了实现这两个目标，已经提出了数据选择和加权策略，通常的做法是选择接近目标域的样本，但也不同于平均的一般域文本。在本文中，我们提供了这种常用的方法的见解，并将其推广到一个动态的课程学习策略，这是适用于迭代回译模型。此外，我们提出了加权策略的基础上，当前的质量的句子和它的改进，在以前的迭代。我们评估我们的模型领域自适应，低资源，高资源MT设置和两种语言对。实验结果表明，我们的方法实现了高达1.8 BLEU点的竞争基线的改进。
2020-10-07 cs.CL
EvolveMT: an Ensemble MT Engine Improving Itself with Usage Only
aiXplain Inc.（aiXplain公司）
EvolveMT是一个在线学习驱动的集成机器翻译系统，动态选择最优引擎，无需参考译文或重训练，以较低成本实现同等翻译质量。
2023-06-20 cs.CL
RAMP: Retrieval and Attribute-Marking Enhanced Prompting for Attribute-Controlled Translation
University of Groningen（格罗宁根大学）；AWS AI Labs（亚马逊云科技人工智能实验室）
针对属性控制翻译受限于数据集可用性的问题，提出RAMP方法，利用大型多语言模型在少样本和零样本设置下，通过语义相似度检索和属性注释标记上下文示例，有效提升了翻译生成准确性。
2023-05-26 cs.CL
Chunk-based Nearest Neighbor Machine Translation
Instituto de Telecomunicações（电信研究所）；Unbabel（Unbabel公司）；Institute of Systems and Robotics（系统与机器人研究所）；DeepMind（深度思维）；Instituto Superior Técnico（里斯本高等理工学院）
半参数模型通过检索来增强生成，由于其从大量示例中检索细粒度信息的能力，在语言建模和机器翻译中取得了令人印象深刻的结果。最突出的方法之一，$k$ NN-MT，表现出强大的领域自适应能力，从特定领域的数据存储\citep{khandelwal2020nearest}检索令牌。然而，$k$ NN-MT需要对每个生成的令牌进行昂贵的检索操作，导致解码速度非常低（比参数模型慢8倍左右）。在本文中，我们介绍了一个\textit{chunk-based} $k$ NN-MT模型，检索块的令牌，而不是一个单一的令牌。我们提出了几种策略，将检索到的块到生成过程中，并选择的步骤，模型需要搜索的邻居在pseudo。在静态和动态两种情况下对机器翻译进行的实验表明，基于块的$k$ NN-MT模型在翻译质量略有下降的情况下，速度显著提高（高达4倍）。
2022-11-07 cs.CL
Training Mixed-Domain Translation Models via Federated Learning
Amazon（亚马逊）
训练混合域翻译模型是一项复杂的任务，需要定制的架构和昂贵的数据准备技术。在这项工作中，我们利用联邦学习（FL）来解决这个问题。我们的研究表明，在训练过程中稍加修改，神经机器翻译（NMT）引擎可以很容易地适应时，基于FL的聚合应用于融合不同的领域。实验结果还表明，通过FL构建的引擎能够与依赖于集中式训练技术的最先进的基线相媲美。我们评估我们的假设，在存在的五个不同大小的数据集，从不同的领域，从德语翻译成英语，并讨论如何FL和NMT可以相互受益。除了提供FL和NMT联合的基准测试结果外，我们还提出了一种新技术，通过在FL更新期间选择有影响力的参数来动态控制通信带宽。考虑到需要在FL各方之间交换的NMT发动机的大尺寸，这是一项重大成就。
2022-05-03 cs.CL
Watching the Watchers: Exposing Gender Disparities in Machine Translation Quality Estimation
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学技术高等学院）；Unbabel
本文首次系统研究机器翻译质量评估（QE）指标的性别偏见，发现其在性别未披露时偏向阳性屈折、惩罚中性表达，并在上下文消歧和下游数据过滤与解码中产生不利影响，呼吁开发以性别为中心的QE指标。
2025-06-02 cs.CL
Faster Machine Translation Ensembling with Reinforcement Learning and Competitive Correction
Media Analysis Group, Sony Research India, Bangalore（索尼印度研究所在班加罗尔的媒体分析组）
本文提出SmartGen，一种基于强化学习的机器翻译集成策略，通过选择少量候选并利用融合模块反馈训练，结合竞争修正模块，在英印翻译中实现更快且更优的集成性能。
2025-01-25 cs.CL
Onception: Active Learning with Expert Advice for Real World Machine Translation
INESC-ID（里斯本系统与计算机工程研究所）；Instituto Superior Técnico（高等技术学院）；Unbabel AI（Unbabel人工智能实验室）
主动学习可以在资源匮乏的环境中发挥重要作用（即，其中注释的数据是稀缺的），通过选择哪些实例可能更值得注释。大多数机器翻译的主动学习方法都假设源语言中存在一个句子池，并依赖于人工注释器来提供翻译或后期编辑，这仍然是昂贵的。在本文中，我们假设一个真实世界的人在回路场景，其中：（i）源句子可能不容易获得，而是以流的形式到达;（ii）自动翻译以评级的形式接收反馈，而不是正确/编辑的翻译，因为人在回路可能是一个正在寻找翻译的用户，但无法提供翻译。为了解决决定每个传入对源翻译是否值得查询人类反馈的挑战，我们采取了一些基于流的主动学习查询策略。此外，由于我们事先不知道哪种查询策略对于特定的语言对和机器翻译模型集是最合适的，因此我们建议使用预测和专家建议动态地组合多种策略。我们的实验表明，使用主动学习可以以更少的人为交互收敛到最好的机器翻译系统。此外，将使用预测的多个策略与专家建议相结合，往往比几个单独的主动学习策略更有效，甚至交互更少。
2022-03-12 cs.CL
A Bayesian Optimization Approach to Machine Translation Reranking
University of Cambridge（剑桥大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；ETH Zürich（苏黎世联邦理工学院）
本研究将机器翻译重排序构建为贝叶斯优化问题，通过平衡探索与利用策略性选择候选结果进行评分，并引入多保真度代理评分设置，在仅使用少量评分评估下即达到基线性能，有效降低了计算成本。
2025-04-29 cs.CL
Competence-based Curriculum Learning for Multilingual Machine Translation
Peking University（北京大学）；Pattern Recognition Center, WeChat AI, Tencent Inc, China（腾讯公司微信人工智能模式识别中心）
目前，多语言机器翻译正受到越来越多的关注，因为它为低资源语言（LRL）带来了更好的性能，并节省了更多的空间。然而，现有的多语种机器翻译模型面临着一个严峻的挑战：不平衡。因此，不同语言在多语言翻译模型中的翻译性能差异很大。我们认为，这种不平衡的问题源于不同的语言学习能力的不同。因此，我们着眼于平衡不同语言的学习能力，提出了基于能力的多语种机器翻译课程学习，命名为CCL-M。具体来说，我们首先定义了两种能力来帮助安排高资源语言（HRL）和低资源语言：1）自我评估能力，评估语言本身的学习情况; 2）HRL评估能力，根据HRL的自我评估能力评估LRL是否准备好学习。基于上述能力，我们利用所提出的CCL-M算法，以课程学习的方式逐渐将新的语言添加到训练集中。此外，我们提出了一种新的竞争力的动态平衡抽样策略，更好地选择训练样本的多语言训练。实验结果表明，我们的方法已经取得了稳定和显着的性能增益相比，以前的国家的最先进的方法在TED会谈数据集。
2021-09-09 cs.CL
A Call for Prudent Choice of Subword Merge Operations in Neural Machine Translation
Center for Language and Speech Processing（语言与语音处理中心）；Human Language Technology Center of Excellence（人类语言技术卓越中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
大多数神经机器翻译系统构建在通过诸如字节对编码（BPE）或字段（wordpiece）的方法提取的子字单元上。然而，合并操作的数量的选择通常通过遵循现有的配方来进行。在本文中，我们对不同数量的BPE合并操作进行了系统的探索，以了解它如何与模型架构，构建词汇表和语言对的策略进行交互。本文的研究可为今后选择合适的BPE结构提供指导。最突出的是：我们表明，对于基于LSTM的体系结构，有必要试验各种不同的BPE操作，因为没有典型的最佳BPE配置，而对于Transformer体系结构，较小的BPE大小往往是典型的最佳选择。我们敦促社区对子字合并操作做出谨慎的选择，因为我们的实验表明，仅次优的BPE配置就可以很容易地将系统性能降低3-4个BLEU点。
2019-06-24 cs.CL
Mixture of Attention Heads: Selecting Attention Heads Per Token
Beihang University（北京航空航天大学）；Mila, University of Montreal（蒙特利尔大学米拉研究所）；Tencent（腾讯）
混合专家（MoE）网络已被提出作为一种有效的方式来扩展模型容量和实现条件计算。然而，对MoE组件的研究主要集中在Transformer架构中的前馈层。本文提出了一种新的体系结构-混合注意头（MoA），它将多头注意力与MoE机制相结合。MoA包括一组注意力头，每个注意力头都有自己的一组参数。给定输入，路由器动态地选择每个令牌的$k$注意报头的子集。这种条件计算模式允许MoA实现比标准多头注意力层更强的性能。此外，稀疏门控MoA可以很容易地扩大注意头的数量和参数的数量，同时保持计算效率。除了性能改进之外，MoA还自动区分头部的效用，为讨论模型的可解释性提供了一个新的视角。我们对几个重要任务进行了实验，包括机器翻译和掩蔽语言建模。实验表明，在涉及大型和非常深的模型的强基线上，几个任务的结果很有希望。
2022-10-11 cs.CL
Sometimes We Want Translationese
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Quebec AI Institute (Mila)（魁北克人工智能研究所（Mila））；Facebook AI Research (FAIR)（Facebook人工智能研究院（FAIR））
神经机器翻译（NMT）系统在过去几年中的快速发展主要是为了提高翻译质量，其次是提高对输入扰动（例如拼写和语法错误）的鲁棒性。虽然性能和鲁棒性是重要的目标，但过度关注这些目标，我们可能会忽视其他重要属性。在本文中，我们提请注意这样一个事实，即对于某些应用程序，忠实于原始（输入）文本是很重要的，以保持，即使这意味着在（输出）翻译中引入不寻常的语言模式。我们提出了一种简单，新颖的方法来量化NMT系统是否具有鲁棒性和忠实性，重点是词序扰动的情况下。我们探索了一套函数来扰乱源句子的词序，而不删除或注入标记，并在鲁棒性和忠实性方面衡量对目标方的影响。在几个实验条件下，我们观察到一个强大的趋势，而不是忠实的鲁棒性。这些结果使我们能够更好地理解NMT中的忠实性和鲁棒性之间的权衡，并开辟了开发系统的可能性，在这些系统中，用户在选择最适合其用例的属性时具有更多的自主权和控制权。
2021-04-15 cs.CL
Quality Estimation Reranking for Document-Level Translation
Yaraku, Inc（Yaraku公司）
本文评估了文档级翻译中的质量估计重排序，使用SLIDE和GEMBA-DA等指标，在32个候选下BLEURT-20提升最高达+5.09，验证了其有效性和低开销。
2025-10-10 cs.CL
CUNI System for the WMT17 Multimodal Translation Task
Charles University（查理大学）
在本文中，我们描述了我们提交的WMT17多模态翻译任务。对于任务1（多模态翻译），我们最好的评分系统是将源图像标题翻译成目标语言的纯文本神经翻译。该系统的主要特点是使用额外的数据，这些数据是通过从平行语料库中选择相似的句子和通过回译进行数据合成而获得的。对于任务2（跨语言图像描述），我们提交的最佳系统生成一个英文标题，然后由任务1中使用的最佳系统翻译。我们还提出了负面的结果，这是基于我们认为有潜力进行改进的想法，但在我们的特定设置中没有被证明是有用的。
2017-07-14 cs.CL cs.NE
Investigating Test-Time Scaling with Reranking for Machine Translation
University of Amsterdam（阿姆斯特丹大学）；Sony Group Corporation（索尼集团）
本文首次系统性研究了机器翻译中的测试时扩展，通过在WMT24上使用best-of-N框架，发现TTS能提升高资源语言翻译质量，并分析了模型规模与计算预算的权衡关系。
2025-09-23 cs.CL
Learning to Represent Words in Context with Multilingual Supervision
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个基于双向LSTM的神经网络架构来计算单词在上下文中的表示。这些上下文敏感的单词表示适合于，例如，区分不同的词义和其他上下文调制的意义变化。为了学习我们模型的参数，我们使用跨语言监督，假设一个词在上下文中的良好表示将足以选择正确的翻译成第二语言。我们在三个下游任务中评估表征的质量：语义超义预测（将名词和动词分配到几十个语义类中），低资源机器翻译和词汇替换任务，并在所有这些任务上获得最先进的结果。
2015-11-19 cs.CL
Enhancing Human Evaluation in Machine Translation with Comparative Judgment
Manning College of Information and Computer Sciences, UMass Amherst（马萨诸塞大学阿默斯特分校曼宁信息与计算机科学学院）；Google（谷歌公司）
本研究将比较判断引入机器翻译人工评估，对比MQM、SxS MQM和SxS RR三种标注设置，发现SxS设置提高标注一致性并突出细微错误，且SxS RR更高效，同时发布三重标注数据集以促进研究。
2025-02-25 cs.CL
MoCE: Adaptive Mixture of Contextualization Experts for Byte-based Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
本文提出MoCE方法，通过自适应选择和混合注意力头作为上下文专家，解决基于字节的神经机器翻译中字节语义信息有限及跨语言编码规则差异问题，在Ted-59数据集上以更少参数超越子词模型。
2025-02-07 cs.CL
Word Alignment as Preference for Machine Translation
The University of Tokyo（东京大学）；NTT Corporation（NTT公司）
本文提出将词对齐作为偏好信号，通过直接偏好优化引导基于大语言模型的机器翻译系统，以缓解幻觉和遗漏问题，并设计了基于GPT-4的评估方法进行验证。
2024-11-20 cs.AI cs.CL
There's no Data Like Better Data: Using QE Metrics for MT Data Filtering
Google（谷歌）
本研究探讨利用质量估计（QE）指标过滤神经机器翻译训练数据中的低质量句对，证实筛选高质量句对可在训练数据减半的同时提升翻译质量，并对比了该方法与传统语料过滤方法的差异。
2023-11-09 cs.CL
Developing neural machine translation models for Hungarian-English
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
我使用Hunglish 2语料库为英语-匈牙利语和匈牙利语-英语的神经机器翻译任务训练训练模型。这项工作的主要贡献是评估不同的数据增强方法在训练的NMT模型。我提出了5种不同的增强方法，它们是结构感知的，这意味着不是随机选择单词进行空白或替换，而是使用句子的依赖树作为增强的基础。论文首先对神经网络、序列建模、神经机器翻译、依存句法分析和数据增强等方面的研究进行了详细的文献综述。在对Hunglish 2语料库进行了详细的探索性数据分析和预处理之后，本文对所提出的数据增强技术进行了实验。匈牙利语-英语的最佳模型的BLEU得分为33.9，而英语-匈牙利语的最佳模型的BLEU得分为28.6。
2021-11-07 cs.CL cs.LG
Can the Variation of Model Weights be used as a Criterion for Self-Paced Multilingual NMT?
HEIG-VD / HES-SO；EPFL（洛桑联邦理工学院）；Armasuisse W+T
针对数据稀缺场景下的多对一神经机器翻译训练，提出基于Transformer层间平滑KL散度判断权重变化、动态切换小批量语言的自步算法，实验显示其效果优于交替单语言批次但弱于混洗批次。
2024-10-05 cs.CL
Unsupervised Machine Translation On Dravidian Languages
Maastricht University（马斯特里赫特大学）
无监督神经机器翻译（UNMT）特别有益于低资源语言，例如德拉维语系语言。然而，联合国MT系统往往在涉及实际低资源语言的现实情况下失败。最近的工作提出利用辅助并行数据，并取得了国家的最先进的成果。在这项工作中，我们专注于英语和卡纳达语，低资源达罗毗荼语之间的无监督翻译。我们还利用英语和其他相关的达罗毗荼语之间的辅助数据有限。我们表明，统一的书写系统是必不可少的，在无监督的翻译之间的达罗毗荼语。我们探索了几种使用辅助数据的模型架构，以最大限度地提高知识共享，并使UNMT对遥远的语言对。我们的实验表明，包括与我们的重点语言卡纳达语相似的辅助语言是至关重要的。此外，我们提出了一个度量来衡量语言相似性，并表明它作为一个很好的指标，选择辅助语言。
2021-03-29 cs.AI cs.CL
KD4MT: A Survey of Knowledge Distillation for Machine Translation
University of Helsinki（赫尔辛基大学）；University of Oslo（奥斯陆大学）
本文综述了机器翻译中知识蒸馏的应用，分析了其方法论贡献和实际应用，指出了研究空白和评估问题，并提供了实用指南和风险提示。
2026-01-22 cs.CL
Is Knowledge Distillation Actually Greener? A Case Study in Machine Translation
University of Helsinki, Helsinki, Finland（赫尔辛基大学）；Université Paris-Saclay, CNRS, LISN, Orsay, France（巴黎-萨克雷大学）
本研究评估了机器翻译中知识蒸馏方法的环境影响与翻译质量的权衡，发现蒸馏开销和推理成本在不同部署规模下主导总足迹，词级蒸馏通常更优。
2026-09-02 cs.CL cs.LG
Active Learning for Neural Machine Translation
Queen Mary University of London（伦敦玛丽女王大学）；University of Bath（巴斯大学）；DigilyticsAI
机器翻译机制能够在不同的自然语言之间自动翻译文本，而神经机器翻译（NMT）以其合理的上下文分析和流畅的翻译准确性而受到关注。然而，处理缺乏相关训练属性（如监督数据）的低资源语言是自然语言处理（NLP）当前的挑战。我们将一种称为主动学习的技术与NMT工具包Joey NMT相结合，以达到足够的准确性和对低资源语言翻译的鲁棒预测。通过主动学习，一种半监督机器学习策略，训练算法确定哪些未标记的数据对于使用所选查询技术获得标签最有益。我们实现了两个模型驱动的采集功能，用于选择要验证的样本。这项工作使用基于transformer的NMT系统;基线模型（BM），完全训练模型（FTM），主动学习最小置信度模型（ALLCM），和主动学习边缘采样模型（ALMSM）时，将英语翻译成印地语。双语评估替补（BLEU）指标已被用来评估系统的结果。BM、FTM、ALLCM和ALMSM系统的BLEU评分分别为16.26、22.56、24.54和24.20。本文的研究结果表明，主动学习技术有助于模型早期收敛，提高翻译系统的整体质量。
2022-12-30 cs.AI cs.CL
When Meanings Meet: Investigating the Emergence and Quality of Shared Concept Spaces during Multilingual Language Model Training
MaiNLP, Center for Information and Language Processing, LMU Munich（MaiNLP，信息与语言处理中心，慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；University of Tokyo（东京大学）；IT University of Copenhagen（哥本哈根IT大学）；Language Technology Lab, University of Cambridge（语言技术实验室，剑桥大学）
研究通过因果可解释方法探讨多语言语言模型训练中共享概念空间的产生与质量，发现早期出现并随训练细化，但语言依赖性显著，且翻译质量提升可能反映行为变化而非能力提升。
2026-01-30 cs.CL
Applying Cyclical Learning Rate to Neural Machine Translation
Artificial Intelligence Application Research Center, Huawei Technologies（华为技术有限公司人工智能应用研究中心）
在训练深度学习网络时，优化器和相关的学习率通常在没有经过太多考虑或进行最小调整的情况下使用，尽管它对于确保快速收敛到损失函数的良好质量最小值至关重要，该最小值也可以在测试数据集上很好地推广。从计算机视觉相关卷积网络和数据集的循环学习率策略的成功应用中汲取灵感，我们探索了如何将循环学习率应用于神经机器翻译的训练基于transformer的神经网络。从我们精心设计的实验，我们表明，优化器的选择和相关的周期性学习率政策可以有显着的影响性能。此外，我们建立了将循环学习率应用于神经机器翻译任务的指导方针。因此，通过我们的工作，我们希望提高人们对选择正确的优化器和相应的学习率政策的重要性的认识，同时鼓励进一步研究易于使用的学习率政策。
2020-04-06 cs.CL cs.LG stat.ML
Data Selection with Feature Decay Algorithms Using an Approximated Target Side
ADAPT Centre（ADAPT中心）；Dublin City University（都柏林城市大学）
应用于神经机器翻译（NMT）的数据选择技术旨在通过检索句子的子集以用作训练数据来提高模型的性能。可能的数据选择技术之一是转换学习方法，它基于测试集（即待翻译的文档）选择数据。迄今为止，这些方法的局限性在于，使用源端测试集本身并不能保证选择具有正确翻译的句子，或者在给定测试集域的情况下选择合适的翻译。一些语料库，如字幕语料库，可能包含由于本地化或长度限制而导致翻译不准确的平行句子。为了尝试解决这个问题，在本文中，我们建议在选择合适的训练模型的训练对时，除了源端之外，还使用近似的目标端。这个近似的目标端是通过预翻译源端来构建的。在这项工作中，我们探讨了一个特定的数据选择方法，称为特征衰减算法（FDA）的一般思想的性能。我们训练德-英NMT模型的数据选择使用测试集（源），近似的目标侧，以及两者的混合。我们的研究结果表明，使用FDA的输出组合（使用测试集和近似的目标侧）建立的模型比单独使用测试集的模型表现更好。我们获得了超过1.5个BLEU点的统计学显着改善，超过所有数据训练的模型，超过0.5个BLEU点，超过仅使用源端信息的强大FDA基线。
2018-11-07 cs.CL
Data Selection with Cluster-Based Language Difference Models and Cynical Selection
我们提出并应用两种方法来解决从一般池中选择相关训练数据用于机器翻译等任务的问题。在现有的基于类的语言差异模型的基础上，我们首先介绍了一种基于聚类的方法，该方法使用布朗聚类来压缩语料库中的词汇。其次，我们实现了cynic数据选择方法，该方法增量地构建训练语料库以有效地对任务语料库进行建模。基于聚类和愤世嫉俗的数据选择方法都是第一次在机器翻译系统中使用，我们进行了头对头的比较。我们的内在评估表明，这两种新方法优于标准的摩尔-刘易斯方法（交叉熵差），在更好的困惑和OOV率在域数据。愤世嫉俗的方法收敛得更快，几乎覆盖了所有的领域内词汇表，比其他方法少了84%的数据。此外，新的方法可以用来选择机器翻译训练数据，以训练更好的系统。我们的研究结果证实，基于类的选择，使用布朗集群是一个可行的替代POS为基础的类为基础的方法，并消除了对一部分的语音标记的依赖。此外，我们能够验证最近提出的愤世嫉俗的数据选择方法，表明其在SMT模型中的性能优于传统的交叉熵差方法，并且更接近于任务语料库的句子长度。
2019-04-09 cs.CL
Reinforced Curriculum Learning on Pre-trained Neural Machine Translation Models
University of Alberta（阿尔伯塔大学）；Tencent（腾讯）
神经机器翻译（NMT）的竞争性能严重依赖于大量的训练数据。然而，获得高质量的翻译对需要专业知识，而且成本高昂。因此，如何最好地利用具有不同质量和特征的样本的给定数据集成为NMT中一个重要但尚未充分研究的问题。课程学习方法已经被引入到NMT中，以通过规定数据输入顺序来优化模型的性能，该方法基于诸如噪声和难度水平的评估的数学方法。然而，现有的方法需要从头开始训练，而在实践中，大多数NMT模型已经在大数据上进行了预训练。此外，作为经验主义者，它们不能很好地概括。在本文中，我们的目标是学习一门课程，通过从原始训练集中重新选择有影响力的数据样本来改进预训练的NMT模型，并将此任务表示为强化学习问题。具体而言，我们提出了一个基于确定性Actor-Critic的数据选择框架，其中评论家网络预测由于特定样本而导致的模型性能的预期变化，在多个翻译数据集上的实验表明，当原始批量训练达到其最佳水平时，我们的方法可以进一步提高NMT的性能。天花板，而不使用额外的新的训练数据，并显着优于几个强基线方法。
2020-04-13 cs.CL cs.LG
Sequence Shortening for Context-Aware Machine Translation
Maastricht University（马斯特里赫特大学）
本研究针对上下文感知机器翻译，提出缓存源句潜在表示作为上下文的多编码器特例，并引入潜在分组与潜在选择两种序列缩短方法，在对比数据集上取得更高准确率，同时保持BLEU和COMET分数，提升可解释性并降低内存增长。
2024-02-02 cs.AI cs.CL cs.LG
Improving Translation Quality by Selecting Better Data for LLM Fine-Tuning: A Comparative Analysis
Ritsumeikan University（立命馆大学）
研究通过比较五种数据选择器评估数据选择对LLM微调的影响，发现语义选择器优于词法和几何启发式方法，数据差异小于3%对模型性能影响显著。
2025-12-12 cs.CL
To Label or Not to Label: Hybrid Active Learning for Neural Machine Translation
Lahore University of Management Sciences（拉合尔管理科学大学）
本文提出混合不确定性与多样性采样（HUDS）策略，用于NMT领域适应，通过结合不确定性和多样性选择句子，显著降低了标注成本并提升了翻译性能。
2024-12-18 cs.CL cs.LG
Robust Guidance for Unsupervised Data Selection: Capturing Perplexing Named Entities for Domain-Specific Machine Translation
Ahancompany corporation（Ahancompany 公司）；TelePIX（TelePIX 公司）
针对低资源领域机器翻译无监督数据选择标准难统一的问题，提出以翻译命名实体的最大推理熵为指标的捕获困惑命名实体方法，经专业领域韩英平行语料库验证，跨领域识别训练高效数据的鲁棒性优于现有方法。
2024-05-21 cs.AI cs.CL
Self-Training Sampling with Monolingual Data Uncertainty for Neural Machine Translation
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
通过用合成并行数据增强模型训练，自训练已被证明对提高NMT性能是有效的。通常的做法是构建合成数据的基础上随机抽样的大规模单语数据的子集，我们的经验表明是次优的。在这项工作中，我们建议通过选择信息量最大的单语句子来补充并行数据来改进抽样过程。为此，我们使用从并行数据中提取的双语词典来计算单语句子的不确定性。直觉，单语句子与较低的不确定性通常对应于易于翻译的模式，可能不会提供额外的收益。因此，我们设计了一个基于不确定性的采样策略，有效地利用单语数据进行自我训练，其中具有较高不确定性的单语句子将以较高的概率进行采样。在大规模WMT英文$\Rightarrow$德文和英文$\Rightarrow$中文数据集上的实验结果表明了该方法的有效性。大量的分析表明，我们的方法强调学习不确定单语句子确实提高了高不确定性句子的翻译质量，也有利于预测的低频词在目标端。
2021-06-02 cs.CL cs.IT math.IT
Multi-domain machine translation enhancements by parallel data extraction from comparable corpora
平行文本是一种相对稀缺的语言资源，但它是一种非常有用的研究材料，有着广泛的应用。本研究提出并分析了新的方法，我们开发了从以前建立的可比语料库获得这样的数据。这些方法是自动的和无监督的，这使得它们适合大规模的研究。这项任务是非常实用的，因为非平行的多语言数据比平行语料库更频繁地出现，并且访问它们很容易，尽管平行句子是一个更有用的资源。在这项研究中，我们提出了一种自动网络爬行的方法，以建立主题对齐的可比语料库，例如基于维基百科或Euronews.com。我们还开发了新的方法，从可比数据中获得平行句子，并提出了能够选择不一致或部分等价翻译的语料库过滤方法。我们的方法很容易扩展到其他语言。通过分析其使用对统计机器翻译系统的影响，对所创建语料库的质量进行了评估。实验的基础上提出的波兰语-英语对文本从不同的领域，即讲座，短语手册，电影对话，欧洲议会议事录和文本包含药品传单。我们还测试了第二种基于可比语料库的数据创建平行语料库的方法，该方法允许基于它们之间的类比自动扩展关于给定域的现有句子语料库。因此，它不需要具有过去的并行资源来训练分类器。
2016-03-22 cs.CL stat.ML
Active$^2$ Learning: Actively reducing redundancies in Active Learning methods for Sequence Tagging and Machine Translation
虽然深度学习是解决自然语言处理（NLP）问题的强大工具，但这些问题的成功解决方案在很大程度上依赖于大量带注释的样本。然而，手动注释数据是昂贵且耗时的。主动学习（AL）策略通过迭代地选择少量示例用于手动注释来减少对大量标记数据的需要，所述少量示例基于它们在训练给定模型中的估计效用。在本文中，我们认为，由于AL策略选择的例子独立，他们可能会选择类似的例子，所有这些都可能不会显着的学习过程。我们提出的方法，主动$\mathbf{^2}$学习（A $\mathbf{^2}$ L），主动适应正在训练的深度学习模型，以进一步消除由AL策略选择的冗余示例。我们表明，一个$\mathbf{^2}$ L是广泛适用的结合使用它与几个不同的AL策略和自然语言处理任务。我们的经验表明，所提出的方法是进一步能够减少国家的最先进的AL策略的数据需求的绝对百分比减少$\approx\mathbf{3-25\%}$在多个NLP任务，同时实现相同的性能，没有额外的计算开销。
2021-04-03 cs.AI cs.CL cs.HC
MaiNLP at SemEval-2024 Task 1: Analyzing Source Language Selection in Cross-Lingual Textual Relatedness
MaiNLP（迈NLP）；Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
该研究面向零样本跨语言语义文本相关性任务，在 XLM-R 与 Furina 上比较单源、多源及数据增强等源语言选择策略，并在 C8 卢旺达语测试集取得第一名。
2024-04-03 cs.CL
