Exploring Prediction Uncertainty in Machine Translation Quality Estimation
University of Sheffield(谢菲尔德大学);University of Melbourne(墨尔本大学)
机器翻译质量评估是一项非常困难的任务,这降低了它在现实世界翻译环境中的实用性。如果质量预测伴随着不确定性的测量,这种情况可以得到改善。然而,在这个任务中的模型,传统上只评估的点估计指标,不考虑预测的不确定性。我们研究质量估计的概率方法,可以提供校准良好的不确定性估计,并根据其完整的后验预测分布对其进行评估。我们还展示了这种后验信息如何在不对称风险场景中发挥作用,该场景旨在捕捉翻译工作流程中的典型情况。
2016-06-30 cs.CL
Quality Estimation of Machine Translated Texts based on Direct Evidence from Training Data
本文提出利用机器翻译系统的训练平行语料库作为直接证据来估计翻译质量,实验表明该方法对纯数据驱动的机器翻译系统具有良好前景。
2023-06-27 cs.CL
SpeechQE: Estimating the Quality of Direct Speech Translation
University of Maryland(马里兰大学);Johns Hopkins University(约翰斯·霍普金斯大学)
针对语音翻译质量估计研究不足的问题,该工作定义SpeechQE任务、构建基准,提出利用预训练文本LLM的端到端系统,验证其优于级联文本质量估计系统,并发布数据模型推动相关研究。
2024-10-28 cs.CL
How Grammatical is Character-level Neural Machine Translation? Assessing MT Quality with Contrastive Translation Pairs
University of Edinburgh(爱丁堡大学)
从历史上看,分析特定语言现象的翻译质量是困难和耗时的。神经机器翻译具有吸引人的特性,它可以为任意翻译产生分数,我们提出了一种新的方法来评估NMT系统对特定语言现象的建模效果,例如长距离协议,新单词的产生以及极性的忠实翻译。其核心思想是,我们衡量是否参考翻译更可能在NMT模型下比对比翻译,介绍了一种特定类型的错误。我们提出了LingEval 97,一个基于WMT英语->德语翻译任务的97000个对比翻译对的大规模数据集,使用简单的规则自动创建错误。我们报告了一些系统的结果,发现最近推出的字符级NMT系统在音译方面比字节对编码(BPE)分割的模型表现更好,但在形态句法协议和翻译不连续的意义单位方面表现更差。
2017-02-13 cs.CL
Beyond Human-Only: Evaluating Human-Machine Collaboration for Collecting High-Quality Translation Data
Google(谷歌公司)
本研究调查了11种翻译数据获取方法,发现人机协作能以更低成本(约60%)匹配或超越纯人工翻译质量,并发布了包含近18,000个片段的公开数据集以促进未来研究。
2024-10-14 cs.CL
Unsupervised Translation Quality Estimation Exploiting Synthetic Data and Pre-trained Multilingual Encoder
Ehime University(爱媛大学);National Institute of Information and Communications Technology(国立情报学通信技术研究所)
针对翻译质量估计(TQE)监督训练数据成本高的问题,研究将合成数据与预训练多语言编码器用于无监督句子级TQE,实验证明该方法在多类资源翻译方向的相关预测中优于现有无监督方法。
2023-11-09 cs.CL
Evaluating Optimal Reference Translations
ETH Zürich(苏黎世联邦理工学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所);Faculty of Mathematics and Physics(数学与物理学院);Charles University(查理大学)
针对高资源语言对下机器翻译质量提升后标准参考译文存疑、传统评估方法难辨缺陷的问题,本文提出构建“最优参考译文”的方法以提升人工翻译质量标准,并验证了其质量显著优于标准参考译文,明确了评估与翻译编辑的关联。
2024-03-08 cs.CL
Improving the Quality of MT Output using Novel Name Entity Translation Scheme
Banasthali University(巴纳斯塔利大学)
本文提出了一种新的方法来机器翻译结合最先进的名称实体翻译方案。名称实体翻译不当会降低机器翻译输出的质量。在这项工作中,名称实体的音译使用统计规则为基础的方法。本文描述了从英语到旁遮普语的名称实体的翻译和音译。我们已经对四种类型的名称实体进行了实验,它们是:专有名称,位置名称,组织名称和杂项。为了音节化的目的,已经建立了各种规则。名称实体的音译是在概率计算的帮助下完成的。使用统计机器翻译工具包MOSES计算了所提取音节的N-Gram概率。
2013-10-02 cs.CL
Evaluation of Chinese-English Machine Translation of Emotion-Loaded Microblog Texts: A Human Annotated Dataset for the Quality Assessment of Emotion Translation
University of Surrey(萨里大学);Xi’an International Studies University(西安外国语大学)
本文提出基于多维质量指标(MQM)的评估框架,分析谷歌翻译对情感负载微博文本的翻译质量,发现约50%的输出丢失原始情感,并识别出情感词、多义词、否定和缩写等主要错误来源。
2023-06-20 cs.CL
ReflectMT: Internalizing Reflection for Efficient and High-Quality Machine Translation
School of Informatics, Xiamen University, China(厦门大学信息学院);WeChat AI, Tencent Inc, China(腾讯公司微信AI部门)
ReflectMT通过强化学习提升机器翻译的反思与精炼能力,实现无需显式推理的高效高质量翻译,实验显示其在自动指标和GPT评估中优于多步推理模型。
2026-11-03 cs.CL
MMTE: Corpus and Metrics for Evaluating Machine Translation Quality of Metaphorical Language
The University of Sheffield(谢菲尔德大学);University of Waterloo(滑铁卢大学);UIBE(对外经济贸易大学);The University of Manchester(曼彻斯特大学)
本文针对机器翻译中比喻性语言质量评估缺失的问题,提出了一套人工评估指标和一个多语言平行隐喻语料库,从隐喻对等性、情感、真实性和质量四方面评估,发现比喻表达翻译与字面表达不同。
2024-11-08 cs.CL
The Fine-Tuning Paradox: Boosting Translation Quality Without Sacrificing LLM Abilities
Amazon AI(亚马逊人工智能);University of Amsterdam(阿姆斯特丹大学)
本文评估 LLaMA 与 Falcon 微调后的翻译能力,发现质量提升伴随可引导性、少样本技术翻译和文档级翻译退化,而加入单语数据可兼顾能力保持与质量增强。
2024-08-06 cs.CL
How Far Can Machine Translation Quality Take You? Extrinsic Discourse Evaluation in Goal-Oriented Setups
Language Technology Lab, University of Amsterdam(语言技术实验室,阿姆斯特丹大学)
研究机器翻译在静态和交互式目标导向任务中的外在话语评估,发现高内在翻译质量不能保证下游话语成功,且强系统仍存在指代不一致问题。
2026-06-16 cs.CL
Quality and Quantity of Machine Translation References for Automatic Metrics
ETH Zürich(苏黎世联邦理工学院);Charles University(查理大学)
本研究探讨机器翻译参考译文的质量与数量对自动评估指标的影响,发现高质量、多数量及混合不同质量的参考译文均可提升指标表现,并将预算约束下的参考译文收集构建为优化问题,为评估实践提供指导。
2024-04-10 cs.CL
Multilingual Neural Machine Translation with Deep Encoder and Multiple Shallow Decoders
Carnegie Mellon University(卡内基梅隆大学);Facebook AI(脸书人工智能研究院)
最近在多语言翻译方面的工作使用具有更大容量的深度Transformer模型,提高了翻译质量,超过了双语基线。然而,这种方法引入的额外延迟和存储器成本可能使其对于效率受限的应用不可接受。最近有研究表明,双语翻译使用深度编码器和浅层解码器(DESD)可以减少推理延迟,同时保持翻译质量,因此我们研究了多语言翻译的类似速度-准确性权衡。我们发现,对于多对一的翻译,我们确实可以使用这种方法在不牺牲质量的情况下提高解码器速度,但对于一对多的翻译,浅解码器会导致明显的质量下降。为了改善这种下降,我们提出了一个深编码器与多个浅解码器(DEMSD),其中每个浅解码器负责目标语言的不相交子集。具体而言,与标准Transformer模型相比,具有2层解码器的DEMSD模型能够获得平均1.8倍的加速,而不会降低翻译质量。
2022-06-05 cs.CL
Practical Perspectives on Quality Estimation for Machine Translation
Carnegie Mellon University(卡内基梅隆大学);Google, Inc.(谷歌公司)
用于机器翻译(MT)的句子级质量估计(QE)试图预测校正MT输出所需的后期编辑工作的翻译编辑率(TER)成本。我们描述了我们的观点,对企业层面的量化宽松所规定的几个实际设置中遇到的行业。我们发现MT输出的消费者-无论是人类还是算法-主要对二进制质量度量感兴趣:翻译的句子是否足够,还是需要后期编辑?出于这一动机,我们提出了一个质量分类(QC)的观点,在一个给定的阈值以上的精度,我们专注于最大限度地提高召回率。我们证明,虽然经典的QE回归模型在这项任务中表现不佳,但它们可以通过用二进制分类层替换输出回归层来重新利用,从而在90%的精度下实现50- 60%的召回率。对于一个高质量的机器翻译系统产生75- 80%的正确翻译,这确实承诺显着减少后期编辑工作。
2020-05-02 cs.CL
Improving the quality of Gujarati-Hindi Machine Translation through part-of-speech tagging and stemmer-assisted transliteration
Cummins College of Engineering for Women(卡明斯女子工程学院);Banasthali University(班纳斯塔利大学)
印度语言的机器翻译是一个新兴的研究领域。音译就是我们在设计翻译系统时设计的一个这样的模块。音译是指将源语言文本映射为目标语言。简单的映射降低了整个翻译系统的效率。我们建议使用词干和词性标注的音译。如果我们使用词性标记和词干辅助音译,翻译的有效性可以得到提高。我们已经表明,古吉拉特语的大部分内容在被翻译为印地语的过程中得到音译。
2013-07-12 cs.CL
A Rising Tide Lifts All Boats: MTQE Rewards for Idioms Improve General Translation Quality
UIUC(伊利诺伊大学香槟分校)
通过MTQE奖励机制提升模型对习语的翻译能力,显著改善一般翻译质量及跨语言翻译表现。
2026-01-09 cs.CL
Quality Estimation Of Machine Translation Outputs Through Stemming
Banasthali University(巴纳斯达利大学)
机器翻译是印度语言的挑战性问题。每天我们都能看到一些机器翻译器被开发出来,但获得高质量的自动翻译仍然是一个非常遥远的梦想。在本文中,我们强调英语-印地语语言对,为了保持正确的MT输出,我们提出了一个排名系统,它采用了一些机器学习技术和形态特征。在排名中,不需要人为干预。我们还通过与人类排名进行比较来验证我们的结果。
2014-07-10 cs.CL
Ensemble Fine-tuned mBERT for Translation Quality Estimation
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);IQVIA
质量评估(QE)是机器翻译工作流程的重要组成部分,因为它在不咨询参考译文的情况下评估翻译输出的质量。在本文中,我们讨论了我们对WMT 2021 QE共享任务的提交。我们参与了任务2的编辑水平子任务,该任务要求参与者预测编辑水平后期编辑工作的HTER分数。我们提出的系统是一个合奏的多语言BERT(mBERT)为基础的回归模型,这是通过微调不同的输入设置。它展示了与Pearson相关性相当的性能,并在几种语言对的MAE/ RMSE中击败了基线系统。此外,我们适应我们的系统的zero-shot设置利用目标语言相关的语言对和伪参考翻译。
2021-09-08 cs.CL
Fine-grained evaluation of Quality Estimation for Machine translation based on a linguistically-motivated Test Suite
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Common Sense Advisory (CSA Research)(常识咨询公司(CSA研究))
我们提出了另一种方法来评估质量估计系统,这是基于语言动机的测试套件。我们创建了一个由14个语言错误类别组成的测试集,并为每个类别收集了一组具有正确和错误翻译的样本。然后,我们通过检查它们区分正确和错误翻译的能力来衡量5个质量估计系统的性能。详细的结果更能说明每个系统的能力。事实上,不同的质量评估系统在不同的现象下表现不同,这证实了测试套件的有用性。
2019-10-16 cs.CL
PhoMT: A High-Quality and Large-Scale Benchmark Dataset for Vietnamese-English Machine Translation
VinAI Research(VinAI研究院)
我们介绍了一个高质量和大规模的越南语-英语并行数据集的3.02 M句子对,这是2.9 M对大于基准越南语-英语机器翻译语料库IWSLT 15。我们在我们的数据集上进行实验,比较强大的神经基线和知名的自动翻译引擎,并发现在自动和人工评估中:通过微调预训练的序列到序列去噪自动编码器mBART获得最佳性能。据我们所知,这是国内第一次大规模的越英机器翻译研究。我们希望我们公开的数据集和研究可以作为未来越南语-英语机器翻译研究和应用的起点。
2021-10-23 cs.CL
XQ-MEval: A Dataset with Cross-lingual Parallel Quality for Benchmarking Translation Metrics
Nara Institute of Science and Technology(奈良科学技术大学);Fudan University(复旦大学)
本文提出XQ-MEval数据集,通过注入错误并过滤生成伪翻译,评估翻译度量标准的跨语言评分偏见问题,提供了首个实证证据。
2026-04-19 cs.CL
Impact of Corpora Quality on Neural Machine Translation
Tilde(蒂尔德)
从网络、文档或其他地方自动获取的大型并行语料库通常会出现许多损坏的部分,这势必会对从这些语料库学习的系统和模型的质量产生负面影响。本文介绍了在数据中经常发现的问题以及这些数据对神经机器翻译系统的影响,以及如何识别和处理这些问题。解决方案总结在一组脚本中,从输入语料库中删除有问题的句子。
2018-10-19 cs.CL
Quality-Aware Decoding for Neural Machine Translation
Carnegie Mellon University(卡内基梅隆大学);Instituto Superior Técnico(高等技术学院);Instituto de Telecomunicações(电信研究所);INESC-ID(里斯本系统与计算机工程研究所);Unbabel
尽管近年来在机器翻译质量估计和评估方面取得了进展,但神经机器翻译(NMT)中的解码大多忽略了这一点,并且围绕着根据模型(MAP解码)找到最可能的翻译,近似于束搜索。在本文中,我们汇集了这两条线的研究,并提出了质量感知解码NMT,利用最近的突破,通过各种推理方法,如$N$ -最好的重新排序和最小贝叶斯风险解码的参考和基于参考的MT评估。我们在四个数据集和两个模型类中对各种可能的候选生成和排名方法进行了广泛的比较,发现质量感知解码始终优于基于MAP的解码,无论是根据最先进的自动度量(COMET和BLEURT)还是人工评估。我们的代码可在https://github.com/deep-spin/qaware-decode上获得。
2022-05-02 cs.CL
Alleviating Distribution Shift in Synthetic Data for Machine Translation Quality Estimation
National Key Laboratory for Novel Software Technology, Nanjing University, Nanjing, China(南京大学新型软件技术国家重点实验室);Huawei Translation Services Center, Beijing, China(华为翻译服务中心)
提出DCSQE框架,通过约束束搜索、多样生成模型及参考引导标注缓解合成QE数据分布偏移,在监督和无监督设置下超越SOTA基线。
2025-06-18 cs.CL
Gender Bias Amplification During Speed-Quality Optimization in Neural Machine Translation
Facebook AI(脸书人工智能研究院)
当神经机器翻译(NMT)模型针对速度进行优化并使用BLEU在通用测试集上进行评估时,偏差是否会被放大?我们研究了在基于Transformer的模型中常用的加速解码的架构和技术,例如贪婪搜索、量化、平均注意力网络(AAN)和浅层解码器模型,并展示了它们对性别名词翻译的影响。我们构建了一个新的性别偏见测试集,SimpleGEN,基于性别名词短语,其中有一个单一的,明确的,正确的答案。虽然我们在应用速度优化时发现整体BLEU性能下降最小,但我们观察到性别化名词翻译性能以更快的速度下降。
2021-06-01 cs.CL
Recurrent Stacking of Layers for Compact Neural Machine Translation Models
National Institute of Information and Communications Technology(信息通信研究机构)
在神经机器翻译(NMT)中,最常见的做法是在编码器和解码器中堆叠多个递归或前馈层。因此,添加每个新层都会显著提高翻译质量。然而,这也导致参数数量的显著增加。在本文中,我们建议在所有层之间共享参数,从而导致一个循环堆叠的NMT模型。我们的经验表明,一个模型的翻译质量,反复堆叠一个单一的层6倍,相当于一个模型的翻译质量,堆叠6个单独的层。我们还表明,使用伪平行语料库的回译导致进一步显着提高翻译质量。
2018-07-17 cs.CL
MQM-Chat: Multidimensional Quality Metrics for Chat Translation
Tohoku University(东北大学);RIKEN(理化学研究所);Future Corporation(未来公司);Machine Learning Solutions Inc.(机器学习解决方案公司);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出 MQM-Chat 多维质量度量,通过五个模型的实验揭示聊天翻译中遗漏、过度纠正和流行语等错误,强调风格化内容与对话一致性对评估和未来研究的重要性。
2025-02-02 cs.CL
MDQE: A More Accurate Direct Pretraining for Machine Translation Quality Estimation
评估机器翻译(MT)的结果是昂贵的,它通常需要人工翻译作为参考。机器翻译质量评估(QE)是指在不依赖任何参考的情况下,对机器翻译的质量进行预测的任务。最近,预测器-估计器框架的出现,其将预测器训练为特征提取器,将估计器训练为QE预测器,以及预训练的语言模型(PLM)已经实现了有希望的QE性能。然而,我们认为,在数据质量和训练目标方面,预测器和估计器之间仍然存在差距,这使得QE模型无法更直接地从大量平行语料库中受益。基于以前的相关工作,在一定程度上缓解了差距,我们提出了一个新的框架,提供了一个更准确的直接预训练QE任务。在这个框架中,生成器被训练来生成更接近真实QE数据的伪数据,估计器在这些数据上进行预训练,其目标与QE任务相同。在广泛使用的基准测试上的实验表明,我们提出的框架优于现有的方法,而不使用任何预训练模型,如BERT。
2022-04-18 cs.CL
How Does Distilled Data Complexity Impact the Quality and Confidence of Non-Autoregressive Machine Translation?
University of Maryland(马里兰大学);Microsoft Research Asia(微软亚洲研究院)
虽然非自回归(NAR)模型在机器翻译中显示出巨大的前景,但它们的使用受到其依赖于自回归模型的知识蒸馏的限制。为了解决这个问题,我们试图了解为什么蒸馏如此有效。先前的工作表明,提取的训练数据没有手动翻译复杂。基于Levenshtein Transformer和Mask-Predict NAR模型在WMT 14德-英任务上的实验,本文表明不同类型的复杂性具有不同的影响:虽然减少词汇多样性和降低重新排序复杂性都有助于NAR学习源和目标之间的更好对齐,从而提高翻译质量,但词汇多样性是蒸馏增加模型置信度的主要原因,这对不同NAR模型的校正有不同的影响。
2021-05-27 cs.CL
Watching the Watchers: Exposing Gender Disparities in Machine Translation Quality Estimation
Instituto de Telecomunicações(电信研究所);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学技术高等学院);Unbabel
本文首次系统研究机器翻译质量评估(QE)指标的性别偏见,发现其在性别未披露时偏向阳性屈折、惩罚中性表达,并在上下文消歧和下游数据过滤与解码中产生不利影响,呼吁开发以性别为中心的QE指标。
2025-06-02 cs.CL
Cross-lingual Human-Preference Alignment for Neural Machine Translation with Direct Quality Optimization
LILT;Amazon(亚马逊)
本文提出DQO方法,用预训练翻译质量估计模型替代人类偏好,并将DPO式对齐用于NMT,仅在部分语言上训练即可提升多语言模型的整体翻译质量。
2025-09-29 cs.CL
AR: Auto-Repair the Synthetic Data for Neural Machine Translation
Alibaba(阿里巴巴)
与仅使用有限的真实平行语料作为训练语料相比,许多研究已经证明,将通过回译(BT)或前向翻译(FT)生成的合成平行语料纳入NMT训练过程可以显著提高翻译质量。然而,作为一个众所周知的缺点,合成的并行数据是嘈杂的,因为它们是由一个不完美的NMT系统产生的。结果,由合成并行数据带来的翻译质量的改善被大大削弱。在本文中,我们提出了一种新的自动修复(AR)框架,以提高质量的合成数据。我们提出的AR模型可以学习从低质量(噪声)的输入句子的转换为高质量的句子的基础上大规模的单语数据与BT和FT技术。该AR模型能够有效地消除合成并行数据中的噪声,修复后的合成并行数据能够帮助NMT模型获得更大的改进。实验结果表明,该方法能有效提高合成并行数据的质量,修复后的合成数据在WMT 14 EN!DE和IWSLT 14 DE!EN翻译任务。
2020-04-05 cs.CL
Rethink about the Word-level Quality Estimation for Machine Translation from Human Judgement
Tencent Inc(腾讯公司)
机器翻译中的词级质量评估旨在发现译文中潜在的错误。通常,关于词级QE的传统工作被设计为根据编辑后的努力来预测翻译质量,其中,通过翻译出错率(TER)工具包比较MT句子和编辑后的句子之间的词来自动生成词标签(“OK”和“BAD”)。虽然编辑后的努力在一定程度上可以用来衡量翻译质量,但我们发现它通常与人类对单词翻译的好坏的判断相冲突。为了克服这一局限性,我们首先创建了一个黄金基准数据集,即\emph{HJQE}(Human Judgement on Quality Estimation),专家翻译人员直接对他们的判断进行注释。此外,为了进一步利用并行语料库,本文提出了自监督预训练的两种标签修正策略,即标签细化策略和基于树的标注策略,使基于TER的人工QE语料库更接近于\emph{HJQE}。我们进行了大量的实验的基础上公开可用的WMT En-De和En-Zh语料库。实验结果不仅表明我们提出的数据集更符合人类的判断,而且也证实了所提出的标签校正策略的有效性。\footnote{The data can be found at \url{https://github.com/ZhenYangIACAS/HJQE}.}
2022-09-13 cs.CL
Ensemble-based Transfer Learning for Low-resource Machine Translation Quality Estimation
Georgia Institute of Technology(佐治亚理工学院)
机器翻译的质量估计是对未知的机器翻译系统输出的译文进行质量评估的任务。然而,低资源语言的QE分数通常是棘手的,很难收集。在本文中,我们专注于句子级QE共享任务的第五届机器翻译会议(WMT 20),但在一个更具挑战性的设置。我们的目标是预测给定翻译输出的QE分数,而在训练过程中几乎没有给出配对语言的QE分数。我们提出了一个基于集成的预测-估计QE模型,通过利用其他杂项语言的QE分数和目标语言的翻译结果,利用迁移学习来克服QE数据稀缺的挑战。基于评估结果,我们提供了一个详细的分析,我们的每一个扩展如何影响QE模型的可靠性和泛化能力,在多语言任务下执行迁移学习。最后,我们在集成模型上实现了最佳性能,该集成模型结合了由单个语言预训练的模型以及不同级别的并行训练语料库,Pearson相关性为0.298,是基线的2.54倍。
2021-05-17 cs.CL
Data Augmentation for Low-Resource Neural Machine Translation
University of Amsterdam(阿姆斯特丹大学)
神经机器翻译系统的质量在很大程度上取决于大量并行语料库的可用性。对于低资源语言对,情况并非如此,导致翻译质量差。受计算机视觉工作的启发,我们提出了一种新的数据增强方法,该方法通过在新的合成创建的上下文中生成包含罕见单词的新句子对来针对低频单词。在模拟低资源设置上的实验结果表明,我们的方法比基线提高了2.9个BLEU点,比反向翻译提高了3.2个BLEU点。
2017-05-01 cs.CL
Exploiting Curriculum Learning in Unsupervised Neural Machine Translation
National Laboratory of Pattern Recognition, Institute of Automation, CAS(中国科学院自动化研究所模式识别国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
反向翻译(Back-translation,BT)已经成为无监督神经机器翻译(unsupervised neural machine translation,UNMT)的一个事实上的组成部分,它明确地赋予了UNMT翻译能力。然而,BT生成的所有伪双文本在优化过程中都被视为干净数据,没有考虑质量差异,导致收敛速度慢,翻译性能有限。为了解决这个问题,我们提出了一个课程学习方法,逐步利用伪双文本的质量的基础上,从多个粒度。具体来说,我们首先应用跨语言词嵌入来计算单语句子的潜在翻译难度(质量)。然后,这些句子从易到难一批一批地输入联合国布隆迪特派团。此外,考虑到特定批次中的句子/令牌的质量也是不同的,我们进一步采用模型本身来计算细粒度的质量分数,这些分数作为学习因素,以平衡计算损失时不同部分的贡献,并鼓励UNMT模型专注于更高质量的伪数据。在WMT 14 En-Fr、WMT 16 En-De、WMT 16 En-Ro和LDC En-Zh翻译任务上的实验结果表明,该方法具有更快的收敛速度,并取得了一致的改进。
2021-09-23 cs.CL
Consistent Human Evaluation of Machine Translation across Language Pairs
META AI;Johns Hopkins University(约翰斯·霍普金斯大学)
考虑到人类评估者之间的高度可变性,部分由于对不同语言对的翻译质量的主观期望,通过人类评估为机器翻译系统获得有意义的质量分数仍然是一个挑战。我们提出了一个新的度量标准,称为XSTS,更侧重于语义等价性和跨语言校准方法,使更一致的评估。我们证明了这些新的贡献,在大规模的评估研究,在多达14个语言对,翻译成和出英语的有效性。
2022-05-17 cs.CL
Regressive Ensemble for Machine Translation Quality Evaluation
Masaryk University(马萨里克大学)
这项工作介绍了一个简单的回归集成评估机器翻译质量的基础上,一组新的和既定的指标。我们使用与WMT 2021年研讨会基于专家的MQM分数的相关性来评估集成。在单语和zero-shot跨语言设置,我们表现出显着的性能改善,比单一指标。在跨语言环境中,我们还证明了集成方法非常适用于看不见的语言。此外,我们确定了一个强大的无参考基线,始终优于常用的BLEU和METEOR措施,并显着提高我们的合奏的性能。
2021-09-15 cs.CL
DirectQE: Direct Pretraining for Machine Translation Quality Estimation
Nanjing University(南京大学);Tencent AI Lab(腾讯AI实验室)
机器翻译质量评估(QE)是指在不依赖任何参考的情况下,对机器翻译的质量进行预测的任务。最近,预测器-估计器框架将预测器训练为特征提取器,其利用没有QE标签的额外并行语料库,实现了有希望的QE性能。然而,我们认为预测器和估计器在数据质量和训练目标方面都存在差距,这使得QE模型无法更直接地从大量平行语料库中受益。我们提出了一个新的框架称为DirectQE,提供了一个直接的预训练QE任务。在DirectQE中,生成器被训练以产生更接近真实QE数据的伪数据,并且检测器在这些数据上进行预训练,具有类似于QE任务的新目标。在广泛使用的基准测试上的实验表明,DirectQE优于现有的方法,而不使用任何预训练模型,如BERT。我们还进行了广泛的分析,说明如何解决这两个差距有助于我们的改进。
2021-05-15 cs.CL
Translation Quality Estimation using Recurrent Neural Network
CDAC Mumbai(孟买先进计算发展中心)
本文介绍了我们在第一届统计机器翻译会议(WMT 16)上提交的关于词/短语级质量估计(QE)的共享任务。共享任务的目的是预测给定单词/短语在给定句子中是否是正确/不正确(OK/BAD)的翻译。本文提出了一种基于循环神经网络语言模型(RNN-LM)结构的词级质量估计方法。已经发现RNN-LM在不同的自然语言处理(NLP)应用中非常有效。RNN-LM主要用于不同NLP问题的向量空间语言建模。为此,我们修改了RNN-LM的架构。修改后的系统预测槽中的标签(OK/BAD),而不是预测单词。系统的输入是一个单词序列,类似于标准的RNN-LM。该方法与语言无关,只需要QE的翻译文本。为了估计短语级质量,我们使用单词级QE系统的输出。
2016-10-21 cs.CL
Multilingual Neural Machine Translation with Task-Specific Attention
IBM Research AI(IBM研究院人工智能部门)
多语言机器翻译解决了在多个源语言和目标语言之间进行翻译的任务。我们提出了特定任务的注意力模型,这是一种简单但有效的技术,可以提高序列到序列的神经多语言翻译的质量。我们的方法旨在尽可能多地保留NMT模型的参数共享泛化,同时仍然允许将注意力模型针对特定语言对或任务进行语言特定的专业化。我们对四种语言的Europarl语料库的实验表明,使用特定于目标的注意力模型提供一致的收益,在翻译质量的所有可能的翻译方向,相比,所有参数共享的模型。我们观察到改进的翻译质量,即使在(极端)低资源的zero-shot翻译方向的模型从来没有看到明确配对的并行数据。
2018-06-08 cs.CL
Hindsight Quality Prediction Experiments in Multi-Candidate Human-Post-Edited Machine Translation
本文通过回顾实验探讨LLMs对机器翻译质量预测范式的影响,发现架构转变改变了预测方法的可靠性并缓解了文档级翻译的挑战。
2026-03-04 cs.CL
Neural versus Phrase-Based Machine Translation Quality: a Case Study
FBK(FBK(布鲁诺·凯斯勒基金会));University of Amsterdam(阿姆斯特丹大学)
在统计机器翻译(SMT)领域,神经方法(NMT)最近成为第一个能够挑战基于短语的方法(PBMT)长期主导地位的技术。特别是,在IWITH 2015年的评估活动中,NMT在英语-德语上的表现优于成熟的最先进的PBMT系统,由于词法和句法差异,英语-德语是一种特别困难的语言对。为了了解NMT在哪些方面提供了比PBMT更好的翻译质量,我们对神经与基于短语的SMT输出进行了详细的分析,利用专业翻译人员对IWITOS数据进行的高质量后期编辑。这是第一次,我们的分析提供了有用的见解,哪些语言现象最好由神经模型建模-例如动词的重新排序-同时指出了其他有待改进的方面。
2016-10-09 cs.CL
Beyond Scalar Scores: Reinforcement Learning for Error-Aware Quality Estimation of Machine Translation
Institute for People-Centred AI(以人为本的人工智能研究所);University of Surrey(塞弗尔大学);NICE Research Group(NICE研究组);University of Oslo(奥斯陆大学);Centre for Translation Studies(翻译研究中心)
本文提出ALOPE-RL框架,通过强化学习实现基于错误感知的机器翻译质量估计,在低资源语言上取得优异效果。
2026-02-09 cs.CL
TranslatePsy-AfriSLM: High-Quality Data Scaling For Low-Resource Machine Translation
Tether AI Research(泰瑟人工智能研究院)
针对非洲语言机器翻译的数字鸿沟问题,推出面向19种撒哈拉以南非洲语言的开源资源TranslatePsy-AfriSLM,经质量过滤后构建的小参数模型性能远超更大规模的同类系统。
2026-08-27 cs.CL
Quality-Aware Decoding: Unifying Quality Estimation and Decoding
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);SAP SE(SAP公司)
本文提出一种新颖的词元级单向QE模型,并将其直接集成到解码过程中实现质量感知解码,显著提升了翻译质量,尤其在文档翻译任务中表现优异。
2025-06-01 cs.CL
Two Intermediate Translations Are Better Than One: Fine-tuning LLMs for Document-level Translation Refinement
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Huawei Translation Services Center(华为翻译中心)
本文提出利用句子级和文档级两个中间翻译微调大语言模型进行文档级翻译精炼,并引入质量感知加权方法,在多个翻译任务上验证了其有效性。
2025-04-08 cs.CL
Intelligent Hybrid Man-Machine Translation Quality Estimation
Alexandria University(亚历山大大学);Microsoft Research(微软研究院)
与使用不适合实时应用(例如,后期编辑)的当前评估度量相比,基于人类判断推断评估分数是非常宝贵的。然而,与基于对比源文本和翻译文本的指标的评估相比,这些判断的收集成本要高得多,特别是从专家翻译人员那里收集。这项工作介绍了一种新的方法,质量估计相结合的概率推理模型的基础上人类的判断,选择性的语言特征为基础的分数,其中建议的推理模型推断的可信度,以解决人类判断的稀缺性和不一致的问题。实验结果,使用具有挑战性的语言对,表现出改善与人类的判断,传统的评价指标。
2013-07-07 cs.CL
Marian: Cost-effective High-Quality Neural Machine Translation in C++
Microsoft Translator(微软翻译);University of Edinburgh(爱丁堡大学)
本文介绍了“玛丽安”团队向WNMT 2018共享任务提交的内容。我们研究了师生培训、低精度矩阵乘积、自动调整和其他方法的组合,以优化GPU和CPU上的Transformer模型。通过将这些方法与新的平均注意力网络(最近推出的更快的Transformer变体)进一步集成,我们在GPU和CPU上创建了许多高质量,高性能的模型,主导了这个共享任务的帕累托前沿。
2018-05-30 cs.CL
Neural Reranking Improves Subjective Quality of Machine Translation: NAIST at WAT2015
Graduate School of Information Science(信息科学研究生院);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
奈良科学技术研究所(NAIST)今年向2015年亚洲翻译研讨会提交的论文是基于句法的统计机器翻译,并增加了使用神经注意力机器翻译模型的重新排序组件。实验再次证实了先前工作的结果,即神经MT重新排序在BLEU等客观评估措施中提供了很大的收益,并且首次证实了这些结果也可以用于手动评估。我们进一步对这种增长的原因进行了详细的分析,发现神经模型的主要贡献在于提高了输出的语法正确性,而不是提高了实词的词汇选择。
2015-10-18 cs.CL
Unsupervised Quality Estimation for Neural Machine Translation
University of Sheffield(谢菲尔德大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of Tartu(塔尔图大学);Imperial College London(帝国理工学院);Facebook AI
质量估计(QE)是使机器翻译(MT)在实际应用中有用的重要组成部分,因为它旨在在测试时告知用户MT输出的质量。现有的方法需要大量的专家注释的数据,计算和训练时间。作为替代方案,我们设计了一种无监督的QE方法,除了MT系统本身之外,不需要培训或获得额外的资源。不同于目前大多数的工作,把机器翻译系统作为一个黑盒子,我们探索有用的信息,可以从机器翻译系统作为翻译的副产品提取。通过采用不确定性量化的方法,我们实现了非常好的相关性与人类的质量判断,媲美国家的最先进的监督QE模型。为了评估我们的方法,我们收集了第一个数据集,该数据集支持对量化宽松的黑盒和玻璃盒方法进行研究。
2020-07-20 cs.CL
Achieving Human Parity on Automatic Chinese to English News Translation
Microsoft AI & Research(微软人工智能与研究部)
近年来,机器翻译取得了飞速的发展。如今,数百万人在在线翻译系统和移动应用程序中使用它,以便跨越语言障碍进行交流。自然会产生这样的问题,即这种系统是否可以接近或实现与人类翻译的平等。在本文中,我们首先解决的问题,如何定义和准确衡量翻译中的人类平等。然后,我们描述了微软的机器翻译系统,并在广泛使用的WMT 2017新闻翻译任务中测量其翻译质量。我们发现,我们最新的神经机器翻译系统已经达到了最先进的水平,与专业的人工翻译相比,翻译质量与人类不相上下。我们还发现,它大大超过了众包非专业翻译的质量。
2018-06-29 cs.CL