Quality Estimation with $k$-nearest Neighbors and Automatic Evaluation for Model-specific Quality Estimation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Technical University of Munich（慕尼黑工业大学）
提出基于$k$近邻的无监督特定模型质量估计方法$k$NN-QE，并设计了使用基于参考指标作为黄金标准的自动评估方法验证其有效性。
2024-04-27 cs.CL
Quality Estimation without Human-labeled Data
University of California Santa Barbara（加州大学圣巴巴拉分校）；Facebook AI（脸书人工智能）；Imperial College London（帝国理工学院）
质量评估的目的是在没有参考译文的情况下衡量翻译内容的质量。这对于需要高质量翻译的现实场景中的机器翻译系统至关重要。虽然存在许多用于质量估计的方法，但它们基于需要昂贵的人工标记数据的监督机器学习。作为一种替代方案，我们提出了一种技术，不依赖于人类注释的例子，而是使用合成的训练数据。我们在合成数据上训练了用于监督质量估计的现成架构，并表明所产生的模型在句子和单词级预测方面都实现了与在人类注释数据上训练的模型相当的性能。
2021-02-08 cs.CL
TransQuest: Translation Quality Estimation with Cross-lingual Transformers
University of Wolverhampton（伍尔弗汉普顿大学）；University of Surrey（萨里大学）
近年来，由于使用了基于神经的架构，在高级质量估计（QE）领域取得了很大的进步。然而，这些方法中的大多数仅适用于它们所训练的语言对，并且需要重新训练新的语言对。从技术的角度来看，这个过程可能很困难，并且通常在计算上很昂贵。在本文中，我们提出了一个简单的QE框架的基础上跨语言Transformers，我们用它来实现和评估两种不同的神经架构。我们的评估表明，当在WMT数据集上训练时，所提出的方法获得了最先进的结果，优于当前的开源质量估计框架。此外，该框架在迁移学习环境中非常有用，特别是在处理低资源语言时，使我们能够获得非常有竞争力的结果。
2020-11-04 cs.AI cs.CL cs.LG
Quality Estimation of Machine Translated Texts based on Direct Evidence from Training Data
本文提出利用机器翻译系统的训练平行语料库作为直接证据来估计翻译质量，实验表明该方法对纯数据驱动的机器翻译系统具有良好前景。
2023-06-27 cs.CL
Exploring Prediction Uncertainty in Machine Translation Quality Estimation
University of Sheffield（谢菲尔德大学）；University of Melbourne（墨尔本大学）
机器翻译质量评估是一项非常困难的任务，这降低了它在现实世界翻译环境中的实用性。如果质量预测伴随着不确定性的测量，这种情况可以得到改善。然而，在这个任务中的模型，传统上只评估的点估计指标，不考虑预测的不确定性。我们研究质量估计的概率方法，可以提供校准良好的不确定性估计，并根据其完整的后验预测分布对其进行评估。我们还展示了这种后验信息如何在不对称风险场景中发挥作用，该场景旨在捕捉翻译工作流程中的典型情况。
2016-06-30 cs.CL
Fine-grained evaluation of Quality Estimation for Machine translation based on a linguistically-motivated Test Suite
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Common Sense Advisory (CSA Research)（常识咨询公司（CSA研究））
我们提出了另一种方法来评估质量估计系统，这是基于语言动机的测试套件。我们创建了一个由14个语言错误类别组成的测试集，并为每个类别收集了一组具有正确和错误翻译的样本。然后，我们通过检查它们区分正确和错误翻译的能力来衡量5个质量估计系统的性能。详细的结果更能说明每个系统的能力。事实上，不同的质量评估系统在不同的现象下表现不同，这证实了测试套件的有用性。
2019-10-16 cs.CL
An Exploratory Analysis of Multilingual Word-Level Quality Estimation with Cross-Lingual Transformers
University of Wolverhampton（伍尔弗汉普顿大学）；University of Surrey（萨里大学）
大多数关于机器翻译词级质量评估的研究都集中在语言模型上。这些方法的明显缺点是，需要为每一对语言标记数据，以及维持几种特定语言的模型所需的高成本。为了克服这些问题，我们探索不同的方法来多语言，词级QE。我们表明，这些QE模型的表现与当前的语言特定的模型。在zero-shot和Few-Shot QE的情况下，我们证明了可以从在其他语言对上训练的模型中准确预测任何给定新语言对的单词级质量。我们的研究结果表明，我们在本文中提出的基于强大的预训练Transformers的单词级QE模型可以很好地概括各种语言，使它们在现实世界中更有用。
2021-05-31 cs.AI cs.CL cs.LG
Early-Exit and Instant Confidence Translation Quality Estimation
ETH Zurich（苏黎世联邦理工学院）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Heidelberg Institute for Theoretical Studies（海德堡理论研究所）；University of Cambridge（剑桥大学）
本文提出Instant Confidence COMET和Early-Exit COMET两种质量评估模型，通过早期退出和不确定性估计将计算成本降低50%，同时保持性能，并应用于机器翻译重排序和人工评估选择。
2025-07-07 cs.CL
Quality Estimation of English-Hindi Outputs using Naive Bayes Classifier
Banasthali University（班纳斯特利大学）
本文提出了一种评价机器翻译系统质量的方法。有各种方法来估计输出句子的质量，但在本文中，我们专注于朴素贝叶斯分类器建立模型，使用的特征是从输入句子中提取的。这些特征用于找到训练数据的每个句子的似然性，然后进一步用于确定测试数据的分数。基于这些分数，我们确定测试数据的类标签。
2013-12-27 cs.CL
Translation Quality Estimation using Recurrent Neural Network
CDAC Mumbai（孟买先进计算发展中心）
本文介绍了我们在第一届统计机器翻译会议（WMT 16）上提交的关于词/短语级质量估计（QE）的共享任务。共享任务的目的是预测给定单词/短语在给定句子中是否是正确/不正确（OK/BAD）的翻译。本文提出了一种基于循环神经网络语言模型（RNN-LM）结构的词级质量估计方法。已经发现RNN-LM在不同的自然语言处理（NLP）应用中非常有效。RNN-LM主要用于不同NLP问题的向量空间语言建模。为此，我们修改了RNN-LM的架构。修改后的系统预测槽中的标签（OK/BAD），而不是预测单词。系统的输入是一个单词序列，类似于标准的RNN-LM。该方法与语言无关，只需要QE的翻译文本。为了估计短语级质量，我们使用单词级QE系统的输出。
2016-10-21 cs.CL
Practical Perspectives on Quality Estimation for Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Google, Inc.（谷歌公司）
用于机器翻译（MT）的句子级质量估计（QE）试图预测校正MT输出所需的后期编辑工作的翻译编辑率（TER）成本。我们描述了我们的观点，对企业层面的量化宽松所规定的几个实际设置中遇到的行业。我们发现MT输出的消费者-无论是人类还是算法-主要对二进制质量度量感兴趣：翻译的句子是否足够，还是需要后期编辑？出于这一动机，我们提出了一个质量分类（QC）的观点，在一个给定的阈值以上的精度，我们专注于最大限度地提高召回率。我们证明，虽然经典的QE回归模型在这项任务中表现不佳，但它们可以通过用二进制分类层替换输出回归层来重新利用，从而在90%的精度下实现50- 60%的召回率。对于一个高质量的机器翻译系统产生75- 80%的正确翻译，这确实承诺显着减少后期编辑工作。
2020-05-02 cs.CL
QEMind: Alibaba's Submission to the WMT21 Quality Estimation Shared Task
Alibaba Group（阿里巴巴集团）
质量评估作为机器翻译质量控制的关键环节，已经被研究了很多年。我们的目标是调查自动方法来估计质量的机器翻译结果没有参考翻译。在今年的WMT QE共享任务中，我们利用大规模的XLM-Roberta预训练模型，并额外提出了几个有用的功能来评估翻译的不确定性，以构建我们的QE系统，名为\textit{QEMind}。该系统已被应用于直接评估的一级评分任务和要害差错检测的二进制分数预测任务。在本文中，我们提交了我们对WMT 2021 QE共享任务的提交，一组广泛的实验结果表明，我们的多语言系统在WMT 2020的直接评估QE任务中表现优于最好的系统。
2021-12-30 cs.CL
Ensemble Fine-tuned mBERT for Translation Quality Estimation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；IQVIA
质量评估（QE）是机器翻译工作流程的重要组成部分，因为它在不咨询参考译文的情况下评估翻译输出的质量。在本文中，我们讨论了我们对WMT 2021 QE共享任务的提交。我们参与了任务2的编辑水平子任务，该任务要求参与者预测编辑水平后期编辑工作的HTER分数。我们提出的系统是一个合奏的多语言BERT（mBERT）为基础的回归模型，这是通过微调不同的输入设置。它展示了与Pearson相关性相当的性能，并在几种语言对的MAE/ RMSE中击败了基线系统。此外，我们适应我们的系统的zero-shot设置利用目标语言相关的语言对和伪参考翻译。
2021-09-08 cs.CL
Intelligent Hybrid Man-Machine Translation Quality Estimation
Alexandria University（亚历山大大学）；Microsoft Research（微软研究院）
与使用不适合实时应用（例如，后期编辑）的当前评估度量相比，基于人类判断推断评估分数是非常宝贵的。然而，与基于对比源文本和翻译文本的指标的评估相比，这些判断的收集成本要高得多，特别是从专家翻译人员那里收集。这项工作介绍了一种新的方法，质量估计相结合的概率推理模型的基础上人类的判断，选择性的语言特征为基础的分数，其中建议的推理模型推断的可信度，以解决人类判断的稀缺性和不一致的问题。实验结果，使用具有挑战性的语言对，表现出改善与人类的判断，传统的评价指标。
2013-07-07 cs.CL
Physician Detection of Clinical Harm in Machine Translation: Quality Estimation Aids in Reliance and Backtranslation Identifies Critical Errors
University of California, Berkeley（加州大学伯克利分校）；University of Maryland（马里兰大学）；University of California, San Francisco（加州大学旧金山分校）
本文通过模拟急诊医疗决策的人体研究，对比质量估计与回译两种干预对医生使用机器翻译的影响，发现质量估计提升适当依赖，而回译更有助于识别QE常遗漏的临床有害错误。
2023-10-25 cs.CL cs.HC
Quality Estimation Of Machine Translation Outputs Through Stemming
Banasthali University（巴纳斯达利大学）
机器翻译是印度语言的挑战性问题。每天我们都能看到一些机器翻译器被开发出来，但获得高质量的自动翻译仍然是一个非常遥远的梦想。在本文中，我们强调英语-印地语语言对，为了保持正确的MT输出，我们提出了一个排名系统，它采用了一些机器学习技术和形态特征。在排名中，不需要人为干预。我们还通过与人类排名进行比较来验证我们的结果。
2014-07-10 cs.CL
IntelliCAT: Intelligent Machine Translation Post-Editing with Quality Estimation and Translation Suggestion
Bering Lab（贝林实验室）；Sungkyunkwan University（成均馆大学）
我们提出了IntelliCAT，一个具有神经模型的交互式翻译界面，可以简化机器翻译输出的后期编辑过程。我们利用两个不同粒度的质量估计（QE）模型：句子级QE，预测每个机器翻译句子的质量，单词级QE，定位机器翻译句子中需要纠正的部分。此外，我们引入了一个新的翻译建议模型的条件下，左，右的上下文，提供替代特定的单词或短语进行更正。最后，通过单词对齐，IntelliCAT自动在翻译文档中保留原始文档的样式。实验结果表明，基于质量评价和翻译建议的译后编辑能显著提高译文质量。此外，一项用户研究表明，IntelliCAT中提供的三个功能显着加快了后期编辑任务，与从头开始翻译相比，翻译时间加快了52.9%。该接口可在www.example.com上公开获得。
2021-05-25 cs.CL
Domain-Specific Quality Estimation for Machine Translation in Low-Resource Scenarios
Institute for People-Centred AI, University of Surrey（萨里大学以人为本人工智能研究所）
本文提出ALOPE框架，通过低秩适应提升领域特定机器翻译低资源场景下的质量估计性能，尤其在语义复杂领域表现更优。
2026-03-07 cs.AI cs.CL cs.LG
Unsupervised Translation Quality Estimation Exploiting Synthetic Data and Pre-trained Multilingual Encoder
Ehime University（爱媛大学）；National Institute of Information and Communications Technology（国立情报学通信技术研究所）
针对翻译质量估计（TQE）监督训练数据成本高的问题，研究将合成数据与预训练多语言编码器用于无监督句子级TQE，实验证明该方法在多类资源翻译方向的相关预测中优于现有无监督方法。
2023-11-09 cs.CL
SpeechQE: Estimating the Quality of Direct Speech Translation
University of Maryland（马里兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对语音翻译质量估计研究不足的问题，该工作定义SpeechQE任务、构建基准，提出利用预训练文本LLM的端到端系统，验证其优于级联文本质量估计系统，并发布数据模型推动相关研究。
2024-10-28 cs.CL
DirectQE: Direct Pretraining for Machine Translation Quality Estimation
Nanjing University（南京大学）；Tencent AI Lab（腾讯AI实验室）
机器翻译质量评估（QE）是指在不依赖任何参考的情况下，对机器翻译的质量进行预测的任务。最近，预测器-估计器框架将预测器训练为特征提取器，其利用没有QE标签的额外并行语料库，实现了有希望的QE性能。然而，我们认为预测器和估计器在数据质量和训练目标方面都存在差距，这使得QE模型无法更直接地从大量平行语料库中受益。我们提出了一个新的框架称为DirectQE，提供了一个直接的预训练QE任务。在DirectQE中，生成器被训练以产生更接近真实QE数据的伪数据，并且检测器在这些数据上进行预训练，具有类似于QE任务的新目标。在广泛使用的基准测试上的实验表明，DirectQE优于现有的方法，而不使用任何预训练模型，如BERT。我们还进行了广泛的分析，说明如何解决这两个差距有助于我们的改进。
2021-05-15 cs.CL
Quality-Aware Decoding: Unifying Quality Estimation and Decoding
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；SAP SE（SAP公司）
本文提出一种新颖的词元级单向QE模型，并将其直接集成到解码过程中实现质量感知解码，显著提升了翻译质量，尤其在文档翻译任务中表现优异。
2025-06-01 cs.CL
Unsupervised Quality Estimation for Neural Machine Translation
University of Sheffield（谢菲尔德大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Tartu（塔尔图大学）；Imperial College London（帝国理工学院）；Facebook AI
质量估计（QE）是使机器翻译（MT）在实际应用中有用的重要组成部分，因为它旨在在测试时告知用户MT输出的质量。现有的方法需要大量的专家注释的数据，计算和训练时间。作为替代方案，我们设计了一种无监督的QE方法，除了MT系统本身之外，不需要培训或获得额外的资源。不同于目前大多数的工作，把机器翻译系统作为一个黑盒子，我们探索有用的信息，可以从机器翻译系统作为翻译的副产品提取。通过采用不确定性量化的方法，我们实现了非常好的相关性与人类的质量判断，媲美国家的最先进的监督QE模型。为了评估我们的方法，我们收集了第一个数据集，该数据集支持对量化宽松的黑盒和玻璃盒方法进行研究。
2020-07-20 cs.CL
Zero-Shot Translation Quality Estimation with Explicit Cross-Lingual Patterns
The University of Sydney（悉尼大学）；Nagoya University（名古屋大学）
本文介绍了我们提交的WMT 2020句子水平直接评估，质量评估（QE）共享任务。在本研究中，我们经验性地揭示了直接采用BERTScore进行量化评估时的\textit{mismatching issue}。具体而言，在具有标记对相似度的翻译候选句和源句之间存在大量的不匹配错误。针对这一问题，我们提出了明确的跨语言模式，\textit{e.g.}词对齐和生成分数，我们提出的zero-shot模型。实验表明，我们提出的QE模型与明确的跨语言模式可以减轻不匹配的问题，从而提高性能。令人鼓舞的是，我们的zero-shot QE方法可以实现与监督QE方法相当的性能，甚至在6个方向中的2个方向上优于监督QE方法。我们希望我们的工作可以阐明zero-shot QE模型的改进。
2020-10-10 cs.CL
Rethink about the Word-level Quality Estimation for Machine Translation from Human Judgement
Tencent Inc（腾讯公司）
机器翻译中的词级质量评估旨在发现译文中潜在的错误。通常，关于词级QE的传统工作被设计为根据编辑后的努力来预测翻译质量，其中，通过翻译出错率（TER）工具包比较MT句子和编辑后的句子之间的词来自动生成词标签（“OK”和“BAD”）。虽然编辑后的努力在一定程度上可以用来衡量翻译质量，但我们发现它通常与人类对单词翻译的好坏的判断相冲突。为了克服这一局限性，我们首先创建了一个黄金基准数据集，即\emph{HJQE}（Human Judgement on Quality Estimation），专家翻译人员直接对他们的判断进行注释。此外，为了进一步利用并行语料库，本文提出了自监督预训练的两种标签修正策略，即标签细化策略和基于树的标注策略，使基于TER的人工QE语料库更接近于\emph{HJQE}。我们进行了大量的实验的基础上公开可用的WMT En-De和En-Zh语料库。实验结果不仅表明我们提出的数据集更符合人类的判断，而且也证实了所提出的标签校正策略的有效性。\footnote{The data can be found at \url{https://github.com/ZhenYangIACAS/HJQE}.}
2022-09-13 cs.CL
Tailoring Domain Adaptation for Machine Translation Quality Estimation
Tilburg University（蒂尔堡大学）
本文提出结合领域自适应与数据增强的质量估计方法，通过先训练通用模型再在特定领域微调，缓解数据稀缺和领域不匹配，显著提升跨语言推理和零样本性能。
2023-05-09 cs.CL
UAlacant machine translation quality estimation at WMT 2018: a simple approach using phrase tables and feed-forward neural networks
Universitat d’Alacant（阿利坎特大学）
我们描述了Universitat d'Alacant提交给WMT 2018的单词和词典级机器翻译（MT）质量评估（QE）共享任务。我们的方法词级MT QE建立在以前的工作，标记的话在机器翻译的句子作为\textit{OK}或\textit{BAD}，并扩展到确定是否一个词或一系列的话需要插入在每个字后的间隙。我们的文档级提交只是使用词级方法预测的编辑操作来近似TER。所提出的方法在识别六个数据集中的三个数据集的间隙中的插入的子任务中排名第一，在其余数据集中排名第二。
2018-11-06 cs.CL
Reference-less Quality Estimation of Text Simplification Systems
Facebook AI Research（脸书人工智能研究院）；Inria（法国国家信息与自动化研究所）
文本简化（TS）系统的评估仍然是一个开放的挑战。由于任务与机器翻译（MT）具有共同点，因此TS通常使用诸如BLEU的MT度量来评估。然而，这样的度量需要高质量的参考数据，这对于TS是很少可用的。翻译支持系统的优势在于它是一个单语任务，可以在简化文本和原始文本之间进行直接比较。在本文中，我们基于QATS 2016共享任务所用的数据集，比较了多种方法来评估无参考的文本简化系统的质量。我们区分三个不同的维度：语法性，意义保存和简单。我们发现，基于n元语法的MT指标，如BLEU和METEOR与人类对语法性和意义保留的判断相关性最大，而简单性最好由基于长度的基本指标评估。
2019-01-30 cs.CL
Ensembling Factored Neural Machine Translation Models for Automatic Post-Editing and Quality Estimation
ADAPT Centre（ADAPT中心）；Dublin City University（都柏林城市大学）
本文提出了一种基于神经机器翻译（NMT）系统的自动后期编辑（APE）和词级质量估计（QE）的新方法。已被证明对QE有效的词级特征被包括作为输入因素，扩展了原始源和机器翻译假设的表示，其用于生成自动编辑后的假设。我们训练了一套NMT模型，这些模型使用不同的输入表示，但共享相同的输出空间。然后，将这些模型组合在一起，并针对APE和QE任务进行调整。因此，我们试图在一个单一的框架内连接国家的最先进的方法，以APE和QE。我们的模型在这两项任务中都取得了最先进的结果，唯一的区别在于调整步骤，即学习集合中每个组件的权重。
2017-07-15 cs.CL
MDQE: A More Accurate Direct Pretraining for Machine Translation Quality Estimation
评估机器翻译（MT）的结果是昂贵的，它通常需要人工翻译作为参考。机器翻译质量评估（QE）是指在不依赖任何参考的情况下，对机器翻译的质量进行预测的任务。最近，预测器-估计器框架的出现，其将预测器训练为特征提取器，将估计器训练为QE预测器，以及预训练的语言模型（PLM）已经实现了有希望的QE性能。然而，我们认为，在数据质量和训练目标方面，预测器和估计器之间仍然存在差距，这使得QE模型无法更直接地从大量平行语料库中受益。基于以前的相关工作，在一定程度上缓解了差距，我们提出了一个新的框架，提供了一个更准确的直接预训练QE任务。在这个框架中，生成器被训练来生成更接近真实QE数据的伪数据，估计器在这些数据上进行预训练，其目标与QE任务相同。在广泛使用的基准测试上的实验表明，我们提出的框架优于现有的方法，而不使用任何预训练模型，如BERT。
2022-04-18 cs.CL
"A Little is Enough": Few-Shot Quality Estimation based Corpus Filtering improves Machine Translation
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本文提出基于QE的伪平行语料过滤方法，并通过少样本迁移学习以500条实例训练QE，显著提升多语言机器翻译性能。
2023-06-06 cs.CL
Ensemble-based Transfer Learning for Low-resource Machine Translation Quality Estimation
Georgia Institute of Technology（佐治亚理工学院）
机器翻译的质量估计是对未知的机器翻译系统输出的译文进行质量评估的任务。然而，低资源语言的QE分数通常是棘手的，很难收集。在本文中，我们专注于句子级QE共享任务的第五届机器翻译会议（WMT 20），但在一个更具挑战性的设置。我们的目标是预测给定翻译输出的QE分数，而在训练过程中几乎没有给出配对语言的QE分数。我们提出了一个基于集成的预测-估计QE模型，通过利用其他杂项语言的QE分数和目标语言的翻译结果，利用迁移学习来克服QE数据稀缺的挑战。基于评估结果，我们提供了一个详细的分析，我们的每一个扩展如何影响QE模型的可靠性和泛化能力，在多语言任务下执行迁移学习。最后，我们在集成模型上实现了最佳性能，该集成模型结合了由单个语言预训练的模型以及不同级别的并行训练语料库，Pearson相关性为0.298，是基线的2.54倍。
2021-05-17 cs.CL
QUAK: A Synthetic Quality Estimation Dataset for Korean-English Neural Machine Translation
Korea University（高丽大学）；Upstage
随着神经机器翻译的重要性日益凸显，质量估计（QE）的研究也在稳步推进。QE旨在自动预测机器翻译（MT）输出的质量，而不需要参考句子。尽管在现实世界中具有很高的实用性，但手动QE数据创建仍然存在一些限制：由于需要翻译专家，不可避免地产生了不小的成本，以及数据扩展和语言扩展的问题。为了解决这些限制，我们提出了QUAK，一个以全自动方式生成的韩国-英语合成QE数据集。这包括三个子QUAK数据集QUAK-M，QUAK-P和QUAK-H，通过三种相对不受语言限制的策略产生。由于每种策略都不需要人工操作，这有利于可扩展性，因此我们将QUAK-P，H的数据扩展到1.58 M，QUAK-M的数据扩展到6.58 M。作为一个实验，我们在进行统计分析的同时，以各种方式定量分析单词级别的QE结果。此外，我们表明，以有效的方式扩展的数据集也有助于提高性能，通过观察QUAK-M，P中有意义的性能增益时，添加数据高达1.58 M。
2022-11-29 cs.CL
Perturbation-based QE: An Explainable, Unsupervised Word-level Quality Estimation Method for Blackbox Machine Translation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对有监督QE依赖标注且无监督方法常需白盒访问或并行数据的问题，提出基于扰动输入的无监督词级QE，可解释并适用于黑盒MT与LLM。
2023-07-13 cs.CL
Classification-based Quality Estimation: Small and Efficient Models for Real-world Applications
Johns Hopkins University（约翰斯·霍普金斯大学）；Twitter Cortex（推特皮层）；Facebook AI（脸书人工智能研究院）；Imperial College London（伦敦帝国理工学院）
机器翻译的句子级质量估计（QE）传统上被表述为回归任务，并且QE模型的性能通常通过与人类标签的Pearson相关性来测量。最近的QE模型已经实现了与人类判断的前所未有的相关性，但它们依赖于大型多语言上下文语言模型，这些模型在计算上是昂贵的，并且对于现实世界的应用来说是不可行的。在这项工作中，我们评估了几个模型压缩技术的量化宽松，并发现，尽管他们在其他NLP任务的普及，他们导致在这个回归设置的性能不佳。我们观察到，在回归任务中需要完整的模型参数化来实现SoTA结果。然而，我们认为，在一个连续的范围内的模型的表现力水平是不必要的下游应用的QE，并表明，重新定义QE作为一个分类问题和评估QE模型使用分类指标将更好地反映其在现实世界中的应用的实际表现。
2021-09-17 cs.CL
Verdi: Quality Estimation and Error Detection for Bilingual Corpora
University of Alberta（阿尔伯塔大学）；Tencent（腾讯）
翻译质量评估对于减少机器翻译中的后期编辑工作和跨语言语料库清理至关重要。作为一个研究问题，质量评估（QE）的目的是直接估计翻译的质量在一个给定的对源和目标的句子，并突出需要更正的单词，而不参考黄金翻译。在本文中，我们提出了威尔第，一个新的框架，词级和双语语料库的编辑后工作量估计。Verdi采用了两个词预测器来从一对句子中提取不同的特征，用于后续的质量估计，包括基于变换器的神经机器翻译（NMT）模型和预训练的跨语言语言模型（XLM）。我们利用双语语料库的对称性，并在NMT预测器中应用模型级双重学习，该预测器同时处理原始任务和双重任务，并进行权重共享，从而比单向NMT模型具有更强的上下文预测能力。通过利用双重学习方案，我们进一步设计了一个新的功能，直接编码翻译的目标信息，而不依赖于源上下文。在WMT20 QE任务上进行的大量实验表明，我们的方法击败了竞争对手，并大大优于其他基线方法。我们进一步使用Verdi提供的分级分数来清理并行语料库，并观察模型性能和训练效率的好处。
2021-09-03 cs.AI cs.CL
Watching the Watchers: Exposing Gender Disparities in Machine Translation Quality Estimation
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学技术高等学院）；Unbabel
本文首次系统研究机器翻译质量评估（QE）指标的性别偏见，发现其在性别未披露时偏向阳性屈折、惩罚中性表达，并在上下文消歧和下游数据过滤与解码中产生不利影响，呼吁开发以性别为中心的QE指标。
2025-06-02 cs.CL
Computer Assisted Translation with Neural Quality Estimation and Automatic Post-Editing
Alibaba Group Inc.（阿里巴巴集团有限公司）
随着神经机器翻译的出现，已经出现了向利用和消费机器翻译结果的显著转变。然而，机器翻译系统和人工翻译之间的差距需要通过后期编辑手动弥合。在本文中，我们提出了一个端到端的深度学习框架，用于机器翻译输出的质量评估和自动后期编辑。我们的目标是提供纠错建议，并通过可解释的模型进一步减轻翻译人员的负担。为了模仿人类译者的行为，我们设计了三个高效的委托模块--质量评估、生成式后编辑和原子操作后编辑，并基于它们构建了一个分层模型。我们使用WMT 2017 APE共享任务的英语-德语数据集来检验这种方法，我们的实验结果可以达到最先进的性能。我们还验证了认证的翻译人员可以显着加快他们的编辑后处理与我们的模型在人类评估。
2020-09-28 cs.AI cs.CL
Penalizing Length: Uncovering Systematic Bias in Quality Estimation Metrics
Carnegie Mellon University（卡内基梅隆大学）；Google（谷歌）；Google DeepMind（谷歌DeepMind）
研究揭示了质量估计指标在翻译长度上的系统性偏差，指出长度偏差可能导致对长译文的不公平惩罚，并通过长度归一化训练方法改进了指标的可靠性。
2026-08-11 cs.CL
Quality-Aware Translation Models: Efficient Generation and Quality Estimation in a Single Model
Google（谷歌）；Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对现有质量感知解码需额外模型计算效用函数、成本高的问题，提出训练NMT模型自身评估输出质量的方法，可大幅提升MBR解码速度，还能在单遍解码效率下实现媲美甚至优于质量重排序的质量增益。
2024-07-11 cs.AI cs.CL
ChrEnTranslate: Cherokee-English Machine Translation Demo with Quality Estimation and Corrective Feedback
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
我们介绍ChrEnTranslate，一个在线机器翻译演示系统，用于英语和濒危语言切罗基语之间的翻译。它支持统计和神经翻译模型，并提供质量评估以告知用户可靠性，分别为专家和普通用户提供两个用户反馈界面，收集单语数据的人工翻译的示例输入，单词对齐可视化以及Cherokee-English词典中的相关术语。定量评估表明，我们的骨干翻译模型达到了最先进的翻译性能，我们的质量评估与BLEU和人类判断都有很好的相关性。通过分析216条专家反馈，我们发现NMT是更好的，因为它比SMT复制少，而且，一般来说，目前的模型可以翻译源句子的片段，但会犯重大错误。当我们将这216个专家校正的平行文本添加回训练集并重新训练模型时，观察到相同或略好的性能，这表明了人在回路学习的潜力。我们的在线演示在https://chren.cs.unc.edu/，我们的代码在https://github.com/ZhangShiyue/ChrEnTranslate开源，我们的数据在https：//github.com/ZhangShiyue/ChrEn
2021-08-02 cs.AI cs.CL
Beyond Glass-Box Features: Uncertainty Quantification Enhanced Quality Estimation for Neural Machine Translation
Alibaba Group（阿里巴巴集团）；College of Computer Science, Zhejiang University（浙江大学计算机科学与技术学院）
质量评估在机器翻译的应用中起着至关重要的作用。传统上，QE系统接受来自黑盒MT系统的原始源文本和翻译作为输入。近年来，有研究表明，量化引擎作为翻译的副产品，得益于翻译源机器翻译系统的模型和训练数据信息，被称为“玻璃盒子量化引擎”。本文将“玻璃盒QE”的定义推广到一般的不确定性量化，并设计了“黑箱”和“玻璃盒”两种方法，为改进QE的性能进行了新的尝试。我们提出了一个框架，融合不确定性量化的特征工程到一个预先训练的跨语言语言模型，以预测翻译质量。实验结果表明，该方法在WMT 2020 QE共享任务数据集上取得了较好的性能.
2021-09-15 cs.AI cs.CL
Textual Similarity as a Key Metric in Machine Translation Quality Estimation
University of Tübingen（蒂宾根大学）；Stuttgart University（斯图加特大学）
本文提出以文本相似性作为机器翻译质量评估新指标，利用句子变换器与余弦相似度，并在MLQE-PE数据集上证明其预测人工评分优于hter等传统指标。
2024-07-01 cs.AI cs.CL
Introducing Quality Estimation to Machine Translation Post-editing Workflow: An Empirical Study on Its Usefulness
The Hong Kong Polytechnic University（香港理工大学）；Guangdong University of Foreign Studies（广东外语外贸大学）
本文通过实证研究考察句子级质量估计在英汉机器翻译译后编辑中的实用性，发现QE能显著缩短译后编辑时间，且在不同机器翻译质量和译者专长水平下均一致有效，同时揭示了QE的多重功能及其准确性不足时的潜在阻碍作用。
2025-07-22 cs.CL cs.HC
MTQE.en-he: Machine Translation Quality Estimation for English-Hebrew
Independent Researcher（独立研究者）；Lexicala
本文提出MTQE.en-he基准测试，通过集成多个模型提升机器翻译质量估计效果，并发现参数高效方法在训练稳定性与性能提升方面表现更优。
2026-02-06 cs.AI cs.CL
Better Quality Estimation for Low Resource Corpus Mining
Boston University（波士顿大学）
质量评估（QE）模型有可能改变我们评估甚至训练机器翻译模型的方式。然而，这些模型仍然缺乏实现普遍采用的鲁棒性。我们表明，国家的最先进的QE模型，在并行语料库挖掘（PCM）设置测试时，执行意外的坏，由于缺乏鲁棒性域外的例子。我们提出了多任务训练，数据增强和对比学习的组合，以实现更好，更强大的QE性能。我们表明，我们的方法提高QE性能显着的MLQE的挑战和QE模型的鲁棒性时，在并行语料库挖掘设置测试。我们将PCM的准确性提高了0.80以上，使其与使用数百万个句子对来训练模型的最先进的PCM方法不相上下。相比之下，我们使用了千分之一的数据，总共7K个并行句子，并提出了一种新的低资源PCM方法。
2022-03-15 cs.AI cs.CL
Toward domain-specific machine translation and quality estimation systems
Tilburg University（蒂尔堡大学）；Dublin City University（都柏林城市大学）；Università di Napoli L’Orientale（那不勒斯东方大学）；Ghent University（根特大学）；Leiden University（莱顿大学）
本文研究如何通过数据聚焦贡献适应机器翻译和质量估计系统到特定领域，提出数据选择、质量估计训练流水线、子词分词与词汇作用及基于质量估计的上下文学习方法，提升领域适应性能。
2026-03-26 cs.AI cs.CL
Unsupervised Word-level Quality Estimation for Machine Translation Through the Lens of Annotators (Dis)agreement
CLCG, University of Groningen（格罗宁根大学认知语言学与认知科学研究中心）；ETH Zurich（苏黎世联邦理工学院）
针对机器翻译词级质量估计（WQE）现有技术成本高的问题，本研究提出利用语言模型可解释性与不确定性量化的无监督替代方案，经多标签评估发现其未开发潜力，同时揭示了监督方法在标签不确定性下的不足及单一标注者评估的脆弱性。
2025-05-29 cs.AI cs.CL cs.HC
Revisiting Round-Trip Translation for Quality Estimation
Naver Papago
质量评估（QE）是在没有人工翻译参考的情况下自动评估翻译质量的任务。计算输入句子和往返翻译（RTT）之间的BLEU曾经被认为是QE的一个指标，然而，它被发现是一个差的翻译质量预测。最近，各种预先训练的语言模型通过提供语义上有意义的单词和句子嵌入在NLP任务中取得了突破。在本文中，我们采用语义嵌入RTT为基础的QE。与之前提交的WMT 2019质量估计指标任务相比，我们的方法与人类判断的相关性最高。虽然向后翻译模型可以是一个缺点，当使用RTT，我们观察到，语义级的指标，基于RTT的QE是强大的向后翻译系统的选择。此外，所提出的方法在SMT和NMT前向翻译系统中表现出一致的性能，这意味着该方法不会惩罚某种类型的模型。
2020-04-29 cs.CL cs.LG
Dialogue-adaptive Language Model Pre-training From Quality Estimation
Shanghai Jiao Tong University（上海交通大学）
预训练语言模型（Pre-trained language models，PrLM）凭借其在大规模语料库上通过自监督学习获得的通用语言表示能力，在广泛的自然语言处理任务中取得了巨大的成功。这些模型是在具有一般语言模型（LM）训练目标的标准纯文本上预训练的，这将不足以对这些任务中反映的对话专有属性（如特异性和信息性）进行建模，这些对话专有属性未被预训练的通用语言表示明确捕获。在这项工作中，我们提出了对话自适应预训练目标（DAPO）来自质量估计模拟对话特定的功能，即连贯性，特异性和信息量。作为模型预训练的基础，我们合成了一个新的对话语料库，并使用两种无监督的方法来建立我们的训练集：1）面向连贯性的语境破坏，包括话语排序，插入和替换，以帮助模型捕获对话语境中的连贯性; 2）面向特异性的自动重评分，这鼓励模型通过考虑特异性和信息量来测量用于对话自适应预训练的合成数据的质量。在广泛使用的开放域响应选择和质量估计基准上的实验结果表明，DAPO显著改善了基线模型，并在Mutual排行榜上实现了最先进的性能，验证了将质量评估因素估计到预训练中的有效性。
2022-10-20 cs.CL cs.LG
Construction of a Quality Estimation Dataset for Automatic Evaluation of Japanese Grammatical Error Correction
Tokyo Metropolitan University（东京都立大学）；RIKEN（理化学研究所）
在语法错误纠正中，自动评价是语法错误纠正系统研究和开发的一个重要因素。以往的自动评测研究表明，在不使用参考语句的情况下，基于人工评测的数据集构建的质量估计模型可以实现高性能的英语GEC自动评测。然而，质量估计模型尚未在日本进行研究，因为没有数据集用于构建质量估计模型。因此，在这项研究中，我们创建了一个质量估计数据集与手动评估，建立一个自动评估模型，为日本GEC。此外，我们进行了元评估，以验证数据集的有用性，在建立日本的质量估计模型。
2022-01-20 cs.CL
DeepSubQE: Quality estimation for subtitle translations
Prime Video
由于自然语言的许多方面，如释义、风格、语法等的变化，涉及语言数据的任务的质量估计（QE）是困难的。根据手头的应用程序，可以有具有不同可接受程度的多个答案。在这项工作中，我们着眼于估计视频字幕的翻译质量。我们展示了现有的QE方法是如何不足的，并提出了我们的方法DeepSubQE作为一个系统来估计一对语言的字幕数据的翻译质量。我们依靠各种数据增强策略进行自动标记和合成训练。我们创建了一个混合网络，它学习双语数据的语义和语法特征，并将其与仅LSTM和仅CNN网络进行比较。我们提出的网络远远优于它们。
2020-04-22 cs.CL cs.LG stat.ML
Sentence Level Human Translation Quality Estimation with Attention-based Neural Networks
Nanjing University of Information Science and Technology（南京信息工程大学）；University of Leeds（利兹大学）
本文探讨了使用深度学习方法来自动评估人工翻译的质量。自动评估可以为翻译教学、考试和质量控制提供有用的反馈。解决此任务的传统方法依赖于手动设计的特征和外部知识。本文提出了一个端到端的神经模型，没有特征工程，结合交叉注意力机制，以检测句子对中的部分是最相关的质量评估。另一个贡献是预测用于衡量翻译质量不同方面的细粒度分数。在一个大型人类注释数据集上的实验结果表明，神经模型的性能明显优于基于特征的方法。数据集和工具可用。
2020-03-13 cs.CL
On Efficient and Statistical Quality Estimation for Data Annotation
TU Darmstadt（达姆施塔特工业大学）；Apple（苹果公司）
本文针对数据标注质量估计的样本量确定问题，提出利用置信区间计算最小样本量，并引入验收抽样作为错误率估计的替代方案，在保证相同统计保证的前提下可将所需样本量减少高达50%。
2024-05-29 cs.AI cs.CL cs.LG
