USCORE：一种实现机器翻译完全无监督评估指标的有效方法
USCORE: An Effective Approach to Fully Unsupervised Evaluation Metrics for Machine Translation
AI总结：
本文提出 USCORE，通过协同无监督指标归纳、伪平行语料挖掘、向量空间迭代重映射、无监督 MT 伪参考及多语言句子嵌入，构建完全无监督的机译评估指标，并在 5 个数据集中的 4 个上超越有监督方法。
摘要：
绝大多数机器翻译评估指标都是有监督的，即：（i）在人工评分上进行训练，（ii）假定参考译文存在，或（iii）利用平行数据。这限制了它们在此类监督信号不可用情形中的适用性。在本研究中，我们开发了完全无监督的评估指标。为此，我们利用评估指标归纳、平行语料库挖掘和机器翻译（MT）系统之间的相似性与协同作用。具体而言，我们使用一个无监督评估指标来挖掘伪平行数据，并利用这些数据（以迭代方式）重新映射存在缺陷的底层向量空间，同时归纳出一个无监督 MT 系统；该系统随后提供伪参考译文，作为指标中的附加组成部分。最后，我们还从伪平行数据中归纳出无监督多语言句子嵌入。我们证明，所提出的完全无监督指标是有效的：它们在 5 个评估数据集中的 4 个上击败了有监督的竞争方法。我们已公开代码。
英文摘要：
The vast majority of evaluation metrics for machine translation are supervised, i.e., (i) are trained on human scores, (ii) assume the existence of reference translations, or (iii) leverage parallel data. This hinders their applicability to cases where such supervision signals are not available. In this work, we develop fully unsupervised evaluation metrics. To do so, we leverage similarities and synergies between evaluation metric induction, parallel corpus mining, and MT systems. In particular, we use an unsupervised evaluation metric to mine pseudo-parallel data, which we use to remap deficient underlying vector spaces (in an iterative manner) and to induce an unsupervised MT system, which then provides pseudo-references as an additional component in the metric. Finally, we also induce unsupervised multilingual sentence embeddings from pseudo-parallel data. We show that our fully unsupervised metrics are effective, i.e., they beat supervised competitors on 4 out of our 5 evaluation datasets. We make our code publicly available.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
