迈向多语言自动对话评估
Towards Multilingual Automatic Dialogue Evaluation
AI总结：
针对多语言对话评估数据匮乏问题，提出利用机器翻译扩增数据，并通过质量估计筛选低质量翻译以提升微调效果，超越朴素方法。
摘要：
开发稳健的多语言对话评估指标的主要限制因素是多语言数据的缺乏以及开源多语言对话系统的有限可用性。在这项工作中，我们提出了一种解决数据缺乏问题的变通方法，即利用强大的多语言预训练大语言模型（LLM），并通过机器翻译（MT）扩增现有的英文对话数据。我们通过实验表明，使用翻译数据微调预训练多语言编码器模型的朴素方法不足以超越仅使用源数据微调多语言模型的强基线。相反，最佳方法在于使用机器翻译质量估计（MT Quality Estimation）指标对翻译数据进行精心筛选，排除那些阻碍性能的低质量翻译。
英文摘要：
The main limiting factor in the development of robust multilingual dialogue evaluation metrics is the lack of multilingual data and the limited availability of open sourced multilingual dialogue systems. In this work, we propose a workaround for this lack of data by leveraging a strong multilingual pretrained LLM and augmenting existing English dialogue data using Machine Translation. We empirically show that the naive approach of finetuning a pretrained multilingual encoder model with translated data is insufficient to outperform the strong baseline of finetuning a multilingual model with only source data. Instead, the best approach consists in the careful curation of translated data using MT Quality Estimation metrics, excluding low quality translations that hinder its performance.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
