Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models
Southeast University（东南大学）；Nanjing University（南京大学）；The University of Sydney（悉尼大学）；Shenzhen Research Institute（深圳研究院）；Microsoft（微软公司）；Nanyang Technological University（南洋理工大学）
Qingyu Lu, Baopu Qiu, Liang Ding, Kanjian Zhang, Tom Kocmi, Dacheng Tao
生成式大型语言模型（LLMs），如ChatGPT，在机器翻译、文本摘要等多个NLP任务中展现出卓越的能力。近期研究（Kocmi and Federmann, 2023）表明，利用LLMs评估机器翻译（MT）质量在系统层级达到了最先进的性能，但在片段层级表现不佳。为进一步提升LLMs在MT质量评估上的表现，我们研究了几种提示设计，并提出了一种名为错误分析提示（Error Analysis Prompting，EAPrompt）的新提示方法，该方法结合了思维链（Chain-of-Thoughts, Wei et al., 2022）和错误分析（Error Analysis, Lu et al., 2023）。该技术模拟了普遍接受的人类评估框架——多维质量度量（Multidimensional Quality Metrics, MQM, Freitag et al. (2021)），并在系统层级和片段层级产生可解释且可靠的MT评估。来自WMT22指标共享任务的实验结果验证了EAPrompt在各种不同结构的LLMs上的有效性。进一步分析证实，EAPrompt能有效区分主要错误和次要错误，同时与MQM共享相似的错误数量分布。这些发现突显了EAPrompt作为类人评估器提示技术在MT评估中的潜力。
英文摘要：
Generative large language models (LLMs), e.g., ChatGPT, have demonstrated remarkable proficiency across several NLP tasks, such as machine translation, text summarization. Recent research (Kocmi and Federmann, 2023) has shown that utilizing LLMs for assessing the quality of machine translation (MT) achieves state-of-the-art performance at the system level but \textit{performs poorly at the segment level}. To further improve the performance of LLMs on MT quality assessment, we investigate several prompting designs, and propose a new prompting method called \textbf{\texttt{Error Analysis Prompting}} (EAPrompt) by combining Chain-of-Thoughts (Wei et al., 2022) and Error Analysis (Lu et al., 2023). This technique emulates the commonly accepted human evaluation framework - Multidimensional Quality Metrics (MQM, Freitag et al. (2021)) and \textit{produces explainable and reliable MT evaluations at both the system and segment level}. Experimental Results from the WMT22 metrics shared task validate the effectiveness of EAPrompt on various LLMs, with different structures. Further analysis confirms that EAPrompt effectively distinguishes major errors from minor ones, while also sharing a similar distribution of the number of errors with MQM. These findings highlight the potential of EAPrompt as a human-like evaluator prompting technique for MT evaluation.
No One Fits All: From Fixed Prompting to Learned Routing in Multilingual LLMs
Department of Computer Science and Information Engineering, National Taiwan University, Taiwan（国立台湾大学计算机科学与资讯工程学系）；Institute of Information Science, Academia Sinica, Taiwan（台湾“中央研究院”信息科学研究所）；AI Research Center (AINTU), National Taiwan University, Taiwan（国立台湾大学人工智能研究中心）
MSP: Multi-Stage Prompting for Making Pre-trained Language Models Better Translators
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Kuaishou Tech, Co.（快手科技有限公司）；Institute for AI Industry Research, Tsinghua University（清华大学智能产业研究院）；International Innovation Center of Tsinghua University（清华大学上海国际创新中心）
Revisiting Direct Speech-to-Text Translation with Speech LLMs: Better Scaling than CoT Prompting?
Barcelona Supercomputing Center, Spain（巴塞罗那超级计算中心，西班牙）；Universitat Politècnica de Catalunya, Spain（加泰罗尼亚理工大学，西班牙）；DFKI GmbH, Saarland Informatics Campus, Saarbrücken, Germany（德意志联邦计算机研究中心（DFKI） GmbH，萨尔布吕肯，德国）
What do Large Language Models Need for Machine Translation Evaluation?
Centre for Translation Studies, University of Surrey（萨里大学翻译研究中心）；Institute for People-Centred AI, University of Surrey（萨里大学以人为本人工智能研究所）；Lancaster University（兰卡斯特大学）；Tilburg University（蒂尔堡大学）
PHAnToM: Persona-based Prompting Has An Effect on Theory-of-Mind Reasoning in Large Language Models
Institute of Data Science（数据科学研究所）；NUS Centre for Trusted Internet and Community, National University of Singapore（新加坡国立大学可信互联网与社区中心）；Amazon（亚马逊）；Stanford University（斯坦福大学）；Tsinghua University（清华大学）
Hierarchical Prompting Taxonomy: A Universal Evaluation Framework for Large Language Models Aligned with Human Cognitive Principles
Indian Institute of Technology Kharagpur（印度理工学院Khargapur分校）；Rochester Institute of Technology（罗切斯特理工学院）；Researcher, Fatima Fellowship（研究员，Fatima fellowship）；AI Institute, University of South Carolina（人工智能研究所，南卡罗来纳大学）；Amazon GenAI（亚马逊生成人工智能）；Stanford University（斯坦福大学）；James Silberrad Brown Center for AI, San Diego State University（詹姆斯·西伯拉德·布朗人工智能中心，圣地亚哥州立大学）
Bidirectional Language Models Are Also Few-shot Learners
University of Pennsylvania（宾夕法尼亚大学）；Microsoft（微软）；Google Research（谷歌研究院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
大语言模型，例如GPT-3（Brown等人，2020）可以执行任意任务，而无需在仅使用几个标记示例进行提示后进行微调。一个任意的任务可以被重新表述为一个自然语言提示，一个语言模型可以被要求生成完成，间接地执行任务的范式称为基于语义的学习。到目前为止，基于突现的学习能力主要是针对单向语言模型来证明的。然而，在去噪目标上预训练的双向语言模型（例如掩蔽语言建模）为迁移学习产生更强的学习表示。这激发了促进双向模式的可能性，但它们的预培训目标使它们在很大程度上与现有的激励范式不相容。我们提出了SAP（顺序自回归拟合），一种技术，使双向模型的提示。利用机器翻译任务作为案例研究，我们提出了双向mT5模型（Xue et al.，2021）与SAP进行比较，并证明其Few-Shot和zero-shot转换优于单向模型（如GPT-3和XGLM）的Few-Shot转换（Lin et al.，2021），尽管mT5的参数减少了约50%。我们进一步表明SAP在问答和摘要方面是有效的。这是第一次，我们的研究结果表明，基于语义的学习是一个更广泛的一类语言模型，而不仅仅是单向模型的新兴属性。
