MasonTigers 在 SemEval-2024 任务 9：用思维链集成解决谜题
MasonTigers at SemEval-2024 Task 9: Solving Puzzles with an Ensemble of Chain-of-Thoughts
AI总结：
该研究面向 SemEval-2024 任务 9 的谜题理解，使用专有与开源 LLM 比较零样本、少样本及迭代思维链提示，并通过思维链提示集成在两个子任务中分获第 2 和第 13 名。
摘要：
本文介绍了 MasonTigers 团队提交给 SemEval-2024 任务 9 的系统，该任务提供了一个用于测试自然语言理解的谜题数据集。我们采用大语言模型（LLM），通过若干提示技术来解决此任务。与开源模型相比，零样本和少样本提示在专有 LLM 上测试时产生了相当不错的结果。我们利用思维链提示进一步改进了结果，这是一种将推理过程逐步分解的迭代提示方法。通过使用思维链提示集成，我们取得了最佳结果，在单词谜题子任务中排名第 2，在句子谜题子任务中排名第 13。受提示 LLM 的强劲表现表明，当提供思维过程的分解时，它们具备复杂推理能力。我们的工作揭示了逐步解释性提示如何释放编码在大模型参数中的更多知识。
英文摘要：
Our paper presents team MasonTigers submission to the SemEval-2024 Task 9 - which provides a dataset of puzzles for testing natural language understanding. We employ large language models (LLMs) to solve this task through several prompting techniques. Zero-shot and few-shot prompting generate reasonably good results when tested with proprietary LLMs, compared to the open-source models. We obtain further improved results with chain-of-thought prompting, an iterative prompting method that breaks down the reasoning process step-by-step. We obtain our best results by utilizing an ensemble of chain-of-thought prompts, placing 2nd in the word puzzle subtask and 13th in the sentence puzzle subtask. The strong performance of prompted LLMs demonstrates their capability for complex reasoning when provided with a decomposition of the thought process. Our work sheds light on how step-wise explanatory prompts can unlock more of the knowledge encoded in the parameters of large models.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
