uTeBC-NLP 在 SemEval-2024 任务 9：LLM 能成为横向思考者吗？
uTeBC-NLP at SemEval-2024 Task 9: Can LLMs be Lateral Thinkers?
AI总结：
本文在 SemEval-2024 句子谜题任务中比较 CoT、直接提示、信息性描述与 RAG 等方法，发现压缩提示、动态上下文学习及思维路径微调可显著提升 LLM 的横向推理能力。
摘要：
受人类认知启发，Jiang 等人（2023c）创建了一个用于评估 LLM 横向思维——即跳出框框思考——的基准。基于该基准，我们研究不同提示方法如何提升 LLM 在此任务上的表现，以揭示其内在的跳出框框思考能力。通过参加 SemEval-2024 任务 9 的 Sentence Puzzle（句子谜题）子任务，我们探索了多种提示工程方法：思维链（CoT）和直接提示，利用信息性描述进行增强，以及使用基于检索增强生成（RAG）流程的上下文化提示。我们的实验涉及三个 LLM，包括 GPT-3.5、GPT-4 和 Zephyr-7B-beta。我们使用 GPT-4 生成了一个包含谜题与选项之间思维路径的数据集，并由人工验证其质量。研究结果表明，压缩的信息性提示能够提升性能；动态上下文学习显著增强了模型性能。此外，在我们的数据集上微调 Zephyr 还提升了其在其他常识数据集上的表现，凸显了创新思维的价值。
英文摘要：
Inspired by human cognition, Jiang et al.(2023c) create a benchmark for assessing LLMs' lateral thinking-thinking outside the box. Building upon this benchmark, we investigate how different prompting methods enhance LLMs' performance on this task to reveal their inherent power for outside-the-box thinking ability. Through participating in SemEval-2024, task 9, Sentence Puzzle sub-task, we explore prompt engineering methods: chain of thoughts (CoT) and direct prompting, enhancing with informative descriptions, and employing contextualizing prompts using a retrieval augmented generation (RAG) pipeline. Our experiments involve three LLMs including GPT-3.5, GPT-4, and Zephyr-7B-beta. We generate a dataset of thinking paths between riddles and options using GPT-4, validated by humans for quality. Findings indicate that compressed informative prompts enhance performance. Dynamic in-context learning enhances model performance significantly. Furthermore, fine-tuning Zephyr on our dataset enhances performance across other commonsense datasets, underscoring the value of innovative thinking.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
