Mothman at SemEval-2024 Task 9: 一种用于思维链提示优化的迭代系统
Mothman at SemEval-2024 Task 9: An Iterative System for Chain-of-Thought Prompt Optimization
AI总结：
针对横向思维任务中大型语言模型表现不佳的问题，提出了一种基于人工评估的迭代思维链提示优化系统，在BrainTeaser任务上显著提升了模型性能。
摘要：
关于大型语言模型在基于逻辑的任务上的表现已有大量研究，而对其在横向思维任务上生成创造性解决方案的能力研究相对较少。BrainTeaser共享任务测试横向思维，并使用对抗性数据集以防止记忆，导致开箱即用的模型表现不佳。我们提出了一种迭代的思维链提示工程系统，该系统利用人工评估来优化提示。通过该共享任务，我们展示了我们的系统通过优化提示和评估输入数据集来显著提升模型性能的能力。
英文摘要：
Extensive research exists on the performance of large language models on logic-based tasks, whereas relatively little has been done on their ability to generate creative solutions on lateral thinking tasks. The BrainTeaser shared task tests lateral thinking and uses adversarial datasets to prevent memorization, resulting in poor performance for out-of-the-box models. We propose a system for iterative, chain-of-thought prompt engineering which optimizes prompts using human evaluation. Using this shared task, we demonstrate our system's ability to significantly improve model performance by optimizing prompts and evaluate the input dataset.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
