针对大语言模型提示的辩证行为疗法方法
Dialectical Behavior Therapy Approach to LLM Prompting
AI总结：
本文提出一种受辩证行为疗法（DBT）启发的提示策略，通过应用DBT塑造对话的基本概念构建提示，显著提升了较小规模LLM在复杂推理任务上的准确率。
摘要：
在应用思维链（CoT）提示技术时，大语言模型在各种推理任务上展示了最先进的结果。CoT提示引导模型将任务分解为几个中间步骤，并提供逐步的演示。然而，解决复杂推理任务仍然是一个挑战。在本文中，我们提出了一种受辩证行为疗法（DBT）启发的新型提示策略。DBT作为一种认知行为疗法的形式，旨在通过发展一套推理系统来帮助个体应对压力。我们应用了DBT关于塑造对话的基本概念来构建提示，并在不同数据集和具有不同参数数量的LLM上进行了实验。我们的结果显示，使用DBT技术制作的提示显著改善了较小模型的结果，在使用8b参数模型时，StrategyQA的准确率提高了7%，Aqua数据集提高了4.8%；在使用14b参数模型时，StrategyQA的准确率提高了16.2%，GSM8K数据集提高了5.3%。
英文摘要：
Large language models demonstrated state-of-the-art results on various reasoning tasks when applying the chain-of-thought (CoT) prompting technique. CoT prompting guides the model into breaking tasks into a few intermediate steps and provides step-by-step demonstrations. However, solving complex reasoning tasks remains a challenge. In this paper, we propose a novel prompting strategy inspired by Dialectical Behavioral Therapy (DBT). DBT, a form of cognitive-behavioral therapy, aims to help individuals cope with stress by developing a system of reasoning. We applied DBT's basic concepts of shaping dialog to construct prompts and conducted experiments on different datasets and LLMs with various numbers of parameters. Our results show that prompts crafted with DBT techniques significantly improve results on smaller models, achieving a 7% increase in accuracy on the StrategyQA, 4.8% on Aqua dataset using 8b parameters model, and a 16.2% increase on the StrategyQA, 5.3% on GSM8K dataset with 14b parameters model.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
