要不要思维链？思维链主要对数学和符号推理有帮助
To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning
AI总结：
本文通过元分析和多模型多数据集评估，发现思维链（CoT）主要对数学和符号推理任务有效，在其他任务上提升有限，并指出其收益主要来自改进符号执行，建议选择性使用CoT并探索超越提示的新推理范式。
摘要：
通过提示进行的思维链（CoT）是从大型语言模型（LLMs）中激发推理能力的事实标准方法。但这种额外的“思考”究竟对哪些类型的任务真正有帮助？为了分析这一问题，我们进行了一项覆盖100多篇使用CoT的论文的定量元分析，并在14个模型上对20个数据集进行了我们自己的评估。我们的结果表明，CoT主要在与数学或逻辑相关的任务上带来显著的性能提升，而在其他类型的任务上提升幅度要小得多。在MMLU上，除非问题或模型的回答中包含等号（表明存在符号运算和推理），否则不经过CoT直接生成答案所获得的准确率与使用CoT几乎相同。基于这一发现，我们通过将规划与执行分离，并与工具增强型LLMs进行比较，分析了CoT在这些问题上的行为。CoT的收益中有很大一部分来自改进符号执行，但与使用符号求解器相比，其表现仍然不足。我们的结果表明，CoT可以有选择性地应用，在保持性能的同时节省推理成本。此外，这些结果表明有必要超越基于提示的CoT，转向能够在整个LLM应用范围内更好地利用中间计算的新范式。
英文摘要：
Chain-of-thought (CoT) via prompting is the de facto method for eliciting reasoning capabilities from large language models (LLMs). But for what kinds of tasks is this extra ``thinking'' really helpful? To analyze this, we conducted a quantitative meta-analysis covering over 100 papers using CoT and ran our own evaluations of 20 datasets across 14 models. Our results show that CoT gives strong performance benefits primarily on tasks involving math or logic, with much smaller gains on other types of tasks. On MMLU, directly generating the answer without CoT leads to almost identical accuracy as CoT unless the question or model's response contains an equals sign, indicating symbolic operations and reasoning. Following this finding, we analyze the behavior of CoT on these problems by separating planning and execution and comparing against tool-augmented LLMs. Much of CoT's gain comes from improving symbolic execution, but it underperforms relative to using a symbolic solver. Our results indicate that CoT can be applied selectively, maintaining performance while saving inference costs. Furthermore, they suggest a need to move beyond prompt-based CoT to new paradigms that better leverage intermediate computation across the whole range of LLM applications.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
