忠实的思维链推理
Faithful Chain-of-Thought Reasoning
AI总结：
本文提出 Faithful CoT 框架，通过将自然语言查询翻译为符号推理链并用确定性求解器求解，在保证推理链忠实性的同时，于多个基准上超越标准 CoT 并刷新少样本最先进性能。
摘要：
虽然思维链（CoT）提示提升了语言模型（LM）在众多复杂推理任务上的表现，但生成的推理链并不一定反映模型是如何得出答案的（即忠实性）。我们提出了 Faithful CoT，一个包含两个阶段的推理框架：翻译（自然语言查询 $\ ightarrow$ 符号推理链）和问题求解（推理链 $\ ightarrow$ 答案），分别使用一个语言模型和一个确定性求解器。这保证了推理链能为最终答案提供忠实的解释。除可解释性之外，Faithful CoT 还提升了实证性能：它在来自 4 个不同领域的 10 个基准中的 9 个上优于标准 CoT，在数学应用题（MWP）上相对准确率提升 6.3%，在规划上提升 3.4%，在多跳问答（QA）上提升 5.5%，在关系推理上提升 21.4%。此外，借助 GPT-4 和 Codex，它在 7 个数据集上创造了新的少样本最先进性能（其中 6 个准确率达到 95.0 以上），显示出忠实性与准确率之间的强协同作用。
英文摘要：
While Chain-of-Thought (CoT) prompting boosts Language Models' (LM) performance on a gamut of complex reasoning tasks, the generated reasoning chain does not necessarily reflect how the model arrives at the answer (aka. faithfulness). We propose Faithful CoT, a reasoning framework involving two stages: Translation (Natural Language query $\rightarrow$ symbolic reasoning chain) and Problem Solving (reasoning chain $\rightarrow$ answer), using an LM and a deterministic solver respectively. This guarantees that the reasoning chain provides a faithful explanation of the final answer. Aside from interpretability, Faithful CoT also improves empirical performance: it outperforms standard CoT on 9 of 10 benchmarks from 4 diverse domains, with a relative accuracy gain of 6.3% on Math Word Problems (MWP), 3.4% on Planning, 5.5% on Multi-hop Question Answering (QA), and 21.4% on Relational Inference. Furthermore, with GPT-4 and Codex, it sets the new state-of-the-art few-shot performance on 7 datasets (with 95.0+ accuracy on 6 of them), showing a strong synergy between faithfulness and accuracy.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
