迈向大语言模型中的系统2推理：用元思维链学习如何思考
Towards System 2 Reasoning in LLMs: Learning How to Think With Meta Chain-of-Thought
AI总结：
本文提出 Meta-CoT 框架，显式建模生成思维链背后的推理过程，并结合过程监督、合成数据、搜索轨迹指令微调和强化学习，为 LLM 实现类系统2推理提供路线图。
摘要：
我们提出了一个名为 Meta Chain-of-Thought（Meta-CoT，元思维链）的新颖框架，它通过显式建模得出某一特定 Chain-of-Thought（CoT，思维链）所需的底层推理，扩展了传统的 CoT。我们给出了来自最先进模型的经验证据，这些模型表现出与上下文内搜索相一致的行为；同时探索了通过过程监督、合成数据生成和搜索算法来产生 Meta-CoT 的方法。最后，我们概述了一条训练模型生成 Meta-CoT 的具体流程，其中结合了使用线性化搜索轨迹的指令微调，以及强化学习后训练。我们还讨论了若干开放研究问题，包括缩放定律、验证器的作用，以及发现新型推理算法的潜力。本工作为在 LLM 中实现 Meta-CoT 提供了理论与实践路线图，为人工智能中更强大、更接近人类的推理铺平了道路。
英文摘要：
We propose a novel framework, Meta Chain-of-Thought (Meta-CoT), which extends traditional Chain-of-Thought (CoT) by explicitly modeling the underlying reasoning required to arrive at a particular CoT. We present empirical evidence from state-of-the-art models exhibiting behaviors consistent with in-context search, and explore methods for producing Meta-CoT via process supervision, synthetic data generation, and search algorithms. Finally, we outline a concrete pipeline for training a model to produce Meta-CoTs, incorporating instruction tuning with linearized search traces and reinforcement learning post-training. Finally, we discuss open research questions, including scaling laws, verifier roles, and the potential for discovering novel reasoning algorithms. This work provides a theoretical and practical roadmap to enable Meta-CoT in LLMs, paving the way for more powerful and human-like reasoning in artificial intelligence.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
