Beware of Reasoning Overconfidence: Pitfalls in the Reasoning Process for Multi-solution Tasks
警惕推理过度自信:多解任务中推理过程的陷阱
机构 * Research Center for Social Computing and Interactive Robotics(社会计算与交互机器人研究中心) ; Harbin Institute of Technology(哈尔滨工业大学) ; School of Computer Science and Engineering(计算机科学与工程学院) ; Central South University(中南大学) ; Du Xiaoman (Beijing) Science Technology Co., Ltd.(杜小蔓(北京)科技有限公司)
专题命中 推理评测 :reasoning(title,abstract);chain-of-thought(abstract);CoT(abstract);分类 cs.CL
AI总结 本文指出LLMs在多解任务中存在推理过度自信问题,通过引入MuSoBench基准测试发现Short-CoT方法存在过度自信,而Long-CoT方法通过迭代探索缓解此问题,并提出认知刚性假说解释其成因。