The Paradox of Outcome Optimization: A Causal Information-Theoretic Bound on Reasoning Shortcuts in LLMs
结果优化的悖论:LLM中推理捷径的因果信息论界限
机构 * HFIPS, Chinese Academy of Sciences(中国科学院HFIPS) ; University of Science and Technology of China(中国科学技术大学)
专题命中 视觉推理 :grounding(abstract);分类 cs.AI、cs.LG
AI总结 针对基于结果强化学习的LLM在分布外任务中推理脆弱的问题,提出因果信息论框架解释奖励诱导的流形坍缩,并证明过程奖励模型作为拓扑滤波器可消除低复杂度捷径。