大模型推理能力

Beyond Markovian: Reflective Exploration via Bayes-Adaptive RL for LLM Reasoning

超越马尔可夫：通过贝叶斯自适应强化学习实现LLM推理的反思探索

Shenao Zhang, Yaqing Wang, Yinxiao Liu, Tianqi Liu, Peter Grabowski, Eugene Ie, Zhaoran Wang, Yunxuan Li

机构 * Google（谷歌） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过贝叶斯自适应强化学习实现LLM推理的反思探索，提升测试性能与令牌效率。

Math Blind: Failures in Diagram Understanding Undermine Reasoning in MLLMs

数学视觉盲：图示理解的失败削弱了多模态大语言模型的推理能力

Yanpeng Sun, Shan Zhang, Wei Tang, Aotian Chen, Piotr Koniusz, Kai Zou, Yuan Xue, Anton van den Hengel

机构 * Ohio State University（俄亥俄州立大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(abstract)

AI总结 本研究发现多模态大语言模型在图示理解上的缺陷导致推理能力下降，通过改进图示感知可显著提升推理性能。

Exploring the Hidden Reasoning Process of Large Language Models by Misleading Them

通过误导性训练探索大型语言模型的隐藏推理过程

Guanyu Chen, Peiyang Wang, Yizhou Jiang, Yuqian Liu, Chujie Zhao, Ying Fang, Tianren Zhang, Feng Chen

机构 * Department of Automation, Tsinghua University（自动化系，清华大学） ； College of Computer and Cyber Security, Fujian Normal University（计算机与网络安全学院，福建师范大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.LG

AI总结 本文通过误导性训练方法探索LLMs的隐藏推理过程，发现其具备在任务抽象前进行推理的内部机制。

LIME: Making LLM Data More Efficient with Linguistic Metadata Embeddings

LIME：通过语言元数据嵌入使LLM数据更高效

Sebastian Sztwiertnia, Felix Friedrich, Kristian Kersting, Patrick Schramowski, Björn Deiseroth

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 LIME通过语言元数据嵌入提升LLM预训练效率，显著增强语言建模和生成任务表现

FLEX: Continuous Agent Evolution via Forward Learning from Experience

FLEX: 通过经验向前学习实现连续智能体进化

Zhicheng Cai, Xinyuan Guo, Yu Pei, Jiangtao Feng, Jinsong Su, Jiangjie Chen, Ya-Qin Zhang, Wei-Ying Ma, Mingxuan Wang, Hao Zhou

机构 * Institute for AI Industry Research (AIR), Tsinghua University（人工智能产业研究院（AIR）、清华大学） ； ByteDance Seed（字节跳动种子） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； School of Informatics, Xiamen University（厦门大学信息学院） ； SIA-Lab of Tsinghua AIR and ByteDance Seed（清华大学AIR实验室和字节跳动种子） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 FLEX通过经验向前学习实现LLM智能体的持续进化，提升数学推理、化学逆合成和蛋白质预测性能，并揭示经验增长的扩展规律和跨智能体的经验继承现象。

Is PRM Necessary? Problem-Solving RL Implicitly Induces PRM Capability in LLMs

PRM是否必要？问题解决RL隐式地在LLMs中诱导PRM能力

Zhangying Feng, Qianglong Chen, Ning Lu, Yongqian Li, Siqi Cheng, Shuangmu Peng, Duyu Tang, Shengcai Liu, Zhirui Zhang

机构 * Huawei Technologies Ltd.（华为技术有限公司） ； Guangdong Provincial Key Laboratory of Brain-Inspired Intelligent Computation, Department of CSE, SUSTech（广东省脑启发智能计算重点实验室、信息科学部、南方科技大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本研究发现纯RL训练可提升LLMs的推理能力并隐式诱导PRM能力，挑战了PRM的必要性。

Comments Accepted by NeurIPS 2025, camera-ready version

GradientSpace: Unsupervised Data Clustering for Improved Instruction Tuning

GradientSpace: 无监督数据聚类以提升指令微调

Shrihari Sridharan, Deepak Ravikumar, Anand Raghunathan, Kaushik Roy

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 GradientSpace通过直接在梯度空间中聚类样本，提升指令微调效果，减少推理延迟并提高准确性。

Hyperbolic Large Language Models

双曲大语言模型

Sarang Patil, Zeyong Zhang, Yiran Huang, Tengfei Ma, Mengjia Xu

机构 * Department of Data Science, New Jersey Institute of Technology（数据科学系，新泽西理工学院） ； Department of Biomedical Informatics, Stony Brook University（生物医学信息学系，石溪大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出双曲大语言模型，通过双曲几何提升语义表示学习和多尺度推理能力。

Comments 27 pages, 7 figures