大模型推理能力

FLEX: Continuous Agent Evolution via Forward Learning from Experience

FLEX: 通过经验向前学习实现连续智能体进化

Zhicheng Cai, Xinyuan Guo, Yu Pei, Jiangtao Feng, Jinsong Su, Jiangjie Chen, Ya-Qin Zhang, Wei-Ying Ma, Mingxuan Wang, Hao Zhou

机构 * Institute for AI Industry Research (AIR), Tsinghua University（人工智能产业研究院（AIR）、清华大学） ； ByteDance Seed（字节跳动种子） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； School of Informatics, Xiamen University（厦门大学信息学院） ； SIA-Lab of Tsinghua AIR and ByteDance Seed（清华大学AIR实验室和字节跳动种子） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 FLEX通过经验向前学习实现LLM智能体的持续进化，提升数学推理、化学逆合成和蛋白质预测性能，并揭示经验增长的扩展规律和跨智能体的经验继承现象。

Is PRM Necessary? Problem-Solving RL Implicitly Induces PRM Capability in LLMs

PRM是否必要？问题解决RL隐式地在LLMs中诱导PRM能力

Zhangying Feng, Qianglong Chen, Ning Lu, Yongqian Li, Siqi Cheng, Shuangmu Peng, Duyu Tang, Shengcai Liu, Zhirui Zhang

机构 * Huawei Technologies Ltd.（华为技术有限公司） ； Guangdong Provincial Key Laboratory of Brain-Inspired Intelligent Computation, Department of CSE, SUSTech（广东省脑启发智能计算重点实验室、信息科学部、南方科技大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本研究发现纯RL训练可提升LLMs的推理能力并隐式诱导PRM能力，挑战了PRM的必要性。

Comments Accepted by NeurIPS 2025, camera-ready version

GradientSpace: Unsupervised Data Clustering for Improved Instruction Tuning

GradientSpace: 无监督数据聚类以提升指令微调

Shrihari Sridharan, Deepak Ravikumar, Anand Raghunathan, Kaushik Roy

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 GradientSpace通过直接在梯度空间中聚类样本，提升指令微调效果，减少推理延迟并提高准确性。

PromptBridge: Cross-Model Prompt Transfer for Large Language Models

PromptBridge: 跨模型提示迁移用于大型语言模型

Yaxuan Wang, Quan Liu, Zhenting Wang, Zichao Li, Wei Wei, Yang Liu, Yujia Bao

机构 * University of California, Santa Cruz（加州大学圣克ruz分校） ； Center for Advanced AI, Accenture（Accenture高级人工智能研究中心） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 PromptBridge通过跨模型提示迁移技术，解决模型切换时提示效果下降的问题，提升下游任务准确性并减少迁移成本。

Where to Start Alignment? Diffusion Large Language Model May Demand a Distinct Position

对齐何处开始？扩散大语言模型可能需要不同的位置

Zhixin Xie, Xurui Song, Jun Luo

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MOSA方法，通过强化学习对齐dLLM中间生成与安全拒绝，提升安全性。

Comments Accepted for oral presentation at AAAI 2026

A Small Math Model: Recasting Strategy Choice Theory in an LLM-Inspired Architecture

一个小数学模型：在LLM启发式架构中重构策略选择理论

Roussel Rahman, Jeff Shrager

机构 * Stanford University（斯坦福大学） ； Bennu Climate, Inc.（Bennu气候公司） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一个基于LLM架构的小数学模型，重构策略选择理论，扩展其功能并研究数学推理中的数字特征与关系。

AutoJudge: Judge Decoding Without Manual Annotation

AutoJudge: 无需人工标注的判断解码

Roman Garipov, Fedor Velikonivtsev, Ivan Ermakov, Ruslan Svirschevski, Vage Egiazarian, Max Ryabinin

机构 * HSE University（俄罗斯高等经济学院） ； Yandex ； IST Austria（国际应用数学研究所） ； Together AI 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 AutoJudge通过任务特定的损失性推测解码加速LLM推理，无需人工标注，实现显著速度提升并牺牲少量准确性。

Comments Accepted at NeurIPS 2025

Operon: Incremental Construction of Ragged Data via Named Dimensions

Operon：通过命名维度逐步构建不规则数据

Sungbin Moon, Jiho Park, Suyoung Hwang, Donghyun Koh, Seunghyun Moon, Minhyeong Lee

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 Operon通过命名维度形式化方法，实现对不规则数据的逐步构建，提升大规模数据处理效率。

SelecTKD: Selective Token-Weighted Knowledge Distillation for LLMs

Haiduo Huang, Jiangcheng Song, Yadong Zhang, Pengju Ren

机构 * Institute of Artificial Intelligence and Robotics（人工智能与机器人研究院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

HierRouter: Coordinated Routing of Specialized Large Language Models via Reinforcement Learning

Nikunj Gupta, Bill Guo, Rajgopal Kannan, Viktor K. Prasanna

机构 * David S. Hippocampus Department of Computer Science Cranberry-Lemon University（Cranberry-Lemon大学计算机科学系） ； University of Southern California（南加州大学） ； DEVCOM Army Research Office（陆军研究办公室） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

Low-probability Tokens Sustain Exploration in Reinforcement Learning with Verifiable Reward

Guanhua Huang, Tingqiang Xu, Mingze Wang, Qi Yi, Xue Gong, Siheng Li, Ruibin Xiong, Kejiao Li, Yuhao Jiang, Bo Zhou

机构 * LLM Department, Tencent（腾讯大模型部门） ； Tsinghua University（清华大学） ； Peking University（北京大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

Automated Discovery of Conservation Laws via Hybrid Neural ODE-Transformers

Vivan Doshi

机构 * Independent Researcher（独立研究者） 纠错

专题命中 数学推理 ：verifier(abstract)；分类 cs.AI、cs.LG

Comments 5th Math-AI Workshop - Neural Information Processing Systems (NeurIPS 2025)

The Era of Agentic Organization: Learning to Organize with Language Models

Zewen Chi, Li Dong, Qingxiu Dong, Yaru Hao, Xun Wu, Shaohan Huang, Furu Wei

机构 * Microsoft Research（微软研究院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

StreetMath: Study of LLMs' Approximation Behaviors

Chiung-Yi Tseng, Somshubhra Roy, Maisha Thasin, Danyang Zhang, Blessing Effiong

机构 * LuxMuse AI（LuxMuse人工智能公司） ； Department of Electrical and Computer Engineering, North Carolina State University（北卡罗来纳州立大学电气与计算机工程系） ； Department of Mathematics, University of Waterloo（滑铁卢大学数学系） ； Vokram Group（Vokram集团） ； Department of Computer Science, Saint Louis University（圣路易斯大学计算机科学系） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

Incentivizing LLMs to Self-Verify Their Answers

Fuxiang Zhang, Jiacheng Xu, Chaojie Wang, Ce Cui, Yang Liu, Bo An

机构 * Nanyang Technological University, Singapore（南洋理工大学，新加坡） ； Skywork AI 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Let LRMs Break Free from Overthinking via Self-Braking Tuning

Haoran Zhao, Yuchen Yan, Yongliang Shen, Haolei Xu, Wenqi Zhang, Kaitao Song, Jian Shao, Weiming Lu, Jun Xiao, Yueting Zhuang

机构 * Zhejiang University（浙江大学） ； Tianjin University（天津大学） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments Accepted to NeurIPS 2025; Camera ready version, 10 pages. Github:https://github.com/ZJU-REAL/Self-Braking-Tuning Project Page: https://ZJU-REAL.github.io/SBT

Large Language Models for Combinatorial Optimization of Design Structure Matrix

Shuo Jiang, Min Xie, Jianxi Luo

机构 * City University of Hong Kong（香港城市大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Journal ref Proc. Des. Soc. 5 (2025) 2201-2210

Group-in-Group Policy Optimization for LLM Agent Training

Lang Feng, Zhenghai Xue, Tingcong Liu, Bo An

机构 * Nanyang Technological University（南洋理工大学） ； Skywork AI 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Comments NeurIPS 2025

Encoder-Decoder Diffusion Language Models for Efficient Training and Inference

Marianne Arriola, Yair Schiff, Hao Phung, Aaron Gokaslan, Volodymyr Kuleshov

机构 * Department of Computer Science, Cornell University（计算机科学系，康奈尔大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Comments NeurIPS 2025. We provide the code at https://github.com/kuleshov-group/e2d2

VEHME: A Vision-Language Model For Evaluating Handwritten Mathematics Expressions

Thu Phuong Nguyen, Duc M. Nguyen, Hyotaek Jeon, Hyunwook Lee, Hyunmin Song, Sungahn Ko, Taehwan Kim

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

Comments EMNLP 2025. Project Website: https://vehme.github.io/

Evolving LLMs' Self-Refinement Capability via Synergistic Training-Inference Optimization

Yongcheng Zeng, Xinyu Cui, Xuanfa Jin, Qirui Mi, Guoqing Liu, Zexu Sun, Mengyue Yang, Dong Li, Weiyu Ma, Ning Yang, Jian Zhao, Jianye Hao, Haifeng Zhang, Jun Wang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； University of Science and Technology of China（中国科学技术大学） ； Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学耿家庄人工智能学院） ； University of Bristo, UK（英国布里斯托大学） ； Zhongguancun Academy, China（中关村学院） ； Huawei Noah’s Ark Lab, China（华为诺亚实验室） ； University College London, UK（伦敦大学学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

Electronic Circuit Principles of Large Language Models

Qiguang Chen, Libo Qin, Jinhao Liu, Dengyun Peng, Jiaqi Wang, Mengkang Hu, Zhi Chen, Wanxiang Che, Ting Liu

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Central South University（中南大学） ； The Chinese University of Hong Kong（香港中文大学） ； The University of Hong Kong（香港大学） ； ByteDance Seed (China)（字节跳动种子（中国）） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments Manuscript

Teaching Language Models to Reason with Tools

Chengpeng Li, Zhengyang Tang, Ziniu Li, Mingfeng Xue, Keqin Bao, Tian Ding, Ruoyu Sun, Benyou Wang, Xiang Wang, Junyang Lin, Dayiheng Liu

机构 * University of Science and Technology of China（中国科学技术大学） ； Alibaba Inc.（阿里巴巴公司） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen International Center for Industrial and Applied Mathematics（深圳国际工业与应用数学中心） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments NIPS2025 Accepted

Learning Modular Exponentiation with Transformers

David Demitri Africa, Sara M. Kapoor, Theo Simon Sorg, Challenger Mishra

机构 * Department of Computer Science and Technology（计算机科学与技术系） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Comments Accepted at the 5th MATH-AI Workshop, NeurIPS'25

Large Language Model enabled Mathematical Modeling

Guoyun Zhang

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Local Coherence or Global Validity? Investigating RLVR Traces in Math Domains

Soumya Rani Samineni, Durgesh Kalwar, Vardaan Gangal, Siddhant Bhambri, Subbarao Kambhampati

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Comments 4 pages, 2 figures

CLAWS:Creativity detection for LLM-generated solutions using Attention Window of Sections

Keuntae Kim, Eunhye Jeong, Sehyeon Lee, Seohee Yoon, Yong Suk Choi

机构 * Department of Computer Science（计算机科学系） ； Department of Artificial Intelligence（人工智能系） ； Department of Future Mobility（未来移动部门） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments NeurIPS 2025

Train for Truth, Keep the Skills: Binary Retrieval-Augmented Reward Mitigates Hallucinations

Tong Chen, Akari Asai, Luke Zettlemoyer, Hannaneh Hajishirzi, Faeze Brahman

机构 * University of Washington（华盛顿大学） ； Allen Institute for AI (Ai2)（人工智能研究院） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

Market-Driven Subset Selection for Budgeted Training

Ashish Jha, Valentin Leplat, AH Phan

机构 * Skolkovo Institute of Science and Technology（斯克洛夫诺科学与技术研究所） ； Innopolis University（因诺波利斯大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Comments Retitled major revision of the same work (formerly "Market-Based Data Subset Selection -- Principled Aggregation of Multi-Criteria Example Utility"). Abstract and exposition revised; ablations added; theory clarified. Core results unchanged. Supersedes v1; please process as a replacement

VerlTool: Towards Holistic Agentic Reinforcement Learning with Tool Use

Dongfu Jiang, Yi Lu, Zhuofeng Li, Zhiheng Lyu, Ping Nie, Haozhe Wang, Alex Su, Hui Chen, Kai Zou, Chao Du, Tianyu Pang, Wenhu Chen

机构 * University of Waterloo（滑铁卢大学） ； Sea AI Lab（Sea AI 实验室） ； University of Toronto（多伦多大学） ； Shanghai University（上海大学） ； HKUST（香港科技大学） ； M-A-P ； National University of Singapore（新加坡国立大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments 32 pages, 5 figures, 13 tables