大模型推理能力

ARKV: Adaptive and Resource-Efficient KV Cache Management under Limited Memory Budget for Long-Context Inference in LLMs

ARKV：在有限内存预算下为LLMs长上下文推理实现自适应和资源高效的KV缓存管理

Jianlong Lei, Shashikant Ilager

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.AI

AI总结 ARKV通过动态分配精度级别，实现LLMs长上下文推理中的高效内存管理，减少内存使用并保持高精度。

Comments Accepted in ACM/IEEE CCGRID 2025 conference

Baseline Performance of AI Tools in Classifying Cognitive Demand of Mathematical Tasks

AI工具在分类数学任务认知需求中的基准性能

Danielle S. Fox, Brenda L. Robles, Elizabeth DiPietro Brovey, Christian D. Schunn

专题命中 数学推理 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 研究评估了AI工具在分类数学任务认知需求的准确性，发现通用工具与教育专用工具均存在显著误差，需改进提示工程和工具开发。

Comments 30 pages, 2 tables, 5 appendices

Stop Wasting Your Tokens: Towards Efficient Runtime Multi-Agent Systems

停止浪费你的令牌：迈向高效的运行时多智能体系统

Fulin Lin, Shaowen Chen, Ruishan Fang, Hongwei Wang, Tao Lin

机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； State Key Laboratory of CAD&CG, Zhejiang University（浙江大学计算机辅助设计与图形学国家重点实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.AI

AI总结 SupervisorAgent通过运行时自适应监督框架减少多智能体系统中的令牌消耗，提升效率与鲁棒性。

Comments Accepted to ICLR 2026. The code is available at https://github.com/LINs-lab/SupervisorAgent

On the Generalization of SFT: A Reinforcement Learning Perspective with Reward Rectification

在SFT的泛化上：从强化学习视角的奖励校正

Yongliang Wu, Yizhou Zhou, Zhou Ziheng, Yingzhe Peng, Xinyu Ye, Xinting Hu, Wenbo Zhu, Lu Qi, Ming-Hsuan Yang, Xu Yang

机构 * Southeast University（东南大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） ； University of California, Berkeley（加州大学伯克利分校） ； Wuhan University（武汉大学） ； University of California, Merced（加州大学默塞德分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.LG

AI总结 本文提出动态微调方法，通过奖励校正提升SFT的泛化能力，在多个任务中表现优于传统SFT。

Comments ICLR 2026

Proof-RM: A Scalable and Generalizable Reward Model for Math Proof

Proof-RM: 一种可扩展且通用的数学证明奖励模型

Haotong Yang, Zitong Wang, Shijia Kang, Siqi Yang, Wenkai Yu, Xu Niu, Yike Sun, Yi Hu, Zhouchen Lin, Muhan Zhang

机构 * Peking University, Beijing, China（北京大学，北京，中国） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL

AI总结 Proof-RM通过构建可扩展的数据管道和训练证明检查奖励模型，提升LLM在数学证明验证中的准确性和泛化能力。

Comments Under review

OPE: Overcoming Information Saturation in Parallel Thinking via Outline-Guided Path Exploration

OPE：通过大纲引导路径探索克服并行思维中的信息饱和

Qi Guo, Jianing Wang, Deyang Kong, Xiangyu Xi, Jianfei Zhang, Yi Lu, Jingang Wang, Wei Wang, Shikun Zhang, Wei Ye

机构 * National Engineering Research Center for Software Engineering, Peking University, Beijing, China（软件工程国家工程研究中心，北京大学，北京，中国） 纠错

专题命中 数学推理 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 OPE通过生成多样化的推理大纲，减少信息冗余，提升并行思维在复杂问题中的推理性能。

Approximation of Log-Partition Function in Policy Mirror Descent Induces Implicit Regularization for LLM Post-Training

在策略镜像下降中近似对数分区函数诱导隐式正则化以提升LLM训练

Zhenghao Xu, Qin Lu, Changlong Yu, Tuo Zhao

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Amazon（亚马逊） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.LG

AI总结 PMD-mean通过近似对数分区函数实现隐式正则化，提升LLM训练的稳定性和效率。

Stronger-MAS: Multi-Agent Reinforcement Learning for Collaborative LLMs

Stronger-MAS: 多智能体强化学习用于协作大语言模型

Yujie Zhao, Lanxiang Hu, Yang Wang, Minmin Hou, Hao Zhang, Ke Ding, Jishen Zhao

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； Intel Corporation（英特尔公司） 纠错

专题命中 数学推理 ：reasoning(abstract)；planning(abstract)；分类 cs.LG

AI总结 Stronger-MAS提出了一种针对多智能体强化学习的AT-GRPO算法，通过改进的分组策略和训练系统，在多个任务中显著提升了大语言模型的性能。

Detecting Instruction Fine-tuning Attacks using Influence Function

利用影响函数检测指令微调攻击

Jiawei Li

机构 * Tsinghua University（清华大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.LG

AI总结 本文提出一种无需先验知识的检测方法，通过影响函数和语义转换识别污染示例，提升模型鲁棒性。

The Imitation Game: Turing Machine Imitator is Length Generalizable Reasoner

模仿游戏：图灵机模仿器是长度可推广的推理机

Zhouqi Hua, Wenwei Zhang, Chengqi Lyu, Yuzhe Gu, Songyang Gao, Kuikun Liu, Dahua Lin, Kai Chen

机构 * Fudan University（复旦大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； MMLab, The Chinese University of Hong Kong（香港中文大学MMLab） 纠错

专题命中 数学推理 ：reasoning(abstract)；CoT(abstract)；分类 cs.CL

AI总结 本文提出TAIL方法，通过合成图灵机执行过程的链式思维数据，提升LLM的长度泛化能力，超越现有方法。

Tandem Training for Language Models

语言模型的串联训练

Robert West, Ashton Anderson, Ece Kamar, Eric Horvitz

机构 * EPFL（瑞士联邦理工学院） ； University of Toronto（多伦多大学） ； Microsoft（微软公司） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.AI

AI总结 本文提出串联训练方法，通过强化学习促进语言模型在任务中保持可解释性，使模型能适应较弱协作者并保持高准确性。

Journal ref Proceedings of the 2026 Conference of the European Chapter of the Association for Computational Linguistics (EACL)

Your Group-Relative Advantage Is Biased

你的组相对优势存在偏差

Fengkai Yang, Zherui Chen, Xiaohan Wang, Xiaodong Lu, Jiajun Chai, Guojun Yin, Wei Lin, Shuai Ma, Fuzhen Zhuang, Deqing Wang, Yaodong Yang, Jianxin Li, Yikun Ban

机构 * Beihang University（北航大学） ； University of California, Berkeley（加州大学伯克利分校） ； Peking University（北京大学） ； Meituan（美团） 纠错

专题命中 数学推理 ：reasoning(abstract)；verifier(abstract)；分类 cs.LG

AI总结 本文提出HA-DW方法，通过修正组相对优势估计的偏差，提升基于组的强化学习在数学推理任务中的性能。

Do Instruction-Tuned Models Always Perform Better Than Base Models? Evidence from Math and Domain-Shifted Benchmarks

指令微调模型是否总是比基模型表现更好？数学和领域转移基准的证据

Prateek Munjal, Clement Christophe, Ronnie Rajan, Praveenkumar Kanithi

机构 * M42, Abu Dhabi, UAE（阿布扎希德） 纠错

专题命中 数学推理 ：reasoning(abstract)；CoT(abstract)；分类 cs.LG

AI总结 研究通过数学和领域转移基准验证指令微调模型在不同设置下的表现差异，发现其性能依赖于提示模式而非内在推理能力。

Can LLMs Predict Their Own Failures? Self-Awareness via Internal Circuits

LLMs能否预测自身失败？通过内部电路实现自感知

Amirhosein Ghasemabadi, Di Niu

机构 * University of Alberta（阿尔伯塔大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL

AI总结 Gnosis通过分析LLM内部状态实现自我验证，有效提升生成过程的准确性和校准性，无需外部监督。

How Reinforcement Learning After Next-Token Prediction Facilitates Learning

如何在生成下一个标记后使用强化学习促进学习

Nikolaos Tsilivis, Eran Malach, Karen Ullrich, Julia Kempe

机构 * New York University（纽约大学） ； Harvard University（哈佛大学） ； FAIR, Meta 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.LG

AI总结 通过在生成下一个标记后使用强化学习，研究了如何在推理任务中提升模型的学习能力，证明其在预测比特奇偶性等任务中的有效性。

Do LLM Evaluators Prefer Themselves for a Reason?

大语言模型评估器为何偏好自己？

Wei-Lin Chen, Zhepei Wei, Xinyu Zhu, Shi Feng, Yu Meng

机构 * University of Virginia（弗吉尼亚大学） ； George Washington University（乔治华盛顿大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 研究探讨了大语言模型在评估时自我偏好现象的成因，发现更强模型更倾向于偏好自身输出，但其中大部分偏好源于客观质量优势，同时提出通过扩展策略可减少有害自我偏好。

Comments Added LMArena experiments

Tailored Primitive Initialization is the Secret Key to Reinforcement Learning

Yihang Yao, Guangtao Zeng, Raina Wu, Yang Zhang, Ding Zhao, Zhang-Wei Hong, Chuang Gan

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Massachusetts Institute of Technology（麻省理工学院） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；logical reasoning(abstract)；分类 cs.LG

PDE-SHARP: PDE Solver Hybrids through Analysis and Refinement Passes

Shaghayegh Fazliani, Madeleine Udell

机构 * Department of Mathematics Stanford University（数学系 斯坦福大学） ； Department of Management Science & Engineering Stanford University（管理科学与工程系 斯坦福大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.LG

Analyzing the Power of Chain of Thought through Memorization Capabilities

Lijia Yu, Xiao-Shan Gao, Lijun Zhang

机构 * Institute of AI for Industries（人工智能产业研究院） ； State Key Laboratory of Mathematical Sciences（数学科学国家重点实验室） ； Academy of Mathematics and Systems Science（数学与系统科学学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Key Laboratory of System Software of Chinese Academy of Sciences（中国科学院系统软件重点实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；CoT(abstract)；分类 cs.LG

KVCOMM: Online Cross-context KV-cache Communication for Efficient LLM-based Multi-agent Systems

Hancheng Ye, Zhengqi Gao, Mingyuan Ma, Qinsi Wang, Yuzhe Fu, Ming-Yu Chung, Yueqian Lin, Zhijian Liu, Jianyi Zhang, Danyang Zhuo, Yiran Chen

机构 * Duke University（杜克大学） ； MIT（麻省理工学院） ； NVIDIA（英伟达） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.AI

Comments Accepted for publication in NeurIPS2025. Code is available at \url{https://github.com/FastMAS/KVCOMM}

ThoughtProbe: Classifier-Guided LLM Thought Space Exploration via Probing Representations

Zijian Wang, Chang Xu

机构 * School of Computer Science（计算机科学学院） ； The University of Sydney（悉尼大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；CoT(abstract)；分类 cs.CL

Comments EMNLP2025 main conference

APTBench: Benchmarking Agentic Potential of Base LLMs During Pre-Training

Jiarui Qin, Yunjia Xi, Junjie Huang, Renting Rui, Di Yin, Weiwen Liu, Yong Yu, Weinan Zhang, Xing Sun

机构 * Tencent Youtu Lab（腾讯优图实验室） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

Comments 46 pages

PixelWorld: How Far Are We from Perceiving Everything as Pixels?

Zhiheng Lyu, Xueguang Ma, Wenhu Chen

机构 * University of Waterloo（滑铁卢大学） ； Vector Institute, Toronto（多伦多向量研究所） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

QueST: Incentivizing LLMs to Generate Difficult Problems

Hanxu Hu, Xingxing Zhang, Jannis Vamvas, Rico Sennrich, Furu Wei

机构 * University of Zurich（苏黎世大学） ； Microsoft Research（微软研究院） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

Comments 20 pages, 7 figures

SHANKS: Simultaneous Hearing and Thinking for Spoken Language Models

Cheng-Han Chiang, Xiaofei Wang, Linjie Li, Chung-Ching Lin, Kevin Lin, Shujie Liu, Zhendong Wang, Zhengyuan Yang, Hung-yi Lee, Lijuan Wang

机构 * National Taiwan University（台湾大学） ； Microsoft（微软） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

Comments Work in progress

Aligning Large Language Models via Fully Self-Synthetic Data

Shangjian Yin, Zhepei Wei, Xinyu Zhu, Wei-Lin Chen, Yu Meng

机构 * University of California, Riverside（加州大学河滨分校） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL

Qianfan-VL: Domain-Enhanced Universal Vision-Language Models

Daxiang Dong, Mingming Zheng, Dong Xu, Bairong Zhuang, Wenyu Zhang, Chunhua Luo, Haoran Wang, Zijian Zhao, Jie Li, Yuxuan Li, Hanjun Zhong, Mengyue Liu, Jieting Chen, Shupeng Li, Lun Tian, Yaping Feng, Xin Li, Donggang Jiang, Yong Chen, Yehua Xu, Duohao Qin, Chen Feng, Dan Wang, Henghua Zhang, Jingjing Ha, Jinhui He, Yanfeng Zhai, Chengxin Zheng, Jiayi Mao, Jiacheng Chen, Ruchang Yao, Ziye Yuan, Jianmin Wu, Guangjun Xie, Dou Shen

机构 * Qianfan Team, Baidu AI Cloud（百度AI云团队） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

Comments 12 pages

Feedback Friction: LLMs Struggle to Fully Incorporate External Feedback

Dongwei Jiang, Alvin Zhang, Andrew Wang, Nicholas Andrews, Daniel Khashabi

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL

PromptGuard: An Orchestrated Prompting Framework for Principled Synthetic Text Generation for Vulnerable Populations using LLMs with Enhanced Safety, Fairness, and Controllability

Tung Vu, Lam Nguyen, Quynh Dao

机构 * Posts and Telecommunications Institute of Technology（邮电技术研究所） ； Hanoi Architectural University（河内建筑大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

Large Language Models Might Not Care What You Are Saying: Prompt Format Beats Descriptions

Chenming Tang, Zhixiang Wang, Hao Sun, Yunfang Wu

机构 * National Key Laboratory for Multimedia Information Processing, Peking University（北京大学多媒体信息处理国家重点实验室） ； MOE Key Laboratory of Computational Linguistics, Peking University School of Computer Science, Peking University（教育部计算语言学重点实验室，北京大学计算机科学学院，北京大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；logical reasoning(abstract)；分类 cs.CL

Comments EMNLP 2025 Findings. 23 pages, 23 figures, 7 tables