大模型推理能力

Branch-Train-MiX: Mixing Expert LLMs into a Mixture-of-Experts LLM

Sainbayar Sukhbaatar, Olga Golovneva, Vasu Sharma, Hu Xu, Xi Victoria Lin, Baptiste Rozière, Jacob Kahn, Daniel Li, Wen-tau Yih, Jason Weston, Xian Li

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL、cs.AI

Tokenization counts: the impact of tokenization on arithmetic in frontier LLMs

Aaditya K. Singh, DJ Strouse

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.LG

Comments 21 pages, 18 figures

TinyGSM: achieving >80% on GSM8k with small language models

Bingbin Liu, Sebastien Bubeck, Ronen Eldan, Janardhan Kulkarni, Yuanzhi Li, Anh Nguyen, Rachel Ward, Yi Zhang

专题命中 数学推理 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL、cs.LG

Prompt Sketching for Large Language Models

Luca Beurer-Kellner, Mark Niklas Müller, Marc Fischer, Martin Vechev

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

Beyond Words: A Mathematical Framework for Interpreting Large Language Models

Javier González, Aditya V. Nori

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

Comments 4 figures, 18 pages

MoT: Memory-of-Thought Enables ChatGPT to Self-Improve

Xiaonan Li, Xipeng Qiu

专题命中 数学推理 ：reasoning(abstract)；CoT(abstract)；分类 cs.CL、cs.AI

Comments Accepted to appear at EMNLP 2023

L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models

Ansong Ni, Pengcheng Yin, Yilun Zhao, Martin Riddell, Troy Feng, Rui Shen, Stephen Yin, Ye Liu, Semih Yavuz, Caiming Xiong, Shafiq Joty, Yingbo Zhou, Dragomir Radev, Arman Cohan

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL、cs.LG

Comments Project Website: https://l2c-eval.github.io/

Investigating the Efficacy of Large Language Models in Reflective Assessment Methods through Chain of Thoughts Prompting

Baphumelele Masikisiki, Vukosi Marivate, Yvette Hlope

专题命中 数学推理 ：reasoning(abstract)；CoT(abstract)；分类 cs.CL、cs.AI

Comments Accepted for publication in the Associate Computer Machinery

Solving Challenging Math Word Problems Using GPT-4 Code Interpreter with Code-based Self-Verification

Aojun Zhou, Ke Wang, Zimu Lu, Weikang Shi, Sichun Luo, Zipeng Qin, Shaoqing Lu, Anya Jia, Linqi Song, Mingjie Zhan, Hongsheng Li

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL、cs.AI

Comments Solving Challenging Math Word Problems Using GPT-4 Code Interpreter with Code-based Self-Verification

ChatABL: Abductive Learning via Natural Language Interaction with ChatGPT

Tianyang Zhong, Yaonai Wei, Li Yang, Zihao Wu, Zhengliang Liu, Xiaozheng Wei, Wenjun Li, Junjie Yao, Chong Ma, Xiang Li, Dajiang Zhu, Xi Jiang, Junwei Han, Dinggang Shen, Tianming Liu, Tuo Zhang

专题命中 数学推理 ：reasoning(abstract)；logical reasoning(abstract)；分类 cs.CL、cs.AI

PAL: Program-aided Language Models

Luyu Gao, Aman Madaan, Shuyan Zhou, Uri Alon, Pengfei Liu, Yiming Yang, Jamie Callan, Graham Neubig

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

Comments The first three authors contributed equally. Our code and data are publicly available at http://reasonwithpal.com/

Training Verifiers to Solve Math Word Problems

Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, Christopher Hesse, John Schulman

专题命中 数学推理 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL、cs.LG

Mathematical certification of motion planning on uncertain terrain with limited perception: a case study

Nikolaos Skouloudis, Alexandre Megretski

专题命中 数学推理 ：planning(title)

AgentDiff: Meaning-Bearing Rewrites Trigger Deeper Divergence than Presentation Changes in LLM Agents

LLM 代理何时对表面噪声与语义噪声做出不同处理？一项基于 68 个单元格的测量研究及留出轨迹级验证

Liyun Zhang, Jiayi Guo

机构 * School of Information and Software Engineering, UESTC（信息与软件工程学院，电子科技大学） ； Jacobs School of Engineering, UC San Diego（工程学院，加州大学圣地亚哥分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 本研究通过 68 个单元格的测量实验，发现大语言模型驱动的思维链和 ReAct 代理对语义扰动（如释义、同义词）比表现扰动（如格式、重排序）更敏感，并基于留出模型和轨迹级机制分析提出了“隐蔽发散”解释。

IDEAlign: Comparing Ideas of Large Language Models to Domain Expert

IDEAlign：将大语言模型的想法与领域专家进行比较

Hyunji Nam, Lucia Langlois, James Malamut, Mei Tan, Dorottya Demszky

机构 * Stanford University（斯坦福大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL

AI总结 本研究提出IDEAlign方法，通过“挑出异类”任务评估LLM标注与专家标注的想法层面相似性，发现LLM作为评判者表现最佳但仍不及专家，为开放式LLM标注评估提供了可复用的基准测试协议。

Comments EACL 2026

LongWoF-Bench: Evaluating EvoMap Genes for Verifiable Long-Workflow Tasks

LongWoF-Bench：评估用于可验证长工作流任务的EvoMap基因

Xiao Zhang, Qumeng Sun, Jiahao Li, Yiming Ren, Xiang Liu, Haoyang Zhang, Junjie Wang

机构 * EvoMap ； Tsinghua University（清华大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL

AI总结 该研究提出LongWoF-Bench基准，发现通过EvoMap将验证的执行轨迹转化为可复用的Gene，能显著提升多模型在长工作流任务上的表现，且优于Skill和参考蒸馏的Gene。

Stopping and Routing LLM Judge Panels

停止与路由大语言模型（LLM）评审小组

Bin Zhu, Yi Xie, Yanghui Rao

机构 * School of Computer Science and Engineering（计算机科学与工程学院） ； Sun Yat-sen University（中山大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL

AI总结 该研究将LLM评审小组设计建模为角色条件分配问题，提出策略优化评审调用，经多类审计对比，生成可复用的评审调用计划。

Comments 21 pages, 2 figures, 20 tables. Accepted at WISE 2026

StateBridge: Training-free Hidden-state Alignment for Latent Communication in LLM Multi-Agent Systems

StateBridge：面向大语言模型多智能体系统潜在通信的无训练隐藏状态对齐

Yanwen Peng, Delvin Ce Zhang, Xi Wang, Nikolaos Aletras

机构 * School of Computer Science, University of Sheffield（谢菲尔德大学计算机科学学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.AI

AI总结 StateBridge 是一种无训练的潜在通信方法，通过闭式正交变换对齐大语言模型多智能体的隐藏状态，在 26 个模型-任务对中 22 个取得最优或并列最优性能，优于基线。

Comments 18 pages, 3 figures, 4 tables, accepted by COLM2026

Math-Vision Diagrams: A Comprehensive Benchmark for Evaluating LLM Mathematical Diagram Generation Capabilities

数学视觉图表：评估大型语言模型数学图表生成能力的综合基准

Harish Kashyap, Kiran Byadarhaly, Sriram Chakaravarthy, Sanyukta Tuti, Aryan Mistry

机构 * Pandita AI Inc.（潘迪塔人工智能公司） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.LG

AI总结 本研究推出首个专门评估LLMs数学图表生成能力的基准Math-Vision Diagrams，涵盖文本到代码与图像范式，测试发现LLMs在该任务上存在困难，相关资源将开源。

Comments Accepted at ICANN 2026

ExeCRE: Execution-Consistency Guided Reliability Estimation for Self-Correcting Code Generation

ExeCRE：基于执行一致性引导的自校正代码生成可靠性估计

Yiru Dong, Richong Zhang, Fanshuang Kong, Si Chen

专题命中 数学推理 ：reasoning(abstract)；self-correction(abstract)；分类 cs.AI

AI总结 ExeCRE是基于执行一致性的代码可靠性估计框架，可减少自校正代码生成中的误导性反馈，提升有效性与稳定性，在GPT-5.2搭配LiveCodeBench及数学推理场景均有显著收益。

Comments 13 pages, 5 figures. Accepted at the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026)

When to Vote, When to Rewrite: Disagreement-Guided Strategy Routing for Test-Time Scaling

何时投票，何时重写：基于分歧的策略路由用于测试时扩展

Zhimin Lin, Yixin Ji, Jinpeng Li, Yu Luo, Dong Li, Junhua Fang, Juntao Li, Min Zhang

机构 * School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院） ； Department of Foundation Model, 2012 Labs, Huawei（华为2012实验室基础模型部门） ； Harbin Institute of Technology, Shenzhen (HITSZ)（哈尔滨工业大学深圳（哈工大深圳）） 纠错

专题命中 数学推理 ：reasoning(abstract)；self-correction(abstract)；分类 cs.AI

AI总结 本文提出基于输出分歧的策略路由方法，通过动态选择不同扩展策略提升数学推理任务的准确性，减少计算成本。

Notes to Self: Can LLMs Benefit from Experiential Abstractions?

给自己的笔记：大语言模型能从经验抽象中受益吗？

Chang Liu, Xinyu Li, Artur Dubrawski

机构 * Auton Lab, Carnegie Mellon University（卡内基梅隆大学自动实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；logical reasoning(abstract)；分类 cs.CL

AI总结 研究大语言模型能否从经验抽象中受益，通过从其在MATH训练集的痕迹提取抽象存入可检索库，探索推理时检索和强化学习两种使用模式，发现能提高模型在数学和逻辑推理基准上的性能，且框架可转移。

Verify, Repair, Repeat, or Stop? Robust Stopping for Noisy Verify-Repair Loops in LLM Agents

验证、修复、重复还是停止？大语言模型代理中用于有噪声验证-修复循环的稳健停止方法

Yitao Wu, Si Shen, Rui Yang, Hong Peng, Bin Hu

专题命中 数学推理 ：reasoning(abstract)；verifier(abstract)；分类 cs.AI

AI总结 研究大语言模型代理中验证-修复循环有噪声时缺乏停止原则的问题，提出VRR-Stop框架，通过四参数噪声模型和信念过滤估计有效性，依真实边际增益符号决策，配对VRR-Guard，提升了停止可靠性与真实有效性。

Comments 18 pages, 10 figures, 10 tables. Under review

AIMO Interpretability Challenge

AIMO可解释性挑战

Michal Štefánik, Philipp Mondorf, Andreas Waldis, Qianying Liu, Chuan Yang, Michal Spiegel, Josef Kuchař, Marek Kadlčík, Adam Vawda-Oomerjee, Chaoran Liu, Simon Frieder, Barbara Plank, Fazl Barez, Pontus Stenetorp

机构 * National Institute of Informatics（日本国立信息学研究所） ； Munich Center for Machine Learning / MaiNLP LMU（慕尼黑机器学习中心/慕尼黑大学语言与文学计算研究所） ； University of Tübingen（图宾根大学） ； Fuzhou University（福州大学） ； Masaryk University（马萨里克大学） ； University College London（伦敦大学学院） ； University of Oxford（牛津大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.AI

AI总结 提出AIMO可解释性挑战，基于前沿数学语言模型内部机制区分稳健与虚假推理。利用AIMO问题等资源，提供推理问题、模型访问及鲁棒性评估，助参与者开发识别稳健模型的方法，创建新基准和基线系统，连接可解释性与泛化研究。

Comments Accepted Competition at NeurIPS 2026

OptiAgent: End-to-End Optimization Modeling via Multi-Agent Iterative Refinement

OptiAgent：基于多智能体迭代精化的端到端优化建模

Adriana Laurindo Monteiro, Nayse Fagundes, Gabriel Mattos Langeloh, Gustavo de Oliveira Kanno, Priscila Louise Aguirre, Thiago Costa Rizuti da Rocha, Victor Leme Beltran

机构 * Instituto de Ciência e Tecnologia do Itaú（伊塔乌科技学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；self-correction(abstract)；分类 cs.AI

AI总结 针对运筹学问题自然语言描述转可求解数学形式与可执行代码的需求，OptiAgent采用多智能体迭代自校正与多回路验证架构，在多数优化任务基准上取得SOTA性能，建模过程可审计。

QED: An Open-Source Multi-Agent System for Generating Mathematical Proofs on Open Problems

QED：一个用于生成开放问题数学证明的开源多智能体系统

Chenyang An, Qihao Ye, Minghao Pan, Jiayaun Zhang

专题命中 数学推理 ：planning(abstract)；verifier(abstract)；分类 cs.AI

AI总结 提出开源多智能体系统QED，通过分解规划、生成论证和验证正确性的流水线，自动将研究问题转化为完整数学证明，并在18个研究级项目中成功生成5篇原创工作。

Adam's Law: Textual Frequency Law on Large Language Models

Adam的定律：大型语言模型中的文本频率定律

Hongyuan Adam Lu, Z. L., Victor Wei, Zefan Zhang, Zhao Hong, Qiqi Xiang, Bowen Cao, Wai Lam

机构 * FaceMind Corporation（FaceMind公司） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL

AI总结 本文提出文本频率定律，通过优化文本频率提升LLM的提示和微调效果，并通过文本频率蒸馏和课程训练方法验证了其有效性。

Comments ACL 2026 Main Conference; The latest version

Tandem Reinforcement Learning with Verifiable Rewards

具有可验证奖励的串联强化学习

Difan Jiao, Raghav Singhal, Robert West, Ashton Anderson

机构 * University of Toronto（多伦多大学） ； EPFL（瑞士联邦理工学院洛桑分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 提出串联强化学习（TRL），通过强弱模型交替生成推理链并共同奖励，在保持独立推理能力的同时提升模型间兼容性和可读性。

Comments 21 pages,7 figures,8 tables

Shattering the Autoregressive Curse: Dynamic Epistemic Entropy Orchestrated Erasable Reinforcement Learning for LLMs

打破自回归诅咒：动态认知熵编排的可擦除强化学习用于大语言模型

Ziliang Wang, Kang An, Faqiang Qian, Jialu Cai, Cijun Ouyang, Yuhang Wang, Qibing Ren, Yichao Wu

机构 * SenseTime（商汤科技） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；logical reasoning(abstract)；分类 cs.AI

AI总结 提出动态认知熵编排的可擦除强化学习（E³RL），通过将模型内生的局部自回归交叉熵作为认知不确定性坐标，利用分段自适应动态阈值和优势分配精准切除逻辑缺陷并重用KV缓存，解决长序列推理中的自回归级联崩溃问题。

Parallel Test-Time Scaling with Multi-Sequence Verifiers

并行测试时扩展与多序列验证器

Yegon Kim, Seungyoo Lee, Chaeyun Jang, Hyungi Lee, Juho Lee

机构 * Graduate School of AI, KAIST（人工智能研究生院，韩国科学技术院） 纠错

专题命中 数学推理 ：reasoning(abstract)；verifier(abstract)；分类 cs.AI

AI总结 提出多序列验证器（MSV），通过条件化候选集预测正确性，改善校准性，提升最佳选择准确率并实现早停策略，在数学推理任务中以不到一半延迟达到相同精度。