大模型推理能力

U-MATH: A University-Level Benchmark for Evaluating Mathematical Skills in LLMs

U-MATH：一个大学级评估LLM数学能力的基准测试

Konstantin Chernyshev, Vitaliy Polshkov, Ekaterina Artemova, Alex Myasnikov, Vlad Stepanov, Alexei Miasnikov, Sergei Tilga

机构 * Toloka AI ； Gradarius ； Stevens Institute of Technology（史蒂文斯理工学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 U-MATH是一个大学级数学能力评估基准，包含1100个开放性问题，用于评估LLM在多模态推理和解决方案判断方面的性能。

A Step Back: Prefix Importance Ratio Stabilizes Policy Optimization

后退一步：前缀重要性比率稳定了策略优化

Shiye Lei, Zhihao Cheng, Dacheng Tao

机构 * The University of Sydney（悉尼大学） ； ByteDance（字节跳动） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出MinPRO目标，通过使用非累积的最小token级比率替代累积前缀比率，以稳定LLM在非策略性条件下的训练和优化。

ReNCE: Learning to Reason by Noise Contrastive Estimation

ReNCE: 通过噪声对比估计学习推理

Wenzheng Zhang, Karl Stratos

机构 * Rutgers University（罗杰斯大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 ReNCE通过噪声对比估计学习提升大语言模型的推理能力，采用显式对比学习方法在数学基准测试中表现优异。

It's Not You, It's Clipping: A Soft Trust-Region via Probability Smoothing for LLM RL

并非你，而是剪裁：通过概率平滑的软信任区域进行大语言模型强化学习

Madeleine Dwyer, Adam Sobey, Adriane Chapman

机构 * University of Southampton（索姆塞特大学） ； The Alan Turing Institute（艾伦·图灵研究所） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出PSPO方法，通过概率平滑改进大语言模型强化学习中的信任区域，提升数学推理任务的性能。

System 1&2 Synergy via Dynamic Model Interpolation

系统1与2的协同通过动态模型插值

Chenxu Yang, Qingyi Si, Chong Tian, Xiyu Liu, Dingyu Yao, Chuanyu Qin, Zheng Lin, Weiping Wang, Jiaqi Wang

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 DAMI通过动态参数插值调节模型认知深度，实现系统1的效率与系统2的推理能力的结合。

On the Failure of Latent State Persistence in Large Language Models

大型语言模型中潜在状态持续性的失效

Jen-tse Huang, Kaiser Sun, Wenxuan Wang, Mark Dredze

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文揭示大型语言模型在维持持久潜在状态方面的缺陷，通过三个实验展示其在概率分配、概念漂移和变量绑定上的失败，表明LLMs更倾向于反应性求解而非主动规划。

Comments 8 pages, 6 figures, 9 tables

Deferred Commitment Decoding for Diffusion Language Models

延迟承诺解码用于扩散语言模型

Yingte Shu, Yuchuan Tian, Chao Xu, Yunhe Wang, Hanting Chen

机构 * Peking University（北京大学） ； Huawei Technologies（华为技术） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出延迟承诺解码方法，通过基于不确定性的策略提升扩散语言模型解码质量和效率，实验显示在多个模型和基准测试中效果显著。

Neurosymbolic LoRA: Why and When to Tune Weights vs. Rewrite Prompts

神经符号LoRA：为何以及何时调整权重 versus 重写提示

Kevin Wang, Neel P. Bhatt, Cong Liu, Junbo Li, Runjin Chen, Yihan Xi, Timothy Barclay, Alvaro Velasquez, Ufuk Topcu, Zhangyang Wang

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 神经符号LoRA结合数值和符号更新，提升语言模型微调的适应性和性能。

MathArena: Evaluating LLMs on Uncontaminated Math Competitions

MathArena: 在无污染数学竞赛中评估大语言模型

Mislav Balunović, Jasper Dekoninck, Ivo Petrov, Nikola Jovanović, Martin Vechev

机构 * ETH Zurich（苏黎世联邦理工学院） ； INSAIT 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 MathArena通过评估数学竞赛中的LLM，揭示了模型在推理和证明写作上的能力与局限。

Large Language Models and Algorithm Execution: Application to an Arithmetic Function

大语言模型与算法执行：应用于一个算术函数

Farah Ben Slama, Frédéric Armetta

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LLM-DAL模型，通过专门训练提升大语言模型执行算法的能力，应用于算术函数的推理与泛化。

AdaFuse: Adaptive Ensemble Decoding with Test-Time Scaling for LLMs

AdaFuse: 用于大语言模型的自适应集成解码与测试时缩放

Chengming Cui, Tianxin Wei, Ziyi Chen, Ruizhong Qiu, Zhichen Zeng, Zhining Liu, Xuying Ning, Duo Zhou, Jingrui He

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 AdaFuse通过自适应集成解码与测试时缩放，提升大语言模型在多种任务上的生成性能。

IIB-LPO: Latent Policy Optimization via Iterative Information Bottleneck

IIB-LPO: 通过迭代信息瓶颈进行潜在策略优化

Huilin Deng, Hongchen Luo, Yue Zhu, Long Li, Zhuoyue Chen, Xinghao Zhao, Ming Li, Jihai Zhang, Mengchang Wang, Yang Cao, Yu Kang

机构 * DeepSeek-AI 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 IIB-LPO通过迭代信息瓶颈方法，解决LLM推理中的探索崩溃问题，实现更多样化的推理路径和更高的性能表现。

Hi-ZFO: Hierarchical Zeroth- and First-Order LLM Fine-Tuning via Importance-Guided Tensor Selection

Hi-ZFO：通过重要性引导的张量选择实现层次化零阶和一阶LLM微调

Feihu Jin, Ying Tan

机构 * School of Intelligence Science and Technology, Peking University（智能科学与技术学院，北京大学） ； State Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 Hi-ZFO通过结合一阶和零阶优化，提升LLM微调的精度与探索能力，有效解决训练中的局部极小值问题。

Comments 13 pages, 4 figures

NC2C: Automated Convexification of Generic Non-Convex Optimization Problems

NC2C: 通用非凸优化问题的自动凸化

Xinyue Peng, Yanming Liu, Yihan Cang, Yuwei Zhang, Xinyi Wang, Songhang Deng, Jiannan Cao

机构 * Southeast University（东南大学） ； Zhejiang University（浙江大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 NC2C通过大语言模型实现通用非凸优化问题的自动凸化，提升求解效率并减少专家依赖。

Comments First version of NC2C

AMIR-GRPO: Inducing Implicit Preference Signals into GRPO

AMIR-GRPO：将隐式偏好信号引入GRPO

Amir Hossein Yari, Fajri Koto

机构 * Department of Natural Language Processing, MBZUAI（自然语言处理系，MBZUAI） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 AMIR-GRPO通过隐式对比正则化器提升GRPO性能，增强低奖励轨迹抑制，减少长度偏差，实现更密集的监督约束。

Ratio-Variance Regularized Policy Optimization for Efficient LLM Fine-tuning

基于比率方差正则化的策略优化用于高效的LLM微调

Yu Luo, Shuo Han, Yihan Hu, Dong Li, Jianye Hao

机构 * Department of Foundation Model, 2012 Labs, Huawei（华为2012实验室基础模型部门） ； College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 R²VPO通过正则化策略比率的方差，提升LLM微调的稳定性和数据效率。

Reinforcement Learning for Tool-Integrated Interleaved Thinking towards Cross-Domain Generalization

强化学习用于工具集成的交叉领域泛化思考

Zhengyu Chen, Jinluan Yang, Teng Xiao, Ruochen Zhou, Luan Zhang, Xiangyu Xi, Xiaowei Shi, Wei Wang, Jinggang Wang

机构 * Meituan（美团） ； Zhejiang University（浙江大学） ； Allen Institute for Artificial Intelligence（人工智能算法研究所） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出RITE方法，通过强化学习和交叉领域工具执行，提升LLM在跨领域推理中的泛化能力。

DiRL: An Efficient Post-Training Framework for Diffusion Language Models

DiRL：一种高效的扩散语言模型后训练框架

Ying Zhu, Jiaxin Wan, Xiaoran Liu, Siyang He, Qiqi Wang, Xu Guo, Tianyi Liang, Zengfeng Huang, Ziwei He, Xipeng Qiu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； OpenMoss Team（OpenMoss团队） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 DiRL是一种高效的扩散语言模型后训练框架，通过整合FlexAttention加速的分块训练与LMDeploy优化的推理，实现了高效的两阶段后训练，提升了在复杂推理任务如数学中的性能。

DéjàQ: Open-Ended Evolution of Diverse, Learnable and Verifiable Problems

DéjàQ：开放性进化多样化、可学习且可验证的问题

Willem Röpke, Samuel Coward, Andrei Lupu, Thomas Foster, Tim Rocktäschel, Jakob Foerster

机构 * Willem Röpke AI Lab, Vrije Universiteit Brussel Belgium（维尔姆·罗普克人工智能实验室，布鲁塞尔自由大学） ； FLAIR, University of Oxford United Kingdom（FLAIR，牛津大学） ； University College London United Kingdom（伦敦大学学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 DéjàQ通过大语言模型驱动的突变策略动态进化多样化数学问题，提升模型的可学习性和推理能力，开源代码支持其应用潜力。

Reliability Under Randomness: An Empirical Analysis of Sparse and Dense Language Models Across Decoding Temperatures

可靠性与随机性：在解码温度下对稀疏和密集语言模型的实证分析

Kabir Grover

机构 * Kabir Grover（独立研究者） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了稀疏和密集语言模型在不同解码温度下的可靠性，发现指令微调比架构稀疏性对稳定性影响更大。

LLMize: A Framework for Large Language Model-Based Numerical Optimization

LLMize: 一种基于大语言模型的数值优化框架

M. Rizki Oktavian

机构 * Blue Wave AI Labs（蓝波人工智能实验室） ； School of Nuclear Engineering, Purdue University（核工程学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 LLMize是一种基于大语言模型的数值优化框架，通过自然语言描述注入约束和领域知识，适用于复杂领域特定任务的优化。

Language as Mathematical Structure: Examining Semantic Field Theory Against Language Games

语言作为数学结构：对语义场理论与语言游戏的检验

Dimitris Vartziotis

机构 * TWT Science & Innovation（TWT科学与创新） ； NIKI - Digital Engineering（NIKI数字工程） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过对比语义场理论与语言游戏，探讨语言的数学结构与社会建构的互补性，提出新的理论指导AI架构的方向。

PTQTP: Post-Training Quantization to Trit-Planes for Large Language Models

PTQTP: 预训练量化到三平面用于大语言模型

He Xiao, Runming Yang, Qingyao Yang, Wendong Xu, Zhen Li, Yupeng Su, Zhengwu Liu, Hongxia Yang, Ngai Wong

机构 * The University of Hong Kong（香港大学） ； The Hong Kong Polytechnic University（香港理工大学） ； University of California, Santa Barbara（加州大学圣巴巴拉分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 PTQTP通过分解权重矩阵为三平面实现高效大语言模型量化，提升推理速度并减少资源消耗。

Comments Ternary Quantization, Under review

Role-Based Fault Tolerance System for LLM RL Post-Training

基于角色的LLM强化学习后训练容错系统

Zhenqian Chen, Baoquan Zhong, Xiang Li, Qing Dai, Xinkui Zhao, Miao Ye, Ren Cheng, Lufei Zhang, Jianwei Yin

机构 * Zhejiang University（浙江大学） ； State Key Laboratory of Mathematical Engineering and Advanced Computing（数学工程与先进计算国家重点实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 RobustRL通过基于角色的故障隔离技术，有效提升LLM强化学习后训练的容错性能，实现训练时间比率提升80%以上。

Comments 16 pages, 19 figures

LLMBoost: Make Large Language Models Stronger with Boosting

LLMBoost: 通过提升使大型语言模型更强

Zehao Chen, Tianxiang Ai, Yifei Li, Gongxun Li, Yuyang Wei, Wang Zhou, Guanghui Li, Bin Yu, Zhijun Chen, Hailong Sun, Fuzhen Zhuang, Jianxin Li, Deqing Wang, Yikun Ban

机构 * Beihang University（北航大学） ； China Telecom eSurfing Cloud（中国电信云） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 LLMBoost通过引入跨模型注意力机制、链式训练范式和近似并行推理范式，提升大型语言模型的性能和效率。

In Good GRACEs: Principled Teacher Selection for Knowledge Distillation

在良好的GRACE中：为知识蒸馏选择原则性教师

Abhishek Panigrahi, Bingbin Liu, Sadhika Malladi, Sham Kakade, Surbhi Goel

机构 * Princeton Language and Intelligence（普林斯顿语言与智能研究所） ； Kempner Institute, Harvard（哈佛凯普纳研究所） ； Microsoft Research, New York（微软研究院（纽约）） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 数学推理 ：verifier(abstract)；分类 cs.CL、cs.LG

AI总结 GRACE通过量化教师有效性，为知识蒸馏提供原则性教师选择和蒸馏指导，提升学生模型性能。

Trust-Region Adaptive Policy Optimization

信任区域自适应策略优化

Mingyu Su, Jian Guan, Yuxian Gu, Minlie Huang, Hongning Wang

机构 * The Conversational AI (CoAI) Group, Tsinghua University（清华大学对话式人工智能（CoAI）小组） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 TRAPO通过结合SFT和RL的训练流程，提升大语言模型的推理能力，实现更稳定的训练和更高效的探索。

Cross-Tokenizer Likelihood Scoring Algorithms for Language Model Distillation

跨分词器似然评分算法用于语言模型蒸馏

Buu Phan, Ashish Khisti, Karen Ullrich

机构 * University of Toronto（多伦多大学） ； Meta AI 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出跨分词器似然评分算法，通过BPE递归结构解决词汇不匹配问题，提升蒸馏效率和性能。

LLM Rationalis? Measuring Bargaining Capabilities of AI Negotiators

LLM Rationalis? 测量AI谈判者的协商能力

Cheril Shah, Akshit Agarwal, Kanak Garg, Mourad Heddaya

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了AI谈判者的协商能力，发现LLMs在谈判中系统性地锚定在极端位置，缺乏策略多样性，且协商能力不随模型改进而提升。

Comments Published in the First Workshop on Multi-Turn Interactions in Large Language Models at Neurips 2025

LIME: Making LLM Data More Efficient with Linguistic Metadata Embeddings

LIME：通过语言元数据嵌入使LLM数据更高效

Sebastian Sztwiertnia, Felix Friedrich, Kristian Kersting, Patrick Schramowski, Björn Deiseroth

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 LIME通过语言元数据嵌入提升LLM预训练效率，显著增强语言建模和生成任务表现