大模型推理能力

HiPO: Hierarchical Preference Optimization for Adaptive Reasoning in LLMs

HiPO：用于大语言模型自适应推理的分层偏好优化

Darsh Kachroo, Arjun Prasaath Anbazhagan, Adriana Caraeni, Brennan Lagasse, Kevin Zhu

机构 * Vellore Institute of Technology（维洛雷理工学院） ； University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） ； Northwestern University（西北大学） ； Yale University（耶鲁大学） ； Algoverse AI Research（Algoverse AI研究） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG；math reasoning(comments)

AI总结 HiPO通过分层优化提升大语言模型在复杂推理任务中的表现，结合偏好优化与结构化推理的优势，实现更高效的训练和更一致的输出。

Comments 12 pages, 4 figures, 6 tables. Includes ablation study across Qwen2.5-7B-Instruct and Llama-3.1-8B-Instruct on 5 math reasoning benchmarks (GSM8K, MATH500, Minerva, AIME24, Gaokao2023). GPT-4.1 used for structured evaluation of reasoning quality

Agent-GWO: Collaborative Agents for Dynamic Prompt Optimization in Large Language Models

Agent-GWO: 为大型语言模型的动态提示优化设计的协作代理

Xudong Wang, Chaoning Zhang, Chenghao Li, Shuxu Chen, Qigan Sun, Jiaquan Zhang, Fachrina Dewi Puspitasari, Tae-Ho Kim, Jiwei Wei, Malu Zhang, Guoqing Wang, Yang Yang, Heng Tao Shen

机构 * Kyung Hee University（韩国庆熙大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Nota Inc.（Nota公司） ； Tongji University（同济大学） 纠错

专题命中 数学推理 ：CoT(abstract,abstract_cn)；reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Agent-GWO框架，通过统一提示模板和解码超参数作为可继承的代理配置，利用灰狼优化器的领导者-追随者机制，自动选择领导者代理以指导协作更新，提升复杂推理的准确性和稳定性。

Comments Accepted to ACL 2026. 9 pages, 5 figures

Why Diffusion Language Models Struggle with Truly Parallel (Non-Autoregressive) Decoding?

为何扩散语言模型在真正并行（非自回归）解码中表现不佳？

Pengxiang Li, Dilxat Muhtar, Tianlong Chen, Lu Yin, Shiwei Liu

机构 * The Hong Kong Polytechnic University, Hong Kong, China（香港理工大学） ； ELLIS Institute Tübingen, Tübingen, Germany（图宾根ELLIS研究所） ； Max Planck Institute for Intelligent Systems, Tübingen, Germany（智能系统马克斯·普朗克研究所） ； Tübingen AI Center, Tübingen, Germany（图宾根人工智能中心） ； University of Surrey, Guildford, United Kingdom（萨里大学） ； The University of North Carolina at Chapel Hill, Chapel Hill, NC, USA（北卡罗来纳大学教堂山分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；math reasoning(abstract)

AI总结 本文提出NAP方法，通过数据驱动策略改进扩散语言模型的非自回归并行解码性能。

Thinking Preference Optimization

Wang Yang, Hongye Jin, Jingfeng Yang, Vipin Chaudhary, Xiaotian Han

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；math reasoning(abstract)

Zero-Shot Verification-guided Chain of Thoughts

Jishnu Ray Chowdhury, Cornelia Caragea

机构 * University of Illinois at Chicago（伊利诺伊大学芝加哥分校） ； Bloomberg（彭博公司） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；verifier(abstract)

From Accuracy to Robustness: A Study of Rule- and Model-based Verifiers in Mathematical Reasoning

从准确率到鲁棒性：数学推理中基于规则与基于模型的验证器研究

Yuzhen Huang, Weihao Zeng, Xingshan Zeng, Qi Zhu, Junxian He

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； The Chinese University of Hong Kong（香港中文大学） ； Tsinghua University（清华大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究以数学推理为案例，分析了基于规则与基于模型的验证器在静态评估和RL训练中的表现，发现两类验证器分别存在误拒和奖励黑客问题，为开发更优RL奖励系统提供了参考。

Comments EMNLP 2026 Main Conference

INFUSER: Influence-Guided Self-Evolution Improves Reasoning

INFUSER: 影响力引导的自我进化提升推理能力

Siyu Chen, Miao Lu, Beining Wu, Heejune Sheen, Fengzhuo Zhang, Shuangning Li, Zhiyuan Li, Jose Blanchet, Tianhao Wang, Zhuoran Yang

机构 * Yale University（耶鲁大学） ； Stanford University（斯坦福大学） ； University of Chicago（芝加哥大学） ； Toyota Technological Institute at Chicago（芝加哥丰田技术研究所） ； University of California, San Diego（圣地亚哥大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出INFUSER框架，通过生成器与求解器的协同进化，利用影响力分数和DuGRPO优化，从文档池中自适应生成训练数据，显著提升模型推理性能。

Comments 67 pages, 17 figures

Moxia: A Trust-First Neuro-Symbolic Execution Architecture for Self-Explaining Mathematical Reasoning

AXIOM: 一种用于可验证数学推理的信任优先神经符号执行架构

Alessio Bruno

机构 * Independent researcher（独立研究者） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出AXIOM架构，将语言模型限制为规范化器，通过确定性计算机代数系统管道实现可验证的数学推理，在4个MATH类别上达到94.36%的正确率和100%的信任度。

Comments Preprint. 16 pages, 2 figures. Live interactive demo: https://huggingface.co/spaces/Squagghy/moxia. Paper artifact and dataset on Zenodo (concept-DOI): 10.5281/zenodo.21906509

Understanding Reasoning from Pretraining to Post-Training

理解从预训练到训练后阶段的推理

Jingyan Shen, Ang Li, Salman Rahman, Yifan Sun, Micah Goldblum, Matus Telgarsky, Pavel Izmailov

机构 * New York University（纽约大学） ； Modal Labs（模态实验室） ； University of California, Los Angeles（加州大学洛杉矶分校） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Columbia University（哥伦比亚大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究强化学习在大语言模型从预训练到训练后阶段对推理的作用，以国际象棋为测试平台，按标准流程训练模型，发现预训练损失可预测RL后性能，RL奖励曲线斜率与预训练令牌有关，还揭示RL对SFT策略的影响，且在数学领域也有相同模式。

Path-Lock Expert: Separating Reasoning Mode in Hybrid Thinking via Architecture-Level Separation

路径锁定专家：通过架构层面分离实现混合思维中的推理模式分离

Shouren Wang, Wang Yang, Chuang Ma, Debargha Ganguly, Vikash Singh, Chaoda Song, Xinpeng Li, Xianxuan Long, Vipin Chaudhary, Xiaotian Han

机构 * Case Western Reserve University（凯斯西储大学） ； NII LLMC, Japan（日本NII LLMC） ； Michigan State University（密歇根州立大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Path-Lock Expert，通过架构层面分离推理与非推理模式，减少推理泄漏，提升非推理模式的准确性和简洁性。

Comments 38 pages, 12 figures, 25 tables

Online Reasoning Calibration: Test-Time Training Enables Generalizable Conformal LLM Reasoning

在线推理校准：测试时训练使可泛化的符合性大语言模型推理

Cai Zhou, Zekai Wang, Menghua Wu, Qianyu Julie Zhu, Flora C. Shi, Chenyu Wang, Ashia Wilson, Tommi Jaakkola, Stephen Bates

机构 * Department of Electrical Engineering and Computer Science (MIT EECS)（麻省理工学院电气工程与计算机科学系） ； Computer Science and Artificial Intelligence Laboratory (MIT CSAIL)（麻省理工学院计算机科学与人工智能实验室） ； Laboratory for Information and Decision Systems (MIT LIDS)（麻省理工学院信息与决策系统实验室） ； Computational Science and Engineering (MIT CSE)（麻省理工学院计算科学与工程） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出ORCA框架，通过测试时训练和符合性预测校准推理过程，提升大语言模型在分布变化下的效率和泛化能力，实验证明其在不同任务中具有更高的性能。

Comments Published as a conference paper at COLM 2026; 22 pages

CVPO: Enhancing LLM Reinforcement Learning Reasoning via Value-Variance Adaptation and Dynamic Curriculum Learning

CVPO：通过值方差自适应与动态课程学习增强大语言模型的强化学习推理能力

Ziqi Jia, Yalu Ouyang, Bo Pang, Panpan Li, Hangfei Xu, Shengzhao Wen, Shiyong Li, Yanpeng Wang

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对LLM强化学习推理中反馈精度不足与问题难度漂移问题，提出CVPO方法，通过值方差自适应与动态课程学习优化，在数学任务上性能优于VAPO等基线。

Simple Policy Gradients for Reasoning with Diffusion Language Models

为扩散语言模型进行推理的简单策略梯度

Anthony Zhan

机构 * Stanford University（斯坦福大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出 AGRPO 算法，通过优化 dLLM 的去噪步骤提升推理性能，实现多个任务上的显著增益。

Comments 19 pages. ICML 2026

Relay-Bench: Evaluating LLMs on Multi-Domain Reasoning Chains

Relay-Bench：评估大语言模型在多领域推理链上的表现

Liam Swayne

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Relay-Bench是用于评估大语言模型在多领域推理链能力的基准测试，测试集含复合问题，涵盖多领域，模型使用无限制，鼓励利用工具，领先模型GPT-5.5（xHigh）得分43.3%，问题由两到十三个子问题组成，无需多模态输入输出。

Comments 21 pages, 7 figures

MADA-RL: Multi-Agent Debate-Aware Reinforcement Learning for Parameter-Efficient Reasoning in Compact Models

MADA-RL：用于紧凑模型中参数高效推理的多智能体辩论感知强化学习

Martino M. L. Pulici, Cuong Xuan Chu, Evgeny Kharlamov, Zifeng Ding, Volker Tresp, Yunpu Ma

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对紧凑模型训练成本高问题，提出MADA-RL框架，将其分为生成器和评论家角色，用辩论感知信号训练，通过LoRA微调少量参数。核心是反事实评论家优势，提高了模型准确率，在数学推理基准测试中有显著效果。

Comments 20 pages, 3 figures, 9 tables, 2 algorithms, under review at TMLR

Cost of Reasoning in non-English Languages: A Case Study on Japanese

非英语语言的推理成本：以日语为例

Yuu Jinnai

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究训练日语推理模型的可行性，开发Qwen - 3 - Swallow - 8B的日语推理变体并用GRPO训练，在多基准测试中发现推理语言控制可行，但性能与英语推理基线相当，在日本文化基准上表现不如基线模型。

MetaState: Persistent Working Memory Enhances Reasoning in Discrete Diffusion Language Models

MetaState: 持久工作记忆增强离散扩散语言模型的推理能力

Kejing Xia, Mingzhe Li, Lixuan Wei, Zhenbang Du, Xiangchi Yuan, Dachuan Shi, Qirui Jin, Wenke Lee

机构 * Georgia Institute of Technology（佐治亚理工学院） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Harvard University（哈佛大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MetaState通过引入轻量级循环增强模块，为冻结的离散扩散语言模型提供持久固定大小的工作记忆，提升推理性能，平均提升4.5%。

LaViDa-R1: Advancing Reasoning for Unified Multimodal Diffusion Language Models

LaViDa-R1：推进统一多模态扩散语言模型的推理

Shufan Li, Yuchen Zhu, Jiuxiang Gu, Kangning Liu, Zhe Lin, Yongxin Chen, Molei Tao, Aditya Grover, Jason Kuen

机构 * Adobe ； UCLA（加州大学洛杉矶分校） ； Georgia Tech（佐治亚理工学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；math reasoning(abstract)

AI总结 研究提出多模态通用推理dLLM LaViDa-R1，不同于现有工作，它以统一方式整合多任务，采用新颖统一训练后框架，集成监督微调与多任务强化学习，并运用多种训练技术，在多模态任务上展现强大性能。

Comments 28 pages, 11 figures

R$^2$PO: Decoupling Rollout and Inference Policies for LLM Reasoning

R$^2$PO：用于大语言模型推理的解耦展开与推理策略

Jingchu Wang, Bingbing Xu, Yige Yuan, Dan Zhang, Bin Xie, Xiaoqian Sun, Huawei Shen

机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, CAS（人工智能安全国家重点实验室，计算技术研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； National University of Singapore（新加坡国家大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究指出强化学习方法中训练轨迹与推理响应策略耦合的问题，提出R$^2$PO解耦二者，在训练时多样化展开，保持推理生成不变，实验表明其性能优于基线。

In LLM Reasoning, there is Irrationality on top of Value Misalignment

在LLM推理中，价值对齐之上存在非理性

Kejiang Qian, Fengxiang He

机构 * University of Edinburgh（爱丁堡大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出理性价值风险概念，形式化LLM在推理中即使价值对齐也可能无法最大化对齐价值的问题，并通过实验验证该风险普遍存在且无法被对齐消除。

Think-at-Hard: Selective Latent Iterations to Improve Reasoning Language Models

Think-at-Hard: 选择性潜在迭代以改进推理语言模型

Tianyu Fu, Yichen You, Zekai Chen, Guohao Dai, Huazhong Yang, Yu Wang

机构 * Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对循环变压器中潜在过思考问题，提出Think-at-Hard方法，通过轻量级决策器选择性地在困难令牌上触发潜在迭代，并采用深度感知LoRA和双因果注意力机制，在数学、问答和编码任务上一致提升性能。

Comments Accepted by ICML'26

Dual-Uncertainty Guided Policy Learning for Multimodal Reasoning

双不确定性引导的多模态推理策略学习

Rui Liu, Dian Yu, Tong Zheng, Runpeng Dai, Zongxia Li, Wenhao Yu, Zhenwen Liang, Linfeng Song, Haitao Mi, Pratap Tokekar, Dong Yu

机构 * Tencent Hunyuan（腾讯文汇） ； University of Maryland（马里兰大学） ； University of North Carolina（北卡罗来纳大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出DUPL方法，通过量化感知不确定性和输出不确定性来引导策略更新，在多个多模态推理基准上显著提升模型准确率，优于现有方法。

MoReBench: Evaluating Procedural and Pluralistic Moral Reasoning in Language Models, More than Outcomes

MoReBench：评估语言模型中的程序性和多元道德推理，超越结果

Yu Ying Chiu, Michael S. Lee, Rachel Calcott, Brandon Handoko, Paul de Font-Reaulx, Raphaël Millière, Paula Rodriguez, Chen Bo Calvin Zhang, Ziwen Han, Udari Madhushani Sehwag, Yash Maurya, Christina Q Knight, Harry R. Lloyd, Florence Bacus, Conor Downey, Mantas Mazeika, Bing Liu, Yejin Choi, Mitchell L Gordon, Sydney Levine

机构 * University of Washington（华盛顿大学） ； New York University（纽约大学） ； Scale AI ； Harvard University（哈佛大学） ； University of Michigan（密歇根大学） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； Center for AI Safety（人工智能安全中心） ； Stanford University（斯坦福大学） ； MIT（麻省理工学院） ； University of Oxford（牛津大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出MoReBench基准，包含1000个道德场景和超过2.3万条标准，用于评估语言模型在道德推理中的程序性推理能力，发现现有基准无法预测模型表现，且模型对特定道德框架存在偏好。

Comments 46 pages, 8 figures, 10 tables. Published in ICLR 2026. Accepted at CHAI workshop and SPP 2026 (non-archival)

Reasoning Arena: Trace Tournaments When Verifiable Rewards Fall Short

推理竞技场：当可验证奖励不足时的轨迹锦标赛

Han Zhou, Adam X. Yang, Laurence Aitchison, Anna Korhonen, Albert Q. Jiang

机构 * University of Cambridge（剑桥大学） ； Mistral AI 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出推理竞技场框架，通过轨迹锦标赛将无梯度信号的非多样奖励组转化为相对奖励信号，结合Bradley-Terry模型高效整合强化学习，在数学和编码基准上平均提升7.6%，加速训练27%-41%。

Comments 9 pages, 6 figures, 2 tables (17 pages including references and appendices)

Momentum for Reasoning: Dense Intrinsic Signals in Policy Optimization

推理的动量：策略优化中的密集内在信号

Hao Chen, Zhanming Shen, Liyao Li, Yanyu Chen, Xuhang Zhu, Xiaomeng Hu, Qi Zhang, Ru Peng, Xiaoyu Shen, Haobo Wang, Junbo Zhao

机构 * Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学） ； Eastern Institute of Technology（东方理工学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对GRPO在长链推理中因二元奖励导致的零优势崩溃和幻觉确定性失败模式，提出ISPO方法，通过内在信号密集化奖励，在三个基模型和五个数学推理基准上持续优于基线。

Comments 14 pages, 6 figures, 8 tables

Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning

现成的大语言模型作为过程评分器：数学推理中PRM的无训练替代方案

Atoosa Chegini, Soheil Feizi

机构 * Department of Computer Science, University of Maryland（马里兰大学计算机科学系） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出Chunk-Level Guided Generation方法，利用现成的大语言模型作为过程评分器，通过固定长度块评分和对比选择规则，无需训练即可在数学推理中匹配或超越PRM引导搜索的性能。

The Price Reversal Phenomenon: When Cheaper Reasoning Models Cost More

价格反转现象：当更便宜的推理模型成本更高时

Lingjiao Chen, Chi Zhang, Yeye He, Ion Stoica, Matei Zaharia, James Zou

机构 * Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校） ； CMU（卡内基梅隆大学） ； Microsoft Research（微软研究院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文首次系统研究推理模型标价与实际成本的偏差，发现32%的模型对比较中存在价格反转现象，并基于Shapley值建立成本归因框架，揭示思考令牌消耗和交互轮次的高度异质性是主要原因。

Reducing Credit Assignment Variance via Counterfactual Reasoning Paths

通过反事实推理路径减少信用分配方差

Fei Ding, Yongkang Zhang, Youwei Wang, Zijian Zeng

机构 * Alibaba Group（阿里巴巴集团） ； Tsinghua University（清华大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出反事实比较框架，通过采样多条推理轨迹并利用差异隐式估计过程级优势，将稀疏终端奖励转化为步骤敏感信号，从而改进大语言模型多步推理的信用分配，并引入隐式行为策略优化（IBPO）提升训练稳定性和性能上限。

From Reasoning Chains to Verifiable Subproblems: Curriculum Reinforcement Learning Enables Credit Assignment for LLM Reasoning

从推理链到可验证子问题：课程强化学习使LLM推理能够进行信用分配

Xitai Jiang, Zihan Tang, Wenze Lin, Yang Yue, Shenzhi Wang, Gao Huang

机构 * LeapLab, Tsinghua University（清华大学 LeapLab） ； Qiuzhen College, Tsinghua University（清华大学 旗正学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出SCRL框架，通过从参考推理链中生成可验证子问题，解决LLM推理中信用分配问题，提升了在数学推理任务中的性能。

CoLD: Counterfactually-Guided Length Debiasing for Process Reward Models in Mathematical Reasoning

CoLD: 用于数学推理过程中奖励模型的反事实引导长度偏差消除

Congmin Zheng, Jiachen Zhu, Jianghao Lin, Xinyi Dai, Weiwen Liu, Haoxuan Li, Yong Yu, Weinan Zhang, Mengyue Yang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Peking University（北京大学） ； University of Bristol（布里斯托大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出CoLD，一种通过反事实引导消除过程奖励模型中长度偏差的统一框架，旨在提高多步骤推理的准确性和简洁性，同时提升下游强化学习性能和跨领域泛化能力。