SRPO: A Cross-Domain Implementation of Large-Scale Reinforcement Learning on LLM
Kuaishou Kwaipilot Team(快手Kwaipilot团队);HuggingFace
SRPO提出两阶段历史重采样策略优化,基于GRPO引入跨领域训练与历史重采样,用约1/10训练步骤超越DeepSeek-R1-Zero-32B,高效提升LLM推理能力。
2025-04-22 cs.LG
DeepSeek LLM: Scaling Open-Source Language Models with Longtermism
DeepSeek-AI(深度求索人工智能)
本文深入研究了缩放定律并提出独特发现,在7B和67B配置下推出了基于2万亿tokens预训练的DeepSeek LLM,经SFT和DPO后其67B模型在多项基准上超越LLaMA-2 70B及GPT-3.5。
2024-01-05 cs.AI cs.CL cs.LG
Evaluation is All You Need: Strategic Overclaiming of LLM Reasoning Capabilities Through Evaluation Design
本研究发现Deepseek-R1-Distill系列等开源推理模型的基准评估结果易受评估条件影响出现大幅波动,宣称的性能提升难复现,倡导建立更严谨的模型评估范式并给出相关实证评估。
2026-09-28 cs.AI cs.CL cs.LG
Broken Chains: The Cost of Incomplete Reasoning in LLMs
研究探讨了大语言模型在不同推理模式下在标记限制下的表现,发现截断推理可能有害,代码退化较好,混合推理表现欠佳,鲁棒性取决于模型。
2026-02-16 cs.AI cs.LG
Temporal Consistency for LLM Reasoning Process Error Identification
Department of Electrical & Computer Engineering, Princeton University(普林斯顿大学电气与计算机工程系);AI Lab, Princeton University(普林斯顿大学人工智能实验室);Department of Computer Science & Engineering, University of Michigan(密歇根大学计算机科学与工程系)
本文提出了一种基于时序一致性的LLM推理过程错误识别方法,通过迭代自我反思提升验证准确性,在多个基准测试中实现了优于基线方法的性能。
2025-03-18 cs.AI cs.CL cs.LG
Beyond Compression: Diagnosing How Post-Training Changes Mathematical Reasoning
University of Luxembourg(卢森堡大学);Seafill Open-Source Community(Seafill 开源社区);Université Paris-Saclay(巴黎-萨克雷大学)
本研究通过跨表面pass@K等诊断方法比较三种后训练路径,发现后训练在简单问题上主要压缩采样成本,在难题上扩大上限,且压缩并非后训练的普遍机制。
2026-09-30 cs.AI cs.LG
M1: Towards Scalable Test-Time Compute with Mamba Reasoning Models
TogetherAI;Cornell University(康奈尔大学);University of Geneva(日内瓦大学);Princeton University(普林斯顿大学)
本文提出基于Mamba架构的混合线性RNN推理模型M1,通过蒸馏与强化学习训练,在AIME和MATH基准上匹配DeepSeek R1性能,并实现超3倍加速,提升测试时计算效率。
2025-09-09 cs.LG
DotaMath: Decomposition of Thought with Code Assistance and Self-correction for Mathematical Reasoning
Alibaba Group(阿里巴巴集团);University of Science and Technology of China(中国科学技术大学)
本文提出DotaMath模型,通过思维分解、代码辅助与自我修正解决复杂数学推理,构建DotaMathQA数据集训练,在MATH和GSM8K上分别达到64.8%和86.7%的准确率。
2024-07-17 cs.AI cs.CL cs.LG
Systematic Optimization of Open Source Large Language Models for Mathematical Reasoning
Dwarkadas J. Sanghvi College of Engineering(达沃卡斯J·桑格维工程学院)
本文系统优化五个开源大模型(Qwen2.5-72B、Llama-3.1-70B等)的数学推理参数,通过搜索温度、推理步数等配置,平均降低29.4%计算成本并提升23.9%推理速度,实现100%优化成功率。
2025-09-08 cs.AI cs.LG
CoRT: Code-integrated Reasoning within Thinking
University of Science and Technology of China(中国科学技术大学);Alibaba Inc.(阿里巴巴);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
针对大型推理模型处理复杂数学运算效率低、准确率不足的问题,提出CoRT后训练框架,通过提示工程合成代码集成推理数据优化模型与代码解释器的交互,在多个数学推理数据集上实现准确率提升与token用量降低。
2025-06-12 cs.AI cs.CL cs.LG
AgentMath: Empowering Mathematical Reasoning for Large Language Models via Tool-Augmented Agent
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tencent Hunyuan(腾讯混元);Pengcheng Laboratory(鹏城实验室)
AgentMath通过整合语言模型和代码解释器,提升大语言模型在复杂数学问题上的推理能力,实现高效训练和高准确率。
2026-03-02 cs.AI cs.CL cs.LG
HyperDFlash: Hyper-Connection-Aligned Block Speculative Decoding with Gated Residual Reduction
ByteDance(字节跳动)
针对DeepSeek-V4的多超连接架构,提出HyperDFlash框架,通过对齐残差流和轻量门控缩减器,解决推测解码中特征错位和误差累积问题,显著提升解码速度。
2026-06-26 cs.CL cs.LG
Generative Adversarial Reasoner: Enhancing LLM Reasoning with Adversarial Reinforcement Learning
Johns Hopkins University(约翰霍普金斯大学)
本文提出生成对抗推理器,通过对抗性强化学习联合训练LLM推理器和判别器,提升推理质量与准确性。
2026-03-25 cs.AI cs.CL cs.LG
Skywork Open Reasoner 1 Technical Report
Skywork Open Reasoner 1
本文提出Skywork-OR1强化学习实现,基于DeepSeek-R1-Distill模型显著提升了长思维链模型的推理性能,并发现缓解过早熵崩溃对测试性能至关重要,同时全面开源了相关资源。
2025-05-29 cs.AI cs.CL cs.LG
Knowledge Distillation from Large Reasoning Models to Compact Student Models: A Case Study on the John O Bryan Mathematics Competition
Northern Kentucky University(北肯塔基大学)
本文研究从大型推理模型DeepSeek-R1向紧凑学生模型Qwen2.5-7B的知识蒸馏,通过构建思维链训练语料库微调,使学生在竞赛数据集上准确率提升4.76个百分点,并发现响应长度对数学推理质量至关重要。
2026-10-15 cs.AI cs.CL cs.LG
Feature Extraction and Steering for Enhanced Chain-of-Thought Reasoning in Language Models
New Jersey Institute of Technology(新泽西理工学院);University of California, Santa Barbara(加州大学圣芭芭拉分校);George Mason University(乔治·马歇尔大学);Microsoft(微软公司)
受DeepSeek-R1启发,本研究提出基于稀疏自编码器及无需SAE的引导算法,直接从残差激活计算引导方向,在不依赖外部数据集微调的情况下显著增强了LLM的思维链推理能力。
2025-07-12 cs.CL cs.LG
Ineq-Comp: Benchmarking Human-Intuitive Compositional Reasoning in Automated Theorem Proving on Inequalities
Princeton Language and Intelligence(普林斯顿语言与智能);Princeton University(普林斯顿大学);Peking University(北京大学);Tsinghua University(清华大学);Amazon(亚马逊)
本文提出 Ineq-Comp 不等式组合推理基准,通过变量复制、代数重写和多步组合测试 LLM 证明器,发现主流模型即使获得子证明仍存在显著组合推理缺陷。
2025-10-20 cs.AI cs.CL cs.LG
The Coupling Tax: How Shared Token Budgets Undermine Visible Chain-of-Thought Under Fixed Output Limits
National Taiwan University(国立台湾大学)
研究发现共享令牌预算会导致思维链推理效率下降,通过不同任务验证了耦合税现象,并提出分割预算生成作为缓解方法,提升数学任务准确率。
2026-05-08 cs.LG
NOVER: Incentive Training for Language Models via Verifier-Free Reinforcement Learning
King’s College London(伦敦国王学院);The Alan Turing Institute(艾伦·图灵研究所);Shanghai Jiao Tong University(上海交通大学)
针对现有激励训练依赖外部验证器、适用场景受限的问题,提出无需外部验证器、仅用标准监督微调数据的NOVER强化学习框架,可在多类文本任务中实现激励训练,性能优于同规模蒸馏模型,还为大模型优化提供新可能。
2025-09-02 cs.AI cs.CL cs.LG
Reinforcing General Reasoning without Verifiers
Sea AI Lab, Singapore(新加坡海智实验室);University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);National University of Singapore(新加坡国立大学);University of Oxford(牛津大学);Renmin University of China(中国人民大学)
针对基于验证器的强化学习方法在通用推理任务中的局限性,提出无验证器方法 VeriFree,通过直接最大化生成参考答案的概率进行强化学习训练,在多个基准测试中匹配甚至超越基于验证器的方法,同时显著降低计算需求。
2025-05-27 cs.CL cs.LG
Vision-R1: Incentivizing Reasoning Capability in Multimodal Large Language Models
East China Normal University(华东师范大学);The Chinese University of Hong Kong(香港中文大学);Xiaohongshu Inc.(小红书公司)
Vision-R1通过构建高质量多模态CoT数据集和渐进性思维抑制训练策略,提升多模态推理能力,在数学推理基准中取得显著成绩。
2026-02-28 cs.AI cs.CL cs.CV
Lost in Cultural Translation: Do LLMs Struggle with Math Across Cultural Contexts?
mV Research Lab(55mV研究实验室);Microsoft(微软);Millcrest Technology(Millcrest科技);Griffith University(格里菲斯大学)
研究发现大语言模型在不同文化背景下处理数学问题时存在性能下降,文化适应影响推理模式,需更多多样化的训练数据以提升全球适用性。
2026-04-08 cs.AI cs.LG
Zero-Shot Attribution for Large Language Models: A Distribution Testing Approach
University of Sydney(悉尼大学);National University of Singapore(新加坡国立大学);Indian Statistical Institute(印度统计研究所)
研究针对大型语言模型生成代码的零样本归因问题,提出基于分布测试的归因工具Anubis,利用样本与密度估计有效克服维度灾难,在基准实验中仅需约2000个样本即可高AUROC区分多种LLM。
2025-06-25 cs.AI cs.LG cs.SE
PrAg-PO: Prompt Augmented Policy Optimization for Robust and Diverse Mathematical Reasoning
Brown University(布朗大学);Palona AI;Harvard University(哈佛大学)
本文提出PrAg-PO,通过混合提示模板与特定格式奖励提升大语言模型的数学推理能力,增强鲁棒性和多样性,优于GRPO和DAPO。
2026-05-08 cs.AI cs.CL cs.LG
From Accuracy to Robustness: A Study of Rule- and Model-based Verifiers in Mathematical Reasoning
The Hong Kong University of Science and Technology(香港科学与技术大学);The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学)
本研究以数学推理为案例,分析了基于规则与基于模型的验证器在静态评估和RL训练中的表现,发现两类验证器分别存在误拒和奖励黑客问题,为开发更优RL奖励系统提供了参考。
2026-08-28 cs.AI cs.CL cs.LG
SimpleRL-Zoo: Investigating and Taming Zero Reinforcement Learning for Open Base Models in the Wild
HKUST(香港科技大学);TikTok(字节跳动);Meituan(美团)
本研究跨10种基础模型探究零强化学习训练,提出格式奖励与查询难度等关键策略,显著提升推理性能,并首次在非Qwen小模型中观察到“顿悟时刻”,开源代码与模型。
2025-08-06 cs.AI cs.CL cs.LG
Max It or Miss It: Benchmarking LLM On Solving Extremal Problems
University of Maryland(马里兰大学);Fudan University(复旦大学)
本文构建含93个标准化数学极值问题的 ExtremBench,评估 Qwen3、GPT-OSS、DeepSeek 等模型,发现其极值求解能力与 AIME25、MATH-500 等通用数学基准表现并不一致。
2025-10-17 cs.AI cs.CL cs.LG
Holistic Capability Preservation: Towards Compact Yet Comprehensive Reasoning Models
本文提出 Ring-Lite-Distill,通过高质量数据筛选与训练范式,将紧凑 MoE 模型 Ling-Lite 训练成仅激活 25 亿参数的高效推理模型,在推理能力比肩 DeepSeek-R1-Distill-Qwen-7B 的同时,通用能力显著超越后者。
2025-04-11 cs.CL cs.LG
MATH-Beyond: A Benchmark for RL to Expand Beyond the Base Model
针对现有数学基准无法区分强化学习探索新技能与锐化旧模式的问题,提出MATH-Beyond基准,迫使模型通过RL超越基础模型能力以解决更难的高中数学题。
2025-10-13 cs.AI cs.LG
N-GRPO: Embedding-Level Neighbor Mixing for Enhanced Policy Optimization
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
针对大语言模型数学推理中探索策略的折衷问题,提出N-GRPO方法,通过语义邻居混合机制在嵌入层注入多样性,在保持语义一致性的同时提升策略优化效果。
2026-06-09 cs.CL cs.LG
DRA-GRPO: Your GRPO Needs to Know Diverse Reasoning Paths for Mathematical Reasoning
Morgan Stanley(摩根士丹利);Clemson University(克莱姆森大学);Arizona State University(亚利桑那州立大学);Washington University in St. Louis(圣路易斯华盛顿大学);University of Notre Dame(圣母大学);University of Arizona(亚利桑那大学)
针对GRPO在数学推理中因奖励信号非单射导致策略坍塌的问题,提出基于子模互信息的多样性感知奖励调整框架DRA,通过逆倾向评分去偏梯度估计,在五个数学基准上以少量数据和成本取得平均58.2%的准确率。
2026-06-16 cs.CL cs.LG
Leveraging Large Language Models for Bengali Math Word Problem Solving with Chain of Thought Reasoning
Ahsanullah University of Science and Technology(阿沙努拉科技大学)
针对孟加拉语低资源且缺乏数学推理标注数据集的问题,构建了含8792道题的SOMADHAN数据集,评估多种大模型并验证思维链与LoRA微调的效果,推动低资源语言推理研究。
2025-07-30 cs.CL cs.LG
Is PRM Necessary? Problem-Solving RL Implicitly Induces PRM Capability in LLMs
Huawei Technologies Ltd.(华为技术有限公司);Guangdong Provincial Key Laboratory of Brain-Inspired Intelligent Computation, Department of CSE, SUSTech(广东省脑启发智能计算重点实验室、信息科学部、南方科技大学)
本研究发现纯RL训练可提升LLMs的推理能力并隐式诱导PRM能力,挑战了PRM的必要性。
2025-12-08 cs.AI cs.LG
MathNet: a Global Multimodal Benchmark for Mathematical Reasoning and Retrieval
MIT(麻省理工学院);KAUST(卡塔尔人工智能研究 institute);HUMAIN;Individual Researcher(独立研究者)
MathNet是一个大规模多模态数学问题基准,包含47个国家、17种语言、20年竞赛的30676道专家级数学问题,支持问题解决、数学检索和检索增强生成三个任务,实验表明先进模型在推理和检索任务上仍面临挑战。
2026-07-30 cs.AI cs.DL cs.IR
TokenSqueeze: Performance-Preserving Compression for Reasoning LLMs
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);School of Software Technology, Zhejiang University(浙江大学软件学院);Alibaba Cloud(阿里云);Zhiyuan Research Institute(智源研究院)
针对推理LLM长思维链导致token使用量大、效率低的问题,提出TokenSqueeze方法,通过自适应匹配推理深度的样本选择和分布对齐语言优化,实现保持性能的token压缩,在MATH500上使模型token减少50%且准确性不变。
2025-11-17 cs.AI cs.LG
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
DeepSeek-AI(深度求索人工智能)
DeepSeek-R1通过强化学习提升大语言模型的推理能力,无需人工标注数据,实现更复杂的推理任务表现。
2026-01-04 cs.AI cs.CL cs.LG
FormInv: A Measurement Protocol for Semantic Invariance in Mathematical Reasoning Benchmarks
Mohamed Bin Zayed University of Artificial Intelligence(Mohamed Bin Zayed人工智能大学)
提出FormInv协议,通过跨模型一致性审计检测语义错误,并引入语义一致性率(SCR)和Cochran's Q指标,揭示标准基准无法捕捉的排名变化和模型不一致性。
2026-10-19 cs.AI cs.LG
Masked-and-Reordered Self-Supervision for Reinforcement Learning from Verifiable Rewards
DP Technology(DP技术)
本文提出MR-RLVR方法,通过掩码与重排自监督学习提升RLVR在仅结果可验证场景下的可扩展性和性能。
2025-11-21 cs.AI cs.CL cs.LG
Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability
Tencent AI Lab(腾讯AI实验室)
本研究提出关键令牌概念与令牌级对比估计框架cDPO,通过识别替换推理轨迹中的关键令牌优化LLM训练,在多个基准和模型上验证了其提升数学推理能力的有效性。
2025-01-13 cs.AI cs.CL cs.LG
To Code or not to Code? Adaptive Tool Integration for Math Language Models via Expectation-Maximization
Hong Kong University of Science and Technology(香港科技大学);INFLY Tech(INFLY科技)
本文提出基于期望最大化的自适应工具集成框架,通过结构化探索与离策略强化学习协同,使数学语言模型自主决定何时使用代码,7B 模型在 MATH500 和 AIME 上分别提升超 11% 和 9.4%。
2025-07-18 cs.AI cs.CL cs.LG
ESPO: Early-Stopping Proximal Policy Optimization
Tongyi Lab(通义实验室);Alibaba Group(阿里巴巴集团);Peking University(北京大学)
提出ESPO算法,通过在强化学习训练大语言模型时在线检测轨迹失败并提前终止,节省计算资源并提升数学推理性能。
2026-05-28 cs.AI cs.LG
Cost-Effective Automated Judging of Natural-Language Mathematical Proofs
该研究以 IMO-GradingBench 为基准,验证 GPT-OSS 120B 等三个低成本模型作为数学证明评判器的效果,发现全票通过规则的低成本方案与前沿模型效果相当,成本低达 100 倍。
2026-10-06 cs.AI cs.CL cs.LG
Act Only When It Pays: Efficient Reinforcement Learning for LLM Reasoning via Selective Rollouts
Carnegie Mellon University(卡内基梅隆大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Meta AI
本文提出GRESO算法,利用奖励训练动态在展开前预测并跳过无信息量提示,在多个数学推理模型上实现最高2.4倍展开加速和2.0倍总训练加速且不损失精度。
2025-06-02 cs.AI cs.LG
HelpSteer3: Human-Annotated Feedback and Edit Data to Empower Inference-Time Scaling in Open-Ended General-Domain Tasks
NVIDIA
提出基于人类反馈改进机制,利用 HelpSteer3 数据训练反馈与编辑模型,通过多模型协作生成、反馈、编辑响应扩展推理时计算,在 Arena Hard 基准上达到 92.7 的 SoTA 性能。
2025-05-30 cs.AI cs.CL cs.LG
Incentivizing LLMs to Self-Verify Their Answers
Nanyang Technological University, Singapore(南洋理工大学,新加坡);Skywork AI
针对特定推理任务训练后LLM用外部奖励模型做测试时缩放收益有限的问题,提出统一生成与验证的强化学习框架,激励模型自我验证,实现了训练后性能提升与有效测试时缩放。
2025-10-30 cs.AI cs.LG
BoostStep: Boosting mathematical capability of Large Language Models via improved single-step reasoning
Shanghai AI Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学);The Chinese University of Hong Kong(香港中文大学)
提出 BoostStep 步骤对齐 ICL 方法,通过匹配参考推理步骤并结合“首次尝试”策略,提升 LLM 数学推理及树搜索决策性能。
2025-02-17 cs.AI cs.CL cs.LG
LLMOrbit: A Circular Taxonomy of Large Language Models -From Scaling Walls to Agentic AI Systems
Microsoft(微软)
本文提出LLMOrbit,通过八个维度分析2019-2025年50余种大型语言模型,揭示数据稀缺、成本激增和能源消耗三大危机,并提出六种突破扩展壁垒的范式,推动生成AI和智能体系统的发展。
2026-04-16 cs.AI cs.CV cs.LG
The Impact of Language Mixing on Bilingual LLM Reasoning
University of Pennsylvania(宾夕法尼亚大学)
本研究探究中英双语大语言模型推理中的语码混合现象,明确RLVR是其关键训练成因,证实语码混合是有益的策略性推理行为,还提出用轻量探针引导解码以提升推理准确率。
2025-09-30 cs.AI cs.CL cs.LG