DIMSUM: Discourse in Mathematical Reasoning as a Supervision Module
IRIT;NIT Silchar(锡尔卡尔国家理工学院)
本文提出DIMSUM,利用话语结构作为监督模块,在GSM8k数学推理任务中将Llama2 13b性能提升高达160%,并显著改善大模型在分布外示例上的表现。
2025-03-07 cs.CL
Right Is Not Enough: The Pitfalls of Outcome Supervision in Training LLMs for Math Reasoning
Fudan University(复旦大学);Ant Group(蚂蚁集团);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
本文揭示了LLMs数学推理中通过不合理过程得出正确答案的奖励作弊问题,提出逐步验证方法ParaStepVerifier,有效提升识别有缺陷解法的准确性,为评估和训练具有真正数学推理能力的LLMs提供更稳健的途径。
2025-06-24 cs.CL
Nemo: Guiding and Contextualizing Weak Supervision for Interactive Data Programming
University of Washington(华盛顿大学);Snorkel AI, Inc.(Snorkel AI公司)
弱监督(WS)技术允许用户通过编程方式用启发式监督源标记数据来有效地创建大型训练数据集。虽然WS的成功在很大程度上依赖于所提供的标记策略,但在实践中如何创建这些策略的过程仍然未得到充分探索。在这项工作中,我们正式的开发过程中,标签的启发式的互动过程,围绕现有的工作流程,用户从一组选定的开发数据设计的启发式的来源。与形式主义,我们研究了两个核心问题,如何战略性地选择开发数据,以指导用户在有效地创建信息的统计,以及如何利用开发过程中的信息,以上下文和更好地学习结果的统计。建立在两种新的方法,有效地解决各自考虑的问题,我们提出了尼莫,一个端到端的交互式系统,提高了WS学习管道的整体生产力平均20%(和高达47%,在一个任务)相比,流行的WS方法。
2022-10-24 cs.LG stat.ML
From Large to Tiny: Distilling and Refining Mathematical Expertise for Math Word Problems with Weakly Supervision
Guangdong University of Technology(广东工业大学)
本文提出两阶段蒸馏与精炼框架,从 LLM 构建并补全问题-方程对以弱监督训练小型 MWP 模型,在 Math23K 和 Weak12K 上显著提升且成本远低于 ChatGPT。
2024-03-21 cs.CL
MathShikkha: A Controlled Study of Answer-Only and Chain-of-Thought Supervision for Bangla Mathematical Reasoning in Small Language Models
University at Albany(奥尔巴尼大学)
本研究构建含GPT-5.4推理依据的孟加拉语数学数据集MathShikkha,微调4个4B-7B模型,发现CoT监督对域内强骨干无增益但提升弱模型,域外及BanglaMATH基准上均优于仅答案,核心益处为语言贴合度、可审核推理及域外鲁棒性。
2026-08-11 cs.AI cs.CL
Process Supervision of Confidence Margin for Calibrated LLM Reasoning
Johns Hopkins University(约翰霍普金斯大学)
本文提出RLCM框架,通过增强的边际过程奖励优化正确性和置信度可靠性,提升模型校准性能并保持准确性,同时实现更高效的置信度加权聚合。
2026-08-11 cs.CL cs.LG
Guiding Language Model Reasoning with Planning Tokens
University of California, Santa Barbara(加州大学圣巴巴拉分校);Microsoft Research(微软研究院);Mila — Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
本文提出在每个推理步骤开始时生成规划令牌作为高层计划,以极少的可训练参数增加引导语言模型进行结构化思维链推理,并在多个数学和问答数据集上取得显著准确率提升。
2024-08-06 cs.AI cs.CL cs.LG
Masked-and-Reordered Self-Supervision for Reinforcement Learning from Verifiable Rewards
DP Technology(DP技术)
本文提出MR-RLVR方法,通过掩码与重排自监督学习提升RLVR在仅结果可验证场景下的可扩展性和性能。
2025-11-21 cs.AI cs.CL cs.LG
Let's Verify Step by Step
OpenAI(开放人工智能研究中心)
本文比较了结果监督与过程监督对大型语言模型多步推理训练的影响,发现过程监督在MATH数据集上显著更优,并发布80万条人类逐步反馈数据集PRM800K以支持后续研究。
2023-05-31 cs.AI cs.CL cs.LG
Enhancing LLM Reasoning via Critique Models with Test-Time and Training-Time Supervision
Fudan University(复旦大学);Meituan(美团)
本文提出将推理模型与批判模型分离的双角色范式,通过AutoMathCritique框架构建步骤级反馈数据集,在测试时和训练时用批判监督提升大语言模型的数学推理能力与自我改进效果。
2024-11-25 cs.AI cs.CL cs.LG
Guiding Reasoning in Small Language Models with LLM Assistance
KAIST AI(韩国科学技术院人工智能研究所);LG AI Research(LG人工智能研究院)
本文提出 SMART 框架,通过基于评分识别不确定步骤并注入 LLM 的纠正性推理,以最优策略搜索引导小语言模型的推理轨迹,显著提升其在复杂数学推理任务上的性能。
2025-06-02 cs.CL
Teach the Way It Thinks: Guiding LLM Post-training Data Engineering with Sparse Autoencoders
Tsinghua University(清华大学)
提出SAERL框架,通过稀疏自编码器提取模型内部状态,建模数据多样性、难度和质量,用于强化学习数据工程,提升准确率并减少训练步数。
2026-11-06 cs.AI cs.CL cs.LG
SPARE: Single-Pass Annotation with Reference-Guided Evaluation for Automatic Process Supervision and Reward Modelling
SPARE通过单次生成与参考引导评估,实现高效过程标注,提升LLM多步推理中的奖励建模与微调效果。
2026-03-02 cs.AI cs.CL cs.LG
Enhancing Reasoning through Process Supervision with Monte Carlo Tree Search
AI Lab, Giant Network(巨量引擎AI实验室)
本文提出利用蒙特卡洛树搜索让LLM自生成过程监督数据,通过加权对数似然迭代训练,在数学推理任务上显著提升性能并展现跨数据集迁移能力。
2025-01-02 cs.AI cs.CL cs.LG
Beyond Rejection Sampling: Trajectory Fusion for Scaling Mathematical Reasoning
Microsoft(微软)
TrajFusion通过融合错误与正确推理轨迹,改进数学推理微调,提升复杂问题表现。
2026-02-04 cs.CL
From Implicit to Explicit: Token-Efficient Logical Supervision for Mathematical Reasoning in LLMs
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出FSLR框架,通过显式监督提升大语言模型对逻辑关系的理解能力,实验显示其在推理准确率和训练效率上均优于CoT-SFT。
2026-04-18 cs.AI cs.CL
EngTrace: A Symbolic Benchmark for Verifiable Process Evaluation of Engineering Reasoning
Namal University(纳马尔大学);MBZUAI(马克斯·普朗克智能人工智能研究所);The University of Tokyo(东京大学)
提出EngTrace符号基准,包含1350个参数化测试用例,通过两阶段可验证评估框架(分层协议+AI仲裁)检验中间推理轨迹与最终答案,揭示数值精度与轨迹保真度的权衡。
2026-10-20 cs.AI cs.CL cs.LG
PolicyGuide: From Guarding One Action to Guiding the Whole Workflow for Policy-Compliant LLM Agents
KAIST(韩国科学技术院)
PolicyGuide将领域政策编译为工作流图,通过主动验证器引导LLM智能体合规执行,在多领域提升了合规率,且工作流可跨模型迁移,攻击成功率低、程序性合规性强。
2026-11-10 cs.AI cs.CL cs.LG
From Symbolic Perception to Logical Deduction: A Framework for Guiding Language Models in Geometric Reasoning
University of Science and Technology of China(中国科学技术大学)
该框架通过几何视觉解析器和符号求解器,使纯语言模型在平面几何推理上达到与大型多模态模型相当的性能,并基于2025年中考基准验证了其有效性与可解释性。
2026-09-10 cs.AI cs.CL
AlphaMath Almost Zero: Process Supervision without Process
Tongyi Lab(通义实验室)
本文提出AlphaMath框架,通过结合蒙特卡洛树搜索(MCTS)和价值模型,无需人类或GPT-4的过程标注即可自动生成过程监督和步骤级评估信号,并采用步骤级束搜索策略提升推理效率,在数学推理任务上取得与最先进方法相当或更优的表现。
2024-09-27 cs.AI cs.CL
Iterative Label Refinement Matters More than Preference Optimization under Weak Supervision
The University of Hong Kong(香港大学);University of California, Berkeley(加州大学伯克利分校)
该研究针对弱监督下语言模型后训练效果下降的问题,提出迭代标签精炼(ILR)方法替代RLHF,通过比较反馈优化SFT数据再重训模型,在多项任务中表现优于SFT+DPO,为复杂任务的模型训练提供了新的反馈利用思路。
2025-01-14 cs.AI cs.CL cs.LG
Guided Self-Evolving LLMs with Minimal Human Supervision
Tencent AI Lab in Seattle(西雅图腾讯AI实验室);Washington University in St. Louis(斯托克维尔华盛顿大学)
R-Few通过引入轻量级人类监督,实现稳定可控的自演化大语言模型,提升数学推理性能并减少对大量人类数据的依赖。
2025-12-02 cs.AI cs.CL cs.LG
Better Process Supervision with Bi-directional Rewarding Signals
School of Computer Science, Fudan University(复旦大学计算机科学学院);Cognitive AI Lab, Shanghai Huawei Technologies(华为技术有限公司上海认知人工智能实验室);Institute of Modern Languages and Linguistics, Fudan University(复旦大学现代语言与语言学研究所)
针对现有过程监督方法单向且缺乏对最终目标距离建模的问题,受A*算法启发提出双向过程监督模型BiRM,同时评估历史步骤正确性与未来成功概率,在数学推理任务中显著提升了LLM推理评估与搜索指导的精确度。
2025-03-06 cs.CL
VRPO: Rethinking Value Modeling for Robust RL under Noisy Supervision in LLM Post-Training
College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学与人工智能学院);Honor Device Co., Ltd(荣耀设备有限公司);Institute of Trustworthy Embodied AI, Fudan University(复旦大学可信具身人工智能研究院);Shanghai Key Laboratory of Multimodal Embodied AI(上海多模态具身人工智能重点实验室)
针对强化学习中噪声监督导致策略不稳定问题,提出VRPO框架,通过熵和困惑度辅助损失及变分信息瓶颈增强价值模型,使其能过滤噪声并生成可靠优势估计,在多项任务上优于PPO和GRPO。
2026-06-23 cs.AI cs.CL cs.LG
The Path of Least Resistance: Guiding LLM Reasoning Trajectories with Prefix Consensus
Fujitsu Research India(富士通印度研究实验室);SRID;Samsung R&D Institute India-Delhi(三星印度德里研发研究所)
PoLR通过利用前缀一致性在推理过程中提高计算效率,减少令牌使用和延迟,同时保持自我一致性方法的准确性。
2026-02-03 cs.AI cs.CL
Describe-then-Reason: Improving Multimodal Mathematical Reasoning through Visual Comprehension Training
University of Notre Dame(圣母大学);Tencent AI Seattle Lab(腾讯AI西雅图实验室);Nanyang Technological University(南洋理工大学)
针对开源多模态大模型在复杂数学推理中视觉理解不足的问题,提出两步训练流程VCAR,通过先生成视觉描述再辅助生成推理步骤,显著提升了模型在高视觉需求数学问题上的表现。
2024-04-26 cs.CL
Ornithologist: Towards Trustworthy "Reasoning" about Central Bank Communications
Reserve Bank of Australia(澳大利亚储备银行)
本文提出弱监督文本分类系统 Ornithologist,利用分类法引导的推理和人工决策树提升央行沟通鹰鸽倾向识别的透明度、可解释性与可迁移性,并验证其对 RBA 利率路径和市场预期具有预测信息。
2025-05-14 cs.CL econ.GN q-fin.EC
Guided Verifier: Collaborative Multimodal Reasoning via Dynamic Process Supervision
University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学);The University of Hong Kong(香港大学)
本文提出引导验证器框架,通过动态过程监督实现多模态推理的协作优化,提升模型性能。
2026-02-04 cs.CL
From Final Artifacts to Trajectories: Retrospective Process Supervision for Evidence-Grounded Long-Form Generation
Shanghai Jiao Tong University(上海交通大学);Tencent Youtu Lab(腾讯优图实验室)
针对开放式长文本生成任务轨迹数据稀缺的问题,提出RetroGen框架,利用预训练数据中丰富的高质量最终产物重构轨迹,训练模型以提升证据支撑等任务表现。
2026-09-01 cs.CL
Error Typing for Smarter Rewards: Improving Process Reward Models with Error-Aware Hierarchical Supervision
Singapore University of Technology and Design(新加坡科技设计大学);Lambda Labs(Lambda实验室)
本文提出PathFinder-PRM,一种错误感知的分层过程奖励模型,通过分类步骤错误并融合信号提升数学推理奖励估计,在PRMBench上取得67.7的SOTA分数,数据效率提高3倍。
2025-05-26 cs.AI cs.CL
Verbalized Confidence Triggers Self-Verification: Emergent Behavior Without Explicit Reasoning Supervision
本文发现仅用标量置信度标签微调即可让大语言模型涌现自我验证行为,并提出基于校准不确定性的测试时扩展方法,在多个推理基准上同时提升校准性、准确性和可解释性。
2025-06-04 cs.AI cs.CL
Toolcompass: Guiding Tool Trialing, Not Suppressing It
ToolCompass通过功能聚类引导工具试用,提升LLM智能体对未见工具的泛化,无需额外推理开销,在多个基准上显著提高任务成功率。
2026-09-23 cs.AI cs.LG
Leveraging in-domain supervision for unsupervised image-to-image translation tasks via multi-stream generators
Tel-Aviv University(特拉维夫大学)
图像到图像翻译(I2I)任务的监督很难实现,但对结果质量有重要影响。在本文中,我们观察到,对于许多无监督I2I(UI2I)场景,一个域比另一个更熟悉,并提供域内先验知识,如语义分割。我们认为,对于复杂的场景,弄清楚的语义结构的域是很难的,特别是没有监督,但一个成功的I2I操作的重要组成部分。因此,我们介绍了两种技术,将这一宝贵的领域内的先验知识的翻译质量的好处:通过一个新的多流生成器架构,并通过一个语义分割为基础的正则化损失项。从本质上讲,我们建议根据语义掩码分割输入数据,明确引导网络对图像的不同区域采取不同的行为。此外,我们建议在翻译任务中训练一个语义分割网络,并利用此输出作为损失项,以提高鲁棒性。我们在城市数据上验证了我们的方法,在将白天图像转换为夜间图像的具有挑战性的UI2I任务中展示了卓越的质量。此外,我们还演示了如何用我们的增强图像增强目标数据集,以改进下游任务的训练,例如经典的检测任务。
2021-12-30 cs.AI cs.CV cs.LG
Learning by Fixing: Solving Math Word Problems with Weak Supervision
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
以前的数学应用题(MWP)神经解决器是在完全监督下学习的,无法生成多样化的解决方案。在本文中,我们解决这个问题,通过引入一个\textit{weakly-supervised}范式学习MWPs。我们的方法只需要最终答案的注释,可以为单个问题生成各种解决方案。为了增强弱监督学习,我们提出了一种新的\textit{learning-by-fixing}(LBF)框架,它通过符号推理纠正了神经网络的误解。具体地,对于由神经网络生成的不正确的解决方案树,\textit{fixing}机制将错误从根结点传播到叶节点,并推断可以被执行以获得期望的答案的最可能的修复。为了生成更多样化的解决方案,应用\textit{tree regularization}来指导解决方案空间的有效收缩和探索,并且设计\textit{memory buffer}来跟踪和保存针对每个问题发现的各种修复。在Math23 K数据集上的实验结果表明,该LBF框架在弱监督学习中的性能明显优于强化学习基线。此外,它实现了与完全监督方法相比相当的前1和更好的前3/5答案准确度,证明了其在产生不同解决方案方面的实力。
2021-08-03 cs.AI cs.CL cs.LG
Solving math word problems with process- and outcome-based feedback
DeepMind(深度思维)
最近的研究表明,要求语言模型生成推理步骤可以提高许多推理任务的性能。当超越提示时,这就提出了我们应该如何监督这些模型的问题:基于结果的方法监督最终结果,还是基于过程的方法监督推理过程本身?这些方法之间的差异可能不仅在最终答案错误中,而且在推理错误中也很难发现,并且在许多现实世界的领域(如教育)中存在问题。我们运行基于过程和基于结果的方法之间的第一次全面比较,在自然语言任务GSM8K上训练。我们发现,纯结果为基础的监督产生类似的最终答案出错率较少的标签监督。然而,对于正确的推理步骤,我们发现有必要使用基于过程的监督或来自模仿基于过程的反馈的学习奖励模型的监督。总的来说,我们改善了以前的最好的结果,从16.8% $\to$ 12.7%的最终答案错误和14.0% $\to$ 3.4%的推理错误之间的最终答案正确的解决方案。
2022-11-25 cs.AI cs.CL cs.LG
Guiding a Diffusion Transformer with the Internal Dynamics of Itself
University of Electronic Science and Technology of China(电子科技大学);National University of Singapore(新加坡国立大学);Sun Yat-sen University(中山大学);North China Institute of Computer Systems Engineering(华北计算机系统工程研究所)
本文提出内部引导策略,通过训练过程中中间层的辅助监督和采样时的中间层输出扩展,提升训练效率和生成质量,在ImageNet上取得显著效果。
2026-03-31 cs.CV cs.LG
CoT Information: Improved Sample Complexity under Chain-of-Thought Supervision
Yale University(耶鲁大学)
本文提出CoT信息度量,将训练与测试风险关联,证明思维链监督可显著降低样本复杂度,实现比标准端到端监督更快的学习速率。
2025-05-21 cs.LG stat.ML
WARM: A Weakly (+Semi) Supervised Model for Solving Math word Problems
Flipkart(Flipkart公司);IIT Bombay(印度理工学院孟买分校);Quadeye(Quadeye公司);IBM India Research Lab(IBM印度研究实验室)
针对数学应用题求解需全量方程标注成本高的问题,提出仅用最终答案监督的弱监督模型WARM,先学生成方程再训练求解器,性能优于现有弱监督方法,还发布多语言数据集并拓展半监督版本。
2023-06-13 cs.CL cs.LG
Multi-step Problem Solving Through a Verifier: An Empirical Analysis on Model-induced Process Supervision
University of California, San Diego(加利福尼亚大学圣迭戈分校);Google(谷歌公司)
提出自动化数据整理方法MiPS,通过推理模型采样补全标注中间步骤准确率,优先关注验证器高预测分数,显著提升PaLM 2在数学和编程任务上的性能并展现强泛化能力。
2024-10-14 cs.AI cs.CL cs.LG
Evaluation of mathematical questioning strategies using data collected through weak supervision
University of Virginia(弗吉尼亚大学);James Madison University(詹姆斯麦迪逊大学)
大量的研究表明,教师的提问策略可以提高学生的学习效果。然而,由于缺乏特定场景的训练数据以及与标记相关的成本,开发新场景具有挑战性。本文提出了一个高保真的,基于人工智能的课堂模拟器,以帮助教师排练基于研究的数学提问技能。使用人在回路的方法,我们收集了一个高质量的数学提问场景的训练数据集。使用最新进展的不确定性量化,我们评估了我们的会话代理的可用性和分析的实用性,将人在回路中的方法,数据汇集和系统评估的数学提问的情况。
2021-12-02 cs.AI cs.HC cs.LG
FedDSR: Federated Deep Supervision and Regularization Towards Autonomous Driving
Department of Electrical and Electronic Engineering, The University of Hong Kong(香港大学电子与电气工程系);Department of Computer Science, City University of Hong Kong(城市大学计算机科学系);Shenzhen International Center For Industrial And Applied Mathematics, Shenzhen Research Institute of Big Data(深圳国际工业与应用数学中心、深圳大数据研究院)
FedDSR通过多层监督和正则化提升联邦学习在自动驾驶中的泛化能力与收敛速度,实验显示在语义分割任务中mIoU提升8.93%且训练轮次减少28.57%。
2025-12-07 cs.LG cs.RO
Easy-to-Hard Generalization: Scalable Alignment Beyond Human Supervision
Carnegie Mellon University(卡内基梅隆大学);Peking University(北京大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);UMass Amherst(马萨诸塞大学阿默斯特分校)
本文提出用简单题训练过程监督奖励模型,再以重排序或强化学习指导模型解决更难推理题,在仅使用简单题人类监督下于MATH500取得显著成绩。
2024-12-10 cs.AI cs.CL cs.LG
Clarification as Supervision: Reinforcement Learning for Vision-Language Interfaces
ILLC, University of Amsterdam(伊拉斯谟范例学院、阿姆斯特丹大学);ILCC, University of Edinburgh(爱丁堡大学)
针对视觉-语言模型生成的字幕遗漏推理关键细节导致的接口不匹配问题,提出自适应澄清强化学习AC-RL,以澄清请求为隐式监督,通过交互训练模型生成全面初始字幕,在7个视觉数学推理基准上准确率提升4.4个百分点,且可减少最多39%的澄清请求。
2025-09-30 cs.CL cs.CV cs.LG
Let the Data Decide: Supervision Analysis, Capability Trade-offs, and Adaptive Objective Routing in Continued Pre-Training via Off-Policy Distillation
Baidu Inc.(百度公司)
研究离策略蒸馏中训练数据、目标参数化和模型能力的相互作用,通过分解问题进行“目标到能力”和“数据到目标”分析,引入诊断指标量化张力,探讨自适应目标路由,表明有效路由取决于信号质量,将持续预训练重构为监督设计问题。
2026-07-21 cs.AI cs.LG
Reward Granularity in RLVR: Comparing Process and Outcome Reward Structures for Mathematical Reasoning in Small Language Models
New York University(纽约大学)
研究在小语言模型中通过强化学习提升数学推理能力,系统比较五种奖励条件,发现过程奖励能显著提高准确率和推理痕迹保真度,奖励粒度是重要设计决策。
2026-07-07 cs.LG
Strength from Weakness: Fast Learning Using Weak Supervision
Massachusetts Institute of Technology(麻省理工学院)
研究了弱监督学习的泛化性质。也就是说,学习只有少数“强”标签(我们预测的实际目标)存在,但更多的“弱”标签可用。特别是,我们表明,访问弱标签可以显着加快强任务的学习率,达到$\mathcal{O}(\nicefrac1n)$的快速速度,其中$n$表示强标签数据点的数量。即使强标记数据本身只允许较慢的$\mathcal{O}(\nicefrac{1}{\sqrt{n}})$速率,这种加速也会发生。实际的加速持续依赖于可用的弱标签的数量,以及两个任务之间的关系。我们的理论结果在一系列任务中得到了经验性的反映,并说明了弱标签如何加速强任务的学习。
2020-02-19 cs.LG stat.ML
Mitigating Error Amplification in Fast Adversarial Training
Anhui University(安徽大学);Dalian University of Technology(大连理工大学);Zhejiang University(浙江大学);University of Exeter(埃克塞特大学)
本文分析了指导强度对模型性能的影响,提出DDG策略动态调整扰动预算和监督信号,缓解对抗过拟合和鲁棒性准确性权衡问题。
2026-04-27 cs.CR cs.LG
Noise2Self: Blind Denoising by Self-Supervision
Chan-Zuckerberg Biohub(陈-扎克伯格生物中心)
我们提出了一个通用的框架去噪高维测量,不需要事先对信号,没有估计的噪声,没有干净的训练数据。唯一的假设是噪声在测量的不同维度上表现出统计独立性,而真实信号表现出某种相关性。对于一个广泛的功能(“$\mathcal{J}$ -不变”)类,它是可能的,估计从噪声数据单独的降噪器的性能。这使我们能够校准任何参数化去噪算法的$\mathcal{J}$不变版本,从中值滤波器的单个超参数到深度神经网络的数百万个权重。我们在自然图像和显微镜数据上证明了这一点,在那里我们利用像素之间的噪声独立性,在单细胞基因表达数据上,我们利用单个分子检测之间的独立性。这个框架概括了最近的工作训练神经网络从嘈杂的图像和交叉验证矩阵分解。
2019-06-08 cs.CV cs.LG stat.ML
GRPO-VPS: Enhancing Group Relative Policy Optimization with Verifiable Process Supervision for Effective Reasoning
Tsinghua University(清华大学);Shenzhen University(深圳大学);Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出GRPO-VPS,通过在推理轨迹中探测模型对正确答案的信心,改进GRPO的轨迹级反馈,实现更精准高效的策略更新,实验显示在数学和通用领域任务中均取得显著提升。
2026-04-22 cs.AI cs.LG
Data Distribution as a Lever for Guiding Optimizers Toward Superior Generalization in LLMs
University of California, Los Angeles(加州大学洛杉矶分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
通过调整训练数据分布降低简单性偏见,提升大型语言模型的泛化能力,实验表明在数学推理任务中性能提升达18%。
2026-01-31 cs.AI cs.LG
Function-Structured Reinforcement Learning with Executable Verifiers for Mathematical Reasoning
University College London(伦敦大学学院);Chinese Academy of Sciences(中国科学院)
提出函数结构化图强化学习(FSG-RL),结合函数图、Python代码和多验证器反馈,通过GRPO优化策略,在数学推理基准上将最终答案准确率从43.25%提升至67.50%。
2026-10-02 cs.LG
Recovering Reliable Supervision via Critique-Guided On-Policy Distillation
Brigham Young University(杨百翰大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
该研究针对同策略蒸馏(OPD)在错误 rollout 上可恢复性失效的问题,提出 CriticOPD 方法,通过教师评论引导学生修订,在 Qwen3 模型及六个数学推理基准上提升了 OPD 性能,竞赛题提升最显著。
2026-10-14 cs.AI cs.LG
ROSS: Relearning from Self-Generated Rollouts through Selective Supervision
ROSS通过选择性监督从历史自生成轨迹中重新学习,在多个任务上提升性能,无需额外策略轨迹。
2026-10-21 cs.AI cs.LG
Chain of Execution Supervision Promotes General Reasoning in Large Language Models
Qwen Team, Alibaba(阿里巴巴通义实验室);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));University of Science and Technology of China(中国科学技术大学)
针对代码中推理隐式且含噪声导致直接训练效果不佳的问题,该研究提出含260万样本的TracePile语料库,将代码执行转化为显式执行链推理依据,经多设置多基准实验验证可有效提升LLM的通用推理能力。
2025-10-24 cs.AI cs.LG cs.PL