A Practical Two-Stage Recipe for Mathematical LLMs: Maximizing Accuracy with SFT and Efficiency with Reinforcement Learning
Aillis Inc.(Aillis公司);Department of Health Policy(健康政策部门);Public Health, Graduate School of Pharmaceutical Sciences, The University of Tokyo, Tokyo, Japan(公共卫生,药学研究生院,东京大学,东京,日本);Rist Inc.(Rist公司)
本文提出一种结合扩展SFT与GRPO强化学习的两阶段训练配方,通过长SFT阶段最大化数学推理准确率,再用GRPO优化解长度提升效率,在AIMO等基准上取得顶级表现。
2025-07-11 cs.AI cs.LG
Enhancing Action and Ingredient Modeling for Semantically Grounded Recipe Generation
本文提出语义 grounded 的框架,通过两阶段流程结合监督微调和强化微调,提升食谱生成的语义准确性与成分预测能力。
2026-01-26 cs.AI cs.CL
Reset & Distill: A Recipe for Overcoming Negative Transfer in Continual Reinforcement Learning
Department of Electrical and Computer Engineering (ECE), Seoul National University(电子与计算机工程系,首尔国立大学);Interdisciplinary Program in Artificial Intelligence (IPAI), Seoul National University(人工智能交叉计划,首尔国立大学);Samsung Advanced Institute of Technology(三星先进技术研究所)
针对持续强化学习中的负迁移问题,提出Reset & Distill(R&D)方法,通过重置在线网络与离线知识蒸馏策略,在Meta World任务上显著提升了成功率。
2025-11-04 cs.AI cs.LG
The Art of Scaling Reinforcement Learning Compute for LLMs
Meta;Harvard University(哈佛大学);Periodic Labs
本研究通过40万GPU小时的大规模实验,提出RL计算扩展的预测框架,并给出最佳实践方案ScaleRL,成功在10万GPU小时运行中预测验证性能。
2025-10-15 cs.AI cs.LG
AI Training Manager: Bounded Closed-Loop Control of Adaptive Training Recipes
提出一种基于LLM的有界监督控制器,通过结构化遥测和约束动作空间,动态调整学习率、正则化等超参数,解决训练中的过拟合、损失不平衡等问题,在语言建模和强化学习任务中提升性能。
2026-10-01 cs.AI
Can LLM Agents Automate Reinforcement Learning for Text-to-Speech?
Shanda Group(盛大集团)
本研究通过AgenticTTS-Forge工作流验证LLM代理可自动化TTS强化学习配方,恢复并改进配方,但暴露数据泄露、代理膨胀等测量陷阱,表明核心约束在于测量而非推理。
2026-10-06 cs.AI cs.SD eess.AS
Reinforcement Learning with Verifiable Rewards for Small Search Agents
Leiden Institute of Advanced Computer Science, Leiden University(莱顿大学高级计算机科学研究所)
本研究在小型模型上验证了可验证奖励强化学习(RLVR)结合搜索的可行性,发现稀疏精确匹配奖励不适用,需针对小型模型设计专门奖励。
2026-09-25 cs.AI cs.IR
SWE-QA-Pro: A Representative Benchmark and Scalable Training Recipe for Repository-Level Code Understanding
University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学);The Hong Kong University of Science and Technology(香港科学与技术大学);McGill University & MILA(麦吉尔大学及MILA);Verdent AI, Inc.(Verdent AI公司)
本文提出SWE-QA-Pro基准,通过多样化的长尾仓库和可执行环境构建,验证了代理工作流在代码理解任务中的优势,并提出可扩展的合成数据管道和两阶段训练方法,使小型模型在复杂行为学习中取得优异表现。
2026-03-17 cs.AI cs.CL cs.SE
SFR-DeepResearch: Towards Effective Reinforcement Learning for Autonomously Reasoning Single Agents
Salesforce AI Research(Salesforce AI研究院)
本文提出SFR-DeepResearch,一种基于合成数据的持续强化学习方法,用于训练自主推理单智能体,在保持推理能力的同时增强智能体技能,其最佳模型SFR-DR-20B在“人类最后的考试”基准上达到28.7%的准确率。
2025-09-09 cs.AI cs.CL
EvoTrainer: Co-Evolving LLM Policies and Training Harnesses for Autonomous Agentic Reinforcement Learning
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究院,中国科学院);Tongyi Lab , Alibaba Group(通义实验室,阿里巴巴集团);Alibaba Group(阿里巴巴集团);SUAT(深圳大学)
提出EvoTrainer框架,通过协同进化LLM策略和训练端框架,基于经验反馈自动诊断、修正并积累可复用技能,在数学推理、编程竞赛和仓库级软件工程任务上匹配或超越人工设计的RL基线。
2026-06-15 cs.AI
LeDeepChef: Deep Reinforcement Learning Agent for Families of Text-Based Games
ETH Zurich(苏黎世联邦理工学院)
虽然强化学习(RL)方法在近代历史上的各个领域取得了重大成就,但自然语言任务几乎没有受到影响,因为它们的组成和组合性质使其难以优化。随着基于文本的游戏(TBG)的出现,研究人员试图弥合这一差距。受Atari游戏中RL算法的成功启发,该想法是在受限的游戏世界中开发新方法,然后逐渐转向更复杂的环境。以前在TBG领域的工作主要集中在解决单个游戏。然而,我们考虑的任务是设计一个代理,不仅在单个游戏中成功,而且在整个游戏家族中表现良好,共享相同的主题。在这项工作中,我们提出了我们的深度RL代理-LeDeepChef-它显示了对具有不同环境和任务描述的同一家族中从未见过的游戏的泛化能力。该代理参加了微软研究院的“第一个文本世界问题:语言和强化学习挑战”,并在最终测试集上超过了所有竞争对手。挑战中的游戏都有相同的主题,即在现代家庭环境中烹饪,但在房间的布置,呈现的对象和具体目标(烹饪食谱)方面有很大的不同。为了构建一个在整个游戏家族中获得高分的代理,我们使用了一个演员-评论家框架,并通过使用分层强化学习和在配方数据库上训练的专门模块的想法来修剪动作空间。
2019-09-04 cs.AI cs.LG stat.ML
Exploration via Epistemic Value Estimation
DeepMind;University College London(伦敦大学学院)
如何在强化学习中进行有效的探索是一个有待解决的问题。许多探索算法使用其自身价值预测的认知不确定性-例如计算探索奖金或置信上限。不幸的是,所需的不确定性是难以估计的一般函数近似。我们提出了认识值估计(EVE):一个配方,是兼容的顺序决策和神经网络函数逼近。它配备了一个易于处理的后验的所有参数,认知价值的不确定性,可以有效地计算代理。我们使用的配方,以获得一个认知的Q-学习代理,并观察一系列基准的竞争力表现。实验证实,EVE配方有助于在硬探索任务中的有效探索。
2023-03-07 cs.AI cs.LG stat.ML
RobotDancing: Residual-Action Reinforcement Learning Enables Robust Long-Horizon Humanoid Motion Tracking
School of Computation, Information and Technology, Technical University of Munich(慕尼黑技术大学计算、信息与技术学院);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Department of Computer Science, Tsinghua University(清华大学计算机学院);The State Key Laboratory for Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室)
本研究提出RobotDancing,一种单阶段强化学习方案,通过残差动作补偿动力学不匹配,在Unitree G1等机器人上实现鲁棒长时程高动态运动跟踪,具备跨平台可行性。
2026-08-04 cs.AI cs.RO
Retrieval-Guided Reinforcement Learning for Boolean Circuit Minimization
Qualcomm Incorporated(高通公司);University of Calgary(卡尔加里大学);New York University(纽约大学)
针对逻辑综合中预训练智能体面对全新硬件设计易偏离搜索轨迹的问题,提出 ABC-RL,利用最近邻检索相似度调节 α 参数,显著提升 QoR 并降低运行时间。
2024-01-22 cs.AI cs.AR cs.LG
What Matters for Batch Online Reinforcement Learning in Robotics?
Stanford University(斯坦福大学)
本文系统研究机器人批量在线强化学习的关键因素,发现Q函数引导、隐式策略提取和高表达策略至关重要,并提出加入时间相关噪声的通用有效方案。
2025-05-12 cs.AI cs.RO
Light-weight probing of unsupervised representations for Reinforcement Learning
AssemblyAI;New York University(纽约大学);Facebook AI Research(Facebook AI研究院)
本文提出利用线性探测作为无监督强化学习表示质量的代理评估任务,在保持与下游RL性能强相关的同时大幅降低计算成本,并据此改进了现有自监督学习方案。
2024-05-31 cs.AI cs.LG
Logic-RL: Unleashing LLM Reasoning with Rule-Based Reinforcement Learning
Microsoft Research Asia(微软亚洲研究院);Ubiquant;Independent(独立研究者)
本研究受DeepSeek-R1启发,提出基于规则的强化学习框架Logic-RL,通过合成逻辑谜题训练7B模型,借助系统提示、格式奖励与稳定训练方案,使模型获得反思等高级推理能力,仅用5K题训练即在AIME、AMC数学基准上展现泛化性。
2025-02-20 cs.AI cs.CL
Using Deep Reinforcement Learning for Zero Defect Smart Forging
Karlstads Universitet(卡尔斯塔德大学);RISE Research Institutes of Sweden(瑞典RISE研究机构);Viking Analytics AB(维京分析有限公司);Bharat Forge Kilsta AB(巴拉特锻造基尔斯塔有限公司)
生产过程中的缺陷可能导致材料浪费,这对许多公司来说是一个重大挑战,因为它会减少收入并对可持续性和环境产生负面影响。材料浪费的一个根本原因是自动化程度低,特别是在目前数字化程度较低的行业,如钢铁锻造。这些行业通常依赖于重型和老式机械,例如大型感应炉,这些设备大多是手动控制或使用专家创建的众所周知的配方。然而,当不可预见的事件发生时,标准配方可能会失败,例如生产中的计划外停止,这可能导致过热,从而导致锻造过程中的材料退化。在本文中,我们开发了一个数字孪生为基础的优化策略的锻造生产线的加热过程中,自动化的最优控制政策,调整功率的加热线圈在感应炉的基础上从高温计观察到的温度数据的发展。我们设计了一个基于数字孪生的深度强化学习(DTRL)框架,并使用锻造生产线的数字孪生为加热阶段训练两个不同的深度强化学习(DRL)模型。双胞胎是基于一个模拟器,其中包含一个热传递和运动模型,这是用来作为环境的日间行车训练。我们的评估表明,这两种模型显着降低了温度不均匀性,可以帮助自动化的传统加热过程。
2022-01-25 cs.AI cs.LG
A Recipe for Long-Context Reasoning in Large Language Models via On-Policy Optimization and Distillation
Instituto Superior Técnico, Universidade de Lisboa(里斯本大学理工学院);Instituto de Telecomunicações(电信研究所);TransPerfect(TransPerfect公司)
本文提出dGRPO方法,结合在线优化与蒸馏,通过强教师模型提供密集指导,提升长上下文推理能力,同时保持短上下文能力。
2026-09-11 cs.CL
Reinforcement Learning with Action Chunking
UC Berkeley(伯克利大学)
本文提出Q-chunking方法,通过动作分块技术提升长周期稀疏奖励任务的强化学习效率,实现离线到在线学习的样本效率优化。
2026-05-11 cs.AI cs.LG cs.RO
A Practitioner's Guide to Multi-turn Agentic Reinforcement Learning
University of California, San Diego(加州大学圣地亚哥分校);NVIDIA(英伟达)
本文提出多轮代理强化学习的训练方法,通过分析环境、奖励和策略三个支柱,总结出训练LLM代理的实践指南。
2025-12-06 cs.AI cs.CL cs.LG
Architecture-Aware Reinforcement Learning Makes Sliding-Window Attention Competitive in Math Reasoning
Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University(上海智能自主系统研究院,同济大学);Shanghai AI Laboratory(上海人工智能实验室);Hong Kong University of Science and Technology (Guangzhou)(香港理工大学(广州))
提出SWARR方法,通过监督微调将预训练自注意力模型高效转换为滑动窗口注意力,并利用强化学习策略适应,缩小了与自注意力的性能差距,同时保持线性复杂度的高效性。
2026-10-26 cs.AI
AWorld: Orchestrating the Training Recipe for Agentic AI
Westlake University(西湖大学)
针对智能体AI训练中经验生成效率低的瓶颈,研究团队推出开源系统AWorld,通过集群分布式任务分配将经验收集提速14.6倍,基于其训练的Qwen3-32B智能体在GAIA基准上准确率超越GPT-4o,提供了完整智能体AI训练流程的实用方案。
2025-09-01 cs.AI
Finite Sample Analysis of Two-Timescale Stochastic Approximation with Applications to Reinforcement Learning
Technion(以色列理工学院);Yahoo Research(雅虎研究院);Duke University(杜克大学)
双时标随机逼近算法在强化学习中有着广泛的应用。它们的迭代有两个部分,使用不同的步长进行更新。在这项工作中,我们开发了一种新的配方,他们的有限样品分析。使用这个,我们提供了一个浓度范围,这是第一个这样的结果为两个时标SA。我们得到的界限类型被称为“锁定概率”。我们还介绍了一种新的投影方案,其中连续投影之间的时间呈指数增长。该方案允许一个优雅的锁定概率转换为收敛速度的结果,预计两个时标SA。从后一个结果中,我们提取了步长选择的关键见解。作为一个应用,我们最终获得了投影两时标RL算法GTD(0),GTD 2和TDC的收敛速度。
2018-06-04 cs.AI
An Open Recipe for IMO Gold: Training Nemotron for Olympiad Mathematics
本文提出一种开放配方,通过后训练和测试时计算流水线,利用Nemotron 3 Ultra生成自然语言证明,在IMO 2026获30/42分达金牌线,并开源模型、数据、代码和基准。
2026-09-11 cs.AI
Beyond the One Step Greedy Approach in Reinforcement Learning
Technion, Israel Institute of Technology(以色列理工学院);INRIA(法国国家信息与自动化研究所)
著名的策略迭代算法在策略改进和策略评估之间交替进行。在以前的工作中,已经分析了该算法的实现与后一个评估阶段的几个变体,例如,$n$ -步骤和基于跟踪的返回。然而,多步骤前瞻性政策改进的情况下,尽管最近增加了其实力的经验证据,据我们所知,尚未仔细分析。在这项工作中,我们介绍了第一个这样的分析。也就是说,我们制定多步策略改进的变体,使用这些定义推导出新的算法,并证明其收敛性。此外,我们表明,最近突出的强化学习算法,事实上,我们的框架的实例。因此,我们揭示了他们的经验成功,并给出了一个配方,为未来的研究得出新的算法。
2018-07-30 cs.AI cs.LG stat.ML
When Does Muon Help Agentic Reinforcement Learning?
研究μ子在稀疏奖励智能体强化学习中的作用,通过与AdamW对比,发现在组内组策略优化下,μ子应用于隐藏权重矩阵能提升成功率,效果与优势估计器、学习率有关,表明其可使智能体RL受益,还需多种子和跨任务验证。
2026-08-04 cs.AI cs.LG
Motif-2-12.7B-Reasoning: A Practitioner's Guide to RL Training Recipes
Motif Technologies(Motif技术公司)
Motif-2-12.7B-Reasoning通过综合训练配方,在复杂推理和长上下文理解中实现性能媲美更大参数模型,提供开源模型和可扩展的推理能力蓝图。
2025-12-11 cs.AI
ThinkDial: An Open Recipe for Controlling Reasoning Effort in Large Language Models
Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学);SIA-Lab of Tsinghua AIR(清华大学AIR实验室)
本文提出ThinkDial,首个开放配方端到端框架,通过离散操作模式实现gpt-oss风格的可控推理,支持高、中、低三种模式,在显著减少token的同时保持性能,并展现出良好的泛化能力。
2025-08-26 cs.CL
A Primer in Post-Training Reasoning Data: What We Know About How It Works
Peking University(北京大学);Tsinghua University(清华大学);Qiyuan Tech(启元科技)
本文综述了后训练推理数据的类型、效用、构建方法和扩展规律,为未来推理数据发布和后训练方案提供归因框架。
2026-06-01 cs.AI cs.CL
JustRL: Scaling a 1.5B LLM with a Simple RL Recipe
Tsinghua University(清华大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Shanghai AI Lab(上海人工智能实验室)
JustRL通过简单强化学习方法在1.5B语言模型上实现高性能,省去复杂训练流程,展现稳定训练效果。
2025-12-18 cs.CL
HeaPA: Difficulty-Aware Heap Sampling and On-Policy Query Augmentation for LLM Reinforcement Learning
Stores Foundational AI, Amazon Inc.(亚马逊公司基础人工智能部);Department of Computer Science and Engineering, HKUST(香港科技大学计算机科学与工程系)
研究大语言模型强化学习中提示采样问题,提出HeaPA方法,通过难度感知堆采样和策略内查询增强,维持动态提示池,跟踪能力前沿,在多数据集和基准测试中提升准确率,减少计算量,尤其在中大型模型规模下效果显著。
2026-07-10 cs.CL cs.LG
VerIF: Verification Engineering for Reinforcement Learning in Instruction Following
Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学)
针对指令跟随强化学习中验证实践不足的问题,提出结合规则代码验证与大模型验证的VerIF方法,构建VerInstruct数据集,训练后模型在同等规模下达SOTA且通用能力不受影响。
2025-06-11 cs.AI cs.CL
A Control System, a Dataset, and a Recipe for Making Frozen LLM Agents Learn a Domain
Meta AI
研究如何让冻结的语言模型智能体学习领域,核心方法是将框架视为特定动作空间,用经典强化学习在线学习策略并以多目标奖励评分,贡献包括用DSPy实例化系统并评估,还发布相关代码、任务套件、训练日志及部署方法。
2026-07-29 cs.AI
Best Practice Critic Optimization
National University of Singapore(新加坡国立大学);Tencent Hunyuan(腾讯混元)
该研究提出BPCO流程稳定高效训练评价模型,在数学推理任务上,其优于基线,且采样1个响应时可匹配或超过基于组的GRPO基线。
2026-08-26 cs.AI cs.CL cs.LG
FastTD3: Simple, Fast, and Capable Reinforcement Learning for Humanoid Control
University of California, Berkeley(加州大学伯克利分校);University of Warsaw(华沙大学)
FastTD3是一种简单、快速且强大的RL算法,通过并行模拟、大批量更新、分布式评论家和精心调整的超参数,显著加快人形机器人在流行套件中的训练速度,并在单张A100 GPU上3小时内稳定解决多项HumanoidBench任务。
2025-06-01 cs.AI cs.LG cs.RO
RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
RetireOPD通过自适应退役机制,在智能体强化学习中利用技能条件化教师进行在策略蒸馏,显著提升ALFWorld和WebShop任务性能。
2026-09-29 cs.AI cs.CL
AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning
NVIDIA
本文提出 AceReason-Nemotron,通过先数学后代码的大规模强化学习训练流程,显著提升中小型模型的数学与代码推理能力,超越蒸馏方法,并揭示了课程学习与同策略更新的关键作用。
2025-06-05 cs.AI cs.CL cs.LG
Unsupervised Meta-Learning for Reinforcement Learning
UC Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
元学习算法使用过去的经验来学习快速解决新任务。在强化学习的背景下,元学习算法通过利用来自先前任务的经验来获得强化学习过程以更有效地解决新问题。元学习算法的性能取决于可用于元训练的任务:以同样的方式,监督学习最好地推广到与训练点相同分布的测试点,元学习方法最好地推广到与元训练任务相同分布的任务。实际上,Meta强化学习将设计负担从算法设计转移到任务设计上。如果我们也能自动化任务设计的过程,我们就能设计出真正自动化的元学习算法。在这项工作中,我们在这个方向上迈出了一步,提出了一个家庭的无监督元学习算法的强化学习。我们激励和描述了无监督Meta强化学习的一般配方,并提出了这种方法的实例。我们的概念和理论贡献包括制定无监督的Meta强化学习问题,并描述如何基于互信息的任务建议可以用来训练最佳元学习者。我们的实验结果表明,无监督Meta强化学习有效地获得加速强化学习过程,而不需要手动任务设计,这些过程超过从头开始学习的性能。
2020-04-30 cs.AI cs.LG stat.ML
LoongSage: A Production-Grade, High-Efficiency Agentic RL Framework for Frontier LLMs with Validated Recipes
针对前沿LLM智能体任务中现有RL框架笨重的问题,提出生产级高效智能体RL框架LoongSage,其基于Megatron、SGLang等构建,经评估可提升任务奖励并维持硬件利用率。
2026-10-19 cs.CL cs.LG
Human Instruction-Following with Deep Reinforcement Learning via Transfer-Learning from Text
DeepMind(深度思维)
最近的工作描述了基于神经网络的代理,这些代理使用强化学习(RL)进行训练,以在模拟世界中执行类似语言的命令,这是迈向可以由人类用户指示的智能代理或机器人的一步。然而,从头开始通过深度RL优化多目标运动策略需要许多经验。因此,深度RL的指令遵循通常涉及从模板(通过环境模拟器)生成的语言,这并不反映真实用户的变化或模糊表达。在这里,我们提出了一种概念上简单的方法,用于训练具有深度RL的指令遵循代理,这些代理对自然人类指令具有鲁棒性。通过应用我们的方法与国家的最先进的预训练的基于文本的语言模型(BERT),在任务上需要代理识别和定位日常对象相对于其他对象在自然的3D模拟房间,我们展示了基本上以上的机会zero-shot从合成模板命令转移到自然的指令由人类。我们的方法是训练任何基于深度RL的系统与人类用户交互的通用方法,并弥合了最近取得显著成功的两个研究方向之间的差距:以代理为中心的运动行为和基于文本的表示学习。
2020-05-19 cs.CL
Reinforcement Learning Elicits Contextual Learning of Unseen Language Translation
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);Queen’s University Belfast(贝尔法斯特女王大学)
提出使用强化学习(RL)方法,以chrF为奖励,使大语言模型从丰富的语言上下文中提取并应用语言学知识,实现对完全未见语言的有效翻译。
2026-06-04 cs.CL
Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning
University of California, Berkeley(加州大学伯克利分校)
提出基于VQ-VAE的自适应动作量化方案解决连续动作离线RL的分布偏移问题,使IQL等方法在机器人操作任务上提升2-3倍。
2023-10-18 cs.AI
Harnessing Negative Signals: Reinforcement Distillation from Teacher Data for LLM Reasoning
National University of Singapore(国立新加坡大学);INF AI
本文提出通过强化蒸馏利用正负推理轨迹提升LLM推理性能,实验表明在少量数据下可达到与大量数据训练模型相当的性能。
2025-12-14 cs.AI cs.CL cs.LG
Stabilizing Reinforcement Learning with LLMs: Formulation and Practices
Alibaba Inc(阿里巴巴公司)
本文提出通过大语言模型稳定强化学习的新方法,揭示了代理目标优化的条件,并通过实验验证了重要性采样校正和Routing Replay在提升训练稳定性中的作用。
2025-12-03 cs.AI cs.CL cs.LG
New Recipe for Semi-supervised Community Detection: Clique Annealing under Crystallization Kinetics
Singapore Management University(新加坡国立管理大学);Fuxi AI Lab, NetEase, Inc(Foxi人工智能实验室,网易公司)
针对现有半监督社区检测方法核心候选不合理及可扩展性差的问题,本文类比结晶动力学提出CLANN算法,通过团退火优化核心并采用无学习传递退火器增强可扩展性,在43种网络设置上优于现有方法。
2025-10-06 cs.AI cs.SI
ARLArena: A Unified Framework for Stable Agentic Reinforcement Learning
University of California, Los Angeles(加州大学洛杉矶分校);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
研究针对智能体强化学习不稳定问题,提出ARLArena框架。先构建测试平台,将策略梯度分解为四个维度分析,据此提出稳定的智能体策略优化方法SAMPO,实现稳定训练与良好性能。
2026-07-07 cs.AI
Reward Uncertainty for Exploration in Preference-based Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
向强化学习(RL)代理传达复杂的目标通常需要细致的奖励工程。基于偏好的强化学习方法能够通过主动结合人类反馈,即教师在两个行为片段之间的偏好,来学习基于人类偏好的更灵活的奖励模型。然而,反馈效率差仍然是当前基于偏好的强化学习算法中的一个问题,因为定制的人类反馈非常昂贵。为了处理这个问题,以前的方法主要集中在改进查询选择和策略初始化。与此同时,最近的探索方法已被证明是提高RL中样本效率的方法。我们提出了一种专门针对基于偏好的RL算法的探索方法。我们的主要思想是设计一个内在的奖励,通过测量的基础上学习奖励的新颖性。具体来说,我们利用学习奖励模型的集合之间的不一致。我们的直觉是,学习奖励模型中的分歧反映了定制的人类反馈的不确定性,可能对探索有用。我们的实验表明,与其他现有的测量状态访问新颖性的探索方法相比,来自学习奖励的不确定性的探索奖金提高了基于偏好的RL算法在MetaWorld基准测试中复杂机器人操作任务上的反馈和样本效率。
2022-05-24 cs.AI cs.LG
L0: Reinforcement Learning to Become General Agents
Lionrock AI Lab(狮岩人工智能实验室);China Merchants Research Institute of Advanced Technology(中国商人先进技术研究院)
提出L0端到端训练流程与NB-Agent支架,利用可验证奖励强化学习显著提升基础模型在事实问答基准上的问题解决能力。
2025-06-30 cs.CL
Kernel-Smith: A Unified Recipe for Evolutionary Kernel Optimization
Shanghai AI Laboratory(上海人工智能实验室);Fudan University(复旦大学);MetaX
Kernel-Smith结合稳定评估驱动的进化代理与进化导向的后训练配方,通过GPU核与运算符生成实现高性能优化,其在KernelBench上取得最佳速度提升,超越多个前沿模型。
2026-04-23 cs.CL cs.LG
Reinforcement Learning from Rich Feedback with Distributional DAgger
University of Southern California(南加州大学)
提出DistIL算法,通过分布式DAgger利用丰富反馈(如执行轨迹、工具输出等)进行前向交叉熵优化,实现单调策略改进和更好的Pass@N性能。
2026-06-05 cs.AI cs.CL cs.LG
Training LLMs for EHR-Based Reasoning Tasks via Reinforcement Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出EHRMIND方案,通过SFT预热注入缺失医学知识并结合RLVR强化结果正确性,有效解决了LLM在EHR临床推理中的知识误用与缺失问题,在多种临床任务上实现了准确率与可解释性的持续提升。
2025-05-30 cs.CL
Nemotron-Cascade: Scaling Cascaded Reinforcement Learning for General-Purpose Reasoning Models
NVIDIA(英伟达)
本文提出级联域强化学习(Cascade RL)方法,开发出Nemotron-Cascade模型,可在指令和深度思考模式间切换,性能不逊于纯思考模型,同时提升推理能力并保持跨领域基准性能。
2026-03-27 cs.AI cs.CL cs.LG
The Concept of Criticality in Reinforcement Learning
Ariel University(阿里埃勒大学)
强化学习方法在用于最优控制的n步算法中进行众所周知的偏差-方差权衡。不幸的是,这在目前的研究中很少得到解决。这种权衡原则与算法的选择无关,例如n步SARSA、n步预期SARSA或n步树备份。小的n导致大的偏差,而大的n导致大的方差。文献没有提供直接的方法来选择这个值的最佳值。虽然目前所有的n步算法在状态空间上使用固定的n值,但我们通过允许每个状态具有其特定的n来扩展n步更新的框架。我们提出了一个解决这个问题的背景下,人类辅助强化学习。我们的方法是基于这样一种观察,即如果一个人接收到关于给定状态的关键性的输入,那么他可以更有效地学习,因此他需要投入到该状态下的学习中的注意力。这一观察与MDP的每个状态都有一定程度的临界性的想法有关,临界性表明在该状态下对动作的选择对返回的影响有多大。在我们的算法中,RL代理利用关键性度量,这是一个由人类训练员提供的函数,以便在本地选择更新Q函数的最佳步长n。
2018-10-16 cs.AI cs.LG cs.MA