Curriculum Reinforcement Learning from Easy to Hard Tasks Improves LLM Reasoning
本文提出E2H Reasoner方法,通过从易到难的任务调度提升LLM推理能力,理论证明其收敛性并展示更少样本需求,实验显示在多个领域显著提升小型LLM的推理性能。
2026-03-16 cs.AI cs.CL cs.LG
X-Reasoner: Towards Generalizable Reasoning Across Modalities and Domains
Microsoft Research(微软研究院)
本文提出 X-Reasoner,证明仅用通用领域文本后训练即可实现跨模态、跨领域推理,并通过医学文本继续训练得到 X-Reasoner-Med,在通用和医学基准上取得领先性能。
2025-05-06 cs.AI cs.CL cs.LG
StepHint: Multi-level Stepwise Hints Enhance Reinforcement Learning to Reason
GSAI, Renmin University of China(清华大学);Peking University(北京大学);Ant Group(蚂蚁集团);SCS, Wuhan University(武汉大学)
针对RLVR中近失奖励与探索停滞问题,提出StepHint算法,通过多层级逐步提示引导模型探索解空间,在六个数学基准上取得更优性能与泛化能力。
2025-07-03 cs.AI cs.CL cs.LG
Clarification as Supervision: Reinforcement Learning for Vision-Language Interfaces
ILLC, University of Amsterdam(伊拉斯谟范例学院、阿姆斯特丹大学);ILCC, University of Edinburgh(爱丁堡大学)
针对视觉-语言模型生成的字幕遗漏推理关键细节导致的接口不匹配问题,提出自适应澄清强化学习AC-RL,以澄清请求为隐式监督,通过交互训练模型生成全面初始字幕,在7个视觉数学推理基准上准确率提升4.4个百分点,且可减少最多39%的澄清请求。
2025-09-30 cs.CL cs.CV cs.LG
Crystal: Introspective Reasoners Reinforced with Self-Feedback
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);FAIR, Meta(Meta 基础人工智能研究院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
提出内省式常识推理器 Crystal,通过强化学习调优知识内省与基于知识的推理模式,利用模型自反馈作为奖励,显著提升了推理性能与透明度。
2023-10-18 cs.AI cs.CL cs.LG
Advantage Actor-Critic with Reasoner: Explaining the Agent's Behavior from an Exploratory Perspective
George Washington University(乔治·华盛顿大学)
本文提出A2CR框架,通过Policy Network、Value Network和Reasoner Network三个网络,为Actor-Critic强化学习模型提供基于目的的可解释性,实现早期失败检测和模型监督,促进负责任和可信赖的RL。
2023-09-09 cs.AI cs.LG
Frontier Learning: Training LLM Reasoners at the Edge of Capability
University of Basel(巴塞尔大学);University College London(伦敦大学学院)
提出前沿学习,一种开放式后训练方法,通过程序化生成器在线产生前沿难度问题,利用遗憾信号探索能力边缘,持续提升LLM推理性能。
2026-09-29 cs.AI cs.CL cs.LG
Self-Hinting Language Models Enhance Reinforcement Learning
Microsoft Research(微软研究院);Language Technology Lab, University of Amsterdam(语言技术实验室,阿姆斯特丹大学)
SAGE通过注入自我提示提升GRPO在稀疏奖励下的表现,有效增强大语言模型的对齐能力。
2026-02-03 cs.AI cs.CL cs.LG
Klear-Reasoner: Advancing Reasoning Capability via Gradient-Preserving Clipping Policy Optimization
Klear Team, Kuaishou Technology(快手科技Klear团队)
Klear-Reasoner通过梯度保持裁剪策略优化提升推理能力,在数学和编程领域表现出色,达到多项基准测试的高分。
2026-04-01 cs.AI cs.CL cs.LG
SynCo: Data Synthesis Co-Training for Self-Evolving LLMs via Multi-Agent Reinforcement Learning
University of Southern California(南加州大学);The George Washington University(乔治华盛顿大学);Georgia Institute of Technology(佐治亚理工学院)
SynCo是基于多智能体强化学习的自进化LLM数据合成协同训练框架,联合优化合成器与推理器,在8个数学推理基准上性能优于现有方法,增益多来自未解决问题。
2026-10-09 cs.AI
Making Small Language Models Efficient Reasoners: Intervention, Supervision, Reinforcement
University of Michigan(密歇根大学)
针对小型语言模型推理中冗长与高计算成本问题,提出温度缩放与TLDR强化学习方法,实现令牌效率提升约50%且几乎不损失准确性。
2025-05-23 cs.LG
$R^3$: Training Robots to Reason in Natural Language via Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
本文提出R^3方法,通过中间训练和基于准则的强化学习将VLM转化为机器人推理器,在两个测试平台上提升了机器人的探索与泛化能力,优于仅指令式的模仿学习基线。
2026-08-27 cs.AI cs.CL cs.LG
Hint assisted reinforcement learning: an application in radio astronomy
ASTRON, The Netherlands Institute for Radio Astronomy(荷兰射电天文研究所(ASTRON))
基于模型的强化学习已被证明比无模型方法更有效。另一方面,在基于模型的强化学习中,动力学模型的构建增加了复杂性。射电天文学中的数据处理任务是这样一种情况,其中通过强化学习本身解决的原始问题是创建模型。幸运的是,许多基于统计学或信号处理的方法确实存在,可以执行相同的任务,我们可以利用它们来建议采取的最佳行动,或者换句话说,提供“提示”。我们建议使用由环境产生的“提示”作为强化学习过程的辅助工具,以减轻模型构建的复杂性。对软演员评价算法进行了改进,引入了提示,并采用不等式约束乘子算法中的交替方向法对智能体进行训练。在几个环境中的结果表明,我们得到了增加的采样效率相比,无模型的方法使用提示。
2023-01-10 astro-ph.IM cs.LG
PRIMA: Planner-Reasoner Inside a Multi-task Reasoning Agent
Auburn University(奥本大学);Tencent AI Lab(腾讯AI实验室)
我们考虑的问题,多任务推理(MTR),代理可以解决多个任务,通过(一阶)逻辑推理。这种能力对于类人智能来说是必不可少的,因为它具有很强的通用性和处理多个任务的简单性。然而,开发有效的MTR的一个主要挑战是推理能力和效率之间的内在冲突。一个具有MTR能力的代理必须掌握大量的“技能”来处理不同的任务,但是在推理阶段执行特定的任务只需要一小部分直接相关的技能。我们如何保持广泛的推理能力和高效的特定任务性能?为了解决这个问题,我们提出了一个规划推理框架能够最先进的地铁能力和高效率。Reasoner对可共享的(一阶)逻辑推理规则进行建模,Planner从中选择一个子集来组成有效的推理路径。整个模型使用深度强化学习以端到端的方式进行训练,并且在各种领域的实验研究验证了其有效性。
2022-02-13 cs.AI
Beyond Verbalized Confidence: Calibrating Reasoners with Differentiable Readouts
University of Science and Technology of China(中国科学技术大学);Qwen Business Unit of Alibaba(阿里巴巴通义千问事业部);National University of Singapore(新加坡国立大学)
针对RLVR模型过度自信问题,提出CREDO方法,用可微读出替代文本采样置信度,并通过回归训练及加权轨迹,在数学和代码推理中同时提升准确性与校准度。
2026-09-29 cs.AI cs.CL cs.LG
MIM-Reasoner: Learning with Theoretical Guarantees for Multiplex Influence Maximization
Posts and Telecommunications Institute of Technology(邮电技术学院);Emory University(埃默里大学);University of Florida(佛罗里达大学)
针对多重影响最大化问题,本文提出结合强化学习与概率图模型的MIM-Reasoner方法,兼具理论保证与优异的实验性能。
2024-03-10 cs.AI cs.LG cs.SI
SLPO: Scaling Latent Reasoning via a Surrogate Policy
The Hong Kong Polytechnic University(香港理工大学);Sichuan University(四川大学)
研究如何让潜在推理器实现测试时扩展,引入代理潜在策略优化(SLPO),通过经验代理策略密度和正确性监督停止头,将结果奖励强化学习引入自回归潜在推理器,在连续和软思维设置中提升了性能。
2026-10-06 cs.AI cs.CL cs.LG
Putting the Value Back in RL: Better Test-Time Scaling by Unifying LLM Reasoners With Verifiers
Mila, McGill University(Mila,麦吉尔大学);Mila, Université de Montréal(Mila,蒙特利尔大学);Microsoft Research, Mila(微软研究院,Mila);Google DeepMind, Mila(谷歌DeepMind,Mila)
本文提出RL$^V$方法,通过联合训练LLM作为推理器和生成验证器,提升测试时间计算效率和任务准确性,实现20%以上的MATH准确率提升和8-32倍的计算效率提升。
2026-04-12 cs.AI cs.LG
Adaptive Ability Decomposing for Unlocking Large Reasoning Model Effective Reinforcement Learning
Renmin University of China(中国人民大学)
本文提出A$^2$D方法,通过分解复杂问题提升RLVR效果,适用于多种强化学习算法。
2026-01-31 cs.AI cs.CL
Optimizing Chain-of-Thought Reasoners via Gradient Variance Minimization in Rejection Sampling and RL
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Salesforce AI Research(Salesforce人工智能研究)
本文提出 GVM-RAFT 动态样本分配策略,通过监测提示接受率与梯度范数最小化随机梯度方差,在数学推理上较 RAFT 实现 2-4 倍加速和准确率提升,并可推广至 GRPO 等强化学习算法。
2025-05-05 cs.AI cs.CL cs.LG
JUDO: A Juxtaposed Domain-Oriented Multimodal Reasoner for Industrial Anomaly QA
Sungkyunkwan University(成均馆大学);Seoul National University(首尔国立大学)
本文提出JUDO框架,通过结合领域知识和上下文提升多模态推理能力,以解决工业异常检测中模型缺乏领域知识的问题,实验表明其在MMAD基准上优于Qwen2.5-VL-7B和GPT-4o。
2026-05-19 cs.AI cs.CV cs.LG
Skywork Open Reasoner 1 Technical Report
Skywork Open Reasoner 1
本文提出Skywork-OR1强化学习实现,基于DeepSeek-R1-Distill模型显著提升了长思维链模型的推理性能,并发现缓解过早熵崩溃对测试性能至关重要,同时全面开源了相关资源。
2025-05-29 cs.AI cs.CL cs.LG
ADHint: Adaptive Hints with Difficulty Priors for Reinforcement Learning
Alibaba Group(阿里巴巴集团);Beijing Institute of Technology(北京理工大学);Peking University(北京大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Zhongguancun Academy(中关村学院)
ADHint通过整合难度先验,改进强化学习中的探索与模仿平衡,提升推理能力和分布外泛化。
2026-08-25 cs.CV cs.LG
C2F-Thinker: Coarse-to-Fine Reasoning with Hint-Guided Reinforcement Learning for Multimodal Sentiment Analysis
School of Computer Science, South China Normal University(华南师范大学计算机科学学院);School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息工程学院)
本文提出C2F-Thinker框架,通过粗到细结构推理与提示引导强化学习,提升多模态情感分析的可解释性和泛化能力。
2026-04-12 cs.AI cs.CL
Rewarding Graph Reasoning Process makes LLMs more Generalized Reasoners
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
本文提出首个专为图推理设计的过程奖励模型GraphPRM,并构建了最大规模的带逐步标签的图推理数据集GraphSILO,显著提升了LLM在图推理及数学等跨领域的推理能力。
2025-06-25 cs.AI cs.CL cs.LG
Fitting Every Hint Is Not Enough: Premature Floods in Recurrent Algorithmic Reasoners
University of Zanjan(赞詹大学)
该研究发现循环算法推理器在深度图上会出现过早泛滥问题,分析了GRU处理器等的两种泛滥路径,提出审计输入范围和深度图测试的解决方案。
2026-10-14 cs.AI cs.LG
Apriel-Reasoner: RL Post-Training for General-Purpose and Efficient Reasoning
ServiceNow
本文提出Apriel-1.5-OpenReasoner,通过可复现的多领域强化学习后训练方法,在Apriel-Base上实现跨五个领域的通用高效推理,提升推理效率并优化不同难度问题的推理长度。
2026-09-09 cs.LG
Placing Puzzle Pieces Where They Matter: A Question Augmentation Framework for Reinforcement Learning
Tsinghua University(清华大学);Fudan University(复旦大学);Peking University(北京大学)
本文提出PieceHint框架,通过战略性提供关键推理步骤,解决强化学习中训练易问题过拟合和训练难问题奖励稀疏的问题,实验表明其在数学推理基准上性能优异且保持pass@k多样性。
2026-05-01 cs.LG
Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models
Meta Superintelligence Labs(Meta 超智能实验室)
本文提出自蒸馏推理器,通过单个LLM同时担任教师和学生,利用特权信息提升推理效率,优于强化学习和离线蒸馏方法。
2026-03-20 cs.CL cs.LG
Agentic Chain-of-Thought Steering for Efficient and Controllable LLM Reasoning
University of California San Diego(加州大学圣地亚哥分校);Intuit(财捷集团)
提出Agentic Chain-of-Thought Steering (ACTS)方法,通过强化学习训练控制器智能体在推理过程中自适应地选择推理策略和引导短语,实现预算感知的策略控制,从而在保持推理质量的同时显著节省token,并支持准确率-效率的可控权衡。
2026-09-01 cs.AI cs.CL
Thinking-Free Policy Initialization Makes Distilled Reasoning Models More Effective and Efficient Reasoners
LLM Department, Tencent(腾讯大语言模型部门);The Hong Kong University of Science and Technology(香港科技大学);The University of Hong Kong(香港大学)
TFPI通过简化RLVR训练流程,提高了推理模型的效率和性能,实现了更高效的模型训练和更高的准确率。
2026-10-16 cs.CL cs.LG
RLCSD: Reinforcement Learning with Contrastive On-Policy Self-Distillation
Tsinghua University(清华大学);Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室);Peking University(北京大学)
针对策略自蒸馏中特权诱导的风格漂移问题,提出RLCSD方法,通过对比正确与错误提示下的师生差距来抑制风格偏移,提升推理模型在数学和逻辑推理任务上的性能。
2026-09-15 cs.CL cs.LG
Hierarchically Integrated Models: Learning to Navigate from Heterogeneous Robots
UC Berkeley(加州大学伯克利分校)
深度强化学习算法需要大量不同的数据集,以便学习基于感知的移动导航的成功策略。然而,用单个机器人收集这样的数据集可能是非常昂贵的。利用具有可能不同动态的多个不同机器人平台收集数据是大规模数据汇集的更可扩展的方法。但是,深度强化学习算法如何利用这些异构数据集呢?在这项工作中,我们提出了一个深度强化学习算法与层次集成模型(HInt)。在训练时,HInt学习单独的感知和动力学模型,在测试时,HInt以分层的方式集成这两个模型,并使用集成的模型规划行动。这种具有分层集成模型的规划方法允许算法在由各种不同平台收集的数据集上进行训练,同时尊重测试时部署机器人的物理能力。我们的移动导航实验表明,HInt优于传统的分层策略和单源方法。
2021-11-04 cs.AI cs.LG cs.RO
Mitigating Distribution Sharpening in Math RLVR via Distribution-Aligned Hint Synthesis and Backward Hint Annealing
CyCraft AI Lab, Taiwan(台湾CyCraft AI实验室)
本文提出DAHS和BHA方法,解决数学RLVR中教师-学生分布不匹配和减少提示暴露的问题,提升pass@1和pass@2048性能,尤其在大-k范围内表现突出。
2026-10-14 cs.AI cs.CL cs.LG
HCRMP: A LLM-Hinted Contextual Reinforcement Learning Framework for Autonomous Driving
Tongji University(同济大学);SenseTime Research(商汤科技研究院)
针对LLM幻觉危害自动驾驶策略的问题,提出LLM提示RL范式及HCRMP架构,通过语义提示辅助状态增强与策略优化,在CARLA中任务成功率80.3%,碰撞率降低11.4%。
2025-05-22 cs.LG cs.RO
Reflective Preference Optimization (RPO): Enhancing On-Policy Alignment via Hint-Guided Reflection
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);Alibaba Group(阿里巴巴集团)
RPO通过提示引导的反思增强策略对齐,减少幻觉并提升多模态基准性能。
2025-12-15 cs.AI cs.LG
Learning from Unreachable Rewards: Hint-Conditioned Reinforcement Learning for Generative Recommendation
Shanghai Jiao Tong University(上海交通大学);Mei Tuan(美团)
该研究提出HCGRec框架,通过提示感知信用分解优化语义ID生成式推荐,解决零奖励训练问题,在序列推荐基准上大幅提升性能并降低零优势样本占比。
2026-08-18 cs.AI cs.IR
MetaCtrl: Your Large Language Models Can Reason Better and More Concisely with a Metacognitive Controller
Southern University of Science and Technology(南方科技大学);The Hong Kong University of Science and Technology(香港科技大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Tongji University(同济大学)
MetaCtrl提出轻量级元认知控制器,通过强化学习动态调节冻结推理者的推理过程,在七个基准上提升准确性并缩短推理长度,且可迁移至新模型。
2026-09-30 cs.AI cs.LG
Adaptive Dual Reasoner: Large Reasoning Models Can Think Efficiently by Hybrid Reasoning
Tencent Youtu Lab(腾讯优图实验室)
针对长推理模型过度思考导致高计算成本的问题,提出自适应双推理器(ADR),通过快速与慢速推理模式动态切换,结合SFT与EHPO强化学习训练,在数学推理基准上性能提升6.1%,推理长度减少49.5%-59.3%。
2025-10-14 cs.AI
KnowPC: Knowledge-Driven Programmatic Reinforcement Learning for Zero-shot Coordination
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China(中国科学技术大学认知智能国家重点实验室);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
KnowPC提出用可解释程序替代神经网络策略,通过领域特定语言和知识提取与推理机制,高效搜索程序空间以解决零样本协调问题。
2024-08-08 cs.AI
PAINT: Partial-Solution Adaptive Interpolated Training for Self-Distilled Reasoners
Tsinghua University(清华大学);Beihang University(北航)
PAINT通过部分解适应插值训练,在自蒸馏推理器中提升大语言模型的推理能力,优于现有基线方法。
2026-04-29 cs.LG
Case-based Reasoning for Better Generalization in Textual Reinforcement Learning
IBM Research(IBM研究院);EPFL(洛桑联邦理工学院);ETH Zürich(苏黎世联邦理工学院)
基于文本的游戏(TBG)已经成为一个有前途的环境,推动研究在接地语言理解和研究问题,如泛化和样本效率。已经针对TBG提出了几种具有不同架构和学习方案的深度强化学习(RL)方法。然而,这些方法无法有效地推广,特别是在分布转移。在离开深RL方法,在本文中,我们提出了一个通用的方法启发基于案例的推理训练代理和推广的训练分布。基于案例的推理器从代理过去与世界的交互中收集积极经验的实例,然后重用收集的经验以有效地采取行动。该方法可以应用于与任何现有的对政策的神经代理在文献中的TBG。我们的实验表明,所提出的方法不断改善现有的方法,获得良好的分布外泛化,并在广泛使用的环境中取得了新的国家的最先进的结果。
2022-03-29 cs.CL cs.LG
Reasoning Models Don't Always Say What They Think
Alignment Science Team, Anthropic(Anthropic对齐科学团队)
本文评估了最先进推理模型思维链的忠实性,发现模型对提示使用的揭示率常低于20%,且强化学习导致的奖励黑客行为不会提高语言化倾向,表明思维链监控不足以排除不良行为。
2025-05-08 cs.AI cs.CL cs.LG
Interactive Distillation for Cooperative Multi-Agent Reinforcement Learning
Minwoo Cho;Batuhan Altundas;Matthew Gombolay
HINT通过交互式蒸馏框架提升多智能体协作强化学习的性能,采用分层强化学习和伪非策略方法,在复杂任务中实现显著的成功率提升。
2026-01-08 cs.LG cs.MA
Cognitive Behaviors that Enable Self-Improving Reasoners, or, Four Habits of Highly Effective STaRs
Stanford University(斯坦福大学);SynthLabs
研究语言模型自我改进的内在属性,提出分析验证、回溯、子目标设定和逆向链式推理四种认知行为的框架,发现初始推理行为而非答案正确性是关键,通过数据引导可使模型显著提升。
2025-08-15 cs.CL cs.LG
DemoTuner: Automatic Performance Tuning for Database Management Systems Based on Demonstration Reinforcement Learning
School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院);School of Software Engineering, Sun Yat-sen University(中山大学软件工程学院)
DemoTuner通过LLM辅助的演示强化学习方法,利用文档中的调优提示提升数据库管理系统参数调优效果,实现性能提升和效率优化。
2026-01-16 cs.DB cs.LG
To Reason or to Fabricate: Reasoning Without Shortcuts via Hint-Anchored Pairwise Aggregation
针对强化学习前数据重叠导致模型利用捷径记忆答案的问题,提出HIPPO框架,通过提示注入触发重叠行为并利用成对奖励模型区分真实推理与捷径合理化,显著提升推理真实性及泛化能力。
2026-06-28 cs.AI cs.CL
Self-Aligned Reward: Towards Effective and Efficient Reasoners
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Web Services(亚马逊网络服务)
本文提出自对齐奖励(SAR),通过补充可验证奖励以提升推理准确性和效率,实验表明SAR在4个模型7个基准上提升了4%的准确率并降低了30%的计算成本。
2026-04-16 cs.LG
HINT-SD: Targeted Hindsight Self-Distillation for Long-Horizon Agents
本文提出 HINT-SD,一种针对长 Horizon 智能体的定向 hindsight 自监督学习框架,通过全轨迹 hindsight 选择失败相关的动作,并仅在目标动作跨度上应用反馈条件自监督学习,实验表明该方法在 BFCL v3 和 AppWorld 上比密集的每回合反馈基线提高了 18.80 个百分点,同时训练时间降低 2.26 倍。
2026-10-05 cs.AI cs.CL cs.LG
VisualHints: A Visual-Lingual Environment for Multimodal Reinforcement Learning
Ecole Polytechnique(巴黎综合理工学院);IBM Research(IBM研究院)
我们提出了VisualHints,一个新的环境,多模态强化学习(RL)涉及基于文本的交互以及视觉提示(从环境中获得)。现实生活中的问题往往需要代理与环境交互使用自然语言信息和视觉感知解决一个目标。然而,大多数传统的RL环境要么解决纯基于视觉的任务,如Atari游戏或基于视频的机器人操作;要么完全使用自然语言作为交互模式,如基于文本的游戏和对话系统。在这项工作中,我们的目标是弥合这一差距,并将这两种方法统一在一个单一的环境中进行多模式RL。我们引入了TextWorld烹饪环境的扩展,并在整个环境中添加了视觉线索。目标是迫使RL代理使用文本和视觉特征来预测自然语言动作命令,以解决做饭的最终任务。我们使我们的环境中的变化和困难,以模拟各种互动的现实世界的场景。我们提出了一个基线多模态代理解决这些问题,使用基于CNN的特征提取的视觉提示和LSTM文本特征提取。我们相信,我们提出的视觉语言环境将促进RL社区的新问题设置。
2020-10-26 cs.CL cs.LG
Agent-G$^2$: Gaussian Guidance for Agentic Reinforcement Learning
Baidu Inc.(百度公司);Shandong University(山东大学);Zhejiang University(浙江大学)
Agent-G$^2$ 是面向智能体强化学习的高斯引导框架,通过在线估计高斯分布参数确定引导深度,在 ALFWorld 等任务上以更低成本实现优于基线的性能。
2026-08-25 cs.AI cs.CL
Adaptive Guidance Accelerates Reinforcement Learning of Reasoning Models
Scale AI
本研究提出Guide算法,通过自适应添加提示和调整重要性采样,加速推理模型的强化学习,在数学基准上实现高达4%的宏平均改进。
2025-06-20 cs.AI cs.CL cs.LG
Dynamic Long Context Reasoning over Compressed Memory via End-to-End Reinforcement Learning
本文提出了一种基于端到端强化学习的框架,通过分块压缩和选择性记忆回溯实现高效长上下文推理,提升了多跳推理任务的准确性和效率。
2026-02-09 cs.AI cs.CL
KnowRL: Boosting LLM Reasoning via Reinforcement Learning with Minimal-Sufficient Knowledge Guidance
TJUNLP Lab, School of Computer Science and Technology, Tianjin University, China(天津大学计算机科学与技术学院TJUNLP实验室);Baidu Inc.(百度公司);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
KnowRL通过最小充分知识引导的强化学习框架提升大语言模型推理能力,通过分解知识点并优化子集选择,在八个基准测试中超越现有基线,达到70.08的准确率。
2026-04-14 cs.AI