Learning to Stop without Learning to Stop: Self-Supervised Confidence Training Improves Reasoning Efficiency
University of Maryland（马里兰大学）；AI Foundations, Capital One（第一资本人工智能基础部）
通过自监督置信度训练，仅用600个问题微调推理模型预测中间置信度，无需显式优化长度或早停，即可在匹配准确率下减少最多25%的生成token，效率提升媲美直接优化短推理的方法。
2026-09-28 cs.AI cs.CL cs.LG
From Reasoning Chains to Verifiable Subproblems: Curriculum Reinforcement Learning Enables Credit Assignment for LLM Reasoning
LeapLab, Tsinghua University（清华大学 LeapLab）；Qiuzhen College, Tsinghua University（清华大学 旗正学院）
该研究提出SCRL框架，通过从参考推理链中生成可验证子问题，解决LLM推理中信用分配问题，提升了在数学推理任务中的性能。
2026-05-21 cs.AI cs.CL cs.LG
Offline Reinforcement Learning for LLM Multi-Step Reasoning
UC San Diego（加州大学圣迭戈分校）；Salesforce Research（Salesforce研究院）；Northwestern University（西北大学）；Tsinghua University（清华大学）
本文提出离线推理优化方法OREO，通过优化软贝尔曼方程联合学习策略与价值函数，以解决DPO在多步推理中依赖成对数据和信用分配困难的问题，并在数学推理与具身控制任务上超越现有方法。
2024-12-25 cs.AI cs.CL cs.LG
Supervised Reinforcement Learning: From Expert Trajectories to Step-wise Reasoning
Google Cloud AI Research（谷歌云人工智能研究部）；UCLA（加州大学洛杉矶分校）；Google Cloud（谷歌云）
本文提出SRL框架，通过生成逻辑动作序列提升小模型的多步推理能力，结合监督与强化学习实现更有效的训练。
2026-02-27 cs.AI cs.CL cs.LG
Self-Rewarding Rubric-Based Reinforcement Learning for Open-Ended Reasoning
Ant Group（蚂蚁集团）
该研究提出面向开放式推理的基于评分标准的自奖励强化学习轻量框架，利用模型自评分生成奖励信号，在HealthBench上实现更高效训练，仅用4000样本训练的Qwen3-32B在Hard子集上超越GPT-5。
2025-09-19 cs.AI cs.CL cs.LG
Rethinking Supervised Learning and Reinforcement Learning in Task-Oriented Dialogue Systems
University of Amsterdam（阿姆斯特丹大学）；Microsoft Research（微软研究院）
面向任务的对话系统的对话策略学习近年来取得了很大的进展，主要是通过采用强化学习方法。然而，这些方法已经变得非常复杂。现在是时候重新评估它了。我们真的在开发基于强化学习的对话代理方面取得了进展吗？我们演示了如何（1）传统的监督学习与（2）无模拟器的对抗学习方法一起使用，以实现与最先进的基于RL的方法相当的性能。首先，我们引入一个简单的对话动作解码器来预测适当的动作。然后，对传统的多标签对话策略学习方案进行扩展，增加密集层，提高对话Agent的性能。最后，我们采用Gumbel-Softmax估计交替训练对话代理和对话奖励模型，而不使用强化学习。基于我们广泛的实验，我们可以得出结论，所提出的方法可以实现更稳定和更高的性能，更少的努力，如领域知识所需的设计一个用户模拟器和棘手的参数调整强化学习。我们的主要目标不是用监督学习击败强化学习，而是展示重新思考强化学习和监督学习在优化面向任务的对话系统中的作用的价值。
2020-09-21 cs.CL cs.LG
Causal Reasoning from Meta-reinforcement Learning
DeepMind（深度思维）；Harvard University（哈佛大学）；UCL（伦敦大学学院）
发现和利用环境中的因果结构是智能代理的一个关键挑战。在这里，我们探讨因果推理是否可以通过Meta强化学习出现。我们用无模型强化学习训练一个递归网络，以解决一系列问题，每个问题都包含因果结构。我们发现，经过训练的代理可以在新的情况下进行因果推理，以获得奖励。代理人可以选择信息干预，从观察数据中得出因果推论，并做出反事实的预测。虽然建立正式的因果推理算法也存在，在本文中，我们表明，这种推理可以从无模型强化学习，并建议在复杂的设置因果推理可能会受益于更多的端到端的学习为基础的方法在这里。这项工作还提供了新的策略，结构化探索强化学习，通过提供代理的能力，执行-和解释-实验。
2019-01-23 cs.AI cs.LG stat.ML
Reasoning Models Hallucinate More: Factuality-Aware Reinforcement Learning for Large Reasoning Models
Department of Computer Science, National University of Singapore（计算机科学系，新加坡国立大学）
本文揭示推理导向的强化学习微调会加剧幻觉问题，并提出事实感知逐步策略优化（FSPO）算法，通过在每一步推理中引入事实验证来动态调整优势值，实验证明其能同时减少幻觉并提升推理准确率。
2025-11-06 cs.AI cs.CL
InftyThink+: Effective and Efficient Infinite-Horizon Reasoning via Reinforcement Learning
Tsinghua University（清华大学）
提出InftyThink+框架，通过强化学习优化迭代推理的总结时机、保留内容和恢复策略，在DeepSeek-R1-Distill-Qwen-1.5B上提升AIME24准确率21%，并降低推理延迟。
2026-06-02 cs.AI cs.CL
ARCLE: The Abstraction and Reasoning Corpus Learning Environment for Reinforcement Learning
Gwangju Institute of Science and Technology（光州科学技术院）；Korea University（高丽大学）
本文提出ARCLE强化学习环境以应对抽象与推理语料库（ARC）的归纳推理挑战，通过近端策略优化、非分解策略和辅助损失有效缓解了动作空间和目标达成问题，并提出了MAML、GFlowNets和世界模型等未来研究方向。
2024-07-30 cs.AI cs.LG
Reinforcement Learning via Reasoning from Demonstration
St. Lawrence University（圣劳伦斯大学）
演示是一种很有吸引力的方式，人类提供援助的学习代理。这一领域的大多数方法主要将演示视为行为偏差的来源。但在稀疏奖励任务中，人类似乎更多地将演示视为因果知识的来源。本文提出了一个框架的代理人，受益于这种人类启发的方式演示。在这个框架中，智能体通过观察建立因果模型，并从这些知识中推理，以分解任务，实现有效的强化学习。实验结果表明，从演示推理（RfD）的基本实现是有效的，在一系列稀疏奖励任务。
2020-04-12 cs.AI cs.LG stat.ML
A Reinforcement Learning Environment for Mathematical Reasoning via Program Synthesis
Cash App Labs（Cash App实验室）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们将DeepMind数学数据集转换为强化学习环境，将其解释为程序合成问题。在环境中采取的每个动作都将运算符或输入添加到离散计算图中。计算正确答案的图产生正奖励，从而能够优化策略以构建以问题语句为条件的计算图。基线模型使用Double DQN在各种问题类型的子集上进行训练，展示了学习正确构建图形的能力，尽管存在组合爆炸和噪声奖励的挑战。
2021-07-16 cs.AI cs.LG
Multi-Path Collaborative Reasoning via Reinforcement Learning
Sichuan University（四川大学）；GigaAI（极佳科技）；Tsinghua University（清华大学）
本文提出M3PO框架，通过多路径协作机制提升大语言模型的推理能力，实现更可靠和高效的多步推理。
2025-12-08 cs.AI cs.LG
Self-Supervised Reinforcement Learning for Recommender Systems
University of Glasgow（格拉斯哥大学）；Telefonica Research（西班牙电信研究院）；Google Research（谷歌研究院）
在基于会话或顺序推荐中，重要的是要考虑许多因素，如长期用户参与，多种类型的用户-项目交互，如点击，购买等，当前最先进的监督方法无法适当地建模。将顺序推荐任务转化为强化学习（RL）问题是一个很有前途的研究方向。强化学习方法的一个主要组成部分是通过与环境的交互来训练智能体。然而，由于需要将用户暴露于不相关的推荐，因此以在线方式训练推荐器通常是有问题的。因此，从记录的隐式反馈中学习策略是至关重要的，这是具有挑战性的，因为纯粹的政策设置和缺乏负奖励（反馈）。在本文中，我们提出了自监督强化学习的顺序推荐任务。我们的方法增加了标准推荐模型的两个输出层：一个用于自监督学习，另一个用于RL。RL部分充当正则化器以驱动监督层关注特定奖励（例如，推荐可能导致购买而不是点击的项目），而具有交叉熵损失的自监督层为参数更新提供强梯度信号。基于这种方法，我们提出了两个框架，即自监督Q学习（SQN）和自监督演员-评论家（SAC）。我们将建议的框架与四个国家的最先进的推荐模型。在两个真实数据集上的实验结果证明了该方法的有效性。
2020-06-11 cs.AI cs.LG
Combining Supervised Learning and Reinforcement Learning for Multi-Label Classification Tasks with Partial Labels
Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院）；Zhejiang University（浙江大学）；UCLA（加利福尼亚大学洛杉矶分校）
针对仅部分正类有标注的多标签正样本-未标记学习问题，提出结合强化学习探索能力与监督学习利用能力的MLPAC框架，在多类任务上验证了其泛化性与有效性。
2024-06-24 cs.AI cs.CL
Fleming-R1: Toward Expert-Level Medical Reasoning via Reinforcement Learning
Ubiquant
Fleming-R1通过面向推理的数据策略、思维链冷启动和两阶段可验证奖励强化学习，在医学推理任务中以参数高效的方式达到接近GPT-4o的性能。
2025-09-18 cs.CL cs.LG
Do LLMs Need Inherent Reasoning Before Reinforcement Learning? A Study in Korean Self-Correction
ETRI
本研究探讨LLMs在强化学习前是否需要具备内在推理能力，通过韩国自我修正研究发现，对齐模型内部推理与韩语输入关键，提升多语言推理效果。
2026-01-09 cs.AI cs.CL
Weakly Supervised Scene Text Detection using Deep Reinforcement Learning
Hasso Plattner Institute, University of Potsdam（波茨坦大学哈索·普拉特纳学院）
具有挑战性的场景文本检测领域需要复杂的数据注释，这是耗时和昂贵的。诸如弱监管等技术可以减少所需的数据量。本文提出了一种基于强化学习的弱监督场景文本检测方法。RL代理收到的奖励由神经网络估计，而不是从地面实况标签推断。首先，我们通过几种训练优化增强了现有的监督RL文本检测方法，使我们能够缩小与基于回归的算法的性能差距。然后，我们使用我们提出的系统在现实世界的数据上进行弱监督和半监督训练。我们的研究结果表明，在弱监督环境中进行训练是可行的。然而，我们发现在半监督环境中使用我们的模型，例如，当将标记的合成数据与未注释的真实世界数据相结合时，会产生最佳结果。
2022-01-13 cs.AI cs.CV cs.LG
CARE: Cognitive-reasoning Augmented Reinforcement for Emotional Support Conversation
School of Computer Science and Technology, Soochow University（计算机科学与技术学院，苏州大学）；Qwen DianJin Team, Alibaba Cloud Computing（通义千问团队，阿里云 computing）
CARE通过增强认知推理提升情感支持对话的质量，无需依赖大规模合成数据，实验显示其在逻辑严谨性和支持性方面有显著改进。
2026-01-23 cs.AI cs.CL
DeepPath: A Reinforcement Learning Method for Knowledge Graph Reasoning
University of California, Santa Barbara（加州大学圣巴巴拉分校）
研究了大规模知识图谱中的学习推理问题。更具体地说，我们描述了一种新的强化学习框架学习多跳关系路径：我们使用一个基于策略的代理与连续状态的基础上知识图谱嵌入，在KG向量空间的原因，通过采样最有前途的关系，以延长其路径。实验表明，我们提出的方法优于基于路径排序的算法和知识图谱嵌入方法在Freebase和Never-Ending Language Learning数据集上的性能。
2018-07-07 cs.AI cs.CL
Select and Improve: Understanding the Mechanics of Post-Training for Reasoning
Microsoft Research NYC（微软研究院纽约）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
通过控制实验揭示强化学习后训练通过策略选择和策略改进两种机制提升推理能力，并指出SFT数据和RL数据的不同作用。
2026-06-12 cs.AI cs.LG
Hybrid Code Networks: practical and efficient end-to-end dialog control with supervised and reinforcement learning
Microsoft Research（微软研究院）；Brown University（布朗大学）；JPMorgan Chase（摩根大通）
递归神经网络（RNN）的端到端学习是对话系统的一个有吸引力的解决方案;然而，目前的技术是数据密集型的，需要数千个对话框来学习简单的行为。我们介绍了混合代码网络（HCN），它将RNN与编码为软件和系统动作模板的特定领域知识相结合。与现有的端到端方法相比，HCN大大减少了所需的训练数据量，同时保留了推断对话状态的潜在表示的关键优势。此外，HCN可以用监督学习、强化学习或两者的混合来优化。HCN在bAbI对话数据集上获得了最先进的性能，并且优于两个商业部署的面向客户的对话系统。
2017-04-24 cs.AI cs.CL
On physical implementability of reinforcement-learning-driven reasoning
Kyoto University（京都大学）
本文针对给定奖励下带奖励外势能的物理神经网络模型，研究强化学习驱动推理的硬件实现，发现该实现中动力学思维链的存在与系统李雅普诺夫稳定性矛盾，给出了相关否定结果。
2026-10-14 cond-mat.dis-nn cs.LG
Learning Interpretable Policies in Hindsight-Observable POMDPs through Partially Supervised Reinforcement Learning
Washington University in St. Louis（圣路易斯华盛顿大学）
提出部分监督强化学习（PSRL）框架，通过融合监督语义状态和无监督潜在表示作为策略网络输入，在部分可观测环境中提升模型可解释性，同时在奖励和收敛速度上保持或显著超越传统方法。
2024-02-14 cs.AI cs.LG
Consistent Paths Lead to Truth: Self-Rewarding Reinforcement Learning for LLM Reasoning
Zhejiang University（浙江大学）；Alibaba Cloud Computing（阿里云计算）；Nanyang Technological University（南洋理工大学）
本文提出自奖励 RL 框架 CoVo，利用推理轨迹中间状态的一致性与波动性构造内在奖励，使 LLM 无需外部监督即可提升推理，并在多个基准上达到或超过监督式 RL。
2025-06-10 cs.AI cs.CL
Self-Supervised Reinforcement Learning that Transfers using Random Features
Massachusetts Institute of Technology（麻省理工学院）；University of Washington（华盛顿大学）；University of Maryland（马里兰大学）
本文提出一种自监督强化学习方法，通过以随机特征为奖励对无模型RL进行预训练来隐式建模环境动态，并结合模型预测控制实现跨不同奖励任务的快速迁移，在多种操作与运动仿真任务中验证了有效性。
2023-05-26 cs.AI cs.LG
Logic-RL: Unleashing LLM Reasoning with Rule-Based Reinforcement Learning
Microsoft Research Asia（微软亚洲研究院）；Ubiquant；Independent（独立研究者）
本研究受DeepSeek-R1启发，提出基于规则的强化学习框架Logic-RL，通过合成逻辑谜题训练7B模型，借助系统提示、格式奖励与稳定训练方案，使模型获得反思等高级推理能力，仅用5K题训练即在AIME、AMC数学基准上展现泛化性。
2025-02-20 cs.AI cs.CL
RASFT: Rollout-Adaptive Supervised Fine-Tuning for Reasoning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；New Jersey Institute of Technology（新泽西理工学院）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
提出RASFT框架，通过基于策略rollout的问题级可解性校准专家监督，在模型困难时加强指导、表现可靠时放松模仿并纳入自生成轨迹，同时使用裁剪逆比约束策略漂移，在多个推理基准上优于SFT和RL方法。
2026-06-05 cs.CL cs.LG
Recursive Reasoning Graph for Multi-Agent Reinforcement Learning
Stanford University（斯坦福大学）；Honda Research Institute US（本田美国研究院）
多智能体强化学习（MARL）为多个智能体之间的交互提供了一种同时学习策略的有效方法。然而，在需要复杂交互的场景中，现有算法可能无法准确预测自我行为对其他代理的影响。增强对其他代理的潜在响应进行推理的能力可以允许代理制定更有效的策略。本文在集中训练分散执行的框架下采用递归推理模型，以帮助学习代理更好地与其他代理合作或竞争。该算法被称为递归推理图（R2G），在多个多智能体粒子和机器人游戏中表现出最先进的性能。
2022-03-06 cs.AI cs.LG cs.MA
Aryabhata 2: Scaling Reinforcement Learning for Advanced STEM Reasoning
PhysicsWallah
本文提出Aryabhata 2，一个通过强化学习后训练在竞争性STEM考试中提升推理能力的语言模型，在JEE、NEET等基准上超越基础模型且输出token减少高达64%。
2026-06-03 cs.AI cs.CL cs.CY
Coupled Variational Reinforcement Learning for Language Model General Reasoning
Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所信息处理实验室）；University of Chinese Academy of Sciences（中国科学院大学）
提出CoVRL方法，通过混合采样策略耦合先验和后验分布，将变分推理与强化学习结合，以解决无验证器强化学习中探索效率低和推理轨迹与答案不一致的问题，在数学和通用推理基准上提升性能。
2026-05-23 cs.AI cs.CL
Latent-Space Contrastive Reinforcement Learning for Stable and Efficient LLM Reasoning
University of Chinese Academy of Sciences（中国科学院大学）；EvolutionLeap（进化跃迁）；Tsinghua University（清华大学）
本研究提出深度潜在推理（DLR），通过潜在空间对比强化学习提升LLM在复杂推理任务中的稳定性与效率。
2026-01-24 cs.AI cs.LG
Compositional Reasoning in Language Models under Reinforcement Learning Post-Training
Stanford University（斯坦福大学）；Amazon AGI Labs（亚马逊AGI实验室）
本文提出依赖图框架形式化组合推理，通过数据结构任务发现分解到组合训练迁移的不对称性，并提供理论解释及现实工具调用基准的初步验证。
2026-09-18 cs.AI cs.LG
Reinforcement Learning in hyperbolic space for multi-step reasoning
Texas Tech University Health Science Center（德克萨斯理工大学健康科学中心）；The University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心）；Society of Artificial Intelligence Research（人工智能研究学会）
本文提出将双曲Transformer融入强化学习的框架，利用双曲嵌入建模层次结构，在FrontierMath和非线性最优控制任务上显著提升准确率并降低计算时间。
2025-07-21 cs.AI cs.LG
PertMind: Eliciting Emergent Biological Reasoning in LLM via Reinforcement Learning on Cellular Perturbation Data
本研究提出PertMind模型，结合可信轨迹监督初始化与多层面强化信号，以细胞扰动图谱为强化学习环境训练，实现生物推理能力的涌现，且可迁移至多类生物任务。
2026-10-07 cs.AI cs.LG q-bio.QM
One Sample to Rule Them All: Extreme Data Efficiency in Multidiscipline Reasoning with Reinforcement Learning
Taobao & Tmall Group of Alibaba（阿里巴巴淘宝天猫集团）；GAIR
本文提出多学科学习框架，通过一个训练样本提升多领域推理能力，证明样本质量而非数量对模型性能的关键作用。
2026-04-02 cs.CL cs.LG
T1: Advancing Language Model Reasoning through Reinforcement Learning and Inference Scaling
Tsinghua University（清华大学）
针对大语言模型现有推理方法依赖模仿学习、测试时缩放效果不佳的问题，提出T1方法，通过带试错与自验证的合成思维链初始化、过采样增强RL训练探索，实现推理缩放，在数学推理基准上取得更优性能。
2025-06-13 cs.CL cs.LG
RL-STaR: Theoretical Analysis of Reinforcement Learning Frameworks for Self-Taught Reasoner
MediaTek Research（联发科研究院）；National Taiwan University（台湾大学）；National Chengchi University（国立政治大学）；National Tsing Hua University（国立清华大学）
本文提出RL-STaR理论框架，分析强化学习在思维链推理和自训练推理器中的有效性，给出预训练质量准则、策略改进、收敛条件及鲁棒性解释，并在多个小模型上验证了理论预测。
2026-09-22 cs.AI cs.LG
Simplifying Deep Reinforcement Learning via Self-Supervision
Texas A&M University（德克萨斯农工大学）
监督回归示范已被证明是训练深层政策网络的稳定方法。我们的动机是研究如何充分利用监督损失函数来稳定地训练深度强化学习代理。这是一项具有挑战性的任务，因为目前还不清楚如何收集训练数据以改进政策。在这项工作中，我们提出了自我监督强化学习（SSRL），一个简单的算法，优化政策与纯粹的监督损失。我们证明，没有策略梯度或价值估计，"标签”数据和监督回归的迭代过程足以推动稳定的政策改进。通过选择和模仿具有高情节奖励的轨迹，SSRL与当代算法相比具有更稳定的性能和更少的运行时间，显示出用监督学习技术解决强化学习的潜力。代码可在https://github.com/daochenzha/SSRL上获得
2021-06-10 cs.LG
Similarities between policy gradient methods (PGM) in Reinforcement learning (RL) and supervised learning (SL)
A.I Square Connect；Lamsade PSL（巴黎文理研究大学Lamsade实验室）
强化学习（RL）是关于顺序决策的，传统上与监督学习（SL）和无监督学习（USL）相反。在RL中，给定当前状态，代理做出可能影响下一状态的决策，而不是SL（和USL），其中下一状态保持不变，无论在批处理或在线学习中做出的决策如何。虽然SL和RL之间的这种差异是根本性的，但也有一些联系被忽视了。特别地，我们证明了在本文中，梯度策略方法可以被转换为一个监督学习的问题，真正的标签被替换为折扣奖励。我们提供了一个新的证明策略梯度方法（PGM），强调了紧密联系的交叉熵和监督学习。我们提供了一个简单的实验，我们交换标签和伪奖励。我们的结论是，如果我们明智地修改奖励函数，可以与SL的其他关系。
2019-05-02 cs.AI cs.LG stat.ML
Plan Then Action:High-Level Planning Guidance Reinforcement Learning for LLM Reasoning
Case Western Reserve University, Cleveland, OH, USA（凯斯西储大学）；Kean University, Union, NJ, USA（凯恩大学）；The Ohio State University, Columbus, OH, USA（俄亥俄州立大学）；Fudan University, Shanghai, China（复旦大学）；Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室）；The University of Hong Kong, Hong Kong, China（香港大学）；North Carolina State University, Raleigh, NC, USA（北卡罗来纳州立大学）
提出PTA-GRPO两阶段框架，通过高层规划引导与强化学习联合优化，提升LLM在数学和自然科学推理任务中的准确性和泛化能力。
2026-05-25 cs.AI cs.CL
ReVSeg: Incentivizing the Reasoning Chain for Video Segmentation with Reinforcement Learning
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）；LIGHTSPEED
ReVSeg通过强化学习优化视频分割的多步推理链，实现可解释的推理轨迹和先进的性能。
2025-12-02 cs.AI cs.CL cs.CV
IVR-R1: Refining Trajectories through Iterative Visual-Grounded Reasoning in Reinforcement Learning
Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院）；School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院）；Kuaishou Technology（快手科技）；Shenzhen Institute of Advanced Integration Technology, Shenzhen（深圳先进集成技术研究院）
提出IVR-R1框架，利用奖励驱动的筛选机制和迭代再推理循环，在强化学习中动态校正多模态推理轨迹，以解决视觉幻觉和逻辑错误问题。
2026-05-18 cs.AI cs.CV cs.LG
RoiRL: Efficient, Self-Supervised Reasoning with Offline Iterative Reinforcement Learning
Criteo AI Lab（Criteo人工智能实验室）；Ecole Polytechnique Paris（巴黎高等理工学院）
针对大语言模型推理强化学习依赖真实奖励或在线计算成本高的问题，提出轻量级离线迭代强化学习方法RoiRL，无需参考模型，训练更快且推理性能更优，为无标签自提升大模型提供可扩展路径。
2025-10-03 cs.LG
Multi-Modal Mutual Information (MuMMI) Training for Robust Self-Supervised Deep Reinforcement Learning
National University of Singapore（新加坡国立大学）
这项工作的重点是使用多个可能不可靠的传感器来学习有用且鲁棒的深度世界模型。我们发现，目前的方法不足以鼓励模态之间的共享表示，这可能会导致下游任务的性能不佳和过度依赖特定的传感器。作为解决方案，我们贡献了一个新的多模态深层潜在状态空间模型，使用互信息下限进行训练。关键的创新是一个专门设计的密度比估计，鼓励每一种形式的潜在代码之间的一致性。我们的任务是在多模态Natural MuJoCo基准和具有挑战性的Table Wiping任务上学习策略（以自我监督的方式）。实验表明，我们的方法明显优于最先进的深度强化学习方法，特别是在存在缺失观测的情况下。
2021-07-06 cs.AI cs.LG cs.RO
Heterogeneous Relational Reasoning in Knowledge Graphs with Reinforcement Learning
University of Notre Dame（圣母大学）
知识图谱上基于路径的关系推理由于诸如对话系统中的问答、事实预测和推荐系统等各种下游应用而变得越来越流行。近年来，强化学习（RL）提供了比其他深度学习模型更可解释和解释的解决方案。然而，这些解决方案仍然面临着一些挑战，包括RL代理的大动作空间和实体邻域结构的准确表示。我们解决这些问题，通过引入一个类型增强RL代理，使用本地邻域信息的有效路径为基础的推理知识图谱。我们的解决方案使用图神经网络（GNN）编码的邻域信息，并利用实体类型修剪的动作空间。在真实世界数据集上的实验表明，该方法的性能优于最先进的强化学习方法，并在训练过程中发现了更多的新路径。
2020-03-12 cs.CL cs.LG stat.ML
Transformers as Decision Makers: Provable In-Context Reinforcement Learning via Supervised Pretraining
UC Berkeley（加州大学伯克利分校）；Salesforce AI Research（Salesforce AI研究）
本文提出理论框架，证明监督预训练的Transformer可模仿专家算法条件期望，并证明其能高效逼近LinUCB、汤普森采样等在线强化学习算法，首次定量分析其上下文强化学习能力。
2024-05-26 cs.AI cs.CL cs.LG
Scaling Agentic Reinforcement Learning for Tool-Integrated Reasoning in VLMs
Virginia Tech（弗吉尼亚理工大学）；Emory University（埃默里大学）；KAUST（阿联酋卡塔尔大学）；Georgia Tech（佐治亚理工学院）；Cisco（思科系统）；TAMU（德克萨斯大学奥斯汀分校）；UT Southwestern Medical Center（德克萨斯西南医学中心）；Eigen AI
本文提出VISTA-Gym，通过多轮轨迹采样和端到端强化学习，提升视觉语言模型的工具集成推理能力，在多个基准测试中取得显著优势。
2025-11-24 cs.AI cs.CL cs.CV
VL-Cogito: Progressive Curriculum Reinforcement Learning for Advanced Multimodal Reasoning
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）；Hupan Lab（虎盘实验室）；Fudan University（复旦大学）
针对多模态推理任务中现有模型性能不稳定的问题，提出基于PCuRL框架的VL-Cogito模型，通过在线难度软加权和动态长度奖励机制提升推理能力，在多类主流多模态基准上性能持平或超越现有推理模型。
2025-07-31 cs.AI cs.CL cs.CV
Adaptive $Q$-Aid for Conditional Supervised Learning in Offline Reinforcement Learning
本文提出QCS方法，结合RCSL的稳定性与Q函数的缝合能力，通过自适应整合Q-辅助到损失函数中，提升离线强化学习性能。
2026-03-13 cs.LG
Learning When to Stop: Adaptive Latent Reasoning via Reinforcement Learning
University of Virginia（弗吉尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出通过强化学习优化潜在推理长度，实现更高效的推理压缩，实验显示推理长度减少52%且准确性无损失。
2025-11-26 cs.LG
ROLL: Visual Self-Supervised Reinforcement Learning with Object Reasoning
Carnegie Mellon University（卡内基梅隆大学）
当前基于图像的强化学习（RL）算法通常在不执行对象级推理的情况下对整个图像进行操作。这导致了低效的目标抽样和无效的奖励功能。在本文中，我们通过结合对象级推理和遮挡推理来改进以前的视觉自监督RL。具体来说，我们使用未知对象分割来忽略场景中的干扰项，以获得更好的奖励计算和目标生成;我们还通过采用新的辅助损失和训练方案来实现遮挡推理。我们证明，我们提出的算法，ROLL（强化学习与对象级学习），学习速度显着更快，并实现了更好的最终性能相比，以前的方法在几个模拟视觉控制任务。项目视频和代码可在https://sites.google.com/andrew.cmu.edu/roll上获得。
2020-11-13 cs.LG cs.RO
Explainable Biomedical Recommendations via Reinforcement Learning Reasoning on Knowledge Graphs
AstraZeneca（阿斯利康）
为了让人工智能在生物学和医学领域产生更大的影响，建议的准确性和透明度至关重要。在其他领域，神经符号方法的多跳推理的知识图谱已被证明产生透明的解释。然而，缺乏将其应用于复杂生物医学数据集和问题的研究。在本文中，探索药物发现的方法，得出坚实的结论，其适用性。我们第一次系统地将其应用于多个生物医学数据集和推荐任务，并进行了公平的基准比较。研究发现，该方法平均比最佳基线高出21.7%，同时产生了新颖的生物学相关解释。
2022-10-07 cs.AI cs.LG cs.SI
The Impact of Quantization on Large Reasoning Model Reinforcement Learning
Pennsylvania State University（宾夕法尼亚州立大学）；d-Matrix
本文研究了量化对大推理模型强化学习的影响，发现量化感知训练对学习过程有负面影响，而PTQ和QLoRA能提升性能。
2025-11-19 cs.LG
