Agentic Reinforcement Learning with Self-Distilled Reward Shaping
针对智能体强化学习中稀疏奖励无法分配中间决策信用的问题,提出ADRS框架,通过校准教师分数等提升多轮语言智能体在长时域任务的性能,且增益稳定。
2026-08-05 cs.AI cs.CL cs.LG
Counterfactual Credit Assignment in Model-Free Reinforcement Learning
DeepMind;INRIA XPOP, CMAP, École Polytechnique(法国国家信息与自动化研究所 XPOP 团队、应用数学中心、巴黎综合理工学院)
强化学习中的信用分配是衡量行为对未来奖励的影响的问题。特别是,这需要将技能与运气分开,即将行为对奖励的影响与外部因素和后续行为的影响分开。为了实现这一点,我们将因果关系理论中的反事实概念应用于无模型RL设置。其核心思想是通过学习从轨迹中提取相关信息,以未来事件为条件来设定价值函数。我们制定了一个家庭的策略梯度算法,使用这些未来条件的价值函数作为基线或批评,并证明他们是可证明的低方差。为了避免潜在的偏见条件对未来的信息,我们限制事后的信息不包含有关代理的行动。我们证明了我们的算法的有效性和有效性的一些说明性和具有挑战性的问题。
2021-12-14 cs.LG
Self-Improving Skill Learning for Robust Skill-based Meta-Reinforcement Learning
Graduate School of Artificial Intelligence(人工智能研究生院);Ulsan National Institute of Science and Technology (UNIST)(釜山国立科学技术研究院 (UNIST))
本文提出Self-Improving Skill Learning (SISL)方法,通过解耦的高层和技能改进策略进行自我指导的技能细化,并利用最大回报重标记进行技能优先级排序,从而在噪声和次优数据下实现鲁棒且稳定的适应,优于其他基于技能的元强化学习方法。
2026-05-20 cs.AI cs.LG
Hierarchical Kickstarting for Skill Transfer in Reinforcement Learning
University College London(伦敦大学学院);Meta AI;University of Oxford(牛津大学)
实践和磨练技能是人类学习的基本组成部分,但人工智能很少经过专门训练来执行这些技能。相反,它们通常是端到端训练的,希望通过隐性学习来获得有用的技能,以最大限度地提高某些外在奖励函数的折扣回报。在本文中,我们研究了如何将技能纳入强化学习(RL)代理在复杂环境中具有大的状态-动作空间和稀疏奖励的训练。为此,我们创建了SkillHack,这是一个基于NetHack游戏的任务和相关技能的基准。我们在这个基准上评估了一些基线,以及我们自己的新的基于技能的方法分层Kickstarting(HKS),它被证明优于所有其他评估的方法。我们的实验表明,学习有用的技能的先验知识可以显着提高代理在复杂问题上的性能。我们最终认为,利用预定义的技能为RL问题提供了一个有用的归纳偏差,特别是那些具有大的状态-动作空间和稀疏奖励的问题。
2022-08-15 cs.AI cs.LG
Implicit Offline Reinforcement Learning via Supervised Learning
ServiceNow Research(ServiceNow研究院);Mila(米拉人工智能研究所);Université de Montréal(蒙特利尔大学);Google Brain(谷歌大脑);Polytechnique Montréal(蒙特利尔理工学院)
通过监督学习的离线强化学习(RL)是一种简单有效的方法,可以从不同专业水平的策略收集的数据集中学习机器人技能。它与监督学习和行为克隆(BC)一样简单,但利用了返回信息。在由类似专业知识的政策收集的数据集上,隐式BC已被证明与显式BC相匹配或优于显式BC。尽管使用隐式模型通过BC学习机器人技能的好处,但通过监督学习算法的离线RL仅限于显式模型。我们展示了隐式模型如何利用返回信息并匹配或优于显式算法,以从固定数据集获取机器人技能。此外,我们通过监督学习算法展示了我们的隐式方法和其他流行的RL之间的密切关系,以提供一个统一的框架。最后,我们证明了我们的方法对高维操作和运动任务的有效性。
2022-10-21 cs.LG cs.RO stat.ML
Hierarchical Reinforcement Learning with Advantage-Based Auxiliary Rewards
Tsinghua University(清华大学)
分层强化学习(HRL)是解决具有稀疏和延迟奖励的长期问题的一种很有前途的方法。许多现有的HRL算法要么使用预先训练的不适应的低级技能,要么需要特定领域的信息来定义低级奖励。在本文中,我们的目标是在保持奖励设计的通用性的同时,使低级技能适应下游任务。我们提出了一个HRL框架,设置辅助奖励的基础上,低层次的技能培训的优势函数的高级政策。这种辅助奖励能够在不使用特定于任务的知识的情况下有效地同时学习高级策略和低级技能。此外,我们还从理论上证明了使用这种辅助奖励优化低级技能将增加联合策略的任务回报。实验结果表明,我们的算法显着优于其他国家的最先进的HRL方法在Mujoco域。我们还发现我们的算法训练的低级和高级策略都是可转移的。
2019-10-10 cs.AI cs.LG
Learning Hierarchical Skill Policies with Offline Quality-Diversity Reinforcement Learning
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
该研究提出QDOS算法,通过优势加权质量多样性预训练与双数据集复用策略,在分层技能学习框架下,于稀疏奖励任务中显著提升性能,优于强基线算法。
2026-08-21 cs.AI cs.LG cs.RO
Counterfactual Shapley Credit Assignment
研究信用分配问题,提出基于因果理论的反事实沙普利信用分配框架,通过反事实沙普利值分配功劳责任,推导有效估计器实现$\phi$-PPO方法,结合优先轨迹重放,在复杂环境中有卓越样本效率,能精确对齐奖励真实原因。
2026-08-10 cs.AI cs.LG
Disentangling Exploration of Large Language Models by Optimal Exploitation
Technical University of Clausthal(Clausthal 技术大学);University of Mannheim(曼海姆大学);University of Rostock(罗斯托克大学)
针对LLMs在部分隐藏状态空间的探索能力不明确问题,本研究将探索作为唯一目标,分解缺失奖励为探索与利用组件,实验发现多数模型探索困难但探索性能与推理能力正相关,为优化探索任务提供工具。
2025-08-24 cs.AI cs.CL cs.LG
Is Conditional Generative Modeling all you need for Decision-Making?
Massachusetts Institute of Technology(麻省理工学院);Improbable AI Lab(Improbable AI实验室);Operations Research Center(运筹学中心);Computer Science and Artificial Intelligence Lab(计算机科学与人工智能实验室)
本文将决策问题重新表述为条件生成建模,提出回报条件扩散模型以规避动态规划,并展示其在离线RL基准上的优势及对约束和技能组合的泛化能力。
2023-07-10 cs.AI cs.LG
Environments for Lifelong Reinforcement Learning
Mila(米拉研究所);McGill University(麦吉尔大学);Université de Montréal(蒙特利尔大学)
为了实现通用人工智能,强化学习(RL)代理不仅要学习优化特定任务的回报,还要不断构建更复杂的技能,并构建他们对世界的知识,而不会忘记已经学到的东西。在本文中,我们讨论了所需的特征的环境,可以支持终身强化学习代理的培训和评估,审查现有的环境,从这个角度来看,并提出建议,在未来设计合适的环境。
2018-12-06 cs.AI cs.LG
Don't Start From Scratch: Leveraging Prior Data to Automate Robotic Reinforcement Learning
UC Berkeley(加州大学伯克利分校);UT Austin(德克萨斯大学奥斯汀分校);Google(谷歌)
强化学习(RL)算法有望实现机器人系统的自主技能获取。然而,在实践中,现实世界的机器人RL通常需要耗时的数据汇集和频繁的人为干预来重置环境。此外,使用RL学习的机器人策略在部署时超出了它们学习的精心控制的设置时通常会失败。在这项工作中,我们研究了如何通过有效利用从以前看到的任务中收集的各种离线数据集来应对这些挑战。当面临新任务时,我们的系统会调整以前学习的技能,以快速学习执行新任务并将环境返回到初始状态,从而有效地执行自己的环境重置。我们的实证结果表明,将先验数据纳入机器人强化学习,使自主学习,大大提高了学习的样本效率,并使更好的推广。项目网址:https://sites.google.com/view/ariel-berkeley/
2022-07-17 cs.LG cs.RO
The impact of intrinsic rewards on exploration in Reinforcement Learning
University College London(伦敦大学学院)
本研究通过对比四种内在奖励机制在MiniGrid环境中的探索效果,发现状态计数在低维观测下最优,最大熵更稳健,而DIAYN技能多样性不促进探索。
2025-01-20 cs.AI cs.LG
Learning Tennis Strategy Through Curriculum-Based Dueling Double Deep Q-Networks
Independent Researcher(独立研究者)
本文提出基于课程学习的对战双深Q网络,用于优化网球策略,通过模拟环境实现高胜率和高效发回球表现,但存在防守偏见问题。
2025-12-20 cs.AI cs.LG
Value Summation: A Novel Scoring Function for MPC-based Model-based Reinforcement Learning
University of Surrey(萨里大学);Sharif University of Technology(谢里夫理工大学)
针对基于MPC的强化学习规划模块用奖励函数评分轨迹存在固有偏差的问题,提出基于值折扣和的新型评分函数,结合最优轨迹引导与多源数据更新值函数,在多个基准测试中实现了优于现有SOTA算法的学习效率与奖励表现。
2023-07-19 cs.LG cs.RO
Risk-Aware Transfer in Reinforcement Learning using Successor Features
Vector Institute(向量研究所);University of Toronto(多伦多大学);DeepMind(深度思维)
样本效率和风险意识是开发实用的强化学习(RL)进行复杂决策的核心。前者可以通过迁移学习来解决,后者可以通过优化收益的某些效用函数来解决。然而,以风险意识的方式转让技能的问题并没有得到很好的理解。在本文中,我们解决的问题,在一个共同的领域,不同的任务之间的风险意识的政策转移,只有在他们的奖励功能,其中风险是衡量的方差奖励流。我们的方法首先通过扩展广义政策改进的思想,以最大限度地提高熵效用,从而通过动态规划扩展政策改进的政策集和风险规避水平。接下来,我们扩展了后继特征(SF)的概念,SF是一个价值函数表示,它将环境动态与回报联系起来,以捕获回报的方差。我们由此产生的风险意识后继功能(RaSF)无缝集成在RL框架内,继承了SF的优越任务泛化能力,并将风险意识纳入决策。在离散导航域和模拟机械臂控制上的实验表明,当考虑到学习策略的风险时,RaSFs优于包括SFs在内的替代方法的能力。
2021-05-28 cs.AI cs.LG cs.RO
Reward-Conditioned Policies
University of California, Berkeley(加州大学伯克利分校)
强化学习提供了自动获取复杂行为技能的希望。然而,与常用且易于理解的监督学习方法相比,强化学习算法可能很脆弱,难以使用和调整,并且对看似无害的实施决策很敏感。相比之下,模仿学习利用标准的和良好理解的监督学习方法,但需要接近最佳的专家数据。我们能通过监督学习学习有效的策略而不需要演示吗?我们在这项工作中探索的主要思想是,从次优策略中收集的非专家轨迹可以被视为最优监督,不是为了最大化奖励,而是为了匹配给定轨迹的奖励。然后,通过将策略设定在奖励的数值上,我们可以得到一个推广到更大回报的策略。我们将展示如何将这种方法作为策略搜索的原则方法,讨论几种变体,并将该方法与标准基准上的各种当前强化学习方法进行实验比较。
2019-12-31 cs.LG stat.ML
Bidirectional Progressive Neural Networks with Episodic Return Progress for Emergent Task Sequencing and Robotic Skill Transfer
Bogazici University(博阿齐奇大学);Ozyegin University(奥兹耶金大学);Osaka University(大阪大学)
提出 ERP-BPNN 多任务强化学习框架,利用软性 ERP 内在动机自主切换任务,并通过 BPNN 支持形态不同机器人间的双向技能迁移,仿真显示其收敛更快且各项指标更优。
2024-03-06 cs.AI cs.LG cs.RO
Causal-Paced Deep Reinforcement Learning
本文提出因果节奏深度强化学习(CP-DRL),通过交互数据近似任务间结构因果模型差异并结合奖励增益衡量可学习性,构建统一课程目标,在多个基准上验证了其提升收敛速度、回报和样本效率的有效性。
2025-06-24 cs.AI cs.LG stat.ML
Variations on the Reinforcement Learning performance of Blackjack
University of Cape Town(开普敦大学)
本文利用Q-learning和可配置Blackjack模拟器,研究牌组数量等环境变化对智能体收敛及算牌策略收益的影响。
2023-08-09 cs.AI cs.LG q-fin.TR
SPAARS: Safer RL Policy Alignment through Abstract Exploration and Refined Exploitation of Action Space
SPAARS通过抽象探索和动作空间精细化利用,提升强化学习策略对齐的安全性与效率
2026-03-11 cs.AI cs.LG cs.RO
Daydreaming: Stealing Hidden Agent Skills through Black-Box Task Interaction
UC Berkeley(加州大学伯克利分校);National Yang Ming Chiao Tung University(国立阳明交通大学)
本研究提出Daydreaming攻击,通过黑盒任务交互窃取智能体技能,在7种技能和4种模型上恢复了原始技能86.8%的能力,性能优于SigLeak,证明仅隐藏技能文件无法阻止功能重建。
2026-08-28 cs.AI cs.CR cs.LG
Introducing the CZAR Loss: A Tailored Objective Function for Financial Log-Return Predictions
Allora Foundation(Allora基金会);Liverpool John Moores University(利物浦约翰摩尔大学)
针对金融对数收益预测中对称损失导致零预测偏差的问题,提出CZAR分段二次损失函数,在凸性、非对称惩罚等五要求下设计,实验证明其降低方向准确率阈值并提升大波动预测效果。
2026-09-30 cs.CE cs.LG q-fin.CP
TraceCompiler: Skill-Guided Mining and Compilation of LLM Agent Traces into Mostly Deterministic Workflows
EPFL(洛桑联邦理工学院);Binome Technologies(Binome科技公司)
本文提出TraceCompiler系统,通过技能引导挖掘含噪声的LLM智能体轨迹并编译为近确定性工作流,在T1、AppWorld数据集上验证了依赖恢复的高精度,实现了Venmo资金请求意图的调用减少。
2026-08-05 cs.AI cs.LG cs.SE
Dynamic Coalition Formation and Communication Pricing in Skill-Based Agentic AI Systems
University of Calgary(卡尔加里大学)
针对技能型智能体 AI 系统通信低效问题,提出基于夏普利值的边际值激活与贪心路由方法,在合成实验中其效用达蛮力最优的 99.5%,激活智能体数远少于全广播。
2026-08-11 cs.AI cs.LG econ.TH