Open-Ended Reinforcement Learning with Neural Reward Functions
ETH Zürich（苏黎世联邦理工学院）
受无监督学习在计算机视觉和自然语言处理中取得的巨大成功的启发，强化学习社区最近开始更多地关注技能的无监督发现。大多数当前的方法，如DIAYN或DADS，优化某种形式的互信息目标。我们提出了一种不同的方法，使用由神经网络编码的奖励函数。这些被反复训练以奖励更复杂的行为。在高维机器人环境中，我们的方法学习了各种有趣的技能，包括半猎豹的前空翻和Humanoid的单腿跑步。在基于像素的Montezuma的复仇环境中，我们的方法也以最小的变化工作，它学习复杂的技能，包括与物品互动和访问不同的地点。我们的方法的实施可以在这个链接中找到：https://github.com/amujika/Open-Ended-Reinforcement-Learning-with-Neural-Reward-Functions。
2022-10-12 cs.AI cs.LG cs.RO
Towards Open-Ended Emotional Support Conversations in LLMs via Reinforcement Learning with Future-Oriented Rewards
Hong Kong Baptist University（香港 Baptist 大学）；Jarvis Lab（Jarvis 实验室）
本文提出RLFF-ESC端到端框架，通过多智能体模拟未来对话并训练面向未来的奖励模型，结合显式推理过程，利用强化学习训练LLM的情感支持策略，在两个ESC数据集上验证其在目标完成度和响应质量上优于现有基线。
2025-08-18 cs.AI
Self-Rewarding Rubric-Based Reinforcement Learning for Open-Ended Reasoning
Ant Group（蚂蚁集团）
该研究提出面向开放式推理的基于评分标准的自奖励强化学习轻量框架，利用模型自评分生成奖励信号，在HealthBench上实现更高效训练，仅用4000样本训练的Qwen3-32B在Hard子集上超越GPT-5。
2025-09-19 cs.AI cs.CL cs.LG
MatrixReward: Reward from Rubric Matrix for Open-Ended Generation
Zhejiang University（浙江大学）；Renmin University of China（中国人民大学）；Qwen Business Unit of Alibaba（阿里巴巴Qwen事业部）
MatrixReward通过构建逐标准胜率矩阵并利用列离散度与相关性生成数据依赖的权重，结合理想轮廓距离计算奖励，在开放式问答基准上以63.02分超越基线约2%。
2026-10-02 cs.AI cs.LG stat.ML
RISE-RL: Rubric-Informed Selective Exploration for Open-Ended Reinforcement Learning
Li Auto Inc.（理想汽车）
该研究针对开放式任务中LLM的强化学习探索难题，提出RISE-RL方法，通过奖励过滤与策略支持塑造实现选择性内化，在多领域基准评测中显著优于现有方法。
2026-08-11 cs.AI
APART: Diverse Skill Discovery using All Pairs with Ascending Reward and DropouT
SAIPS（SAIPS（此处无常见中文名，按原文保留））
针对无奖励网格世界中现有方法难以发现全部技能的问题，提出结合全对判别器、新型内在奖励与dropout的APART方法，样本效率远优于已有工作，并进一步探索了更简单的改进算法，揭示了技能发现算法的关键成功因素。
2023-08-24 cs.AI cs.LG
Diversity is All You Need: Learning Skills without a Reward Function
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
智能生物可以在没有监督的情况下探索他们的环境并学习有用的技能。在本文中，我们提出了DIAYN（“多样性是你所需要的一切”），一种学习有用技能的方法，而无需奖励功能。我们提出的方法通过使用最大熵策略最大化信息理论目标来学习技能。在各种模拟机器人任务，我们表明，这个简单的目标的结果在无人监督的出现，如步行和跳跃的各种技能。在许多强化学习基准环境中，我们的方法能够学习解决基准任务的技能，尽管从未收到真正的任务奖励。我们展示了预训练的技能如何为下游任务提供良好的参数初始化，并且可以分层组合以解决复杂的稀疏奖励任务。我们的研究结果表明，技能的无监督发现可以作为一种有效的预训练机制，用于克服强化学习中探索和数据效率的挑战。
2018-10-09 cs.AI cs.RO
EAPO: Entropy-Driven Adaptive Positive-Negative Sample Weighting for Policy Optimization in Open-Ended QA
Baidu Inc（百度公司）
针对开放问答中强化学习固定权重的问题，提出基于熵驱动的自适应策略优化方法EAPO，通过动态调整正负样本权重平衡探索与稳定性，在医学问答数据集上显著提升多样性和稳定性。
2026-05-27 cs.AI
Machine Teaching in Hierarchical Genetic Reinforcement Learning: Curriculum Design of Reward Functions for Swarm Shepherding
School of Engineering & IT University of New South Wales Canberra（新南威尔士大学堪培拉校区工程与信息技术学院）
强化学习中奖励函数的设计是一种人类技能，伴随着经验而来。不幸的是，在文献中没有任何方法可以指导人类设计奖励函数，或者允许人类以系统的方式将在设计奖励函数时开发的技能转移给另一个人。在本文中，我们使用系统教学设计，在人类教育的方法，工程师的机器教育方法来设计奖励功能的强化学习。我们展示了在设计一个层次遗传强化学习器，采用神经网络表示进化的代理牧羊基于boids群的群控制器的方法。结果表明，该方法能够指导分层强化学习器的设计，分层学习中的每个模型通过多部分奖励函数进行增量学习。层次结构充当决策融合功能，将每个指令所学习的个人行为和技能结合起来，以创建一个智能牧羊人来控制群体。
2019-01-04 cs.AI
Skill-Based Reinforcement Learning with Intrinsic Reward Matching
UC Berkeley（加州大学伯克利分校）
本文提出内在奖励匹配（IRM）方法，利用技能判别器匹配内在奖励与下游任务奖励，无需环境样本即可为未见任务选择最优技能，并支持技能序列编排，在机器人操作基准上显著提升预训练技能的利用效率。
2023-05-25 cs.AI cs.LG cs.RO
Guiding Skill Discovery with Foundation Models
Department of Computer Science（计算机科学系）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Leiden University（莱顿大学）；The Leiden Institute of Advanced Computer Science（莱顿先进计算机科学研究所）；University of Pennsylvania（宾夕法尼亚大学）；GRASP Lab（GRASP实验室）
提出基础模型引导的技能发现方法FoG，利用基础模型评分函数将人类偏好融入奖励重加权，消除不良行为并避开危险区域，在状态和像素任务中有效。
2025-10-27 cs.AI
Hierarchical Reinforcement Learning with Advantage-Based Auxiliary Rewards
Tsinghua University（清华大学）
分层强化学习（HRL）是解决具有稀疏和延迟奖励的长期问题的一种很有前途的方法。许多现有的HRL算法要么使用预先训练的不适应的低级技能，要么需要特定领域的信息来定义低级奖励。在本文中，我们的目标是在保持奖励设计的通用性的同时，使低级技能适应下游任务。我们提出了一个HRL框架，设置辅助奖励的基础上，低层次的技能培训的优势函数的高级政策。这种辅助奖励能够在不使用特定于任务的知识的情况下有效地同时学习高级策略和低级技能。此外，我们还从理论上证明了使用这种辅助奖励优化低级技能将增加联合策略的任务回报。实验结果表明，我们的算法显着优于其他国家的最先进的HRL方法在Mujoco域。我们还发现我们的算法训练的低级和高级策略都是可转移的。
2019-10-10 cs.AI cs.LG
Grounding Artificial Intelligence in the Origins of Human Behavior
Inria（法国国家信息与自动化研究所）；Ensta ParisTech（巴黎高等先进技术学院）
人工智能（AI）的最新进展重新唤起了对能够获得开放式技能库的智能体的追求。然而，尽管这种能力从根本上与人类智力的特征有关，但该领域的研究很少考虑在物种进化过程中可能指导复杂认知能力出现的过程。人类行为生态学（HBE）的研究旨在了解人类本性的行为如何被视为对我们生态位结构的重大变化的适应性反应。在本文中，我们提出了一个框架，强调环境复杂性在开放式技能获取中的作用，基于HBE的主要假设和强化学习（RL）的最新贡献。我们使用这个框架来突出这两个学科之间的基本联系，并确定引导生态复杂性的反馈回路，为人工智能研究人员创造有前途的研究方向。
2020-12-17 cs.AI
ELSIM: End-to-end learning of reusable skills through intrinsic motivation
Univ Lyon（里昂大学）；Université Lyon 1（里昂第一大学）；CNRS（法国国家科学研究中心）；LIRIS（里昂信息与图像系统实验室）
从发展学习中获得灵感，我们提出了一种新的强化学习架构，它以端到端的方式分层学习和表示自我生成的技能。在这种架构下，智能体只关注任务奖励的技能，同时保持自下而上的技能学习过程。这种自下而上的方法允许学习技能，1-在任务之间可转移，2-在奖励稀疏时提高探索。要做到这一点，我们结合了一个新的课程学习算法，创建一个无限的和可探索的技能树先前定义的互信息目标。我们在简单的网格世界环境中测试我们的代理，以了解和可视化代理如何区分其技能。然后，我们证明了我们的方法可以在更困难的MuJoCo环境中扩展，在这种环境中，我们的代理能够建立一个技能表示，当奖励稀疏时，该技能表示可以在基线上提高迁移学习和探索。
2020-06-23 cs.AI cs.LG
Subwords as Skills: Tokenization for Sparse-Reward Reinforcement Learning
TTI-Chicago（芝加哥TTI学院）；University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Symbolica AI（Symbolica AI公司）
针对稀疏奖励强化学习探索难的问题，提出结合动作空间聚类离散化与NLP分词技术的技能生成方法，性能优于基线且计算量大幅降低。
2024-10-30 cs.AI cs.LG cs.RO
S-EPOA: Overcoming the Indistinguishability of Segments with Skill-Driven Preference-Based Reinforcement Learning
Department of Automation, Tsinghua University（清华大学自动化系）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对PbRL中片段不可区分的问题，本文提出S-EPOA，通过无监督技能预训练和兼顾信息增益与可区分性的查询选择机制，显著提升机器人任务中的鲁棒性与学习效率。
2025-05-13 cs.AI
Audited Skill-Graph Self-Improvement for Agentic LLMs via Verifiable Rewards, Experience Synthesis, and Continual Memory
OWASP Fairfax, VA, USA；Kleiner Perkins
本文提出ASG-SI框架，通过可验证奖励、经验合成和持续记忆实现代理LLM的审计化技能图自改进，以提升安全性和可追溯性。
2025-12-28 cs.AI cs.CR
SARL: Label-Free Reinforcement Learning by Rewarding Reasoning Topology
Purdue University（普渡大学）；Texas Instruments（德州仪器）
本文提出SARL框架，通过奖励推理拓扑而非最终结果来提升大模型的推理能力，在可验证数学任务和非可验证开放任务中均取得显著性能提升。
2026-05-10 cs.AI
Reinforcement Learning for Self-Improving Agent with Skill Library
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；AWS Agentic AI（AWS智能代理）
本文提出SAGE框架，通过强化学习结合技能库，提升智能体在新环境中的自我改进能力，实验显示其在准确性和效率上均优于现有方法。
2026-03-10 cs.AI
A Definition of Open-Ended Learning Problems for Goal-Conditioned Agents
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所）；INRIA Bordeaux Sud-Ouest（法国国家信息与自动化研究所波尔多南部-西部分部）；Institute of Cognitive Sciences and Technologies（认知科学与技术研究所）；CNR（意大利国家研究委员会）；CITIC（信息与通信技术中心）；Universidade da Coruña（拉科鲁尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）
本文针对开放式学习缺乏统一定义的问题，提出以“在无限时间范围内不断产生新颖元素”作为核心基本属性，并据此构建开放式目标条件强化学习问题框架。
2024-06-07 cs.AI
Hierarchical Kickstarting for Skill Transfer in Reinforcement Learning
University College London（伦敦大学学院）；Meta AI；University of Oxford（牛津大学）
实践和磨练技能是人类学习的基本组成部分，但人工智能很少经过专门训练来执行这些技能。相反，它们通常是端到端训练的，希望通过隐性学习来获得有用的技能，以最大限度地提高某些外在奖励函数的折扣回报。在本文中，我们研究了如何将技能纳入强化学习（RL）代理在复杂环境中具有大的状态-动作空间和稀疏奖励的训练。为此，我们创建了SkillHack，这是一个基于NetHack游戏的任务和相关技能的基准。我们在这个基准上评估了一些基线，以及我们自己的新的基于技能的方法分层Kickstarting（HKS），它被证明优于所有其他评估的方法。我们的实验表明，学习有用的技能的先验知识可以显着提高代理在复杂问题上的性能。我们最终认为，利用预定义的技能为RL问题提供了一个有用的归纳偏差，特别是那些具有大的状态-动作空间和稀疏奖励的问题。
2022-08-15 cs.AI cs.LG
Skill-Critic: Refining Learned Skills for Hierarchical Reinforcement Learning
University of California Berkeley（加州大学伯克利分校）；Sony Research Inc.（索尼研究公司）
针对分层强化学习中离线数据习得的低层策略因覆盖率低、分布偏移不可靠的问题，提出Skill-Critic算法，结合高层技能选择微调低层策略，用离线演示隐空间初始化正则化双策略并行优化，在多稀疏奖励环境验证有效。
2024-07-12 cs.AI cs.LG
ComSD: Balancing Behavioral Quality and Diversity in Unsupervised Skill Discovery
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Nanjing Institute of Software Technology（南京软件技术研究院）
ComSD通过对比动态奖励平衡状态探索与技能多样性，生成多样且具探索性的无监督技能，在多关节机器人和2D迷宫任务中实现最先进的适应性能。
2025-02-22 cs.AI cs.LG cs.RO
ArenaRL: Scaling RL for Open-Ended Agents via Tournament-based Relative Ranking
Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团）
ArenaRL通过基于比赛的相对排名机制，提升开放性智能体在复杂任务中的表现，实现效率与精度的平衡。
2026-07-23 cs.AI cs.LG
Learning Task Agnostic Skills with Data-driven Guidance
Norwegian University of Science and Technology（挪威科技大学）
为了提高强化学习的自主性，代理需要学习有用的行为，而不依赖手动设计的奖励函数。为此，技能发现方法已被用来学习的内在选项可用于使用任务无关的目标的代理。然而，如果没有特定任务奖励的指导，由于在复杂和高维空间中技能发现的约束不足问题，紧急行为通常是无用的。本文提出了一个框架，指导技能发现的专家访问状态的子集，使用学习状态投影。我们将我们的方法应用于各种强化学习（RL）任务，并表明这种投影会产生更有用的行为。
2021-08-04 cs.AI cs.LG
A Central Motor System Inspired Pre-training Reinforcement Learning for Robotic Control
Northeastern University（东北大学）
本文提出受中枢运动系统启发的预训练强化学习方法CMS-PRL，通过融合奖励机制、基底神经节式技能编码和技能活动函数生成多样可复用技能，在稀疏奖励任务中优于基线方法，尤其适用于高自由度机器人。
2024-09-28 cs.AI cs.RO
Goal Exploration Augmentation via Pre-trained Skills for Sparse-Reward Long-Horizon Goal-Conditioned Reinforcement Learning
University of Manchester（曼彻斯特大学）
针对稀疏奖励长程任务中GCRL目标探索效率低的问题，提出优化已实现与待探索目标熵的新学习目标，利用相似环境的目标转移模式预训练技能增强探索，在多基准任务上显著提升现有GCRL方法的探索效率与性能。
2023-12-19 cs.AI cs.LG cs.RO
Skill-R1: Agent Skill Evolution via Reinforcement Learning
UC San Diego（UC圣地亚哥大学）；Adobe Research（Adobe研究院）
Skill-R1通过强化学习框架实现实例级递归技能优化，利用可验证奖励训练轻量级技能生成器，提升智能体在复杂多步骤任务中的表现。
2026-05-10 cs.AI cs.LG
Autonomous Open-Ended Learning of Interdependent Tasks
自主性是人工智能体在复杂的现实世界场景中发挥作用的基础。获得许多不同的技能是培养多功能自主行为的关键，因此是机器人和机器学习的主要目标。内在动机已被证明可以正确地生成任务不可知的信号，以驱动在需要学习多个任务的设置中自主获取多个策略。然而，在现实世界中，任务可能是相互依赖的，因此其中一些任务可能构成学习其他任务的先决条件。尽管不同的策略已被用来解决收购的相互依存/分层的任务，完全自主的开放式学习在这些情况下仍然是一个悬而未决的问题。基于先前在内在动机开放式学习框架内的研究，我们提出了一种机器人控制体系结构，从决策的角度来解决这个问题，即将任务的选择视为马尔可夫决策过程，系统选择要训练的策略，以最大限度地提高其对所有任务的能力。然后，该系统进行了测试，解决相互依赖的多个达到任务的人形机器人。
2019-05-07 cs.AI cs.RO
Reverse-Engineered Reasoning for Open-Ended Generation
Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）；Tsinghua University（清华大学）
针对开放式生成中推理方法失效的问题，提出逆向工程推理（REER）范式，从已知解反向发现推理过程，构建DeepWriting-20K数据集并训练DeepWriter-8B，性能媲美甚至超越GPT-4o等专有模型。
2025-09-07 cs.AI cs.CL
Integrating Controllable Motion Skills from Demonstrations
School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）
本文提出可控技能集成框架CSI，无需复杂奖励调优即可将多样化运动技能集成到单一策略中，并可与自然语言推理模块结合实现语言引导控制，实验验证了其灵活性、过渡能力和可扩展性。
2024-08-06 cs.AI cs.RO
Teaching LLMs to Self-Evolve: Cultivating Core Meta-Skills with Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究旨在通过强化学习培养大语言模型自我进化的元技能。提出MetaEvolve框架，经数据合成、进化感知强化学习等流程，在编码任务中训练模型。实验表明该框架在编码基准测试中性能出色，能有效激发通用元技能，为自主进化的人工智能发展提供路径。
2026-09-21 cs.AI cs.CL cs.LG
Rubrics as Privileged Information for Open-Ended Generation
Apple（苹果公司）
该研究将在线策略自蒸馏扩展至开放式生成，提出以评分规则作为特权信息（RuPI），在Qwen、Llama等模型上，其性能优于评分规则作为奖励的RL及参考完成PI蒸馏方法。
2026-08-05 cs.AI cs.LG
Robotic Long-Horizon Manipulation with Bayesian Non-parametric Skill Priors
提出利用贝叶斯非参数模型（狄利克雷过程混合）预训练技能先验，增强强化学习在长时程操作任务中的技能多样性与迁移效率，超越现有方法。
2026-10-06 cs.AI cs.RO
Autonomous Open-Ended Learning of Tasks with Non-Stationary Interdependencies
Universidade da Coruña（拉科鲁尼亚大学）；Consiglio Nazionale delle Ricerche（意大利国家研究委员会）；Istituto di Scienze e Tecnologie della Cognizione（认知科学与技术研究所）；CITIC research center（CITIC研究中心）
自主开放式学习是机器学习和机器人技术中的一种相关方法，允许设计能够获得目标和运动技能的人工智能体，而无需用户分配任务。这种方法的一个关键问题是制定策略，以确保代理商能够在尽可能短的时间内最大限度地提高他们在尽可能多的任务上的能力。内在动机已被证明可以产生一个与任务无关的信号，以便在目标之间正确分配训练时间。虽然大多数的作品在该领域的内在动机的开放式学习的重点是场景中的目标是相互独立的，只有少数人研究的自主获取的相互依存的任务，更少的解决方案，其中的目标涉及非静态的相互依存关系。在以前工作的基础上，我们在决策层面解决这些关键问题（即，建立战略，以适当地选择目标之间），我们提出了一个分层架构，将子任务的选择作为一个马尔可夫决策过程是能够正确地学习相互依赖的技能的基础上，内在产生的动机。特别是，我们首先深化以前的系统的分析，显示在更高层次的架构（目标选择）的任务之间的关系，将信息的重要性。然后，我们介绍H-GRAIL，一个新的系统，通过添加一个新的学习层来存储自主获取的任务序列，以便在相互依赖性不稳定的情况下修改它们，从而扩展了以前的系统。所有系统都在真实的机器人场景中进行了测试，Baxter机器人执行多个相互依赖的到达任务。
2022-05-16 cs.AI cs.LG cs.RO
Wasserstein Distance Maximizing Intrinsic Control
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；DeepMind
本文讨论的问题，学习技能的条件政策，有意义的行为在没有奖励信号。基于互信息的目标已经在学习技能方面显示出一些成功，这些技能在这种设置中达到不同的状态集合。这些目标包括KL-发散项，其通过访问不同的状态来最大化，即使这些状态在MDP中相距不远。本文提出了一种方法，奖励智能体学习技能，最大限度地提高他们的状态访问从开始状态的技能的Wasserstein距离。它表明，这样的目标导致的政策，覆盖更多的距离在MDP比多样性为基础的目标，并验证了各种雅达利环境的结果。
2021-10-28 cs.AI cs.LG
The impact of intrinsic rewards on exploration in Reinforcement Learning
University College London（伦敦大学学院）
本研究通过对比四种内在奖励机制在MiniGrid环境中的探索效果，发现状态计数在低维观测下最优，最大熵更稳健，而DIAYN技能多样性不促进探索。
2025-01-20 cs.AI cs.LG
Autotelic Agents with Intrinsically Motivated Goal-Conditioned Reinforcement Learning: a Short Survey
INRIA（法国国家信息与自动化研究所）；Univ. de Bordeaux（波尔多大学）；ENSTA Paris Tech（法国国立高等先进技术学院）
本文提出了一种基于目标导向强化学习的发展性强化学习框架，旨在解决自激励技能获取问题，并探讨了目标表示和优先级学习的挑战。
2022-07-12 cs.AI cs.LG
Learning Agile Skills via Adversarial Imitation of Rough Partial Demonstrations
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
学习敏捷技能是机器人技术的主要挑战之一。为此，强化学习方法已经取得了令人印象深刻的结果。这些方法需要明确的任务信息的奖励函数或专家，可以在模拟中查询，以提供一个目标控制输出，这限制了它们的适用性。在这项工作中，我们提出了一种生成对抗方法，用于从部分和潜在的物理不兼容的演示中推断奖励函数，以获得成功的技能，其中参考或专家演示不容易获得。此外，我们表明，通过使用Wasserstein GAN制定和过渡的示范与粗糙和部分信息作为输入，我们能够提取的政策，是强大的，能够模仿演示的行为。最后，所获得的技能，如后空翻进行了测试，一个敏捷的四足机器人称为独奏8和目前的忠实复制的手持人类示范。
2022-11-21 cs.AI cs.LG cs.RO
Stochastic Neural Networks for Hierarchical Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；International Computer Science Institute（国际计算机科学研究所）；OpenAI
近年来，深度强化学习取得了许多令人印象深刻的成果。然而，奖励少或视野长的任务继续构成重大挑战。为了解决这些重要问题，我们提出了一个通用框架，首先在预训练环境中学习有用的技能，然后利用获得的技能在下游任务中更快地学习。我们的方法汇集了内在动机和层次方法的一些优势：有用技能的学习是由一个单一的代理奖励，其设计需要非常少的领域知识的下游任务。然后，在这些技能之上训练一个高级策略，提供对探索的显着改进，并允许在下游任务中处理稀疏的奖励。为了有效地预训练大范围的技能，我们使用随机神经网络与信息理论正则化器相结合。我们的实验表明，这种组合在以样本有效的方式学习广泛的可解释技能方面是有效的，并且可以显着提高广泛的下游任务的学习性能。
2017-04-10 cs.AI cs.LG cs.NE
Advanced Skills through Multiple Adversarial Motion Priors in Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）
近年来，强化学习（RL）在高关节机器人系统的运动控制中表现出了优异的性能。这样的方法通常涉及繁琐的奖励函数调谐以实现期望的运动风格。诸如对抗运动先验的模仿学习方法旨在通过鼓励预定义的运动风格来减少这个问题。在这项工作中，我们提出了一种方法来增强基于对抗运动先验的RL的概念，以允许多种离散可切换的风格。我们表明，多种风格和技能可以同时学习，没有显着的性能差异，即使在结合运动数据的技能。我们的方法在几个真实世界的实验中验证了轮腿四足机器人显示技能从现有的RL控制器和轨迹优化，如躲避和行走，和新的技能，如四足和人形配置之间的切换。对于后一项技能，机器人需要站起来，在两个轮子上导航，然后坐下。而不是调整坐下来的运动，我们验证了站起来的运动的反向播放，帮助机器人发现可行的坐下的行为，并避免繁琐的奖励功能调整。
2022-03-23 cs.AI cs.LG cs.RO
Agentic Reinforcement Learning with Self-Distilled Reward Shaping
针对智能体强化学习中稀疏奖励无法分配中间决策信用的问题，提出ADRS框架，通过校准教师分数等提升多轮语言智能体在长时域任务的性能，且增益稳定。
2026-08-05 cs.AI cs.CL cs.LG
Automatic Evaluation of Excavator Operators using Learned Reward Functions
École de Technologie Supérieure（高等技术学院）；Mila（米拉研究所）；CM Labs（CM实验室）；CIFAR（加拿大高等研究院）
培训新手用户操作挖掘机以学习不同的技能需要专家教师的存在。考虑到问题的复杂性，寻找熟练的专家相对昂贵，因为这个过程很耗时，需要精确的重点。此外，由于人类往往有偏见，评估过程是嘈杂的，并会导致具有类似技能的不同操作员的最终得分差异很大。在这项工作中，我们解决这些问题，并提出了一种新的策略，挖掘机操作员的自动评价。我们考虑到挖掘机的内部动力学和安全标准，在每个时间步骤来评估性能。为了进一步验证我们的方法，我们使用这个分数预测模型作为强化学习代理的奖励来源，以学习在模拟环境中操纵挖掘机的任务，该模拟环境密切复制了现实世界的动态。对于使用这些外部奖励预测模型学习的策略，我们的结果表明，与仅使用基于任务的奖励函数训练的策略相比，遵循所需的动态约束的解决方案更安全，使其更接近现实生活中的采用。对于未来的研究，我们将在https://github.com/pranavAL/InvRL_Auto-Evaluate上发布我们的代码库，并在https://drive.google.com/file/d/1jR1otOAu8zrY8mkhUOUZW9jkBOAKK71Z/view?上发布视频结果。usp=share_link .
2022-11-15 cs.AI cs.LG cs.RO
Dynamical Distance Learning for Semi-Supervised and Unsupervised Skill Discovery
University of California, Berkeley（加利福尼亚大学伯克利分校）；University of Oxford（牛津大学）；Google DeepMind（谷歌DeepMind）
强化学习需要手动指定奖励函数来学习任务。虽然原则上这个奖励函数只需要指定任务目标，但在实践中，强化学习可能非常耗时，甚至不可行，除非奖励函数被成形为提供朝向成功结果的平滑梯度。这种形状很难用手指定，特别是当任务是从原始观察（如图像）中学习时。在本文中，我们研究了如何自动学习动态距离：从任何其他状态到达给定目标状态的预期时间步数的度量。这些动态距离可以用来为达到新目标提供良好的奖励函数，从而可以有效地学习复杂的任务。我们表明，动态距离可以用于半监督制度，其中与环境的无监督交互用于学习动态距离，而少量的偏好监督用于确定任务目标，没有任何手动设计的奖励函数或目标的例子。我们评估我们的方法在现实世界的机器人和模拟。我们表明，我们的方法可以学习用真实世界的9自由度手转动阀门，使用原始图像观察和10个偏好标签，而无需任何其他监督。学习技能的视频可以在项目网站上找到：https://sites.google.com/view/dynamical-distance-learning。
2020-02-14 cs.AI cs.CV cs.LG
Variational Curriculum Reinforcement Learning for Unsupervised Discovery of Skills
KAIST（韩国科学技术院）；UNIST（蔚山国立科学技术院）
本文提出变分课程强化学习（VCRL）和价值不确定性变分课程（VUVC），将变分赋能重构为目标条件强化学习中的课程学习，以提升无监督技能发现的样本效率与状态覆盖速度，并在真实机器人导航中验证其零样本能力。
2023-10-30 cs.AI cs.LG cs.RO
Guided Policy Search for Parameterized Skills using Adverbs
Brown University（布朗大学）
我们提出了一种方法，使用副词短语调整技能参数，通过学习副词技能的背景。这些接地允许代理使用由人类提供的副词反馈来直接更新技能策略，其方式类似于传统的本地策略搜索方法。我们表明，我们的方法可以作为这些政策搜索方法的替代品时，密集的奖励环境是不可用的，但人类的语言反馈。我们证明了改进的样本效率在两个实验中的现代政策搜索方法。
2021-10-23 cs.AI cs.CL cs.HC
Open-Ended Learning Strategies for Learning Complex Locomotion Skills
通过强化学习（RL）来教会机器人在复杂的三维环境下学习各种运动技能仍然具有挑战性。研究表明，在将智能体转移到复杂环境之前，先在简单环境中训练智能体，可以改善训练过程，但到目前为止，这只适用于相对简单的运动技能。在这项工作中，我们适应增强型配对开放式开拓者（ePOET）的方法，训练更复杂的代理有效地走在复杂的三维地形。首先，为了生成更加坚固和多样化的三维训练地形，并增加复杂性，我们扩展了组合模式生成网络-增强拓扑的神经进化（CPPN-NEAT）方法，并包括随机形状。其次，我们将ePOET与Soft Actor-Critic离线策略优化相结合，产生ePOET-SAC，以确保智能体可以学习更多样化的技能来解决更具挑战性的任务。我们的实验结果表明，新生成的三维地形有足够的多样性和复杂性，以指导学习，ePOET成功地学习复杂的运动技能，这些地形，我们提出的ePOET-SAC方法略有改善ePOET。
2022-06-14 cs.AI cs.RO
Extending RLVR to Open-Ended Tasks via Verifiable Multiple-Choice Reformulation
Baidu Ernie Team（百度文心团队）
本文提出VMR-RLVR方法，通过将开放性任务数据转化为可验证的多选格式，提升LLM在无明确真实值情况下开放性任务的推理能力。
2026-02-04 cs.AI
From RLVR to RLSVR: Task Transformation Induces Self-Verifiable Rewards for Open-Ended LLM Self-Improvement
Duke University（杜克大学）；Adobe Inc.（奥多比公司）；Oregon State University（俄勒冈州立大学）；Pennsylvania State University（宾夕法尼亚州立大学）；National University of Singapore（新加坡国立大学）；Amazon（亚马逊）
研究针对开放式LLM自我改进中奖励验证问题，提出基于任务转换的RLSVR方法，通过SpyRL实例化，在文本摘要等任务实验中，该方法在不可验证任务上优于现有方法，在可验证推理任务上有提升，扩展了基于RLVR的自我改进。
2026-08-03 cs.AI
Verifiable Self-Evolution for Open-Ended Dialogue Skills via Future-Feedback Prediction
ByteDance（字节跳动）
研究开放式对话技能自我进化难题，提出未来反馈技能进化方法，通过预测答案对用户后续信号的影响进行验证，转化为固定离线学习目标，在销售助手数据集上获超75%准确率，实现可重复技能进化。
2026-07-22 cs.AI cs.CL cs.LG
From Relevance to Execution Utility: Reward-Aware Dynamic Execution Gating for Skill-Based LLM Agents
Tongji University（同济大学）；The University of Sydney（悉尼大学）；University of Science and Technology of China（中国科学技术大学）；Nankai University（南开大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；City University of Hong Kong（香港城市大学）；University of Surrey（萨里大学）
针对基于技能的LLM智能体执行决策难题，提出RADEG轻量型决策层，通过学习代理模型预测执行效用，在288个rollout的评估中减少不必要执行并优于基线方法
2026-08-11 cs.AI
A Study on Dialogue Reward Prediction for Open-Ended Conversational Agents
University of Lincoln（林肯大学）；Samsung Research（三星研究院）
会话代理中包括的对话历史的量通常被低估和/或以经验的方式设置，因此可能是幼稚的方式。这表明，考虑到对话历史和相应表示的量可以在会话系统的整体性能中发挥重要作用，迫切需要对最佳上下文窗口进行原则性调查。本文研究对话代理可靠预测对话奖励所需的历史量。对话奖励预测的任务被选择用于调查不同量的对话历史的影响及其对系统性能的影响。使用18 K人与人对话的数据集的实验结果报告说，至少10个句子的冗长对话历史比简短的对话历史更受欢迎（在我们的实验中，25个句子是最好的），并且冗长的历史对于训练目标对话奖励和预测之间具有强正相关性的对话奖励预测器是有用的。
2018-12-02 cs.AI cs.CL
Evolving Programmatic Skill Networks
DIRO & Institut Courtois, Université de Montréal（DIRO与Courtois研究所，蒙特利尔大学）；Mila – Québec AI Institute（魁北克人工智能研究所）；Microsoft Research（微软研究院）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
提出程序化技能网络（PSN），通过大语言模型驱动的故障定位、渐进优化和结构重构，实现开放环境中技能库的持续构建与复用。
2026-06-24 cs.AI cs.NE
Learning Reward for Physical Skills using Large Language Model
本文提出利用环境反馈从大型语言模型中提取任务知识，通过LLM提出奖励函数特征并迭代自对齐更新参数，解决物理技能奖励函数学习的挑战。
2023-10-21 cs.AI cs.RO
