Hierarchical Reinforcement Learning By Discovering Intrinsic Options
University of Southern California（南加州大学）；Horizon Robotics（地平线机器人）
我们提出了一种分层强化学习方法HIDIO，它可以以自我监督的方式学习任务不可知的选项，同时联合学习利用它们来解决稀疏奖励任务。与当前的分层强化学习方法不同，这种方法倾向于制定达到目标的低级别任务或预先定义特定的低级别策略，HIDIO鼓励独立于手头任务的低级别选项学习，需要很少的假设或关于任务结构的很少知识。这些选项通过以选项子轨迹为条件的内在熵最小化目标来学习。学习的选项是多样的和任务不可知的。在稀疏奖励机器人操作和导航任务的实验中，HIDIO比常规RL基线和两种最先进的分层RL方法实现了更高的成功率和更高的样本效率。
2022-08-08 cs.LG
Discovering Blind Spots in Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）
在仿真中训练的代理可能会在现实世界中由于训练和执行环境之间的不匹配而出错。这些错误可能是危险的，也很难发现，因为智能体无法先验地预测它们。我们建议使用Oracle反馈来学习这些盲点的预测模型，以减少现实世界应用中代价高昂的错误。我们专注于强化学习（RL）中由于不完整的状态表示而出现的盲点：智能体没有适当的特征来表示世界的真实状态，因此无法区分众多状态。我们将发现RL中的盲点的问题形式化为具有类不平衡的噪声监督学习问题。我们通过结合标签聚合、校准和监督学习技术来学习模型，以预测状态空间中不可见区域的盲点。这些模型考虑了来自不同形式的预言反馈的噪音，包括演示和更正。我们在两个领域评估了我们的方法，并表明它比基线方法具有更高的预测性能，并且学习的模型可以用于在执行时选择性地查询Oracle以防止错误。我们还实证分析了各种反馈类型的偏见，以及它们如何影响盲点的发现。
2018-05-23 cs.AI cs.LG stat.ML
Option Encoder: A Framework for Discovering a Policy Basis in Reinforcement Learning
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Robert Bosch Centre for Data Science and AI（罗伯特·博世数据科学与人工智能中心）；University of Pennsylvania（宾夕法尼亚大学）
选项发现和技能获取框架是分层组织的强化学习代理的功能不可或缺的。然而，这种技术通常会产生大量的选项或技能，这些选项或技能可以通过过滤掉任何冗余信息来简洁地表示。这样的减少可以减少所需的计算，同时也提高了目标任务的性能。为了压缩一系列选项策略，我们试图找到一个策略基础，准确地捕捉所有选项的集合。在这项工作中，我们提出了Option Encoder，一个基于自动编码器的框架，具有智能约束的权重，有助于发现基础策略的集合。政策基础可以在一个适当的分级组织框架中作为原始技能集的代理。我们证明了我们的方法的有效性，收集的网格世界和高维获取达到机器人操作任务通过评估获得的政策基础上的一组下游任务。
2020-07-03 cs.AI cs.LG stat.ML
Discovering Individual Rewards in Collective Behavior through Inverse Multi-Agent Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）；Harvard University（哈佛大学）
针对复杂动力学系统集体行为中个体目标发现的挑战，本研究提出了一种离策略逆向多智能体强化学习算法（IMARL），结合 ReF-ER 技术与引导成本学习自动揭示奖励函数并学习有效策略，为理解集体动力学提供了重要工具。
2023-05-17 cs.AI cs.LG cs.MA
Discovering Diverse Solutions in Deep Reinforcement Learning by Maximizing State-Action-Based Mutual Information
Kyushu Institute of Technology（九州工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；The University of Tokyo（东京大学）
强化学习算法通常仅限于为指定任务学习单个解决方案，即使经常存在不同的解决方案。最近的研究表明，学习一组不同的解决方案是有益的，因为多样性使强大的Few-Shot适应。虽然现有的方法学习不同的解决方案，使用互信息作为无监督的奖励，这样的方法往往遭受由值函数近似引起的梯度估计的偏差。在这项研究中，我们提出了一种新的方法，可以学习不同的解决方案，而不会受到偏见的问题。在我们的方法中，以连续或离散潜变量为条件的策略通过直接最大化互信息的变分下界来训练，而不是像以前的研究那样使用互信息作为无监督奖励。通过对机器人运动任务的大量实验，我们证明了所提出的方法通过学习连续潜变量成功地学习了无穷多个不同的解决方案，这比学习有限数量的解决方案更具挑战性。随后，我们表明，我们的方法使更有效的Few-Shot适应与现有的方法相比。
2022-04-13 cs.AI cs.LG stat.ML
Discovering an Aid Policy to Minimize Student Evasion Using Offline Reinforcement Learning
Federal University of Espirito Santo, UFES（圣埃斯皮里图联邦大学）
高等教育的高辍学率暴露出缺乏效率，造成期望落空和财政浪费。预测处于风险中的学生不足以避免学生辍学。通常，必须为每个学生在适当的时间发现和应用适当的援助行动。针对这一顺序决策问题，提出了一种基于离线强化学习的学生援助行动选择决策支持方法，有效地避免了学生辍学。此外，离散化的学生的状态空间，采用两种不同的聚类方法进行评估。我们使用真实学生的记录数据的实验表明，通过离线策略评估，该方法应该实现大约1.0到1.5倍的累积奖励。因此，这是可行的，以帮助决策者适用适当的援助行动，并可能减少学生辍学。
2021-04-20 cs.LG
Discovering Multiple Solutions from a Single Task in Offline Reinforcement Learning
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文研究离线强化学习中从单一任务发现多个解的问题，提出相应算法并实验验证其能学到多个定性和定量上不同的解。
2024-06-10 cs.LG stat.ML
Discovering User Types: Mapping User Traits by Task-Specific Behaviors in Reinforcement Learning
Harvard University（哈佛大学）
本文研究强化学习中用户行为与特质的对应关系，提出分解“用户类型”的工具，并将具有相同用户类型集合的环境定义为等价关系，以支持干预设计跨环境迁移与快速个性化。
2023-07-16 cs.HC cs.LG
AtomComposer: Discovering Chemical Space from First Principles with Reinforcement Learning
Dept. of Energy Conversion and Storage, Technical University of Denmark（丹麦技术大学能源转换与存储系）；Dept. of Applied Mathematics and Computer Science, Technical University of Denmark（丹麦技术大学应用数学与计算机科学系）；Pioneer Center for Accelerating P2X Materials Discovery (CAPeX), Kgs. Lyngby, Denmark（加速P2X材料发现的先锋中心（CAPeX），Lyngby，丹麦）
提出AtomComposer，一种无需预训练数据、通过在线强化学习自主构建有效3D异构体的智能体，在未见化学式上发现的异构体数量比现有方法多一个数量级。
2026-05-27 cond-mat.mtrl-sci cs.LG
Discovering Temporal Structure: An Overview of Hierarchical Reinforcement Learning
Mila（米拉研究所）；McGill University（麦吉尔大学）；Amazon（亚马逊）；Brown University（布朗大学）；Amii（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）
本文综述分层强化学习，从决策挑战角度阐述其益处，并梳理从在线经验、离线数据到利用大语言模型发现时间结构的方法族及面临的挑战。
2026-09-11 cs.AI
Player co-modelling in a strategy board game: discovering how to play fast
在本文中，我们用一个2人策略棋盘游戏进行实验，其中使用强化学习和神经网络来进化游戏模型。与完全自主的游戏相比，这些模型的发展是为了加快基于人类参与的自动游戏开发，其复杂程度和密度各不相同。实验结果表明，在赢得比赛的能力和快速完成比赛的能力之间存在着明确而可衡量的联系，同时也证明了人类参与的最低水平，超过这个水平就不会真正发生学习。
2006-11-30 cs.AI cs.LG
Discovering Exfiltration Paths Using Reinforcement Learning with Attack Graphs
National Security Institute, Virginia Tech（弗吉尼亚理工大学国家安全研究所）；Deloitte & Touche LLP（德勤华永会计师事务所）；Deloitte Consulting LLP（德勤咨询有限公司）
结合攻击图和网络地形，使用强化学习（RL）来开发与确定用于企业网中的数据渗出的最佳路径相关联的奖励和状态。这项工作建立在以前的皇冠上的宝石（CJ）识别，重点是计算最佳路径的目标目标，对手可能会遍历到妥协的CJ或主机在他们的附近。这项工作颠覆了以前的CJ方法，该方法基于数据被盗的假设，现在必须悄悄地从网络中泄露。RL被用来支持奖励函数的开发，该奖励函数基于对对手期望减少检测的那些路径的识别。结果表明，一个相当大的网络环境有前途的性能。
2022-04-25 cs.CR cs.LG cs.NI
DGPO: Discovering Multiple Strategies with Diversity-Guided Policy Optimization
Carnegie Mellon University（卡内基梅隆大学）；Paradigm Inc.（第四范式公司）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
本文提出DGPO算法，通过基于信息论多样性目标的内在奖励和约束优化，在单次运行中利用共享策略网络高效发现多种多样化策略，在获得可比奖励的同时提升了策略多样性与样本效率。
2024-01-05 cs.AI cs.LG
Discovering High-Quality Chess Puzzles with Offline Reinforcement Learning
本研究利用15亿条国际象棋谜题解答历史数据，通过离线强化学习学习谜题教学价值，能为100-1000 Elo的初学者推荐高质量谜题，尤其助力学习停滞的新手。
2026-08-18 cs.AI cs.LG
Discovering Command and Control (C2) Channels on Tor and Public Networks Using Reinforcement Learning
Deloitte & Touche LLP（德勤全球有限公司）；National Security Institute, Virginia Tech（弗吉尼亚理工大学国家安全研究所）
针对网络攻击中C2信道识别依赖人工、门槛高的问题，提出基于强化学习的方法，在公共网与Tor网中模拟攻击，可自动发现能绕过防火墙的多信道韧性C2攻击路径。
2024-02-14 cs.AI cs.CR
Discovering Minimal Reinforcement Learning Environments
BCCN Berlin（柏林计算神经科学中心）；University of Oxford（牛津大学）；FLAIR；Technical University Berlin（柏林工业大学）；Science of Intelligence（智能科学）
针对强化学习智能体同环境训练评估的局限，该研究扩展合成环境框架，改进元学习算法、结合硬件并行与课程学习，还发现合成上下文赌博机可媲美合成MDPs，能加速训练并提供环境见解。
2024-06-18 cs.LG
Elastic Horizon: Discovering the Effective Interaction Frontier in Agentic Reinforcement Learning
Qwen Business Unit of Alibaba（阿里巴巴通义千问业务部）；University of Science and Technology of China（中国科学技术大学）
针对智能体强化学习中交互地平线扩展的收益递减问题，提出弹性地平线闭环控制器，基于成功轨迹长度第90百分位数动态调整地平线，在多个基准上实现最优性能并节省高达25%的令牌。
2026-09-09 cs.AI
Discovering Command and Control Channels Using Reinforcement Learning
Deloitte & Touche LLP（德勤会计师事务所）；National Security Institute, Virginia Tech（弗吉尼亚理工大学国家安全研究所）
本文将C2攻击建模为三阶段马尔可夫决策过程，利用强化学习在大型网络中自动学习攻击路径，并创新性地建模防火墙等防御机制，以帮助蓝队识别高优先级漏洞并改进防御策略。
2024-01-13 cs.CR cs.LG
Discovering Latent States for Model Learning: Applying Sensorimotor Contingencies Theory and Predictive Processing to Model Context
AI Lab of SoftBank Robotics Europe (Aldebaran)（软银机器人欧洲公司人工智能实验室（Aldebaran））
自主机器人需要能够适应不可预见的情况，并通过试错获得新技能。强化学习原则上为这种自主学习提供了一个合适的方法框架。然而，当前的计算强化学习代理大多完全从零开始学习每个单独的技能。我们如何才能使人工智能体，如机器人，获得某种形式的通用知识，他们可以利用这些知识来学习新技能？本文认为，像大脑一样，人工智能体的认知系统必须发展一个世界模型来支持适应性行为和学习。灵感来自认知科学文献中的两个最新发展：认知的预测处理理论和感知的感觉运动偶然性理论。在此基础上，提出了一个关于内部世界模型中编码的信息内容以及智能体如何自主获取信息的假设，描述了一个计算模型来形式化这一假设，并在一系列仿真实验中进行了评估。
2016-08-01 cs.AI cs.LG cs.RO
OpenTensor: Reproducing Faster Matrix Multiplication Discovering Algorithms
School of Data Science, Fudan University（复旦大学数据科学学院）
OpenTensor复现了AlphaTensor框架，通过清理算法流程、澄清技术细节并改进训练过程，成功利用深度强化学习发现了高效的矩阵乘法算法。
2024-05-31 cs.AI cs.DS cs.LG
Options Discovery with Budgeted Reinforcement Learning
Sorbonne Universités（索邦大学）；UPMC Univ Paris 06（巴黎第六大学）
我们考虑的问题，学习层次策略的强化学习能够发现选项，一个选项对应于一组原始动作的子策略。在过去十年中提出了不同的模式，这些模式通常依赖于一套预先确定的备选方案。我们专门解决的问题，自动发现决策过程中的选项。我们描述了一种新的学习模型，称为期权神经网络（BONN）能够发现基于预算的学习目标的选项。BONN模型在不同的经典RL问题上进行了评估，展示了定量和定性的有趣结果。
2017-02-22 cs.AI cs.LG
Discovering autonomous quantum error correction via deep reinforcement learning
Zhiyuan College, Shanghai Jiao Tong University, Shanghai 200240, P.R. China（上海交通大学玉泉学院）；State Key Laboratory of Photonics and Communications, Institute for Quantum Sensing and Information Processing, Shanghai Jiao Tong University, Shanghai 200240, P.R. China（上海交通大学光子通信国家重点实验室）；Hefei National Laboratory, Hefei, 230088, P.R. China（合肥国家实验室）；Shanghai Research Center for Quantum Sciences, Shanghai, 201315, P.R. China（上海量子科学研究中心）；AI Lab, Lenovo Research, Beijing 100094, P.R. China（联想AI实验室）
本文利用课程学习启发的深度强化学习，在近似自主量子纠错框架下发现抵抗单光子和双光子损失的玻色子码，并实现超越盈亏平衡点的最优码字。
2026-06-02 cs.LG quant-ph
Mol-AIR: Molecular Reinforcement Learning with Adaptive Intrinsic Rewards for Goal-directed Molecular Generation
Incheon National University（仁川国立大学）；Hallym University（翰林大学）
Mol-AIR提出一种结合随机蒸馏网络与计数策略的自适应内在奖励强化学习框架，在无先验知识条件下提升目标导向分子生成性能，并在多项基准测试中优于现有方法。
2024-03-29 cs.AI cs.LG q-bio.BM
Discovering Options for Exploration by Minimizing Cover Time
Brown University（布朗大学）
强化学习的主要挑战之一是解决具有稀疏奖励的任务。我们发现，在MDP中发现一个遥远的奖励状态的困难是由MDP的过渡动力学引起的图上的随机游走的预期覆盖时间所限定的。因此，我们建议通过构建最小化覆盖时间的选项来加速探索。该算法找到了一个选项，可证明减少预期的步骤数访问状态空间中的每个状态的均匀随机游走。我们的经验表明，该算法提高了学习时间在几个领域的稀疏奖励。
2019-03-16 cs.AI
Discovering Policies with DOMiNO: Diversity Optimization Maintaining Near Optimality
DeepMind（深度思维）
对同一问题找到不同的解决方案是智力的一个关键方面，与创造力和适应新情况有关。在强化学习中，一组不同的策略可以用于探索、转移、层次和鲁棒性。我们提出了DOMiNO，一种保持接近最优的多样性优化方法。我们将问题形式化为约束马尔可夫决策过程，其目标是找到不同的政策，由集合中的政策的状态occupational之间的距离来测量，同时保持接近最优的外在奖励。我们证明了该方法可以在各个领域发现不同的有意义的行为，例如DeepMind控制套件中的不同运动模式。我们对我们的方法进行了广泛的分析，将其与其他多目标基线进行了比较，证明了我们可以通过可解释的超参数来控制集合的质量和多样性，并表明所发现的集合对扰动具有鲁棒性。
2023-02-03 cs.AI cs.LG
Discovering Interpretable Multi-Parameter Control Policies for Evolutionary Algorithms Using Deep Reinforcement Learning
University of St Andrews（圣安德鲁大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（巴黎第六大学信息科学实验室）
针对进化算法多参数控制缺乏可解释策略的问题，提出深度强化学习结合动作空间分解、奖励平移和长期折扣的方法，蒸馏出符号控制策略，在OneMax问题上超越现有基线。
2026-06-08 cs.LG cs.NE
Discovering Cyclists' Visual Preferences Through Shared Bike Trajectories and Street View Images Using Inverse Reinforcement Learning
Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；Shenzhen Technology University（深圳技术大学）；Macau University of Science and Technology（澳门科技大学）；Peking University（北京大学）
针对过往骑行偏好研究数据受限、难以刻画复杂偏好的问题，研究结合DBS轨迹与SVIs，基于MEDIRL与XAI构建框架量化骑行者视觉偏好，发现其关注安全、街道围合感与舒适度，为自行车友好街景设计提供参考。
2024-10-08 cs.HC cs.LG
Discovering highly efficient low-weight quantum error-correcting codes with reinforcement learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of California, Berkeley（加州大学伯克利分校）；Yau Mathematical Sciences Center, Tsinghua University（清华大学丘成桐数学科学中心）
提出基于强化学习的稳定子码降重量方法，发现实际参数区间内显著优于现有结果的低重量qLDPC码，并将重量6码的物理量子比特开销降低1至2个数量级。
2025-02-20 cs.AI cs.IT cs.LG
Discovering General-Purpose Active Learning Strategies
EPFL（洛桑联邦理工学院）；University of Bern（伯尔尼大学）
我们提出了一个通用的方法来发现主动学习（AL）的策略，从数据。这些策略可以从一个领域转移到另一个领域，并且可以与许多机器学习模型结合使用。为此，我们将注释过程形式化为马尔可夫决策过程，设计通用的状态和动作空间，并引入一个新的奖励函数，该函数精确地模拟了最小化注释成本的AL目标。我们试图找到一个最佳的（非近视）AL策略使用强化学习。我们评估了多个不相关领域的学习策略，并表明它们始终优于最先进的基线。
2019-04-02 cs.LG stat.ML
μRL: Discovering Transient Execution Vulnerabilities Using Reinforcement Learning
Worcester Polytechnic Institute（伍斯特理工学院）
本文提出 μRL，用反馈驱动的强化学习自动探索处理器指令序列以发现瞬态执行漏洞，并在 Intel Skylake-X 与 Raptor Lake 上找到多种无异常字节泄漏原语。
2025-02-20 cs.AR cs.CR cs.LG
$\text{Alpha}^2$: Discovering Logical Formulaic Alphas using Deep Reinforcement Learning
School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；The University of Hong Kong（香港大学）
提出基于深度强化学习的Alpha^2框架，将Alpha发现视为程序构造，通过价值估计搜索逻辑有效的多样化Alpha，提升交易策略性能。
2024-06-26 cs.AI q-fin.CP
DisTop: Discovering a Topological representation to learn diverse and rewarding skills
Univ Lyon（里昂大学）；Université Lyon 1（里昂第一大学）；CNRS（法国国家科学研究中心）；LIRIS（图像与信息系统实验室）
深度强化学习（DRL）代理探索的最佳方式是学习一组实现状态均匀分布的技能。在此之后，我们介绍了DisTop，这是一种同时学习多种技能并专注于提高奖励技能的新模式。DisTop逐步建立一个离散的拓扑结构的环境使用无监督的对比损失，不断增长的网络和目标条件的政策。使用这种拓扑结构，状态独立的分层策略可以选择代理必须在状态空间中保持发现技能的位置。反过来，新访问的状态允许改进的学习表示，并且学习循环继续。我们的实验强调，DisTop是不可知的基态表示和代理可以发现其环境的拓扑结构的状态是否是高维二进制数据，图像，或本体感受输入。我们证明了这种模式在MuJoCo基准测试中具有竞争力，在单任务密集奖励和多样化技能发现方面都具有最先进的算法。通过结合这两个方面，我们表明，DisTop实现了最先进的性能相比，分层强化学习（HRL）时，奖励稀疏。我们相信，DisTop通过展示自下而上的技能发现与表示学习相结合可以解锁DRL中的探索挑战，从而打开了新的视角。
2021-06-06 cs.LG
Discover the Hidden Attack Path in Multi-domain Cyberspace Based on Reinforcement Learning
Army Engineering University of PLA（中国人民解放军陆军工程大学）
在这项工作中，我们提出了一种基于学习的方法来分析网络空间的安全配置。与以前的方法不同，我们的方法能够从过去的经验中学习并随着时间的推移而改进。特别是，当我们训练了更多的代理作为攻击者，我们的方法变得更好地发现隐藏的攻击路径以前的方法，特别是在多域网络空间。为了实现这些结果，我们提出发现攻击路径作为强化学习（RL）问题和训练代理发现多域网络空间攻击路径。为了使我们的强化学习策略能够发现更多隐藏的攻击路径和更短的攻击路径，我们在强化学习中引入了一个多域动作选择模块。我们的目标是通过我们提出的方法发现更多的隐藏攻击路径和更短的攻击路径，分析网络空间安全配置的弱点。最后，设计了一个模拟网络空间的实验环境对所提出的方法进行了验证，实验结果表明，与现有的基线方法相比，该方法能够发现更多的隐藏多域攻击路径和更短的攻击路径。
2021-04-15 cs.AI cs.CR cs.LG
Discovering Lattice Reduction Strategies via Self-Play
FAIR, Meta Superintelligence Labs（Meta超级智能实验室FAIR）；Sorbonne Université CNRS, LIP6（索邦大学CNRS/LIP6）；EPITA, EPITA Research Lab (LRE)（EPITA研究实验室(LRE)）
利用深度强化学习和AlphaZero风格自我对弈，在LLL原始动作空间中学习更优的格基约简策略，训练于8维格但可零样本泛化至32维。
2026-06-16 cs.AI cs.LG
Discovering Object-Centric Generalized Value Functions From Pixels
École de technologie supérieure（高等技术学院）；Mila-Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；CIFAR AI Chair（加拿大高等研究院人工智能讲席）；DeepMind（深度思维）
本文提出一种从像素中发现以对象为中心的特征并将其转化为时间连贯的“问题”函数以利用广义价值函数进行控制的方法，在平稳和非平稳环境中表现优异，且学习到的表征具有可解释性并促进快速适应。
2023-06-27 cs.AI cs.LG
Solving Common-Payoff Games with Approximate Policy Iteration
DeepMind
为了使人工智能学习系统在现实世界中具有广泛的适用性，重要的是它们能够分散操作。不幸的是，分散控制是困难的--即使是ε-最优联合策略的计算也是一个NEXP完全问题。然而，最近重新发现的见解-一个团队的代理人可以通过共同的知识协调-已经产生了能够在小型共同收益游戏中找到最佳联合策略的算法。贝叶斯动作解码器（BAD）利用这种洞察力和深度强化学习来扩展到像双人Hanabi这样的游戏。然而，它所使用的近似方法阻止了它发现最优联合策略，即使在足够小的游戏中也无法找到最优解。这项工作提出了CAPI，一种新的算法，它像BAD一样，将常识与深度强化学习相结合。然而，与BAD不同，CAPI优先考虑发现最佳联合策略的倾向。虽然这一选择排除了CAPI从规模的游戏，如Hanabi，实证结果表明，在游戏的CAPI规模，它是能够发现最佳的联合政策，即使其他现代多智能体强化学习算法无法做到这一点。代码可在https://github.com/ssokota/capi上获得。
2021-01-11 cs.AI cs.LG
Discovering Generalizable Skills via Automated Generation of Diverse Tasks
Stanford University（斯坦福大学）；UT Austin（德克萨斯大学奥斯汀分校）；Nvidia（英伟达）
利用一组有用的技能可以大大提高智能代理的学习效率和泛化能力。然而，机器人技能的设计在现实世界的应用中往往是棘手的，因为它需要大量的努力和专业知识。在这项工作中，我们介绍了技能学习在多样化的环境（SLIDE），一种方法来发现通过自动生成的一组不同的任务的可推广的技能。与之前在无监督发现技能方面的工作相反，我们的方法将每个技能与可训练任务生成器生成的独特任务配对。为了鼓励可推广的技能出现，我们的方法训练每个技能专门用于配对任务，并最大限度地提高生成任务的多样性。在生成的任务中定义的机器人行为的一个任务集，联合训练估计的多样性目标的证据下界。然后，可以将学习到的技能组合在分层强化学习算法中，以解决看不见的目标任务。我们证明，该方法可以有效地学习各种机器人的技能，在两个桌面操作域。我们的研究结果表明，与现有的强化学习和技能学习方法相比，学习到的技能可以有效地提高机器人在各种看不见的目标任务中的性能。
2021-06-26 cs.AI cs.LG cs.RO
Variational multiscale reinforcement learning for discovering reduced order closure models of nonlinear spatiotemporal transport systems
Oklahoma State University（俄克拉荷马州立大学）；Norwegian University of Science and Technology（挪威科技大学）；SINTEF Digital（SINTEF数字研究所）
众多科学应用的计算建模和仿真中的一个核心挑战是，由于潜在的高度非线性多尺度相互作用，实现其粗粒度表示的鲁棒性和准确性封闭。这些封闭模型在许多非线性时空系统中很常见，以考虑由于降阶表示引起的损失，包括流体中的许多输运现象。以前的数据驱动闭包建模工作主要集中在使用高保真仿真数据的监督学习方法上。另一方面，强化学习（RL）是时空扩展系统中一种功能强大但相对未知的方法。在这项研究中，我们提出了一个模块化的动态闭包建模和发现框架，以稳定的Galerkin投影的降阶模型，可能会出现在许多非线性时空动力系统的二次非线性。然而，创建鲁棒RL代理的关键要素是引入可行的奖励函数，该函数可以由RL模型和高保真仿真数据之间的任何差异度量构成。首先，我们引入了一个多模态强化学习（MMRL）发现模式依赖的封闭政策，利用高保真度的数据奖励我们的RL代理。然后，我们制定了一个变分多尺度RL（VMRL）的方法来发现封闭模型，而不需要访问高保真度的数据在设计的奖励函数。具体来说，我们的主要创新是利用变分多尺度形式主义来量化模态之间的差异在伽辽金系统的相互作用。对粘性Burgers方程的模拟结果表明，所提出的VMRL方法可以得到鲁棒且精确的闭包参数化，并有可能用于发现复杂动力系统的尺度感知闭包模型.
2022-07-07 cs.LG math.DS physics.flu-dyn
SPOTTER: Extending Symbolic Planning Operators through Targeted Reinforcement Learning
Smart Information Flow Technologies（智能信息流技术公司）；Tufts University（塔夫茨大学）
符号规划模型允许决策代理以任意方式对动作进行排序，以实现动态域中的各种目标。然而，它们通常是手工制作的，往往需要精确的配方，对人为错误不稳定。强化学习（RL）方法不需要这样的模型，而是通过探索环境和收集奖励来学习领域动态。然而，强化学习方法往往需要数百万次的经验，并且经常学习不容易转移到其他任务的策略。在本文中，我们解决的一个方面的开放问题，整合这些方法：决策代理如何解决差异，在他们的象征性的规划模型，同时试图实现目标？我们提出了一个名为SPOTTER的集成框架，使用RL来增强和支持（“现货”）的规划代理，发现新的运营商所需的代理完成的目标，最初是无法到达的代理。SPOTTER的性能优于纯RL方法，同时还发现了可转移的符号知识，并且不需要监督，成功的计划跟踪或关于缺失的规划算子的任何先验知识。
2020-12-24 cs.AI
Discovering Hidden Algebraic Structures via Transformers with Rank-Aware Beam GRPO
California Institute of Technology（加州理工学院）；Massachusetts Institute of Technology（麻省理工学院）
本文研究Transformer在多元多项式分解中的潜在模式发现能力，提出秩感知强化学习方法BGRPO，在提升准确率的同时大幅降低推理计算量，并在多项式化简上超越Mathematica。
2025-08-21 cs.AI cs.LG
Discovering Algorithms with Computational Language Processing
California Institute of Technology（加州理工学院）；SRI International（斯坦福国际研究院）
本文提出一个自动化算法发现框架，将算法概念化为计算词元序列，通过语法链接并由强化学习引导的集成蒙特卡洛树搜索探索词元组合，生成在强NP难问题及量子计算上优于现有方法且可针对实例定制的算法。
2025-07-11 cs.AI cs.DS cs.LG
Materials Discovery with Extreme Properties via Reinforcement Learning-Guided Combinatorial Chemistry
School of Chemical and Biological Engineering, Seoul National University（首尔国立大学化学与生物工程学院）
本文提出强化学习引导的组合化学分子设计方法，通过策略选择分子片段实现外推式发现，在极端性质目标及蛋白质对接、HIV抑制剂应用中显著优于概率分布学习模型。
2024-05-07 cs.LG q-bio.BM
Monte Carlo Search Algorithms Discovering Monte Carlo Tree Search Exploration Terms
Université Paris Dauphine - PSL（巴黎多芬大学 - PSL）；CNRS（法国国家科学研究中心）；LAMSADE
本研究提出用蒙特卡洛搜索自动设计PUCT、SHUSS两种蒙特卡洛树搜索算法的根探索项，在32次评估的低搜索预算下，使二者性能比肩常规PUCT，为组合问题搜索算法优化提供新路径。
2024-04-14 cs.AI
HMM for Discovering Decision-Making Dynamics Using Reinforcement Learning Experiments
Columbia University（哥伦比亚大学）；University of Michigan（密歇根大学）
提出RL-HMM框架分析奖赏决策中的策略切换动态，发现MDD患者强化学习参与度低于健康对照且与脑活动相关。
2024-07-26 cs.LG stat.AP stat.ME
A Deep Reinforcement Learning Approach for Composing Moving IoT Services
Deakin University（迪肯大学）；University of Sydney（悉尼大学）
我们开发了一个新的框架，用于高效和有效地发现在一段时间内靠近用户的众包服务。我们介绍了一个移动的众包服务模型，这是建模为一个移动区域。我们提出了一种基于深度强化学习的组合方法来选择和组合考虑质量参数的移动物联网服务。此外，我们开发了一个并行集群为基础的服务发现算法作为地面真理来衡量所提出的方法的准确性。在两个真实数据集上的实验验证了基于深度强化学习方法的有效性和效率。
2021-11-06 cs.LG
Evolutionary Discovery of Reinforcement Learning Algorithms via Large Language Models
Machine Perception and Interaction Lab, Örebro University（厄勒布鲁大学机器感知与交互实验室）
本文提出一种基于进化算法发现强化学习算法的方法，通过搜索可执行的更新规则来发现新的算法，并通过超参数优化提升性能，实验表明其在多个基准上表现优异。
2026-03-30 cs.AI cs.LG
Discovering Diverse Nearly Optimal Policies with Successor Features
DeepMind
对同一问题找到不同的解决方案是智力的一个关键方面，与创造力和适应新情况有关。在强化学习中，一组不同的策略可以用于探索、转移、层次和鲁棒性。我们提出了不同的连续政策，发现政策的继任者功能的空间是不同的方法，同时确保他们是接近最优的。我们正式的问题作为一个约束马尔可夫决策过程（CMDP）的目标是找到政策，最大限度地提高多样性，其特征在于一个内在的多样性奖励，同时保持接近最优的外在奖励的MDP。我们还分析了最近提出的鲁棒性和歧视性奖励的执行情况，发现它们对过程的初始化很敏感，并且可能会收敛到次优解。为了缓解这一问题，我们提出了新的明确多样性奖励，旨在最大限度地减少集合中政策的后继特征之间的相关性。我们比较了DeepMind控制套件中的不同多样性机制，发现我们提出的明确多样性类型对于发现不同的行为非常重要，例如不同的运动模式。
2022-01-04 cs.AI cs.LG stat.ML
Improving Human Decision-Making by Discovering Efficient Strategies for Hierarchical Planning
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
为了在现实世界中做出好的决策，人们需要有效的规划策略，因为他们的计算资源是有限的。了解哪些规划策略最适合不同情况下的人，对于理解和改进人类决策非常有用。但我们计算这些策略的能力过去仅限于非常小和非常简单的规划任务。为了克服这一计算瓶颈，我们引入了一种认知启发的强化学习方法，可以通过利用人类行为的层次结构来克服这一限制。其基本思想是将顺序决策问题分解为两个子问题：设定目标和规划如何实现目标。这种层次分解使我们能够在比以前可能的更大和更复杂的任务中发现人类规划的最佳策略。所发现的策略优于现有的规划算法，并实现了超人水平的计算效率。我们证明，教人们使用这些策略显着提高了他们的表现，在顺序决策任务，需要规划多达八个步骤。相比之下，以前的方法都不能提高人类在这些问题上的表现。这些研究结果表明，我们的认知知情的方法使得有可能利用强化学习，以改善人类在复杂的顺序决策问题的决策。未来的工作可以利用我们的方法来开发决策支持系统，改善人类在现实世界中的决策。
2021-01-31 cs.AI
InfoRL: Interpretable Reinforcement Learning using Information Maximization
IIT Kanpur（印度理工学院坎普尔分校）
强化学习的最新进展已经证明，给定一个环境，如果我们可以访问某种形式的奖励函数（密集，稀疏或从IRL导出），我们可以学习在该环境中执行任务。但大多数算法都专注于学习一个最佳策略来执行给定的一组任务。在本文中，我们专注于一种算法，它不仅学习执行一项任务，而且学习以不同的方式执行同一任务。正如我们所知，当环境足够复杂时，总是存在多种方法来执行任务。我们表明，使用信息最大化的概念，它是可能的学习潜码发现多种方式来执行任何给定的任务在一个环境中。
2019-05-24 cs.AI cs.LG stat.ML
Deep Dense Exploration for LLM Reinforcement Learning via Pivot-Driven Resampling
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；City University of Hong Kong（香港城市大学）；Baidu（百度）
针对大语言模型强化学习中探索效率低的问题，提出深度密集探索（DDE）策略，通过识别失败轨迹中的可恢复枢轴状态并局部密集重采样，结合双流优化目标，在数学推理基准上优于现有方法。
2026-06-15 cs.AI cs.CL cs.LG
Discovering Diverse Multi-Agent Strategic Behavior via Reward Randomization
UC Berkeley（加州大学伯克利分校）；UCSD（加利福尼亚大学圣地亚哥分校）；CMU（卡内基梅隆大学）；University of Washington（华盛顿大学）；Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Peking University（北京大学）
我们提出了一个简单的，通用的和有效的技术，奖励随机化发现复杂的多智能体游戏中的不同的战略政策。将奖励随机化和策略梯度相结合，提出了一种新的策略优化算法--奖励随机策略梯度（RPG）。RPG是能够发现多个独特的人类可解释的战略，在具有挑战性的时间信任困境，包括网格世界的游戏和现实世界的游戏www.example.com，其中存在多个均衡，但标准的多代理策略梯度算法总是收敛到一个固定的一个次优的回报为每个球员，即使使用国家的最先进的探索技术。此外，通过RPG中的一组不同策略，我们可以（1）通过微调该组中的最佳策略来获得更高的收益;（2）通过使用这组策略作为其训练对手来获得自适应代理。源代码和示例视频可以在我们的网站上找到：www.example.com。
2021-03-12 cs.AI cs.LG
Learning impartial policies for sequential counterfactual explanations using Deep Reinforcement Learning
Freie Universität Berlin（柏林自由大学）；Universität der Bundeswehr München（慕尼黑联邦国防军大学）
本文针对序列反事实解释中强化学习策略存在动作偏置的问题，提出利用分类器输出概率设计更具信息量的奖励函数，以学习更公正的策略。
2023-11-01 cs.AI cs.LG
Reinforcement Learning for Agile Active Target Sensing with a UAV
University of Pennsylvania（宾夕法尼亚大学）；Plaksha University（普拉克沙大学）
主动目标感知是在环境中发现和分类未知数量的目标的任务，在搜索和救援任务中至关重要。本文提出了一种深度强化学习方法来规划信息轨迹，以增加无人机（UAV）发现丢失目标的可能性。我们的方法有效地（1）探索环境，发现新的目标，（2）利用其当前的信念的目标状态，并结合不准确的传感器模型高保真分类，（3）生成动态可行的轨迹敏捷无人机通过采用运动原语库。在随机生成的环境中进行的大量模拟表明，我们的方法在发现和分类目标方面比其他几种基线更有效。我们的方法的一个独特的特点，启发式信息路径规划方法相比，是强大的变化量的偏差的先验信念从真正的目标分布，从而减轻了挑战的设计具体的应用条件。
2022-12-16 cs.AI cs.RO
Causal Reasoning from Meta-reinforcement Learning
DeepMind（深度思维）；Harvard University（哈佛大学）；UCL（伦敦大学学院）
发现和利用环境中的因果结构是智能代理的一个关键挑战。在这里，我们探讨因果推理是否可以通过Meta强化学习出现。我们用无模型强化学习训练一个递归网络，以解决一系列问题，每个问题都包含因果结构。我们发现，经过训练的代理可以在新的情况下进行因果推理，以获得奖励。代理人可以选择信息干预，从观察数据中得出因果推论，并做出反事实的预测。虽然建立正式的因果推理算法也存在，在本文中，我们表明，这种推理可以从无模型强化学习，并建议在复杂的设置因果推理可能会受益于更多的端到端的学习为基础的方法在这里。这项工作还提供了新的策略，结构化探索强化学习，通过提供代理的能力，执行-和解释-实验。
2019-01-23 cs.AI cs.LG stat.ML
