Micro-Objective Learning : Accelerating Deep Reinforcement Learning through the Discovery of Continuous Subgoals
Seoul National University(首尔大学);Yonsei University(延世大学)
最近,强化学习已经成功地应用于逻辑游戏围棋,各种雅达利游戏,甚至3D游戏,Labruth,尽管它仍然存在稀疏奖励设置的问题。在学习政策时,探索少数成功是困难的,也是困难的。为解决这一问题,提出了子目标和选项框架。然而,在线发现子目标的成本太高,无法用于学习大型状态空间中的选项。我们提出了微目标学习(MOL)来解决这个问题。其主要思想是在训练时估计一个状态的重要性,并根据其重要性给予额外的奖励。我们在两个Atari游戏中评估了我们的算法:Montezuma的复仇和Seaquest。每场比赛进行三次实验,MOL显著提高了基线得分。特别是在《蒙特祖玛的复仇》中,MOL取得了比之前最先进的模式好两倍的成绩。
2017-03-11 cs.AI
Discovering Temporal Structure: An Overview of Hierarchical Reinforcement Learning
Mila(米拉研究所);McGill University(麦吉尔大学);Amazon(亚马逊);Brown University(布朗大学);Amii(阿尔伯塔机器智能研究所);University of Alberta(阿尔伯塔大学)
本文综述分层强化学习,从决策挑战角度阐述其益处,并梳理从在线经验、离线数据到利用大语言模型发现时间结构的方法族及面临的挑战。
2026-09-11 cs.AI
Internally Rewarded Reinforcement Learning
University of Hamburg(汉堡大学)
该研究针对策略与内部奖励模型相互依赖导致强化学习不稳定的问题,形式化定义了IRRL设置,提出截断线性奖励函数,经实验验证可稳定训练、加快收敛并提升多任务性能。
2023-08-24 cs.AI cs.LG
Behaviour Discovery and Attribution for Explainable Reinforcement Learning
University of Calgary(卡尔加里大学);Mila;McGill University(麦吉尔大学);Université de Montréal(蒙特利尔大学);CIFAR AI Chair(CIFAR AI 职位)
针对现有强化学习可解释方法遗漏重复策略与时间延展模式的问题,提出离线无奖励的行为发现分割框架,从状态-动作序列识别行为簇并归因动作,在四类环境中表现优于轨迹级基线。
2025-06-16 cs.AI
Options Discovery with Budgeted Reinforcement Learning
Sorbonne Universités(索邦大学);UPMC Univ Paris 06(巴黎第六大学)
我们考虑的问题,学习层次策略的强化学习能够发现选项,一个选项对应于一组原始动作的子策略。在过去十年中提出了不同的模式,这些模式通常依赖于一套预先确定的备选方案。我们专门解决的问题,自动发现决策过程中的选项。我们描述了一种新的学习模型,称为期权神经网络(BONN)能够发现基于预算的学习目标的选项。BONN模型在不同的经典RL问题上进行了评估,展示了定量和定性的有趣结果。
2017-02-22 cs.AI cs.LG
EnvACE: Internalizing Environment Dynamics via World Rehearsal for Agentic Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);Sun Yat-sen University(中山大学);Central South University(中南大学);The Chinese University of Hong Kong(香港中文大学);Tencent Inc.(腾讯公司)
本文提出 EnvACE 方法,以世界预演替代外部环境交互训练 LLM 智能体,在多基准测试中性能优于基线,可突破外部环境约束扩展 LLM 智能体训练。
2026-10-01 cs.AI
Groupoid-Based Internal State Representations for Reinforcement Learning with Local Symmetries
City St George’s, University of London(伦敦城市圣乔治大学)
针对现有强化学习难以利用局部对称性的问题,提出基于群胚的框架,动态发现等价结构,在缩减空间学习,提升样本效率和收敛性,优于标准Q学习。
2026-09-14 cs.AI cs.LG
Efficient Open-world Reinforcement Learning via Knowledge Distillation and Autonomous Rule Discovery
The Australian National University(澳大利亚国立大学)
提出一种适用于深度强化学习的通用框架,通过自主发现任务特定规则并自我监督学习,显著提升了智能体在开放世界中的学习效率和对新情况的适应能力。
2023-11-24 cs.AI
Reinforcement Learning with Information-Theoretic Actuation
Australian National University(澳大利亚国立大学);Deepmind
强化学习通过观察、奖励和行动来形式化具体代理与环境的交互。但这些行动从何而来?动作通常被认为是代表外部的东西,如肢体的运动,棋子,或更一般地说,执行器的输出。在这项工作中,我们探索和形式化的对比视图,即行动最好认为是一个序列的内部选择相对于一个行动模型的输出。这种观点特别适合利用大序列模型的最新进展作为多任务强化学习问题的先验知识。我们在这项工作中的主要贡献是展示如何增加标准的MDP形式主义与内部行动的顺序概念,使用信息理论的技术,这导致自洽的定义内部和外部的行动价值函数。
2021-09-30 cs.AI cs.LG
Efficient Exploration through Intrinsic Motivation Learning for Unsupervised Subgoal Discovery in Model-Free Hierarchical Reinforcement Learning
University of California, Merced(加州大学默塞德分校)
如何有效地发现子目标是分层强化学习(HRL)中的一个挑战性问题。在本文中,我们表明,内在动机学习提高了探索的效率,导致成功的子目标发现。本文提出了一种基于无监督学习的无模型子目标发现方法。此外,我们还提供了一种统一的方法来学习无模型HRL中的表示。
2019-11-18 cs.AI cs.LG stat.ML
A Laplacian Framework for Option Discovery in Reinforcement Learning
University of Alberta(阿尔伯塔大学);Google DeepMind(谷歌DeepMind)
表示学习和选项发现是强化学习(RL)中的两个最大挑战。原价值函数(PVF)是用于MDP中的表示学习的公知方法。在本文中,我们解决的选项发现问题,显示PVF如何隐式定义选项。我们通过引入本征目的,从学习的表征中获得的内在奖励函数来实现。从本征目的发现的选项遍历状态空间的主方向。它们对多个任务都很有用,因为它们是在不考虑环境奖励的情况下发现的。此外,不同的选项在不同的时间尺度上起作用,这有助于探索。我们展示了传统的表格域,以及在雅达利2600游戏的特征。
2017-06-16 cs.AI cs.LG
Interpretable Reinforcement Learning with Multilevel Subgoal Discovery
Ershov Institute of Informatics Systems(埃尔绍夫信息系统研究所)
我们提出了一种新的强化学习模型的离散环境,这是内在的可解释性,并支持发现深层次的子目标层次。在该模型中,智能体以概率规则的形式学习有关环境的信息,而(子)目标的策略则以其组合的形式学习。学习不需要奖励函数;智能体只需要被赋予一个要实现的主要目标。来自层次结构的目标G的子目标被计算为状态的描述,如果先前实现,则增加G的可用策略的总效率。这些状态描述作为新的传感器谓词引入到代理的规则语言中,这允许感测重要的中间状态并相应地更新环境规则和策略。
2022-02-15 cs.AI cs.LG
Discovering Reinforcement Learning Algorithms
DeepMind(深度思维)
强化学习(RL)算法根据几种可能的规则之一更新代理的参数,这些规则是通过多年的研究手动发现的。从数据中自动发现更新规则可以产生更有效的算法,或者更好地适应特定环境的算法。虽然之前已经尝试解决这个重大的科学挑战,它仍然是一个悬而未决的问题,它是否是可行的发现替代RL的基本概念,如价值函数和时间差学习。本文介绍了一种新的元学习方法,发现一个完整的更新规则,其中包括“预测什么”(例如价值函数)和“如何从它学习”(例如自举)通过与一组环境的交互。该方法的输出是一个RL算法,我们称之为学习策略梯度(LPG)。实证结果表明,我们的方法发现自己的替代概念的价值函数。此外,它还发现了一种自举机制来维护和使用其预测。令人惊讶的是,当仅在玩具环境中训练时,LPG有效地推广到复杂的Atari游戏,并实现了非平凡的性能。这显示了从数据中发现通用RL算法的潜力。
2021-01-05 cs.AI cs.LG
Root Cause Attribution of Delivery Risks via Causal Discovery with Reinforcement Learning
针对供应链复杂导致传统根因分析易产生虚假关联的问题,提出结合因果发现与强化学习的配送风险根因归因方法,经真实数据集验证可有效识别延迟原因并提供风险缓解策略。
2025-06-10 cs.AI cs.LG
LLM-assisted Semantic Option Discovery for Facilitating Adaptive Deep Reinforcement Learning
本文提出基于大语言模型的闭环框架,通过语义驱动技能重用和实时约束监控,提升深度强化学习在数据效率、约束合规性和跨任务迁移能力方面的性能。
2026-03-07 cs.AI
Emergent temporal abstractions in autoregressive models enable hierarchical reinforcement learning
Google, Paradigms of Intelligence Team(谷歌,智能范式团队)
自回归模型通过内部强化学习实现时间抽象,提升稀疏奖励下的分层强化学习效率。
2025-12-24 cs.AI cs.LG
Reinforcement Learning Fine-Tuning Enhances Activation Intensity and Diversity in the Internal Circuitry of LLMs
Department of Electronic Engineering, BNRist, Tsinghua University(电子工程系,BNRist,清华大学)
强化学习微调增强了LLMs内部电路的激活强度和多样性,相较于偏好优化方法,其在数学泛化上的优势源于信息流的冗余与灵活性。
2026-01-27 cs.AI cs.LG
Tree Search in DAG Space with Model-based Reinforcement Learning for Causal Discovery
University College London(伦敦大学学院);University of Bologna(博洛尼亚大学)
提出CD-UCT,一种基于模型强化学习的树搜索方法,通过逐步构建DAG进行因果发现,并证明了一种高效排除环边算法的正确性,实验显示其显著优于现有方法。
2024-02-13 cs.AI cs.LG
Your Language Model is Its Own Critic: Reinforcement Learning with Value Estimation from Actor's Internal States
Graduate School of Data Science(数据科学研究生院);Seoul National University(首尔国立大学);Computer Science and Engineering(计算机科学与工程)
本文提出POISE方法,通过利用策略模型内部信号在强化学习中实现高效的基线估计,减少方差并提高训练稳定性,适用于数学推理任务。
2026-10-06 cs.AI cs.CL cs.LG
Discovering What You Can Control: Interventional Boundary Discovery for Reinforcement Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Southern California(南加州大学)
本文提出干预边界发现方法,通过随机化动作生成干预对比,利用FDR校正的两样本检验确定观测维度,有效识别可控状态维度。
2026-09-29 cs.AI cs.LG
SIRI: Self-Internalizing Reinforcement Learning with Intrinsic Skills for LLM Agent Training
Xiamen University(厦门大学);Meituan(美团);Macao Polytechnic University(澳门 polytechnic 大学)
提出SIRI框架,通过自我技能挖掘、验证和内化,使LLM智能体无需外部技能生成器或推理时技能库即可提升长程任务性能,在ALFWorld和WebShop上优于基线方法。
2026-11-17 cs.AI cs.LG
The Artificial Experimentalist: Discovery and Control of Self-Organizing Phenomena with Autotelic Reinforcement Learning
Inria Centre at the University of Bordeaux(波尔多大学Inria中心);Allen Discovery Center at Tufts University(塔夫茨大学艾伦发现中心);Wyss Institute for Biologically Inspired Engineering at Harvard University(哈佛大学Wyss生物启发工程研究所);Inria(法国国家信息与自动化研究所);INSA Lyon(里昂国立应用科学学院);CITI(CITI研究所);UR3720(UR3720实验室)
该研究提出基于自目的强化学习的闭环框架CARL,以Lenia为对象,实现了高效发现、控制自组织孤子及实时引导其穿越迷宫的能力,策略可零样本泛化至分布外条件。
2026-09-02 cs.AI
Experience-driven discovery of planning strategies
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
针对新规划策略的形成过程未知问题,本研究提出新规划策略通过元认知强化学习发现的观点,经实验与模型验证其比其他机制更能解释人类策略发现,但模型发现速率慢于人类,有待改进。
2024-12-04 cs.AI
Meta-Gradient Reinforcement Learning with an Objective Discovered Online
DeepMind
深度强化学习包括通过深度神经网络参数化内部表示(诸如价值函数或策略)的广泛算法家族。每个算法都相对于定义其语义的目标(例如Q学习或策略梯度)来优化其参数。在这项工作中,我们提出了一种基于Meta梯度下降的算法,该算法发现了自己的目标,通过深度神经网络灵活地参数化,仅从与环境的交互经验。随着时间的推移,这允许代理学习如何越来越有效地学习。此外,由于目标是在线发现的,它可以随着时间的推移而适应变化。我们证明了该算法发现如何解决RL中的几个重要问题,如自举,非平稳性和离策略学习。在Atari学习环境中,元梯度算法随着时间的推移而适应,以更高的效率学习,最终超过了强演员-评论家基线的中值得分。
2020-07-16 cs.AI cs.LG stat.ML
Algorithm Discovery With LLMs: Evolutionary Search Meets Reinforcement Learning
EPFL(苏黎世联邦理工学院);Apple(苹果公司)
提出通过强化学习微调持续优化大语言模型,结合进化搜索加速发现更优算法,在组合优化任务上验证有效性。
2025-08-04 cs.AI cs.LG cs.NE
CORE: Towards Scalable and Efficient Causal Discovery with Reinforcement Learning
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Twente(特文特大学);University of Amsterdam(阿姆斯特丹大学);Leiden University(莱顿大学)
针对因果发现难题,受Pearl因果层次结构启发,提出基于深度强化学习的CORE方法,兼具因果图重建与干预规划能力,可泛化到新图,支持10变量规模,在结构估计准确率和样本效率上优于现有方法。
2024-01-30 cs.AI cs.LG
RL-MD: A Novel Reinforcement Learning Approach for DNA Motif Discovery
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);Shanghai International Studies University(上海外国语大学)
从一组功能上相连的未标记DNA序列中提取序列模式被称为DNA模体发现,它是计算生物学中的一个关键任务。最近已经引入了几种基于深度学习的技术来解决这个问题。然而,这些算法不能用于现实世界的情况下,因为需要标记的数据。在这里,我们提出了RL-MD,一种新的强化学习为基础的DNA模体发现任务的方法。RL-MD以未标记的数据为输入,采用基于相对信息的方法对每个主题进行评价,并将这些连续的评价结果作为奖励。实验表明,RL-MD可以识别高质量的模体在现实世界的数据。
2022-09-30 cs.AI cs.LG q-bio.GN
Discover the Hidden Attack Path in Multi-domain Cyberspace Based on Reinforcement Learning
Army Engineering University of PLA(中国人民解放军陆军工程大学)
在这项工作中,我们提出了一种基于学习的方法来分析网络空间的安全配置。与以前的方法不同,我们的方法能够从过去的经验中学习并随着时间的推移而改进。特别是,当我们训练了更多的代理作为攻击者,我们的方法变得更好地发现隐藏的攻击路径以前的方法,特别是在多域网络空间。为了实现这些结果,我们提出发现攻击路径作为强化学习(RL)问题和训练代理发现多域网络空间攻击路径。为了使我们的强化学习策略能够发现更多隐藏的攻击路径和更短的攻击路径,我们在强化学习中引入了一个多域动作选择模块。我们的目标是通过我们提出的方法发现更多的隐藏攻击路径和更短的攻击路径,分析网络空间安全配置的弱点。最后,设计了一个模拟网络空间的实验环境对所提出的方法进行了验证,实验结果表明,与现有的基线方法相比,该方法能够发现更多的隐藏多域攻击路径和更短的攻击路径。
2021-04-15 cs.AI cs.CR cs.LG
Discovering Temporally-Aware Reinforcement Learning Algorithms
University of Oxford(牛津大学);The Swiss AI Lab IDSIA(瑞士IDSIA人工智能实验室);Technical University Berlin(柏林工业大学)
本文提出一种增强现有目标发现方法的时间感知机制,使强化学习算法能动态调整目标函数,以提升跨训练范围的表达能力与泛化性能。
2024-02-08 cs.AI cs.LG
User Role Discovery and Optimization Method based on K-means + Reinforcement learning in Mobile Applications
Zhoukou Normal University(周口师范学院)
随着移动电话的广泛使用,用户可以随时随地分享他们的位置和活动,作为一种登记数据的形式。这些数据反映了用户特征。长期稳定,一组用户共享的功能可以抽象为用户角色。角色与用户的社会背景、职业、生活习惯密切相关。这项研究提供了四个主要贡献。首先,通过对签到数据的分析,从不同的角度为每个用户构建用户特征模型。其次,使用K均值算法从用户特征中发现用户角色。第三,提出了一种强化学习算法,加强了用户角色的聚类效果,提高了聚类结果的稳定性。最后通过实验验证了该方法的有效性,实验结果表明了该方法的有效性。
2021-07-02 cs.AI cs.CY cs.HC
Discovery of False Data Injection Schemes on Frequency Controllers with Reinforcement Learning
National Renewable Energy Laboratory (NREL)(国家可再生能源实验室(NREL));College of Engineering & Computer Science, Syracuse University(雪城大学工程与计算机科学学院)
本文利用强化学习发现针对一次频率控制中智能逆变器的最优虚假数据注入策略,揭示其可操纵逆变器设置并引发严重后果,从而为电网主动防御提供依据。
2024-08-30 cs.AI cs.LG
SVGym (SciVerseGym): An Environment for Reinforcement Learning and Bayesian Optimization in Crystal Discovery
Bin Cao(包超)
提出一个兼容Gymnasium的晶体发现环境SciVerseGym,将晶体设计建模为马尔可夫决策过程,支持局部和全局编辑操作,为强化学习、贝叶斯优化等提供可复现的测试平台。
2026-06-23 cond-mat.mtrl-sci cs.AI
Internal Model from Observations for Reward Shaping
IBM Research AI(IBM研究院人工智能部门);Ascent Robotics Inc.(Ascent机器人公司)
强化学习方法需要仔细设计,包括奖励函数,以获得给定任务的期望动作策略。在没有手工制作的奖励函数的情况下,关于该主题的先前工作已经提出了几种使用专家状态轨迹和动作对进行奖励估计的方法。然而,在某些情况下,无法从专家演示中获得完整或良好的行动信息。我们提出了一种新的强化学习方法,在该方法中,智能体根据专家演示的状态轨迹学习内部观察模型,以估计奖励,而不完全学习外部环境的动态状态动作对。内部模型以给定专家状态分布的预测模型的形式获得。在强化学习过程中,智能体根据实际状态和内部模型预测的状态之间的差异来预测奖励。我们在不同复杂度的环境中进行了多次实验,包括超级马里奥兄弟和Flappy Bird游戏。我们展示了我们的方法成功地直接从专家游戏视频中训练出好的策略。
2018-10-14 cs.AI cs.LG cs.RO
Automatic Discovery of Multi-perspective Process Model using Reinforcement Learning
Dongeui University(东义大学);Pusan National University(釜山国立大学)
流程挖掘是一种基于事件日志的流程模型推导和分析方法。当使用流程挖掘来分析业务流程时,流程发现步骤、一致性检查步骤和增强步骤被重复。如果用户希望从多个角度(例如活动角度、发起者角度和时间角度)分析过程,则必须一遍又一遍地重复上述过程,这是不方便的。虽然过去的研究涉及过程挖掘应用了详细的逐步方法,没有尝试已被纳入和优化多角度的过程挖掘程序。本文有助于开发一个解决这个问题的方法。首先,我们提出了一个基于深度Q-Learning的多视角流程模型自动发现框架。我们的双体验重放与体验分布(DERED)方法可以自动执行流程模型发现步骤、一致性检查步骤和增强步骤。其次,我们提出了一种新的方法,进一步优化经验重放(ER)方法,深度Q学习的关键算法之一,以提高强化学习代理的学习性能。最后,我们使用在港口物流、钢铁制造、金融、IT和政府管理中收集的六个真实事件数据集来验证我们的方法。我们表明,我们的DERED方法可以为用户提供多角度,高质量的过程模型,可以更方便地采用多角度的过程挖掘。
2022-11-30 cs.AI cs.LG
Hypothesis-Driven Skill Discovery for Hierarchical Deep Reinforcement Learning
The University of Texas at Austin(得克萨斯大学奥斯汀分校)
深度强化学习(DRL)能够在各种复杂的高维任务(从视频游戏到机器人操作)上学习高性能策略。然而,标准的DRL方法经常遭受差的样本效率,部分原因是它们的目标是完全问题不可知的。在这项工作中,我们介绍了一种新的方法来探索和分层技能学习,从直观的假设,它使对象的行为在物理世界和模拟物理学的样本效率。具体来说,我们提出了假设建议和评估(HyPE)算法,该算法从原始像素数据中发现对象,生成关于观察到的对象状态变化的可控性的假设,并学习一系列技能来测试这些假设。我们证明,HyPE可以显着提高样本效率的策略学习在两个不同的领域:一个模拟的机器人块推域,和一个流行的基准任务:突破。在这些领域,HyPE学习高分策略的速度比几种最先进的强化学习方法快一个数量级。
2020-03-03 cs.AI cs.LG stat.ML
A Meta-Reinforcement Learning Algorithm for Causal Discovery
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Universiteit van Amsterdam(阿姆斯特丹大学)
因果发现是机器学习的一项重要任务,因为因果结构可以使模型超越纯粹的基于相关性的推理,并显着提高其性能。然而,从数据中找到因果结构在计算工作量和准确性方面都构成了重大挑战,更不用说在没有干预的情况下不可能实现。在本文中,我们开发了一个Meta强化学习算法,通过学习执行干预,使其可以构建一个明确的因果图进行因果发现。除了对可能的下游应用有用之外,估计的因果图还为数据生成过程提供了解释。在这篇文章中,我们表明,我们的算法估计一个很好的图相比,SOTA的方法,即使在环境中的潜在因果结构是以前看不见的。此外,我们做了一个消融研究,显示如何学习干预有助于我们的方法的整体性能。我们的结论是,干预措施确实有助于提高绩效,有效地对可能看不见的环境的因果结构进行准确估计。
2023-02-21 cs.AI cs.LG stat.ME
ICRL: Learning to Internalize Self-Critique with Reinforcement Learning
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Nanjing University(南京大学);Sun Yat-sen University(中山大学);National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学);SAP;Microsoft Research(微软研究院)
本文提出ICRL框架,通过联合训练求解器和批评者,使求解器在无外部批评时也能自我改进,提升代理和数学推理任务性能。
2026-05-13 cs.AI cs.MA
Successor Options: An Option Discovery Framework for Reinforcement Learning
Indian Institute of Technology Madras(马德拉斯印度理工学院)
强化学习中的选项框架对技能或时间上扩展的动作序列的概念进行建模。发现一组可重用的技能通常需要构建选项,这些选项可以导航到瓶颈状态。这项工作采用了一种互补的方法,我们试图发现导航到里程碑状态的选项。这些状态是连接良好的区域的典型代表,因此可以相对容易地访问相关区域。在这项工作中,我们提出了后继选项,它利用后继表示来构建状态空间的模型。期权内策略的学习使用一种新的伪奖励和模型的规模很容易到高维空间。此外,我们还提出了一个增量继任者选项模型,迭代之间的构造继任者表示和建设选项,这是有用的,当强大的继任者表示不能建立单独从原始的行动。我们证明了我们的方法的有效性,收集的网格世界,并在高维机器人控制环境的获取。
2019-05-14 cs.AI cs.LG stat.ML
Option Encoder: A Framework for Discovering a Policy Basis in Reinforcement Learning
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Robert Bosch Centre for Data Science and AI(罗伯特·博世数据科学与人工智能中心);University of Pennsylvania(宾夕法尼亚大学)
选项发现和技能获取框架是分层组织的强化学习代理的功能不可或缺的。然而,这种技术通常会产生大量的选项或技能,这些选项或技能可以通过过滤掉任何冗余信息来简洁地表示。这样的减少可以减少所需的计算,同时也提高了目标任务的性能。为了压缩一系列选项策略,我们试图找到一个策略基础,准确地捕捉所有选项的集合。在这项工作中,我们提出了Option Encoder,一个基于自动编码器的框架,具有智能约束的权重,有助于发现基础策略的集合。政策基础可以在一个适当的分级组织框架中作为原始技能集的代理。我们证明了我们的方法的有效性,收集的网格世界和高维获取达到机器人操作任务通过评估获得的政策基础上的一组下游任务。
2020-07-03 cs.AI cs.LG stat.ML
Discovering Command and Control (C2) Channels on Tor and Public Networks Using Reinforcement Learning
Deloitte & Touche LLP(德勤全球有限公司);National Security Institute, Virginia Tech(弗吉尼亚理工大学国家安全研究所)
针对网络攻击中C2信道识别依赖人工、门槛高的问题,提出基于强化学习的方法,在公共网与Tor网中模拟攻击,可自动发现能绕过防火墙的多信道韧性C2攻击路径。
2024-02-14 cs.AI cs.CR
RAT: Reinforcement-Learning-Driven and Adaptive Testing for Vulnerability Discovery in Web Application Firewalls
Shahrood University of Technology(沙赫鲁德工业大学)
针对现有WAF黑盒漏洞测试效率低的问题,提出结合强化学习与自适应搜索的RAT方法,通过攻击样本聚类高效发现绕过模式,在绕过载荷发现数量和首枚载荷发现效率上均显著优于现有最优方法。
2023-12-13 cs.AI cs.CR cs.IR
Discovering Behavioral Modes in Deep Reinforcement Learning Policies Using Trajectory Clustering in Latent Space
Norwegian University of Science and Technology (NTNU)(挪威科技大学);Centre for Autonomous Marine Operations and Systems (AMOS)(自主海洋作业与系统中心)
本文提出在DRL策略的潜在空间中结合PaCMAP降维与TRACLUS轨迹聚类,以识别行为模式和次优决策,并通过领域知识针对性提升Mountain Car任务中的策略性能。
2024-02-20 cs.AI cs.LG
Learning Intrinsic Symbolic Rewards in Reinforcement Learning
University of Central Florida(中佛罗里达大学);Microsoft(微软);Intel Labs(英特尔实验室)
为稀疏目标学习有效策略是深度强化学习(RL)的一个关键挑战。一种常见的方法是设计与任务相关的密集奖励来提高任务的可学习性。虽然这种奖励很容易解释,但它们依赖于知识和领域专业知识。另一种训练神经网络来发现密集的代理奖励的方法避免了复杂性,但是是高维的黑箱解决方案,几乎没有可解释性。在本文中,我们提出了一种以低维符号树的形式发现密集奖励的方法,从而使它们更易于分析。树使用简单的函数运算符将代理的观察映射到标量奖励,然后监督神经网络策略的策略梯度学习。我们在Mujoco中的连续动作空间和Atari和Pygame环境中的离散动作空间上测试了我们的方法。我们发现,密集奖励是RL策略解决基准任务的有效信号。值得注意的是,我们显着优于广泛使用的,当代基于神经网络的奖励发现算法在所有考虑的环境。
2020-10-09 cs.AI cs.LG
Emergence of Adaptive Circadian Rhythms in Deep Reinforcement Learning
University of Tartu(塔尔图大学)
本研究探究深度强化学习智能体中类昼夜节律的涌现,发现其在觅食任务中会形成内源性可牵引的节律,无需重训练就能适应环境相位偏移,并从动力系统角度揭示了其神经元层面的适应机制。
2023-07-22 cs.AI cs.LG q-bio.NC
FinXplore: An Adaptive Deep Reinforcement Learning Framework for Balancing and Discovering Investment Opportunities
School of Mathematical & \& Statistical Sciences(数学与统计科学学院);Indian Institute of Technology Mandi(印度理工学院曼迪分校)
本研究提出FinXplore框架,通过两个DRL代理动态平衡现有资产利用与新投资机会探索,显著提升投资组合优化表现。
2025-09-05 cs.AI cs.LG
Hierarchical Meta-Reinforcement Learning via Automated Macro-Action Discovery
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mississippi State University(密西西比州立大学)
针对元强化学习在复杂高维任务上的挑战,提出三层架构自动发现任务无关宏动作以引导原始策略学习,提升样本效率与成功率。
2024-12-16 cs.AI cs.LG
Discovering Blind Spots in Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院)
在仿真中训练的代理可能会在现实世界中由于训练和执行环境之间的不匹配而出错。这些错误可能是危险的,也很难发现,因为智能体无法先验地预测它们。我们建议使用Oracle反馈来学习这些盲点的预测模型,以减少现实世界应用中代价高昂的错误。我们专注于强化学习(RL)中由于不完整的状态表示而出现的盲点:智能体没有适当的特征来表示世界的真实状态,因此无法区分众多状态。我们将发现RL中的盲点的问题形式化为具有类不平衡的噪声监督学习问题。我们通过结合标签聚合、校准和监督学习技术来学习模型,以预测状态空间中不可见区域的盲点。这些模型考虑了来自不同形式的预言反馈的噪音,包括演示和更正。我们在两个领域评估了我们的方法,并表明它比基线方法具有更高的预测性能,并且学习的模型可以用于在执行时选择性地查询Oracle以防止错误。我们还实证分析了各种反馈类型的偏见,以及它们如何影响盲点的发现。
2018-05-23 cs.AI cs.LG stat.ML
R-C2: Cycle-Consistent Reinforcement Learning Improves Multimodal Reasoning
Rutgers University(罗格斯大学);Columbia University(哥伦比亚大学);University of Chicago(芝加哥大学)
R-C2通过循环一致性强化学习解决多模态推理中的内部冲突,提升推理准确率7.6个百分点。
2026-03-26 cs.AI cs.CV
R1-Searcher++: Incentivizing the Dynamic Knowledge Acquisition of LLMs via Reinforcement Learning
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学耿丽人工智能学院);DataCanvas Alaya NeW;Beijing Institute of Technology(北京理工大学)
本文提出R1-Searcher++框架,通过两阶段训练(SFT冷启动和强化学习)激励LLM动态获取知识,结合内部知识与外部搜索实现高效检索增强推理,实验优于现有方法。
2025-05-22 cs.AI cs.CL cs.IR
Unifying Causal Inference and Reinforcement Learning using Higher-Order Category Theory
Adobe Research(奥多比研究院);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
利用高阶范畴理论,提出了强化学习(RL)中因果模型和预测状态表示(PSR)模型的结构发现的统一形式。具体来说,我们模型结构发现在这两种设置中使用单纯对象,逆变函子从类别的序数到任何类别。在条件独立下等价的因果模型的片段(定义为因果角)以及预测状态表示中的潜在测试的连续性(定义为预测角)都是单纯对象的角的特殊情况,由去除内部和与特定顶点相对的面而产生的子集。在这两种情况下的潜在结构发现涉及相同的基本数学问题,即通过解决交换图中的提升问题来找到单纯对象的角的扩展,并利用定义高阶对称的弱同伦。填充“内”角与“外”角的问题的解决方案导致了各种高阶范畴的概念,包括弱Kan复形和拟范畴。我们定义的抽象问题的结构发现在这两种设置中的伴随函子之间的类别的普遍因果模型或普遍的决策模型和其单纯的对象表示。
2022-09-13 cs.AI math.CT
From internal models toward metacognitive AI
ATR Brain Information Communication Research Group(ATR脑信息通信研究组)
在20世纪80年代和90年代发表在《生物控制论》上的几篇论文中,Kawato和他的同事提出了计算模型,解释了小脑内部模型是如何获得的。这些模型后来得到了猴子神经生理学实验和人类神经成像实验的支持。这些早期的研究影响了神经科学,从基本的感觉运动控制到更高的认知功能。与内部模型相关的最令人困惑的谜团之一是理解使动物能够在如此少的试验中学习大维度问题的神经机制。意识和元认知--监控自己思想的能力,可能是解决这个谜团的一部分。本文在总结近20年来相关文献的基础上,提出了一个元认知的计算神经科学模型。该模型包括一个模块化的层次并行和分层,生成逆模型对学习架构。在前额叶皮层,一个被称为“认知现实监控网络”(CRMN)的分布式执行网络协调了感知和行动中生成逆模型对的有意识参与。基于生成模型和逆模型的计算之间的不匹配,以及奖励预测错误,CRMN计算出一个“责任信号”,该信号在感知、动作和强化学习中选择和学习配对。高责任信号被给予最好地捕捉外部世界的对,在运动中有能力(小失配),并且能够进行强化学习(小奖励预测误差)。CRMN选择具有较高责任信号的配对作为元认知的对象,并且意识由跨所有配对的责任信号的熵确定。
2021-12-21 cs.AI q-bio.NC
Flow to Control: Offline Reinforcement Learning with Lossless Primitive Discovery
Tsinghua University(清华大学);Harbin Institute of Technology(哈尔滨工业大学)
离线强化学习(RL)使智能体能够有效地从记录的数据中学习,这大大扩展了RL算法在现实世界场景中的适用性,在现实世界中,探索可能是昂贵的或不安全的。以前的工作已经表明,从记录数据中的循环和时间扩展结构中提取原始技能会产生更好的学习。然而,这些方法受到很大的原语有有限的表示能力,以恢复原始的策略空间,特别是在离线设置。在本文中,我们给出了离线分层学习的性能的定量表征,并强调了学习无损原语的重要性。为此,我们建议使用基于\emph{flow}的结构作为低级别策略的表示。这使我们能够忠实地表示数据集中的行为,同时保持恢复整个策略空间的表达能力。我们表明,这种无损原语可以大大提高性能的分层政策。在标准D4RL基准上的实验结果和广泛的消融研究表明,我们的方法具有良好的政策表示能力,并在大多数任务中取得了优异的性能。
2022-12-02 cs.AI cs.LG
Mol-AIR: Molecular Reinforcement Learning with Adaptive Intrinsic Rewards for Goal-directed Molecular Generation
Incheon National University(仁川国立大学);Hallym University(翰林大学)
Mol-AIR提出一种结合随机蒸馏网络与计数策略的自适应内在奖励强化学习框架,在无先验知识条件下提升目标导向分子生成性能,并在多项基准测试中优于现有方法。
2024-03-29 cs.AI cs.LG q-bio.BM
Reinforcement Learning for Agile Active Target Sensing with a UAV
University of Pennsylvania(宾夕法尼亚大学);Plaksha University(普拉克沙大学)
主动目标感知是在环境中发现和分类未知数量的目标的任务,在搜索和救援任务中至关重要。本文提出了一种深度强化学习方法来规划信息轨迹,以增加无人机(UAV)发现丢失目标的可能性。我们的方法有效地(1)探索环境,发现新的目标,(2)利用其当前的信念的目标状态,并结合不准确的传感器模型高保真分类,(3)生成动态可行的轨迹敏捷无人机通过采用运动原语库。在随机生成的环境中进行的大量模拟表明,我们的方法在发现和分类目标方面比其他几种基线更有效。我们的方法的一个独特的特点,启发式信息路径规划方法相比,是强大的变化量的偏差的先验信念从真正的目标分布,从而减轻了挑战的设计具体的应用条件。
2022-12-16 cs.AI cs.RO