Anomalous State Sequence Modeling to Enhance Safety in Reinforcement Learning
Damascus University(大马士革大学)
提出AnoSeqs方法,通过离线收集安全状态序列构建异常检测模型,在目标环境中调整奖励以惩罚访问异常状态,从而训练风险规避的RL策略,在自动驾驶等基准环境中提升安全性。
2024-07-29 cs.AI cs.LG
Efficient Open-world Reinforcement Learning via Knowledge Distillation and Autonomous Rule Discovery
The Australian National University(澳大利亚国立大学)
提出一种适用于深度强化学习的通用框架,通过自主发现任务特定规则并自我监督学习,显著提升了智能体在开放世界中的学习效率和对新情况的适应能力。
2023-11-24 cs.AI
Options Discovery with Budgeted Reinforcement Learning
Sorbonne Universités(索邦大学);UPMC Univ Paris 06(巴黎第六大学)
我们考虑的问题,学习层次策略的强化学习能够发现选项,一个选项对应于一组原始动作的子策略。在过去十年中提出了不同的模式,这些模式通常依赖于一套预先确定的备选方案。我们专门解决的问题,自动发现决策过程中的选项。我们描述了一种新的学习模型,称为期权神经网络(BONN)能够发现基于预算的学习目标的选项。BONN模型在不同的经典RL问题上进行了评估,展示了定量和定性的有趣结果。
2017-02-22 cs.AI cs.LG
LLM-assisted Semantic Option Discovery for Facilitating Adaptive Deep Reinforcement Learning
本文提出基于大语言模型的闭环框架,通过语义驱动技能重用和实时约束监控,提升深度强化学习在数据效率、约束合规性和跨任务迁移能力方面的性能。
2026-03-07 cs.AI
Tree Search in DAG Space with Model-based Reinforcement Learning for Causal Discovery
University College London(伦敦大学学院);University of Bologna(博洛尼亚大学)
提出CD-UCT,一种基于模型强化学习的树搜索方法,通过逐步构建DAG进行因果发现,并证明了一种高效排除环边算法的正确性,实验显示其显著优于现有方法。
2024-02-13 cs.AI cs.LG
Experience-driven discovery of planning strategies
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
针对新规划策略的形成过程未知问题,本研究提出新规划策略通过元认知强化学习发现的观点,经实验与模型验证其比其他机制更能解释人类策略发现,但模型发现速率慢于人类,有待改进。
2024-12-04 cs.AI
RL-MD: A Novel Reinforcement Learning Approach for DNA Motif Discovery
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);Shanghai International Studies University(上海外国语大学)
从一组功能上相连的未标记DNA序列中提取序列模式被称为DNA模体发现,它是计算生物学中的一个关键任务。最近已经引入了几种基于深度学习的技术来解决这个问题。然而,这些算法不能用于现实世界的情况下,因为需要标记的数据。在这里,我们提出了RL-MD,一种新的强化学习为基础的DNA模体发现任务的方法。RL-MD以未标记的数据为输入,采用基于相对信息的方法对每个主题进行评价,并将这些连续的评价结果作为奖励。实验表明,RL-MD可以识别高质量的模体在现实世界的数据。
2022-09-30 cs.AI cs.LG q-bio.GN
CORE: Towards Scalable and Efficient Causal Discovery with Reinforcement Learning
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Twente(特文特大学);University of Amsterdam(阿姆斯特丹大学);Leiden University(莱顿大学)
针对因果发现难题,受Pearl因果层次结构启发,提出基于深度强化学习的CORE方法,兼具因果图重建与干预规划能力,可泛化到新图,支持10变量规模,在结构估计准确率和样本效率上优于现有方法。
2024-01-30 cs.AI cs.LG
SVGym (SciVerseGym): An Environment for Reinforcement Learning and Bayesian Optimization in Crystal Discovery
Bin Cao(包超)
提出一个兼容Gymnasium的晶体发现环境SciVerseGym,将晶体设计建模为马尔可夫决策过程,支持局部和全局编辑操作,为强化学习、贝叶斯优化等提供可复现的测试平台。
2026-06-23 cond-mat.mtrl-sci cs.AI
Discovery of False Data Injection Schemes on Frequency Controllers with Reinforcement Learning
National Renewable Energy Laboratory (NREL)(国家可再生能源实验室(NREL));College of Engineering & Computer Science, Syracuse University(雪城大学工程与计算机科学学院)
本文利用强化学习发现针对一次频率控制中智能逆变器的最优虚假数据注入策略,揭示其可操纵逆变器设置并引发严重后果,从而为电网主动防御提供依据。
2024-08-30 cs.AI cs.LG
Automatic Discovery of Multi-perspective Process Model using Reinforcement Learning
Dongeui University(东义大学);Pusan National University(釜山国立大学)
流程挖掘是一种基于事件日志的流程模型推导和分析方法。当使用流程挖掘来分析业务流程时,流程发现步骤、一致性检查步骤和增强步骤被重复。如果用户希望从多个角度(例如活动角度、发起者角度和时间角度)分析过程,则必须一遍又一遍地重复上述过程,这是不方便的。虽然过去的研究涉及过程挖掘应用了详细的逐步方法,没有尝试已被纳入和优化多角度的过程挖掘程序。本文有助于开发一个解决这个问题的方法。首先,我们提出了一个基于深度Q-Learning的多视角流程模型自动发现框架。我们的双体验重放与体验分布(DERED)方法可以自动执行流程模型发现步骤、一致性检查步骤和增强步骤。其次,我们提出了一种新的方法,进一步优化经验重放(ER)方法,深度Q学习的关键算法之一,以提高强化学习代理的学习性能。最后,我们使用在港口物流、钢铁制造、金融、IT和政府管理中收集的六个真实事件数据集来验证我们的方法。我们表明,我们的DERED方法可以为用户提供多角度,高质量的过程模型,可以更方便地采用多角度的过程挖掘。
2022-11-30 cs.AI cs.LG
A Meta-Reinforcement Learning Algorithm for Causal Discovery
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Universiteit van Amsterdam(阿姆斯特丹大学)
因果发现是机器学习的一项重要任务,因为因果结构可以使模型超越纯粹的基于相关性的推理,并显着提高其性能。然而,从数据中找到因果结构在计算工作量和准确性方面都构成了重大挑战,更不用说在没有干预的情况下不可能实现。在本文中,我们开发了一个Meta强化学习算法,通过学习执行干预,使其可以构建一个明确的因果图进行因果发现。除了对可能的下游应用有用之外,估计的因果图还为数据生成过程提供了解释。在这篇文章中,我们表明,我们的算法估计一个很好的图相比,SOTA的方法,即使在环境中的潜在因果结构是以前看不见的。此外,我们做了一个消融研究,显示如何学习干预有助于我们的方法的整体性能。我们的结论是,干预措施确实有助于提高绩效,有效地对可能看不见的环境的因果结构进行准确估计。
2023-02-21 cs.AI cs.LG stat.ME
Discovering What You Can Control: Interventional Boundary Discovery for Reinforcement Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Southern California(南加州大学)
本文提出干预边界发现方法,通过随机化动作生成干预对比,利用FDR校正的两样本检验确定观测维度,有效识别可控状态维度。
2026-09-29 cs.AI cs.LG
Algorithm Discovery With LLMs: Evolutionary Search Meets Reinforcement Learning
EPFL(苏黎世联邦理工学院);Apple(苹果公司)
提出通过强化学习微调持续优化大语言模型,结合进化搜索加速发现更优算法,在组合优化任务上验证有效性。
2025-08-04 cs.AI cs.LG cs.NE
User Role Discovery and Optimization Method based on K-means + Reinforcement learning in Mobile Applications
Zhoukou Normal University(周口师范学院)
随着移动电话的广泛使用,用户可以随时随地分享他们的位置和活动,作为一种登记数据的形式。这些数据反映了用户特征。长期稳定,一组用户共享的功能可以抽象为用户角色。角色与用户的社会背景、职业、生活习惯密切相关。这项研究提供了四个主要贡献。首先,通过对签到数据的分析,从不同的角度为每个用户构建用户特征模型。其次,使用K均值算法从用户特征中发现用户角色。第三,提出了一种强化学习算法,加强了用户角色的聚类效果,提高了聚类结果的稳定性。最后通过实验验证了该方法的有效性,实验结果表明了该方法的有效性。
2021-07-02 cs.AI cs.CY cs.HC
Successor Options: An Option Discovery Framework for Reinforcement Learning
Indian Institute of Technology Madras(马德拉斯印度理工学院)
强化学习中的选项框架对技能或时间上扩展的动作序列的概念进行建模。发现一组可重用的技能通常需要构建选项,这些选项可以导航到瓶颈状态。这项工作采用了一种互补的方法,我们试图发现导航到里程碑状态的选项。这些状态是连接良好的区域的典型代表,因此可以相对容易地访问相关区域。在这项工作中,我们提出了后继选项,它利用后继表示来构建状态空间的模型。期权内策略的学习使用一种新的伪奖励和模型的规模很容易到高维空间。此外,我们还提出了一个增量继任者选项模型,迭代之间的构造继任者表示和建设选项,这是有用的,当强大的继任者表示不能建立单独从原始的行动。我们证明了我们的方法的有效性,收集的网格世界,并在高维机器人控制环境的获取。
2019-05-14 cs.AI cs.LG stat.ML
Neural-Guided Equation Discovery
Technical University of Darmstadt(达姆施塔特工业大学);Hessian Center for Artificial Intelligence (hessian.AI)(黑森人工智能中心);National Research Center for Applied Cybersecurity ATHENE(应用网络安全国家研究中心ATHENE);Johannes Gutenberg-Universität Mainz(美因茨约翰内斯古腾堡大学)
本文提出模块化方程发现系统MGMT,对比不同嵌入架构与学习模式的效果,验证语法规则动作空间及两种改进MCTS对神经引导方程发现的提升作用。
2025-03-21 cs.AI
Hypothesis-Driven Skill Discovery for Hierarchical Deep Reinforcement Learning
The University of Texas at Austin(得克萨斯大学奥斯汀分校)
深度强化学习(DRL)能够在各种复杂的高维任务(从视频游戏到机器人操作)上学习高性能策略。然而,标准的DRL方法经常遭受差的样本效率,部分原因是它们的目标是完全问题不可知的。在这项工作中,我们介绍了一种新的方法来探索和分层技能学习,从直观的假设,它使对象的行为在物理世界和模拟物理学的样本效率。具体来说,我们提出了假设建议和评估(HyPE)算法,该算法从原始像素数据中发现对象,生成关于观察到的对象状态变化的可控性的假设,并学习一系列技能来测试这些假设。我们证明,HyPE可以显着提高样本效率的策略学习在两个不同的领域:一个模拟的机器人块推域,和一个流行的基准任务:突破。在这些领域,HyPE学习高分策略的速度比几种最先进的强化学习方法快一个数量级。
2020-03-03 cs.AI cs.LG stat.ML
The Artificial Experimentalist: Discovery and Control of Self-Organizing Phenomena with Autotelic Reinforcement Learning
Inria Centre at the University of Bordeaux(波尔多大学Inria中心);Allen Discovery Center at Tufts University(塔夫茨大学艾伦发现中心);Wyss Institute for Biologically Inspired Engineering at Harvard University(哈佛大学Wyss生物启发工程研究所);Inria(法国国家信息与自动化研究所);INSA Lyon(里昂国立应用科学学院);CITI(CITI研究所);UR3720(UR3720实验室)
该研究提出基于自目的强化学习的闭环框架CARL,以Lenia为对象,实现了高效发现、控制自组织孤子及实时引导其穿越迷宫的能力,策略可零样本泛化至分布外条件。
2026-09-02 cs.AI
Individual differences in the cognitive mechanisms of planning strategy discovery
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of California, Los Angeles(加州大学洛杉矶分校)
本研究探讨了整合元认知伪奖励、主观努力评估和终止审议等认知机制能否提升MCRL模型在规划策略发现上的人类表现拟合度,发现这些机制促进了策略发现并揭示了个体差异,但未能完全弥合模型与人类表现的差距。
2025-05-29 cs.AI
Unifying Causal Inference and Reinforcement Learning using Higher-Order Category Theory
Adobe Research(奥多比研究院);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
利用高阶范畴理论,提出了强化学习(RL)中因果模型和预测状态表示(PSR)模型的结构发现的统一形式。具体来说,我们模型结构发现在这两种设置中使用单纯对象,逆变函子从类别的序数到任何类别。在条件独立下等价的因果模型的片段(定义为因果角)以及预测状态表示中的潜在测试的连续性(定义为预测角)都是单纯对象的角的特殊情况,由去除内部和与特定顶点相对的面而产生的子集。在这两种情况下的潜在结构发现涉及相同的基本数学问题,即通过解决交换图中的提升问题来找到单纯对象的角的扩展,并利用定义高阶对称的弱同伦。填充“内”角与“外”角的问题的解决方案导致了各种高阶范畴的概念,包括弱Kan复形和拟范畴。我们定义的抽象问题的结构发现在这两种设置中的伴随函子之间的类别的普遍因果模型或普遍的决策模型和其单纯的对象表示。
2022-09-13 cs.AI math.CT
Flow to Control: Offline Reinforcement Learning with Lossless Primitive Discovery
Tsinghua University(清华大学);Harbin Institute of Technology(哈尔滨工业大学)
离线强化学习(RL)使智能体能够有效地从记录的数据中学习,这大大扩展了RL算法在现实世界场景中的适用性,在现实世界中,探索可能是昂贵的或不安全的。以前的工作已经表明,从记录数据中的循环和时间扩展结构中提取原始技能会产生更好的学习。然而,这些方法受到很大的原语有有限的表示能力,以恢复原始的策略空间,特别是在离线设置。在本文中,我们给出了离线分层学习的性能的定量表征,并强调了学习无损原语的重要性。为此,我们建议使用基于\emph{flow}的结构作为低级别策略的表示。这使我们能够忠实地表示数据集中的行为,同时保持恢复整个策略空间的表达能力。我们表明,这种无损原语可以大大提高性能的分层政策。在标准D4RL基准上的实验结果和广泛的消融研究表明,我们的方法具有良好的政策表示能力,并在大多数任务中取得了优异的性能。
2022-12-02 cs.AI cs.LG
ACEGEN: Reinforcement learning of generative chemical agents for drug discovery
Universitat Pompeu Fabra(庞培法布拉大学);Acellera Labs(阿塞莱拉实验室);Biogen Research and Development(渤健研发部门);Janssen Pharmaceutica N. V.(杨森制药公司);Meta
ACEGEN是一个基于TorchRL的强化学习工具包,用于生成式药物设计,通过基准测试验证了其性能,并在多个案例研究中展示了应用。
2024-07-22 cs.AI cs.LG q-bio.BM
AlphaPareto: Formulaic Alpha Discovery with LLM-Guided Multi-Objective Reinforcement Learning
提出AlphaPareto,一种基于LLM引导的多目标强化学习方法,通过状态增强和帕累托正则化解决非平稳性和多目标优化问题,在真实数据集上优于现有方法。
2026-09-29 cs.AI cs.LG stat.ML
Scientific Discovery and the Cost of Measurement -- Balancing Information and Cost in Reinforcement Learning
National Research Council of Canada(加拿大国家研究委员会);University of Waterloo(滑铁卢大学);Vector Institute for Artificial Intelligence(Vector人工智能研究所)
强化学习(RL)在科学应用中的使用越来越多,如材料设计和自动化化学。然而,一个主要的挑战在于,事实上,测量系统的状态往往是昂贵的和耗时的科学应用,而策略学习与RL需要测量后,每个时间步。在这项工作中,我们以成本奖励的形式明确了测量成本,并提出了一个框架,使现成的深度RL算法能够学习选择动作和确定是否在每个时间步测量系统当前状态的策略。通过这种方式,代理人学会平衡信息需求和信息成本。我们的研究结果表明,当在这种机制下训练时,Dueling DQN和PPO代理可以学习最佳的动作策略,同时减少多达50%的状态测量,而递归神经网络可以减少超过50%的测量。我们假设这些减少可以帮助降低将RL应用于现实世界科学应用的障碍。
2022-04-06 cs.AI cs.LG
CDRL: Certification-Driven Reinforcement Learning for Neutrino Flavor Model Discovery
School of Physics, Georgia Institute of Technology(佐治亚理工学院物理学院);University of California, Irvine(加利福尼亚大学欧文分校);Halluminate(哈卢米奈特公司);Fermilab(费米国家加速器实验室);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本研究提出CDRL框架,利用符号推理工具的结构化反馈将失败证书转为可重用约束,在中微子味模型发现任务上,较现有RL方法大幅提升有效模型与中微子模型发现率,减少候选评估量,还可提取可解释规则作为软约束进一步提升性能。
2026-08-24 cs.AI cs.LG cs.LO
Hierarchical Meta-Reinforcement Learning via Automated Macro-Action Discovery
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mississippi State University(密西西比州立大学)
针对元强化学习在复杂高维任务上的挑战,提出三层架构自动发现任务无关宏动作以引导原始策略学习,提升样本效率与成功率。
2024-12-16 cs.AI cs.LG
Goal Discovery with Causal Capacity for Efficient Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);Institute for AI, Peking University(北京大学人工智能研究所);Institute of Artificial Intelligence(人工智能研究所)
本文提出GDCC框架,通过推导状态空间中的因果容量度量,识别关键决策点作为子目标,引导智能体高效探索环境,在多目标任务上显著提升成功率。
2025-08-13 cs.AI cs.LG
Option Discovery Using LLM-guided Semantic Hierarchical Reinforcement Learning
University of Maryland(马里兰大学)
本文提出LDSC框架,利用LLM引导的子目标选择和选项重用,通过三阶段分层强化学习提升复杂机器人任务的样本效率、泛化能力和多任务适应性,平均奖励比基线高55.9%。
2025-03-24 cs.AI cs.LG
Variational Curriculum Reinforcement Learning for Unsupervised Discovery of Skills
KAIST(韩国科学技术院);UNIST(蔚山国立科学技术院)
本文提出变分课程强化学习(VCRL)和价值不确定性变分课程(VUVC),将变分赋能重构为目标条件强化学习中的课程学习,以提升无监督技能发现的样本效率与状态覆盖速度,并在真实机器人导航中验证其零样本能力。
2023-10-30 cs.AI cs.LG cs.RO
Reinforcement Learning Based Multi-modal Feature Fusion Network for Novel Class Discovery
Tianjin University(天津大学)
针对开集域无标签新类别发现问题,提出基于强化学习的成员-领导者多智能体多模态特征融合框架,结合自监督与变约束聚类迭代生成可靠标签,在多个数据集上取得有竞争力的结果。
2023-08-26 cs.AI cs.MM
Shaping Scientific Explanations to Expert Perspectives with Persona-Conditioned Reinforcement Learning
LASIGE, Faculdade de Ciências da Universidade de Lisboa, Portugal(里斯本大学科学学院LASIGE,葡萄牙)
本文提出一种基于强化学习的科学解释生成方法,通过代理人设引导解释代理器适应专家认知策略,提升解释的适应性和预测性能。
2026-08-03 cs.AI cs.HC
Graph-based Reinforcement Learning meets Mixed Integer Programs: An application to 3D robot assembly discovery
Technical University of Darmstadt(达姆施塔特工业大学)
机器人装配发现是一个具有挑战性的问题,生活在资源分配和运动规划的交叉点。我们的目标是将一组预定义的对象组合起来,形成新的东西,同时考虑使用机器人在环执行任务。在这项工作中,我们解决的问题,建立任意的,预定义的目标结构完全从头开始使用一组俄罗斯方块一样的积木和机器人操纵器。我们的新的分层方法的目的是有效地分解成三个可行的水平,相互受益的整体任务。在高层次上,我们运行一个经典的混合整数程序,用于块类型选择和块的最终姿态的全局优化,以重新创建所需的形状。然后利用其输出来有效地指导底层强化学习(RL)策略的探索。这种RL策略从一个灵活的基于图的表示中提取其泛化属性,该表示是通过Q学习学习的,可以通过搜索进行细化。此外,它还考虑了结构稳定性和机器人可行性的必要条件,这些条件在前一层中无法有效反映。最后,抓取和运动规划器将所需的装配命令转换为机器人关节运动。我们展示了我们提出的方法的性能在一组竞争激烈的模拟RAD环境,展示现实世界的传输,并报告性能和鲁棒性增益相比,非结构化的端到端的方法。有关视频,请访问https://sites.google.com/view/rl-meets-milp。
2022-08-02 cs.AI cs.LG cs.RO
From Data-Fitting to Discovery: Interpreting the Neural Dynamics of Motor Control through Reinforcement Learning
University of Colorado Boulder(科罗拉多大学博尔德分校)
本研究通过强化学习训练虚拟机器人执行有腿运动,发现其循环层神经轨迹比驱动层更少纠缠,且识别出解释神经分离的速度轴,直接支持了灵长类运动实验发现。
2023-05-18 cs.AI cs.LG cs.NE
Eigenoption Discovery through the Deep Successor Representation
University of Alberta(阿尔伯塔大学);University of Massachusetts(马萨诸塞大学);IBM Research(IBM研究院)
强化学习中的选项允许代理将任务分层分解为子任务,从而有可能加快学习和规划。然而,自主学习有效的选项集仍然是该领域的一个重大挑战。在本文中,我们专注于最近引入的想法,使用表示学习方法来指导选项发现过程。具体来说,我们看看eigenoptions,从编码环境中的扩散信息流的表示获得的选项。我们扩展现有的算法eigenoption发现设置随机过渡,手工制作的功能是不可用的。我们提出了一种算法,发现eigenoptions,同时学习非线性状态表示从原始像素。它利用了深度强化学习文献中最近的成功以及原价值函数和后继表示之间的等价性。我们使用传统的表格域来提供我们的方法和Atari 2600游戏的直觉,以展示其潜力。
2018-02-23 cs.AI cs.LG
RAT: Reinforcement-Learning-Driven and Adaptive Testing for Vulnerability Discovery in Web Application Firewalls
Shahrood University of Technology(沙赫鲁德工业大学)
针对现有WAF黑盒漏洞测试效率低的问题,提出结合强化学习与自适应搜索的RAT方法,通过攻击样本聚类高效发现绕过模式,在绕过载荷发现数量和首枚载荷发现效率上均显著优于现有最优方法。
2023-12-13 cs.AI cs.CR cs.IR
Option Discovery in Hierarchical Reinforcement Learning using Spatio-Temporal Clustering
Indian Institute of Technology, Madras(马德拉斯印度理工学院);Microsoft Corporation(微软公司);University of Washington(华盛顿大学)
本文介绍了一种自动技能获取框架强化学习,其中涉及到识别的抽象状态和抽象状态之间的扩展动作的给定任务的层次描述。识别任务中存在的这种结构提供了简化和加速强化学习算法的方法。这些结构还有助于将此类算法推广到多个任务上,而无需从头开始重新学习策略。我们使用动力学系统的思想,在状态空间中找到亚稳态区域,并将它们与抽象状态相关联。谱聚类算法PCCA+用于识别与底层结构对齐的适当抽象。技能是根据导致这些抽象状态之间转换的动作序列来定义的。来自PCCA+的连接信息用于生成这些技能或选项。这些技能独立于学习任务,并且可以在同一模型上定义的各种任务中有效地重用。即使没有环境的精确模型,这种方法也能很好地工作,通过使用样本轨迹来构建近似估计。我们还提出了我们的方法来扩展的技能获取框架,以复杂的任务与大的状态空间,我们执行状态聚合使用的表示从一个动作条件视频预测网络,并使用技能获取框架上的聚合状态空间。
2020-09-21 cs.AI cs.CV cs.LG
Hierarchical Reinforcement Learning for Concurrent Discovery of Compound and Composable Policies
Istituto Italiano di Tecnologia(意大利技术研究院);Università di Genova(热那亚大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
处理复杂任务的昂贵的强化学习(RL)的一个常见策略是将它们分解为一系列子任务,这些子任务通常更容易学习,并且可用于新问题。然而,当机器人学习这些子任务的策略时,常见的方法单独对待每个策略学习过程。因此,在通过策略组合处理复杂任务的学习过程之前,需要学习所有这些单独的(可组合的)策略。此外,这种单个策略的组合通常是顺序执行的,这不适合需要并发执行子任务的任务。在本文中,我们提出了一组组合高斯政策对应于这些子任务使用一组激活向量,从而在一个复杂的高斯政策,这是一个函数的手段和协方差矩阵的组合政策。此外,我们提出了一种算法,用于学习复合和组合政策在同一个学习过程中,利用从复合政策产生的政策外的数据。该算法建立在最大熵RL方法的基础上,有利于学习过程中的探索。实验结果表明,收集的经验与复合政策允许不仅要解决复杂的任务,但也获得有用的组合策略,成功地执行在其相应的子任务。
2019-08-01 cs.AI cs.LG cs.RO
Hyperbolic Embeddings for Learning Options in Hierarchical Reinforcement Learning
分层强化学习处理将大任务分解为有意义的子任务的问题。这些子任务的自主发现仍然是一个具有挑战性的问题。我们提出了一种新的学习子任务的方法,通过结合范例的路由在计算机网络和基于图形的技能发现的选项框架内定义有意义的子目标。我们应用最近的进步学习嵌入使用黎曼优化在双曲空间中嵌入状态集到双曲空间,并创建一个模型的环境。在这样做的过程中,我们对状态强制执行全局拓扑,并能够利用此拓扑来学习有意义的子任务。我们实证表明,无论是在离散和连续域,这些嵌入如何可以提高有意义的子任务的学习。
2019-02-16 cs.AI cs.LG stat.ML
Quantifying First-Order Markov Violations in Noisy Reinforcement Learning: A Causal Discovery Approach
University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文提出结合PCMCI因果发现与马尔可夫违背分数(MVS)的方法,用于检测噪声和部分可观测性对强化学习单步转移假设的破坏,并通过经典控制任务验证关键状态维度对保持马尔可夫一致性和学习性能的重要性。
2025-06-01 cs.AI cs.LG stat.ML
Learning Task Agnostic Skills with Data-driven Guidance
Norwegian University of Science and Technology(挪威科技大学)
为了提高强化学习的自主性,代理需要学习有用的行为,而不依赖手动设计的奖励函数。为此,技能发现方法已被用来学习的内在选项可用于使用任务无关的目标的代理。然而,如果没有特定任务奖励的指导,由于在复杂和高维空间中技能发现的约束不足问题,紧急行为通常是无用的。本文提出了一个框架,指导技能发现的专家访问状态的子集,使用学习状态投影。我们将我们的方法应用于各种强化学习(RL)任务,并表明这种投影会产生更有用的行为。
2021-08-04 cs.AI cs.LG
Interpretable Option Discovery using Deep Q-Learning and Variational Autoencoders
University of Agder(阿格德大学)
深度强化学习(RL)无疑是一个强大的框架,可以在各种学科中训练自主智能体。然而,传统的深层和浅层无模型强化学习算法存在样本效率低和对稀疏状态空间泛化能力不足的问题。具有时间抽象的期权框架也许是解决这些问题最有前途的方法,但它仍然存在明显的缺点。它只能保证局部收敛,并且自动启动和终止条件具有挑战性,实际上通常是手工制作的。我们的建议,深度变分Q网络(DVQN),结合了深度生成学习和强化学习。该算法从高斯分布的潜在空间中找到好的策略,这对于定义选项特别有用。DVQN算法使用具有KL发散的MSE作为正则化,并结合传统的Q-Learning更新。该算法学习一个潜在的空间,代表良好的政策与状态集群的选项。我们表明,DVQN算法是一种很有前途的方法,用于确定基于选项的强化学习的启动和终止条件。实验结果表明,DVQN算法,自动启动和终止,具有与彩虹相当的性能,并能保持稳定的训练后,收敛后的延长时间。
2022-10-03 cs.AI cs.LG
Automating Staged Rollout with Reinforcement Learning
University of Tulsa(塔尔萨大学);University of Massachusetts Dartmouth(马萨诸塞大学达特茅斯分校)
分阶段推出是一种策略,它逐步向部分用户发布软件更新,以加速缺陷发现,而不会导致灾难性的结果,如系统范围的中断。过去的一些研究已经研究了如何量化和自动化分阶段推出,但没有同时明确考虑多个产品或流程指标。本文演示了通过多目标强化学习自动分阶段推出的潜力,以便动态平衡利益相关者的需求,例如交付新功能的时间和因潜在缺陷而导致的故障所导致的停机时间。
2022-06-09 cs.AI cs.SE
Semantic Pareto-DQN: A Multi-Objective Reinforcement Learning Framework for Financial Anomaly Detection
A3Data(A3数据公司)
针对金融异常检测的类不平衡问题,提出语义帕累托深度Q网络框架,合成交易特征,优化向量奖励,映射帕累托前沿,经实验验证可打破零召回陷阱,提升少数类召回率,为金融异常发现提供新途径。
2026-07-13 cs.AI cs.LG
$\text{Alpha}^2$: Discovering Logical Formulaic Alphas using Deep Reinforcement Learning
School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);The University of Hong Kong(香港大学)
提出基于深度强化学习的Alpha^2框架,将Alpha发现视为程序构造,通过价值估计搜索逻辑有效的多样化Alpha,提升交易策略性能。
2024-06-26 cs.AI q-fin.CP
Enhancing Reinforcement Learning with discrete interfaces to learn the Dyck Language
Saarland University(萨尔大学)
尽管现实世界中的大多数接口都是离散的,但还没有有效的方法来训练神经网络来利用它们。我们增强了交互网络(强化学习架构)与离散接口和训练它的广义Dyck语言。这个任务需要理解层次结构来解决,并且长期以来一直被证明对神经网络来说是困难的。我们提供了第一个解决方案的基础上学习使用离散数据结构。我们在训练过程中遇到了意想不到的异常行为,并利用基于执行跟踪的预训练来克服它们。所得到的模型非常小且快速,并且推广到比训练数据长整个数量级的序列。
2021-10-27 cs.AI cs.LG
Mol-AIR: Molecular Reinforcement Learning with Adaptive Intrinsic Rewards for Goal-directed Molecular Generation
Incheon National University(仁川国立大学);Hallym University(翰林大学)
Mol-AIR提出一种结合随机蒸馏网络与计数策略的自适应内在奖励强化学习框架,在无先验知识条件下提升目标导向分子生成性能,并在多项基准测试中优于现有方法。
2024-03-29 cs.AI cs.LG q-bio.BM
Neuroevolution is a Competitive Alternative to Reinforcement Learning for Skill Discovery
InstaDeep;Imperial College(帝国理工学院)
针对深度强化学习在技能发现中易过拟合且需精细调参的问题,本文证明神经进化(特别是质量多样性方法)能提供同等或更优性能,且对超参数不敏感、更具可扩展性。
2023-09-08 cs.AI cs.LG cs.NE
Bayesian Nonparametrics for Offline Skill Discovery
Layer 6 AI(Layer 6人工智能公司);University of Toronto(多伦多大学);Vector Institute(向量研究所)
强化学习中的技能或低级策略是时间上扩展的动作,可以加速学习并实现复杂的行为。最近在离线强化学习和模仿学习方面的工作提出了几种从一组专家轨迹中发现技能的技术。虽然这些方法是有前途的,发现的技能的数量K总是一个固定的超参数,这需要先验知识的环境或额外的参数搜索来调整it.We首先提出了一种方法离线学习的选项(一个特定的技能框架)利用变分推理和连续松弛的进步。然后,我们强调贝叶斯非参数和离线技能发现之间的未探索的连接,并展示如何获得我们的模型的非参数版本。这个版本是易于处理的,这要归功于一个精心构造的近似后验模型,具有动态变化的选项数量,无需指定K。我们还展示了我们的非参数扩展如何应用于其他技能框架,并以经验证明,我们的方法可以在各种环境中优于最先进的离线技能学习算法。我们的代码可在https://github.com/layer6ai-labs/BNPO上获得。
2022-06-22 cs.AI cs.LG stat.ML
Maximum Reward Formulation In Reinforcement Learning
andBeyond(99andBeyond);International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院);University of Alberta(阿尔伯塔大学);Mila - Quebec AI Institute(米拉 - 魁北克人工智能研究所);University of Waterloo(滑铁卢大学);Ecole Polytechnique Montréal(蒙特利尔综合理工学院);Alberta Machine Intelligence institute(阿尔伯塔机器智能研究所)
针对药物发现等场景无需优化累积回报、只需找最高奖励状态的需求,该研究构建了强化学习的最大奖励目标公式,推导了新的Bellman方程与算子并证明收敛,在分子生成任务上取得SOTA结果。
2023-12-19 cs.AI cs.LG stat.ML
Learning Representations in Model-Free Hierarchical Reinforcement Learning
强化学习(RL)的常用方法受到涉及巨大状态空间和稀疏延迟奖励反馈的大规模应用的严重挑战。分层强化学习(HRL)方法试图通过在多个时间抽象级别上学习动作选择策略来解决这个可扩展性问题。可以通过识别可能作为子目标有用的相对较小的状态集合来进行抽象,与学习相应的技能策略以实现这些子目标相一致。HRL中的子目标发现的许多方法依赖于对环境模型的分析,但是学习这样的模型的需要引入了其自身的规模问题。一旦确定了子目标,就可以通过内在动机来学习技能,引入内部奖励信号来标记子目标的实现。在本文中,我们提出了一种新的无模型的方法,使用增量无监督学习在一个小内存的代理最近的经验(轨迹)的子目标发现。当与内在动机学习机制相结合时,这种方法可以根据环境中的经验学习子目标和技能。因此,我们提供了一个原始的方法,HRL,不需要收购的环境模型,适合大规模的应用。我们证明了我们的方法的效率在两个RL问题与稀疏延迟反馈:一个变种的房间环境和ATARI 2600蒙特祖马的复仇游戏的第一个屏幕。
2019-04-12 cs.AI cs.LG math.OC
Post-discovery Analysis of Anomalous Subsets
IBM Research Africa(IBM非洲研究院)
分析人群对疾病和干预措施的反应行为对于挖掘医疗保健的变异性以及了解需要专门关注的亚人群至关重要,而且有助于设计未来的干预措施。在这种分析中,两个方面变得非常重要,即:i)发现亚群表现出的分化模式,和ii)鉴定的亚群的表征。对于发现阶段,一系列的方法在异常模式检测文献已被用来揭示差异化的模式,特别是识别异常的子群。然而,这些技术仅限于描述异常亚组,并且几乎没有提供有见地的表征形式,从而限制了临床实践中这些数据驱动技术的可解释性和理解。在这项工作中,我们提出了一个差异化的输出(而不是发现)的分析和量化类似的反事实设置的错误。为此,我们设计了一种方法来执行异常子集的发现后分析,在该方法中,我们最初确定的最重要的功能上的子集,然后通过扰动,该方法旨在确定最少数量的变化所需的失去的异常性。介绍了我们的方法,并对2019年MarketScan商业索赔和医疗保险数据进行了评估,结果表明,可以通过对已确定的亚组进行外推检查来获得额外的见解。
2021-11-23 cs.AI cs.LG
Root cause analysis via difference graph discovery from linear time-series data
Sorbonne Université(索邦大学);INSERM(法国国家健康与医学研究院);Institut Pierre Louis d’Epidémiologie et de Santé Publique(皮埃尔·路易流行病学与公共卫生研究所)
该研究针对线性时间序列的根本原因分析问题,将差异图发现方法适配到时间序列场景,经模拟数据与IT、重症监护真实数据集验证,可定位导致异常行为的因果机制。
2026-08-24 cs.AI
Sparsity-based Feature Selection for Anomalous Subgroup Discovery
IBM Research Africa(IBM非洲研究院);Carnegie Mellon University Africa(卡内基梅隆大学非洲分校);IBM Research - Cambridge(IBM剑桥研究院)
异常模式检测旨在识别明显偏离正常的情况,并且广泛适用于各个领域。在现有技术中,已经提出了多种异常检测技术。然而,普遍缺乏用于有效发现的原则性和可扩展的特征选择方法。现有的特征选择技术通常通过优化预测结果的性能而不是其与预期的系统偏差来进行。在本文中,我们提出了一个基于稀疏性的自动特征选择(SAFS)框架,通过特征驱动的比值比的稀疏性编码系统的结果偏差。SAFS是一种与模型无关的方法,可以跨不同的发现技术使用。SAFS实现了超过$3\times$的计算时间减少,同时保持检测性能时,在公共可用的重症监护数据集验证。当与用于特征选择的多个基线相比时,SAFS还导致了优异的性能。
2022-01-06 cs.AI cs.LG eess.SP