Strategizing Equitable Transit Evacuations: A Data-Driven Reinforcement Learning Approach
School of Sustainable Engineering and the Built Environment, Arizona State University(亚利桑那州立大学可持续工程与建筑环境学院);University of California, Berkeley(加州大学伯克利分校)
针对灾害疏散中效率与公平兼顾的需求,提出基于强化学习的公交疏散优化框架,利用实时公交与路网数据动态调线,仿真验证其较传统策略在效率和公平性上均有显著提升,可用于智能交通应急场景。
2024-12-08 cs.AI cs.CY cs.LG
Enabling High Data Throughput Reinforcement Learning on GPUs: A Domain Agnostic Framework for Data-Driven Scientific Research
Salesforce Research(Salesforce研究院)
本文提出领域无关框架WarpSci,通过消除CPU与GPU间的数据传输并在单个或多个GPU上并发执行数千个仿真,解决高维海量数据环境下强化学习的关键系统瓶颈,从而支持数据驱动的科学研究。
2024-08-01 cs.AI cs.LG
Robust Reinforcement Learning: A Case Study in Linear Quadratic Regulation
New York University(纽约大学)
本文研究了强化学习算法对学习过程中错误的鲁棒性。具体来说,我们重新审视离散时间线性二次调节(LQR)的基准问题,并研究长期存在的开放问题:在什么条件下是策略迭代法鲁棒稳定的动力系统的角度来看?利用控制理论中的先进稳定性结果,证明了LQR的策略迭代对学习过程中的小误差具有内在的鲁棒性,并且具有小干扰输入-状态稳定性:只要每次迭代中的误差有界且小,策略迭代算法的解也有界,并且进入并停留在最优LQR解的一个小邻域内.作为应用,当系统动态受到加性随机干扰时,提出了一种新的LQR问题的非策略乐观最小二乘策略迭代。最后通过数值算例验证了所提出的鲁棒强化学习的新结果。
2021-03-15 cs.AI cs.LG cs.SY
Review of Metrics to Measure the Stability, Robustness and Resilience of Reinforcement Learning
Oak Ridge National Laboratory(橡树岭国家实验室)
近年来,强化学习受到了极大的关注,这主要是由于深度强化学习在解决许多具有挑战性的任务(如下棋、围棋和在线计算机游戏)方面的成功。然而,随着对强化学习的关注越来越多,游戏和模拟环境之外的应用需要了解强化学习方法的鲁棒性,稳定性和弹性。为此,我们进行了全面的文献综述,以描述这三种行为的可用文献,因为它们与强化学习有关。我们对用于指示或测量鲁棒性、稳定性和弹性行为的定量和理论方法进行了分类。此外,我们确定了定量方法试图保持稳定、稳健或弹性的行动或事件。最后,我们提供了一个决策树有用的选择指标来量化的行为。我们认为,这是第一次针对强化学习的稳定性、鲁棒性和弹性进行全面审查。
2022-03-22 cs.AI cs.LG
On physical implementability of reinforcement-learning-driven reasoning
Kyoto University(京都大学)
本文针对给定奖励下带奖励外势能的物理神经网络模型,研究强化学习驱动推理的硬件实现,发现该实现中动力学思维链的存在与系统李雅普诺夫稳定性矛盾,给出了相关否定结果。
2026-10-14 cond-mat.dis-nn cs.LG
Falsification-driven reinforcement learning for maritime motion planning
Technical University of Munich(慕尼黑技术大学);University of California, Berkeley(加州大学伯克利分校);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
提出一种证伪驱动的强化学习方法,通过生成对抗性训练场景(违反信号时态逻辑规范的海上交通规则)来提升自主船舶的规则遵守能力,实验表明该方法能提供更相关的训练场景并实现更一致的规则遵守。
2026-05-27 cs.LG cs.SY eess.SY
Representation-Driven Reinforcement Learning
Department of Electrical-Engineering, Technion Institute of Technology, Israel(电气工程系,技术学院技术研究所,以色列);Nvidia Research(Nvidia研究);Technion (currently at Google Research)(技术学院(目前在谷歌研究))
本文提出了一种基于表示的强化学习框架,通过将策略表示为预期值的估计,利用上下文老虎机技术提升探索与利用效率,显著改进了传统方法的性能。
2026-01-22 cs.AI cs.LG
Approximate Robust NMPC using Reinforcement Learning
Norwegian University of Science and Technology (NTNU)(挪威科技大学)
提出了一种基于强化学习的鲁棒非线性模型预测控制(RL-RNMPC)框架,用于控制存在干扰和不确定性的非线性系统。采用一种低计算复杂度的近似鲁棒非线性模型预测控制(RNMPC),其中状态轨迹的不确定性通过椭球来建模。然后使用强化学习来处理椭圆近似,并通过调整生成椭圆的MPC参数来提高该方案的闭环性能。该方法进行了测试模拟轮式移动机器人(WMR)跟踪所需的轨迹,同时避免静态障碍物。
2021-04-06 cs.LG cs.RO cs.SY
Imposing Robust Structured Control Constraint on Reinforcement Learning of Linear Quadratic Regulator
Pacific Northwest National Laboratory (PNNL)(太平洋西北国家实验室)
研究了状态矩阵未知的线性动态系统的结构反馈控制器的学习问题。控制器的结构约束是必要的许多信息物理系统,我们的方法提出了一个设计任何通用的结构,为分布式学习控制铺平了道路。强化学习(RL)的思想结合控制理论的充分稳定性和性能保证被用来开发的方法。首先,一个基于模型的框架,制定使用动态规划嵌入结构约束的线性二次型调节器(LQR)设置以及充分的鲁棒性条件。此后,我们将这些条件转化为基于数据驱动的学习框架-鲁棒结构化强化学习(RSRL),它在稳定性和收敛性方面具有控制理论保证。我们验证了我们的理论结果与模拟上的多智能体网络与6代理。
2021-02-19 cs.LG cs.SY eess.SY
Safe Reinforcement Learning Using Robust Action Governor
University of Michigan(密歇根大学);Ford Motor Company(福特汽车公司)
强化学习(RL)本质上是一种试错学习过程,在探索和利用过程中可能会导致不安全的行为。这阻碍了RL在现实世界控制问题中的应用,特别是对安全关键系统的应用。在本文中,我们介绍了一个安全RL的框架,该框架基于RL算法与附加安全监督模块的集成,称为鲁棒动作总督(RAG),该模块利用集合理论技术和在线优化来管理学习过程中的安全相关要求。我们说明了这一建议的安全RL框架,通过应用汽车自适应巡航控制。
2021-04-30 cs.LG cs.SY eess.SY
Robust nonlinear set-point control with reinforcement learning
Uppsala University(乌普萨拉大学)
针对强化学习在非线性设定点控制中训练困难的问题,本文融合先验反馈控制器、积分误差与模型集成训练,提升训练效率及对建模误差的鲁棒性,并在水箱与 pH 控制实验中验证。
2023-04-20 cs.LG cs.SY eess.SY
Assessing the Robustness of Intelligence-Driven Reinforcement Learning
University of Brescia(布雷西亚大学);Cardiff University(卡迪夫大学)
本文研究基于奖励机的智能驱动强化学习在军事噪声环境下的鲁棒性,初步结果提示需进一步研究证据推理与学习以强化现有方法。
2023-11-15 cs.AI cs.CR cs.LG
Risk-Sensitive Soft Actor-Critic for Robust Deep Reinforcement Learning under Distribution Shifts
Technical University of Munich(慕尼黑工业大学);Google DeepMind(谷歌DeepMind)
针对运筹学中上下文多阶段随机组合优化问题的分布偏移,提出风险敏感的离散 Soft Actor-Critic 算法,推导相应 Bellman 方程并验证其鲁棒性优于基准方法。
2024-02-15 cs.LG cs.SY eess.SY
Reinforcement Learning for Robust Parameterized Locomotion Control of Bipedal Robots
University of California, Berkeley(加州大学伯克利分校)
为双足机器人开发鲁棒行走控制器是一项具有挑战性的工作。传统的基于模型的运动控制器需要简化假设和仔细建模;任何小的误差都可能导致不稳定的控制。为了解决这些挑战的双足运动,我们提出了一个无模型强化学习框架,用于训练强大的运动策略在模拟,然后可以转移到一个真正的双足Cassie机器人。为了促进仿真到现实迁移,域随机化用于鼓励策略学习在系统动态变化中鲁棒的行为。学习的策略使Cassie能够执行一组多样化的动态行为,同时比传统的控制器和使用剩余控制的先前基于学习的方法更鲁棒。我们证明了这一点,如跟踪目标步行速度,步行高度,转向偏航的多才多艺的步行行为。
2021-03-26 cs.AI cs.LG cs.RO
Robustifying Reinforcement Learning Policies with $\mathcal{L}_1$ Adaptive Control
由于动态变化的存在,在标称环境中训练的强化学习(RL)策略可能在新的/扰动的环境中失败。现有的鲁棒方法试图通过鲁棒或对抗训练来获得针对所有设想的动态变化场景的固定策略。这些方法可能会导致保守的性能,由于强调最坏的情况下,往往涉及繁琐的修改训练环境。我们提出了一种方法来robustifying一个预先训练的非鲁棒RL政策与$\mathcal{L}_1$自适应控制。利用$\mathcal{L}_1$控制律在动态变化的快速估计和主动补偿中的能力,我们的方法可以显着提高在标准中训练的RL策略的鲁棒性(即,非鲁棒的)方式,无论是在模拟器中还是在现实世界中。数值实验验证了该方法的有效性。
2022-03-09 cs.LG cs.SY eess.SY
Priority-Driven Control and Communication in Decentralized Multi-Agent Systems via Reinforcement Learning
Department of Electrical Engineering and Automation, Aalto University, Espoo, Finland(埃因霍恩理工大学电气工程与自动化系,芬兰 Espoo);Finnish Center for Artificial Intelligence, Helsinki, Finland(芬兰人工智能中心,芬兰 Helsinki)
本文提出一种无模型、优先级驱动的强化学习算法,通过数据联合学习通信优先级和控制策略,解决事件触发控制中通信带宽浪费问题,实验表明其优于基线方法。
2026-05-12 cs.LG cs.RO cs.SY
Hierarchical Needs-driven Agent Learning Systems: From Deep Reinforcement Learning To Diverse Strategies
The University of Georgia(佐治亚大学)
需求描述了一个系统生存和进化的必要性,它激发一个代理人朝着一个目标采取行动,为行为提供目的和方向。根据马斯洛需求层次理论,一个智能体需要在当前层次上满足一定数量的需求,作为下一阶段--升级和进化--出现的条件。特别是深度强化学习(Deep Reinforcement Learning,DAL)可以帮助人工智能智能体(如机器人)组织和优化其行为和策略,以根据其当前状态和需求(预期效用或奖励)制定不同的策略。本文介绍了新的层次需求驱动的学习系统的基础上DAL和研究的实施在单机器人与一种新的方法称为贝叶斯软演员批评(BSAC)。然后,我们将这一主题扩展到多智能体系统(MAS),讨论了潜在的研究领域和方向。
2023-02-25 cs.AI cs.LG cs.MA
RL-Based Method for Benchmarking the Adversarial Resilience and Robustness of Deep Reinforcement Learning Policies
Kansas State University(堪萨斯州立大学)
本文提出区分DRL智能体漏洞来源的方法,并开发两种基于RL的定量基准测试技术,以评估DRL策略在状态转换扰动下的对抗韧性与鲁棒性,并在Cartpole环境中验证了其可行性。
2019-06-03 cs.AI cs.CR cs.LG
Exploration-Driven Personalized Federated Reinforcement Learning via Intrinsic Motivation
本研究提出EDPFRL-IM框架,将内在动机探索与随机网络蒸馏引入个性化联邦强化学习,在保护客户端隐私的同时,提升了延迟和稀疏奖励场景下的策略个性化与样本效率。
2026-08-12 cs.AI cs.LG
EVO-RL: Evolutionary-Driven Reinforcement Learning
RWTH Aachen University(亚琛工业大学);University Hospital RWTH Aachen(亚琛工业大学附属医院);Trier University of Applied Sciences(特里尔应用科学大学);University of Trento(特伦托大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
在这项工作中,我们提出了一种新的演化计算驱动的强化学习方法。我们的算法被称为进化驱动的强化学习(evo-RL),它将强化学习算法嵌入到进化周期中,在进化周期中,我们可以清楚地区分纯粹的可进化(本能)行为与纯粹的可学习行为。此外,我们认为这种区别是由进化过程决定的,从而使evo-RL能够适应不同的环境。此外,evo-RL有助于在无奖励状态的环境中学习,这使得它更适合于不完整信息的现实世界问题。为了表明evo-RL导致最先进的性能,我们提出了不同的最先进的强化学习算法在evo-RL中运行时的性能,并将其与独立执行这些相同算法的情况进行比较。结果表明,嵌入在我们的evo-RL方法中的强化学习算法在OpenAI Gym控制问题上的性能明显优于相同RL算法的独立版本,其中无奖励状态受到相同计算预算的约束。
2020-07-10 cs.AI cs.LG cs.NE
Robust Reinforcement Learning using Least Squares Policy Iteration with Provable Performance Guarantees
Texas A&M University(德克萨斯农工大学)
研究了大状态空间鲁棒马尔可夫决策过程的无模型强化学习问题。RMDP框架的目标是找到一个政策,是强大的参数不确定性,由于模拟器模型和现实世界的设置之间的不匹配。我们首先提出了鲁棒最小二乘策略评估算法,这是一个多步在线无模型学习算法的策略评估。我们使用随机逼近技术证明了该算法的收敛性。然后,我们提出了鲁棒最小二乘策略迭代(RLSPI)算法学习的最佳鲁棒策略。我们还给出了一个一般的加权欧几里德范数界的误差(接近最优性)所产生的政策。最后,我们证明了我们的RLSPI算法的性能在一些标准的基准问题。
2021-02-11 cs.LG cs.SY eess.SY
Safe Reinforcement Learning using Data-Driven Predictive Control
Ain Shams University(艾因夏姆斯大学);Jacobs University(雅各布大学);KTH Royal Institute of Technology(KTH皇家理工学院)
强化学习(RL)算法可以在决策和连续控制任务中实现最先进的性能。然而,由于许多RL算法的探索性质,特别是当机器人模型和环境未知时,在安全关键系统上应用RL算法仍然需要很好地证明。为了应对这一挑战,我们提出了一个数据驱动的安全层,充当不安全操作的过滤器。安全层使用数据驱动的预测控制器来在训练期间和部署之后强制执行RL策略的安全保证。RL代理提出一个动作,通过计算数据驱动的可达性分析进行验证。如果使用建议动作的机器人的可达集之间存在交集,则调用数据驱动的预测控制器来找到与建议的不安全动作最接近的安全动作。如果建议的动作是不安全的,则安全层惩罚RL代理,并将其替换为最安全的动作。在模拟中,我们表明,我们的方法优于国家的最先进的安全RL方法的机器人导航问题的海龟机器人3在凉亭和四旋翼机在虚幻引擎4(UE4)。
2022-11-20 cs.LG cs.RO cs.SY
Solving Hard AI Planning Instances Using Curriculum-Driven Deep Reinforcement Learning
Cornell University(康奈尔大学)
尽管人工智能规划取得了重大进展,但某些领域仍然超出了当前人工智能规划系统的范围。Sokoban是一个PSPACE完整的规划任务,代表了当前AI规划者最难的领域之一。由于硬实例上的指数搜索复杂性,即使是特定于领域的专门搜索方法也会很快失败。我们的方法基于深度强化学习,并采用了一种基于知识驱动的方法,这是第一个在一天的训练时间内解决困难实例的方法,而其他现代求解器无法在任何合理的时间限制内解决这些实例。与以前的努力,使用精心手工修剪技术,我们的方法自动发现域结构。我们的研究结果表明,深度强化学习为解决以前未解决的人工智能规划问题提供了一个有前途的框架,前提是可以设计适当的培训课程。
2020-06-04 cs.AI cs.LG
Wasserstein Robust Reinforcement Learning
Huawei R&D UK(华为英国研发中心);Imperial College London(帝国理工学院);University College London(伦敦大学学院);University of Cambridge(剑桥大学)
强化学习算法虽然成功,但往往过度适应训练环境,阻碍了它们在现实世界中的应用。本文提出了$\text{W}\text{R}^{2}\text{L}$ -一个强大的强化学习算法具有显着的低维和高维控制任务的鲁棒性能。我们的方法形式化强大的强化学习作为一个新的最小-最大的游戏与Wasserstein约束的正确和收敛的求解器。除了制定,我们还提出了一个有效的和可扩展的求解器以下一种新的零阶优化方法,我们相信可以是有用的数值优化一般。我们经验证明显着的收益相比,标准和强大的国家的最先进的算法在高维MuJuCo环境。
2019-09-16 cs.AI cs.LG stat.ML
Data-Driven Evaluation of Training Action Space for Reinforcement Learning
Nutanix, Inc(路坦力公司)
强化学习(RL)的训练动作空间选择由于复杂的状态-动作关系而容易发生冲突。为了应对这一挑战,本文提出了一种Shapley启发的方法来训练动作空间分类和排名。为了减少指数时间Shapley计算,该方法包括蒙特卡罗模拟,以避免不必要的探索。使用云基础设施资源调优案例研究的方法的有效性。该方法将搜索空间减少了80%,并将训练动作集分为不可缺少的和不可缺少的两类。此外,它还对不同的训练动作进行排名,以促进高性能但具有成本效益的RL模型设计。所提出的数据驱动方法可扩展到不同的领域,用例和强化学习算法。
2022-04-08 cs.LG
Robust Deep Reinforcement Learning for Quadcopter Control
University of Cincinnati(辛辛那提大学)
深度强化学习(RL)使得使用神经网络作为函数逼近器来解决复杂的机器人问题成为可能。然而,在静态环境中训练的策略在从一个环境转移到另一个环境时在泛化方面受到影响。在这项工作中,我们使用鲁棒马尔可夫决策过程(RMDP)的训练无人机控制策略,它结合了鲁棒控制和RL的思想。它选择悲观优化来处理从一个环境到另一个环境的策略传输之间的潜在差距。四轴飞行器位置控制任务的训练控制策略进行了测试。RL特工在MuJoCo模拟器中接受培训。在测试过程中,使用不同的环境参数(在训练过程中看不到)来验证训练策略从一个环境转移到另一个环境的鲁棒性。在这些环境中,强大的政策优于标准代理,这表明增加的鲁棒性增加了通用性,可以适应非平稳环境。代码:https://github.com/adipandas/gym_multirotor
2021-11-06 cs.AI cs.LG cs.RO
Robust Reinforcement Learning under model misspecification
Tsinghua University(清华大学)
如今,强化学习在广泛的任务中取得了卓越的性能。然而,一些尚未解决的问题限制了它在实际控制中的应用。其中之一是模型错误指定,即在具有不同过渡动态的环境中训练和部署代理的情况。我们提出了一个新的框架,利用历史轨迹和部分可观测马尔可夫决策过程模型来处理这个困境。此外,我们还提出了一种有效的对抗攻击方法来辅助鲁棒训练。我们在四个健身房领域的实验验证了我们的框架的有效性。
2021-03-29 cs.AI cs.LG
Adversarial Robust Deep Reinforcement Learning Requires Redefining Robustness
通过利用深度神经网络,已经有效地实现了经由与给定环境的交互从原始高维数据中学习。然而,观察到的由沿着高灵敏度方向的不可察觉的最坏情况的策略依赖转换(即对抗性扰动)引起的策略性能的下降引起了对深度强化学习策略的鲁棒性的关注。在我们的论文中,我们证明了这些高敏感度的方向不仅存在于特定的最坏情况方向上,而且在深层神经策略领域中更丰富,并且可以通过更自然的方式在黑盒环境中找到。此外,我们发现,与通过最先进的对抗训练技术学习的策略相比,香草训练技术有趣地导致学习更强大的策略。我们相信我们的工作展示了深度强化学习策略流形的有趣特性,我们的结果可以帮助构建强大且可推广的深度强化学习策略。
2023-01-17 cs.AI cs.CR cs.LG
Double Actor-Critic with TD Error-Driven Regularization in Reinforcement Learning
School of Automation, Central South University(中南大学自动化学院);School of Engineering, University of Newcastle(纽卡斯尔大学工程学院)
本文提出TDDR算法,在双重演员-评论家框架中引入TD误差驱动正则化,在不增加额外超参数的前提下提升价值估计精度,并在连续控制任务中取得有竞争力的表现。
2024-09-28 cs.AI cs.LG
Towards Robust Deep Reinforcement Learning against Environmental State Perturbation
Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学)
本文形式化 DRL 的环境状态扰动问题,提出无目标校准攻击与 BAT 防御框架,并通过实验证明其可显著提升智能体在多种场景下的鲁棒性。
2025-06-10 cs.AI cs.LG
Using State Predictions for Value Regularization in Curiosity Driven Deep Reinforcement Learning
ETH Zürich(苏黎世联邦理工学院)
稀疏奖励设置中的学习仍然是强化学习中的一个挑战,这通常通过使用内在奖励来解决。一个有前途的策略是受到人类好奇心的启发,要求智能体学会预测未来。在本文中,好奇心驱动的代理扩展到直接使用这些预测进行训练。为了实现这一点,代理预测下一个状态在任何时间点的价值函数。随后,测量该预测与当前价值函数的一致性,然后将其用作算法的损失函数中的正则化项。在网格世界环境和3D导航任务上进行了实验,两者都具有稀疏的奖励。在第一种情况下,扩展代理能够比基线更快地学习。
2018-09-30 cs.AI cs.LG stat.ML
Data Driven Reward Initialization for Preference based Reinforcement Learning
SCAI, Arizona State University(亚利桑那州立大学SCAI)
基于偏好的强化学习(PbRL)方法利用来自回路中的人类(HiL)对查询轨迹对的二进制反馈来学习奖励模型,以尝试近似人类的底层奖励函数来捕获他们的偏好。在这项工作中,我们调查的初始化奖励模型是敏感的随机种子的实验中的高度可变性的问题。这进一步加剧了PbRL方法已经遭受的退化奖励函数的问题。我们提出一个数据-驱动的奖励初始化方法,该方法不向回路中的人增加任何额外的成本,并且不向PbRL代理增加可忽略的成本,并且表明这样做确保了初始化的奖励模型的预测奖励在状态空间中是均匀的,并且这减少了该方法在多次运行中的性能的可变性,并且与其他初始化方法相比,显示出提高了整体性能。
2023-02-17 cs.AI cs.LG
Explainable Artificial Intelligence (XAI) for Increasing User Trust in Deep Reinforcement Learning Driven Autonomous Systems
Charles River Analytics(查尔斯河分析公司)
我们考虑的问题,提供用户的深度强化学习(RL)为基础的系统,更好地了解他们的输出时,可以信任。我们提供了一个可解释的人工智能(XAI)框架,它提供了三重解释:在当前游戏状态下系统泛化和性能的图形描述,代理在语义相似的环境中的表现如何,以及图形信息意味着什么的叙述性解释。我们为XAI框架创建了一个用户界面,并通过人类用户实验评估了其有效性。结果表明,与没有解释的AI系统相比,用户对解释的AI系统的信任和接受度在统计上显著增加。
2021-06-07 cs.AI cs.LG
Robust Deep Reinforcement Learning with Adversarial Attacks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了针对强化学习(RL)的对抗攻击,并在这些攻击的帮助下提高了深度强化学习算法(DRL)对参数不确定性的鲁棒性。我们发现,即使是一个天真的设计攻击成功地降低DRL算法的性能。我们进一步改进的攻击使用梯度信息的工程损失函数,导致性能进一步下降。然后在训练期间利用这些攻击来提高RL在鲁棒控制框架内的鲁棒性。我们表明,DRL算法(如深度双Q学习和深度确定性策略梯度)的这种对抗性训练导致RL基准测试(如Cart-pole,Mountain Car,Hopper和Half Cheetah环境)对参数变化的鲁棒性显着增加。
2017-12-11 cs.AI cs.LG cs.RO
Adversarial Diffusion for Robust Reinforcement Learning
Division of Decision and Control Systems KTH, Royal Institute of Technology(决策与控制系统系 瑞典皇家理工学院);Faculty of Computing and Data Sciences(计算与数据科学学院)
本文提出AD-RRL,通过对抗扩散方法提升强化学习在环境动态不确定性下的鲁棒性和性能。
2025-12-02 cs.AI cs.LG
Adversarial Style Transfer for Robust Policy Optimization in Deep Reinforcement Learning
Purdue University(普渡大学)
本文提出对抗鲁棒策略优化(ARPO)算法,通过生成器扰动观测与策略网络最小化影响的博弈,去除对混淆特征的过拟合,提升强化学习智能体在未见环境中的泛化能力。
2023-08-29 cs.AI cs.LG
Influencing Reinforcement Learning through Natural Language Guidance
University of Kentucky(肯塔基大学)
交互式强化学习代理使用人类反馈或指令来帮助它们在复杂环境中学习。通常,这种反馈以正或负的离散信号的形式出现。虽然信息量很大,但这些信息本身可能很难概括。在这项工作中,我们将探讨如何自然语言的意见,可以用来提供一个更丰富的反馈信号,强化学习代理,通过扩展的政策塑造,一个著名的交互式强化学习技术。通常,策略形成采用人工反馈策略来帮助智能体更多地了解如何实现其目标。在我们的例子中,我们用基于自然语言建议生成的策略替换了这种人工反馈策略。我们的目标是检查生成的自然语言推理是否为深度强化学习代理提供支持,以在任何给定的环境中成功地决定其行动。因此,我们设计了三个网络的模型:第一个是经验驱动,第二个是建议生成器,第三个是建议驱动。当经验驱动的强化学习代理选择其受环境奖励影响的动作时,具有由建议生成器针对任何新状态生成的反馈的建议驱动的神经网络选择其动作以帮助强化学习代理更好地进行策略成形。
2021-04-11 cs.AI cs.LG
Training Verifiably Robust Agents Using Set-Based Reinforcement Learning
Technical University of Munich(慕尼黑技术大学)
研究利用基于集合的强化学习训练可验证鲁棒智能体的问题,通过传播整个扰动输入集,利用基于集合的策略梯度惩罚输出集大小,提升智能体对所有攻击的鲁棒性并提高验证性能。
2026-07-07 cs.LG cs.RO cs.SY
Large Language Model-Based Reward Design for Deep Reinforcement Learning-Driven Autonomous Cyber Defense
本文提出利用大型语言模型设计奖励,以提升深度强化学习在自主网络防御中的效果。
2025-11-20 cs.AI cs.LG cs.MA
Integrating Large Language Models and Reinforcement Learning for Sentiment-Driven Quantitative Trading
Wo Long(未知);Wenxin Zeng(未知);Xiaoyu Zhang(未知);Ziyao Zhou(未知)
本研究开发了一个情感驱动的量化交易系统,利用 FinGPT 进行情感分析,并采用 TD3 强化学习算法集成情感与技术信号,实验表明该方法能有效融合异构信号并提升交易策略表现。
2025-10-12 cs.LG q-fin.CP
Robust Reinforcement Learning with Distributional Risk-averse formulation
Ecole polytechnique(巴黎综合理工学院);INRIA(法国国家信息与自动化研究所);INSERM(法国国家健康与医学研究院);Sorbonne Université(索邦大学);Université Paris Cité(巴黎西岱大学)
鲁棒强化学习试图使预测对系统动态或奖励的变化更加鲁棒。当从数据中估计环境的动态和回报时,这个问题特别重要。在本文中,我们近似的鲁棒强化学习约束下的$Φ$ -发散使用一个近似的风险规避公式。我们表明,经典的强化学习配方可以鲁棒使用标准偏差惩罚的目标。提出了两种基于分布式强化学习的算法,一种用于离散动作空间,一种用于连续动作空间,并在经典的Gym环境中进行了测试,以证明算法的鲁棒性。
2022-06-14 cs.LG math.OC stat.ML
Model-free Reinforcement Learning for Robust Locomotion using Demonstrations from Trajectory Optimization
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);New York University(纽约大学)
我们提出了一种通用的两阶段强化学习方法来创建鲁棒的策略,这些策略可以部署在真实机器人上,而无需使用由轨迹优化生成的单个演示进行任何额外的训练。在第一阶段中,示范被用作促进初步探索的起点。在第二阶段,直接优化相关的任务奖励,并计算对环境不确定性具有鲁棒性的策略。我们详细展示和研究我们的方法在高动态跳跃和绑定任务的四足机器人的性能和鲁棒性。
2022-01-24 cs.AI cs.LG cs.RO
Data-Driven Simulation of Ride-Hailing Services using Imitation and Reinforcement Learning
University of Moratuwa(莫拉图瓦大学)
网约车平台的快速增长创造了一个竞争激烈的市场,企业难以盈利,需要更好的运营策略。然而,对于这些平台来说,现实世界的实验是有风险和昂贵的,因为它们每天都要处理数百万用户。因此,需要一个模拟的环境,他们可以预测用户的反应,在平台特定的参数,如旅行费用和奖励的变化。构建这样的模拟是具有挑战性的,因为这些平台存在于动态环境中,成千上万的用户经常相互交互。本文提出了一个框架来模拟和预测用户,特别是司机,在乘车服务的行为。为此,我们使用了数据驱动的混合强化学习和模仿学习方法。首先,该代理利用行为克隆来模仿驾驶员的行为,使用真实世界的数据集。接下来,强化学习应用于模拟环境中预先训练的代理之上,以使它们能够适应平台中的变化。我们的框架为网约车平台提供了一个理想的平台,可以实验平台特定的参数来预测驾驶员的行为模式。
2021-04-06 cs.AI cs.LG
Episodic Multi-agent Reinforcement Learning with Curiosity-Driven Exploration
Tsinghua University(清华大学);Nanjing University(南京大学);University of Alberta(阿尔伯塔大学);NetEase(网易)
深度协作多智能体强化学习(MARL)中的有效探索在复杂协调问题中仍然具有挑战性。在本文中,我们介绍了一种新的情节多智能体强化学习与好奇心驱动的探索,称为EMC。我们利用流行的因子分解MARL算法的洞察力,即“诱导”的个体Q值,即,用于本地执行的各个效用函数是本地动作观察历史的嵌入,并且可以捕获由于集中式训练期间的回报反向传播而引起的代理之间的交互。因此,我们使用个人Q值的预测误差作为协调探索的内在奖励,并利用情景记忆开发探索的信息经验,以促进政策培训。由于代理的个人Q-价值函数的动态捕捉状态的新颖性和来自其他代理的影响,我们的内在奖励可以诱导协调探索新的或有前途的状态。我们说明了我们的方法的优点,通过教学的例子,并证明其显着优于国家的最先进的MARL基线上具有挑战性的任务,在星际争霸II微观管理基准。
2021-11-22 cs.AI cs.LG
Domain-driven Metrics for Reinforcement Learning: A Case Study on Epidemic Control using Agent-based Simulation
Engineering for Research (e4r)(工程研究(e4r));Thoughtworks Technologies(Thoughtworks技术)
针对强化学习在基于智能体模型中缺乏标准化评估指标的问题,提出领域驱动指标,并通过疫情控制案例验证其结合传统指标评估策略优化的有效性。
2025-08-07 cs.AI cs.LG cs.MA
MetaCURE: Meta Reinforcement Learning with Empowerment-Driven Exploration
Tsinghua University(清华大学);NetEase(网易公司)
Meta强化学习(meta-RL)从先前的任务中提取知识,并实现对新任务的快速适应。尽管最近取得了进展,但元强化学习的有效探索仍然是稀疏奖励任务中的一个关键挑战,因为它需要在元训练和适应中快速找到信息丰富的任务相关经验。为了应对这一挑战,我们明确建模的探索策略学习问题的元RL,这是从剥削策略学习分离,并引入了一种新的授权驱动的探索目标,其目的是最大限度地提高任务识别的信息增益。我们得到了相应的内在奖励,并开发了一个新的离线策略元RL框架,该框架通过共享任务推理的知识来有效地学习单独的上下文感知探索和利用策略。实验评估表明,我们的元RL方法在各种稀疏奖励MuJoCo运动任务和更复杂的稀疏奖励元世界任务上的性能显着优于最先进的基线。
2021-11-12 cs.AI cs.LG
Optimal Transport Perturbations for Safe Reinforcement Learning with Robustness Guarantees
Mitsubishi Electric Research Laboratories(三菱电机研究实验室);Boston University(波士顿大学)
本文提出一种基于最优传输代价不确定性集的安全强化学习框架,通过构造最坏情况虚拟状态转移实现鲁棒性,在连续控制任务中显著提升部署安全性。
2024-03-28 cs.AI cs.LG stat.ML
Diversity-Driven Exploration Strategy for Deep Reinforcement Learning
National Tsing Hua University(国立清华大学)
有效探索仍然是强化学习中具有挑战性的研究问题,特别是当环境包含大的状态空间,欺骗性局部最优或稀疏奖励时。为了解决这个问题,我们提出了一种多样性驱动的探索方法,它可以很容易地与关闭和对政策强化学习算法相结合。我们表明,通过简单地添加一个距离测量的损失函数,所提出的方法显着提高代理的探索行为,从而防止政策陷入局部最优。我们进一步提出了一种自适应缩放方法来稳定学习过程。我们在Atari 2600上的实验结果表明,我们的方法在平均得分和探索效率方面优于基线方法。
2018-10-28 cs.AI stat.ML
Continual Reinforcement Learning via Autoencoder-Driven Task and New Environment Recognition
École Polytechnique Fédérale de Lausanne(瑞士联邦理工学院)
针对无外部变化信号的持续强化学习问题,提出融合策略优化与熟悉度自动编码器的端到端系统,以识别新任务和环境并选择性复用旧知识。
2025-05-13 cs.AI cs.LG
Combining Pessimism with Optimism for Robust and Efficient Model-Based Deep Reinforcement Learning
ETH(苏黎世联邦理工学院)
在现实世界的任务中,强化学习(RL)代理经常会遇到在训练期间不存在的情况。为了确保可靠的性能,RL代理需要表现出对最坏情况的鲁棒性。强大的RL框架通过代理和对手之间的最坏情况优化来解决这一挑战。以前的鲁棒RL算法要么是样本效率低,缺乏鲁棒性保证,要么不能扩展到大问题。我们提出了鲁棒幻觉上置信RL(RH-UCRL)算法来可证明地解决这个问题,同时获得接近最佳的样本复杂度保证。RH-UCRL是一种基于基于模型的强化学习(MBRL)算法,它能有效区分认知和任意的不确定性,并在策略学习过程中有效探索代理和对手的决策空间。我们通过神经网络集成模型以及神经网络策略将RH-UCRL扩展到复杂任务。在实验中,我们证明了RH-UCRL在各种对抗环境中优于其他强大的深度RL算法。
2021-03-18 cs.AI cs.LG stat.ML
Attention-based Curiosity-driven Exploration in Deep Reinforcement Learning
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
强化学习能够通过与环境的交互来训练智能体。然而,在大多数现实世界的情况下,外部反馈是稀疏或不充分的,因此需要内在的奖励配方成功训练代理。这项工作调查和扩展好奇心驱动的探索范式。首先,采用概率方法来利用注意力机制的优势,该机制已成功应用于深度学习的其他领域。结合它们,我们提出了新的方法,如AttA 2C,演员批评框架的扩展。其次,扩展了另一种基于好奇心的方法- ICM。该模型利用注意力来强调ICM中动态模型的特征,此外,我们还修改了损失函数,从而产生了一个新的好奇心公式,我们称之为理性好奇心。相应的实现可以在https://github.com/rpatrik96/AttA2C/上找到。
2019-10-23 cs.AI cs.LG stat.ML
Causality-driven Hierarchical Structure Discovery for Reinforcement Learning
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Cambricon Technologies(寒武纪科技);Southern University of Science and Technology(南方科技大学);Institute of Software, CAS(中国科学院软件研究所);University of Science and Technology of China(中国科学技术大学)
分层强化学习(HRL)在高质量分层结构(例如,子目标或选项)。然而,如何自动发现高质量的层次结构仍然是一个巨大的挑战。以往的HRL方法采用随机性驱动的探索范式,探索效率低,难以发现复杂环境中的层次结构。为了解决这个问题,我们提出了CDHRL,一个空缺驱动的层次化强化学习框架,利用空缺驱动的发现,而不是随机驱动的探索,有效地建立高质量的层次结构在复杂的环境。关键的见解是,环境变量之间的因果关系自然适合于建模可达子目标及其依赖关系,并可以完美地指导构建高质量的层次结构。在2D-Minecraft和Eden两个复杂环境中的实验结果表明,CDHRL显著提高了空间驱动范式的探索效率。
2022-10-13 cs.LG
PEORL: Integrating Symbolic Planning and Hierarchical Reinforcement Learning for Robust Decision-Making
Maana Inc.(Maana公司);Auburn University(奥本大学)
强化学习和符号规划都被用于构建智能自主智能体。强化学习依赖于从与现实世界的交互中学习,这通常需要大量的经验。符号规划依赖于手工制作的符号知识,这可能对领域的不确定性和变化不鲁棒。在本文中,我们提出了一个统一的框架{ \em PEORL},集成了符号规划与分层强化学习(HRL),以应付决策的动态环境中的不确定性。符号计划用于指导Agent的任务执行和学习,并将学习到的经验反馈给符号知识以改进规划。这种方法导致快速的政策搜索和强大的符号计划在复杂的领域。该框架在HRL的基准域上进行了测试。
2018-06-05 cs.AI cs.LG stat.ML
Risk-Averse Model Uncertainty for Distributionally Robust Safe Reinforcement Learning
Boston University(波士顿大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
本文提出一种基于相干失真风险度量的风险厌恶深度强化学习框架,通过避免极小极大优化实现高效无模型训练,并在扰动测试环境中验证了其鲁棒安全性能。
2023-10-26 cs.AI cs.LG stat.ML