Tutoring Reinforcement Learning via Feedback Control
University of Salerno(萨勒诺大学)
我们介绍了一个控制辅导强化学习(CTRL)算法。我们的想法是加强表格学习算法的控制策略与有限的知识的系统模型。通过指导学习过程,可以大大降低学习速率。我们使用的经典问题的稳定倒立摆作为基准,数值说明的优点和缺点的方法。
2020-12-12 cs.LG cs.SY eess.SY
STEEL: Singularity-aware Reinforcement Learning
Yale University(耶鲁大学);George Washington University(乔治·华盛顿大学);Amazon(亚马逊公司)
针对批量强化学习中的分布奇异性问题,提出STEEL算法,结合最大均值差异与分布鲁棒优化进行误差分析,在最小数据覆盖假设下实现有限样本遗憾保证,并通过模拟和实验验证其优越性。
2024-06-26 cs.LG econ.EM stat.ME
Bias-reduced Multi-step Hindsight Experience Replay for Efficient Multi-goal Reinforcement Learning
Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室)
多目标强化学习在规划和机器人操作中有着广泛的应用。多目标强化学习的两个主要挑战是稀疏奖励和样本效率低下。后见之明经验重演(HER)旨在通过目标重新标记来解决这两个挑战。然而,HER相关的工作仍然需要数百万的样本和巨大的计算。在本文中,我们提出了多步后见之明经验重放(MHER),结合多步重新标记的回报的基础上$n$ -步骤重新标记,以提高样本效率。尽管$n$ -步骤重新标记的优点,我们从理论和实验上证明了由$n$ -步骤重新标记引入的政策外$n$-步骤偏差可能导致在许多环境中的性能差。为了解决上述问题,提出了两种降低偏置的MHER算法:MHER($λ$)和基于模型的MHER(MMHER)。MHER($λ$)利用了$λ$的回报,而MMHER则受益于基于模型的价值扩张。大量多目标机器人任务的实验结果表明,我们的解决方案可以成功地减轻政策外的$n$ -步骤的偏见,并实现显着更高的样本效率比HER和课程引导HER与HER以外的额外计算。
2022-09-26 cs.AI cs.LG cs.RO
Prism: Spectral Parameter Sharing for Multi-Agent Reinforcement Learning
Gwangju Institute of Science and Technology (GIST)(光州科学技术学院)
Prism通过谱域参数共享机制,在多智能体强化学习中实现智能体间多样性与资源效率的平衡。
2026-02-06 cs.AI cs.LG cs.MA
Fewer May Be Better: Enhancing Offline Reinforcement Learning with Reduced Dataset
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Tsinghua University(清华大学);Washington University in St. Louis(圣路易斯华盛顿大学)
针对离线强化学习中数据集子集选择问题,提出ReDOR方法,将选择问题转化为梯度近似优化,利用改进的OMP高效求解,在提升性能的同时降低计算复杂度。
2025-02-26 cs.LG
Representations and Exploration for Deep Reinforcement Learning using Singular Value Decomposition
University of Massachusetts(马萨诸塞大学);DeepMind(深度思维)
针对深度强化学习的表示学习与探索难题,提出基于奇异值分解的方法,可保留转移结构、免费生成伪计数估计,适配大规模及部分可观测场景,在DM-Lab-30和DM-Hard-8基准上验证了有效性。
2023-05-02 cs.AI cs.LG
MBCAL: Sample Efficient and Variance Reduced Reinforcement Learning for Recommender Systems
Baidu Inc.(百度公司);Baidu Research(百度研究院)
在推荐系统中,如新闻流,这是至关重要的,以优化长期效用的连续用户系统交互过程。以往的工作已经证明了强化学习在这个问题上的能力。然而,在在线系统中实现深度强化学习存在许多实际挑战,包括低样本效率、不可控的风险和过度的方差。为了解决这些问题,我们提出了一种新的强化学习方法,即基于模型的反事实优势学习(MBCAL)。该方法充分利用了推荐系统的特点,借鉴了基于基于模型的强化学习方法,提高了样本效率。它有两个组成部分:以自回归形式逐个预测即时用户行为的环境模型,以及预测未来效用的未来优势模型。为了减轻学习未来优势模型时过度方差的影响,我们采用了来自环境模型的反事实比较。因此,该方法具有较高的样本效率和显著较低的方差;同时,它能够使用现有的用户日志,以避免从头开始的风险。与其性能相比,它的实现成本相对较低,与实际系统吻合较好。理论分析和详细的实验。实验结果表明,该方法在样本效率和渐近性能上均优于其他监督学习和基于RL的方法。
2020-06-18 cs.IR cs.LG
Terminal Fano 4-fold Hypersurfaces via Deep Reinforcement Learning
Mathematics Institute(数学研究所)
本文提出深度强化学习算法用于高维整数格中稀疏奖励探索,训练前馈神经网络作为动态搜索启发法,用于发现具有终端奇点的Fano四重超曲面,填补了代数几何理论发展的重要空白。
2026-11-04 cs.LG math.AG
Online Weighted Q-Ensembles for Reduced Hyperparameter Tuning in Reinforcement Learning
Pontifical Catholic University of Rio de Janeiro(里约热内卢天主教大学)
强化学习是机器人控制学习的一种很有前途的范例,它允许在不需要动力学模型的情况下学习复杂的控制策略。然而,即使是最先进的算法也很难调整到最佳性能。我们建议采用多个强化学习代理的集成,每个代理具有不同的超参数集,以及在线选择最佳性能集的机制。在文献中,合奏技术通常用于提高性能,但目前的工作专门解决减少超参数调整工作。此外,我们的方法的目标在线学习一个机器人系统,并不需要并行运行多个模拟器。虽然这个想法是通用的,但选择的模型是深度确定性策略梯度,它是一种代表性的深度学习行动者-批评者方法,在连续动作设置中具有良好的性能,但已知具有高方差。我们比较了我们的在线加权q-集成的方法,q-平均集成策略在文献中使用替代政策的培训,以及在线培训,证明了新方法的优势,在消除超参数调整。在常见的机器人基准环境中验证了对现实世界系统的适用性:双足机器人半猎豹和游泳者。与使用随机参数化的q-平均集成相比,在线加权Q-集成呈现出总体较低的方差和优越的结果。
2022-09-29 cs.LG cs.RO
Autonomous Platoon Control with Integrated Deep Reinforcement Learning and Dynamic Programming
深度强化学习(Deep Reinforcement Learning,DRL)被认为是一种潜在的车辆跟驰控制方法,主要用于支持单个跟驰车辆。然而,当一个车队中有多辆跟随车辆时,尤其是在前车行为不可预测的情况下,学习稳定有效的车辆跟随策略更具挑战性。在这种情况下,我们采用了一个集成的DRL和动态规划(DP)的方法来学习自主队列控制策略,它嵌入了深度确定性策略梯度(DDPG)算法到一个有限的地平线值迭代框架。DP框架虽然可以提高DDPG的稳定性和性能,但它存在采样率和训练效率较低的局限性。在本文中,我们提出了一种算法,即通过使用平稳近似的简化状态空间扫描的时域DDPG(FH-DDPG-SS),它使用三个关键思想来克服上述限制,即,在时间上向后转移网络权重,对较早的时间步长进行稳定的策略近似,以及扫过缩减的状态空间。为了验证FH-DDPG-SS算法的有效性,利用实际驾驶数据进行了仿真,并将FH-DDPG-SS算法与基准算法的性能进行了比较。最后,验证了FH-DDPG-SS的队列安全性和弦稳定性。
2022-11-18 cs.AI cs.LG cs.SY
A Joint Imitation-Reinforcement Learning Framework for Reduced Baseline Regret
Texas A&M University(德克萨斯农工大学);University of Edinburgh(爱丁堡大学)
在各种控制任务领域中,现有的控制器提供了一个基线水平的性能,尽管可能是次优的,但应该保持。依赖于对状态和动作空间的广泛探索的强化学习(RL)算法可以用于优化控制策略。然而,完全探索性的RL算法可能会在训练期间将性能降低到基线水平以下。在本文中,我们解决的问题,在线优化的控制策略,同时最大限度地减少遗憾w.r.t的基线政策性能。我们提出了一个联合模仿-强化学习框架,表示为JIRL。JIRL中的学习过程假设基线策略可用,并在设计时考虑了两个目标:\textbf{(a)}利用基线的在线演示,以最大限度地减少培训期间对基线策略的遗憾,以及\textbf{(b)}最终超过基线性能。JIRL通过最初学习模仿基线策略并逐渐将控制从基线转移到RL代理来实现这些目标。实验结果表明,JIRL有效地实现了上述目标,在几个连续的动作空间域。结果表明,JIRL是一个国家的最先进的算法,在其最终的性能,而招致显着较低的基线遗憾在训练过程中,在所有提出的领域。此外,结果表明,在基线遗憾的减少因子高达$21$在一个国家的最先进的基线遗憾最小化方法。
2022-09-20 cs.AI cs.LG
Variational multiscale reinforcement learning for discovering reduced order closure models of nonlinear spatiotemporal transport systems
Oklahoma State University(俄克拉荷马州立大学);Norwegian University of Science and Technology(挪威科技大学);SINTEF Digital(SINTEF数字研究所)
众多科学应用的计算建模和仿真中的一个核心挑战是,由于潜在的高度非线性多尺度相互作用,实现其粗粒度表示的鲁棒性和准确性封闭。这些封闭模型在许多非线性时空系统中很常见,以考虑由于降阶表示引起的损失,包括流体中的许多输运现象。以前的数据驱动闭包建模工作主要集中在使用高保真仿真数据的监督学习方法上。另一方面,强化学习(RL)是时空扩展系统中一种功能强大但相对未知的方法。在这项研究中,我们提出了一个模块化的动态闭包建模和发现框架,以稳定的Galerkin投影的降阶模型,可能会出现在许多非线性时空动力系统的二次非线性。然而,创建鲁棒RL代理的关键要素是引入可行的奖励函数,该函数可以由RL模型和高保真仿真数据之间的任何差异度量构成。首先,我们引入了一个多模态强化学习(MMRL)发现模式依赖的封闭政策,利用高保真度的数据奖励我们的RL代理。然后,我们制定了一个变分多尺度RL(VMRL)的方法来发现封闭模型,而不需要访问高保真度的数据在设计的奖励函数。具体来说,我们的主要创新是利用变分多尺度形式主义来量化模态之间的差异在伽辽金系统的相互作用。对粘性Burgers方程的模拟结果表明,所提出的VMRL方法可以得到鲁棒且精确的闭包参数化,并有可能用于发现复杂动力系统的尺度感知闭包模型.
2022-07-07 cs.LG math.DS physics.flu-dyn
Enhancing sample efficiency in reinforcement-learning-based flow control: replacing the critic with an adaptive reduced-order model
School of Mechanical Engineering, Zhejiang University(浙江大学机械工程学院);Department of Mechanical Engineering, National University of Singapore(新加坡国立大学机械工程系);Department of Modern Mechanics, University of Science and Technology of China(中国科学技术大学近代力学系)
本文提出一种基于自适应降阶模型的强化学习框架,通过物理洞察设计降阶模型结构,结合线性动力系统和神经微分方程估计流体非线性,实现更高效的控制器优化。
2026-04-05 cs.LG
Mitigating Multi-Stage Cascading Failure by Reinforcement Learning
GEIRI North America(美国GEIRI北美公司);Aalborg University(奥尔堡大学)
提出了一种基于强化学习(RL)方法的级联故障缓解策略。首先介绍了强化学习的基本原理。然后,多级级联故障(MSCF)的问题,并研究其挑战。该问题由基于DC-OPF(最优潮流)的RL来解决。RL框架的关键元素(奖励,状态等)的设计也进行了详细的讨论。在IEEE 118节点系统上,通过浅层和深层神经网络进行的实验表明,在降低系统崩溃率方面取得了可喜的结果。
2019-08-19 cs.LG cs.SY eess.SY
Data-driven control of spatiotemporal chaos with reduced-order neural ODE-based models and reinforcement learning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
深度强化学习(RL)是一种数据驱动的方法,能够发现高维系统的复杂控制策略,使其在流控制应用中具有前景。特别是,目前的工作是出于减少湍流中的能量耗散的目标,所考虑的例子是时空混沌动力学的Kuramoto-Sivashinsky方程(KSE)。与RL相关的主要挑战是必须通过与目标系统重复交互来生成大量训练数据,当系统在计算或实验上昂贵时,这使得其成本高昂。我们以数据驱动的方式缓解了这一挑战,通过自动编码器将降维与神经ODE框架相结合,从有限的数据集中获得低维动态模型。我们在RL训练过程中用这种数据驱动的降阶模型(ROM)代替真实系统,以有效地估计最优策略,然后将其部署在真实系统上。对于KSE驱动与本地化的强迫(“喷气机”)在四个位置,我们证明了我们能够学习的ROM,准确地捕捉驱动的动态,以及基本的自然动态只是从快照的KSE经历随机激励。使用这个ROM和最小化耗散和功耗成本的控制目标,我们使用深度RL从中提取控制策略。我们表明,基于ROM的控制策略转化为真正的KSE和突出的RL代理发现和稳定的KSE系统的基本强制平衡解决方案。我们发现,这个强制平衡捕获的ROM和发现通过RL是一个现有的已知的自然KSE的平衡解决方案。
2022-05-01 cs.LG nlin.CD
Equivariant Reinforcement Learning for Quadrotor UAV
George Washington University(乔治华盛顿大学)
提出了一种适用于四旋翼无人机的等变强化学习框架。强化学习的成功训练通常需要与环境进行大量交互,这阻碍了其适用性,特别是当可用的计算资源有限时,或者当没有可靠的仿真模型时。我们确定了四旋翼动力学的等方差特性,使得训练中所需的状态的维度减少了一个,从而大大提高了强化学习的采样效率。这说明了与流行的强化学习技术的TD 3和SAC的数值例子。
2023-02-26 cs.LG math.OC
Symmetry reduction for deep reinforcement learning active control of chaotic spatiotemporal dynamics
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
深度强化学习(RL)是一种数据驱动、无模型的方法,能够发现高维系统中宏观目标的复杂控制策略,使其在流控制方面的应用前景广阔。许多流控制感兴趣的系统都具有对称性,如果忽略这些对称性,就会显著抑制朴素深度RL方法的学习和性能。使用由Kuramoto-Sivashinsky方程(KSE)组成的测试平台,等距致动器,以及最小化耗散和功耗成本的目标,我们证明了通过将深度RL问题移动到一个简化的空间,我们可以减轻深度RL天真应用中固有的局限性。我们证明了,与朴素的深度RL发现的策略相比,减少冗余的深度RL提高了数据效率,并提高了控制策略的有效性。有趣的是,由对称性感知控制代理学习的策略将系统推向强制KSE的平衡状态,该平衡状态通过延续连接到非强制KSE的平衡,尽管没有给出关于其存在的明确信息。即,为了实现其目标,RL算法发现并稳定系统的平衡状态。最后,我们证明了减少的控制策略是强大的观察和驱动信号噪声,以及系统参数,它没有观察到之前。
2021-04-09 cs.LG nlin.CD
Laser Scan Path Design for Controlled Microstructure in Additive Manufacturing with Integrated Reduced-Order Phase-Field Modeling and Deep Reinforcement Learning
Computational Science Program, The University of Texas at El Paso(德克萨斯理工大学计算科学计划);Department of Aerospace and Mechanical Engineering, The University of Texas at El Paso(德克萨斯理工大学航空航天与机械工程系);School of Manufacturing Systems and Networks, Arizona State University(亚利桑那州立大学制造系统与网络学院)
针对激光粉末床熔融中的微观结构控制难题,提出基于3D U-Net降阶相场代理模型与深度强化学习的方法,优化激光扫描路径以生成目标晶粒结构,显著提升了计算效率与微观结构控制能力。
2025-04-12 cs.CE cs.LG math.OC
Geometric Multi-Model Fitting by Deep Reinforcement Learning
Xiamen University(厦门大学)
本文讨论了从噪声、非结构化点集数据(例如,激光扫描点云)。我们制定多模型拟合问题作为一个顺序的决策过程。然后,我们使用深度强化学习算法来学习最佳决策,以获得最佳拟合结果。在本文中,我们比较了我们的方法对国家的最先进的模拟数据。结果表明,我们的方法显着减少了拟合迭代的次数。
2018-12-27 cs.CV cs.LG
GAE Falls Short in Imperfect-Information Self-Play Reinforcement Learning
MIT(麻省理工学院)
本文研究了不完全信息博弈中自博弈强化学习中GAE估计器的方差问题,提出Q-boosting和VRPO算法以减少方差并提升性能。
2026-11-10 cs.GT cs.LG
The Power of Active Multi-Task Learning in Reinforcement Learning from Human Feedback
Peking University(北京大学)
本文将RLHF形式化为上下文决斗老虎机问题,提出一种通过少量数据估计任务相关性并分配不同样本量的主动多任务学习算法,显著降低了源任务样本复杂度,且目标任务样本复杂度仅与潜在空间维度呈线性关系。
2025-03-05 cs.LG
MSVIPER: Improved Policy Distillation for Reinforcement-Learning-Based Robot Navigation
University of Maryland(马里兰大学);National Institute for Standards and Technology(美国国家标准与技术研究院)
我们提出了多场景可验证的强化学习通过政策提取(MSVIPER),一种新的方法,政策蒸馏决策树,以改善机器人导航。MSVIPER使用任何涉及学习状态-动作映射的强化学习(RL)技术来学习“专家”策略,然后使用模仿学习来学习决策树policy. We证明,MSVIPER导致高效的决策树,并且可以准确地模仿专家策略的行为。此外,我们提出了有效的政策蒸馏和树修改技术,利用决策树结构,允许改进的政策,而无需再培训。我们使用我们的方法来提高室内和室外场景的RL为基础的机器人导航算法的性能。我们证明了减少冻结和振荡行为(减少高达95%)的移动机器人导航动态障碍物和减少振动和振荡(高达17%)的室外机器人导航复杂,不平坦的地形方面的好处。
2022-09-19 cs.AI cs.HC cs.LG
Extreme State Aggregation Beyond MDPs
Australian National University(澳大利亚国立大学)
我们考虑一个强化学习设置,其中智能体在观察-奖励-动作循环中与环境交互,而没有任何(特别是)MDP)对环境的假设。状态聚合和更一般的特征强化学习涉及将历史/原始状态映射到简化/聚合状态。两者背后的想法是,由此产生的简化过程(近似)形成一个小的稳态有限状态MDP,然后可以有效地求解或学习。我们大大推广现有的聚合结果表明,即使减少的过程是不是一个MDP,(q-)价值函数和(最佳)的政策相关联的MDP具有相同的状态空间大小解决了原来的问题,只要解决方案可以近似地表示为一个功能的减少状态。这意味着所需的状态空间大小的上限,保持一致的所有RL问题。这也可以解释为什么为MDP设计的RL算法有时表现得比MDP好。
2014-07-12 cs.AI cs.LG
Stagewise Reinforcement Learning and the Geometry of the Regret Landscape
Timaeus(泰缪斯);University of Oxford(牛津大学)
该研究提出通过局部学习系数分析强化学习的后悔景观几何,揭示了深度强化学习中策略分阶段发展的机制。
2026-11-10 cs.LG
RL Is Neither a Panacea Nor a Mirage: Understanding Supervised vs. Reinforcement Learning Fine-Tuning for LLMs
PolyTechnique Montreal(蒙特利尔大学);Mila(Mila研究院);McGill(麦吉尔大学);UDeM(UDeM大学)
本文通过24点游戏OOD变体与谱诊断分析SFT和RL-FT对LLM表示及OOD性能的影响,发现RL主要抵消SFT引起的方向漂移,并提出低秩UV合并和浅层重置等低成本恢复方法。
2025-08-22 cs.AI cs.LG
Guiding Global Placement With Reinforcement Learning
Nvidia(英伟达)
GPU加速的全局和细节布局的最新进展将解决方案的时间减少了一个数量级。这一进步使我们能够利用数据驱动的优化(如强化学习)来提高布局结果的最终质量。在这项工作中,我们增加了最先进的,基于力的全球布局求解器与强化学习代理培训,以提高最终的细节放置半周长线长(HPWL)。我们提出了新的控制方案,无论是全球或本地化控制的布局过程。然后,我们训练强化学习代理使用这些控制来指导放置改进的解决方案。在这两种情况下,增强的优化器都会找到改进的放置解决方案。我们经过培训的代理商在一系列学术基准上的最终细节排名HPWL平均提高1%,在实际工业设计上的全球排名HPWL平均提高1%以上。
2021-09-06 cs.LG
Mitigating Dimensionality in 2D Rectangle Packing Problem under Reinforcement Learning Schema
Warsaw University of Technology(华沙理工大学);Faculty of Electronics and Information Technology(电子与信息技术学院)
本文将强化学习应用于二维矩形装箱问题,通过简化状态与动作空间表示并结合UNet架构与PPO算法,实现了与MaxRect启发式算法相当的模型,且在泛化至非矩形装箱和复杂约束上具巨大潜力。
2024-09-15 cs.LG math.OC
An Improved Convergence Analysis of Stochastic Variance-Reduced Policy Gradient
University of California, Los Angeles(加州大学洛杉矶分校)
我们重新审视了Papini等人(2018)提出的用于强化学习的随机方差降低策略梯度(SVRPG)方法。我们提供了一个改进的SVRPG的收敛性分析,并表明它可以找到一个$ε$ -近似平稳点的性能函数内$O(1/ε^{5/3})$轨迹。该示例复杂度比最著名的结果$O(1/ε^2)$提高了$O(1/ε^{1/3})$倍。我们分析的核心是(i)重要性采样权重的方差的更严格的上限,其中我们证明方差可以通过不同策略之间的参数距离来控制;以及(ii)对历元长度和批量大小参数进行细粒度分析,以便我们可以显着减少SVRPG每次迭代所需的轨迹数量。我们还实证证明了我们的理论索赔批量大小的强化学习基准任务的有效性。
2019-05-29 cs.AI cs.LG math.OC
Conditioning of Reinforcement Learning Agents and its Policy Regularization Application
ITMO University(ITMO大学)
研究了监督学习问题的雅可比奇异值正则化结果。研究还表明,雅可比条件正则化可以帮助避免生成对抗网络中的“模式切换”问题。在本文中,我们试图回答以下问题:关于政策条件的信息是否有助于形成一个更稳定和通用的强化学习代理政策?为了回答这个问题,我们进行了研究的雅可比条件行为在政策优化。据我们所知,这是第一个在强化学习代理中研究条件数的工作。我们提出了一个条件正则化算法,并测试其性能的连续控制任务的范围。最后,我们比较了CoinRun环境中的算法与分离的训练结束测试水平,以分析条件正则化如何有助于代理的泛化。
2020-07-13 cs.LG stat.ML
Exploratory Optimal Stopping: A Singular Control Formulation
本文提出了一种基于强化学习的探索性最优停止方法,通过正则化和动态规划原理解决退化奇点随机控制问题,并设计了可扩展的 actor-critic 类型无模型算法。
2026-03-11 cs.LG math.OC q-fin.MF
UAV Path Planning Employing MPC- Reinforcement Learning Method Considering Collision Avoidance
University of Luxembourg(卢森堡大学)
针对复杂不确定环境下的无人机路径规划问题,设计了一种基于深度确定性策略梯度算法的长短期记忆(LSTM)网络的模型预测控制(MPC)。在所提出的解决方案中,LSTM-MPC在DDPG网络中作为确定性策略操作,并且它利用预测池来存储预测的未来状态和动作,以提高鲁棒性和效率。预测池的使用还使得能够初始化批评网络,从而与传统的强化学习和深度强化学习方法相比,提高了收敛速度并降低了故障率。通过数值模拟评估所提出的解决方案的有效性。
2023-03-07 cs.AI cs.LG cs.RO
Playing Text-Adventure Games with Graph-Based Deep Reinforcement Learning
School of Interactive Computing(交互式计算学院);Georgia Institute of Technology(佐治亚理工学院)
基于文本的冒险游戏提供了一个在组合动作空间(如自然语言)的背景下探索强化学习的平台。我们提出了一个深度强化学习架构,将游戏状态表示为在探索过程中学习的知识图谱。此图用于修剪动作空间,从而实现更有效的探索。采取哪种行动的问题可以简化为一个问答任务,这是一种迁移学习的形式,可以预先训练我们架构的某些部分。在使用TextWorld框架的实验中,我们表明,我们提出的技术可以比基线替代品更快地学习控制策略。我们还在https://github.com/rajammanabrolu/KG-DQN上开源了我们的代码。
2019-03-25 cs.AI cs.CL cs.LG
Singular Perturbation-based Reinforcement Learning of Two-Point Boundary Optimal Control Systems
这项工作提出了一种学习系统的技术,其中的学习过程是由系统的物理知识指导的。特别地,我们利用强化学习解决了具有未知模型动态的线性时变系统的两点边界最优控制问题。借用奇异摄动理论的技巧,我们将时变最优控制问题转化为一对时不变的子问题。这允许利用偏离策略的迭代方法来学习控制器增益。我们表明,基于学习的控制器的性能近似的基于模型的最优控制器和近似的精度提高的时间范围的控制问题的增加。最后,通过仿真实例验证了本文的结论.
2021-04-29 cs.SY eess.SY math.OC
Optimal Singular Perturbation-based Model Reduction for Heterogeneous Power Systems
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出两种基于奇异摄动的电力系统降阶方法,无需先验知识即可最优识别快速状态,通过贪心优化和非线性优化实现模型降阶,验证了方法的通用性和准确性。
2025-11-27 cs.SY eess.SY
Towards Safe Reinforcement Learning with Reduced Conservativeness: A Case Study on Drone Flight Control
KTH Royal Institute of Technology(皇家理工学院);University of Copenhagen(哥本哈根大学)
该研究提出一种降低形式化方法保守性的安全强化学习框架,通过zonotopic可达性分析保障实时安全,经无人机峡谷飞行验证,可在确保安全的同时提升控制器在线训练的探索性。
2026-08-28 cs.SY eess.SY
A Reinforcement Learning Engine with Reduced Action and State Space for Scalable Cyber-Physical Optimal Response
针对电力系统应急响应可扩展性不足的问题,提出融合动作与状态空间约简RID模块的强化学习引擎RL-RID-GridResponder,在DoS攻击等场景下实现快速准确的最优响应,可推广至其他突发事件。
2024-10-06 cs.SY eess.SY
Hierarchical Control of Multi-Agent Systems using Online Reinforcement Learning
针对具有未知状态空间模型和分离控制目标的异构线性多智能体系统,提出了一种新的基于强化学习的分层线性二次型调节器(LQR)控制器设计方法.这种分离源于将代理分组为多个不重叠的组,并将控制目标定义为两个不同的目标。第一个目标是最小化一个组明智的块分散LQR函数,模型组级任务。另一方面,第二个目标试图最小化组的平均状态(质心)之间的LQR函数。利用这种分离,我们重新定义的加权矩阵的LQR功能的方式,他们允许我们解耦各自的代数Riccati方程。此后,我们开发了一种强化学习策略,使用在线测量的代理状态和平均状态学习各自的控制器的基础上近似Riccati方程。由于第一个控制器是块分散的,因此可以并行学习,而第二个控制器由于平均而降低了维度,因此与集中式强化学习相比,整体设计的学习时间显着减少。
2020-07-28 cs.SY eess.SY math.DS
Phase Re-service in Reinforcement Learning Traffic Signal Control
本文提出在强化学习交通信号控制中引入基于冲击波理论的相位再服务机制,将问题建模为SMDP并用PPO求解,实验表明该方法显著降低车辆延误和停车次数。
2024-08-02 cs.SY eess.SY