Time-attenuating Twin Delayed DDPG Reinforcement Learning for Trajectory Tracking Control of Quadrotors
Beijing Institute of Technology(北京理工大学)
四旋翼飞行器的连续轨迹跟踪控制在考虑环境噪声的情况下是比较复杂的。由于难以对环境动态进行建模,基于传统控制理论的跟踪方法,例如模型预测控制,在跟踪精度和响应时间上具有局限性。我们提出了一个时间衰减双延迟DDPG,无模型算法,是强大的噪声,以更好地处理轨迹跟踪任务。构建了一个深度强化学习框架,其中设计了时间衰减策略以避免陷入局部最优。实验结果表明,该算法跟踪误差小,运算时间仅为传统算法的十分之一。利用OpenAI Mujoco工具对所提算法进行了验证,仿真结果表明,所提方法能显著提高训练效率,有效提高精度和收敛稳定性。
2023-02-13 cs.RO cs.SY eess.SY
Statistically Consistent Inverse Optimal Control for Linear-Quadratic Tracking with Random Time Horizon
逆最优控制(IOC)的目标是根据观测到的最优轨迹来确定潜在的目标函数。它提供了一个强大的框架来建模专家的行为,和一个数据驱动的方式来设计一个目标函数,使诱导的最优控制是适应上下文环境。本文设计了一种求解随机时间范围线性二次跟踪问题的IOC算法,并证明了算法的统计相容性。更具体地说,所提出的估计是一个凸优化问题的解决方案,这意味着估计不遭受局部极小值。这使得经过验证的统计一致性能够在实践中实际实现。该算法还验证了模拟数据以及从现实世界的实验数据,无论是在确定的目标函数的人类跟踪运动的设置。在合成数据集上验证了算法的统计一致性,在真实数据集上的实验结果表明,通过估计目标函数,可以得到较好的人体跟踪运动预测结果。结果表明,该理论和模型在实际应用中具有良好的性能.此外,由于所识别的目标函数描述了个人习惯和偏好,因此所识别的模型可以用作个性化康复机器人控制器设计中的控制目标。
2022-04-27 cs.SY eess.SY math.OC
Fish Growth Trajectory Tracking via Reinforcement Learning in Precision Aquaculture
本文研究了在一个典型的生物能量生长模型下,通过强化学习跟踪鱼类生长轨迹的方法。由于养殖条件复杂,环境因素不确定,如温度、溶解氧、非离子氨等,以及鱼类生长模型的多输入、强非线性耦合等,基于模型的控制方法无法有效解决精密养殖中的生长轨迹跟踪问题。为此,我们制定的增长轨迹跟踪问题的采样数据最优控制使用离散状态-动作对马尔可夫决策过程。我们提出了两个Q-学习算法,学习最优控制策略从采样数据的鱼的生长轨迹在鱼的生命周期的每个阶段,从青少年到所需的市场重量在水产养殖环境。Q-学习方案学习最优的饲养控制策略,以在笼子里养殖的鱼的生长速率和最优的饲养速率控制策略与最优的温度曲线的水产养殖鱼的生长速率在坦克。仿真结果表明,两种Q学习策略都能在较小的进给量下实现较高的轨迹跟踪性能。
2021-03-12 cs.SY eess.SY
$\text{H}_{\infty}$ Tracking Control via Variable Gain Gradient Descent-Based Integral Reinforcement Learning for Unknown Continuous Time Nonlinear System
连续时间非线性系统的最优跟踪问题在文献中得到了广泛的研究。然而,在一些应用中,缺乏有关系统动力学的知识对解决最优跟踪问题提出了严峻的挑战。这已经发现越来越多的研究人员之间的关注,最近,和整体强化学习(IRL)为基础的方法与演员神经网络(NN)增强已部署到这一目的。然而,很少有研究已经针对无模型的$H_{\infty}$最优跟踪控制,有助于衰减干扰对系统性能的影响,没有任何先验知识的系统动态。为此,最近提出了一种基于递归最小二乘的参数更新。然而,基于梯度下降的参数更新方案对对象动态的实时变化更敏感。经验重放(ER)技术已被证明是通过迭代地利用过去的观察来改善神经网络权重的收敛性。基于此,本文提出了一种基于变增益梯度下降和经验重放技术的参数更新律,用于调整批评者、行动者和干扰神经网络的权值。
2020-01-21 cs.SY eess.SY
Off Policy Risk Sensitive Reinforcement Learning Based Optimal Tracking Control with Prescribe Performances
针对最优跟踪控制问题,提出了一种基于非策略强化学习的控制策略,使系统在学习过程中达到规定的全状态性能。将最优跟踪控制问题转化为基于辅助系统的最优调节问题。在一个优化框架下,将规定性能的要求转化为约束满足问题,并通过风险敏感的状态惩罚项来处理。为了得到Hamilton Jacobi Bellman方程的近似解,提出了一种结合当前数据和经验数据的非策略自适应批评学习结构。通过使用经验数据,建议的批评学习代理的权重估计更新律保证权重收敛到实际值。与一般的权值收敛需要引入外部信号以满足激励持续性条件的方法相比,该方法具有一定的实用性。给出了闭环系统稳定性和权值收敛性的证明。仿真结果验证了所提出的基于非策略风险敏感强化学习控制策略的有效性。
2020-08-31 cs.SY eess.SY
Online Tracking with Predictions for Nonlinear Systems with Koopman Linear Embedding
University of California San Diego(加州大学圣地亚哥分校)
本文提出了一种基于Koopman线性嵌入的模型无关预测跟踪算法,证明其在非线性系统中能实现与线性系统相同的动态遗憾性能。
2026-03-08 cs.SY eess.SY math.OC
Toward Reliable Designs of Data-Driven Reinforcement Learning Tracking Control for Euler-Lagrange Systems
本文讨论了基于强化学习的直接信号跟踪控制,其目标是开发数学上合适且实用的设计方法。具体来说,我们的目标是提供可靠且易于实现的设计,以实现可重复的基于神经网络的解决方案。我们提出的新设计利用了两种控制设计框架:一种基于强化学习的数据驱动方法,以提供所需的自适应和(次)最优性,以及一种基于backstepping的方法,以提供闭环系统稳定性框架。我们开发这项工作的基础上建立的直接启发式动态规划(dHDP)的学习范式进行在线学习和适应和一类重要的非线性动态描述为欧拉-拉格朗日系统的backstepping设计。我们提供了一个理论保证的整体动态系统的稳定性,近似非线性神经网络的权重收敛,以及贝尔曼(次)最优的控制策略。我们使用模拟来证明显着改善的设计性能,所提出的方法在原来的dHDP。
2021-03-30 cs.SY eess.SY
Enhancing reinforcement learning for population setpoint tracking in co-cultures
本研究提出一种新颖的强化学习回报函数,通过奖励多设定点同时满足来优化神经网络策略,解决了共培养中种群设定点跟踪的挑战,并在大肠杆菌共培养实验中验证了其有效性。
2025-03-15 cs.SY eess.SY
Data Informed Residual Reinforcement Learning for High-Dimensional Robotic Tracking Control
本文提出数据知情残差强化学习(DR-RL)方法,通过将高维机器人解耦为低维子系统并利用一步反向数据构造增量子系统,在并行学习架构下结合基础策略与残差策略,提升高维机器人跟踪控制的样本效率与可扩展性。
2024-06-07 cs.SY eess.SY
Transient Performance of MPC for Tracking
本文研究带人工参考量的跟踪 MPC,在温和的偏差成本假设下给出闭环瞬态性能界,并证明预测时域增长时可恢复无限时域最优解。
2024-01-24 cs.SY eess.SY math.OC
UAV Target Tracking in Urban Environments Using Deep Reinforcement Learning
IIIT-Delhi(印度德里信息技术学院);Indian Institute of Science Education and Research, Bhopal(印度博帕尔科学教育与研究学院)
在城市环境中,由于视野有限、障碍物的遮挡以及目标运动的不确定性,无人机对目标的持续跟踪是一项困难的任务。车辆需要在3D中进行智能规划,以便最大限度地提高目标可见性。在本文中,我们介绍了目标跟踪DQN(TF-DQN),一种基于深度Q网络的深度强化学习技术,具有课程训练框架,用于无人机在存在障碍物和目标运动不确定性的情况下持续跟踪目标。该算法进行了评估,通过几个模拟实验定性以及定量。结果表明,无人机在不同的环境中持续跟踪目标,同时避开训练环境和不可见环境中的障碍物。
2020-07-21 cs.RO cs.SY eess.SY
Tuning Path Tracking Controllers for Autonomous Cars Using Reinforcement Learning
Instituto Superior Tecnico, University of Lisbon(里斯本大学高等技术学院);Institute for Systems and Robotics(系统与机器人研究所)
提出了一种基于强化学习的自适应路径跟踪控制系统。四参数控制器塑造车辆的行为,以在车道变换和绕行时导航。跟踪器的调整使用受过教育的Q学习算法来最小化横向和转向轨迹误差。CARLA模拟环境用于培训和测试。结果表明,车辆能够适应不同类型的参考轨迹,安全导航,跟踪误差低。在CARLA和跟踪器之间使用ROS桥导致(i)在现实系统中,以及(ii)简化了用真实车辆替换CARLA。基于非光滑系统的稳定性结果的整体架构的可靠性的论点,提出在文件的最后。
2023-01-09 cs.AI cs.SY eess.SY
Variable Gain Gradient Descent-based Reinforcement Learning for Robust Optimal Tracking Control of Uncertain Nonlinear System with Input-Constraints
近年来,针对输入受限的连续时间非线性系统的最优跟踪问题,提出了多种强化学习算法。大多数这些算法是基于一致最终有界(UUB)稳定性的概念,其中通常避免较高的学习率,以限制振荡的状态误差较小的值。然而,这是以批评神经网络权重的更高收敛时间为代价的。本文通过提出一种新的调整律来解决这个问题,该调整律包含批评神经网络的可变增益梯度下降,可以根据Hamilton-Jacobi-Bellman(HJB)误差来调整学习速率。通过允许高的学习率,所提出的可变增益梯度下降调整律可以提高神经网络权值的收敛时间。同时,它也导致更紧密的剩余集,增广系统的轨迹收敛到,导致较小的振荡状态误差。证明了所提出的更新机制的UUB稳定性的一个更严格的界。数值研究,然后验证了鲁棒强化学习控制方案在控制连续时间非线性系统。
2020-06-15 cs.SY eess.SY
Reinforcement learning for efficient and robust multi-setpoint and multi-trajectory tracking in bioprocesses
针对生物过程多设定点与时变轨迹跟踪难题,提出基于乘法倒数饱和函数的强化学习回报函数,并在微生物群落光介导控制案例中验证其更快收敛、更稳定、更鲁棒。
2025-06-24 cs.SY eess.SY
Robotic Knee Tracking Control to Mimic the Intact Human Knee Profile Based on Actor-critic Reinforcement Learning
Arizona State University(亚利桑那州立大学);North Carolina State University(北卡罗来纳州立大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
我们解决了一个国家的最先进的强化学习(RL)的控制方法,自动配置机器人假体阻抗参数,使端到端,连续的运动,旨在为经股截肢受试者。具体来说,我们的演员-评论家基于RL提供跟踪控制的机器人膝关节假体模仿完整的膝关节轮廓。这是一个显着的进步,从我们以前的RL为基础的自动调整假肢控制参数,集中在调节控制与设计师规定的机器人膝关节轮廓作为目标。除了提出完整的跟踪控制算法的基础上直接启发式动态规划(dHDP),我们提供了一个分析框架的跟踪控制器的约束输入。我们证明了我们提出的跟踪控制具有几个重要的性质,如学习网络的权值收敛,Bellman(次)最优的成本去价值函数和控制输入,和实际稳定的人-机器人系统下的输入约束。我们还提供了一个系统的模拟所提出的跟踪控制使用一个现实的人类-机器人系统模拟器,OpenSim,模拟如何dHDP使平地行走,行走在不同的地形和不同的步伐。这些结果表明,我们提出的基于dHDP的跟踪控制不仅在理论上是合适的,而且在实践中也是有用的。
2021-01-22 cs.RO cs.SY eess.SY
Model Based Reinforcement Learning with Final Time Horizon Optimization
Georgia Institute of Technology(佐治亚理工学院)
本文提出一种基于模型的强化学习与轨迹优化算法,通过最优控制理论和动态规划推导出反向微分方程,提供最优控制策略和时间 horizon。在低维线性问题中恢复理论最优解,并在非线性系统中验证应用效果。
2015-09-03 cs.SY eess.SY
Optimal Tracking Current Control of Switched Reluctance Motor Drives Using Reinforcement Q-learning Scheduling
针对开关磁阻电机(SRM)驱动系统,提出了一种新的电流控制器Q学习调度方法。Q-学习算法是一种强化学习方法,可以找到线性控制问题的最佳时间前向解。本文将介绍一种新的调度Q-学习算法,利用一个表的Q-核心,位于非线性表面的SRM模型,而不涉及任何信息的模型参数跟踪参考电流轨迹通过调度无限时域线性二次跟踪器(LQT)处理Q-学习算法。此外,提出了一种线性插值算法来指导训练Q核之间的LQT过渡,以确保随着状态变量在模型的非线性表面上演变而平滑响应。最后,仿真和实验结果验证了所提出的控制方案的有效性。
2020-06-14 cs.SY eess.SY
Reinforcement Learning for Robotic Time-optimal Path Tracking Using Prior Knowledge
South China University of Technology(华南理工大学)
时间最优路径跟踪作为工业机器人的一个重要工具,受到了众多研究者的关注。在大多数时间最优路径跟踪问题中,假设致动器转矩约束是保守的,这忽略了电机特性;即,致动器转矩约束是速度相关的,并且转矩和速度之间的关系是分段线性的。然而,考虑到电机特性增加了求解难度,在这项研究中,提出了一种改进的Q-学习算法的机器人时间最优路径跟踪的先验知识。在考虑Q-学习算法的局限性后,提出了一种改进的动作-价值函数,以提高收敛速度。该算法采用奖惩的思想,对满足约束条件的动作进行奖励,对违反约束条件的动作进行惩罚,最终得到满足约束条件的时间最优轨迹。通过实验验证了算法的有效性。
2019-06-30 cs.RO cs.SY eess.SY
Time-Optimal Path Tracking for Industrial Robots: A Dynamic Model-Free Reinforcement Learning Approach
在追求机器人操作器沿预定路径的时间最优路径跟踪(TOPT)轨迹时,通常使用预先识别的机器人动力学模型来获得完美跟踪所需的最优轨迹。然而,由于不可避免的模型-对象失配,实际测量的转矩和由动态模型计算的转矩之间可能存在很大的误差,这导致获得的轨迹是次优的,甚至是不可行的,超过给定的限制。本文提出了一种面向TOPT的SARSA算法(TOPTO-SARSA),并提出了一种两步法寻找时间最优运动并保证可行性:首先,通过强化学习Agent与运动学模型的交互,使用TOPTO-SARSA算法寻找满足运动学约束的安全轨迹。其次,利用TOPTO-SARSA算法,通过智能体与现实世界的交互来寻找最优轨迹,并保证最后一次交互时的实测力矩满足给定的限制。在一个六自由度机器人上的实验验证了该算法的有效性。
2019-08-03 cs.RO cs.SY eess.SY
QuaDUE-CCM: Interpretable Distributional Reinforcement Learning using Uncertain Contraction Metrics for Precise Quadrotor Trajectory Tracking
Imperial College London(帝国理工学院)
精度和稳定性是四旋翼轨迹跟踪系统的共同要求。设计一个精确和稳定的跟踪控制器仍然具有挑战性,特别是在未知的和动态的环境中,复杂的气动干扰。我们提出了一种基于分位数近似的分布增强不确定性估计(ADDUE),以准确地识别气动干扰的影响,即,真实和估计的控制收缩率之间的不确定性。从收缩理论中获得灵感,并将不确定性的ESDUE整合在一起,我们的新的基于CCM的轨迹跟踪框架精确地跟踪任何可行的参考轨迹,同时保证指数收敛。更重要的是,分布式强化学习的收敛性和训练加速分别从理论上得到了保证和分析。我们还展示了我们的系统在未知的和不同的空气动力。在大空气动力(> 2 m/s^2)下,与经典的数据驱动方法相比,我们的QuaDUE-CCM在跟踪误差方面至少提高了56.6%。与基于RL的分布式方法MANDRED MPC相比,MANDUE CCM在收缩率上至少提高了3倍。
2022-07-15 cs.RO cs.SY eess.SY
Critic-Only Integral Reinforcement Learning Driven by Variable Gain Gradient Descent for Optimal Tracking Control
针对自适应动态规划框架中漂移动态性的要求,提出了积分强化学习算法。文献中的大多数在线IRL方案需要两组神经网络(NN),称为行动者-评论家NN和初始稳定控制器。最近,对于基于RL的鲁棒跟踪,这种要求的初始稳定控制器和双逼近器结构可以避免使用修改的基于梯度下降的更新律包含一个稳定项与临界唯一的结构。据作者所知,还没有研究利用IRL算法框架中的稳定项来解决具有执行器约束的连续时间非线性系统的最优轨迹跟踪问题。为此,本文提出了一种新的更新律,利用IRL框架中的稳定项以及可变增益梯度下降。通过这些修改,IRL跟踪控制器可以仅使用批评神经网络来实现,而不需要初始稳定控制器。所提出的更新律的另一个显著特征是其可变学习速率,其基于瞬时Hamilton-Jacobi-Bellman误差和李雅普诺夫函数沿系统轨迹的变化速率来缩放学习的速度。增广的系统状态和神经网络的权重误差被证明具有一致的最终有界(UUB)稳定性下所提出的更新法律,并实现了更紧密的残差集。在无人机全6自由度姿态控制非线性模型上验证了该方法的有效性。
2020-03-04 cs.SY eess.SY
Trajectory Tracking of Underactuated Sea Vessels With Uncertain Dynamics: An Integral Reinforcement Learning Approach
University of Ottawa(渥太华大学);Bradley University(布拉德利大学)
欠驱动系统,如海洋船舶的运动程度,是不充分匹配的一组独立的驱动力。此外,为了确定最佳的方向舵和推力控制信号,潜在的磁阻跟踪控制问题变得越来越复杂。这强制执行了几个难以解决的约束条件,使用经典的最佳跟踪和自适应控制方法与误差动态方程。针对一类具有部分系统动力学先验知识的非线性跟踪问题,提出了一种基于积分强化学习的在线机器学习机制。驱动力的决定使用创新形式的时间差分方程有关的船舶的浪涌和角速度。该解决方案是使用一个在线值迭代过程,这是通过采用自适应批评和梯度下降方法实现的。自适应学习机制在不同的参考跟踪场景下表现出良好的功能和交互性。
2021-04-01 cs.AI cs.LG cs.RO
Human-Like Trajectories Generation via Receding Horizon Tracking Applied to the TickTacking Interface
Gran Sasso Science Institute(格兰萨索科学研究所);IMT School for Advanced Studies Lucca(卢卡高等研究学院);University of Milan(米兰大学)
本文通过递推视界方法在TickTacking界面中生成类人轨迹,通过分析用户行为特征提升人机交互的直观性和效率。
2026-02-19 cs.HC cs.SY eess.SY
Data-driven Outer-Loop Control Using Deep Reinforcement Learning for Trajectory Tracking
参考跟踪系统包括一个由局部反馈控制器和一个命令中心控制的被控对象,命令中心指示被控对象应该遵循的参考设定点。通常,这些系统受到诸如干扰、系统延迟、约束、不确定性、性能不佳的控制器和不允许它们实现期望性能的未建模参数的限制。在不可能重新设计内环系统的情况下,通常采用外环控制,该外环控制指示系统遵循修改后的参考路径,使得所得路径接近理想路径。通常,设计外环控制的策略需要知道系统的模型,这可能是不可行的任务。在本文中,我们提出了一个基于深度强化学习的框架,该框架可以学习策略以生成修改的参考,从而以非侵入性和无模型的方式提高系统的性能。为了说明我们的方法的有效性,我们提出了两个具有挑战性的情况下,在工程:飞行控制与飞行员模型,包括人类的反应延迟,和大量的空间加热设备的平均场控制问题。所提出的策略成功地设计了一个参考信号,即使在学习过程中没有看到的情况下也能工作。
2020-08-31 cs.SY eess.SY
Fast and Optimal Adaptive Tracking Control: A Novel Meta-Reinforcement Learning via Conditional Generative Adversarial Net
具有未知动态的非线性系统的控制一直是一个重要的研究领域。本文提出了一种新的数据驱动的最优自适应控制结构,与标准的自适应控制相比,具有更少的控制工作量和更快的适应速度。所提出的控制结构利用系统的记录数据,以提高适应速度和性能显着。在这项研究中,我们采用了一个条件生成对抗网络(CGAN)作为一种新的中央模式发生器,以再现稳态谐波模式的控制信号匹配系统的不确定性在很大范围内。我们还可以使用CGAN架构作为故障检测器。CGAN提供了一个低维的不确定性潜在空间。当存在许多参数不确定性时,特别是对于大规模系统,它可以快速方便地自适应。然后,我们引入了一种新的元强化学习框架,使CGAN的潜在空间适应系统的不确定性,作为一个最优的直接自适应控制器,而无需任何系统标识符。控制结构的另一部分是一个调节器,实现半全局渐近跟踪使用的李雅普诺夫稳定性分析。最后,通过一些模拟,我们评估了两个动力系统,机器人机械手和大型肌肉骨骼结构,在干扰和扰动的存在下,所提出的设计的能力。
2022-06-24 cs.SY eess.SY
Chasing the Intruder: A Reinforcement Learning Approach for Tracking Intruder Drones
Indian Institute of Technology Ropar(印度理工学院鲁尔基分校)
本文提出一种基于强化学习和计算机视觉的追踪无人机控制策略,用于识别和跟踪入侵无人机,实验表明该策略收敛且对入侵者速度和方向变化具有鲁棒性。
2023-09-10 cs.AI cs.RO cs.SY
Differentiable Reinforcement Learning for Path Tracking by an Agile Fish-Like Robot
Clemson University(克莱姆森大学)
研究类鱼机器人控制和运动规划难题。开发高效模拟平台,用PID控制结合时间反向传播和课程训练学习增益,实现运动控制与路径跟踪,策略应用于物理平台效果良好。
2026-07-21 cs.RO cs.SY eess.SY
Finite Horizon Multi-Agent Reinforcement Learning in Solving Optimal Control of State-Dependent Switched Systems
本文提出SMADDPG方法,用于求解状态依赖切换系统的最优控制,并通过数学分析和一维、二维状态空间环境中的对比实验验证其优于原始DDPG的性能。
2024-11-22 cs.SY eess.SY
Constrained Deep Reinforcement Learning for Cognitive Radar Resource Management
Syracuse University(雪城大学)
针对边跟踪边扫描雷达中的多目标跟踪与扫描时间分配问题,提出一种约束深度强化学习框架,联合优化跟踪与扫描性能,并满足时间预算约束。
2026-06-04 cs.SY eess.SY
Data-Driven Robust Reinforcement Learning Control of Uncertain Nonlinear Systems: Towards a Fully-Automated, Insulin-Based Artificial Pancreas
本文提出数据驱动的鲁棒强化学习λ-Policy Iteration跟踪控制方法,并通过DMMS.R模拟器验证其在全自动胰岛素闭环血糖控制中的优越性能。
2023-12-07 cs.SY eess.SY
Simultaneous Identification and Optimal Tracking Control of Unknown Continuous Time Nonlinear System With Actuator Constraints Using Critic-Only Integral Reinforcement Learning
为了满足自适应动态规划(ADP)对漂移动力学的要求,提出了积分强化学习(IRL)作为Bellman方程的替代形式,但仍需要控制耦合动力学来获得最优控制努力的封闭形式表达式。除此之外,还需要初始稳定控制器和两组神经网络(NN)(称为Actor-Critic)来实现IRL方案。在本文中,一个稳定项的评论更新法律杠杆,以避免在IRL框架的初始稳定控制器的要求,以解决最优跟踪问题的执行器约束。在IRL框架中,只需要一个神经网络就可以生成最优控制策略。该评价器网络与经验重放(ER)增强型辨识器相耦合,以消除IRL算法中控制耦合动态的必要性。标识符和评论家神经网络的权重同时更新,它表明,ER增强的标识符是能够处理参数变化比没有ER增强。新的更新法律的最显着的特点是其可变的学习率,它的规模的基础上瞬时Hamilton-Jacobi-Bellman(HJB)错误的学习速度。可变的学习率在批评NN加上ER技术在标识符NN帮助实现更紧密的残差集的状态误差和误差在NN权重一致的最终有界性(UUB)的稳定性证明。在一个非线性系统上的仿真结果验证了所提出的“辨识-评判”神经网络的有效性。
2020-05-08 cs.SY eess.SY
Multi-Target Radar Search and Track Using Sequence-Capable Deep Reinforcement Learning
PxCDT;Leonardo Electronics(莱昂纳多电子公司);University of Glasgow(格拉斯哥大学)
本文构建有源相控阵雷达三维仿真环境,比较多种序列神经网络与预训练方法,用深度强化学习优化多目标搜索跟踪中的传感器任务管理。
2025-02-19 cs.LG cs.SY eess.SY
Steady-State Error Compensation in Reference Tracking and Disturbance Rejection Problems for Reinforcement Learning-Based Control
Paderborn University(帕德博恩大学)
强化学习(RL)是自动控制应用中一个有前途的,即将到来的主题。经典的控制方法需要先验的系统知识,数据驱动的控制方法,如RL允许一个无模型的控制器设计过程,使他们的新兴技术,不断变化的植物结构和参数的系统。虽然已经在各种应用中表明,复杂系统的瞬态控制行为可以通过RL充分处理,但非零稳态控制误差的挑战仍然存在,这是由于使用控制策略近似和有限的训练时间。为了克服这个问题,引入了一种基于行动者-批评者的RL控制器的积分动作状态增强(IASA),该控制器模仿积分反馈,其灵感来自于模型预测控制中的增量输入公式。这种增强不需要任何专业知识,使方法模型自由。因此,RL控制器学习如何更有效地抑制稳态控制偏差。来自电能工程领域的两个示例性应用验证了所开发的方法对于参考跟踪和扰动抑制两者的益处。与标准的深度确定性策略梯度(DDPG)设置相比,建议的IASA扩展允许在所考虑的验证场景内将稳态误差减少多达52 $\%$。
2022-01-31 cs.LG cs.SY eess.SY
Effects of sampling and horizon in predictive reinforcement learning
普通强化学习(RL)可能容易失去收敛,违反约束,意外的性能等,通常,RL代理经历广泛的学习阶段,以实现可接受的功能。这与典型地基于模型的经典控制算法形成对比。研究的一个方向是RL与这些算法的融合,特别是模型预测控制(MPC)。然而,这引入了与预测范围相关的新的超参数。此外,RL通常与马尔可夫决策过程有关。但大多数真实环境都不是时间离散的。强化学习的实际物理环境由一个数字主体和一个时间连续的动力系统组成。因此,事实上,还有另一个超参数-代理采样时间。在本文中,我们调查的预测范围和采样的两个混合RL-MPC-代理的移动机器人停车,这又是一个典型的控制问题的案例研究的影响。我们用MPC的一个简单变体对代理进行基准测试。抽样显示出一种“甜蜜点”的行为,而RL代理人在较短的视野表现出的优点。
2021-08-23 cs.SY eess.SY math.DS
Reinforcement Learning of the Prediction Horizon in Model Predictive Control
SINTEF Digital(SINTEF数字研究院);Department of Engineering Cybernetics, NTNU(挪威科技大学工程控制论系);Centre for Autonomous Marine Operations and Systems(自主海洋作业与系统中心)
模型预测控制(MPC)是一种功能强大的轨迹优化控制技术,能够控制复杂的非线性系统,同时考虑系统约束并确保安全运行。MPC的能力是以高在线计算复杂性、系统动态的精确模型的要求以及根据特定控制应用调整其参数的必要性为代价的。影响计算复杂性的主要可调参数是预测范围长度,控制MPC预测系统响应的未来距离,从而评估其计算轨迹的最优性。较长的时域通常会提高控制性能,但需要越来越强大的计算平台,不包括某些控制应用。性能对预测时域长度的敏感度在状态空间上变化,这激发了自适应时域模型预测控制(AHMPC),它根据某些标准来调整预测时域。在本文中,我们建议使用强化学习(RL)来学习作为状态函数的最佳预测范围。我们展示了如何制定RL学习问题,并在两个控制任务上测试我们的方法,显示出比固定时域MPC方案明显的改进,同时只需要几分钟的学习。
2021-02-22 cs.LG cs.SY eess.SY
Reinforcement Learning Trajectory Generation and Control for Aggressive Perching on Vertical Walls with Quadrotors
微型飞行器由于其相对较低的运行成本和在各种应用中的高度灵活性而被广泛研究和应用。研究了欠驱动四旋翼飞行器的停驻问题,设计了一种轨迹规划器和控制器,在状态空间中生成可行轨迹并驱动四旋翼飞行器到达期望状态。提出了一种四旋翼悬停轨迹生成与跟踪方法,该方法综合了强化学习控制器和传统控制器的优点。在仿真环境中,训练好的低层强化学习控制器将操纵四旋翼飞行器朝向停驻点。一旦仿真的四旋翼飞机成功停驻,仿真中的相对轨迹信息将被发送到真实四旋翼飞机上的跟踪控制器,并开始实际的停驻任务。通过训练的强化学习控制器生成可行轨迹需要更少的时间,并且传统的轨迹跟踪控制器可以容易地修改以控制四旋翼并且数学地分析其稳定性和鲁棒性。我们表明,这种方法允许的轨迹和控制器的控制结构,使这种侵略性的机动栖息在垂直表面上具有高精度。
2021-03-04 cs.RO cs.SY eess.SY
Periodic orbit tracking in cislunar space: A finite-horizon approach
针对地月空间平动点周期轨道保持问题,提出结合PAC、MPR与EKF的有限时域NMPC方法,可自适应生成轨道族内最优参考并显著降低燃料消耗。
2025-07-26 cs.SY eess.SY
Deep Reinforcement Learning Based Optimal Infinite-Horizon Control of Probabilistic Boolean Control Networks
针对概率布尔控制网络的最优无限时域控制问题,提出一种基于深度强化学习的无模型方法,将问题转化为马尔可夫决策过程,并分别利用Q-learning和双深度Q网络设计适用于小规模和大规模网络的最优状态反馈控制器。
2023-04-07 cs.SY eess.SY
A Receding Horizon Reinforcement Learning Framework for Campus Chiller Energy Management - A case study from an Australian University
The University of Queensland(昆士兰大学)
针对澳大利亚某大学校园HVAC系统的能源管理问题,提出基于PPO的滚动时域强化学习调度框架,相比传统规则控制最高可节约28%的冷水机组用电。
2025-11-18 cs.SY eess.SY
Constrained Reinforcement Learning using Distributional Representation for Trustworthy Quadrotor UAV Tracking Control
针对四旋翼无人机空气动力学扰动难精确辨识的问题,提出结合约束分布强化扰动估计器ConsDRED与SMPC的可解释跟踪框架,理论保证收敛性,实验验证其超参数敏感度低、跟踪误差较现有技术降低至少70%,平衡性能与约束满足。
2024-07-15 cs.AI cs.RO cs.SY
Reinforcement Learning-based Optimal Control and Software Rejuvenation for Safe and Efficient UAV Navigation
针对无人机软件更新机制影响跟踪控制性能的问题,提出融合深度强化学习的软件更新方法,在仿真中验证其可在保障安全约束的同时提升系统性能。
2023-08-27 cs.SY eess.SY
Harmonic based model predictive control for set-point tracking
本文提出了一种新的模型预测控制(MPC)公式的设定点跟踪。基于终端成分的稳定预测控制器可能在小到中等预测范围的参考变化的情况下表现出稳定性和可行性问题。在用于跟踪制定的MPC中,通过添加人工平衡点作为新的决策变量来解决这些问题,从而提供显著扩大的吸引域并保证任何参考变化的递归可行性。然而,如果预测范围不够大,它可能会遭受性能问题。本文提出了一种扩展的调和人工参考使用的平衡点。所提出的配方实现更大的领域的吸引力,可以显着优于其他MPC配方时,预测范围很小。我们证明了所提出的控制器的渐近稳定性和递归的可行性,以及其主要成分的设计提供指导方针。最后,我们强调了它的优势与球和板系统的案例研究。
2021-01-29 cs.SY eess.SY
Moving Horizon Estimation for Underwater Target Tracking Based on Time-Difference-of-Arrival Measurements
Institute for Systems and Robotics (ISR), LARSyS, Instituto Superior Técnico (IST), University of Lisbon(里斯本大学高等理工学院)
本文针对水下目标跟踪难题,研究基于到达时间差的移动时域估计方法,仿真显示其鲁棒性优于经典扩展卡尔曼滤波,可作为多智能体跟踪系统的实用组件。
2026-08-18 cs.SY eess.SP eess.SY
Stone Soup Multi-Target Tracking Feature Extraction For Autonomous Search And Track In Deep Reinforcement Learning Environment
Leonardo Electronics(莱昂纳多电子公司);University of Glasgow(格拉斯哥大学)
本文提出利用 Stone Soup 跟踪框架作为特征提取器嵌入 Gymnasium 环境,训练深度强化学习智能体执行传感器管理任务,实验证明该 RL 智能体优于简单搜索与跟踪策略。
2025-03-03 cs.LG cs.RO cs.SY
Modelling, Positioning, and Deep Reinforcement Learning Path Tracking Control of Scaled Robotic Vehicles: Design and Experimental Validation
University of Surrey(萨里大学);Polytechnic of Bari(巴里理工大学);Polytechnic of Turin(都灵理工大学)
本文提出了一种用于缩放比例机器人车辆的联邦扩展卡尔曼滤波器(FEKF)和基于专家演示器训练的深度强化学习(DRL)路径跟踪控制器,并通过实验验证了其在定位精度和路径跟踪性能上优于传统基于模型的控制策略。
2024-01-10 cs.AI cs.RO cs.SY
A Unified Dynamics Framework for Reinforcement Learning and Classical Control of a Six-DOF Pipeline-Tracking ROV in NVIDIA Isaac Sim
Newcastle University Singapore(新加坡纽卡斯尔大学);Amrita Vishwa Vidyapeetham(阿姆里塔大学);Qingdao University of Technology(青岛理工大学)
本文提出一个统一动力学框架,在NVIDIA Isaac Sim中训练六自由度ROV的管道跟踪策略,通过共享USD场景和Coriolis动力学模型,使强化学习与经典控制算法在相同条件下比较,实验表明PPO、TRPO和反馈线性化表现最佳。
2026-10-06 cs.AI cs.RO cs.SY