Towards Dynamic Trend Filtering through Trend Point Detection with Reinforcement Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；INEEJI
针对现有趋势滤波方法因近似性无法捕捉时间序列突变的问题，提出基于强化学习的DTF-net，通过识别动态趋势点插值提取趋势，兼顾噪声过滤与突变保留，提升了突变捕捉和预测性能。
2025-03-22 cs.AI cs.LG
Model Embedding Model-Based Reinforcement Learning
Ant Financial Services Group（蚂蚁金融服务集团）
基于模型的强化学习（MBRL）在样本效率上优于无模型强化学习（MFRL）。尽管它取得了令人印象深刻的结果，但它仍然面临着数据生成和模型偏差之间的权衡。本文在概率强化学习的框架下，提出了一种简单而优雅的基于模型嵌入的强化学习（MEMB）算法。为了平衡样本效率和模型偏差，我们在训练中利用了真实和虚构的数据。特别地，我们将模型嵌入到策略更新中，并从真实数据集中学习$Q$和$V$函数。我们提供了理论分析的MEMB与Lipschitz连续性假设的模型和政策。最后，我们评估MEMB在几个基准测试，并证明我们的算法可以达到最先进的性能。
2020-06-16 cs.AI cs.LG
Model-based Reinforcement Learning for Parameterized Action Spaces
Brown University（布朗大学）
提出基于模型的DLPA算法，通过参数化动作条件动态模型和改进的模型预测路径积分控制，在PAMDP基准上实现更优的样本效率与渐近性能。
2024-05-24 cs.AI cs.LG
Safety-Critical Control with Guaranteed Lipschitz Continuity via Filtered Control Barrier Functions
Boston University（波士顿大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Maryland, College Park（马里兰大学帕克分校）
本文提出滤波控制屏障函数，通过引入输入正则化滤波器实现控制输入的利普希茨连续性，从而保证系统安全性和控制输入的平滑性。
2026-03-10 cs.SY eess.SY math.OC
Residual Reinforcement Learning for Robot Teleoperation under Stochastic Delays
Technical University of Munich（慕尼黑技术大学）
针对随机延迟导致的信号不连续问题，本文提出一种混合控制框架，通过LSTM状态估计器与残差强化学习策略相结合，提升遥控稳定性与性能。
2026-05-14 cs.AI cs.RO
Constrained-Space Optimization and Reinforcement Learning for Complex Tasks
Imperial College London（帝国理工学院）；Shanghai Jiao Tong University（上海交通大学）
示教学习越来越多地用于将操作员的操作技能转移到机器人。在实践中，重要的是要满足有限的数据和不完美的人类演示，以及潜在的安全约束。本文提出了一种用于管理复杂任务的约束空间优化和强化学习方案。通过在受限空间内的交互，强化学习代理被训练以根据定义的奖励函数来优化操作技能。在学习之后，最优策略从训练良好的强化学习代理中导出，然后执行该代理以引导机器人执行类似于专家演示的任务。通过机器人的机器人任务验证了所提出方法的有效性，表明所学习的策略在关节运动和末端执行器轨迹的平滑性以及整体任务完成时间方面优于专家演示。
2020-04-01 cs.AI cs.LG cs.RO
Learning on Abstract Domains: A New Approach for Verifiable Guarantee in Reinforcement Learning
East China Normal University（华东师范大学）；Huawei Singapore Research Center（华为新加坡研究中心）；Huawei Technologies Co., Ltd.（华为技术有限公司）
由于系统行为的动态连续性和嵌入式神经网络的黑箱特性，形式化验证深度强化学习（Deep Reinforcement Learning，DRL）系统是一项具有挑战性的任务。在本文中，我们提出了一种新的基于抽象的方法来训练DRL系统上有限的抽象域，而不是具体的系统状态。它产生神经网络的输入状态是有限的，使托管DRL系统直接使用模型检验技术验证。我们的方法是正交现有的DRL算法和现成的模型检查。我们实现了一个原型训练和验证框架，并在最先进的基准上进行了广泛的实验。结果表明，在我们的方法中训练的系统可以更有效地进行验证，同时它们与未经抽象训练的系统保持相当的性能。
2021-06-13 cs.AI
Image-Based Conditioning for Action Policy Smoothness in Autonomous Miniature Car Racing with Reinforcement Learning
National Yang Ming Chiao Tung University（阳明交通大学）；Academia Sinica（中央研究院）
近年来，深度强化学习在低层次控制任务中取得了显著的成果。然而，控制平滑性问题却较少受到关注。在自动驾驶中，不稳定的控制是不可避免的，因为车辆可能会突然改变其动作。这个问题会降低控制系统的效率，引起过度的机械磨损，并导致车辆的不可控的危险行为。在本文中，我们应用条件的行动政策平滑（CAPS）与基于图像的输入，以顺利控制的自主微型赛车。应用CAPS和仿真到现实迁移方法有助于在更高的速度下稳定控制。尤其是CAPS和CycleGAN的混合配方，平均缩短了21.80%的成圈时间。此外，我们还进行了大量的实验来分析CAPS组件的影响。
2022-05-19 cs.RO cs.SY eess.SY
On the Generalization Gap in Reparameterizable Reinforcement Learning
Salesforce Research（赛富时研究院）
理解强化学习（RL）中的泛化是一个重大挑战，因为传统监督学习理论的许多常见假设不适用。我们专注于一类特殊的可重参数化RL问题，其中的轨迹分布可以使用重参数化技巧进行分解。对于这类问题，估计的期望回报是有效的，轨迹可以确定性地计算给定的周边随机变量，这使得我们能够研究重新参数化的强化学习使用监督学习和迁移学习理论。通过这些关系，我们得到保证的内在和外部误差的预期和经验回报之间的差距，根据Rademacher复杂性以及PAC贝叶斯界。我们的界限表明，可重参数化RL的泛化能力与多个因素有关，包括环境过渡的“平滑性”，奖励和代理策略函数类。我们还通过模拟实证验证了泛化差距与这些因素之间的关系。
2019-05-29 cs.AI cs.LG stat.ML
Regularizing Action Policies for Smooth Control with Reinforcement Learning
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
使用深度强化学习（RL）训练的控制器的实际效用的一个关键问题是RL策略学习的动作明显缺乏平滑性。这种趋势通常以控制信号振荡的形式出现，并可能导致控制不良、高功耗和不适当的系统损耗。我们引入了动作策略平滑性调节（CAPS），一种有效而直观的动作策略正则化，它提供了一致的改进，在神经网络控制器的学习状态到动作映射的平滑性，反映在消除控制信号中的高频分量。在真实系统上进行测试，四旋翼无人机上控制器平滑度的改进导致功耗降低近80%，同时持续训练飞行控制器。项目网址：http://ai.bu.edu/caps
2021-05-26 cs.LG cs.RO cs.SY
Image-based Regularization for Action Smoothness in Autonomous Miniature Racing Car with Deep Reinforcement Learning
National Yang Ming Chiao Tung University（国立阳明交通大学）；Academia Sinica（中央研究院）
本文提出基于图像的动作平滑正则化（I-RAS）和IR控制，解决自主微型赛车深度强化学习中的抖动控制问题，将成功率从59%提升至95%，并在真实赛道和2022年AWS DeepRacer总决赛中验证了有效性。
2023-08-11 cs.RO cs.SY eess.SY
How to Train your Quadrotor: A Framework for Consistently Smooth and Responsive Flight Control via Reinforcement Learning
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
我们专注于可靠的培训强化学习（RL）模型（代理）在嵌入式系统中的稳定的低级别控制的问题，并测试我们的方法上的高性能，定制的四旋翼平台。在开发用于连续控制的RL代理时，一个常见但经常未被研究的问题是开发的控制策略并不总是平滑的。这种平滑性的缺乏在学习用于部署在真实硬件上的控制器时可能是一个主要问题，因为它可能导致控制不稳定和硬件故障。当在仿真中训练RL代理时，噪声控制的问题进一步加剧，因为仿真器最终是现实的不完美表示-即所谓的现实差距。为了解决RL代理不稳定的问题，我们提出了一个系统的框架，“基于REinforcement的可转移代理通过学习”（RE+AL），用于设计模拟训练环境，当转移到真实平台时，保持训练代理的质量。RE+AL是Neuroflight基础设施的演变，详细信息见我们研究小组成员编写的技术报告。Neuroflight是一个最先进的框架，用于训练RL代理进行低级姿态控制。RE+AL通过解决阻碍Neuroflight部署到真实硬件的一些重要限制来改进和完善Neuroflight。我们在作为Neuroflight的一部分开发的NF 1赛车四旋翼上对RE+AL进行了基准测试。我们证明，RE+AL显着减轻了先前观察到的RL代理的平滑问题。此外，RE+AL被证明是一致的训练代理，飞行能力和控制器质量的最小退化转移。RE+AL代理还学习比调整的PID控制器更好地执行，具有更好的跟踪…
2021-02-22 cs.RO cs.SY eess.SY
Infinitesimal Operator World Models: Finite-Sample Guarantees for Offline Reinforcement Learning
TU Munich（慕尼黑工业大学）；ShanghaiTech University（上海交通大学）
针对连续时间系统离线强化学习近似误差统计理解有限的问题，提出基于算子理论的算法，利用再生核希尔伯特空间学习受控扩散过程的无穷小生成元，建立价值函数全局收敛性并推导有限样本保证，为解决该问题提供新方向。
2026-10-12 cs.LG cs.SY eess.SY
