Distributionally Robust Differential Dynamic Programming with Wasserstein Distance
针对未知扰动分布的随机系统最优控制问题,提出一种基于Wasserstein距离的分布鲁棒微分动态规划方法,利用对偶原理推导闭式策略,无需数值求解极小极大问题,具有高效可扩展性。
2023-05-16 cs.SY eess.SY math.OC
Covariance Steering for Systems Subject to Unknown Parameters
本文研究了同时具有加性噪声和不确定参数的系统的最优协方差操纵问题,这些不确定参数可能与状态和控制相乘。未知参数被建模为从具有已知矩的分布中采样的恒定随机变量。最优协方差转向问题制定使用基于矩的表示的系统动态,其中包括未知参数和未来状态之间的依赖关系,并使用顺序凸规划求解。所提出的方法证明了使用完整的航天器系统和自主车辆控制应用程序的数值。
2023-03-18 cs.SY eess.SY math.OC
Dual Set Membership Filter with Minimizing Nonlinear Transformation of Ellipsoid
本文针对含有未知但有界噪声的非线性动力系统,提出了一种对偶集员滤波器,它具有三个显著的性质。首先,利用一个半无限规划将非线性系统转化为线性系,而不是将非线性函数线性化。实际上,半无限规划就是寻找一个椭球,该椭球是椭球的非线性变换的边界,其目的是计算一个紧椭球来覆盖状态。其次,通过严格的分析,得到了该半无限规划的对偶结果,并在此基础上提出了一种一阶Frank-Wolfe方法,以较低的计算复杂度有效地求解该问题。第三,所提出的过滤器可以利用线性集员过滤器的框架,并可以在线工作,而无需解决半定规划问题。此外,我们应用双重集员过滤器的移动机器人定位的一个典型场景。最后,通过两个仿真算例说明了对偶集员滤波器的优点和有效性。
2019-03-25 math.DS math.OC
Relationships Between the Maximum Principle and Dynamic Programming for Infinite Dimensional Non-Markovian Stochastic Control Systems
School of Mathematics, Sichuan University(四川大学数学学院)
本文研究了无限维非马尔可夫随机控制系统中Pontryagin最大值原理与动态规划原理的关系,建立了动态规划表述与HJB方程,并揭示了光滑与非光滑情形下两者的显式及逐样本联系。
2025-11-04 math.OC
Data-driven Linear Quadratic Regulation via Semidefinite Programming
本文研究了有限时域线性二次调节问题,其中系统的动态特性是未知的,状态是可达的。关于系统的信息由输入状态数据的有限集合给出,其中注入系统中的输入是足够高阶的持续激励。使用数据,最优控制律,然后获得一个合适的半定规划的解决方案。数值算例表明了该方法的有效性。
2020-08-12 cs.SY eess.SY math.OC
Management strategies for hydropower plants a simple dynamic programming approach
针对带大坝和连续可调机组的水电站,提出基于动态规划的管理策略,结合历史数据和预测估计未知变量,以小计算量实现理论最大值的97.1%,在数据丰富时优于复杂的基于PDE的最优切换方法。
2025-08-26 math.OC
Data-Driven Control Design with LMIs and Dynamic Programming
本文的目标是开发基于线性矩阵不等式(LMI)和动态规划的数据驱动控制设计和评估策略。我们考虑确定性离散时间LTI系统,其中系统模型未知。我们提出了有效的数据收集计划,从状态输入轨迹与数据驱动的LMI设计状态反馈控制器的稳定和线性二次调节(LQR)问题。此外,我们研究理论上保证的勘探计划,以获得有效的数据,从不同的情况下的轨迹。特别是,我们证明,随着越来越多的数据积累,收集的数据变得有效的算法具有更高的概率。最后,讨论了具有收敛保证的数据驱动的动态规划算法。
2021-06-16 cs.SY eess.SY math.OC
Optimal control of continuous-time symmetric systems with unknown dynamics and noisy measurements
KTH Royal Institute of Technology(瑞典皇家理工学院);ETH Zurich(苏黎世联邦理工学院)
针对动力学未知且外部对称的连续时间线性二次型最优控制问题,提出一种全局收敛的迭代学习算法,在含噪测量下无偏且计算负担低,数值实验验证有效性。
2025-10-09 cs.SY eess.SY math.OC
Adaptive Output-Feedback Model Predictive Control of Hammerstein Systems with Unknown Linear Dynamics
针对线性动态未知、输入非线性已知的 Hammerstein 系统,提出结合递推最小二乘在线辨识与 QP 迭代优化的 PCAC 输出反馈预测控制方法,并用于饱和与死区约束下的积分器链镇定。
2023-09-28 cs.SY eess.SY math.DS
Online Reinforcement Learning in Markov Decision Process Using Linear Programming
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对转移函数和奖励分布未知的回合制MDP在线强化学习问题,提出基于乐观思想与线性规划的高效模型算法,在高概率下实现更紧的遗憾界并降低计算成本。
2024-03-11 cs.LG cs.SY eess.SY
Convex computation of regions of attraction from data using Sums-of-Squares programming
本文提出基于求和平方规划的数据驱动方法,用于计算未知自主动态系统的区域吸引域,通过绕过系统模型约束,实现更有效的区域吸引域外近似。
2025-12-12 cs.SY eess.SY math.OC
Incremental Policy Iteration for Unknown Nonlinear Systems with Stability and Performance Guarantees
针对未知非线性系统的无模型鲁棒最优控制问题,提出融合递归最小二乘与线性 ADP 的增量策略迭代算法,并证明其鲁棒稳定性、近最优性及非镇定初始策略下的学习条件。
2025-08-29 cs.SY eess.SY math.OC
Data-driven Control of Unknown Linear Systems via Quantized Feedback
利用量化反馈的控制是通信容量有限的系统综合的基本方法。在本文中,我们解决了未知的线性系的量化反馈镇定问题,通过直接的数据驱动控制方法。利用最近开发的矩阵S-引理,我们证明了一个充分和必要条件存在一个共同的稳定控制器的所有可能的动态数据一致,在线性矩阵不等式的形式。此外,我们制定了半定规划来解决粗量化密度。通过建立它与状态矩阵不稳定特征值的联系,我们进一步证明了量化反馈镇定的数据的必要秩条件。最后,我们通过数值例子验证了我们的理论结果。
2022-03-10 cs.SY eess.SY math.OC
Global optimization using mixed integer quadratic programming on non-convex two-way interaction truncated linear multivariate adaptive regression splines
多元自适应回归样条(MARS)是一种灵活的统计建模方法,已流行的数据挖掘应用。MARS也被用来逼近复杂系统优化中的未知关系,包括代理优化、动态规划和两阶段随机规划。鉴于越来越多的愿望,以优化现实世界的系统,本文提出了一种方法来全局优化的MARS模型,允许双向交互项的产品截断线性单变量函数(TITL-MARS)。具体地说,这种MARS模型由线性和二次结构组成。利用这种结构来制定一个混合整数二次规划问题(TITL-MARS-OPT)。为了理解TITL-MARS-OPT的贡献,必须认识到流行的进化优化方法,如进化算法,不能保证全局最优性,并且计算速度很慢。MARS的使用保持了TITL-MARS-OPT中建模的灵活性,同时还利用了MARS的线性建模结构来实现全局最优。计算结果比较TITL-MARS-OPT与遗传算法的两种类型的情况下。首先,风力发电场配电的案例研究进行了描述,然后其他TITL-MARS形式进行了测试。结果表明,TITL-MARS-OPT算法在精度和计算时间上均优于遗传算法。
2020-06-28 math.OC
A continuous time formulation of stochastic dual control to avoid the curse of dimensionality
对偶控制是指一类控制系统的参数不完全已知的控制问题。挑战是在探测(即激发系统更多地了解它)和谨慎(即根据当前知识选择保守控制以实现控制目标)之间找到最佳平衡。动态规划技术可以实现这种最佳的权衡。然而,虽然动态规划在离散状态和时间上表现良好,但它并不适合于具有连续时间帧或连续或无界状态空间的问题。另一个限制是多维状态经常导致动态规划方法难以处理。在本文中,我们调查是否连续时间最优控制工具可以帮助规避这些警告,同时仍然实现探测谨慎的平衡。我们引入一个程式化的问题,其中的状态是由两个微分方程之一。最初不知道哪个微分方程控制系统,所以我们必须同时确定真正的微分方程并将系统控制到期望的状态。我们展示了如何将这个问题转化为应用最优控制工具,并将这种方法的性能与动态规划方法进行了比较。我们的研究结果表明,最优控制算法的竞争对手动态规划的小问题,实现积极和平稳变化的控制之间的平衡。与动态规划相反,当同时控制多个状态时,最优控制方法仍然是易于处理的。
2020-04-28 math.OC
Dynamic Programming for A Linear-Gaussian Dual Control Problem
KTH Royal Institute of Technology(皇家理工学院);Arizona State University(亚利桑那州立大学)
该研究针对可数创新信念状态模型的无限期折现DP问题,将其作为线性高斯对偶控制问题的替代模型,证明了贝尔曼算子的压缩性,确立了最优平稳策略的存在性及三类迭代算法在消失近似误差下的收敛性,且收敛结果具通用性。
2026-11-13 cs.SY eess.SY math.OC
A Dynamic Programming Algorithm for Finding an Optimal Sequence of Informative Measurements
University of New England(新英格兰大学)
信息测量是获取未知状态信息的最有效方法。我们提出了一个通用的动态规划算法,返回一个最佳序列的信息测量顺序最大化的熵可能的测量结果的第一性原理推导。该算法可以由自主智能体或机器人使用,以决定下一个最佳测量位置,规划与信息测量的最佳序列相对应的路径。该算法适用于连续或离散的状态和控制,以及随机或确定性的代理动态,包括马尔可夫决策过程和高斯过程。近似动态规划和强化学习领域的最新成果,包括在线近似,如rollout和蒙特卡罗树搜索,允许实时的解决测量任务。所得到的解决方案包括非近视路径和测量序列,通常可以优于,有时基本上,常用的贪婪方法。这是证明了一个全球性的搜索任务,其中在线规划一系列的本地搜索被发现,以减少约一半的搜索中的测量的数量。该算法的一个变种是来自高斯过程的主动传感。
2023-01-31 cs.AI cs.LG cs.RO
Regret Analysis of Distributed Online LQR Control for Unknown LTI Systems
Northeastern University(东北大学)
在线优化最近开辟了途径,研究最优控制的时变费用函数是事先未知的。受此启发,我们研究了动态未知的线性时不变(LTI)系统的分布式在线线性二次型调节器(LQR)问题。考虑一个多智能体网络,其中每个智能体都被建模为一个LTI系统。该网络具有全局时变二次成本,可以逆向演化,并且每个代理只能部分地顺序观察。该网络的目标是共同(i)估计未知的动态和(ii)计算本地控制序列竞争的最佳集中式政策在事后,这最小化网络成本随时间的总和。这个问题被公式化为后悔最小化。我们提出了一个分布式的在线LQR算法的变体,代理计算他们的系统估计在探索阶段。然后,每个代理应用分布式在线梯度下降的半定规划(SDP)的可行集是基于代理系统的估计。我们证明了我们提出的算法的遗憾界的比例为$O(T^{2/3}\log T)$,这意味着随着时间的推移,所有代理的共识的概率很高。我们还提供了仿真结果验证我们的理论保证。
2022-02-06 cs.LG cs.SY eess.SY
Dynamical State Feedback Control for Linear Input Delay Systems, Part I: Dissipative Stabilization via Semidefinite Programming
本文提出了一种基于半正定规划的框架,用于解决输入延迟系统的稳定问题,通过参数化线性动态状态反馈方法实现耗散稳定。
2025-12-01 cs.SY eess.SY math.OC
Reservoir Predictive Path Integral Control for Unknown Nonlinear Dynamics
Toyota Central R&D Labs., Inc.(丰田中央研究实验室);Nagoya Institute of Technology(名古屋工业大学)
本文提出基于回声状态网络和模型预测路径积分的控制方法,用于提升未知非线性动力学的控制性能,通过鲁棒随机控制减少控制成本达60%。
2026-02-06 cs.LG cs.SY eess.SY