Learning Lipschitz Feedback Policies from Expert Demonstrations: Closed-Loop Guarantees, Generalization and Robustness
University of California, Riverside（加州大学河滨分校）
在这项工作中，我们提出了一个框架来学习反馈控制政策，保证闭环泛化和对抗鲁棒性。这些策略是直接从专家演示中学习的，包含在状态控制输入对的数据集中，而不需要任务和系统模型的任何先验知识。我们使用Lipschitz约束的损失最小化方案来学习具有认证的闭环鲁棒性的反馈策略，其中Lipschitz约束作为一种机制来调整泛化性能和对对抗性干扰的鲁棒性。我们的分析利用Lipschitz属性获得闭环保证的泛化和鲁棒性的学习政策。特别是，我们推导出一个有限的样本界的策略学习错误和建立鲁棒闭环稳定下学习的控制策略。我们还得到了关于专家政策和有界（对抗性）的状态测量干扰下的闭环性能恶化的闭环遗憾的界限。数值结果验证了我们的分析，并证明了我们的鲁棒反馈策略学习框架的有效性。最后，我们的研究结果表明，标称闭环性能和对抗性鲁棒性之间存在潜在的权衡，并且标称闭环性能的改善只能以牺牲对抗性扰动的鲁棒性为代价。
2022-01-20 cs.LG cs.SY eess.SY
Multi-agent Reach-avoid MDP via Potential Games and Low-rank Policy Structure
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
本文通过局部反馈策略和低秩结构优化多智能体可达-回避MDP，降低通信和计算复杂度，保证收敛到纳什均衡。
2026-04-09 cs.GT cs.MA cs.RO
Characterizing Human Feedback-Based Control in Naturalistic Driving Interactions via Gaussian Process Regression with Linear Feedback
Electrical & Comp. Eng., Univ. of New Mexico（新墨西哥大学电气与计算机工程系）；Information Science, Cornell Tech（康奈尔科技学院信息科学系）
通过高斯过程回归与线性反馈分析自然驾驶互动中的人类反馈控制，研究驾驶员策略形成机制及群体差异。
2025-12-09 cs.RO cs.SY eess.SY
Amortized Feedback Planning: Turning Model-Based Rollouts into Executable Policies
SKKU（韩国科学技术院）
本文提出摊销反馈规划方法，通过贝尔曼梯度细化将模型展开转化为可执行策略，在非LQG和推力任务中显著降低计算成本并保持性能。
2026-09-29 cs.SY eess.SY math.OC
Neural ODEs as Feedback Policies for Nonlinear Optimal Control
Centre for Process Systems Engineering（过程系统工程中心）；Imperial College London（帝国理工学院）
神经常微分方程（Neural ODEs）定义了具有神经网络的连续时间动力系统。在他们的应用建模的兴趣最近引发，跨越混合系统辨识问题和时间序列分析。在这项工作中，我们提出了使用的神经控制策略能够满足状态和控制约束来解决非线性最优控制问题。控制策略的优化是一个神经ODE问题，有效地利用了动力系统模型的可用性。我们展示了这种类型的确定性神经政策在两个受约束的系统：控制范德波尔系统和生物反应器控制问题的功效。这种方法代表了一个实用的近似的非线性控制问题的棘手的闭环解决方案。
2022-11-12 cs.AI cs.SY eess.SY
Safe Controller for Output Feedback Linear Systems using Model-Based Reinforcement Learning
本研究的目的是使安全关键系统，同时学习和执行最优控制策略，以安全的方式实现复杂的自治。通过试验和错误学习最佳策略，即，传统的强化学习难以在安全关键系统中实现，特别是当任务重启不可用时。最近开发了基于屏障变换的安全的基于模型的强化学习技术来解决这个问题。然而，这些方法依赖于完整的状态反馈，限制了它们在现实世界环境中的可用性。在这项工作中，一个输出反馈安全的基于模型的强化学习技术的基础上，一种新的障碍感知动态状态估计器已被设计来解决这个问题。所开发的方法有利于同时学习和执行的安全关键线性系统的安全控制策略。仿真结果表明，屏障变换是一种有效的方法来实现在线强化学习的安全关键系统使用输出反馈。
2022-04-04 cs.SY eess.SY
Feedback Design for Devising Optimal Epidemic Control Policies
本文提出一种反馈设计，通过鲁棒观测器在不确定模型和噪声测量下实现疫情状态估计，并最小化预测成本泛函以设计最优控制策略，有效缓解疫情监测与控制中的不确定性。
2023-04-05 cs.SY eess.SY math.DS
Stochastic MPC with Online-optimized Policies and Closed-loop Guarantees
ETH Zurich（苏黎世联邦理工学院）
针对受加性高斯干扰的线性系统，提出随机模型预测控制方法，在线优化干扰反馈矩阵，保证概率约束闭环满意度等，核心机制是最大允许集及预测约束重调整，以建筑温度控制示例证明其适用性。
2026-07-14 cs.SY eess.SY math.OC
Agile Maneuvers in Legged Robots: a Predictive Control Approach
Heriot-Watt University（赫瑞-瓦特大学）；University of Edinburgh（爱丁堡大学）；University of Oxford（牛津大学）；Dalian University of Technology（大连理工大学）
规划和执行敏捷的运动机动一直是腿式机器人技术的一个长期挑战。它需要实时地得到运动计划和局部反馈策略来处理动力学动量的非完整性。为了实现这一目标，我们提出了一个混合预测控制器，认为机器人的驱动限制和全身动态。它将反馈策略与触觉信息相结合，以局部预测未来的动作。由于可行性驱动的方法，它在几毫秒内收敛。我们的预测控制器使ANYmal机器人能够在现实场景中产生敏捷的机动。一个关键因素是跟踪局部反馈策略，因为与全身控制相比，它们实现了期望的角动量。据我们所知，我们的预测控制器是第一个处理驱动限制，生成敏捷的运动动作，并执行低水平扭矩控制的最佳反馈策略，而无需使用单独的全身控制器。
2022-07-18 cs.AI cs.RO cs.SY
Feedback Capacity and a Variant of the Kalman Filter with ARMA Gaussian Noises: Explicit Bounds and Feedback Coding Design
New York University（纽约大学）
在本文中，我们与任何有限阶自回归移动平均（ARMA）高斯噪声的反馈信道的一个变种的卡尔曼滤波器。鉴于此，我们得到了相对明确的下界的反馈能力，这样的有色高斯噪声，和边界被认为是一致的各种现有的结果在文献中。同时，这种变体的卡尔曼滤波器也导致明确的递归编码方案具有明确的结构，以实现下界。在一般情况下，我们的研究结果提供了另一种观点，同时指出潜在的更严格的反馈能力问题的界限。
2021-06-03 cs.IT cs.LG cs.SY
Concurrent learning-based online approximate feedback-Nash equilibrium solution of N-player nonzero-sum differential games
University of Florida（佛罗里达大学）
本文提出一种并发学习的actor-critic-identifier架构，用于在线求解无限时间 horizon N玩家非零和微分博弈的近似反馈-纳什均衡解，无需持续激励（PE）条件。在比PE更温和的条件下，证明了所开发控制策略的统一最终有界收敛性。
2013-10-04 cs.SY eess.SY math.OC
Efficient Computation of Feedback Control for Constrained Systems
University of California, Berkeley（加州大学伯克利分校）
本文提出了解决带辅助线性等式约束的离散时间有限时间线性二次调节器问题的方法，通过确定控制与状态变量的仿射关系，高效计算反馈控制策略，适用于机器人轨迹优化。
2018-09-16 cs.SY eess.SY
Fast Stochastic MPC using Affine Disturbance Feedback Gains Learned Offline
本文提出一种利用离线学习仿射扰动反馈增益特征的随机MPC方法，在保持与经典MPC相当控制性能的同时，将在线计算速度提升10倍。
2024-11-21 cs.SY eess.SY
Learning Dynamic-Objective Policies from a Class of Optimal Trajectories
Royal Institute of Technology (KTH)（瑞典皇家理工学院（KTH））
本文提出了一种新颖且简单的方法，通过轨迹优化、同伦持续和模仿学习相结合，合成能够在线切换目标函数的最优状态反馈控制器，并在倒立摆摆起和航天器轨道转移问题中验证了其有效性。
2020-10-12 cs.LG cs.RO cs.SY
Sub-optimality bounds for certainty equivalent policies in partially observed systems
INLAN；McGill University（麦吉尔大学）；University of Southern California（南加州大学）；Atmanity
本文研究了部分观测系统中确定性等价策略的次优界限，推导了在适当光滑条件下策略次优性的上界，并通过实例展示了结果。
2026-02-02 cs.RO cs.SY eess.SY
Control of Uncertain PWA Systems using Difference-of-Convex Decompositions
在这份报告中，我们分析和设计反馈策略的离散时间分段仿射（PWA）系统的仿射动力学和多面体分区的不确定性。其主要思想是利用连续PWA系统的差分凸（DC）分解，以获得二次李雅普诺夫函数作为稳定性证书和稳定的仿射策略在一个更高的维度空间。当投影回状态空间时，我们得到时变PWQ李雅普诺夫函数和时变PWA反馈策略。
2023-03-20 cs.SY eess.SY math.OC
Optimal control policies for evolutionary dynamics with environmental feedback
Georgia Institute of Technology（佐治亚理工学院）；Texas A&M University（德克萨斯农工大学）
本文研究了在环境反馈下，通过调整个体激励和公众意见来最大化资源积累的最优控制方法，发现其导致资源状态的周期性波动，即'振荡的公共悲剧'。
2018-03-18 cs.SY eess.SY
Lyapunov Neural ODE State-Feedback Control Policies
Department of Chemical and Biomolecular Engineering（化学与生物分子工程系）
本文提出 L-NODEC 方法，利用结合指数稳定控制 Lyapunov 函数的新颖 Lyapunov 损失学习状态反馈神经控制策略，解决了连续时间最优控制问题，保证了受控系统的指数稳定性和对抗鲁棒性，并减少了推理时间。
2025-11-02 cs.LG cs.SY eess.SY
Distributionally Robust Stochastic MPC under Disturbance-Affine Feedback Policies
RWTH Aachen University（亚琛工业大学）
本文提出一种分布鲁棒随机MPC方法，利用扰动数据构建Wasserstein球内的分布集，以应对最坏情况下的约束满足问题。通过引入扰动仿射控制策略，提升控制自由度，证明了所提方法的递归可行性与稳定性，并通过理论分析和仿真验证其在初始可行集、平均性能和状态方差控制方面的优越性。
2026-04-14 cs.SY eess.SY math.OC
MAD: A Magnitude And Direction Policy Parametrization for Stability Constrained Reinforcement Learning
Institute of Mechanical Engineering, École Polytechnique Fédérale de Lausanne (EPFL)（瑞士联邦理工学院机械工程学院）；Department of Engineering Science, University of Oxford（牛津大学工程科学系）；Institute for Data Science Foundations, Hamburg University of Technology (TUHH)（汉堡技术大学数据科学基础研究所）；School of Electrical Engineering and Computer Science and Digital Futures, KTH Royal Institute of Technology（皇家理工学院电气工程与计算机科学学院及数字未来学院）
本研究提出一种面向稳定性约束强化学习的MAD策略参数化方法，通过幅值由扰动反馈Lp稳定算子描述、方向由状态特征逼近的设计，在兼容无模型RL流程的同时保证闭环稳定，泛化性能匹配标准神经网络策略。
2025-10-05 cs.LG cs.SY eess.SY
Distributed Value of Information in Feedback Control over Multi-hop Networks
最近在网络化控制系统领域的工作已经证明，用于闭环系统的介质访问控制策略和控制策略的联合设计是有益的。然而，迄今为止介绍的几个指标都未能适当地表示网络要求或捕获数据的价值。在本文中，我们提出了一个分布式的信息价值（dVoI）度量的联合设计的控制和多环系统和多跳网络中的介质访问的路由器。首先给出了确定性等价控制器最优的条件。然后，我们重新制定的联合控制和通信问题的Bellman方程。提出的多环多跳网络化控制系统的基于VoI的调度策略以分布式方式解决了相应的动态规划问题，其性能优于时间触发的周期采样策略.此外，我们表明，基于dVoI的调度策略是相互独立的，无论是循环明智的和跳明智的。最后，我们用一个数值例子来说明结果。
2021-07-16 cs.SY eess.SY math.OC
Separation is Optimal for LQR under Intermittent Feedback
本文证明了在独立同分布零均值扰动下，通信受限LQR问题中分离原理成立，并展示了最优调度策略为基于累积扰动的对称阈值规则，控制器为与调度策略无关的折扣线性反馈律。
2026-06-27 cs.IT cs.MA cs.RO
Timely Multi-Process Estimation Over Erasure Channels With and Without Feedback: Signal-Independent Policies
本文研究擦除信道下多过程远程估计的最优信号无关采样策略，证明在 MAF 有反馈和 RR 无反馈两种设置下最优策略为阈值策略，并刻画了阈值随过程数、采样频率约束和擦除概率的变化规律。
2023-10-30 cs.IT cs.NI cs.SY
Sequential decomposition of discrete memoryless channel with noisy feedback
在本文中，我们考虑一个离散的无记忆点到点信道的噪声反馈，有一个发送者的私人信息，她希望通过顺序发送符号在一个嘈杂的信道通信到一个接收器。在每次传输之后，她接收由接收器接收的符号的噪声反馈。目标是设计发送方的传输控制策略，使平均错误概率最小。这是信息分散控制的一个例子，其中两个控制者，发送者和接收者没有共同的信息。有没有方法在文献中，提供了一个概念的“状态”和一个动态的程序来找到最优的政策，这个问题在本文中，我们展示了引入一个概念的状态，基于此，我们提供了一个顺序分解的方法，找到最优的政策类马尔可夫策略相对于这个状态（不需要是全局最优的）。这允许跨时间分解问题，并将复杂度对时间的依赖性从双指数降低到线性。
2020-02-21 cs.IT cs.SY eess.SY
Backward Reachability Analysis of Neural Feedback Loops: Techniques for Linear and Nonlinear Systems
Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）
随着神经网络（NN）在安全关键应用（如车辆控制）中变得越来越普遍，越来越需要证明具有NN组件的系统是安全的。本文提出了一组用于神经反馈回路（NFL）安全认证的向后可达性方法，具有NN控制策略的闭环系统。虽然向后可达性策略已开发的系统没有NN组件，NN激活函数和NN权重矩阵的一般不可逆性的非线性，使NFLs向后可达性一个具有挑战性的问题。为了避免与通过NN向后传播集合相关的困难，我们引入了一个框架，该框架利用标准的前向NN分析工具来有效地找到对反向投影（BP）集合的过近似，即，NN策略将系统引导到给定目标集的状态集。我们提出的框架计算BP的线性和非线性系统的控制策略表示的前馈神经网络的近似，并提出计算效率高的战略。我们使用各种模型的数值结果来展示所提出的算法，包括6D系统的安全认证演示。
2022-11-21 cs.LG cs.RO cs.SY
Learning Linear Policies for Robust Bipedal Locomotion on Terrains with Varying Slopes
Indian Institute of Technology (BHU) Varanasi（印度理工学院（巴纳拉斯印度教大学）瓦拉纳西分校）；Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Ohio State University（俄亥俄州立大学）；Indian Institute of Science（印度科学学院）
在本文中，鉴于对部署重量轻的控制框架的双足步行机器人，我们实现了端脚轨迹，由一个单一的线性反馈政策的形状。我们通过一个无模型和无梯度的学习算法，增强随机搜索（ARS），在两个机器人平台兔子和数字学习这一政策。我们的贡献是双重的：a）通过使用躯干和支撑平面方向作为输入，我们在模拟中实现了在高达20度的斜坡上的稳健行走。b）我们展示了其他行为，如向后行走，原地踏步，以及从高达120 N的外部推力中恢复。最终的结果是一个强大的和快速的反馈控制法律的双足步行地形与变化的坡度。最后，我们还提供了硬件转移到Digit的初步结果。
2021-08-09 cs.AI cs.LG cs.RO
Learning Dexterous Manipulation Policies from Experience and Imitation
本文研究了通过经验与模仿学习反馈控制灵巧五指手非抓取操作的任务，提出基于轨迹优化的局部控制器，并通过深度学习和最近邻方法进行泛化，展示了小数据训练下的有效性和盲操作优势。
2016-11-15 cs.LG cs.RO cs.SY
Synthesizing Stable Reduced-Order Visuomotor Policies for Nonlinear Systems via Sums-of-Squares Optimization
Massachusetts Institute of Technology（麻省理工学院）
本文结合 Lyapunov 分析与平方和优化，为含学习感知模块的视觉反馈非线性系统综合可证明稳定的降阶多项式策略，并在摆和四旋翼上验证其抗噪稳定效果。
2023-09-28 cs.CV cs.LG cs.RO
Optimal Stopping of Self-Refining Foundation Models
University of Melbourne（墨尔本大学）；Imperial College London（伦敦帝国学院）
本文将基础模型的自优化过程形式化为最优停止问题，推导可高效计算的最优停止策略，实验表明该策略在编码基准上比现有方法成本效益更高。
2026-08-12 cs.AI cs.SY eess.SY
Stabilizing Scheduling Policies for Networked Control Systems
本文研究网络化控制系统的通信资源分配问题，通过将系统表示为加权有向图并利用满足收缩性条件的环，提出了一种能保持所有被控对象全局渐近稳定性的周期性调度策略构建方法。
2019-01-24 cs.SY eess.SY
Current Implicit Policies May Not Eradicate COVID-19
成功的流行病预测建模需要理解隐式反馈控制策略，这些策略是由人群实施的，以调节传染病的传播。虽然这种捕捉内源性行为的任务可以通过复杂的建模假设来实现，但我们发现，人口对病例数的反应可以通过具有线性控制的二阶仿射动力系统来描述，该系统非常适合整个COVID-19大流行期间不同地区和时间的数据。该模型很好地拟合了美国50个州的样本内外的数据，$R^2$得分与最先进的合奏预测相当。与最近的流行病模型相反，我们不是假设个体直接控制控制疾病传播的接触率，而是假设个体控制他们改变相互作用次数的速率，即他们控制接触率的导数。我们提出了一个隐式反馈法，这种控制输入，并验证它与整个流行病采取的政策。动态模型的一个关键要点是，病例数的“稳定”点是非零的，即COVID-19在当前的政策和战略集合下不会被根除，需要额外的政策来快速完全根除它。因此，我们提出了替代的隐性政策，重点是使干预措施（如疫苗接种和流动限制）成为累积病例数的函数，我们的研究结果表明消除COVID-19的可能性更大。
2022-03-29 cs.SY eess.SY math.OC
On the Optimization Landscape of Dynamic Output Feedback Linear Quadratic Control
本文研究了动态输出反馈线性二次调节（dLQR）的优化景观，证明了可观测dLQR平稳点的唯一性，并建立了其与LQG控制的等价条件，为策略梯度算法求解动态控制器提供了理论保证。
2023-10-29 cs.SY eess.SY math.OC
Policy Optimization in Control: Geometry and Algorithmic Implications
本文从黎曼几何视角综述反馈控制中的策略优化，分析LQR、LQG和H∞控制中稳定化策略的拓扑与几何结构及其对非凸性能度量和局部搜索算法的影响。
2024-06-06 cs.SY eess.SY math.DG
Policy Iteration for Multiplicative Noise Output Feedback Control
提出了一种求解乘性噪声线性二次输出反馈设计问题的策略迭代算法。该算法求解一类线性动态控制策略下部分可观测马尔可夫决策过程（POMDP）的估计和控制的耦合Riccati方程组。我们在数值实验中显示出更快的收敛速度比值迭代算法，以前唯一已知的算法解决这类问题。结果表明，在更一般的POMDPs的政策优化算法，包括潜在的开发新的近似数据驱动的方法时，模型参数不可用的未来研究方向。
2022-03-31 cs.SY eess.SY math.OC
On the Optimization Landscape of Dynamic Output Feedback: A Case Study for Linear Quadratic Regulator
National University of Singapore（新加坡国立大学）；University of Science and Technology Beijing（北京科技大学）；Tsinghua University（清华大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文研究线性二次调节中动态输出反馈的优化景观，证明可观测dLQR驻点唯一且可表示为带最优相似变换的观测器型控制器，为部分观测决策问题的高效算法设计提供理论依据。
2023-10-29 cs.LG cs.SY eess.SY
Distributed Control of Network Systems in the Space of Stabilizing Graph Neural Network Policies
Department of Engineering Science, University of Oxford（牛津大学工程科学系）
通过将图神经网络嵌入Youla-like幅度-方向参数化，提出一种保证闭环稳定性的分布式随机控制器，并证明其对图拓扑和模型参数扰动的鲁棒性。
2026-05-26 cs.LG cs.SY eess.SY
