Distributionally Robust Regret Optimal LQR with Common Stage-Law Ambiguity
Institute for Computational and Mathematical Engineering（计算与数学工程研究所）
本文研究了首个可解的多阶段事前分布鲁棒后悔优化框架，针对有限时间 horizon LQR 在共同阶段律不确定性下的控制问题，提出通过半正定规划求解的精确方法，并展示其在保留后悔保证的同时比传统DRO控制器更少保守。
2026-09-25 cs.SY eess.SY math.OC
Regret Analysis of Distributed Online LQR Control for Unknown LTI Systems
Northeastern University（东北大学）
在线优化最近开辟了途径，研究最优控制的时变费用函数是事先未知的。受此启发，我们研究了动态未知的线性时不变（LTI）系统的分布式在线线性二次型调节器（LQR）问题。考虑一个多智能体网络，其中每个智能体都被建模为一个LTI系统。该网络具有全局时变二次成本，可以逆向演化，并且每个代理只能部分地顺序观察。该网络的目标是共同（i）估计未知的动态和（ii）计算本地控制序列竞争的最佳集中式政策在事后，这最小化网络成本随时间的总和。这个问题被公式化为后悔最小化。我们提出了一个分布式的在线LQR算法的变体，代理计算他们的系统估计在探索阶段。然后，每个代理应用分布式在线梯度下降的半定规划（SDP）的可行集是基于代理系统的估计。我们证明了我们提出的算法的遗憾界的比例为$O(T^{2/3}\log T)$，这意味着随着时间的推移，所有代理的共识的概率很高。我们还提供了仿真结果验证我们的理论保证。
2022-02-06 cs.LG cs.SY eess.SY
The Power of Linear Controllers in LQR Control
Caltech（加州理工学院）
线性二次型调节器（LQR）框架考虑了受环境噪声干扰的线性动力系统的调节问题。我们计算三种不同的控制策略之间的政策遗憾：i）最优的在线政策，其线性结构由Ricatti方程给出; ii）最优的离线线性政策，这是最好的线性状态反馈政策的噪声序列;和iii）最优的离线政策，它选择全局最优控制行动的噪声序列。我们充分刻画了最优离线策略，并表明它具有递归形式的最优在线策略和未来的干扰。我们还表明，成本的最佳离线线性政策收敛到成本的最佳在线政策的时间跨度变大，因此，最佳离线线性政策招致线性遗憾相对于最佳离线政策，即使在乐观的设置中，噪声是从一个已知的分布独立同分布。虽然我们专注于设置噪声是随机的，我们的研究结果也意味着新的下界的政策遗憾时，可实现的噪声是由自适应对手。
2020-02-07 cs.LG math.OC
Rate-Optimal Regret for the Safe Learning-based Control of the Constrained Linear Quadratic Regulator
Department of Electrical and Computer Engineering, University of California Santa Barbara（加州大学圣芭芭拉分校电气与计算机工程系）
研究了具有时间步必须满足的约束的随机线性二次调节器（LQR）自适应控制问题，提出通过SDP选择乐观策略并进行缩放以确保安全，证明了在约束LQR设置中可实现O(√T)的后悔和概率约束。
2026-05-07 cs.LG math.OC
Optimistic Online LQR via Intrinsic Rewards
ETH Zürich（苏黎世联邦理工学院）
本文提出IR-LQR算法，通过内在奖励和方差正则化提升不确定性驱动探索，实现最优最坏情况后悔率√T，实验验证其在飞行器pitch角控制中的有效性。
2026-08-24 cs.LG cs.SY eess.SY
Regret Bounds for Robust Adaptive Control of the Linear Quadratic Regulator
University of California, Berkeley（加利福尼亚大学伯克利分校）
我们考虑线性二次型调节器（LQR）的自适应控制，其中一个未知的线性系统被控制的二次成本。利用线性系统估计和鲁棒控制器综合方面的最新发展，我们提出了第一个可证明的多项式时间算法，该算法为该问题的次线性遗憾提供了高概率保证。我们进一步研究了遗憾最小化和参数估计之间的相互作用，通过证明任何算法使用的探索时间表的预期遗憾的下限。最后，我们进行了数值研究比较我们的鲁棒自适应算法的自适应LQR文献的其他方法，并证明了我们提出的方法的灵活性，将其扩展到一个需求预测问题的状态约束。
2018-05-23 cs.LG math.OC stat.ML
Adapt and Stabilize, Then Learn and Optimize: A New Approach to Adaptive LQR
Massachusetts Institute of Technology（麻省理工学院）
本文提出一种新的自适应LQR方法，通过直接模型参考自适应控制与基于周期的方法相结合，克服了现有方法的不足，提供可证明的高概率遗憾界。
2026-04-24 cs.SY eess.SY math.OC
Thompson Sampling Achieves $\tilde O(\sqrt{T})$ Regret in Linear Quadratic Control
California Institute of Technology（加州理工学院）；Purdue University（普渡大学）
汤普森抽样（Thompson Sampling，TS）是一种有效的不确定性决策方法，它从一个精心设计的分布中抽样，并根据观测数据进行更新。在这项工作中，我们研究了问题的自适应控制的稳定线性二次型调节器（LQR）使用TS，其中系统的动态是未知的。以前的工作已经建立了$\tilde O(\sqrt{T})$频率后悔是最优的LQR的自适应控制。然而，现有的方法要么只工作在限制性的设置，需要先验已知的稳定控制器，或利用计算棘手的方法。我们提出了一种有效的TS算法用于LQR的自适应控制，基于TS的自适应控制，TSAC，即使对于多维系统，也可以达到$\tilde O(\sqrt{T})$遗憾，从而解决了Abeille和Lazaric（2018）中提出的开放问题。TSAC不需要先验已知的稳定控制器，并通过在早期阶段有效地探索环境来实现底层系统的快速稳定。我们的结果取决于开发一个新的下限的概率，TS提供了一个乐观的样本。通过仔细规定的早期探索策略和政策更新规则，我们表明，TS实现订单最优后悔多维稳定LQR的自适应控制。我们经验证明的性能和效率的TSAC在几个自适应控制任务。
2022-06-17 cs.LG cs.SY eess.SY
Constrained LQR Using Online Decomposition Techniques
提出了一种利用算子分裂法求解无穷时域约束线性二次型调节器（CLQR）问题的算法。首先，CLQR问题被重新表述为（有限时间）模型预测控制（MPC）问题没有终端约束。其次，MPC问题被分解成更小的子问题的固定尺寸独立的地平线的长度。第三，采用快速交替极小化算法求解子问题，在线估计时域长度，通过定期检查最后一个子问题的状态来确定其是否属于给定的控制不变集，从而增加或删除子问题.我们证明了估计的水平长度是有界的，并且使用该算法计算的控制序列是CLQR问题的最优解。与解决CLQR问题的最新算法相比，我们的设计在每次迭代时只解决无约束最小二乘问题和简单的梯度计算。此外，我们的技术允许地平线长度在线减少（如果地平线上的初始猜测过于保守，这是一个有用的功能）。平面系统上的数值结果显示了我们的算法的潜力。
2016-09-19 math.OC
Dynamic Regret Minimization for Control of Non-stationary Linear Dynamical Systems
Stanford University（斯坦福大学）；The University of Chicago（芝加哥大学）
研究了有限时域$T$上的线性二次型调节器（LQR）系统的控制问题，该系统的代价矩阵$Q,R$是固定的和已知的，但动态特性是未知的和非平稳的$\{A_t, B_t\}$ .动态矩阵的序列可以是任意的，但是具有总变差$V_T$，假定为$o(T)$并且对于控制器是未知的。假设一个序列的稳定，但潜在的次优控制器可用于所有$t$，我们提出了一种算法，实现了最佳的动态遗憾的$\tilde{\mathcal{O}}\left(V_T^{2/5}T^{3/5}\right)$。与分段常数动态，我们的算法实现了最佳遗憾的$\tilde{\mathcal{O}}(\sqrt{ST})$，其中$S$是开关的数量。我们的算法的关键是一个自适应的非平稳检测策略，它建立在最近开发的上下文多臂强盗问题的方法。我们还认为，非适应性遗忘（例如，重新启动或使用具有静态窗口大小的滑动窗口学习）对于LQR问题可能不是最优的，即使当利用$V_T$的知识最优地调整窗口大小时也是如此。在分析我们的算法的主要技术挑战是证明普通最小二乘（OLS）估计有一个小的偏差时，被估计的参数是非平稳的。我们的分析还强调，驱动遗憾的关键动机是，LQR问题的精神是一个强盗问题的线性反馈和局部二次成本。这个主题比LQR问题本身更普遍，因此我们相信我们的结果应该得到更广泛的应用。
2022-03-18 cs.LG math.OC stat.ML
Making Non-Stochastic Control (Almost) as Easy as Stochastic
UC Berkeley（加州大学伯克利分校）
最近的文献在理解\emph{online LQR}方面取得了很大的进展：现代学习理论对经典控制问题的理解，在经典控制问题中，学习者试图最优地控制具有完全可观察状态的未知线性动力系统，受i.i.d.高斯噪声现在可以理解，时间范围上的最优后悔$T$与最优控制律的比例为$\widetildeΘ(\sqrt{T})$。在本文中，我们证明了即使在更一般的非随机控制模型中也可以达到相同的遗憾率（针对合适的基准），其中系统由\emph{arbitrary adversarial}噪声驱动（Agarwal et al. 2019）。换句话说，就是\emph{stochasticity confers little benefit in online LQR}。我们达到最佳的$\widetilde{\mathcal{O}}(\sqrt{T})$遗憾的动态是未知的学习者，和$\mathrm{poly}(\log T)$遗憾时，已知的，提供的成本函数是强凸的（如在LQR）。我们的算法基于在线牛顿步骤的一种新变体（Hazan et al. 2007），它适应于可能由对抗性干扰引起的几何形状，我们的分析取决于OCO-记忆框架中某些结构性损失的通用“政策遗憾”界限（Anava et al. 2015）。此外，我们的研究结果容纳了非随机控制设置的全部一般性：对抗性选择（可能是非二次）成本，部分状态观测，以及完全…
2020-10-05 cs.LG math.OC stat.ML
A New Algorithm for the LQR Problem with Partially Unknown Dynamics
考虑了一类动态部分未知的LQR最优控制问题。我们提出了一种新的基于模型的在线算法，以获得近似的动态$and$的控制在同一时间在一个单一的模拟。
2021-05-28 cs.NA math.NA math.OC
Online Optimal Control with Linear Dynamics and Predictions: Algorithms and Regret Analysis
研究了时不变线性动力系统具有时变凸阶段费用的在线最优控制问题，其中阶段费用的精确预测在每个时刻都有一个有限的前瞻窗口.我们设计了在线算法，滚动时域基于一致性的控制（RHGC），通过有限步骤的梯度计算，利用预测。我们研究的算法性能的动态后悔：在线性能减去事后的最佳性能。结果表明，RHGC的动态遗憾指数衰减的前瞻窗口的大小。此外，我们提供了一个基本限制的动态遗憾的任何在线算法考虑线性二次跟踪问题。其中一个RHGC方法的遗憾上界几乎达到了基本极限，证明了算法的有效性。最后，我们对线性和非线性系统进行了数值测试，以证明我们的RHGC的有效性和通用性。
2019-10-21 math.OC
Naive Exploration is Optimal for Online LQR
UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
针对未知参数的线性二次调节器在线自适应控制问题，通过自界常微分方程法证明最优遗憾的缩放阶，推翻多对数阶遗憾猜想，证实带探索噪声的确定性等价控制变体可达到最优维度依赖。
2023-10-04 cs.LG math.OC stat.ML
Regrets of Proximal Method of Multipliers for Online Non-convex Optimization with Long Term Constraints
在闭凸集上具有非凸损失函数的在线最优化问题，加上一组不等式（可能是非凸的）约束，是一个具有挑战性的在线学习问题。提出了一种二次逼近乘子近似法（OPMM）来求解这类带长期约束的在线非凸优化问题。分析了OPMM在求解在线非凸优化问题时违反Karush-Kuhn-Tucker条件的不足。在较弱的条件下，证明了该算法具有${\cO}(T^{-1/8})$拉格朗日梯度违背遗憾、${\cO}(T^{-1/8})$约束违背遗憾和${\cO}(T^{-1/4})$互补剩余遗憾，其中$T$表示时间段的个数.对于目标为凸二次函数的情形，证明了即使可行集为非凸的，目标约简的遗憾也是成立的。对于约束函数为凸函数的情形，若OPMM子问题的解是通过求解其对偶得到的，则证明了OPMM是求解在线非凸最优化问题的一种可实现的投影方法.
2022-04-23 math.OC
Wasserstein Distributionally Robust Regret-Optimal Control under Partial Observability
本文将Wasserstein分布鲁棒遗憾最优控制从全信息扩展到部分可观测与测量反馈场景，求解有限时域问题并将其转化为可处理的半定规划，通过仿真验证了其在不确定环境中的鲁棒性和实用性。
2023-07-11 math.OC
Bounds for the Tracking Error and Dynamic Regret of Inexact Online Optimization Methods: A General Analysis via Sequential Semidefinite Programs
在本文中，我们开发了一个统一的框架，分析跟踪误差和动态遗憾的不精确在线最优化方法在各种设置。具体来说，我们利用二次约束方法从控制理论制定顺序半定规划（SDP）的可行点自然对应于跟踪误差界的各种不精确的在线最优化方法，包括不精确的在线梯度下降（OGD）方法，在线梯度下降上升法，在线随机梯度法，和不精确的近端在线梯度法。我们提供了精确的解析解，我们建议的顺序SDPs，并获得细粒度的跟踪误差界的在线算法在本文中研究。我们还提供了一个简单的例程来转换所获得的跟踪误差界到动态遗憾界。我们的分析的主要新颖之处是，我们得到了精确的分析解决方案，我们提出的顺序SDPs在各种不精确的预言假设下，以统一的方式。
2023-03-02 math.OC
Online Adaptive Policy Selection in Time-Varying Systems: No-Regret via Contractive Perturbations
针对时变系统的在线自适应策略选择问题，提出GAPS算法与通用分析框架，在收缩策略类下实现不同凸性条件下的遗憾界保证，且适应环境速度优于现有基准。
2023-06-13 math.OC
Learning Based Control Policy and Regret Analysis for Online Quadratic Optimization with Asymmetric Information Structure
本文提出了一种分析具有非对称信息结构的动态系统的学习方法。而不是采用博弈论的设置，我们研究了一个在线的二次最优化问题驱动的系统噪声与未知的统计。由于信息的不对称性，经典的卡尔曼滤波和最优控制策略都不适用于此类系统。开发一种鲁棒的方法，随着时间的推移学习概率统计是必要的和有益的。受在线凸优化（OCO）理论的启发，本文引入了后悔的概念，将后悔定义为最优离线已知统计代价与最优在线未知统计代价之间的累积性能损失之差。利用动态规划和线性最小均方有偏估计（LMMSUE），提出了一种新型的在线状态反馈控制策略，并刻画了有限时间区域内的后悔行为.遗憾是次线性和有界的O（ln T）。此外，我们解决了在线最优化问题与输出反馈控制政策。
2018-11-02 math.OC
Regret-Optimal Linear-Quadratic Control under Distributional Drift
Institute for Computational and Mathematical Engineering（计算与数学工程研究所）；Stanford University（斯坦福大学）
针对扰动分布随时间漂移的有限时域LQR问题，提出事前分布鲁棒遗憾优化方法，通过时间耦合矩模糊集和仿射扰动反馈合成，将问题转化为半定规划，实验验证其能显著降低最坏情况遗憾。
2026-10-08 cs.SY eess.SY math.OC
Online Optimisation for Online Learning and Control -- From No-Regret to Generalised Error Convergence
本文介绍了早期的工作，旨在开发一个新的框架，在线学习的预测和控制算法的设计和分析。首先，我们考虑的任务，预测值的函数或时间序列的基础上，通过利用在线编程的输入增量到达序列。引入一个概括的标准概念的收敛，我们得到理论保证的渐近行为的预测精度时，预测模型更新的无外部遗憾算法。我们证明了广义学习保证在线回归，并提供了一个例子，这可以应用于在线学习为基础的控制。我们设计了一个模型参考自适应控制器，在先验动态不确定性的存在下，具有新的在线性能保证跟踪成功。我们的理论结果是伴随着简单的回归和控制问题的插图。
2019-03-23 math.OC
Online optimization in dynamic environments: a regret analysis for sparse problems
时变系统在许多科学和工程领域都是一个挑战。通常，时变参数或信号的估计必须在线进行，这就要求开发响应式在线算法。在本文中，我们在稀疏优化的背景下考虑这个问题;具体来说，我们考虑弹性网络模型，它促进了简约的解决方案。根据\cite{mok16}的基本原理，我们提出了一个在线算法，我们从理论上证明了它是成功的动态后悔。然后，我们展示了一个应用程序的时变自回归模型的递归识别问题，在这种情况下，待估计的参数的数量是未知的。数值结果表明了该方法的有效性。
2018-09-07 math.OC
Dynamic Regret of Distributed Online Frank-Wolfe Convex Optimization
本文研究了分布式在线凸约束优化问题，在该问题中，多智能体系统中的多个智能体通过与时变网络中的邻居进行通信来协作以最小化全局费用函数。当最优化问题的约束集是高维的、复杂的时，投影运算的计算量往往变得令人望而却步。为了解决这个问题，我们开发了一个分布式的在线Frank-Wolfe优化算法结合梯度跟踪技术。我们严格建立动态遗憾界的建议优化算法为$\mathcal{O}(\sqrt{T(1+H_T)}+D_T)$，这显式地依赖于迭代轮$T$，功能变化$H_T$，和梯度变化$D_T$。最后，在分布式在线岭回归问题的情况下，对理论结果进行了验证和比较。
2023-02-01 math.OC
Maximizing the Value of Predictions in Control: Accuracy Is Not Enough
本文研究在线最优控制中随机预测的价值，提出预测能力概念并给出LQR闭式解及一般情形下界，证明弱依赖预测也能显著提升控制性能。
2025-06-04 math.OC
Forgetting-Factor Regret for Online Zero-Sum Games
Peking University（北京大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
研究在线两人零和博弈中动态均衡跟踪，引入带遗忘因子的遗憾函数，分析不同反馈下的三种算法，建立遗憾界，给出收敛条件，通过数值示例验证理论结果，体现所提遗憾度量的跟踪优势。
2026-07-09 math.OC
Distributed Online Convex Optimization with Improved Dynamic Regret
在本文中，我们考虑分布式在线凸优化的问题，其中一组代理合作，以在线方式跟踪全局极小值的时变目标函数的总和。具体来说，我们提出了一种新的分布式在线梯度下降算法，依赖于静态优化中使用的梯度跟踪技术的在线适应。我们表明，该算法的动态遗憾界没有明确的时间范围的依赖，因此，可以比现有的界限，特别是对于长期的问题。我们的边界依赖于一个新的正则性度量，该度量量化了每个时刻最佳点处梯度的总变化。此外，当优化近似线性动力学，我们表明，动态遗憾界可以进一步收紧取代的规律性措施，捕获路径长度的优化与累积的预测误差，这可以在这种特殊情况下低得多。我们提出了数值实验来证实我们的理论结果。
2020-10-13 math.OC
An Iterative Riccati Algorithm for Online Linear Quadratic Control
研究线性控制系统的在线策略学习问题。在这个问题中，控制系统是已知的和线性的，并且二次费用函数的序列在事后被揭示给控制器，并且控制器更新其策略以实现次线性遗憾，类似于在线优化。提出了一种改进的在线Riccati算法，在一定的有界性假设下，得到了对数遗憾界。特别地，在没有有界性假设的情况下，获得了标量情形的对数遗憾。我们的算法，同时实现了更好的遗憾界，也降低了复杂性相比，早期的算法依赖于解决半定方案在每个阶段。
2021-01-26 math.OC
Dynamic Regret for Online Composite Optimization
本文研究动态环境中的在线复合优化问题，其中每个目标或损失函数包含一个时变不可微正则化子。为了解决这个问题，在线近似梯度算法研究了两种不同的情况下，包括凸和强凸目标没有光滑条件。在这两种情况下，与大多数工作不同，采用传统路径变化的扩展版本来约束所考虑的性能度量，即，动态后悔在凸的情况下，一个绑定$\mathcal{O}(\sqrt{T^{1-β}D_β(T)+T})$是最有名的结果，其中$D_β(T)$是扩展的路径变化与$β\in[0,1)$和$T$的总轮数。在强凸情形下，建立了动态后悔的一个界$\mathcal{O}(\log T(1+T^{-β}D_β(T)))$.最后给出了数值例子来支持理论结果。
2023-03-23 math.OC
Online Mixed Discrete and Continuous Optimization: Algorithms, Regret Analysis and Applications
本文研究在线混合离散与连续优化问题，提出具有次线性遗憾保证的算法，并验证其在多种实际应用中的有效性。
2024-08-26 math.OC
Online Distributed Optimization with Clipped Stochastic Gradients: High Probability Bound of Regrets
本文针对智能体网络的分布式优化问题，提出带截断的在线分布式随机梯度下降算法，在重尾噪声下证明了凸与非凸场景下动态悔值的高概率次线性界，并通过仿真验证理论有效性。
2024-01-26 math.OC
Online Optimization with Predictions and Switching Costs: Fast Algorithms and the Fundamental Limit
本文研究了一个在线最优化问题，该问题具有有限的预测窗口的费用函数和额外的切换成本的决策。我们提出了两个基于梯度的在线算法：滚动时域梯度下降（RHGD）和滚动时域加速梯度（RHAG）。这两种算法在每个阶段只需要有限数量的投影梯度评估。我们提供了上界的动态遗憾的算法，并表明遗憾的上界与预测窗口的长度呈指数衰减。此外，我们研究的基本下界的动态遗憾的广泛的一类确定性在线算法。的下界接近RHAG的遗憾上界，表明我们的基于梯度的RHAG是一个近最优的在线算法。最后，我们进行了数值实验，以补充我们的理论分析。
2020-03-07 math.OC
A Continuous-Time Nesterov Accelerated Gradient Method for Centralized and Distributed Online Convex Optimization
利用在线连续时间Nesterov加速梯度法（OCT-NAG）研究了在线凸优化问题。我们表明，在线版本的布雷格曼拉格朗日产生的连续时间动态实现了恒定的静态遗憾$\frac{c}σ$独立的$T$，提供了一些有界性假设的目标函数和最优解。据作者所知，这是文献中最低的静态遗憾（低于$O(\text{log}(T))$）。我们进一步证明了在相同的假设条件下，该算法的动态遗憾是$O(T)$，这是与现有的方法相媲美。仿真结果验证了该方法的有效性。此外，仿真结果表明，该算法表现出良好的动态遗憾的一些特定的缩放条件。此外，我们考虑所提出的在线优化方法在分布式在线最优化问题中的应用，并表明所提出的算法实现了$O(\sqrt{T})$静态遗憾，这是与现有的分布式在线最优化方法。与这些方法不同的是，该方法既不需要梯度有界性假设，也不需要紧约束集假设，从而允许与文献中不同的目标函数和最优化问题。一个可比的动态后悔。仿真结果表明了分布式算法的有效性和效率。
2020-09-26 math.OC
Randomized Gradient-Free Distributed Online Optimization via a Dynamic Regret Analysis
本文考虑了一个在线分布式最优化问题，其中一组代理的局部目标函数随时间变化。此外，目标函数的值被透露给相应的代理后，决定是执行每个时间步。因此，每个代理只能更新决策变量的基础上透露的价值和信息收集的邻居，没有知识的明确表达的目标函数。为了解决这个问题，提出了一种在线无梯度的分布式投影梯度下降（DPGD）算法，其中每个智能体基于两个点值局部逼近梯度。在通信图和目标函数的一些标准假设下，我们给出了动态后悔的界作为最小路径长度、步长和平滑参数的函数。在适当的步长和平滑参数的选择下，我们证明了动态后悔是次线性的持续时间$T$，如果最小路径长度也增长次线性。最后通过数值模拟说明了该算法的有效性。
2021-08-13 math.OC
Tracking and regret bounds for online zeroth-order Euclidean and Riemannian optimisation
我们研究数值优化算法，使用零阶信息，以尽量减少随时间变化的geodesically凸费用函数的黎曼流形。在欧几里德环境中，零阶算法在时变和时不变的情况下都受到了很多关注。然而，推广到黎曼流形是少得多的发展。我们专注于阿达玛流形，这是一类特殊的黎曼流形的整体非正曲率，提供方便的理由，推广凸性概念。具体来说，我们推导出的预期瞬时跟踪误差的界限，我们提供算法的性能最小化的算法参数值。我们的结果说明如何在截面曲率方面的流形几何影响这些界限。此外，我们提供了动态的遗憾界限，这种在线优化设置。据我们所知，这些是第一个遗憾的界限，即使是欧几里德版本的问题。最后，通过数值模拟，我们证明了我们的算法在线Karcher均值问题的适用性。
2022-02-14 math.OC
Regret-Optimal Control under Partial Observability
本文研究部分可观测系统下的遗憾最优控制，扩展了全信息框架至测量反馈场景，推导显式状态空间解并验证实用性。
2023-11-14 cs.SY eess.SY math.OC
Online estimation and control with optimal pathlength regret
Caltech（加州理工学院）
当为非平稳环境设计在线学习算法时，一个自然的目标是根据输入序列的时间变化限制算法的遗憾。直觉上，当变化很小时，算法应该更容易实现低遗憾，因为过去的观察可以预测未来的输入。这种依赖于数据的“路径长度”遗憾界最近已经获得了各种各样的在线学习问题，包括OCO和土匪。我们获得了线性动态系统在线控制和估计（如卡尔曼滤波）的第一个路径长度遗憾界。在我们的推导中的关键思想是减少路径长度最优滤波和控制的鲁棒估计和控制的某些变分问题，这些减少可能是独立的利益。数值模拟证实，我们的路径长度优化算法优于传统的$H_2$和$H_{\infty}$算法时，环境随时间变化。
2021-12-07 cs.LG math.OC
A Unified Analysis Method for Online Optimization in Normed Vector Space
China University of Petroleum-Beijing（中国石油大学（北京））
本文从高层次统一理论的角度研究在线优化问题。本文不仅在赋范向量空间中推广了Optimistic-DA和Optimistic-MD，而且统一了它们的动态后悔分析方法。由于引入了$ϕ$ -convex，遗憾边界是最严格的。作为实例，归一化指数次梯度和贪婪/懒惰投影的遗憾界优于目前已知的最优结果。通过用单调算子代替在线博弈中的损失，并扩展后悔算子的定义，即后悔$^n$，将在线凸优化问题推广到在线单调优化问题。
2022-02-13 cs.LG math.OC
An optimistic planning algorithm for switched discrete-time LQR
针对切换离散时间LQR系统的计算资源与控制性能平衡问题，提出树基Riccati乐观在线规划器TROOP，通过A*启发的搜索策略高效估计最优值函数，生成保证近优性和稳定性的控制律，实现计算效率与性能的平衡。
2025-08-26 cs.SY eess.SY math.OC
Online Bilevel Optimization: Regret Analysis of Online Alternating Gradient Methods
University of Pennsylvania（宾夕法尼亚大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Michigan（密歇根大学）
该研究提出在线双层优化问题，定义新的双层悔度概念，设计可利用平滑性的在线交替时间平均梯度方法，将单层在线算法悔度界拓展至双层场景，给出基于内外层最小化子序列路径长度的悔度界。
2024-07-08 cs.DS cs.LG math.OC
Logarithmic Regret for Online Control
Google AI Princeton（谷歌AI普林斯顿）；Princeton University（普林斯顿大学）
在转移动力学的基础上，研究了线性动力系统在逆变强凸代价函数下的最优后悔界。这包括几个良好的研究和基本框架，如卡尔曼滤波器和线性二次调节器。现有技术的方法实现了按$O(\sqrt{T})$缩放的后悔，其中$T$是时间范围。我们发现，在这种情况下，最佳遗憾可以显着较小，缩放为$O(\text{poly}(\log T))$。通过两种不同的有效迭代法，在线梯度下降和在线自然梯度来实现该遗憾界。
2019-09-11 cs.LG math.OC stat.ML
Achieving Better Local Regret Bound for Online Non-Convex Bilevel Optimization
East China Normal University（华东师范大学）
本文提出优化在线非凸双层优化的局部遗憾界，设计了自适应迭代算法和单循环算法，分别在标准和窗口平均设置中取得最优遗憾界。
2026-05-09 cs.LG math.OC
Logarithmic Regret for Adversarial Online Control
MIT（麻省理工学院）；UC Berkeley（加州大学伯克利分校）
针对一类已知的具有对抗性干扰的系统，提出了一种在线线性二次型控制的新算法。现有的遗憾界为$\sqrt{T}$的设置规模，除非强随机假设施加在扰动过程。我们给出了第一个算法与对数遗憾任意对抗性干扰序列，提供的状态和控制成本由已知的二次函数。我们的算法和分析使用的最优离线控制律的表征减少在线控制问题（延迟）在线学习近似优势函数。与以前的技术相比，我们的方法不需要控制迭代的移动成本，导致对数遗憾。
2020-06-23 cs.LG math.OC stat.ML
Online Learning with Continuous Variations: Dynamic Regret and Reductions
Georgia Tech（佐治亚理工学院）；UC Berkeley（加州大学伯克利分校）
在线学习是分析迭代算法的有力工具。然而，经典的对抗性设置有时无法捕捉到实践中在线问题的某些规律性。出于这一动机，我们建立了一个新的设置，称为连续在线学习（COL），在线损失函数的梯度不断变化，跨轮相对于学习者的决定。我们表明，COL涵盖并更恰当地描述了许多有趣的应用，从一般均衡问题（EPs）的优化，在情节MDPs。特别是，我们发现单调EP承认减少实现次线性静态遗憾COL。使用这个新的设置，我们重新审视的困难，次线性动态遗憾。我们证明了一个基本的等价实现次线性动态遗憾COL和解决某些EP。有了这个洞察力，我们提供的条件，实现次线性动态遗憾的有效算法，即使是在没有任何先验变化预算的情况下，自适应地选择损失。此外，我们表明COL减少从动态遗憾到静态遗憾和收敛在相关的EP，使我们能够分析许多现有的算法的动态遗憾。
2022-04-04 cs.LG math.OC stat.ML
Regret Bounds without Lipschitz Continuity: Online Learning with Relative-Lipschitz Losses
University of British Columbia（不列颠哥伦比亚大学）；Amii（阿尔伯塔机器智能研究所）
在线凸优化（OCO）中，通常假设函数的Lipschitz连续性以获得次线性遗憾。而且，当这些函数也是强凸函数时，许多算法只有对数遗憾。近年来，凸优化领域的研究者提出了“相对Lipschitz连续性”和“相对强凸性”的概念。这两个概念都是经典概念的推广。它已被证明，次梯度方法在相对设置具有类似于他们的性能在经典设置的性能。在这项工作中，我们考虑OCO相对Lipschitz和相对强凸函数。我们扩展了经典OCO算法的遗憾界的相对设置。具体来说，我们显示遗憾的界限遵循正规化的领导者算法和在线镜像下降的一个变体。由于这些方法的通用性，这些结果产生各种各样的OCO算法的遗憾界。此外，我们进一步扩展的结果与额外的正则化算法，如正则化双平均。
2020-12-28 cs.LG math.OC
Dynamic Regret of Online Mirror Descent for Relatively Smooth Convex Cost Functions
University of Toronto（多伦多大学）
在线凸优化算法在动态环境中的性能通常用动态后悔来表示，动态后悔度量决策者对一系列时变比较器的性能。在分析动态后悔问题时，以往的研究往往假设代价函数是Lipschitz连续或一致光滑的。然而，在实践中有许多重要的成本函数不满足这些条件。在这种情况下，先前的分析是不适用的，不能保证优化性能。在这封信中，我们表明，它是可能的约束的动态遗憾，即使没有Lipschitz连续性和一致光滑性。我们采用相对光滑的概念，相对于一些用户定义的正则化函数，这是一个更温和的要求的成本函数。我们首先表明，相对平滑下，动态后悔有一个上界的基础上的路径长度和功能的变化。然后，我们表明，与一个相对较强的凸性的附加条件，动态后悔可以有界的路径长度和梯度变化。这些遗憾的界限提供了性能保证各种各样的在线优化问题，出现在不同的应用领域。最后，我们提出了数值实验，证明了采用正则化函数的优势，在该函数下的成本函数是相对平滑的。
2022-02-25 cs.LG math.OC
A Distributed Online Convex Optimization Algorithm with Improved Dynamic Regret
Duke University（杜克大学）
在本文中，我们考虑的问题，分布式在线凸优化，在网络的本地代理的目的是共同优化一个凸函数在一段时间内的多个时间步长。特工们对未来一无所知。现有的算法已经建立了明确的依赖于时间步长的数量的动态遗憾界。在这项工作中，我们表明，我们可以消除这种依赖性，假设当地的目标函数是强凸的。更准确地说，我们提出了一个梯度跟踪算法，代理联合通信和下降的基础上校正梯度步骤。我们通过数值实验验证了我们的理论结果。
2019-11-12 cs.LG math.OC
Online Optimization in Dynamic Environments: Improved Regret Rates for Strongly Convex Problems
University of Pennsylvania（宾夕法尼亚大学）；Harvard University（哈佛大学）
在本文中，我们解决跟踪的时变参数与未知的动态。我们正式的问题作为一个实例，在一个动态的设置在线优化。使用在线梯度下降，我们提出了一种方法，顺序预测的参数值，反过来又遭受损失。其目标是尽量减少在一段时间内累积的损失，这一概念被称为动态后悔。虽然现有的方法集中在凸损失函数，我们认为强凸函数，以便提供更好的性能保证。我们得到一个遗憾的界限，捕获的路径长度的时变参数，定义在其连续值之间的距离。换句话说，边界表示跟踪质量与参数变化率的自然联系。我们提供数值实验来补充我们的理论研究结果。
2016-03-16 cs.LG math.OC
Online Monotone Optimization
本文提出了一个新的框架，分析和设计的无悔算法的动态（可能是敌对的）系统。该框架概括了流行的在线凸优化框架，并将其扩展到其自然极限，使其能够捕获一个概念的遗憾，这是直观的更一般的问题，如在博弈论和变分不等式中遇到的。该框架取决于我们开发的系统范围损失函数的特殊选择。使用这个框架，我们证明了一个简单的更新计划提供了一个无遗憾算法单调系统。虽然以前的结果在博弈论证明个人代理可以享受单边无遗憾的保证，我们的结果证明单调性足以保证无遗憾时，考虑到多个代理策略的调整并行。此外，据我们所知，这是第一个框架，提供了一个合适的概念变分不等式的遗憾。最重要的是，我们提出的框架确保单调性的充分条件，安全地并行使用多个在线学习者。
2016-08-29 cs.LG math.OC
Universal Online Convex Optimization with Minimax Optimal Second-Order Dynamic Regret
Bilkent University（比尔肯特大学）；Turkcell Teknoloji（土耳其电信技术公司）；DataBoss A.S.（DataBoss公司）
我们介绍了一个在线凸优化算法，利用投影次梯度下降与最佳自适应学习率。对于一般的凸函数序列，我们的方法提供了二阶极小极大最优的动态后悔保证（即依赖于次梯度范数的平方和），这类函数序列可能不具有强凸性、光滑性、指数连续性甚至Lipschitz连续性.遗憾保证针对具有有界路径变化的任何比较器决策序列（即连续决策之间的距离之和）。通过引入实际次梯度范数，我们得到了最坏情况下二阶动态后悔的下界。我们表明，这个下界匹配我们的遗憾保证在一个常数的因素，这使得我们的算法最小最大的最优。我们还分别推导了每个决策坐标中的学习扩展。我们演示了如何最好地保持我们的遗憾保证在一个真正的在线方式，当比较器序列的路径变化的约束增长的时间或反馈关于这样的约束到达部分随着时间的推移，我们进一步建立在我们的算法，以消除需要的任何知识的比较器路径变化，并提供minimax最优二阶遗憾保证没有先验信息。我们的方法可以竞争对所有比较器序列同时（普遍）在一个最小最大的最佳方式，即每个遗憾的保证取决于各自的比较器路径变化。我们讨论修改我们的方法，解决时间，计算和内存的复杂性降低。我们进一步改善我们的结果，使遗憾的保证也依赖于比较器集的直径，除了各自的路径变化。
2022-09-13 cs.LG math.OC
Small Gradient Norm Regret for Online Convex Optimization
Stanford University（斯坦福大学）；Shanghai University of Finance and Economics（上海财经大学）
本文提出了一种新的在线凸优化遗憾度量$G^\star$，通过改进的遗憾分析和实验验证，提升了对平滑损失的收敛性能。
2026-09-22 cs.LG math.OC stat.ML
Follow The Approximate Sparse Leader for No-Regret Online Sparse Linear Approximation
IIT (ISM) Dhanbad（印度理工学院（达姆达德印度矿业学院））
针对在线稀疏线性逼近问题，提出 Follow-The-Approximate-Sparse-Leader 元策略，并证明其静态遗憾具有从对数到平方根范围的依赖数据次线性界，仿真验证了有效性。
2025-01-07 cs.LG math.OC
Online Min-Max Optimization: From Individual Regrets to Cumulative Saddle Points
Purdue University（普渡大学）
本文提出了一种基于累积鞍点的在线极小极大优化方法，解决了静态纳什均衡与个体遗憾不兼容的问题，并引入动态鞍点遗憾概念，同时推导了在强凸-强凹性和极小极大指数凹性下的理论界限。
2026-02-11 cs.LG math.OC
Dynamic Regret Analysis for Online Tracking of Time-varying Structural Equation Model Topologies
确定复杂系统中变量之间的依赖关系是网络科学中的一个重要问题。结构方程模型（SEM）由于具有易处理性和模型中引入了外生影响等优点，在拓扑推理中得到了广泛的应用。基于静态SEM的拓扑识别在静态环境中是有用的，然而，在许多应用中，寻求时变的底层拓扑。本文提出了一种动态环境下稀疏时变拓扑结构的在线跟踪算法，并对算法的性能保证进行了详细的分析。跟踪能力的特点是在所提出的算法的动态遗憾的约束。数值试验表明，该算法可以跟踪不同模型下的时变拓扑结构的变化。
2020-03-18 eess.SP math.OC
Minimizing Regret of Bandit Online Optimization in Unconstrained Action Spaces
TU Darmstadt（达姆施塔特工业大学）；University of British Columbia（不列颠哥伦比亚大学）
本文研究了带零阶预言反馈的在线凸优化问题。特别地，决策者不知道时变费用函数或其梯度的显式表示。在每个时间步，她观察在她选择的动作（零阶预言）处评估的对应费用函数的值。目标是最小化遗憾，也就是说，她积累的成本和静态最优行动之间的差异，她知道的序列的费用函数先验。我们提出了一个新的算法，以尽量减少无约束的行动空间中的遗憾。我们的算法取决于一个经典的思想，一个点估计的梯度的费用函数的基础上，他们的观测值。该算法与问题参数无关。令$T$表示零阶预言机的查询次数，$n$表示问题维数，得到的遗憾率为$O(n^{2/3}T^{2/3})$。此外，我们适应所提出的算法的设置与两点反馈，并证明了适应过程达到理论上的下限$(n^{1/2}T^{1/2})$的遗憾。
2020-05-02 cs.LG math.OC
