An Optimistic Algorithm for online CMDPS with Anytime Adversarial Constraints
KAIST（韩国科学技术院）；ShanghaiTech University（上海科技大学）
针对对抗性约束下的在线安全强化学习问题，提出OMDPD算法，首次解决任意时刻对抗性约束的在线CMDP，实现最优遗憾和约束违反界限且无需依赖Slater条件。
2025-05-28 cs.AI cs.LG
A Primal-Dual Online Learning Approach for Dynamic Pricing of Sequentially Displayed Complementary Items under Sale Constraints
Politecnico di Milano（米兰理工大学）
针对带销售约束、需求不确定的顺序展示互补品动态定价问题，将其建模为带约束的马尔可夫决策过程，提出原对偶在线优化算法，实验表明该方法在约束违反和悔值上优于单状态优化基线。
2024-07-08 cs.LG math.OC
Bi-Level Online Provisioning and Scheduling with Switching Costs and Cross-Level Constraints
Dept. of Electrical Engineering University at Buffalo, Buffalo, NY（电气工程系 网络布法罗大学）；Computer Engineering The Ohio State University, Columbus, OH（计算机工程 俄亥俄州立大学）
本文提出了一种双层OCO-CMDP算法，解决具有切换成本和跨层约束的网络资源配置与调度问题，通过双时间尺度交互和预算自适应探索实现近最优性能。
2026-02-20 cs.LG
Online Decision Deferral under Budget Constraints
Georgia Institute of Technology（佐治亚理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）
本文针对预算约束下模型与专家决策延迟的在线自适应问题，提出上下文赌博机框架及其高效扩展，在真实数据集上验证了显著性能。
2024-09-30 cs.LG
Beyond Slater's Condition in Online CMDPs with Stochastic and Adversarial Constraints
Politecnico di Milano（米兰理工大学）
研究随机和对抗性约束下的在线CMDPs，提出新算法。随机情况不依赖斯莱特条件实现 $\widetilde{\mathcal{O}}(\sqrt{T})$ 遗憾值等，对抗情况确保次线性约束违反和次线性 $\alpha$ -遗憾值，实验验证了算法有效性。
2026-07-14 cs.LG
Online Learning with Composite Loss Functions
Microsoft Research（微软研究院）；University of Chicago（芝加哥大学）；Technion（以色列理工学院）
我们研究一类新的在线学习问题，其中每个在线算法的行动被分配一个对抗值，并且算法在每一步的损失是分配给其最近行动的值的已知和确定性函数。这类问题包括算法的损失是最近对抗值的最小值，最近值的最大值，或最近值的线性组合。我们分析了这类问题在接受强盗反馈时的极大极小遗憾，证明了当使用最小或最大函数时，极大极小遗憾是$\tilde Ω(T^{2/3})$（所谓的硬在线学习问题），而当使用线性函数时，极大极小遗憾是$\tilde O(\sqrt{T})$（所谓的易学习问题）.在此之前，唯一已知的可证明困难的在线学习问题是具有转换成本的多臂强盗问题。
2014-05-18 cs.LG
Coverage You Can Steer: Online Conformal Calibration for RL-Driven Hardware-Aware NAS
Vicomtech Foundation, Basque Research and Technology Alliance (BRTA)（维科姆技术基金会，巴斯克研究与技术联盟（BRTA））
针对硬件感知NAS中RL循环破坏共形预测可交换性假设的问题，提出在线共形校准方法，实现可操控覆盖率，在保持精度下剪除25-50%评估，并优于基线。
2026-10-05 cs.LG
A Unifying Framework for Online Optimization with Long-Term Constraints
Politecnico di Milano（米兰理工大学）；Bocconi University（博科尼大学）
我们研究在线学习问题，决策者必须采取一系列的决定受到$m$长期的约束。决策者的目标是最大化他们的总回报，同时在整个$T$轮中实现小的累积约束违反。我们提出了第一个最好的两个世界类型的算法，这类问题，与无悔的保证，在这种情况下，根据一个未知的随机模型选择的奖励和约束，并在这种情况下，他们在每一轮选择的对手。我们的算法是第一个在对抗环境中提供保证的最佳固定策略，满足长期约束。特别是，它保证了$ρ/(1+ρ)$分数的最优奖励和次线性遗憾，其中$ρ$是一个可行性参数的存在性严格可行的解决方案。我们的框架采用传统的遗憾最小化黑盒组件。因此，通过适当选择后悔最小化器来实例化它，它可以处理完全反馈以及强盗反馈设置。此外，它允许决策者无缝地处理具有非凸奖励和约束的场景。我们展示了我们的框架如何应用于重复拍卖的拍卖管理机制，以保证不打包的长期约束（例如，ROI约束）。
2022-09-15 cs.LG math.OC
Enhancing Reinforcement Learning Fine-Tuning with an Online Refiner
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出动态约束机制，通过在线细化模型提升强化学习微调的稳定性与性能，在对话和代码生成任务中优于KL正则化和无约束基线。
2026-03-18 cs.AI cs.LG
Hybrid Offline-online Scheduling Method for Large Language Model Inference Optimization
Tsinghua University（清华大学）
本文提出一种混合离线-在线调度方法，通过MIP建模、最小化完工时间装箱及在线抢占调度，提升LLM推理系统利用率至89.1%，并缩短推理时间。
2025-02-14 cs.AI cs.AR cs.DC
Online Learning with Unknown Constraints
Cornell University（康奈尔大学）
研究未知安全约束下的在线学习问题，提出通用元算法结合在线回归预言机估计约束、调整在线学习预言机的输出以满足约束，给出后悔界及下界，线性约束下给出具体算法实现$\sqrt{T}$后悔。
2024-03-06 cs.AI cs.LG math.ST
Online optimization and regret guarantees for non-additive long-term constraints
University of Edinburgh（爱丁堡大学）
我们认为在线优化的1-前瞻设置，目标不分解添加在轮的在线游戏。由此产生的配方使我们能够处理非静态和/或长期的约束，这产生的，例如，在在线显示广告的问题。我们提出了一个在线的原始-对偶算法，我们获得动态累积后悔保证。它们依赖于非加性惩罚的凸性和平滑性，以及捕获非平稳和长期约束的残差在各轮中变化的平滑性的术语。我们对合成数据进行实验，以说明非加性惩罚的好处，并显示在生产中的显示广告平台收集的实时流量数据上的遗憾收敛消失。
2016-06-08 cs.LG math.OC math.ST
Adaptive Iterative Hard Thresholding for Online High-dimensional Quantile Regression
Washington University in St. Louis（圣路易斯华盛顿大学）
提出自适应迭代硬阈值（AIHT）框架，通过延迟阈值发现支持、后期增加投影频率稳定估计，实现在线高维分位数回归的对数遗憾。
2026-06-26 cs.LG stat.ME stat.ML
Deep Online Learning with Stochastic Constraints
Technion - Israel Institute of Technology（以色列理工学院）
深度学习模型在许多离线机器学习任务中被认为是最先进的。然而，开发的许多技术不适合在线学习任务。当需要同时考虑多个损失函数时，将深度学习模型用于序列数据的问题变得更加困难，正如在许多现实世界的应用中一样。因此，在本文中，我们提出了一种新的在线深度学习训练过程，无论神经网络的架构如何，都可以使用该过程，旨在处理多目标情况。我们证明了我们的算法在几个基准数据集上的Neyman-Pearson分类问题的有效性。
2019-05-26 cs.LG stat.ML
Online DR-Submodular Maximization with Stochastic Cumulative Constraints
University of Washington（华盛顿大学）
本文研究了线性随机长期约束下的在线连续DR-子模极大化问题。与在线次模最大化的先前工作相比，我们的设置引入了随机线性约束函数的额外复杂性，这些函数是独立同分布的。在每一轮产生。确切地说，在步骤$t\in\{1,\dots,T\}$，DR-子模效用函数$f_t(\cdot)$和约束向量$p_t$，i.i.d.从具有平均$p$的未知分布中生成，在提交动作$x_t$后显示，并且我们的目标是在预期的累积资源消耗$\sum_{t=1}^T \langle p,x_t\rangle$低于固定预算$B_T$时最大化总体效用。随机长期约束自然出现在应用程序中，其中有一个有限的预算或资源可用，在每一步的资源消耗是由随机时变环境。我们提出了在线拉格朗日Frank-Wolfe（OLFW）算法来解决这类在线问题。我们分析了OLFW算法的性能，我们得到了次线性遗憾界以及次线性累积约束违反界，无论是在期望和高概率。
2021-05-21 cs.LG math.OC stat.ML
Online Statistical Inference for Parameters Estimation with Linear-Equality Constraints
Texas Tech University（德州理工大学）；North Dakota State University（北达科他州立大学）；New Jersey Institute of Technology（新泽西理工学院）
随机梯度下降（SGD）和投影随机梯度下降（PSGD）是计算无约束和约束优化问题中模型参数的可扩展算法。与SGD相比，PSGD通过投影将其迭代值强制到约束参数空间中。本文从统计的角度研究了当真参数满足线性等式约束时，基于PSGD的估计的极限分布。我们的理论研究结果揭示了投影的PSGD为基础的估计的不确定性中发挥的作用。作为一个副产品，我们提出了一个在线的假设检验过程来测试线性等式约束。对合成数据的模拟研究和对真实世界数据集的应用证实了我们的理论。
2022-03-22 cs.LG stat.ML
A Low Complexity Algorithm with $O(\sqrt{T})$ Regret and $O(1)$ Constraint Violations for Online Convex Optimization with Long Term Constraints
University of Southern California（南加州大学）
研究了复杂约束集上的在线凸优化问题，该约束集通常由多个函数约束和一个集合约束组成。传统的在线投影算法（Zinkevich，2003）可能难以实现，由于投影操作的潜在高计算复杂性。在本文中，我们放宽了功能的限制，允许他们在每一轮被违反，但仍然需要他们在长期内得到满足。这种类型的放松在线凸优化（具有长期约束）首先在Mahdavi等人（2012）中考虑。先前的工作提出了一种算法，以实现$O(\sqrt{T})$遗憾和$O(T^{3/4})$约束违反一般问题和另一种算法，以实现$O(T^{2/3})$界的遗憾和约束违反时，约束集可以被描述为有限数量的线性约束。\citet{Jenatton16ICML}中的最新扩展可以实现$O(T^{\max\{θ,1-θ\}})$遗憾和$O(T^{1-θ/2})$约束违反，其中$θ\in (0,1)$。目前的论文提出了一种新的简单的算法，产生改进的性能相比，以前的作品。新算法实现了一个$O(\sqrt{T})$遗憾界$O(1)$约束违反。
2020-05-18 cs.LG math.OC stat.ML
Adaptive Algorithms for Online Convex Optimization with Long-term Constraints
Amazon（亚马逊）
我们提出了一个自适应在线梯度下降算法来解决在线凸优化问题的长期约束，这是限制，需要满足时，积累了有限数量的轮T，但可以违反在中间轮。对于用户自定义的权衡参数$β$ $\in$（0，1），该算法分别实现了损失和约束违反的累积遗憾界为O（T^max{ $β$，1-$β$ }）和O（T^（1- $β$ /2））。我们的结果保持凸损失，可以处理任意凸约束，而不需要事先知道轮数。我们的贡献改进了Mahdavi等人（2012）最著名的累积遗憾界，对于一般凸域分别为O（T^1/2）和O（T^3/4），当进一步限制到多面体域时分别为O（T^2/3）和O（T^2/3）。我们补充的分析与实验验证我们的算法在实践中的性能。
2015-12-23 cs.LG math.OC stat.ML
Gradient-Variation Bound for Online Convex Optimization with Constraints
University of Chicago（芝加哥大学）；Meta Platforms, Inc.（元平台公司）
我们研究在线凸优化的约束条件组成的多个功能的约束和一个相对简单的约束集，如欧几里德球。由于通过预测在每个时间步长执行约束通常在计算上具有挑战性，因此我们允许决策违反功能约束，但目标是在$T$时间步长的范围内实现低遗憾和累积违反约束。一阶方法实现了一个$\mathcal{O}(\sqrt{T})$遗憾和一个$\mathcal{O}(1)$约束违反，这是斯莱特条件下最著名的限制，但不考虑问题的结构信息。此外，现有的算法和分析仅限于欧氏空间。在本文中，我们提供了一个\emph{instance-dependent}界的在线凸优化与复杂的约束，通过一个新的在线原始-对偶镜像-prox算法。我们的实例相关的遗憾是量化的总梯度变化$V_*(T)$的损失函数序列。该算法工作在\emph{general}赋范空间，并同时实现了$\mathcal{O}(\sqrt{V_*(T)})$遗憾和$\mathcal{O}(1)$约束违反，这是从来没有比最有名的$( \mathcal{O}(\sqrt{T}), \mathcal{O}(1) )$的结果更差，并改善了以前的作品，适用于这个问题的镜像-prox型算法实现$\mathcal{O}(T^{2/3})$遗憾和约束违反。最后，我们的算法是计算效率高，因为它只执行镜像下降步骤，而不是解决一般的拉格朗日最小化问题，在每次迭代。
2022-12-05 cs.LG math.OC stat.ML
Constrained Online Convex Optimization with Memory and Predictions
本文研究了具有记忆的约束在线凸优化（COCO-M），提出首次实现亚线性后悔和亚线性累积约束违反的算法，适用于时间变化约束，且在有无预测情况下均有效。
2026-03-22 cs.LG stat.ML
Distributed Online Convex Optimization with Time-Varying Coupled Inequality Constraints
KTH Royal Institute of Technology（KTH皇家理工学院）；Nanyang Technological University（南洋理工大学）
研究了具有时变耦合不等式约束的分布式在线优化问题。全局目标函数由局部凸代价函数和正则化函数组成，耦合约束函数由局部凸函数和构成。提出了一种分布式在线原始-对偶动态镜像下降算法来解决这个问题，该算法的局部代价、正则化和约束函数都是私有的，并且只在每个时隙后才显示。在不假设斯莱特的条件下，我们首先推导出后悔和约束违反边界的算法，并显示它们如何依赖于步长序列，累积的动态变化的比较器序列，代理的数量，和网络的连通性。结果表明，在某些自然递减步长序列下，如果最优序列的累积动态变化也呈次线性增长，则算法达到次线性动态后悔和约束违反.我们还证明了该算法实现次线性静态遗憾和约束违反温和的条件下。假设斯莱特的条件下，我们表明，该算法实现了更小的界限上的约束违反。此外，当目标函数是强凸的时，静态后悔的边界更小。最后，通过数值模拟验证了理论结果的有效性。
2019-06-05 cs.DC cs.LG math.OC
An Online Algorithm for Chance Constrained Resource Allocation
Cainiao Network（菜鸟网络）
研究了具有机会约束的在线随机资源分配问题。在线RAP是一个0-1整数线性规划问题，其中资源消耗系数与相应的收入系数一起逐列显示。当一列被显示时，相应的决策变量被立即确定，而不需要未来的信息。此外，在在线应用中，资源消耗系数通常通过预测来获得。为了模拟它们的不确定性，我们考虑了机会约束。据我们所知，这是第一次在在线RAP问题中引入机会约束。假设不确定变量具有已知的高斯分布，随机RAP可以转化为一个确定性的，但非线性的整数二阶锥约束问题。接下来，我们线性化这个非线性问题，并分析了香草在线原始对偶法的性能来解决线性化的随机RAP。在温和的技术假设下，最优性缺口和约束违反都是$\sqrt{n}$的数量级。然后，为了进一步提高算法的性能，提出了几种带有启发式修正的在线原始对偶法。最后，大量的数值实验上的合成和真实数据证明了我们的方法的适用性和有效性。
2023-03-06 cs.LG math.OC stat.ML
Augmented Lagrangian Methods for Time-varying Constrained Online Convex Optimization
本文研究了具有时变损失和约束函数的在线凸优化问题。具体地说，决策者只根据过去的信息来选择顺序决策，同时损失和约束函数随着时间的推移而显现。首先，我们开发了一类基于模型的增广拉格朗日方法（MALM）的时变功能约束OCO（无反馈延迟）。在标准假设下，我们建立了次线性后悔和次线性约束违反MALM。此外，我们扩展MALM处理时变功能约束的OCO与延迟反馈，其中的反馈信息的损失和约束功能透露给决策者的延迟。在没有额外假设的情况下，我们还建立了延迟版本的MALM的次线性后悔和次线性约束违反。最后，给出了在线网络资源分配、在线逻辑斯谛回归和在线二次约束二次规划等约束OCO问题的数值结果，验证了算法的有效性.
2022-05-19 math.OC stat.ML
Hierarchies of Relaxations for Online Prediction Problems with Evolving Constraints
University of Pennsylvania（宾夕法尼亚大学）；Cornell University（康奈尔大学）
我们研究在线预测的算法的遗憾是衡量通过不断发展的约束定义的基准。这个框架捕获了图上的在线预测，以及其他具有组合结构的预测问题。这里的一个关键方面是，由于约束的组合性质，找到最佳基准预测器（即使在事后，给定所有数据）可能在计算上很难。尽管如此，我们提供多项式时间\emph{prediction}算法，实现低遗憾对组合基准集。我们通过基于两个共同工作的想法构建不适当的学习算法来做到这一点。第一种是通过随机播放来减轻部分计算负担，第二种是采用Lasserre半定层次来近似得到的整数规划。有趣的是，对于我们的预测算法，我们只需要计算半定规划的值，而不是四舍五入的解。然而，Lasserre层次\emph{does}的完整性差距进入通用遗憾界的Rademacher复杂性的基准集。这在算法的计算时间和遗憾界之间建立了一个折衷。
2015-06-12 cs.DS cs.LG stat.ML
Distributed Online Optimization with Long-Term Constraints
Nanjing University of Science and Technology（南京理工大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；The University of Sydney（悉尼大学）
我们考虑分布式在线凸优化问题，其中分布式系统由通过时变通信图连接的各种计算单元组成。在每个时间步中，每个计算单元选择一个约束向量，经历等于在该向量处评估的任意凸函数的损失，并且可以与图中的其邻居通信。目标是尽量减少系统范围内随着时间的推移而积累的损失。我们提出了一个分散的算法与遗憾和累积约束违反$\mathcal{O}(T^{\max\{c,1-c\} })$和$\mathcal{O}(T^{1-c/2})$，分别为任何$c\in (0,1)$，其中$T$是时间范围。当损失函数是强凸的时，我们在$\mathcal{O}(\log(T))$和$\mathcal{O}(\sqrt{T\log(T)})$中建立了改进的后悔和约束违反上界。这些遗憾缩放匹配的国家的最先进的算法和基本限制，在相应的集中式在线优化问题（凸和强凸损失函数）。在强盗反馈的情况下，所提出的算法实现了遗憾和约束违反$\mathcal{O}(T^{\max\{c,1-c/3 \} })$和$\mathcal{O}(T^{1-c/2})$的任何$c\in (0,1)$。我们数值说明了我们的算法的分布式在线正则化线性回归问题的特定情况下的性能。
2019-12-20 cs.LG math.OC stat.ML
An Optimistic Algorithm for Online Convex Optimization with Adversarial Constraints
University of California, Berkeley（加利福尼亚大学伯克利分校）
本文提出带函数预测的乐观在线凸优化算法，将遗憾和约束违反界改进为随累积预测误差缩放，并在序列风险约束的对抗上下文赌博机中取得更优界。
2025-03-12 cs.LG math.OC stat.ML
Artificial Constraints and Lipschitz Hints for Unconstrained Online Learning
Google（谷歌（公司））
我们提供的算法，保证遗憾$R_T(u)\le \tilde O(G\|u\|^3 + G(\|u\|+1)\sqrt{T})$或$R_T(u)\le \tilde O(G\|u\|^3T^{1/3} + GT^{1/3}+ G\|u\|\sqrt{T})$的在线凸优化与$G$ -Lipschitz损失的任何比较点$u$没有先验知识的$G$或$\|u\|$。以前的算法免除了$O(\|u\|^3)$长期在这些参数中的一个或两个的知识为代价，而下限表明，一些额外的惩罚项超过$G\|u\|\sqrt{T}$是必要的。以前的惩罚是指数的，而我们的界限是多项式的所有数量。此外，给定一个已知的界限$\|u\|\le D$，我们同样的技术允许我们设计最佳地适应$\|u\|$的未知值的算法，而不需要$G$的知识。
2019-02-24 cs.LG math.OC stat.ML
On Dynamic Regret and Constraint Violations in Constrained Online Convex Optimization
Tata Institute of Fundamental Research（塔塔基础研究所）
一个约束版本的在线凸优化（OCO）问题被认为是。对于时隙时间，对于每个时隙，首先选择一个动作。随后的损失函数和约束违反罚款评估在选定的行动点。对于每个槽，假设损失函数以及定义约束集的函数都是光滑且强凸的。此外，一旦一个动作被选择，一个可行的集在一个小的邻域内的当前动作的本地信息也被揭示。算法被允许在给定所描述的反馈以选择下一动作的情况下在其选择点处计算至多一个梯度。算法的目标是同时最小化动态遗憾（与预言机的损失相比所产生的损失）和约束违反惩罚（与预言机的惩罚相比所产生的惩罚）。我们提出了一个算法，按照投影梯度下降在一个适当的选择集周围的当前动作。我们表明，动态遗憾和约束违反顺序有界的{ \it路径长度}，连续的最佳行动之间的距离之和。此外，我们证明了导出的界限是最好的可能。
2023-01-24 cs.LG math.OC stat.ML
Online Constraint Tightening in Stochastic Model Predictive Control: A Regression Approach
Technical University of Munich（慕尼黑工业大学）
本文针对随机模型预测控制中机会约束收紧参数依赖已知噪声分布且难以紧致满足的问题，提出基于 GP 二分类回归的在线数据驱动学习方法，可高概率近似最小收紧量并降低平均控制成本。
2023-10-04 cs.LG cs.SY eess.SY
Eluder-Dimension-Free Regret for Stage-Wise Constrained Contextual Bandits via Offline Regression
Massachusetts Institute of Technology（麻省理工学院）
本文提出统一框架处理带阶段可行性约束的上下文在线决策，通过上反事实置信界和广义eluder维数，涵盖受限老虎机、主动学习等问题，并给出理论保证。
2026-10-23 cs.LG stat.ML
Online Continuous DR-Submodular Maximization with Long-Term Budget Constraints
University of Washington（华盛顿大学）
在本文中，我们研究了一类具有长期预算约束的在线优化问题，其中目标函数不一定是凹的（也不一定是凸的），但它们满足递减收益（DR）性质。具体地，单调DR-子模块目标函数$\{f_t(x)\}_{t=1}^T$和单调线性预算函数$\{\langle p_t,x \rangle \}_{t=1}^T$的序列随时间到达，并且假设总目标预算$B_T$，目标是在每个时间$t\in\{1,\dots,T\}$选择点$x_t$，而不知道该步骤上的$f_t$和$p_t$，以实现次线性遗憾界限，同时总预算违反$\sum_{t=1}^T \langle p_t,x_t \rangle -B_T$也是次线性的。先前的工作表明，实现次线性后悔是不可能的，如果预算功能选择相反。因此，我们修改的概念，遗憾的代理人对$(1-\frac{1}{e})$ -近似的最佳固定的决定，在事后，满足预算约束成比例的任何窗口长度$W$。我们提出了在线鞍点混合梯度（OSPHG）算法来解决这类在线问题。对于$W=T$，我们恢复了上述不可能结果。然而，当$W=o(T)$，我们表明，它是可能的，以获得次线性界限为$(1-\frac{1}{e})$ -遗憾和总预算违反。
2019-06-30 cs.LG math.OC stat.ML
Lazy Lagrangians with Predictions for Online Learning
Trinity College Dublin（都柏林圣三一学院）；Delft University of Technology（代尔夫特理工大学）
我们考虑一般的在线凸优化问题与时变的附加约束下的预测下一个成本和约束函数。将Follow-The-Regularized-Leader迭代与预测自适应动态步长相结合，设计了一种新的原始-对偶算法。该算法实现了$\mathcal O(T^{\frac{3-β}{4}})$遗憾和$\mathcal O(T^{\frac{1+β}{2}})$约束违反边界，可通过参数$β\!\in\
