Improved Differentially Private and Lazy Online Convex Optimization
Google Deepmind（谷歌DeepMind）；Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
本文针对差分隐私在线凸优化，通过强对数凹密度采样改进维度因子并去除光滑性要求，获得该情形下已知最佳速率。
2023-12-20 cs.CR cs.DS cs.LG
A Unified Analysis Method for Online Optimization in Normed Vector Space
China University of Petroleum-Beijing（中国石油大学（北京））
本文从高层次统一理论的角度研究在线优化问题。本文不仅在赋范向量空间中推广了Optimistic-DA和Optimistic-MD，而且统一了它们的动态后悔分析方法。由于引入了$ϕ$ -convex，遗憾边界是最严格的。作为实例，归一化指数次梯度和贪婪/懒惰投影的遗憾界优于目前已知的最优结果。通过用单调算子代替在线博弈中的损失，并扩展后悔算子的定义，即后悔$^n$，将在线凸优化问题推广到在线单调优化问题。
2022-02-13 cs.LG math.OC
Online to Offline Conversions, Universality and Adaptive Minibatch Sizes
ETH Zürich（苏黎世联邦理工学院）
我们提出了一种凸优化的方法，依赖于一个新的计划，在线自适应算法转换为离线方法。在离线优化设置中，我们推导出的方法，以获得有利的自适应保证，这取决于查询梯度的谐波和。我们进一步表明，我们的方法隐式地适应目标的结构：在光滑的情况下，快速收敛速度，确保没有任何先验知识的平滑参数，同时仍然保持在非光滑设置的保证。我们的方法具有对随机设置的自然扩展，从而导致SGD（随机GD）的懒惰版本，其中根据梯度的大小选择\emph{adaptively} minibathes。从而提供了一个原则性的方法来选择小批量的大小。
2017-05-31 cs.LG math.OC stat.ML
On the Dynamic Regret of Following the Regularized Leader: Optimism with History Pruning
Faculty of Electrical Engineering, Mathematics and Computer Science, TU Delft, Netherlands（电气工程、数学与计算机科学学院，代尔夫特理工大学，荷兰）
本文研究了在线凸优化中正则化跟随者框架的动态遗憾保证，通过乐观组合未来成本和精心线性化过去成本，实现动态遗憾界，提出历史修剪方法以平衡懒惰与敏捷更新。
2026-03-18 cs.LG
Optimistic and Adaptive Lagrangian Hedging
Borealis AI
在在线学习中，算法在每一轮都要与一个可能被对手挑选出损失的环境进行博弈。这个框架的一般性包括非对抗性的问题，例如离线优化或鞍点问题（即最小最大优化）。然而，在线算法通常不会被设计成利用非对抗性问题中存在的额外结构。最近，对众所周知的在线算法（如乐观和自适应步长）的轻微修改已用于多个领域以加速在线学习-在离线平滑优化中恢复最佳速率，并在平滑游戏中加速收敛到鞍点或社会福利。在这项工作中，我们引入乐观和自适应步长拉格朗日对冲，一类在线算法，包括遗憾匹配，对冲（即乘法权重）。我们的成果包括：一般的一般遗憾界限;固定平滑损失的路径长度遗憾界限，适用于遗憾匹配和遗憾匹配+的乐观变体; $Φ$遗憾的乐观遗憾界限，包括外部、内部和交换遗憾的框架;以及包括遗憾匹配+作为特殊情况的算法族的乐观界限。
2021-02-03 cs.LG
Adaptive Subgradient Methods for Online AUC Maximization
The University of Chicago（芝加哥大学）；Singapore Management University（新加坡管理大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Nanyang Technological University（南洋理工大学）
最大化AUC性能的学习是机器学习和人工智能中的一个重要研究问题。与传统的最大化AUC的批量学习方法（通常可扩展性较差）不同，近年来出现了一些新兴的研究，试图通过单次在线学习方法最大化AUC。尽管已有的在线AUC最大化算法取得了令人鼓舞的结果，但通常采用简单的在线梯度下降方法，无法利用在线学习过程中观察到的数据的几何知识，因此可能遭受相对较大的遗憾。为了解决上述限制，在这项工作中，我们探索了一种新的算法的自适应在线AUC最大化（AdaOAM），它采用了自适应梯度方法，利用历史梯度的知识来执行更多的信息在线学习。新的自适应更新策略的AdaOAM是不敏感的参数设置，并保持相同的时间复杂度作为以前的非自适应同行。此外，我们扩展了算法来处理高维稀疏数据（SAdaOAM）和地址稀疏的解决方案，通过执行惰性梯度更新。我们分析了理论界，并评估其经验表现在各种类型的数据集。所获得的令人鼓舞的实证结果清楚地突出了所提出的算法的有效性和效率。
2016-02-01 cs.LG
On Landscape of Lagrangian Functions and Stochastic Search for Constrained Nonconvex Optimization
Georgia Institute of Technology（佐治亚理工学院）；University of Minnesota（明尼苏达大学）；Princeton University（普林斯顿大学）
我们研究机器学习、信号处理和随机控制中的约束非凸优化问题。这是众所周知的，这些问题可以改写为一个极大极小问题的拉格朗日形式。然而，由于缺乏凸性，他们的景观没有得到很好的理解，如何找到稳定的平衡的拉格朗日函数仍然是未知的。为了弥补这一差距，我们研究了拉格朗日函数的景观。此外，我们定义了一类特殊的拉格朗日函数。他们有两个特点：1.平衡点是稳定的或不稳定的（形式定义见第二节）; 2.稳定平衡点对应于原问题的全局最优解。我们表明，广义特征值（GEV）问题，包括典型相关分析和其他问题，属于类。具体来说，我们通过利用不变群和对称属性来描述其稳定和不稳定平衡点（更多细节见第3节）。受这些整洁的几何结构，我们提出了一个简单，高效，随机的原始-对偶算法解决在线GEV问题。在理论上，我们给出了充分条件，在此基础上，我们利用扩散近似建立了在线GEV问题的渐近收敛速度，并得到了第一个样本复杂性结果，这在应用概率和随机控制中有着广泛的应用.数值结果支持我们的理论。
2019-10-27 cs.LG math.OC stat.ML
LOFA: Online Influence Maximization under Full-Bandit Feedback using Lazy Forward Selection
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
LOFA通过利用次模性质和懒惰前向选择，在全伯德反馈下实现更低的实证后悔，优于现有算法。
2026-01-02 cs.AI cs.LG cs.SI
Online Stochastic Optimization with Multiple Objectives
Michigan State University（密歇根州立大学）；GE Global Research（通用电气全球研究中心）
在本文中，我们提出了一个通用的框架来描述和解决多目标随机优化问题的许多现实世界的学习应用。我们首先提出了一个基于投影的算法，达到了$O(T^{-1/3})$收敛速度。然后，利用约束优化中的拉格朗日理论，设计了一种新的原始-对偶随机近似算法，该算法在一般Lipschitz连续目标下获得了$O(T^{-1/2})$的最优收敛速度.
2013-07-14 cs.LG math.OC
Efficient Constrained Regret Minimization
Michigan State University（密歇根州立大学）
在线学习构成了一个数学的和令人信服的框架来分析在对抗性环境中的顺序决策问题。学习者反复选择一个动作，环境以一个结果做出回应，然后学习者收到对所做动作的奖励。学习者的目标是最大化他的总回报。然而，在某些情况下，除了最大化累积奖励之外，学习者还必须平均满足决策序列上的一些额外约束。在本文中，我们研究了一个扩展的在线学习的学习者的目标是最大化的总回报，一些额外的约束需要得到满足。利用拉格朗日方法在约束优化中的理论，提出了拉格朗日指数加权平均（LEWA）算法，该算法是著名的指数加权平均算法的原始-对偶变体，可以有效地解决约束在线决策问题。利用新的理论分析，我们建立了完全信息和强盗反馈模型中的后悔和违反约束界。
2012-10-04 cs.LG
Dynamic Regret in Online Convex Optimization with Indicator Switching Costs
Faculty of Electrical Engineering, Mathematics and Computer Science（电气工程、数学与计算机科学学院）；TU Delft（代尔夫特理工大学）
针对带指示器切换成本的在线凸优化，提出元学习框架，实现动态遗憾的极小极大最优界限，无需先验知识。
2026-09-28 cs.LG
Online DR-Submodular Maximization with Stochastic Cumulative Constraints
University of Washington（华盛顿大学）
本文研究了线性随机长期约束下的在线连续DR-子模极大化问题。与在线次模最大化的先前工作相比，我们的设置引入了随机线性约束函数的额外复杂性，这些函数是独立同分布的。在每一轮产生。确切地说，在步骤$t\in\{1,\dots,T\}$，DR-子模效用函数$f_t(\cdot)$和约束向量$p_t$，i.i.d.从具有平均$p$的未知分布中生成，在提交动作$x_t$后显示，并且我们的目标是在预期的累积资源消耗$\sum_{t=1}^T \langle p,x_t\rangle$低于固定预算$B_T$时最大化总体效用。随机长期约束自然出现在应用程序中，其中有一个有限的预算或资源可用，在每一步的资源消耗是由随机时变环境。我们提出了在线拉格朗日Frank-Wolfe（OLFW）算法来解决这类在线问题。我们分析了OLFW算法的性能，我们得到了次线性遗憾界以及次线性累积约束违反界，无论是在期望和高概率。
2021-05-21 cs.LG math.OC stat.ML
A Neural Network Approach for Online Nonlinear Neyman-Pearson Classification
我们提出了一种新的Neyman-Pearson（NP）分类器，这是第一次在文献中的在线和非线性。该分类器以在线方式对二进制标记的数据流进行操作，并在用户指定且可控的误报率下最大化检测能力。我们的NP分类器是一个单隐层前馈神经网络（SLFN），它是初始化与随机傅立叶特征（RFFs）构建核空间的径向基函数在其隐藏层与正弦激活。RFF的这种使用不仅提供了具有很强的非线性建模能力的出色初始化，而且还以指数方式降低了参数复杂性并使网络紧凑化以减轻过拟合，同时大大提高了处理效率。我们顺序学习SLFN与随机梯度下降更新的基础上的拉格朗日NP目标。因此，我们获得了一个快速的在线自适应和强大的非线性Neyman-Pearson建模。该算法的计算复杂度为O（N），空间复杂度为O（1）空间复杂度（N：数据实例数），适合于大规模数据应用，并具有良好的误报率可控性和实时性。在我们对几个真实数据集进行的大量实验中，我们的算法比竞争对手的最先进技术具有更高的性能，无论是在NP分类目标方面具有可比的计算复杂度和空间复杂度，还是在复杂度显著降低的情况下实现可比的性能。
2020-08-30 cs.LG stat.ML
Projection-free Adaptive Regret with Membership Oracles
Google AI Princeton（谷歌AI普林斯顿）；Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）
在在线凸优化的框架中，大多数迭代算法需要计算到凸集上的投影，这在计算上是昂贵的。为了解决这个问题，HK 12提出了无投影方法的研究，用更便宜的计算取代投影。最常见的方法是基于Frank-Wolfe方法，该方法使用线性优化计算代替投影。GK 22最近的工作给出了基于Frank Wolfe方法的无投影算法的次线性自适应后悔保证。在这项工作中，我们给出了无投影算法，是基于不同的技术，灵感来自Mhammedi 22，取代投影集成员计算。我们提出了一个简单的懒惰的基于梯度的算法与Minkowski正则化，达到近最佳的自适应遗憾界。对于一般的凸损失函数，我们改进了以前的自适应遗憾界从$O(T^{3/4})$到$O(\sqrt{T})$，并进一步到紧的区间相关界$\tilde{O}(\sqrt{I})$，其中$I$表示区间长度。对于强凸函数，我们使用无投影算法获得了第一个多对数自适应遗憾界。
2022-12-14 cs.LG math.OC stat.ML
Gradient-Variation Bound for Online Convex Optimization with Constraints
University of Chicago（芝加哥大学）；Meta Platforms, Inc.（元平台公司）
我们研究在线凸优化的约束条件组成的多个功能的约束和一个相对简单的约束集，如欧几里德球。由于通过预测在每个时间步长执行约束通常在计算上具有挑战性，因此我们允许决策违反功能约束，但目标是在$T$时间步长的范围内实现低遗憾和累积违反约束。一阶方法实现了一个$\mathcal{O}(\sqrt{T})$遗憾和一个$\mathcal{O}(1)$约束违反，这是斯莱特条件下最著名的限制，但不考虑问题的结构信息。此外，现有的算法和分析仅限于欧氏空间。在本文中，我们提供了一个\emph{instance-dependent}界的在线凸优化与复杂的约束，通过一个新的在线原始-对偶镜像-prox算法。我们的实例相关的遗憾是量化的总梯度变化$V_*(T)$的损失函数序列。该算法工作在\emph{general}赋范空间，并同时实现了$\mathcal{O}(\sqrt{V_*(T)})$遗憾和$\mathcal{O}(1)$约束违反，这是从来没有比最有名的$( \mathcal{O}(\sqrt{T}), \mathcal{O}(1) )$的结果更差，并改善了以前的作品，适用于这个问题的镜像-prox型算法实现$\mathcal{O}(T^{2/3})$遗憾和约束违反。最后，我们的算法是计算效率高，因为它只执行镜像下降步骤，而不是解决一般的拉格朗日最小化问题，在每次迭代。
2022-12-05 cs.LG math.OC stat.ML
Convex Optimization with Nested Evolving Feasible Sets
本文研究了可行集随时间演化的一系列嵌套问题，提出懒算法和Frugal算法，在不同凸性条件下实现最优的后悔和移动成本控制。
2026-08-18 cs.DS cs.LG math.OC
A Gradient-based Approach for Online Robust Deep Neural Network Training with Noisy Labels
University of California（加利福尼亚大学）；JP Morgan Chase AI Research（摩根大通人工智能研究院）
针对在线流数据场景下的噪声标签学习问题，提出基于梯度的OGRS方法，可自动筛选干净样本增量更新模型，经理论证明收敛且实验效果优于现有最优方法。
2023-06-08 cs.LG
Robust No-Regret Learning in Min-Max Stackelberg Games
Brown University（布朗大学）；Pomona College（波莫纳学院）
无遗憾学习算法的行为在两个玩家的最小-最大（即零和）游戏中得到了很好的理解。本文研究了具有依赖策略集的最小-最大博弈中的无悔学习行为，其中第一个局中人的策略约束第二个局中人的行为。这种游戏最好理解为顺序游戏，即，最小最大Stackelberg，游戏。我们考虑两种设置，一种是只有第一个玩家使用无遗憾算法选择他们的行动，而第二个玩家最好的反应，另一种是两个玩家都使用无遗憾算法。对于前一种情况下，我们表明，无悔动力学收敛到Stackelberg均衡。对于后者的情况下，我们引入了一种新的类型的遗憾，我们称之为拉格朗日遗憾，并表明，如果双方球员最大限度地减少他们的拉格朗日遗憾，然后发挥收敛到Stackelberg均衡。然后，我们观察到这两种设置中的在线镜像下降（OMD）动态分别对应于已知的嵌套（即，顺序）梯度下降-上升（GDA）算法和一个新的同步GDA类算法，从而建立这些算法的收敛到Stackelberg平衡。最后，我们分析了OMD动态的鲁棒性扰动调查在线最小-最大Stackelberg游戏。我们证明了OMD动力学是强大的一个大类的在线最小最大游戏独立的策略集。在依赖的情况下，我们证明了OMD动态的鲁棒性实验模拟他们在网上费舍尔市场，一个典型的例子，一个最小-最大的Stackelberg游戏依赖的策略集。
2022-04-13 cs.GT cs.LG econ.TH
Online Non-convex Optimization with Long-term Non-convex Constraints
Department of Electrical and Computer Engineering（电气与计算机工程系）；Johns Hopkins University（约翰霍普金斯大学）；International Business School（国际商务学院）；Suzhou Xi’an Jiaotong-Liverpool University（苏州市西安交通大学利物浦大学）；Department of Data and Systems Engineering（数据与系统工程系）；HKU Musketeers Foundation（HKU Musketeers基金会）；Institute of Data Science（数据科学研究所）；The University of Hong Kong（香港大学）
针对目标和约束均非凸的在线长期约束优化问题，提出结合拉格朗日重构、原始方向指数随机扰动与对偶方向强凹对数正则化的Follow-the-Perturbed-Leader类算法，首次实现次线性累积悔度，在河流污染源识别任务上性能优于现有方法。
2025-10-01 cs.LG math.OC
The Best of Many Worlds: Dual Mirror Descent for Online Allocation Problems
Columbia University（哥伦比亚大学）；University of Chicago（芝加哥大学）；Google Research（谷歌研究院）
资源约束下的在线分配问题是收入管理和在线广告领域的核心问题。在这些问题中，请求在有限的时间范围内顺序到达，对于每个请求，决策者需要选择消耗一定量资源并产生奖励的动作。目标是在资源消耗总量受限的情况下，最大化累积回报。在本文中，我们考虑一个数据驱动的设置，其中每个请求的奖励和资源消耗是使用决策者未知的输入模型生成的。我们设计了一类通用的算法，在各种输入模型中获得良好的性能，而不知道他们所面临的输入类型。特别是，我们的算法是渐近最优的独立和同分布的输入以及各种非平稳随机输入模型，当输入是敌对的，他们达到一个渐近最优的固定竞争比。我们的算法在拉格朗日对偶空间中运行：它们为使用在线镜像下降更新的每个资源维护一个对偶乘数。通过选择相应的参考函数，我们恢复了对偶子梯度下降和对偶乘性权值更新算法。所得算法简单，快速，不需要凸的收入函数，消费函数和行动空间，在现有的在线分配问题的方法相比。我们讨论的应用程序，网络收入管理，在重复拍卖与预算约束，在线比例匹配与高熵，和个性化的分类优化有限的库存。
2021-11-05 cs.DS cs.LG math.OC
Fully First-Order Algorithms for Online Bilevel Optimization
East China Normal University（东华大学）
本文提出一种完全一阶算法，用于解决非凸强凸在线双层优化问题，通过将原问题转化为单层问题并构造序列拉格朗日函数，消除了对Hessian-向量乘积的依赖，理论证明其在O(T log T)次迭代内达到O(1 + V_T + H_{2,T})的后悔界。
2026-05-09 cs.LG math.OC
Efficiency, Feasibility, and Incentive-Awareness in Constrained Online Resource Allocation
MIT（麻省理工学院）
研究长期约束下不可分割资源给策略性主体的动态分配，提出激励感知原始对偶框架，整合组件抑制操纵，设计新算法克服障碍，实现$\tilde{\mathcal O}(\sqrt T)$社会福利遗憾，满足约束并诱导近似真实均衡，还能推广到多单位多需求问题。
2026-07-16 cs.GT cs.LG stat.ML
Learning The Best Expert Efficiently
Trinity College Dublin（都柏林圣三一学院）
我们考虑在线学习问题的目的是实现遗憾，这是有效的意义上说，它是相同的顺序，最低的遗憾K专家。这是一个实质上更强的要求，即相对于最佳专家和标准算法实现$O(\sqrt{n})$或$O(\log n)$遗憾是不够的，即使在可用动作的遗憾彼此非常不同的简单情况下。我们表明，一个特定的懒惰形式的在线次梯度算法可以用来实现最小的遗憾，在一些“容易”的制度，同时保留$O(\sqrt{n})$最坏情况下的遗憾保证。我们还表明，对于某些类别的问题，最小的遗憾策略存在一些剩余的“硬”制度。
2019-11-11 cs.LG stat.ML
Recursion-Free Online Multiple Incremental/Decremental Analysis Based on Ridge Support Vector Learning
本文提出了一种基于权值误差曲线的支持向量快速多重递增和递减机制。提出了一种无递归计算方法来预测新样本的拉格朗日乘子。本研究探讨脊支持向量模型，随后设计了一个递归的功能来自WEC。利用该函数，所有新的拉格朗日乘子可以一次计算，而不需要使用任何渐进的步长。此外，这样的函数放松了一个约束，其中新的多个拉格朗日乘子的增量应该是相同的，在以前的工作，从而很容易满足KKT条件的要求。所提出的机制不再需要典型的簿记策略，该策略通过检查每个增量轮中的所有训练样本来计算步长。
2016-10-11 cs.LG stat.ML
Semi-Decentralized Coordinated Online Learning for Continuous Games with Coupled Constraints via Augmented Lagrangian
Technical University of Munich（慕尼黑工业大学）
我们考虑了一类凹连续对策，其中每个局中人的相应的容许策略轮廓是基于仿射耦合约束的。我们提出了一种新的算法，导致相关的人口动态走向纳什均衡。该算法基于一种适合于无遗憾在线学习框架的镜像上升算法和增广拉格朗日方法。该算法的去中心化方面对应于每个参与者的代理需要关于她如何对耦合约束做出贡献的本地信息和由中央协调器广播的价格向量的方面。所以每个参与人都不需要知道种群的行动。此外，不需要中央主协调器的特定控制。我们给出了一个步长和拉格朗日增广程度的条件，使得该算法收敛到一个广义纳什均衡。
2019-10-21 cs.GT cs.LG cs.SY
ON-Traffic: An Operator Learning Framework for Online Traffic Flow Estimation and Uncertainty Quantification from Lagrangian Sensors
Eindhoven University of Technology（埃因霍温理工大学）
本文提出 ON-Traffic 深度算子网络与滚动时域学习框架，利用移动探测车辆数据和下游边界输入实现在线时空交通状态估计及不确定性量化。
2025-03-18 cs.AI cs.LG cs.SY
Online AUC Optimization for Sparse High-Dimensional Datasets
Stony Brook University（石溪大学）；University at Albany（奥尔巴尼大学）
ROC曲线下面积（Area Under the ROC Curve，AUC）是一种广泛应用于高维稀疏数据丰富的应用领域的不平衡分类性能指标。在这种情况下，每个$d$维度样本仅具有具有$k \ll d$的$k$非零特征，并且数据以流形式顺序到达。当前的在线AUC优化算法具有高的每次迭代成本$\mathcal{O}(d)$，并且通常产生非稀疏解，因此不适合处理上述数据挑战。本文针对在线学习环境下高维稀疏数据集的AUC值直接优化问题，提出了一种新的算法\textsc{FTRL-AUC}。我们提出的算法可以处理数据在一个在线的方式与一个更便宜的每次迭代成本$\mathcal{O}(k)$，使其适合高维稀疏流数据分析。我们的新算法设计关键取决于一个新的重新制定的U-统计AUC目标函数的经验鞍点重新制定，并创新地引入了“懒惰更新”规则，使每次迭代的复杂性显着降低从$\mathcal{O}(d)$到$\mathcal{O}(k)$。此外，\textsc{FTRL-AUC}可以通过应用广义的FTRL框架来更有效地捕获稀疏性。在真实数据集上的实验表明，与最先进的方法相比，\textsc{FTRL-AUC}显着提高了运行时间和模型稀疏性，同时获得了有竞争力的AUC分数。与逻辑损失的在线学习方法的比较表明，\textsc{FTRL-AUC}实现了更高的AUC分数，特别是当数据集不平衡时。
2020-09-23 cs.AI cs.LG stat.ML
Provably Efficient Generalized Lagrangian Policy Optimization for Safe Multi-Agent Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）；Meta；Yale University（耶鲁大学）；Northwestern University（西北大学）；University of Southern California（南加州大学）
本文针对带约束马尔可夫博弈中的在线安全多智能体强化学习问题，提出基于广义拉格朗日函数的上置信算法，首次实现遗憾与约束违反的次线性保证。
2023-05-31 cs.AI cs.LG cs.SY
Learning-Assisted Algorithm Unrolling for Online Optimization with Budget Constraints
University of California, Riverside（加州大学河滨分校）
多预算约束的在线优化是具有挑战性的，因为在短时间内的在线决策是由严格的库存约束耦合在一起的。现有的人工设计的算法不能达到令人满意的平均性能，因为他们往往需要大量的时间步长收敛和/或可能违反库存约束。在本文中，我们提出了一种新的机器学习（ML）辅助展开方法，称为LAAU（学习辅助算法展开），它展开在线决策管道，并利用ML模型在线更新拉格朗日乘子。为了通过反向传播进行有效的训练，我们推导出决策管道随时间的梯度。我们还提供了两种情况下的平均成本界限时，训练数据离线和在线收集，分别。最后，我们提出了数值结果，以强调LAAU可以优于现有的基线。
2023-03-07 cs.AI cs.LG math.OC
Coordinated Online Learning for Multi-Agent Systems with Coupled Constraints and Perturbed Utility Observations
Technische Universität München（慕尼黑工业大学）；Ruhr Universität Bochum（波鸿鲁尔大学）
竞争性非合作在线决策代理的行为增加了稀缺资源的拥塞，构成了广泛的现代大规模应用的模型。为了确保可持续的资源行为，我们引入了一种新的方法来引导代理朝着一个稳定的人口状态，满足给定的耦合资源约束。所提出的方法是一种分散的资源定价方法的基础上的资源负荷所产生的增加的游戏的拉格朗日。假设在线学习代理只有噪声的一阶效用反馈，我们表明，多项式衰减代理的步长/学习率，人口的动态几乎肯定会收敛到广义纳什均衡。后者的一个特殊后果是满足资源约束的渐近极限。此外，我们调查的有限时间质量的算法给出了一个非渐近的时间衰减界的预期数量的资源约束违反。
2020-10-21 cs.GT cs.LG cs.MA
Towards Fast Safe Online Reinforcement Learning via Policy Finetuning
School of Electrical, Computer and Energy Engineering（电气、计算机与能源工程学院）；Arizona State University（亚利桑那州立大学）；School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；Washington State University（华盛顿州立大学）；Department of Computer Science（计算机科学系）；University of Houston（休斯顿大学）
本文提出Marvel框架，通过价值预对齐和自适应PID控制，实现更高效安全的在线强化学习。
2026-01-22 cs.AI cs.LG
Finite-Time Complexity of Online Primal-Dual Natural Actor-Critic Algorithm for Constrained Markov Decision Processes
School of Electrical and Computer Engineering, Georgia Institute of Technology（佐治亚理工学院电气与计算机工程学院）；Bradley Department of Electrical and Computer Engineering, Virginia Tech（弗吉尼亚理工大学布拉德利电气与计算机工程学院）
本文研究约束马尔可夫决策过程的策略优化问题，提出在线原始-对偶自然演员-评论家算法，并首次证明其以O(1/K^{1/6})速率有限时间收敛到全局最优解。
2024-11-20 cs.LG math.OC
Budgeted Influence Maximization for Multiple Products
Georgia Institute of Technology（佐治亚理工学院）
病毒式营销中的典型算法问题旨在识别社交网络中的一组有影响力的用户，当被说服采用产品时，这些用户将影响网络中的其他用户并引发大量采用。然而，主持人（在线社交平台的所有者）往往面临着比单一产品更多的约束，无尽的用户关注，无限的预算和无限的时间;在现实中，需要宣传多个产品，每个用户只能容忍少量的推荐，影响用户有成本，广告商只有有限的预算，并且需要在短时间内最大化采用。考虑到用户、资金和时间的限制，主机设计出有原则和有效的病毒式市场算法并提供可证明的保证是非常具有挑战性的。在本文中，我们提供了一个新的解决方案，制定的问题作为一个连续时间扩散模型下的一个交叉拟阵和多个背包约束的子模最大化。本文还提出了一种自适应阈值的贪心算法，该算法比传统的贪心算法具有更快的计算速度，并且可以扩展到百万级网络。此外，我们的数学公式允许我们证明，该算法可以实现$k_a/(2+2 k)$的近似因子时，$k_a$的$k$背包约束是活跃的，这也提高了以前的保证从组合优化文献。在影响每个用户具有均匀成本的情况下，近似变得甚至更好到因子$1/3$。广泛的合成和现实世界的实验表明，我们的预算影响力最大化算法实现了最先进的有效性和可扩展性方面，往往击败下一个最好的显着利润率。
2014-04-16 cs.LG cs.SI stat.ML
Job Scheduling in Datacenters using Constraint Controlled RL
University of Virginia（弗吉尼亚大学）
研究了绿色制造企业的在线作业调度模型。在绿色能源中心，资源可用性取决于可再生能源的电力供应。来自可再生能源的间歇性电力供应导致间歇性的资源可用性，导致工作延迟（和相关成本）。绿色数据中心运营商必须智能地管理其工作负载和可用电源，以获得最大的效益。调度器的目标是在一组资源上调度作业，以最大化总价值（收入），同时最小化总体作业延迟。在一方面实现高工作价值和另一方面实现低预期延迟之间存在权衡。因此，实现高回报和低成本的目标是对立的。此外，数据中心运营商通常优先考虑多个目标，包括高系统利用率和作业完成率。为了实现作业总价值最大化和作业延迟最小化这两个对立的目标，将深度强化学习中的比例积分微分（PID）拉格朗日方法应用于绿色数据中心环境下的作业调度问题。拉格朗日方法是求解约束优化问题的常用算法。我们采用控制的角度来学习比例，积分和微分控制的拉格朗日乘子，实现良好的学习动态。反馈控制为学习代理定义成本项，在训练期间监视成本限制，并且连续地调整学习参数以实现稳定的性能。我们的实验表明，改进的性能相比，没有PID拉格朗日方法的调度策略。实验结果表明了约束控制强化学习（CoCoRL）调度器同时满足多个目标的有效性。
2022-11-10 cs.DC cs.LG
Provably Efficient Exploration in Quantum Reinforcement Learning with Logarithmic Worst-Case Regret
Peking University（北京大学）
本文提出融合惰性更新与量子估计的UCRL及UCRL-VTR风格量子RL算法，在表格型和线性混合MDP中实现可证明的对数最坏情形遗憾。
2024-06-13 cs.AI cs.LG quant-ph
Safe Score Matching: Diffusion Policies with Hamilton-Jacobi Reachability for Online Safe Reinforcement Learning
针对在线安全强化学习，提出安全分数匹配（SSM）方法，利用Hamilton-Jacobi可达性门控双分支分数目标，将Q分数匹配扩展到硬约束场景，在多个基准上实现低违规率与高性能。
2026-09-29 cs.LG cs.RO
Gradient Shaping for Multi-Constraint Safe Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Google DeepMind（谷歌DeepMind）
本文提出梯度整形（GradS）方法，从多目标优化视角统一多约束安全强化学习框架，通过操作约束梯度处理冗余与冲突条件，提升奖励与约束满足的训练效率及可扩展性。
2023-12-23 cs.LG
Provably Convergent Primal-Dual DPO for Constrained LLM Alignment
SUTD ESD（新加坡科技设计大学电子与计算机工程系）；UIUC ECE（伊利诺伊大学厄巴纳-香槟分校电子与计算机工程系）
本文提出了一种可证明收敛的约束LLM对齐方法，通过改进的DPO技术减少训练模型数量和内存消耗，同时保证约束条件和优化性能。
2026-02-12 cs.LG
Semantic-Aware Remote Estimation of Multiple Markov Sources Under Constraints
Department of Computer and Information Science, Linköping University（Linköping大学计算机与信息科学系）
针对有损速率受限信道下多马尔可夫信源远程估计问题，结合信息语义构建CMDP模型，推导最优策略结构，提出交点搜索、RL及低复杂度DPP算法，以更少传输实现最优性能。
2025-05-21 cs.IT cs.LG cs.NI
Model-based Safe Deep Reinforcement Learning via a Constrained Proximal Policy Optimization Algorithm
Indian Institute of Science（印度科学学院）
在大多数强化学习（RL）算法的初始训练迭代期间，代理执行大量随机探索步骤。在现实世界中，这可能会限制这些算法的实用性，因为它可能导致潜在的危险行为。因此，安全探索是在现实世界中应用RL算法的一个关键问题。这个问题最近在约束马尔可夫决策过程（CMDP）框架下得到了很好的研究，其中除了单阶段奖励外，代理还根据状态转换接收单阶段成本或惩罚。规定的成本函数负责将任何给定时间步的不良行为映射到标量值。然后，目标是找到一个可行的政策，最大限度地提高回报，同时限制成本回报低于规定的阈值，在训练和部署。我们提出了一种基于策略模型的安全深度RL算法，在该算法中，我们以在线方式学习环境的过渡动态，并使用基于拉格朗日松弛的近端策略优化找到可行的最优策略。我们使用不同初始化的神经网络的集成来解决环境模型学习过程中所面临的认知和任意不确定性问题。我们使用具有挑战性的安全强化学习基准-Open AI Safety Gym，将我们的方法与约束RL中的相关无模型和基于模型的方法进行比较。我们证明，我们的算法是更有效的样本，并在较低的累积危险违规的结果相比，受约束的无模型的方法。此外，我们的方法显示出更好的回报性能比其他约束的基于模型的方法在文献中。
2022-10-14 cs.LG
