Faster Rates for Convex-Concave Games
Georgia Tech（佐治亚理工学院）；ETH Zurich（苏黎世联邦理工学院）
我们考虑使用无遗憾算法来计算特定类别的凹凸游戏的均衡。虽然标准的遗憾界限将导致$O(T^{-1/2})$的数量级的收敛率，最近的工作\citep{RS13,SALS15}已经建立了$O(1/T)$率，利用一类特定的乐观预测算法。在这项工作中，我们走得更远，表明对于一个特定的游戏类之一，实现了$O(1/T^2)$率，我们展示了如何适用于弗兰克-沃尔夫方法，并恢复类似的绑定\citep{D15}。我们还表明，这种无悔的技术，甚至可以实现一个线性率，$O(\exp(-T))$，在额外的曲率假设下的平衡计算。
2018-05-17 cs.LG stat.ML
Online Min-Max Optimization: From Individual Regrets to Cumulative Saddle Points
Purdue University（普渡大学）
本文提出了一种基于累积鞍点的在线极小极大优化方法，解决了静态纳什均衡与个体遗憾不兼容的问题，并引入动态鞍点遗憾概念，同时推导了在强凸-强凹性和极小极大指数凹性下的理论界限。
2026-02-11 cs.LG math.OC
Conic Blackwell Algorithm: Parameter-Free Convex-Concave Saddle-Point Solving
HEC Paris（巴黎高等商学院）；Columbia University（哥伦比亚大学）
我们开发了新的无参数和无标度的算法来解决凹凸鞍点问题。我们的结果是基于一个新的简单的遗憾最小化，圆锥Blackwell算法$^+$（CBA $^+$），它达到$O(1/\sqrt{T})$平均遗憾。直观地说，我们的方法推广到其他决策集的利益的想法，从反事实遗憾最小化（CFR $^+$）算法，这有很强的实际性能，解决序列游戏的单纯形。我们将展示如何实现CBA $^+$的单纯形，$\ell_{p}$规范球，椭圆形的置信区域的单纯形，我们提出了解决矩阵游戏和分布鲁棒优化问题的数值实验。我们的实证结果表明，CBA $^+$是一个简单的算法，优于国家的最先进的方法对合成数据和真实数据实例，而不需要任何选择的步长或其他算法参数。
2021-10-14 cs.GT cs.LG
Last iterate convergence in no-regret learning: constrained min-max optimization for convex-concave landscapes
UT Austin（得克萨斯大学）；SUTD（新加坡科技设计大学）
本文证明遵循无悔在线学习框架的 OMWU 在凸-凹零和博弈中具有局部最后迭代收敛性，将既有双线性情形结果推广至更一般凸-凹景观，并通过实验验证其快速收敛。
2025-09-27 cs.GT cs.LG stat.ML
Adaptive, Doubly Optimal No-Regret Learning in Strongly Monotone and Exp-Concave Games with Gradient Feedback
University of California, Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）；New York University（纽约大学）
本文提出无需预知强凸/强单调参数的自适应算法AdaOGD，在单智能体强凸优化和强单调博弈中分别实现接近最优的遗憾界与最终迭代收敛速率，并首次为报童问题提供可行且接近最优的学习算法。
2024-03-28 cs.GT cs.LG math.OC
Contextual bandits with concave rewards, and an application to fair ranking
PSL University（巴黎文理研究大学）；Meta AI
我们认为上下文的强盗与凹奖励（CBCR），一个多目标的强盗问题，其中所需的权衡之间的奖励是由一个已知的凹目标函数定义的，和奖励向量取决于观察到的随机上下文。我们提出了第一个算法，可证明消失的遗憾CBCR没有限制的政策空间，而以前的作品仅限于有限的政策空间或表格表示。我们的解决方案是基于几何解释的CBCR算法作为优化算法的期望回报跨越所有随机政策的凸集。基于约束凸优化中的Frank-Wolfe分析，我们得到了一个新的减少，从CBCR遗憾的标量奖励强盗问题的遗憾。我们说明了如何应用减少现成的线性和一般的奖励函数，在非组合行动的情况下，获得算法的CBCR。出于公平的建议，我们描述了一个特殊情况下的CBCR排名和公平意识的目标，导致第一个算法的遗憾保证上下文组合土匪公平曝光。
2023-02-28 cs.AI cs.CY cs.IR
On the Relation Between Interval Regret and Dynamic Regret
Nanjing University（南京大学）
本文研究区间遗憾与动态遗憾的关系，证明最优区间遗憾不蕴含最优动态遗憾，并提出通过扩大可行域与域转换损失实现最优动态遗憾，首次为指数凹函数给出高效算法。
2026-09-29 cs.LG math.OC stat.ML
Distributed Task Management in Fog Computing: A Socially Concave Bandit Game
University of Tübingen（蒂宾根大学）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
该研究将雾计算分布式任务分配问题建模为社会凹性老虎机博弈，提出两种无悔在线决策策略，经理论和数值验证其任务分配性能优于现有方法。
2023-06-09 cs.GT cs.LG cs.MA
Concave Utility Reinforcement Learning with Zero-Constraint Violations
Purdue University（普渡大学）
针对带凸约束的表格无限时域凹效用强化学习，提出基于模型的算法，通过求解更紧优化问题实现零约束违反，并获得高概率遗憾界。
2023-11-17 cs.AI cs.LG
A Simple, Optimal and Efficient Algorithm for Online Exp-Concave Optimization
本文提出LightONS算法，通过优化计算步骤，将在线指数凹优化的运行时间从O~(d^ω T)降至O(d²T + d^ω√(T log T))，并保持最优遗憾，解决了随机指数凹优化中的开放问题。
2026-07-28 cs.LG math.OC stat.ML
The Online Saddle Point Problem and Online Convex Optimization with Knapsacks
我们研究在线鞍点问题，在线学习问题，在每次迭代的一对行动需要选择不知道当前和未来的（凹凸）支付函数。我们的目标是最大限度地减少累积收益和鞍点值的总收益函数，我们使用称为“SP遗憾”的度量测量之间的差距。这个问题推广了在线凸优化框架，但在这里我们必须确保两个玩家的累积收益接近于游戏总和的纳什均衡。我们提出了一种算法，实现SP-遗憾成正比的$\sqrt{\ln(T)T}$在一般情况下，和$\log(T)$ SP-遗憾的强凹凸的情况下。我们还考虑了支付函数是双线性的，决策集是概率单形的特殊情况。在这种情况下，我们能够设计的算法，减少SP-遗憾的界限，从一个线性依赖的维度的问题，一个\textit{logarithmic}。我们还研究了强盗反馈下的问题，并提供了一个算法，实现次线性SP-Regret。然后，我们考虑一个在线凸优化背包问题的动机是各种各样的应用程序，如：动态定价，拍卖和众包。我们将这个问题的在线鞍点问题，并建立$O(\sqrt{T})$后悔使用原始-对偶算法。
2020-04-05 cs.LG math.OC stat.ML
Dynamic Regret for Strongly Adaptive Methods and Optimality of Online KRR
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Amazon Research（亚马逊研究院）
我们考虑非平稳在线凸优化的框架，学习者试图控制其动态后悔对任意序列的比较。当损失函数是强凸或指数凹，我们证明，强自适应（SA）算法可以被看作是一个原则性的方式来控制动态遗憾的路径变化$V_T$的比较器序列。具体来说，我们发现SA算法享受$\tilde O(\sqrt{TV_T} \vee \log T)$和$\tilde O(\sqrt{dTV_T} \vee d\log T)$动态遗憾强凸和指数凹损失分别没有先验知识的$V_T$。的多功能性的原则性的方法进一步证明了新的结果，在设置学习对有界线性预测和在线回归高斯内核。在相关的设置下，论文的第二部分解决了Zhdanov和Kalnishkan（2010）提出的一个悬而未决的问题，该问题涉及具有平方误差损失的在线内核回归。我们得到了一个新的下界，一定的惩罚遗憾，建立了近极大极小最优的在线核岭回归（KRR）。我们的下界可以被看作是对Vovk（2001）中有限维在线线性回归下界的RKHS扩展。
2021-11-22 cs.LG stat.ML
From Switching to Dynamic Regret: A Simple Reduction via Unbiased Random Sequences
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术全国重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；School of Software Technology, Zhejiang University（浙江大学软件学院）
本文提出一种简单归约框架，将动态遗憾最小化转化为切换遗憾最小化，通过构造无偏随机序列，为强凸、指数凹和一般凸损失分别建立了匹配极小极大最优的动态遗憾界。
2026-10-02 cs.LG
Dynamic Regret of Strongly Adaptive Methods
Nanjing University（南京大学）；the University of Iowa（爱荷华大学）；Alibaba Group（阿里巴巴集团）
为了应对不断变化的环境，在线学习的最新发展已经独立地引入了适应性后悔和动态后悔的概念。在本文中，我们通过表明动态后悔可以用适应性后悔和功能变异来表达，说明了这两个概念之间的内在联系。这一观察意味着，强自适应算法可以直接利用，以尽量减少动态遗憾。因此，我们提出了一系列强自适应算法，具有小的动态遗憾的凸函数，指数凹函数，强凸函数，分别。据我们所知，这是第一次，指数的上限利用动态后悔。此外，所有这些自适应算法不需要任何先验知识的功能变化，这是一个显着的优势，比以前的专门方法，最大限度地减少动态遗憾。
2018-06-04 cs.LG
Optimal Dynamic Regret in Proper Online Learning with Strongly Convex Losses and Beyond
UC Santa Barbara（加州大学圣塔芭芭拉分校）
研究了强凸损失下泛动态后悔最小化问题的框架。我们回答了Baby和Wang 2021中的一个公开问题，表明在适当的学习设置中，强自适应算法可以同时实现$\tilde O(d^{1/3} n^{1/3}\text{TV}[u_{1:n}]^{2/3} \vee d)$对任何比较器序列$u_1,\ldots,u_n$的近最优动态遗憾，其中$n$是时间范围，$\text{TV}[u_{1:n}]$是比较器的总变差。这些结果是通过利用Baby和Wang 2021中没有考虑的KKT条件所施加的一些新结构来促进的，这些结构也导致了对他们结果的其他改进，例如：（a）处理非光滑损失和（b）改善对遗憾的维度依赖。此外，我们还获得了接近最优的动态后悔率的特殊情况下，适当的在线学习的exp-convex损失和$L_\infty$约束的决策集。
2022-01-21 cs.LG math.OC stat.ML
Adaptivity and Universality: Problem-dependent Universal Regret for Online Convex Optimization
National Key Laboratory for Novel Software Technology, Nanjing University, China（国家新型软件技术重点实验室，南京大学，中国）；School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国）
本文提出UniGrad方法，实现在线凸优化的通用性和问题依赖性，通过两种实现方式达到不同函数类的最优遗憾界。
2025-11-25 cs.LG math.OC stat.ML
Adaptive Learning in Continuous Games: Optimal Regret Bounds and Convergence to Nash Equilibrium
Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；LJK（让·昆廷诺实验室）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（格勒诺布尔信息与信号处理实验室）；Criteo AI Lab（Criteo人工智能实验室）
在博弈论学习中，多个智能体同时遵循各自的利益，因此从每个参与者的角度来看，环境是不稳定的。在这种情况下，学习算法的性能通常由其遗憾来衡量。然而，无悔算法在博弈论保证方面并不平等：根据它们的调整方式，其中一些可能会使系统达到平衡，而另一些可能会产生循环，混乱或其他发散的轨迹。为了解决这个问题，我们提出了一系列基于乐观镜像下降的无遗憾策略，具有以下理想的属性：i）它们不需要任何事先调整或游戏知识; ii）它们都实现了O（\sqrt{T}）对任意的，对抗性的对手的遗憾; iii）它们收敛到收敛对手的最佳对策。此外，如果所有参与者都使用，则iv）它们保证O（1）社会遗憾;而v）在所有变分稳定博弈（包括所有单调和凹凸零和博弈的一类博弈）中，诱导的博弈序列收敛到纳什均衡，个人遗憾为O（1）。
2021-10-16 cs.GT cs.LG math.OC
Efficient Online Portfolio with Logarithmic Regret
University of Southern California（南加州大学）；Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
我们研究了几十年来的在线投资组合管理的问题，并提出了第一个算法与对数遗憾，不是基于封面的通用投资组合算法，并承认更快的实现。具体地说，通用投资组合在$T$轮上对$N$金融工具享有最优后悔$\mathcal{O}(N\ln T)$，但需要对数凹采样并且具有大的多项式运行时间。我们的算法，另一方面，确保一个稍大，但仍然对数遗憾的$\mathcal{O}(N^2(\ln T)^4)$，是基于研究的在线镜像下降框架与一个新的正则化，可以通过标准的优化方法，在每轮时间$\mathcal{O}(TN^{2.5})$。遗憾的所有其他现有的作品要么是多项式在$T$或有一个潜在的无界因素，如逆的最小价格相对。
2018-11-16 cs.LG stat.ML
Online Convex Optimization with a Separation Oracle
Google（谷歌公司）
针对现有在线凸优化无投影算法在病态可行集下悔值高的问题，提出带分离预言机的新算法，每轮仅需约1次分离预言机调用，实现主项与可行集非球度无关的悔值界，还改进了在线指数凹优化及约束随机凸优化的性能。
2024-10-07 cs.LG math.OC
Exploration-Exploitation Trade-off in Reinforcement Learning on Online Markov Decision Processes with Global Concave Rewards
National University of Singapore（新加坡国立大学）
我们考虑一个参与马尔可夫决策过程的代理，每轮都接收一个结果向量。她的目标是最大化平均向量结果的全局凹奖励函数。该问题模型的应用程序，如多目标优化，最大熵探索，并在马尔可夫环境中的约束优化。在我们的一般设置中，一个固定的策略可能有多个循环类，代理人面临着一个微妙而重要的权衡，在不同的行动之间交替平衡矢量结果。特别是，固定的政策一般是次优的。我们提出了一种基于在线凸优化（OCO）工具（Agrawal和Devanur 2014）和UCRL 2（Jaksch等人2010）的无遗憾算法。重要的是，我们引入了一种新的梯度阈值程序，它仔细控制动作之间的切换，以处理微妙的权衡。通过延迟梯度更新，我们的过程产生了一个非平稳的政策，多样化的结果优化的目标。该程序与各种OCO工具兼容。
2019-05-15 cs.LG math.OC stat.ML
Online Continuous Submodular Maximization
Yale Institute for Network Science（耶鲁大学网络科学研究所）；Department of Electrical Engineering, Yale University（耶鲁大学电气工程系）；Department of Electrical and Systems Engineering, University of Pennsylvania（宾夕法尼亚大学电气与系统工程系）
在本文中，我们考虑一个在线优化过程，其中的目标函数不是凸（也不是凹），而是属于一个广泛的连续子模函数类。首先，我们提出了一个变体的弗兰克-沃尔夫算法，可以访问的目标函数的全梯度。我们表明，它实现了遗憾界的$O(\sqrt{T})$（$T$是地平线的在线优化问题）对$(1-1/e)$ -近似的最佳可行的解决方案在事后。然而，在许多情况下，只有梯度的无偏估计可用。对于这样的设置，然后，我们提出了一个在线的随机梯度上升算法，也实现了遗憾界的$O(\sqrt{T})$遗憾，虽然对一个较弱的$1/2$ -近似的最佳可行的解决方案在事后。我们还将所得结果推广到$γ$ -弱次模函数，并证明了相同的次线性后悔界。最后，我们证明了我们的算法的效率在一些问题的情况下，包括非凸/非凹二次规划，子模集函数的多线性扩展，和D-最优设计。
2018-02-16 cs.AI cs.DS cs.LG
Trading-Off Static and Dynamic Regret in Online Least-Squares and Beyond
University of Minnesota（明尼苏达大学）
递归最小二乘算法通常使用遗忘因子作为启发式算法来适应非平稳数据流。本文的第一个贡献是严格刻画了遗忘因子对一类在线牛顿算法的影响。对于指数凹和强凸目标，算法实现了$\max\{O(\log T),O(\sqrt{TV})\}$的动态后悔，其中$V$是比较序列路径长度的一个界.特别是，我们展示了如何经典的递归最小二乘遗忘因子实现这个动态的遗憾界。通过改变$V$，我们得到了静态和动态后悔之间的权衡。为了获得更高的计算效率的算法，我们的第二个贡献是一个新的梯度下降步长规则的强凸函数。我们的梯度下降规则恢复了上述顺序最优动态后悔界限。对于光滑问题，我们还可以得到$O(T^{1-β})$的静态遗憾和$O(T^βV^*)$的动态遗憾，其中$β\in (0,1)$和$V^*$是极小元序列的路径长度.通过改变$β$，我们得到了静态和动态后悔之间的权衡。
2019-11-21 cs.LG stat.ML
A Stochastic View of Optimal Regret through Minimax Duality
UC Berkeley（加州大学伯克利分校）；University of Pennsylvania（宾夕法尼亚大学）
研究了在线凸优化博弈中最优策略的后悔性。使用冯诺依曼的极大极小定理，我们表明，在这种对抗设置的最佳遗憾是密切相关的随机过程设置中的经验最小化算法的行为：它等于最大的，在联合分布的对手的行动序列，最小预期损失和最小经验损失的总和之间的差异。我们表明，最佳遗憾有一个自然的几何解释，因为它可以被视为缺口在詹森的凹功能的不平等-最小化的球员的行动预期损失-定义在一组概率分布。我们使用这个表达式来获得各种在线学习问题的最优策略的后悔上界和下界。我们的方法提供了上界，而不需要构建一个学习算法，下界提供明确的最佳策略的对手。
2009-03-30 cs.LG stat.ML
Dec-BFTRL: Squre-Root Regret for Decentralized Online Upper-Linearizable Optimization under Separation Access with Application to Continuous Submodular Maximization
Purdue University（普渡大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）
本文提出Dec-BFTRL算法，用于分离访问下分散式在线上线性化优化，实现平方根遗憾，并应用于连续子模最大化。
2026-10-01 cs.AI cs.LG math.OC
Optimal Scalarizations for Sublinear Hypervolume Regret
Google Deepmind（谷歌DeepMind）
本文提出非线性超体积标量化方法，在帕累托前沿上实现最优次线性超体积遗憾界，并应用于多目标随机线性赌博机，理论分析与实证均优于线性方法。
2024-11-04 cs.DS cs.LG math.OC
Fast rates with high probability in exp-concave statistical learning
Centrum Wiskunde & Informatica (CWI)（荷兰国家数学与计算机科学研究所）
我们提出了一个算法的统计学习设置有界指数凹损失$d$维度，获得超额风险$O(d \log(1/δ)/n)$的概率至少为$1 - δ$。其核心技术是提高最近的预期$O(d/n)$的经验风险最小化（ERM）的超额风险界限的信心，而不牺牲率，通过利用伯恩斯坦条件，成立由于经验。我们还表明，概率$1 - δ$的标准ERM方法获得超额风险$O(d (\log(n) + \log(1/δ))/n)$。我们进一步表明，在这种情况下，任何在线学习者的遗憾绑定转化为相应的在线到批量转换的在线学习者的高概率超额风险绑定。最后，我们给出了指数凹模型选择集结问题的两个高概率界，它们在一定意义上是分位数自适应的。第一个界限是一个纯粹的指数权重类型算法，获得了几乎最优的速率，并且对损失的Lipschitz连续性没有显式依赖。第二界要求Lipschitz连续性，但获得最优速率。
2016-10-14 cs.LG
Universal Online Convex Optimization with $1$ Projection per Round
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
针对通用在线凸优化中每轮需多次投影导致的高时间开销问题，本文基于黑箱归约与专家建议框架，提出每轮仅需1次投影的通用算法，通过创新的遗憾分解与专家损失设计，同时为多种凸函数建立最优遗憾界并实现小损失遗憾。
2024-05-30 cs.LG math.OC
Second Order Path Variationals in Non-Stationary Online Learning
University of California Santa Barbara（加州大学圣巴巴拉分校）
考虑指数凹光滑损失下的泛动态后悔最小化问题。我们表明，适当设计的强自适应算法实现了动态遗憾的$\tilde O(d^2 n^{1/5} C_n^{2/5} \vee d^2)$，其中$n$是时间范围和$C_n$的路径变分的基础上的二阶差异的比较器序列。这样的路径变分自然地编码分段线性的比较器序列-一个强大的家族，在实践中跟踪各种非平稳模式（Kim等人，2009）。上述动态后悔率被证明是最优模维数依赖和多对数因子的$n$。我们的证明技术依赖于分析离线预言机的KKT条件，并需要对Baby和Wang，2021中的思想进行一些非平凡的概括，其中后者的工作只会导致当前问题的$\tilde O(d^{2.5}n^{1/3}C_n^{2/3} \vee d^{2.5})$的动态遗憾率较慢。
2023-02-25 cs.LG math.OC stat.ML
No-Regret Generative Modeling via Parabolic Monge-Ampère PDE
本文提出基于离散抛物型Monge-Ampère偏微分方程的生成建模框架，通过镜像梯度下降步在Brenier映射空间中迭代优化，并通过无遗憾分析建立理论保证，证明在多种步长调度下迭代收敛于最优Brenier映射。
2026-04-01 cs.LG math.OC math.ST
Polyhedral Instability Governs Regret in Online Learning
University of Washington（华盛顿大学）；Western Washington University（西雅图华盛顿大学）；King Abdulaziz City for Science and Technology（卡布勒·阿卜杜勒·阿齐兹科技城）；HUMAIN
本文研究了在线学习中组合动作的凸松弛问题，证明了遗憾由多面体不稳定性决定，通过分析区域切换次数和顶点数，得出了介于专家算法与维度依赖优化之间的渐进行为。
2026-05-13 cs.CC cs.LG
Quasi-Newton Steps for Efficient Online Exp-Concave Optimization
Massachusetts Institute of Technology（麻省理工学院）
本文的目的是设计计算效率和最优算法的在线和随机指数凹优化设置。用于这些设置的典型算法，例如在线牛顿步长（ONS），可以保证在$T$轮之后其遗憾上的$O(d\ln T)$界限，其中$d$是可行集的维度。然而，这样的算法执行所谓的广义投影时，他们的迭代步骤可行集之外。这种广义投影需要$Ω(d^3)$算术运算，即使对于诸如欧几里得球的简单集合也是如此，从而在最坏的情况下使得$T$轮之后的$d^3 T$阶ONS的总运行时间。在本文中，我们侧步广义投影使用自协调障碍作为正则化计算牛顿步骤。这确保了迭代总是在可行集内，而不需要投影。这种方法仍然需要在每一步计算障碍的Hessian的逆。然而，使用的牛顿步骤的稳定性，我们表明，逆的海森可以有效地近似通过泰勒展开的大多数回合，导致在一个$O(d^2 T +d^ω\sqrt{T})$总的计算复杂性，其中$ω$是矩阵乘法的指数。在随机设置中，我们表明，这转化为一个$O(d^3/ε)$计算复杂性找到一个$ε$ -次优点，回答一个开放的问题Koren 2013。我们首先显示这些新的结果的简单情况下，可行集是一个欧几里得球。然后，移动到一般的凸集，我们使用一个减少到在线凸优化欧几里德球。我们的最终算法可以被看作是一个更有效的版本的ONS。
2023-02-14 cs.LG math.OC
Improved Approximate Regret for Decentralized Online Continuous Submodular Maximization via Reductions
School of Software Technology, Zhejiang University, Ningbo, China（浙江大学宁波校区软件学院）；State Key Laboratory of Blockchain and Data Security, Zhejiang University, Hangzhou, China（浙江大学区块链与数据安全国家重点实验室）；School of Artificial Intelligence, Nanjing University, Nanjing, China（南京大学人工智能学院）；Department of Computer Science, City University of Hong Kong, Hong Kong, China（香港城市大学计算机科学系）
本文通过将去中心化在线连续亚模函数最大化问题转化为去中心化在线凸优化问题，改进了去中心化在线连续亚模函数最大化问题的近似懊悔界。
2026-02-10 cs.LG
Fast Algorithms for Online Stochastic Convex Programming
Microsoft Research（微软研究院）
我们介绍了在线随机凸规划（CP）问题，一个非常一般的版本的随机在线问题，允许任意凹目标和凸可行性约束。在线随机包装与覆盖、在线随机匹配等问题是在线随机CP的一个特例。我们提出了快速算法，这些问题，实现了近最佳的遗憾保证的i.i.d.以及随机输入的随机置换模型。当应用到特殊情况下的在线包装，我们的想法产生一个更简单，更快的原始-对偶算法，这个研究问题，实现了最佳的竞争比。我们的技术明确的连接原始-对偶范式和在线学习在线随机CP。
2014-10-28 cs.DS cs.LG math.OC
Proximal Point Method for Online Saddle Point Problem
Department of Automation, College of Artificial Intelligence China University of Petroleum, Beijing, China（自动化系，人工智能学院中国石油大学，北京，中国）
本文研究在线鞍点问题，提出三种近端点方法变体，在对偶间隙和动态纳什均衡遗憾上保证上界，并在良性环境中维持近乎恒定的界限，实验验证了其有效性。
2025-06-26 cs.LG math.OC
Online Submodular Maximization via Online Convex Optimization
Northeastern University（东北大学）；Boston University（波士顿大学）
研究一般拟阵约束下的单调次模最大化在线优化问题，通过证明加权阈值势函数可凹松弛，将其归约为在线凸优化（OCO），结合舍入方案实现次线性遗憾，并扩展至动态遗憾、老虎机和乐观学习设定。
2024-01-08 cs.AI cs.LG math.OC
Revenue Maximization Under Sequential Price Competition Via The Estimation Of s-Concave Demand Functions
Department of Statistics University of Michigan Ann Arbor, MI, USA（统计系密歇根大学安娜堡分校）；Department of Management University of Miami Miami, USA（管理系迈阿密大学）
本文研究了多个卖方在T期内的序列价格竞争，提出利用半参数最小二乘估计的动态定价策略，证明价格收敛至纳什均衡的速度为O(T^{-1/7})，并建立新的集中性结果。
2026-05-07 cs.LG math.PR math.ST
Doubly Optimal No-Regret Online Learning in Strongly Monotone Games with Bandit Feedback
Sauder School of Business, University of British Columbia（不列颠哥伦比亚大学尚德商学院）；Stern School of Business, New York University（纽约大学斯特恩商学院）
本文针对强单调博弈中的赌博机反馈在线学习问题，提出基于自协调障碍函数的新算法，首次同时实现单智能体最优遗憾和多智能体最优末次迭代收敛速率，解决了该领域长期存在的开放问题。
2024-03-29 cs.GT cs.LG math.OC
Regret Equals Covariance: A Closed-Form Characterization for Stochastic Optimization
本文通过证明随机优化问题的期望遗憾可分解为协方差与残差之和，提出了一种无需复杂模拟的计算方法，针对线性与二次优化问题，证明残差为零，从而实现高效的遗憾计算。
2026-09-29 cs.LG econ.EM math.ST
Adaptivity and Optimality: A Universal Algorithm for Online Convex Optimization
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
本文研究了自适应在线凸优化问题，旨在设计一种通用的算法，该算法能对多种常见类型的损失函数达到最优后悔界。现有的通用方法是有限的，在这个意义上，他们是最佳的损失函数的一个子类。为了解决这个问题，我们提出了一种新的在线方法，即Maler，它享有最佳的$O(\sqrt{T})$，$O(d\log T)$和$O(\log T)$遗憾边界一般凸，指数凹，和强凸函数分别。其基本思想是并行运行具有不同学习率的多种类型的学习算法，并利用Meta算法动态跟踪最佳学习算法。实验结果证明了该方法的有效性。
2019-05-15 cs.LG math.OC stat.ML
Universal Online Optimization in Dynamic Environments via Uniclass Prediction
近年来，提出了几种通用的在线凸优化方法，可以同时处理凸、强凸和指数凹的代价函数。然而，这些算法中的大多数都是基于静态遗憾最小化设计的，但是这种遗憾的概念可能不适合变化的环境。为了解决这个缺点，我们提出了一个新的和直观的框架，在动态环境中的通用在线优化。与现有的通用算法不同，我们的策略不依赖于一组专家和相应的元算法的建设。相反，我们表明，动态在线优化的问题可以减少到一个单类预测问题。通过将单类损失函数的选择权留给用户，他们能够控制和优化动态遗憾边界，这反过来又会延续到原始问题中。据我们所知，这是第一篇论文提出了一个普遍的方法，国家的最先进的动态遗憾保证，即使是一般的凸成本函数。
2023-02-13 cs.LG stat.ML
Optimal Regularized Online Allocation by Adaptive Re-Solving
HKUST（香港科技大学）
针对非凹奖励、硬约束和不可分离正则化的在线资源分配问题，提出自适应更新约束的对偶重求解框架，以近似解获得最优对数遗憾并消除 log-log 因子。
2023-07-16 cs.IT cs.LG math.IT
Exploiting Curvature in Online Convex Optimization with Delayed Feedback
University of Iowa（爱荷华大学）
针对延迟反馈下的曲率在线凸优化，本文提出强凸、指数凹及在线线性回归算法，取得兼顾缺失观测与总延迟的更优遗憾界，实验验证性能提升。
2025-06-09 cs.LG stat.ML
Acceleration through Optimistic No-Regret Dynamics
College of Computing（计算学院）；Georgia Institute of Technology（佐治亚理工学院）
我们考虑最小化一个光滑凸函数的问题，通过减少优化计算一个特定的零和凹凸博弈的纳什均衡。零和游戏可以使用在线学习动态来解决，其中经典的技术涉及模拟两个相互对抗的无悔算法，并且在$T$回合之后，保证平均误差可以解决原始优化问题，误差衰减为$O(\log T/T)$。在本文中，我们表明，该技术可以提高到$O(1/T^2)$的速度，通过扩展最近的工作\cite{RS13,SALS15}，利用\textit{optimistic learning}，以加快平衡计算。由此分析得出的优化算法与著名的\textit{exactly}方法相吻合，实际上，同样的故事允许我们通过小的调整来恢复Nesterov算法的几个变体。我们也能够建立一个函数，这是强凸和光滑的加速线性速率。这种方法统一了一些不同的迭代优化方法：我们表明，\HB算法正是\NA的非乐观变体，最近的工作已经建立了类似的\FW \cite{AW17,ALLW18}的观点。
2018-11-15 cs.LG stat.ML
Dynamic Regret Reduces to Kernelized Static Regret
Università degli Studi di Milano Politecnico di Milano（米兰大学）；Bocconi University（博科尼大学）；King Abdullah University of Science and Technology (KAUST)（卡斯泰洛-阿卜杜勒-阿齐兹大学）
本文提出将动态遗憾问题转化为核化静态遗憾问题，通过构造再生核希尔伯特空间实现最优动态遗憾保证，并适用于任意损失序列。
2025-12-10 cs.LG stat.ML
Online Continuous DR-Submodular Maximization with Long-Term Budget Constraints
University of Washington（华盛顿大学）
在本文中，我们研究了一类具有长期预算约束的在线优化问题，其中目标函数不一定是凹的（也不一定是凸的），但它们满足递减收益（DR）性质。具体地，单调DR-子模块目标函数$\{f_t(x)\}_{t=1}^T$和单调线性预算函数$\{\langle p_t,x \rangle \}_{t=1}^T$的序列随时间到达，并且假设总目标预算$B_T$，目标是在每个时间$t\in\{1,\dots,T\}$选择点$x_t$，而不知道该步骤上的$f_t$和$p_t$，以实现次线性遗憾界限，同时总预算违反$\sum_{t=1}^T \langle p_t,x_t \rangle -B_T$也是次线性的。先前的工作表明，实现次线性后悔是不可能的，如果预算功能选择相反。因此，我们修改的概念，遗憾的代理人对$(1-\frac{1}{e})$ -近似的最佳固定的决定，在事后，满足预算约束成比例的任何窗口长度$W$。我们提出了在线鞍点混合梯度（OSPHG）算法来解决这类在线问题。对于$W=T$，我们恢复了上述不可能结果。然而，当$W=o(T)$，我们表明，它是可能的，以获得次线性界限为$(1-\frac{1}{e})$ -遗憾和总预算违反。
2019-06-30 cs.LG math.OC stat.ML
Expected Utility Regret Rule: Minimax and Bayes Optimal Portfolio Choice
The University of Tokyo（东京大学）
本研究提出期望效用遗憾（EUR）规则，联合选择投资组合类别并估计权重，在正则参数模型中同时达到极小极大和贝叶斯下界，并涵盖均值-方差与风险平价投资组合作为特例。
2026-10-05 cs.LG econ.EM math.ST
Trading Regret for Efficiency: Online Convex Optimization with Long Term Constraints
Michigan State University（密歇根州立大学）
本文提出了一个求解约束在线凸优化问题的框架。我们的动机源于观察，大多数算法提出的在线凸优化需要一个投影到凸集$\mathcal{K}$的决定。虽然对于简单的形状（例如欧几里得球），投影是直接的，但对于任意复杂的集合，这是主要的计算挑战，并且在实践中可能效率低下。在本文中，我们考虑一个替代的在线凸优化问题。而不是要求决策属于$\mathcal{K}$的所有回合，我们只需要，定义集合$\mathcal{K}$的约束，满足长期运行。我们表明，我们的框架可以用来解决一个轻松的版本，在\cite{DBLP:conf/colt/MannorT06}和\cite{DBLP:conf/aaai/KvetonYTM08}解决边约束的在线学习。通过将该问题转化为一个在线的凸-凹优化问题，提出了一个有效的算法，该算法可以达到$\tilde{\mathcal{O}}(\sqrt{T})$后悔界和$\tilde{\mathcal{O}}(T^{3/4})$违反约束的界.然后，我们修改算法，以保证在长期的约束条件得到满足。这一收益是以获得$\tilde{\mathcal{O}}(T^{3/4})$遗憾绑定为代价的。我们的第二个算法是基于镜像Prox方法\citep{nemirovski-2005-prox}解决变分不等式，实现$\tilde{\mathcal{\mathcal{O}}}(T^{2/3})$界的…
2012-09-27 cs.LG
Near-Optimal No-Regret Learning Dynamics for General Convex Games
Columbia University（哥伦比亚大学）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）；Strategic Machine, Inc.（Strategic Machine公司）；Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）
最近的一系列工作已经建立了解耦的学习动力学，使得当被游戏中的所有玩家采用时，在$T$重复之后，每个玩家的\emph{regret}在$T$中以多项式方式增长，这是在无遗憾框架内的传统保证上的指数改进。然而，到目前为止，这些结果仅限于某些类别的游戏与结构化的战略空间-如正规形式和扩展形式的游戏。关于$O(\text{polylog} T)$后悔界限是否可以获得一般的凸和紧凑的策略集-这发生在许多基本模型在经济学和多智能体系统-同时保留有效的策略更新是一个重要的问题。在本文中，我们回答了这一问题，在积极的建立第一个解耦的学习算法与$O(\log T)$每球员遗憾一般\emph{convex games}，即游戏凹效用函数支持的任意凸和紧凑的策略集。我们的学习动力学是基于一个实例的乐观的后续正规化的领导者在适当的\emph{lifted}空间使用\emph{self-concordant regularizer}，特别是，不是一个障碍的可行区域。此外，我们的学习动力学是有效地实现给定的凸策略集访问一个接近的预言，导致$O(\log\log T)$每次迭代的复杂性，我们也给扩展时，访问只有一个\emph{linear}优化预言是假设的。最后，我们调整我们的动态，以保证$O(\sqrt{T})$在对抗制度的遗憾。即使在那些特殊的情况下，以前的结果适用，我们的算法提高了国家的最先进的遗憾界无论…
2022-10-16 cs.GT cs.LG
MetaGrad: Multiple Learning Rates in Online Learning
Leiden University（莱顿大学）；Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究所）
在在线凸优化中，众所周知，目标函数的某些子类比任意凸函数容易得多。我们感兴趣的是设计自适应方法，可以自动获得尽可能多的此类子类的快速速率，而无需任何手动调整。以前的自适应方法能够在强凸函数和一般凸函数之间插值。我们提出了一种新的方法，MetaGrad，它适用于更广泛的函数类，包括指数凹和强凸函数，但也有各种类型的随机和非随机函数没有任何曲率。例如，如果数据来自有利的概率分布，MetaGrad可以在非正则化铰链损失上实现对数遗憾，即使它没有曲率。MetaGrad的主要特点是它同时考虑多个学习率。然而，与以前的方法与可证明的遗憾的保证，它的学习率不是单调递减的时间，并没有调整的基础上，理论推导出的遗憾的界限。相反，它们使用倾斜指数权重主算法与它们在数据上的经验性能成正比地加权。
2016-11-01 cs.LG
Exp-Concavity of Proper Composite Losses
Australian National University（澳大利亚国立大学）；NICTA（澳大利亚国家信息通信技术研究院）
在线预测专家建议的目标是找到一个决策策略，该策略在任何结果序列上都将表现得几乎与给定专家库中的最佳专家一样好。这个问题已经得到了广泛的研究和$O(\sqrt{T})$和$O(\log{T})$遗憾界可以实现凸损失（\cite{zinkevich2003online}）和严格凸损失与有界的第一和第二导数（\cite{hazan2007logarithmic}）。在特殊情况下，如具有可混合损失的聚合算法（\cite{vovk1995game}）和具有指数凹损失的加权平均算法（\cite{kivinen1999averaging}），可以实现$O(1)$遗憾界限。\cite{van2012exp}认为，在某些条件下，可混性和经验近似相等。因此，通过理解这两个概念之间的潜在关系，我们可以获得两种算法的最佳效果（聚合算法的强理论性能保证和加权平均算法的计算效率）。在本文中，我们提供了一个完整的表征的经验，任何适当的复合损失。使用这种特性和适当的损失（\cite{van2012mixability}）的可混性条件，我们表明，它是可能的转换（重新参数化）任何$β$ -可混二进制适当的损失到一个$β$ -指数凹复合损失相同的$β$。在多类的情况下，我们提出了一个近似的方法，这种转换。
2018-05-20 cs.LG stat.ML
Alternating Regret for Online Convex Optimization
University of Southern California（南加州大学）；Shanghai University of Finance and Economics（上海财经大学）；University of Iowa（Iowa 大学）
本文证明连续Hedge算法可实现亚线性交替遗憾，解决在线凸优化开放问题，并推广到博弈均衡求解，同时提出改进算法并给出下界。
2025-06-18 cs.LG
On consistency of optimal pricing algorithms in repeated posted-price auctions with strategic buyer
Yandex（俄罗斯搜索引擎公司）；MSU（莫斯科国立大学）
我们研究收入优化学习算法的重复标价拍卖，卖方与一个单一的战略买家，持有一个固定的私人估价的好，并寻求最大化他的累积折扣盈余。对于这种设置，首先，我们提出了一种新的算法，永远不会降低报价，并在$Θ(\log\log T)$有一个严格的战略遗憾界在一些温和的假设下，买方剩余折扣。这一结果关闭了开放的研究问题，存在一个无遗憾的水平独立的弱一致定价。该算法的灵感来自于我们的观察，即在弱一致算法中，报价的双重下降足以导致线性后悔。这促使我们构建一个新的转换，映射一个右一致的算法到一个弱一致的，永远不会降低提供的价格。其次，我们优于先前已知的战略遗憾的算法PRRFES，其中的改进是通过一个更精细的常数因子$C$的主要术语$C\log\log T$在这个上限。最后，我们推广结果的战略后悔以前已知的几何折扣的买方盈余的折扣的其他类型，即：最优的定价PRRFES的情况下，几何凹递减折扣;和线性下界的战略后悔的范围广泛的地平线独立的弱一致性算法的情况下，任意折扣。
2018-02-08 cs.AI cs.GT cs.LG
From Average Sensitivity to Small-Loss Regret Bounds under Random-Order Model
CyberAgent；National Institute of Informatics（国家信息研究所）；Center for Advanced Intelligence Project（先进智能项目中心）；RIKEN（理化学研究所）
本文基于随机顺序模型，通过扩展Dong和Yoshida的方法，证明了在满足特定条件的算法下，可获得小损失遗憾界，适用于在线k均值聚类、低秩逼近等广泛问题，并展示了在子模函数最小化和ℓ₁回归中的应用。
2026-05-08 cs.DS cs.LG stat.ML
Online Inverse Linear Optimization: Efficient Logarithmic-Regret Algorithm, Robustness to Suboptimality, and Lower Bound
University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；Kyoto University（京都大学）；Institute of Statistical Mathematics（统计数学研究所）；Hokkaido University（北海道大学）
本文提出首个每轮复杂度与时间范围无关的在线逆线性优化对数遗憾算法，达到最优界$O(n\ln T)$，并处理次优动作情形，给出下界$Ω(n)$。
2025-05-22 cs.LG
