Sample Efficient Omniprediction and Downstream Swap Regret for Non-Linear Losses
University of Pennsylvania（宾夕法尼亚大学）
该研究定义决策交换遗憾以统一全预测与下游交换遗憾预测，提出在线算法及在线到批处理样本复杂度界，并首次为非线性 Lipschitz 损失实现多项式样本保证。
2025-02-18 cs.GT cs.LG
Constant Swap Regret in General-Sum Games via Two-Scale Higher-Order Optimism
Adobe Research（奥多比研究院）
本文提出一种确定性和非耦合的学习动力学，在一般和博弈中实现常数个体交换遗憾，并通过预测偏离收益和更新转移矩阵，同时提供对抗鲁棒变体。
2026-09-22 cs.GT cs.LG
Establishing Linear Surrogate Regret Bounds for Convex Smooth Losses via Convolutional Fenchel-Young Losses
College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；The Institute of Statistical Mathematics（统计数学研究所）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Skywork AI
本文提出通过卷积Fenchel-Young损失构建凸光滑替代损失，以实现线性替代遗憾界，从而解决凸光滑损失与线性遗憾界之间的权衡问题。
2025-11-26 cs.LG stat.ML
Sparsity-Based Interpolation of External, Internal and Swap Regret
Princeton University（普林斯顿大学）；Harvard University（哈佛大学）
本文针对在线学习专家问题，提出一种基于稀疏性的单一算法，通过$\phi$-遗憾最小化统一插值外部、内部和交换遗憾，实现实例自适应最优界，并匹配现有算法的计算复杂度。
2025-06-17 cs.LG stat.ML
Full Swap Regret and Discretized Calibration
Google（谷歌公司）
针对结构化标准型博弈中策略嵌入d维空间的交换遗憾最小化问题，提出完全交换遗憾最小化框架及高效算法，获对应遗憾界，并将其应用于在线预测，实现低校准误差。
2025-02-13 cs.GT cs.LG
Improved Multi-Dimensional Forecasting for Swap Regret
Cornell University（康奈尔大学）
针对未知目标的多个下游代理，提出一种预测器，同时保证所有代理的次线性交换遗憾，在二维空间中实现多项式时间算法，遗憾界为$\tilde{O}(\sqrt{kT})$，并推广到低维和高维环境。
2026-06-28 cs.GT cs.LG
Uncoupled Learning Dynamics with $O(\log T)$ Swap Regret in Multiplayer Games
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；University of Southern California（南加州大学）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）；Strategic Machine, Inc.（Strategic Machine公司）
在本文中，我们建立了有效的\emph{uncoupled}学习动态，以便在一般和多人游戏中的所有玩家，每个玩家的\emph{swap regret}后，$T$重复的游戏是有界的$O(\log T)$，提高了以前的最佳界限的$O(\log^4 (T))$。同时，我们也保证了在对抗机制中最优的$O(\sqrt{T})$交换遗憾。为了获得这些结果，我们的主要贡献是表明，当所有的球员遵循我们的动态与\emph{time-invariant}学习率，动态的\emph{second-order path lengths}的时间$T$是有界的$O(\log T)$，一个基本的属性，可能有进一步的影响超越接近最佳的边界（交换）遗憾。我们提出的学习动力学以一种新颖的方式将\emph{optimistic}正则化学习与\emph{self-concordant barriers}的使用相结合。此外，我们的分析非常简单，绕过了Daskalakis，Fishelson和Golowich最近开发的高阶平滑的繁琐框架（NeurIPS'21）。
2022-10-05 cs.GT cs.LG
Gains and Losses are Fundamentally Different in Regret Minimization: The Sparse Case
Institut de Mathématiques de Jussieu（朱西厄数学研究所）；Université Pierre-et-Marie-Curie（皮埃尔和玛丽·居里大学）；INRIA（法国国家信息与自动化研究所）；Université Paris-Diderot（巴黎第七大学）
我们证明了，在经典的非随机遗憾最小化问题与$d$决策，收益和损失分别最大化或最小化是根本不同的。事实上，通过考虑额外的稀疏性假设（在每个阶段，最多$s$决策会导致非零的结果），我们得到了不同顺序的最佳后悔界限。具体来说，增益，我们获得了一个最佳的遗憾保证后，$T$阶段的顺序$\sqrt{T\log s}$，所以经典的依赖性的尺寸被取代的稀疏大小。对于损失，我们提供了匹配的阶数$\sqrt{Ts\log(d)/d}$的上界和下界，该阶数在$d$中递减。最后，我们还研究了强盗设置，并获得了一个上界的顺序$\sqrt{Ts\log (d/s)}$时的结果是损失。这个界限被证明是最佳的对数因子$\sqrt{\log(d/s)}$。
2015-11-26 cs.LG stat.ML
Surrogate Regret Bounds for Polyhedral Losses
University of Colorado Boulder（科罗拉多大学博尔德分校）
代理风险最小化是监督机器学习中普遍存在的范例，其中通过最小化数据集上的代理损失来解决目标问题。代理后悔界限，也称为超额风险界限，是证明代理风险最小化的推广率的常用工具。虽然替代遗憾界已被开发为某些类别的损失函数，如适当的损失，一般的结果是相对稀疏。我们提供了两个一般结果。第一个给出了一个线性代理遗憾界的任何多面体（分段线性和凸）代理，这意味着代理泛化率直接转化为目标率。第二个表明，充分非多面体代理，遗憾界是一个平方根，这意味着快速代理泛化率转化为目标的速度慢。总之，这些结果表明多面体代理在许多情况下是最佳的。
2021-10-26 cs.LG stat.ML
Adaptive Minimax Regret against Smooth Logarithmic Losses over High-Dimensional $\ell_1$-Balls via Envelope Complexity
The University of Tokyo（东京大学）
我们开发了一个新的理论框架，\emph{envelope complexity}，分析极大极小遗憾与对数损失函数，并推导出贝叶斯预测，自适应实现极大极小遗憾在高维$\ell_1$ -球的一个因素内的两个。先验是新推导的，用于实现极小极大遗憾，并称为\emph{spike-and-tails~(ST) prior}，因为它看起来像。由此产生的遗憾界是如此简单，它是完全确定的光滑的损失函数和球的半径，除了与对数因子，它有一个广义形式的现有的遗憾/风险界。在初步的实验中，我们证实了ST先验优于传统的最小最大遗憾先验的非高维渐近。
2018-10-14 cs.LG stat.ML
Surrogate Regret Bounds for Bipartite Ranking via Strongly Proper Losses
Indian Institute of Science（印度科学学院）
二分排名问题，其中实例被标记为正面或负面，目标是学习一个评分函数，该函数最大限度地减少对一对正面和负面实例的错误排名概率（或等效地，最大化ROC曲线下的面积），近年来已被广泛研究。一个占主导地位的理论和算法框架的问题已经减少二分排名成对分类，特别是，它是众所周知的，二分排名遗憾可以制定成对分类遗憾，这反过来又可以使用通常的遗憾界分类问题的上限。最近，Kotlowski et al.（2011）根据与标准（非成对）逻辑和指数损失的平衡版本相关的遗憾，显示了二分排序的遗憾界限。在本文中，我们表明，这种（非成对）代理遗憾界的二分排名可以得到一个广泛的类适当的（复合）损失，我们的术语作为强适当的。我们的证明技术比Kotlowski等人（2011）简单得多，并且依赖于Reid和Williamson（2010，2011）和其他人最近阐明的适当（复合）损失的性质。我们的结果产生明确的代理边界（没有隐藏的平衡条款）在各种强适当的损失，包括例如逻辑，指数，平方和平方铰链损失的特殊情况。我们还通过Clemencon和Robbiano（2011）的最新结果在某些低噪声条件下获得了更紧密的代理边界。
2012-07-02 cs.LG stat.ML
Strategizing against No-Regret Learners in First-Price Auctions
Stanford University（斯坦福大学）
研究重复首价拍卖等博弈中优化者对抗无遗憾学习者的策略，证明基于均值的算法在标准首价拍卖中可限制优化者效用，但在贝叶斯设定下不可，并证实无多面体交换遗憾算法是限制效用的必要条件。
2024-02-13 cs.DS cs.GT cs.LG
Achieving Optimal Static and Dynamic Regret Simultaneously in Bandits with Deterministic Losses
The University of Hong Kong（香港大学）；University of Virginia（弗吉尼亚大学）
本文提出在确定性损失下，针对 oblivious 对手同时实现最优静态和动态遗憾的算法，并揭示适应性与 oblivious 对手在多基准下的根本差异。
2026-02-17 cs.LG stat.ML
Optimal Dynamic Regret in Proper Online Learning with Strongly Convex Losses and Beyond
UC Santa Barbara（加州大学圣塔芭芭拉分校）
研究了强凸损失下泛动态后悔最小化问题的框架。我们回答了Baby和Wang 2021中的一个公开问题，表明在适当的学习设置中，强自适应算法可以同时实现$\tilde O(d^{1/3} n^{1/3}\text{TV}[u_{1:n}]^{2/3} \vee d)$对任何比较器序列$u_1,\ldots,u_n$的近最优动态遗憾，其中$n$是时间范围，$\text{TV}[u_{1:n}]$是比较器的总变差。这些结果是通过利用Baby和Wang 2021中没有考虑的KKT条件所施加的一些新结构来促进的，这些结构也导致了对他们结果的其他改进，例如：（a）处理非光滑损失和（b）改善对遗憾的维度依赖。此外，我们还获得了接近最优的动态后悔率的特殊情况下，适当的在线学习的exp-convex损失和$L_\infty$约束的决策集。
2022-01-21 cs.LG math.OC stat.ML
Forecasting for Swap Regret for All Downstream Agents
University of Pennsylvania（宾夕法尼亚大学）
本文提出面向任意下游智能体的事件无偏预测方法，在低维达到最优 O(sqrt(T))、高维在平滑最优响应下达到维度无关的 O(T^{2/3}) swap regret。
2024-06-15 cs.GT cs.LG
Contextual bandits with surrogate losses: Margin bounds and efficient algorithms
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
我们使用代理损失，以获得几个新的遗憾界和新的上下文强盗学习算法。使用斜坡损失，我们得到新的利润率为基础的遗憾界的标准序列复杂性措施的基准类的实值回归函数。使用铰链损失，我们得到了一个有效的算法与$\sqrt{dT}$型错误绑定对基准政策引起的$d$维回归。在可实现性假设下，我们的结果也产生了经典的遗憾界限。
2018-11-04 cs.LG stat.ML
Coherent Swap Regret and Channel-Proof Learning
Sohail (Neel) Sarkar
针对量子博弈中局部CPTP偏差，提出相干交换遗憾作为基准，并通过熵镜像上升算法实现O(√(dT log d))的遗憾界，揭示了非幺正使用推荐寄存器是困难根源，并应用于有限量子博弈达到ε-近似可分量子相关均衡。
2026-06-01 cs.GT cs.LG math.OC
Proper losses regret at least 1/2-order
The Institute of Statistical Mathematics（统计数学研究所）；The University of Tokyo（东京大学）
本文研究了proper losses的替代遗憾，证明了严格properness是建立非空替代遗憾界限的必要条件，并指出p-范数的收敛阶不能比替代遗憾的1/2阶更快。
2026-03-03 cs.LG stat.ML
From External to Swap Regret 2.0: An Efficient Reduction and Oblivious Adversary for Large Action Spaces
UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）；CSAIL（计算机科学与人工智能实验室）
提出从外部遗憾到交换遗憾的高效归约，不要求动作空间有限，显著降低轮数和每轮复杂度，并证明其蕴含近似相关均衡存在，回答了开放问题。
2025-02-24 cs.AI cs.GT cs.LG
Sublogarithmic Swap Regret in Multiplayer General-Sum Games via Hybrid Regularization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
该研究针对多人一般和博弈，提出结合Blum–Mansour归约与混合正则化的无耦合学习动力学，实现次对数级交换遗憾，得到首个此类个体保证及近似相关均衡。
2026-08-06 cs.GT cs.LG
When Lower-Order Terms Dominate: Adaptive Expert Algorithms for Heavy-Tailed Losses
Universitat Pompeu Fabra（庞培法布拉大学）；Università degli Studi di Milano（米兰大学）；Leiden University（莱顿大学）
本文提出了一种自适应算法，解决了厚尾损失下的预测问题，通过改进的后悔界避免低阶项的影响，提高了算法性能。
2026-01-08 cs.LG stat.ML
No-Regret Online Reinforcement Learning with Adversarial Losses and Transitions
University of Southern California（南加州大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of Copenhagen（哥本哈根大学）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）；MIT Institute for Data Systems Society（麻省理工学院数据系统与社会研究所）
本文提出能同时应对对抗性损失和对抗性转移的在线强化学习算法，遗憾随对手恶意程度平滑增长，并通过黑盒归约消除对转移对抗程度的先验知识需求，同时适应更简单的随机约束环境。
2023-10-26 cs.LG stat.ML
Online learning with kernel losses
UC Berkeley（加州大学伯克利分校）
我们提出了一个广义的对抗线性强盗框架，其中潜在的损失是核函数（与相关的再生核希尔伯特空间），而不是线性函数。我们研究了指数权重算法的一个版本，并将其限制在此设置中。在核的本征衰变的条件下，我们提供了一个尖锐的表征该算法的遗憾。当我们有多项式本征衰减$μ_j \le \mathcal{O}(j^{-β})$时，我们发现遗憾是有界的$\mathcal{R}_n \le \mathcal{O}(n^{β/(2(β-1))})$ ;而在指数本征衰减$μ_j \le \mathcal{O}(e^{-βj })$的假设下，我们得到一个更紧的界的遗憾$\mathcal{R}_n \le \mathcal{O}(n^{1/2}\log(n)^{1/2})$。我们还研究了当潜在损失是核函数时的完全信息设置，并提出了自适应指数权重算法和条件梯度下降算法。
2018-02-27 cs.LG stat.ML
Calibeating for general proper losses: A Bregman divergence approach
Independent researcher（独立研究者）；Institute for Mathematical and Computational Engineering, Faculty of Mathematics and School of Engineering, Pontificia Universidad Católica de Chile（数学与计算工程学院，数学系和工程学院，天主教智利大学）；Department of Computer Science, University of Victoria（计算机科学系，维多利亚大学）
本文提出了一种基于懊悔最小化的通用校准框架，考虑了包括α-Tsallis损失（α∈[1,2]）和Lipschitz损失在内的广泛恰当损失家族，同时展示了新的关于Be The Regularized Leader的懊悔等式。
2026-07-01 cs.LG stat.ML
Non-exponentially weighted aggregation: regret bounds for unbounded loss functions
RIKEN AIP（理化学研究所革新智能综合研究中心）
我们处理的问题，在线优化与一般的，可能是无界的，损失函数。众所周知，当损失有界时，指数加权聚集策略（EWA）会导致$T$步后的$\sqrt{T}$出现后悔.在本文中，我们研究了一个广义聚集策略，其中的权重不再指数依赖于损失。我们的策略是基于跟随正规化领导者（FTRL）：我们最小化预期损失加上一个正规化，这是一个$ϕ$ -分歧。当正则化子为库尔贝克-莱布勒散度时，我们得到了EWA的一个特例.使用替代分歧可以实现无限的损失，在某些情况下，以最坏的遗憾界限为代价。
2021-06-17 cs.LG stat.ML
High-Dimensional Calibration from Swap Regret
MIT（麻省理工学院）；Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）
该研究将高维在线校准与在线线性优化的交换遗憾关联，提出通用高效算法，证明了单纯形下校准误差的指数下界，强化了已有结果。
2026-08-12 cs.DS cs.GT cs.LG
Online Learning on Hidden-Convex Losses via Algorithmic Equivalence: Optimal Regret, Geometric Barrier, and Bandit Feedback
Singapore University of Technology and Design（新加坡科技设计大学）；National Technical University of Athens（雅典国家技术大学）；National and Kapodistrian University of Athens（雅典国家与卡多斯大学）；University of California, Irvine（加州大学 Irvine 分校）；Archimedes, Athena Research Center, Greece（希腊阿提卡研究中心 Archimedes）；National University of Singapore, Centre for Quantum Technologies（新加坡国立大学 量子技术中心）
本文通过更精确的离散时间算法等价性论证，证明在线梯度下降在隐凸损失上达到最优的$\mathcal{O}(\sqrt{T})$遗憾，并澄清了所需几何条件，同时扩展到单点Bandit反馈得到$\mathcal{O}(T^{3/4})$期望遗憾。
2026-05-25 cs.LG math.OC stat.ML
Bandit Regret Scaling with the Effective Loss Range
Università degli Studi di Milano（米兰大学）；Weizmann Institute of Science（魏茨曼科学研究所）
我们研究如何可以提高非随机多武装土匪的后悔保证，如果在每一轮的损失的有效范围是小的（例如，在一个给定的回合中的两个损失之间的最大差异）。尽管最近的不可能的结果，我们展示了如何在某些温和的额外假设下，这是可能的，如可用性的粗略估计的损失，或提前了解的损失，一个单一的，可能未指定的手臂。一路上，我们开发了一种新的技术，这可能是独立的利益，转换任何多臂强盗算法遗憾的损失范围，到一个只依赖于有效范围的遗憾算法，同时完全避免可预测的坏武器。
2020-01-02 cs.LG stat.ML
Fast swap regret minimization and applications to approximate correlated equilibria
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）
本文提出一种计算高效的交换遗憾最小化算法，在 polylog 轮内达到 εT 交换遗憾，并应用于加速收敛到 ε-相关均衡，解决多个开放问题，同时给出匹配下界。
2023-11-14 cs.AI cs.DS cs.GT
Fast Rates for Swap-Agnostic Learning of Proper Losses
Harvard University（哈佛大学）
本文针对恰当损失的交换不可知学习，提出了联合控制预测水平比较的方法，得到了紧的快速收敛速率，优于现有结果，核心是将该学习归约为二阶多校准问题。
2026-08-03 cs.LG
Distributed Online Non-convex Optimization with Composite Regret
Johnson Controls（江森自控）；Iowa State University（爱荷华州立大学）；New York University（纽约大学）
遗憾已被广泛采用的分布式，多智能体系统的在线优化算法的性能评估的选择度量。然而，与代理相关的数据/模型变化可能会显著影响决策，并需要代理之间的共识。此外，大多数现有的工作都集中在开发方法（无论是强或非强）凸损失，并已获得很少的结果，在分布式在线优化一般非凸损失的遗憾界。为了解决这两个问题，我们提出了一种新的复合遗憾与一个新的网络遗憾为基础的度量来评估分布式在线优化算法。我们具体定义了复合遗憾的静态和动态形式。通过利用我们的复合遗憾的动态形式，我们开发了一个基于共识的在线归一化梯度（CONGD）方法的伪凸损失，它证明了一个次线性的行为有关的规则项的路径变化的优化。对于一般的非凸损失，我们首先阐明了遗憾的设置分布式在线非凸学习的基础上，最近的进展，没有确定性算法可以实现次线性遗憾。然后，我们开发了分布式在线非凸优化与复合遗憾（DINOCO）没有访问的梯度，依赖于离线优化预言。DINOCO实现了次线性遗憾;据我们所知，这是一般分布式在线非凸学习的第一个遗憾界。
2022-09-21 cs.DC cs.LG stat.ML
Near-Linear Time Algorithm with Near-Logarithmic Regret Per Switch for Mixable/Exp-Concave Losses
我们调查的问题，在线学习，这已经获得了显着的关注，近年来，由于其适用于广泛的领域，从机器学习博弈论。具体而言，我们研究了在动态环境中具有对数静态遗憾的可混合损失函数的在线优化问题。我们竞争的最佳动态估计序列是在充分观察损失函数的情况下事后选择的，并且允许在不同的时间间隔（段）中选择不同的最佳估计。我们提出了一个在线混合框架，使用这些静态求解器作为基础算法。我们表明，与适当的选择超专家创作和加权策略，我们可以实现对数和平方对数后悔每开关在二次和线性的计算复杂性，分别。对于第一次在文献中，我们表明，它也可以实现近对数后悔每开关与子多项式的复杂性每一次。我们的结果是保证持有在一个强的确定性意义上的个人序列的方式。
2021-09-28 cs.LG math.OC stat.ML
First-order regret bounds for combinatorial semi-bandits
INRIA Lille – Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
我们考虑在线组合优化问题下的半强盗反馈，学习者必须反复挑选行动从组合决策集，以尽量减少与其决策相关的总损失。在做出每个决定之后，学习者观察到与其行为相关的损失，而不是其他损失。对于这个问题，有几个学习算法，保证学习者的预期后悔随着回合数$T$而增长为$\widetilde{O}(\sqrt{T})$。在本文中，我们提出了一种算法，改进了这种缩放到$\widetilde{O}(\sqrt{L_T^*})$，其中$L_T^*$是最佳行动的总损失。我们的算法是第一个实现这样的保证，在部分反馈方案，第一个这样做的组合设置。
2015-06-10 cs.LG stat.ML
Unconstrained Online Learning with Unbounded Losses
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；Boston University（波士顿大学）
研究无界定义域与非 Lipschitz 损失下的在线学习，提出具有最优静态遗憾保证的算法，并将其扩展到无曲率鞍点优化和动态遗憾问题。
2023-07-14 cs.LG stat.ML
Is Learning in Games Good for the Learners?
Google（谷歌）
本文提出允许非对称后悔约束的广义均衡，刻画重复博弈中奖励与后悔的权衡，并分析面对不同无后悔学习者时的最优收益及 Stackelberg 策略学习复杂度。
2023-12-16 cs.GT cs.LG
Dynamic Regret via Discounted-to-Dynamic Reduction with Applications to Curved Losses and Adam Optimizer
National Key Laboratory for Novel Software Technology（新型软件技术国家实验室）；School of Artificial Intelligence（人工智能学院）；University of Washington（华盛顿大学）
本文通过折扣到动态的还原方法，改进了FTRL相关问题的动态后悔界，并应用于曲面损失和Adam优化器，获得了非凸非光滑设置下的最优收敛速率。
2026-09-30 cs.LG math.OC
No-Regret Learning with Unbounded Losses: The Case of Logarithmic Pooling
Columbia University（哥伦比亚大学）
针对在线半对抗环境下专家预测的对数池化权重学习问题，提出基于在线镜像下降的算法，实现了O(√T log T)的期望无悔保证。
2023-10-10 cs.LG stat.ML
Toward Simultaneously Optimal Regret in U-Calibration
University of Colorado Boulder（科罗拉多大学波德穆尔分校）；University of Southern California（南加州大学）；Google Research（谷歌研究）
提出一种基于自和谐噪声的FTPL变体，实现对所有有界适当损失的最优$\tilde O(\sqrt{T})$遗憾和对光滑损失的对数遗憾。
2026-06-18 cs.LG stat.ML
From Switching to Dynamic Regret: A Simple Reduction via Unbiased Random Sequences
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术全国重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；School of Software Technology, Zhejiang University（浙江大学软件学院）
本文提出一种简单归约框架，将动态遗憾最小化转化为切换遗憾最小化，通过构造无偏随机序列，为强凸、指数凹和一般凸损失分别建立了匹配极小极大最优的动态遗憾界。
2026-10-02 cs.LG
From Non-Convex to Strongly Convex: Curvature-Adaptive FTPL for Online Optimization
Stanford University（斯坦福大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
提出一种曲率自适应的FTPL算法，通过时变扰动尺度实现非凸Lipschitz损失下的最优遗憾界，并在线性累积曲率下达到对数遗憾。
2026-06-01 cs.DS cs.LG
Projection-free Distributed Online Learning with Sublinear Communication Complexity
Nanjing University（南京大学）；Paradigm Inc.（第四范式公司）
为了解决分布式在线学习中的复杂约束问题，提出了一种无投影的分布式在线条件梯度算法（D-OCG），并给出了凸损失下的$O(T^{3/4})$遗憾界，其中$T$是总轮数.然而，它需要$T$通信轮次，并且不能利用损失的强凸性。本文提出了一种改进的D-OCG，即D-BOCG，它可以达到相同的$O(T^{3/4})$遗憾界只有$O(\sqrt{T})$通信轮凸损失，和一个更好的遗憾界的$O(T^{2/3}(\log T)^{1/3})$与$O(T^{1/3}(\log T)^{2/3})$通信轮的强凸损失.其核心思想是采用延迟更新机制降低通信复杂性，并重新定义D-OCG中的代理损失函数以充分利用D-OCG的强凸性。此外，我们提供了下界证明，$O(\sqrt{T})$通信轮所需的D-BOCG是最佳的（在$T$方面），为实现$O(T^{3/4})$遗憾与凸损失，和$O(T^{1/3}(\log T)^{2/3})$通信轮D-BOCG所需的是近最佳的（在$T$方面），为实现$O(T^{2/3}(\log T)^{1/3})$遗憾与强凸损失的多对数因子。最后，为了处理更具挑战性的bandit设置，其中只有损失值可用，我们将经典的一点梯度估计纳入D-BOCG，并获得类似的理论保证。
2022-06-14 cs.LG stat.ML
Online Convex Optimization with Unconstrained Domains and Losses
Stanford University（斯坦福大学）
我们提出了一个在线凸优化算法（RescaledExp），实现了最佳的遗憾，在无约束的设置没有任何先验知识的损失函数的界限。我们证明了一个下界显示现有的算法，需要一个已知的界上的损失函数和任何算法，不需要这样的知识的遗憾之间的指数分离。RescaledExp在迭代次数上渐进地匹配此下限。RescaledExp本质上是无超参数的，我们根据经验证明它与需要超参数优化的先前优化算法相匹配。
2017-03-07 cs.LG stat.ML
Small Gradient Norm Regret for Online Convex Optimization
Stanford University（斯坦福大学）；Shanghai University of Finance and Economics（上海财经大学）
本文提出了一种新的在线凸优化遗憾度量$G^\star$，通过改进的遗憾分析和实验验证，提升了对平滑损失的收敛性能。
2026-09-22 cs.LG math.OC stat.ML
Warm-up Free Policy Optimization: Improved Regret in Linear Markov Decision Processes
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
本文提出一种免预热的策略优化算法，用简单高效的收缩机制替代昂贵的纯探索预热阶段，在线性MDP的对抗性全信息反馈和随机老虎机反馈两种设置下均实现速率最优遗憾，并改善了对时间范围和函数逼近维度的依赖。
2024-07-03 cs.LG stat.ML
A Geometric Approach to Constrained Online Learning
Department of Computer Science and Engineering, Indian Institute of Technology Kharagpur（计算机科学与工程系，印度理工学院Kharagpur分校）；School of Technology and Computer Science, Tata Institute of Fundamental Research, Mumbai, India（技术与计算机科学学院，印度基础研究科学研究院，孟买，印度）
本文提出了一种基于投影的算法，在强凸损失下同时实现O(log T)的 regrets 和 O(log T) 的 CCV，对于凸损失则在保持最优 O(√T) regrets 的同时将 CCV 提升到 O(√T)。
2026-07-23 cs.LG stat.ML
Online Bandit Learning against an Adaptive Adversary: from Regret to Policy Regret
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Microsoft Research（微软研究院）
在线学习算法被设计成即使在它们的输入由对手生成时也能学习。在线算法学习能力的广泛接受的正式定义是博弈论中的后悔概念。我们认为，后悔的标准定义变得不够，如果对手被允许适应在线算法的行动。我们定义的替代概念的政策遗憾，试图提供一个更有意义的方式来衡量一个在线算法的性能对自适应对手。集中在网上的强盗设置，我们表明，没有强盗算法可以保证一个次线性的政策后悔对自适应对手与无限的记忆。另一方面，如果对手的记忆是有界的，我们提出了一个一般的技术，转换成一个算法的次线性策略遗憾界的任何强盗算法与次线性遗憾界。我们将这一结果扩展到后悔的其他变体，如转换后悔，内部后悔和交换后悔。
2012-06-27 cs.LG stat.ML
Regret Bounds without Lipschitz Continuity: Online Learning with Relative-Lipschitz Losses
University of British Columbia（不列颠哥伦比亚大学）；Amii（阿尔伯塔机器智能研究所）
在线凸优化（OCO）中，通常假设函数的Lipschitz连续性以获得次线性遗憾。而且，当这些函数也是强凸函数时，许多算法只有对数遗憾。近年来，凸优化领域的研究者提出了“相对Lipschitz连续性”和“相对强凸性”的概念。这两个概念都是经典概念的推广。它已被证明，次梯度方法在相对设置具有类似于他们的性能在经典设置的性能。在这项工作中，我们考虑OCO相对Lipschitz和相对强凸函数。我们扩展了经典OCO算法的遗憾界的相对设置。具体来说，我们显示遗憾的界限遵循正规化的领导者算法和在线镜像下降的一个变体。由于这些方法的通用性，这些结果产生各种各样的OCO算法的遗憾界。此外，我们进一步扩展的结果与额外的正则化算法，如正则化双平均。
2020-12-28 cs.LG math.OC
Optimal Dynamic Regret in LQR Control
UC Santa Barbara（加州大学圣巴巴拉分校）
我们考虑具有二次损失序列的非随机控制问题，即，LQR控制我们提供了一个有效的在线算法，实现了最佳的动态（政策）遗憾的$\tilde{O}(\text{max}\{n^{1/3} \mathcal{TV}(M_{1:n})^{2/3}, 1\})$，其中$\mathcal{TV}(M_{1:n})$是总变化的任何预言序列的干扰行动政策参数化的$M_1,...,M_n$ -事后选择，以迎合未知的非平稳性。该速率提高了$\tilde{O}(\sqrt{n (\mathcal{TV}(M_{1:n})+1)} )$的最佳已知速率一般凸损失，我们证明了它是LQR的信息理论最优。主要的技术组成部分包括减少LQR的在线线性回归与延迟反馈由于福斯特和Simchowitz（2020），以及一个新的适当的学习算法与最佳的$\tilde{O}(n^{1/3})$动态遗憾的家庭“minibatched”的二次损失，这可能是独立的利益。
2022-06-18 cs.LG math.DS math.OC
Simultaneously Learning Stochastic and Adversarial Episodic MDPs with Known Transition
University of Southern California（南加州大学）
本文研究了具有已知转移和强盗反馈的偶发马尔可夫决策过程的学习问题。我们开发的第一个算法具有“两全其美”的保证：当损失是随机的时，它实现了$\mathcal{O}(log T)$后悔，同时即使损失是对抗性的，它也能在最坏情况下保持$\tilde{\mathcal{O}}(\sqrt{T})$后悔的鲁棒性，其中$T$是事件的数量。更一般地，它在损失被$C$的总量破坏的中间设置中实现$\tilde{\mathcal{O}}(\sqrt{C})$遗憾。我们的算法基于Zimin和Neu（2013）的Follow-the-Regularized-Leader方法，其中一种新的混合正则化器受到Zimmert等人最近的作品的启发。（2019 a，2019 b）用于多武装土匪的特殊情况。至关重要的是，我们的正则化承认一个非对角海森与一个非常复杂的逆。分析这样一个正则化子并导出一个特定的自约束后悔保证是我们的关键技术贡献，可能是独立的兴趣。
2020-11-02 cs.LG stat.ML
Online Structured Prediction with Fenchel--Young Losses and Improved Surrogate Regret for Online Multiclass Classification with Logistic Loss
The University of Tokyo（东京大学）；Kyoto University（京都大学）
本文将利用代理差距框架从在线多类分类扩展到基于Fenchel–Young损失的在线结构化预测，提出随机化解码方法，并在逻辑损失下将代理遗憾界改进为O(‖U‖F²)，比先前结果提升d倍。
2024-10-22 cs.LG
Minimizing Surrogate Losses for Decision-Focused Learning using Differentiable Optimization
KU Leuven, Department of Computer Science, Belgium（比利时卢森堡大学计算机科学系）
针对决策聚焦学习中线性规划等优化问题的梯度几乎处处为零的问题，提出使用可微优化层并最小化代理损失，在减少训练时间的同时达到最优决策遗憾。
2025-08-25 cs.AI cs.LG
Non-stationary Online Learning for Curved Losses: Improved Dynamic Regret via Mixability
National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国）；The University of Tokyo, Japan（东京大学，日本）
该研究针对非平稳在线学习中强曲率损失动态后悔研究不足的问题，利用可混合性提出固定份额更新的指数权重方法，将可混合损失的动态后悔界在维度d上从d的10/3次方降至1次方，且无需KKT分析。
2025-06-12 cs.LG
A Generalized Online Algorithm for Translation and Scale Invariant Prediction with Expert Advice
在这项工作中，我们的目标是创建一个完全在线的算法框架，用于预测专家的建议，这是无预警和无尺度的专家损失。我们的目标是创建一个通用的算法，适用于各种各样的应用程序。为了这个目的，我们研究了我们的算法对一个通用的竞争类在顺序预测专家咨询问题的预期遗憾，其中预期遗憾的措施之间的差异，我们的预测算法的损失和损失的“最好的”专家选择策略的竞争。我们设计我们的算法使用的普遍预测的角度来竞争对一个指定的类的专家选择策略，这不一定是一个固定的专家选择。类的专家选择策略，我们要竞争，纯粹是由手头的具体应用程序，是左通用，这使得我们的广义算法适用于许多不同的问题。我们表明，我们的算法和它的性能界限，这是二阶，表示在平方损失的总和方面的损失序列是不需要的初步知识。我们的后悔界限在任意缩放和转换损失时是稳定的。
2020-09-09 cs.LG stat.ML
Adaptation to Easy Data in Prediction with Limited Advice
University of Copenhagen（哥本哈根大学）
我们推导出一个在线学习算法，改进的遗憾保证“容易”的损失序列。我们考虑两种类型的“容易”：（a）随机损失序列和（b）对抗性损失序列与小的有效范围的损失。虽然已经提出了许多算法来利用全信息设置中的小有效范围，但Gerchinovitz和Lattero [2016]已经证明了在强盗设置中损失的有效范围的遗憾缩放是不可能的。我们表明，每轮只需一个额外的观察就足以规避不可能的结果。所提出的二阶差分调整（SODA）算法不需要损失的有效范围$\varepsilon$的先验知识，并且实现了$O(\varepsilon \sqrt{KT \ln K}) + \tilde{O}(\varepsilon K \sqrt[4]{T})$期望后悔保证，其中$T$是时间范围，$K$是动作的数量。有效损失范围的缩放是在比Cesa-Bianchi和Shamir [2018]更弱的假设下实现的，这些假设是在早期尝试规避不可能结果时做出的。我们还提供了$Ω(\varepsilon\sqrt{T K})$的遗憾下界，它几乎匹配的上限。此外，我们表明，在随机设置SODA实现了$O\left(\sum_{a:Δ_a>0} \frac{K^3 \varepsilon^2}{Δ_a}\right)$伪遗憾界，同时举行的对抗性遗憾保证。换句话说，SODA是安全的，对一个不受限制的遗忘对手，并提供了改进的遗憾保证至少两种不同类型…
2019-08-27 cs.LG stat.ML
