Constant Regret, Generalized Mixability, and Mirror Descent
Research School of Computer Science（计算机科学研究学院）；Australian National University（澳大利亚国立大学）；DATA61（DATA61研究所）
我们考虑专家建议的预测设置;学习者通过汇总一组专家的预测来进行预测。在这种设置下，并且对于损失函数和“混合”算法的正确选择，学习器可以实现恒定的遗憾，而不管预测轮次的数量。例如，可以使用\emph{aggregating algorithm}来实现对\emph{mixable}损失的持续遗憾。\emph{Generalized Aggregating Algorithm}（GAA）是一个由单纯形（熵）上的凸函数参数化的算法族的名称，当使用\emph{Shannon entropy} $\operatorname{S}$时，它简化为聚合算法。对于一个给定的熵$Φ$，使用\textsc{GAA}可能不断后悔的损失被称为$Φ$ -可混合的。哪些损失是$Φ$ -可混合的，以前是一个悬而未决的问题。我们充分描述了$Φ$的可混合性，并回答了\cite{Reid2015}提出的其他开放性问题。我们表明，香农熵$\operatorname{S}$是基本的性质，当涉及到可混合性;任何$Φ$ -可混合的损失必然是$\operatorname{S}$ -可混合的，和最低的最坏情况下的遗憾的\textsc{GAA}实现使用香农熵。最后，利用\emph{mirror descent algorithm}和GAA更新步骤之间的联系，提出了一种新的\emph{adaptive}广义聚集算法，并从遗憾界的角度分析…
2018-10-31 cs.LG
No-Regret Caching via Online Mirror Descent
Inria（法国国家信息与自动化研究所）；Université Côte d’Azur（蔚蓝海岸大学）；Northeastern University（东北大学）
针对可分批更新且支持文件分片存储的在线缓存问题，本文基于 OMD 设计无遗憾策略，利用请求多样性比率刻画遗憾界与最优性，并提出保留遗憾保证且计算高效的随机舍入方案。
2023-06-06 cs.LG cs.NI cs.PF
Dynamic Regret of Online Mirror Descent for Relatively Smooth Convex Cost Functions
University of Toronto（多伦多大学）
在线凸优化算法在动态环境中的性能通常用动态后悔来表示，动态后悔度量决策者对一系列时变比较器的性能。在分析动态后悔问题时，以往的研究往往假设代价函数是Lipschitz连续或一致光滑的。然而，在实践中有许多重要的成本函数不满足这些条件。在这种情况下，先前的分析是不适用的，不能保证优化性能。在这封信中，我们表明，它是可能的约束的动态遗憾，即使没有Lipschitz连续性和一致光滑性。我们采用相对光滑的概念，相对于一些用户定义的正则化函数，这是一个更温和的要求的成本函数。我们首先表明，相对平滑下，动态后悔有一个上界的基础上的路径长度和功能的变化。然后，我们表明，与一个相对较强的凸性的附加条件，动态后悔可以有界的路径长度和梯度变化。这些遗憾的界限提供了性能保证各种各样的在线优化问题，出现在不同的应用领域。最后，我们提出了数值实验，证明了采用正则化函数的优势，在该函数下的成本函数是相对平滑的。
2022-02-25 cs.LG math.OC
A New Convergence Analysis of Plug-and-Play Proximal Gradient Descent Under Prior Mismatch
School of Mathematics, University of Birmingham（数学系，伯明翰大学）
本文在先验不匹配情况下提出了PnP-PGD的新收敛分析，去除了传统假设，证明了EPnP减少误差方差并收紧收敛界。
2026-01-28 cs.LG math.OC
Logarithmic Regret for Online Gradient Descent Beyond Strong Convexity
Technion - Israel Institute of Technology（以色列理工学院）
Hoffman的经典结果给出了一个关于一个点到一个凸紧多面体的距离的界，这个界是根据违反约束的大小而定的。最近，一些结果表明，霍夫曼的界限可以用来获得强凸状率的一阶方法的\textit{offline}凸优化曲线，但不是强凸，功能，在多面体集。在这项工作中，我们使用这个经典的结果，第一次获得更快的速度为\textit{online convex optimization}在多面体集弯曲凸，虽然不是强凸，损失函数。我们表明，在几个合理的假设下的数据，标准的\textit{Online Gradient Descent}算法保证对数遗憾。据我们所知，唯一以前的算法，以实现对数遗憾在所考虑的设置是\textit{Online Newton Step}算法，它需要二次（在维度）的内存和至少二次运行时间每次迭代，这大大限制了其适用于大规模的问题。特别是，我们的研究结果适用于\textit{semi-adversarial}设置，其中数据是任意（对抗）序列和随机序列的组合，这可能为许多真实世界的序列提供合理的近似，或者在自然假设数据是低秩的情况下。我们通过实验证明，遗憾的OGD确实是可比的ONS（甚至更好）弯曲，但不是强凸损失。
2019-02-18 cs.LG math.OC
Faster Game Solving via Predictive Blackwell Approachability: Connecting Regret Matching and Mirror Descent
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Strategic Machine, Inc.（Strategic Machine 公司）；Strategy Robot, Inc.（Strategy Robot 公司）；Optimized Markets, Inc.（Optimized Markets 公司）
布莱克威尔可接近性是一个推理具有向量值回报的重复博弈的框架。我们引入预测Blackwell可接近性，其中给出下一个回报向量的估计，并且决策者试图基于该估计的准确性来实现更好的性能。为了推导出实现预测Blackwell可接近性的算法，我们首先展示了四个著名算法之间的强大连接。跟随正则化领导者（FTRL）和在线镜像下降（OMD）是在线凸优化中最流行的后悔极小化算法。尽管这种流行，遗憾匹配（RM）和遗憾匹配+（RM+）算法已在解决大型游戏的实践中首选（作为反事实遗憾最小化框架内的局部遗憾最小化）。我们表明，RM和RM+是运行FTRL和OMD的结果，分别选择半空间，以迫使在任何时候在底层的Blackwell可接近性游戏的算法。通过将FTRL或OMD的预测变体应用于该连接，我们获得预测Blackwell可接近性算法，以及RM和RM+的预测变体。在18个常见的零和扩展形式的基准游戏的实验中，我们表明，预测RM+加上反事实遗憾最小化收敛速度远远快于最快的先验算法（CFR+，DCFR，LCFR）在所有的游戏，但两个扑克游戏，有时两个或更多的数量级。
2021-03-08 cs.AI cs.GT cs.LG
Proximal Regret and Proximal Correlated Equilibria: A New Tractable Solution Concept for Online Learning and Games
Yale University（耶鲁大学）；MIT CSAIL（麻省理工学院CSAIL）；University of Southern California（南加州大学）；University of Virginia（弗吉尼亚大学）
本文提出介于外部遗憾与交换遗憾之间的近端遗憾概念，证明经典在线梯度下降无需修改即可达到最优近端遗憾界，并据此定义近端相关均衡，统一并拓展了在线学习与博弈论中的多种均衡概念。
2025-11-05 cs.GT cs.LG
Lazy Online Gradient Descent is Universal on Polytopes
Trinity College Dublin（都柏林圣三一学院）
我们证明了常见的Lazy Online梯度下降算法在多面体域上是通用的。这意味着它得到了$O(1)$对i.i.d对手的伪遗憾，同时达到了众所周知的$O(\sqrt N)$最坏情况下的遗憾界限。为了比较的大部分文献集中在变种的对冲（指数权重）算法的单纯形。这些原则上可以提升到一般的多面体;然而，对于许多重要的类别，顶点的数量随着维度的增长而快速增长，这个过程在计算上是不可行的。提升过程也忽略了成本向量上的任何欧几里得界限，并且可以在伪遗憾界限中创建额外的维度因子。梯度下降比文献中的少数几个专门为多面体构建的算法更简单，并且适用于更广泛的环境。特别是现有的算法假设优化是唯一的，而我们的界限允许几个最佳顶点。
2022-08-31 cs.LG stat.ML
Analysis of Dual-Based PID Controllers through Convolutional Mirror Descent
Columbia Business School（哥伦比亚商学院）；Google Research（谷歌研究院）；The University of Chicago, Booth School of Business（芝加哥大学布斯商学院）
本文通过建立双闭环PID控制器与卷积镜像下降（CMD）算法的联系，首次为在线分配问题中的PID控制器提供了遗憾界，并给出了CMD在对抗性输入下的低遗憾充分条件及非光滑凸优化的首个遗憾界。
2023-12-19 cs.LG math.OC
Optimizing Regret
Risk AI Center（风险人工智能中心）
本文基于成本与决策协方差发展协方差遗憾泛函导数理论，推导线性策略梯度，扩展到约束优化等，得出通用最速下降方向，还给出收敛界及算法，应用于投资组合倾斜与大语言模型分配策略。
2026-07-31 cs.LG econ.EM stat.ML
Trading-Off Static and Dynamic Regret in Online Least-Squares and Beyond
University of Minnesota（明尼苏达大学）
递归最小二乘算法通常使用遗忘因子作为启发式算法来适应非平稳数据流。本文的第一个贡献是严格刻画了遗忘因子对一类在线牛顿算法的影响。对于指数凹和强凸目标，算法实现了$\max\{O(\log T),O(\sqrt{TV})\}$的动态后悔，其中$V$是比较序列路径长度的一个界.特别是，我们展示了如何经典的递归最小二乘遗忘因子实现这个动态的遗憾界。通过改变$V$，我们得到了静态和动态后悔之间的权衡。为了获得更高的计算效率的算法，我们的第二个贡献是一个新的梯度下降步长规则的强凸函数。我们的梯度下降规则恢复了上述顺序最优动态后悔界限。对于光滑问题，我们还可以得到$O(T^{1-β})$的静态遗憾和$O(T^βV^*)$的动态遗憾，其中$β\in (0,1)$和$V^*$是极小元序列的路径长度.通过改变$β$，我们得到了静态和动态后悔之间的权衡。
2019-11-21 cs.LG stat.ML
Non-convex online learning via algorithmic equivalence
Google AI Princeton（谷歌AI普林斯顿）；Princeton University（普林斯顿大学）
我们研究了非凸梯度下降和凸镜下降之间的算法等价技术。我们首先看一个更难的问题，在线非凸优化的遗憾最小化。我们表明，在一定的几何和光滑条件下，在线梯度下降适用于非凸函数是一个近似的在线镜像下降适用于凸函数下重新参数化。在连续时间中，这种重新参数化的梯度流被证明是完全等价于连续时间镜像下降的Amid和Warren 2020，但类似的离散时间算法的理论仍然是一个悬而未决的问题。我们证明了一个$O(T^{\frac{2}{3}})$遗憾界的非凸在线梯度下降在此设置，回答这个开放的问题。我们的分析是基于一个新的和简单的算法等效方法。
2022-10-12 cs.LG math.OC
Block-Norm Geometries for Online Mirror Descent with Sparse Losses
Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出通过组合镜像映射改进在线镜像下降的后悔保证，展示基于块范数的镜像映射在稀疏损失函数中取得多项式级别的后悔改进。
2026-09-14 cs.DS cs.LG math.OC
A Survey of Algorithms and Analysis for Adaptive Online Learning
Google, Inc.（谷歌公司）
我们提出的工具，用于分析以下的正则化领导者（FTRL），双平均，镜像下降算法时，正则化（相当于，学习函数或学习率调度）的数据的基础上自适应地选择。自适应性可以用来证明在每一轮上保持的遗憾界限，并且还允许像AdaGrad风格的算法中那样的数据依赖的遗憾界限（例如，具有自适应每坐标学习率的在线梯度下降）。我们目前的结果，从大量的以前的作品在一个统一的方式，使用模块化和严密的分析，隔离的关键参数，易于重用的引理。这种方法增强了前已知的FTRL分析技术，以产生与潜在函数或原始对偶分析所实现的边界一样紧的边界。此外，我们证明了一个任意的自适应镜像下降算法和相应的FTRL更新，这使我们能够分析任何镜像下降算法在同一框架之间的一般和精确的等价性。弥合双重平均和镜像下降算法之间差距的关键在于对FTRL-Proximal算法家族的分析。我们的遗憾界证明在最一般的形式，持有任意规范和非光滑正则化与时变权重。
2015-11-09 cs.LG
Dynamic Online Gradient Descent with Improved Query Complexity: A Theoretical Revisit
National University of Defense Technology（国防科技大学）；Dongguan University of Technology（东莞理工学院）
我们提供了一个新的理论分析框架来研究动态环境中的在线梯度下降。与以前的工作相比，新的框架恢复了最先进的动态遗憾，但不需要额外的梯度查询的每一个迭代。具体地说，当函数是$α$强凸和$β$光滑的，以实现最先进的动态遗憾，以前的工作需要$O(κ)$与$κ= \fracβα$查询的梯度在每次迭代。但是，我们的框架表明，查询的复杂性可以提高到$O(1)$，它不依赖于$κ$。这种改进对于病态问题是很有意义的，因为病态问题的目标函数通常具有很大的$κ$。
2019-01-08 cs.LG stat.ML
Adaptive and Efficient Algorithms for Tracking the Best Expert
National Key Laboratory for Novel Software Technology（Novel Software Technology国家重点实验室）；Nanjing University（南京大学）
在本文中，我们考虑在动态环境中的专家意见的预测问题。我们选择跟踪遗憾作为性能指标，并开发了两个自适应和有效的算法与数据相关的跟踪遗憾界。第一种算法实现了二阶跟踪遗憾界，改进了现有的一阶界。第二个算法享有的路径长度的界限，这通常是不可比的二阶界限，但在缓慢移动的环境中提供的优势。这两种算法都是在在线镜像下降框架下开发的，并从现有的算法中汲取灵感，获得静态遗憾的数据依赖性界限。其关键思想是在在线镜像下降的更新步骤中使用裁剪单纯形。最后，我们扩展我们的算法和分析，在线矩阵预测，并提供了第一个数据依赖的跟踪遗憾界这个问题。
2020-02-08 cs.LG stat.ML
The Relationship between No-Regret Learning and Online Conformal Prediction
University of Pennsylvania（宾夕法尼亚大学）
本文探究无悔学习与在线保形预测的关系，发现标准无悔保证在对抗环境或组条件覆盖场景下失效，证明阈值校准覆盖与交换无悔的紧密联系，且跟随扰动领导者家族算法可提供组条件覆盖保证，还分析实验了ACI算法的多组泛化版本。
2025-02-16 cs.GT cs.LG stat.ML
Improved Optimistic Mirror Descent for Sparsity and Curvature
Australian National University（澳大利亚国立大学）；Data61
在线凸优化在大规模机器学习中起着关键作用。早期对这一问题的处理是保守的，主要重点是防范最坏的情况。但最近已经开发了几种算法，用于收紧简单数据实例（如稀疏性、可预测序列和曲线损失）中的遗憾界限。在这项工作中，我们统一了一些现有的技术，以获得新的更新规则的情况下，这些简单的实例一起发生。首先，我们分析了一个自适应和乐观的更新规则，实现更严格的遗憾界时，损失序列是稀疏和可预测的。然后，我们解释了一个更新规则，动态地适应曲率的损失函数，并利用可预测的性质损失序列以及。最后，我们将这些结果扩展到复合损失。
2016-09-08 cs.LG
Last iterate convergence in no-regret learning: constrained min-max optimization for convex-concave landscapes
UT Austin（得克萨斯大学）；SUTD（新加坡科技设计大学）
本文证明遵循无悔在线学习框架的 OMWU 在凸-凹零和博弈中具有局部最后迭代收敛性，将既有双线性情形结果推广至更一般凸-凹景观，并通过实验验证其快速收敛。
2025-09-27 cs.GT cs.LG stat.ML
Alternating Mirror Descent for Constrained Min-Max Games
Yale University（耶鲁大学）；Georgia Institute of Technology（佐治亚理工学院）；Singapore University of Technology and Design（新加坡科技设计大学）
本文研究策略空间受限的两人双线性零和对策。这种约束的自然发生的一个实例是当使用混合策略时，其对应于概率单纯形约束。我们提出并分析了交替镜像下降算法，其中每个球员轮流采取行动后，镜像下降算法的约束优化。我们解释交替镜像下降作为一个交替离散的斜梯度流的对偶空间，并使用凸优化和修改的能量函数的工具，建立一个$O(K^{-2/3})$界后，$K$迭代的平均遗憾。这定量地验证了该算法的更好的行为比镜像下降算法的同时版本，这是已知的发散，并产生一个$O(K^{-1/2})$平均遗憾界。在无约束的特殊情况下，我们的结果恢复了零和博弈的交替梯度下降算法的行为（Bailey et al.，COLT 2020）。
2022-06-08 cs.GT cs.LG math.DS
A Generalized Online Mirror Descent with Applications to Classification and Regression
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；The Technion（以色列理工学院）；Università degli Studi di Milano（米兰大学）
在线学习算法速度快，内存效率高，易于实现，适用于许多预测问题，包括分类，回归和排名。在过去的几十年里，提出了几种在线算法，一些基于加法更新，如Perceptron，一些基于乘法更新，如Winnow。在线镜像下降提供了在线算法的设计和分析的统一观点，这是一种通用的预测策略，大多数一阶算法可以作为特例获得。我们将在线镜像下降推广到具有通用更新的时变正则化器。与标准的镜像下降，我们更一般的配方也捕获二阶算法，复合损耗算法和自适应滤波算法。此外，我们恢复，有时改善，已知的遗憾界作为我们的分析使用特定的正则化的特殊情况。最后，我们通过推导出一个新的二阶算法的遗憾界不变量相对于任意重新缩放的个人功能，我们的方法的力量。
2014-07-14 cs.LG
Smoothed Online Convex Optimization in High Dimensions via Online Balanced Descent
Institute of High Performance Computing（高性能计算研究所）；California Institute of Technology（加州理工学院）
我们研究平滑在线凸优化，在线凸优化的一个版本，学习者在两轮之间改变她的动作会受到惩罚。给定任何在线算法的竞争比的$Ω(\sqrt{d})$下界，其中$d$是动作空间的维数，我们问在什么条件下这个界可以被击败。我们引入了一种新的算法框架，在线平衡下降（OBD），它的工作原理是通过迭代投影到一个精心选择的水平集的当前成本函数，以平衡切换成本和命中成本的前一点。我们证明了OBD框架的一般性，通过展示如何，不同的选择“平衡”，OBD可以提高国家的最先进的性能保证竞争比和遗憾，特别是，OBD是第一个算法，以实现无量纲的竞争比，$3 + O(1/α)$，局部多面体的成本，其中$α$措施的“陡度”的成本。我们还证明了边界上的OBD的动态遗憾时，进行平衡的对偶空间是无量纲的，并意味着OBD有次线性静态遗憾。
2018-07-08 cs.DS cs.LG stat.ML
Logarithmic Regret for Online Control
Google AI Princeton（谷歌AI普林斯顿）；Princeton University（普林斯顿大学）
在转移动力学的基础上，研究了线性动力系统在逆变强凸代价函数下的最优后悔界。这包括几个良好的研究和基本框架，如卡尔曼滤波器和线性二次调节器。现有技术的方法实现了按$O(\sqrt{T})$缩放的后悔，其中$T$是时间范围。我们发现，在这种情况下，最佳遗憾可以显着较小，缩放为$O(\text{poly}(\log T))$。通过两种不同的有效迭代法，在线梯度下降和在线自然梯度来实现该遗憾界。
2019-09-11 cs.LG math.OC stat.ML
Dynamic Regret Analysis of Safe Distributed Online Optimization for Convex and Non-convex Problems
Northeastern University（东北大学）；Texas A&M University（得克萨斯农工大学）
本文讨论了一组未知的线性安全约束的安全分布式在线优化。代理网络的目标是共同最小化一个全球性的，时变的功能，这是只有部分观察到每个单独的代理。因此，代理人必须从事本地通信，以产生一个安全的行动序列与最佳的最小化序列在事后的竞争力，和两个序列之间的差距是通过量化的动态遗憾。我们提出了分布式安全在线梯度下降（D-Safe-OGD）与探索阶段，其中所有的代理估计约束参数协作建立估计可行集，确保在优化阶段的行动选择的安全性。我们证明了对于凸函数，D-Safe-OGD实现了$O(T^{2/3} \sqrt{\log T} + T^{1/3}C_T^*)$的动态遗憾界，其中$C_T^*$表示最佳极小序列的路径长度。我们进一步证明了$O(T^{2/3} \sqrt{\log T} + T^{2/3}C_T^*)$对某些非凸问题的动态遗憾界，这建立了一个安全的分布式算法在非凸设置的第一个动态遗憾界。
2023-02-23 cs.LG cs.SY eess.SY
Stochastic Gradient Descent on a Tree: an Adaptive and Robust Approach to Stochastic Convex Optimization
Cornell University（康奈尔大学）
在线最小化的一个未知的凸函数的间隔$[0,1]$被认为是在一阶随机强盗反馈，返回一个随机实现的梯度的功能在每个查询点。在不知道随机梯度的分布的情况下，学习算法顺序地选择查询点，其目标是最小化遗憾，该遗憾被定义为在查询点处的函数值的预期累积损失超过函数的最小值。基于设计一个有偏的随机游动的无限深度的二叉树通过连续分区的功能的域的基础上开发的方法。随机游动的每次移动都由基于使用重对数律构造的经验平均值的置信界限的序贯检验指导。该学习算法无需调整参数，对具有无穷大方差的重尾噪声具有鲁棒性，对未知函数特性（凸、强凸、非光滑）具有自适应性。它实现了相应的最佳遗憾订单（高达$\sqrt{\log T}$或$\log\log T$因素）在每一类的功能，并提供更好的或匹配的遗憾订单比经典的随机梯度下降方法，需要的知识的功能特性调整序列的步长。
2020-02-20 cs.LG math.OC stat.ML
Generalised Mixability, Constant Regret, and Bayesian Updating
The Australian National University（澳大利亚国立大学）；NICTA（澳大利亚国家信息与通信技术研究院）；Microsoft Research（微软研究院）
当通过使用Vovk的聚合算法在具有专家建议的预测游戏中可以实现恒定的后悔界限时，损失的可混合性是已知的。我们提供了一个新的解释，通过凸分析，突出了Kullback-Leibler分歧在其定义中的作用。这自然地推广到我们称之为$Φ$的混合性，其中Bregman分歧$D_Φ$取代KL分歧。我们证明，损失是$Φ$ -混合也享有恒定的遗憾界通过一个广义的聚合算法，是类似于镜像下降。
2014-03-10 cs.LG stat.ML
Robust No-Regret Learning in Min-Max Stackelberg Games
Brown University（布朗大学）；Pomona College（波莫纳学院）
无遗憾学习算法的行为在两个玩家的最小-最大（即零和）游戏中得到了很好的理解。本文研究了具有依赖策略集的最小-最大博弈中的无悔学习行为，其中第一个局中人的策略约束第二个局中人的行为。这种游戏最好理解为顺序游戏，即，最小最大Stackelberg，游戏。我们考虑两种设置，一种是只有第一个玩家使用无遗憾算法选择他们的行动，而第二个玩家最好的反应，另一种是两个玩家都使用无遗憾算法。对于前一种情况下，我们表明，无悔动力学收敛到Stackelberg均衡。对于后者的情况下，我们引入了一种新的类型的遗憾，我们称之为拉格朗日遗憾，并表明，如果双方球员最大限度地减少他们的拉格朗日遗憾，然后发挥收敛到Stackelberg均衡。然后，我们观察到这两种设置中的在线镜像下降（OMD）动态分别对应于已知的嵌套（即，顺序）梯度下降-上升（GDA）算法和一个新的同步GDA类算法，从而建立这些算法的收敛到Stackelberg平衡。最后，我们分析了OMD动态的鲁棒性扰动调查在线最小-最大Stackelberg游戏。我们证明了OMD动力学是强大的一个大类的在线最小最大游戏独立的策略集。在依赖的情况下，我们证明了OMD动态的鲁棒性实验模拟他们在网上费舍尔市场，一个典型的例子，一个最小-最大的Stackelberg游戏依赖的策略集。
2022-04-13 cs.GT cs.LG econ.TH
Accelerated Randomized Coordinate Descent Algorithms for Stochastic Optimization and Online Learning
Indian Institute of Science（印度科学学院）
我们提出了加速随机坐标下降算法的随机优化和在线学习。我们的算法有显着减少每迭代的复杂性比已知的加速梯度算法。所提出的在线学习算法具有更好的后悔性能比已知的随机在线坐标下降算法。此外，所提出的随机优化算法表现出良好的收敛速度，最有名的随机坐标下降算法。我们还展示了仿真结果来证明所提出的算法的性能。
2018-07-16 cs.LG stat.ML
Online convex optimization in the bandit setting: gradient descent without a gradient
我们考虑了Zinkevich提出的一般在线凸优化框架。在这种情况下，存在一系列凸函数。每一个周期，我们必须选择一个单点（从一些可行的集合），并支付成本等于我们选择的点上的下一个函数的值。Zinkevich表明，如果每个功能都是在做出选择后才显示的，那么相对于事后选择的最佳单一决策，人们可以获得微不足道的遗憾。我们将其扩展到bandit设置，在该设置中，我们不找出整个函数，而是仅找出它们在我们所选点处的值。我们将展示如何在这种情况下获得消失的小遗憾。我们的方法使用了一个简单的近似梯度，该近似梯度是通过在单个（随机）点处评估函数来计算的。我们表明，这种估计是足够的模仿Zinkevich的梯度下降在线分析，与访问的梯度（只能在一个单一的点评估功能）。
2004-08-02 cs.CC cs.LG
In-Context Learning for Data-Driven Censored Inventory Control
Julius-Maximilians-Universität Würzburg（乌尔姆-马克斯·普朗克大学）；Zaragoza Logistics Center（萨拉戈萨物流中心）；National University of Singapore（新加坡国立大学）
本文提出ICGPS方法，结合生成模型与上下文自回归生成，通过学习潜在需求完成来解决决策依赖的censored新svendor问题，理论证明其贝叶斯遗憾可被控制，并在实际应用中表现优异。
2026-05-14 cs.LG math.OC stat.ML
A regret minimization approach to fixed-point iterations
提出将遗憾最小化算法转换为固定点迭代的通用方案，推广了Krasnoselskii--Mann迭代，并基于AdaGrad获得自适应迭代，实验显示收敛更快。
2026-09-21 cs.LG cs.NA math.NA
Variance Reduced Online Gradient Descent for Kernelized Pairwise Learning with Limited Memory
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对核化在线成对学习，提出有限内存方差缩减OGD算法，利用分层样本和随机傅里叶特征降低梯度方差，实现改进的次线性遗憾，实验验证其优越性。
2023-10-10 cs.LG
Quantum Algorithm for Sparse Online Learning with Truncated Gradient Descent
University of Latvia（拉脱维亚大学）；National University of Singapore（新加坡国立大学）；University of Edinburgh（爱丁堡大学）
本文基于截断梯度下降方法，为逻辑回归、SVM和最小二乘开发量子稀疏在线学习算法，实现维度上的二次加速并保持最优遗憾界。
2024-11-06 cs.LG quant-ph
Regret Analysis for Continuous Dueling Bandit
Center for Advanced Intelligence Project（高级智能研究中心）；RIKEN（理化学研究所）
决斗强盗是一种学习框架，其中学习过程中的反馈信息被限制为一对动作之间的噪声比较。在这项研究中，我们解决了一个基于连续空间上的成本函数的决斗强盗问题。我们提出了一个随机镜像下降算法，并表明该算法实现了$O(\sqrt{T\log T})$ -遗憾界下的强凸性和光滑性的假设的成本函数。随后，我们阐明了决斗强盗中的后悔极小化与成本函数的凸优化之间的等价性。此外，当考虑凸优化问题的一个下界时，我们的算法在凸优化问题上具有最优收敛速度，在决斗强盗问题上具有最优后悔率，但不考虑对数因子.
2017-12-12 cs.LG stat.ML
Distributionally Time-Varying Online Stochastic Optimization under Polyak-Łojasiewicz Condition with Application in Conditional Value-at-Risk Statistical Learning
The Australian National University（澳大利亚国立大学）；The University of Melbourne（墨尔本大学）
本文在 Polyak-Łojasiewicz 条件下研究分布时变的在线随机优化问题，利用 Wasserstein 距离度量分布漂移，建立在线随机梯度下降及近端梯度下降的动态遗憾界，并将其应用于条件风险价值统计学习问题。
2023-09-18 cs.LG math.OC
Optimistic Online Mirror Descent for Bridging Stochastic and Adversarial Online Convex Optimization
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；The University of Tokyo（东京大学）；Paradigm Inc.（第四范式公司）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
该论文研究SEA模型下乐观在线镜像下降（OMD）的遗憾界，在凸、强凸和指数凹光滑函数下分别获得与FTRL相当或更优的静态遗憾界，并首次给出动态遗憾保证，同时提出处理非光滑函数的隐式更新算法。
2024-03-16 cs.LG stat.ML
Regret Analysis of Distributed Online LQR Control for Unknown LTI Systems
Northeastern University（东北大学）
在线优化最近开辟了途径，研究最优控制的时变费用函数是事先未知的。受此启发，我们研究了动态未知的线性时不变（LTI）系统的分布式在线线性二次型调节器（LQR）问题。考虑一个多智能体网络，其中每个智能体都被建模为一个LTI系统。该网络具有全局时变二次成本，可以逆向演化，并且每个代理只能部分地顺序观察。该网络的目标是共同（i）估计未知的动态和（ii）计算本地控制序列竞争的最佳集中式政策在事后，这最小化网络成本随时间的总和。这个问题被公式化为后悔最小化。我们提出了一个分布式的在线LQR算法的变体，代理计算他们的系统估计在探索阶段。然后，每个代理应用分布式在线梯度下降的半定规划（SDP）的可行集是基于代理系统的估计。我们证明了我们提出的算法的遗憾界的比例为$O(T^{2/3}\log T)$，这意味着随着时间的推移，所有代理的共识的概率很高。我们还提供了仿真结果验证我们的理论保证。
2022-02-06 cs.LG cs.SY eess.SY
Matrix-Free Preconditioning in Online Learning
Google Research（谷歌研究院）
我们提供了一个在线凸优化算法的遗憾，插值之间的遗憾，使用最佳的预处理矩阵和一个使用对角预处理矩阵的算法。我们的遗憾界永远不会比对角预处理得到的遗憾界更差，在某些情况下甚至超过了全矩阵预处理算法。重要的是，我们的算法运行在相同的时间和空间复杂度的在线梯度下降。一路上，我们采用新的技术，温和地精简和改善对数因素在以前的遗憾分析。最后，我们对我们的算法进行了合成数据和深度学习任务的基准测试。
2019-05-29 cs.LG math.OC stat.ML
Provable Regret Bounds for Deep Online Learning and Control
Google AI Princeton（谷歌AI普林斯顿）；Princeton University（普林斯顿大学）
深度学习的理论几乎完全集中在监督学习、使用随机梯度下降的非凸优化和过度参数化的神经网络上。人们普遍认为，优化器动态、网络架构、初始化过程和其他因素联系在一起，是其成功的所有组成部分。这为分析基于状态和/或在线深度学习提出了理论挑战。受控制应用的启发，我们给出了从深度学习到在线凸优化的一般黑箱约简。这使我们能够解耦优化，遗憾，表达能力，并为具有ReLU激活的完全连接的深度神经网络获得不可知的在线学习保证。我们量化的收敛性和遗憾的保证，任何范围内的参数，并允许任何优化程序，如自适应梯度方法和二阶方法。作为一个应用程序，我们推导出可证明的算法在在线情节设置的深度控制。
2022-02-16 cs.LG
Variants of RMSProp and Adagrad with Logarithmic Regret Bounds
Saarland University（萨尔大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
自适应梯度方法最近已经变得非常流行，特别是因为它们已经被证明在深度神经网络的训练中是有用的。在本文中，我们在在线凸优化的背景下分析了最初用于训练深度神经网络的RMSProp，并显示了$\sqrt{T}$型遗憾边界。此外，我们提出了两个变种SC-Adagrad和SC-RMSProp，我们显示对数遗憾界强凸函数。最后，我们在实验中证明，这些新的变体在强凸函数的优化以及深度神经网络的训练中优于其他自适应梯度技术或随机梯度下降。
2017-11-28 cs.AI cs.CV cs.LG
Optimistic Regret Minimization for Extensive-Form Games via Dilated Distance-Generating Functions
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Strategic Machine, Inc.（Strategic Machine公司）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）
我们研究了乐观的遗憾最小化算法的性能，最小化遗憾，计算纳什均衡，零和扩展形式的游戏。为了将这些算法应用于扩展形式的游戏，需要一个距离生成函数。我们研究了扩张熵和扩张欧氏距离函数的使用。对于扩张的欧氏距离函数，我们证明了一般树丛的强凸性参数的第一个显式界。此外，我们表明，使用扩张的距离生成函数，使我们能够分解的镜像下降算法，其乐观的变体，到本地镜像下降算法在每个信息集。这种分解反映了反事实遗憾最小化框架的结构，并使重要的技术在实践中，如分布式更新和修剪冷部分的游戏树。我们的算法可证明收敛速度为$T^{-1}$，这是优于以前的反事实遗憾最小化算法。我们实验比较流行的算法CFR+，它具有$T^{-0.5}$的理论收敛速度在理论上，但已知的是经常收敛速度$T^{-1}$，或更好，在实践中。我们给出了一个矩阵游戏的例子，CFR+实验收敛速度相对较慢的$T^{-0.74}$，而我们的乐观方法收敛速度比$T^{-1}$。我们继续表明，我们的快速率也持有库恩扑克游戏，这是一个广泛的形式的游戏。然而，对于游戏树更深的游戏，我们发现CFR+仍然更快。最后，我们表明，当目标是最大限度地减少遗憾，而不是计算一个纳什均衡，我们的乐观的方法可以优于CFR+，即使在深游戏树。
2019-10-28 cs.GT cs.LG math.OC
Dynamical Models and Tracking Regret in Online Convex Programming
Duke University（杜克大学）
本文介绍了一种新的在线凸优化方法，它结合了一个家庭的候选动力学模型，并建立了新的跟踪遗憾界的规模与比较器的偏差，在这个家庭中的最佳动力学模型。先前的在线优化方法被设计为具有与最佳比较器序列的总累积损失相当的总累积损失，并且现有的跟踪或移位遗憾界限随着比较器序列的总体变化而缩放。然而，在许多实际情况下，环境是非平稳的，并且具有小变化的比较器序列是相当弱的，从而导致大的损失。相比之下，所提出的动态镜像下降方法可以通过跟踪最佳动态模型并基于该模型形成预测来产生相对于高度可变的比较器序列的低遗憾。这一概念在动态场景的连续压缩观察和跟踪动态社交网络的背景下实证。
2013-01-07 cs.LG stat.ML
Online Self-Concordant and Relatively Smooth Minimization, With Applications to Online Portfolio Selection and Learning Quantum States
National Taiwan University（台湾大学）；Hon Hai (Foxconn) Quantum Computing Centre（鸿海（富士康）量子计算中心）；National Center for Theoretical Sciences（台湾理论科学中心）
本文研究自和谐且相对光滑的在线凸优化，统一分析了在线镜像下降的遗憾界，并据此改进了在线投资组合选择中指数梯度变体的遗憾界，同时为在线量子态学习给出了每次迭代更快的算法。
2023-09-21 cs.LG math.OC q-fin.PM
Efficient Online Learning of Optimal Rankings: Dimensionality Reduction via Gradient Descent
National Technical University of Athens（雅典国立技术大学）；Singapore University of Technology and Design（新加坡科技设计大学）
我们认为一个自然的模型，在线偏好聚合，其中首选项目集$R_1, R_2, \ldots, R_t$以及在每个$R_t$的$k_t$项目的需求，出现在网上。在没有$(R_t, k_t)$的先验知识的情况下，学习者保持排名$π_t$，目的是来自$R_t$的至少$k_t$项在$π_t$中出现高。这是偏好聚合中的一个基本问题，基于用户滚动和点击模式来对网页中的产品或新闻项进行排序。广泛研究的广义最小和集覆盖（GMSSC）问题作为上述设置的形式化模型。GMSSC是NP难的，并且无悔在线学习算法的标准应用在计算上是低效的，因为它们在排名空间中操作。在这项工作中，我们展示了如何实现低遗憾的GMSSC在多项式时间。我们采用降维排名的双随机矩阵的空间，在那里我们应用在线梯度下降。一个关键的步骤是显示如何子梯度可以有效地计算，通过解决对偶的配置LP。使用不经意的确定性和随机舍入方案，我们将双随机矩阵映射回排名，在GMSSC目标中损失较小。
2020-11-05 cs.LG
Convergence Analyses of Online ADAM Algorithm in Convex Setting and Two-Layer ReLU Neural Network
Northwestern University（西北大学）
如今，在线学习是一种吸引人的学习范式，由于最近出现的大规模应用，如在线广告投放和在线网络排名，这在实践中引起了极大的兴趣。标准的在线学习假设有限数量的样本，而在实践中，数据是无限流的。在这样的设置中，具有递减的学习率的梯度下降不起作用。我们首先介绍了滚动窗口的遗憾，这是一种新的在线流学习性能指标，它测量算法在每个固定数量的连续样本上的性能。在同一时间，我们提出了一个家庭的算法的基础上梯度下降与恒定或自适应学习率，并提供非常技术性的分析，建立遗憾的边界属性的算法。我们覆盖了凸设置，显示了在恒定和动态学习率场景中窗口大小的平方根的顺序的遗憾。我们的证明也适用于标准的在线设置，我们提供了相同的后悔订单的第一次分析（以前的证明有缺陷）。我们还研究了具有ReLU激活的两层神经网络设置。在这种情况下，我们建立，如果初始权重接近一个稳定点，相同的平方根遗憾界是可达到的。我们进行计算实验证明了所提出的算法的优越性能。
2019-11-26 cs.DS cs.LG stat.ML
A Spectral Filtering Approach to Regret Analysis of Distributed Online Control for Linear Dynamical Systems
National Cheng Kung University（成功大学）
本文将在线谱控制框架拓展至分布式场景，通过基于Hankel矩阵前导特征向量的谱控制器与分布式在线梯度下降更新，为线性时不变系统分布式在线控制建立了含稳定裕度、网络特性的次线性悔界。
2026-08-04 cs.LG cs.SY eess.SY
Online Optimization in Dynamic Environments: Improved Regret Rates for Strongly Convex Problems
University of Pennsylvania（宾夕法尼亚大学）；Harvard University（哈佛大学）
在本文中，我们解决跟踪的时变参数与未知的动态。我们正式的问题作为一个实例，在一个动态的设置在线优化。使用在线梯度下降，我们提出了一种方法，顺序预测的参数值，反过来又遭受损失。其目标是尽量减少在一段时间内累积的损失，这一概念被称为动态后悔。虽然现有的方法集中在凸损失函数，我们认为强凸函数，以便提供更好的性能保证。我们得到一个遗憾的界限，捕获的路径长度的时变参数，定义在其连续值之间的距离。换句话说，边界表示跟踪质量与参数变化率的自然联系。我们提供数值实验来补充我们的理论研究结果。
2016-03-16 cs.LG math.OC
Temporal Variability in Implicit Online Learning
Università di Milano（米兰大学）；Boston University（波士顿大学）
在在线学习的背景下，隐式算法从实用的角度来看是非常成功的。然而，最严格的遗憾分析只显示了在线镜像下降的边际改善。在这项工作中，我们揭示了这种行为进行了仔细的遗憾分析。我们证明了一个新的静态遗憾界，依赖于时间的变化序列的损失函数，一个数量，这是经常遇到的考虑动态竞争对手。例如，我们表明，如果时间变异性是恒定的，并且学习率被适当地调整，而不需要平滑损失，则后悔可以是恒定的。此外，我们提出了一个自适应算法，实现了这个遗憾界的时间变化性的先验知识，并证明了一个匹配的下限。最后，我们在分类和回归数据集上验证了我们的理论发现。
2020-11-06 cs.LG stat.ML
Online mirror descent and dual averaging: keeping pace in the dynamic case
University of British Columbia（不列颠哥伦比亚大学）
在线镜像下降（OMD）和双平均（DA）-在线凸优化的两个基本算法-被称为具有非常相似（有时相同）的性能保证时，使用固定的学习率。然而，在动态学习率下，OMD被证明不如DA，并且即使在诸如专家建议的预测之类的常见设置中也会遭受线性遗憾。我们修改OMD算法通过一个简单的技术，我们称之为稳定。我们给基本上相同的抽象的遗憾界OMD稳定和DA通过修改经典的OMD收敛性分析，在一个仔细的和模块化的方式，允许直接和灵活的证明。这些界限的简单推论表明，具有稳定性的OMD和DA在许多应用中享有相同的性能保证-即使在动态学习率下。我们还阐明了OMD和DA之间的相似性，并显示了简单的条件下，稳定的OMD和DA产生相同的迭代。
2021-09-03 cs.LG math.OC stat.ML
Improved Analysis for Dynamic Regret of Strongly Convex and Smooth Functions
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
本文对强凸光滑函数的动态后悔问题提出了一种改进的分析方法。具体来说，我们研究了Zhang et al.（2017）提出的在线多梯度下降（OMGD）算法。原始的分析表明，OMGD的动态遗憾最多是$\mathcal{O}(\min\{\mathcal{P}_T,\mathcal{S}_T\})$，其中$\mathcal{P}_T$和$\mathcal{S}_T$是路径长度和平方路径长度，测量的在线功能的最小值的累积移动。我们证明，通过改进的分析，OMGD的动态遗憾可以改进为$\mathcal{O}(\min\{\mathcal{P}_T,\mathcal{S}_T,\mathcal{V}_T\})$，其中$\mathcal{V}_T$是在线函数的函数变化。请注意，$\mathcal{P}_T, \mathcal{S}_T, \mathcal{V}_T$的数量本质上反映了环境非平稳性的不同方面--它们通常不具有可比性，并且在不同的情况下更受欢迎。因此，本文提出的动态后悔实际上实现了\emph{best-of-three-worlds}保证，并且比以前的结果严格。
2021-04-14 cs.LG stat.ML
Regret Bounds without Lipschitz Continuity: Online Learning with Relative-Lipschitz Losses
University of British Columbia（不列颠哥伦比亚大学）；Amii（阿尔伯塔机器智能研究所）
在线凸优化（OCO）中，通常假设函数的Lipschitz连续性以获得次线性遗憾。而且，当这些函数也是强凸函数时，许多算法只有对数遗憾。近年来，凸优化领域的研究者提出了“相对Lipschitz连续性”和“相对强凸性”的概念。这两个概念都是经典概念的推广。它已被证明，次梯度方法在相对设置具有类似于他们的性能在经典设置的性能。在这项工作中，我们考虑OCO相对Lipschitz和相对强凸函数。我们扩展了经典OCO算法的遗憾界的相对设置。具体来说，我们显示遗憾的界限遵循正规化的领导者算法和在线镜像下降的一个变体。由于这些方法的通用性，这些结果产生各种各样的OCO算法的遗憾界。此外，我们进一步扩展的结果与额外的正则化算法，如正则化双平均。
2020-12-28 cs.LG math.OC
Convergence to Nash Equilibrium and No-regret Guarantee in (Markov) Potential Games
Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Waterloo（滑铁卢大学）
针对随机成本与赌博机反馈下的势博弈及马尔可夫势博弈，提出带充分探索和递归梯度估计的 Frank-Wolfe 变体，实现纳什均衡收敛、次线性遗憾，并将马尔可夫情形的纳什遗憾改进至 O(T^{4/5})。
2024-04-04 cs.GT cs.LG
Online Learning for Structured Loss Spaces
Indian Institute of Science（印度科学理工学院）
我们考虑预测专家的意见时，损失向量被假定为位于一个原子规范球的总和所描述的集合。我们得到一个遗憾的约束的一般版本的在线镜像下降（OMD）算法，使用正则化的组合，每个适应的组成原子规范。一般的结果恢复标准OMD遗憾界，并产生遗憾界的新结构化设置的损失向量是（i）噪声版本的点从一个低秩子空间，（ii）稀疏向量损坏的噪声，和（iii）稀疏扰动的低秩向量。对于具有结构化损失的在线学习问题，我们还显示了损失向量的源集的秩和稀疏性方面的遗憾下界，这也意味着上述附加损失设置的下界。
2017-11-12 cs.LG
Online Learning on Hidden-Convex Losses via Algorithmic Equivalence: Optimal Regret, Geometric Barrier, and Bandit Feedback
Singapore University of Technology and Design（新加坡科技设计大学）；National Technical University of Athens（雅典国家技术大学）；National and Kapodistrian University of Athens（雅典国家与卡多斯大学）；University of California, Irvine（加州大学 Irvine 分校）；Archimedes, Athena Research Center, Greece（希腊阿提卡研究中心 Archimedes）；National University of Singapore, Centre for Quantum Technologies（新加坡国立大学 量子技术中心）
本文通过更精确的离散时间算法等价性论证，证明在线梯度下降在隐凸损失上达到最优的$\mathcal{O}(\sqrt{T})$遗憾，并澄清了所需几何条件，同时扩展到单点Bandit反馈得到$\mathcal{O}(T^{3/4})$期望遗憾。
2026-05-25 cs.LG math.OC stat.ML
