Contextual Bandits with Smooth Regret: Efficient Learning in Continuous Action Spaces
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
设计有效的通用上下文强盗算法，与大-甚至连续-动作空间将有助于应用到重要的场景，如信息检索，推荐系统和连续控制。虽然获得标准的遗憾保证可能是无望的，但已经提出了替代遗憾概念来解决大动作设置。我们提出了一个顺利的遗憾的概念，上下文土匪，占主导地位的先前提出的替代品。我们设计了一个统计和计算效率高的算法-建议顺利遗憾-工程与一般函数近似下的标准监督神谕。我们还提出了一个自适应算法，自动适应任何平滑度。我们的算法可以用来恢复以前的最小最大/帕累托最优保证下的标准遗憾，例如，在多个最佳武器的强盗问题和Lipschitz/H{<$}lder强盗问题中。我们进行大规模的实证评估，证明我们提出的算法的有效性。
2022-07-12 cs.LG stat.ML
Optimistic and Adaptive Lagrangian Hedging
Borealis AI
在在线学习中，算法在每一轮都要与一个可能被对手挑选出损失的环境进行博弈。这个框架的一般性包括非对抗性的问题，例如离线优化或鞍点问题（即最小最大优化）。然而，在线算法通常不会被设计成利用非对抗性问题中存在的额外结构。最近，对众所周知的在线算法（如乐观和自适应步长）的轻微修改已用于多个领域以加速在线学习-在离线平滑优化中恢复最佳速率，并在平滑游戏中加速收敛到鞍点或社会福利。在这项工作中，我们引入乐观和自适应步长拉格朗日对冲，一类在线算法，包括遗憾匹配，对冲（即乘法权重）。我们的成果包括：一般的一般遗憾界限;固定平滑损失的路径长度遗憾界限，适用于遗憾匹配和遗憾匹配+的乐观变体; $Φ$遗憾的乐观遗憾界限，包括外部、内部和交换遗憾的框架;以及包括遗憾匹配+作为特殊情况的算法族的乐观界限。
2021-02-03 cs.LG
Dynamic Regret of Online Mirror Descent for Relatively Smooth Convex Cost Functions
University of Toronto（多伦多大学）
在线凸优化算法在动态环境中的性能通常用动态后悔来表示，动态后悔度量决策者对一系列时变比较器的性能。在分析动态后悔问题时，以往的研究往往假设代价函数是Lipschitz连续或一致光滑的。然而，在实践中有许多重要的成本函数不满足这些条件。在这种情况下，先前的分析是不适用的，不能保证优化性能。在这封信中，我们表明，它是可能的约束的动态遗憾，即使没有Lipschitz连续性和一致光滑性。我们采用相对光滑的概念，相对于一些用户定义的正则化函数，这是一个更温和的要求的成本函数。我们首先表明，相对平滑下，动态后悔有一个上界的基础上的路径长度和功能的变化。然后，我们表明，与一个相对较强的凸性的附加条件，动态后悔可以有界的路径长度和梯度变化。这些遗憾的界限提供了性能保证各种各样的在线优化问题，出现在不同的应用领域。最后，我们提出了数值实验，证明了采用正则化函数的优势，在该函数下的成本函数是相对平滑的。
2022-02-25 cs.LG math.OC
Establishing Linear Surrogate Regret Bounds for Convex Smooth Losses via Convolutional Fenchel-Young Losses
College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；The Institute of Statistical Mathematics（统计数学研究所）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Skywork AI
本文提出通过卷积Fenchel-Young损失构建凸光滑替代损失，以实现线性替代遗憾界，从而解决凸光滑损失与线性遗憾界之间的权衡问题。
2025-11-26 cs.LG stat.ML
Dynamic Regret of Convex and Smooth Functions
Nanjing University（南京大学）
我们研究了非平稳环境中的在线凸优化问题，并选择动态遗憾作为性能度量，定义为在线算法所产生的累积损失与任何可行比较器序列之间的差异。令$T$为时间范围，$P_T$为本质上反映环境非平稳性的路径长度，最先进的动态遗憾是$\mathcal{O}(\sqrt{T(1+P_T)})$。虽然这个界被证明是最小最大最优凸函数，在本文中，我们证明了它是可能的，以进一步提高动态遗憾利用光滑条件。具体而言，我们提出了新的在线算法，能够利用平滑度和取代依赖于$T$的动态遗憾的问题相关的数量：梯度的变化的损失函数，比较器序列的累积损失，和最小的前两项。这些量至多为$\mathcal{O}(T)$，而在良性环境中可能小得多。因此，我们的结果是自适应的内在困难的问题，因为边界比现有的结果更严格的简单的问题，同时保证在最坏的情况下相同的速度。
2020-11-28 cs.LG stat.ML
Improved Analysis for Dynamic Regret of Strongly Convex and Smooth Functions
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
本文对强凸光滑函数的动态后悔问题提出了一种改进的分析方法。具体来说，我们研究了Zhang et al.（2017）提出的在线多梯度下降（OMGD）算法。原始的分析表明，OMGD的动态遗憾最多是$\mathcal{O}(\min\{\mathcal{P}_T,\mathcal{S}_T\})$，其中$\mathcal{P}_T$和$\mathcal{S}_T$是路径长度和平方路径长度，测量的在线功能的最小值的累积移动。我们证明，通过改进的分析，OMGD的动态遗憾可以改进为$\mathcal{O}(\min\{\mathcal{P}_T,\mathcal{S}_T,\mathcal{V}_T\})$，其中$\mathcal{V}_T$是在线函数的函数变化。请注意，$\mathcal{P}_T, \mathcal{S}_T, \mathcal{V}_T$的数量本质上反映了环境非平稳性的不同方面--它们通常不具有可比性，并且在不同的情况下更受欢迎。因此，本文提出的动态后悔实际上实现了\emph{best-of-three-worlds}保证，并且比以前的结果严格。
2021-04-14 cs.LG stat.ML
No-Regret Reinforcement Learning in Smooth MDPs
Politecnico di Milano（米兰理工大学）
本文提出ν-平滑MDP假设，并基于勒让德多项式特征映射设计两种无遗憾强化学习算法，分别权衡计算效率与适用性，取得最优遗憾保证。
2024-02-06 cs.AI cs.LG
Decision-Focused Learning via Tangent-Space Projection of Prediction Error
Department of Industrial Engineering, Ulsan National Institute of Science and Technology（乌山国立科学与技术研究院工业工程系）
本文提出了一种基于预测误差切线空间投影的决策聚焦学习方法，通过几何特征简化了后悔梯度的计算，提升了下游决策质量并提高了计算效率。
2026-05-19 cs.LG
Smooth Contextual Bandits: Bridging the Parametric and Non-differentiable Regret Regimes
Cornell University（康奈尔大学）
研究了一个非参数上下文强盗问题，其中期望报酬函数属于具有光滑参数$β$的Hölder类.我们展示了这是如何在两个极端之间进行插值的，这两个极端是以前孤立地研究的：不可微的土匪（$β\leq1$），通过在不同的上下文区域运行单独的非上下文土匪来实现速率最优遗憾，和参数响应土匪（满足$β=\infty$），由于无限的外推性，可以实现速率最优遗憾的最小或没有探索。我们开发了一种新的算法，仔细调整到所有的平滑设置，我们证明它的遗憾是率最优的，通过建立匹配的上限和下限，恢复现有的结果在两个极端。从这个意义上说，我们的工作弥合了现有文献之间的差距参数和不可微的上下文土匪问题和土匪算法之间，专门使用全球或本地信息，揭示了关键的相互作用的复杂性和遗憾的上下文土匪。
2020-09-11 cs.AI cs.LG math.OC
Unconstrained Online Optimization: Dynamic Regret Analysis of Strongly Convex and Smooth Problems
Texas A&M University（德克萨斯A&M大学）
动态在线学习算法的后悔界通常用函数序列（$V_T$）的变化和/或最小化序列在$T$轮之后的路径长度来表示。对于强凸光滑函数，Zhang等人建立了极小序列的平方路径长度（$C^*_{2,T}$）作为后悔的下界。他们还表明，在线梯度下降（OGD）实现了这个下限使用多个梯度查询每轮。在本文中，我们专注于无约束在线优化。我们首先表明，OGD的预处理变体实现了$O(C^*_{2,T})$，每轮一个梯度查询。然后，我们提出了在线乐观牛顿（OON）方法的情况下，一阶和二阶信息的函数序列是可预测的。OON的后悔界是通过最小化序列的四次路径长度（$C^*_{4,T}$）捕获的，它可以比$C^*_{2,T}$小得多。最后，我们表明，通过使用多梯度OGD，我们可以实现$O(\min\{C^*_{2,T},V_T\})$上界的遗憾。
2020-08-14 cs.LG math.OC stat.ML
Distributed Online Optimization with Stochastic Agent Availability
CRIStAL, Université de Lille, Inria, CNRS, Centrale Lille（CRIStAL实验室、里尔大学、法国国家信息与自动化研究所、法国国家科学研究中心、中央里尔高等学校）；Università degli Studi di Milano（米兰大学）；Politecnico di Milano（米兰理工大学）
本文研究智能体以概率p随机活跃且仅双方活跃才能通信的分布式在线优化，提出FTRL分布式变体并证明其网络遗憾上界，同时论证该遗憾定义与标准最坏情况遗憾等价，表明所得界在p=1时难以显著改进。
2024-11-25 cs.LG
Active Learning of Custering with Side Information Using $\eps$-Smooth Relative Regret Approximations
聚类被认为是一种非监督学习设置，其目标是将数据点的集合划分为不相交的聚类。通常，从业者给出或假设聚类数量的界限$k$。这个问题的许多版本已经被定义，最著名的是$k$ -均值和$k$ -中位数。聚类的无监督性质的一个潜在问题是确定相似性函数。缓解这种困难的一种方法被称为边信息聚类，或者半监督聚类。在这里，从业者以数据点对的“必须被聚类”或“必须被分离”标签的形式并入辅助信息。每一条这样的信息都有一个“查询成本”（通常涉及人工响应请求）。然后，将标签的集合作为严格约束或软约束并入通常的聚类算法中，可能向所选择的聚类目标添加成对约束惩罚函数。我们的工作主要是与边信息聚类。我们问如何选择数据点对。我们的分析产生了一种方法，证明比简单地随机选择它们更好。粗略地说，我们表明，分布必须是有偏见的，以便更多的重量放在对事件的元素在较小的集群中的一些最佳解决方案。当然，我们不知道最优解，因此我们不知道偏差。使用最近推出的方法$\eps$ -光滑的相对遗憾近似的Ailon，Begleiter和以斯拉，我们可以显示一个迭代的过程，提高了集群和偏见串联。该过程可证明收敛到最优解的速度（查询成本方面）比算法选择对一致。
2012-01-31 cs.LG
Graph Dimensionality Reduction for Contextual Bandits: Structure-Specific Regret Bounds under Approximate Smoothness and Noisy Eigenspaces
Department of Computer and Information Sciences, University of Delaware, USA（德克萨斯大学达勒姆分校计算机与信息科学系）；Department of Computer Science, Iowa State University, USA（爱荷华州立大学计算机科学系）；Department of Civil, Construction & Environmental Engineering, Iowa State University, USA（爱荷华州立大学土木、建设与环境工程系）
提出GraphDR-LinUCB算法，将臂特征投影到图的低频谱子空间，实现从d到k的维度缩减，并证明首个~O(k√T)遗憾界，通过扰动分析扩展到噪声图，在六个真实数据集上减少15倍累积遗憾。
2026-06-29 cs.LG
Active Preference Learning using Maximum Regret
University of Waterloo（滑铁卢大学）；Monash University（莫纳什大学）
我们研究主动偏好学习的框架直观地指定自主机器人的行为。在主动偏好学习中，用户从一组备选方案中选择首选行为，机器人从中学习用户的偏好，建模为参数化成本函数。以前的方法为用户提供了最小化成本函数参数不确定性的替代方案。然而，不同的参数可能导致相同的最优行为;因此，解空间比参数空间更有结构性。我们利用这一点，提出了一个查询选择，greetly降低了最大错误率的解决方案空间。在模拟中，我们证明了所提出的方法优于其他国家的最先进的技术，在学习效率和方便用户查询。最后，我们证明了基于解决方案的相似性而不是权重的相似性来评估学习可以更好地预测不同的场景。
2020-09-28 cs.AI cs.LG cs.RO
Batch-Size Independent Regret Bounds for the Combinatorial Multi-Armed Bandit Problem
Technion, Israel Institute of Technology（以色列理工学院）
研究了报酬函数为非线性的组合多臂强盗（CMAB）问题。在此设置中，智能体在每轮中选择一批手臂，并从该批手臂中的每个手臂接收反馈。智能体旨在最大化的奖励是所选武器及其期望的函数。在许多应用中，奖励函数是高度非线性的，现有算法的性能依赖于全局Lipschitz常数来封装函数的非线性。这可能会导致后悔界限松散，因为大的梯度本身并不一定会导致大的后悔，而只是在奖励参数的不确定性很高的区域。为了克服这个问题，我们引入了一个新的平滑度标准，我们的术语\emph{Gini-weighted smoothness}，考虑到非线性的奖励和浓度属性的武器。我们表明，在现有的算法中的批量大小的遗憾的线性依赖，可以取代这个平滑参数。这反过来又导致更严格的遗憾边界时，平滑参数是批量大小无关的。例如，在概率最大覆盖（PMC）问题，有许多应用，包括影响力最大化，多样化的建议和更多，我们实现了显着的改进的上限。我们还证明了匹配的PMC问题的下界，并表明我们的算法是紧的，在问题的参数的对数因子。
2020-06-07 cs.LG stat.ML
Smoothed Online Learning is as Easy as Statistical Learning
MIT（麻省理工学院）
大部分现代学习理论都分为两种模式：经典的离线设置，数据独立到达，在线设置，数据以对抗方式到达。虽然前一种模型通常在计算和统计上都易于处理，但后者不需要分布假设。为了实现两全其美，以前的工作提出了平滑在线设置，其中每个样本都是从一个相反选择的分布中提取的，该分布是平滑的，即，它有一个有界密度相对于一个固定的支配措施。我们提供了严格的界限上的极小极大遗憾学习的非参数函数类，与近最佳的依赖于地平线和平滑参数。此外，我们提供了第一个甲骨文高效，无悔的算法在这种情况下。特别是，我们提出了一个预言高效的不当算法，其遗憾实现最佳依赖的地平线和一个适当的算法，只需要一个单一的预言调用每轮的遗憾具有最佳的地平线依赖的分类设置，一般是次线性的。这两种算法对对手的平滑参数的依赖性指数比极大极小率差。然后，我们证明了任何适当的学习算法，它匹配的甲骨文有效的上限到多项式因子的甲骨文复杂性的下限，从而证明了在平滑的在线学习的计算差距的存在。最后，我们将我们的研究结果的上下文强盗设置表明，如果一个函数类是可学习的经典设置，然后有一个预言机的高效，没有遗憾的算法上下文强盗的情况下，上下文顺利到达。
2022-05-31 cs.LG stat.ML
Between Stochastic and Adversarial Online Convex Optimization: Improved Regret Bounds via Smoothness
University of Amsterdam（阿姆斯特丹大学）；Korteweg-de Vries Institute for Mathematics（科尔特韦格-德弗里斯数学研究所）；University of Twente（特文特大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
随机数据和对抗数据是在线学习中被广泛研究的两种环境。但许多优化任务既不是独立同分布的。也不是完全敌对的，这使得它的根本利益，以获得更好的理论理解之间的世界这两个极端。在这项工作中，我们建立了新的遗憾界在线凸优化的设置，随机i.i.d.之间插值。和完全对抗性的损失通过利用预期损失的平滑性，这些界限用梯度的方差代替了对最大梯度长度的依赖性，这在以前只针对线性损失是已知的。另外，他们削弱了i.i.d.假设，例如，允许敌对中毒轮，这是以前考虑在专家和土匪设置。我们的结果扩展到在线凸优化框架。在完整的身份证上。在这种情况下，我们的边界匹配随机加速结果的预期速率，并且在完全对抗的情况下，它们优雅地恶化以匹配极小极大遗憾。我们还提供了下限表明，我们的遗憾上限是紧的随机方差和对抗性变化的损失梯度的所有中间制度。
2022-06-08 cs.LG math.OC stat.ML
Data-Dependent Bounds for Online Portfolio Selection Without Lipschitzness and Smoothness
National Taiwan University（国立台湾大学）
该研究首次为非利普希茨、非光滑损失的在线凸优化场景下的在线投资组合选择，提出数据相关的小损失与渐变悔界，设计的算法兼具良好悔速率与计算效率，并给出新型理论分析方法。
2023-11-04 cs.LG math.OC stat.ML
Doubly Optimal No-Regret Learning in Monotone Games
Yale University（耶鲁大学）
针对多玩家光滑单调博弈，提出加速乐观梯度（AOG）算法，同时实现最优$O(\sqrt{T})$遗憾与最优$O(1/T)$最后迭代收敛，并将动态遗憾改进至$O(\log T)$。
2023-09-04 cs.GT cs.LG
Beyond Worst-Case Online Classification: VC-Based Regret Bounds for Relaxed Benchmarks
Yale University（耶鲁大学）；MIT（麻省理工学院）；UC Berkeley（加州大学伯克利分校）
该研究针对在线二分类，提出与捕捉平滑最优性的松弛基准竞争的方法，算法后悔界仅依赖VC维与实例空间复杂度，对广义间隔γ呈O(log(1/γ))依赖并补充匹配下界，连接对抗鲁棒性与平滑在线学习思想。
2025-04-14 cs.LG stat.ML
Profit Maximization in Bilateral Trade against a Smooth Adversary
Google Research（谷歌研究）
研究在在线学习框架下，面对平滑对手生成的估值，设计出保证$\tilde{O}(\sqrt{T})$ regret的算法，拓展了快速收敛的适用范围，填补了经济问题的regret景观中的空白。
2026-05-12 cs.GT cs.LG
Attack-Resistant Uniform Fairness for Linear and Smooth Contextual Bandits
National University of Singapore（新加坡国立大学）
本文提出了一种对抗鲁棒的均匀公平性算法，以在保证公平性的同时实现线性和平滑奖励函数的最小最大最优后悔。
2026-09-22 cs.LG stat.ME stat.ML
Geometrical Regret Matching
China Mobile Research Institute（中国移动研究院）
我们认为，现有的遗憾匹配的纳什均衡近似进行“跳跃”的战略更新时，未来的发挥的概率是成正比的积极遗憾措施。我们提出了一个几何遗憾匹配的特点是“平滑”的策略更新。我们的方法简单、直观、自然。分析和数值计算结果表明，连续且“平滑”地抑制“无利可图”的纯策略足以使博弈向纳什均衡演化，这表明在现实中均衡的趋势可能是普遍的和不可阻挡的。从技术上讲，迭代后悔匹配产生了一系列调整后的混合策略，我们的研究其近似于真正的均衡点。这个序列可以在度量空间中进行研究，并很好地可视化为通往平衡点的清晰路径。我们的理论在优化近似精度方面有局限性。
2020-01-23 cs.GT cs.LG math.OC
Gradient-Variation Regret Bounds for Unconstrained Online Learning
Universita degli Studi di Milano & Politecnico di Milano（米兰大学与米兰理工大学）
本文提出无约束在线学习的参数无关算法，其后悔界与梯度变化$V_T(u)$相关，无需预先知道比较器范数、Lipschitz常数或光滑度。
2026-07-28 cs.LG stat.ML
Gaussian Process Upper Confidence Bound Achieves Nearly Optimal Regret in Noise-Free Gaussian Process Bandits
LY Corporation（LY公司）
本文提出高斯过程上置信界在无噪声高斯过程老虎机中实现近最优懊悔，展示了平方指数核和Matérn核下的常数累积懊悔。
2026-11-02 cs.LG
Alternating Regret for Online Convex Optimization
University of Southern California（南加州大学）；Shanghai University of Finance and Economics（上海财经大学）；University of Iowa（Iowa 大学）
本文证明连续Hedge算法可实现亚线性交替遗憾，解决在线凸优化开放问题，并推广到博弈均衡求解，同时提出改进算法并给出下界。
2025-06-18 cs.LG
Multi-Scale Zero-Order Optimization of Smooth Functions in an RKHS
我们的目标是优化一个黑盒函数$f:\mathcal{X} \mapsto \mathbb{R}$的假设下，$f$是Hölder光滑的，并有界范数的RKHS与一个给定的内核$K$。这个问题是已知的，有一个不可知的高斯过程（GP）的强盗解释，其中一个适当构造的GP代理模型与内核$K$是用来获得一个置信上限（UCB）算法。在本文中，我们提出了一种新的算法（\texttt{LP-GP-UCB}），通常的GP代理模型与Hölder光滑函数$f$的局部多项式（LP）估计增强，以构建一个多尺度UCB指导搜索的优化。我们分析了该算法，并推导出其简单和累积遗憾的高概率界。然后，我们证明了许多常见的RKHS的元素是Hölder光滑的，并获得相应的Hölder光滑参数，因此，专门为几个常用的核我们的遗憾界。当专用于平方指数（SE）内核时，\texttt{LP-GP-UCB}匹配最佳性能，而对于Matérn内核$(K_ν)_{ν>0}$的情况，它导致平滑参数$ν>0$的所有值的一致更紧的遗憾界限。最值得注意的是，对于$ν$的某些范围，该算法实现了简单和累积遗憾的接近最优的界限，将算法独立的下限与polylog因子相匹配，从而缩小了$ν$的这些值的现有上限和下限之间的巨大差距。此外，我们的分析提供了第一个明确的遗憾界，在预算$n$，为二次（RQ）和伽玛指数（GE）。最后，与合成函数以及CNN超参数调整任务的…
2020-05-11 cs.LG math.OC stat.ML
Oracle-Efficient Smoothed Online Learning for Piecewise Continuous Decision Making
MIT（麻省理工学院）
本文提出广义括号数复杂度，结合对手约束与空间大小，证明跟随扰动领导者算法在分段连续决策中实现Oracle调用次数最优的低遗憾，应用于在线预测与规划。
2024-03-19 cs.LG stat.ML
Low Regret Binary Sampling Method for Efficient Global Optimization of Univariate Functions
在这项工作中，我们提出了一个计算效率高的单变量损失函数的全局优化问题的算法。对于性能评估，我们研究了算法的累积遗憾，而不是我们的最佳查询和目标函数的最优值之间的简单的遗憾。虽然我们的方法有类似的遗憾结果与传统的下界算法，如Piyavskiii-Shubert方法的Lipschitz连续或Lipschitz光滑函数，它有一个主要的计算成本优势。在Piyavskiii-Shubert方法中，对于某些类型的函数，查询点可能很难确定（因为它们是额外优化问题的解决方案）。然而，这个问题是规避在我们的二进制采样方法，其中的采样集是预先确定的函数特性无关。对于$[0,1]$的搜索空间，我们的方法对于$L$ -Lipschitz连续函数和$H$ -Lipschitz光滑函数分别至多有$L\log (3T)$和$2.25H$遗憾.我们还分析扩展我们的结果，更广泛的一类功能，涵盖更复杂的正则性条件。
2022-01-18 cs.CC cs.LG math.OC
Smooth Bandit Optimization: Generalization to Hölder Space
Carnegie Mellon University（卡内基梅隆大学）；University of Florida（佛罗里达大学）
我们考虑了一个光滑的奖励函数的强盗优化，目标是累积后悔最小化。本文研究了具有$0<α\leq 1$的$α$-Hölder连续（包括Lipschitz）函数的这一问题.我们的主要结果是在推广的奖励函数的霍尔德空间与指数$α>1$之间的差距Lipschitz土匪和无限可微的模型，如线性土匪。对于Hölder连续函数，基于离散化域的箱中的随机采样的方法足以作为最佳。相比之下，我们提出了一类两层的算法，部署错误指定的线性/多项式强盗算法在箱子。我们表明，该算法可以利用高阶光滑的功能，推导出一个遗憾的上限$\tilde{O}(T^\frac{d+α}{d+2α})$时，$α>1$，这符合现有的下限。我们还研究了适应未知函数光滑度的连续尺度的Hölder空间索引的$α$，与强盗模型选择方法与我们提出的两层算法。我们发现，它达到了遗憾率匹配现有的下限内的$α\leq 1$子集的适应。
2020-12-11 cs.LG stat.ML
Follow the Perturbed Leader: Optimism and Fast Parallel Algorithms for Smooth Minimax Games
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
我们考虑的问题，在线学习和它的应用解决极大极小对策。对于在线学习问题，跟随扰动领导者（FTPL）是一个广泛研究的算法，它享有最佳的$O(T^{1/2})$最坏情况下的遗憾保证凸和非凸损失。在这项工作中，我们表明，当序列的损失函数是可预测的，一个简单的修改FTPL，结合乐观可以实现更好的遗憾保证，同时保留最佳的最坏情况下的遗憾保证不可预测的序列。在获得这些更严格的遗憾界的一个关键挑战是随机性和乐观的算法，这需要不同的分析技术比那些常用的FTPL的分析。我们在分析中使用的关键成分是作为正则化的扰动的对偶视图。虽然我们的算法有几个应用程序，我们认为具体的应用极大极小游戏。对于光滑凹凸博弈，我们的算法只需要访问一个线性优化预言机。对于Lipschitz和光滑非凸非凹游戏，我们的算法需要访问一个优化预言计算扰动的最佳响应。在这两种设置中，我们的算法使用对优化oracle的$T$调用来解决游戏，精度高达$O(T^{-1/2})$。我们的算法的一个重要特点是，它是高度并行化，只需要$O(T^{1/2})$迭代，每次迭代$O(T^{1/2})$并行调用的优化预言。
2020-06-13 cs.LG stat.ML
Fighting Contextual Bandits with Stochastic Smoothing
我们引入了一个新的随机平滑的角度来研究对抗性上下文强盗问题。我们提出了一个通用的算法模板，代表随机扰动为基础的算法，并确定几个扰动分布，导致强遗憾界。利用光滑的思想，我们提供了一个$O(\sqrt{T})$零阶界的香草算法和$O(L^{*2/3}_{T})$一阶界的裁剪版本。当算法使用具有有界风险率的各种分布时，这些界限保持不变。我们的算法模板包括EXP4作为对应于Gumbel扰动的特殊情况。我们的遗憾界匹配现有的结果EXP4不依赖于算法的特定属性。
2019-06-11 cs.LG stat.ML
Improved Regret Bounds for Online Kernel Selection under Bandit Feedback
Tianjin University（天津大学）
本文改进了基于强盗反馈的在线核选择的后悔界。该算法对Lipschitz损失函数具有$O((\Vert f\Vert^2_{\mathcal{H}_i}+1)K^{\frac{1}{3}}T^{\frac{2}{3}})$期望界。我们证明了两种类型的遗憾界改进以前的界限。对于光滑损失函数，我们提出了一个算法与$O(U^{\frac{2}{3}}K^{-\frac{1}{3}}(\sum^K_{i=1}L_T(f^\ast_i))^{\frac{2}{3}})$期望界$L_T(f^\ast_i)$是最佳假设的累积损失$\mathbb{H}_{i}=\{f\in\mathcal{H}_i:\Vert f\Vert_{\mathcal{H}_i}\leq U\}$。数据依赖的边界保持以前的最坏情况下的边界，并且如果大多数候选核与数据匹配良好，则该边界较小。对于Lipschitz损失函数，我们提出了一种算法，其$O(U\sqrt{KT}\ln^{\frac{2}{3}}{T})$期望界渐近地改进了先前的界。我们将这两个算法应用到有时间约束的在线核选择中，证明了新的后悔界匹配或改进了以前的$O(\sqrt{T\ln{K}} +\Vert f\Vert^2_{\mathcal{H}_i}\max\{\sqrt{T},\frac{T}{\sqrt{\mathcal{R}}}\})$期望界，其中$\…
2023-03-23 cs.LG
Non-Asymptotic Gap-Dependent Regret Bounds for Tabular MDPs
UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）
本文建立了乐观算法实现间隙依赖和非渐近对数遗憾的情节MDPs。与以前的工作相比，我们的边界不遭受依赖于直径一样的数量或遍历性，并顺利地插入间隙相关的mammic-regret，和$\widetilde{\mathcal{O}}(\sqrt{HSAT})$ -minimax率之间。在我们的分析中的关键技术是一种新的“修剪”后悔分解，适用于一个广泛的家庭最近的乐观算法的情节MDPs。
2019-10-28 cs.LG math.OC math.ST
A PDE approach for regret bounds under partial monitoring
University of Michigan（密歇根大学）；Florida State University（佛罗里达州立大学）；University of Vienna（维也纳大学）
在本文中，我们研究了一个学习问题，其中预测器只观察部分信息。通过适当地重新标度的问题，我们推导出一个限制PDE的Wasserstein空间的特征渐近行为的后悔的预测。使用验证类型的参数，我们表明，获得遗憾的界限和有效的算法的问题，可以通过找到适当的光滑子/上解的抛物型偏微分方程。
2022-09-02 cs.LG math.OC math.PR
Optimistic Online Mirror Descent for Bridging Stochastic and Adversarial Online Convex Optimization
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；The University of Tokyo（东京大学）；Paradigm Inc.（第四范式公司）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
该论文研究SEA模型下乐观在线镜像下降（OMD）的遗憾界，在凸、强凸和指数凹光滑函数下分别获得与FTRL相当或更优的静态遗憾界，并首次给出动态遗憾保证，同时提出处理非光滑函数的隐式更新算法。
2024-03-16 cs.LG stat.ML
Agnostic Smoothed Online Learning without Knowledge of the Base Measure
Columbia University（哥伦比亚大学）
针对平滑在线学习中需已知基测度的强假设问题，提出基于递归覆盖的R-Cover算法，首次在基测度未知的不可知场景下实现分类与回归任务的次线性悔度保证，分类悔度接近最优。
2025-06-12 cs.LG stat.ML
Learnability in Online Kernel Selection with Memory Constraint via Data-dependent Regret Analysis
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
针对带内存约束的在线核选择问题，提出依赖核对齐和竞争假设累积损失的数据依赖上界，构建基于新型缓冲区与专家建议预测归约的算法框架，证明小内存下次线性数据复杂度下可学习，并经实验验证性能。
2025-03-24 cs.LG
Evaluating Epistemic Uncertainty: Beyond OOD Detection and Active Learning
Czech Technical University in Prague（布拉格捷克技术大学）；Ghent University（根特大学）；LMU Munich（慕尼黑大学）；MCML（机器学习与数据挖掘中心）；DFKI（德国人工智能研究中心）
研究认知不确定性评估，基于认知拒绝选项框架，通过将选择性预测表述为约束优化证明最优选择器，揭示现有文献弱点，提议评估分解的可实现风险等作为诊断，实验表明决策理论排名与代理任务排名有差异。
2026-07-17 cs.AI cs.LG
Active Online Learning with Hidden Shifting Domains
Stanford University（斯坦福大学）；University of Southern California（南加州大学）；University of Arizona（亚利桑那大学）
在线机器学习系统需要适应领域的变化。同时，在每个时间步获取标签是昂贵的。我们提出了一个令人惊讶的简单的算法，自适应平衡其遗憾和标签查询的设置，其中数据流是从隐藏域的混合物。对于具有不经意对手的在线线性回归，我们提供了一个紧密的权衡，取决于隐藏域的持续时间和维度。我们的算法可以自适应地处理来自不同域的输入的交织跨度。我们还将我们的结果推广到非线性回归的假设类有界逃避维度和自适应对手。在人工数据集和真实数据集上的实验表明，该算法在相同的标记预算下，比均匀查询和贪婪查询具有更低的遗憾度。
2021-02-26 cs.LG stat.ML
Trading-Off Static and Dynamic Regret in Online Least-Squares and Beyond
University of Minnesota（明尼苏达大学）
递归最小二乘算法通常使用遗忘因子作为启发式算法来适应非平稳数据流。本文的第一个贡献是严格刻画了遗忘因子对一类在线牛顿算法的影响。对于指数凹和强凸目标，算法实现了$\max\{O(\log T),O(\sqrt{TV})\}$的动态后悔，其中$V$是比较序列路径长度的一个界.特别是，我们展示了如何经典的递归最小二乘遗忘因子实现这个动态的遗憾界。通过改变$V$，我们得到了静态和动态后悔之间的权衡。为了获得更高的计算效率的算法，我们的第二个贡献是一个新的梯度下降步长规则的强凸函数。我们的梯度下降规则恢复了上述顺序最优动态后悔界限。对于光滑问题，我们还可以得到$O(T^{1-β})$的静态遗憾和$O(T^βV^*)$的动态遗憾，其中$β\in (0,1)$和$V^*$是极小元序列的路径长度.通过改变$β$，我们得到了静态和动态后悔之间的权衡。
2019-11-21 cs.LG stat.ML
Pragmatic Curiosity: A Unified Framework for Hybrid Learning and Optimization via Active Inference
Department of Aeronautics and Astronautics（航空与航天系）；Massachusetts Institute of Technology（麻省理工学院）；School of Industrial and Systems Engineering（工业与系统工程系）；Georgia Institute of Technology（佐治亚理工学院）
本文提出Pragmatic Curiosity框架，通过主动推断统一处理混合学习与优化问题，减少决策风险，提升关键结果区域覆盖率，并联合学习预测与偏好结构。
2026-05-12 cs.LG stat.ML
Online Bilevel Optimization: Regret Analysis of Online Alternating Gradient Methods
University of Pennsylvania（宾夕法尼亚大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Michigan（密歇根大学）
该研究提出在线双层优化问题，定义新的双层悔度概念，设计可利用平滑性的在线交替时间平均梯度方法，将单层在线算法悔度界拓展至双层场景，给出基于内外层最小化子序列路径长度的悔度界。
2024-07-08 cs.DS cs.LG math.OC
Low-Cost Learning via Active Data Procurement
University of Michigan（密歇根大学）；Harvard SEAS（哈佛大学约翰·A·保尔森工程与应用科学学院）；UCLA（加州大学洛杉矶分校）
我们设计的机制，在线采购数据的战略代理机器学习任务。挑战在于使用过去的数据来积极地为未来的数据定价，并提供学习保证，即使代理人透露数据的成本可能任意取决于数据本身。我们通过展示如何将一大类无遗憾算法转换为在线发布价格和学习机制来实现这一目标。我们的结果在某种意义上平行经典样本的复杂性保证，但与关键资源是金钱，而不是数据量：与预算约束$B$，我们给强大的风险（预测误差）界的顺序$1/\sqrt{B}$。因为我们使用主动的方法，我们通常可以通过利用成本和数据之间的相关性来保证做得更好。我们的算法和分析经历了一个模型的无悔学习$T$到达对（成本，数据）和预算约束$B$。我们对这个模型的遗憾界的顺序是$T/\sqrt{B}$，我们给出了相同的顺序下界。
2015-06-06 cs.AI cs.GT cs.LG
Posterior Sampling Reinforcement Learning with Gaussian Processes for Continuous Control: Sublinear Regret Bounds for Unbounded State Spaces
University of Oxford（牛津大学）；Carnegie Mellon University（卡内基梅隆大学）；Technical University of Darmstadt（达姆施塔特技术大学）；Robotics Institute Germany（德国机器人研究所）
本文通过递归应用Borell-Tsirelson-Ibragimov-Sudakov不等式和链式方法，在弱平滑条件下证明了GP-PSRL算法的贝叶斯遗憾界为$\widetilde{\mathcal{O}}(H\sqrt{\gamma_TT})$，解决了先前理论工作的局限性。
2026-07-23 cs.LG stat.ML
Acceleration through Optimistic No-Regret Dynamics
College of Computing（计算学院）；Georgia Institute of Technology（佐治亚理工学院）
我们考虑最小化一个光滑凸函数的问题，通过减少优化计算一个特定的零和凹凸博弈的纳什均衡。零和游戏可以使用在线学习动态来解决，其中经典的技术涉及模拟两个相互对抗的无悔算法，并且在$T$回合之后，保证平均误差可以解决原始优化问题，误差衰减为$O(\log T/T)$。在本文中，我们表明，该技术可以提高到$O(1/T^2)$的速度，通过扩展最近的工作\cite{RS13,SALS15}，利用\textit{optimistic learning}，以加快平衡计算。由此分析得出的优化算法与著名的\textit{exactly}方法相吻合，实际上，同样的故事允许我们通过小的调整来恢复Nesterov算法的几个变体。我们也能够建立一个函数，这是强凸和光滑的加速线性速率。这种方法统一了一些不同的迭代优化方法：我们表明，\HB算法正是\NA的非乐观变体，最近的工作已经建立了类似的\FW \cite{AW17,ALLW18}的观点。
2018-11-15 cs.LG stat.ML
Revisiting Smoothed Online Learning
Nanjing University（南京大学）；the University of Iowa（爱荷华大学）
在本文中，我们重新审视的平滑在线学习的问题，其中在线学习者遭受击中成本和切换成本，并针对两个性能指标：竞争比和动态后悔与切换成本。为了限制竞争比，我们假设每轮学习者都知道命中成本，并通过优化问题研究平衡两个成本的简单想法。令人惊讶的是，我们发现，最小化击中成本单独是$\max(1, \frac{2}α)$ -竞争的$α$ -多面体函数和$1 + \frac{4}λ$ -竞争的$λ$ -二次增长函数，这两个改善国家的最先进的结果显着。此外，当命中成本是凸的和$λ$ -二次增长，我们通过最小化的命中成本和转换成本的加权和的竞争比降低到$1 + \frac{2}{\sqrtλ}$。为了将动态后悔与切换成本绑定，我们遵循在线凸优化的标准设置，其中命中成本是凸的，但在进行预测之前对学习者隐藏。我们修改Ader，一个现有的算法设计的动态遗憾，稍微考虑到切换成本时，测量性能。该算法称为Smoothed Ader算法，在考虑切换代价的情况下，获得了动态后悔的最优$O(\sqrt{T(1+P_T)})$界，其中$P_T$是比较器序列的路径长度.此外，如果击中成本在每轮开始时可达，我们得到了类似的保证，没有有界梯度条件，并建立了一个$Ω(\sqrt{T(1+P_T)})$下界，以确认最优性。
2021-05-18 cs.LG math.OC stat.ML
Improved Algorithms for Neural Active Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们改进了基于神经网络（NN）的主动学习算法的非参数流设置的理论和经验性能。特别是，我们引入了两个遗憾的指标，最大限度地减少人口损失，更适合在主动学习比一个国家的最先进的（SOTA）相关的工作。然后，该算法利用神经网络的强大的表示开发和探索，有专门的$k$类分类问题的查询决策者的性能保证，利用充分的反馈，并更新参数在一个更实际和有效的方式。这些精心的设计导致了一个依赖于实例的后悔上限，大致提高了一个乘法因子$O(\log T)$，并消除了输入维度的灾难。此外，我们表明，该算法可以实现相同的性能，贝叶斯最优分类器在长期的硬利润率设置下的分类问题。最后，我们使用大量的实验来评估所提出的算法和SOTA基线，以显示改进的经验性能。
2023-01-16 cs.LG stat.ML
Bayesian Optimisation with Unknown Hyperparameters: Regret Bounds Logarithmically Closer to Optimal
University of Oxford（牛津大学）；Toyota Motor Corporation（丰田汽车公司）
针对贝叶斯优化中长度尺度超参数未知且易误设的问题，提出长度尺度平衡（LB）方法，通过聚合多尺度代理模型平衡探索与利用，使遗憾界仅以对数因子偏离最优oracle，并在实验中优于A-GP-UCB等方法。
2024-11-22 cs.LG stat.ML
Smooth Non-Stationary Bandits
Cornell University（康奈尔大学）
研究非平稳Bandit问题，利用β-Hölder平滑性建模奖励变化，提出新策略实现平滑与非平滑情形遗憾分离，并给出匹配的极小化极大下界。
2024-11-17 cs.AI cs.LG math.OC
Online Self-Concordant and Relatively Smooth Minimization, With Applications to Online Portfolio Selection and Learning Quantum States
National Taiwan University（台湾大学）；Hon Hai (Foxconn) Quantum Computing Centre（鸿海（富士康）量子计算中心）；National Center for Theoretical Sciences（台湾理论科学中心）
本文研究自和谐且相对光滑的在线凸优化，统一分析了在线镜像下降的遗憾界，并据此改进了在线投资组合选择中指数梯度变体的遗憾界，同时为在线量子态学习给出了每次迭代更快的算法。
2023-09-21 cs.LG math.OC q-fin.PM
Disagreement-based Active Learning in Online Settings
Cornell University（康奈尔大学）
我们研究在线主动学习分类流实例的统计学习理论的框架内。每次，学习器要么查询当前实例的标签，要么根据过去看到的示例预测标签。我们的目标是最小化查询的数量，同时限制预测错误的数量超过长度$T$的地平线。我们开发了一个基于分歧的在线学习算法的一般假设空间和Tsybakov噪声下。我们表明，该算法有一个标签的复杂度为$O(dT^{\frac{2-2α}{2-α}}\log^2 T)$的约束下有界遗憾的分类错误，其中$d$是VC维的假设空间和$α$是Tsybakov噪声参数。我们进一步建立了一个匹配（多对数因子）下界，证明了该算法的顺序最优性。我们解决标签的复杂性和遗憾之间的权衡，并表明该算法可以修改操作在权衡曲线上的不同点。
2020-11-16 cs.LG stat.ML
Improving Regret Bounds for Combinatorial Semi-Bandits with Probabilistically Triggered Arms and Its Applications
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
研究了具有概率触发臂的组合多臂强盗（CMAB-T）和半强盗反馈。我们解决了之前CMAB-T研究中的一个严重问题，其中遗憾界限包含可能呈指数级大的因子$1/p^*$，其中$p^*$是任何动作触发手臂的最小正概率。我们通过在一般的CMAB-T框架中引入触发概率调制（TPM）有界光滑条件来解决这个问题，并证明了许多应用如影响力最大化强盗和组合级联强盗都满足TPM条件.因此，我们完全删除了$1/p^*$的因素从遗憾的界限，实现显着更好的遗憾界限影响力最大化和级联土匪比以前。最后，我们提供的下界结果表明，一般的CMAB-T问题的因素$1/p^*$是不可避免的，这表明TPM条件是至关重要的，在消除这个因素。
2021-06-08 cs.LG stat.ML
Temporal Variability in Implicit Online Learning
Università di Milano（米兰大学）；Boston University（波士顿大学）
在在线学习的背景下，隐式算法从实用的角度来看是非常成功的。然而，最严格的遗憾分析只显示了在线镜像下降的边际改善。在这项工作中，我们揭示了这种行为进行了仔细的遗憾分析。我们证明了一个新的静态遗憾界，依赖于时间的变化序列的损失函数，一个数量，这是经常遇到的考虑动态竞争对手。例如，我们表明，如果时间变异性是恒定的，并且学习率被适当地调整，而不需要平滑损失，则后悔可以是恒定的。此外，我们提出了一个自适应算法，实现了这个遗憾界的时间变化性的先验知识，并证明了一个匹配的下限。最后，我们在分类和回归数据集上验证了我们的理论发现。
2020-11-06 cs.LG stat.ML
