Optimizing Regret
Risk AI Center（风险人工智能中心）
本文基于成本与决策协方差发展协方差遗憾泛函导数理论，推导线性策略梯度，扩展到约束优化等，得出通用最速下降方向，还给出收敛界及算法，应用于投资组合倾斜与大语言模型分配策略。
2026-07-31 cs.LG econ.EM stat.ML
Improving Regret Bounds for Combinatorial Semi-Bandits with Probabilistically Triggered Arms and Its Applications
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
研究了具有概率触发臂的组合多臂强盗（CMAB-T）和半强盗反馈。我们解决了之前CMAB-T研究中的一个严重问题，其中遗憾界限包含可能呈指数级大的因子$1/p^*$，其中$p^*$是任何动作触发手臂的最小正概率。我们通过在一般的CMAB-T框架中引入触发概率调制（TPM）有界光滑条件来解决这个问题，并证明了许多应用如影响力最大化强盗和组合级联强盗都满足TPM条件.因此，我们完全删除了$1/p^*$的因素从遗憾的界限，实现显着更好的遗憾界限影响力最大化和级联土匪比以前。最后，我们提供的下界结果表明，一般的CMAB-T问题的因素$1/p^*$是不可避免的，这表明TPM条件是至关重要的，在消除这个因素。
2021-06-08 cs.LG stat.ML
Dynamic Regret of Convex and Smooth Functions
Nanjing University（南京大学）
我们研究了非平稳环境中的在线凸优化问题，并选择动态遗憾作为性能度量，定义为在线算法所产生的累积损失与任何可行比较器序列之间的差异。令$T$为时间范围，$P_T$为本质上反映环境非平稳性的路径长度，最先进的动态遗憾是$\mathcal{O}(\sqrt{T(1+P_T)})$。虽然这个界被证明是最小最大最优凸函数，在本文中，我们证明了它是可能的，以进一步提高动态遗憾利用光滑条件。具体而言，我们提出了新的在线算法，能够利用平滑度和取代依赖于$T$的动态遗憾的问题相关的数量：梯度的变化的损失函数，比较器序列的累积损失，和最小的前两项。这些量至多为$\mathcal{O}(T)$，而在良性环境中可能小得多。因此，我们的结果是自适应的内在困难的问题，因为边界比现有的结果更严格的简单的问题，同时保证在最坏的情况下相同的速度。
2020-11-28 cs.LG stat.ML
Trading Off Resource Budgets for Improved Regret Bounds
University of Oxford（牛津大学）
在这项工作中，我们考虑了一个变体的对抗性在线学习，在每一轮中，一个人从$N$武器中挑选$B$，并产生等于所选每个武器成本的$\textit{minimum}$的成本。我们提出了一个算法，称为跟随扰动多个领导者（FPML）这个问题，我们表明（通过适应Kalai和Vempala [2005]的技术）实现预期的遗憾$\mathcal{O}(T^{\frac{1}{B+1}}\ln(N)^{\frac{B}{B+1}})$在时间范围$T$相对于$\textit{single}$最好的手臂在事后。这引入了预算$B$和单最佳臂遗憾之间的权衡，并且我们继续研究这种权衡的几个应用。首先，我们观察到使用标准后悔最小化器作为子程序的算法有时可以通过用FPML替换这些子程序来适应，并且我们使用它来推广现有的在线子模块函数最大化算法[Streeter和Golovin，2008]在全反馈和半强盗反馈设置中。接下来，我们经验评估我们的新算法在线黑盒超参数优化问题。最后，我们展示了FPML如何导致线性规划的新算法，这些算法需要更强大的预言机，但却可以减少预言机的调用。
2022-10-11 cs.LG stat.ML
Efficient Batch Black-box Optimization with Deterministic Regret Bounds
Centre for Artificial Intelligence（人工智能中心）；University of Technology Sydney（悉尼科技大学）；CSAIL（麻省理工学院计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
在这项工作中，我们调查黑箱优化的角度来看，频率核方法。我们提出了一种新的批量优化算法，它联合最大化的采集功能和选择点从整个批次在一个整体的方式。从理论上讲，我们得到的遗憾界的无噪声和扰动设置，无论选择的内核。此外，我们分析了贝叶斯优化（BO）的鲁棒初始化所需的对抗性遗憾的属性。我们证明了对抗性后悔界随着覆盖半径的减小而减小，这为生成最小化界的点集提供了一个判据。然后，我们提出了快速搜索算法，以产生一个点集的覆盖半径小的鲁棒初始化。合成基准问题和实际问题的实验结果表明，所提出的算法的有效性。
2020-03-27 cs.LG stat.ML
Regret Bounds for Deterministic Gaussian Process Bandits
University of British Columbia（不列颠哥伦比亚大学）；Yahoo! Research（雅虎研究院）
本文分析了具有确定性观测值的高斯过程（GP）强盗问题。该分析使用与（Srinivas等人，2010年）。对于具有高斯观测噪声的GP，方差严格大于零（Srinivas等人，2010）证明了遗憾以$O(\frac{1}{\sqrt{t}})$的近似速率消失，其中t是观察的数量。为了补充他们的结果，我们攻击确定性的情况下，并获得更快的指数收敛速度。在一定的正则性假设下，我们证明了遗憾以高概率按照$O(e^{-\frac{τt}{(\ln t)^{d/4}}})$渐近减少。这里，d是搜索空间的维数，而$τ$是一个常数，它取决于目标函数在其全局最大值附近的行为。
2012-03-09 cs.LG stat.ML
Approximate Thompson Sampling for Learning Linear Quadratic Regulators with $O(\sqrt{T})$ Regret
Department of Applied Artificial Intelligence, Seoul National University of Science and Technology（应用人工智能系，首尔科学技术大学）；Department of Electrical and Computer Engineering and ASRI, Seoul National University（电气电子工程系和ASRI，首尔国立大学）
提出一种基于Langevin动力学和激励机制的近似Thompson采样算法，用于学习LQR，在无限制性假设下实现了$O(\sqrt{T})$的贝叶斯遗憾界。
2025-05-29 cs.LG cs.SY eess.SY
Does Compression Imply Generalization? A Minimum Description Length Perspective
Leiden University（莱顿大学）；Centrum Wiskunde & Informatica (CWI)（数学和计算机科学中心）；Hefei University of Technology（合肥工业大学）；Great Bay University（大湾区大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；UiT The Arctic University of Norway（挪威北极大学）
该研究从MDL原理切入，提出预quential遗憾作为仅由训练轨迹计算的信号，证明其可关联泛化界，且在CIFAR数据集上与泛化误差高度相关，结合了MDL与IB的压缩视角。
2026-10-16 cs.LG
A Domain-Shrinking based Bayesian Optimization Algorithm with Order-Optimal Regret Performance
MediaTek Research（联发科研究）；Cornell University（康奈尔大学）
考虑再生核Hilbert空间中未知函数的序列优化问题。我们提出了一个基于高斯过程的算法，并建立其顺序最优的遗憾性能（到一个多对数因子）。这是第一个基于GP的算法，具有顺序最优后悔保证。该算法是植根于域收缩的方法，通过一系列的基于树的区域修剪和细化集中查询越来越小的高性能区域的功能域实现。通过对最优函数值的迭代估计来局部化和引导对高性能区域的搜索，以确保学习效率和计算效率。与目前流行的GP-UCB算法族相比，该算法的计算复杂度降低了$O(T^{2d-1})$（其中$T$是时域，$d$是函数域的维数）.
2021-10-29 cs.LG stat.ML
Procrastinated Tree Search: Black-box Optimization with Delayed, Noisy, and Multi-Fidelity Feedback
Cornell University（康奈尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Univ. Lille（里尔大学）；Centrale Lille（里尔中央理工学院）
在黑盒优化问题中，我们的目标是最大化一个未知的目标函数，其中该函数只能通过评估或模拟预言的反馈来访问。在现实生活中，这种预言机的反馈通常是嘈杂的，并且在一些未知的延迟之后可用，这可能取决于预言机的计算时间。此外，如果精确的评估是昂贵的，但粗略的近似是可用的，在一个较低的成本，反馈可以有多保真度。为了解决这个问题，我们提出了一个通用的扩展分层乐观树搜索（HOO），称为ProCrustinated树搜索（PCTS），灵活地适应延迟和噪声容忍的强盗算法。我们提供了一个通用的证明技术，以量化延迟，噪声和多保真度反馈下的PCTS的遗憾。具体来说，我们得到的PCTS启用延迟UCB 1（DUCB 1）和延迟UCB-V（DUCBV）算法的遗憾界限。给定时域$T$，PCTS对于$O(\log T)$的预期延迟保持无延迟HOO的遗憾界，并且对于$α\in (0,1]$的$O(T^{1-α})$的预期延迟保持$O(T^{\frac{1-α}{d+2}})$的遗憾界。我们通过实验验证了多个合成函数和超参数调整问题，PCTS优于最先进的黑箱优化方法，用于不同噪声水平，延迟和保真度的反馈。
2022-04-14 cs.LG math.OC stat.ML
Minimax Regret for Stochastic Shortest Path
Tel-Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Microsoft Research（微软研究院）
我们研究了随机最短路径（SSP）问题，其中一个代理必须达到一个目标状态，在最小的总期望成本。在问题的学习公式中，代理没有关于模型的成本和动态的先验知识。她多次与模特互动$K$剧集，不得不将遗憾降到最低。在这项工作中，我们表明，这种设置的极大极小遗憾是$\widetilde O(\sqrt{ (B_\star^2 + B_\star) |S| |A| K})$，其中$B_\star$是一个约束的预期成本的最优策略从任何状态，$S$是状态空间，和$A$是行动空间。这与Rosenberg等人[2020]对$B_\star \ge 1$的$Ω(\sqrt{ B_\star^2 |S| |A| K})$下限相匹配，并通过因子$\sqrt{|S|}$改善了他们的遗憾界限。对于$B_\star < 1$，我们证明了$Ω(\sqrt{ B_\star |S| |A| K})$的一个匹配下界.我们的算法是基于一种新的减少从SSP有限的地平线MDP。为此，我们提供了一个算法的有限时域设置，其领先的遗憾取决于多项式的最优政策的预期成本，只有在地平线上的数学。
2021-12-09 cs.LG
Best-of-Three-Worlds Linear Bandit Algorithm with Variance-Adaptive Regret Bounds
NEC Corporation（日本电气股份有限公司）
本文提出了一种线性强盗算法，是自适应的环境中的两个不同层次的层次。在更高的层次上，该算法适应各种类型的环境。更准确地说，它达到了三个世界中最好的后悔界限，即，针对对抗性环境的${O}(\sqrt{T \log T})$和针对具有对抗性破坏的随机环境的$O(\frac{\log T}{Δ_{\min}} + \sqrt{\frac{C \log T}{Δ_{\min}}})$，其中$T$、$Δ_{\min}$和$C$分别表示时间范围、最小次优间隙和破坏总量。注意，这里省略了维度中的多项式因子。在较低的层次上，在每一个对抗和随机制度，所提出的算法适应某些环境特征，从而表现得更好。该算法具有数据依赖的遗憾界，取决于所有的累积损失的最佳行动，总的二次变异，和路径长度的损失向量序列。此外，对于随机环境，该算法具有方差自适应遗憾界$O(\frac{σ^2 \log T}{Δ_{\min}})$，其中$σ^2$表示反馈损失的最大方差。该算法是基于SCRiBLe算法。通过将一种我们称之为按比例放大抽样的新技术纳入其中，我们获得了高水平的适应性，通过将乐观在线学习技术纳入其中，我们获得了低水平的适应性。
2023-02-24 cs.LG stat.ML
Exponential Regret Bounds for Gaussian Process Bandits with Deterministic Observations
University of British Columbia（不列颠哥伦比亚大学）；Yahoo! Research（雅虎研究院）
分析了具有确定性观测值的高斯过程（GP）强盗问题。该分析使用与（Srinivas等人，2010）的UCB算法相关的分支定界算法。对于具有高斯观测噪声的GP，方差严格大于零，Srinivas等人证明了遗憾以$O(1/\sqrt{t})$的近似速率消失，其中t是观测的数量。为了补充他们的结果，我们攻击确定性的情况下，并获得更快的指数收敛速度。在一定的正则性假设下，我们证明了遗憾以高概率按照$O(e^{-\frac{τt}{(\ln t)^{d/4}}})$渐近减少。这里，d是搜索空间的维度，τ是取决于目标函数在其全局最大值附近的行为的常数。
2012-06-27 cs.LG stat.ML
The SMART approach to instance-optimal online learning
Cornell（康奈尔大学）；Caltech（加州理工学院）
本文提出SMART在线学习算法，通过至多一次从FTL切换到最坏情况算法，实现实例最优遗憾，其竞争比为1.58，并给出1.43的下界及结合小损失算法的改进版本。
2024-02-27 cs.DS cs.IT cs.LG
Regret and Belief Complexity Trade-off in Gaussian Process Bandits via Information Thresholding
University of Maryland（马里兰大学）；Purdue University（普渡大学）；US Army Research Laboratory（美国陆军研究实验室）；Amazon（亚马逊）
贝叶斯优化是一种通过最大后验更新而不是模拟退火进行全局搜索的框架，并且在不确定性下的决策制定中获得了突出地位。在这项工作中，我们投贝叶斯优化作为一个多臂强盗问题，其中的支付函数是从高斯过程（GP）采样。此外，我们专注于通过置信上限（UCB）或预期改善（EI），由于其在实践中的普遍使用的行动选择。以前的作品使用GPS的土匪不能允许迭代范围$T$是大的，因为计算后验参数的复杂性与过去的观察的数量成三次方。为了避免这种计算负担，我们提出了一个简单的统计测试：只有将一个动作纳入GP后，当其条件熵超过$ε$阈值。这样做，使我们能够精确地描述之间的权衡遗憾界的GP强盗算法和复杂性的后验分布依赖于压缩参数$ε$离散和连续的行动集。据我们所知，这是第一个结果，使我们能够获得次线性遗憾界，同时仍然保持次线性增长率的复杂性后，在现有的文献中是线性的。此外，可以实现复杂度的可证明有限界，但该算法将导致$ε$ -遗憾，这意味着$\textbf{Reg}_T/T \rightarrow \mathcal{O}(ε)$作为$T\rightarrow \infty$。实验上，我们观察到国家的最先进的精度和复杂性的权衡GP强盗算法应用于全局优化，这表明压缩GP的优点，在强盗设置。
2022-03-21 cs.IT cs.LG math.IT
Nearly Optimal Best-of-Both-Worlds Algorithms for Online Learning with Feedback Graphs
NEC Corporation（日本电气股份有限公司）；RIKEN AIP（理化学研究所先进智能项目中心）；Kyoto University（京都大学）
本研究考虑具有一般有向反馈图的在线学习。对于这个问题，我们提出了两全其美的算法，实现了几乎紧的遗憾边界的对抗性环境，以及多对数遗憾边界的随机环境。正如Alon et al. [2015]所示，紧遗憾边界取决于反馈图的结构：强可观察图产生$\tildeΘ( α^{1/2} T^{1/2} )$的极大极小遗憾，而弱可观察图产生$\tildeΘ( δ^{1/3} T^{2/3} )$的极大极小遗憾，其中$α$和$δ$分别表示图的独立数和图的某个部分的控制数。我们提出的强可观察图的算法有一个遗憾的$\tilde{O}( α^{1/2} T^{1/2} ) $对抗环境，以及$ {O} ( \frac{α(\ln T)^3 }{Δ_{\min}} ) $的随机环境，其中$Δ_{\min}$表示最小次优差距。这一结果解决了Erez和Koren [2021]提出的一个悬而未决的问题。我们还提供了一个弱可观察图的算法，实现了$\tilde{O}( δ^{1/3}T^{2/3} )$的遗憾界的对抗性环境和多对数遗憾随机环境。所提出的算法是基于以下的正规化领导者的方法结合新设计的更新规则的学习率。
2022-12-27 cs.LG
Bayesian Optimistic Optimisation with Exponentially Decaying Regret
Applied Artificial Intelligence Institute, Deakin University, Geelong, Australia（应用人工智能研究所，德金大学，澳大利亚格里尔镇）
本文提出BOO算法，在无噪声环境下通过结合贝叶斯优化与基于树的乐观优化方法，实现指数级遗憾界O(N^{-√N})。
2021-05-10 cs.LG stat.ML
Towards Regret Guarantees for One-Step Lookahead Bayesian Optimization
Nagoya University（名古屋大学）
提出一种名为最优点方差缩减（OVR）的单步前瞻贝叶斯优化方法，通过后验采样和蒙特卡洛近似实现，并证明了正则化OVR的贝叶斯期望简单遗憾上界趋于零。
2026-10-08 cs.LG
An Efficient Interior-Point Method for Online Convex Optimization
Google DeepMind（谷歌DeepMind）；IBM Almaden Research Center（IBM阿尔马登研究中心）
本研究提出一种在线凸优化的高效内点算法，实现O(√(T log T))的最优遗憾界且具备子区间自适应性，每次迭代仅需求解n阶线性方程组，运行效率与最新内点算法相当。
2023-07-21 cs.LG math.OC
Exploration strategies for Gaussian process bandit optimization with inference regret guarantees
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Korea University（高丽大学）
本文针对贝叶斯优化累积遗憾无法刻画最终输出质量的问题，提出可嵌入任意贝叶斯优化流程的高效探索策略，经实验验证其能提升多类任务中贝叶斯优化的最终推荐效果。
2026-10-14 cs.LG math.OC stat.CO
Feature Priming in Online Linear Regression: Sparse-Regret Lower Bounds and Tight Coordinatewise Rates
Nanyang Technological University（南洋理工大学）
针对Warmuth和Amid在2023年COLT会议提出的开放问题，研究在线线性回归特征启动规则的稀疏遗憾，证明三种规则的遗憾下界，给出匹配数据秩的紧单变量速率，相关多元前沿仍待解决。
2026-09-09 cs.LG stat.AP stat.ML
Bayesian Optimization with Inexact Acquisition: Is Random Grid Search Sufficient?
该研究针对贝叶斯优化中采集函数精确最大化成本高的问题，定义解的不准确度并推导非精确算法的累积遗憾界，从理论和数值上验证了随机网格搜索作为采集求解器的有效性。
2025-06-13 cs.LG stat.ME stat.ML
Tangential Randomization in Linear Bandits (TRAiL): Guaranteed Inference and Regret Bounds
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Coordinated Science Laboratory（协调科学实验室）；Department of Electrical and Computer Engineering（电气与计算机工程系）
本文提出线性赌博机算法 TRAiL，通过在动作集切平面上扰动实现强制探索，证明了其推断质量 Ω(√T) 增长和遗憾 O(√T log T) 上界，并建立了遗憾与推断质量之间的渐近权衡关系。
2024-11-19 cs.LG cs.SY eess.SY
Beyond Regrets: Geometric Metrics for Bayesian Optimization
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
针对现有贝叶斯优化性能度量忽略几何信息的问题，提出四个新的几何度量（精确率、召回率、平均度、平均距离）及其无参数形式，以更细致地评估算法。
2024-11-07 cs.LG stat.ML
Stopping Bayesian Optimization with Probabilistic Regret Bounds
Morgan Stanley（摩根士丹利）
针对贝叶斯优化传统预算耗尽停止规则的问题，提出基于$(ε, δ)$概率准则的停止方法，证明其在高斯过程先验下满足条件，给出高效鲁棒的蒙特卡洛评估算法并通过实验验证优劣。
2024-12-10 cs.LG stat.ML
Best-of-Both-Worlds Algorithms for Partial Monitoring
Kyoto University（京都大学）；RIKEN AIP（理化学研究所AIP中心）；NEC Corporation（日本电气股份有限公司）
本研究考虑了部分监控问题的$k$ -行动和$d$ -结果，并提供了第一个最好的两个世界的算法，其遗憾是有利的限制在随机和对抗制度。特别是，我们表明，对于非退化的局部可观察的游戏，遗憾是$O(m^2 k^4 \log(T) \log(k_Π T) / Δ_{\min})$在随机制度和$O(m k^{2/3} \sqrt{T \log(T) \log k_Π})$在对抗制度，其中$T$是轮数，$m$是每个动作的不同观察的最大数量，$Δ_{\min}$是最小次优差距，和$k_Π$是帕累托最优动作的数量。此外，我们表明，全球可观察的游戏，遗憾是$O(c_{\mathcal{G}}^2 \log(T) \log(k_Π T) / Δ_{\min}^2)$在随机制度和$O((c_{\mathcal{G}}^2 \log(T) \log(k_Π T))^{1/3} T^{2/3})$在对抗制度，其中$c_{\mathcal{G}}$是一个游戏依赖常数。我们还提供了一个随机政权的对抗性腐败的遗憾界。我们的算法是基于以下的正则化领导者框架，并受到启发的探索优化和自适应学习率在该领域的在线学习反馈图。
2022-10-09 cs.LG stat.ML
Distributed Non-Stochastic Experts
UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
我们考虑在线分布式非随机专家问题，其中的分布式系统由一个协调器节点连接到$k$网站，和网站需要通过协调器相互通信。在每个时间步$t$，$k$站点节点之一必须从集合${1, ..., n}$中挑选专家，并且同一站点接收关于该轮的所有专家的收益的信息。分布式系统的目标是在时间范围$T$上最小化遗憾，同时保持通信最小化。这个问题的两个极端解决方案是：（i）完全通信：这实质上是模拟非分布式设置，以$T$通信为代价获得最佳$O(\sqrt{\log(n)T})$遗憾界限。(ii)无交流：每个站点运行独立副本：遗憾为$O(\sqrt{log(n)kT})$，交流为0。本文表明，同时实现后悔渐近优于$\sqrt{kT}$和沟通优于$T$的困难。我们给出了一个新的算法，对于一个不经意的对手实现了一个非平凡的权衡：遗憾$O(\sqrt{k^{5(1+ε)/6} T})$和通信$O(T/k^ε)$，对于任何值的$ε\in (0, 1/5)$。我们还考虑了模型的一个变体，协调员挑选专家。在这个模型中，我们发现Cesa-Bianchi et al.（2005）的标签有效预测者已经为我们提供了在后悔与沟通权衡中接近最优的策略。
2012-11-14 cs.AI cs.LG
Achieving $\widetilde{\mathcal{O}}(\sqrt{T})$ Regret in Average-Reward POMDPs with Known Observation Models
Politecnico di Milano（米兰理工大学）
针对未知转移但已知观测的平均奖励POMDP，提出乐观算法与新型估计器，实现$\mathcal{O}(\sqrt{T\log T})$遗憾，超越现有方法。
2025-09-05 cs.LG stat.ML
Adaptivity and Non-stationarity: Problem-dependent Dynamic Regret for Online Convex Optimization
Nanjing University（南京大学）
针对非平稳在线凸优化，本文提出协作在线集成框架，利用光滑性将动态遗憾界中的时间跨度替换为问题相关量，并保持每次迭代仅一次梯度查询。
2024-04-07 cs.LG
Online Learning over Dynamic Graphs via Distributed Proximal Gradient Algorithm
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
研究动态图上时变凸优化问题的最小值跟踪问题。受间歇性连接的机器人和传感器网络中的目标跟踪和参数估计问题的启发，目标是设计一种能够处理不可微正则化惩罚的分布式算法。建议的近端在线梯度下降算法是建立在一个完全分散的方式运行，并利用共识更新可能断开的图形。所提出的算法的性能进行了分析，其动态遗憾的时变最优的累积路径长度方面的发展界限。结果表明，相比于集中的情况下，所提出的算法在$T$时隙所产生的动态遗憾是由$\log(T)$的一个因素，尽管断开和随时间变化的网络拓扑更糟。所提出的算法的经验性能进行测试的分布式动态稀疏恢复问题，在那里它被证明会招致一个动态的遗憾，是接近的集中式算法。
2019-05-16 cs.LG eess.SP math.OC
Toward Optimal Regret in Robust Pricing: Decoupling Corruption and Time
Politecnico di Milano（米兰理工大学）
本文提出首个解耦腐败与时间跨度的鲁棒动态定价遗憾保证，通过改进的二分搜索算法，实现已知或未知腐败时的最优遗憾界。
2026-11-03 cs.AI cs.LG
Density-Based Algorithms for Corruption-Robust Contextual Search and Convex Optimization
本文提出基于密度的算法，用于对抗性噪声下的上下文搜索与凸优化，改进了相关问题的遗憾界并提出了新的高效方法。
2026-01-01 cs.GT cs.LG
Projection-free Online Learning over Strongly Convex Sets
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术全国重点实验室）；Pazhou Lab（琶洲实验室）
针对强凸集上的在线学习问题，改进OFW的步长策略并提出强凸版OFW变体，分别在一般凸损失和强凸损失下取得更优的遗憾界，提升无投影在线算法的性能。
2024-06-24 cs.LG math.OC
Regret Lower Bound and Optimal Algorithm in Dueling Bandit Problem
The University of Tokyo（东京大学）；Kyoto University（京都大学）
我们研究了$K$ -武装决斗土匪问题，标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。我们引入了一个紧的渐近遗憾下界，是基于信息的分歧。受确定性最小经验发散算法（Honda and Takemura，2010）的启发，提出了一种新的算法，并分析了其遗憾性。该算法被发现是第一个遗憾的上限，下限相匹配。实验结果表明，该算法的性能明显优于现有的决斗强盗算法。
2015-06-29 cs.LG stat.ML
Copeland Dueling Bandit Problem: Regret Lower Bound, Optimal Algorithm, and Computationally Efficient Algorithm
The University of Tokyo（东京大学）
我们研究的K-臂决斗土匪问题，标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。推荐科普兰优胜者的难度，击败其他武器的最大数量的武器，其特点是推导出一个渐进的遗憾界。本文提出了Copeland Winners相对最小经验散度（CW-RMED）算法，并给出了它的一个渐近最优后悔界，但该算法能否有效地计算还不清楚。为了解决这个问题，我们设计了一个有效的版本（ECW-RMED），并推导出其渐近遗憾界。决斗强盗算法的实验比较表明，ECW-RMED显着优于现有的。
2016-05-24 cs.LG stat.ML
Regret-Aware Black-Box Optimization with Natural Gradients, Trust-Regions and Entropy Control
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
大多数成功的随机黑箱优化器，如CMA-ES，使用单个样本的排名来获得新的搜索分布。然而，排名的使用也引入了几个问题，例如潜在的优化目标通常不清楚，即，我们不优化期望的适应性。此外，虽然这些算法通常产生搜索分布的高质量平均估计，但所产生的样本可能具有较差的质量，因为这些算法不知道遗憾。最后，有噪声的适应度函数评估可能导致在期望上高度次优的解决方案。相比之下，由策略梯度激励的随机优化器，例如基于模型的相对熵随机搜索（MORE）算法，直接优化预期的适应度函数而不使用排名。MORE可以通过应用自然策略梯度和相容函数近似来导出，并且使用信息论约束来确保策略更新的稳定性。虽然MORE不受所列出的限制，但与基于排名的方法相比，它通常无法实现最先进的性能。我们通过解耦搜索分布的均值和协方差的更新来改进MORE，从而允许对均值进行更积极的更新，同时保持对协方差的更新保守，这是一种基于进化路径的改进熵调度技术，与原始论文相比，该技术收敛速度更快，模型学习方法更简单，更有效。我们将我们的算法与最先进的黑盒优化算法在标准优化任务以及机器人技术中的情景RL任务上进行比较，其中具有小遗憾也是至关重要的。我们在基准函数上获得了有竞争力的结果，并且在RL任务的遗憾方面明显优于基于排名的方法。
2022-05-24 cs.LG cs.NE stat.ML
Vector Search As Nearest Neighbor Matching: RAG-based Policy Learning in Causal Inference
np-hard.co.jp（np-hard公司）
研究提出基于检索增强生成（RAG）的策略学习一步法和两步法，两步法通过向量搜索等进行行动选择，还将两步法遗憾分解并界定，直接评估一步法为策略，把特定行动向量搜索与因果推断最近邻匹配相联系。
2026-07-21 cs.LG econ.EM math.ST
Regret Analysis in Deterministic Reinforcement Learning
Royal Institute of Technology (KTH)（皇家理工学院（KTH））
我们考虑马尔可夫决策过程（MDP）的确定性转移和研究的遗憾最小化，这是中央的最佳学习算法的分析和设计的问题。我们提出了对数问题的具体遗憾的下限，明确地依赖于系统参数（与以前的极大极小方法相比），从而真正量化的基本限制的性能可实现的任何学习算法。确定性MDP可以被解释为图形和分析的周期，我们利用这一事实，以确定一类确定性MDP的遗憾下限可以确定数字。我们进一步证明了这一结果的确定性线搜索问题，和一个确定性的MDP与状态相关的奖励，其遗憾的下限，我们可以明确地状态。这些边界共享的相似性与已知的问题特定的约束的多臂强盗问题，并建议在一个确定性的MDP导航不需要有一个学习算法的性能上的影响。
2021-06-27 cs.LG stat.ML
Learning to Search Better Than Your Teacher
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）；University of Maryland, College Park（马里兰大学帕克分校）
学习搜索结构化预测的方法通常模仿参考策略，与该参考相比，现有的理论保证表现出较低的遗憾。这在许多应用中是不令人满意的，其中引用策略是次优的，并且学习的目标是改进它。我们提供了一个新的学习搜索算法，LOLS，它做得很好相对于参考政策，但另外保证低遗憾相比，偏离学习的政策：局部最优性保证。因此，LOLS可以改善的参考政策，不同于以前的算法。这使我们能够开发结构化的上下文强盗，部分信息结构化的预测设置与许多潜在的应用。
2015-05-20 cs.LG stat.ML
Poisson empirical Bayes estimation of sums of random variables via minimum-distance methods
University of Turin（都灵大学）；Collegio Carlo Alberto（卡洛阿尔贝托学院）；Bocconi University（博科尼大学）；University of Notre Dame（圣母大学）
针对泊松混合模型中随机变量之和的估计问题，提出基于最小距离的非参数经验贝叶斯方法，实现渐近最优并给出有限样本保证，数值实验验证性能。
2026-10-07 math.ST stat.ME stat.ML
Low Regret Binary Sampling Method for Efficient Global Optimization of Univariate Functions
在这项工作中，我们提出了一个计算效率高的单变量损失函数的全局优化问题的算法。对于性能评估，我们研究了算法的累积遗憾，而不是我们的最佳查询和目标函数的最优值之间的简单的遗憾。虽然我们的方法有类似的遗憾结果与传统的下界算法，如Piyavskiii-Shubert方法的Lipschitz连续或Lipschitz光滑函数，它有一个主要的计算成本优势。在Piyavskiii-Shubert方法中，对于某些类型的函数，查询点可能很难确定（因为它们是额外优化问题的解决方案）。然而，这个问题是规避在我们的二进制采样方法，其中的采样集是预先确定的函数特性无关。对于$[0,1]$的搜索空间，我们的方法对于$L$ -Lipschitz连续函数和$H$ -Lipschitz光滑函数分别至多有$L\log (3T)$和$2.25H$遗憾.我们还分析扩展我们的结果，更广泛的一类功能，涵盖更复杂的正则性条件。
2022-01-18 cs.CC cs.LG math.OC
Thompson Sampling for Combinatorial Network Optimization in Unknown Environments
Bilkent University（比尔肯特大学）；University of Cambridge（剑桥大学）
影响力最大化、自适应路由和动态频谱分配都需要从大量替代方案中选择正确的行动。由于组合优化的进步，这些和许多类似的问题可以有效地解决给定的环境与已知的随机性。在本文中，我们采取这一步，并专注于在未知环境中的组合优化。我们考虑一个非常一般的学习框架，称为组合多臂强盗概率触发武器和一个非常强大的贝叶斯算法，称为组合汤普森采样（CTS）。在半强盗反馈模型下，假设在事先不知道基臂期望结果的情况下访问预言机，我们证明了当期望奖励在基臂期望结果中是Lipschitz连续时，CTS实现了$O(\sum_{i =1}^m\log T/(p_iΔ_i))$后悔和$O(\max\{\mathbb{E}[m\sqrt{T\log T/p^*}],\mathbb{E}[m^2/p^*]\})$贝叶斯后悔，其中$m$表示基臂的数目，$p_i$和$Δ_i$分别表示基臂的最小非零触发概率和最小次优间隙$i$，$T$表示时间范围，而$p^*$表示总的最小非零触发概率。我们还表明，当预期的奖励满足触发概率调制Lipschitz连续性，CTS实现$O(\max\{m\sqrt{T\log T},m^2\})$贝叶斯后悔，当触发概率为非零的所有基本武器，CTS实现$O(1/p^*\log(1/p^*))$后悔的时间范围无关。最后，我们数值比较CTS与算法的置信上限的基础上，在几个网络问题，并表明，CTS优于这些算法的至少…
2020-09-21 cs.LG stat.ML
XNAS: Neural Architecture Search with Expert Advice
Alibaba Group（阿里巴巴集团）
提出了一种基于专家建议预测理论的差分神经网络结构优化方法。它的优化准则很好地适合于结构选择，即，它最小化了由操作的次优选择引起的遗憾。与以前的搜索松弛，需要硬修剪的架构，我们的方法的目的是动态地消灭劣质架构，提高优越的。它实现了一个最佳的最坏情况下的遗憾界，并建议使用多个学习率的基础上，所携带的信息量的后向梯度。实验表明，我们的算法在多个图像分类数据集上取得了很好的性能。具体来说，它在移动设置下获得了CIFAR-10的1.6%的出错率，ImageNet的24%，并在另外三个数据集上获得了最先进的结果。
2019-06-19 cs.CV cs.LG math.OC
Analysis of Thompson Sampling for Combinatorial Multi-armed Bandit with Probabilistically Triggered Arms
Bilkent University（比尔肯特大学）
分析了在半强盗反馈条件下，具有概率触发臂的组合多臂强盗的组合Thompson采样（CTS）的后悔性。我们假设学习者可以访问精确的优化预言，但事先不知道预期的基本臂结果。当期望回报函数在期望基臂结果上是Lipschitz连续时，我们推导了CTS的$O(\sum_{i =1}^m \log T / (p_i Δ_i))$后悔界，其中$m$表示基臂数目，$p_i$表示基臂$i$的最小非零触发概率，$Δ_i$表示基臂$i$的最小次优间隙.我们还比较了CTS与组合置信上界（CUCB）通过级联强盗问题的数值实验。
2019-02-19 cs.LG stat.ML
Budget-Constrained Bandits over General Cost and Reward Distributions
The Ohio State University（俄亥俄州立大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
我们考虑了一个无约束的强盗问题，其中每个手臂拉招致一个随机的成本，并产生一个随机的回报。目标是在总成本的预算约束下，最大化总期望报酬。该模型是通用的，因为它允许相关且可能重尾的成本回报对，这些对可以根据许多应用的要求呈现负值。我们表明，如果时刻的顺序$(2+γ)$为一些$γ> 0$存在的所有成本-回报对，$O(\log B)$遗憾是可以实现的预算$B>0$。为了实现严格的遗憾界，我们提出了算法，利用成本和回报之间的相关性，通过提取共同的信息，通过线性最小均方误差估计的每个手臂。我们证明了这个问题的遗憾下界，并表明，所提出的算法实现紧问题相关的遗憾界，这是最佳的联合高斯成本和奖励对的情况下，一个普遍的常数因子。
2020-02-29 cs.LG stat.ML
Regret Analysis of Guided Diffusion for Black-Box Optimization over Structured Inputs
Lattice Lab（晶格实验室）；Toyota Motor Corporation（丰田汽车公司）；School of Mathematics（数学学院）；University of Bristol（布里斯托大学）
本文提出基于证书的期望简单后悔框架，用于指导扩散黑盒优化，避免最大信息增益和RKHS假设，通过质量提升度量解释收敛机制，并提供实用诊断和修正重采样构造。
2026-05-11 cs.LG stat.ML
Toward Optimal Switching Regret for Multi-Armed Bandits with Oblivious Adversary
University of Iowa（爱荷华大学）
本文提出一种结合固定份额学习器与二元区间子程序的算法，在遗忘对手下对任意未知切换次数S实现最优切换遗憾，解决了开放问题。
2026-11-02 cs.LG stat.ML
An Analysis of the Value of Information when Exploring Stochastic, Discrete Multi-Armed Bandits
University of Florida（佛罗里达大学）
在本文中，我们提出了一个信息理论的探索策略，随机，离散的多武装土匪，实现最佳的遗憾。我们的战略是基于信息价值标准。这个标准衡量政策信息和可获得的奖励之间的权衡。大量的政策信息与空间的探索主导搜索相关联，并产生高回报。少量的政策信息有利于利用现有的知识。在这一标准中，信息是由一个参数量化的，这个参数在搜索过程中可以变化。我们证明了这个参数的模拟退火更新，具有足够快的冷却时间表，导致一个最佳的遗憾，这是对数相对于情节的数量。
2018-03-03 cs.AI cs.LG stat.ML
