Lipschitz Bandits with Stochastic Delayed Feedback
本文提出了解决具有随机延迟反馈的Lipschitz Bandit问题的新算法，通过延迟感知放大算法和分阶段学习策略，实现了次线性后悔保证，并在不同延迟场景下验证了算法效率。
2026-02-11 cs.LG stat.ML
Biased Dueling Bandits with Stochastic Delayed Feedback
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of California, Davis（加州大学戴维斯分校）
本文研究了具有随机延迟反馈的偏置对决老虎机问题，提出了两种分别适用于已知延迟分布和仅知延迟期望的算法，并给出了全面的遗憾界分析与实证评估。
2025-04-06 cs.LG stat.ML
A Unified Analysis of Nonstochastic Delayed Feedback for Combinatorial Semi-Bandits, Linear Bandits, and MDPs
University of Amsterdam（阿姆斯特丹大学）；Tel Aviv University（特拉维夫大学）；Amazon Science（亚马逊科学部门）；Politecnico di Milano（米兰理工大学）
本文提出一种新的FTRL分析方法，分离延迟与赌博机反馈成本，为组合半赌博机、对抗性MDP和线性赌博机分别导出最优或近最优遗憾界，并证明FTRL在温和条件下跨轮稳定。
2023-05-15 cs.LG
Randomized Allocation with Nonparametric Estimation for Contextual Multi-Armed Bandits with Delayed Rewards
University of Minnesota（明尼苏达大学）
我们研究了一个多臂强盗问题的协变量设置有可能延迟观察奖励。在对延迟的概率分布进行一些温和的假设下，并使用适当的随机化来选择武器，所提出的策略是强一致的。
2019-09-04 cs.LG math.ST stat.ML
A Best-of-both-worlds Algorithm for Bandits with Delayed Feedback with Robustness to Excessive Delays
University of Copenhagen（哥本哈根大学）；Google Research（谷歌研究院）
本文提出一种无需延迟先验知识的最优双世界算法，通过隐式探索、分布漂移控制和自适应跳过过度延迟观测，实现对任意延迟的鲁棒性，并揭示问题复杂性由缺失信息量而非延迟时间决定。
2024-05-27 cs.LG stat.ML
A Definition of Non-Stationary Bandits
Stanford University（斯坦福大学）；Stanford Graduate School of Business（斯坦福大学商学院）
针对现有非平稳老虎机定义导致的分类模糊、遗憾指标失效及过度探索问题，本文提出了一种适用于贝叶斯与频率学派表述的统一正式定义，确保了分类一致性并提供了更稳健的学习框架。
2023-07-28 cs.LG stat.ML
Bandit and Delayed Feedback in Online Structured Prediction
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；CyberAgent
本文提出带宽和延迟反馈算法，解决了在线结构预测中反馈信息有限的问题，通过改进的估计方法实现更优的遗憾界限。
2026-01-04 cs.LG stat.ML
Multi-Armed Bandit Strategies for Non-Stationary Reward Distributions and Delayed Feedback Processes
Loblaw Digital（罗布劳数字公司）
进行调查的各种多臂强盗（MAB）的策略，以检查他们的表现，表现出非平稳的随机奖励函数的情况下，与延迟反馈。我们运行了几个MAB模拟来模拟杂货店提货的在线电子商务平台，优化产品可用性。在这项工作中，我们评估了几个流行的MAB策略，如$ε$ -贪婪，UCB 1，和汤普森采样。我们比较各自的表现，每一个MAB策略的背景下，后悔最小化。我们在奖励函数是非平稳的情况下进行分析。此外，该过程经历延迟反馈，其中奖励功能不会立即响应所玩的手臂。我们设计了一个新的自适应技术（AG 1）量身定制的非平稳的奖励函数在延迟反馈的情况下。仿真结果表明，与传统的MAB策略相比，该策略在遗憾最小化方面具有更好的性能。
2019-07-29 cs.LG stat.AP stat.ML
Unifying Clustered and Non-stationary Bandits
University of Virginia（弗吉尼亚大学）
非平稳的土匪和土匪的在线聚类解除了上下文土匪的限制性假设，并为许多重要的现实世界的场景提供了解决方案。虽然解决这两个问题的实质有相当大的重叠，但它们被独立地研究。在本文中，我们连接这两股的土匪研究的概念下的测试的同质性，无缝地解决变化检测的非平稳土匪和集群识别的在线集群的土匪在一个统一的解决方案框架。严格的遗憾分析和广泛的实证评估表明，我们提出的解决方案的价值，特别是它的灵活性，在处理各种环境假设。
2020-09-05 cs.LG stat.ML
Stochastic Submodular Bandits with Delayed Composite Anonymous Bandit Feedback
McGill University（麦吉尔大学）；Mila - Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；Purdue University（普渡大学）
本文研究具有随机子模奖励和延迟复合匿名反馈的组合多臂赌博机问题，提出三种延迟模型下的遗憾界，并证明算法优于其他全臂方法。
2025-01-22 cs.AI cs.DS cs.LG
Non-stationary Delayed Combinatorial Semi-Bandit with Causally Related Rewards
Tübingen University（图宾根大学）；Fraunhofer Heinrich Herz Institute（弗劳恩霍夫海因里希·赫兹研究所）
针对非平稳环境下带反馈延迟、奖励存在因果依赖的组合半老虎机问题，提出从延迟反馈学习因果结构、适应环境漂移的决策策略，证明了遗憾界并通过实验验证了其在疫情传播溯源等场景的有效性。
2023-07-18 cs.LG stat.ML
Banker Online Mirror Descent: A Universal Approach for Delayed Online Bandit Learning
Tsinghua University（清华大学）
本文提出Banker-OMD通用框架，将延迟反馈处理与OMD算法设计解耦，在延迟多臂老虎机和线性老虎机中取得近最优遗憾界，并首次匹配无延迟无尺度对抗MAB的下界。
2023-05-27 cs.LG
Best arm identification in multi-armed bandits with delayed feedback
Stanford University（斯坦福大学）；University of Michigan（密歇根大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们提出了一个泛化的最佳手臂识别问题，在随机多臂土匪（MAB）的设置，每拉一个手臂与延迟反馈。反馈中的延迟增加了标准算法的有效样本复杂度，但是如果我们能够访问在拉取完成之前接收到的部分反馈，则可以抵消延迟。我们提出了一个一般的框架来模拟部分和延迟反馈之间的关系，作为一个特殊的情况下，我们引入有效的算法设置的部分反馈有偏或无偏估计的延迟反馈。此外，我们提出了一种新的扩展算法的并行MAB设置代理可以控制一批武器。我们的实验在现实世界中的设置，涉及政策搜索和超参数优化在计算可持续性领域的快速充电电池和野生动物走廊建设，表明利用部分反馈的结构可以导致显着改善基线在顺序和并行MAB。
2018-03-29 cs.AI cs.LG stat.ML
Multiscale Non-stationary Stochastic Bandits
University of California, Davis（加利福尼亚大学戴维斯分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
用于线性模型的经典上下文强盗算法（例如LinUCB）假设手臂的奖励分布由平稳线性回归建模。当线性回归模型随时间非平稳时，LinUCB的后悔可以随时间线性缩放。针对非平稳线性强盗问题，提出了一种新的多尺度变点检测方法Multiscale-LinUCB，该方法能够主动适应环境的变化.我们还对Multiscale-LinUCB算法的遗憾界进行了理论分析。实验结果表明，我们提出的多尺度LinUCB算法优于其他国家的最先进的算法在非平稳的上下文环境。
2020-02-13 cs.LG stat.ML
To update or not to update? Delayed Nonparametric Bandits with Randomized Allocation
University of Minnesota（明尼苏达大学）
背景强盗中的延迟报酬问题在各种实际环境中都引起了人们的兴趣。我们研究了随机分配策略，并提供了一个了解如何探索剥削权衡的延迟观察奖励的影响。在随机策略中，探索-开发的程度由用户确定的探索概率序列控制。在存在延迟奖励的情况下，人们可以选择使用在每个时间点更新的原始探索序列，或者仅在观察到新奖励时更新序列，从而导致两种竞争策略。在这项工作中，我们表明，虽然这两种策略可能会导致很强的一致性分配，后者的财产持有更广泛的情况。然而，对于有限样本的性能，我们说明了这两种策略都有自己的优点和缺点，这取决于延迟的严重程度和潜在的奖励产生机制。
2020-05-26 cs.LG math.ST stat.ML
An Optimization-based Algorithm for Non-stationary Kernel Bandits without Prior Knowledge
University of Michigan（密歇根大学）
我们提出了一种算法的非平稳内核土匪，不需要先验知识的非平稳程度。该算法遵循通过解决平衡探索和开发的优化问题获得的随机策略。它通过在检测到奖励函数的变化时重新启动来适应非平稳性。我们的算法享有更严格的动态遗憾界比以前的工作上的非平稳内核强盗设置。此外，当应用到非平稳线性强盗设置通过使用线性核，我们的算法是近minimax最优，解决了一个开放的问题，在非平稳线性强盗文献。我们扩展我们的算法，使用一个神经网络动态适应的特征映射到观察到的数据。我们证明了一个动态后悔界的扩展使用神经正切核理论。我们的经验表明，我们的算法和扩展可以适应不同程度的非平稳性。
2023-02-20 cs.LG stat.ML
A Near-Optimal Change-Detection Based Algorithm for Piecewise-Stationary Combinatorial Semi-Bandits
UIUC（伊利诺伊大学厄巴纳-香槟分校）；SMU（新加坡管理大学）
研究了分段平稳组合半强盗问题。与原来的组合半强盗问题相比，我们的设置假设的奖励分布的基础武器可能会改变在一个分段固定的方式在未知的时间步长。我们提出了一种算法，\texttt{GLR-CUCB}，它采用了一种有效的组合半强盗算法，\texttt{CUCB}，几乎无参数的变点检测器，\emph{Generalized Likelihood Ratio Test}（GLRT）。我们的分析表明，\texttt{GLR-CUCB}的遗憾是上界由$\mathcal{O}(\sqrt{NKT\log{T}})$，其中$N$是分段固定段的数量，$K$是基本臂的数量，和$T$是时间步的数量。作为补充，我们还得到了一个几乎匹配的遗憾下界的顺序$Ω(\sqrt{NKT}$），分段固定的多臂土匪和组合半土匪，使用信息理论技术和明智地构建分段固定的土匪实例。我们的下限比最好的遗憾下限$Ω(\sqrt{T})$更紧。在合成数据集和真实数据集上的数值实验证明了\texttt{GLR-CUCB}算法相对于其他最先进算法的优越性。
2020-02-21 cs.LG stat.ML
A Best-of-Both-Worlds Algorithm for Bandits with Delayed Feedback
University of Copenhagen（哥本哈根大学）；Google Research（谷歌研究院）
我们提出了一种改进的Zimmert和Seldin [2020]算法的调整，用于具有延迟反馈的对抗性多臂强盗，除了Zimmert和Seldin所示的最小最优对抗性遗憾保证之外，还同时在具有固定延迟的随机设置中实现了接近最优的遗憾保证。具体来说，对抗性后悔保证是$\mathcal{O}(\sqrt{TK} + \sqrt{dT\log K})$，其中$T$是时间范围，$K$是手臂的数量，$d$是固定延迟，而随机后悔保证是$\mathcal{O}\left(\sum_{i \neq i^*}(\frac{1}{Δ_i} \log(T) + \frac{d}{Δ_{i}\log K}) + d K^{1/3}\log K\right)$，其中$Δ_i$是次优间隙。我们还提出了一个扩展的算法的情况下，任意延迟，这是基于预言知识的最大延迟$d_{max}$和实现$\mathcal{O}(\sqrt{TK} + \sqrt{D\log K} + d_{max}K^{1/3} \log K)$遗憾的对抗制度，其中$D$是总延迟，和$\mathcal{O}\left(\sum_{i \neq i^*}(\frac{1}{Δ_i} \log(T) + \frac{σ_{max}}{Δ_{i}\log K}) + d_{max}K^{1/3}\log K\right)$遗憾的随机制度，其中$σ_{max…
2022-06-29 cs.LG stat.ML
DAL: A Practical Prior-Free Black-Box Framework for Piecewise Stationary Bandits
Georgia Institute of Technology（佐治亚理工学院）；University of California, Berkeley（加州大学伯克利分校）
提出检测增强学习（DAL）框架，无需非平稳性先验知识，将任意最优静态赌博机算法与变化检测器结合，在多种非平稳场景下超越现有方法。
2026-06-16 cs.LG stat.ML
Cascading Non-Stationary Bandits: Online Learning to Rank in the Non-Stationary Cascade Model
University of Amsterdam（阿姆斯特丹大学）
非平稳性出现在许多在线应用中，如网络搜索和广告。在本文中，我们研究了在线学习排名问题的非平稳环境中，用户的偏好突然改变，在一个未知的时刻。我们考虑的问题，确定K个最有吸引力的项目，并提出级联非平稳土匪，一个在线学习变种的级联模型，其中用户浏览排名列表从上到下，点击第一个有吸引力的项目。我们提出了两种算法来解决这个非平稳问题：CascadeDUCB和CascadeSWUCB。我们分析了它们的性能，并推导出这些算法的n步遗憾的间隙相关的上界。我们还建立了一个下界级联非平稳土匪的遗憾，并表明这两种算法匹配的下限的对数因子。最后，我们评估他们的表现在现实世界的网络搜索点击数据集。
2019-11-22 cs.LG stat.ML
Delayed Feedback in Kernel Bandits
MediaTek Research（联发科技研究院）；Imperial College London（帝国理工学院）
在机器学习、学术研究和工业生产中，从昂贵和嘈杂的评估中对未知函数进行黑盒优化是一个普遍存在的问题。问题的抽象可以被公式化为基于内核的强盗问题（也称为贝叶斯优化），其中学习器旨在通过连续的噪声观测来优化内核化函数。现有的工作主要假设反馈是立即可用的;在许多现实世界的情况下，包括推荐系统，临床试验和超参数调整的假设失败。考虑随机延迟反馈下的核强盗问题，提出了一种带$\tilde{\mathcal{O}}(\sqrt{Γ_k(T)T}+\mathbb{E}[τ])$遗憾的算法，其中$T$是时间步数，$Γ_k(T)$是具有$T$观测值的核的最大信息增益，$τ$是延迟随机变量.这代表了Verma等人（2022）报告的$\tilde{\mathcal{O}}(Γ_k(T)\sqrt{T}+\mathbb{E}[τ]Γ_k(T))$最新技术水平遗憾界限的显著改善。特别是，对于非常不光滑的内核，信息增益几乎线性增长的时间，平凡化现有的结果。我们还验证了我们的理论结果与模拟。
2023-02-01 cs.AI cs.LG stat.ML
Near-Optimal Regret for Adversarial MDP with Delayed Bandit Feedback
University of Southern California（南加州大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Amazon（亚马逊）
强化学习（RL）的标准假设是智能体立即观察其行为的反馈。然而，在实践中，反馈往往是延迟观察。研究了具有未知转移、逆向变化代价和无限制延迟反馈的偶发马尔可夫决策过程（MDP）的在线学习。更确切地说，针对情节$k$中的代理的反馈仅在情节$k + d^k$结束时被揭示，其中延迟$d^k$可以随情节而改变并且由不经意的对手选择。我们提出了第一个算法，实现接近最佳的$\sqrt{K + D}$遗憾，其中$K$是情节的数量和$D = \sum_{k=1}^K d^k$是总延迟，显着改善后，最有名的遗憾界的$(K + D)^{2/3}$。
2023-01-21 cs.LG
Non-Stationary Dueling Bandits
Paderborn University（帕德博恩大学）；University of Munich（慕尼黑大学）
研究了具有$K$武器的非平稳决斗土匪问题，其中时间范围$T$由$M$平稳段组成，每个平稳段都与自己的偏好矩阵相关联.学习者反复选择一对手臂，并观察它们之间的二元偏好作为反馈。为了最大限度地减少累积的遗憾，学习者需要尽可能多地选择每个固定段的孔多塞冠军，尽管偏好矩阵和段长度是未知的。我们提出了$\mathrm{Beat\, the\, Winner\, Reset}$算法，并证明了其期望的二元弱遗憾在平稳的情况下，这收紧了目前的最先进的算法的界。我们还显示了一个遗憾的约束的非平稳的情况下，不需要知识的$M$或$T$。我们进一步提出并分析了两个元算法，$\mathrm{DETECT}$弱遗憾和$\mathrm{Monitored\, Dueling\, Bandits}$强遗憾，都基于检测窗口的方法，可以将任何决斗强盗算法作为一个黑盒算法。最后，我们证明了在非平稳的情况下，期望弱后悔的最坏情况下的下限。
2022-02-02 cs.LG stat.ML
Delay-Adapted Policy Optimization and Improved Regret for Adversarial MDP with Delayed Bandit Feedback
Tel Aviv University（特拉维夫大学）；Amazon Science（亚马逊科学）
本文提出延迟自适应策略优化（DAPO）算法，在对抗性MDP中处理延迟强盗反馈，首次实现表格MDP的近乎最优遗憾界，并扩展到线性函数逼近和深度强化学习场景。
2023-05-13 cs.LG
Linear and Neural Dueling Bandits with Delayed Feedback
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The Chinese University of Hong Kong（香港中文大学）
针对随机延迟反馈下的上下文对抗性赌博机问题，提出线性（LDB-DF）和神经（NDB-DF）两种算法，通过将逆概率加权（IPW）机制直接融入损失函数实现无偏校正，并给出线性设置下O(d*sqrt(T))的遗憾界和神经设置下的次线性保证。
2026-05-26 cs.AI cs.LG
Neural Contextual Bandits Under Delayed Feedback Constraints
School of Computer Science, University of Birmingham（伯明翰大学计算机学院）；Iowa State University（爱荷华州立大学）
针对神经上下文老虎机中奖励反馈随机未知延迟的问题，提出Delayed NeuralUCB（UCB探索）及变体Delayed NeuralTS（汤普森采样探索），推导了次指数延迟下的累积遗憾上界，实验验证其在真实数据集上能有效处理延迟且优于基准方法。
2025-04-16 cs.LG
Taming Non-stationary Bandits: A Bayesian Approach
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）
研究了非平稳环境中的多臂强盗问题。基于贝叶斯方法，我们提出了一个变体的汤普森采样，可用于休息和不安的土匪的情况。通过对先验分布的参数进行贴现，我们描述了一种系统地降低过去观测值影响的方法。此外，我们推导出精确的表达式的概率挑选次优武器。通过增加贝叶斯样本的利用价值，我们还提供了一个乐观的版本的算法。在各种情况下进行了大量的实证分析，以验证所提出的算法的效用。还包括与各种状态的手臂算法的比较研究。
2017-07-31 cs.LG stat.ML
On Slowly-varying Non-stationary Bandits
Indian Institute of Science（印度科学院）
我们考虑最小化的动态遗憾，在非平稳的土匪缓慢变化的财产。也就是说，我们假设手臂的回报是随机的，并且随着时间的推移是独立的，但是在任何两个连续的时间步长，任何手臂的期望回报之间的绝对差至多是漂移极限$δ> 0$。针对这一过去没有得到足够重视的情形，我们给出了一个新的算法，它将著名的逐次消去算法自然地推广到了非平稳的bandit情形。我们建立了第一个依赖于实例的后悔上界缓慢变化的非平稳土匪。分析反过来依赖于一个新的表征的实例作为一个可检测的差距，这取决于预期的手臂奖励差异。我们还提供了这个问题的第一个极大极小遗憾下界，使我们能够证明我们的算法本质上是极大极小最优的。此外，这个下限，我们得到的匹配，更一般的总变差预算土匪问题，建立似乎更容易前一个问题至少是困难的更一般的后一个问题在极大极小意义上。我们补充我们的理论结果与实验插图。
2021-10-25 cs.LG stat.ML
On Adaptivity in Non-stationary Stochastic Optimization With Bandit Feedback
Naveen Jindal School of Management, University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）
本文研究了带反馈和动态后悔测度的非平稳随机最优化问题。Besbes et al.（2015）的开创性工作表明，当聚合函数变化先验已知时，一个简单的重新启动算法可以获得最佳动态遗憾。在这项工作中，我们设计了一个固定步长的随机最优化算法，该算法结合Wei和Luo（2021）的多尺度采样框架，在不需要函数变化预算的先验知识的情况下实现了非平稳随机最优化中的最优动态遗憾，从而关闭了一段时间以来一直悬而未决的问题。我们还建立了一个额外的结果表明，任何算法实现良好的遗憾对固定基准具有高概率可以自动转换为算法，实现良好的遗憾对动态基准，这是适用于广泛的一类强盗凸优化算法。
2022-10-11 cs.LG stat.ML
Non-Stationary Bandit Learning via Predictive Sampling
Jones Graduate School of Business, Rice University（里士满大学沃森商学院研究生院）；Stanford Graduate School of Business（斯坦福商学院）；Department of Management Science and Engineering, Department of Electrical Engineering, Stanford University（斯坦福大学管理科学与工程系、电气工程系）
本文提出预测采样算法，通过区分信息快速失效的行动来改进非平稳环境下的老虎机学习，理论证明其性能并验证其在复杂环境中的有效性。
2026-06-06 cs.LG stat.ML
Efficient Contextual Bandits in Non-stationary Worlds
University of Southern California（南加州大学）；Microsoft Research, NYC（微软研究院（纽约））
大多数上下文强盗算法最大限度地减少对最佳固定策略的遗憾，这是应用程序中普遍存在的非平稳环境的一个有问题的基准。在这项工作中，我们开发了几个有效的上下文强盗算法的非平稳环境，通过装备现有的方法，独立同分布。复杂的统计测试的问题，以便动态地适应分布的变化。我们分析了各种标准的概念，适合于非平稳环境的遗憾，这些算法，包括间隔遗憾，切换遗憾，和动态遗憾。当每次与最佳策略竞争时，如果存在具有$S$平稳周期的$T$轮，或者更一般地$\mathcal{O}(Δ^{1/3}T^{2/3})$，其中$Δ$是一些非平稳性度量，则我们的算法之一实现遗憾$\mathcal{O}(\sqrt{ST})$。这些结果几乎匹配的最佳保证实现了一个低效的基线，这是一个经典的Exp4算法的变体。动态后悔的结果也是第一个有效的和完全对抗性的上下文强盗。此外，虽然上述结果需要调整参数的基础上的未知量$S$或$Δ$，我们还开发了一个参数的算法实现遗憾$\min\{S^{1/4}T^{3/4}, Δ^{1/5}T^{4/5}\}$。这改进并推广了Karnin和Anava（2016）的现有最佳结果$Δ^{0.18}T^{0.82}$，该结果仅适用于双臂强盗问题。
2019-04-03 cs.LG stat.ML
Distributed Stochastic Bandit Learning with Delayed Context Observation
Iowa State University（爱荷华州立大学）
我们考虑的问题，M代理合作互动的一个随机K-武装上下文土匪的实例，其中K>>M。代理的目标是同时最小化所有代理在时间范围T上的累积后悔。我们考虑一个设置，在延迟后观察到确切的上下文，并在选择动作的时候，代理人不知道上下文，只有一个分布的上下文集可用。这种情况出现在不同的应用中，其中在决策时需要预测上下文（例如，天气预报或股票市场预测），并且一旦获得奖励就可以估计上下文。我们提出了一个基于置信上界（UCB）的分布式算法，并证明了线性参数化的奖励函数的遗憾和通信界。通过对合成数据和真实世界Movielens数据的数值模拟，我们验证了我们的算法的性能。
2022-11-15 cs.LG
ANACONDA: An Improved Dynamic Regret Algorithm for Adaptive Non-Stationary Dueling Bandits
University of Oslo（奥斯陆大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文研究了非平稳的决斗强盗问题，提出了第一个解决该问题的自适应动态后悔算法。在这方面的工作中，仅有的两个现有尝试在多个维度上都存在不足，包括非平稳复杂性的悲观度量和需要偏好变化数量的知识的非自适应参数调整。我们开发了一种基于消除的重新调度算法，以克服这些缺点，并显示一个接近最佳的$\tilde{O}(\sqrt{S^{\texttt{CW}} T})$动态遗憾的界限，其中$S^{\texttt{CW}}$是孔多塞冠军的次数变化在$T$轮。这产生了第一个近似最优的动态后悔算法未知的$S^{\texttt{CW}}$。我们进一步研究了其他相关的概念，非平稳性，我们也证明了近最优的动态后悔保证下的基本偏好模型的额外假设。
2022-10-25 cs.LG stat.ML
Learning Contextual Bandits in a Non-stationary Environment
University of Virginia（弗吉尼亚大学）
多臂强盗算法已经成为解决推荐系统中的探索/利用困境以及许多其他重要现实问题（如显示广告）的参考解决方案。然而，这样的算法通常假设一个固定的奖励分布，这在实践中很难保持用户的偏好是动态的。这不可避免地使推荐系统的性能不佳。在本文中，我们考虑的情况下，潜在的奖励分布保持不变（可能很短）的时期和变化在未知的时刻。据此，我们提出了一个上下文的强盗算法，检测可能的变化的环境的基础上，其回报估计的信心和更新的手臂选择策略。严格的上后悔界分析所提出的算法证明了它的学习有效性，在这样一个非平凡的环境。对合成和真实世界数据集的广泛实证评估证实了其在不断变化的环境中的实用性。
2018-05-23 cs.LG stat.ML
Multiarmed Bandit Problems with Delayed Feedback
University of Pennsylvania（宾夕法尼亚大学）；Duke University（杜克大学）；Google（谷歌）
在本文中，我们开始研究优化的强盗型问题的情况下，发挥的反馈是不是立即知道。这自然会出现在分配问题，已被广泛研究的文献中，虽然在没有延迟的反馈。我们在贝叶斯环境中研究这个问题。在存在延迟的情况下，已知不存在具有次指数运行时间的可证明保证的解。我们发现，在分配设置中出现的延迟反馈的强盗问题，可以被迫有显着的结构，在最优性略有损失。这种结构使我们能够推理单臂策略与纠缠最优策略之间的关系，并最终导致对一类非常一般的先验的O（1）近似。我们开发的结构性见解是关键的兴趣，并延续到设置中，在那里可以即时获得行动的反馈，我们也改进了在此设置中的所有以前的结果。
2013-06-18 cs.DS cs.LG
Budgeted Recommendation with Delayed Feedback
Kyushu University（九州大学）；Ruhr-University Bochum（鲁尔大学波鸿分校）
本文研究有限预算与延迟反馈耦合下的上下文多臂老虎机资源分配问题，提出 DORAL 策略以在臂依赖延迟反馈中优化资源支出。
2024-05-19 cs.LG
Delaytron: Efficient Learning of Multiclass Classifiers with Delayed Bandit Feedbacks
IIIT Hyderabad（海得拉巴国际信息技术研究所）
在本文中，我们提出了在线算法称为{ \it Delaytron}学习多类分类器使用延迟强盗反馈。反馈延迟$\{d_t\}_{t=1}^T$的序列对于算法是未知的。在第$t$轮，该算法观察示例$\mathbf{x}_t$并预测标签$\tilde{y}_t$，并且仅在$d_t$轮之后接收强盗反馈$\mathbb{I}[\tilde{y}_t=y_t]$。当$t+d_t>T$时，我们认为第$t$轮的反馈缺失。我们表明，该算法实现了遗憾的$\mathcal{O}\left(\sqrt{\frac{2 K}γ\left[\frac{T}{2}+\left(2+\frac{L^2}{R^2\Vert \W\Vert_F^2}\right)\sum_{t=1}^Td_t\right]}\right)$时，每个丢失的样本的损失是上界$L$。在缺失样本的损失没有上界的情况下，Delaytron实现的遗憾是$\mathcal{O}\left(\sqrt{\frac{2 K}γ\left[\frac{T}{2}+2\sum_{t=1}^Td_t+\vert \mathcal{M}\vert T\right]}\right)$，其中$\mathcal{M}$是$T$轮中缺失样本的集合。这些界限是用恒定的步长实现的，这需要$T$和$\sum_{t=1}^Td_t$的知识。对于$T$和$\sum_{t=1}^…
2022-05-17 cs.AI cs.LG stat.ML
When Offline Evaluation Misleads: A Diagnostic Protocol for Reward and Policy Selection in Delayed-Feedback Contextual Bandits
Thumbtack, Inc.（Thumbtack公司）
针对延迟反馈情境多臂老虎机的奖励与策略选择，提出有序诊断协议，验证其有效性并揭示奖励排序易误导、个性化溢价易高估的结论。
2026-08-13 cs.LG
Dynamic Regret for Non-Stationary Linear Bandits via Misspecification Reductions
Department of Mathematics, The Hong Kong University of Science and Technology（香港科技大学数学系）；Stern School of Business, New York University（纽约大学斯特恩商学院）；Department of IEDA, The Hong Kong University of Science and Technology（香港科技大学工业工程与决策分析系）
研究含特定轮次可行决策集的非平稳线性带型问题，针对现有方法局限，从统一错误设定减少视角，分块关联动态遗憾与固定参数线性带型基准，得出最优动态遗憾依赖。
2026-07-07 cs.LG stat.ML
Near-Optimal Algorithm for Non-Stationary Kernelized Bandits
MI-6 Ltd.（MI-6有限公司）；Nagoya University（名古屋大学）；RIKEN AIP（理化学研究所人工智能项目）
本文针对非平稳核化老虎机问题，首次给出算法无关遗憾下界，并提出带随机排列的重启分阶段消除算法（R-PERP），以低计算成本实现近最优遗憾。
2024-10-21 cs.LG stat.ML
Non-Stationary Lipschitz Bandits
University of Tübingen（图宾根大学）；École Polytechnique, CMAP（巴黎政治学院（CMAP））
针对动作无限、奖励函数可任意变化的非平稳Lipschitz老虎机问题，提出基于动作空间分层离散化的自适应检测显著偏移算法，无需非平稳先验即实现最小最大最优动态后悔界，为该场景首个最优保证。
2025-10-22 cs.LG stat.ML
Incentivized Exploration of Non-Stationary Stochastic Bandits
University of Colorado Boulder（科罗拉多大学博尔德分校）
本研究针对非平稳多臂老虎机问题，提出两种激励探索算法，在突变和连续变化环境中实现次线性遗憾与补偿，有效激励探索。
2024-03-16 cs.AI cs.LG stat.ML
Delayed Bandits: When Do Intermediate Observations Help?
Università degli Studi di Milano（米兰大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；University of Copenhagen（哥本哈根大学）；University of Amsterdam（阿姆斯特丹大学）；Politecnico di Milano（米兰理工大学）
本文研究带延迟反馈和中间观测的K臂老虎机，证明状态到损失映射的性质决定问题复杂度，并给出中间观测何时能降低遗憾率的条件。
2023-05-30 cs.LG
A New Look at Dynamic Regret for Non-Stationary Stochastic Bandits
DeepMind（深度思维）
研究了非平稳随机多臂强盗问题，其中在学习过程中，每个臂的奖励统计量可能会发生多次变化。一个学习算法的性能进行评估，在他们的动态后悔，这是定义为代理选择最佳的手臂在每个时间步的预期累积奖励和学习算法的累积奖励之间的差异。衡量这种环境的难度的一种方法是考虑最佳手臂的身份可以改变多少次。我们提出了一种方法，实现，在$K$武装土匪问题，一个接近最佳的$\widetilde O(\sqrt{K N(S+1)})$动态遗憾，其中$N$是问题的时间范围和$S$是最佳的手臂变化的身份的次数，没有$S$的先验知识。以前的工作，这个问题得到的遗憾的界限，规模的变化（或变化量）的奖励功能，这可能会大得多，或假设先验知识的$S$，以实现类似的界限。
2022-03-08 cs.LG stat.ML
Online Nonsubmodular Optimization with Delayed Feedback in the Bandit Setting
针对老虎机场景下带延迟反馈的在线非子模优化问题，提出两种算法分别解决已有悔界依赖最大延迟、延迟与反馈效应耦合的局限，并通过结构化稀疏学习实验验证了方法优越性。
2025-08-01 cs.LG
Nearly Optimal Adaptive Procedure with Change Detection for Piecewise-Stationary Bandit
Uber Technologies Inc.（优步科技公司）；Adobe Research（Adobe研究部）；Google Research（谷歌研究部）；Georgia Tech（佐治亚理工学院（注：Georgia Tech 通常译为佐治亚理工学院））
多臂强盗（MAB）是一类在线学习问题，其中学习代理的目标是最大化其预期的累积奖励，同时重复选择拉动具有未知奖励分布的手臂。我们考虑的情况下，奖励分布可能会改变在一个分段固定的方式在未知的时间步长。我们表明，通过将一个简单的变化检测组件与经典的UCB算法检测和适应变化，我们所谓的M-UCB算法可以实现接近最佳的遗憾界的顺序为$O(\sqrt{MKT\log T})$，其中$T$是时间步长的数量，$K$是武器的数量，和$M$是固定段的数量。与最佳可用下限的比较表明，我们的M-UCB在$T$中几乎是最佳的对数因子。我们还比较M-UCB与国家的最先进的算法在数值实验中使用公共雅虎！数据集，以展示其卓越的性能。
2019-01-24 cs.LG stat.ML
Online Learning of Whittle Indices for Restless Bandits with Non-Stationary Transition Kernels
Department of ECE, Purdue University（普渡大学电子工程系）
本文研究了面对未知非平稳动态的restless bandits最优资源分配问题，提出滑动窗口在线Whittle策略，在保持计算效率的同时适应时间变化的核。理论分析显示算法在动态 regret 上达到亚线性性能，且通过Bandit-over-Bandit框架处理未知变化预算情况。
2026-04-21 cs.LG stat.ML
A New Algorithm for Non-stationary Contextual Bandits: Efficient, Optimal, and Parameter-free
University of Southern California（南加州大学）
我们提出了第一个上下文强盗算法，是无参数，高效，最佳的动态遗憾。具体来说，我们的算法实现了动态遗憾$\mathcal{O}(\min\{\sqrt{ST}, Δ^{\frac{1}{3}}T^{\frac{2}{3}}\})$的上下文强盗问题与$T$轮，$S$开关和$Δ$总变化的数据分布。重要的是，我们的算法是自适应的，不需要提前知道$S$或$Δ$，并可以有效地实现假设访问一个ERM oracle。我们的结果严格地改进了（Luo et al.，2018），并大大推广和改进了（Auer等人，2018）的$\mathcal{O}(\sqrt{ST})$结果，该结果仅适用于没有上下文信息的双臂强盗问题。我们的算法的关键新颖性是引入重放阶段，在该阶段中，算法根据其先前的决定在一定的时间内采取行动，以检测非平稳性，同时保持探索和开发之间的良好平衡。
2019-06-18 cs.LG stat.ML
Kiefer Wolfowitz Algorithm is Asymptotically Optimal for a Class of Non-Stationary Bandit Problems
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
我们考虑为一类强盗问题设计分配规则或“在线学习算法”的问题，其中每次可用的控制动作集$s$是$\mathbb{R}^d$的凸紧子集。当在时间$s$选择动作$x$时，算法获得在$x$处评估的未知且时变函数$f_s$的噪声值。算法的“遗憾”是其预期奖励与策略获得的奖励之间的差距，该策略在每次$s$时都知道函数$f_s$，因此选择使$f_s$最大化的动作$x_s$。对于这个非平稳的强盗问题的设置，我们考虑两个变种的Kiefer Wolfowitz（KW）算法i）KW与固定步长$β$，和ii）KW与滑动窗口的长度$L$。我们表明，如果在时间$T$的函数$f_s$变化的次数是$o(T)$，如果所提出的算法的学习率选择“最佳”，那么所提出的算法的遗憾是$o(T)$，因此算法是渐近有效的。
2017-03-08 cs.LG stat.ML
Revisiting Weighted Strategy for Non-stationary Parametric Bandits
Nanjing University（南京大学）
本文重新分析非平稳参数化赌博机的加权策略，提出精细化遗憾框架，得到与窗口/重启方法同样高效的简单算法，并改进 GLB 与 SCB 的遗憾界。
2023-06-07 cs.LG stat.ML
Lifelong Learning in Multi-Armed Bandits
Centre Borelli, ENS Paris-Saclay（巴黎萨克雷高等师范学院博雷利中心）；Cdiscount（Cdiscount公司）；CREST, ENSAE Paris（巴黎经济与统计高等学校统计与经济研究中心）；Criteo AI Lab（Criteo人工智能实验室）
持续学习和利用从先前任务积累的知识以提高未来性能是长期存在的机器学习问题。在本文中，我们研究了多臂强盗框架中的问题，目标是最小化一系列任务的总后悔。虽然大多数强盗算法的设计有一个低的最坏情况下的遗憾，我们在这里检查平均遗憾的强盗实例从一些先验分布，可能会随着时间的推移而变化。我们特别关注UCB算法的置信区间调整。我们提出了一个强盗的方法与贪心算法，我们进行了广泛的实验评估，在平稳和非平稳的环境。我们进一步将我们的解决方案的致命的强盗问题，显示经验的改进，比以前的工作。
2020-12-28 cs.LG stat.ML
Weighted Linear Bandits for Non-Stationary Environments
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；Université PSL（巴黎文理研究大学）；Deepmind（深度思维）
我们考虑一个随机线性强盗模型，其中可用的行动对应于任意的上下文向量，其相关的奖励遵循非平稳线性回归模型。在此设置中，允许未知回归参数随时间变化。为了解决这个问题，我们提出了D-LinUCB，这是一种基于折扣线性回归的新型乐观算法，其中使用指数权重来平滑地忘记过去。这涉及研究一般假设下的序贯加权最小二乘估计的偏差。作为一个副产品，我们获得了新的偏差结果，可以使用超越非平稳环境。我们提供的D-LinUCB在缓慢变化和快速变化的环境中的行为的理论保证。我们得到了动态后悔的一个上界，它的阶为d^{2/3} B\_T^{1/3}T^{2/3}，其中B\_T是非平稳性的度量（d和T分别是维数和视界）。这个速率已知是最佳的。我们还说明了D-LinUCB的经验性能，并将其与最近提出的替代品在模拟环境中进行比较。
2020-03-20 cs.LG stat.ML
Revisiting Weighted Strategy for Non-stationary Parametric Bandits and MDPs
本文提出了一种简化分析框架，改进了非平稳参数老虎机和MDP的加权策略，提升了算法效率和遗憾界。
2026-01-03 cs.LG stat.ML
Forced Exploration in Bandit Problems
School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院）
针对多臂老虎机问题中奖励分布信息难获取的痛点，提出贪心与强制探索交替的新型算法，无需分布信息即可适配多种分布，给出不同场景下的遗憾上界并验证了性能。
2023-12-13 cs.LG stat.ML
