Generalized Policy Elimination: an efficient algorithm for Nonparametric Contextual Bandits
我们提出了广义策略消除（GPE）算法，一个甲骨文高效的上下文强盗（CB）算法的启发\cite{dudik2011}的策略消除算法。我们证明了第一遗憾最优性保证定理的甲骨文有效CB算法竞争的非参数类具有无限VC-维。具体来说，我们表明，GPE是遗憾最优的（对数因子）的政策类与可积熵。对于具有较大熵的类，我们表明，用于分析GPE的核心技术可以用来设计一个$\varepsilon$ -贪心算法与遗憾界匹配的最佳算法。我们说明了我们的算法和定理的适用性与大型非参数政策类的例子，相关的优化预言可以有效地实现。
2020-03-05 cs.LG stat.ML
Sparse Nonparametric Contextual Bandits
Universitat Pompeu Fabra（庞培法布拉大学）；Delft University of Technology（代尔夫特理工大学）；Bocconi University（博科尼大学）
该研究探讨了非参数上下文老虎机中稀疏性对最小最大遗憾的影响，提出了一种新的减少方法并展示了Feel-Good Thompson采样算法的改进性能。
2026-01-15 cs.LG stat.ML
Bandit Learning with Delayed Impact of Actions
Washington University in St. Louis（圣路易斯华盛顿大学）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
研究了一类具有时滞影响的随机多臂强盗（MAB）问题。在我们的环境中，过去采取的行动会影响随后的未来的手臂奖励。这种行动的延迟影响在现实世界中很普遍。例如，某个社会群体中的人偿还贷款的能力可能取决于历史上该群体被批准贷款申请的频率。如果银行继续拒绝弱势群体的贷款申请，可能会形成一个反馈循环，进一步损害该群体获得贷款的机会。在本文中，我们制定这种延迟和长期的影响，在多武装匪徒的背景下的行动。我们概括了强盗设置编码的依赖性，这种“偏见”由于在学习过程中的行动历史。目标是随着时间的推移最大限度地提高收集的效用，同时考虑到历史行动的延迟影响所产生的动态。我们提出了一种算法，实现了遗憾的$\tilde{\mathcal{O}}(KT^{2/3})$，并显示匹配遗憾下限的$Ω(KT^{2/3})$，其中$K$是武器的数量和$T$是学习视野。我们的研究结果补充了强盗文学增加技术来处理长期影响的行动，并在设计公平的算法有一定的影响。
2021-10-31 cs.LG stat.ML
Bandits with Delayed, Aggregated Anonymous Feedback
Lancaster University（兰卡斯特大学）；Columbia University（哥伦比亚大学）；DeepMind；University of Alberta（阿尔伯塔大学）
我们研究的随机$K$武装土匪问题的一个变种，我们称之为“土匪延迟，聚合匿名反馈”。在这个问题中，当玩家拉动手臂时，就会产生奖励，但不会立即观察到。相反，在每一轮结束时，玩家只观察到在给定回合中碰巧到达的先前生成的奖励的数量的总和。奖励是随机延迟的，由于观察的综合性质，导致特定奖励的手臂的信息丢失。问题是，由于这种延迟的、聚合的匿名反馈，信息丢失的成本是多少？以前的作品研究了土匪随机，非匿名的延迟，并发现，遗憾的增加，只有一个附加因素有关的预期延迟。在本文中，我们表明，这种添加剂的遗憾增加可以保持在较硬的延迟，聚合匿名反馈设置时，预期的延迟（或它的约束）是已知的。我们提供了一个算法，匹配的最坏情况下的遗憾的非匿名问题时，延迟是有界的，和对数因子或一个附加的方差项无界延迟。
2018-06-13 cs.LG stat.ML
A Unified Analysis of Nonstochastic Delayed Feedback for Combinatorial Semi-Bandits, Linear Bandits, and MDPs
University of Amsterdam（阿姆斯特丹大学）；Tel Aviv University（特拉维夫大学）；Amazon Science（亚马逊科学部门）；Politecnico di Milano（米兰理工大学）
本文提出一种新的FTRL分析方法，分离延迟与赌博机反馈成本，为组合半赌博机、对抗性MDP和线性赌博机分别导出最优或近最优遗憾界，并证明FTRL在温和条件下跨轮稳定。
2023-05-15 cs.LG
Linear Bandits with Stochastic Delayed Feedback
DeepMind（深度思维）；Otto-Von-Guericke Universität（奥托·冯·格里克大学）；Amazon（亚马逊）
随机线性强盗是结构化探索/开发问题的自然和充分研究的模型，并广泛用于在线营销和推荐等应用。希望应用现有算法的从业者所面临的主要挑战之一是，通常反馈是随机延迟的，延迟只能部分观察到。例如，虽然购买通常在显示之后的一段时间可观察到，但不购买的决定从未明确地发送到系统。换句话说，学习者只观察到延迟的积极事件。我们正式这个问题作为一个新的随机延迟线性强盗，并提出了${\tt OTFLinUCB}$和${\tt OTFLinTS}$，两个计算效率高的算法，能够整合新的信息，因为它变得可用，并处理永久审查反馈。我们证明了最佳的$\tilde O(\smash{d\sqrt{T}})$界的遗憾的第一个算法，并研究了依赖于延迟相关的参数。我们的模型，假设和结果进行了验证模拟和真实数据的实验。
2020-03-02 cs.LG stat.ML
Stochastic Submodular Bandits with Delayed Composite Anonymous Bandit Feedback
McGill University（麦吉尔大学）；Mila - Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；Purdue University（普渡大学）
本文研究具有随机子模奖励和延迟复合匿名反馈的组合多臂赌博机问题，提出三种延迟模型下的遗憾界，并证明算法优于其他全臂方法。
2025-01-22 cs.AI cs.DS cs.LG
The Adaptivity Barrier in Batched Nonparametric Bandits: Sharp Characterization of the Price of Unknown Margin
Committee on Computational and Applied Mathematics, University of Chicago（芝加哥大学计算与应用数学委员会）；Department of Statistics, University of Chicago（芝加哥大学统计学系）
针对边际参数未知的批量非参数上下文老虎机，提出遗憾膨胀准则刻画未知性代价，证明最优遗憾膨胀随时间范围多项式增长，开发RoBIN算法实现最优膨胀，并揭示批次数超双对数阶时障碍消失的特性。
2025-11-10 cs.LG math.ST stat.ML
Stochastic Bandits with Delayed Composite Anonymous Feedback
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们探索了一个新的设置的多臂强盗（MAB）问题的灵感来自现实世界的应用程序，我们称之为“随机延迟复合匿名反馈（SDCAF）”的强盗。在SDCAF中，拉臂的奖励是随时间随机的，但在拉臂后的未来分散在固定数量的时间步长上，这个问题的复杂性源于对玩家的匿名反馈和奖励的随机生成。由于奖励的聚合性质，玩家无法将奖励与过去的特定时间步长相关联。我们提出了两种算法，这种更复杂的设置SDCAF使用基于相位的扩展UCB算法。我们进行遗憾分析，以显示次线性理论保证这两个算法。
2019-10-11 cs.LG stat.ML
Banker Online Mirror Descent
我们提出了银行家OMD，一个新的框架，推广了经典的在线镜像下降（OMD）技术在在线学习算法设计。Banker-OMD允许算法鲁棒地处理延迟反馈，并提供了在各种延迟反馈在线学习任务中实现$\tilde{O}(\sqrt{T} + \sqrt{D})$式后悔界限的一般方法，其中$T$是时间范围长度，$D$是总反馈延迟。我们展示了银行家OMD的力量与应用程序的三个重要的土匪的情况下，延迟反馈，包括延迟对抗多武装土匪（MAB），延迟对抗线性土匪，和一个新的延迟最好的两个世界MAB设置。Banker-OMD在所有三种设置中均实现了接近最佳的性能。特别是，它导致了第一个延迟对抗线性强盗算法实现$\tilde{O}(\text{poly}(n)(\sqrt{T} + \sqrt{D}))$遗憾。
2023-01-26 cs.LG stat.ML
Non-Stationary Delayed Bandits with Intermediate Observations
DeepMind
在线推荐系统在接收反馈时通常会面临长时间的延迟，特别是在优化一些长期指标时。虽然在静态环境中减轻学习延迟的影响是众所周知的，但当环境发生变化时，这个问题变得更具挑战性。事实上，如果变化的时间尺度与延迟相当，就不可能了解环境，因为现有的观测已经过时。然而，如果中间信号没有延迟地可用，则可以解决所出现的问题，使得给定这些信号，系统的长期行为是稳定的。为了模拟这种情况，我们引入了随机的，非平稳的，延迟土匪与中间观测的问题。我们开发了一个计算效率高的算法UCRL的基础上，并证明次线性后悔保证其性能。实验结果表明，我们的方法是能够学习在非平稳的延迟环境中，现有的方法失败。
2020-08-11 cs.LG stat.ML
Multi-Armed Bandit Strategies for Non-Stationary Reward Distributions and Delayed Feedback Processes
Loblaw Digital（罗布劳数字公司）
进行调查的各种多臂强盗（MAB）的策略，以检查他们的表现，表现出非平稳的随机奖励函数的情况下，与延迟反馈。我们运行了几个MAB模拟来模拟杂货店提货的在线电子商务平台，优化产品可用性。在这项工作中，我们评估了几个流行的MAB策略，如$ε$ -贪婪，UCB 1，和汤普森采样。我们比较各自的表现，每一个MAB策略的背景下，后悔最小化。我们在奖励函数是非平稳的情况下进行分析。此外，该过程经历延迟反馈，其中奖励功能不会立即响应所玩的手臂。我们设计了一个新的自适应技术（AG 1）量身定制的非平稳的奖励函数在延迟反馈的情况下。仿真结果表明，与传统的MAB策略相比，该策略在遗憾最小化方面具有更好的性能。
2019-07-29 cs.LG stat.AP stat.ML
Lipschitz Bandits with Stochastic Delayed Feedback
本文提出了解决具有随机延迟反馈的Lipschitz Bandit问题的新算法，通过延迟感知放大算法和分阶段学习策略，实现了次线性后悔保证，并在不同延迟场景下验证了算法效率。
2026-02-11 cs.LG stat.ML
Biased Dueling Bandits with Stochastic Delayed Feedback
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of California, Davis（加州大学戴维斯分校）
本文研究了具有随机延迟反馈的偏置对决老虎机问题，提出了两种分别适用于已知延迟分布和仅知延迟期望的算法，并给出了全面的遗憾界分析与实证评估。
2025-04-06 cs.LG stat.ML
Transfer Learning for Contextual Multi-armed Bandits
University of Michigan（密歇根大学）；University of Pennsylvania（宾夕法尼亚大学）
针对协变量偏移下的非参数上下文多臂老虎机，本文提出达到极小极大遗憾的迁移学习算法，并给出可自适应未知平滑度的近最优数据驱动方法。
2024-01-25 cs.LG math.ST stat.ML
Banker Online Mirror Descent: A Universal Approach for Delayed Online Bandit Learning
Tsinghua University（清华大学）
本文提出Banker-OMD通用框架，将延迟反馈处理与OMD算法设计解耦，在延迟多臂老虎机和线性老虎机中取得近最优遗憾界，并首次匹配无延迟无尺度对抗MAB的下界。
2023-05-27 cs.LG
Best arm identification in multi-armed bandits with delayed feedback
Stanford University（斯坦福大学）；University of Michigan（密歇根大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们提出了一个泛化的最佳手臂识别问题，在随机多臂土匪（MAB）的设置，每拉一个手臂与延迟反馈。反馈中的延迟增加了标准算法的有效样本复杂度，但是如果我们能够访问在拉取完成之前接收到的部分反馈，则可以抵消延迟。我们提出了一个一般的框架来模拟部分和延迟反馈之间的关系，作为一个特殊的情况下，我们引入有效的算法设置的部分反馈有偏或无偏估计的延迟反馈。此外，我们提出了一种新的扩展算法的并行MAB设置代理可以控制一批武器。我们的实验在现实世界中的设置，涉及政策搜索和超参数优化在计算可持续性领域的快速充电电池和野生动物走廊建设，表明利用部分反馈的结构可以导致显着改善基线在顺序和并行MAB。
2018-03-29 cs.AI cs.LG stat.ML
Linear and Neural Dueling Bandits with Delayed Feedback
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The Chinese University of Hong Kong（香港中文大学）
针对随机延迟反馈下的上下文对抗性赌博机问题，提出线性（LDB-DF）和神经（NDB-DF）两种算法，通过将逆概率加权（IPW）机制直接融入损失函数实现无偏校正，并给出线性设置下O(d*sqrt(T))的遗憾界和神经设置下的次线性保证。
2026-05-26 cs.AI cs.LG
Reward Maximization for Pure Exploration: Minimax Optimal Good Arm Identification for Nonparametric Multi-Armed Bandits
Cornell Tech（康奈尔科技学院）
本文针对非参数多臂老虎机中的好臂识别问题，提出将奖励最大化采样与新型任意时刻有效序贯检验相结合的方法，在错误概率约束下实现最小最大最优停止时间，并在实验中显著减少样本量。
2024-10-21 cs.LG stat.ME stat.ML
A Best-of-both-worlds Algorithm for Bandits with Delayed Feedback with Robustness to Excessive Delays
University of Copenhagen（哥本哈根大学）；Google Research（谷歌研究院）
本文提出一种无需延迟先验知识的最优双世界算法，通过隐式探索、分布漂移控制和自适应跳过过度延迟观测，实现对任意延迟的鲁棒性，并揭示问题复杂性由缺失信息量而非延迟时间决定。
2024-05-27 cs.LG stat.ML
Locally Private Nonparametric Contextual Multi-armed Bandits
School of Statistics, Renmin University of China（中国人民大学统计学院）；School of Management, Fudan University（复旦大学管理学院）；Mendoza College of Business, University of Notre Dame（圣母大学门多萨商学院）；Center for Applied Statistics, School of Statistics, Renmin University of China（中国人民大学应用统计中心）；Department of Statistics, University of Warwick（华威大学统计系）
针对敏感数据序贯决策中的隐私问题，本文提出统一置信界型估计器及跳跃启动方案，解决LDP下非参数化上下文MAB的极小化极大最优性，并通过实验验证。
2025-03-25 cs.LG stat.ME stat.ML
Exploring Partially Observed Networks with Nonparametric Bandits
Tokyo Institute of Technology（东京工业大学）
现实世界的网络，如社交和通信网络，太大了，无法完全观察到。这样的网络经常被部分地观察到，使得网络大小、网络拓扑和原始网络的节点是未知的。在本文中，我们形式化的自适应图探索问题。我们假设我们得到了一个大型网络的不完整快照，并且可以通过查询当前观察到的网络中的节点来发现其他节点。这个问题的目标是在给定的查询预算内最大化观察到的节点的数量。查询哪一组节点最大化所观察到的网络的大小？我们制定这个问题作为一个探索-开发问题，并提出了一种新的非参数多臂强盗（MAB）算法，用于确定哪些节点被查询。我们的贡献包括：（1）$i$ KNN-UCB算法是一种新的非参数MAB算法，它将$k$ -最近邻UCB算法应用于向量空间中臂的设置，（2）从理论上保证了$i$ KNN-UCB算法具有次线性遗憾，（3）将$i$ KNN-UCB算法应用于不同领域的合成网络和真实网络，我们表明，我们的方法发现高达40%以上的节点相比，现有的基线。
2018-04-19 cs.LG cs.SI stat.ML
Bandit and Delayed Feedback in Online Structured Prediction
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；CyberAgent
本文提出带宽和延迟反馈算法，解决了在线结构预测中反馈信息有限的问题，通过改进的估计方法实现更优的遗憾界限。
2026-01-04 cs.LG stat.ML
High-dimensional Nonparametric Contextual Bandit Problem
MI-6 Ltd.（MI-6公司）；New York University（纽约大学）；The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）
针对大特征空间下核化上下文老虎机现有方法在高斯核上高维时遗憾界平凡的问题，引入上下文分布随机假设，证明维度达样本量级仍可无遗憾学习，并推导了宽松遗憾的速率。
2025-05-20 cs.LG stat.ME stat.ML
Nonparametric Kernel Clustering with Bandit Feedback
Technical University of Munich, Munich, Germany（慕尼黑技术大学）
本文提出基于老虎机反馈的非参数聚类框架，利用核方法在再生核希尔伯特空间中进行聚类，提供理论保证并分析采样预算，适应未知信号噪声比。
2026-10-14 cs.LG stat.ML
Delayed Feedback in Kernel Bandits
MediaTek Research（联发科技研究院）；Imperial College London（帝国理工学院）
在机器学习、学术研究和工业生产中，从昂贵和嘈杂的评估中对未知函数进行黑盒优化是一个普遍存在的问题。问题的抽象可以被公式化为基于内核的强盗问题（也称为贝叶斯优化），其中学习器旨在通过连续的噪声观测来优化内核化函数。现有的工作主要假设反馈是立即可用的;在许多现实世界的情况下，包括推荐系统，临床试验和超参数调整的假设失败。考虑随机延迟反馈下的核强盗问题，提出了一种带$\tilde{\mathcal{O}}(\sqrt{Γ_k(T)T}+\mathbb{E}[τ])$遗憾的算法，其中$T$是时间步数，$Γ_k(T)$是具有$T$观测值的核的最大信息增益，$τ$是延迟随机变量.这代表了Verma等人（2022）报告的$\tilde{\mathcal{O}}(Γ_k(T)\sqrt{T}+\mathbb{E}[τ]Γ_k(T))$最新技术水平遗憾界限的显著改善。特别是，对于非常不光滑的内核，信息增益几乎线性增长的时间，平凡化现有的结果。我们还验证了我们的理论结果与模拟。
2023-02-01 cs.AI cs.LG stat.ML
Tracking Most Significant Shifts in Nonparametric Contextual Bandits
Columbia University（哥伦比亚大学）
研究非参数上下文老虎机中均值奖励随时间变化的问题，提出考虑局部性的“经历显著变化”概念，并证明在未知变化数量下可自适应达到更优的动态遗憾率。
2023-11-19 cs.LG stat.ML
Near-Optimal Regret for Adversarial MDP with Delayed Bandit Feedback
University of Southern California（南加州大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Amazon（亚马逊）
强化学习（RL）的标准假设是智能体立即观察其行为的反馈。然而，在实践中，反馈往往是延迟观察。研究了具有未知转移、逆向变化代价和无限制延迟反馈的偶发马尔可夫决策过程（MDP）的在线学习。更确切地说，针对情节$k$中的代理的反馈仅在情节$k + d^k$结束时被揭示，其中延迟$d^k$可以随情节而改变并且由不经意的对手选择。我们提出了第一个算法，实现接近最佳的$\sqrt{K + D}$遗憾，其中$K$是情节的数量和$D = \sum_{k=1}^K d^k$是总延迟，显着改善后，最有名的遗憾界的$(K + D)^{2/3}$。
2023-01-21 cs.LG
Delay-Adapted Policy Optimization and Improved Regret for Adversarial MDP with Delayed Bandit Feedback
Tel Aviv University（特拉维夫大学）；Amazon Science（亚马逊科学）
本文提出延迟自适应策略优化（DAPO）算法，在对抗性MDP中处理延迟强盗反馈，首次实现表格MDP的近乎最优遗憾界，并扩展到线性函数逼近和深度强化学习场景。
2023-05-13 cs.LG
A Nonparametric Contextual Bandit with Arm-level Eligibility Control for Customer Service Routing
Amazon（亚马逊）
亚马逊客户服务每年为数百万客户联系人提供实时支持。虽然机器人解析器有助于自动化一些流量，但我们仍然看到对人类代理的高需求，也称为主题专家（SME）。针对不同领域的问题（退货政策、设备故障排除等）与客户联系。根据他们的培训，并非所有的中小企业都有资格处理所有的联系。将联系人路由到符合条件的SME是一个重要的问题，因为SME的域资格取决于培训质量，并且可能随着时间的推移而变化。为了最佳地推荐中小企业，同时学习真正的资格状态，我们建议制定路由问题的非参数上下文强盗算法（K-Boot）加上资格控制（EC）算法。K-Boot模型在由$k$ -NN和Bootstrap Thompson Sampling选择的类似过去样本上使用内核平滑器进行奖励。EC过滤器武器（中小企业）的最初系统声称的资格，并动态验证此信息的可靠性。K-Boot算法是一种通用的强盗算法，EC算法也适用于其他强盗算法。我们的模拟研究表明，K-Boot的表现与国家的最先进的Bandit模型，和EC提升K-Boot的性能时，随机资格信号存在。
2022-09-08 cs.LG
Bayesian Nonparametric Thompson Sampling for Multi-Armed Bandits
Columbia University（哥伦比亚大学）
该研究针对多臂老虎机问题，提出贝叶斯非参数汤普森采样算法，无需指定奖励模型参数形式，实验表明其后悔性能与Oracle TS相当，且在多种奖励分布场景下优于现有算法。
2026-10-14 cs.LG stat.CO stat.ML
Neural Contextual Bandits Under Delayed Feedback Constraints
School of Computer Science, University of Birmingham（伯明翰大学计算机学院）；Iowa State University（爱荷华州立大学）
针对神经上下文老虎机中奖励反馈随机未知延迟的问题，提出Delayed NeuralUCB（UCB探索）及变体Delayed NeuralTS（汤普森采样探索），推导了次指数延迟下的累积遗憾上界，实验验证其在真实数据集上能有效处理延迟且优于基准方法。
2025-04-16 cs.LG
Non-stationary Delayed Combinatorial Semi-Bandit with Causally Related Rewards
Tübingen University（图宾根大学）；Fraunhofer Heinrich Herz Institute（弗劳恩霍夫海因里希·赫兹研究所）
针对非平稳环境下带反馈延迟、奖励存在因果依赖的组合半老虎机问题，提出从延迟反馈学习因果结构、适应环境漂移的决策策略，证明了遗憾界并通过实验验证了其在疫情传播溯源等场景的有效性。
2023-07-18 cs.LG stat.ML
Multiarmed Bandit Problems with Delayed Feedback
University of Pennsylvania（宾夕法尼亚大学）；Duke University（杜克大学）；Google（谷歌）
在本文中，我们开始研究优化的强盗型问题的情况下，发挥的反馈是不是立即知道。这自然会出现在分配问题，已被广泛研究的文献中，虽然在没有延迟的反馈。我们在贝叶斯环境中研究这个问题。在存在延迟的情况下，已知不存在具有次指数运行时间的可证明保证的解。我们发现，在分配设置中出现的延迟反馈的强盗问题，可以被迫有显着的结构，在最优性略有损失。这种结构使我们能够推理单臂策略与纠缠最优策略之间的关系，并最终导致对一类非常一般的先验的O（1）近似。我们开发的结构性见解是关键的兴趣，并延续到设置中，在那里可以即时获得行动的反馈，我们也改进了在此设置中的所有以前的结果。
2013-06-18 cs.DS cs.LG
Reward Learning as Doubly Nonparametric Bandits: Optimal Design and Scaling Laws
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
对于像物体操作或驾驶这样的复杂任务来说，人工完成奖励功能具有挑战性。奖励学习试图通过使用人类对所选查询策略的反馈来学习奖励模型来解决这个问题。这将奖励规范的负担转移到查询的最佳设计上。我们提出了一个理论框架，研究奖励学习和相关的最优实验设计问题。我们的框架模型的奖励和政策属于再生核希尔伯特空间（RKHS）的子集的非参数函数。学习器接收（噪声）对真实奖励的oracle访问，并且必须输出在真实奖励下表现良好的策略。在这种情况下，我们首先推导出一个简单的插件估计基于岭回归的非渐近超额风险界。然后，我们解决了查询设计问题，通过优化这些风险边界方面的选择查询集，并获得有限的样本统计率，这主要取决于一个特定的线性算子上的RKHS的特征值谱。尽管这些结果的一般性，我们的界限比以前的界限更专门的问题。我们特别表明，高斯过程（GP）的强盗优化的研究问题是我们的框架的一个特殊情况下，我们的边界改善或竞争与已知的遗憾保证Matérn内核。
2023-02-23 cs.AI cs.LG stat.ML
Distributed Stochastic Bandit Learning with Delayed Context Observation
Iowa State University（爱荷华州立大学）
我们考虑的问题，M代理合作互动的一个随机K-武装上下文土匪的实例，其中K>>M。代理的目标是同时最小化所有代理在时间范围T上的累积后悔。我们考虑一个设置，在延迟后观察到确切的上下文，并在选择动作的时候，代理人不知道上下文，只有一个分布的上下文集可用。这种情况出现在不同的应用中，其中在决策时需要预测上下文（例如，天气预报或股票市场预测），并且一旦获得奖励就可以估计上下文。我们提出了一个基于置信上界（UCB）的分布式算法，并证明了线性参数化的奖励函数的遗憾和通信界。通过对合成数据和真实世界Movielens数据的数值模拟，我们验证了我们的算法的性能。
2022-11-15 cs.LG
A Best-of-Both-Worlds Algorithm for Bandits with Delayed Feedback
University of Copenhagen（哥本哈根大学）；Google Research（谷歌研究院）
我们提出了一种改进的Zimmert和Seldin [2020]算法的调整，用于具有延迟反馈的对抗性多臂强盗，除了Zimmert和Seldin所示的最小最优对抗性遗憾保证之外，还同时在具有固定延迟的随机设置中实现了接近最优的遗憾保证。具体来说，对抗性后悔保证是$\mathcal{O}(\sqrt{TK} + \sqrt{dT\log K})$，其中$T$是时间范围，$K$是手臂的数量，$d$是固定延迟，而随机后悔保证是$\mathcal{O}\left(\sum_{i \neq i^*}(\frac{1}{Δ_i} \log(T) + \frac{d}{Δ_{i}\log K}) + d K^{1/3}\log K\right)$，其中$Δ_i$是次优间隙。我们还提出了一个扩展的算法的情况下，任意延迟，这是基于预言知识的最大延迟$d_{max}$和实现$\mathcal{O}(\sqrt{TK} + \sqrt{D\log K} + d_{max}K^{1/3} \log K)$遗憾的对抗制度，其中$D$是总延迟，和$\mathcal{O}\left(\sum_{i \neq i^*}(\frac{1}{Δ_i} \log(T) + \frac{σ_{max}}{Δ_{i}\log K}) + d_{max}K^{1/3}\log K\right)$遗憾的随机制度，其中$σ_{max…
2022-06-29 cs.LG stat.ML
Statistical Inference on Multi-armed Bandits with Delayed Feedback
针对带延迟反馈的多臂老虎机策略评估，提出了允许目标策略与数据收集策略不同且适应依赖臂延迟机制的自适应加权估计量，并证明了其渐近正态性以支持大样本统计推断。
2023-07-03 math.ST stat.ME stat.TH
Beyond UCB: Optimal and Efficient Contextual Bandits with Regression Oracles
Massachusetts Institute of Technology（麻省理工学院）
上下文强盗的一个根本挑战是开发灵活的通用算法，其计算要求不低于经典的监督学习任务，如分类和回归。基于回归的算法已经显示出有希望的经验成功，但理论保证仍然难以捉摸，除非在特殊情况下。我们提供了第一个普遍的和最佳的减少从上下文强盗在线回归。我们将展示如何将任何具有给定价值函数类的在线回归的Oracle转换为具有诱导策略类的上下文强盗的算法，在运行时或内存要求中没有开销。我们的特点是极大极小利率的上下文土匪一般，潜在的非参数函数类，并表明我们的算法是极大极小最优的预言机获得最佳的回归率。与以前的结果相比，我们的算法不需要超出可实现性的分布假设，并且即使在上下文选择对抗时也有效。
2020-06-23 cs.LG math.ST stat.ML
Budgeted Recommendation with Delayed Feedback
Kyushu University（九州大学）；Ruhr-University Bochum（鲁尔大学波鸿分校）
本文研究有限预算与延迟反馈耦合下的上下文多臂老虎机资源分配问题，提出 DORAL 策略以在臂依赖延迟反馈中优化资源支出。
2024-05-19 cs.LG
When Offline Evaluation Misleads: A Diagnostic Protocol for Reward and Policy Selection in Delayed-Feedback Contextual Bandits
Thumbtack, Inc.（Thumbtack公司）
针对延迟反馈情境多臂老虎机的奖励与策略选择，提出有序诊断协议，验证其有效性并揭示奖励排序易误导、个性化溢价易高估的结论。
2026-08-13 cs.LG
Delaytron: Efficient Learning of Multiclass Classifiers with Delayed Bandit Feedbacks
IIIT Hyderabad（海得拉巴国际信息技术研究所）
在本文中，我们提出了在线算法称为{ \it Delaytron}学习多类分类器使用延迟强盗反馈。反馈延迟$\{d_t\}_{t=1}^T$的序列对于算法是未知的。在第$t$轮，该算法观察示例$\mathbf{x}_t$并预测标签$\tilde{y}_t$，并且仅在$d_t$轮之后接收强盗反馈$\mathbb{I}[\tilde{y}_t=y_t]$。当$t+d_t>T$时，我们认为第$t$轮的反馈缺失。我们表明，该算法实现了遗憾的$\mathcal{O}\left(\sqrt{\frac{2 K}γ\left[\frac{T}{2}+\left(2+\frac{L^2}{R^2\Vert \W\Vert_F^2}\right)\sum_{t=1}^Td_t\right]}\right)$时，每个丢失的样本的损失是上界$L$。在缺失样本的损失没有上界的情况下，Delaytron实现的遗憾是$\mathcal{O}\left(\sqrt{\frac{2 K}γ\left[\frac{T}{2}+2\sum_{t=1}^Td_t+\vert \mathcal{M}\vert T\right]}\right)$，其中$\mathcal{M}$是$T$轮中缺失样本的集合。这些界限是用恒定的步长实现的，这需要$T$和$\sum_{t=1}^Td_t$的知识。对于$T$和$\sum_{t=1}^…
2022-05-17 cs.AI cs.LG stat.ML
Bandit Online Learning with Unknown Delays
University of Minnesota - Twin Cities（明尼苏达大学双城分校）
本文研究了多臂强盗（MAB）和强盗凸优化（BCO）环境下的带有未知延迟反馈的强盗在线学习问题。MAB和BCO仅需要通过反馈变得可用的所涉及的目标函数的值，并且用于估计出现在相应的迭代算法中的梯度。由于具有\emph{unknown}延迟的反馈的挑战性情况阻止了人们构建所寻求的梯度估计，因此现有的MAB和BCO算法变得难以处理。对于这种具有挑战性的设置，分别为MAB和BCO开发了延迟探索、开发和指数（DEXP3）迭代以及延迟强盗梯度下降（DBGD）迭代。利用统一的分析框架，建立了DEXP 3和DBGD的遗憾分别是${\cal O}\big( \sqrt{K\bar{d}(T+D)} \big)$和${\cal O}\big( \sqrt{K(T+D)} \big)$，其中$\bar{d}$是最大延迟，$D$表示在$T$时隙上累积的延迟。数值试验使用合成和真实数据验证DEXP3和DBGD的性能。
2019-05-28 cs.LG stat.ML
Delayed Bandits: When Do Intermediate Observations Help?
Università degli Studi di Milano（米兰大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；University of Copenhagen（哥本哈根大学）；University of Amsterdam（阿姆斯特丹大学）；Politecnico di Milano（米兰理工大学）
本文研究带延迟反馈和中间观测的K臂老虎机，证明状态到损失映射的性质决定问题复杂度，并给出中间观测何时能降低遗憾率的条件。
2023-05-30 cs.LG
Online Nonsubmodular Optimization with Delayed Feedback in the Bandit Setting
针对老虎机场景下带延迟反馈的在线非子模优化问题，提出两种算法分别解决已有悔界依赖最大延迟、延迟与反馈效应耦合的局限，并通过结构化稀疏学习实验验证了方法优越性。
2025-08-01 cs.LG
Bi-Level Contextual Bandits for Individualized Resource Allocation under Delayed Feedback
Corresponding Author（通讯作者）
针对高风险领域资源分配需平衡短期效用与长期影响且存在延迟反馈等问题，提出双层上下文老虎机框架，元层面优化子组预算分配，基础层面识别响应个体，在真实数据集验证中实现更高累积结果、更好延迟适应性及子组公平分配。
2025-11-14 cs.AI cs.LG
SPARKLE: A Nonparametric Approach for Online Decision-Making with High-Dimensional Covariates
Department of Industrial Systems Engineering and Management, National University of Singapore（新加坡国立大学工业系统工程与管理系）；Division of Emerging Interdisciplinary Areas, The Hong Kong University of Science and Technology（香港科学与技术大学新兴跨学科领域分校）；Department of Industrial Engineering and Decision Analytics, The Hong Kong University of Science and Technology（香港科学与技术大学工业工程与决策分析系）
SPARKLE是一种基于稀疏加法奖励模型的非参数上下文老虎机算法，通过双重惩罚估计器和自适应筛选平衡探索与利用，首次在高维协变量中实现子线性遗憾界。
2026-01-06 cs.LG stat.ME stat.ML
Mathematics of statistical sequential decision-making: concentration, risk-awareness and modelling in stochastic bandits, with applications to bariatric surgery
Université de Lille（里尔大学）；Université de Technologies de Troyes（特鲁瓦技术大学）；ENSAI Rennes（雷恩国立统计与信息分析学校）；Inria Montpellier（法国国家信息与自动化研究所蒙彼利埃中心）；CWI Amsterdam（荷兰国家数学与计算机科学研究中心）；Université de Bordeaux（波尔多大学）；Inria Lille（法国国家信息与自动化研究所里尔中心）；CHU Lille（里尔大学附属医院）；Centre de Recherche en Informatique, Signal et Automatique de Lille（里尔计算机、信号与自动化研究中心）
本文研究术后随访序贯决策中的数学挑战，提出安全的集中性界、风险感知上下文老虎机框架及非参数Dirichlet采样算法，并开发了预测减重手术后长期体重轨迹的可解释机器学习模型。
2024-05-03 cs.LG math.ST stat.ML
Multi-Armed Bandit Problem with Temporally-Partitioned Rewards: When Partial Feedback Counts
Politecnico di Milano（米兰理工大学）
人们对数据按顺序可用的工业在线应用越来越感兴趣。受启发的播放列表的用户，他们的喜好可以收集在整个播放列表的收听过程中的建议，我们研究了一种新的土匪设置，即多武装土匪与时间分区奖励（TP-MAB），其中随机奖励与拉的手臂被划分在有限数量的连续轮后拉。据我们所知，这一设置迄今尚未被探索，它是延迟反馈强盗的自然延伸，在这种情况下，奖励可能会在拉动后的有限时间内扩大，而不是在一个可能延迟的单一回合中完全披露。我们提供了两种算法来解决TP-MAB问题，即TP-UCB-FR和TP-UCB-EW，它们利用了随着时间的推移收集的奖励所披露的部分信息。我们表明，我们的算法提供了更好的渐近后悔上界比延迟反馈强盗算法时，一个属性表征了广泛的奖励结构的实际利益，即阿尔法平滑，持有。我们还根据经验评估了他们在各种环境中的表现，包括综合生成的和现实世界的媒体推荐问题。
2022-06-01 cs.AI cs.LG
Stochastic Bandit Models for Delayed Conversions
Université Paris-Saclay（巴黎萨克雷大学）；Telecom ParisTech（巴黎高等电信学院）；LIMSI, CNRS（法国国家科学研究中心计算机科学与人机交互实验室）；ENS Paris-Saclay（巴黎萨克雷高等师范学校）；Criteo Research（Criteo研究院）
在线广告和产品推荐是多臂强盗方法的重要应用领域。在这些领域中，立即可用的奖励通常只是兴趣的实际结果的代理，我们称之为转换。例如，在网络广告中，点击可以在广告显示后的几秒钟内观察到，但相应的销售（如果有的话）将需要几个小时，如果不是几天的话。本文在Chapelle（2014）提出的框架内提出并研究了一个新的随机多臂强盗模型-基于网络广告领域的实证研究-其中每个行为都可能触发未来的奖励，然后会发生随机延迟。我们假设与每个动作相关联的转换的概率是未知的，而转换延迟的分布是已知的，区分（理想化）的情况下，转换事件可以观察到无论他们的延迟和更现实的设置中，后期转换审查。我们提供了性能下限，以及两个简单而有效的算法的基础上UCB和KLUCB框架。后一种算法，这是最好的转换率低时，是基于泊松化参数，在其他设置中，需要不同的成功概率的伯努利观测的聚合独立的兴趣。
2017-07-12 cs.LG
Near-Optimal Stochastic Linear Bandits with Delay
Tel Aviv University（特拉维夫大学）；University of Iowa（爱荷华大学）；Tel Aviv University and Google Research（特拉维夫大学和谷歌研究）
研究多种延迟模型下的随机线性赌博机，给出近最优遗憾界，揭示延迟与线性结构交互的维度影响。
2026-06-16 cs.LG
The multi-armed bandit problem with covariates
Université Paris Diderot（巴黎第七大学）；Princeton University（普林斯顿大学）
我们考虑一个多臂强盗问题的设置，每个手臂产生一个嘈杂的奖励实现依赖于一个可观察的随机协变量。与传统的静态多臂强盗问题相反，这种设置允许动态改变奖励，从而更好地描述边信息可用的应用。我们采用了一个非参数模型，其中预期的回报是协变量的光滑函数，并且问题的难度由保证金参数捕获。为了最大限度地提高预期的累积奖励，我们引入了一个政策，称为自适应装箱逐次淘汰（abse），自适应分解成适当的“本地化”的静态强盗问题的全球性问题。该策略使用连续消除（SE）策略的变体来构造自适应分区。我们的结果包括更清晰的遗憾界的se政策在一个静态的强盗问题和minimax最优遗憾界的abse政策在动态的问题。
2013-05-24 cs.LG math.ST stat.ML
Batched Single-Index Global Multi-Armed Bandits with Covariates
Department of Mathematics, Applied Mathematics and Statistics, Case Western Reserve University（数学系、应用数学与统计学系，凯斯西储大学）；Department of Statistics, Pennsylvania State University（统计系，宾夕法尼亚州立大学）
本文提出了一种新的半参数框架，用于带有协变量的批量老虎机问题，通过引入共享参数和单索引回归模型来捕捉臂奖励之间的关系，提出BIDS算法，在两种设置下推导了理论遗憾界，证明了在协变量维度为1时非参数批量老虎机的最优率。
2026-05-20 cs.LG math.ST stat.ME
Smooth Contextual Bandits: Bridging the Parametric and Non-differentiable Regret Regimes
Cornell University（康奈尔大学）
研究了一个非参数上下文强盗问题，其中期望报酬函数属于具有光滑参数$β$的Hölder类.我们展示了这是如何在两个极端之间进行插值的，这两个极端是以前孤立地研究的：不可微的土匪（$β\leq1$），通过在不同的上下文区域运行单独的非上下文土匪来实现速率最优遗憾，和参数响应土匪（满足$β=\infty$），由于无限的外推性，可以实现速率最优遗憾的最小或没有探索。我们开发了一种新的算法，仔细调整到所有的平滑设置，我们证明它的遗憾是率最优的，通过建立匹配的上限和下限，恢复现有的结果在两个极端。从这个意义上说，我们的工作弥合了现有文献之间的差距参数和不可微的上下文土匪问题和土匪算法之间，专门使用全球或本地信息，揭示了关键的相互作用的复杂性和遗憾的上下文土匪。
2020-09-11 cs.AI cs.LG math.OC
