Incentivized Exploration for Multi-Armed Bandits under Reward Drift
University of Colorado, Boulder（科罗拉多大学博尔德分校）；University of Virginia（弗吉尼亚大学）；Clemson University（克莱姆森大学）
我们研究激励探索的多臂强盗（MAB）的问题，玩家获得补偿探索武器以外的贪婪的选择，并可能提供有偏见的反馈奖励。我们试图通过分析激励MAB算法的三个实例的性能来理解这种漂移的奖励反馈的影响：UCB，$\varepsilon$ -贪婪和汤普森采样。研究结果表明，在漂移报酬下，它们都实现了$\mathcal{O}(\log T)$后悔和补偿，因此在激励探索方面是有效的。最后给出了数值算例以补充理论分析。
2019-12-16 cs.LG stat.ML
Bandit Simulation for Average Reward Inference
Rutgers University（罗格斯大学）；Imperial College London（伦敦帝国理工学院）
提出BSI框架，通过拟合环境模拟器并传播参数不确定性，为自适应赌博机算法构建渐近有效的置信区间。
2026-05-30 cs.LG stat.ML
Top-k Combinatorial Bandits with Full-Bandit Feedback
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
Top-k组合强盗一般化多武器强盗，其中在每一轮可以选择$n$武器中的任何$k$子集，并且获得奖励的总和。我们解决全强盗反馈，其中代理人只观察奖励的总和，与半强盗反馈，其中代理人也观察个别武器的奖励。我们提出了组合连续接受和拒绝（CSAR）算法，它将SAR（Bubeck et al，2013）推广到top-k组合强盗。我们的主要贡献是一个有效的抽样计划，使用阿达玛矩阵，以准确地估计个人武器的预期回报。我们讨论了两个变种的算法，第一个最大限度地减少样本的复杂性，第二个最小化的遗憾。我们还证明了一个下界的样本复杂性，这是紧的$k=O(1)$。最后，我们进行了实验，并表明我们的算法优于其他方法。
2019-12-04 cs.LG stat.ML
Generalizing distribution of partial rewards for multi-armed bandits with temporally-partitioned rewards
Eindhoven University of Technology（埃因霍温理工大学）
本文研究了具有时间分割报酬的多臂强盗问题。在TP-MAB设置中，智能体将在多轮中获得奖励的子集，而不是一次获得手臂的全部奖励。在本文中，我们介绍了一个手臂的累积奖励如何分布在几个回合，称为贝塔传播属性的一般公式。需要这样的推广以能够处理其中每轮的最大奖励在各轮之间不均匀分布的分区奖励。我们推导出一个下界的TP-MAB问题的假设下，β-蔓延举行。此外，我们提供了一个算法TP-UCB-FR-G，它使用Beta-spread属性，以提高在某些情况下的遗憾上限。通过概括如何分配累积奖励，该设置可应用于更广泛的应用中。
2022-11-13 cs.LG stat.ML
Contextual Bandit with Missing Rewards
IBM Research AI（IBM研究院人工智能）
我们考虑上下文强盗问题的一个新变体（即，具有决策者可用的边信息或上下文的多臂强盗），其中与每个基于上下文的决策相关联的奖励可能并不总是被观察到（“丢失奖励”）。这个新的问题是由某些在线设置，包括临床试验和广告推荐应用程序的动机。为了解决缺失的奖励设置，我们建议将标准的上下文强盗方法与聚类等无监督学习机制相结合。与标准的上下文强盗方法不同，通过利用聚类来估计缺失的奖励，我们能够从每个传入事件中学习，即使是那些缺失奖励的事件。在几个现实生活中的数据集上获得了有希望的实证结果。
2020-07-19 cs.AI cs.LG stat.ML
Garbage In, Reward Out: Bootstrapping Exploration in Multi-Armed Bandits
Google Research（谷歌研究院）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）；Mila, University of Montreal（蒙特利尔大学米拉研究所）；Adobe Research（奥多比研究院）；Facebook AI Research（脸书人工智能研究院）
我们提出了一个强盗算法，通过随机化其奖励历史来探索。具体来说，它在其历史的非参数自助样本中拉动具有伪奖励的最高平均奖励的手臂。我们设计了伪奖励，使得自助均值以足够高的概率是乐观的。我们把算法叫做Giro，意思是垃圾进，奖励出。我们分析了伯努利强盗中的Giro，并推导出其$n$回合遗憾的$O(K Δ^{-1} \log n)$界，其中$Δ$是最优和最佳次优臂的期望回报之差，$K$是臂的数量。我们的探索设计的主要优点是，它很容易推广到结构化的问题。为了证明这一点，我们提出了一个任意奖励泛化模型的上下文Giro。我们评估Giro及其上下文变体在多个合成和现实世界的问题，并观察到它表现良好。
2019-06-21 cs.LG stat.ML
Thompson Sampling Regret Bounds for Contextual Bandits with sub-Gaussian rewards
KTH Royal Institute of Technology（KTH皇家理工学院）
本文基于提升信息比框架分析 Thompson Sampling，将遗憾界从二值奖励推广至 sub-Gaussian 奖励，并给出多种上下文赌博机情形的明确界。
2023-04-26 cs.LG stat.ML
Single Index Bandits: Generalized Linear Contextual Bandits with Unknown Reward Functions
Microsoft（微软公司）；University of California, Davis（加州大学戴维斯分校）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of California, Los Angeles（加州大学洛杉矶分校）；National University of Singapore（新加坡国立大学）
本文提出单索引老虎机问题，针对未知奖励函数设计STOR和ESTOR算法，实现近最优遗憾界，并在高维稀疏环境下验证算法有效性。
2026-02-07 cs.LG stat.ML
Contextual Multi-armed Bandit Algorithm for Semiparametric Reward Model
Seoul National University（首尔国立大学）
上下文多臂强盗（MAB）算法已被证明有希望在连续的决策任务，如新闻文章推荐系统，网页广告投放算法，和移动健康的累积奖励最大化。然而，大多数提出的上下文MAB算法假设奖励和动作的上下文之间的线性关系。本文提出了一种新的上下文MAB算法的放松，半参数奖励模型，支持非平稳性。所提出的方法是较少的限制，更容易实现和速度比两个替代算法，考虑相同的模型，同时实现了严格的遗憾上限。我们证明了所提出的算法的高概率上界的遗憾所产生的线性奖励模型的汤普森抽样算法具有相同的顺序。建议和现有的算法进行评估，通过模拟，也适用于雅虎！新闻文章推荐日志数据。
2019-01-31 cs.LG stat.ML
Unified theory of upper confidence bound policies for bandit problems targeting total reward, maximal reward, and more
Toyota Central R&D Labs., Inc.（丰田中央研发实验室）
本研究提出老虎机UCB策略的统一理论，以预言机量为核心统一总奖励与最大奖励老虎机问题的阶最优性条件，证明MaxSearch的阶最优性，还提出PIUCB算法并验证其性能，为定制新策略提供框架。
2024-11-01 cs.LG stat.ML
m-Set Adversarial Bandits with Winner Feedback
Università degli Studi di Milano（米兰大学）；Politecnico di Milano（米兰理工大学）
本研究针对m-集合对抗性赌博机，在不同效用和反馈模型下推导出遗憾的上下界，揭示了设置变化对学习速率的影响，并通过实验验证了理论分析。
2026-10-08 cs.LG stat.ML
Reward-Biased Maximum Likelihood Estimation for Neural Contextual Bandits
National Yang Ming Chiao Tung University（国立阳明交通大学）
奖励偏置最大似然估计（RBMLE）是自适应控制文献中解决探索-利用权衡的经典原理。本文研究了具有一般有界报酬函数的随机上下文强盗问题，提出了NeuralRBMLE算法，该算法在RBMLE原理的基础上，通过在对数似然函数中增加一个偏置项来加强探索。NeuralRBMLE利用了神经网络的表示能力，并直接在参数空间中对探索行为进行编码，而无需构建估计回报的置信区间。我们提出了NeuralRBMLE算法的两个变体：第一个变体通过梯度上升直接获得RBMLE估计，第二个变体通过近似将RBMLE简化为一个简单的索引策略。我们表明，这两种算法实现$\widetilde{\mathcal{O}}(\sqrt{T})$遗憾。通过大量的实验，我们证明了NeuralRBMLE算法在具有非线性奖励函数的真实数据集上实现了与最先进的方法相当或更好的经验遗憾。
2022-05-29 cs.LG stat.ML
Bandit problems with fidelity rewards
Pompeu Fabra University（庞培法布拉大学）；ICREA（加泰罗尼亚高级研究学院）；Barcelona Graduate School of Economics（巴塞罗那经济学研究生院）；Imperial College London（伦敦帝国理工学院）；Cisco Systems, Inc.（思科系统公司）
忠诚度强盗问题是$K$ -武装强盗问题的一个变体，其中每个手臂的奖励被忠诚度奖励所增加，该忠诚度奖励根据玩家过去对该手臂的“忠诚”程度为玩家提供额外的回报。我们提出了两个模型的保真度。在忠诚点模型中，额外奖励的数量取决于手臂先前被使用的次数。在订阅模型中，额外的奖励取决于手臂的当前连续抽奖次数。我们考虑随机和对抗问题。由于单臂策略在随机问题中并不总是最优的，因此在对抗性环境中后悔的概念需要仔细调整。我们引入了三种可能的概念，遗憾和调查，可以有界次线性。我们详细研究了增加、减少和优惠券（玩家在每次$m$玩一只手臂后获得额外奖励）忠诚奖励的特殊情况。对于不一定具有次线性后悔的模型，我们给出了最坏情况的下界。对于具有次线性后悔的模型，我们给出了算法并限制了其后悔。
2021-11-25 cs.LG stat.ML
Budget-Constrained Bandits over General Cost and Reward Distributions
The Ohio State University（俄亥俄州立大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
我们考虑了一个无约束的强盗问题，其中每个手臂拉招致一个随机的成本，并产生一个随机的回报。目标是在总成本的预算约束下，最大化总期望报酬。该模型是通用的，因为它允许相关且可能重尾的成本回报对，这些对可以根据许多应用的要求呈现负值。我们表明，如果时刻的顺序$(2+γ)$为一些$γ> 0$存在的所有成本-回报对，$O(\log B)$遗憾是可以实现的预算$B>0$。为了实现严格的遗憾界，我们提出了算法，利用成本和回报之间的相关性，通过提取共同的信息，通过线性最小均方误差估计的每个手臂。我们证明了这个问题的遗憾下界，并表明，所提出的算法实现紧问题相关的遗憾界，这是最佳的联合高斯成本和奖励对的情况下，一个普遍的常数因子。
2020-02-29 cs.LG stat.ML
Minimax Policy for Heavy-tailed Bandits
Michigan State University（密歇根州立大学）
研究了最坏后悔和重尾报酬分布下的随机多臂强盗（MAB）问题。我们修改了minimax策略MOSS的亚高斯奖励分布，通过使用饱和的经验均值设计一个新的算法称为鲁棒MOSS。我们表明，如果存在的时刻的顺序$1+ε$的奖励分布，然后改进的策略有一个最坏情况下的遗憾匹配的下限，同时保持分布依赖的对数遗憾。
2020-11-18 cs.LG stat.ML
Catoni Contextual Bandits are Robust to Heavy-tailed Rewards
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；OpenAI；Google（谷歌）；Google Research（谷歌研究院）
本文利用Catoni稳健估计量设计上下文赌博机算法，在重尾奖励下实现仅依赖方差、对奖励范围呈对数依赖的遗憾界，并证明其最优性。
2025-02-04 cs.LG stat.ML
Tight Lower Bounds for Combinatorial Multi-Armed Bandits
Technion, Israel Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）
组合多臂强盗问题（Combinatorial Multi-Armed Bandit problem）是一个顺序决策问题，其中智能体在每一轮中选择一组武器，观察这些武器中每一个的反馈，并旨在最大化其选择的武器的已知奖励函数。虽然以前的工作证明了遗憾的上限，在这种设置一般的奖励功能，只有少数作品提供匹配的下限，所有特定的奖励功能。在这项工作中，我们证明了遗憾的下限组合土匪举行温和的假设下，所有顺利的奖励功能。我们推导出问题相关和问题无关的边界，并表明最近提出的Gini加权平滑参数（Merlis和Mannor，2019）也确定了单调奖励函数的下界。值得注意的是，这意味着我们的下界紧到对数因子。
2020-07-16 cs.LG stat.ML
Exploiting Adjacent Similarity in Multi-Armed Bandit Tasks via Transfer of Reward Samples
Indian Institute of Science（印度科学学院）；Robert Bosch Center for Cyber-Physical Systems（罗伯特·博世网络物理系统中心）
针对相邻任务平均奖励差异有界的顺序多任务随机多臂老虎机问题，提出两种基于 UCB 的奖励样本迁移算法，并从理论和实验上证明其可降低跨任务总体遗憾。
2025-03-12 cs.LG stat.ML
Corralling Stochastic Bandit Algorithms
Johns Hopkins University（约翰斯·霍普金斯大学）；Courant Institute（柯朗研究所）；Google Research（谷歌研究院）
我们研究的问题，畜栏随机强盗算法，即结合多个强盗算法设计的随机环境中，设计一个畜栏算法，以及最好的基础算法的目标。我们给出了两个一般的算法，这种设置，我们表现出有利的后悔保证的好处。我们发现，遗憾的畜栏算法是没有比最好的算法包含最高奖励的手臂，并取决于最高奖励和其他奖励之间的差距。
2021-02-28 cs.LG stat.ML
What You See May Not Be What You Get: UCB Bandit Algorithms Robust to ε-Contamination
University of Michigan（密歇根大学）
受强盗算法在教育中应用的启发，我们考虑了一个带有$\varepsilon$ -污染报酬的随机多臂强盗问题。我们允许对手在充分了解过去和未来的情况下给予任意的无限污染奖励。我们施加的约束，对于每一次$t$的比例污染的奖励的任何行动是小于或等于$\varepsilon$。在$\varepsilon$ -污染背景下，我们得到了两个鲁棒均值估计的集中不等式。我们定义了$\varepsilon$污染的随机强盗问题，并使用我们的鲁棒均值估计给出了一个强大的置信上限（UCB）算法，crUCB的两个变种。使用仅从潜在随机奖励中获得的后悔，crUCB的两种变体都实现了足够小的污染比例的$\mathcal{O} (\sqrt{KT\log T})$后悔。我们的模拟假设小的视野，反映了新探索的土匪在教育的设置。我们表明，在某些对抗制度crUCB不仅优于随机（UCB 1）和对抗（EXP 3）土匪设计的算法，但也有“两全其美”的保证（EXP 3 ++和TsallisInf），即使我们的污染奖励的比例约束被打破。
2020-06-17 cs.LG stat.ML
Adaptive Algorithms for Multi-armed Bandit with Composite and Anonymous Feedback
Tsinghua University（清华大学）；Georgia Institute of Technology（佐治亚理工学院）
研究了具有复合匿名反馈的多臂强盗问题。在这个模型中，拉一只手臂的奖励会在一段时间内传播（我们称这段时间为奖励间隔），玩家会收到这个动作的部分奖励，与拉其他手臂的奖励相交织。该模型的现有结果需要关于奖励区间大小的先验知识作为其算法的输入。在本文中，我们提出了自适应算法的随机和对抗的情况下，不需要任何先验信息的奖励区间。对于随机的情况下，我们证明了我们的算法保证了一个遗憾，符合下界（顺序）。对于对抗的情况下，我们提出了第一个算法，以联合处理非遗忘的对手和未知的奖励区间大小。我们还根据真实世界的数据集进行模拟。结果表明，我们的算法优于现有的基准。
2020-12-15 cs.LG stat.ML
BelMan: Bayesian Bandits on the Belief--Reward Manifold
Chalmers University of Technology（查尔姆斯理工大学）；ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）；Inria（法国国家信息与自动化研究所）；National University of Singapore（新加坡国立大学）
我们提出了一个通用的，贝叶斯，信息几何方法的探索-开发权衡多臂强盗问题。我们的方法，贝尔曼，统一支持纯勘探，勘探开发，两阶段的土匪问题。强盗武器和他们的奖励分布的知识总结的信念和奖励的武器，\emph{pseudobelief-reward}，在信念奖励流形的联合分布的重心。BelMan交替使用\emph{information projection}和\emph{reverse information projection}，即，将伪信念-奖励投影到信念-奖励上以选择要玩的手臂，以及将所得的信念-奖励投影到伪信念-奖励上。它引入了一种通过\emph{focal distribution}注入剥削性偏见的机制，即，奖励分配逐渐集中在更高的奖励上。比较性能评估与国家的最先进的算法表明，贝尔曼不仅是有竞争力的，但也可以优于其他方法在特定的设置，例如，涉及许多武器和连续的奖励。
2019-06-22 cs.AI cs.LG stat.ML
Rotting Bandits
The Technion（以色列理工学院）
多武装匪徒（MAB）框架强调了获取新知识（探索）和利用现有知识（利用）之间的紧张关系。在经典的MAB问题中，决策者必须在每个时间步选择一个手臂，并在此基础上获得奖励。决策者的目标是最大化她的累积期望回报的时间范围。MAB问题已经被广泛研究，特别是在假设武器的奖励分布随时间是平稳的或准平稳的情况下。我们考虑MAB框架的一个变体，我们称之为腐烂的强盗，其中每个手臂的预期奖励作为被拉动次数的函数衰减。我们受到许多现实世界场景的激励，例如在线广告，内容推荐，众包等。我们提出的算法，伴随着模拟，并推导出理论保证。
2017-11-02 cs.LG stat.ML
Perturbed-History Exploration in Stochastic Multi-Armed Bandits
Google Research（谷歌研究院）；DeepMind（深度思考）；University of Alberta（阿尔伯塔大学）；Facebook AI Research（脸书人工智能研究院）
提出了一个随机多臂强盗中最小化累积后悔的在线算法。该算法将$O(t)$ i.i.d.在回合$t$中伪奖励其历史，然后拉动具有其扰动历史中最高平均奖励的手臂。因此，我们称之为扰动历史探测（PHE）。伪奖励是精心设计的，以抵消潜在低估的平均奖励的武器具有很高的概率。我们推导出了PHE的$n$ -轮遗憾的接近最优的间隙相关和无间隙的界限。我们分析的关键步骤是一个新的论点，表明随机伯努利奖励导致乐观。最后，我们实证评估PHE，并表明它是具有竞争力的国家的最先进的基线。
2019-11-05 cs.LG stat.ML
Multi-Armed Bandits with Generalized Temporally-Partitioned Rewards
Eindhoven University of Technology（埃因霍温理工大学）
决策问题的顺序性，在过去作出的决定可能会对未来产生影响，被用来模拟许多实际重要的应用程序。在一些现实世界的应用中，关于决策的反馈是延迟的，并且可能通过以不同延迟观察到的部分奖励到达。出于这种情况下，我们提出了一个新的问题制定称为多武装土匪广义时间分割奖励。为了形式化如何将关于决策的反馈划分为多个时间步，我们引入了$β$ -spread属性。我们推导出所考虑的问题的任何一致有效的算法的性能上的下界。此外，我们提供了一个算法称为TP-UCB-FR-G，并证明了其性能指标的上界。在某些情况下，我们的上限提高后，最先进的。我们提供的实验结果验证所提出的算法和我们的理论结果。
2023-03-01 cs.LG stat.ML
Mean-based Best Arm Identification in Stochastic Bandits under Reward Contamination
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
研究了$\textit{contaminated}$随机多臂强盗中的最佳臂识别问题。在这种情况下，从任何手臂获得的奖励都被来自概率为$\varepsilon$的对抗模型的样本所取代。被认为是一个固定的信心（无限地平线）设置，其中学习者的目标是确定最大的平均值的手臂。由于奖励的对抗性污染，每个手臂的平均值只能部分识别。本文提出了两种算法，一个基于间隙的算法和一个基于逐次消除，在亚高斯强盗最佳手臂识别。这些算法涉及的平均估计，实现了最佳的误差保证的偏差的真实均值从估计渐近。此外，这些算法渐近达到最佳的样本复杂度。具体而言，对于基于间隙的算法，样本复杂度是渐近最优的常数因子，而对于连续消除的算法，它是最优的对数因子。最后，数值实验来说明与现有的基线相比，算法的增益。
2021-11-14 cs.LG stat.ML
Nonparametric Contextual Bandits in an Unknown Metric Space
National University of Singapore（新加坡国立大学）；Cornell University（康奈尔大学）
考虑非参数上下文多臂强盗问题，其中每个臂$a \in [K]$与从上下文映射到期望奖励的非参数奖励函数$f_a: [0,1] \to \mathbb{R}$相关联。假设有一个大的手臂集合，但在手臂奖励函数中有一个简单但未知的结构，例如有限类型或关于未知度量空间的光滑。我们提出了一种新的算法，学习数据驱动的相似性之间的武器，为了实现自适应分区的上下文臂空间更有效的学习。我们提供了遗憾的界限，以及模拟，突出算法的依赖于局部几何的奖励函数。
2019-08-03 cs.LG stat.ML
Finite-Time Regret of Thompson Sampling Algorithms for Exponential Family Multi-Armed Bandits
National University of Singapore（新加坡国立大学）；California Institute of Technology（加州理工学院）
研究了指数家族强盗的Thompson抽样算法的后悔性，其中奖励分布来自一维指数家族，包括Bernoulli，Gaussian，Gamma，Exponential等常见的奖励分布，提出了一种Thompson抽样算法ExpTS，它使用了一种新的抽样分布，以避免低估的最佳手臂。我们提供了一个严格的遗憾分析ExpTS，这同时产生有限时间后悔界以及渐近后悔界。特别地，对于具有指数族奖励的$K$ -武装强盗，在地平线上的ExpTS $T$是子UCB（问题依赖的有限时间后悔的强准则），极大极小最优直到因子$\sqrt{\log K}$，并且对于指数族奖励是渐近最优的。此外，我们提出了ExpTS $^+$，通过增加一个贪婪的开发步骤，除了在ExpTS中使用的抽样分布，以避免过度估计的次优武器。ExpTS $^+$是一个任意时刻的强盗算法，并且对于指数族报酬分布同时达到极大极小最优性和渐近最优性。我们的证明技术是一般的，概念上简单，可以很容易地应用于分析标准的汤普森抽样与特定的奖励分布。
2022-06-07 cs.LG stat.ML
New Insights into Bootstrapping for Bandits
University of British Columbia（英属哥伦比亚大学）；Adobe Research（Adobe研究）
我们调查使用自举在强盗设置。我们首先表明，常用的非参数自举（NPB）程序可以证明是低效的，并建立一个近线性下界的遗憾下的强盗模型与伯努利奖励。我们发现，NPB与适量的强制探索，可以导致次线性，虽然次优的遗憾。作为NPB的替代方案，我们提出了一个加权自举（WB）过程。对于Bernoulli奖励，具有乘法指数权重的WB在数学上等价于Thompson采样（TS），并导致接近最优的遗憾界限。同样，在强盗设置与高斯奖励，我们表明，WB加性高斯权重达到近最佳的遗憾。除了这些特殊情况下，我们表明，WB导致更好的经验性能比TS的几个奖励分布上界$[0,1]$。对于上下文强盗设置，我们给出了实用的指导方针，使引导简单，高效地实现，并在现实世界的数据集上产生良好的经验性能。
2018-05-24 cs.LG stat.ML
Thompson Sampling for Complex Bandit Problems
Technion（以色列理工学院）；Tel Aviv University（特拉维夫大学）
我们考虑随机多臂强盗问题的复杂行动，在一组基本武器，决策者发挥复杂的行动，而不是在每一轮的基本武器。复杂动作的奖励是基本手臂奖励的函数，而观察到的反馈不一定是每个手臂的奖励。例如，当复杂动作是手臂的子集时，我们可能只观察到所选子集上的最大奖励。因此，由于奖励函数的性质，可以耦合跨复杂动作的反馈。我们证明了一个频率后悔界的汤普森采样在一个非常一般的设置，涉及参数，动作和观察空间和似然函数。该界限适用于参数空间上的离散支持先验，并且没有额外的结构特性，如封闭形式的后验，共轭先验结构或跨臂独立性。后悔界限随时间的变化而变化，但更重要的是，它有一个改进的常数，可以很好地捕捉到复杂行为之间的耦合，这是由于奖励的结构。作为应用，我们得到了改进的遗憾界类复杂的强盗问题，涉及选择子集的武器，包括第一个非平凡的遗憾界的非线性MAX奖励反馈的子集。
2013-11-03 cs.LG stat.ML
Residual Bootstrap Exploration for Stochastic Linear Bandit
University of California, Los Angeles（加州大学洛杉矶分校）；Purdue University（普渡大学）
针对随机线性强盗问题，提出了一种新的基于自举的在线算法。其核心思想是采用残差自助探索，通过对平均报酬估计的残差进行重新采样来估计下一步的报酬。我们的算法，随机线性强盗（\texttt{LinReBoot}）的剩余引导探索，估计其重新采样分布的线性奖励，并拉最高的奖励估计的手臂。特别是，我们贡献了一个理论框架，以揭开神秘的剩余引导为基础的探索机制在随机线性强盗问题。关键的见解是，自助探索的强度是基于在线学习模型和残差的重新采样分布之间的合作乐观。这样的观察使我们能够表明，建议\texttt{LinReBoot}安全的高概率$\tilde{O}(d \sqrt{n})$次线性遗憾在温和的条件下。我们的实验支持的\texttt{ReBoot}原则在线性强盗问题的各种配方容易推广，并显示显着的计算效率的\texttt{LinReBoot}。
2022-06-17 cs.LG stat.ML
Stochastic Bandits with Delayed Composite Anonymous Feedback
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们探索了一个新的设置的多臂强盗（MAB）问题的灵感来自现实世界的应用程序，我们称之为“随机延迟复合匿名反馈（SDCAF）”的强盗。在SDCAF中，拉臂的奖励是随时间随机的，但在拉臂后的未来分散在固定数量的时间步长上，这个问题的复杂性源于对玩家的匿名反馈和奖励的随机生成。由于奖励的聚合性质，玩家无法将奖励与过去的特定时间步长相关联。我们提出了两种算法，这种更复杂的设置SDCAF使用基于相位的扩展UCB算法。我们进行遗憾分析，以显示次线性理论保证这两个算法。
2019-10-11 cs.LG stat.ML
Optimal Gradient-based Algorithms for Non-concave Bandit Optimization
University of Washington（华盛顿大学）；Tsinghua University（清华大学）；Peking University（北京大学）；Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
具有线性或凹报酬的强盗问题已经得到了广泛的研究，但相对较少的工作，研究非凹报酬的强盗。本文考虑一类报酬函数为非凹函数的bandit问题，包括低秩广义线性bandit问题和具有多项式激活的两层神经网络bandit问题.对于低秩广义线性强盗问题，我们给出了一个在维数上极小极大最优的算法，反驳了文献[LMT 21，JWWN 19]中的两个结论。我们的算法是基于一个统一的零阶优化范式，适用于在很大的普遍性，并在几个结构化的多项式设置（在维度）达到最佳速率。我们进一步证明了我们的算法在生成模型设置中的RL中的适用性，从而提高了先前方法的样本复杂性。最后，我们证明了标准的乐观算法（例如，UCB）因尺寸因素而次优。在神经网络设置（多项式激活函数）与无噪声奖励，我们提供了一个强盗算法的样本复杂度等于内在代数维数。再次，我们表明，乐观的方法有更差的样本复杂性，多项式的外维数（这可能是指数更差的多项式次数）。
2021-07-09 cs.LG stat.ML
Contextual Bandits Evolving Over Finite Time
Indian Institute of Technology Mumbai（印度理工学院孟买分校）
背景土匪与标准的多武装土匪具有相同的勘探-开采权衡。如果加上随着时间推移而衰减的正外部性，这个问题就变得更加困难，因为一开始的错误决定很难恢复。我们探讨了现有的政策在这种情况下，并强调其对固有的奖励矩阵的偏见。我们提出了一个拒绝为基础的政策，实现了低遗憾的奖励概率矩阵的结构无关。
2019-11-14 cs.LG stat.ML
From Bandits to Experts: On the Value of Side-Observations
Technion（以色列理工学院）；Microsoft Research New England（微软新英格兰研究院）
我们考虑一个对抗性的在线学习设置，决策者可以选择在游戏的每个阶段的行动。除了观察所选择的行为的回报之外，决策者还可以观察到如果他选择了其他一些行为，他会获得什么样的回报。观察结构被编码为图，其中如果采样i提供关于j的奖励的信息，则节点i被链接到节点j。该设置自然地在众所周知的“专家”设置（其中决策者可以查看所有奖励）和多臂强盗设置（其中决策者只能查看所选动作的奖励）之间插值。我们开发了实用的算法与可证明的遗憾的保证，这取决于非平凡的图论性质的信息反馈结构。我们还提供了部分匹配的下界。
2011-10-25 cs.LG stat.ML
Combinatorial Multi-armed Bandits for Resource Allocation
Carnegie Mellon University（卡内基梅隆大学）
我们研究的顺序资源分配问题，决策者反复分配资源之间的预算。激励性示例包括将有限的计算时间或无线频谱带分配给多个用户（即，资源）。在每一个时间步，决策者应该在不同的资源之间分配其可用的预算，以最大限度地提高预期回报，或等价地减少累积的遗憾。在这样做时，决策者应该从每个用户收到的奖励的反馈中了解为每个用户分配的资源的价值。例如，用户可以通过无线频谱带发送不同紧急程度的消息;通过向用户分配频谱而生成的奖励则取决于消息的紧急程度。我们假设每个用户的奖励遵循一个最初未知的随机过程。我们设计了组合多臂强盗算法来解决这个问题，离散或连续的预算。我们证明了所提出的算法实现对数遗憾下半强盗反馈。
2021-05-10 cs.LG stat.ML
Improved Sleeping Bandits with Stochastic Actions Sets and Adversarial Rewards
Indian Institute of Science（印度科学理工学院）；Sierra Team, Inria（法国国家信息与自动化研究所 Sierra 团队）；DeepMind
本文研究了具有随机行动集和对抗性报酬的睡土匪问题。在这种情况下，与强盗中的大多数工作相反，行动可能不是在任何时候都可用。例如，某些产品可能会在项目推荐中缺货。现有的最佳效率（即，多项式时间）算法仅保证遗憾的$O(T^{2/3})$上限。然而，基于EXP4的低效算法可以实现$O(\sqrt{T})$。在本文中，我们提供了一个新的计算效率的启发，EXP3满足一个遗憾的顺序$O(\sqrt{T})$时，每个行动$i \in \cA$的可用性是独立的。然后，我们研究问题的最一般版本，其中在每一轮可用集是从一些未知的任意分布（即，不带独立性假设），并提出了一种有效的具有$O(\sqrt {2^K T})$后悔保证的算法。我们的理论结果与实验评估证实。
2020-08-08 cs.LG stat.ML
Algorithms for slate bandits with non-separable reward functions
Eindhoven University of Technology（埃因霍温理工大学）
在本文中，我们研究了一个slate bandit问题，其中确定slate级别奖励的函数是不可分离的：函数的最优值不能通过学习每个插槽的最优动作来确定。我们主要关注的情况是，石板的数量相对于时间范围来说是很大的，因此在传统的多臂强盗中，尝试将每个石板作为一个单独的手臂是不可行的。我们的主要贡献是设计的算法，仍然有次线性遗憾的时间范围，尽管大量的石板。模拟数据和真实数据的实验结果表明，我们提出的方法优于流行的基准强盗算法。
2020-04-21 cs.AI cs.LG stat.ML
EE-Net: Exploitation-Exploration Neural Networks in Contextual Bandits
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在本文中，我们提出了一种新的神经探索策略的上下文土匪，EE-Net，不同于标准的UCB为基础的和TS为基础的方法。背景多武装匪徒已经研究了几十年，有各种应用。为了解决强盗中的开发-探索权衡，有三种主要技术：ε贪婪，汤普森采样（TS）和上置信界（UCB）。在最近的文献中，线性上下文强盗采用岭回归估计奖励函数，并将其与TS或UCB策略相结合进行探索。然而，这一系列的工作明确地假设奖励是基于手臂向量的线性函数，这在现实世界的数据集中可能不是真的。为了克服这一挑战，人们提出了一系列神经强盗算法，其中使用神经网络来学习底层奖励函数，并采用TS或UCB进行探索。我们提出了一种新的基于神经元的探索策略“EE-Net”，而不是像以前的方法那样计算一个基于大偏差的统计边界进行探索。除了使用一个神经网络（Exploitation网络）来学习奖励函数外，EE-Net还使用另一个神经网络（Exploration网络）来自适应地学习与当前估计的探索奖励相比的潜在收益。然后，一个决策者被构造来组合来自开采和勘探网络的输出。我们证明了EE-Net可以实现$\mathcal{O}(\sqrt{T\log T})$遗憾，并表明EE-Net在现实世界的数据集上优于现有的线性和神经上下文强盗基线。
2022-05-12 cs.LG stat.ML
Rotting bandits are not harder than stochastic ones
OvGU Magdeburg（马格德堡奥托·冯·格里克大学）；FAIR Paris（巴黎FAIR实验室）；Inria Lille（里尔法国国家信息与自动化研究所）
在随机多臂强盗中，假设每只手臂的奖励分布是平稳的。这一假设在实践中经常被违反（例如，在推荐系统中），其中每当选择时，臂的奖励可以改变，即，休息的强盗设置。在本文中，我们考虑非参数的腐烂的强盗设置，奖励只能减少。我们引入了扩展窗口平均滤波（FEWA）算法，该算法构建了增加窗口的移动平均值，以确定当再次拉动时更有可能返回高奖励的手臂。我们证明了，对于一个未知的地平线$T$，没有任何知识的$K$武器的减少行为，FEWA实现问题依赖的遗憾界的$\widetilde{\mathcal{O}}(\log{(KT)}),$和问题无关的$\widetilde{\mathcal{O}}(\sqrt{KT})$。我们的结果大大改进了Levine等人的算法。（2017），该算法遭受遗憾$\widetilde{\mathcal{O}}(K^{1/3}T^{2/3})$。FEWA还匹配随机强盗设置的已知界限，从而表明腐烂的强盗并不更难。最后，我们报告模拟确认FEWA的理论改进。
2020-05-09 cs.LG stat.ML
A Bandit Framework for Optimal Selection of Reinforcement Learning Agents
Zalando Research（Zalando研究）；OLX Berlin Hub（OLX柏林中心）
深度强化学习已经被证明在复杂的游戏中非常成功，例如Atari或Go。这些游戏有明确定义的规则，因此允许模拟。然而，在许多实际应用中，与环境的交互是昂贵的，并且没有良好的环境模拟器。此外，由于环境因应用而异，最佳归纳偏差（架构、超参数等）增强剂的量取决于应用。在这项工作中，我们提出了一个多臂强盗框架，从一组不同的强化学习代理选择一个最好的归纳偏见。为了缓解稀疏奖励的问题，强化学习代理增加了代理奖励。这有助于bandit框架尽早选择最佳代理，因为这些奖励比环境奖励更平滑且更稀疏。强盗有双重目标，最大化的奖励，而代理人学习和选择最好的代理后，有限数量的学习步骤。我们在标准环境中的实验结果表明，所提出的框架是能够始终如一地选择最佳代理有限的步骤后，同时收集更多的累积奖励相比，选择一个次优架构或均匀交替不同的代理。
2019-02-10 cs.LG stat.ML
Randomized Allocation with Nonparametric Estimation for Contextual Multi-Armed Bandits with Delayed Rewards
University of Minnesota（明尼苏达大学）
我们研究了一个多臂强盗问题的协变量设置有可能延迟观察奖励。在对延迟的概率分布进行一些温和的假设下，并使用适当的随机化来选择武器，所提出的策略是强一致的。
2019-09-04 cs.LG math.ST stat.ML
On Adaptive Estimation for Dynamic Bernoulli Bandits
Imperial College London（帝国理工学院）
多臂强盗（MAB）问题是探索-开发困境的一个典型例子。它关注的是通过从多臂老虎机中顺序地拉动臂来最大化赌徒的总奖励，其中每个臂与奖励分配相关联。在静态MAB中，奖励分布不随时间改变，而在动态MAB中，每个臂的奖励分布可以改变，并且最佳臂可以随时间切换。受许多实际应用的激励，奖励是二进制的，我们专注于动态伯努利强盗。标准方法如$ε$ -贪婪和置信上限（UCB），依赖于样本均值估计，通常无法跟踪动态问题的潜在奖励的变化。在本文中，我们通过部署自适应估计的标准方法，克服了缓慢的变化响应的缺点，并提出了一个新的家庭的算法，这是自适应版本的$ε$ -贪婪，UCB，和汤普森采样。这些新方法简单易行。此外，它们不需要任何关于动态奖励过程的先验知识，这对实际应用很重要。我们研究了新算法在不同的情况下，数值和结果表明我们的算法在动态环境中的坚实的改进。
2018-05-15 cs.LG stat.ML
Whittle index based Q-learning for restless bandits with average reward
Inria Sophia Antipolis（索菲亚·安蒂波利斯国立计算机与自动化研究所）；Indian Institute of Technology（印度理工学院）
针对平均奖励多臂不安分赌博机问题，提出结合Whittle指数与Q学习的新型强化学习算法，通过利用Whittle指数策略结构缩小搜索空间以提升计算效率，给出严格收敛分析，数值实验验证了其优异性能。
2021-09-21 cs.LG math.OC stat.ML
Semiparametric Contextual Bandits
Microsoft Research NYC（微软研究院纽约）；Microsoft Research New England（微软新英格兰研究院）
本文研究了半参数上下文强盗，线性随机强盗问题的推广，其中行动的奖励被建模为一个线性函数的已知动作功能混淆的非线性动作独立项。当线性函数是$d$维时，我们设计了新算法，使$\tilde{O}(d\sqrt{T})$对$T$轮感到遗憾，这与更简单的无混淆情况的最佳已知界限相匹配，并改进了Greenewald等人的最新结果。（2017）。通过实证评估，我们表明，我们的算法优于以前的方法时，有非线性混杂效应的奖励。从技术上讲，我们的算法使用了一个新的奖励估计的启发双重鲁棒的方法和我们的证明需要新的集中不等式的自归一化鞅。
2018-07-16 cs.LG stat.ML
Kullback-Leibler Maillard Sampling for Multi-armed Bandits with Bounded Rewards
University of Arizona（亚利桑那大学）
针对[0,1]区间有界奖励的K臂老虎机问题，提出Maillard采样的扩展算法KL-MS，实现KL型依赖间隙的后悔界，伯努利奖励下渐近最优，且保留闭式动作概率可用于离线策略评估。
2024-04-11 cs.LG stat.ML
Multiple-Play Stochastic Bandits with Shareable Finite-Capacity Arms
The Chinese University of Hong Kong（香港中文大学）；Chongqing University（重庆大学）
我们推广了多局多臂强盗（MP-MAB）问题，其中多个局可以共享同一条手臂，并且每个可共享的手臂都有一个有限的奖励容量和一个“每负载”的奖励分配，这两个都是未知的.来自可共享手臂的奖励是负载相关的，其是“每负载”奖励乘以拉动手臂的游戏次数，或者当游戏次数超过容量限制时其奖励容量。当“每负载”的奖励遵循高斯分布，我们证明了一个样本的复杂性下界学习的能力，从负载相关的奖励，也遗憾下界这个新的MP-MAB问题。我们设计了一个容量估计器，其样本复杂性的上限匹配的下限方面的奖励手段和能力。我们还提出了一个在线学习算法来解决这个问题，并证明其遗憾上界。该后悔上界的第一项与后悔下界相同，第二项和第三项也明显对应于后悔下界。大量的实验验证了我们的算法的性能，并在5G和4G基站选择的增益。
2022-06-17 cs.LG stat.ML
Best Arm Identification in Linked Bandits
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们认为最好的武器识别的问题，在一个变种的多武装土匪称为链接土匪。在与关联的强盗的单次互动中，多个武器被顺序播放，直到其中一个获得正面奖励。由于每个交互提供关于多于一个臂的反馈，因此样本复杂度可以比常规Bandit设置低得多。我们提出了一个算法的链接土匪，结合一个新的子程序进行均匀采样与一个已知的最佳算法定期土匪。我们证明了几乎匹配的上限和下限的样本复杂性最好的手臂识别链接土匪。这些边界有一个有趣的结构，明确依赖于手臂的平均回报，而不仅仅是差距。我们还证实了我们的理论结果与实验。
2019-01-28 cs.LG stat.ML
Corrupt Bandits for Preserving Local Privacy
Inria Lille Nord-Europe（法国国家信息与自动化研究所里尔北欧中心）；Orange Labs（Orange实验室）；CNRS（法国国家科学研究中心）；Univ. Lille（里尔大学）
我们研究了随机多臂强盗（MAB）问题的一个变种，其中的奖励是腐败的。在这个框架中，出于在线推荐系统中的隐私保护的动机，目标是最大化（未观察到的）奖励的总和，基于通过具有已知参数的随机腐败过程对这些奖励的变换的观察。我们提供了一个下界的预期遗憾的任何强盗算法在此损坏的设置。我们设计了一个频率论算法，KLUCB-CF，和贝叶斯算法，TS-CF，并给出他们的遗憾上界。我们还提供了适当的腐败参数，以保证所需的本地隐私水平，并分析这如何影响遗憾。最后，我们提出了一些实验结果，证实了我们的分析。
2017-11-02 cs.LG stat.ML
Quick-Draw Bandits: Quickly Optimizing in Nonstationary Environments with Extremely Many Arms
Booz Allen Hamilton（博世-阿伦哈姆顿公司）；Laboratory for Physical Sciences（物理科学实验室）
针对极多臂非平稳环境下的老虎机优化问题，提出基于高斯插值的连续空间奖励学习策略，实现 $\mathcal{O}^*(\sqrt{T})$ 累积遗憾，计算速度提升百倍以上且实验表现优于滑动高斯过程策略。
2025-05-30 cs.LG stat.ML
A Unified Approach to Translate Classical Bandit Algorithms to the Structured Bandit Setting
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
考虑了有限臂结构化的强盗问题，其中不同臂的平均报酬是一个公共隐参数$θ^*$的已知函数。由于我们没有对这些函数进行任何限制，因此问题设置包含了先前研究的几个假设线性或可逆奖励函数的框架。我们提出了一种新的方法来逐步估计隐藏的$θ^*$，并使用估计与平均奖励函数，大大减少探索次优武器。这种方法使我们能够从根本上概括任何经典的强盗算法，包括UCB和汤普森采样的结构化强盗设置。我们证明，通过遗憾的分析，我们提出的UCB-C算法（结构化的强盗版本的UCB）拉只有一个子集的次优武器$O(\log T)$倍，而其他次优武器（称为非竞争性武器）拉$O(1)$倍。因此，在所有次优武器都是非竞争性的情况下，这可能发生在许多实际情况下，所提出的算法实现有限的遗憾。我们还进行了模拟Movielens建议数据集，以证明所提出的算法比现有的结构化强盗算法的改进。
2021-02-03 cs.LG stat.ML
Conservative Contextual Combinatorial Cascading Bandit
Shanghai Jiaotong University（上海交通大学）
保守机制是决策问题中一种理想的属性，它可以平衡资源的开发和利用。我们提出了新的\emph{conservative contextual combinatorial cascading bandit ($C^4$-bandit)}，级联在线学习游戏，其中包括保守的机制。在每一个时间步，学习代理被赋予一些上下文，并推荐一个项目列表，但不比基本策略差，然后通过一些停止规则观察奖励。我们设计了$C^4$ -UCB算法来解决这个问题，并证明了它的n步后悔上界的两种情况：已知的基线奖励和未知的基线奖励。在这两种情况下的后悔可以被分解为两项：（a）一般上下文组合级联强盗的上限;和（b）保守机制的后悔的常数项。作为副产品，我们还改进了保守上下文组合强盗的界。在合成数据上的实验证明了该方法的优越性，验证了理论分析的正确性。
2021-04-23 cs.LG stat.ML
Privacy-Preserving Multi-Party Contextual Bandits
Facebook AI Research（Facebook人工智能研究）
情境强盗是在线学习者，给定输入，选择一个手臂并获得该手臂的奖励。他们将奖励作为学习信号，旨在最大化输入的总奖励。上下文强盗通常用于解决推荐或排名问题。本文考虑了一种学习环境，在这种环境中，多方以私人的方式训练一个上下文强盗：各方的目标是最大化总回报，但不想与其他各方分享他们拥有的任何相关信息。具体而言，多方可以访问可能使学习者受益但不能与其他方共享的（不同）功能。其中一方拉动手臂，但其他方可能不知道哪个手臂被拉动。一方收到奖励，但其他方可能无法学习奖励值。本文开发了一个隐私保护的多方上下文的学习设置相结合的安全多方计算与差分私有机制的基础上ε贪婪的探索。
2020-02-13 cs.CR cs.LG stat.ML
Neural Contextual Bandits with UCB-based Exploration
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）
我们研究随机上下文强盗问题，其中奖励是从一个未知的函数与加性噪声。除了有界性之外，没有对奖励函数做任何假设。我们提出了一种新的算法NeuralUCB，它利用深度神经网络的表示能力，并使用基于神经网络的随机特征映射来构建有效探索的奖励的置信上限（UCB）。我们证明，在标准假设下，NeuralUCB实现$\tilde O(\sqrt{T})$遗憾，其中$T$是轮数。据我们所知，它是第一个基于神经网络的上下文强盗算法，具有接近最优的遗憾保证。我们还表明，该算法是经验上有竞争力的代表性的基线在一些基准。
2020-07-02 cs.LG stat.ML
