Proportional Response: Contextual Bandits for Simple and Cumulative Regret Minimization
Stanford University（斯坦福大学）；Hong Kong University of Science and Technology（香港科技大学）
该研究针对随机上下文老虎机场景，提出基于共形臂集的比例响应算法族，可通过调参平衡简单遗憾与累积遗憾最小化的性能，同时证明无法同时实现实例依赖简单遗憾保证与极小极大最优累积遗憾保证。
2023-11-03 cs.LG stat.ML
Conditionally Risk-Averse Contextual Bandits
Vienna University of Technology（维也纳工业大学）；Microsoft Research（微软研究院）
本文提出首个具有在线遗憾保证的风险规避上下文赌博机算法，解决平均性能与最坏情况行为之间的权衡问题，并在动态定价、库存管理、自调节软件及生产级百亿亿次级数据处理系统上验证了其有效性。
2023-07-08 cs.LG stat.ML
Experimental Design for Regret Minimization in Linear Bandits
University of Washington（华盛顿大学）
在本文中，我们提出了一种新的实验设计为基础的算法，以尽量减少在线随机线性和组合土匪的遗憾。虽然现有的文献往往集中在基于乐观主义的算法-这已被证明是次优的，在许多情况下-我们的方法仔细计划采取哪些行动，通过平衡信息增益和奖励之间的权衡，克服乐观主义的失败。此外，我们利用经验过程的上确界理论的工具来获得后悔保证，该保证随行动集的高斯宽度而扩展，避免浪费的联合边界。我们提供了国家的最先进的有限时间后悔保证，并表明我们的算法可以适用于在土匪和半土匪反馈制度。在组合半强盗设置，我们表明，我们的算法是计算效率高，只依赖于调用线性最大化预言。此外，我们表明，稍加修改，我们的算法可以用于纯探索，获得国家的最先进的纯探索保证在半强盗设置。最后，我们提供了，据我们所知，第一个例子，乐观失败的半土匪政权，并表明，在这种情况下，我们的算法成功。
2021-02-27 cs.LG stat.ML
Uniform Last-Iterate Guarantee for Bandits and Reinforcement Learning
University of Washington（华盛顿大学）；University of California Los Angeles（加州大学洛杉矶分校）；Peking University（北京大学）
针对现有强化学习指标仅评估累积性能、允许任意时刻采用差策略的问题，本文提出一致末轮迭代（ULI）保证指标，证明其强于传统指标，并给出多类老虎机及在线强化学习下的ULI可实现性结果与对应算法。
2024-10-31 cs.LG stat.ML
A Further Efficient Algorithm with Best-of-Both-Worlds Guarantees for $m$-Set Semi-Bandit Problem
本文提出了一种更高效的算法，通过几何重采样在$m$-集合半对抗问题中实现最佳双世界保证的最优性，同时降低了计算复杂度。
2026-03-12 cs.LG stat.ML
Conformal Off-Policy Prediction in Contextual Bandits
University of Oxford（牛津大学）；Bytedance AI Lab（字节跳动人工智能实验室）
大多数情境强盗的非政策评估方法都集中在政策的预期结果上，这是通过最好的方法来估计的，最多只能提供渐近保证。然而，在许多应用中，期望可能不是性能的最佳度量，因为它没有捕获结果的可变性。此外，特别是在安全关键设置中，可能需要比渐近正确性更强的保证。为了解决这些局限性，我们考虑一种新的应用共形预测的上下文土匪。鉴于收集的数据下的行为政策，我们提出了\emph{conformal off-policy prediction}（COPP），它可以输出可靠的预测区间的结果下，一个新的目标政策。我们提供了理论上的有限样本保证，而不做任何额外的假设超出标准的上下文土匪设置，并实证证明了实用的COPP与现有的方法相比，对合成和真实世界的数据。
2022-10-26 cs.LG stat.ML
Locally Differentially Private (Contextual) Bandits Learning
Peking University（北京大学）；Haihua Institute for Frontier Information Technology（海华前沿信息技术研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文研究了局部差分私有（LDP）强盗学习。首先，我们提出了简单的黑盒约简框架，可以解决一个大家庭的上下文无关的强盗学习问题的LDP保证。基于我们的框架，我们可以改进以前的最佳结果为私人强盗学习与一点反馈，如私人强盗凸优化，并获得第一个结果为强盗凸优化（BCO）与LDP下的多点反馈。LDP保证和黑盒性质使我们的框架更有吸引力的实际应用相比，以前专门设计的和相对较弱的差分私有（DP）上下文无关的强盗算法。进一步地，我们将我们的$(\varepsilon, δ)$算法推广到广义线性Bandits，它具有一个次线性的遗憾$\tilde{O}(T^{3/4}/\varepsilon)$，并被证明是近最优的。请注意，鉴于DP上下文线性强盗的现有$Ω(T)$下限（Shariff & Sheffe，2018），我们的结果显示了LDP和DP上下文强盗学习之间的根本差异。
2021-01-15 cs.LG stat.ML
Improved Algorithms for Stochastic Linear Bandits Using Tail Bounds for Martingale Mixtures
Bosch Center for Artificial Intelligence（博世人工智能中心）；Technische Universität Darmstadt（达姆施塔特工业大学）；University of Southern Denmark（南丹麦大学）；Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)（德国人工智能研究中心）
本文利用自适应鞅混合尾部界构造更紧的置信序列，提出随机线性老虎机改进算法，并通过凸规划实现高效动作选择，在理论和实验上均获得更优的最坏情况遗憾及超参数调优性能。
2023-09-27 cs.LG stat.ML
Contextual Bandits with Smooth Regret: Efficient Learning in Continuous Action Spaces
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
设计有效的通用上下文强盗算法，与大-甚至连续-动作空间将有助于应用到重要的场景，如信息检索，推荐系统和连续控制。虽然获得标准的遗憾保证可能是无望的，但已经提出了替代遗憾概念来解决大动作设置。我们提出了一个顺利的遗憾的概念，上下文土匪，占主导地位的先前提出的替代品。我们设计了一个统计和计算效率高的算法-建议顺利遗憾-工程与一般函数近似下的标准监督神谕。我们还提出了一个自适应算法，自动适应任何平滑度。我们的算法可以用来恢复以前的最小最大/帕累托最优保证下的标准遗憾，例如，在多个最佳武器的强盗问题和Lipschitz/H{<$}lder强盗问题中。我们进行大规模的实证评估，证明我们提出的算法的有效性。
2022-07-12 cs.LG stat.ML
Open Problem: Model Selection for Contextual Bandits
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）；University of Southern California（南加州大学）
在统计学习中，模型选择算法允许学习者适应序列中最佳假设类的复杂性。我们问是否有类似的保证是可能的上下文强盗学习。
2020-06-19 cs.LG stat.ML
Improving Offline Contextual Bandits with Distributional Robustness
Criteo AI Lab（科韬人工智能实验室）
本文扩展了分布式鲁棒优化（DRO）方法离线上下文土匪。具体来说，我们利用这个框架，介绍了一个凸的反事实风险最小化原则的重新制定。除了依赖于凸规划，我们的方法是兼容的随机最优化，因此可以很容易地适应大数据制度。我们的方法依赖于通过DRO框架的离线上下文土匪的渐近置信区间的建设。通过利用已知的稳健估计的渐近结果，我们还展示了如何自动校准这样的置信区间，这反过来又消除了超参数选择的负担，政策优化。我们提出了初步的实证结果支持我们的方法的有效性。
2020-11-13 cs.AI cs.LG stat.ML
Experimental Design for Semiparametric Bandits
Columbia University（哥伦比亚大学）；UNIST（UNIST大学）；Seoul National University（首尔国立大学）
针对有限臂半参数老虎机问题，提出首个兼具严格遗憾界、PAC界与最优臂识别保证的实验设计方法，通过正交化回归的精细非渐近分析达到最优速率，匹配经典下界并实现对数级遗憾。
2025-06-17 cs.LG stat.ML
Towards Costless Model Selection in Contextual Bandits: A Bias-Variance Perspective
Stanford University（斯坦福大学）
本文从偏差-方差视角研究上下文赌博机中的无成本模型选择，提出基于新颖误设测试的算法，随数据增加适应不断演变的偏差-方差权衡，在短时间跨度下提供取决于更简单类别复杂度的改进后悔保证。
2023-10-23 cs.LG stat.ML
Robust Stochastic Linear Contextual Bandits Under Adversarial Attacks
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）；Amazon（亚马逊）
随机线性上下文强盗算法在实际中有着重要的应用，如推荐系统，在线广告，临床试验等。最近的工作表明，最佳强盗算法容易受到对抗性攻击，并可能在攻击的存在下完全失败。现有的鲁棒Bandit算法仅适用于奖励攻击下的非上下文环境，无法提高在一般流行的上下文Bandit环境下的鲁棒性。此外，现有的方法都不能抵御攻击上下文。在这项工作中，我们提供了第一个强大的强盗算法的随机线性上下文强盗设置下的完全自适应和全知的攻击与次线性遗憾。我们的算法不仅可以在奖励攻击下工作，而且可以在攻击上下文下工作。此外，它不需要任何关于攻击预算或特定攻击形式的信息。我们为我们提出的算法提供了理论保证，并通过实验表明，我们提出的算法提高了对各种流行的攻击的鲁棒性。
2023-01-30 cs.LG stat.ML
HR-Bandit: Human-AI Collaborated Linear Recourse Bandit
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Texas A&M University（德克萨斯农工大学）
受医疗场景启发，提出RLinUCB算法优化动作选择与特征修改，进一步扩展为融合人类 expertise 的HR-Bandit框架，具备三项性能保证，实证验证其效果优于现有基准。
2025-03-20 cs.LG
Approximately Stationary Bandits with Knapsacks
Cornell University（康奈尔大学）
本文提出近似平稳BwK条件，弥合随机与对抗性带背包赌博机之间的差距，并给出两种参数无关算法，其竞争比随环境平稳程度平滑变化，在预算小时显著优于对抗性保证。
2023-07-08 cs.LG stat.ML
On the Robustness of Epoch-Greedy in Multi-Agent Contextual Bandit Mechanisms
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Georgia Institute of Technology（佐治亚理工学院）
本文研究激励、上下文与对抗性点击破坏并存的多臂 bandit 机制，证明扩展后的 $ε$-greedy 可同时应对策略性臂和数据破坏，且性能随破坏量线性退化。
2023-07-15 cs.IR cs.LG stat.ML
Adapting to Misspecification in Contextual Bandits with Offline Regression Oracles
Stanford University（斯坦福大学）
计算效率高的上下文强盗通常基于使用过去的数据估计给定上下文和武器的奖励的预测模型。然而，当奖励模型没有很好地指定，强盗算法可能会招致意想不到的遗憾，所以最近的工作集中在算法，是强大的误指定。我们提出了一个简单的家庭的上下文强盗算法，通过恢复到一个很好的安全的政策时，有证据表明，误指定是造成遗憾的增加，以适应误指定错误。我们的算法只需要一个离线回归预言，以确保遗憾的保证，优雅地降低在平均误指定水平的措施。与先前的工作相比，我们获得了类似的遗憾保证，但我们不依赖于主算法，并且不需要更强大的预言机，如在线或约束回归预言机（例如，Foster等人（2020 a）; Krishnamurthy等人（2020））。这使我们能够为更一般的函数近似类设计算法。
2021-06-11 cs.LG stat.ML
The Greedy Advantage in Finite-Horizon Bandits
Tsinghua University（清华大学）；Harvard Business School（哈佛商学院）
针对有限时间范围老虎机问题，提出正则化贪心算法，推导其有限时间范围遗憾包络并校准参数，实验显示其性能优于或匹配当前最优算法，为该问题提供有效方案。
2026-08-03 cs.LG stat.ML
Robustness of Anytime Bandit Policies
研究了随机多臂强盗问题中后悔偏差的存在性。当游戏的总次数n事先被代理人知道时，Audibert et al.（2009）展示了一个策略，使得概率至少为1-1/n，策略的后悔次数为log（n）。他们还表明，Auer et al.（2002）流行的ucb 1政策并不具有这样的性质。这项工作首先回答了一个悬而未决的问题：它扩展了这个负面的结果，任何时候的政策。本文的第二个贡献是设计任何时候都强大的政策，具体的多臂强盗问题，其中的一些限制的可能分布的不同的武器。
2011-07-25 stat.ML
Selfish Robustness and Equilibria in Multi-Player Bandits
Université Paris-Saclay（巴黎萨克雷大学）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；CNRS（法国国家科学研究中心）；Centre Borelli（博雷利中心）；CREST（经济与统计研究中心）；ENSAE Paris（巴黎国立统计与经济管理学院）；Criteo AI Lab（Criteo人工智能实验室）
受认知无线电的启发，随机多人多武装土匪最近引起了人们的极大兴趣。在这类问题中，几个玩家同时拉动手臂，如果其中一些玩家同时拉动同一只手臂，则会发生碰撞-奖励为0。虽然合作的情况下，玩家最大化集体奖励（顺从地遵循一些固定的协议）已被大多数考虑，鲁棒性恶意玩家是一个至关重要的和具有挑战性的问题。现有的方法只考虑对抗性干扰器的情况，其目标是盲目地最小化集体奖励。相反，我们将考虑更自然的自私的参与者，他们的动机是最大化他们的个人回报，可能以牺牲社会福利为代价。我们提供了第一个算法鲁棒自私的球员（又名。纳什均衡）与对数后悔，当手臂的性能进行观察。当冲突也被观察到，严峻的触发类型的策略，使一些隐式的基于通信的算法，我们构建强大的算法在两个不同的设置：同质（遗憾相比，集中式的最佳）和异构的情况下（适应和相关的概念遗憾）。我们还提供不可能的结果时，只有奖励观察到或当手臂的手段任意不同的球员。
2020-06-19 cs.LG stat.ML
Improved Best-of-Both-Worlds Guarantees for Multi-Armed Bandits: FTRL with General Regularizers and Multiple Optimal Arms
University of Southern California（南加州大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文证明FTRL算法在广泛正则化器族和新学习率调度下无需唯一最优臂假设即可同时实现随机与对抗环境的最优遗憾界，并推广到解耦探索与利用问题。
2023-10-26 cs.LG stat.ML
Online and Distribution-Free Robustness: Regression and Contextual Bandits with Huber Contamination
MIT（麻省理工学院）；UC Berkeley（加州大学伯克利分校）
在这项工作中，我们重新审视两个经典的高维在线学习问题，即线性回归和上下文强盗，从对抗鲁棒性的角度。算法鲁棒统计中的现有工作做出强分布假设，以确保输入数据均匀分布或来自良好的生成模型。即使完全没有分布假设，我们被要求解决的任务序列是自适应和逆向选择的，是否有可能实现强鲁棒性保证？我们对线性回归和上下文强盗都肯定地回答这个问题。事实上，我们的算法在传统方法失败的地方取得了成功。特别是，我们显示出强大的下界对Huber回归和更一般的任何凸M-估计。我们的方法是基于一种新的交替最小化方案，交织普通最小二乘法与一个简单的凸规划，找到最佳的重新加权的分布下的频谱约束。我们的研究结果获得基本上最佳的依赖污染水平$η$，达到最佳的击穿点，并自然地适用于无限维的设置，其中的特征向量通过内核映射表示隐式。
2021-06-10 cs.DS cs.LG stat.ML
A Perturbation Approach to Unconstrained Linear Bandits
Inria, Univ. Grenoble Alpes, Grenoble INP, CNRS, LIG, 38000 Grenoble, France（法国国家信息与自动化研究所、格勒诺布尔阿尔卑斯大学、格勒诺布尔INP、国家科学研究中心、格勒诺布尔理工大学）；The University of Tokyo（东京大学）
本文提出一种基于扰动的框架，将无约束线性赌博机问题简化为标准在线线性优化问题，并实现了静态和动态遗憾的最优高概率保证。
2026-08-04 cs.LG stat.ML
Online Boosting with Bandit Feedback
Google AI Princeton（谷歌人工智能普林斯顿）；Department of Computer Science, Princeton University（普林斯顿大学计算机科学系）
我们考虑了回归任务的在线提升问题，当学习者只有有限的信息可用时。我们给出了一个有效的遗憾最小化方法，有两个影响：一个在线助推算法与嘈杂的多点强盗反馈，和一个新的无投影在线凸优化算法与随机梯度，提高了国家的最先进的保证方面的效率。
2020-07-23 cs.LG stat.ML
Contextual Bandit Algorithms with Supervised Learning Guarantees
IBM Research（IBM研究院）；Yahoo! Research（雅虎研究院）；Georgia Institute of Technology（佐治亚理工学院）；Princeton University（普林斯顿大学）
我们解决的问题，学习在一个在线的，强盗设置，学习者必须反复选择之间的$K$行动，但只收到部分反馈的基础上，其选择。我们确立了两个新事实：首先，使用一种新的算法，称为Exp4.P，我们表明，它是可能的竞争与最好的一组$N$专家概率$1-δ$，而招致遗憾，最多$O(\sqrt{KT\ln(N/δ)})$在$T$的时间步骤。新算法在一个大规模的，真实世界的数据集进行了经验测试。第二，我们给出了一个新的算法，称为VE的VC维$d$的政策可能无限集的竞争，而招致遗憾的概率$1-δ$在最多$O(\sqrt{T(d\ln(T) + \ln (1/δ))})$。这些保证改进了所有以前的算法，无论是在随机还是对抗环境中，并使我们更接近于为上下文强盗设置提供监督学习类型的保证。
2011-10-27 cs.LG
A Best-of-both-worlds Algorithm for Bandits with Delayed Feedback with Robustness to Excessive Delays
University of Copenhagen（哥本哈根大学）；Google Research（谷歌研究院）
本文提出一种无需延迟先验知识的最优双世界算法，通过隐式探索、分布漂移控制和自适应跳过过度延迟观测，实现对任意延迟的鲁棒性，并揭示问题复杂性由缺失信息量而非延迟时间决定。
2024-05-27 cs.LG stat.ML
Thompson Sampling Algorithms for Cascading Bandits
National University of Singapore（新加坡国立大学）
由于在线推荐系统迫切需要高效优化，我们重新审视了Kveton等人提出的级联强盗模型。虽然汤普森采样（TS）算法已被证明是经验上优于上置信界（UCB）算法级联土匪，理论保证只知道后者。在本文中，我们首先提供了一个与问题相关的关于具有Beta-Bernoulli更新的TS算法的遗憾的上界;这个上界比Huyuk和Tekin（2019）在更一般的设置下最近的推导更紧。接下来，我们设计并分析了另一种具有高斯更新的TS算法TS-Cascade。TS-级联实现了国家的最先进的遗憾势必级联土匪。作为补充，我们考虑了级联强盗模型的线性推广，它允许在大型级联强盗问题实例中进行有效的学习。我们介绍并分析了TS算法，它享有的遗憾界，依赖于线性模型的维数，而不是项目的数量。最后，通过使用信息理论技术和明智地构建级联强盗的例子，我们得到了一个几乎匹配的遗憾下界的标准模型。本文首次建立了部分反馈随机组合强盗问题TS算法的理论保证。数值实验表明，所提出的TS算法相比现有的基于UCB的优越性。
2021-05-16 cs.LG stat.ML
PAC Off-Policy Prediction of Contextual Bandits
本文针对上下文赌博机离线策略评估问题，提出一种基于PAC有效共形预测框架的新算法，构建以给定离线数据集为条件的概率近似正确预测区间，并给出有限样本与渐近理论保证及模拟验证。
2025-07-22 cs.LG stat.ML
Geometry-Aware Approaches for Balancing Performance and Theoretical Guarantees in Linear Bandits
Graduate School of Business, Stanford University（斯坦福大学商学院）
针对线性老虎机算法实验性能与理论后悔界不符的问题，提出追踪不确定性椭球几何性质的数据驱动方法，推导基础算法的几何感知后悔界并实现过程校正，达到极小极大最优后悔且保留原算法实验优势。
2025-05-18 cs.LG stat.ML
Data Dependent Regret Guarantees Against General Comparators for Full or Bandit Feedback
我们研究了对抗性在线学习问题，并创建了一个完全在线的算法框架，在完全专家反馈和强盗反馈设置中具有数据依赖的后悔保证。我们研究了我们的算法对一般比较器的预期性能，这使得它适用于各种各样的问题场景。我们的算法从通用预测的角度工作，所使用的性能指标是对任意比较器序列的预期遗憾，这是我们的损失和竞争损失序列之间的差异。竞争类可以被设计为包括固定臂选择、切换强盗、上下文强盗、周期强盗或任何其他感兴趣的竞争。竞赛类中的顺序通常由手头的具体应用决定，并应相应地进行设计。我们的算法既不使用也不需要任何关于损失序列的初步信息，并且完全在线。它的性能界限是数据依赖的，其中任何仿射变换的损失没有影响的归一化后悔。
2023-03-12 cs.IT cs.LG eess.SP
BanditQ: Fair Bandits with Guaranteed Rewards
School of Technology and Computer Science, Tata Institute of Fundamental Research（塔塔基础研究院技术与计算机科学学院）
针对经典多臂赌博机算法忽视非最优臂导致的不公平问题，提出 BanditQ 在线策略，结合排队论与对抗性赌博机，保证各臂最低奖励速率并给出遗憾与违例惩罚界。
2024-05-12 cs.LG cs.PF
An Optimal Algorithm for Adversarial Bandits with Arbitrary Delays
University of Copenhagen（哥本哈根大学）
我们提出了一个新的算法对抗多武装土匪无限制的延迟。该算法是基于一种新的混合正则化应用在遵循正则化领导者（FTRL）框架。它实现了$\mathcal{O}(\sqrt{kn}+\sqrt{D\log(k)})$后悔保证，其中$k$是臂数，$n$是轮数，$D$是总延迟。结果与常数内的下限匹配，并且不需要$n$或$D$的先验知识。此外，我们提出了一个精细的调整的算法，它实现了$\mathcal{O}(\sqrt{kn}+\min_{S}|S|+\sqrt{D_{\bar S}\log(k)})$遗憾保证，其中$S$是从延迟计数排除的一组轮，$\bar S = [n]\setminus S$是计数轮，和$D_{\bar S}$是总延迟在计数轮。如果延迟是高度不平衡的，后者的遗憾保证可能比前者严格得多。该结果不需要提前了解延迟，并解决了Thune等人（2019）的开放问题。新的FTRL算法及其精细调整是随时随地，不需要加倍，这解决了Thune等人的另一个开放问题。
2020-06-16 cs.LG stat.ML
Model Selection in Contextual Stochastic Bandit Problems
University of California Berkeley（加州大学伯克利分校）；University of Massachusetts（马萨诸塞大学）；DeepMind（深度思维）；Adobe（奥多比）；Google Research（谷歌研究院）；University of Alberta（阿尔伯塔大学）
研究随机环境中的强盗模型选择问题。我们的方法依赖于一个元算法，候选人之间的基础算法进行选择。我们开发了一个基于元算法的算法抽象，可以与一般类的基本算法和不同类型的对抗元算法。我们的方法依赖于一个新的和通用的平滑变换的强盗算法，使我们能够获得最佳的$O(\sqrt{T})$模型选择保证随机上下文的强盗问题，只要最佳的基础算法满足高概率的遗憾保证。我们通过一个下界表明，即使当一个基本算法有$O(\log T)$遗憾，在一般情况下，它是不可能得到更好的模型选择比$Ω(\sqrt{T})$遗憾，甚至渐近。使用我们的技术，我们解决模型选择在各种问题，如错误指定的线性上下文土匪，线性土匪与未知的维度和强化学习与未知的特征映射。我们的算法需要最佳基遗憾的知识来调整元算法的学习率。我们表明，没有这样的先验知识，任何元算法可以遭受的遗憾大于最佳的基础遗憾。
2022-12-04 cs.LG stat.ML
One Arrow, Two Kills: An Unified Framework for Achieving Optimal Regret Guarantees in Sleeping Bandits
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；IBM Research（IBM研究院）；University of Pennsylvania（宾夕法尼亚大学）
我们解决问题的\emph{`Internal Regret'}在\emph{Sleeping Bandits}在完全对抗的设置，以及绘制不同的现有概念之间的连接睡眠的遗憾在多臂匪徒（MAB）的文献，因此分析的影响：我们的第一个贡献是提出了新的概念\emph{Internal Regret}睡眠MAB。然后，我们提出了一个算法，产生次线性遗憾的措施，即使是一个完全敌对的序列的损失和可用性。我们进一步证明，低睡眠内部遗憾总是意味着低外部遗憾，以及低政策遗憾的iid序列的损失。这部作品的主要贡献在于统一了《睡匪》中存在的遗憾的不同概念，并理解了它们之间的含义。最后，我们还将我们的结果扩展到设置\emph{Dueling Bandits}（DB）-一个偏好反馈的MAB的变种，并提出了减少MAB的想法，设计一个低遗憾算法的睡眠决斗土匪随机偏好和对抗的可用性。我们的算法的有效性是合理的，通过实证评估。
2022-10-26 cs.LG
Stochastic Bandits with ReLU Neural Networks
Arizona State University（亚利桑那州立大学）；University of Pennsylvania（宾夕法尼亚大学）
本研究针对带ReLU神经网络结构的随机多臂老虎机问题，提出OFU-ReLU及OFU-ReLU+算法，首次实现单层ReLU下$\tilde{O}(\sqrt{T})$的遗憾值上界，核心是利用ReLU分段线性结构将问题转化为变换特征空间的线性老虎机问题。
2024-05-12 cs.DS cs.LG stat.ML
Nearly-tight Approximation Guarantees for the Improving Multi-Armed Bandits Problem
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
本文研究奖励随拉动次数凹增的改进型多臂老虎机问题，证明随机在线算法的近似下界为 Ω(√k)，并给出已知最大奖励时 O(√k)、未知时 O(√k log k) 的近似算法。
2024-04-01 cs.DS cs.LG stat.ML
The Intrinsic Robustness of Stochastic Bandits to Strategic Manipulation
Harvard University（哈佛大学）；University of Virginia（弗吉尼亚大学）
受推荐系统等经济应用的启发，我们研究了由理性行为者进行的\emph{strategic behavior}下的随机强盗算法的行为，即，手臂每个手臂都是一个\emph{self-interested}策略参与者，在跨时期预算约束下，每当被拉时，他们都可以修改自己的奖励，以最大化自己的预期被拉次数。我们分析了三个流行的强盗算法的鲁棒性：UCB，$\varepsilon$ -贪婪，汤普森采样。我们证明了这三种算法都达到了一个遗憾上界$\mathcal{O}(\max \{ B, K\ln T\})$，其中$B$是跨武器的总预算，$K$是武器的总数，$T$是时间范围的长度。这种遗憾保证在\emph{arbitrary adaptive}的武器操纵策略下成立。我们的第二组主要结果表明，这个遗憾界是\emph{tight} -事实上，对于UCB，即使我们限制手臂的操作策略形成\emph{Nash equilibrium}，它也是紧的。下界利用了一个简单的操作策略，所有三种算法都是一样的，得到了一个$Ω(\max \{ B, K\ln T\})$的界。我们的结果说明了经典的强盗算法对策略操纵的鲁棒性，只要$B=o(T)$。
2020-11-12 cs.AI cs.GT cs.LG
Versatile Dueling Bandits: Best-of-both-World Analyses for Online Learning from Preferences
Microsoft Research, NYC（微软研究院，纽约市）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔综合理工学院）
我们研究的问题$K$武装决斗土匪随机和对抗环境中，学习者的目标是通过相对偏好的决策点查询在网上顺序的方式来聚合信息。我们首先提出了一个新的减少从任何（一般）决斗土匪多武装土匪，尽管简单，它使我们能够改善许多现有的结果决斗土匪。特别是，\emph{we give the first best-of-both world result for the dueling bandits regret minimization problem} --一个统一的框架，保证同时对随机和对抗性偏好进行最佳执行。此外，我们的算法也是第一个实现最佳的$O(\sum_{i = 1}^K \frac{\log T}{Δ_i})$遗憾约束对康多塞冠军的基准，最佳规模的手臂大小$K$和实例特定的次优差距$\{Δ_i\}_{i = 1}^K$。这解决了长期存在的问题，设计一个实例间隙相关的顺序最优后悔算法决斗土匪（匹配下限小常数因子）。我们进一步证明了我们提出的算法的鲁棒性，通过证明其最佳后悔率下adversarially损坏的偏好-这优于现有的最先进的损坏决斗结果的大幅度。总之，我们相信我们的减少想法将在解决不同类别的决斗土匪设置中找到更广泛的范围，否则将与通常更复杂的解决方案和更差的保证的多武装土匪分开研究。我们提出的算法的有效性是经验证实对现有的决斗土匪的方法。
2022-02-14 cs.LG stat.ML
Efficient and Robust Algorithms for Adversarial Linear Contextual Bandits
Universitat Pompeu Fabra（庞培法布拉大学）
我们考虑一个对抗性的经典$K$武装线性上下文的强盗问题的序列与每个手臂相关的损失函数的变化，随着时间的推移，没有限制。在假设$d$维上下文是i.i.d.~随机从一个已知的分布，我们开发了计算效率的算法的基础上，经典的Exp 3算法。我们的第一个算法，RealLinExp 3，实现了$\widetilde{O}(\sqrt{KdT})$的遗憾保证超过$T$轮，这符合最佳的可用的界限，这个问题。我们的第二个算法，RobustLinExp 3，被证明是强大的误指定，因为它实现了遗憾界的$\widetilde{O}((Kd)^{1/3}T^{2/3}) + \varepsilon \sqrt{d} T$，如果真正的奖励函数是线性的加性非线性误差的绝对值一致有界的$\varepsilon$。据我们所知，我们的性能保证构成了这个问题设置的第一个结果。
2022-05-24 cs.LG stat.ML
Corralling Stochastic Bandit Algorithms
Johns Hopkins University（约翰斯·霍普金斯大学）；Courant Institute（柯朗研究所）；Google Research（谷歌研究院）
我们研究的问题，畜栏随机强盗算法，即结合多个强盗算法设计的随机环境中，设计一个畜栏算法，以及最好的基础算法的目标。我们给出了两个一般的算法，这种设置，我们表现出有利的后悔保证的好处。我们发现，遗憾的畜栏算法是没有比最好的算法包含最高奖励的手臂，并取决于最高奖励和其他奖励之间的差距。
2021-02-28 cs.LG stat.ML
Parameter-Free Dynamic Regret for Unconstrained Linear Bandits
Intesa Sanpaolo AI Research（意大利联合圣保罗银行人工智能研究院）；Università degli Studi di Milano（米兰大学）；Politecnico di Milano（米兰理工大学）；Intesa Sanpaolo Innovation Center（意大利联合圣保罗银行创新中心）
本文提出一种无参数动态遗憾算法，针对无约束对抗性线性老虎机问题，实现最优遗憾界O(√(d(1+S_T)T))，无需提前知道切换次数S_T。
2026-03-26 cs.LG stat.ML
Improved Sleeping Bandits with Stochastic Actions Sets and Adversarial Rewards
Indian Institute of Science（印度科学理工学院）；Sierra Team, Inria（法国国家信息与自动化研究所 Sierra 团队）；DeepMind
本文研究了具有随机行动集和对抗性报酬的睡土匪问题。在这种情况下，与强盗中的大多数工作相反，行动可能不是在任何时候都可用。例如，某些产品可能会在项目推荐中缺货。现有的最佳效率（即，多项式时间）算法仅保证遗憾的$O(T^{2/3})$上限。然而，基于EXP4的低效算法可以实现$O(\sqrt{T})$。在本文中，我们提供了一个新的计算效率的启发，EXP3满足一个遗憾的顺序$O(\sqrt{T})$时，每个行动$i \in \cA$的可用性是独立的。然后，我们研究问题的最一般版本，其中在每一轮可用集是从一些未知的任意分布（即，不带独立性假设），并提出了一种有效的具有$O(\sqrt {2^K T})$后悔保证的算法。我们的理论结果与实验评估证实。
2020-08-08 cs.LG stat.ML
Guaranteed Fixed-Confidence Best Arm Identification in Multi-Armed Bandits: Simple Sequential Elimination Algorithms
University of Southern California（南加州大学）
我们考虑的问题，通过自适应采样，$n$选项（武器）具有最大的平均值。我们的目标是确定一个规则，确定一个固定的最低置信度，使用尽可能少的观察，即最好的武器，这是一个固定的信心（FC）最好的武器识别（BAI）在多武装匪徒。我们研究这样的问题下的贝叶斯设置与伯努利和高斯武器。我们建议使用经典的“向量在一个时间”（VT）的规则，采样每个剩余的手臂在每一轮。我们展示了如何VT可以实现和分析在我们的贝叶斯设置，并通过早期消除得到改善。我们的分析表明，这些算法保证了一个最优的策略下的先验。我们还提出并分析了一个变种的经典的“发挥赢家”（PW）算法。数值结果表明，这些规则与最先进的算法相比毫不逊色。
2022-03-15 cs.LG
Learning and Fairness in Energy Harvesting: A Maximin Multi-Armed Bandits Approach
Indian Institute of Technology Bombay（印度理工学院孟买分校）
无线射频（RF）能量收集的最新进展允许传感器节点通过远程为其电池充电来延长其寿命。由节点收集的能量的量取决于它们的周围环境以及与源的接近程度。传感器网络的寿命取决于节点在网络中可以收获的最小能量。因此，重要的是要了解节点收集的最少能量，以便源可以在最大化该量的频带上进行传输。我们将这个学习问题建模为一个新的随机最大最小多臂强盗（Maximin MAB）问题，并提出了一个基于置信上界（UCB）的算法Maximin UCB。Maximin MAB是标准MAB的推广，并享有与UCB 1算法相同的性能保证。实验结果验证了我们的算法的性能保证。
2020-06-16 cs.LG stat.ML
Oracle-Efficient Combinatorial Semi-Bandits
CREST, ENSAE, IP Paris（CREST、ENSAE、IP巴黎）；FairPlay joint team（FairPlay联合团队）；London School of Economics（伦敦经济学院）；Seoul National University（首尔国立大学）
研究组合半带式赌博机问题，提出神谕高效框架，减少神谕调用次数，在最坏情况线性奖励设置下，算法用较少神谕查询达低遗憾值，还有协方差自适应算法及扩展到非线性奖励，降低神谕使用时间并获理论保证。
2026-07-14 cs.LG stat.ML
The Pareto Frontier of Instance-Dependent Guarantees in Multi-Player Multi-Armed Bandits with no Communication
Microsoft Research（微软研究院）
研究了随机多人多臂强盗问题。在这个问题中，$m$参与者合作以最大化他们从$K > m$武器中获得的总奖励。然而，玩家不能交流，如果他们在同一时间拉同一只手臂，就会受到惩罚（例如没有奖励）。我们问是否有可能获得最佳的实例依赖的遗憾$\tilde{O}(1/Δ)$，其中$Δ$是$m$-th和$m+1$-st最佳臂之间的差距。这种保证最近在一个模型中实现，该模型允许参与者通过故意碰撞进行隐式通信。令人惊讶的是，我们表明，没有沟通，这样的保证是无法实现的。事实上，对于$Δ$的某些值，获得最佳的$\tilde{O}(1/Δ)$后悔必然意味着在其他制度中严格的次优后悔。我们的主要结果是帕累托最优的实例相关的权衡，可能没有通信的一个完整的表征。我们的算法概括了Bubeck，Budzinski和第二作者。在那里，我们的算法成功，即使碰撞后的反馈可以被破坏的自适应对手，由于一个强大的无碰撞属性。我们的下界是基于多尺度的拓扑障碍，是全新的。
2022-06-06 cs.LG cs.MA stat.ML
Compliance-Aware Bandits
Australian National University（澳大利亚国立大学）；Victoria University Wellington（惠灵顿维多利亚大学）
受临床试验的启发，我们研究了可观察到的不依从性的土匪。在每一步，学习者选择一只手臂，之后，它不仅观察奖励，还观察发生的动作。我们表明，这种不遵守可以是有益的或有害的学习者一般。不幸的是，天真地将遵守信息纳入强盗算法失去了对次线性遗憾的保证。我们提出的混合算法，保持遗憾界的乘法因子，并可以将合规信息。基于国际斯托克试验真实数据的模拟显示了这些算法的实用潜力。
2016-02-09 cs.LG stat.ML
A Best-of-Both-Worlds Algorithm for Bandits with Delayed Feedback
University of Copenhagen（哥本哈根大学）；Google Research（谷歌研究院）
我们提出了一种改进的Zimmert和Seldin [2020]算法的调整，用于具有延迟反馈的对抗性多臂强盗，除了Zimmert和Seldin所示的最小最优对抗性遗憾保证之外，还同时在具有固定延迟的随机设置中实现了接近最优的遗憾保证。具体来说，对抗性后悔保证是$\mathcal{O}(\sqrt{TK} + \sqrt{dT\log K})$，其中$T$是时间范围，$K$是手臂的数量，$d$是固定延迟，而随机后悔保证是$\mathcal{O}\left(\sum_{i \neq i^*}(\frac{1}{Δ_i} \log(T) + \frac{d}{Δ_{i}\log K}) + d K^{1/3}\log K\right)$，其中$Δ_i$是次优间隙。我们还提出了一个扩展的算法的情况下，任意延迟，这是基于预言知识的最大延迟$d_{max}$和实现$\mathcal{O}(\sqrt{TK} + \sqrt{D\log K} + d_{max}K^{1/3} \log K)$遗憾的对抗制度，其中$D$是总延迟，和$\mathcal{O}\left(\sum_{i \neq i^*}(\frac{1}{Δ_i} \log(T) + \frac{σ_{max}}{Δ_{i}\log K}) + d_{max}K^{1/3}\log K\right)$遗憾的随机制度，其中$σ_{max…
2022-06-29 cs.LG stat.ML
Multitask Bandit Learning Through Heterogeneous Feedback Aggregation
University of California San Diego（加州大学圣地亚哥分校）；University of Arizona（亚利桑那大学）
在许多现实世界的应用中，多个智能体试图学习如何执行高度相关但略有不同的任务，在一个在线的强盗学习协议。我们制定这个问题的$ε$ -多玩家多武装土匪问题，其中一组球员同时与一组武器，并为每个手臂，奖励分配的所有球员是相似的，但不一定相同。我们开发了一个基于置信上限的算法，RobustAgg $(ε)$，自适应地聚合不同玩家收集的奖励。在玩家之间的奖励分布的成对相似性的上限是已知的设置中，我们实现了依赖于玩家之间信息共享的顺从性的实例依赖的后悔保证。我们补充这些上限与几乎匹配的下限。在设置成对的相似性是未知的，我们提供了一个下界，以及一个算法，权衡最小最大遗憾保证适应未知的相似性结构。
2021-07-20 cs.LG stat.ML
Sleeping Combinatorial Bandits
IIIT Hyderabad（海得拉巴国际信息技术学院）；Technion（以色列理工学院）
在本文中，我们研究了一个有趣的组合睡眠和组合随机土匪。在这里研究的混合模型中，在每个离散时刻，从一组固定的\emph{base}臂生成任意的\emph{availability set}。算法可以从\emph{availability set}（睡眠强盗）中选择一个分支子集，并接收相应的奖励以及半强盗反馈（组合强盗）。我们适应著名的CUCB算法在睡眠组合强盗设置，并将其称为\CSUCB。我们证明-在温和的光滑条件下-\CSUCB \算法实现了$O(\log (T))$实例相关的遗憾保证。我们进一步证明了：（i）当奖励范围有界时，\CSUCB \算法的后悔保证是$O(\sqrt{T \log (T)})$;（ii）在一般情况下，与实例无关的后悔保证是$O(\sqrt[3]{T^2 \log(T)})$.我们的结果是相当普遍的，并在一般的环境下，如非添加剂的奖励功能，不稳定的手臂的可用性，一个可变数量的基臂被拉-在实际应用中出现。我们通过实验验证了已证明的理论保证。
2021-06-03 cs.LG
An Improved Parametrization and Analysis of the EXP3++ Algorithm for Stochastic and Adversarial Bandits
University of Copenhagen（哥本哈根大学）；ICREA（加泰罗尼亚高等研究院）；Pompeu Fabra University（庞培法布拉大学）
我们提出了一种新的多臂土匪随机算法中的间隙估计策略，并将其与Seldin和Slivkins（2014）的EXP3++算法相结合。在随机制度的策略减少了从$(\ln t)^3$到$(\ln t)^2$的时间跨度上的遗憾的依赖性，并消除了顺序为$Δe^{1/Δ^2}$的附加因子，其中$Δ$是问题实例的最小间隙。在对抗制中，后悔保证保持不变。
2017-05-09 cs.LG stat.ML
Expected Sample Complexity in Multi-Armed Bandits
Technion – Institute of Technology（以色列理工学院）
本文提出多臂老虎机中的期望样本复杂度度量，在ACE框架下分析，证明其优于高概率保证，并设计算法及下界，揭示确定性算法劣势与两种设置下的性能分离。
2026-10-08 cs.LG stat.ML
Value Directed Exploration in Multi-Armed Bandits with Structured Priors
University of New Hampshire（新罕布什尔大学）
多武装匪徒是一个典型的机器学习问题，需要平衡探索和利用。虽然在开发具有强有力理论保证的算法方面取得了进展，但对实际接近最优的有限时间性能的关注较少。在本文中，我们提出了一个算法贝叶斯多武装土匪，利用价值函数驱动的在线规划技术。在UCB和Gittins指数的基础上，引入了线性可分的价值函数，它既考虑了预期收益，又考虑了探索的收益，从而实现了n步前视。该算法享有次线性的性能保证，我们目前的模拟结果，确认其强度与结构化的先验问题。我们的方法的简单性和通用性，使它成为一个强大的候选人分析更复杂的多臂土匪问题。
2017-05-17 cs.AI cs.LG stat.ML
