Simple Regret Minimization for Contextual Bandits
Department of EECS, University of Michigan, Ann Arbor, MI, USA（密歇根大学电气工程与计算机科学系）；Department of Aerospace Engineering, University of Michigan, Ann Arbor, MI, USA（密歇根大学航空航天工程系）；Climate and Space Engineering, University of Michigan, Ann Arbor, MI, USA（密歇根大学气候与空间工程系）
经典的多臂强盗（MAB）问题有两种变体，近年来受到机器学习研究者的广泛关注：情境强盗和简单后悔最小化。情境强盗是MAB的一个子类，在每个时间步，学习者都可以获得预测最佳手臂的边信息。简单的遗憾最小化假设学习者只在纯探索阶段后才会后悔。在这项工作中，我们研究简单的后悔最小化上下文土匪。出于应用程序的学习者有单独的培训和自主模式，我们假设学习者经历了一个纯粹的探索阶段，在每一个动作后收到反馈，但没有遗憾，然后是一个纯粹的开发阶段，其中遗憾的是，但没有反馈。我们提出了上下文间隙算法，并建立了简单的遗憾，即性能保证，在纯开发阶段的遗憾。我们的实验研究了一种新的应用程序，以自适应传感器选择星际航天器的磁场估计，并证明了相当大的改进算法，旨在尽量减少累积遗憾。
2020-02-25 cs.LG stat.ML
Improving Regret Bounds for Combinatorial Semi-Bandits with Probabilistically Triggered Arms and Its Applications
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
研究了具有概率触发臂的组合多臂强盗（CMAB-T）和半强盗反馈。我们解决了之前CMAB-T研究中的一个严重问题，其中遗憾界限包含可能呈指数级大的因子$1/p^*$，其中$p^*$是任何动作触发手臂的最小正概率。我们通过在一般的CMAB-T框架中引入触发概率调制（TPM）有界光滑条件来解决这个问题，并证明了许多应用如影响力最大化强盗和组合级联强盗都满足TPM条件.因此，我们完全删除了$1/p^*$的因素从遗憾的界限，实现显着更好的遗憾界限影响力最大化和级联土匪比以前。最后，我们提供的下界结果表明，一般的CMAB-T问题的因素$1/p^*$是不可避免的，这表明TPM条件是至关重要的，在消除这个因素。
2021-06-08 cs.LG stat.ML
Regret Bounds for Thompson Sampling in Episodic Restless Bandit Problems
University of Michigan（密歇根大学）
不安分土匪问题是非静止多武装土匪的实例。这些问题已经从优化的角度进行了很好的研究，其目标是在系统参数已知的情况下有效地找到一个接近最优的策略。然而，很少有论文采用学习的角度来看，参数是未知的。在本文中，我们分析了汤普森采样的性能在情节不安土匪未知参数。我们考虑一个一般的政策地图来定义我们的竞争对手，并证明了一个$\tilde{\mathcal{O}}(\sqrt{T})$贝叶斯遗憾界。我们的竞争对手足够灵活，可以代表各种基准，包括最佳固定动作策略，最优策略，Whittle指数策略或近视策略。我们还提出了支持我们的理论研究结果的实证结果。
2019-10-26 cs.LG stat.ML
Improved Path-length Regret Bounds for Bandits
Microsoft Research（微软研究院）；Stanford University（斯坦福大学）；University of Southern California（南加州大学）
我们研究自适应遗憾界的变化的损失（所谓的路径长度界）的多臂土匪和更一般的线性土匪。我们首先证明了（Wei和Luo，2018）的看似次优的路径长度界实际上对于自适应对手是不可改进的。尽管有这个负面的结果，我们还是开发了两个新的算法，一个是严格改进的（Wei和Luo，2018），具有较小的路径长度测量，另一个是改进的（Wei和Luo，2018），当路径长度很大时，对于不经意的对手。我们的算法基于研究充分的乐观镜像下降框架，但重要的是具有几种新颖的技术，包括新的乐观预测，对最近选择的臂的轻微偏差，以及使用类似于（Bubeck等人，2018年）。此外，我们扩展我们的结果，线性强盗显示减少获得动态遗憾的全信息问题，其次是进一步减少凸体追逐。我们提出了一个简单的贪婪追逐算法的平方2-范数，导致新的动态遗憾的结果，并作为一般的线性土匪的第一路长遗憾。
2019-06-18 cs.LG stat.ML
Bandits with Side Observations: Bounded vs. Logarithmic Regret
CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；Université Paris Diderot（巴黎狄德罗大学）；ENS Cachan（卡尚高等师范学校）；Université Paris-Saclay（巴黎-萨克雷大学）；Criteo AI Lab（Criteo人工智能实验室）
我们考虑经典的随机多臂强盗，但在那里，从时间到时间，大致与频率$ε$，一个额外的观察是免费收集的代理。证明了无论$ε$有多小，智能体都能保证后悔在时间上一致有界.更准确地说，我们构造了一个算法的遗憾小于$\sum_i \frac{\log(1/ε)}{Δ_i}$，乘法常数和重对数项。我们还证明了一个匹配的下限，说明没有合理的算法可以超越这个数量。
2018-07-10 cs.LG stat.ML
Proportional Response: Contextual Bandits for Simple and Cumulative Regret Minimization
Stanford University（斯坦福大学）；Hong Kong University of Science and Technology（香港科技大学）
该研究针对随机上下文老虎机场景，提出基于共形臂集的比例响应算法族，可通过调参平衡简单遗憾与累积遗憾最小化的性能，同时证明无法同时实现实例依赖简单遗憾保证与极小极大最优累积遗憾保证。
2023-11-03 cs.LG stat.ML
Tight Regret Bounds for Infinite-armed Linear Contextual Bandits
Northwestern University（西北大学）；University of Florida（佛罗里达大学）；New York University（纽约大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
线性上下文强盗是一类重要的序贯决策问题，在推荐系统、在线广告、医疗保健和许多其他机器学习相关任务中有着广泛的应用。虽然之前有很多研究，但具有无限动作集的线性上下文强盗的严格遗憾界限仍然是开放的。在本文中，我们解决这个开放的问题，考虑线性上下文强盗（变化）无限行动集。我们证明了一个遗憾上界的顺序$O(\sqrt{d^2T\log T})\times \text{poly}(\log\log T)$其中$d$是域的维数和$T$是时间范围。我们的上限与[Li et al.，[2019]至迭代对数项。
2021-01-26 cs.LG stat.ML
Finite-Time Regret of Thompson Sampling Algorithms for Exponential Family Multi-Armed Bandits
National University of Singapore（新加坡国立大学）；California Institute of Technology（加州理工学院）
研究了指数家族强盗的Thompson抽样算法的后悔性，其中奖励分布来自一维指数家族，包括Bernoulli，Gaussian，Gamma，Exponential等常见的奖励分布，提出了一种Thompson抽样算法ExpTS，它使用了一种新的抽样分布，以避免低估的最佳手臂。我们提供了一个严格的遗憾分析ExpTS，这同时产生有限时间后悔界以及渐近后悔界。特别地，对于具有指数族奖励的$K$ -武装强盗，在地平线上的ExpTS $T$是子UCB（问题依赖的有限时间后悔的强准则），极大极小最优直到因子$\sqrt{\log K}$，并且对于指数族奖励是渐近最优的。此外，我们提出了ExpTS $^+$，通过增加一个贪婪的开发步骤，除了在ExpTS中使用的抽样分布，以避免过度估计的次优武器。ExpTS $^+$是一个任意时刻的强盗算法，并且对于指数族报酬分布同时达到极大极小最优性和渐近最优性。我们的证明技术是一般的，概念上简单，可以很容易地应用于分析标准的汤普森抽样与特定的奖励分布。
2022-06-07 cs.LG stat.ML
Thompson Sampling Regret Bounds for Contextual Bandits with sub-Gaussian rewards
KTH Royal Institute of Technology（KTH皇家理工学院）
本文基于提升信息比框架分析 Thompson Sampling，将遗憾界从二值奖励推广至 sub-Gaussian 奖励，并给出多种上下文赌博机情形的明确界。
2023-04-26 cs.LG stat.ML
Local Anti-Concentration Class: Logarithmic Regret for Greedy Linear Contextual Bandit
Columbia University（哥伦比亚大学）
本文提出局部反集中（LAC）条件，证明其适用于Gaussian、指数族及截断变体等广泛分布，并据此给出免探索贪心线性上下文老虎机的 O(poly log T) 累积期望遗憾界。
2025-01-16 cs.LG stat.ML
Bandit Regret Scaling with the Effective Loss Range
Università degli Studi di Milano（米兰大学）；Weizmann Institute of Science（魏茨曼科学研究所）
我们研究如何可以提高非随机多武装土匪的后悔保证，如果在每一轮的损失的有效范围是小的（例如，在一个给定的回合中的两个损失之间的最大差异）。尽管最近的不可能的结果，我们展示了如何在某些温和的额外假设下，这是可能的，如可用性的粗略估计的损失，或提前了解的损失，一个单一的，可能未指定的手臂。一路上，我们开发了一种新的技术，这可能是独立的利益，转换任何多臂强盗算法遗憾的损失范围，到一个只依赖于有效范围的遗憾算法，同时完全避免可预测的坏武器。
2020-01-02 cs.LG stat.ML
Regret Analysis of Stochastic and Nonstochastic Multi-armed Bandit Problems
Princeton University（普林斯顿大学）；Università degli Studi di Milano（米兰大学）
多臂强盗问题是具有探索-开发权衡的序列决策问题的最基本例子。这是在选择过去收益最高的选项和探索未来可能收益更高的新选项之间的平衡。虽然对强盗问题的研究可以追溯到30年代，但在一些现代应用中出现了探索-利用权衡，例如广告投放，网站优化和数据包路由。从数学上讲，多臂强盗是由与每个选项相关的支付过程定义的。在这个调查中，我们关注两个极端的案例，在这两个案例中，后悔的分析特别简单和优雅：i.i.d.收益和对抗性收益除了基本的设置，许多行动，我们还分析了一些最重要的变种和扩展，如上下文强盗模型。
2012-11-03 cs.LG stat.ML
Collaborative Min-Max Regret in Grouped Multi-Armed Bandits
Columbia University（哥伦比亚大学）
针对分组多臂老虎机中标准算法探索成本失衡问题，提出动态协调跨组探索的Col-UCB算法，证明其达最优协作遗憾边界，揭示协作收益的适用场景。
2025-06-12 cs.LG stat.ML
Regret vs. Communication: Distributed Stochastic Multi-Armed Bandits and Beyond
Shanghai Jiao Tong University（上海交通大学）
本文研究了多个局中人可以独立访问全局臂集的分布式随机多臂强盗问题。玩家可以在特定的时间点交换他们的观察历史。我们研究了后悔和沟通之间的关系。当时间跨度已知时，我们提出了过度探索策略，该策略只需要一轮沟通，并且其遗憾不随参与者的数量而变化。当时间范围是未知的，我们测量的频率的通信通过一个新的概念称为密度的通信集，并给出一个精确的表征之间的相互作用的后悔和通信。具体地说，建立一个下限和稳定的战略，匹配的下限开发。本文的结果和分析是具体的，但可以转化为更一般的设置。
2015-09-04 cs.LG stat.ML
Survey Bandits with Regret Guarantees
Stanford University（斯坦福大学）
我们考虑上下文强盗问题的一个变种。在标准的上下文强盗中，当用户到达时，我们获得用户的完整特征向量，然后为该用户分配治疗（手臂）。在许多应用程序（如医疗保健）中，从用户那里收集功能可能成本高昂。为了解决这个问题，我们提出了算法，避免不必要的功能收集，同时保持强大的遗憾保证。
2020-02-23 cs.LG econ.EM stat.ML
Algorithms with Logarithmic or Sublinear Regret for Constrained Contextual Bandits
University of California at Davis（加州大学戴维斯分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了具有预算和时间约束的上下文强盗问题，时间和预算约束使得上下文之间的耦合性大大增加，从而使得获取已知强盗统计信息的预言解变得困难.为了获得洞察力，我们首先研究具有已知上下文分布的单位成本系统。当预期的回报是已知的，我们开发了一个近似的预言，称为自适应线性规划（ALP），它实现了近最优，只需要预期的回报排序。有了这些非常理想的功能，然后我们结合ALP与置信上限（UCB）的方法在一般情况下，预期的回报是未知的{ \it先验}。我们表明，建议的UCB-ALP算法实现对数遗憾，除了某些边界的情况下。此外，我们设计的算法，并获得类似的遗憾分析结果更一般的系统与未知的上下文分布和异构成本。据我们所知，这是第一个工作，表明如何实现对数遗憾的约束上下文土匪。此外，这项工作也揭示了计算效率的算法的研究一般约束上下文土匪。
2015-10-19 cs.LG stat.ML
Efficient Contextual Bandits in Non-stationary Worlds
University of Southern California（南加州大学）；Microsoft Research, NYC（微软研究院（纽约））
大多数上下文强盗算法最大限度地减少对最佳固定策略的遗憾，这是应用程序中普遍存在的非平稳环境的一个有问题的基准。在这项工作中，我们开发了几个有效的上下文强盗算法的非平稳环境，通过装备现有的方法，独立同分布。复杂的统计测试的问题，以便动态地适应分布的变化。我们分析了各种标准的概念，适合于非平稳环境的遗憾，这些算法，包括间隔遗憾，切换遗憾，和动态遗憾。当每次与最佳策略竞争时，如果存在具有$S$平稳周期的$T$轮，或者更一般地$\mathcal{O}(Δ^{1/3}T^{2/3})$，其中$Δ$是一些非平稳性度量，则我们的算法之一实现遗憾$\mathcal{O}(\sqrt{ST})$。这些结果几乎匹配的最佳保证实现了一个低效的基线，这是一个经典的Exp4算法的变体。动态后悔的结果也是第一个有效的和完全对抗性的上下文强盗。此外，虽然上述结果需要调整参数的基础上的未知量$S$或$Δ$，我们还开发了一个参数的算法实现遗憾$\min\{S^{1/4}T^{3/4}, Δ^{1/5}T^{4/5}\}$。这改进并推广了Karnin和Anava（2016）的现有最佳结果$Δ^{0.18}T^{0.82}$，该结果仅适用于双臂强盗问题。
2019-04-03 cs.LG stat.ML
Optimal Regret Analysis of Thompson Sampling in Stochastic Multi-armed Bandit Problem with Multiple Plays
The University of Tokyo（东京大学）
我们讨论了一个多局多臂强盗（MAB）的问题，其中有几个武器被选中在每一轮。近年来，Thompson抽样（TS）算法因其在经验上的优异性能而受到广泛关注，并在标准单局MAB问题中被证明具有最优后悔界。在本文中，我们提出了多播放汤普森采样（MP-TS）算法，TS的多播放MAB问题的扩展，并讨论其遗憾分析。我们证明了二元奖励的MP-TS具有与Anantharam等人（1987）提供的后悔下限相匹配的最佳后悔上限。因此，MP-TS是第一个计算效率高的最佳遗憾算法。还进行了一组计算机模拟，比较MP-TS与最先进的算法。我们还提出了一个修改的MP-TS，这被证明有更好的经验性能。
2019-03-20 cs.LG stat.ML
A New Look at Dynamic Regret for Non-Stationary Stochastic Bandits
DeepMind（深度思维）
研究了非平稳随机多臂强盗问题，其中在学习过程中，每个臂的奖励统计量可能会发生多次变化。一个学习算法的性能进行评估，在他们的动态后悔，这是定义为代理选择最佳的手臂在每个时间步的预期累积奖励和学习算法的累积奖励之间的差异。衡量这种环境的难度的一种方法是考虑最佳手臂的身份可以改变多少次。我们提出了一种方法，实现，在$K$武装土匪问题，一个接近最佳的$\widetilde O(\sqrt{K N(S+1)})$动态遗憾，其中$N$是问题的时间范围和$S$是最佳的手臂变化的身份的次数，没有$S$的先验知识。以前的工作，这个问题得到的遗憾的界限，规模的变化（或变化量）的奖励功能，这可能会大得多，或假设先验知识的$S$，以实现类似的界限。
2022-03-08 cs.LG stat.ML
Minimax Policy for Heavy-tailed Bandits
Michigan State University（密歇根州立大学）
研究了最坏后悔和重尾报酬分布下的随机多臂强盗（MAB）问题。我们修改了minimax策略MOSS的亚高斯奖励分布，通过使用饱和的经验均值设计一个新的算法称为鲁棒MOSS。我们表明，如果存在的时刻的顺序$1+ε$的奖励分布，然后改进的策略有一个最坏情况下的遗憾匹配的下限，同时保持分布依赖的对数遗憾。
2020-11-18 cs.LG stat.ML
Unimodal Bandits: Regret Lower Bounds and Optimal Algorithms
KTH, Royal Institute of Technology（瑞典皇家理工学院）
我们考虑随机多武装土匪的期望奖励是一个单峰函数偏序武器。这类重要的问题最近已经研究（Cope 2009，Yu 2011）。臂的集合是离散的，在这种情况下，臂对应于有限图的顶点，该有限图的结构表示奖励的相似性，或者是连续的，在这种情况下，臂属于有界区间。对于离散单峰土匪，我们推导出渐近下限的遗憾下实现任何算法，并提出Ostrial，一个算法的遗憾匹配这个下限。我们的算法最佳地利用了单峰结构的问题，令人惊讶的是，它的渐近遗憾不依赖于武器的数量。我们还提供了一个遗憾的上限Occupy在非平稳的环境中，预期的回报随着时间的推移顺利演变。数值实验结果表明，分析结果的支持，OSTO执行显着优于国家的最先进的算法。对于连续组的武器，我们提供了一个简短的讨论。我们表明，结合适当的离散化的一组武器与UCB算法产生一个订单最优的遗憾，并在实践中，优于最近提出的算法，旨在利用单峰结构。
2014-05-20 cs.LG stat.ML
Instrument-Armed Bandits
Cornell University（康奈尔大学）
我们扩展了经典的多臂强盗（MAB）模型的设置不遵守，其中的手臂拉是一个纯粹的工具和应用的治疗可能会有所不同，这就产生了仪器武装强盗（IAB）的问题。只要实验单位是人，IAB设置就相关，因为自由意志、伦理和法律可能禁止无限制或强制应用治疗。特别是，该设置是相关的动态临床试验和其他对照试验对人类干预的土匪模型。尽管如此，在强盗文学中并没有充分研究过这种背景。我们发现，有各种各样的和不同的概念，遗憾在这种情况下，所有这些都只在经典的MAB设置相吻合。我们描述这些遗憾的行为，并分析标准的MAB算法。我们认为，一种特殊的遗憾，捕获的因果关系的治疗效果，但标准的MAB算法不能实现次线性控制这种遗憾。相反，我们开发了新的算法IAB问题，证明了新的遗憾的界限，并将它们与标准的MAB算法的数值例子。
2017-05-21 cs.LG stat.ML
Model Selection in Contextual Stochastic Bandit Problems
University of California Berkeley（加州大学伯克利分校）；University of Massachusetts（马萨诸塞大学）；DeepMind（深度思维）；Adobe（奥多比）；Google Research（谷歌研究院）；University of Alberta（阿尔伯塔大学）
研究随机环境中的强盗模型选择问题。我们的方法依赖于一个元算法，候选人之间的基础算法进行选择。我们开发了一个基于元算法的算法抽象，可以与一般类的基本算法和不同类型的对抗元算法。我们的方法依赖于一个新的和通用的平滑变换的强盗算法，使我们能够获得最佳的$O(\sqrt{T})$模型选择保证随机上下文的强盗问题，只要最佳的基础算法满足高概率的遗憾保证。我们通过一个下界表明，即使当一个基本算法有$O(\log T)$遗憾，在一般情况下，它是不可能得到更好的模型选择比$Ω(\sqrt{T})$遗憾，甚至渐近。使用我们的技术，我们解决模型选择在各种问题，如错误指定的线性上下文土匪，线性土匪与未知的维度和强化学习与未知的特征映射。我们的算法需要最佳基遗憾的知识来调整元算法的学习率。我们表明，没有这样的先验知识，任何元算法可以遭受的遗憾大于最佳的基础遗憾。
2022-12-04 cs.LG stat.ML
Information-Theoretic Regret Bounds for Bandits with Fixed Expert Advice
Università degli Studi di Milano（米兰大学）；Politecnico di Milano（米兰理工大学）
我们调查的问题与专家的意见，专家是固定的和已知的分布在行动的土匪。改进以前的分析，我们表明，在这种情况下的遗憾是由信息理论的数量，衡量专家之间的相似性。在某些自然的特殊情况下，这允许我们获得EXP4的第一个遗憾界，如果专家足够相似，它可以任意接近于零。而对于一个不同的算法，我们提供了另一个界限，描述专家之间的KL分歧的相似性，我们表明，这个界限可以在某些情况下小于EXP4。此外，我们为某些类别的专家提供了下限，表明我们分析的算法在某些情况下几乎是最优的。
2023-03-15 cs.LG stat.ML
Correlated Multi-armed Bandits with a Latent Random Source
Carnegie Mellon University（卡内基梅隆大学）
我们考虑了一个新的多臂强盗框架，其中通过拉动手臂获得的奖励是一个共同的潜在随机变量的函数。由于共同随机源而导致的手臂之间的相关性可用于设计广义置信上限（UCB）算法，该算法将某些手臂识别为$non-competitive$，并避免探索它们。因此，我们将一个$K$ -武装的强盗问题转化为一个$C+1$ -武装的问题，其中$C+1$包括最好的武装和$C$ $competitive$武装.我们的遗憾分析表明，竞争性武器需要拉动$\mathcal{O}(\log T)$次，而非竞争性武器只需要拉动$\mathcal{O}(1)$次。因此，有制度，我们的算法实现了$\mathcal{O}(1)$遗憾，而不是典型的对数遗憾缩放的多臂强盗算法。我们还评估了预期遗憾的下限，并证明我们的相关UCB算法实现$\mathcal{O}(1)$遗憾只要可能。
2019-01-29 cs.LG stat.ML
Achieving Optimal Static and Dynamic Regret Simultaneously in Bandits with Deterministic Losses
The University of Hong Kong（香港大学）；University of Virginia（弗吉尼亚大学）
本文提出在确定性损失下，针对 oblivious 对手同时实现最优静态和动态遗憾的算法，并揭示适应性与 oblivious 对手在多基准下的根本差异。
2026-02-17 cs.LG stat.ML
Regret Bounds for Deterministic Gaussian Process Bandits
University of British Columbia（不列颠哥伦比亚大学）；Yahoo! Research（雅虎研究院）
本文分析了具有确定性观测值的高斯过程（GP）强盗问题。该分析使用与（Srinivas等人，2010年）。对于具有高斯观测噪声的GP，方差严格大于零（Srinivas等人，2010）证明了遗憾以$O(\frac{1}{\sqrt{t}})$的近似速率消失，其中t是观察的数量。为了补充他们的结果，我们攻击确定性的情况下，并获得更快的指数收敛速度。在一定的正则性假设下，我们证明了遗憾以高概率按照$O(e^{-\frac{τt}{(\ln t)^{d/4}}})$渐近减少。这里，d是搜索空间的维数，而$τ$是一个常数，它取决于目标函数在其全局最大值附近的行为。
2012-03-09 cs.LG stat.ML
Individual Regret in Cooperative Nonstochastic Multi-Armed Bandits
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究了代理人通过交换消息在底层网络上进行通信，以优化他们在一个共同的非随机多臂强盗问题中的个人遗憾。我们得出遗憾最小化算法，保证每个代理$v$个人预期的遗憾$\widetilde{O}\left(\sqrt{\left(1+\frac{K}{\left|\mathcal{N}\left(v\right)\right|}\right)T}\right)$，其中$T$是时间步长的数量，$K$是行动的数量和$\mathcal{N}\left(v\right)$是一组邻居的代理$v$在通信图。我们提出的算法的情况下，通信图是已知的所有代理，和图是未知的情况下。当图是未知的，每个代理只知道它的邻居的集合和代理的总数的上限。模型之间的个体遗憾仅通过对数因子而不同。我们的工作解决了来自[Cesa-Bianchi et al.，2019年b]。
2019-11-16 cs.LG stat.ML
Regret Lower Bounds in Multi-agent Multi-armed Bandit
Northwestern University（西北大学）
本文研究多智能体多臂老虎机的遗憾下界，分别在随机与对抗奖励、连通与非连通图设置下建立紧致下界，并弥合对抗情形中既有上下界的差距。
2023-08-15 cs.LG stat.ML
Improved Regret Bounds of (Multinomial) Logistic Bandits via Regret-to-Confidence-Set Conversion
Kim Jaechul Graduate School of AI, KAIST（韩国科学技术院金在哲人工智能研究生院）；University of Arizona（亚利桑那大学）
针对逻辑回归老虎机中忽略参数范数依赖的问题，提出R2CS方法构造凸置信集，改进遗憾界对S的依赖，并扩展至多项逻辑回归，保持计算可行性。
2024-03-13 cs.LG stat.ML
Lenient Regret for Multi-Armed Bandits
Technion – Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）
我们考虑多臂强盗（MAB）问题，其中代理顺序选择行动并观察其所采取的行动的奖励。虽然大多数算法试图最小化遗憾，即，最佳行动的报酬与代理人的行动之间的累积差异，这个标准可能会导致不希望的结果。例如，在大型问题中，或者当与环境的交互很短时，找到最佳手臂是不可行的，并且遗憾最小化算法倾向于过度探索。为了克服这个问题，这种设置的算法应该专注于发挥接近最佳的武器。为此，我们提出了一个新的，更宽松的，遗憾的标准，忽略次优差距小于一些$ε$。然后，我们提出了一个变种的汤普森采样（TS）算法，称为$ε$ -TS，并证明其渐近最优的宽容遗憾。重要的是，我们表明，当最佳臂的平均值是足够高的，宽大的遗憾$ε$ -TS是有界的常数。最后，我们表明，$ε$ -TS可以应用到提高性能时，代理知道的次优差距的下限。
2021-09-12 cs.LG stat.ML
Contextual bandits with surrogate losses: Margin bounds and efficient algorithms
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
我们使用代理损失，以获得几个新的遗憾界和新的上下文强盗学习算法。使用斜坡损失，我们得到新的利润率为基础的遗憾界的标准序列复杂性措施的基准类的实值回归函数。使用铰链损失，我们得到了一个有效的算法与$\sqrt{dT}$型错误绑定对基准政策引起的$d$维回归。在可实现性假设下，我们的结果也产生了经典的遗憾界限。
2018-11-04 cs.LG stat.ML
On Regret-Optimal Learning in Decentralized Multi-player Multi-armed Bandits
University of Southern California（南加州大学）；University of California, Berkeley（加州大学伯克利分校）
我们考虑了单人和多人多臂强盗模型中的学习问题。强盗问题是一类在线学习问题，捕获探索与剥削权衡。在多臂强盗模型中，玩家可以在许多武器中进行选择，每一次使用一只武器都会产生一个ID。来自未知分布的奖励。我们的目标是设计一个政策，最大化的预期回报在一个时间范围内为一个单一的球员设置和多人设置的预期回报的总和。在多人游戏设置中，武器可能会给不同的玩家不同的奖励。参与者之间没有单独的协调渠道。任何沟通的尝试都是昂贵的，并且会增加遗憾。我们提出了两个分散的政策，$\tt E^3$（$\tt E$ - $\tt cubed$）和$\tt E^3$ - $\tt TS$，可用于单人和多人游戏设置。这些政策所产生的预期遗憾，增长最多为O（$\log^{1+ε} T$）。众所周知，即使在集中的情况下，$\log T$也是后悔增长率的下限。所提出的算法改进了以前的工作，后悔增长在O（$\log^2 T$）。更根本的是，这些政策解决了分散式在线学习产生的额外成本问题，这表明最多有一个$ε$ -因素成本的遗憾顺序。这解决了许多领域的相关问题，并且已经开放了一段时间。
2016-12-01 cs.LG stat.ML
Batch Ensemble for Variance Dependent Regret in Stochastic Bandits
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
针对在线强化学习中探索与利用的平衡难题，提出仅含批次数量这一个参数、不依赖损失分布特性的批量集成方案，可证明在随机多臂老虎机中达到近最优遗憾，并通过合成基准实验验证了有效性。
2024-09-13 cs.LG stat.ML
Regret Minimization in Heavy-Tailed Bandits
TIFR（塔塔基础研究所）；CWI（荷兰国家数学与计算机科学研究中心）
在随机多臂强盗模型中，当臂分布为重尾分布时，我们重新研究了经典的后悔最小化问题。后悔最小化问题在有界支持报酬分布或属于单参数指数族的分布的简单设置中得到了很好的研究。我们的工作下，弱得多的假设下，阶$(1+ε)$的时刻是一致有界的一个已知的常数B，对于某些给定的$ε> 0$。我们提出了一个最佳的算法，完全匹配的下限在一阶项。我们也给出了一个有限的时间限制的遗憾。我们表明，我们的指数集中速度比众所周知的截断或修剪经验均值估计重尾分布的平均。计算我们的索引可能需要大量的计算。为了解决这个问题，我们开发了一个基于批量的算法，这是最佳的乘法常数取决于批量大小。因此，我们提供了一个控制的统计最优性和计算成本之间的权衡。
2021-02-07 cs.LG stat.ML
Unified Framework of Distributional Regret in Multi-Armed Bandits and Reinforcement Learning
University of Washington（华盛顿大学）；Seoul National University（首尔国立大学）
本文提出一种统一框架，研究随机多臂老虎机和回合制强化学习中的分布后悔，通过简单的UCBVI型算法，推导出通用的分布后悔界，优化期望性能、尾风险和实例依赖行为的平衡。
2026-06-23 cs.LG stat.ML
First-order regret bounds for combinatorial semi-bandits
INRIA Lille – Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
我们考虑在线组合优化问题下的半强盗反馈，学习者必须反复挑选行动从组合决策集，以尽量减少与其决策相关的总损失。在做出每个决定之后，学习者观察到与其行为相关的损失，而不是其他损失。对于这个问题，有几个学习算法，保证学习者的预期后悔随着回合数$T$而增长为$\widetilde{O}(\sqrt{T})$。在本文中，我们提出了一种算法，改进了这种缩放到$\widetilde{O}(\sqrt{L_T^*})$，其中$L_T^*$是最佳行动的总损失。我们的算法是第一个实现这样的保证，在部分反馈方案，第一个这样做的组合设置。
2015-06-10 cs.LG stat.ML
Improved High-Probability Regret for Adversarial Bandits with Time-Varying Feedback Graphs
University of Southern California（南加州大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们研究了在$T$回合上具有时变反馈图的对抗性$K$武装匪徒的高概率后悔界。对于一般的强可观测图，我们提出了一个算法，该算法以高概率获得最优遗憾$\widetilde{\mathcal{O}}((\sum_{t=1}^Tα_t)^{1/2}+\max_{t\in[T]}α_t)$，其中$α_t$是反馈图在循环$t$的独立数.与现有的最佳结果[Neu，2015]相比，它只考虑所有节点都具有自循环的图，我们的结果不仅更普遍，而且重要的是还消除了任何$\text{poly}(K)$依赖性，这些依赖性对于上下文强盗等应用程序来说可能非常大。此外，我们还开发了第一个算法，该算法实现了弱可观测图的最佳高概率遗憾界，甚至改进了[Alon et al.，2015]通过使用精细分析删除$\mathcal{O}(\sqrt{KT})$项。我们的算法是基于在线镜像下降框架，但重要的是与几种技术的创新组合。值得注意的是，虽然早期的作品使用乐观偏置损失估计实现高概率界，我们发现重要的是使用一个悲观的节点没有自我循环在一个强可观察的图。
2023-01-29 cs.LG stat.ML
Near-optimal Per-Action Regret Bounds for Sleeping Bandits
University of Victoria（维多利亚大学）
针对每轮可用臂及损失由对手决定的sleeping bandits问题，通过广义EXP3、EXP3-IX和带Tsallis熵的FTRL直接最小化逐动作遗憾，推导出近最优遗憾界，并扩展至带sleeping experts建议的设定及置信度报告场景。
2024-05-30 cs.LG stat.ML
Lifelong Learning in Multi-Armed Bandits
Centre Borelli, ENS Paris-Saclay（巴黎萨克雷高等师范学院博雷利中心）；Cdiscount（Cdiscount公司）；CREST, ENSAE Paris（巴黎经济与统计高等学校统计与经济研究中心）；Criteo AI Lab（Criteo人工智能实验室）
持续学习和利用从先前任务积累的知识以提高未来性能是长期存在的机器学习问题。在本文中，我们研究了多臂强盗框架中的问题，目标是最小化一系列任务的总后悔。虽然大多数强盗算法的设计有一个低的最坏情况下的遗憾，我们在这里检查平均遗憾的强盗实例从一些先验分布，可能会随着时间的推移而变化。我们特别关注UCB算法的置信区间调整。我们提出了一个强盗的方法与贪心算法，我们进行了广泛的实验评估，在平稳和非平稳的环境。我们进一步将我们的解决方案的致命的强盗问题，显示经验的改进，比以前的工作。
2020-12-28 cs.LG stat.ML
Cooperative Multi-agent Bandits: Distributed Algorithms with Optimal Individual Regret and Constant Communication Costs
Nanjing University（南京大学）；The Chinese University of Hong Kong（香港中文大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文针对协作式多智能体多臂赌博机问题，提出一种简单有效的通信策略并集成到学习算法中，同时实现了最优个体遗憾和恒定通信成本，弥补了领导者-跟随者与完全分布式两类现有范式的不足。
2023-08-08 cs.AI cs.LG stat.ML
Complete Policy Regret Bounds for Tallying Bandits
Carnegie Mellon University（卡内基梅隆大学）
策略后悔是衡量在线学习算法对自适应对手的性能的一个很好的概念。我们研究了对对手的限制，这些限制可以有效地最小化\emph{complete policy regret}，这是政策遗憾的最强可能版本。我们确定了一个差距，在目前的理论理解，什么样的限制允许在这个具有挑战性的设置的易处理性。为了解决这个差距，我们考虑一个推广的随机多臂强盗，我们称之为\emph{tallying bandit}。这是一个在线学习设置，具有$m$ -内存限制对手，其中播放动作的平均损失是最后一个$m$时间步中播放该动作的次数（或计数）的未知函数。为了计算具有$K$动作和时间范围$T$的强盗问题，我们提供了一个算法，w.h.p实现了$\tilde{\mathcal{O}}(mK\sqrt{T})$的完全策略后悔保证，其中$\tilde{\mathcal{O}}$符号仅隐藏对数因子。此外，我们证明了$\tildeΩ(\sqrt{m K T})$下界的任何清点强盗算法的预期完整的政策遗憾，证明了我们的方法的近最优性。
2022-04-24 cs.AI cs.LG stat.ML
Neural Contextual Bandits without Regret
ETH Zurich（苏黎世联邦理工学院）
上下文强盗是一个丰富的模型，用于给定边信息的顺序决策，具有重要的应用，例如，在推荐系统中。我们提出了新的算法，利用神经网络来近似未知的奖励函数的上下文土匪。我们解决了在这种情况下证明一般上下文序列的次线性遗憾界的开放问题，同时考虑全连接和卷积网络。为此，我们首先分析NTK-UCB，核化的强盗优化算法采用神经正切核（NTK），并限制其遗憾的NTK最大信息增益$γ_T$，一个复杂性参数捕捉学习的难度。我们对NTK的$γ_T$的界可能是独立的兴趣。然后，我们介绍了我们的神经网络为基础的算法NN-UCB，并表明其遗憾密切跟踪NTK-UCB。在广泛的非参数假设下的奖励函数，我们的方法收敛到最优的政策在$\tilde{\mathcal{O}}(T^{-1/2d})$率，其中$d$是背景的维度。
2022-02-28 cs.AI cs.LG stat.ML
Bounded regret in stochastic multi-armed bandits
Princeton University（普林斯顿大学）；Université Paris Diderot（巴黎狄德罗大学）
当已知最优臂的值$μ^{(\star)}$以及最小正间隙$Δ$的正下界时，研究了随机多臂强盗问题.我们提出了一个新的随机化策略，在这种情况下，达到遗憾{ \em一致有界的时间}。我们还证明了几个下界，特别是有界后悔是不可能的，如果一个人只知道$Δ$，和有界后悔$1/Δ$是不可能的，如果一个人只知道$μ^{(\star)}$
2013-02-12 cs.LG math.ST stat.ML
Regret Bounds for Batched Bandits
Google Research（谷歌研究院）；Yale University（耶鲁大学）；McGill University（麦吉尔大学）
我们提出了简单而有效的算法批量随机多臂强盗和批量随机线性强盗问题。我们证明了他们的预期遗憾，提高了最知名的遗憾界限的任何数量的批次。特别是，我们的算法在这两种设置中实现了最佳的预期遗憾，只使用对数数量的批次。我们还研究了批量对抗多臂土匪问题的第一次，并找到最佳遗憾，对数因子，任何算法与预定的批量大小。
2020-02-18 cs.DS cs.LG
Optimal Regret Bounds for Collaborative Learning in Bandits
University of Oxford（牛津大学）；MediaTek Research（联发科研究院）
针对协作多智能体多臂老虎机模型的最优后悔界未决问题，提出首个阶最优后悔界算法，且仅需少量常数期望通信轮次。
2023-12-15 cs.LG cs.MA stat.ML
On the Optimal Regret of Locally Private Linear Contextual Bandit
Massachusetts Institute of Technology（麻省理工学院）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对局部隐私约束下线性上下文老虎机能否达到经典$\tilde O(\sqrt{T})$遗憾上界的开放问题，提出结合平均绝对偏差误差分析与分层主成分回归的方案，首次实现该最优遗憾上界。
2024-04-15 cs.CR cs.LG stat.ML
Breaking the $\sqrt{T}$ Barrier: Instance-Independent Logarithmic Regret in Stochastic Contextual Linear Bandits
AWS AI（亚马逊云科技人工智能部门）
我们证明了一个独立的实例（多）对数后悔随机上下文土匪线性回报。以前，在\cite{chu2011contextual}，一个下界的$\mathcal{O}(\sqrt{T})$示出的上下文线性强盗问题与任意（adversarily选择）的背景。在本文中，我们表明，随机上下文确实有助于减少从$\sqrt{T}$到$\polylog(T)$的遗憾。我们提出了低遗憾随机上下文Bandits（\texttt{LR-SCB}），它利用随机上下文，并执行参数估计（在$\ell_2$范数）和遗憾最小化同时进行。\texttt{LR-SCB}以历元为单位工作，其中前一历元的参数估计用于减少当前历元的遗憾。\texttt{LR-SCB}的（多）对数后悔源于两个关键事实：（a）应用范数自适应算法来利用参数估计和（b）分析移位线性上下文强盗算法，表明移位导致后悔增加。我们还通过实验证明，随机背景确实会导致与$\polylog(T)$成比例的遗憾。
2022-05-19 cs.AI cs.IT cs.LG
Regret Bounds for Restless Markov Bandits
Montanuniversitaet Leoben（莱奥本矿业大学）；INRIA Lille-Nord Europe（法国国家信息与自动化研究所里尔-北欧分部）
我们认为不安分的马尔可夫土匪问题，其中每个手臂的状态根据独立于学习者的行动马尔可夫过程的演变。我们建议一个算法，$T$步骤后实现$\tilde{O}(\sqrt{T})$遗憾的最佳政策，知道所有武器的分布。没有假设马尔可夫链，除了他们是不可约的。此外，我们表明，指数为基础的政策，所考虑的问题是次优的。
2012-09-12 cs.LG math.OC stat.ML
Improved Regret Bounds for Projection-free Bandit Convex Optimization
Technion - Israel Institute of Technology（以色列理工学院）
我们重新审视的挑战，设计在线算法的强盗凸优化问题（BCO），这也是可扩展的高维问题。因此，我们考虑算法是\textit{projection-free}，即，基于条件梯度方法，其对可行决策集的唯一访问是通过线性优化预言（与需要潜在地计算昂贵得多的子过程的其他方法相反，诸如计算欧几里德投影）。我们提出了第一个这样的算法，达到$O(T^{3/4})$预期的遗憾只使用$O(T)$整体调用的线性优化预言，在预期中，其中$T$是预测轮数。这比\cite{Karbasi19}最近获得的$O(T^{4/5})$预期后悔界限有所改进，实际上与\textit{full information}设置中无投影在线学习的当前最佳后悔界限相匹配。
2019-10-08 cs.LG math.OC stat.ML
Smooth Contextual Bandits: Bridging the Parametric and Non-differentiable Regret Regimes
Cornell University（康奈尔大学）
研究了一个非参数上下文强盗问题，其中期望报酬函数属于具有光滑参数$β$的Hölder类.我们展示了这是如何在两个极端之间进行插值的，这两个极端是以前孤立地研究的：不可微的土匪（$β\leq1$），通过在不同的上下文区域运行单独的非上下文土匪来实现速率最优遗憾，和参数响应土匪（满足$β=\infty$），由于无限的外推性，可以实现速率最优遗憾的最小或没有探索。我们开发了一种新的算法，仔细调整到所有的平滑设置，我们证明它的遗憾是率最优的，通过建立匹配的上限和下限，恢复现有的结果在两个极端。从这个意义上说，我们的工作弥合了现有文献之间的差距参数和不可微的上下文土匪问题和土匪算法之间，专门使用全球或本地信息，揭示了关键的相互作用的复杂性和遗憾的上下文土匪。
2020-09-11 cs.AI cs.LG math.OC
Improved Algorithms for Bandit with Graph Feedback via Regret Decomposition
Shanghai Jiao Tong University（上海交通大学）
针对图反馈赌机问题，提出基于反馈图划分的新算法框架，通过遗憾分解揭示图各部分相互作用，统一并推广了MAB与专家建议学习的最优算法，在多种图族上实现了改进且最优的遗憾界。
2023-08-04 cs.DS cs.LG stat.ML
Regret Analysis of the Finite-Horizon Gittins Index Strategy for Multi-Armed Bandits
University of Alberta（阿尔伯塔大学）
我分析了著名的Gittins指数策略的频率后悔多武装土匪高斯噪声和有限的地平线。值得注意的是，事实证明，这种方法导致有限时间的遗憾保证可与流行的UCB算法。一路上，我推导出有限时间的界限Gittins指数是渐近精确的，可能是独立的利益。我还讨论了一些计算问题，目前的实验结果表明，一个特定版本的Gittins指数策略是一个适度的改进现有的算法，如UCB和汤普森采样有限时间遗憾的保证。
2016-05-27 cs.LG math.ST stat.ML
Cooperative and Stochastic Multi-Player Multi-Armed Bandit: Optimal Regret With Neither Communication Nor Collisions
Microsoft Research（微软研究院）；UBC（不列颠哥伦比亚大学）；Stanford University（斯坦福大学）
我们考虑合作的多人版本的随机多臂强盗问题。我们研究的制度，球员不能沟通，但有机会分享随机性。在前两位作者之前的工作中，为两个参与者和三个手臂构建了一个策略，遗憾的是$\tilde{O}(\sqrt{T})$，并且参与者之间没有任何冲突（概率非常高）。在本文中，我们表明，这些属性（接近最佳的遗憾，没有碰撞）是可以实现的任何数量的球员和武器。在高层次上，以前的策略严重依赖于$2$维几何直觉，难以在更高的维度上推广，而在这里，我们采取更组合的路线来构建新的策略。
2020-11-08 cs.LG cs.MA stat.ML
