Pareto Regret Analyses in Multi-objective Multi-armed Bandit
Northwestern University（西北大学）
本文提出适用于随机与对抗设置的多目标多臂老虎机帕累托遗憾定义及相应算法，并证明其在对抗设置下最优、随机设置下近最优。
2023-05-30 cs.LG stat.ML
Distributed Bandit Learning: Near-Optimal Regret with Efficient Communication
Tsinghua University（清华大学）；Peking University（北京大学）
研究了分布式强盗学习中的后悔最小化问题，其中$M$代理在中央服务器的协调下协同工作以最小化总后悔.我们的目标是设计具有接近最优遗憾和很少通信成本的通信协议，这是通过传输数据的总量来衡量的。对于分布式多臂强盗，我们提出了一个具有接近最优遗憾且只有$O(M\log(MK))$通信代价的协议，其中$K$是武器的数目.通信成本是独立的时间范围$T$，只有对数依赖于臂的数量，并匹配的下限，除了一个对数因子。对于分布式$d$维线性强盗，我们提出了一个协议，实现了接近最优的遗憾，并有$\tilde{O}(Md)$阶的通信成本，这只有对数依赖于$T$。
2019-05-29 cs.LG stat.ML
Regret Bounds for Noise-Free Kernel-Based Bandits
MediaTek Research（联发科技研究院）
基于核的强盗问题是一个被广泛研究的黑箱优化问题，其中的目标函数被假设为存在于一个已知的再生核希尔伯特空间中。虽然在噪声环境中建立了接近最优的遗憾界限（最多对数因子），但令人惊讶的是，对无噪声环境（当底层函数的精确值在没有观测噪声的情况下可访问时）的了解较少。我们讨论了几个上界遗憾，没有一个似乎顺序最优，并提供了一个猜想顺序最优的遗憾界。
2022-06-24 cs.LG stat.ML
Regret Lower Bound and Optimal Algorithm in Dueling Bandit Problem
The University of Tokyo（东京大学）；Kyoto University（京都大学）
我们研究了$K$ -武装决斗土匪问题，标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。我们引入了一个紧的渐近遗憾下界，是基于信息的分歧。受确定性最小经验发散算法（Honda and Takemura，2010）的启发，提出了一种新的算法，并分析了其遗憾性。该算法被发现是第一个遗憾的上限，下限相匹配。实验结果表明，该算法的性能明显优于现有的决斗强盗算法。
2015-06-29 cs.LG stat.ML
Copeland Dueling Bandit Problem: Regret Lower Bound, Optimal Algorithm, and Computationally Efficient Algorithm
The University of Tokyo（东京大学）
我们研究的K-臂决斗土匪问题，标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。推荐科普兰优胜者的难度，击败其他武器的最大数量的武器，其特点是推导出一个渐进的遗憾界。本文提出了Copeland Winners相对最小经验散度（CW-RMED）算法，并给出了它的一个渐近最优后悔界，但该算法能否有效地计算还不清楚。为了解决这个问题，我们设计了一个有效的版本（ECW-RMED），并推导出其渐近遗憾界。决斗强盗算法的实验比较表明，ECW-RMED显着优于现有的。
2016-05-24 cs.LG stat.ML
Simple Regret Minimization for Contextual Bandits
Department of EECS, University of Michigan, Ann Arbor, MI, USA（密歇根大学电气工程与计算机科学系）；Department of Aerospace Engineering, University of Michigan, Ann Arbor, MI, USA（密歇根大学航空航天工程系）；Climate and Space Engineering, University of Michigan, Ann Arbor, MI, USA（密歇根大学气候与空间工程系）
经典的多臂强盗（MAB）问题有两种变体，近年来受到机器学习研究者的广泛关注：情境强盗和简单后悔最小化。情境强盗是MAB的一个子类，在每个时间步，学习者都可以获得预测最佳手臂的边信息。简单的遗憾最小化假设学习者只在纯探索阶段后才会后悔。在这项工作中，我们研究简单的后悔最小化上下文土匪。出于应用程序的学习者有单独的培训和自主模式，我们假设学习者经历了一个纯粹的探索阶段，在每一个动作后收到反馈，但没有遗憾，然后是一个纯粹的开发阶段，其中遗憾的是，但没有反馈。我们提出了上下文间隙算法，并建立了简单的遗憾，即性能保证，在纯开发阶段的遗憾。我们的实验研究了一种新的应用程序，以自适应传感器选择星际航天器的磁场估计，并证明了相当大的改进算法，旨在尽量减少累积遗憾。
2020-02-25 cs.LG stat.ML
An algorithm with nearly optimal pseudo-regret for both stochastic and adversarial bandits
Montanuniversitaet Leoben（莱奥本矿业大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了一个算法，实现几乎最佳的伪遗憾界对抗性和随机土匪。对抗性强盗的伪遗憾是$O(K\sqrt{n \log n})$，对抗随机强盗的伪遗憾是$O(\sum_i (\log n)/Δ_i)$。我们还表明，没有算法与$O(\log n)$伪遗憾对随机土匪可以实现$\tilde{O}(\sqrt{n})$预期的遗憾对自适应对抗土匪。这补充了Bubeck和Slivkins（2012）之前的结果，该结果显示$\tilde{O}(\sqrt{n})$预期对抗性遗憾与$O((\log n)^2)$随机伪遗憾。
2016-05-27 cs.LG
Improving Regret Bounds for Combinatorial Semi-Bandits with Probabilistically Triggered Arms and Its Applications
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
研究了具有概率触发臂的组合多臂强盗（CMAB-T）和半强盗反馈。我们解决了之前CMAB-T研究中的一个严重问题，其中遗憾界限包含可能呈指数级大的因子$1/p^*$，其中$p^*$是任何动作触发手臂的最小正概率。我们通过在一般的CMAB-T框架中引入触发概率调制（TPM）有界光滑条件来解决这个问题，并证明了许多应用如影响力最大化强盗和组合级联强盗都满足TPM条件.因此，我们完全删除了$1/p^*$的因素从遗憾的界限，实现显着更好的遗憾界限影响力最大化和级联土匪比以前。最后，我们提供的下界结果表明，一般的CMAB-T问题的因素$1/p^*$是不可避免的，这表明TPM条件是至关重要的，在消除这个因素。
2021-06-08 cs.LG stat.ML
Survey Bandits with Regret Guarantees
Stanford University（斯坦福大学）
我们考虑上下文强盗问题的一个变种。在标准的上下文强盗中，当用户到达时，我们获得用户的完整特征向量，然后为该用户分配治疗（手臂）。在许多应用程序（如医疗保健）中，从用户那里收集功能可能成本高昂。为了解决这个问题，我们提出了算法，避免不必要的功能收集，同时保持强大的遗憾保证。
2020-02-23 cs.LG econ.EM stat.ML
Efficient Swap Regret Minimization in Combinatorial Bandits
National Technical University of Athens（雅典国立技术大学）；National and Kapodistrian University of Athens（雅典国立卡波季斯特里安大学）；Archimedes, Athena Research Center（雅典娜研究中心阿基米德部）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；University of California, Irvine（加州大学尔湾分校）
本文提出一种在组合老虎机中具有多项对数依赖于N的高效无交换后悔算法，解决了该领域长期存在的挑战。
2026-11-10 cs.LG math.OC stat.ML
Regret Balancing for Bandit and RL Model Selection
DeepMind（深度思维）；UC Berkeley（加州大学伯克利分校）；University of Massachusetts（马萨诸塞大学）
我们考虑随机强盗和强化学习问题中的模型选择。给定一组基本学习算法，有效的模型选择策略以在线方式适应最佳学习算法。我们表明，通过估计每个算法的遗憾和播放的算法，以确保所有经验的遗憾是相同的顺序，整体遗憾平衡策略实现了一个遗憾，是接近的最佳基础算法的遗憾。我们的策略需要一个上界的最佳基地遗憾作为输入，和策略的性能取决于上界的紧密性。我们表明，有这样的先验知识是必要的，以实现一个接近最佳的遗憾。此外，我们表明，任何接近最优的模型选择策略隐含地执行一种形式的遗憾平衡。
2020-06-09 cs.LG stat.ML
Corralling a Larger Band of Bandits: A Case Study on Switching Regret for Linear Bandits
University of Southern California（南加利福尼亚大学）；Nanjing University（南京大学）
我们考虑的问题相结合，学习了一组敌对的强盗算法的目标是自适应跟踪最好的一个在飞。Agarwal等人（2017）的CORRAL算法及其变体（Foster等人，2020 a）以$\widetilde{O}(\sqrt{MT})$阶的后悔开销实现该目标，其中$M$是基本算法的数量，而$T$是时间范围。然而，对$M$的多项式依赖性阻止人们将这些算法应用于$M$是聚$(T)$或甚至更大的许多应用。出于这个问题，我们提出了一个新的配方，以畜栏更大的带宽的强盗算法，其遗憾开销只有\emph{logarithmic}依赖于$M$，只要满足某些条件。作为主要的例子，我们将我们的配方的问题的对抗性线性土匪的$d$ -维$\ell_p$单位球$p \in (1,2]$。通过聚集大量的$T$基础算法，每个算法在不同的时间步开始，我们的最终算法在与具有$S$开关的一系列比较器竞争时实现了第一个最佳开关遗憾$\widetilde{O}(\sqrt{d S T})$（对于一些已知的$S$）。我们进一步将我们的结果推广到光滑和强凸域上的线性强盗以及无约束的线性强盗。
2022-02-12 cs.LG stat.ML
An Experimental Design Approach for Regret Minimization in Logistic Bandits
Rice University（莱斯大学）；University of Arizona（亚利桑那大学）；University of Washington（华盛顿大学）
在这项工作中，我们考虑的问题后悔最小化物流土匪。物流强盗的主要挑战是减少对潜在的大问题相关常数$κ$的依赖，该常数在最坏的情况下可以与未知参数$θ_{\ast}$的范数指数地缩放。Abeille等人（2021）应用逻辑函数的自一致性来消除这种最坏情况的依赖性，提供了像$O(d\log^2(κ)\sqrt{\dotμT}\log(|\mathcal{X}|))$这样的后悔保证，其中$d$是维度，$T$是时间范围，$\dotμ$是最佳臂的方差。这项工作通过采用试验设计程序来改进固定臂设置中的这一界限，该程序实现了$O(\sqrt{d \dotμT\log(|\mathcal{X}|)})$的最小最大后悔。我们的遗憾界限实际上采取了一个更严格的例子（即，gap）依赖遗憾首次在物流土匪绑定。我们还提出了一个新的预热采样算法，可以显着减少低阶项的遗憾一般，并证明它可以取代低阶项依赖$κ$ $\log^2(κ)$的一些情况下。最后，我们讨论了最大似然估计的偏差对逻辑强盗问题的影响，提供了一个例子，其中$d^2$低阶后悔（参见，它是$d$，用于线性Bandits）可能不会得到改善，只要使用MLE以及如何使用偏差校正估计器来使它更接近$d$。
2022-02-04 cs.LG stat.ML
Experimental Design for Regret Minimization in Linear Bandits
University of Washington（华盛顿大学）
在本文中，我们提出了一种新的实验设计为基础的算法，以尽量减少在线随机线性和组合土匪的遗憾。虽然现有的文献往往集中在基于乐观主义的算法-这已被证明是次优的，在许多情况下-我们的方法仔细计划采取哪些行动，通过平衡信息增益和奖励之间的权衡，克服乐观主义的失败。此外，我们利用经验过程的上确界理论的工具来获得后悔保证，该保证随行动集的高斯宽度而扩展，避免浪费的联合边界。我们提供了国家的最先进的有限时间后悔保证，并表明我们的算法可以适用于在土匪和半土匪反馈制度。在组合半强盗设置，我们表明，我们的算法是计算效率高，只依赖于调用线性最大化预言。此外，我们表明，稍加修改，我们的算法可以用于纯探索，获得国家的最先进的纯探索保证在半强盗设置。最后，我们提供了，据我们所知，第一个例子，乐观失败的半土匪政权，并表明，在这种情况下，我们的算法成功。
2021-02-27 cs.LG stat.ML
Thresholding Bandit with Optimal Aggregate Regret
Indiana University at Bloomington（印第安纳大学伯明顿分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们认为阈值强盗问题，其目标是找到武器的平均奖励高于给定的阈值$θ$，与固定预算的$T$试验。我们介绍LSA，一个新的，简单的，随时算法，旨在最大限度地减少总遗憾（或预期数量的错误分类武器）。我们证明了我们的算法是逐例渐近最优的。我们还提供了全面的实证结果，以证明该算法的优越性能超过现有的算法在各种不同的情况下。
2019-05-27 cs.LG stat.ML
Regret Bounds for Thompson Sampling in Episodic Restless Bandit Problems
University of Michigan（密歇根大学）
不安分土匪问题是非静止多武装土匪的实例。这些问题已经从优化的角度进行了很好的研究，其目标是在系统参数已知的情况下有效地找到一个接近最优的策略。然而，很少有论文采用学习的角度来看，参数是未知的。在本文中，我们分析了汤普森采样的性能在情节不安土匪未知参数。我们考虑一个一般的政策地图来定义我们的竞争对手，并证明了一个$\tilde{\mathcal{O}}(\sqrt{T})$贝叶斯遗憾界。我们的竞争对手足够灵活，可以代表各种基准，包括最佳固定动作策略，最优策略，Whittle指数策略或近视策略。我们还提出了支持我们的理论研究结果的实证结果。
2019-10-26 cs.LG stat.ML
Efficient Online Bandit Multiclass Learning with $\tilde{O}(\sqrt{T})$ Regret
Yahoo Research（雅虎研究院）；Stony Brook University（石溪大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
我们提出了一个有效的二阶算法与$\tilde{O}(\frac{1}η\sqrt{T})$遗憾的强盗在线多类问题。遗憾界同时举行关于一个家庭的损失函数参数化的$η$，为一个范围内的$η$的规范的竞争对手。损失函数族的范围从铰链损失（$η=0$）到平方铰链损失（$η=1$）。这为（J. Abernethy和A.拉赫林在线多类预测中$\sqrt{T}$ -regret问题的一种有效的bandit算法？In COLT，2009）.我们测试我们的算法实验，表明它也表现出良好的对早期的算法。
2018-01-17 cs.LG stat.ML
Improved Path-length Regret Bounds for Bandits
Microsoft Research（微软研究院）；Stanford University（斯坦福大学）；University of Southern California（南加州大学）
我们研究自适应遗憾界的变化的损失（所谓的路径长度界）的多臂土匪和更一般的线性土匪。我们首先证明了（Wei和Luo，2018）的看似次优的路径长度界实际上对于自适应对手是不可改进的。尽管有这个负面的结果，我们还是开发了两个新的算法，一个是严格改进的（Wei和Luo，2018），具有较小的路径长度测量，另一个是改进的（Wei和Luo，2018），当路径长度很大时，对于不经意的对手。我们的算法基于研究充分的乐观镜像下降框架，但重要的是具有几种新颖的技术，包括新的乐观预测，对最近选择的臂的轻微偏差，以及使用类似于（Bubeck等人，2018年）。此外，我们扩展我们的结果，线性强盗显示减少获得动态遗憾的全信息问题，其次是进一步减少凸体追逐。我们提出了一个简单的贪婪追逐算法的平方2-范数，导致新的动态遗憾的结果，并作为一般的线性土匪的第一路长遗憾。
2019-06-18 cs.LG stat.ML
Bandits with Side Observations: Bounded vs. Logarithmic Regret
CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；Université Paris Diderot（巴黎狄德罗大学）；ENS Cachan（卡尚高等师范学校）；Université Paris-Saclay（巴黎-萨克雷大学）；Criteo AI Lab（Criteo人工智能实验室）
我们考虑经典的随机多臂强盗，但在那里，从时间到时间，大致与频率$ε$，一个额外的观察是免费收集的代理。证明了无论$ε$有多小，智能体都能保证后悔在时间上一致有界.更准确地说，我们构造了一个算法的遗憾小于$\sum_i \frac{\log(1/ε)}{Δ_i}$，乘法常数和重对数项。我们还证明了一个匹配的下限，说明没有合理的算法可以超越这个数量。
2018-07-10 cs.LG stat.ML
Proportional Response: Contextual Bandits for Simple and Cumulative Regret Minimization
Stanford University（斯坦福大学）；Hong Kong University of Science and Technology（香港科技大学）
该研究针对随机上下文老虎机场景，提出基于共形臂集的比例响应算法族，可通过调参平衡简单遗憾与累积遗憾最小化的性能，同时证明无法同时实现实例依赖简单遗憾保证与极小极大最优累积遗憾保证。
2023-11-03 cs.LG stat.ML
Simple regret for infinitely many armed bandits
University of Cambridge（剑桥大学）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
考虑一类具有无穷多个臂的随机强盗问题。在这种设置中，学习器甚至没有机会尝试所有的臂一次，并且必须将其有限数量的样本仅用于一定数量的臂。所有以前的算法都是为了最小化学习者的累积遗憾而设计的。在本文中，我们提出了一个算法，旨在最小化简单的遗憾。在无限多个武装匪徒的累积后悔设置中，简单后悔率将取决于表征接近最优武器分布的参数$β$。我们证明，根据$β$，我们的算法是最小最大最优的乘法常数或高达一个$\log(n)$因素。我们还提供了扩展到几个重要的情况下：当$β$是未知的，在一个自然的设置，接近最佳的武器有一个小的方差，在未知的时间范围的情况下。
2015-05-18 cs.LG stat.ML
Pure Exploration and Regret Minimization in Matching Bandits
CREST（法国经济与统计研究中心）；ENSAE Paris（巴黎国立统计与经济管理学院）；London School of Economics（伦敦政治经济学院）；Criteo AI Lab（Criteo人工智能实验室）
在加权图中寻找最优匹配是一个标准的组合问题。我们认为它的半强盗版本，无论是一对或一个完整的匹配采样顺序。我们证明，它是可能的，利用秩1假设的邻接矩阵，以减少样本的复杂性和遗憾的现成的算法达到线性依赖的顶点数（多对数项）。
2021-07-31 cs.LG stat.ML
Tight Regret Bounds for Infinite-armed Linear Contextual Bandits
Northwestern University（西北大学）；University of Florida（佛罗里达大学）；New York University（纽约大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
线性上下文强盗是一类重要的序贯决策问题，在推荐系统、在线广告、医疗保健和许多其他机器学习相关任务中有着广泛的应用。虽然之前有很多研究，但具有无限动作集的线性上下文强盗的严格遗憾界限仍然是开放的。在本文中，我们解决这个开放的问题，考虑线性上下文强盗（变化）无限行动集。我们证明了一个遗憾上界的顺序$O(\sqrt{d^2T\log T})\times \text{poly}(\log\log T)$其中$d$是域的维数和$T$是时间范围。我们的上限与[Li et al.，[2019]至迭代对数项。
2021-01-26 cs.LG stat.ML
Regret Analysis of a Markov Policy Gradient Algorithm for Multi-arm Bandits
University of Manchester（曼彻斯特大学）
本文考虑了一个求解有限臂强盗问题的策略梯度算法。我们允许学习率取决于算法的当前状态，而不是使用确定性的时间递减的学习率。算法的状态在概率单纯形上形成一个马尔可夫链。我们应用福斯特-李雅普诺夫技术来分析这个马尔可夫链的稳定性。我们证明了，如果学习率是很好的选择，那么策略梯度算法是一个瞬态马尔可夫链和链的状态收敛于最佳臂对数或多对数遗憾。
2021-09-23 cs.LG stat.ML
Nearly Minimax-Optimal Regret for Linearly Parameterized Bandits
Northwestern University（西北大学）；University of Florida（佛罗里达大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究了具有有限行动集的线性上下文Bandit问题。当问题维度为$d$，时间范围为$T$，并且每个时间段有$n \leq 2^{d/2}$候选动作时，我们（1）证明每个算法的极大极小期望遗憾是$Ω(\sqrt{dT (\log T) (\log n)})$，并且（2）引入可变置信度（VCL）SupLinUCB算法，其遗憾与迭代对数因子的下限相匹配。我们的算法结果节省了两个$\sqrt{\log T}$因素从以前的分析，我们的信息理论下限也提高了以前的结果的一个$\sqrt{\log T}$因素，揭示了一个遗憾的规模与经典的多臂土匪，其中没有对数$T$长期存在于极小极大遗憾。我们的证明技术包括变量置信水平和一个仔细的分析层大小的SupLinUCB的上限侧，和精心构造的对抗序列显示的紧密性的椭圆势引理的下限侧。
2020-08-18 cs.LG stat.ML
ANACONDA: An Improved Dynamic Regret Algorithm for Adaptive Non-Stationary Dueling Bandits
University of Oslo（奥斯陆大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文研究了非平稳的决斗强盗问题，提出了第一个解决该问题的自适应动态后悔算法。在这方面的工作中，仅有的两个现有尝试在多个维度上都存在不足，包括非平稳复杂性的悲观度量和需要偏好变化数量的知识的非自适应参数调整。我们开发了一种基于消除的重新调度算法，以克服这些缺点，并显示一个接近最佳的$\tilde{O}(\sqrt{S^{\texttt{CW}} T})$动态遗憾的界限，其中$S^{\texttt{CW}}$是孔多塞冠军的次数变化在$T$轮。这产生了第一个近似最优的动态后悔算法未知的$S^{\texttt{CW}}$。我们进一步研究了其他相关的概念，非平稳性，我们也证明了近最优的动态后悔保证下的基本偏好模型的额外假设。
2022-10-25 cs.LG stat.ML
Communication-Efficient Collaborative Regret Minimization in Multi-Armed Bandits
Indiana University（印第安纳大学）
本文研究多智能体多臂老虎机中并行性与通信开销的权衡，首次提出通信轮数与协作学习遗憾之间的权衡关系。
2023-12-21 cs.LG
Finite-Time Regret of Thompson Sampling Algorithms for Exponential Family Multi-Armed Bandits
National University of Singapore（新加坡国立大学）；California Institute of Technology（加州理工学院）
研究了指数家族强盗的Thompson抽样算法的后悔性，其中奖励分布来自一维指数家族，包括Bernoulli，Gaussian，Gamma，Exponential等常见的奖励分布，提出了一种Thompson抽样算法ExpTS，它使用了一种新的抽样分布，以避免低估的最佳手臂。我们提供了一个严格的遗憾分析ExpTS，这同时产生有限时间后悔界以及渐近后悔界。特别地，对于具有指数族奖励的$K$ -武装强盗，在地平线上的ExpTS $T$是子UCB（问题依赖的有限时间后悔的强准则），极大极小最优直到因子$\sqrt{\log K}$，并且对于指数族奖励是渐近最优的。此外，我们提出了ExpTS $^+$，通过增加一个贪婪的开发步骤，除了在ExpTS中使用的抽样分布，以避免过度估计的次优武器。ExpTS $^+$是一个任意时刻的强盗算法，并且对于指数族报酬分布同时达到极大极小最优性和渐近最优性。我们的证明技术是一般的，概念上简单，可以很容易地应用于分析标准的汤普森抽样与特定的奖励分布。
2022-06-07 cs.LG stat.ML
Dynamic Regret for Non-Stationary Linear Bandits via Misspecification Reductions
Department of Mathematics, The Hong Kong University of Science and Technology（香港科技大学数学系）；Stern School of Business, New York University（纽约大学斯特恩商学院）；Department of IEDA, The Hong Kong University of Science and Technology（香港科技大学工业工程与决策分析系）
研究含特定轮次可行决策集的非平稳线性带型问题，针对现有方法局限，从统一错误设定减少视角，分块关联动态遗憾与固定参数线性带型基准，得出最优动态遗憾依赖。
2026-07-07 cs.LG stat.ML
Thompson Sampling Regret Bounds for Contextual Bandits with sub-Gaussian rewards
KTH Royal Institute of Technology（KTH皇家理工学院）
本文基于提升信息比框架分析 Thompson Sampling，将遗憾界从二值奖励推广至 sub-Gaussian 奖励，并给出多种上下文赌博机情形的明确界。
2023-04-26 cs.LG stat.ML
Local Anti-Concentration Class: Logarithmic Regret for Greedy Linear Contextual Bandit
Columbia University（哥伦比亚大学）
本文提出局部反集中（LAC）条件，证明其适用于Gaussian、指数族及截断变体等广泛分布，并据此给出免探索贪心线性上下文老虎机的 O(poly log T) 累积期望遗憾界。
2025-01-16 cs.LG stat.ML
Cooperative Multi-agent Bandits: Distributed Algorithms with Optimal Individual Regret and Constant Communication Costs
Nanjing University（南京大学）；The Chinese University of Hong Kong（香港中文大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文针对协作式多智能体多臂赌博机问题，提出一种简单有效的通信策略并集成到学习算法中，同时实现了最优个体遗憾和恒定通信成本，弥补了领导者-跟随者与完全分布式两类现有范式的不足。
2023-08-08 cs.AI cs.LG stat.ML
On the Minimax Regret for Linear Bandits in a wide variety of Action Spaces
Indian Institute of Science（印度科学学院）
正如在\cite{lattimore2020bandit}的著作中所指出的，已经提到，在各种各样的行动空间中刻画线性强盗的极大极小后悔是一个开放的问题。在这篇文章中，我们提出了一个最佳遗憾下界一类凸行动空间。
2023-01-09 cs.LG
Bandit Regret Scaling with the Effective Loss Range
Università degli Studi di Milano（米兰大学）；Weizmann Institute of Science（魏茨曼科学研究所）
我们研究如何可以提高非随机多武装土匪的后悔保证，如果在每一轮的损失的有效范围是小的（例如，在一个给定的回合中的两个损失之间的最大差异）。尽管最近的不可能的结果，我们展示了如何在某些温和的额外假设下，这是可能的，如可用性的粗略估计的损失，或提前了解的损失，一个单一的，可能未指定的手臂。一路上，我们开发了一种新的技术，这可能是独立的利益，转换任何多臂强盗算法遗憾的损失范围，到一个只依赖于有效范围的遗憾算法，同时完全避免可预测的坏武器。
2020-01-02 cs.LG stat.ML
Regret Analysis of Stochastic and Nonstochastic Multi-armed Bandit Problems
Princeton University（普林斯顿大学）；Università degli Studi di Milano（米兰大学）
多臂强盗问题是具有探索-开发权衡的序列决策问题的最基本例子。这是在选择过去收益最高的选项和探索未来可能收益更高的新选项之间的平衡。虽然对强盗问题的研究可以追溯到30年代，但在一些现代应用中出现了探索-利用权衡，例如广告投放，网站优化和数据包路由。从数学上讲，多臂强盗是由与每个选项相关的支付过程定义的。在这个调查中，我们关注两个极端的案例，在这两个案例中，后悔的分析特别简单和优雅：i.i.d.收益和对抗性收益除了基本的设置，许多行动，我们还分析了一些最重要的变种和扩展，如上下文强盗模型。
2012-11-03 cs.LG stat.ML
Improved Regret for Zeroth-Order Adversarial Bandit Convex Optimisation
DeepMind（深度思维）
我们证明了零阶对抗强盗凸优化的极大极小遗憾的信息论上界至多为$O(d^{2.5} \sqrt{n} \log(n))$，其中$d$是维数，$n$是交互数.这改进了Bubeck等人（2017）的$O(d^{9.5} \sqrt{n} \log(n)^{7.5}$。证明是基于识别一个改进的探索性分布的凸函数。
2020-09-25 cs.LG math.OC stat.ML
Chained Information-Theoretic bounds and Tight Regret Rate for Linear Bandit Problems
KTH Royal Institute of Technology（皇家理工学院）
该研究针对线性老虎机问题，依托已有信息论框架与率失真分析，通过链式论证为带度量动作空间的汤普森采样变体建立依赖动作空间度量熵的新界，得到d维场景下$O(d\sqrt{T})$的紧遗憾率。
2024-03-05 cs.LG stat.ML
Minimax Regret for Cascading Bandits
UT Austin（德克萨斯大学奥斯汀分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊）
级联强盗是一个自然和流行的模型，框架的任务，学习排序从伯努利点击反馈在强盗设置。对于非结构化奖励的情况，我们证明了问题独立的匹配上界和下界（即，无间隙）遗憾，这两个严格改善最好的已知。一个关键的观察是，这个问题的困难实例是那些具有小平均奖励的实例，即，在实践中最相关的小点击率。基于此，以及小均值意味着Bernoullis的小方差的事实，我们的关键技术结果表明，方差感知置信集来自伯恩斯坦和Barnoff界导致最佳算法（最多对数项），而Hoeffding为基础的算法遭受顺序次优遗憾。这与标准（非级联）bandit设置形成鲜明对比，其中方差感知算法仅改进常数。鉴于此，作为一个额外的贡献，我们提出了一个方差感知算法的结构化情况下的线性奖励，并显示其遗憾严格提高了国家的最先进的。
2022-10-10 cs.LG stat.ML
Complete Policy Regret Bounds for Tallying Bandits
Carnegie Mellon University（卡内基梅隆大学）
策略后悔是衡量在线学习算法对自适应对手的性能的一个很好的概念。我们研究了对对手的限制，这些限制可以有效地最小化\emph{complete policy regret}，这是政策遗憾的最强可能版本。我们确定了一个差距，在目前的理论理解，什么样的限制允许在这个具有挑战性的设置的易处理性。为了解决这个差距，我们考虑一个推广的随机多臂强盗，我们称之为\emph{tallying bandit}。这是一个在线学习设置，具有$m$ -内存限制对手，其中播放动作的平均损失是最后一个$m$时间步中播放该动作的次数（或计数）的未知函数。为了计算具有$K$动作和时间范围$T$的强盗问题，我们提供了一个算法，w.h.p实现了$\tilde{\mathcal{O}}(mK\sqrt{T})$的完全策略后悔保证，其中$\tilde{\mathcal{O}}$符号仅隐藏对数因子。此外，我们证明了$\tildeΩ(\sqrt{m K T})$下界的任何清点强盗算法的预期完整的政策遗憾，证明了我们的方法的近最优性。
2022-04-24 cs.AI cs.LG stat.ML
Bayesian Regret Minimization in Offline Bandits
本文针对离线线性老虎机提出一种直接最小化贝叶斯遗憾上界的新算法，利用锥优化求解器并建立与货币风险度量的联系，理论和数值结果均表明其优于传统的最大下置信界（LCB）方法。
2024-07-02 cs.LG stat.ML
Collaborative Min-Max Regret in Grouped Multi-Armed Bandits
Columbia University（哥伦比亚大学）
针对分组多臂老虎机中标准算法探索成本失衡问题，提出动态协调跨组探索的Col-UCB算法，证明其达最优协作遗憾边界，揭示协作收益的适用场景。
2025-06-12 cs.LG stat.ML
Regret vs. Communication: Distributed Stochastic Multi-Armed Bandits and Beyond
Shanghai Jiao Tong University（上海交通大学）
本文研究了多个局中人可以独立访问全局臂集的分布式随机多臂强盗问题。玩家可以在特定的时间点交换他们的观察历史。我们研究了后悔和沟通之间的关系。当时间跨度已知时，我们提出了过度探索策略，该策略只需要一轮沟通，并且其遗憾不随参与者的数量而变化。当时间范围是未知的，我们测量的频率的通信通过一个新的概念称为密度的通信集，并给出一个精确的表征之间的相互作用的后悔和通信。具体地说，建立一个下限和稳定的战略，匹配的下限开发。本文的结果和分析是具体的，但可以转化为更一般的设置。
2015-09-04 cs.LG stat.ML
Algorithms with Logarithmic or Sublinear Regret for Constrained Contextual Bandits
University of California at Davis（加州大学戴维斯分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了具有预算和时间约束的上下文强盗问题，时间和预算约束使得上下文之间的耦合性大大增加，从而使得获取已知强盗统计信息的预言解变得困难.为了获得洞察力，我们首先研究具有已知上下文分布的单位成本系统。当预期的回报是已知的，我们开发了一个近似的预言，称为自适应线性规划（ALP），它实现了近最优，只需要预期的回报排序。有了这些非常理想的功能，然后我们结合ALP与置信上限（UCB）的方法在一般情况下，预期的回报是未知的{ \it先验}。我们表明，建议的UCB-ALP算法实现对数遗憾，除了某些边界的情况下。此外，我们设计的算法，并获得类似的遗憾分析结果更一般的系统与未知的上下文分布和异构成本。据我们所知，这是第一个工作，表明如何实现对数遗憾的约束上下文土匪。此外，这项工作也揭示了计算效率的算法的研究一般约束上下文土匪。
2015-10-19 cs.LG stat.ML
Bounded regret in stochastic multi-armed bandits
Princeton University（普林斯顿大学）；Université Paris Diderot（巴黎狄德罗大学）
当已知最优臂的值$μ^{(\star)}$以及最小正间隙$Δ$的正下界时，研究了随机多臂强盗问题.我们提出了一个新的随机化策略，在这种情况下，达到遗憾{ \em一致有界的时间}。我们还证明了几个下界，特别是有界后悔是不可能的，如果一个人只知道$Δ$，和有界后悔$1/Δ$是不可能的，如果一个人只知道$μ^{(\star)}$
2013-02-12 cs.LG math.ST stat.ML
Efficient Contextual Bandits in Non-stationary Worlds
University of Southern California（南加州大学）；Microsoft Research, NYC（微软研究院（纽约））
大多数上下文强盗算法最大限度地减少对最佳固定策略的遗憾，这是应用程序中普遍存在的非平稳环境的一个有问题的基准。在这项工作中，我们开发了几个有效的上下文强盗算法的非平稳环境，通过装备现有的方法，独立同分布。复杂的统计测试的问题，以便动态地适应分布的变化。我们分析了各种标准的概念，适合于非平稳环境的遗憾，这些算法，包括间隔遗憾，切换遗憾，和动态遗憾。当每次与最佳策略竞争时，如果存在具有$S$平稳周期的$T$轮，或者更一般地$\mathcal{O}(Δ^{1/3}T^{2/3})$，其中$Δ$是一些非平稳性度量，则我们的算法之一实现遗憾$\mathcal{O}(\sqrt{ST})$。这些结果几乎匹配的最佳保证实现了一个低效的基线，这是一个经典的Exp4算法的变体。动态后悔的结果也是第一个有效的和完全对抗性的上下文强盗。此外，虽然上述结果需要调整参数的基础上的未知量$S$或$Δ$，我们还开发了一个参数的算法实现遗憾$\min\{S^{1/4}T^{3/4}, Δ^{1/5}T^{4/5}\}$。这改进并推广了Karnin和Anava（2016）的现有最佳结果$Δ^{0.18}T^{0.82}$，该结果仅适用于双臂强盗问题。
2019-04-03 cs.LG stat.ML
Optimal Regret Analysis of Thompson Sampling in Stochastic Multi-armed Bandit Problem with Multiple Plays
The University of Tokyo（东京大学）
我们讨论了一个多局多臂强盗（MAB）的问题，其中有几个武器被选中在每一轮。近年来，Thompson抽样（TS）算法因其在经验上的优异性能而受到广泛关注，并在标准单局MAB问题中被证明具有最优后悔界。在本文中，我们提出了多播放汤普森采样（MP-TS）算法，TS的多播放MAB问题的扩展，并讨论其遗憾分析。我们证明了二元奖励的MP-TS具有与Anantharam等人（1987）提供的后悔下限相匹配的最佳后悔上限。因此，MP-TS是第一个计算效率高的最佳遗憾算法。还进行了一组计算机模拟，比较MP-TS与最先进的算法。我们还提出了一个修改的MP-TS，这被证明有更好的经验性能。
2019-03-20 cs.LG stat.ML
Breaking the $\sqrt{T}$ Barrier: Instance-Independent Logarithmic Regret in Stochastic Contextual Linear Bandits
AWS AI（亚马逊云科技人工智能部门）
我们证明了一个独立的实例（多）对数后悔随机上下文土匪线性回报。以前，在\cite{chu2011contextual}，一个下界的$\mathcal{O}(\sqrt{T})$示出的上下文线性强盗问题与任意（adversarily选择）的背景。在本文中，我们表明，随机上下文确实有助于减少从$\sqrt{T}$到$\polylog(T)$的遗憾。我们提出了低遗憾随机上下文Bandits（\texttt{LR-SCB}），它利用随机上下文，并执行参数估计（在$\ell_2$范数）和遗憾最小化同时进行。\texttt{LR-SCB}以历元为单位工作，其中前一历元的参数估计用于减少当前历元的遗憾。\texttt{LR-SCB}的（多）对数后悔源于两个关键事实：（a）应用范数自适应算法来利用参数估计和（b）分析移位线性上下文强盗算法，表明移位导致后悔增加。我们还通过实验证明，随机背景确实会导致与$\polylog(T)$成比例的遗憾。
2022-05-19 cs.AI cs.IT cs.LG
One Arrow, Two Kills: An Unified Framework for Achieving Optimal Regret Guarantees in Sleeping Bandits
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；IBM Research（IBM研究院）；University of Pennsylvania（宾夕法尼亚大学）
我们解决问题的\emph{`Internal Regret'}在\emph{Sleeping Bandits}在完全对抗的设置，以及绘制不同的现有概念之间的连接睡眠的遗憾在多臂匪徒（MAB）的文献，因此分析的影响：我们的第一个贡献是提出了新的概念\emph{Internal Regret}睡眠MAB。然后，我们提出了一个算法，产生次线性遗憾的措施，即使是一个完全敌对的序列的损失和可用性。我们进一步证明，低睡眠内部遗憾总是意味着低外部遗憾，以及低政策遗憾的iid序列的损失。这部作品的主要贡献在于统一了《睡匪》中存在的遗憾的不同概念，并理解了它们之间的含义。最后，我们还将我们的结果扩展到设置\emph{Dueling Bandits}（DB）-一个偏好反馈的MAB的变种，并提出了减少MAB的想法，设计一个低遗憾算法的睡眠决斗土匪随机偏好和对抗的可用性。我们的算法的有效性是合理的，通过实证评估。
2022-10-26 cs.LG
Smooth Contextual Bandits: Bridging the Parametric and Non-differentiable Regret Regimes
Cornell University（康奈尔大学）
研究了一个非参数上下文强盗问题，其中期望报酬函数属于具有光滑参数$β$的Hölder类.我们展示了这是如何在两个极端之间进行插值的，这两个极端是以前孤立地研究的：不可微的土匪（$β\leq1$），通过在不同的上下文区域运行单独的非上下文土匪来实现速率最优遗憾，和参数响应土匪（满足$β=\infty$），由于无限的外推性，可以实现速率最优遗憾的最小或没有探索。我们开发了一种新的算法，仔细调整到所有的平滑设置，我们证明它的遗憾是率最优的，通过建立匹配的上限和下限，恢复现有的结果在两个极端。从这个意义上说，我们的工作弥合了现有文献之间的差距参数和不可微的上下文土匪问题和土匪算法之间，专门使用全球或本地信息，揭示了关键的相互作用的复杂性和遗憾的上下文土匪。
2020-09-11 cs.AI cs.LG math.OC
Locally Differentially Private (Contextual) Bandits Learning
Peking University（北京大学）；Haihua Institute for Frontier Information Technology（海华前沿信息技术研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文研究了局部差分私有（LDP）强盗学习。首先，我们提出了简单的黑盒约简框架，可以解决一个大家庭的上下文无关的强盗学习问题的LDP保证。基于我们的框架，我们可以改进以前的最佳结果为私人强盗学习与一点反馈，如私人强盗凸优化，并获得第一个结果为强盗凸优化（BCO）与LDP下的多点反馈。LDP保证和黑盒性质使我们的框架更有吸引力的实际应用相比，以前专门设计的和相对较弱的差分私有（DP）上下文无关的强盗算法。进一步地，我们将我们的$(\varepsilon, δ)$算法推广到广义线性Bandits，它具有一个次线性的遗憾$\tilde{O}(T^{3/4}/\varepsilon)$，并被证明是近最优的。请注意，鉴于DP上下文线性强盗的现有$Ω(T)$下限（Shariff & Sheffe，2018），我们的结果显示了LDP和DP上下文强盗学习之间的根本差异。
2021-01-15 cs.LG stat.ML
Thompson Sampling For Combinatorial Bandits: Polynomial Regret and Mismatched Sampling Paradox
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）
该研究针对线性组合半老虎机问题，提出首个有限时间后悔不随维度指数增长的汤普森采样方法，并发现失配采样悖论，即正确后验采样表现可能远差于合适的高斯后验采样。
2024-10-07 cs.LG stat.ML
Solving Bernoulli Rank-One Bandits with Unimodal Thompson Sampling
ENS Paris-Saclay（巴黎萨克雷高等师范学院）；CNRS（法国国家科学研究中心）；Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；DeepMind（深度思维）；CentraleSupélec（中央理工-高等电力学院）
随机秩一Bandits（Katarya et al，（2017 a，b））是一个简单的框架，用于在秩一矩阵上的后悔最小化问题。最初提出的算法被证明有对数遗憾，但不符合现有的下限为这个问题。我们首先证明了一级强盗是单峰强盗的一个特殊例子，然后提供了一个新的单峰汤普森采样（UTS）分析，最初由Paladino等人（2017）提出。我们证明了一个渐近最优的遗憾界上的频率后悔的UTS和我们支持我们的主张与模拟显示我们的方法相比，国家的最先进的显着改善。
2019-12-06 cs.LG stat.ML
Non-Stationary Dueling Bandits
Paderborn University（帕德博恩大学）；University of Munich（慕尼黑大学）
研究了具有$K$武器的非平稳决斗土匪问题，其中时间范围$T$由$M$平稳段组成，每个平稳段都与自己的偏好矩阵相关联.学习者反复选择一对手臂，并观察它们之间的二元偏好作为反馈。为了最大限度地减少累积的遗憾，学习者需要尽可能多地选择每个固定段的孔多塞冠军，尽管偏好矩阵和段长度是未知的。我们提出了$\mathrm{Beat\, the\, Winner\, Reset}$算法，并证明了其期望的二元弱遗憾在平稳的情况下，这收紧了目前的最先进的算法的界。我们还显示了一个遗憾的约束的非平稳的情况下，不需要知识的$M$或$T$。我们进一步提出并分析了两个元算法，$\mathrm{DETECT}$弱遗憾和$\mathrm{Monitored\, Dueling\, Bandits}$强遗憾，都基于检测窗口的方法，可以将任何决斗强盗算法作为一个黑盒算法。最后，我们证明了在非平稳的情况下，期望弱后悔的最坏情况下的下限。
2022-02-02 cs.LG stat.ML
A New Look at Dynamic Regret for Non-Stationary Stochastic Bandits
DeepMind（深度思维）
研究了非平稳随机多臂强盗问题，其中在学习过程中，每个臂的奖励统计量可能会发生多次变化。一个学习算法的性能进行评估，在他们的动态后悔，这是定义为代理选择最佳的手臂在每个时间步的预期累积奖励和学习算法的累积奖励之间的差异。衡量这种环境的难度的一种方法是考虑最佳手臂的身份可以改变多少次。我们提出了一种方法，实现，在$K$武装土匪问题，一个接近最佳的$\widetilde O(\sqrt{K N(S+1)})$动态遗憾，其中$N$是问题的时间范围和$S$是最佳的手臂变化的身份的次数，没有$S$的先验知识。以前的工作，这个问题得到的遗憾的界限，规模的变化（或变化量）的奖励功能，这可能会大得多，或假设先验知识的$S$，以实现类似的界限。
2022-03-08 cs.LG stat.ML
