Pareto Regret Analyses in Multi-objective Multi-armed Bandit
Northwestern University（西北大学）
本文提出适用于随机与对抗设置的多目标多臂老虎机帕累托遗憾定义及相应算法，并证明其在对抗设置下最优、随机设置下近最优。
2023-05-30 cs.LG stat.ML
Distributed Bandit Learning: Near-Optimal Regret with Efficient Communication
Tsinghua University（清华大学）；Peking University（北京大学）
研究了分布式强盗学习中的后悔最小化问题，其中$M$代理在中央服务器的协调下协同工作以最小化总后悔.我们的目标是设计具有接近最优遗憾和很少通信成本的通信协议，这是通过传输数据的总量来衡量的。对于分布式多臂强盗，我们提出了一个具有接近最优遗憾且只有$O(M\log(MK))$通信代价的协议，其中$K$是武器的数目.通信成本是独立的时间范围$T$，只有对数依赖于臂的数量，并匹配的下限，除了一个对数因子。对于分布式$d$维线性强盗，我们提出了一个协议，实现了接近最优的遗憾，并有$\tilde{O}(Md)$阶的通信成本，这只有对数依赖于$T$。
2019-05-29 cs.LG stat.ML
Regret Lower Bound and Optimal Algorithm in Dueling Bandit Problem
The University of Tokyo（东京大学）；Kyoto University（京都大学）
我们研究了$K$ -武装决斗土匪问题，标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。我们引入了一个紧的渐近遗憾下界，是基于信息的分歧。受确定性最小经验发散算法（Honda and Takemura，2010）的启发，提出了一种新的算法，并分析了其遗憾性。该算法被发现是第一个遗憾的上限，下限相匹配。实验结果表明，该算法的性能明显优于现有的决斗强盗算法。
2015-06-29 cs.LG stat.ML
Copeland Dueling Bandit Problem: Regret Lower Bound, Optimal Algorithm, and Computationally Efficient Algorithm
The University of Tokyo（东京大学）
我们研究的K-臂决斗土匪问题，标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。推荐科普兰优胜者的难度，击败其他武器的最大数量的武器，其特点是推导出一个渐进的遗憾界。本文提出了Copeland Winners相对最小经验散度（CW-RMED）算法，并给出了它的一个渐近最优后悔界，但该算法能否有效地计算还不清楚。为了解决这个问题，我们设计了一个有效的版本（ECW-RMED），并推导出其渐近遗憾界。决斗强盗算法的实验比较表明，ECW-RMED显着优于现有的。
2016-05-24 cs.LG stat.ML
Simple Regret Minimization for Contextual Bandits
Department of EECS, University of Michigan, Ann Arbor, MI, USA（密歇根大学电气工程与计算机科学系）；Department of Aerospace Engineering, University of Michigan, Ann Arbor, MI, USA（密歇根大学航空航天工程系）；Climate and Space Engineering, University of Michigan, Ann Arbor, MI, USA（密歇根大学气候与空间工程系）
经典的多臂强盗（MAB）问题有两种变体，近年来受到机器学习研究者的广泛关注：情境强盗和简单后悔最小化。情境强盗是MAB的一个子类，在每个时间步，学习者都可以获得预测最佳手臂的边信息。简单的遗憾最小化假设学习者只在纯探索阶段后才会后悔。在这项工作中，我们研究简单的后悔最小化上下文土匪。出于应用程序的学习者有单独的培训和自主模式，我们假设学习者经历了一个纯粹的探索阶段，在每一个动作后收到反馈，但没有遗憾，然后是一个纯粹的开发阶段，其中遗憾的是，但没有反馈。我们提出了上下文间隙算法，并建立了简单的遗憾，即性能保证，在纯开发阶段的遗憾。我们的实验研究了一种新的应用程序，以自适应传感器选择星际航天器的磁场估计，并证明了相当大的改进算法，旨在尽量减少累积遗憾。
2020-02-25 cs.LG stat.ML
Efficient Swap Regret Minimization in Combinatorial Bandits
National Technical University of Athens（雅典国立技术大学）；National and Kapodistrian University of Athens（雅典国立卡波季斯特里安大学）；Archimedes, Athena Research Center（雅典娜研究中心阿基米德部）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；University of California, Irvine（加州大学尔湾分校）
本文提出一种在组合老虎机中具有多项对数依赖于N的高效无交换后悔算法，解决了该领域长期存在的挑战。
2026-11-10 cs.LG math.OC stat.ML
Regret Balancing for Bandit and RL Model Selection
DeepMind（深度思维）；UC Berkeley（加州大学伯克利分校）；University of Massachusetts（马萨诸塞大学）
我们考虑随机强盗和强化学习问题中的模型选择。给定一组基本学习算法，有效的模型选择策略以在线方式适应最佳学习算法。我们表明，通过估计每个算法的遗憾和播放的算法，以确保所有经验的遗憾是相同的顺序，整体遗憾平衡策略实现了一个遗憾，是接近的最佳基础算法的遗憾。我们的策略需要一个上界的最佳基地遗憾作为输入，和策略的性能取决于上界的紧密性。我们表明，有这样的先验知识是必要的，以实现一个接近最佳的遗憾。此外，我们表明，任何接近最优的模型选择策略隐含地执行一种形式的遗憾平衡。
2020-06-09 cs.LG stat.ML
Corralling a Larger Band of Bandits: A Case Study on Switching Regret for Linear Bandits
University of Southern California（南加利福尼亚大学）；Nanjing University（南京大学）
我们考虑的问题相结合，学习了一组敌对的强盗算法的目标是自适应跟踪最好的一个在飞。Agarwal等人（2017）的CORRAL算法及其变体（Foster等人，2020 a）以$\widetilde{O}(\sqrt{MT})$阶的后悔开销实现该目标，其中$M$是基本算法的数量，而$T$是时间范围。然而，对$M$的多项式依赖性阻止人们将这些算法应用于$M$是聚$(T)$或甚至更大的许多应用。出于这个问题，我们提出了一个新的配方，以畜栏更大的带宽的强盗算法，其遗憾开销只有\emph{logarithmic}依赖于$M$，只要满足某些条件。作为主要的例子，我们将我们的配方的问题的对抗性线性土匪的$d$ -维$\ell_p$单位球$p \in (1,2]$。通过聚集大量的$T$基础算法，每个算法在不同的时间步开始，我们的最终算法在与具有$S$开关的一系列比较器竞争时实现了第一个最佳开关遗憾$\widetilde{O}(\sqrt{d S T})$（对于一些已知的$S$）。我们进一步将我们的结果推广到光滑和强凸域上的线性强盗以及无约束的线性强盗。
2022-02-12 cs.LG stat.ML
An Experimental Design Approach for Regret Minimization in Logistic Bandits
Rice University（莱斯大学）；University of Arizona（亚利桑那大学）；University of Washington（华盛顿大学）
在这项工作中，我们考虑的问题后悔最小化物流土匪。物流强盗的主要挑战是减少对潜在的大问题相关常数$κ$的依赖，该常数在最坏的情况下可以与未知参数$θ_{\ast}$的范数指数地缩放。Abeille等人（2021）应用逻辑函数的自一致性来消除这种最坏情况的依赖性，提供了像$O(d\log^2(κ)\sqrt{\dotμT}\log(|\mathcal{X}|))$这样的后悔保证，其中$d$是维度，$T$是时间范围，$\dotμ$是最佳臂的方差。这项工作通过采用试验设计程序来改进固定臂设置中的这一界限，该程序实现了$O(\sqrt{d \dotμT\log(|\mathcal{X}|)})$的最小最大后悔。我们的遗憾界限实际上采取了一个更严格的例子（即，gap）依赖遗憾首次在物流土匪绑定。我们还提出了一个新的预热采样算法，可以显着减少低阶项的遗憾一般，并证明它可以取代低阶项依赖$κ$ $\log^2(κ)$的一些情况下。最后，我们讨论了最大似然估计的偏差对逻辑强盗问题的影响，提供了一个例子，其中$d^2$低阶后悔（参见，它是$d$，用于线性Bandits）可能不会得到改善，只要使用MLE以及如何使用偏差校正估计器来使它更接近$d$。
2022-02-04 cs.LG stat.ML
Experimental Design for Regret Minimization in Linear Bandits
University of Washington（华盛顿大学）
在本文中，我们提出了一种新的实验设计为基础的算法，以尽量减少在线随机线性和组合土匪的遗憾。虽然现有的文献往往集中在基于乐观主义的算法-这已被证明是次优的，在许多情况下-我们的方法仔细计划采取哪些行动，通过平衡信息增益和奖励之间的权衡，克服乐观主义的失败。此外，我们利用经验过程的上确界理论的工具来获得后悔保证，该保证随行动集的高斯宽度而扩展，避免浪费的联合边界。我们提供了国家的最先进的有限时间后悔保证，并表明我们的算法可以适用于在土匪和半土匪反馈制度。在组合半强盗设置，我们表明，我们的算法是计算效率高，只依赖于调用线性最大化预言。此外，我们表明，稍加修改，我们的算法可以用于纯探索，获得国家的最先进的纯探索保证在半强盗设置。最后，我们提供了，据我们所知，第一个例子，乐观失败的半土匪政权，并表明，在这种情况下，我们的算法成功。
2021-02-27 cs.LG stat.ML
Thresholding Bandit with Optimal Aggregate Regret
Indiana University at Bloomington（印第安纳大学伯明顿分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们认为阈值强盗问题，其目标是找到武器的平均奖励高于给定的阈值$θ$，与固定预算的$T$试验。我们介绍LSA，一个新的，简单的，随时算法，旨在最大限度地减少总遗憾（或预期数量的错误分类武器）。我们证明了我们的算法是逐例渐近最优的。我们还提供了全面的实证结果，以证明该算法的优越性能超过现有的算法在各种不同的情况下。
2019-05-27 cs.LG stat.ML
Efficient Online Bandit Multiclass Learning with $\tilde{O}(\sqrt{T})$ Regret
Yahoo Research（雅虎研究院）；Stony Brook University（石溪大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
我们提出了一个有效的二阶算法与$\tilde{O}(\frac{1}η\sqrt{T})$遗憾的强盗在线多类问题。遗憾界同时举行关于一个家庭的损失函数参数化的$η$，为一个范围内的$η$的规范的竞争对手。损失函数族的范围从铰链损失（$η=0$）到平方铰链损失（$η=1$）。这为（J. Abernethy和A.拉赫林在线多类预测中$\sqrt{T}$ -regret问题的一种有效的bandit算法？In COLT，2009）.我们测试我们的算法实验，表明它也表现出良好的对早期的算法。
2018-01-17 cs.LG stat.ML
Bandits with Side Observations: Bounded vs. Logarithmic Regret
CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；Université Paris Diderot（巴黎狄德罗大学）；ENS Cachan（卡尚高等师范学校）；Université Paris-Saclay（巴黎-萨克雷大学）；Criteo AI Lab（Criteo人工智能实验室）
我们考虑经典的随机多臂强盗，但在那里，从时间到时间，大致与频率$ε$，一个额外的观察是免费收集的代理。证明了无论$ε$有多小，智能体都能保证后悔在时间上一致有界.更准确地说，我们构造了一个算法的遗憾小于$\sum_i \frac{\log(1/ε)}{Δ_i}$，乘法常数和重对数项。我们还证明了一个匹配的下限，说明没有合理的算法可以超越这个数量。
2018-07-10 cs.LG stat.ML
Proportional Response: Contextual Bandits for Simple and Cumulative Regret Minimization
Stanford University（斯坦福大学）；Hong Kong University of Science and Technology（香港科技大学）
该研究针对随机上下文老虎机场景，提出基于共形臂集的比例响应算法族，可通过调参平衡简单遗憾与累积遗憾最小化的性能，同时证明无法同时实现实例依赖简单遗憾保证与极小极大最优累积遗憾保证。
2023-11-03 cs.LG stat.ML
Simple regret for infinitely many armed bandits
University of Cambridge（剑桥大学）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
考虑一类具有无穷多个臂的随机强盗问题。在这种设置中，学习器甚至没有机会尝试所有的臂一次，并且必须将其有限数量的样本仅用于一定数量的臂。所有以前的算法都是为了最小化学习者的累积遗憾而设计的。在本文中，我们提出了一个算法，旨在最小化简单的遗憾。在无限多个武装匪徒的累积后悔设置中，简单后悔率将取决于表征接近最优武器分布的参数$β$。我们证明，根据$β$，我们的算法是最小最大最优的乘法常数或高达一个$\log(n)$因素。我们还提供了扩展到几个重要的情况下：当$β$是未知的，在一个自然的设置，接近最佳的武器有一个小的方差，在未知的时间范围的情况下。
2015-05-18 cs.LG stat.ML
Pure Exploration and Regret Minimization in Matching Bandits
CREST（法国经济与统计研究中心）；ENSAE Paris（巴黎国立统计与经济管理学院）；London School of Economics（伦敦政治经济学院）；Criteo AI Lab（Criteo人工智能实验室）
在加权图中寻找最优匹配是一个标准的组合问题。我们认为它的半强盗版本，无论是一对或一个完整的匹配采样顺序。我们证明，它是可能的，利用秩1假设的邻接矩阵，以减少样本的复杂性和遗憾的现成的算法达到线性依赖的顶点数（多对数项）。
2021-07-31 cs.LG stat.ML
Tight Regret Bounds for Infinite-armed Linear Contextual Bandits
Northwestern University（西北大学）；University of Florida（佛罗里达大学）；New York University（纽约大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
线性上下文强盗是一类重要的序贯决策问题，在推荐系统、在线广告、医疗保健和许多其他机器学习相关任务中有着广泛的应用。虽然之前有很多研究，但具有无限动作集的线性上下文强盗的严格遗憾界限仍然是开放的。在本文中，我们解决这个开放的问题，考虑线性上下文强盗（变化）无限行动集。我们证明了一个遗憾上界的顺序$O(\sqrt{d^2T\log T})\times \text{poly}(\log\log T)$其中$d$是域的维数和$T$是时间范围。我们的上限与[Li et al.，[2019]至迭代对数项。
2021-01-26 cs.LG stat.ML
Nearly Minimax-Optimal Regret for Linearly Parameterized Bandits
Northwestern University（西北大学）；University of Florida（佛罗里达大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究了具有有限行动集的线性上下文Bandit问题。当问题维度为$d$，时间范围为$T$，并且每个时间段有$n \leq 2^{d/2}$候选动作时，我们（1）证明每个算法的极大极小期望遗憾是$Ω(\sqrt{dT (\log T) (\log n)})$，并且（2）引入可变置信度（VCL）SupLinUCB算法，其遗憾与迭代对数因子的下限相匹配。我们的算法结果节省了两个$\sqrt{\log T}$因素从以前的分析，我们的信息理论下限也提高了以前的结果的一个$\sqrt{\log T}$因素，揭示了一个遗憾的规模与经典的多臂土匪，其中没有对数$T$长期存在于极小极大遗憾。我们的证明技术包括变量置信水平和一个仔细的分析层大小的SupLinUCB的上限侧，和精心构造的对抗序列显示的紧密性的椭圆势引理的下限侧。
2020-08-18 cs.LG stat.ML
ANACONDA: An Improved Dynamic Regret Algorithm for Adaptive Non-Stationary Dueling Bandits
University of Oslo（奥斯陆大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文研究了非平稳的决斗强盗问题，提出了第一个解决该问题的自适应动态后悔算法。在这方面的工作中，仅有的两个现有尝试在多个维度上都存在不足，包括非平稳复杂性的悲观度量和需要偏好变化数量的知识的非自适应参数调整。我们开发了一种基于消除的重新调度算法，以克服这些缺点，并显示一个接近最佳的$\tilde{O}(\sqrt{S^{\texttt{CW}} T})$动态遗憾的界限，其中$S^{\texttt{CW}}$是孔多塞冠军的次数变化在$T$轮。这产生了第一个近似最优的动态后悔算法未知的$S^{\texttt{CW}}$。我们进一步研究了其他相关的概念，非平稳性，我们也证明了近最优的动态后悔保证下的基本偏好模型的额外假设。
2022-10-25 cs.LG stat.ML
Finite-Time Regret of Thompson Sampling Algorithms for Exponential Family Multi-Armed Bandits
National University of Singapore（新加坡国立大学）；California Institute of Technology（加州理工学院）
研究了指数家族强盗的Thompson抽样算法的后悔性，其中奖励分布来自一维指数家族，包括Bernoulli，Gaussian，Gamma，Exponential等常见的奖励分布，提出了一种Thompson抽样算法ExpTS，它使用了一种新的抽样分布，以避免低估的最佳手臂。我们提供了一个严格的遗憾分析ExpTS，这同时产生有限时间后悔界以及渐近后悔界。特别地，对于具有指数族奖励的$K$ -武装强盗，在地平线上的ExpTS $T$是子UCB（问题依赖的有限时间后悔的强准则），极大极小最优直到因子$\sqrt{\log K}$，并且对于指数族奖励是渐近最优的。此外，我们提出了ExpTS $^+$，通过增加一个贪婪的开发步骤，除了在ExpTS中使用的抽样分布，以避免过度估计的次优武器。ExpTS $^+$是一个任意时刻的强盗算法，并且对于指数族报酬分布同时达到极大极小最优性和渐近最优性。我们的证明技术是一般的，概念上简单，可以很容易地应用于分析标准的汤普森抽样与特定的奖励分布。
2022-06-07 cs.LG stat.ML
An algorithm with nearly optimal pseudo-regret for both stochastic and adversarial bandits
Montanuniversitaet Leoben（莱奥本矿业大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了一个算法，实现几乎最佳的伪遗憾界对抗性和随机土匪。对抗性强盗的伪遗憾是$O(K\sqrt{n \log n})$，对抗随机强盗的伪遗憾是$O(\sum_i (\log n)/Δ_i)$。我们还表明，没有算法与$O(\log n)$伪遗憾对随机土匪可以实现$\tilde{O}(\sqrt{n})$预期的遗憾对自适应对抗土匪。这补充了Bubeck和Slivkins（2012）之前的结果，该结果显示$\tilde{O}(\sqrt{n})$预期对抗性遗憾与$O((\log n)^2)$随机伪遗憾。
2016-05-27 cs.LG
Dynamic Regret for Non-Stationary Linear Bandits via Misspecification Reductions
Department of Mathematics, The Hong Kong University of Science and Technology（香港科技大学数学系）；Stern School of Business, New York University（纽约大学斯特恩商学院）；Department of IEDA, The Hong Kong University of Science and Technology（香港科技大学工业工程与决策分析系）
研究含特定轮次可行决策集的非平稳线性带型问题，针对现有方法局限，从统一错误设定减少视角，分块关联动态遗憾与固定参数线性带型基准，得出最优动态遗憾依赖。
2026-07-07 cs.LG stat.ML
Thompson Sampling Regret Bounds for Contextual Bandits with sub-Gaussian rewards
KTH Royal Institute of Technology（KTH皇家理工学院）
本文基于提升信息比框架分析 Thompson Sampling，将遗憾界从二值奖励推广至 sub-Gaussian 奖励，并给出多种上下文赌博机情形的明确界。
2023-04-26 cs.LG stat.ML
Local Anti-Concentration Class: Logarithmic Regret for Greedy Linear Contextual Bandit
Columbia University（哥伦比亚大学）
本文提出局部反集中（LAC）条件，证明其适用于Gaussian、指数族及截断变体等广泛分布，并据此给出免探索贪心线性上下文老虎机的 O(poly log T) 累积期望遗憾界。
2025-01-16 cs.LG stat.ML
Bandit Regret Scaling with the Effective Loss Range
Università degli Studi di Milano（米兰大学）；Weizmann Institute of Science（魏茨曼科学研究所）
我们研究如何可以提高非随机多武装土匪的后悔保证，如果在每一轮的损失的有效范围是小的（例如，在一个给定的回合中的两个损失之间的最大差异）。尽管最近的不可能的结果，我们展示了如何在某些温和的额外假设下，这是可能的，如可用性的粗略估计的损失，或提前了解的损失，一个单一的，可能未指定的手臂。一路上，我们开发了一种新的技术，这可能是独立的利益，转换任何多臂强盗算法遗憾的损失范围，到一个只依赖于有效范围的遗憾算法，同时完全避免可预测的坏武器。
2020-01-02 cs.LG stat.ML
Regret Analysis of Stochastic and Nonstochastic Multi-armed Bandit Problems
Princeton University（普林斯顿大学）；Università degli Studi di Milano（米兰大学）
多臂强盗问题是具有探索-开发权衡的序列决策问题的最基本例子。这是在选择过去收益最高的选项和探索未来可能收益更高的新选项之间的平衡。虽然对强盗问题的研究可以追溯到30年代，但在一些现代应用中出现了探索-利用权衡，例如广告投放，网站优化和数据包路由。从数学上讲，多臂强盗是由与每个选项相关的支付过程定义的。在这个调查中，我们关注两个极端的案例，在这两个案例中，后悔的分析特别简单和优雅：i.i.d.收益和对抗性收益除了基本的设置，许多行动，我们还分析了一些最重要的变种和扩展，如上下文强盗模型。
2012-11-03 cs.LG stat.ML
Chained Information-Theoretic bounds and Tight Regret Rate for Linear Bandit Problems
KTH Royal Institute of Technology（皇家理工学院）
该研究针对线性老虎机问题，依托已有信息论框架与率失真分析，通过链式论证为带度量动作空间的汤普森采样变体建立依赖动作空间度量熵的新界，得到d维场景下$O(d\sqrt{T})$的紧遗憾率。
2024-03-05 cs.LG stat.ML
Minimax Regret for Cascading Bandits
UT Austin（德克萨斯大学奥斯汀分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊）
级联强盗是一个自然和流行的模型，框架的任务，学习排序从伯努利点击反馈在强盗设置。对于非结构化奖励的情况，我们证明了问题独立的匹配上界和下界（即，无间隙）遗憾，这两个严格改善最好的已知。一个关键的观察是，这个问题的困难实例是那些具有小平均奖励的实例，即，在实践中最相关的小点击率。基于此，以及小均值意味着Bernoullis的小方差的事实，我们的关键技术结果表明，方差感知置信集来自伯恩斯坦和Barnoff界导致最佳算法（最多对数项），而Hoeffding为基础的算法遭受顺序次优遗憾。这与标准（非级联）bandit设置形成鲜明对比，其中方差感知算法仅改进常数。鉴于此，作为一个额外的贡献，我们提出了一个方差感知算法的结构化情况下的线性奖励，并显示其遗憾严格提高了国家的最先进的。
2022-10-10 cs.LG stat.ML
Bayesian Regret Minimization in Offline Bandits
本文针对离线线性老虎机提出一种直接最小化贝叶斯遗憾上界的新算法，利用锥优化求解器并建立与货币风险度量的联系，理论和数值结果均表明其优于传统的最大下置信界（LCB）方法。
2024-07-02 cs.LG stat.ML
Collaborative Min-Max Regret in Grouped Multi-Armed Bandits
Columbia University（哥伦比亚大学）
针对分组多臂老虎机中标准算法探索成本失衡问题，提出动态协调跨组探索的Col-UCB算法，证明其达最优协作遗憾边界，揭示协作收益的适用场景。
2025-06-12 cs.LG stat.ML
Regret vs. Communication: Distributed Stochastic Multi-Armed Bandits and Beyond
Shanghai Jiao Tong University（上海交通大学）
本文研究了多个局中人可以独立访问全局臂集的分布式随机多臂强盗问题。玩家可以在特定的时间点交换他们的观察历史。我们研究了后悔和沟通之间的关系。当时间跨度已知时，我们提出了过度探索策略，该策略只需要一轮沟通，并且其遗憾不随参与者的数量而变化。当时间范围是未知的，我们测量的频率的通信通过一个新的概念称为密度的通信集，并给出一个精确的表征之间的相互作用的后悔和通信。具体地说，建立一个下限和稳定的战略，匹配的下限开发。本文的结果和分析是具体的，但可以转化为更一般的设置。
2015-09-04 cs.LG stat.ML
Survey Bandits with Regret Guarantees
Stanford University（斯坦福大学）
我们考虑上下文强盗问题的一个变种。在标准的上下文强盗中，当用户到达时，我们获得用户的完整特征向量，然后为该用户分配治疗（手臂）。在许多应用程序（如医疗保健）中，从用户那里收集功能可能成本高昂。为了解决这个问题，我们提出了算法，避免不必要的功能收集，同时保持强大的遗憾保证。
2020-02-23 cs.LG econ.EM stat.ML
Algorithms with Logarithmic or Sublinear Regret for Constrained Contextual Bandits
University of California at Davis（加州大学戴维斯分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了具有预算和时间约束的上下文强盗问题，时间和预算约束使得上下文之间的耦合性大大增加，从而使得获取已知强盗统计信息的预言解变得困难.为了获得洞察力，我们首先研究具有已知上下文分布的单位成本系统。当预期的回报是已知的，我们开发了一个近似的预言，称为自适应线性规划（ALP），它实现了近最优，只需要预期的回报排序。有了这些非常理想的功能，然后我们结合ALP与置信上限（UCB）的方法在一般情况下，预期的回报是未知的{ \it先验}。我们表明，建议的UCB-ALP算法实现对数遗憾，除了某些边界的情况下。此外，我们设计的算法，并获得类似的遗憾分析结果更一般的系统与未知的上下文分布和异构成本。据我们所知，这是第一个工作，表明如何实现对数遗憾的约束上下文土匪。此外，这项工作也揭示了计算效率的算法的研究一般约束上下文土匪。
2015-10-19 cs.LG stat.ML
Efficient Contextual Bandits in Non-stationary Worlds
University of Southern California（南加州大学）；Microsoft Research, NYC（微软研究院（纽约））
大多数上下文强盗算法最大限度地减少对最佳固定策略的遗憾，这是应用程序中普遍存在的非平稳环境的一个有问题的基准。在这项工作中，我们开发了几个有效的上下文强盗算法的非平稳环境，通过装备现有的方法，独立同分布。复杂的统计测试的问题，以便动态地适应分布的变化。我们分析了各种标准的概念，适合于非平稳环境的遗憾，这些算法，包括间隔遗憾，切换遗憾，和动态遗憾。当每次与最佳策略竞争时，如果存在具有$S$平稳周期的$T$轮，或者更一般地$\mathcal{O}(Δ^{1/3}T^{2/3})$，其中$Δ$是一些非平稳性度量，则我们的算法之一实现遗憾$\mathcal{O}(\sqrt{ST})$。这些结果几乎匹配的最佳保证实现了一个低效的基线，这是一个经典的Exp4算法的变体。动态后悔的结果也是第一个有效的和完全对抗性的上下文强盗。此外，虽然上述结果需要调整参数的基础上的未知量$S$或$Δ$，我们还开发了一个参数的算法实现遗憾$\min\{S^{1/4}T^{3/4}, Δ^{1/5}T^{4/5}\}$。这改进并推广了Karnin和Anava（2016）的现有最佳结果$Δ^{0.18}T^{0.82}$，该结果仅适用于双臂强盗问题。
2019-04-03 cs.LG stat.ML
Optimal Regret Analysis of Thompson Sampling in Stochastic Multi-armed Bandit Problem with Multiple Plays
The University of Tokyo（东京大学）
我们讨论了一个多局多臂强盗（MAB）的问题，其中有几个武器被选中在每一轮。近年来，Thompson抽样（TS）算法因其在经验上的优异性能而受到广泛关注，并在标准单局MAB问题中被证明具有最优后悔界。在本文中，我们提出了多播放汤普森采样（MP-TS）算法，TS的多播放MAB问题的扩展，并讨论其遗憾分析。我们证明了二元奖励的MP-TS具有与Anantharam等人（1987）提供的后悔下限相匹配的最佳后悔上限。因此，MP-TS是第一个计算效率高的最佳遗憾算法。还进行了一组计算机模拟，比较MP-TS与最先进的算法。我们还提出了一个修改的MP-TS，这被证明有更好的经验性能。
2019-03-20 cs.LG stat.ML
Best Arm Identification in Linked Bandits
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们认为最好的武器识别的问题，在一个变种的多武装土匪称为链接土匪。在与关联的强盗的单次互动中，多个武器被顺序播放，直到其中一个获得正面奖励。由于每个交互提供关于多于一个臂的反馈，因此样本复杂度可以比常规Bandit设置低得多。我们提出了一个算法的链接土匪，结合一个新的子程序进行均匀采样与一个已知的最佳算法定期土匪。我们证明了几乎匹配的上限和下限的样本复杂性最好的手臂识别链接土匪。这些边界有一个有趣的结构，明确依赖于手臂的平均回报，而不仅仅是差距。我们还证实了我们的理论结果与实验。
2019-01-28 cs.LG stat.ML
Thompson Sampling For Combinatorial Bandits: Polynomial Regret and Mismatched Sampling Paradox
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）
该研究针对线性组合半老虎机问题，提出首个有限时间后悔不随维度指数增长的汤普森采样方法，并发现失配采样悖论，即正确后验采样表现可能远差于合适的高斯后验采样。
2024-10-07 cs.LG stat.ML
Solving Bernoulli Rank-One Bandits with Unimodal Thompson Sampling
ENS Paris-Saclay（巴黎萨克雷高等师范学院）；CNRS（法国国家科学研究中心）；Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；DeepMind（深度思维）；CentraleSupélec（中央理工-高等电力学院）
随机秩一Bandits（Katarya et al，（2017 a，b））是一个简单的框架，用于在秩一矩阵上的后悔最小化问题。最初提出的算法被证明有对数遗憾，但不符合现有的下限为这个问题。我们首先证明了一级强盗是单峰强盗的一个特殊例子，然后提供了一个新的单峰汤普森采样（UTS）分析，最初由Paladino等人（2017）提出。我们证明了一个渐近最优的遗憾界上的频率后悔的UTS和我们支持我们的主张与模拟显示我们的方法相比，国家的最先进的显着改善。
2019-12-06 cs.LG stat.ML
Non-Stationary Dueling Bandits
Paderborn University（帕德博恩大学）；University of Munich（慕尼黑大学）
研究了具有$K$武器的非平稳决斗土匪问题，其中时间范围$T$由$M$平稳段组成，每个平稳段都与自己的偏好矩阵相关联.学习者反复选择一对手臂，并观察它们之间的二元偏好作为反馈。为了最大限度地减少累积的遗憾，学习者需要尽可能多地选择每个固定段的孔多塞冠军，尽管偏好矩阵和段长度是未知的。我们提出了$\mathrm{Beat\, the\, Winner\, Reset}$算法，并证明了其期望的二元弱遗憾在平稳的情况下，这收紧了目前的最先进的算法的界。我们还显示了一个遗憾的约束的非平稳的情况下，不需要知识的$M$或$T$。我们进一步提出并分析了两个元算法，$\mathrm{DETECT}$弱遗憾和$\mathrm{Monitored\, Dueling\, Bandits}$强遗憾，都基于检测窗口的方法，可以将任何决斗强盗算法作为一个黑盒算法。最后，我们证明了在非平稳的情况下，期望弱后悔的最坏情况下的下限。
2022-02-02 cs.LG stat.ML
A New Look at Dynamic Regret for Non-Stationary Stochastic Bandits
DeepMind（深度思维）
研究了非平稳随机多臂强盗问题，其中在学习过程中，每个臂的奖励统计量可能会发生多次变化。一个学习算法的性能进行评估，在他们的动态后悔，这是定义为代理选择最佳的手臂在每个时间步的预期累积奖励和学习算法的累积奖励之间的差异。衡量这种环境的难度的一种方法是考虑最佳手臂的身份可以改变多少次。我们提出了一种方法，实现，在$K$武装土匪问题，一个接近最佳的$\widetilde O(\sqrt{K N(S+1)})$动态遗憾，其中$N$是问题的时间范围和$S$是最佳的手臂变化的身份的次数，没有$S$的先验知识。以前的工作，这个问题得到的遗憾的界限，规模的变化（或变化量）的奖励功能，这可能会大得多，或假设先验知识的$S$，以实现类似的界限。
2022-03-08 cs.LG stat.ML
Minimax Policy for Heavy-tailed Bandits
Michigan State University（密歇根州立大学）
研究了最坏后悔和重尾报酬分布下的随机多臂强盗（MAB）问题。我们修改了minimax策略MOSS的亚高斯奖励分布，通过使用饱和的经验均值设计一个新的算法称为鲁棒MOSS。我们表明，如果存在的时刻的顺序$1+ε$的奖励分布，然后改进的策略有一个最坏情况下的遗憾匹配的下限，同时保持分布依赖的对数遗憾。
2020-11-18 cs.LG stat.ML
Unimodal Bandits: Regret Lower Bounds and Optimal Algorithms
KTH, Royal Institute of Technology（瑞典皇家理工学院）
我们考虑随机多武装土匪的期望奖励是一个单峰函数偏序武器。这类重要的问题最近已经研究（Cope 2009，Yu 2011）。臂的集合是离散的，在这种情况下，臂对应于有限图的顶点，该有限图的结构表示奖励的相似性，或者是连续的，在这种情况下，臂属于有界区间。对于离散单峰土匪，我们推导出渐近下限的遗憾下实现任何算法，并提出Ostrial，一个算法的遗憾匹配这个下限。我们的算法最佳地利用了单峰结构的问题，令人惊讶的是，它的渐近遗憾不依赖于武器的数量。我们还提供了一个遗憾的上限Occupy在非平稳的环境中，预期的回报随着时间的推移顺利演变。数值实验结果表明，分析结果的支持，OSTO执行显着优于国家的最先进的算法。对于连续组的武器，我们提供了一个简短的讨论。我们表明，结合适当的离散化的一组武器与UCB算法产生一个订单最优的遗憾，并在实践中，优于最近提出的算法，旨在利用单峰结构。
2014-05-20 cs.LG stat.ML
Instrument-Armed Bandits
Cornell University（康奈尔大学）
我们扩展了经典的多臂强盗（MAB）模型的设置不遵守，其中的手臂拉是一个纯粹的工具和应用的治疗可能会有所不同，这就产生了仪器武装强盗（IAB）的问题。只要实验单位是人，IAB设置就相关，因为自由意志、伦理和法律可能禁止无限制或强制应用治疗。特别是，该设置是相关的动态临床试验和其他对照试验对人类干预的土匪模型。尽管如此，在强盗文学中并没有充分研究过这种背景。我们发现，有各种各样的和不同的概念，遗憾在这种情况下，所有这些都只在经典的MAB设置相吻合。我们描述这些遗憾的行为，并分析标准的MAB算法。我们认为，一种特殊的遗憾，捕获的因果关系的治疗效果，但标准的MAB算法不能实现次线性控制这种遗憾。相反，我们开发了新的算法IAB问题，证明了新的遗憾的界限，并将它们与标准的MAB算法的数值例子。
2017-05-21 cs.LG stat.ML
Model Selection in Contextual Stochastic Bandit Problems
University of California Berkeley（加州大学伯克利分校）；University of Massachusetts（马萨诸塞大学）；DeepMind（深度思维）；Adobe（奥多比）；Google Research（谷歌研究院）；University of Alberta（阿尔伯塔大学）
研究随机环境中的强盗模型选择问题。我们的方法依赖于一个元算法，候选人之间的基础算法进行选择。我们开发了一个基于元算法的算法抽象，可以与一般类的基本算法和不同类型的对抗元算法。我们的方法依赖于一个新的和通用的平滑变换的强盗算法，使我们能够获得最佳的$O(\sqrt{T})$模型选择保证随机上下文的强盗问题，只要最佳的基础算法满足高概率的遗憾保证。我们通过一个下界表明，即使当一个基本算法有$O(\log T)$遗憾，在一般情况下，它是不可能得到更好的模型选择比$Ω(\sqrt{T})$遗憾，甚至渐近。使用我们的技术，我们解决模型选择在各种问题，如错误指定的线性上下文土匪，线性土匪与未知的维度和强化学习与未知的特征映射。我们的算法需要最佳基遗憾的知识来调整元算法的学习率。我们表明，没有这样的先验知识，任何元算法可以遭受的遗憾大于最佳的基础遗憾。
2022-12-04 cs.LG stat.ML
Bias no more: high-probability data-dependent regret bounds for adversarial bandits and MDPs
University of Southern California（南加利福尼亚大学）
我们开发了一种新的方法来获得高概率后悔界的在线学习与强盗反馈对自适应对手。虽然现有的方法都需要仔细构建乐观和有偏的损失估计，我们的方法使用标准的无偏估计，并依赖于一个简单的增加学习率调度的时间表，连同帮助下，数学上同质的自我和谐的障碍和加强弗里德曼的不等式。除了它的简单性，我们的方法享有几个优点。首先，获得的高概率后悔界限是数据依赖的，可能比最坏情况下的界限小得多，这解决了Neu（2015）提出的一个开放问题。其次，解决Bartlett et al.（2008）和Abernethy and Rakhlin（2009）的另一个开放问题，我们的方法导致了第一个通用且有效的算法，具有对抗性线性强盗的高概率后悔界，而以前的方法要么效率低下，要么只适用于特定的动作集。最后，我们的方法也可以应用于学习对抗马尔可夫决策过程，并为这个问题提供了第一个具有高概率小损失界的算法。
2020-10-29 cs.LG stat.ML
Optimal Regret for Single Index Bandits
Department of Computer Science and Engineering, Indian Institute of Technology Bombay（印度理工学院孟买分校计算机科学与工程系）
本文研究单索引老虎机问题，提出ZoomSIB-UCB算法，通过估计投影方向和离散化实现一维老虎机，达到O(T^{2/3})的最优后悔，同时证明下界验证了该结果的最优性。
2026-08-04 cs.LG stat.ML
Correlated Multi-armed Bandits with a Latent Random Source
Carnegie Mellon University（卡内基梅隆大学）
我们考虑了一个新的多臂强盗框架，其中通过拉动手臂获得的奖励是一个共同的潜在随机变量的函数。由于共同随机源而导致的手臂之间的相关性可用于设计广义置信上限（UCB）算法，该算法将某些手臂识别为$non-competitive$，并避免探索它们。因此，我们将一个$K$ -武装的强盗问题转化为一个$C+1$ -武装的问题，其中$C+1$包括最好的武装和$C$ $competitive$武装.我们的遗憾分析表明，竞争性武器需要拉动$\mathcal{O}(\log T)$次，而非竞争性武器只需要拉动$\mathcal{O}(1)$次。因此，有制度，我们的算法实现了$\mathcal{O}(1)$遗憾，而不是典型的对数遗憾缩放的多臂强盗算法。我们还评估了预期遗憾的下限，并证明我们的相关UCB算法实现$\mathcal{O}(1)$遗憾只要可能。
2019-01-29 cs.LG stat.ML
Achieving Optimal Static and Dynamic Regret Simultaneously in Bandits with Deterministic Losses
The University of Hong Kong（香港大学）；University of Virginia（弗吉尼亚大学）
本文提出在确定性损失下，针对 oblivious 对手同时实现最优静态和动态遗憾的算法，并揭示适应性与 oblivious 对手在多基准下的根本差异。
2026-02-17 cs.LG stat.ML
Individual Regret in Cooperative Nonstochastic Multi-Armed Bandits
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究了代理人通过交换消息在底层网络上进行通信，以优化他们在一个共同的非随机多臂强盗问题中的个人遗憾。我们得出遗憾最小化算法，保证每个代理$v$个人预期的遗憾$\widetilde{O}\left(\sqrt{\left(1+\frac{K}{\left|\mathcal{N}\left(v\right)\right|}\right)T}\right)$，其中$T$是时间步长的数量，$K$是行动的数量和$\mathcal{N}\left(v\right)$是一组邻居的代理$v$在通信图。我们提出的算法的情况下，通信图是已知的所有代理，和图是未知的情况下。当图是未知的，每个代理只知道它的邻居的集合和代理的总数的上限。模型之间的个体遗憾仅通过对数因子而不同。我们的工作解决了来自[Cesa-Bianchi et al.，2019年b]。
2019-11-16 cs.LG stat.ML
Regret Lower Bounds in Multi-agent Multi-armed Bandit
Northwestern University（西北大学）
本文研究多智能体多臂老虎机的遗憾下界，分别在随机与对抗奖励、连通与非连通图设置下建立紧致下界，并弥合对抗情形中既有上下界的差距。
2023-08-15 cs.LG stat.ML
Regret Analysis of Bandit Problems with Causal Background Knowledge
University of Michigan（密歇根大学）；Adobe Inc.（奥多比公司）
我们研究如何学习最佳的干预措施，顺序给定的因果信息表示为因果图以及相关的条件分布。因果建模在现实世界的问题中很有用，比如在线广告，其中复杂的因果机制是干预和结果之间关系的基础。我们提出了两个算法，因果置信上限（C-UCB）和因果汤普森采样（C-TS），享受改善的累积遗憾界相比，不使用因果信息的算法。因此，我们解决了一个开放的问题所提出的\cite{lattimore2016causal}。此外，我们扩展C-UCB和C-TS的线性强盗设置，并提出因果线性UCB（CL-UCB）和因果线性TS（CL-TS）算法。这些算法享有的累积遗憾界，只有规模的特征尺寸。我们的实验显示了使用因果信息的好处。例如，我们观察到，即使有几百次迭代，因果算法的遗憾是标准算法的三分之一。我们还表明，在某些因果结构下，我们的算法比标准的强盗算法的规模更好的干预措施的数量增加。
2020-06-10 cs.LG stat.ML
Upper Confidence Bounds for Combining Stochastic Bandits
Boston University（波士顿大学）；Google Research（谷歌研究院）
我们提供了一个简单的方法来结合随机强盗算法。我们的方法是基于一个“元UCB”的程序，对待每一个$N$个人土匪算法的武器在一个更高级别的$N$武装土匪问题，我们解决了一个变种的经典UCB算法。我们最后的遗憾只取决于后悔的基础算法与最好的遗憾在事后。这种方法提供了一个简单和直观的替代策略的CORRAL算法对抗土匪，而不需要的稳定性条件CORRAL上的基础算法。我们的研究结果在几个设置匹配的下限，我们提供了经验验证我们的算法错误指定的线性强盗和模型选择问题。
2020-12-24 cs.LG stat.ML
Lenient Regret for Multi-Armed Bandits
Technion – Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）
我们考虑多臂强盗（MAB）问题，其中代理顺序选择行动并观察其所采取的行动的奖励。虽然大多数算法试图最小化遗憾，即，最佳行动的报酬与代理人的行动之间的累积差异，这个标准可能会导致不希望的结果。例如，在大型问题中，或者当与环境的交互很短时，找到最佳手臂是不可行的，并且遗憾最小化算法倾向于过度探索。为了克服这个问题，这种设置的算法应该专注于发挥接近最佳的武器。为此，我们提出了一个新的，更宽松的，遗憾的标准，忽略次优差距小于一些$ε$。然后，我们提出了一个变种的汤普森采样（TS）算法，称为$ε$ -TS，并证明其渐近最优的宽容遗憾。重要的是，我们表明，当最佳臂的平均值是足够高的，宽大的遗憾$ε$ -TS是有界的常数。最后，我们表明，$ε$ -TS可以应用到提高性能时，代理知道的次优差距的下限。
2021-09-12 cs.LG stat.ML
On Adaptivity in Non-stationary Stochastic Optimization With Bandit Feedback
Naveen Jindal School of Management, University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）
本文研究了带反馈和动态后悔测度的非平稳随机最优化问题。Besbes et al.（2015）的开创性工作表明，当聚合函数变化先验已知时，一个简单的重新启动算法可以获得最佳动态遗憾。在这项工作中，我们设计了一个固定步长的随机最优化算法，该算法结合Wei和Luo（2021）的多尺度采样框架，在不需要函数变化预算的先验知识的情况下实现了非平稳随机最优化中的最优动态遗憾，从而关闭了一段时间以来一直悬而未决的问题。我们还建立了一个额外的结果表明，任何算法实现良好的遗憾对固定基准具有高概率可以自动转换为算法，实现良好的遗憾对动态基准，这是适用于广泛的一类强盗凸优化算法。
2022-10-11 cs.LG stat.ML
