Regret Bounds for Thompson Sampling in Episodic Restless Bandit Problems
University of Michigan（密歇根大学）
不安分土匪问题是非静止多武装土匪的实例。这些问题已经从优化的角度进行了很好的研究，其目标是在系统参数已知的情况下有效地找到一个接近最优的策略。然而，很少有论文采用学习的角度来看，参数是未知的。在本文中，我们分析了汤普森采样的性能在情节不安土匪未知参数。我们考虑一个一般的政策地图来定义我们的竞争对手，并证明了一个$\tilde{\mathcal{O}}(\sqrt{T})$贝叶斯遗憾界。我们的竞争对手足够灵活，可以代表各种基准，包括最佳固定动作策略，最优策略，Whittle指数策略或近视策略。我们还提出了支持我们的理论研究结果的实证结果。
2019-10-26 cs.LG stat.ML
Improved Path-length Regret Bounds for Bandits
Microsoft Research（微软研究院）；Stanford University（斯坦福大学）；University of Southern California（南加州大学）
我们研究自适应遗憾界的变化的损失（所谓的路径长度界）的多臂土匪和更一般的线性土匪。我们首先证明了（Wei和Luo，2018）的看似次优的路径长度界实际上对于自适应对手是不可改进的。尽管有这个负面的结果，我们还是开发了两个新的算法，一个是严格改进的（Wei和Luo，2018），具有较小的路径长度测量，另一个是改进的（Wei和Luo，2018），当路径长度很大时，对于不经意的对手。我们的算法基于研究充分的乐观镜像下降框架，但重要的是具有几种新颖的技术，包括新的乐观预测，对最近选择的臂的轻微偏差，以及使用类似于（Bubeck等人，2018年）。此外，我们扩展我们的结果，线性强盗显示减少获得动态遗憾的全信息问题，其次是进一步减少凸体追逐。我们提出了一个简单的贪婪追逐算法的平方2-范数，导致新的动态遗憾的结果，并作为一般的线性土匪的第一路长遗憾。
2019-06-18 cs.LG stat.ML
No-regret learning for repeated non-cooperative games with lossy bandits
Tongji University（同济大学）；Shanghai Research Institute for Intelligent Autonomous Systems（上海智能自主系统研究院）
本文研究了带损失反馈的重复连续核博弈的无悔学习问题。由于动态环境下效用函数的显式模型难以给出，只能通过强盗反馈来学习参与者的行为。此外，由于不可靠的通信信道或隐私保护，强盗反馈可能丢失或随机丢弃。因此，我们研究了局中人的异步在线学习策略，以自适应地调整下一个行动，使长期后悔损失最小化。本文提出了一种新的无遗憾学习算法，称为在线梯度下降与有损强盗（OGD-lb）。我们首先给出了具有可微和Lipschitz效用的凹对策的后悔分析。然后，我们表明，行动配置文件收敛到纳什均衡的概率为1时，游戏也是严格单调的。当博弈是$β-$强单调时，我们进一步给出了均方收敛速度$\mathcal{O}\left(k^{-2\min\{β, 1/6\}}\right)$.此外，我们还将算法推广到了强盗反馈损失概率未知的情形，并证明了其几乎必然收敛于严格单调对策的纳什均衡。最后，以雾计算中的资源管理为应用实例，通过数值实验对算法性能进行了实证分析。
2022-05-14 cs.LG math.OC
Complete Policy Regret Bounds for Tallying Bandits
Carnegie Mellon University（卡内基梅隆大学）
策略后悔是衡量在线学习算法对自适应对手的性能的一个很好的概念。我们研究了对对手的限制，这些限制可以有效地最小化\emph{complete policy regret}，这是政策遗憾的最强可能版本。我们确定了一个差距，在目前的理论理解，什么样的限制允许在这个具有挑战性的设置的易处理性。为了解决这个差距，我们考虑一个推广的随机多臂强盗，我们称之为\emph{tallying bandit}。这是一个在线学习设置，具有$m$ -内存限制对手，其中播放动作的平均损失是最后一个$m$时间步中播放该动作的次数（或计数）的未知函数。为了计算具有$K$动作和时间范围$T$的强盗问题，我们提供了一个算法，w.h.p实现了$\tilde{\mathcal{O}}(mK\sqrt{T})$的完全策略后悔保证，其中$\tilde{\mathcal{O}}$符号仅隐藏对数因子。此外，我们证明了$\tildeΩ(\sqrt{m K T})$下界的任何清点强盗算法的预期完整的政策遗憾，证明了我们的方法的近最优性。
2022-04-24 cs.AI cs.LG stat.ML
Information-Theoretic Regret Bounds for Bandits with Fixed Expert Advice
Università degli Studi di Milano（米兰大学）；Politecnico di Milano（米兰理工大学）
我们调查的问题与专家的意见，专家是固定的和已知的分布在行动的土匪。改进以前的分析，我们表明，在这种情况下的遗憾是由信息理论的数量，衡量专家之间的相似性。在某些自然的特殊情况下，这允许我们获得EXP4的第一个遗憾界，如果专家足够相似，它可以任意接近于零。而对于一个不同的算法，我们提供了另一个界限，描述专家之间的KL分歧的相似性，我们表明，这个界限可以在某些情况下小于EXP4。此外，我们为某些类别的专家提供了下限，表明我们分析的算法在某些情况下几乎是最优的。
2023-03-15 cs.LG stat.ML
Regret Bounds for Deterministic Gaussian Process Bandits
University of British Columbia（不列颠哥伦比亚大学）；Yahoo! Research（雅虎研究院）
本文分析了具有确定性观测值的高斯过程（GP）强盗问题。该分析使用与（Srinivas等人，2010年）。对于具有高斯观测噪声的GP，方差严格大于零（Srinivas等人，2010）证明了遗憾以$O(\frac{1}{\sqrt{t}})$的近似速率消失，其中t是观察的数量。为了补充他们的结果，我们攻击确定性的情况下，并获得更快的指数收敛速度。在一定的正则性假设下，我们证明了遗憾以高概率按照$O(e^{-\frac{τt}{(\ln t)^{d/4}}})$渐近减少。这里，d是搜索空间的维数，而$τ$是一个常数，它取决于目标函数在其全局最大值附近的行为。
2012-03-09 cs.LG stat.ML
Improved Regret Bounds of (Multinomial) Logistic Bandits via Regret-to-Confidence-Set Conversion
Kim Jaechul Graduate School of AI, KAIST（韩国科学技术院金在哲人工智能研究生院）；University of Arizona（亚利桑那大学）
针对逻辑回归老虎机中忽略参数范数依赖的问题，提出R2CS方法构造凸置信集，改进遗憾界对S的依赖，并扩展至多项逻辑回归，保持计算可行性。
2024-03-13 cs.LG stat.ML
First-order regret bounds for combinatorial semi-bandits
INRIA Lille – Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
我们考虑在线组合优化问题下的半强盗反馈，学习者必须反复挑选行动从组合决策集，以尽量减少与其决策相关的总损失。在做出每个决定之后，学习者观察到与其行为相关的损失，而不是其他损失。对于这个问题，有几个学习算法，保证学习者的预期后悔随着回合数$T$而增长为$\widetilde{O}(\sqrt{T})$。在本文中，我们提出了一种算法，改进了这种缩放到$\widetilde{O}(\sqrt{L_T^*})$，其中$L_T^*$是最佳行动的总损失。我们的算法是第一个实现这样的保证，在部分反馈方案，第一个这样做的组合设置。
2015-06-10 cs.LG stat.ML
Near-optimal Per-Action Regret Bounds for Sleeping Bandits
University of Victoria（维多利亚大学）
针对每轮可用臂及损失由对手决定的sleeping bandits问题，通过广义EXP3、EXP3-IX和带Tsallis熵的FTRL直接最小化逐动作遗憾，推导出近最优遗憾界，并扩展至带sleeping experts建议的设定及置信度报告场景。
2024-05-30 cs.LG stat.ML
Regret Bounds for Restless Markov Bandits
Montanuniversitaet Leoben（莱奥本矿业大学）；INRIA Lille-Nord Europe（法国国家信息与自动化研究所里尔-北欧分部）
我们认为不安分的马尔可夫土匪问题，其中每个手臂的状态根据独立于学习者的行动马尔可夫过程的演变。我们建议一个算法，$T$步骤后实现$\tilde{O}(\sqrt{T})$遗憾的最佳政策，知道所有武器的分布。没有假设马尔可夫链，除了他们是不可约的。此外，我们表明，指数为基础的政策，所考虑的问题是次优的。
2012-09-12 cs.LG math.OC stat.ML
Improved Regret Bounds for Projection-free Bandit Convex Optimization
Technion - Israel Institute of Technology（以色列理工学院）
我们重新审视的挑战，设计在线算法的强盗凸优化问题（BCO），这也是可扩展的高维问题。因此，我们考虑算法是\textit{projection-free}，即，基于条件梯度方法，其对可行决策集的唯一访问是通过线性优化预言（与需要潜在地计算昂贵得多的子过程的其他方法相反，诸如计算欧几里德投影）。我们提出了第一个这样的算法，达到$O(T^{3/4})$预期的遗憾只使用$O(T)$整体调用的线性优化预言，在预期中，其中$T$是预测轮数。这比\cite{Karbasi19}最近获得的$O(T^{4/5})$预期后悔界限有所改进，实际上与\textit{full information}设置中无投影在线学习的当前最佳后悔界限相匹配。
2019-10-08 cs.LG math.OC stat.ML
No Regret Bound for Extreme Bandits
UC Berkeley（加州大学伯克利分校）；Facebook AI Research（脸书人工智能研究院）
超参数优化的算法比比皆是，所有这些算法都在不同且通常无法验证的假设下工作得很好。出于顺序选择使用哪种算法的一般挑战，我们研究了更具体的任务，选择分布用于随机超参数优化。这项工作自然是在极端强盗设置中进行的，它处理从集合中顺序选择哪个分布进行采样，以最小化（最大化）单个最佳成本（奖励）。虽然在标准的强盗设置中的分布主要是由它们的平均值来表征的，但是当我们关心最小成本而不是平均成本时，就会出现许多微妙之处。例如，可能不存在像标准强盗设置中那样定义良好的“最佳”分布。最佳分配取决于已经获得的奖励和剩余的时间范围。而在标准的强盗设置，这是明智的比较政策与预言发挥最好的一只手臂，在极端的强盗设置，有多个明智的预言模型。我们在极端强盗情境中定义了一个合理的“极端后悔”概念，它与标准强盗情境中的后悔概念相似。然后，我们证明，没有政策可以渐近地实现没有极端的遗憾。
2016-04-11 cs.LG math.OC math.ST
Second Order Regret Bounds Against Generalized Expert Sequences under Partial Bandit Feedback
研究了部分反馈下的专家建议问题，提出了一个序贯极小极大优化算法。我们的算法与一个更一般的部分监控设置，在那里，与经典的强盗反馈，损失可以显示在一个对抗的方式。我们的算法采用了一个普遍的预测的角度，其性能进行了分析，对一般的专家选择序列的遗憾。遗憾的是，我们研究的是对一个一般的竞争类，涵盖了许多设置（如开关或上下文专家设置）和专家选择序列的竞争类是由手头的应用程序。我们的遗憾界是二阶界的平方损失和我们的算法的正规化遗憾的损失序列的任意仿射变换下不变。我们的算法是真正的在线，不使用任何有关损失序列的初步信息。
2022-04-13 cs.IT cs.LG eess.SP
Collaborative Linear Bandits with Adversarial Agents: Near-Optimal Regret Bounds
University of Pennsylvania（宾夕法尼亚大学）
我们考虑一个线性随机强盗问题，涉及$M$代理，可以通过一个中央服务器合作，以尽量减少遗憾。这些代理人中的一小部分$α$是敌对的，可以任意行事，导致以下紧张局势：虽然合作可以潜在地减少遗憾，但它也可以破坏学习过程。在这项工作中，我们提供了一个基本的理解，这种紧张局势，通过精心构建的强大的置信区间，通过设计新的算法，平衡的勘探开发权衡。我们还补充我们的算法与严密的分析。首先，我们开发了一个强大的协作阶段消除算法，实现$\tilde{O}\left(α+ 1/\sqrt{M}\right) \sqrt{dT}$后悔每个好的代理，在这里，$d$是模型维和$T$是地平线。对于小的$α$，我们的结果因此揭示了一个明确的好处，尽管对手的合作。使用信息理论的参数，然后，我们证明了一个匹配的下限，从而提供了第一套紧密的，接近最优的遗憾界限合作线性土匪与对手。此外，通过利用高维鲁棒统计的最新进展，我们将我们的算法思想和结果显著扩展到（i）允许非线性观察图的广义线性Bandit模型;以及（ii）允许时变特征向量的上下文Bandit设置。
2022-06-06 cs.LG cs.MA cs.SY
An algorithm with nearly optimal pseudo-regret for both stochastic and adversarial bandits
Montanuniversitaet Leoben（莱奥本矿业大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了一个算法，实现几乎最佳的伪遗憾界对抗性和随机土匪。对抗性强盗的伪遗憾是$O(K\sqrt{n \log n})$，对抗随机强盗的伪遗憾是$O(\sum_i (\log n)/Δ_i)$。我们还表明，没有算法与$O(\log n)$伪遗憾对随机土匪可以实现$\tilde{O}(\sqrt{n})$预期的遗憾对自适应对抗土匪。这补充了Bubeck和Slivkins（2012）之前的结果，该结果显示$\tilde{O}(\sqrt{n})$预期对抗性遗憾与$O((\log n)^2)$随机伪遗憾。
2016-05-27 cs.LG
Communication-Efficient Collaborative Regret Minimization in Multi-Armed Bandits
Indiana University（印第安纳大学）
本文研究多智能体多臂老虎机中并行性与通信开销的权衡，首次提出通信轮数与协作学习遗憾之间的权衡关系。
2023-12-21 cs.LG
On the Minimax Regret for Linear Bandits in a wide variety of Action Spaces
Indian Institute of Science（印度科学学院）
正如在\cite{lattimore2020bandit}的著作中所指出的，已经提到，在各种各样的行动空间中刻画线性强盗的极大极小后悔是一个开放的问题。在这篇文章中，我们提出了一个最佳遗憾下界一类凸行动空间。
2023-01-09 cs.LG
One Arrow, Two Kills: An Unified Framework for Achieving Optimal Regret Guarantees in Sleeping Bandits
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；IBM Research（IBM研究院）；University of Pennsylvania（宾夕法尼亚大学）
我们解决问题的\emph{`Internal Regret'}在\emph{Sleeping Bandits}在完全对抗的设置，以及绘制不同的现有概念之间的连接睡眠的遗憾在多臂匪徒（MAB）的文献，因此分析的影响：我们的第一个贡献是提出了新的概念\emph{Internal Regret}睡眠MAB。然后，我们提出了一个算法，产生次线性遗憾的措施，即使是一个完全敌对的序列的损失和可用性。我们进一步证明，低睡眠内部遗憾总是意味着低外部遗憾，以及低政策遗憾的iid序列的损失。这部作品的主要贡献在于统一了《睡匪》中存在的遗憾的不同概念，并理解了它们之间的含义。最后，我们还将我们的结果扩展到设置\emph{Dueling Bandits}（DB）-一个偏好反馈的MAB的变种，并提出了减少MAB的想法，设计一个低遗憾算法的睡眠决斗土匪随机偏好和对抗的可用性。我们的算法的有效性是合理的，通过实证评估。
2022-10-26 cs.LG
Dueling Bandits With Weak Regret
Cornell University（康奈尔大学）
我们考虑在线内容推荐与隐式反馈，通过成对比较，形式化为所谓的决斗强盗问题。我们研究决斗强盗问题的孔多塞赢家设置，并考虑两个概念的遗憾：更好地研究强遗憾，这是0只有当两个手臂拉是孔多塞赢家;和研究较少的弱遗憾，这是0，如果任何一个手臂拉是孔多塞赢家。我们提出了一个新的算法，赢家留（WS），每种遗憾的变化：WS弱遗憾（WS-W）预计累积弱遗憾是$O(N^2)$，$O(N\log(N))$，如果武器有一个总的顺序; WS强遗憾（WS-S）预计累积强遗憾$O(N^2 + N \log(T))$，和$O(N\log(N)+N\log(T))$，如果武器有一个总的顺序。WS-W是第一个具有弱遗憾的决斗强盗算法，该算法在时间上是恒定的。WS是简单的计算，即使是许多武器的问题，我们通过模拟和真实数据的数值实验表明，WS有显着较小的遗憾比现有的算法在弱和强遗憾设置。
2017-06-14 cs.LG
Bounded Regret for Finite-Armed Structured Bandits
University of Alberta（阿尔伯塔大学）；INRIA（法国国家信息与自动化研究所）
研究了一类新的K-臂强盗问题，其中一个臂的期望收益可能依赖于其他臂的收益。我们提出了一个新的算法，这一般类问题，并表明，在某些情况下，它是可能实现有限的预期累积遗憾。我们还给出了问题相关的累积遗憾的下界，表明至少在特殊情况下，新算法是接近最优的。
2014-11-11 cs.LG
Bandit Convex Optimisation Revisited: FTRL Achieves $\tilde{O}(t^{1/2})$ Regret
本文提出将基于多次函数评估的核估计器转化为期望等价的采样型bandit估计器，并接入标准FTRL算法，从而在对抗性时变凸损失函数下实现了$\ ilde{O}(t^{1/2})$的遗憾界。
2023-06-24 cs.LG
The Pareto Regret Frontier for Bandits
University of Alberta（阿尔伯塔大学）
给定一个多臂强盗问题，对于某些特殊行为，最坏情况下的后悔可能比通常情况下要小。我表明，这种不平衡的最坏情况下的后悔保证的价格是相当高的。具体地说，如果一个算法对于某个动作的最坏情况遗憾值为B，那么一定存在另一个动作，它的最坏情况遗憾值至少为Ω（nK/B），其中n是视界，K是动作的个数。我还给出了随机和对抗设置的上界，表明这个结果不能得到改善。对于随机的情况下，帕累托后悔边界的特点是完全恒定的因素。
2015-10-30 cs.LG
Make the Minority Great Again: First-Order Regret Bound for Contextual Bandits
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
在线学习中的后悔界限将玩家的表现与$L^*$进行比较，后者是具有固定策略的事后最佳表现。通常，这种界限与时间范围$T$的平方根成比例。更精确的一阶后悔界限的概念用缩放的$\sqrt{L^*}$代替了它，它可能比$\sqrt{T}$小得多。众所周知，标准算法的小变量在完全信息和多臂强盗设置下满足一阶后悔界。在COLT 2017年的一个公开问题中，Agarwal，Krishnamurthy，Langford，Luo和Schapire提出了一个问题，即现有技术似乎不足以获得上下文强盗问题的一阶后悔界限。在本文中，我们解决了这个开放的问题，提出了一个新的战略的基础上扩大政策空间。
2018-02-09 cs.LG
Scalable Representation Learning in Linear Contextual Bandits with Constant Regret Guarantees
META；Universitat Pompeu Fabra（庞培法布拉大学）
研究了随机上下文线性bandits中的表示学习问题。虽然该领域的主要关注点通常是找到可实现的表示（即，允许精确地预测任何上下文-动作对处的奖励函数的那些），最近已经表明具有某些谱特性（称为HLS）的表示对于探索-利用任务可能更有效，使得LinUCB能够实现恒定（即，地平线独立）遗憾。在本文中，我们提出了BanditSRL，一个表示学习算法，它结合了一个新的约束优化问题，学习一个可实现的表示具有良好的频谱特性与广义似然比测试，利用恢复的表示，避免过度的探索。我们证明了BanditSRL可以与任何无遗憾算法配对，并在HLS表示可用时实现恒定的遗憾。此外，BanditSRL可以很容易地与深度神经网络相结合，我们展示了如何正则化HLS表示在标准基准测试中是有益的。
2022-10-24 cs.LG
Lipschitz Bandits: Regret Lower Bounds and Optimal Algorithms
KTH, The Royal Institute of Technology（瑞典皇家理工学院）；Supelec（高等电力学院）；INRIA（法国国家信息与自动化研究所）
我们考虑随机多臂强盗问题的期望回报是一个Lipschitz函数的手臂，和一组武器是离散或连续的。对于离散Lipschitz土匪，我们推导出渐近问题的具体下界满足任何算法的遗憾，并提出OSLB和CKL-UCB，两个算法，有效地利用Lipschitz结构的问题。事实上，我们证明了OSLB是渐近最优的，因为它的渐近遗憾匹配的下限。我们的算法的后悔分析依赖于一个新的浓度不等式的KL分歧的经验分布和他们的真实分布之间的加权和奖励。对于连续Lipschitz土匪，我们建议首先离散的行动空间，然后应用OSLB或CKL-UCB，算法，可证明有效地利用结构。这种方法，通过数值实验，显着优于现有的算法，直接处理的连续组的武器。最后将结果和算法推广到具有相似性的上下文强盗。
2014-05-19 cs.LG
No Regrets for Learning the Prior in Bandits
Google（谷歌）；Google Research（谷歌研究院）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
我们提出了${\tt AdaTS}$，汤普森采样算法，适应顺序的强盗任务，它与互动。${\tt AdaTS}$的核心思想是通过保持任务参数的分布来适应未知的任务先验分布。在解决一个强盗任务时，这种不确定性被边缘化并得到适当的解释。${\tt AdaTS}$是一个完全贝叶斯算法，可以有效地实现在几类强盗问题。我们推导出其贝叶斯遗憾的上限，量化的损失，由于不知道的任务之前，并表明它是小的。我们的理论得到了实验的支持，其中${\tt AdaTS}$优于以前的算法，即使在具有挑战性的现实问题中也能很好地工作。
2022-02-25 cs.LG
Regret Analysis for Hierarchical Experts Bandit Problem
Tsinghua University（清华大学）
研究了标准强盗问题的一个推广，其中专家层为R层.多层次的专家一层一层地进行选择，只有最后一层的专家才能玩武器。学习策略的目标是最大限度地减少总的遗憾，在这个层次的专家设置。我们首先分析的情况下，总后悔增长的层数。然后重点研究了所有专家均采用上置信限策略的情形，给出了不同情形下的几个次线性上界。最后，我们设计了一些实验来帮助对一般层次UCB结构的后悔分析，并展示了我们的理论结果的实际意义。这篇文章给出了许多关于合理层次决策结构的见解。
2022-08-11 cs.LG
Optimal Regret for Policy Optimization in Contextual Bandits
School of Computer Science and AI, Tel-Aviv University, Tel-Aviv, Israel（计算机科学与人工智能学院，特拉维夫大学，特拉维夫，以色列）；Google Research, Tel-Aviv, Israel（谷歌研究，特拉维夫，以色列）
本文提出了一种高效算法，实现了上下文老虎机问题中策略优化的最优后悔界。
2026-02-14 cs.LG
Improved Algorithms for Nash Welfare in Linear Bandits
Indian Institute of Technology Kharagpur（印度理工学院克哈格普尔学院）；Indian Institute of Technology Kanpur（印度理工学院坎普尔学院）
针对线性赌博机中纳什遗憾的次优性，提出新分析工具实现阶最优界，并引入p-均值遗憾统一框架，设计元算法FairLinBandit，在真实数据集上优于现有方法。
2026-06-23 cs.LG
Misspecified Linear Bandits
University of California, Berkeley（加州大学伯克利分校）；Indian Institute of Science（印度科学院）
研究了误定线性随机多臂强盗问题的在线学习问题。最先进的线性强盗算法的后悔保证，如面对不确定性的乐观线性强盗（OFUL），在假设武器预期奖励在其特征上是完全线性的情况下成立。然而，感兴趣的是调查潜在的误指定的影响，在线性强盗模型中，预期的回报被扰动远离由武器功能确定的线性子空间。虽然OFUL最近已被证明是鲁棒的相对较小的偏离线性，我们表明，任何线性强盗算法，享有最佳的遗憾性能在完美的线性设置（例如，OFUL）在线性模型的稀疏加性扰动下必须遭受线性后悔。为了克服这个负面的结果，我们定义了一个自然类的土匪模型，其特征在于从线性的非稀疏偏差。我们认为，OFUL算法可能无法实现次线性的遗憾，即使在模型，有非稀疏deviation.We最后开发了一种新的土匪算法，包括一个假设检验线性其次是决定使用OFUL或上置信限（UCB）算法。对于完全线性的bandit模型，该算法可证明具有OFUL良好的后悔性能，而对于满足非稀疏偏差性质的错误指定模型，该算法避免了线性后悔现象，回归到UCB的次线性后悔尺度.数值实验合成数据，并从公共雅虎推荐数据！学习排序挑战数据集，经验支持我们的发现。
2017-04-23 cs.LG
Adaptive Regret for Bandits Made Possible: Two Queries Suffice
Princeton University（普林斯顿大学）；Google DeepMind（谷歌DeepMind）；UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
本文针对快速变化环境下的在线优化问题，提出每轮仅需两次查询的强自适应老虎机学习器StABL，实现紧的自适应遗憾界，并扩展至老虎机凸优化及实验验证。
2024-01-17 cs.LG
Breaking the Moments Condition Barrier: No-Regret Algorithm for Bandits with Super Heavy-Tailed Payoffs
Peking University（北京大学）；Pazhou Lab（琶洲实验室）；University of California, Los Angles（加利福尼亚大学洛杉矶分校）
尽管在处理机器学习中的重尾错误方面做了大量的努力，但很少有人知道错误的时刻何时变得不存在：随机噪声$η$对于某些$α> 0$满足Pr $\left[|η| > |y|\right] \le 1/|y|^α$。我们第一次尝试积极处理这种超重尾噪声在强盗学习问题：我们提出了一种新的强大的统计估计，平均中位数，估计一个随机变量通过计算一系列的经验中位数的经验平均值。然后，我们提出了一个通用的还原算法框架，解决强盗学习问题（包括多臂和线性强盗问题）：中位数估计的平均值可以应用到几乎任何强盗学习算法作为一个黑箱过滤其奖励信号，并获得类似的遗憾界，如果奖励是亚高斯。我们表明，遗憾界是接近最优的，即使非常重尾噪声。我们还实证证明了所提出的算法的有效性，这进一步证实了我们的理论结果。
2021-10-26 cs.LG
Nonstationary Stochastic Multiarmed Bandits: UCB Policies and Minimax Regret
Michigan State University（密歇根州立大学）
我们研究了非平稳随机多臂强盗（MAB）问题，其中与每个手臂相关联的奖励的分布被假定为是时变的，并且期望奖励的总变化受到变化预算的影响。一个策略的遗憾是由使用该策略和使用一个预言机获得的预期累积回报的差异定义的，该预言机选择了每次具有最大平均回报的手臂。我们的最坏情况下的遗憾，这是一组满足变化预算的奖励分布序列的遗憾的上确界方面所提出的政策的性能。我们用三种不同的方法，即周期重置、滑动观察窗和折扣因子，扩展了基于置信上限（UCB）的策略，并证明了它们对于极大极小后悔是序最优的，即，任何政策所能达到的最低限度的最坏情况下的遗憾。我们还放松了奖励分布的亚高斯假设，并开发了鲁棒版本的建议政策，可以处理重尾奖励分布，并保持其性能保证。
2021-01-22 cs.LG
Dueling Bandits: From Two-dueling to Multi-dueling
Tsinghua University（清华大学）
我们研究了一个一般的多决斗强盗问题，代理人同时比较多个选项，并旨在尽量减少由于选择次优武器的遗憾。这种设置推广了传统的两个决斗的强盗问题，并发现许多现实世界中的应用涉及多个选项的主观反馈。我们从两个决斗的强盗设置，并提出了两个有效的算法，DoublerBAI和MultiSBM反馈。DoublerBAI提供了一个通用的模式翻译的最佳手臂识别算法的决斗强盗问题的已知结果，并实现了$O(\ln T)$的遗憾界。MultiSBM反馈不仅具有最佳的$O(\ln T)$遗憾，而且与基准测试结果相比，常数因子几乎减少了一半。然后，我们考虑了一般的多决斗的情况下，开发了一个有效的算法MultiRUCB。使用一种新的有限时间遗憾分析一般多决斗强盗问题，我们表明，MultiRUCB也实现了$O(\ln T)$遗憾界和界收紧的能力的比较集的增加。基于合成和真实世界的数据集，我们的经验表明，我们的算法优于现有的算法。
2022-11-16 cs.LG
Almost Optimal Batch-Regret Tradeoff for Batch Linear Contextual Bandits
Tsinghua University（清华大学）
我们研究了最佳批量遗憾权衡批量线性上下文土匪。对于任何批号$M$、动作数$K$、时间范围$T$和维度$d$，我们提供了一个算法并证明了其后悔保证，由于技术原因，随着时间范围$T$的增长，该保证具有两阶段表达式。我们还证明了一个下界定理，令人惊讶地显示了我们的两个阶段的遗憾上限（对数因子）的问题参数的\emph{full range}的最优性，因此建立确切的批量遗憾权衡。最近的工作\citep{ruan2020linear}表明，$M = O(\log \log T)$批次足以实现渐近最小最优遗憾没有批量约束，我们的算法是简单，易于实际实现。此外，我们的算法实现了最佳遗憾的所有$T \geq d$，而\citep{ruan2020linear}要求$T$大于一个不切实际的大多项式的$d$。随着我们的分析，我们还证明了一个新的矩阵浓度不等式的依赖于他们的动态上界，据我们所知，这是第一次在文献中，可能是独立的兴趣。
2022-10-15 cs.LG
Gaussian Process Optimization in the Bandit Setting: No Regret and Experimental Design
California Institute of Technology（加州理工学院）；University of Pennsylvania（宾夕法尼亚大学）；Saarland University（萨尔大学）
许多应用程序需要优化一个未知的，嘈杂的功能，是昂贵的评估。我们将此任务形式化为多臂强盗问题，其中支付函数是从高斯过程（GP）中采样的，或者具有低RKHS范数。我们解决了重要的公开问题，得出遗憾的界限，这意味着新的收敛速度GP优化。我们分析GP-UCB，一个直观的上置信度为基础的算法，并限制其累积遗憾的最大信息增益，建立一个新的GP优化和实验设计之间的连接。此外，通过约束后者的算子谱，我们得到了许多常用的协方差函数的显式次线性遗憾界。在某些重要的情况下，我们的边界对维数的依赖性非常弱。在我们对真实传感器数据的实验中，GP-UCB与其他非线性GP优化方法相比毫不逊色。
2010-06-09 cs.LG
Near-Optimal Regret for Adversarial MDP with Delayed Bandit Feedback
University of Southern California（南加州大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Amazon（亚马逊）
强化学习（RL）的标准假设是智能体立即观察其行为的反馈。然而，在实践中，反馈往往是延迟观察。研究了具有未知转移、逆向变化代价和无限制延迟反馈的偶发马尔可夫决策过程（MDP）的在线学习。更确切地说，针对情节$k$中的代理的反馈仅在情节$k + d^k$结束时被揭示，其中延迟$d^k$可以随情节而改变并且由不经意的对手选择。我们提出了第一个算法，实现接近最佳的$\sqrt{K + D}$遗憾，其中$K$是情节的数量和$D = \sum_{k=1}^K d^k$是总延迟，显着改善后，最有名的遗憾界的$(K + D)^{2/3}$。
2023-01-21 cs.LG
On the Complexity of Bandit Linear Optimization
Weizmann Institute of Science（魏茨曼科学研究所）
我们研究了在线线性优化问题与强盗反馈，不同的全信息设置，玩家只能观察到自己的损失，而不是完整的损失向量的可达遗憾。我们表明，在这种情况下，强盗信息的价格可以大$d$，反驳了著名的猜想，强盗线性优化的遗憾是最多$\sqrt{d}$倍的全信息遗憾。令人惊讶的是，这是使用标准域的“微不足道”的修改，这在全信息设置中没有影响。我们提出的这一结果和其他结果突出了全信息学习和强盗学习之间的一些有趣的差异，这些差异在以前的文献中没有考虑过。
2014-08-11 cs.LG
Leveraging Good Representations in Linear Contextual Bandits
Politecnico di Milano（米兰理工大学）；Facebook AI Research（Facebook AI研究院）
线性上下文Bandit文献主要集中在针对给定表示的高效学习算法的设计上。然而，上下文强盗问题可能允许多个线性表示，每个线性表示具有直接影响学习算法的遗憾的不同特征。特别是，最近的工作表明，存在“好”的表示，不断的问题依赖的遗憾可以实现。在本文中，我们首先提供了一个系统的分析，在文献中提出的不同定义的“好”表示。然后，我们提出了一种新的选择算法，能够适应最好的表示在一组$M$候选人。我们表明，遗憾确实是从来没有比最好的表示（高达$\ln M$因素）运行LinUCB获得的遗憾。其结果是，我们的算法实现了不断的遗憾，每当一个“好”的表示是在集合中。此外，我们表明，该算法仍然可以通过隐式地构建一个“好”的表示，即使没有一个初始表示是“好”的实现不断的遗憾。最后，我们实证验证我们的理论研究结果在一些标准的上下文强盗问题。
2021-04-08 cs.LG
Gaussian Process Upper Confidence Bound Achieves Nearly Optimal Regret in Noise-Free Gaussian Process Bandits
LY Corporation（LY公司）
本文提出高斯过程上置信界在无噪声高斯过程老虎机中实现近最优懊悔，展示了平方指数核和Matérn核下的常数累积懊悔。
2026-11-02 cs.LG
Prior Diffusiveness and Regret in the Linear-Gaussian Bandit
Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系）
研究线性高斯带中汤普森采样的贝叶斯遗憾值，通过新引理证明其遗憾值表达式，表明先验相关‘预热’项与极小极大遗憾值可加性解耦，还给出下限说明‘预热’项不可避免。
2026-07-07 cs.LG
Improved Regret Bounds for Oracle-Based Adversarial Contextual Bandits
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
我们给出了一个基于预言机的算法的对抗性上下文强盗问题，其中任何一个上下文都是独立同分布的。或者上下文的顺序是先验已知的，但是其中损失是对立地挑选的。我们的算法是计算效率高，假设访问离线优化预言，并享有遗憾的顺序$O((KT)^{\frac{2}{3}}(\log N)^{\frac{1}{3}})$，其中$K$是行动的数量，$T$是迭代次数和$N$是基线策略的数量。我们的结果是第一个打破$O(T^{\frac{3}{4}})$障碍，最近推出的算法实现。打破这一障碍是一个主要的悬而未决的问题。我们的分析是基于最近的基于松弛的方法（Rakhlin和Sridharan，2016）。
2016-06-01 cs.LG
On Bits and Bandits: Quantifying the Regret-Information Trade-off
Technion（以色列理工学院）；ENSAE（法国国立统计与经济管理学校）；NVIDIA Research（英伟达研究院）
本研究量化了序贯决策中信息获取与遗憾之间的权衡，提出了基于信息量的贝叶斯遗憾上下界，并应用于提升大语言模型问答性能。
2025-02-23 cs.LG
Threshold-Based Optimal Arm Selection in Monotonic Bandits: Regret Lower Bounds and Algorithms
Department of Electrical Engineering, Indian Institute of Technology, Bombay（电子工程系，印度理工学院，孟买）
本文研究单调结构下基于阈值的多臂老虎机问题，推导了仅与阈值相邻臂相关的渐近遗憾下界，提出最优算法并经蒙特卡洛模拟验证，拓展了带阈值约束的老虎机决策理论。
2025-09-02 cs.LG
Graph-Dependent Regret Bounds in Multi-Armed Bandits with Interference
College of Management of Technology EPFL（EPFL技术管理学院）
研究多臂老虎机在网络干扰下的表现，提出基于局部图结构的算法，推导出图依赖的后悔上界，并给出任意网络干扰下的下界，证明算法在密集和稀疏图中接近最优。
2026-04-01 cs.LG
Learning in Markovian bandits with non-observable states and constrained decision epochs
IRIT, Université de Toulouse, CNRS, Toulouse INP（图卢兹大学IRIT实验室，法国国家科学研究中心，图卢兹国立理工学院）；Ikerbasque-UPV/EHU, University of the Basque Country（巴斯克科学与技术联盟-巴斯克大学）
研究状态不可观测且决策时段可能受限的马尔可夫强盗问题，提出自退化马尔可夫强盗模型，设计UCB-NOM算法实现近对数遗憾，并证明无先验知识时遗憾超对数下界。
2026-06-29 cs.LG
Quantum Multi-Armed Bandits and Stochastic Linear Bandits Enjoy Logarithmic Regrets
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
多臂强盗（MAB）和随机线性强盗（SLB）是强化学习中的重要模型，而经典的时域强盗算法$T$存在$Ω(\sqrt{T})$缺陷。在本文中，我们研究了MAB和SLB与量子奖励预言，并提出了量子算法的两个模型与$O(\mbox{poly}(\log T))$的遗憾，指数改善的依赖$T$。据我们所知，这是第一个可证明的量子加速强盗问题的遗憾和一般利用强化学习。与以前关于MAB和强化学习的量子探索算法的文献相比，我们的量子输入模型更简单，并且只假设每个手臂都有量子预言机。
2022-05-30 cs.LG quant-ph
Catoni-Style Change Point Detection for Regret Minimization in Non-Stationary Heavy-Tailed Bandits
Politecnico di Milano（米兰理工学院）；JPMorgan AI Research（摩根大通人工智能研究）
本文针对非平稳重尾老虎机问题，提出基于Catoni式变点检测的Robust-CPD-UCB算法，结合乐观策略，给出遗憾上界与下界，并通过实验验证。
2025-05-26 cs.LG
Memory-Constrained No-Regret Learning in Adversarial Bandits
Cornell University（康奈尔大学）
研究了一个具有记忆约束的对抗性强盗问题，其中只能存储一个臂子集的统计信息。一个层次的学习策略，只需要一个次线性顺序的记忆空间的武器数量的开发。对于弱后悔和转移后悔，建立了其关于时间视界的次线性后悔序。这项工作似乎是第一个内存约束的强盗问题下的对抗设置。
2021-04-06 cs.LG stat.ML
Online Bandit Learning against an Adaptive Adversary: from Regret to Policy Regret
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Microsoft Research（微软研究院）
在线学习算法被设计成即使在它们的输入由对手生成时也能学习。在线算法学习能力的广泛接受的正式定义是博弈论中的后悔概念。我们认为，后悔的标准定义变得不够，如果对手被允许适应在线算法的行动。我们定义的替代概念的政策遗憾，试图提供一个更有意义的方式来衡量一个在线算法的性能对自适应对手。集中在网上的强盗设置，我们表明，没有强盗算法可以保证一个次线性的政策后悔对自适应对手与无限的记忆。另一方面，如果对手的记忆是有界的，我们提出了一个一般的技术，转换成一个算法的次线性策略遗憾界的任何强盗算法与次线性遗憾界。我们将这一结果扩展到后悔的其他变体，如转换后悔，内部后悔和交换后悔。
2012-06-27 cs.LG stat.ML
Optimally Confident UCB: Improved Regret for Finite-Armed Bandits
University of Alberta（阿尔伯塔大学）
我提出了第一个算法随机有限武装土匪，同时享有秩序最优问题相关的遗憾和最坏情况下的遗憾。新算法除具有理论上的结果外，还具有简单、高效和经验上的优越性.该方法是基于UCB，但精心选择的置信参数，最佳平衡的风险，失败的置信区间对过度乐观的成本。
2016-02-24 cs.LG math.OC
Bandit algorithms: Letting go of logarithmic regret for statistical robustness
IIT Bombay（印度理工学院孟买分校）；IIT Madras（印度理工学院马德拉斯分校）
我们研究了随机多臂强盗设置中的后悔最小化问题，并建立了一个基本的权衡算法下遭受的遗憾，其统计鲁棒性。考虑到广泛的潜在武器的分布，我们表明，强盗学习算法与对数遗憾总是不一致的，一致的学习算法总是遭受超对数遗憾。这一结果突出了不可避免的统计脆弱性的所有“对数遗憾”的强盗算法在文献中-例如，如果一个UCB算法设计的$σ$ -subGaussian分布是在subGaussian设置与不匹配的方差参数，学习性能可能是不一致的。接下来，我们展示了一个积极的结果：如果我们允许遗憾比对数略差，则可以获得统计上鲁棒和一致的学习性能。具体来说，我们提出了三个类的分布遗忘算法，实现了渐近遗憾，是任意接近对数。
2020-06-22 cs.LG stat.ML
An $α$-No-Regret Algorithm For Graphical Bilinear Bandits
PSL - Université Paris Dauphine（巴黎多芬大学（PSL研究大学））；CNRS（法国国家科学研究中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
我们提出了第一个基于后悔的方法来解决图形双线性强盗问题，其中图中的$n$代理与每个邻居进行随机双线性强盗游戏。这种设置揭示了一个组合的NP难问题，防止使用任何现有的后悔为基础的算法（双）线性土匪文学。在本文中，我们填补了这一空白，并提出了第一个基于后悔的算法，图形双线性土匪使用乐观的原则，面对不确定性。理论分析表明，这种新的方法产生了一个上界的$\tilde{O}(\sqrt{T})$的$α$ -遗憾和证据的影响，图的结构上的收敛速度。最后，我们通过各种实验表明我们的方法的有效性。
2022-10-12 cs.LG stat.ML
A Note on Bounding Regret of the C$^2$UCB Contextual Combinatorial Bandit
University of Melbourne（墨尔本大学）
我们重新回顾了Qin等人（2014）对C $^2$ UCB上下文组合强盗的有界遗憾的证明。我们证明了一个错误的体积膨胀的矩矩阵的证明，用于上界的上下文向量范数的函数。我们证明了一个宽松的不平等，产生原来规定的遗憾界。
2019-02-20 cs.LG stat.ML
