Oracle-Efficient Combinatorial Semi-Bandits
CREST, ENSAE, IP Paris（CREST、ENSAE、IP巴黎）；FairPlay joint team（FairPlay联合团队）；London School of Economics（伦敦经济学院）；Seoul National University（首尔国立大学）
研究组合半带式赌博机问题，提出神谕高效框架，减少神谕调用次数，在最坏情况线性奖励设置下，算法用较少神谕查询达低遗憾值，还有协方差自适应算法及扩展到非线性奖励，降低神谕使用时间并获理论保证。
2026-07-14 cs.LG stat.ML
Practical Contextual Bandits with Regression Oracles
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）；University of Southern California（南加州大学）
上下文强盗的一个主要挑战是设计通用的算法，既实用又有理论依据。我们提出了一种新的技术，具有经验和计算优势的可实现性为基础的方法结合了不可知方法的灵活性。我们的算法利用回归预言的价值函数类，一个更现实和合理的预言比分类预言通常假设的不可知方法的政策的可用性。我们的方法将UCB和LinUCB推广到更有表现力的可能模型类，并在某些分布假设下实现了低遗憾。在一个广泛的实证评估，基于可实现性和不可知的基线相比，我们发现，我们的方法通常给出可比或优越的结果。
2018-03-03 cs.LG stat.ML
Bridging Adversarial and Nonstationary Multi-armed Bandit
Rotman School of Management, University of Toronto（多伦多大学罗特曼管理学院）；The Hong Kong University of Science and Technology（香港科技大学）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）
本文提出统一的多臂老虎机框架，通过基于时间窗口的预言机平滑桥接对抗性与非平稳特例，并给出达到最优遗憾匹配下界的算法。
2023-11-26 cs.LG stat.ML
Reward-Biased Maximum Likelihood Estimation for Linear Stochastic Bandits
National Chiao Tung University（国立交通大学）；Texas A&M University（德克萨斯农工大学）
修改奖励偏置最大似然方法最初提出的自适应控制文献中，我们提出了新的学习算法，以处理探索利用权衡线性土匪问题以及广义线性土匪问题。我们开发了新的指数政策，我们证明实现了订单最优，并表明他们实现了经验的表现与国家的最先进的基准方法在广泛的实验竞争。新的政策实现了这一点，每次拉低计算时间的线性土匪，从而导致有利的遗憾，以及计算效率。
2020-10-08 cs.LG stat.ML
An efficient high-probability algorithm for Linear Bandits
Georgia Institute of Technology（佐治亚理工学院）
对于线性强盗问题，我们推广了[R. Combes，M. S. Talebi Mazraeh Shahi，A. Proutiere和M.莱拉热组合土匪重访。In C.科尔特斯N。D.劳伦斯，D。D.李，M。Sugiyama和R. Garnett，编者，《神经信息处理系统进展》28，第2116- 2124页。柯兰联营公司2015. URL http：//papers.nips.cc/paper/5831-combinatorial-bandits-revisited.pdf]到针对自适应对手的高概率情况，允许来自任意多面体的动作。我们证明了\(O(T^{2/3})\)在时间范围\(T\)的高概率后悔。而这个界比[P.L.]中GeometricHedge得到的最优\(O(\sqrt{T})\)界弱。Bartlett，V. Dani，T. Hayes，S. Kakade，A. Rakhlin和A.特瓦里在线线性优化的高概率后悔界。第21届学习理论年会（COLT 2008），2008年7月。http：//eprints.qut.edu.au/45706/1/30-Barts.pdf]，CombEXP在计算上是高效的，仅需要在动作的凸包上的高效线性优化预言。
2016-10-13 cs.DS cs.LG
Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits
Istituto Italiano di Tecnologia（意大利技术研究院）；CREST, ENSAE, IP Paris（巴黎政治经济统计高等学校经济与统计研究中心，巴黎综合理工学院联盟）；University College London（伦敦大学学院）
研究了强凸函数的零级优化问题。我们的目标是找到最小的功能，其值的顺序探索，测量噪声。我们研究了函数的高阶光滑性对优化误差和累积遗憾的影响。为了解决这个问题，我们考虑一个随机近似的投影梯度下降算法。梯度估计的随机过程涉及两个函数的评价和平滑内核。我们推导出该算法在约束和无约束的设置和证明极小极大下界的任何顺序搜索方法。我们的研究结果表明，零阶算法在样本复杂度和问题参数方面接近最优。基于此算法，我们还提出了一个估计的最小值的函数实现几乎尖锐的预言行为。我们将我们的结果与最先进的技术进行比较，突出了一些关键的改进。
2022-11-24 cs.LG math.OC stat.ML
Taming the Monster Every Context: Complexity Measure and Unified Framework for Offline-Oracle Efficient Contextual Bandits
提出OE2D框架，通过离线回归预言机实现上下文赌博机学习，在T轮中仅需O(log T)次调用即可达到近最优遗憾，并引入决策-离线估计系数（DOEC）作为新的复杂度度量。
2026-06-29 cs.LG stat.ML
Optimal Contextual Bandits with Knapsacks under Realizability via Regression Oracles
Department of Mathematics, HKUST（香港科技大学数学系）；Department of Industrial Engineering and Decision Analytics, HKUST（香港科技大学工业工程与决策分析系）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深港协同创新研究院）
我们研究了随机上下文背包强盗（CBwK）问题，其中每个行动，采取的背景下，不仅导致随机奖励，但也成本的随机资源消耗的向量形式。挑战是在不违反每个资源的预算的情况下最大化总回报。我们研究这个问题下的一般可实现性设置的预期回报和预期成本的功能的上下文和行动在一些给定的一般功能类$\mathcal{F}$和$\mathcal{G}$，分别。CBwK的现有工作仅限于线性函数类，因为它们使用UCB型算法，该算法严重依赖于线性形式，因此难以扩展到一般函数类。受到已成功应用于上下文强盗的在线回归预言的启发，我们通过将其简化为在线回归，提出了CBwK的第一个通用且最佳的算法框架。我们还建立了遗憾下界，以表明我们的算法对各种函数类的最优性。
2023-02-22 cs.LG stat.ML
The Hardness Analysis of Thompson Sampling for Combinatorial Semi-bandits with Greedy Oracle
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）
汤普森抽样（TS）在强盗领域引起了人们的极大兴趣。它在20世纪30年代被引入，但直到最近几年才在理论上得到证明。所有的分析组合多臂强盗（CMAB）设置需要一个精确的预言机提供任何输入的最优解。然而，这样的预言通常是不可行的，因为许多组合优化问题是NP-难的，只有近似预言可用。一个例子（Wang和Chen，2018）表明TS无法使用近似预言机进行学习。但是，这种oracle并不常见，它只针对特定的问题实例而设计。TS算法的收敛性分析是否可以扩展到CMAB算法的精确预言之外，仍然是一个悬而未决的问题。在本文中，我们研究这个问题下的贪婪预言机，这是一个常见的（近似）预言机与理论保证，以解决许多（离线）组合优化问题。我们给出了一个问题相关的后悔下界，其阶数为$Ω(\log T/Δ^2)$，用来量化TS在贪婪预言机下求解CMAB问题的难度，其中$T$是时间范围，$Δ$是奖励间隔.我们还提供了一个几乎匹配的后悔上限。这是TS用一个通用的近似预言机求解CMAB的第一个理论结果，打破了TS不能用近似预言机的误解。
2021-11-08 cs.DS cs.LG stat.ML
Beyond UCB: Optimal and Efficient Contextual Bandits with Regression Oracles
Massachusetts Institute of Technology（麻省理工学院）
上下文强盗的一个根本挑战是开发灵活的通用算法，其计算要求不低于经典的监督学习任务，如分类和回归。基于回归的算法已经显示出有希望的经验成功，但理论保证仍然难以捉摸，除非在特殊情况下。我们提供了第一个普遍的和最佳的减少从上下文强盗在线回归。我们将展示如何将任何具有给定价值函数类的在线回归的Oracle转换为具有诱导策略类的上下文强盗的算法，在运行时或内存要求中没有开销。我们的特点是极大极小利率的上下文土匪一般，潜在的非参数函数类，并表明我们的算法是极大极小最优的预言机获得最佳的回归率。与以前的结果相比，我们的算法不需要超出可实现性的分布假设，并且即使在上下文选择对抗时也有效。
2020-06-23 cs.LG math.ST stat.ML
Exploration Through Reward Biasing: Reward-Biased Maximum Likelihood Estimation for Stochastic Multi-Armed Bandits
Texas A&M University（得克萨斯农工大学）；National Chiao Tung University（国立交通大学）
受自适应控制中的有偏最大似然估计方法的启发，我们提出了RBMLE --一种新的随机多臂强盗（SMAB）学习算法。对于广泛的SMAB，包括参数指数家庭以及非参数子高斯/指数家庭，我们表明，RBMLE产生的索引政策。为了选择RBMLE中的偏差增长率$α(t)$，我们揭示了$α(t)$和遗憾界之间的非平凡的相互作用，通常适用于指数家族以及亚高斯/指数家族土匪。为了量化有限时间的性能，我们证明了RBMLE达到顺序最优的自适应估计的未知常数的表达式中的$α(t)$高斯和亚高斯强盗。大量的实验表明，建议的RBMLE实现经验的遗憾性能与国家的最先进的方法竞争，同时更计算效率和可扩展性相比，其中表现最好的。
2020-10-23 cs.LG stat.ML
Generalized Policy Elimination: an efficient algorithm for Nonparametric Contextual Bandits
我们提出了广义策略消除（GPE）算法，一个甲骨文高效的上下文强盗（CB）算法的启发\cite{dudik2011}的策略消除算法。我们证明了第一遗憾最优性保证定理的甲骨文有效CB算法竞争的非参数类具有无限VC-维。具体来说，我们表明，GPE是遗憾最优的（对数因子）的政策类与可积熵。对于具有较大熵的类，我们表明，用于分析GPE的核心技术可以用来设计一个$\varepsilon$ -贪心算法与遗憾界匹配的最佳算法。我们说明了我们的算法和定理的适用性与大型非参数政策类的例子，相关的优化预言可以有效地实现。
2020-03-05 cs.LG stat.ML
Regression Oracles and Exploration Strategies for Short-Horizon Multi-Armed Bandits
Google（谷歌）
本文探讨了多臂强盗（MAB）战略在非常短的地平线的情况下，即，当强盗策略只允许与环境的非常少的交互时。在MAB文献中，这是一个未充分研究的环境，在游戏中有许多应用，例如玩家建模。具体而言，我们追求三种不同的理念。首先，我们探索了回归预言机的使用，它用线性回归模型取代了epsilon-greedy等策略中使用的简单平均值。其次，我们研究了不同的勘探模式，如强制勘探阶段。最后，我们介绍了一个新的变种的UCB 1策略称为UCBT，有有趣的属性，没有可调参数。我们目前的实验结果在一个域的动机exergames，其目标是最大限度地提高球员的日常步骤。我们的研究结果表明，结合ε贪婪或ε减少回归预言机优于所有其他测试策略在短期设置。
2021-02-10 cs.AI cs.LG stat.ML
Flexible and Efficient Contextual Bandits with Heterogeneous Treatment Effect Oracles
Stanford University（斯坦福大学）
上下文强盗算法通常估计奖励模型以通知决策。然而，真正的奖励可能包含与决策无关的独立于行动的冗余。我们发现，估计任何解释行动之间奖励差异的函数，即治疗效果，都是更有效的数据。出于这一观察，最近的工作基于甲骨文的土匪算法的基础上，我们提供了第一个减少上下文土匪通用异构治疗效果估计，我们设计了一个简单的和计算效率高的算法，基于此减少。我们的理论和实验结果表明，异质性的治疗效果估计在上下文土匪提供了实际的优势，奖励估计，包括更有效的模型估计和更大的灵活性，以模型误指定。
2023-02-24 cs.LG math.ST stat.ME
Biased Dueling Bandits with Stochastic Delayed Feedback
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of California, Davis（加州大学戴维斯分校）
本文研究了具有随机延迟反馈的偏置对决老虎机问题，提出了两种分别适用于已知延迟分布和仅知延迟期望的算法，并给出了全面的遗憾界分析与实证评估。
2025-04-06 cs.LG stat.ML
Reward-Biased Maximum Likelihood Estimation for Neural Contextual Bandits
National Yang Ming Chiao Tung University（国立阳明交通大学）
奖励偏置最大似然估计（RBMLE）是自适应控制文献中解决探索-利用权衡的经典原理。本文研究了具有一般有界报酬函数的随机上下文强盗问题，提出了NeuralRBMLE算法，该算法在RBMLE原理的基础上，通过在对数似然函数中增加一个偏置项来加强探索。NeuralRBMLE利用了神经网络的表示能力，并直接在参数空间中对探索行为进行编码，而无需构建估计回报的置信区间。我们提出了NeuralRBMLE算法的两个变体：第一个变体通过梯度上升直接获得RBMLE估计，第二个变体通过近似将RBMLE简化为一个简单的索引策略。我们表明，这两种算法实现$\widetilde{\mathcal{O}}(\sqrt{T})$遗憾。通过大量的实验，我们证明了NeuralRBMLE算法在具有非线性奖励函数的真实数据集上实现了与最先进的方法相当或更好的经验遗憾。
2022-05-29 cs.LG stat.ML
Unified theory of upper confidence bound policies for bandit problems targeting total reward, maximal reward, and more
Toyota Central R&D Labs., Inc.（丰田中央研发实验室）
本研究提出老虎机UCB策略的统一理论，以预言机量为核心统一总奖励与最大奖励老虎机问题的阶最优性条件，证明MaxSearch的阶最优性，还提出PIUCB算法并验证其性能，为定制新策略提供框架。
2024-11-01 cs.LG stat.ML
New Projection-free Algorithms for Online Convex Optimization with Adaptive Regret Guarantees
Technion - Israel Institute of Technology（以色列理工学院）
我们提出了新的有效的\textit{projection-free}算法在线凸优化（OCO），其中的投影免费，我们指的算法，避免计算正交投影到可行集，而不是依赖于不同的和潜在的更有效的预言。虽然大多数国家的最先进的无投影算法的基础上的\textit{follow-the-leader}框架，我们的算法是根本不同的，是基于\textit{online gradient descent}算法与一种新的和有效的方法来计算所谓的\textit{infeasible projections}。因此，我们获得了自然产生\textit{adaptive regret}保证的第一个无投影算法，即，遗憾的界限，持有w.r.t.序列的任何子区间。具体地说，当假设一个线性优化预言（LOO）的可行集的可用性，在一个序列的长度$T$，我们的算法保证$O(T^{3/4})$自适应遗憾和$O(T^{3/4})$自适应预期遗憾，分别为全信息和强盗设置，只使用$O(T)$调用LOO。这些界限与基于LOO的无投影OCO的当前最先进的遗憾界限匹配，该遗憾界限是\textit{not adaptive}。我们还考虑了一个新的自然环境中的可行集是通过分离预言机访问。我们提出的算法，使用整体$O(T)$调用的分离预言，保证$O(\sqrt{T})$自适应遗憾和$O(T^{3/4})$自适应预期遗憾的全部信息和强盗设置，分别。
2023-03-19 cs.LG math.OC
Continuum-armed Bandit Optimization with Batch Pairwise Comparison Oracles
Department of Information Systems and Intelligence Business, Xi’an Jiaotong University, Xi’an 710049, China（西安交通大学信息系统与智能商业系）；Stern School of Business, New York University, New York, NY 10012, USA（纽约大学斯特恩商学院）；Naveen Jindal School of Management, University of Texas at Dallas, Richardson, TX 75080, USA（德克萨斯大学达拉斯分校奈维恩·金达管理学院）
本文研究使用批量成对比较预言机的连续臂bandit优化问题，通过离散化与局部多项式逼近结合锦标赛逐步淘汰和批量LinUCB算法，解决了有偏估计与停止时间决策的挑战，并证明了其近最优遗憾界及在运营管理中的应用优势。
2025-05-28 cs.LG stat.ML
Oracle-Efficient Pessimism: Offline Policy Optimization in Contextual Bandits
Microsoft Research NYC（微软研究院纽约分院）；Netflix（奈飞公司）
本文提出首个通用的预言机高效悲观离线策略优化算法，通过归约为监督学习实现广泛适用性，并在离散和连续动作实验中优于未正则化方法。
2023-10-25 cs.LG
Improved Regret Bounds for Oracle-Based Adversarial Contextual Bandits
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
我们给出了一个基于预言机的算法的对抗性上下文强盗问题，其中任何一个上下文都是独立同分布的。或者上下文的顺序是先验已知的，但是其中损失是对立地挑选的。我们的算法是计算效率高，假设访问离线优化预言，并享有遗憾的顺序$O((KT)^{\frac{2}{3}}(\log N)^{\frac{1}{3}})$，其中$K$是行动的数量，$T$是迭代次数和$N$是基线策略的数量。我们的结果是第一个打破$O(T^{\frac{3}{4}})$障碍，最近推出的算法实现。打破这一障碍是一个主要的悬而未决的问题。我们的分析是基于最近的基于松弛的方法（Rakhlin和Sridharan，2016）。
2016-06-01 cs.LG
Contextual Linear Bandits under Noisy Features: Towards Bayesian Oracles
KAIST（韩国科学技术院）；Centrale-Supelec（中央高等电力学院）
针对带噪声与缺失的特征下的上下文线性老虎机问题，分析贝叶斯预言机的偏差特性，提出逼近贝叶斯预言机的算法，在多臂场景下达到$\tilde{O}(d\sqrt{T})$遗憾界，并通过合成与真实数据集验证。
2024-10-10 cs.AI cs.LG stat.ML
Adapting to Misspecification in Contextual Bandits
Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（柯朗数学科学研究所）
上下文强盗的一个主要研究方向是开发计算效率高，但支持灵活，通用功能近似的算法。基于建模奖励的算法表现出很强的经验性能，但通常需要一个明确的模型，并且当这个假设不成立时可能会失败。我们能否设计出高效、灵活的算法，但在面对模型错误时却能优雅地降级？我们引入了一个新的家庭的预言机高效的算法$\varepsilon$ -错误指定的上下文土匪，适应未知的模型错误指定-有限和无限的行动设置。由于访问一个在线的预言平方损失回归，我们的算法达到最佳的遗憾，特别是最佳的依赖于错误的水平，没有先验知识。专门为线性上下文土匪无限行动$d$维度，我们得到了第一个算法，实现了最佳的$O(d\sqrt{T} + \varepsilon\sqrt{d}T)$遗憾界未知的误指定水平$\varepsilon$。在概念层面上，我们的研究结果是通过对Foster和Rakhlin的回归Oracle简化框架的新的基于优化的视角实现的，我们预计这将得到更广泛的使用。
2021-07-12 cs.LG stat.ML
Robustly Improving Bandit Algorithms with Confounded and Selection Biased Offline Data: A Causal Approach
University of Arkansas（阿肯色大学）
本文从因果视角处理赌博机中离线数据的复合偏差，将偏差分为混杂与选择偏差，提取含真实均值的鲁棒因果界，引导学习近优策略并降低渐近遗憾。
2023-12-20 cs.AI cs.LG stat.ML
An Improved Relaxation for Oracle-Efficient Adversarial Contextual Bandits
University of Maryland, College Park（马里兰大学学院公园分校）
提出一种Oracle高效的对抗性上下文赌博机松弛算法，将遗憾界改进为$O(T^{2/3}(K\log|\Pi|)^{1/3})$，每轮仅需$O(K)$次Oracle调用，首次匹配随机情形的原始界。
2023-11-10 cs.DS cs.LG stat.ML
On Mitigating Affinity Bias through Bandits with Evolving Biased Feedback
Algorithms and Randomness Center, Georgia Institute of Technology（佐治亚理工学院算法与随机性中心）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Research（谷歌研究院）
本文提出亲和老虎机（affinity bandits）模型刻画招聘反馈回路中的亲和偏差，证明其遗憾下界比标准老虎机大一个关于K的乘法因子，并设计出无需观察真实奖励即可近乎匹配该下界的淘汰式算法。
2025-03-07 cs.LG stat.ML
Taming the Monster: A Fast and Simple Algorithm for Contextual Bandits
Microsoft Research（微软研究院）；Columbia University（哥伦比亚大学）；Yahoo! Labs（雅虎研究院）；Princeton University（普林斯顿大学）
我们提出了一个新的算法的上下文强盗学习问题，学习者反复采取的$K$行动之一，以响应所观察到的上下文，并观察奖励只为所选择的行动。我们的方法假设访问一个oracle来解决完全监督的成本敏感的分类问题，并实现了统计上最优的遗憾保证，只有$\tilde{O}(\sqrt{KT/\log N})$ oracle调用所有$T$轮，其中$N$是我们竞争的政策类中的政策数量。通过这样做，我们获得了最实用的上下文强盗学习算法之间的方法，一般的政策类的工作。我们进一步进行了一个概念验证实验，该实验证明了我们的算法（的在线变体）相对于几个基线的出色的计算和预测性能。
2014-10-14 cs.LG stat.ML
Online Bandits with (Biased) Offline Data: Adaptive Learning under Distribution Mismatch
本文提出MIN-UCB策略，通过自适应利用离线数据提升多臂老虎机的性能，并在不同设置下实现紧致的遗憾界。
2025-12-18 cs.LG stat.ML
Variance-Aware Linear UCB with Deep Representation for Neural Contextual Bandits
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出方差感知的Neural-$σ^2$-LinearUCB算法，利用奖励噪声方差上界提升UCB不确定性量化质量，在理论和实验上均取得优于现有神经UCB方法的遗憾性能。
2025-03-11 cs.LG stat.ML
Adapting multi-armed bandits policies to contextual bandits scenarios
这项工作探讨了适应成功的多武装土匪政策的在线上下文土匪的情况下，使用二进制分类算法，如逻辑回归作为黑箱神谕的二进制奖励。其中一些适应是通过自举或近似自举来实现的，而另一些则依赖于其他形式的随机性，从而产生比以前的作品更具可扩展性的方法，并且能够与任何类型的分类算法一起工作。特别是，自适应贪心算法表现出了很大的潜力，在许多情况下，实现了更好的性能比置信上限和汤普森采样策略，代价是更多的超参数调整。
2019-11-23 cs.LG stat.ML
Adaptively Exploiting d-Separators with Causal Bandits
University of Toronto（多伦多大学）
多臂强盗问题提供了一个框架，以确定最佳的干预一系列的重复实验。在没有额外假设的情况下，极大极小最优性能（用累积后悔来衡量）是很好理解的。通过访问将干预与结果分离的其他观察变量（即，它们是D分隔符），最近的“因果强盗”算法可证明地招致较少的遗憾。然而，在实践中，最好不知道观测变量是否是d分隔符。理想情况下，一个算法应该是自适应的;也就是说，执行几乎一样好的一个算法与oracle知识的存在或不存在的d-分隔符。在这项工作中，我们形式化和研究这个概念的自适应性，并提供了一种新的算法，同时实现（a）最佳遗憾时，观察到的d-分隔符，改进经典的极大极小算法，和（b）显着较小的遗憾比最近的因果强盗算法时，观察到的变量不是d-分隔符。至关重要的是，我们的算法不需要任何关于是否观察到d-分隔符的Oracle知识。我们还推广这种自适应到其他条件，如前门标准。
2022-10-26 cs.LG stat.ML
Thompson Sampling for Stochastic Bandits with Noisy Contexts: An Information-Theoretic Regret Analysis
University of Birmingham（伯明翰大学）；Iowa State University（爱荷华州立大学）
针对带噪声上下文的随机线性老虎机问题，提出一种基于贝叶斯框架的Thompson Sampling算法，并通过信息论分析证明其贝叶斯遗憾，发现延迟观测真实上下文可降低遗憾，实证表明算法优于基线。
2024-03-22 cs.LG stat.ML
Algorithms with Logarithmic or Sublinear Regret for Constrained Contextual Bandits
University of California at Davis（加州大学戴维斯分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了具有预算和时间约束的上下文强盗问题，时间和预算约束使得上下文之间的耦合性大大增加，从而使得获取已知强盗统计信息的预言解变得困难.为了获得洞察力，我们首先研究具有已知上下文分布的单位成本系统。当预期的回报是已知的，我们开发了一个近似的预言，称为自适应线性规划（ALP），它实现了近最优，只需要预期的回报排序。有了这些非常理想的功能，然后我们结合ALP与置信上限（UCB）的方法在一般情况下，预期的回报是未知的{ \it先验}。我们表明，建议的UCB-ALP算法实现对数遗憾，除了某些边界的情况下。此外，我们设计的算法，并获得类似的遗憾分析结果更一般的系统与未知的上下文分布和异构成本。据我们所知，这是第一个工作，表明如何实现对数遗憾的约束上下文土匪。此外，这项工作也揭示了计算效率的算法的研究一般约束上下文土匪。
2015-10-19 cs.LG stat.ML
Incentivized Exploration of Non-Stationary Stochastic Bandits
University of Colorado Boulder（科罗拉多大学博尔德分校）
本研究针对非平稳多臂老虎机问题，提出两种激励探索算法，在突变和连续变化环境中实现次线性遗憾与补偿，有效激励探索。
2024-03-16 cs.AI cs.LG stat.ML
Online Improper Learning with an Approximation Oracle
Princeton University（普林斯顿大学）；Google Brain（谷歌大脑）
我们重新讨论将在线学习简化为离线问题的近似优化的问题。在这种情况下，我们给出了两个算法，在全信息设置接近最优的性能：它们保证最佳的遗憾，只需要多-代数许多调用的近似甲骨文每次迭代。此外，这些算法适用于更一般的不当学习问题。在强盗设置，我们的算法也显着提高了最好的以前已知的预言复杂性，同时保持相同的遗憾。
2018-04-20 cs.LG stat.ML
Efficient Matroid Bandit Linear Optimization Leveraging Unimodality
Univ. Rennes（里昂大学）；Inria（法国国家信息与自动化技术研究所）；CNRS IRISA - UMR 6074（法国国家科学研究中心IRISA研究中心）
本文提出利用matroid问题的单峰结构，改进半带学习的时间复杂性，同时保持最优后悔性能。
2025-11-29 cs.LG
Byzantine-Robust Federated Linear Bandits
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们研究了一个线性强盗优化问题，在联邦设置的大型集合的分布式代理合作学习一个共同的线性强盗模型。应用于此设置的标准联邦学习算法即使对一小部分代理也容易受到拜占庭攻击。我们提出了一种新的算法，利用几何中值的强大的聚集预言。我们证明，我们提出的算法是强大的拜占庭攻击不到一半的代理，并实现了次线性$\tilde{\mathcal{O}}({T^{3/4}})$遗憾与$\mathcal{O}(\sqrt{T})$步骤的通信$T$步骤。此外，我们通过基于树的机制，使我们的算法差异私有。最后，如果腐败的水平是已知的是小的，我们表明，使用几何中位数的平均预言鲁棒聚合进一步提高了遗憾界。
2022-04-03 cs.LG cs.MA stat.ML
Efficient Optimal Learning for Contextual Bandits
我们解决了在线学习的问题，学习者反复观察特征，在一组动作中进行选择，并为所采取的行动获得奖励。我们提供了第一个有效的算法与最佳遗憾。我们的算法使用一个成本敏感的分类学习器作为一个预言机，并有一个运行时间$\mathrm{polylog}(N)$，其中$N$是分类规则的数量，其中的预言机可能会选择。这是指数快于所有以前的算法，实现最佳的遗憾，在这种设置。我们的配方也使我们能够创建一个算法，遗憾的是，是添加剂，而不是乘法反馈延迟在所有以前的工作。
2011-06-13 cs.AI cs.LG stat.ML
Bypassing the Monster: A Faster and Simpler Optimal Algorithm for Contextual Bandits under Realizability
Massachusetts Institute of Technology（麻省理工学院）
我们考虑在可实现性假设下的一般（随机）上下文强盗问题，即，作为上下文和动作的函数的期望回报属于通用函数类$\mathcal{F}$。我们设计了一个快速而简单的算法，实现了统计上最优的遗憾，只有${O}(\log T)$调用离线回归oracle在所有$T$轮。如果预先知道$T$，则可以将oracle调用的数量进一步减少到$O(\log\log T)$。我们的结果提供了从上下文强盗到离线回归的第一个普遍且最佳的简化，解决了上下文强盗文献中一个重要的开放问题。我们的研究结果的一个直接后果是，离线回归的任何进步都会立即转化为统计和计算上的上下文强盗。这导致更快的算法和改进的遗憾保证更广泛的类上下文强盗问题。
2021-07-10 cs.LG math.ST stat.ML
Quantum Multi-Armed Bandits and Stochastic Linear Bandits Enjoy Logarithmic Regrets
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
多臂强盗（MAB）和随机线性强盗（SLB）是强化学习中的重要模型，而经典的时域强盗算法$T$存在$Ω(\sqrt{T})$缺陷。在本文中，我们研究了MAB和SLB与量子奖励预言，并提出了量子算法的两个模型与$O(\mbox{poly}(\log T))$的遗憾，指数改善的依赖$T$。据我们所知，这是第一个可证明的量子加速强盗问题的遗憾和一般利用强化学习。与以前关于MAB和强化学习的量子探索算法的文献相比，我们的量子输入模型更简单，并且只假设每个手臂都有量子预言机。
2022-05-30 cs.LG quant-ph
Combinatorial Multi-armed Bandits: Arm Selection via Group Testing
Department of Electrical, Computer, and Systems Engineering, Rensselaer Polytechnic Institute（拉特格斯理工学院电子、计算机与系统工程系）；IBM T.J. Watson Research Center（IBM沃森研究中心）
本文研究带基数约束的组合多臂老虎机问题，提出利用分组测试选择超级臂和量化Thompson sampling估计参数的新算法，在对数复杂度下实现了与精确预言机方法相同的遗憾阶。
2024-10-14 cs.AI cs.IT cs.LG
Efficient and Optimal Algorithms for Contextual Dueling Bandits under Realizability
Microsoft Research（微软研究院）
我们研究了$K$ -武装上下文决斗强盗问题，一个顺序的决策设置，学习者使用上下文信息做出两个决定，但只观察到\emph{preference-based feedback}表明，一个决定是优于其他。我们专注于可实现性下的后悔最小化问题，其中反馈是由一个成对的偏好矩阵，以及指定的一个给定的函数类$\mathcal F$。我们提供了一个新的算法，实现了最佳的遗憾率的最佳对策遗憾，这是一个严格的更强的性能指标比以前的作品中考虑的新概念。该算法也是计算效率高，在多项式时间内运行，假设访问一个在线的oracle平方损失回归$\mathcal F$。这解决了Dudík等人的一个公开问题。[2015]关于上下文决斗强盗的Oracle有效，遗憾最优算法。
2021-11-24 cs.LG
Restless and Uncertain: Robust Policies for Restless Bandits via Deep Multi-Agent Reinforcement Learning
Harvard University（哈佛大学）
我们引入鲁棒性\textit{restless multi-armed bandits}（RMABs），一个流行的模型之间的约束资源分配独立的随机过程（武器）。几乎所有的RMAB技术假设随机动力学是精确已知的。然而，在许多现实世界的设置中，动态是用显著的\emph{uncertainty}来估计的，例如，通过历史数据，如果忽略这些数据，可能会导致不良结果。为了解决这个问题，我们开发了一个算法来计算极小极大遗憾-鲁棒的策略RMABs。我们的方法使用了一个双甲骨文框架（甲骨文的\textit{agent}和\textit{nature}），这是经常用于单过程的强大的规划，但需要显着的新技术，以适应组合性质的RMAB。具体来说，我们设计了一种深度强化学习（RL）算法DDLPO，它通过学习辅助“$λ$ -网络”与每个手臂的策略网络相结合来应对组合挑战，大大降低了样本复杂性，并保证了收敛。DDLPO，一般的利益，实现我们的奖励最大化代理甲骨文。然后，我们解决了具有挑战性的遗憾最大化的自然预言机，一个非静态的强化学习的挑战，通过制定它作为一个多代理强化学习问题之间的政策优化器和对抗性。这个公式是普遍感兴趣的-我们解决它的RMABs通过创建一个多代理扩展DDLPO与共享的评论家。我们证明了我们的方法在三个实验领域工作得很好。
2022-06-21 cs.LG
BISTRO: An Efficient Relaxation-Based Method for Contextual Bandits
University of Pennsylvania（宾夕法尼亚大学）；Cornell University（康奈尔大学）
我们提出了有效的算法与i.i.d.上下文土匪的问题。协变量、任意的奖励序列和任意的策略类。我们的算法BISTRO需要d调用的经验风险最小化（ERM）的甲骨文每轮，其中d是行动的数量。该方法使用未标记的数据，使问题的计算简单。当ERM问题本身是计算困难的，我们通过采用乘法近似算法的ERM扩展的方法。放松的完整性差距只进入遗憾界而不是基准。最后，我们证明了当全信息监督在线学习问题具有非平凡的后悔保证（和有效）时，上下文强盗问题的对抗版本是可学习的（和有效的）。
2016-02-06 cs.LG stat.ML
Building Bridges: Viewing Active Learning from the Multi-Armed Bandit Lens
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们提出了一个多臂强盗启发，池为基础的主动学习算法的问题的二进制分类。通过仔细构建一个类比之间的主动学习和多臂土匪，我们利用的想法，如置信下限，自洽正则化从多臂土匪文献设计我们提出的算法。我们的算法是一个顺序算法，它在每一轮中分配一个采样分布在池中，从这个分布中采样一个点，并查询这个采样点的标签的oracle。这种抽样分布的设计也受到了主动学习和多臂强盗之间的类比的启发。我们将展示如何推导出我们的算法所需的置信下限。与先前提出的主动学习算法的实验比较表明，在一些标准的UCI数据集上的性能优越。
2013-09-26 cs.LG stat.ML
Lifelong Bandit Optimization: No Prior and No Regret
ETH Zurich（苏黎世联邦理工学院）
针对序列赌博机优化任务，提出LIBO算法，通过元学习未知共享核实现样本高效，无需先验且遗憾收敛至预言机最优，并扩展联邦版本F-LIBO。
2023-06-20 cs.AI cs.LG stat.ML
Lipschitz Bandit Optimization with Improved Efficiency
我们认为Lipschitz强盗优化问题的实际效率的重点。虽然有丰富的文献对这类问题的遗憾分析，例如，[Kleinberg et al. 2008，Bubeck et al. 2011，Slivkins 2014]，他们提出的算法存在严重的实际问题，包括极端的时间复杂度和对oracle实现的依赖。有了这个动机，我们提出了一种新的算法与上置信界（UCB）的探索，即树UCB-Hoeffding，使用自适应分区。我们的分区方案很容易实现，不需要任何Oracle设置。使用基于树的搜索策略，对于第一次$T$迭代，总计算成本可以改进为$\mathcal{O}(T\log T)$。此外，我们的算法实现的遗憾下界的对数因子。
2019-05-15 cs.AI cs.LG math.OC
Contextual Bandits with Smooth Regret: Efficient Learning in Continuous Action Spaces
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
设计有效的通用上下文强盗算法，与大-甚至连续-动作空间将有助于应用到重要的场景，如信息检索，推荐系统和连续控制。虽然获得标准的遗憾保证可能是无望的，但已经提出了替代遗憾概念来解决大动作设置。我们提出了一个顺利的遗憾的概念，上下文土匪，占主导地位的先前提出的替代品。我们设计了一个统计和计算效率高的算法-建议顺利遗憾-工程与一般函数近似下的标准监督神谕。我们还提出了一个自适应算法，自动适应任何平滑度。我们的算法可以用来恢复以前的最小最大/帕累托最优保证下的标准遗憾，例如，在多个最佳武器的强盗问题和Lipschitz/H{<$}lder强盗问题中。我们进行大规模的实证评估，证明我们提出的算法的有效性。
2022-07-12 cs.LG stat.ML
A Contextual Bandit Bake-off
New York University（纽约大学）；Microsoft Research（微软研究院）；Inria（法国国家信息与自动化研究所）
上下文强盗算法对于解决许多现实世界的交互式机器学习问题是必不可少的。尽管最近在统计和计算效率方法上取得了多项成功，但这些算法的实际行为仍然知之甚少。我们利用大量监督学习数据集的可用性来经验性地评估上下文强盗算法，重点关注通过依赖监督学习的优化预言来学习的实用方法。我们发现，最近的方法（福斯特等人，2018）在不确定性下使用乐观主义总体效果最好。令人惊讶的是，第二个是一个简单的贪婪基线，它只通过上下文的多样性进行隐式探索，然后是在线封面的变体（Agarwal et al.，2014年），这往往是更保守的，但鲁棒的问题规格的设计。一路上，我们还评估了上下文强盗算法设计的各个组成部分，如损失估计。总体而言，这是一个深入的研究和审查语境土匪方法论。
2021-06-04 cs.LG stat.ML
Stochastic Online Instrumental Variable Regression: Regrets for Endogeneity and Bandit Feedback
Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
本文针对在线学习中噪声与协变量相关的内生性问题，提出在线两阶段最小二乘法 O2SLS 及其老虎机算法 OFUL-IV，并证明其遗憾界与现有外生性方法同阶或匹配下界。
2024-02-25 cs.LG stat.ML
Upper Counterfactual Confidence Bounds: a New Optimism Principle for Contextual Bandits
Columbia University（哥伦比亚大学）
针对现有乐观算法难处理通用函数类与大上下文空间的问题，提出在策略空间构建置信界的UCCB原则，可高效处理相关场景并拓展至无限动作上下文赌博机。
2024-03-09 cs.LG math.ST stat.ML
(Private) Kernelized Bandits with Distributed Biased Feedback
Virginia Tech（弗吉尼亚理工大学）；Wayne State University（韦恩州立大学）
在本文中，我们研究了具有分布偏置反馈的核化Bandits。这个问题是由几个现实世界的应用程序（如动态定价，蜂窝网络配置和政策制定），其中来自大量人口的用户贡献的奖励由中央实体选择的行动，但很难收集来自所有用户的反馈。相反，只有来自用户子集的有偏见的反馈（由于用户异质性）可能是可用的。除了这样的部分偏置反馈，我们还面临着两个实际的挑战，由于通信成本和计算复杂性。为了应对这些挑战，我们精心设计了一个新的\emph{distributed phase-then-batch-based elimination (\texttt{DPBE})}算法，该算法分阶段对用户进行采样以收集反馈，以减少偏差，并在每个阶段内使用\emph{maximum variance reduction}批量选择动作。通过适当地选择相位长度，批量大小，和用于消除次优行动的置信宽度，我们表明，\texttt{DPBE}实现了$\tilde{O}(T^{1-α/2}+\sqrt{γ_T T})$，其中$α\in (0,1)$是用户采样参数可以调整的次线性遗憾。此外，\texttt{DPBE}可以显着降低通信成本和计算复杂度的分布式内核化的强盗，相比一些变体的国家的最先进的算法（最初开发的标准内核化的强盗）。此外，通过将各种\emph{differential privacy}模型（包括中央，本地和洗牌模型），我们概括了…
2023-02-07 cs.LG cs.NA math.NA
Bandits in Prod: Hyperparameter Optimization at Inference Time
Tiime
该研究针对生产系统推理时超参数优化的问题，提出IMABO框架，结合IMOSS策略与三类神谕，在多类OHPO场景中实现了更低的累积遗憾。
2026-09-03 cs.AI cs.LG
Leveraging User-Triggered Supervision in Contextual Bandits
Google Research（谷歌研究院）
我们研究上下文强盗（CB）的问题，用户有时可以在给定的上下文中的最佳行动作出回应。例如，在文本预测或自动完成设置中出现这样的交互，其中简单地忽略差的建议，并且用户输入所需的文本。至关重要的是，这种额外的反馈仅在一部分上下文上由用户触发。我们开发了一个新的框架来利用这些信号，同时对它们的偏见性质保持稳健。我们还增加了标准的CB算法，以利用信号，并显示改进的遗憾保证所产生的算法在各种条件下的有益性和偏见固有的这种反馈。
2023-02-07 cs.LG stat.ML
