Transfer Learning in Latent Contextual Bandits with Covariate Shift Through Causal Transportability
Aalto University（阿尔托大学）
本文针对潜在上下文赌博机在协变量偏移下的迁移学习问题，利用因果可迁移性理论设计算法，避免负迁移，并通过变分自编码器处理高维代理，实验证明其学习效率优于基线。
2025-02-27 cs.LG
Causal Bandits with Unknown Graph Structure
University of Michigan（密歇根大学）；Adobe Inc.（Adobe公司）
在因果强盗问题中，行动集由因果图的变量上的干预组成。最近，一些研究人员研究了此类强盗问题，并指出了它们的实际应用。然而，所有现有的作品都依赖于一个限制性的和不切实际的假设，即学习者预先获得因果图结构的全部知识。在本文中，我们开发了新的因果强盗算法不知道因果图。我们的算法适用于因果树，因果森林和一般类的因果图。我们的算法的遗憾保证大大提高了标准的多臂强盗（MAB）算法在温和的条件下。最后，我们证明我们的温和的条件是必要的：没有他们不能做得比标准的MAB算法。
2021-11-09 cs.LG stat.ML
Bandit Online Learning with Unknown Delays
University of Minnesota - Twin Cities（明尼苏达大学双城分校）
本文研究了多臂强盗（MAB）和强盗凸优化（BCO）环境下的带有未知延迟反馈的强盗在线学习问题。MAB和BCO仅需要通过反馈变得可用的所涉及的目标函数的值，并且用于估计出现在相应的迭代算法中的梯度。由于具有\emph{unknown}延迟的反馈的挑战性情况阻止了人们构建所寻求的梯度估计，因此现有的MAB和BCO算法变得难以处理。对于这种具有挑战性的设置，分别为MAB和BCO开发了延迟探索、开发和指数（DEXP3）迭代以及延迟强盗梯度下降（DBGD）迭代。利用统一的分析框架，建立了DEXP 3和DBGD的遗憾分别是${\cal O}\big( \sqrt{K\bar{d}(T+D)} \big)$和${\cal O}\big( \sqrt{K(T+D)} \big)$，其中$\bar{d}$是最大延迟，$D$表示在$T$时隙上累积的延迟。数值试验使用合成和真实数据验证DEXP3和DBGD的性能。
2019-05-28 cs.LG stat.ML
Nonparametric Contextual Bandits in an Unknown Metric Space
National University of Singapore（新加坡国立大学）；Cornell University（康奈尔大学）
考虑非参数上下文多臂强盗问题，其中每个臂$a \in [K]$与从上下文映射到期望奖励的非参数奖励函数$f_a: [0,1] \to \mathbb{R}$相关联。假设有一个大的手臂集合，但在手臂奖励函数中有一个简单但未知的结构，例如有限类型或关于未知度量空间的光滑。我们提出了一种新的算法，学习数据驱动的相似性之间的武器，为了实现自适应分区的上下文臂空间更有效的学习。我们提供了遗憾的界限，以及模拟，突出算法的依赖于局部几何的奖励函数。
2019-08-03 cs.LG stat.ML
Distributionally Robust Policy Evaluation under General Covariate Shift in Contextual Bandits
Johns Hopkins University（约翰斯·霍普金斯大学）；Caltech（加州理工学院）
针对上下文赌博机在上下文与策略分布同时偏移时的离线评估问题，提出基于稳健回归奖励模型的直接与双重稳健估计量，并给出有限样本偏差界和显著优于基线的实验结果。
2024-08-09 cs.LG
Mostly Exploration-Free Algorithms for Contextual Bandits
Wharton School（沃顿商学院）；Stanford Graduate School of Business（斯坦福商学院）；Stanford University（斯坦福大学）
传统上，上下文强盗文献重点关注解决勘探-开发权衡的算法。特别地，利用当前估计而不进行任何探索的贪婪算法通常可能是次优的。然而，无探索贪婪算法在探索可能是昂贵的或不道德的（例如，临床试验）。令人惊讶的是，我们发现，一个简单的贪婪算法可以率最优（实现渐近最优后悔），如果有足够的随机性在所观察到的情况下（协变量）。我们证明，这总是一个两个武装土匪的情况下，一般类的上下文分布，满足一个条件，我们长期协变量多样性。此外，即使没有这个条件，我们证明了贪婪算法可以是率最优的正概率。因此，标准的强盗算法可能不必要地探索。受这些结果的启发，我们引入了Greedy-First，这是一种新的算法，它只使用观察到的上下文和奖励来确定是遵循贪婪算法还是探索。我们证明了该算法是速率最优的，而无需对上下文分布或臂数进行任何额外的假设。大量的模拟表明，贪婪第一成功地减少了探索，并优于现有的（基于探索）上下文的强盗算法，如汤普森采样或置信上限（UCB）。
2020-04-19 cs.LG stat.ML
SPARKLE: A Nonparametric Approach for Online Decision-Making with High-Dimensional Covariates
Department of Industrial Systems Engineering and Management, National University of Singapore（新加坡国立大学工业系统工程与管理系）；Division of Emerging Interdisciplinary Areas, The Hong Kong University of Science and Technology（香港科学与技术大学新兴跨学科领域分校）；Department of Industrial Engineering and Decision Analytics, The Hong Kong University of Science and Technology（香港科学与技术大学工业工程与决策分析系）
SPARKLE是一种基于稀疏加法奖励模型的非参数上下文老虎机算法，通过双重惩罚估计器和自适应筛选平衡探索与利用，首次在高维协变量中实现子线性遗憾界。
2026-01-06 cs.LG stat.ME stat.ML
Single Index Bandits: Generalized Linear Contextual Bandits with Unknown Reward Functions
Microsoft（微软公司）；University of California, Davis（加州大学戴维斯分校）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of California, Los Angeles（加州大学洛杉矶分校）；National University of Singapore（新加坡国立大学）
本文提出单索引老虎机问题，针对未知奖励函数设计STOR和ESTOR算法，实现近最优遗憾界，并在高维稀疏环境下验证算法有效性。
2026-02-07 cs.LG stat.ML
Batched Single-Index Global Multi-Armed Bandits with Covariates
Department of Mathematics, Applied Mathematics and Statistics, Case Western Reserve University（数学系、应用数学与统计学系，凯斯西储大学）；Department of Statistics, Pennsylvania State University（统计系，宾夕法尼亚州立大学）
本文提出了一种新的半参数框架，用于带有协变量的批量老虎机问题，通过引入共享参数和单索引回归模型来捕捉臂奖励之间的关系，提出BIDS算法，在两种设置下推导了理论遗憾界，证明了在协变量维度为1时非参数批量老虎机的最优率。
2026-05-20 cs.LG math.ST stat.ME
Batched Nonparametric Contextual Bandits
Committee on Computational and Applied Mathematics, University of Chicago（计算与应用数学委员会，芝加哥大学）；Department of Statistics, University of Chicago（统计学系，芝加哥大学）
该研究针对批量约束下的非参数上下文老虎机问题，建立极小极大遗憾下界，提出动态划分协变量空间的批量学习算法，证明近乎恒定次数的策略更新可达到完全在线设定下的最优遗憾。
2025-10-03 cs.LG math.ST stat.ML
Contexts can be Cheap: Solving Stochastic Contextual Bandits with Linear Bandit Algorithms
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出一种归约框架，将随机上下文线性赌博机问题转化为线性赌博机问题求解，在上下文分布已知或未知时均能取得近最优遗憾界，并推广到批量、误设定、稀疏及对抗污染等多种情形。
2023-05-27 cs.LG stat.ML
Optimal cross-learning for contextual bandits with unknown context distributions
Google Research（谷歌研究院）
针对未知上下文分布的对抗性上下文赌博机交叉学习设定，提出一种高效算法，实现与上下文数量无关的$\widetilde{O}(\sqrt{TK})$近乎紧致遗憾界，并首次为第一价格拍卖学习出价和休眠赌博机提供近乎紧致的遗憾界。
2024-01-03 cs.LG stat.ML
Additive Causal Bandits with Unknown Graph
DeepMind（深度思维）
针对因果图未知的因果老虎机最优干预选择难题，提出加性假设下的动作消除算法，无需显式学习结果父节点即可找到最优干预，给出样本复杂度界并通过实验验证。
2023-06-13 cs.LG stat.ML
Learning Adversarial MDPs with Bandit Feedback and Unknown Transition
Princeton University（普林斯顿大学）；University of Southern California（南加利福尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑的学习问题，情节有限时域马尔可夫决策过程的未知的过渡函数，强盗反馈，和对抗性损失。我们提出了一个有效的算法，实现$\mathcal{\tilde{O}}(L|X|\sqrt{|A|T})$遗憾的概率高，其中$L$是地平线，$|X|$是状态的数量，$|A|$是行动的数量，和$T$是情节的数量。据我们所知，我们的算法是第一个确保$\mathcal{\tilde{O}}(\sqrt{T})$在这种具有挑战性的设置中后悔的算法;事实上，它实现了与考虑更容易设置的完整信息反馈相同的后悔界限（Rosenberg & Mansour，2019 a）。我们的关键技术贡献是双重的：一个更严格的信心集的过渡功能，和乐观的损失估计，是由$\textit{upper occupancy bound}$逆加权。
2020-11-02 cs.LG stat.ML
Low-Rank Single-Index Bandits with Unknown Links: From Matrices to Tensors
本研究提出T-ESTOR和T-BSTOR算法，解决低秩矩阵与张量老虎机中未知奖励链接的问题，分别实现最优遗憾界，并通过实验验证了结构化估计的优势。
2026-09-29 cs.LG stat.ML
Optimal Data Driven Resource Allocation under Multi-Armed Bandit Observations
University of Athens（雅典大学）；Leiden University（莱顿大学）；Rutgers University（罗格斯大学）
本文研究带资源补充侧约束的多臂老虎机问题，首次提出渐近最优策略，推导遗憾下界并构造达到下界的策略，给出多种分布情形下的显式形式。
2025-02-06 cs.LG stat.ML
Smoothness-Adaptive Contextual Bandits
Stanford University（斯坦福大学）
研究了一类随机协变量的非参数多臂强盗问题，其中一个关键的复杂性驱动因素是支付函数关于协变量的光滑性。以往的研究主要集中在推导极小极大最优算法的情况下，它是一个先验已知如何顺利的支付函数。然而，在实践中，支付函数的平滑度通常是事先不知道的，并且平滑度的错误指定可能会严重恶化现有方法的性能。在这项工作中，我们考虑一个框架，支付函数的平滑度是未知的，并研究何时以及如何算法可以适应未知的平滑度。首先，我们建立，设计算法，适应未知的光滑的支付函数，在一般情况下，是不可能的。然而，在自相似条件下（这不会降低手头的动态优化问题的极大极小复杂性），我们建立适应未知的平滑是可能的，并进一步设计了一个通用的策略，实现平滑自适应性能。我们的政策在整个决策过程中推断收益的平滑性，同时利用现成的非自适应政策的结构。我们建立，无论是可微或不可微的支付函数的问题设置，这种政策相匹配（对数尺度）的后悔率，是可以实现的平滑的回报是已知的先验。
2021-10-15 cs.LG stat.ML
Causal Bandits: The Pareto Optimal Frontier of Adaptivity, a Reduction to Linear Bandits, and Limitations around Unknown Marginals
University of Toronto（多伦多大学）；Vector Institute（向量研究院）；Ben-Gurion University（本-古里安大学）
本文研究多臂赌博机中因果结构的自适应问题，建立了自适应率的帕累托最优前沿，首次通过归约到线性赌博机获得实例相关界，并揭示了未知边际分布对改进极小极大率的根本限制。
2024-07-01 cs.LG stat.ML
BISTRO: An Efficient Relaxation-Based Method for Contextual Bandits
University of Pennsylvania（宾夕法尼亚大学）；Cornell University（康奈尔大学）
我们提出了有效的算法与i.i.d.上下文土匪的问题。协变量、任意的奖励序列和任意的策略类。我们的算法BISTRO需要d调用的经验风险最小化（ERM）的甲骨文每轮，其中d是行动的数量。该方法使用未标记的数据，使问题的计算简单。当ERM问题本身是计算困难的，我们通过采用乘法近似算法的ERM扩展的方法。放松的完整性差距只进入遗憾界而不是基准。最后，我们证明了当全信息监督在线学习问题具有非平凡的后悔保证（和有效）时，上下文强盗问题的对抗版本是可学习的（和有效的）。
2016-02-06 cs.LG stat.ML
Stochastic Online Instrumental Variable Regression: Regrets for Endogeneity and Bandit Feedback
Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
本文针对在线学习中噪声与协变量相关的内生性问题，提出在线两阶段最小二乘法 O2SLS 及其老虎机算法 OFUL-IV，并证明其遗憾界与现有外生性方法同阶或匹配下界。
2024-02-25 cs.LG stat.ML
Randomized Allocation with Nonparametric Estimation for Contextual Multi-Armed Bandits with Delayed Rewards
University of Minnesota（明尼苏达大学）
我们研究了一个多臂强盗问题的协变量设置有可能延迟观察奖励。在对延迟的概率分布进行一些温和的假设下，并使用适当的随机化来选择武器，所提出的策略是强一致的。
2019-09-04 cs.LG math.ST stat.ML
Regret Bounds for Thompson Sampling in Episodic Restless Bandit Problems
University of Michigan（密歇根大学）
不安分土匪问题是非静止多武装土匪的实例。这些问题已经从优化的角度进行了很好的研究，其目标是在系统参数已知的情况下有效地找到一个接近最优的策略。然而，很少有论文采用学习的角度来看，参数是未知的。在本文中，我们分析了汤普森采样的性能在情节不安土匪未知参数。我们考虑一个一般的政策地图来定义我们的竞争对手，并证明了一个$\tilde{\mathcal{O}}(\sqrt{T})$贝叶斯遗憾界。我们的竞争对手足够灵活，可以代表各种基准，包括最佳固定动作策略，最优策略，Whittle指数策略或近视策略。我们还提出了支持我们的理论研究结果的实证结果。
2019-10-26 cs.LG stat.ML
Analysis of Thompson Sampling for Partially Observable Contextual Multi-Armed Bandits
情境多臂强盗是强化学习中与个体信息相关联的序列决策的经典模型。一个广泛使用的强盗策略是汤普森采样，其中来自数据驱动的关于未知参数的概率信念的样本用于选择控制动作。对于这种计算速度快的算法，性能分析可在全上下文观测下使用。然而，很少有人知道的问题，上下文不完全观察。我们提出了一个汤普森采样算法的部分可观察的上下文多武装土匪，并建立理论性能保证。从技术上讲，我们表明，所提出的政策尺度的遗憾与时间和武器的数量，线性的维度。此外，我们建立学习未知参数的速率，并提供说明性的数值分析。
2021-11-29 cs.LG stat.ML
Stochastic Network Utility Maximization with Unknown Utilities: Multi-Armed Bandits Approach
Indian Institute of Technology Bombay（印度理工学院孟买分校）
在本文中，我们研究了一个新的随机网络效用最大化（NUM）问题，其中代理的效用是未知的。每个代理的效用取决于它从网络运营商/控制器接收的资源量。运营商希望进行使网络的预期总效用最大化的资源分配。我们考虑阈值类型的效用函数，其中每个代理获得非零效用，如果它收到的资源量高于一定的阈值。否则，其效用为零（硬实时）。我们把这个NUM设置与未知的效用作为一个遗憾最小化问题。我们的目标是确定一个政策，执行作为一个Oracle的政策，知道代理的实用程序。我们将这个问题设置为一个强盗设置，在每一轮中获得的反馈取决于分配给代理的资源。我们提出了这种新的设置使用多播放多武装土匪和组合半土匪的想法算法。我们表明，该算法是最优的，当所有代理具有相同的效用。我们通过数值实验验证了我们提出的算法的性能保证。
2020-06-17 cs.LG cs.NI stat.ML
Problem-Complexity Adaptive Model Selection for Stochastic Linear Bandits
UC Berkeley（加州大学伯克利分校）
我们考虑两个流行的随机线性强盗设置的模型选择问题，并提出算法，适应未知的问题的复杂性。在第一个设置中，我们考虑$K$武装混合强盗，其中武装$i \in [K]$的平均奖励是$μ_i+ \langle α_{i,t},θ^* \rangle $，其中$α_{i,t} \in \mathbb{R}^d$是已知的上下文向量，而$μ_i \in [-1,1]$和$θ^*$是未知参数。我们定义$\|θ^*\|$作为问题的复杂性，并考虑一系列嵌套的假设类，每个假设一个不同的上限$\|θ^*\|$。利用这一点，我们提出了自适应线性强盗（ALB），一种新的相位为基础的算法，适应真正的问题的复杂性，$\|θ^*\|$。我们发现，ALB实现了$O(\|θ^*\|\sqrt{T})$的遗憾缩放，其中$\|θ^*\|$是先验未知的。作为一个推论，当$θ^*=0$，ALB恢复极小极大遗憾的简单强盗算法没有这样的知识$θ^*$。ALB算法是第一个使用参数范数作为线性强盗模型截面准则的算法。现有技术的算法\cite{osom}实现了$O(L\sqrt{T})$的遗憾，其中$L$是$\|θ^*\|$的上限，作为问题的输入。在第二种情况下，我们考虑标准的线性强盗问题（可能有无限数量的武器）的稀疏性$θ^*$，表示为$d^* \leq d$，是未知的算法。定义$d^*$的问题的复杂性，我们表明，ALB实现了$O(d^…
2020-06-15 cs.LG stat.ML
Linear Stochastic Bandits Under Safety Constraints
Bandit算法在安全关键系统中有各种应用，其中重要的是要尊重依赖于每一轮Bandit未知参数的系统约束。在本文中，我们制定了一个线性随机多臂土匪问题的安全约束，依赖于（线性）的一个未知参数向量。因此，学习者无法识别所有安全动作，并且必须保守地采取行动，以确保她的动作在所有回合中都满足安全约束（至少具有高概率）。对于这些土匪，我们提出了一个新的UCB为基础的算法称为安全LUCB，其中包括必要的修改，尊重安全约束。该算法有两个阶段。在纯探索阶段，学习者从一组有限的安全动作中随机选择她的动作，目标是学习整个未知安全集的良好近似。一旦实现了这个目标，算法就开始了一个安全的探索-利用阶段，在这个阶段，学习者逐渐扩大他们对安全行动集的估计，同时控制后悔的增长。我们提供了一个一般的遗憾边界的算法，以及一个问题相关的界限，连接到安全集内的最佳行动的位置。然后，我们提出了一个修改后的启发式，利用我们的问题相关的分析，以改善遗憾。
2019-08-16 cs.LG stat.ML
Provably Efficient Reinforcement Learning for Adversarial Restless Multi-Armed Bandits with Unknown Transitions and Bandit Feedback
Stony Brook University（石溪大学）
本文针对未知转移和老虎机反馈下的对抗性不安多臂老虎机问题，提出一种结合有偏对抗奖励估计器和低复杂度索引策略的强化学习算法，首次实现 $\tilde{\mathcal{O}}(H\sqrt{T})$ 遗憾界。
2024-05-02 cs.AI cs.LG stat.ML
A Parallel algorithm for $\mathcal{X}$-Armed bandits
Shanghai Jiao Tong University（上海交通大学）；Nanjing University（南京大学）
$\mathcal{X}$ -armed bandit问题的目标是在给定有限的$n$估计的情况下，找到未知随机函数$f$的全局最大值.最近，$\mathcal{X}$ -武装匪徒已被广泛用于许多情况。这些应用程序中有许多需要处理大规模数据集。为了处理这些大规模的数据集，我们研究了一个分布式设置的$\mathcal{X}$武装土匪，其中$m$球员合作，以找到最大的未知函数。提出了一种新的任意时刻分布式$\mathcal{X}$武装强盗算法。与以前的工作相比，$\mathcal{X}$武装匪徒，我们的算法使用了一个完全不同的搜索策略，以适应分布式学习的情况。理论分析表明，该算法比传统的单人算法快$m$倍。此外，在$mn$中，该算法的通信轮数仅为对数。数值结果表明，该方法可以有效地利用每个局中人的资源，使损失最小化。因此，我们的分布式方法是有吸引力和有用的。
2015-10-26 cs.LG stat.ML
Structured Stochastic Linear Bandits
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
随机线性强盗问题在轮中进行，其中在每轮中，算法从决策集中选择向量，之后它接收由未知向量参数化的噪声线性损失。这样的问题的目标是最小化（伪）遗憾，这是算法的总预期损失和事后最佳固定向量的总预期损失之间的差异。在本文中，我们考虑未知参数具有结构的设置，例如，稀疏的、组稀疏的、低秩的，其可以由范数捕获，例如，$L_1$，$L_{(1,2)}$，核标准。我们专注于构建置信椭圆，其中包含的未知参数在所有轮的高概率。我们表明，这种椭球的半径取决于高斯宽度集与规范捕获的结构。这样的表征导致更紧密的置信椭圆，因此，更尖锐的遗憾界相比，在现有的文献中的边界是基于环境的维度。
2016-06-17 cs.LG stat.ML
Safe Linear Bandits over Unknown Polytopes
Boston University（波士顿大学）；University of Michigan（密歇根大学）
本文研究未知多胞体上的安全线性老虎机问题，提出双重乐观策略 DOSS，通过奖励与安全风险的乐观估计选择动作，并利用对偶分析证明其能同时实现 $O(\log^2 T)$ 效能遗憾和 $\tilde O(\sqrt{T})$ 安全违规界。
2024-07-01 cs.LG stat.ML
Linear Causal Bandits: Unknown Graph and Soft Interventions
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文针对未知因果图与未知随机干预模型的一般线性因果老虎机问题，提出计算高效算法，并给出匹配的遗憾上界与极小极大下界，揭示图规模影响随轮次减弱。
2024-11-04 cs.LG stat.ML
Efficient Contextual Bandits with Continuous Actions
New York University（纽约大学）；University of Arizona（亚利桑那大学）；Microsoft Research（微软研究院）
我们创建了一个计算上易于处理的算法，上下文土匪具有未知结构的连续行动。我们的约简式算法与大多数监督学习表示相结合。我们证明了它在一般意义上的工作，并验证了新的功能与大规模的实验。
2020-12-03 cs.LG stat.ML
Optimistic Policy Optimization with Bandit Feedback
Technion - Israel Institute of Technology（以色列理工学院）；Tel Aviv University（特拉维夫大学）
策略优化方法是强化学习（RL）算法中应用最广泛的一类。然而，到目前为止，这些方法主要是从优化的角度进行分析，没有解决探索的问题，或者通过对与环境的相互作用进行强有力的假设。在本文中，我们考虑基于模型的RL在表格有限地平线MDP设置未知的过渡和强盗反馈。对于这种设置，我们提出了一个乐观的信任域策略优化（TRPO）算法，我们建立$\tilde O(\sqrt{S^2 A H^4 K})$后悔随机奖励。此外，我们证明了$\tilde O( \sqrt{ S^2 A H^4 } K^{2/3} ) $后悔对抗性奖励。有趣的是，这一结果匹配以前的边界得出的强盗反馈的情况下，但与已知的过渡。据我们所知，这两个结果是第一次获得的次线性遗憾界的策略优化算法与未知的过渡和强盗反馈。
2020-06-18 cs.LG stat.ML
Unknown Delay for Adversarial Bandit Setting with Multiple Play
Wichita State University（威奇托州立大学）；Department of Electrical Engineering and Computer Science（电气工程与计算机科学系（不单独作为机构提取，此处主要机构为大学））
研究了具有多重博弈的多臂强盗系统中的未知时延问题。现有的工作类似的游戏设置只集中在学习者在每一轮选择一个手臂的情况下。然而，在机器人技术中有很多应用，学习者需要在每一轮中选择多个手臂。因此，当选择多个臂时，研究延迟的影响是值得的。在此设置中，每轮选择的多个臂使得它们经历相同的延迟量。可以有一个聚合的反馈损失，从不同的组合中选择的武器在不同的回合，学习者面临的挑战，关联的反馈损失的武器产生他们。针对这一问题，提出了一种基于延迟指数的多播开发与探索（DEXP3.M）算法。遗憾界仅比DEXP3的遗憾稍差，DEXP3已经为具有未知延迟的单次播放设置提出。
2020-10-01 cs.LG cs.MA stat.ML
An Asymptotically Optimal Policy for Uniform Bandits of Unknown Support
Rutgers University（罗格斯大学）
考虑控制器从有限数量的$N \geq 2$总体中顺序采样的问题，由随机变量$X^i_k$，$ i = 1,\ldots , N,$和$k = 1, 2, \ldots$指定;其中$X^i_k$表示在采样$k^{th}$时总体$i$的结果。假设对于每个固定的$i$，$\{ X^i_k \}_{k \geq 1}$是i.i.d.在某个区间$[a_i, b_i]$上的均匀随机变量，具有支持（即，$a_i, b_i$）不为控制器所知。目的是制定政策$π$，根据可用数据决定在任何时间从哪个$N$人群中采样$n=1,2,\ldots$，以最大化$n$样本的预期结果总和，或等效地最小化由于缺乏参数$\{ a_i \}$和$\{ b_i \}$信息而导致的遗憾。在本文中，我们提出了一个简单的膨胀样本均值（ISM）型政策，是渐近最优的意义上，它的遗憾达到Burnetas和Katehakis（1996）的渐近下界。此外，有限时域后悔界。
2015-09-24 cs.LG stat.ML
Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition
Nanjing University（南京大学）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
本文研究老虎机反馈下带未知转移和对抗损失的线性混合MDP强化学习，提出利用全状态访问信息的最小二乘估计器与适配的自归一化浓度方法，得到更优的高概率遗憾界。
2024-03-07 cs.LG stat.ML
Online Survival Analysis: A Bandit Approach under Cox PH Model
Department of Statistics（统计学系）
本文基于Cox PH模型，提出在线强化学习方法，解决生存分析中阶梯进入、延迟反馈和右删失等挑战，通过理论保证和实验验证，实现高效学习最优治疗策略。
2026-04-22 cs.LG stat.ML
Thompson Sampling for Linear Bandit Problems with Normal-Gamma Priors
我们认为汤普森采样线性强盗问题的许多独立的武器，奖励是从正态分布，线性依赖于未知的参数向量和未知的方差采样。具体而言，与贝叶斯公式，我们认为多元正态伽马先验代表环境的不确定性，所有涉及的参数。我们证明了我们选择的抽样先验是奖励模型的共轭先验，并在方差分布的5/2矩存在的条件下，得到了Thompson抽样的贝叶斯后悔界.
2023-03-06 cs.AI cs.LG stat.ML
Simple regret for infinitely many armed bandits
University of Cambridge（剑桥大学）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
考虑一类具有无穷多个臂的随机强盗问题。在这种设置中，学习器甚至没有机会尝试所有的臂一次，并且必须将其有限数量的样本仅用于一定数量的臂。所有以前的算法都是为了最小化学习者的累积遗憾而设计的。在本文中，我们提出了一个算法，旨在最小化简单的遗憾。在无限多个武装匪徒的累积后悔设置中，简单后悔率将取决于表征接近最优武器分布的参数$β$。我们证明，根据$β$，我们的算法是最小最大最优的乘法常数或高达一个$\log(n)$因素。我们还提供了扩展到几个重要的情况下：当$β$是未知的，在一个自然的设置，接近最佳的武器有一个小的方差，在未知的时间范围的情况下。
2015-05-18 cs.LG stat.ML
Model Selection in Contextual Stochastic Bandit Problems
University of California Berkeley（加州大学伯克利分校）；University of Massachusetts（马萨诸塞大学）；DeepMind（深度思维）；Adobe（奥多比）；Google Research（谷歌研究院）；University of Alberta（阿尔伯塔大学）
研究随机环境中的强盗模型选择问题。我们的方法依赖于一个元算法，候选人之间的基础算法进行选择。我们开发了一个基于元算法的算法抽象，可以与一般类的基本算法和不同类型的对抗元算法。我们的方法依赖于一个新的和通用的平滑变换的强盗算法，使我们能够获得最佳的$O(\sqrt{T})$模型选择保证随机上下文的强盗问题，只要最佳的基础算法满足高概率的遗憾保证。我们通过一个下界表明，即使当一个基本算法有$O(\log T)$遗憾，在一般情况下，它是不可能得到更好的模型选择比$Ω(\sqrt{T})$遗憾，甚至渐近。使用我们的技术，我们解决模型选择在各种问题，如错误指定的线性上下文土匪，线性土匪与未知的维度和强化学习与未知的特征映射。我们的算法需要最佳基遗憾的知识来调整元算法的学习率。我们表明，没有这样的先验知识，任何元算法可以遭受的遗憾大于最佳的基础遗憾。
2022-12-04 cs.LG stat.ML
Non-Stochastic Control with Bandit Feedback
Princeton University（普林斯顿大学）；Google AI Princeton（谷歌人工智能普林斯顿）
研究了具有对抗扰动的线性动力系统的控制问题，其中控制器的唯一反馈是标量损失，而损失函数本身是未知的。对于这个问题，无论系统是已知的还是未知的，我们都给出了一个有效的次线性后悔算法。算法的主要困难在于损失对过去控制的依赖性。为了克服这个问题，我们提出了一个有效的算法的一般设置的强盗凸优化的损失函数的记忆，这可能是独立的利益。
2020-08-12 cs.LG math.OC stat.ML
Learning Orthogonal Projections in Linear Bandits
Nanyang Technological University（南洋理工大学）
在线性随机强盗模型中，每个臂是欧几里得空间中的向量，并且在每个时间步处观察到的回报是在该时间步处所选择的臂的未知线性函数。在本文中，我们研究的问题，学习最好的手臂在线性随机土匪模型，其中每个手臂的预期回报是一个未知的线性函数的投影臂到一个子空间。我们称之为投射奖励。与经典的线性强盗问题不同，在该问题中，观察到的回报对应于奖励，在每个时间步的投影奖励是不可观察的。这样的模型在推荐应用中是有用的，其中观察到的回报包括每个人的偏见的腐败，我们希望在学习模型中排除。在有很多手臂的情况下，我们开发了一种策略来实现$O(|\bbD|\log n)$遗憾，其中$n$是时间步长的数量，$|\bbD|$是手臂的数量。在每个手臂是从一个无限紧集选择的情况下，我们的策略实现了$O(n^{2/3}(\log{n})^{1/2})$遗憾。实验验证了该策略的有效性。
2019-10-24 cs.LG stat.ML
Online Model Selection: a Rested Bandit Formulation
Italian Institute of Technology（意大利理工学院）；Google Research（谷歌研究院）；University College London（伦敦大学学院）
出于一个自然的问题，在线模型选择与强盗信息，我们介绍和分析了最佳的手臂识别问题，在休息的强盗设置，其中手臂预期损失减少的次数，手臂已经发挥。期望损失函数的形状在各臂之间是相似的，并且假设对于必须在运行中学习的未知参数是可用的。我们为这个问题定义了一个新的后悔概念，我们将其与总是在游戏结束时具有最小预期损失的策略进行比较。我们分析了一个手臂消除算法，其遗憾消失的时间范围增加。实际的收敛速度在细节上取决于预期损失的假定函数形式。不同于已知的模型选择的努力，在最近的土匪文学，我们的算法利用问题的具体结构，学习的未知参数的预期损失函数，以确定最好的手臂尽快。我们补充我们的分析与下限，表明所提出的解决方案的优势和局限性。
2020-12-07 cs.LG stat.ML
Thompson Sampling on Asymmetric $α$-Stable Bandits
Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）
在强化学习的算法优化中，如何处理探索-利用困境尤为重要。多臂强盗问题可以通过改变奖励分配来优化所提出的解，实现探索与开发之间的动态平衡。汤普森抽样是求解多臂强盗问题的一种常用方法，已被用来探索符合各种规律的数据。本文考虑了多臂强盗问题的Thompson抽样方法，其中报酬服从未知的非对称$α$ -稳定分布，并探讨了其在金融和无线数据建模中的应用.
2022-03-25 cs.LG stat.ML
Adapting to Misspecification in Contextual Bandits
Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（柯朗数学科学研究所）
上下文强盗的一个主要研究方向是开发计算效率高，但支持灵活，通用功能近似的算法。基于建模奖励的算法表现出很强的经验性能，但通常需要一个明确的模型，并且当这个假设不成立时可能会失败。我们能否设计出高效、灵活的算法，但在面对模型错误时却能优雅地降级？我们引入了一个新的家庭的预言机高效的算法$\varepsilon$ -错误指定的上下文土匪，适应未知的模型错误指定-有限和无限的行动设置。由于访问一个在线的预言平方损失回归，我们的算法达到最佳的遗憾，特别是最佳的依赖于错误的水平，没有先验知识。专门为线性上下文土匪无限行动$d$维度，我们得到了第一个算法，实现了最佳的$O(d\sqrt{T} + \varepsilon\sqrt{d}T)$遗憾界未知的误指定水平$\varepsilon$。在概念层面上，我们的研究结果是通过对Foster和Rakhlin的回归Oracle简化框架的新的基于优化的视角实现的，我们预计这将得到更广泛的使用。
2021-07-12 cs.LG stat.ML
Algorithms with Logarithmic or Sublinear Regret for Constrained Contextual Bandits
University of California at Davis（加州大学戴维斯分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了具有预算和时间约束的上下文强盗问题，时间和预算约束使得上下文之间的耦合性大大增加，从而使得获取已知强盗统计信息的预言解变得困难.为了获得洞察力，我们首先研究具有已知上下文分布的单位成本系统。当预期的回报是已知的，我们开发了一个近似的预言，称为自适应线性规划（ALP），它实现了近最优，只需要预期的回报排序。有了这些非常理想的功能，然后我们结合ALP与置信上限（UCB）的方法在一般情况下，预期的回报是未知的{ \it先验}。我们表明，建议的UCB-ALP算法实现对数遗憾，除了某些边界的情况下。此外，我们设计的算法，并获得类似的遗憾分析结果更一般的系统与未知的上下文分布和异构成本。据我们所知，这是第一个工作，表明如何实现对数遗憾的约束上下文土匪。此外，这项工作也揭示了计算效率的算法的研究一般约束上下文土匪。
2015-10-19 cs.LG stat.ML
Multitask Bandit Learning Through Heterogeneous Feedback Aggregation
University of California San Diego（加州大学圣地亚哥分校）；University of Arizona（亚利桑那大学）
在许多现实世界的应用中，多个智能体试图学习如何执行高度相关但略有不同的任务，在一个在线的强盗学习协议。我们制定这个问题的$ε$ -多玩家多武装土匪问题，其中一组球员同时与一组武器，并为每个手臂，奖励分配的所有球员是相似的，但不一定相同。我们开发了一个基于置信上限的算法，RobustAgg $(ε)$，自适应地聚合不同玩家收集的奖励。在玩家之间的奖励分布的成对相似性的上限是已知的设置中，我们实现了依赖于玩家之间信息共享的顺从性的实例依赖的后悔保证。我们补充这些上限与几乎匹配的下限。在设置成对的相似性是未知的，我们提供了一个下界，以及一个算法，权衡最小最大遗憾保证适应未知的相似性结构。
2021-07-20 cs.LG stat.ML
PopArt: Efficient Sparse Regression and Experimental Design for Optimal Sparse Linear Bandits
University of Arizona（亚利桑那大学）
本文提出高效稀疏线性估计方法PopArt及凸实验设计准则，推导出改进regret上界的稀疏线性bandit算法，并在数据匮乏场景下证明了匹配下界。
2023-11-17 cs.LG stat.ML
Bounded Regret for Finitely Parameterized Multi-Armed Bandits
Texas A&M University（得克萨斯农工大学）
我们考虑的问题，参数化的多武装土匪的模型的基础随机环境可以根据一个共同的未知参数。真实参数对于学习代理是未知的。然而，可能的参数集是有限的，是先验已知的。我们提出了一种算法，这是简单和易于实现，我们称之为参数化的上界置信度（FP-UCB）算法，它使用的基本参数集的信息更快的学习。特别是，我们证明了FP-UCB算法实现了一些结构条件下的基本参数集的有界遗憾。我们还表明，如果基本参数集不满足必要的结构条件，FP-UCB算法实现了对数遗憾，但与标准UCB算法相比，具有较小的前一常数。我们还通过大量的数值模拟验证了FP-UCB算法的优越性能。
2020-11-07 cs.LG stat.ML
Online Learning and Decision-Making under Generalized Linear Model with High-Dimensional Data
Penn State University（宾夕法尼亚州立大学）；University at Buffalo（布法罗大学）
针对在线学习和决策过程中决策者面对高维数据的问题，提出了一种广义线性模型下的极小极大凹惩罚多臂Bandit算法（G-MCP-Bandit）.我们证明了G-MCP-Bandit算法在样本大小维度T，O（log T）上渐近地达到最优累积后悔，并进一步在协变量维度d，O（log d）上达到一个紧界.此外，我们还提出了一种线性逼近方法，即两步加权Lasso方法，来确定非iid样本下G-MCP-Bandit算法的MCP估计量。在此过程中，MCP估计以高概率匹配Oracle估计，并以最佳收敛速度收敛到真参数。最后，通过基于合成数据和两个真实数据集（华法林用药数据集和腾讯搜索广告数据集）的实验，证明了G-MCP-Bandit算法优于其他基准算法，尤其是在数据稀疏度较高或决策集较大的情况下。
2018-12-07 cs.LG stat.ML
Estimating Optimal Policy Value in General Linear Contextual Bandits
Stanford University（斯坦福大学）；Google Research（谷歌研究院）；Microsoft Research（微软研究院）；Georgia Institute of Technology（佐治亚理工学院）
在许多强盗问题中，策略所能达到的最大回报往往是事先未知的。我们考虑的问题，估计最优策略值的次线性数据制度之前，最优策略甚至是可学习的。我们将此称为$V^*$估计。最近表明，快速$V^*$估计是可能的，但仅在具有高斯协变量的不相交线性Bandits中。对于模型选择等任务来说，这是否可能用于更真实的上下文分布仍然是一个开放且重要的问题。在本文中，我们首先提供了下界，表明这个一般问题是困难的。然而，在更强的假设下，我们给出了一个算法和分析证明，$\widetilde{\mathcal{O}}(\sqrt{d})$次线性估计的$V^*$确实是信息理论上可能的，其中$d$的尺寸。然后，我们提出了一个更实用的，计算效率高的算法，估计问题依赖的上界$V^*$，适用于一般分布，是紧的上下文分布时，高斯。我们证明了我们的算法只需要$\widetilde{\mathcal{O}}(\sqrt{d})$样本来估计上界。我们使用这个上界和估计，以获得新的和改进的保证几个应用程序中的强盗模型的选择和测试的治疗效果。
2023-02-19 cs.LG stat.ML
Individual Regret in Cooperative Nonstochastic Multi-Armed Bandits
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究了代理人通过交换消息在底层网络上进行通信，以优化他们在一个共同的非随机多臂强盗问题中的个人遗憾。我们得出遗憾最小化算法，保证每个代理$v$个人预期的遗憾$\widetilde{O}\left(\sqrt{\left(1+\frac{K}{\left|\mathcal{N}\left(v\right)\right|}\right)T}\right)$，其中$T$是时间步长的数量，$K$是行动的数量和$\mathcal{N}\left(v\right)$是一组邻居的代理$v$在通信图。我们提出的算法的情况下，通信图是已知的所有代理，和图是未知的情况下。当图是未知的，每个代理只知道它的邻居的集合和代理的总数的上限。模型之间的个体遗憾仅通过对数因子而不同。我们的工作解决了来自[Cesa-Bianchi et al.，2019年b]。
2019-11-16 cs.LG stat.ML
Online Batch Decision-Making with High-Dimensional Covariates
Purdue University（普渡大学）
我们提出并研究了一类新的顺序决策算法，互动与\textit{a batch of users}同时，而不是\textit{a user}在每个决策时期。这种类型的批量模型的动机是互动营销和临床试验，其中一组人同时接受治疗，并在下一阶段的决策之前收集整个组的结果。在这种情况下，我们的目标是根据观察到的高维用户协变量分配一批治疗，以最大限度地提高治疗效果。我们提供了一个解决方案，名为\textit{Teamwork LASSO Bandit algorithm}，解决了一个批处理版本的探索-开拓困境，通过在整个决策过程中的团队合作阶段和自私的阶段之间的切换。这是可能的基础上的统计特性LASSO估计的治疗效果，适应一系列的批次观察。在一般情况下，最优分配条件的速率，提出描绘的勘探和开发权衡的数据收集方案，这是足够的LASSO，以确定观察到的用户协变量的最佳处理。给出了该算法的期望累积遗憾的上界。
2020-02-27 cs.LG stat.ML
Nearly Optimal Adaptive Procedure with Change Detection for Piecewise-Stationary Bandit
Uber Technologies Inc.（优步科技公司）；Adobe Research（Adobe研究部）；Google Research（谷歌研究部）；Georgia Tech（佐治亚理工学院（注：Georgia Tech 通常译为佐治亚理工学院））
多臂强盗（MAB）是一类在线学习问题，其中学习代理的目标是最大化其预期的累积奖励，同时重复选择拉动具有未知奖励分布的手臂。我们考虑的情况下，奖励分布可能会改变在一个分段固定的方式在未知的时间步长。我们表明，通过将一个简单的变化检测组件与经典的UCB算法检测和适应变化，我们所谓的M-UCB算法可以实现接近最佳的遗憾界的顺序为$O(\sqrt{MKT\log T})$，其中$T$是时间步长的数量，$K$是武器的数量，和$M$是固定段的数量。与最佳可用下限的比较表明，我们的M-UCB在$T$中几乎是最佳的对数因子。我们还比较M-UCB与国家的最先进的算法在数值实验中使用公共雅虎！数据集，以展示其卓越的性能。
2019-01-24 cs.LG stat.ML
