Algorithms with Logarithmic or Sublinear Regret for Constrained Contextual Bandits
University of California at Davis（加州大学戴维斯分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了具有预算和时间约束的上下文强盗问题，时间和预算约束使得上下文之间的耦合性大大增加，从而使得获取已知强盗统计信息的预言解变得困难.为了获得洞察力，我们首先研究具有已知上下文分布的单位成本系统。当预期的回报是已知的，我们开发了一个近似的预言，称为自适应线性规划（ALP），它实现了近最优，只需要预期的回报排序。有了这些非常理想的功能，然后我们结合ALP与置信上限（UCB）的方法在一般情况下，预期的回报是未知的{ \it先验}。我们表明，建议的UCB-ALP算法实现对数遗憾，除了某些边界的情况下。此外，我们设计的算法，并获得类似的遗憾分析结果更一般的系统与未知的上下文分布和异构成本。据我们所知，这是第一个工作，表明如何实现对数遗憾的约束上下文土匪。此外，这项工作也揭示了计算效率的算法的研究一般约束上下文土匪。
2015-10-19 cs.LG stat.ML
Fixed-Budget Constrained Best Arm Identification in Grouped Bandits
IIT Bombay（印度理工学院孟买分校）
本文提出FCSR算法，用于在分组老虎机中实现固定预算约束下的最佳臂识别，通过确保可行性来优化性能。
2026-03-04 cs.LG stat.ML
Thompson Sampling for Linearly Constrained Bandits
KTH Royal Institute of Technology（KTH皇家理工学院）；University of California Berkeley（加州大学伯克利分校）
我们解决多武装土匪（MAB）的目标是最大化的累积奖励下的概率线性约束。对于这个问题的几个现实世界的例子，最近提出了著名的汤普森采样（TS）启发式的约束扩展。然而，受限TS的有限时间分析是具有挑战性的;因此，在累积奖励损失上仅O（\sqrt{T}）界限（即，遗憾的是）。在本文中，我们描述了LinConTS，一个基于TS的强盗算法，对每一轮获得奖励的概率进行线性约束。我们表明，对于LinConTS，遗憾以及累积约束违反的上限为O（\log T）的次优武器。我们开发了一种证明技术，依赖于仔细分析的对偶问题，并结合它与最近的理论工作无约束TS。通过在两个真实数据集上的数值实验，我们证明了LinConTS在同时最小化后悔和违规方面优于渐近最优置信上限（UCB）方案.
2020-05-12 cs.LG stat.ML
Risk-Constrained Thompson Sampling for CVaR Bandits
National University of Singapore（新加坡国立大学）
多臂强盗（MAB）问题是一个普遍存在的决策问题，体现了探索-开发权衡。标准公式排除了决策中的风险。风险明显复杂化的基本回报最大化的目标，部分原因是没有普遍认同的定义it. In本文中，我们考虑一个流行的风险度量在定量金融称为条件风险价值（CVaR）。我们探讨了基于汤普森采样的算法CVaR-TS在此风险度量下的性能。我们提供了全面的比较，我们的遗憾边界与国家的最先进的L/UCB为基础的算法在可比的设置，并证明其明显的改善性能。我们还包括数值模拟经验验证CVaR-TS优于其他L/UCB为基础的算法。
2021-02-04 cs.LG stat.ML
Constrained Pure Exploration Multi-Armed Bandits with a Fixed Budget
Indian Institute of Technology Bombay（印度理工学院孟买分校）
我们考虑一个约束，纯勘探，随机多臂强盗制定下一个固定的预算。每个臂与未知的、可能是多维的分布相关联，并且由作为该分布的函数的多个属性描述。其目的是根据用户对其他属性的定义约束来优化特定属性。该框架模拟了金融投资组合优化等应用程序，在这些应用程序中，执行平均收益的风险约束最大化是很自然的。我们假设属性可以使用来自臂分布的样本来估计，并且这些估计量满足适当的浓度不等式。我们提出了一个算法称为\textsc{Constrained-SR}的基础上的连续的Reflection框架，建议一个最佳的手臂和标志的实例是可行的或不可行的。该算法的一个关键特点是，它是基于信息论的双臂实例的下限。我们描述了一个依赖于实例的上限错误的概率下\textsc{Constrained-SR}，指数衰减的预算。我们进一步表明，在某些特殊情况下，相关的衰减率是接近最佳的相对于信息理论的下限。
2022-11-27 cs.LG stat.ML
Budget-Constrained Bandits over General Cost and Reward Distributions
The Ohio State University（俄亥俄州立大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
我们考虑了一个无约束的强盗问题，其中每个手臂拉招致一个随机的成本，并产生一个随机的回报。目标是在总成本的预算约束下，最大化总期望报酬。该模型是通用的，因为它允许相关且可能重尾的成本回报对，这些对可以根据许多应用的要求呈现负值。我们表明，如果时刻的顺序$(2+γ)$为一些$γ> 0$存在的所有成本-回报对，$O(\log B)$遗憾是可以实现的预算$B>0$。为了实现严格的遗憾界，我们提出了算法，利用成本和回报之间的相关性，通过提取共同的信息，通过线性最小均方误差估计的每个手臂。我们证明了这个问题的遗憾下界，并表明，所提出的算法实现紧问题相关的遗憾界，这是最佳的联合高斯成本和奖励对的情况下，一个普遍的常数因子。
2020-02-29 cs.LG stat.ML
Power Constrained Bandits
Harvard University（哈佛大学）；Stanford University（斯坦福大学）
情境强盗通常在决策问题中提供简单有效的个性化，使其成为在移动健康以及其他健康应用中提供个性化干预的流行工具。然而，当在科学研究的背景下部署bandits时-例如，测试移动保健干预措施是否有效的临床试验-目的不仅是为个人提供个性化服务，而且是以足够的统计能力确定系统的干预措施是否有效。在更广泛地部署干预措施以更好地分配资源分配之前，必须评估干预措施的效力。这两个目标通常部署在不同的模型假设下，因此很难确定实现个性化和统计能力如何相互影响。在这项工作中，我们开发了通用的元算法来修改现有的算法，以保证足够的功率，同时仍然提高每个用户的福祉。我们还表明，我们的元算法是强大的各种模型错误规格可能出现在统计研究，从而提供了一个有价值的工具，研究设计师。
2021-07-27 cs.LG stat.ML
Constrained regret minimization for multi-criterion multi-armed bandits
Stanford University（斯坦福大学）；IIT Bombay（印度理工学院孟买分校）；IIT Madras（印度理工学院马德拉斯分校）
考虑随机多臂强盗环境，研究了在给定时间范围内的约束后悔最小化问题。每个手臂都与一个未知的，可能是多维的分布相关联，手臂的优点是由几个可能相互冲突的属性决定的。其目的是优化一个“主”属性受用户提供的其他“次要”属性的约束。我们假设属性可以使用来自臂分布的样本来估计，并且估计量具有适当的集中性质。我们提出了一种称为Con-LCB的算法，它保证了对数遗憾，即，所有非最优臂的平均游戏次数在视界中至多是对数。该算法还输出布尔标志，该布尔标志以高概率正确地识别给定实例相对于约束是否可行/不可行。我们还表明，Con-LCB是最佳的一个普遍的常数，即，更复杂的算法不可能普遍地做得更好。最后，我们建立了一个基本的权衡后悔最小化和可行性识别。我们的框架发现自然的应用程序，例如，在金融投资组合优化，风险约束最大化的预期收益是有意义的。
2023-01-04 cs.LG stat.ML
An Asymptotically Optimal Strategy for Constrained Multi-armed Bandit Problems
Sogang University（西江大学）
对于随机多臂强盗（MAB）问题，从一个约束模型，推广经典的，我们证明了一个渐近最优性是可以实现的一个简单的策略扩展从$ε_t$ -贪婪的战略。我们提供了一个有限的时间下界的概率正确选择的最佳近可行的手臂，持有所有的时间步骤。在某些条件下，当时间$t$趋于无穷大时，该界趋近于1。还讨论了具有$(1-\frac{1}{t})^4$数量级的渐近收敛速率的$\{ε_t\}$的特定示例序列，该序列从足够大的$t$成立。
2018-05-03 cs.LG math.OC stat.ML
Constrained Pareto Set Identification with Bandit Feedback
Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9198-CRIStAL, F-59000 Lille, France（里尔大学、法国国家科学研究中心、Inria、Centrale Lille、UMR 9198-CRIStAL）；Univ. Bordeaux, Inserm, Inria, BPH, U1219, Sistm, F-33000 Bordeaux, France（波尔多大学、法国国家医学研究院、Inria、BPH、U1219、Sistm）
针对多目标 K 臂赌博机中的线性可行性约束，本文提出固定置信度 Pareto 集识别算法，证明其样本复杂度接近信息论下界，并在基准上优于赛马与两阶段方法。
2025-06-09 cs.LG stat.ML
An Index-based Deterministic Asymptotically Optimal Algorithm for Constrained Multi-armed Bandit Problems
Sogang University（西江大学）
对于有约束的多臂强盗模型，通过构造证明了存在一个基于指标的确定性渐近最优算法。最优性是通过选择最优可行臂的概率收敛到无限水平上的概率来实现的。该算法是建立在Locatelli等人。的“随时无参数阈值”算法的假设下，最优值是已知的。我们给出了渐近最优性概率的一个有限时间界，该概率为1-O（|A| Te^{-T}），其中T是视界大小，A是强盗中的臂的集合。然后，我们研究了一个宽松的版本的算法，估计的最优值的一般形式，并讨论了算法的渐近最优性后，一个足够大的T的例子。
2020-07-29 cs.LG math.OC stat.ML
Exploiting Concavity Information in Gaussian Process Contextual Bandit Optimization
Duke University（杜克大学）
针对已知平均奖励随动作呈凹性的上下文赌博机问题，提出将凹性约束融入高斯过程后验的 UCB 算法，并给出遗憾界与抗凝血剂量优化实验验证。
2026-10-22 cs.LG stat.ML
A Simple Reduction Scheme for Constrained Contextual Bandits with Adversarial Contexts via Regression
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Tata Institute of Fundamental Research（塔塔基础研究院）
本文提出了一种通过回归将约束上下文老虎机问题简化为无约束问题的方法，适用于对抗性上下文设置，并提供了改进的保证和透明的分析。
2026-02-04 cs.LG
Pessimism for Offline Linear Contextual Bandits using $\ell_p$ Confidence Sets
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Chicago（芝加哥大学）
我们提出了一个家庭$\{\hatπ\}_{p\ge 1}$的悲观学习规则离线学习的线性上下文土匪，依赖于不同的$\ell_p$规范，其中$\hatπ_2$对应于贝尔曼一致的悲观（BCP），而$\hatπ_\infty$是一个新的推广置信下限（LCB）的线性设置的置信集。我们表明，新的$\hatπ_\infty$学习规则是，在某种意义上说，自适应最优的，因为它实现了极大极小性能（对数因子）对所有$\ell_q$约束的问题，因此，它严格地主导了家庭中的所有其他预测，包括$\hatπ_2$。
2022-10-04 cs.LG stat.ML
Convex Methods for Constrained Linear Bandits
Stanford University（斯坦福大学）；University of California Santa Barbara（加州大学圣塔芭芭拉分校）
本文提出利用凸规划工具构建计算高效的安全线性赌博机算法框架，刻画最优策略性质并设计仅含凸问题的端到端流水线，数值评估验证其性能。
2023-11-10 cs.LG cs.SY eess.SY
Learning in Markovian bandits with non-observable states and constrained decision epochs
IRIT, Université de Toulouse, CNRS, Toulouse INP（图卢兹大学IRIT实验室，法国国家科学研究中心，图卢兹国立理工学院）；Ikerbasque-UPV/EHU, University of the Basque Country（巴斯克科学与技术联盟-巴斯克大学）
研究状态不可观测且决策时段可能受限的马尔可夫强盗问题，提出自退化马尔可夫强盗模型，设计UCB-NOM算法实现近对数遗憾，并证明无先验知识时遗憾超对数下界。
2026-06-29 cs.LG
Continuous-Time Multi-Armed Bandits with Controlled Restarts
The Ohio State University（俄亥俄州立大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
时间约束决策过程在物理学、生物学和计算机科学的许多基础应用中是普遍存在的。最近，重新启动策略获得了显着的关注，以提高效率的时间约束的过程，加快完成时间。在这项工作中，我们研究了时间约束决策过程的控制重启的强盗问题，并开发了可证明的好的学习算法。特别是，我们考虑一个强盗设置，其中每个决策都需要随机的完成时间，并在最后产生随机且相关的奖励，决策时的值未知。决策者的目标是在时间约束$τ$下最大化期望总回报。作为额外的控制，我们允许决策者中断正在进行的任务，放弃其奖励，以获得潜在的更有价值的替代方案。对于这个问题，我们开发了有效的在线学习算法$O(\log(τ))$和$O(\sqrt{τ\log(τ)})$遗憾在有限和连续的动作空间的重新启动策略，分别。我们证明了我们的算法的适用性，使用它来提高SAT求解器的性能。
2020-06-30 cs.LG math.OC stat.ML
Constrained Contextual Bandits with Adversarial Contexts
Indian Institute of Technology Kharagpur（印度理工学院哈里科尔）；Tata Institute of Fundamental Research（印度基础研究科学研究院）
研究在对抗性情境下的预算约束情境老虎机问题，通过在线回归预言机将约束问题转化为标准无约束情境老虎机问题，改进了对更一般对抗性情境的保证。
2026-10-14 cs.LG
Stochastic Bandits with Linear Constraints
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
我们研究了一个受约束的上下文线性强盗设置，代理的目标是产生一系列的政策，其预期的累积奖励的过程中的$T$轮是最大的，每个有一个预期的成本低于一定的阈值$τ$。我们提出了一个置信上限算法，称为乐观悲观线性强盗（OPLB），并证明了$\widetilde{\mathcal{O}}(\frac{d\sqrt{T}}{τ-c_0})$界上的$T$轮遗憾，其中分母是之间的差异的约束阈值和成本的一个已知的可行的行动。我们进一步专门研究我们的结果，多武装匪徒，并提出了一个计算效率高的算法，这种设置。在$K$ -armed bandits中，我们证明了该算法的遗憾界$\widetilde{\mathcal{O}}(\frac{\sqrt{KT}}{τ- c_0})$，这是对我们通过简单地将多武器bandits转换为上下文线性bandits的实例并使用OPLB的遗憾界得到的遗憾界的$\sqrt{K}$改进.我们还证明了一个下界的问题研究的文件，并提供模拟来验证我们的理论结果。
2020-06-17 cs.LG stat.ML
Greedy methods, randomization approaches and multi-arm bandit algorithms for efficient sparsity-constrained optimization
University of Rouen（鲁昂大学）；LITIS Lab（LITIS实验室）；Aix-Marseille University（艾克斯-马赛大学）；LIF（LIF实验室）
一些稀疏约束算法，如正交匹配追踪或具有稀疏约束的Frank-Wolfe算法，通过迭代地选择一个新的原子添加到当前非零变量集来工作。该选择步骤通常通过计算梯度，然后通过寻找具有最大绝对条目的梯度分量来执行。这一步可能是计算昂贵的，特别是对于大规模和高维数据。在这项工作中，我们的目标是加速这些稀疏约束优化算法，利用关键的观察，这些算法的工作，只需要梯度的顶部条目的坐标。因此，我们引入基于贪婪方法和随机化方法的算法，旨在廉价地估计梯度及其顶部条目。我们的另一个贡献是投的问题，找到最好的梯度条目作为一个最好的手臂识别多臂强盗问题。由于这种新颖的见解，我们能够提供一种基于Bandit的算法，以非常有效的方式直接估计顶部条目。理论观察指出，由此产生的不精确的弗兰克-沃尔夫或正交匹配追踪算法的行为，具有很高的概率，类似于他们的确切版本也给出了。我们已经进行了几个实验表明，贪婪的确定性和土匪的方法，我们提出可以实现一个数量级的加速，同时作为有效的精确梯度时，使用的算法，如OMP，弗兰克-沃尔夫或CoSaMP。
2016-08-22 cs.LG
An Algorithm for Stochastic and Adversarial Bandits with Switching Costs
University of Copenhagen（哥本哈根大学）；Università degli Studi di Milano（米兰大学）
我们提出了一个算法的随机和对抗性的多臂土匪切换成本，该算法支付的价格$λ$每次切换正在播放的手臂。我们的算法基于Zimmert和Seldin（2021）的Tsallis-INF算法的改编，并且不需要预先知道政权或时间范围。在不经意的对抗设置中，它达到了$O\big((λK)^{1/3}T^{2/3} + \sqrt{KT}\big)$的最小最大最优遗憾界，其中$T$是时间范围，$K$是手臂的数量。在随机约束的对抗机制中，包括随机机制作为特殊情况，它实现了$O\left(\big((λK)^{2/3} T^{1/3} + \ln T\big)\sum_{i \neq i^*} Δ_i^{-1}\right)$的遗憾界，其中$Δ_i$是次优间隙，$i^*$是唯一的最优臂。在$λ= 0$（无转换成本）的特殊情况下，这两个界在常数内都是极小极大最优的。我们还探讨了问题的变体，其中切换成本允许随着时间的推移而变化。我们提供的实验评估显示我们的算法的竞争力与相关的基线中的随机，随机约束的对抗，对抗制度与固定的切换成本。
2021-02-19 cs.LG stat.ML
Constrained Feedback Learning for Non-Stationary Multi-Armed Bandits
Stony Brook University（石溪大学）
本文针对反馈受限的非平稳多臂老虎机问题，提出首个无需先验知识的算法，并证明其达到近最优动态遗憾。
2025-09-18 cs.LG
Adapting to Misspecification in Contextual Bandits with Offline Regression Oracles
Stanford University（斯坦福大学）
计算效率高的上下文强盗通常基于使用过去的数据估计给定上下文和武器的奖励的预测模型。然而，当奖励模型没有很好地指定，强盗算法可能会招致意想不到的遗憾，所以最近的工作集中在算法，是强大的误指定。我们提出了一个简单的家庭的上下文强盗算法，通过恢复到一个很好的安全的政策时，有证据表明，误指定是造成遗憾的增加，以适应误指定错误。我们的算法只需要一个离线回归预言，以确保遗憾的保证，优雅地降低在平均误指定水平的措施。与先前的工作相比，我们获得了类似的遗憾保证，但我们不依赖于主算法，并且不需要更强大的预言机，如在线或约束回归预言机（例如，Foster等人（2020 a）; Krishnamurthy等人（2020））。这使我们能够为更一般的函数近似类设计算法。
2021-06-11 cs.LG stat.ML
Budget-Constrained Multi-Armed Bandits with Multiple Plays
University of California, Berkeley（加州大学伯克利分校）
我们研究了多个播放和预算约束的随机和对抗设置的多臂土匪问题。在每一轮中，必须从$N$可能的武器中精确地打出$K$（用$1\leq K \leq N$）。除了观察每只手的单独奖励之外，玩家还学习必须用先验定义的预算$B$覆盖的成本向量。当与所玩武器相关联的当前成本的总和超过剩余预算时，游戏结束。首先，我们分析这种设置的随机情况下，我们假设每个手臂有一个基本的成本和回报分布的支持$[c_{\min}, 1]$和$[0, 1]$，分别。我们推导出一个置信上限（UCB）算法，实现$O(NK^4 \log B)$遗憾。其次，对于整个序列的奖励和成本是事先固定的对抗的情况下，我们推导出一个上界的遗憾顺序$O(\sqrt{NB\log(N/K)})$利用著名的$\texttt{Exp3}$算法的扩展。我们还提供了上界，持有高概率和秩序$Ω((1 - K/N)^2 \sqrt{NB/K})$的下界。
2017-11-16 cs.AI cs.LG stat.ML
Budget-Constrained Causal Bandits: Bridging Uplift Modeling and Sequential Decision-Making
本文提出预算约束因果老虎机框架，解决冷启动场景下的广告分配问题，通过在线学习提升用户响应并优化预算分配，相较于传统方法更高效且稳定。
2026-08-31 cs.LG econ.EM stat.ML
Truly Adapting to Adversarial Constraints in Constrained MABs
Politecnico di Milano（米兰理工学院）
本文提出在受限多臂老虎机中适应对抗性约束的算法，实现最优遗憾和正约束违反率，同时处理随机和对抗性环境。
2026-02-16 cs.LG stat.ML
Constrained Best Arm Identification in Grouped Bandits
IIT Bombay（印度理工学院孟买分校）
针对分组老虎机中需满足属性奖励阈值约束的最优臂识别问题，刻画了策略性能基本极限，提出接近最优的基于置信区间的策略并提供理论保证，仿真验证其性能优于两种改进的动作消除策略。
2024-12-11 cs.LG
Improved Algorithms for Conservative Exploration in Bandits
Facebook AI Research（Facebook人工智能研究（Facebook AI Research））
在数字营销、医疗保健、金融和机器人等许多领域，通常在生产中运行经过良好测试且可靠的基线策略（例如，推荐系统）。然而，基线政策往往不是最佳的。在这种情况下，期望部署在线学习算法（例如，多臂Bandit算法），其与系统交互以在学习过程期间性能几乎永远不会比基线本身的性能差的约束下学习更好/最优策略。本文研究了上下文线性bandit环境下的保守学习问题，并提出了一种新的算法--保守约束LinUCB（CLUCB 2）。我们得出遗憾的界限CLUCB 2匹配现有的结果和经验表明，它优于国家的最先进的保守的强盗算法在一些合成和现实世界的问题。最后，我们考虑了一个更现实的约束，性能验证只在预定义的检查点（而不是在每一步），并显示这种放松的约束有利地影响遗憾和经验表现的CLUCB 2。
2020-02-08 cs.LG stat.ML
Better Best of Both Worlds Bounds for Bandits with Switching Costs
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究了具有切换成本的强盗的两全其美算法，最近由Rouyer，Seldin和Cesa-Bianchi在2021年提出。我们引入了一个令人惊讶的简单和有效的算法，同时实现极小极大最佳遗憾界的$\mathcal{O}(T^{2/3})$在不经意的对抗设置和约束的随机约束制度，无论是（单位）切换成本，其中$Δ$是武器之间的差距$\mathcal{O}(\min\{\log (T)/Δ^2,T^{2/3}\})$的界限。在随机约束的情况下，由于Rouyer等人，从而实现了$\mathcal{O}(T^{1/3}/Δ)$的遗憾。我们伴随着我们的结果与下界表明，在一般情况下，$\tildeΩ(\min\{1/Δ^2,T^{2/3}\})$遗憾是不可避免的随机约束的情况下，算法与$\mathcal{O}(T^{2/3})$最坏情况下的遗憾。
2022-11-02 cs.LG
A Combinatorial Semi-Bandit Approach to Charging Station Selection for Electric Vehicles
Volvo Car Corporation（沃尔沃汽车公司）；Chalmers University of Technology（查尔姆斯理工大学）
在这项工作中，我们解决了电池电动汽车（BEV）的长距离导航问题，其中需要一个或多个充电会话才能到达预定目的地。我们认为充电站的可用性和性能是未知的和随机的，并开发了一个组合的半土匪探索道路网络学习的排队时间和充电功率分布的参数框架。在这个框架内，我们首先概述了道路网络图的预处理，以有效的方式处理约束组合优化问题。然后，对于预处理的图，我们使用贝叶斯方法来建模的随机边权重，利用共轭先验的单参数指数和两个参数的伽玛分布，后者是新的多臂土匪文学。最后，我们应用组合版本的汤普森采样，贝叶斯UCB和Epsilon贪婪的问题。我们展示了我们的框架在国家规模的道路网络中的长距离导航问题实例的性能，在挪威，瑞典和芬兰的模拟实验。
2023-01-17 cs.LG stat.ML
Communication-Constrained Bandits under Additive Gaussian Noise
National University of Singapore（新加坡国立大学）
研究加性高斯噪声和二阶矩功率约束下的分布式随机多臂老虎机，给出极小极大遗憾下界，并提出多阶段 UE-UCB++ 算法实现近似匹配。
2023-06-06 cs.IT cs.LG math.IT
Think Before You Duel: Understanding Complexities of Preference Learning under Constrained Resources
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；TTIC（丰田技术研究所）
本文研究资源约束下的决斗式老虎机奖励最大化问题，指出其因反馈相对性而更难且不可学习，并提出一种基于EXP3的算法，实现了$\tilde{\mathcal{O}}(OPT^{(b)}/B \cdot K^{1/3}T^{2/3})$遗憾，并通过模拟验证有效性。
2023-12-28 cs.LG stat.ML
Safety by Design: Realized-Cost Constraints for Contextual Bandits with Continuous Actions
Boston University（波士顿大学）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学博德研究所）
针对带连续动作的上下文博弈机，提出高概率约束UCB算法，通过保守估计安全动作集保障实现代价安全，实验显示其能显著减少安全违规。
2026-08-28 cs.LG
Contextual Bandits for Resource-Constrained Devices using Probabilistic Learning
Sapienza University of Rome（罗马大学）；Örebro University（奥雷布罗大学）；Örebro University Linköping University（奥雷布罗大学-林奈大学）；Örebro University Research Institutes of Sweden（瑞典奥雷布罗大学研究机构）
本文提出了一种低精度的概率HD-CB方法，通过概率更新规则替代确定性累积，减少更新成本并提升决策质量。
2026-05-13 cs.LG
Constrained Thompson Sampling for Wireless Link Optimization
KTH Royal Institute of Technology（瑞典皇家理工学院）；Ericsson Research（爱立信研究院）；University of California, Berkeley（加州大学伯克利分校）
无线通信系统工作在复杂的时变环境中。因此，在这些系统中选择最佳的配置参数是一个具有挑战性的问题。对于无线链路，\emph{rate selection}用于选择最佳数据传输速率，该速率可在应用程序定义的延迟约束下最大化链路吞吐量。我们模型的速率选择作为一个随机的多臂强盗（MAB）的问题，其中一组有限的传输速率建模为独立的强盗武器。对于这种设置，我们提出了Con-TS，一种新的约束版本的汤普森采样算法，其中的延迟要求建模的高概率线性约束。我们表明，对于Con-TS，T个传输间隔内的预期约束违规次数的上限为O（\sqrt{KT}），其中K是可用速率的数量。此外，与最优速率选择方案（即，白鹭的上界也是O（\sqrt{KT \log K}）。通过数值模拟，我们表明，Con-TS显着优于国家的最先进的强盗计划的速率选择。
2020-04-18 cs.LG cs.NI stat.ML
Cooperative Multi-Agent Constrained Stochastic Linear Bandits
Aktus AI（阿克图斯人工智能公司）；Stanford University（斯坦福大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
本文研究多智能体网络在成本约束下的协作随机线性赌博机问题，提出安全的分布式上置信界算法MA-OPLB，利用加速共识估计全局参数，并给出高概率遗憾界及实验验证。
2024-10-22 cs.LG cs.MA stat.ML
Rate-Constrained Remote Contextual Bandits
University of Padova（帕多瓦大学）；Imperial College London（帝国理工学院）
我们考虑一个速率约束的上下文多臂强盗（RC-CMAB）问题，其中一组智能体正在解决同一上下文多臂强盗（CMAB）问题。然而，上下文由远程连接的实体观察，即，决策者更新策略以最大化返回的奖励，并通过速率受限的通信信道将代理要采样的臂传送到控制器。该框架可以应用于个性化广告投放，只要内容所有者观察网站访问者，因此具有上下文，但是需要将要显示的广告发送给负责投放营销内容的控制器。因此，速率约束的CMAB（RC-CMAB）问题需要研究的有损压缩方案的政策，以采用每当对信道速率的约束不允许未压缩传输的决策者的意图。我们的基本信息理论的限制，这个问题的特点，让代理的数量无穷大，并研究可以实现的遗憾，确定两个不同的率区域分别导致线性和次线性的遗憾。然后，我们分析了最佳的压缩方案可实现的极限与无限的代理，当使用的前向和反向KL分歧失真度量。在此基础上，我们还提出了一种实用的编码方案，并提供了数值结果。
2022-04-26 cs.IT cs.LG math.IT
Contextual Bandits with Stage-wise Constraints
Amazon AGI（亚马逊人工通用智能）
本文研究带阶段约束的上下文赌博机，针对线性和非线性奖励与成本函数分别提出算法并证明遗憾界，同时给出下界、多约束扩展及仿真验证。
2025-08-21 cs.LG stat.ML
Interactively Learning Preference Constraints in Linear Bandits
ETH Zurich（苏黎世联邦理工学院）；University of Vienna（维也纳大学）；Microsoft Research Cambridge（微软剑桥研究院）
我们研究顺序决策与已知的奖励和未知的约束，激励的情况下，约束代表昂贵的评估人类的喜好，如安全和舒适的驾驶行为。我们正式的挑战，互动学习这些约束作为一个新的线性土匪问题，我们称之为约束线性最佳臂识别。为了解决这个问题，我们提出了自适应约束学习（ACOL）算法。我们提供了一个依赖于实例的下限约束线性最佳臂识别，并表明，ACOL的样本复杂性匹配的下限在最坏的情况下。在平均情况下，ACOL的样本复杂度界限仍然比更简单的方法的界限更严格。在合成实验中，ACOL的性能与Oracle解决方案相当，并且优于一系列基线。作为一个应用程序，我们考虑学习约束，以代表人类的喜好，在驾驶模拟。ACOL比该应用的替代品具有更高的采样效率。此外，我们发现，学习偏好的约束条件是更强大的变化，在驾驶场景比编码的偏好直接在奖励函数。
2022-06-10 cs.AI cs.LG stat.ML
Dual-Mandate Patrols: Multi-Armed Bandits for Green Security
Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）
本文将绿色安全巡逻形式化为随机多臂老虎机问题，提出利用奖励函数平滑性和动作可分解性的LIZARD算法，在保证收敛率的同时优化短期性能，并在柬埔寨真实偷猎数据上取得提升。
2024-04-26 cs.LG stat.ML
Tsallis-INF: An Optimal Algorithm for Stochastic and Adversarial Bandits
University of Copenhagen（哥本哈根大学）
我们推导出一个算法，实现了最佳的（常数内）伪遗憾在敌对和随机多武装土匪没有事先知道的制度和时间范围。该算法是基于在线镜像下降（OMD）与Tsallis熵正则化功率$α=1/2$和减少方差损失估计。更一般地，我们定义了一个具有自约束的对抗机制，包括随机机制，随机约束对抗机制（Wei和Luo），以及具有对抗腐败的随机机制（Lykouris et al.）。作为特殊情况，并表明该算法实现对数遗憾保证在这个制度和所有的特殊情况下，同时与对抗性遗憾保证。该算法还实现了基于效用的决斗强盗设置的对抗性和随机最优性。我们提供了实证评估的算法表明，它显着优于UCB 1和EXP 3在随机环境中。我们还提供了对抗性环境的例子，其中UCB 1和汤普森采样表现出几乎线性的遗憾，而我们的算法只遭受对数遗憾。据我们所知，这是第一个证明汤普森抽样在对抗环境中的脆弱性的例子。最后，但并非最不重要的是，我们提出了一个一般的随机分析和一般的对抗性分析的OMD算法与Tsallis熵正则化$α\in[0,1]$和解释的原因为什么$α=1/2$最好的作品。
2022-03-02 cs.LG stat.ML
Competing Bandits in Decentralized Contextual Matching Markets
Department of Electrical Engineering IIT Bombay（印度理工学院班加罗尔电气工程系）；Google New York（谷歌纽约分公司）；Department of Computer Science and Engineering IIT Bombay（印度理工学院班加罗尔计算机科学与工程系）；Amazon Web Services Santa Clara（亚马逊网络服务圣克拉拉）
本文研究去中心化双边匹配市场中的序贯学习，提出算法同时识别潜在环境并获得稳定匹配，实现独立于臂数量的实例相关对数遗憾。
2025-06-19 cs.LG stat.ML
Distributed Cooperative Decision Making in Multi-agent Multi-armed Bandits
Princeton University（普林斯顿大学）；Michigan State University（密歇根州立大学）
我们研究了一个分布式决策问题，其中多个代理人面对同一个多臂强盗（MAB），每个代理人在武器之间进行顺序选择，以最大限度地提高自己的个人奖励。代理通过在固定的通信图上共享他们的估计来进行合作。我们考虑一个无约束的奖励模型，其中两个或两个以上的代理人可以选择相同的手臂，并收集独立的奖励。我们考虑了一个约束奖励模型，在这个模型中，代理人在同一时间选择相同的手臂没有得到奖励。我们设计了一个动态的、基于一致性的分布式估计算法来估计每个手臂的平均报酬，并利用该算法的估计结果分别针对无约束和有约束的报酬模型提出了两个分布式估计算法：coop-UCB 2和coop-UCB 2-selective-learning。我们表明，这两种算法实现组的性能接近一个集中的融合中心的性能。此外，我们调查的通信图结构对性能的影响。我们提出了一种新的图形探索利用指数，预测的相对性能的通信图方面的群体，我们提出了一种新的节点探索利用中心指数，预测的相对性能的代理在通信图中的代理位置。
2020-08-11 cs.LG math.OC stat.ML
Asymptotic Optimality for Decentralised Bandits
University of Bristol（布里斯托大学）
我们考虑了大量的代理商合作的多武器土匪问题，大量的武器。我们的目标是最大限度地减少每个代理在通信约束设置的遗憾。我们提出了一个分散的算法，建立在和改进的Gossip-Insert-Eliminate方法的Chawla等arxiv：2001.05452。我们提供了一个理论分析所产生的遗憾，这表明我们的算法是渐近最优的。事实上，我们的遗憾保证匹配的渐近最优速率在充分的通信设置。最后，我们提出的实证结果支持我们的结论
2021-09-20 cs.LG
List Replicable Reinforcement Learning
Peking University（北京大学）；Iowa State University（爱荷华州立大学）；University of Nebraska–Lincoln（内布拉斯加大学林肯分校）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出了一种可证明高效的表格RL算法，通过保证列表复杂度保持在多项式范围内，解决强化学习中的可复制性问题，并通过创新的规划策略和状态可达性测试机制提升算法稳定性。
2025-11-29 cs.AI cs.LG stat.ML
Group-Sensitive Offline Contextual Bandits
Johns Hopkins University（约翰霍普金斯大学）
本文提出了一种群体敏感的离线上下文老虎机优化框架，通过引入群体奖励差异约束，减少策略学习中的群体间奖励不平等，同时保持整体性能的竞争性。
2026-01-06 cs.LG
Online LLM Selection via Constrained Bandits with Time-Varying Demand
Department of Electrical and Computer Engineering, University of Florida（佛罗里达大学电气与计算机工程系）；Manning College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校曼宁信息与计算机科学学院）
针对边缘云推理系统中异构LLM的选择问题，提出一种基于置信界估计和需求预测的在线学习算法，在硬预算和软延迟约束下实现亚线性遗憾和约束违反。
2026-06-17 cs.AI cs.LG
Networked Restless Bandits with Positive Externalities
University of Maryland, College Park（马里兰大学学院公园分校）
不安分的多武装匪徒经常被用来模拟无约束的资源分配任务，其中资源的接收与有利的状态转换的概率增加相关联。以前的工作假设，个别武器只有受益，如果他们直接收到的资源。然而，许多分配任务发生在社区内，其特点是正外部性，使武器获得部分利益时，他们的邻居（S）接收资源。因此，我们介绍了网络不安分的土匪，一种新颖的多臂土匪设置中，武器都是不安分的，嵌入在一个有向图。然后，我们提出Greta，一个图形感知，Whittle指数为基础的启发式算法，可用于有效地构建一个约束的奖励最大化的动作向量在每个时间步。我们的实证结果表明，Greta在一系列超参数值和图形拓扑结构上优于比较策略。
2022-12-09 cs.AI cs.CY cs.LG
Constrained Contextual Bandit Learning for Adaptive Radar Waveform Selection
US Army Research Laboratory（美国陆军研究实验室）
研究了自适应雷达系统与有限状态目标信道反复交互的序贯判决过程。雷达能够以规则的间隔被动地感测频谱，这为波形选择过程提供了辅助信息。雷达发射机使用频谱观测序列以及来自并置接收机的反馈来选择精确估计目标参数的波形。研究表明，使用线性上下文Bandit公式可以以计算可行且样本高效的方式有效解决波形选择问题。随机和对抗性的线性上下文的强盗模型的介绍，使雷达在广泛的物理环境中实现有效的性能。在雷达通信共存的情况下，以及在对抗雷达干扰机的情况下，仿真表明，所提出的配方提供了一个显着的改善目标检测性能时，汤普森采样和EXP3算法被用来驱动波形选择过程。此外，它表明，脉冲捷变行为的相干处理的雷达数据的有害影响，可以减轻通过采用随时间变化的约束雷达的波形目录。
2021-06-14 cs.IT cs.LG eess.SP
Linear Stochastic Bandits over a Bit-Constrained Channel
University of Pennsylvania（宾夕法尼亚大学）
大规模分布式学习的主要挑战之一来自严格的通信约束。虽然最近的几项工作解决了静态优化问题的这一挑战，但在这方面，不确定性下的顺序决策仍然很少探索。出于这个差距，我们引入了一个新的线性随机土匪制定比特约束信道。具体来说，在我们的设置中，代理与环境进行交互，通过有限容量的通信信道将未知模型参数的编码估计传输到服务器。服务器的目标是根据这些估计采取行动，以最大限度地减少累积的遗憾。为此，我们开发了一个新的和一般的算法框架，取决于两个主要组成部分：（i）一个自适应编码机制，利用统计浓度界限，和（ii）决策原则的基础上的置信度集，占编码错误。作为我们的主要结果，我们证明了当未知模型是$d$维，$O(d)$位的信道容量足以实现订单最佳遗憾。为了证明我们的方法的一般性，我们然后表明，同样的结果继续保持非线性观测模型满足标准的正则性条件。最后，我们建立，对于更简单的非结构化多臂强盗问题，$1$比特信道容量是足够的，以实现最佳的遗憾界。总的来说，我们的工作迈出了重要的第一步，为有限容量信道的统计决策铺平了道路。
2022-03-02 cs.IT cs.LG cs.SY
On Adaptivity in Information-constrained Online Learning
Chennai Mathematical Institute（金奈数学研究所）；Indian Institute of Science（印度科学学院）
我们研究如何适应平滑变化（“容易”）的环境中，在著名的在线学习的问题，获取信息是昂贵的。对于标签有效预测的问题，这是一个预算版本的预测与专家的意见，我们提出了一个在线算法，其遗憾最佳取决于允许的标签和$Q^*$（损失的最佳行动在事后的二次变化）的数量，以及一个无参数对应的遗憾最佳取决于$Q$（损失的所有行动的二次变化）。这些数量可以显着小于$T$（总的时间范围），产生了改善现有的，变分无关的结果的问题。然后，我们将我们的分析扩展到处理具有强盗反馈的标签有效预测，即，高效的强盗我们的工作建立在乐观的在线镜像下降的框架，并利用二阶校正以及精心设计的混合正则化编码的约束信息结构的问题。然后，我们考虑揭示行动部分监控游戏-标签有效的预测与添加剂的信息成本的一个版本，这在一般情况下是众所周知的，躺在\textit{hard}类的游戏具有极大极小遗憾的顺序$T^{\frac{2}{3}}$。我们提供了一个策略，一个$\mathcal{O}((Q^*T)^{\frac{1}{3}})$绑定揭示动作游戏，随着一个$\mathcal{O}((QT)^{\frac{1}{3}})$绑定的全类硬部分监控游戏，都是严格的改进，目前的界限。
2019-12-06 cs.LG stat.ML
Beyond Peak Backlog: Conditional Energy and Temporal Geometry in Capacity-Constrained Delayed Bandit Optimization
Minzu University of China（中央民族大学）；ZeeLin (Beijing) Technology Co., Ltd.（泽林（北京）科技有限公司）；Tsinghua University（清华大学）
针对仅能跟踪有限反馈项的延迟多臂老虎机优化问题，引入条件能量接口得到更优延迟复杂度界，发现总延迟摘要一致时仍存在时序对极小极大悔度的影响。
2026-08-18 cs.LG
A framework for optimizing COVID-19 testing policy using a Multi Armed Bandit approach
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
检测是应对COVID-19疫情的重要组成部分。由于资源有限，测试的可用性是一个瓶颈，需要对个人进行有效的优先级排序。在这里，我们讨论了不同的优先级政策对COVID-19患者发现的影响，以及政府和卫生组织使用结果进行有效决策的能力。我们提出了一个测试框架，平衡了最大限度地发现阳性个体与以人群为基础的监测的需要，旨在了解疾病的传播和特点。该框架借鉴了网络安全领域的类似优先排序方法，即使用风险评分对个人进行排名，然后保留一部分随机抽样的能力。这种方法是多武装土匪最大化勘探/开发底层分布的应用。我们发现，可以使用一些简单的特征对个体进行有效的测试，并且使用这样的模型对它们进行排名，我们可以捕获65%（CI：64.7%-68.3%）使用不到20%检测容量的阳性个体或92.1%（CI：91.1%-93.2%）的阳性个体，使用70%的容量，允许保留相当大一部分的测试用于群体研究。我们的方法使专家和决策者能够根据需要定制相应的政策，从而使排名政策具有透明度，并能够了解疾病在人群中的传播情况，并以知情的方式迅速作出反应。
2020-07-28 cs.LG stat.ML
Tractable contextual bandits beyond realizability
Stanford University（斯坦福大学）
易处理的上下文强盗算法通常依赖于可实现性假设-即，真实期望奖励模型属于已知类，例如线性函数。在这项工作中，我们提出了一个听话的强盗算法，是不敏感的可实现性假设和计算减少到解决一个约束回归问题，在每个时代。当可实现性不成立时，我们的算法确保了基于可实现性的算法在可实现性下实现的相同保证，直到一个附加项，该附加项占了误指定错误。该额外项与T乘以类中最佳模型与真实模型之间的均方误差的函数成比例，其中T是时间步长的总数。我们的工作揭示了易于处理的上下文强盗的偏差方差权衡。这种权衡并没有被假设可实现性的算法所捕获，因为在这种假设下，类中存在一个估计量，该估计量达到零偏差。
2021-02-26 cs.LG math.ST stat.ML
