Asymptotically Optimal Multi-Armed Bandit Policies under a Cost Constraint
在成本约束下,我们为多臂强盗(MAB)问题开发了渐近最优策略。该模型适用于来自群体(强盗)的每个样本(或激活)引起已知的强盗依赖成本的情况。每个总体的连续样本是分布未知的iid随机变量。我们的目标是设计一个可行的政策,以决定从哪个人口的样本,以最大化的期望总和的结果$n$总样本或等价地减少遗憾,由于缺乏信息的样本分布,对于这个问题,我们考虑类可行的一致快速(f-UF)收敛的政策,满足成本约束样本路径明智的。首先,我们建立了一个必要的渐进下界的增长率的后悔功能的f-UF政策。然后,我们构造了一类f-UF政策,并提供条件下,他们是渐近最优的类f-UF政策,实现这一渐近下界。最后,我们提供了明确的形式,这种政策的情况下,未知的分布是正常的未知的手段和已知的方差。
2015-12-17 math.OC stat.ML
Reward Maximization for Pure Exploration: Minimax Optimal Good Arm Identification for Nonparametric Multi-Armed Bandits
Cornell Tech(康奈尔科技学院)
本文针对非参数多臂老虎机中的好臂识别问题,提出将奖励最大化采样与新型任意时刻有效序贯检验相结合的方法,在错误概率约束下实现最小最大最优停止时间,并在实验中显著减少样本量。
2024-10-21 cs.LG stat.ME stat.ML
Bayesian Inference of Contextual Bandit Policies via Empirical Likelihood
School of Mathematics and Statistics University of Melbourne(数学与统计学学院墨尔本大学)
本文提出了一种基于经验似然的贝叶斯推断方法,用于在有限样本条件下对多个上下文老虎机策略进行联合分析,实现了对策略比较的灵活推断和不确定性量化。
2026-02-11 cs.LG stat.ML
A KL-LUCB Bandit Algorithm for Large-Scale Crowdsourcing
本文研究了有界报酬条件下多臂强盗系统的最佳臂识别问题。我们开发了一个算法,是一个融合的lil-UCB和KL-LUCB,提供最好的质量的两个算法在一个方法。这是通过证明一个新的任何时候都有界分布,这是最近开发的亚高斯分布的LIL型界的模拟的平均置信界。我们证实了我们的理论结果与数值实验的基础上,纽约客卡通字幕比赛。
2017-09-11 math.ST stat.TH
Contextual Bandits for Evaluating and Improving Inventory Control Policies
Amazon(亚马逊)
针对非平稳需求等复杂周期性盘点库存控制问题,本文引入均衡策略概念,并提出一种轻量级上下文老虎机算法来评估和微调库存策略,理论与实证均证明其有效性。
2023-10-24 cs.LG stat.ML
An Index-based Deterministic Asymptotically Optimal Algorithm for Constrained Multi-armed Bandit Problems
Sogang University(西江大学)
对于有约束的多臂强盗模型,通过构造证明了存在一个基于指标的确定性渐近最优算法。最优性是通过选择最优可行臂的概率收敛到无限水平上的概率来实现的。该算法是建立在Locatelli等人。的“随时无参数阈值”算法的假设下,最优值是已知的。我们给出了渐近最优性概率的一个有限时间界,该概率为1-O(|A| Te^{-T}),其中T是视界大小,A是强盗中的臂的集合。然后,我们研究了一个宽松的版本的算法,估计的最优值的一般形式,并讨论了算法的渐近最优性后,一个足够大的T的例子。
2020-07-29 cs.LG math.OC stat.ML
Improving Reward-Conditioned Policies for Multi-Armed Bandits using Normalized Weight Functions
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Amazon(亚马逊公司)
针对多臂老虎机中奖励条件策略收敛慢、期望奖励低的问题,提出用允许负值的归一化权重函数进行广义边缘化,显著提升其在大动作空间和稀疏奖励场景下的性能。
2024-06-16 cs.LG stat.ML
Optimal Data Driven Resource Allocation under Multi-Armed Bandit Observations
University of Athens(雅典大学);Leiden University(莱顿大学);Rutgers University(罗格斯大学)
本文研究带资源补充侧约束的多臂老虎机问题,首次提出渐近最优策略,推导遗憾下界并构造达到下界的策略,给出多种分布情形下的显式形式。
2025-02-06 cs.LG stat.ML
Anytime-valid Optimal Policy Identification
Cornell University(康奈尔大学)
针对日志化情境赌博数据,提出一种任意有效框架,通过构建高概率包含真实最优策略集的时间索引集,支持连续监测和自适应停止,并给出样本复杂度界。
2026-06-17 stat.ME stat.ML
On the Identification and Mitigation of Weaknesses in the Knowledge Gradient Policy for Multi-Armed Bandits
Lancaster University(兰卡斯特大学)
知识梯度(KG)的政策最初提出的在线排名和选择问题,但最近已被改编为使用在一般的在线决策和多臂土匪问题(MABs),特别是。我们研究了它在一类指数家庭MABs的使用,并确定弱点,包括倾向于采取行动,这是占主导地位的剥削和勘探。我们提出了KG的变种,避免这种错误。这些新的政策包括指数启发式部署KG的方法来开发一个近似的Gittins指数。数值研究表明,这一政策的执行以及在一系列的MABs,包括那些指数政策不是最佳的。虽然KG在强盗是高斯的情况下不进行劣势动作,但它不能保持指数一致,并且在武器相关以补偿其更大的计算需求时,似乎没有比竞争对手政策更好的性能优势。
2016-10-17 cs.LG stat.ML
Finite-Time Regret of Thompson Sampling Algorithms for Exponential Family Multi-Armed Bandits
National University of Singapore(新加坡国立大学);California Institute of Technology(加州理工学院)
研究了指数家族强盗的Thompson抽样算法的后悔性,其中奖励分布来自一维指数家族,包括Bernoulli,Gaussian,Gamma,Exponential等常见的奖励分布,提出了一种Thompson抽样算法ExpTS,它使用了一种新的抽样分布,以避免低估的最佳手臂。我们提供了一个严格的遗憾分析ExpTS,这同时产生有限时间后悔界以及渐近后悔界。特别地,对于具有指数族奖励的$K$ -武装强盗,在地平线上的ExpTS $T$是子UCB(问题依赖的有限时间后悔的强准则),极大极小最优直到因子$\sqrt{\log K}$,并且对于指数族奖励是渐近最优的。此外,我们提出了ExpTS $^+$,通过增加一个贪婪的开发步骤,除了在ExpTS中使用的抽样分布,以避免过度估计的次优武器。ExpTS $^+$是一个任意时刻的强盗算法,并且对于指数族报酬分布同时达到极大极小最优性和渐近最优性。我们的证明技术是一般的,概念上简单,可以很容易地应用于分析标准的汤普森抽样与特定的奖励分布。
2022-06-07 cs.LG stat.ML
Who Gets Watched? Allocating Scarce Escalation Resources on Pediatric Wards with Neural Index Policies
Georgia Institute of Technology(佐治亚理工学院);University of Washington(华盛顿大学)
针对多动作静止多臂老虎机,提出神经索引策略,通过可微背包层处理异构预算,端到端训练,性能接近最优,可扩展至数百臂。
2026-11-02 cs.LG stat.ML
An Optimal Algorithm for Adversarial Bandits with Arbitrary Delays
University of Copenhagen(哥本哈根大学)
我们提出了一个新的算法对抗多武装土匪无限制的延迟。该算法是基于一种新的混合正则化应用在遵循正则化领导者(FTRL)框架。它实现了$\mathcal{O}(\sqrt{kn}+\sqrt{D\log(k)})$后悔保证,其中$k$是臂数,$n$是轮数,$D$是总延迟。结果与常数内的下限匹配,并且不需要$n$或$D$的先验知识。此外,我们提出了一个精细的调整的算法,它实现了$\mathcal{O}(\sqrt{kn}+\min_{S}|S|+\sqrt{D_{\bar S}\log(k)})$遗憾保证,其中$S$是从延迟计数排除的一组轮,$\bar S = [n]\setminus S$是计数轮,和$D_{\bar S}$是总延迟在计数轮。如果延迟是高度不平衡的,后者的遗憾保证可能比前者严格得多。该结果不需要提前了解延迟,并解决了Thune等人(2019)的开放问题。新的FTRL算法及其精细调整是随时随地,不需要加倍,这解决了Thune等人的另一个开放问题。
2020-06-16 cs.LG stat.ML
Quick-Draw Bandits: Quickly Optimizing in Nonstationary Environments with Extremely Many Arms
Booz Allen Hamilton(博世-阿伦哈姆顿公司);Laboratory for Physical Sciences(物理科学实验室)
针对极多臂非平稳环境下的老虎机优化问题,提出基于高斯插值的连续空间奖励学习策略,实现 $\mathcal{O}^*(\sqrt{T})$ 累积遗憾,计算速度提升百倍以上且实验表现优于滑动高斯过程策略。
2025-05-30 cs.LG stat.ML
Information Directed Sampling for Stochastic Bandits with Graph Feedback
The Ohio State University(俄亥俄州立大学);AT&T Labs Research(AT&T实验室研究中心)
考虑带图反馈的随机多臂强盗问题,允许决策者观察所选行动的相邻行动。我们允许图的结构随时间而变化,并考虑确定性和Erdens-Rényi随机图模型。对于这样的图反馈模型,我们首先提出了一种新的分析汤普森采样,导致更严格的性能约束比现有的工作。接下来,我们提出了新的基于信息定向采样的策略,这些策略在决策中是图形感知的。在确定性图的情况下,我们建立了一个贝叶斯后悔界的建议的政策,规模与团覆盖数的图,而不是行动的数量。在随机图的情况下,我们提供了一个贝叶斯遗憾界的建议的政策,规模与行动的数量的比率超过预期的观察每次迭代。据我们所知,这是第一个分析结果的随机土匪与随机图反馈。最后,使用数值评估,我们证明了我们提出的IDS策略优于现有的方法,包括适应的置信上限,$ε$贪婪和Exp 3算法。
2017-11-08 cs.AI cs.LG stat.ML
The Greedy Advantage in Finite-Horizon Bandits
Tsinghua University(清华大学);Harvard Business School(哈佛商学院)
针对有限时间范围老虎机问题,提出正则化贪心算法,推导其有限时间范围遗憾包络并校准参数,实验显示其性能优于或匹配当前最优算法,为该问题提供有效方案。
2026-08-03 cs.LG stat.ML
DP-NCB: Privacy Preserving Fair Bandits
Indian Institute of Technology Kharagpur(印度克里维利大学卡拉格浦分校);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
本文提出DP-NCB框架,首次同时实现赌博机算法的ε-差分隐私与阶最优纳什遗憾,兼顾隐私与公平,并通过模拟验证其优于现有基线。
2025-08-05 cs.LG stat.ML
Contextual Bandits Evolving Over Finite Time
Indian Institute of Technology Mumbai(印度理工学院孟买分校)
背景土匪与标准的多武装土匪具有相同的勘探-开采权衡。如果加上随着时间推移而衰减的正外部性,这个问题就变得更加困难,因为一开始的错误决定很难恢复。我们探讨了现有的政策在这种情况下,并强调其对固有的奖励矩阵的偏见。我们提出了一个拒绝为基础的政策,实现了低遗憾的奖励概率矩阵的结构无关。
2019-11-14 cs.LG stat.ML
On Regret-Optimal Learning in Decentralized Multi-player Multi-armed Bandits
University of Southern California(南加州大学);University of California, Berkeley(加州大学伯克利分校)
我们考虑了单人和多人多臂强盗模型中的学习问题。强盗问题是一类在线学习问题,捕获探索与剥削权衡。在多臂强盗模型中,玩家可以在许多武器中进行选择,每一次使用一只武器都会产生一个ID。来自未知分布的奖励。我们的目标是设计一个政策,最大化的预期回报在一个时间范围内为一个单一的球员设置和多人设置的预期回报的总和。在多人游戏设置中,武器可能会给不同的玩家不同的奖励。参与者之间没有单独的协调渠道。任何沟通的尝试都是昂贵的,并且会增加遗憾。我们提出了两个分散的政策,$\tt E^3$($\tt E$ - $\tt cubed$)和$\tt E^3$ - $\tt TS$,可用于单人和多人游戏设置。这些政策所产生的预期遗憾,增长最多为O($\log^{1+ε} T$)。众所周知,即使在集中的情况下,$\log T$也是后悔增长率的下限。所提出的算法改进了以前的工作,后悔增长在O($\log^2 T$)。更根本的是,这些政策解决了分散式在线学习产生的额外成本问题,这表明最多有一个$ε$ -因素成本的遗憾顺序。这解决了许多领域的相关问题,并且已经开放了一段时间。
2016-12-01 cs.LG stat.ML
PAC-Bayesian Offline Contextual Bandits With Guarantees
Criteo AI Lab(Criteo人工智能实验室);CREST(经济与统计研究中心);ENSAE(法国国立统计与经济管理学校);IPP(巴黎政治学院);ESSEC Business School(埃塞克商学院)
本文通过PAC-Bayesian视角将策略建模为决策规则混合,提出更紧的泛化界及可直接优化的算法,实现离线上下文赌博机中具有性能保证且无需额外超参数调优的策略学习。
2023-05-27 cs.LG stat.ML
Collapsing Bandits and Their Application to Public Health Interventions
Harvard University(哈佛大学);University of Virginia(弗吉尼亚大学)
我们提出并研究了Collpasing Bandits,一种新的不安分的多臂强盗(RMAB)设置,其中每个手臂都遵循具有特殊结构的二进制状态马尔可夫过程:当一个手臂被播放时,状态被完全观察到,从而“崩溃”任何不确定性,但当一个手臂是被动的,没有观察到,从而允许不确定性演变。目标是通过规划每轮有限的行动预算,使尽可能多的武器保持“良好”状态。这种崩溃的强盗是许多医疗保健领域的自然模型,其中工作人员必须同时监测患者并以最大限度地提高患者队列健康的方式提供干预措施。我们的主要贡献如下:(一)建立在惠特尔指数技术的RMABs,我们得出的条件下,崩溃的土匪问题是可索引的。我们的推导取决于新的条件下,最优的政策时,可能采取的形式,无论是“向前”或“反向”的阈值政策的特点。(ii)我们利用阈值策略的最优性来构建计算Whittle指数的快速算法,包括封闭形式。(iii)我们评估了我们的算法在几个数据分布,包括来自现实世界的医疗保健任务的数据,其中工作人员必须监测和提供干预措施,以最大限度地提高患者对结核病药物的依从性。我们的算法实现了3个数量级的加速比相比,国家的最先进的RMAB技术,同时实现类似的性能。
2020-07-05 cs.AI cs.LG stat.ML
Contextual bandits with surrogate losses: Margin bounds and efficient algorithms
Cornell University(康奈尔大学);Microsoft Research(微软研究院)
我们使用代理损失,以获得几个新的遗憾界和新的上下文强盗学习算法。使用斜坡损失,我们得到新的利润率为基础的遗憾界的标准序列复杂性措施的基准类的实值回归函数。使用铰链损失,我们得到了一个有效的算法与$\sqrt{dT}$型错误绑定对基准政策引起的$d$维回归。在可实现性假设下,我们的结果也产生了经典的遗憾界限。
2018-11-04 cs.LG stat.ML
A Change-Detection based Framework for Piecewise-stationary Multi-Armed Bandit Problem
The Ohio State University(俄亥俄州立大学)
多臂强盗问题在平稳假设下得到了广泛的研究。然而,在现实中,这个假设往往不成立,因为奖励本身的分布可能会随着时间的推移而变化。针对分段平稳环境下的多臂强盗问题,提出了一种基于变化检测的框架,并研究了一类基于变化检测的UCB(Upper Confidence Bound)策略CD-UCB,该策略主动检测变化点并重新启动UCB索引.然后,我们开发了属于CD-UCB类的PHT-UCB和PHT-UCB,并使用累积和(PHTUM)和Page-Hinkley检验(PHT)来检测变化。我们证明了在较温和的假设下,EQUUM-UCB得到了最著名的后悔上界。我们还证明了遗憾减少的CD-UCB政策任意伯努利奖励和雅虎!网页点击率的数据集。
2017-11-20 cs.AI cs.LG stat.ML
Incentivized Bandit Learning with Self-Reinforcing User Preferences
The Ohio State University(俄亥俄州立大学);Amazon(亚马逊)
在本文中,我们研究了一个新的多臂强盗(MAB)在线学习模型,该模型考虑了许多推荐系统中的现实世界现象:(i)学习代理不能自己拉动手臂,因此必须向用户提供奖励以间接激励手臂拉动;以及(ii)如果具有特定手臂偏好的用户得到很好的奖励,它们会产生“自我强化”效应,因为它们会吸引更多具有类似武器偏好的使用者。除了解决勘探和开采的权衡问题外,这种新的MAB模式的另一个关键特征是平衡奖励和激励支付。代理的目标是在固定的时间范围$T$内以较低的总支付最大化总奖励。我们在本文中的贡献是两方面的:(i)我们提出了一个新的MAB模型与随机臂选择,考虑用户的自我增强的偏好和激励的关系;(ii)我们利用多色波利亚瓮与非线性反馈模型的属性,提出了两个MAB策略,称为“至少- $n$探索然后提交”和“UCB列表”。我们证明了这两个政策实现$O(log T)$预期的遗憾与$O(log T)$预期支付的时间跨度$T$。我们进行数值模拟来演示和验证这两种策略的性能,并研究它们在各种设置下的鲁棒性。
2021-05-31 cs.LG stat.ML
Combining Online Learning and Offline Learning for Contextual Bandits with Deficient Support
Applied Artificial Intelligence Institute(应用人工智能研究院);Deakin University(迪肯大学)
我们在上下文强盗中使用记录的数据来解决策略学习。当前离线策略学习算法大多基于逆倾向得分(IPS)加权,其要求日志记录策略具有\emph{full support},即对于评估策略的任何上下文/动作的非零概率。然而,许多现实世界的系统并不保证这样的日志记录策略,特别是当动作空间很大并且许多动作的回报很差或缺失时。利用这种\emph{support deficiency},离线学习无法找到最优策略。我们提出了一种新的方法,使用离线学习与在线探索的混合。在线探索用于探索记录数据中不支持的动作,而离线学习用于从记录数据中利用支持的动作,避免不必要的探索。我们的方法确定了一个最优的政策,理论保证使用最少数量的在线探索。我们证明了我们的算法的有效性经验上的不同的数据集。
2021-07-24 cs.LG stat.ML
Collaborative Learning of Stochastic Bandits over a Social Network
IIT Madras(印度理工学院马德拉斯分校);IISc(印度科学研究所)
我们考虑一个合作的在线学习范例,其中一组代理通过社会网络连接从事玩一个随机的多臂强盗游戏。每当代理采取行动时,相应的奖励会立即被代理及其社交网络中的邻居观察到。我们执行的各种政策在这种协作学习环境中的遗憾分析。本文的一个关键发现是,广泛研究的单智能体学习策略的网络设置的自然扩展不需要执行良好的遗憾。特别是,我们确定了一类非利他主义和个人一致的政策,并认为通过推导遗憾下界,他们很容易遭受大的遗憾在网络设置。我们还表明,学习性能可以大大提高,如果代理利用网络的结构,并开发一个简单的学习算法的基础上支配集的网络。具体来说,我们首先考虑一个星形网络,这是一个共同的主题,在分层社交网络,并分析表明,枢纽代理可以作为一个信息汇,以加快学习和改善整体遗憾。我们还推导出适用于一般网络的算法的网络范围内的遗憾界。我们在各种网络上进行数值实验,以证实我们的分析结果。
2016-07-11 cs.LG stat.ML
Budgeted Multi-Armed Bandits with Asymmetric Confidence Intervals
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对随机预算MAB中现有策略估计奖励-成本比不够准确的问题,提出采用非对称置信区间的$ω$-UCB采样策略,实现对数遗憾并在合成与真实场景中持续优于现有方法。
2023-08-15 cs.LG stat.ML
Information maximization for a broad variety of multi-armed bandit games
Institut Pasteur(巴斯德研究所);CNRS(法国国家科学研究中心)
本研究将基于物理学的信息最大化方法扩展至三类复杂结构化老虎机问题,通过在不同层面调整信息缓解过度探索难题,为构建更高效鲁棒的决策策略提供了新思路。
2025-03-20 cond-mat.stat-mech cs.LG stat.ML
Follow-the-Perturbed-Leader for Decoupled Bandits: Best-of-Both-Worlds and Practicality
Seoul National University, Seoul, Korea(首尔国立大学,韩国首尔);Korea Institute of Science and Technology, Seoul, Korea(韩国科学技术院,韩国首尔)
针对解耦多臂赌博机问题,提出一种高效的跟随扰动领导者策略,在随机环境下实现常数遗憾,在对抗环境下实现最优O(√KT)遗憾,且避免了凸优化和重采样过程,显著降低计算成本。
2026-05-28 cs.LG stat.ML
Asymptotically Optimal Problem-Dependent Bandit Policies for Transfer Learning
Equipe Scool Univ. Lille Inria CNRS Centrale Lille UMR 9189- CRIStAL(Lille大学Inria研究中心)
针对迁移学习场景下的非上下文多臂老虎机问题,推导纳入迁移参数的累积遗憾渐近下界,提出KL-UCB-Transfer策略并在高斯情况下匹配该下界,仿真验证其在源目标分布接近时显著优于无先验基线。
2025-09-23 cs.LG math.ST stat.TH
Counterfactual Learning with General Data-generating Policies
Yale University(耶鲁大学);Northwestern University(西北大学);Mercari, Inc.(Mercari 株式会社);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
脱离策略评估(OPE)尝试使用来自不同策略的日志数据来预测反事实策略的性能。我们扩展了它的适用性,通过开发一个OPE的方法为一类完全支持和不足的支持日志记录政策的上下文强盗设置。该类包括确定性的强盗(如置信上限)以及基于监督和无监督学习的确定性决策。我们证明,我们的方法的预测收敛概率的真实表现的反事实的政策作为样本量的增加。我们验证我们的方法与实验部分和完全确定性的日志记录政策。最后,我们应用它来评估一个主要的在线平台的优惠券定位政策,并展示如何改进现有的政策。
2022-12-04 cs.AI cs.LG econ.EM
Anytime Model Selection in Linear Bandits
ETH Zurich(苏黎世联邦理工学院);Broad Institute of MIT and Harvard(麻省理工学院和哈佛大学布罗德研究所);Boston University(波士顿大学)
针对线性老虎机模型选择,提出ALEXP算法,通过模拟全信息反馈实现遗憾值对模型数量呈对数依赖,且无需预知时间范围,并建立Lasso时间均匀分析新联系。
2023-11-12 cs.AI cs.LG stat.ML
Empirical Likelihood for Contextual Bandits
Microsoft Dynamics 365 AI(微软 Dynamics 365 人工智能);Microsoft Research(微软研究院)
我们提出了一个估计和置信区间计算的价值,从政策外的数据在上下文的强盗设置的政策。为此,我们应用经验似然技术制定我们的估计和置信区间作为简单的凸优化问题。然后,使用我们的置信区间的下限,我们提出了一个政策外的政策优化算法,搜索策略与大的回报下限。我们的经验发现,我们的估计和置信区间改善了以前的建议,在有限样本制度。最后,我们提出的策略优化算法优于一个强大的基线系统,用于从非策略数据中学习。
2020-10-17 cs.LG stat.ML
BISTRO: An Efficient Relaxation-Based Method for Contextual Bandits
University of Pennsylvania(宾夕法尼亚大学);Cornell University(康奈尔大学)
我们提出了有效的算法与i.i.d.上下文土匪的问题。协变量、任意的奖励序列和任意的策略类。我们的算法BISTRO需要d调用的经验风险最小化(ERM)的甲骨文每轮,其中d是行动的数量。该方法使用未标记的数据,使问题的计算简单。当ERM问题本身是计算困难的,我们通过采用乘法近似算法的ERM扩展的方法。放松的完整性差距只进入遗憾界而不是基准。最后,我们证明了当全信息监督在线学习问题具有非平凡的后悔保证(和有效)时,上下文强盗问题的对抗版本是可学习的(和有效的)。
2016-02-06 cs.LG stat.ML
Deep Contextual Multi-armed Bandits
HubSpot, Inc.(HubSpot公司)
上下文多臂强盗问题经常出现在重要的工业应用中。现有的解决方案对上下文进行线性建模,这使得能够进行不确定性驱动的(原则性的)探索,或者通过使用ε贪婪探索策略进行非线性建模。在这里,我们提出了一个深度学习框架的上下文多武装匪徒,这是既非线性的,同时使原则性的探索。我们通过汤普森采样来解决探索与开发的权衡问题,方法是利用贝叶斯神经网络权重上的推理时间丢失与后验采样之间的联系。为了随着更多的数据提供给模型而自动调整探索的水平,辍学率是学习的,而不是被认为是一个超参数。我们证明,我们的方法大大减少了两个任务(UCI蘑菇任务和赌场奇偶校验任务)相比,1)非上下文土匪,2)ε贪婪的深度上下文土匪,和3)固定的辍学率深度上下文土匪的遗憾。我们的方法目前正在应用于营销优化问题在HubSpot。
2018-07-25 cs.LG stat.ML
On Optimal Robustness to Adversarial Corruption in Online Decision Problems
NEC Corporation(NEC公司)
本文考虑了两个基本的序贯决策问题:专家建议的预测问题和多臂强盗问题。我们专注于随机制度,对手可能会腐败的损失,我们调查什么水平的鲁棒性可以实现对抗性腐败。本文的主要贡献是表明,最佳的鲁棒性可以表示由腐败量的平方根依赖。更准确地说,我们表明,两类算法,任何时候对冲学习率下降和算法的二阶遗憾界,实现$O( \frac{\log N}Δ + \sqrt{ \frac{C \log N }Δ } )$ -遗憾,其中$N, Δ$,和$C$代表的专家,间隙参数,和腐败水平,分别。我们进一步提供了一个匹配的下限,这意味着这个遗憾界是紧到一个常数因子。对于多臂强盗问题,我们也提供了一个接近紧的下限对数因子。
2021-09-22 cs.LG stat.ML
Efficient Algorithms for Learning to Control Bandits with Unobserved Contexts
上下文强盗被广泛用于研究有限动作空间的基于学习的控制策略。虽然这个问题是很好的研究强盗与完美的观察上下文向量,很少有人知道的情况下,不完美的观察上下文。在这种情况下,现有的办法不适用,需要新的概念和技术框架。我们提出了一个可实现的后验抽样算法的土匪与不完美的背景下的意见,并研究其性能的学习最优决策。所提供的数值结果与算法的性能有关的不同数量的利益,包括武器的数量,尺寸,观察矩阵,后重新缩放因子,和信噪比。在一般情况下,所提出的算法暴露效率从噪声不完美的观察和采取相应的行动。启发性的理解,分析提供以及有趣的未来方向,它指向,以及进行了讨论。
2022-02-02 cs.LG stat.ML
Multi-player Multi-armed Bandits for Stable Allocation in Heterogeneous Ad-Hoc Networks
IIIT Delhi(德里印度信息技术学院);IIT Bombay(孟买印度理工学院)
下一代网络预计将是超密集的,并且旨在探索允许用户在授权、共享以及未授权频谱中进行通信的频谱共享范例。这种超密集网络将在基站处引起显著的信令负载,导致对频谱和能量效率的负面影响。为了使信令开销最小化,正在考虑针对在未许可和共享频谱中通信的用户的自组织方法。对于这样的用户,决策需要完全分散,因为:1)用户和来自基站的信令之间不可能进行通信,这需要在每个用户处进行独立的信道选择。当多个用户在同一信道上同时发送时发生冲突。2)信道质量可能是异构的,即,它们在所有用户之间并不相同,而且是未知的,以及3)网络可以是动态的,其中用户可以随时进入或离开。我们开发了一个基于多臂强盗的静态网络分布式算法,并将其扩展到动态网络。该算法的目标是在有限时间内实现稳定的正交分配(SOC),并满足上述三个约束条件,具有两个新的特点:1)低复杂度窄带无线电相比,宽带无线电在现有的工作,和2)无历元的方法,动态网络。我们建立了一个收敛的算法SOC和验证通过广泛的仿真实验。
2019-07-10 cs.LG cs.NI stat.ML
Compatible Value Gradients for Reinforcement Learning of Continuous Deep Policies
Victoria University of Wellington(惠灵顿维多利亚大学)
本文提出了GProp,一个深度强化学习算法的连续政策与兼容函数近似。该算法是基于两个创新。首先,我们提出了一种基于时间差的学习值函数梯度的方法。其次,我们提出了偏离者-行动者-批评者(DAC)模型,它包括三个神经网络,估计的价值函数,其梯度,并确定行动者的政策分别。我们在两个具有挑战性的任务上评估GProp:一个由非参数回归数据集构建的上下文强盗问题,该问题旨在探索强化学习算法准确估计梯度的能力;以及章鱼臂,一个具有挑战性的强化学习基准。GProp在强盗任务上与完全监督方法竞争,并在章鱼臂上实现了迄今为止的最佳性能。
2015-09-10 cs.AI cs.LG cs.NE
Design Experiments to Compare Multi-armed Bandit Algorithms
Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong(香港中文大学系统工程与工程管理系);Rotman School of Management, University of Toronto(多伦多大学罗特曼管理学院)
本文提出Artificial Replay方法,通过重用历史轨迹降低实验成本,提升多臂老虎机算法比较的效率与可靠性。
2026-04-11 cs.LG math.ST stat.ML
contextual: Evaluating Contextual Multi-Armed Bandit Problems in R
JADS;Tilburg University(蒂尔堡大学)
在过去的十年中,上下文强盗算法已经越来越受欢迎,因为它们在解决顺序决策问题的有效性和灵活性-从在线广告和金融到临床试验设计和个性化医疗。与此同时,到目前为止,令人惊讶的是,研究人员和从业者能够以标准化的方式模拟和比较新的和现有的强盗算法的财富的选择很少。为了帮助缩小分析研究和实证评估之间的差距,本文介绍了面向对象的R包“上下文”:一个用户友好的,并通过其面向对象的结构,易于扩展的框架,便于并行比较上下文和上下文无关的土匪政策,通过模拟和离线分析。
2020-01-01 cs.LG math.OC stat.ML
Multi-Armed Bernoulli Bandits via Minimax Single-Arm Stopping
Shanghai Jiao Tong University(上海交通大学);The University of Sydney(悉尼大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Imperial College Business School(帝国理工学院商学院)
本文提出基于单臂停止问题最小最大解的索引策略,用于有限时域伯努利多臂老虎机,实现分布无关的遗憾界,并在实验中优于基准策略。
2026-09-22 cs.LG math.OC stat.ML
Extended UCB Policies for Multi-armed Bandit Problems
School of Mathematics and Physics(数学与物理学院);Xi’an Jiaotong-Liverpool University(西安交通大学利物浦大学);School of Mathematics(数学学院);Nanjing University(南京大学);National Key Laboratory for Novel Software Technology(新型软件技术国家实验室);School of Artificial Intelligence(人工智能学院)
本文研究了重尾奖励分布下的多臂老虎机问题,提出了扩展稳健UCB策略,将已有矩条件推广至任意 $p>q>1$ 并保持最优遗憾阶 $O(log T)$,同时在仅知 $p$ 阶矩存在时实现近最优遗憾。
2025-09-15 cs.LG math.PR math.ST
Post-Contextual-Bandit Inference
Netflix(网飞公司);Université Paris Descartes(巴黎笛卡尔大学);Cornell University(康奈尔大学);University of California, Berkeley(加州大学伯克利分校)
上下文强盗算法正在越来越多地取代电子商务、医疗保健和政策制定中的非自适应A/B测试,因为它们既可以改善研究参与者的结果,也可以增加识别好的甚至是最好的政策的机会。尽管如此,为了支持研究结束时对新干预措施的可信推断,我们仍然希望构建平均处理效应、亚组效果或新政策价值的有效置信区间。然而,由上下文强盗算法收集的数据的自适应性质使得这变得困难:标准估计不再是渐近正态分布的,并且经典的置信区间无法提供正确的覆盖。虽然这已经解决了在非上下文环境中使用稳定的估计,上下文设置提出了独特的挑战,我们在本文中首次解决。我们提出了上下文自适应双重鲁棒(CADR)估计,第一个估计的政策价值是渐近正常的上下文自适应数据收集。构造CADR的主要技术挑战是设计自适应和一致的条件标准差估计器以实现稳定。使用57个OpenML数据集进行的大量数值实验表明,基于CADR的置信区间唯一地提供了正确的覆盖率。
2021-06-01 cs.LG math.ST stat.ML
A Simple and Optimal Policy Design with Safety against Heavy-Tailed Risk for Stochastic Bandits
Massachusetts Institute of Technology(麻省理工学院);University of California, Berkeley(加州大学伯克利分校)
本研究提出一种随机多臂老虎机策略,在期望遗憾上达到最坏情况最优,同时保证遗憾分布的轻尾风险,并扩展到线性老虎机设置。
2024-07-22 cs.LG math.ST stat.ML
Regret Distribution in Stochastic Bandits: Optimal Trade-off between Expectation and Tail Risk
Institute for Data, Systems, and Society(数据、系统与社会研究所);Massachusetts Institute of Technology(麻省理工学院);Department of Industrial Engineering and Operations Research(工业工程与运营管理系)
本研究在随机多臂老虎机中刻画遗憾分布期望与尾部风险的最优权衡,提出新策略并发现时间范围已知性影响最优尾部速率,为兼顾效率与安全的策略设计提供理论洞见。
2025-10-24 cs.LG math.ST stat.ME
Mathematics of statistical sequential decision-making: concentration, risk-awareness and modelling in stochastic bandits, with applications to bariatric surgery
Université de Lille(里尔大学);Université de Technologies de Troyes(特鲁瓦技术大学);ENSAI Rennes(雷恩国立统计与信息分析学校);Inria Montpellier(法国国家信息与自动化研究所蒙彼利埃中心);CWI Amsterdam(荷兰国家数学与计算机科学研究中心);Université de Bordeaux(波尔多大学);Inria Lille(法国国家信息与自动化研究所里尔中心);CHU Lille(里尔大学附属医院);Centre de Recherche en Informatique, Signal et Automatique de Lille(里尔计算机、信号与自动化研究中心)
本文研究术后随访序贯决策中的数学挑战,提出安全的集中性界、风险感知上下文老虎机框架及非参数Dirichlet采样算法,并开发了预测减重手术后长期体重轨迹的可解释机器学习模型。
2024-05-03 cs.LG math.ST stat.ML
On the Benefits of Free Exploration for Regret Minimization in Multi-Armed Bandits
Department of Mathematics, National University of Singapore(新加坡国立大学数学系);Department of Mathematics, Department of Electrical and Computer Engineering, National University of Singapore(新加坡国立大学数学系、电子与计算机工程系)
本文研究在初始自由探索阶段后最小化累积遗憾的多臂老虎机问题,提出一种两阶段算法UFE-KLUCB-H,并证明其相比无自由探索的策略能严格减少遗憾。
2026-05-25 cs.AI cs.IT cs.LG
Federated Linear Contextual Bandits
The Pennsylvania State University(宾夕法尼亚州立大学);Facebook;University of Virginia(弗吉尼亚大学)
本文提出了一种新的联邦线性上下文强盗模型,其中每个客户端面对不同的$K$武装随机强盗通过共同的全局参数耦合。通过利用线性奖励的几何结构,提出了一种称为Fed-PE的协作算法,以应对客户端之间的异构性,而无需交换本地特征向量或原始数据。Fed-PE依赖于一种新的多客户端G-最优设计,并实现了接近最优的遗憾,不相交和共享参数的情况下,对数通信成本。此外,还引入了共线性相关策略的概念,并在此基础上得到了参数不相交时的极小极大后悔下界。实验证明了所提出的算法的有效性在合成和真实世界的数据集。
2021-10-27 cs.IT cs.LG math.IT
Probably Anytime-Safe Stochastic Combinatorial Semi-Bandits
National University of Singapore(新加坡国立大学);University of Alberta(阿尔伯塔大学)
本文提出概率任意时刻安全的随机组合半老虎机问题,设计 {\sc PASCombUCB} 在方差预算约束下最小化遗憾,并通过下界与实验证明其近渐近最优。
2023-06-02 cs.AI cs.IT cs.LG
Regret Analysis of the Anytime Optimally Confident UCB Algorithm
University of Alberta(阿尔伯塔大学)
我介绍和分析的最佳置信UCB(OCUCB)算法设计的最小化的累积遗憾有限武装随机土匪与亚高斯噪声的任何时候版本。新算法简单,直观(事后看来),并具有迄今为止最强的有限时间遗憾保证。我还显示了一个有限时间的下限,几乎匹配的上限。
2016-05-06 cs.LG math.ST stat.ML
Factored Bandits
University of Copenhagen(哥本哈根大学)
我们介绍的因素土匪模型,这是一个框架,学习有限(土匪)反馈,行动可以分解成一个笛卡尔积的原子行动。因子化的强盗把一级强盗作为特例,但大大放松了对奖励函数形式的假设。我们提供了一个随时算法的随机因子土匪和常数匹配的上下限遗憾的问题。此外,我们表明,该算法稍加修改,可以适用于公用事业为基础的决斗土匪。我们得到了改进的附加条款的遗憾界相比,最先进的算法(附加条款占主导地位的时间范围是指数的武器数量)。
2018-10-29 cs.LG stat.ML
Thresholding Bandit with Optimal Aggregate Regret
Indiana University at Bloomington(印第安纳大学伯明顿分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们认为阈值强盗问题,其目标是找到武器的平均奖励高于给定的阈值$θ$,与固定预算的$T$试验。我们介绍LSA,一个新的,简单的,随时算法,旨在最大限度地减少总遗憾(或预期数量的错误分类武器)。我们证明了我们的算法是逐例渐近最优的。我们还提供了全面的实证结果,以证明该算法的优越性能超过现有的算法在各种不同的情况下。
2019-05-27 cs.LG stat.ML
Meta-Learning Bandit Policies by Gradient Ascent
Google Research(谷歌研究院);DeepMind(深度思维);University of Alberta(阿尔伯塔大学)
大多数强盗策略的设计要么是在任何问题的情况下最大限度地减少遗憾,对底层环境做很少的假设,要么是在贝叶斯意义上,假设环境参数的先验分布。前者在实际环境中往往过于保守,而后者则需要很难在实践中验证的假设。我们研究的强盗问题,这两个极端之间,学习代理有机会从一个未知的先验分布$\mathcal{P}$采样的强盗实例,并旨在实现高回报的平均超过强盗实例从$\mathcal{P}$。这种设置是特别重要的,因为它奠定了基础的元学习的强盗政策,并反映了更现实的假设,在许多实际领域。我们建议使用参数化的强盗政策,是可区分的,可以使用策略梯度进行优化。这提供了一个易于实施的广泛适用的框架。我们得到的回报梯度,反映了结构的强盗问题和政策,为非上下文和上下文的设置,并提出了一些有趣的政策,都是可微的,并具有低遗憾。我们的算法和理论贡献的支持下,广泛的实验表明,基线减法,学习偏见的重要性,我们的方法在一个范围内的问题的实用性。
2021-01-06 cs.LG stat.ML