Conformal Off-Policy Prediction in Contextual Bandits
University of Oxford（牛津大学）；Bytedance AI Lab（字节跳动人工智能实验室）
大多数情境强盗的非政策评估方法都集中在政策的预期结果上，这是通过最好的方法来估计的，最多只能提供渐近保证。然而，在许多应用中，期望可能不是性能的最佳度量，因为它没有捕获结果的可变性。此外，特别是在安全关键设置中，可能需要比渐近正确性更强的保证。为了解决这些局限性，我们考虑一种新的应用共形预测的上下文土匪。鉴于收集的数据下的行为政策，我们提出了\emph{conformal off-policy prediction}（COPP），它可以输出可靠的预测区间的结果下，一个新的目标政策。我们提供了理论上的有限样本保证，而不做任何额外的假设超出标准的上下文土匪设置，并实证证明了实用的COPP与现有的方法相比，对合成和真实世界的数据。
2022-10-26 cs.LG stat.ML
Regret Analysis of a Markov Policy Gradient Algorithm for Multi-arm Bandits
University of Manchester（曼彻斯特大学）
本文考虑了一个求解有限臂强盗问题的策略梯度算法。我们允许学习率取决于算法的当前状态，而不是使用确定性的时间递减的学习率。算法的状态在概率单纯形上形成一个马尔可夫链。我们应用福斯特-李雅普诺夫技术来分析这个马尔可夫链的稳定性。我们证明了，如果学习率是很好的选择，那么策略梯度算法是一个瞬态马尔可夫链和链的状态收敛于最佳臂对数或多对数遗憾。
2021-09-23 cs.LG stat.ML
Sublinear Optimal Policy Value Estimation in Contextual Bandits
University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
研究了随机不交线性强盗环境下最优策略的期望报酬估计问题。我们证明，对于某些设置，它是可能的，以获得一个准确的估计的最佳策略值，即使与样本的数量是次线性的数量，将需要\emph{find}的政策，实现接近这个最优值。我们建立几乎匹配的信息理论的下限，表明我们的算法实现了接近最优的估计误差。最后，我们使用真实数据集证明了我们的算法在笑话推荐和癌症抑制剂量选择问题上的有效性。
2019-12-13 cs.LG stat.ML
Optimal and Adaptive Off-policy Evaluation in Contextual Bandits
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
我们研究了在情境强盗模型下的非策略评估问题-利用一个目标策略收集的数据来估计另一个策略的价值。我们认为一般（不可知）设置没有访问一致的奖励模型，并建立一个最小最大下限的均方误差（MSE）。的界限是匹配常数的逆倾向评分（IPS）和双稳健（DR）估计。这突出了不可知背景设置的困难，与多武装匪徒和上下文匪徒相比，可以访问一致的奖励模型，其中IPS是次优的。然后，我们提出了一种新的估计器，它可以使用现有的奖励模型（不一定是一致的），以实现更好的偏差-方差权衡比IPS和DR。我们证明了其MSE的上限，并证明了它的好处，经验上的不同收集的数据集，往往优于以前的工作的数量级。
2017-11-11 cs.LG stat.ML
Generalized Policy Elimination: an efficient algorithm for Nonparametric Contextual Bandits
我们提出了广义策略消除（GPE）算法，一个甲骨文高效的上下文强盗（CB）算法的启发\cite{dudik2011}的策略消除算法。我们证明了第一遗憾最优性保证定理的甲骨文有效CB算法竞争的非参数类具有无限VC-维。具体来说，我们表明，GPE是遗憾最优的（对数因子）的政策类与可积熵。对于具有较大熵的类，我们表明，用于分析GPE的核心技术可以用来设计一个$\varepsilon$ -贪心算法与遗憾界匹配的最佳算法。我们说明了我们的算法和定理的适用性与大型非参数政策类的例子，相关的优化预言可以有效地实现。
2020-03-05 cs.LG stat.ML
Optimistic Policy Optimization with Bandit Feedback
Technion - Israel Institute of Technology（以色列理工学院）；Tel Aviv University（特拉维夫大学）
策略优化方法是强化学习（RL）算法中应用最广泛的一类。然而，到目前为止，这些方法主要是从优化的角度进行分析，没有解决探索的问题，或者通过对与环境的相互作用进行强有力的假设。在本文中，我们考虑基于模型的RL在表格有限地平线MDP设置未知的过渡和强盗反馈。对于这种设置，我们提出了一个乐观的信任域策略优化（TRPO）算法，我们建立$\tilde O(\sqrt{S^2 A H^4 K})$后悔随机奖励。此外，我们证明了$\tilde O( \sqrt{ S^2 A H^4 } K^{2/3} ) $后悔对抗性奖励。有趣的是，这一结果匹配以前的边界得出的强盗反馈的情况下，但与已知的过渡。据我们所知，这两个结果是第一次获得的次线性遗憾界的策略优化算法与未知的过渡和强盗反馈。
2020-06-18 cs.LG stat.ML
Empirical Likelihood for Contextual Bandits
Microsoft Dynamics 365 AI（微软 Dynamics 365 人工智能）；Microsoft Research（微软研究院）
我们提出了一个估计和置信区间计算的价值，从政策外的数据在上下文的强盗设置的政策。为此，我们应用经验似然技术制定我们的估计和置信区间作为简单的凸优化问题。然后，使用我们的置信区间的下限，我们提出了一个政策外的政策优化算法，搜索策略与大的回报下限。我们的经验发现，我们的估计和置信区间改善了以前的建议，在有限样本制度。最后，我们提出的策略优化算法优于一个强大的基线系统，用于从非策略数据中学习。
2020-10-17 cs.LG stat.ML
Online Bandit Learning against an Adaptive Adversary: from Regret to Policy Regret
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Microsoft Research（微软研究院）
在线学习算法被设计成即使在它们的输入由对手生成时也能学习。在线算法学习能力的广泛接受的正式定义是博弈论中的后悔概念。我们认为，后悔的标准定义变得不够，如果对手被允许适应在线算法的行动。我们定义的替代概念的政策遗憾，试图提供一个更有意义的方式来衡量一个在线算法的性能对自适应对手。集中在网上的强盗设置，我们表明，没有强盗算法可以保证一个次线性的政策后悔对自适应对手与无限的记忆。另一方面，如果对手的记忆是有界的，我们提出了一个一般的技术，转换成一个算法的次线性策略遗憾界的任何强盗算法与次线性遗憾界。我们将这一结果扩展到后悔的其他变体，如转换后悔，内部后悔和交换后悔。
2012-06-27 cs.LG stat.ML
Indexability of Finite State Restless Multi-Armed Bandit and Rollout Policy
IIIT Allahabad（印度信息技术学院阿拉哈巴德分校）
该研究针对有限状态躁动多臂老虎机的无限时域折扣奖励最大化问题，分析单臂模型的可索引性，提出值迭代验证方法，还研究了在线rollout策略，实验表明二者性能均优于短视策略。
2023-04-30 cs.LG cs.SY eess.SY
Off-Policy Risk Assessment in Contextual Bandits
Carnegie Mellon University（卡内基梅隆大学）；Purdue University（普渡大学）
即使无法进行实验，从业者也可以使用以前记录的数据来评估未来的政策。然而，虽然土匪文学采用了一套不同的目标，大多数研究的政策外评估的日期集中在预期的回报。在本文中，我们引入Lipschitz风险泛函，一个广泛的目标，包括条件风险价值（CVaR），方差，均值方差，许多扭曲的风险，CPT风险，等等。我们提出了政策外风险评估（OPRA），一个框架，首先估计目标政策的CDF，然后生成插件估计任何收集的Lipschitz风险，提供有限的样本保证，同时在整个类。我们实例OPRA与重要性采样和双重鲁棒估计。我们的主要理论贡献是（i）第一个统一的浓度不等式的CDF估计在上下文土匪和（ii）我们的Lipschitz风险估计的误差界，这都收敛于$O(1/\sqrt{n})$的速度。
2021-06-29 cs.LG stat.ML
A Decentralized Communication Policy for Multi Agent Multi Armed Bandit Problems
Sri Lanka Technological Campus（斯里兰卡理工学院）；University of Peradeniya（佩拉德尼亚大学）
本文提出了一种新的政策，一组代理，单独以及集体，解决多武装土匪（MAB）问题。该策略仅依赖于代理通过自己的选项采样以及通过与邻居的通信获得的信息。选择政策是基于上置信度为基础（UCB）的战略，而提出的通信策略，迫使代理商与其他代理商，他们认为是最有可能探索比利用。整体策略显着优于一个独立的Erdens-Rényi（ER）图为基础的随机通信策略。该政策被证明是具有成本效益的通信方面，因此可以很容易地扩展到一个大型网络的代理。
2020-02-21 cs.LG stat.ML
Open Bandit Dataset and Pipeline: Towards Realistic and Reproducible Off-Policy Evaluation
Hanjuku-kaso Co Ltd（Hanjuku-kaso有限公司）；Cornell University（康奈尔大学）；ZOZO Research（ZOZO研究院）；Yale University（耶鲁大学）
政策外评估（OPE）的目的是使用不同政策产生的数据来估计假设政策的性能。由于其在实践中的巨大潜在影响，人们对这一领域的研究兴趣越来越大。然而，没有真实世界的公共数据集可以评估OPE，这使得其实验研究不现实且不可复制。为了实现现实和可重复的OPE研究，我们提出了开放的Bandit数据集，这是一个在大型时尚电子商务平台ZOZOTOWN上收集的公共记录的Bandit数据集。我们的数据集是独一无二的，因为它包含一组通过在同一平台上运行不同策略收集的多个记录的bandit数据集。这使得实验比较不同的OPE估计的第一次。我们还开发了名为Open Bandit Pipeline的Python软件，以简化和标准化批处理Bandit算法和OPE的实现。我们的开放数据和软件将有助于公平和透明的OPE研究，并帮助社区确定富有成效的研究方向。我们使用我们的数据集和软件提供了现有OPE估计器的广泛基准实验。这些结果为未来的OPE研究开辟了必要的挑战和新的途径。
2021-10-26 cs.LG stat.ML
PAC Off-Policy Prediction of Contextual Bandits
本文针对上下文赌博机离线策略评估问题，提出一种基于PAC有效共形预测框架的新算法，构建以给定离线数据集为条件的概率近似正确预测区间，并给出有限样本与渐近理论保证及模拟验证。
2025-07-22 cs.LG stat.ML
Safe Exploration for Optimizing Contextual Bandits
University of Amsterdam（阿姆斯特丹大学）
上下文强盗问题自然适合于许多信息检索任务，例如学习排序、文本分类、推荐等。然而，用于上下文强盗问题的现有学习方法具有两个缺点之一：它们要么不探索所有可能的文档排序的空间（即，动作），并且因此可能错过最优排名，或者它们向用户呈现次优排名，并且因此可能损害用户体验。我们介绍了一种新的学习方法上下文强盗问题，安全探索算法（SEA），它克服了上述缺点。SEA首先使用基线（或生产）排名系统（即，策略），其不损害用户体验，因此执行起来是安全的，但是具有次优性能，因此需要改进。然后SEA使用反事实学习来学习基于基线策略的行为的新策略。SEA还使用高置信度的离策略评估来估计新学习的策略的性能。一旦新学习的策略的性能至少与基线策略的性能一样好，SEA就开始使用新策略执行新动作，允许它积极探索动作空间的有利区域。这样，SEA的性能永远不会比基线策略差，因此不会损害用户体验，同时仍然探索动作空间，因此能够找到最佳策略。我们使用文本分类和文档检索的实验通过比较SEA（和称为BSEA的无限变体）与上下文强盗问题的在线和离线学习方法来证实上述内容。
2020-02-02 cs.IR cs.LG
Sample-efficient Nonstationary Policy Evaluation for Contextual Bandits
Microsoft Research（微软研究院）；Yahoo! Labs（雅虎实验室）
我们提出并证明了一个新的离线策略评估器的探索学习设置，这是优于以前的评估器的属性。特别是，它同时正确地结合了重要性加权，双稳健评估和非平稳政策评估方法的技术。此外，我们的方法允许通过仔细控制偏差方差权衡来生成更长的历史，并通过结合目标策略的随机性信息来进一步降低方差。综合和现实世界的探索学习问题的经验证据表明，新的评估成功地统一了以前的方法，并使用信息的数量级更有效。
2012-10-16 cs.LG stat.ML
Complete Policy Regret Bounds for Tallying Bandits
Carnegie Mellon University（卡内基梅隆大学）
策略后悔是衡量在线学习算法对自适应对手的性能的一个很好的概念。我们研究了对对手的限制，这些限制可以有效地最小化\emph{complete policy regret}，这是政策遗憾的最强可能版本。我们确定了一个差距，在目前的理论理解，什么样的限制允许在这个具有挑战性的设置的易处理性。为了解决这个差距，我们考虑一个推广的随机多臂强盗，我们称之为\emph{tallying bandit}。这是一个在线学习设置，具有$m$ -内存限制对手，其中播放动作的平均损失是最后一个$m$时间步中播放该动作的次数（或计数）的未知函数。为了计算具有$K$动作和时间范围$T$的强盗问题，我们提供了一个算法，w.h.p实现了$\tilde{\mathcal{O}}(mK\sqrt{T})$的完全策略后悔保证，其中$\tilde{\mathcal{O}}$符号仅隐藏对数因子。此外，我们证明了$\tildeΩ(\sqrt{m K T})$下界的任何清点强盗算法的预期完整的政策遗憾，证明了我们的方法的近最优性。
2022-04-24 cs.AI cs.LG stat.ML
Off-Policy Evaluation of Bandit Algorithm from Dependent Samples under Batch Update Policy
CyberAgent Inc.（赛博特工公司）
政策外评估（OPE）的目标是使用通过行为策略获得的历史数据来评估新策略。然而，由于上下文强盗算法基于过去的观察来更新策略，因此样本不是独立且同分布的（i.i.d.）。本文通过构造相依样本的鞅差序列（MDS）的估计量来解决这个问题。在数据生成过程中，我们不假设策略的收敛性，但策略在一定时期内使用相同的条件概率选择行动。然后，我们得到了一个渐近正常的估计值的评价政策。作为我们的方法的另一个优点，基于批处理的方法同时解决了支持不足的问题。使用基准和真实世界的数据集，我们实验证实了所提出的方法的有效性。
2020-10-23 cs.LG econ.EM stat.ML
A Practical Guide of Off-Policy Evaluation for Bandit Problems
CyberAgent Inc.（赛博特工公司）；KTH（瑞典皇家理工学院）
政策外评估（OPE）是从通过不同政策获得的样本中估计目标政策的价值的问题。最近，应用OPE方法解决强盗问题引起了人们的关注。对于策略值的估计器的理论保证，OPE方法需要关于用于生成样本的目标策略和策略的各种条件。然而，现有的研究并没有仔细讨论的实际情况下，这些条件下，他们之间的差距仍然存在。本文旨在展示弥合这一差距的新成果。基于评价策略的属性，我们对OPE情况进行了分类。然后，在实际应用中，我们主要讨论了最佳策略的选择。对于这种情况，我们提出了一个元算法的基础上现有的OPE估计。我们研究所提出的概念，使用合成和开放的真实世界的数据集在实验中。
2020-10-23 cs.LG econ.EM stat.ML
A Unified Framework of Policy Learning for Contextual Bandit with Confounding Bias and Missing Observations
Yale University（耶鲁大学）；Northwestern University（西北大学）
我们研究离线上下文强盗问题，我们的目标是获得一个最佳的政策，使用观测数据。然而，这些数据通常包含两个缺陷：（i）未观察到一些混淆行为的变量，以及（ii）在收集的数据中存在缺失的观察结果。未观察到的混杂因素导致混杂偏倚，缺失的观察结果导致偏倚和低效率问题。为了克服这些挑战并从观测数据集中学习最优策略，本文提出了一种新的策略学习算法CAP-Adjusted Pessimism（CAP）策略学习，该算法将奖励函数形成为积分方程组的解，建立置信度集，并由灰色系统采取悲观行动。温和的假设的数据，我们开发了一个上限的次优的CAP离线上下文强盗问题。
2023-03-20 cs.AI cs.LG stat.ML
Bandit Simulation for Average Reward Inference
Rutgers University（罗格斯大学）；Imperial College London（伦敦帝国理工学院）
提出BSI框架，通过拟合环境模拟器并传播参数不确定性，为自适应赌博机算法构建渐近有效的置信区间。
2026-05-30 cs.LG stat.ML
On the Identification and Mitigation of Weaknesses in the Knowledge Gradient Policy for Multi-Armed Bandits
Lancaster University（兰卡斯特大学）
知识梯度（KG）的政策最初提出的在线排名和选择问题，但最近已被改编为使用在一般的在线决策和多臂土匪问题（MABs），特别是。我们研究了它在一类指数家庭MABs的使用，并确定弱点，包括倾向于采取行动，这是占主导地位的剥削和勘探。我们提出了KG的变种，避免这种错误。这些新的政策包括指数启发式部署KG的方法来开发一个近似的Gittins指数。数值研究表明，这一政策的执行以及在一系列的MABs，包括那些指数政策不是最佳的。虽然KG在强盗是高斯的情况下不进行劣势动作，但它不能保持指数一致，并且在武器相关以补偿其更大的计算需求时，似乎没有比竞争对手政策更好的性能优势。
2016-10-17 cs.LG stat.ML
Estimating Optimal Policy Value in General Linear Contextual Bandits
Stanford University（斯坦福大学）；Google Research（谷歌研究院）；Microsoft Research（微软研究院）；Georgia Institute of Technology（佐治亚理工学院）
在许多强盗问题中，策略所能达到的最大回报往往是事先未知的。我们考虑的问题，估计最优策略值的次线性数据制度之前，最优策略甚至是可学习的。我们将此称为$V^*$估计。最近表明，快速$V^*$估计是可能的，但仅在具有高斯协变量的不相交线性Bandits中。对于模型选择等任务来说，这是否可能用于更真实的上下文分布仍然是一个开放且重要的问题。在本文中，我们首先提供了下界，表明这个一般问题是困难的。然而，在更强的假设下，我们给出了一个算法和分析证明，$\widetilde{\mathcal{O}}(\sqrt{d})$次线性估计的$V^*$确实是信息理论上可能的，其中$d$的尺寸。然后，我们提出了一个更实用的，计算效率高的算法，估计问题依赖的上界$V^*$，适用于一般分布，是紧的上下文分布时，高斯。我们证明了我们的算法只需要$\widetilde{\mathcal{O}}(\sqrt{d})$样本来估计上界。我们使用这个上界和估计，以获得新的和改进的保证几个应用程序中的强盗模型的选择和测试的治疗效果。
2023-02-19 cs.LG stat.ML
Confidence Interval for Off-Policy Evaluation from Dependent Samples via Bandit Algorithm: Approach from Standardized Martingales
CyberAgent Inc.（赛博艾坚特公司）
本研究针对由bandit演算法所得到的相依样本，提出一个离政策评估（OPE）的问题。OPE的目标是评估一个新的策略使用的历史数据从行为策略产生的强盗算法。由于bandit算法根据过去的观察结果更新策略，因此样本不是独立和同分布（i.i.d.）的。然而，用于OPE的几种现有方法没有考虑这个问题，并且基于样本是i.i.d.的假设。在这项研究中，我们解决这个问题，通过构建一个估计从一个标准化的鞅差序列。为了标准化序列，我们考虑使用评估数据或样本分裂两步估计。这种方法产生的估计渐近正态性，而不限制一类行为的政策。在一个实验中，所提出的估计比现有的方法，它假设的行为策略收敛到一个时不变的政策表现得更好。
2020-06-12 cs.LG econ.EM stat.ME
Cramming Contextual Bandits for On-policy Statistical Evaluation
Harvard University（哈佛大学）；Harvard Business School（哈佛商学院）
该研究提出cram方法作为在线策略统计评估框架，利用同一上下文博弈算法生成的数据集评估最终学习策略，通过单次数据遍历实现高效评估，证明其在稳定性条件下的一致性和渐近正态性，且在实验中降低约40%标准误差。
2025-04-15 cs.LG stat.CO stat.ME
Rarely-switching linear bandits: optimization of causal effects for the real world
University of Pennsylvania（宾夕法尼亚大学）；University of Pittsburgh（匹兹堡大学）
在许多现实世界中，过度改变策略是困难的、不道德的或昂贵的。毕竟，医生指南、税法和价目表只能经常重印。因此，我们可能只想在改变政策可能是有益的时候才改变政策。在政策是背景变量的阈值的情况下，我们可以估计处于阈值的人群的处理效应。这允许增量策略更新的时间表，使我们能够优化策略，同时进行很少的有害更改。使用这个想法，和线性上下文强盗的理论，我们提出了一个保守的政策更新过程，只有当合理的更新确定性的政策。我们扩展的线性土匪理论，这种罕见的切换情况下，证明这样的程序共享相同的遗憾，不断缩放，作为共同的LinUCB算法。然而，该算法对其策略的更改要少得多，并且在这些更改中，更少的是有害的。我们提供了模拟和婴儿健康福祉的因果推断数据集的分析，表明该算法有效地学习一个很好的政策，很少的变化。我们的方法可以有效地解决需要避免变化的问题，在医学，经济学等领域具有潜在的应用。
2019-10-15 cs.LG stat.ML
Bayesian Inference of Contextual Bandit Policies via Empirical Likelihood
School of Mathematics and Statistics University of Melbourne（数学与统计学学院墨尔本大学）
本文提出了一种基于经验似然的贝叶斯推断方法，用于在有限样本条件下对多个上下文老虎机策略进行联合分析，实现了对策略比较的灵活推断和不确定性量化。
2026-02-11 cs.LG stat.ML
Design of Experiments for Stochastic Contextual Linear Bandits
Institute for Computational and Mathematical Engineering（计算与数学工程研究所）；Stanford University（斯坦福大学）；Department of Computer Science（计算机科学系）
在随机线性上下文的强盗设置存在几个极大极小的探索过程与政策是反应的数据被收购。在实践中，部署这些算法可能会带来巨大的工程开销，特别是当数据集以分布式方式收集时，或者当需要人工参与来实现不同的策略时。在这种情况下，使用单个非反应策略进行探索是有益的。假设一些批处理上下文是可用的，我们设计了一个单一的随机策略来收集一个好的数据集，从中可以提取一个接近最优的策略。我们提出了一个理论分析，以及在合成和真实世界的数据集上的数值实验。
2021-07-22 cs.LG stat.ML
Pessimistic Risk-Aware Policy Learning in Contextual Bandits
本文提出统一框架优化Lipschitz连续风险函数，涵盖均值-方差、熵风险等，通过新型经验集中不等式推导数据依赖的次优界，无须强叠加假设，达到最小最大最优。
2026-05-15 cs.LG stat.ML
Off-Policy Evaluation and Learning from Logged Bandit Feedback: Error Reduction via Surrogate Policy
Indiana University Bloomington（印第安纳大学伯明顿分校）；Northwestern University（西北大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
当从一批记录的强盗反馈中学习时，要学习的策略和非策略训练数据之间的差异带来了统计和计算挑战。与经典的监督学习和在线学习设置不同，在批量上下文强盗学习中，人们只能访问来自历史策略所采取的动作的记录反馈的集合，并且期望学习在可能看不见的上下文中采取良好动作的策略。这种批量学习设置在在线和交互式系统中无处不在，例如广告平台和推荐系统。现有的方法基于逆倾向权重，如逆倾向评分（IPS）和策略优化指数模型（POEM），享受无偏性，但往往遭受大的均方误差。在这项工作中，我们介绍了一种新的方法，名为最大似然逆倾向评分（MLIPS）批量学习记录的强盗反馈。而不是使用给定的历史政策的建议，在逆倾向权重，我们估计一个最大似然代理政策的基础上记录的动作上下文对，然后使用这个代理政策的建议。我们证明了MLIPS是渐近无偏的，而且，有一个较小的非渐近均方误差比IPS。这种误差减少现象有些令人惊讶，因为估计的代理策略不如给定的历史策略准确。多标签分类问题和一个大规模的广告投放数据集的结果证明了MLIPS的经验有效性。此外，所提出的替代策略技术是对现有的错误减少技术的补充，并且当结合时，能够一致地提高几种广泛使用的方法的性能。
2018-08-01 cs.LG math.OC stat.ML
Indexability and Rollout Policy for Multi-State Partially Observable Restless Bandits
IIIT Allahabad（印度信息技术学院阿拉哈巴德分校）；Polytechnique Montreal（蒙特利尔综合理工学院）
具有部分可观测状态的不安分多臂强盗在通信系统、信息时代和推荐系统中有应用。本文研究了多状态部分可观测的不安宁强盗模型。我们考虑了三种不同的基于决策者可观察信息的模型-- 1）从强盗的行动中没有信息可观察2）来自强盗的完美信息仅对强盗的一个行动是可观察的，存在固定的重新启动状态，即，从所有其它状态到该状态的转换发生3）完美的状态信息可用于对Bandit的两个动作的决策者，并且对于两个动作存在两个重启状态。我们发展结构特性。我们还展示了模型2和模型3的阈值类型策略和可索引性。我们提出蒙特卡罗（MC）推出政策。在模型2的情况下，我们使用它来计算whittle指数。我们得到的集中界的价值函数的地平线长度和数量的轨迹MC推出政策。我们推导出模型3的显式指数公式。最后，我们描述了蒙特卡洛推出政策模型1时，很难显示可索引性。我们使用近视政策，蒙特卡罗推出政策和惠特尔指数政策的数值例子。我们观察到，蒙特卡洛推出政策是一个很好的竞争政策，近视。
2021-07-30 cs.LG cs.SY eess.SY
Fast Best-in-Class Regret for Contextual Bandits
本文研究了在无偏设定下随机上下文老虎机问题，提出首个快速遗憾率算法，通过悲观目标和熵假设实现快速最佳类遗憾率。
2026-08-20 cs.LG stat.ML
Statistical Efficiency of Thompson Sampling for Combinatorial Semi-Bandits
Inria Lille（里尔法国国家信息与自动化研究所）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；ENSAE（法国国家统计与经济管理学院）；Criteo AI Lab（Criteo人工智能实验室）；DeepMind Paris（巴黎DeepMind）
本文研究了带半反馈的随机组合多臂强盗系统。在CMAB中，存在一个有效的政策与最佳渐近遗憾的问题（一个因素多对数的行动规模）仍然是开放的许多家庭的分布，包括相互独立的结果，更一般的多变量亚高斯家庭。我们建议通过分析组合汤普森抽样策略（CTS）的变体来回答这两个家庭的上述问题。对于$[0,1]$中相互独立的结果，我们提出了一个严密的分析CTS使用Beta先验。然后，我们看看更一般的设置多变量亚高斯的结果，并提出了一个严格的分析CTS使用高斯先验。这最后一个结果给了我们一个替代的有效抽样组合强盗政策（ESCB），虽然最佳的，是不是计算效率。
2021-01-03 cs.LG stat.ML
Exploring Offline Policy Evaluation for the Continuous-Armed Bandit Problem
Tilburg University（蒂尔堡大学）；Aalto University（阿尔托大学）
（上下文）多臂强盗问题（MAB）提供了一个形式化的顺序决策，有许多应用。然而，有效地评估MAB政策是具有挑战性的，我们要么诉诸模拟，其中固有地包括有争议的假设，或者我们诉诸昂贵的现场试验。最近提出了一种离线评估方法，该方法基于经验数据，从而放松了假设，并可用于并行评估多个竞争政策。然而，这种方法并不直接适用于连续武装（CAB）问题;这是一种经常遇到的MAB问题，其中动作集是连续的而不是离散的。我们提出并评估现有方法的扩展，使其可用于评估CAB政策。我们的经验表明，我们的方法提供了一个相对一致的排名政策。此外，我们详细介绍了我们的方法可以用来选择政策在现实生活中的CAB问题。
2019-08-21 cs.LG stat.ML
A Diffusion Analysis of Policy Gradient for Stochastic Bandits
本文研究了随机带宽政策梯度的连续时间扩散近似，证明了在特定学习率下遗憾的渐进行为，并构造了具有对数数量臂的实例，展示了学习率对性能的影响。
2026-03-10 cs.AI cs.LG math.ST
Contextual Bandits in a Survey Experiment on Charitable Giving: Within-Experiment Outcomes versus Policy Learning
Stanford Graduate School of Business（斯坦福大学商学院）；Amazon（亚马逊）；Stanford Management Science and Engineering（斯坦福大学管理科学与工程系）；Coupang（库胖）；University of Toronto Computer Science（多伦多大学计算机科学系）
我们设计并实施了一个适应性实验（一个“上下文强盗”），以学习有针对性的治疗分配政策，其目标是使用参与者的调查响应来确定在募捐活动中让他们接触哪个慈善机构。该设计平衡了两个相互竞争的目标：优化实验中受试者的结果（"累积遗憾最小化“）和收集对政策学习最有用的数据，即学习一个分配规则，如果在实验后使用，将最大限度地提高福利（"简单遗憾最小化”）。我们通过收集试点数据，然后进行模拟研究，以评估替代实验设计。接下来，我们实现我们选择的算法。最后，我们进行了第二次模拟研究，锚定到收集的数据，评估我们选择的算法的好处。我们的第一个结果是，在这种设置中的学习策略的值是更高的数据收集通过统一的随机化，而不是收集自适应使用标准的累积遗憾最小化或政策学习算法。我们提出了一个简单的启发式的自适应实验，提高均匀随机化的政策学习的角度来看，增加累积遗憾相对于替代强盗算法的代价。启发式修改现有的上下文强盗算法（i）施加一个下界的分配概率衰减缓慢，使没有手臂被丢弃得太快，（ii）自适应收集数据后，限制策略学习选择从武器已经收集了足够的数据。
2022-11-22 cs.LG econ.EM stat.ML
Policy Regret for Embedding Model Routing: Contextual Bandits with Low-Rank Experts
Operations Research Center, MIT（麻省理工学院运筹学研究中心）；Sloan School of Management, MIT（麻省理工学院斯隆管理学院）；Department of EECS, MIT（麻省理工学院电气工程与计算机科学系）
针对推荐系统中嵌入模型路由问题，形式化为具有低秩专家的对抗性上下文线性赌博机，提出Hypentropy策略梯度算法，实现$\tilde{\mathcal O}(s\sqrt{M T})$线性化策略遗憾。
2026-09-28 cs.AI cs.LG stat.ML
Efficient Counterfactual Learning from Bandit Feedback
Yale University（耶鲁大学）；CyberAgent Inc.（CyberAgent公司）
使用来自bandit反馈的批量数据进行非策略评估和优化的最有效的统计方法是什么？对于由上下文强盗算法生成的日志数据，我们考虑从反事实策略中获得预期奖励的离线估计。我们的估计量具有最低的方差在广泛的一类估计量，实现相对于标准估计量的方差减少。然后，我们应用我们的估计，以改善广告设计的一个主要的广告公司。与理论结果相一致，我们的估计使我们能够改进现有的强盗算法，与最先进的基准相比，具有更高的统计置信度。
2018-12-05 cs.AI cs.IR cs.LG
Quick Best Action Identification in Linear Bandit Problems
University of California, Davis（加州大学戴维斯分校）
本文研究了具有固定置信约束的随机线性Bandit系统中的最佳行动识别问题。在所考虑的最佳动作识别问题中，而不是最小化在现有的作品中所做的累积遗憾，学习者的目标是获得一个准确的估计的基础上，他的行动和奖励序列的基本参数。为了提高估计效率，学习者可以选择他的行动根据他的历史信息，因此整个过程中设计的顺序自适应的方式。我们首先表明，现有的算法设计，以尽量减少累计遗憾是不一致的估计，因此不是一个很好的政策，我们的问题。然后，我们描述了任何政策的估计误差的下限。我们进一步设计了一个简单的政策，并表明，所设计的政策的估计误差达到相同的缩放顺序推导出的下界。
2018-12-02 cs.LG stat.ML
Kernel weighted importance sampling for off-policy evaluation in contextual bandits
Institute of Child Health, University College London（伦敦大学学院儿童健康研究所）；Strive Health Ltd.（奋进健康有限公司）；National Institute for Health Research（国家卫生研究院）；University College London, Biomedical Research Council（伦敦大学学院生物医学研究委员会）；Great Ormond Street Hospital（大奥蒙德街医院）；McGill University（麦吉尔大学）
研究上下文博弈离策略评估，提出核加权重要性采样估计器Kernel-WIS，它结合普通加权重要性采样有界性与普通重要性采样线性，渐近一致且优于基线方法，尤其在行为策略错误指定等复杂情况。
2026-08-05 cs.LG
Simulation Based Algorithms for Markov Decision Processes and Multi-Action Restless Bandits
IIT Madras（印度理工学院马德拉斯分校）；IIT Bombay（印度理工学院孟买分校）
我们考虑多维马尔可夫决策过程，并制定了长期折扣奖励优化问题。研究了两种基于仿真的策略-蒙特卡罗卷展策略和并行卷展策略，并讨论了这两种策略的各种性质。接下来，我们考虑了一个具有多维状态空间和多动作的不安分多臂强盗（RMAB）模型。一个标准的RMAB由每个手臂的两个动作组成，而在多动作RMAB中，每个手臂有两个以上的动作。一种流行的方法是基于Whittle指数的启发式策略。可索引性是使用基于索引的策略的重要要求。在此基础上，一个RMAB分为索引或非索引土匪。我们的兴趣是在蒙特卡洛推出政策的索引和不可索引的不安土匪的研究。我们首先分析了一个标准的可索引的RMAB（两个动作模型），并讨论了基于索引的政策方法。提出了一种基于Monte-Carlo滚动策略的近似索引计算算法。该算法的收敛性表明，使用两个时标的随机逼近方案。随后，我们分析了多动作可索引的RMAB，并讨论了基于索引的策略方法。我们还研究了不可索引的RMAB的标准和多行动土匪使用蒙特卡洛推出政策。
2020-07-25 cs.LG cs.SY eess.SY
Thompson Sampling in Non-Episodic Restless Bandits
University of Michigan（密歇根大学）；Criteo AI Lab（科韬人工智能实验室）
不安分的强盗问题假设武器的时变奖励分布，这增加了模型的灵活性，但使分析更具挑战性。我们研究学习算法在未知的奖励分布，并证明了一个次线性，$O(\sqrt{T}\log T)$，后悔界的汤普森抽样的一个变种。我们的分析适用于无限时间范围设置，解决了Jung和Tewari（2019）提出的开放问题，其分析仅限于情节案例。我们采用他们的策略映射框架，这使得我们的算法是有效的，同时保持遗憾的意义。我们的算法采用了Ouyang et al.（2017）的TSDE算法，以一种非平凡的方式来解释不安分的土匪的特殊结构。我们测试我们的算法上模拟的动态信道接入问题与几个政策映射，和经验的遗憾同意与理论界的政策映射的选择无关。
2019-10-12 cs.LG stat.ML
The multi-armed bandit problem with covariates
Université Paris Diderot（巴黎第七大学）；Princeton University（普林斯顿大学）
我们考虑一个多臂强盗问题的设置，每个手臂产生一个嘈杂的奖励实现依赖于一个可观察的随机协变量。与传统的静态多臂强盗问题相反，这种设置允许动态改变奖励，从而更好地描述边信息可用的应用。我们采用了一个非参数模型，其中预期的回报是协变量的光滑函数，并且问题的难度由保证金参数捕获。为了最大限度地提高预期的累积奖励，我们引入了一个政策，称为自适应装箱逐次淘汰（abse），自适应分解成适当的“本地化”的静态强盗问题的全球性问题。该策略使用连续消除（SE）策略的变体来构造自适应分区。我们的结果包括更清晰的遗憾界的se政策在一个静态的强盗问题和minimax最优遗憾界的abse政策在动态的问题。
2013-05-24 cs.LG math.ST stat.ML
Differentiable Bandit Exploration
Google Research（谷歌研究院）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
贝叶斯强盗中的探索策略最大化了从某些分布$\mathcal{P}$中提取的问题实例的平均奖励。在这项工作中，我们学习这样的政策，一个未知的分布$\mathcal{P}$使用样本从$\mathcal{P}$。我们的方法是元学习的一种形式，并利用$\mathcal{P}$的属性，而不对其形式进行强有力的假设。为此，我们以可区分的方式对策略进行参数化，并通过策略梯度对其进行优化，这是一种通用且易于实现的方法。我们得到有效的梯度估计，并引入新的方差降低技术。我们还分析和实验各种强盗政策类，包括神经网络和一种新的softmax政策。后者具有遗憾保证，是我们优化的自然起点。我们的实验表明，我们的方法的通用性。我们还观察到，神经网络政策可以学习隐含的偏见表示，只有通过采样的实例。
2020-06-09 cs.LG stat.ML
Contextual Bandits with Continuous Actions: Smoothing, Zooming, and Adapting
Microsoft Research（微软研究院）；University of Arizona（亚利桑那大学）
我们使用抽象策略类和连续动作空间来研究上下文强盗学习。我们得到两个性质不同的遗憾界：一个竞争的平滑版本的政策类下没有连续性假设，而其他需要标准的Lipschitz假设。这两个边界都表现出依赖于数据的“缩放”行为，并且在没有调优的情况下，对良性问题产生了更好的保证。我们还研究了适应未知的平滑参数，建立一个价格的自适应性和推导出最佳的自适应算法，不需要额外的信息。
2020-06-20 cs.LG stat.ML
A Lyapunov Analysis of Softmax Policy Gradient for Stochastic Bandits
研究将Lattimore(2026)对连续时间k臂随机老虎机策略梯度的分析适应到离散时间设置，证明学习率η=O(Δ_min²/(Δ_max log(n)))时，后悔为O(k log(k) log(n)/η)。
2026-03-27 cs.LG
Analysis of Thompson Sampling for Partially Observable Contextual Multi-Armed Bandits
情境多臂强盗是强化学习中与个体信息相关联的序列决策的经典模型。一个广泛使用的强盗策略是汤普森采样，其中来自数据驱动的关于未知参数的概率信念的样本用于选择控制动作。对于这种计算速度快的算法，性能分析可在全上下文观测下使用。然而，很少有人知道的问题，上下文不完全观察。我们提出了一个汤普森采样算法的部分可观察的上下文多武装土匪，并建立理论性能保证。从技术上讲，我们表明，所提出的政策尺度的遗憾与时间和武器的数量，线性的维度。此外，我们建立学习未知参数的速率，并提供说明性的数值分析。
2021-11-29 cs.LG stat.ML
Robustness of Anytime Bandit Policies
研究了随机多臂强盗问题中后悔偏差的存在性。当游戏的总次数n事先被代理人知道时，Audibert et al.（2009）展示了一个策略，使得概率至少为1-1/n，策略的后悔次数为log（n）。他们还表明，Auer et al.（2002）流行的ucb 1政策并不具有这样的性质。这项工作首先回答了一个悬而未决的问题：它扩展了这个负面的结果，任何时候的政策。本文的第二个贡献是设计任何时候都强大的政策，具体的多臂强盗问题，其中的一些限制的可能分布的不同的武器。
2011-07-25 stat.ML
Oracle-Efficient Pessimism: Offline Policy Optimization in Contextual Bandits
Microsoft Research NYC（微软研究院纽约分院）；Netflix（奈飞公司）
本文提出首个通用的预言机高效悲观离线策略优化算法，通过归约为监督学习实现广泛适用性，并在离散和连续动作实验中优于未正则化方法。
2023-10-25 cs.LG
Offline Contextual Bandits with Overparameterized Models
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
监督学习的最新结果表明，虽然过参数化模型具有过拟合的能力，但它们实际上具有很好的泛化能力。我们问是否同样的现象发生在离线上下文土匪。我们的结果好坏参半。基于值的算法受益于与过参数化监督学习相同的泛化行为，但基于策略的算法没有。我们表明，这种差异是由于他们的目标的\emph{action-stability}。一个目标是动作稳定的，如果存在一个预测（动作值向量或动作分布），无论观察到哪个动作都是最优的。基于价值的目标是行动稳定的，而基于政策的目标是不稳定的。我们正式证明了上界的遗憾过参数化值为基础的学习和下限的遗憾基于政策的算法。在我们对大型神经网络的实验中，基于动作稳定值的目标和基于不稳定策略的目标之间的这种差距导致了显著的性能差异。
2021-06-16 cs.LG stat.ML
Context-Action Embedding Learning for Off-Policy Evaluation in Contextual Bandits
RBC Borealis（RBC博雷利斯）
针对上下文赌博机中离线策略评估的高方差问题，提出CAEL-MIPS方法，通过从离线数据学习上下文-动作嵌入来最小化MIPS估计器的均方误差，并在合成和真实数据集上验证其优于基线。
2025-10-14 cs.LG stat.ML
Improved Algorithms for Conservative Exploration in Bandits
Facebook AI Research（Facebook人工智能研究（Facebook AI Research））
在数字营销、医疗保健、金融和机器人等许多领域，通常在生产中运行经过良好测试且可靠的基线策略（例如，推荐系统）。然而，基线政策往往不是最佳的。在这种情况下，期望部署在线学习算法（例如，多臂Bandit算法），其与系统交互以在学习过程期间性能几乎永远不会比基线本身的性能差的约束下学习更好/最优策略。本文研究了上下文线性bandit环境下的保守学习问题，并提出了一种新的算法--保守约束LinUCB（CLUCB 2）。我们得出遗憾的界限CLUCB 2匹配现有的结果和经验表明，它优于国家的最先进的保守的强盗算法在一些合成和现实世界的问题。最后，我们考虑了一个更现实的约束，性能验证只在预定义的检查点（而不是在每一步），并显示这种放松的约束有利地影响遗憾和经验表现的CLUCB 2。
2020-02-08 cs.LG stat.ML
Bandit Submodular Maximization under Matroid Constraints: Learning Compressed Exchange Policy
Great Bay University（湾大大学）；Fuzhou University（福州大学）
该研究针对拟阵约束下的对抗博弈子模极大化问题，提出基于平衡分数交换的多项式时间算法，实现次线性regret，是该方向首个此类算法。
2026-08-26 cs.LG
Contextual Bandits for Evaluating and Improving Inventory Control Policies
Amazon（亚马逊）
针对非平稳需求等复杂周期性盘点库存控制问题，本文引入均衡策略概念，并提出一种轻量级上下文老虎机算法来评估和微调库存策略，理论与实证均证明其有效性。
2023-10-24 cs.LG stat.ML
Optimal Regret for Policy Optimization in Contextual Bandits
School of Computer Science and AI, Tel-Aviv University, Tel-Aviv, Israel（计算机科学与人工智能学院，特拉维夫大学，特拉维夫，以色列）；Google Research, Tel-Aviv, Israel（谷歌研究，特拉维夫，以色列）
本文提出了一种高效算法，实现了上下文老虎机问题中策略优化的最优后悔界。
2026-02-14 cs.LG
