Conservative Contextual Linear Bandits
Stanford University（斯坦福大学）；Adobe Research（Adobe研究院）
安全性是一个理想的属性，可以极大地提高学习算法在现实世界决策问题中的适用性。公司更容易部署安全的算法，即，保证至少和基准一样好。在本文中，我们研究的上下文线性强盗，有应用在许多不同的领域，包括个性化的广告推荐在网络营销中的安全性问题。我们制定了这类算法的安全性的概念。我们开发了一个安全的上下文线性强盗算法，称为保守线性UCB（CLUCB），同时最大限度地减少其遗憾，并满足安全约束，即，在一段时间内保持其业绩高于基线战略业绩的固定百分比。我们证明了一个上限的遗憾的CLUCB和表明，它可以被分解成两个方面：1）一个上限的遗憾的标准线性UCB算法的增长与时间范围和2）一个常数（不增长与时间范围）的长期，占的损失是保守的，以满足安全约束。我们的经验表明，我们的算法是安全的，并验证了我们的理论分析。
2017-03-04 cs.LG stat.ML
A One-Size-Fits-All Solution to Conservative Bandit Problems
Tsinghua University（清华大学）
在本文中，我们研究了一类具有样本路径报酬约束的保守强盗问题，即，学习者的奖励表现在任何时候都必须至少与给定的基线一样好。我们提出了一个一刀切的解决方案，CBPs和目前的应用程序，包括三个问题，即保守的多武装土匪（CMAB），保守的线性土匪（CLB）和保守的上下文组合土匪（CCCB）。不同于以往的作品，考虑高概率约束的预期回报，我们专注于一个样本路径约束的实际收到的奖励，并取得更好的理论保证（$T$独立的添加剂遗憾，而不是$T$依赖）和经验性能。此外，我们扩展的结果，并考虑一种新的保守的均值方差强盗问题（MV-CBP），它的学习性能与预期的回报和变化。对于这个扩展的问题，我们提供了一个新的算法与$O(1/T)$规范化的附加遗憾（$T$ -独立的累积形式），并验证了这一结果，通过实证评估。
2023-02-07 cs.LG
Multi-Armed Bandits with Minimum Aggregated Revenue Constraints
CREST, ENSAE, Palaiseau, France（CREST、ENSAE、Palaiseau、法国）；Criteo AI Lab, Paris, France（Criteo AI实验室、巴黎、法国）；FairPlay joint team（FairPlay联合团队）
本研究提出并分析了在最小聚合收益约束下优化多臂老虎机问题的算法，给出了遗憾与约束违反的上界及最优性下界。
2025-10-14 cs.LG math.OC
Blind Network Revenue Management and Bandits with Knapsacks under Limited Switches
Department of Civil and Environmental Engineering, Operations Research Center, and Institute for Data, Systems, and Society, Massachusetts Institute of Technology（土木与环境工程系、运筹中心及数据、系统与社会研究所，麻省理工学院）；Department of Industrial and Enterprise Systems Engineering, Grainger College of Engineering, University of Illinois（工业与企业系统工程系、格拉inger工程学院，伊利诺伊大学）；Questrom School of Business, Boston University（乔斯特罗商学院，波士顿大学）
本文研究有限切换约束下的盲网络收益管理与带背包的多臂老虎机问题，提出高效算法实现最优遗憾界限，并揭示资源约束对在线学习复杂度的根本影响。
2025-09-17 cs.GT cs.LG math.OC
Near-Optimal MNL Bandits Under Risk Criteria
University of Maryland, College Park（马里兰大学帕克分校）；Indiana University Bloomington（印第安纳大学伯明顿分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们研究MNL土匪，这是一个变种的传统的多臂土匪问题，风险标准。与一般的期望收益不同，风险准则是一种更为普遍的目标，在工商业中得到了广泛的应用。我们设计了一个广泛的类的风险标准，包括但不限于著名的条件风险值，夏普比率和熵风险的算法，并证明他们遭受一个接近最优的遗憾。作为补充，我们还进行了实验与合成和真实的数据，以显示我们提出的算法的经验性能。
2021-03-16 cs.LG stat.ML
UCB-based Algorithms for Multinomial Logistic Regression Bandits
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of British Columbia（不列颠哥伦比亚大学）
在广义线性强盗的丰富家族中，也许研究得最好的是在二元奖励问题中使用的逻辑强盗：例如，当学习者/代理试图最大化可以选择两种可能结果之一的用户的利润时（例如，“click”vs“no-click”）。尽管最近取得了显著的进展并且改进了用于物流强盗的算法，但是现有的工作没有解决用户可以选择的结果的数量大于两个的实际情况（例如，“click”、“show me later”、“never show again”、“no click”）。在本文中，我们研究这样的扩展。我们使用多项logit（MNL）来模拟$K+1\geq 2$可能结果中的每一个的概率（+1代表“不点击”结果）：我们假设对于学习者的动作$\mathbf{x}_t$，用户选择$K+1\geq 2$结果中的一个，比如结果$i$，具有多项logit（MNL）概率模型，具有相应的未知参数$\bar{\boldsymbolθ}_{\ast i}$。每个结果$i$还与收入参数$ρ_i$相关联，目标是最大化预期收入。对于这个问题，我们提出了MNL-UCB，上置信界（UCB）为基础的算法，实现遗憾$\tilde{\mathcal{O}}(dK\sqrt{T})$与小依赖问题相关的常数，否则可以任意大，导致松散的遗憾界限。我们提出的数值模拟，证实了我们的理论结果。
2021-03-21 cs.LG stat.ML
Hierarchical Contextual Uplift Bandits for Catalog Personalization
Dream11
本文提出层次化上下文提升老虎机框架，通过动态调整上下文粒度和整合提升建模原理，提升幻想体育平台的推荐质量与用户满意度。
2026-01-20 cs.LG
Stage-wise Conservative Linear Bandits
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
我们研究了阶段性保守线性随机强盗：强盗优化的一个实例，它考虑了在线广告和医疗试验等应用中出现的（未知）安全约束。在每一个阶段，学习者必须选择的行动不仅要在整个时间范围内最大化累积奖励，而且还要满足线性基线约束，即瞬时奖励的下限。对于这个问题，我们提出了两个新的算法，阶段明智的保守线性汤普森采样（SCLTS）和阶段明智的保守线性UCB（SCLUCB），尊重基线约束，并享受概率遗憾界的顺序O（\sqrt{T} \log^{3/2} T）和O（\sqrt{T} \log T），分别。值得注意的是，所提出的算法可以进行调整，只有很小的修改，以解决不同的问题的变化，如约束带反馈，或一个未知的基线动作序列。我们讨论了这些和其他改进的最先进的。例如，与现有的解决方案相比，我们表明，SCLTS发挥（非最佳）基线行动最多O（\log{T}）倍（相比O（\sqrt{T}））。最后，我们将连接到另一种研究形式的安全约束，其形式为瞬时奖励的上限。虽然这会给学习过程带来额外的复杂性，因为不能保证最佳动作在每一轮都属于安全集，但我们证明了SCLUCB可以通过简单的修改在此设置中进行适当的调整。
2020-09-30 cs.AI cs.LG cs.SY
Stochastic Conservative Contextual Linear Bandits
Iowa State University（爱荷华州立大学）
许多物理系统都有潜在的安全考虑，需要部署的策略确保满足一组约束。此外，我们往往只有系统状态的部分信息。研究了不确定环境下的安全实时决策问题。在本文中，我们制定了一个保守的随机上下文强盗制定实时决策时，对手选择的一组可能的上下文和学习者的分布受到一定的安全/性能约束。学习者只观察上下文分布，确切的上下文是未知的，目标是开发一种算法，该算法选择一系列最佳动作，以最大化累积奖励，而不会在任何时间步违反安全约束。通过利用UCB算法在这种情况下，我们提出了一个保守的线性UCB算法的随机土匪上下文分布。我们证明了一个上限的遗憾的算法，并表明，它可以分解成三个方面：（i）标准线性UCB算法的后悔的上界，（ii）常数项（独立于时间范围），其考虑了保守性的损失以满足安全约束，以及（ii）一个常数项（与时间范围无关），其说明了上下文未知且仅分布已知时的损失。为了验证我们的方法的性能，我们对合成数据和通过基因组到田地（G2 F）计划收集的真实玉米数据进行了广泛的模拟。
2022-03-29 cs.LG
Reserve-Aware Contrast Certificates for Conservative Bandits with Uncertain Baselines
针对基线不确定的保守型赌博机问题，提出Reserve-C4B方法，利用共享置信集和储备账本减少重复计费，并通过前缀刷新实现动态重认证，显著降低基线回退。
2026-10-01 cs.AI cs.LG
Waterfall Bandits: Learning to Sell Ads Online
Google Research（谷歌研究院）；Stanford University（斯坦福大学）；Rutgers University（罗格斯大学）；Adobe Research（奥多比研究院）
一种流行的在线广告销售方法是瀑布式的，即出版商向广告网络提供一个库存的连续价格，并按此顺序选择获胜者。出版商选择订单和价格，以最大限度地提高收入。传统的解决方案是学习需求模型，然后随后解决给定需求模型的优化问题。这将导致线性遗憾。我们设计了一种解决该问题的在线学习算法，该算法将学习和优化交织在一起，并证明了该算法具有次线性遗憾性。我们对合成数据和真实数据的算法进行了评估，并表明它可以快速学习高质量的定价策略。这是第一个通过连续实验在线学习瀑布设计的原则性研究。
2019-04-20 cs.LG stat.ML
Adversarial Attacks on Linear Contextual Bandits
Facebook AI Research（Facebook人工智能研究院）
上下文强盗算法应用于广泛的领域，从广告到推荐系统，从临床试验到教育。在这些领域中的许多领域中，恶意代理可能有动机攻击强盗算法以诱导其执行期望的行为。例如，一个不道德的广告发布者可能试图以牺牲广告商的利益来增加自己的收入;一个卖家可能想增加他们产品的曝光率，或者阻挠竞争对手的广告活动。在本文中，我们研究了几种攻击方案，并表明恶意代理可以迫使线性上下文强盗算法在$T$步骤的范围内拉动任何所需的手臂$T - o(T)$次，同时将对抗性修改应用于奖励或仅以$O(\log T)$形式增长的上下文。我们还调查了恶意代理有兴趣在单个上下文中影响强盗算法的行为的情况（例如，特定用户）。我们首先提供了攻击的可行性的充分条件，然后我们提出了一个有效的算法来执行攻击。我们验证了我们的理论结果在合成和真实世界的数据集上进行的实验。
2020-10-23 cs.LG stat.ML
On Pareto Optimality for Parametric Choice Bandits
Department of Management Science and Engineering, Tsinghua University, Beijing, China（清华大学管理科学与工程系，北京，中国）；Department of Industrial Systems Engineering and Management, National University of Singapore, Singapore（新加坡国立大学工业系统工程与管理系，新加坡）
本文研究在随机选择下在线商品组合优化问题，提出结合两个正则化最大似然估计器的强制探索乐观面对不确定性方案，分析了自归一化集中不等式、似然椭球置信集定理和近似乐观动作的遗憾界，推导了多名义logit模型的得分和曲率代理，得出帕累托最优区间和平衡点。
2026-04-24 cs.LG stat.ML
Stochastic Matching Bandits with Rare Optimization Updates
Seoul National University（首尔国立大学）
本文提出了一种批量算法，通过限制匹配更新次数来减少计算开销，同时在随机匹配老虎机中实现O(√T)的遗憾界。
2026-10-23 cs.LG stat.ML
A Contextual Bandit Bake-off
New York University（纽约大学）；Microsoft Research（微软研究院）；Inria（法国国家信息与自动化研究所）
上下文强盗算法对于解决许多现实世界的交互式机器学习问题是必不可少的。尽管最近在统计和计算效率方法上取得了多项成功，但这些算法的实际行为仍然知之甚少。我们利用大量监督学习数据集的可用性来经验性地评估上下文强盗算法，重点关注通过依赖监督学习的优化预言来学习的实用方法。我们发现，最近的方法（福斯特等人，2018）在不确定性下使用乐观主义总体效果最好。令人惊讶的是，第二个是一个简单的贪婪基线，它只通过上下文的多样性进行隐式探索，然后是在线封面的变体（Agarwal et al.，2014年），这往往是更保守的，但鲁棒的问题规格的设计。一路上，我们还评估了上下文强盗算法设计的各个组成部分，如损失估计。总体而言，这是一个深入的研究和审查语境土匪方法论。
2021-06-04 cs.LG stat.ML
Dynamic Pricing in Securities Lending Market: Application in Revenue Optimization for an Agent Lender Portfolio
J.P. Morgan Quantitative Research（摩根大通量化研究部门）
针对证券借贷市场传统定价方法难扩展、适应性差的问题，提出将电商动态定价的上下文老虎机框架应用于该市场，经真实历史数据离线验证，总收益比典型方法至少提升15%。
2024-10-07 cs.LG q-fin.TR
Conservative Contextual Bandits: Beyond Linear Representations
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon AGI（亚马逊AGI）
针对现有保守上下文老虎机算法仅适用于线性场景的问题，提出两种基于逆间隙加权探索和在线回归的非线性场景算法，证明其安全约束满足性与次线性遗憾界，真实数据实验验证其性能优于基线。
2024-12-09 cs.AI cs.LG stat.ML
An Algorithmic Framework to Control Bias in Bandit-based Personalization
Indian Institute of Technology, Kanpur（坎普尔印度理工学院）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
个性化在在线空间中很普遍，因为它通过允许向每个用户提供最相关的内容来提高效率和收入。然而，最近的研究表明，个性化方法可能会传播社会或系统性偏见和偏见;这导致了对监管机制和算法的呼吁，以打击偏见和不平等。从理论上讲，bandit优化在学习用户偏好和相应地个性化内容或提要方面取得了巨大成功。我们提出了一个算法框架，允许在这种基于强盗的个性化的可能性，以控制偏见或歧视。我们的模型允许对可以显示给用户的敏感类型的内容的一般公平性约束的规范。然而，面临的挑战是提出一个可扩展的和低遗憾算法的约束优化问题，出现。我们的主要技术贡献是一个可证明的快速和低遗憾算法的公平约束的强盗优化问题。我们的证明关键地利用了问题的特殊结构。在合成数据集和真实数据集上的实验表明，我们的算法框架可以控制偏差，只有轻微的收入损失。
2018-02-23 cs.AI cs.CY cs.IR
Finding Optimal Arms in Non-stochastic Combinatorial Bandits with Semi-bandit Feedback and Finite Budget
Paderborn University（帕德博恩大学）；University of Munich (LMU)（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
我们考虑了有限采样预算约束下的半强盗反馈组合强盗问题，其中学习者只能在有限的总预算指定的次数内执行其动作。动作是选择一组手臂，于是接收所选组中的每个手臂的反馈。与现有的作品不同，我们研究这个问题在一个非随机设置与子集相关的反馈，即，所接收的半强盗反馈可以由不经意的对手产生，并且还可以取决于所选择的武器集合。此外，我们认为一个一般的反馈方案，包括数字为基础的，以及基于偏好的情况下，并介绍了一个健全的理论框架，保证合理的概念，最佳武器，学习者试图找到这种设置。我们提出了一个通用的算法，适用于涵盖从积极到保守的所有可能的手臂消除策略。理论上的问题，足够的和必要的预算的算法，以找到最好的手臂得到回答和补充，推导出下限的任何学习算法，这个问题的情况。
2022-10-14 cs.LG stat.ML
Dynamic Pricing under Finite Space Demand Uncertainty: A Multi-Armed Bandit with Dependent Arms
University of California, Davis（加州大学戴维斯分校）
研究了需求模型未知情况下的动态定价问题。在这个问题中，卖方向一群顾客提供价格，并观察每次销售尝试的成功或失败。潜在的需求模型是未知的卖方，可以采取N种可能的形式之一。在本文中，我们表明，这个问题可以制定为一个多臂土匪依赖武器。我们提出了一种基于似然比检验的动态定价策略。我们表明，所提出的政策实现了完全学习，即，它提供了一个有界的遗憾，其中遗憾被定义为相对于具有已知需求模型的情况的收入损失。这与具有独立武器的多臂强盗的对数增长的后悔形成鲜明对比。
2012-10-27 cs.LG
Improved Algorithms for Multi-period Multi-class Packing Problems with Bandit Feedback
Columbia University（哥伦比亚大学）
针对带老虎机反馈的线性上下文多类多周期打包问题，提出新估计器和闭式老虎机策略，实现次线性遗憾并扩展至多类设定。
2023-05-31 cs.LG stat.ML
Doubly High-Dimensional Contextual Bandits: An Interpretable Model for Joint Assortment-Pricing
University of Notre Dame（圣母大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）
本文提出一种基于上下文老虎机的联合选品-定价模型，利用近低秩表示矩阵应对双重高维问题，并证明其遗憾上界，仿真和真实案例均显示该方法在收入和利润上显著优于现有方法。
2023-09-14 cs.AI cs.LG stat.AP
Meta-Learning Bandit Policies by Gradient Ascent
Google Research（谷歌研究院）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
大多数强盗策略的设计要么是在任何问题的情况下最大限度地减少遗憾，对底层环境做很少的假设，要么是在贝叶斯意义上，假设环境参数的先验分布。前者在实际环境中往往过于保守，而后者则需要很难在实践中验证的假设。我们研究的强盗问题，这两个极端之间，学习代理有机会从一个未知的先验分布$\mathcal{P}$采样的强盗实例，并旨在实现高回报的平均超过强盗实例从$\mathcal{P}$。这种设置是特别重要的，因为它奠定了基础的元学习的强盗政策，并反映了更现实的假设，在许多实际领域。我们建议使用参数化的强盗政策，是可区分的，可以使用策略梯度进行优化。这提供了一个易于实施的广泛适用的框架。我们得到的回报梯度，反映了结构的强盗问题和政策，为非上下文和上下文的设置，并提出了一些有趣的政策，都是可微的，并具有低遗憾。我们的算法和理论贡献的支持下，广泛的实验表明，基线减法，学习偏见的重要性，我们的方法在一个范围内的问题的实用性。
2021-01-06 cs.LG stat.ML
Fully Gap-Dependent Bounds for Multinomial Logit Bandit
Tsinghua University（清华大学）
我们研究了多项logit（MNL）强盗问题，在每个时间步，卖方提供了一个品种的大小最多$K$从池的$N$项目，和买方购买的项目从品种根据MNL选择模型。目标是学习模型参数并最大化预期收益。我们提出了（i）一个算法，确定最佳的组合$S^*$内$\widetilde{O}(\sum_{i = 1}^N Δ_i^{-2})$时间步长的概率很高，和（ii）一个算法，招致$O(\sum_{i \notin S^*} KΔ_i^{-1} \log T)$遗憾$T$时间步长。据我们所知，我们的算法是第一个实现完全依赖于所有项目的次优差距的差距依赖的界限。我们的技术贡献包括一个算法框架，涉及的MNL-土匪问题的一个变种的顶部- $K$手臂识别问题的多武装土匪，一个广义的基于时代的提供程序，和一个基于层的自适应估计程序。
2020-11-19 cs.LG
Multi-Agent Stage-wise Conservative Linear Bandits
Stanford University（斯坦福大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
本文提出MA-SCLUCB算法，通过分阶段保守约束实现多智能体在安全保证下的高效分布式学习。
2026-02-13 cs.LG cs.SY eess.SY
Multi-Agent Dynamic Pricing in a Blockchain Protocol Using Gaussian Bandits
Semiotic Labs（Semiotic 实验室）
Graph Protocol对历史区块链交易数据进行索引，并使其可用于查询。由于该协议是分散的，因此有许多独立的索引器索引并相互竞争以向消费者提供查询。指数公司竞争的一个方面是定价。在本文中，我们提出了一个基于Bandit的算法，通过消费者预算发现索引的收入最大化。我们提出的设计和考虑，我们不得不使一个动态定价算法被多个代理商同时使用。我们讨论了我们的动态定价强盗在模拟和部署到以太坊上运行的一个索引器上的生产中所取得的结果。我们已经开源了我们创建的模拟框架和工具，其他索引器已经开始适应他们自己的工作流程。
2023-01-06 cs.LG q-fin.CP
Empirical Bayes Regret Minimization
Google Research（谷歌研究院）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
大多数的强盗算法设计都是纯理论的。因此，他们有很强的后悔保证，但在实践中也往往过于保守。在这项工作中，我们开创了算法设计的想法，最大限度地减少经验贝叶斯遗憾，平均遗憾的问题实例从一个已知的分布。我们重点讨论了这个问题的一个易处理的例子，置信区间和后验宽度调整，并提出了一个有效的算法来解决它。调整算法进行了分析和评估多臂，线性和广义线性土匪。我们报告了几倍减少贝叶斯遗憾的国家的最先进的强盗算法，简单地通过优化一个小样本的分布。
2020-06-10 cs.LG stat.ML
Linear Stochastic Bandits Under Safety Constraints
Bandit算法在安全关键系统中有各种应用，其中重要的是要尊重依赖于每一轮Bandit未知参数的系统约束。在本文中，我们制定了一个线性随机多臂土匪问题的安全约束，依赖于（线性）的一个未知参数向量。因此，学习者无法识别所有安全动作，并且必须保守地采取行动，以确保她的动作在所有回合中都满足安全约束（至少具有高概率）。对于这些土匪，我们提出了一个新的UCB为基础的算法称为安全LUCB，其中包括必要的修改，尊重安全约束。该算法有两个阶段。在纯探索阶段，学习者从一组有限的安全动作中随机选择她的动作，目标是学习整个未知安全集的良好近似。一旦实现了这个目标，算法就开始了一个安全的探索-利用阶段，在这个阶段，学习者逐渐扩大他们对安全行动集的估计，同时控制后悔的增长。我们提供了一个一般的遗憾边界的算法，以及一个问题相关的界限，连接到安全集内的最佳行动的位置。然后，我们提出了一个修改后的启发式，利用我们的问题相关的分析，以改善遗憾。
2019-08-16 cs.LG stat.ML
Multi-level Feedback Web Links Selection Problem: Learning and Optimization
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）
为网站选择正确的网络链接很重要，因为合适的链接不仅可以提供高吸引力，而且可以增加网站的收入。在这项工作中，我们首先表明网络链接具有内在的\emph{multi-level feedback structure}。例如，考虑$2$级反馈web链接：$1$第一级反馈提供点击率（CTR），而$2$第二级反馈提供潜在收入，它们共同产生复合$2$级收入。我们考虑上下文无关的链接选择问题的主页选择链接，以最大限度地提高总复合$2$级收入，同时保持总$1$第一级反馈高于预设阈值。我们进一步推广的问题与$n~(n\ge2)$级反馈结构的链接。关键的挑战是，链接的多级反馈结构是不可观察的，除非链接是在主页上选择的。据我们所知，我们是第一个模型的链接选择问题作为一个约束多臂强盗问题，并设计了一个有效的链接选择算法，通过学习的链接的多级结构与可证明的\emph{sub-linear}遗憾和违规界。我们发现了两个真实世界的数据集的Web链接的多级反馈结构。我们还进行了大量的实验数据集上比较我们提出的\textbf{LExp}算法与两个国家的最先进的上下文无关的强盗算法，并表明，\textbf{LExp}算法是最有效的链接选择，同时满足约束。
2017-09-08 cs.LG
GBOSE: Generalized Bandit Orthogonalized Semiparametric Estimation
UNIST（蔚山科学技术院）
在顺序决策场景中，即，移动健康推荐系统收益管理上下文多臂Bandit算法因其性能而引起关注。但现有的大多数算法都是建立在严格参数化奖励模型的假设上的，大多数是线性的。在这项工作中，我们提出了一个新的算法与半参数奖励模型与现有的半参数算法之间的最先进的复杂性上界遗憾。我们的工作扩展了另一个具有代表性的算法的范围的国家的最先进的复杂性与类似的奖励模型，提出了一个算法建立在相同的动作过滤程序，但提供明确的动作选择分布的情况下，涉及两个以上的武器在一个特定的时间步长，同时需要更少的计算。我们推导出所述的复杂性上界的遗憾和目前的模拟结果，肯定我们的方法的优越性，所有流行的半参数强盗算法的情况下，涉及两个武器。
2023-01-20 cs.AI cs.LG
Online Resource Allocation: Bandits feedback and Advice on Time-varying Demands
Institute of Operations Research and Analytics, National University of Singapore（新加坡国立大学运筹学与分析研究院）；Department of Industrial Systems Engineering and Management, National University of Singapore（新加坡国立大学工业系统工程与管理系）
针对时变需求下带老虎机反馈的在线资源分配无建议时悔值表现差的问题，提出利用总需求在线预测的鲁棒算法，兼具理论保障与实验优势，可适配网络收益管理场景。
2023-06-12 cs.LG math.OC
Multi-Armed Bandits with Network Interference
UC Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）；Amazon（亚马逊公司）；Carnegie Mellon University（卡内基梅隆大学）
针对网络干扰下的多臂老虎机问题，提出基于离散傅里叶分析的稀疏线性表示和线性回归算法，在已知或未知干扰邻域下均可实现低遗憾。
2024-05-28 cs.LG stat.ME stat.ML
Bandit Sequential Posted Pricing via Half-Concavity
School of Computer Science, Georgia Tech（佐治亚理工学院计算机学院）
针对先验未知的序贯定价问题，论文提出老虎机学习算法，利用收入函数的半凹性获得正则与一般分布下关于T近优且紧的遗憾界。
2024-06-12 cs.DS cs.GT cs.LG
Rarely-switching linear bandits: optimization of causal effects for the real world
University of Pennsylvania（宾夕法尼亚大学）；University of Pittsburgh（匹兹堡大学）
在许多现实世界中，过度改变策略是困难的、不道德的或昂贵的。毕竟，医生指南、税法和价目表只能经常重印。因此，我们可能只想在改变政策可能是有益的时候才改变政策。在政策是背景变量的阈值的情况下，我们可以估计处于阈值的人群的处理效应。这允许增量策略更新的时间表，使我们能够优化策略，同时进行很少的有害更改。使用这个想法，和线性上下文强盗的理论，我们提出了一个保守的政策更新过程，只有当合理的更新确定性的政策。我们扩展的线性土匪理论，这种罕见的切换情况下，证明这样的程序共享相同的遗憾，不断缩放，作为共同的LinUCB算法。然而，该算法对其策略的更改要少得多，并且在这些更改中，更少的是有害的。我们提供了模拟和婴儿健康福祉的因果推断数据集的分析，表明该算法有效地学习一个很好的政策，很少的变化。我们的方法可以有效地解决需要避免变化的问题，在医学，经济学等领域具有潜在的应用。
2019-10-15 cs.LG stat.ML
Competing Bandits: Learning under Competition
Microsoft Research（微软研究院）；University of Pennsylvania（宾夕法尼亚大学）；Tel Aviv University（特拉维夫大学）
大多数现代系统努力从与用户的交互中学习，许多系统参与探索：为了获取新信息而做出潜在的次优选择。我们开始研究探索和竞争之间的相互作用-这样的系统如何平衡学习的探索和用户的竞争。在这里，用户扮演着三个不同的角色：他们是产生收入的客户，他们是学习数据的来源，他们是在竞争系统中进行选择的自利代理人。在我们的模型中，我们考虑两个多臂强盗算法面临相同的强盗实例之间的竞争。用户一个接一个地到达，并在两种算法中进行选择，因此当且仅当选择了每种算法时，每种算法才能取得进展。我们问竞争是否以及在多大程度上激励采用更好的强盗算法。我们调查这个问题的几个模型的用户响应，因为我们不同的程度的合理性和竞争力的模型。我们的研究结果与经济学中一个被广泛研究的主题“竞争与创新”的关系密切相关。
2017-11-20 cs.GT cs.LG
Conservative Exploration using Interleaving
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Adobe Research（奥多比研究院）；Google Research（谷歌研究院）；Comcast Cable（康卡斯特电缆）
在许多实际问题中，学习代理可能希望在事后学习最好的动作，而不会采取错误的动作，这比默认的生产动作要糟糕得多。一般来说，这是不可能的，因为智能体必须探索未知的动作，其中一些可能是坏的，以学习更好的动作。然而，当动作是组合的时，如果未知动作可以通过将其与生产动作交错来评估，则这是可能的。我们正式这个概念的学习随机组合半土匪交换行动。我们为这个问题设计了有效的学习算法，限制了他们的n步遗憾，并在合成和现实问题上对其进行了评估。我们的真实世界的实验表明，我们的算法可以学习推荐K个最有吸引力的电影，而不会违反严格的生产约束，无论是整体还是多样性约束。
2018-06-03 cs.LG stat.ML
Continuum-armed Bandit Optimization with Batch Pairwise Comparison Oracles
Department of Information Systems and Intelligence Business, Xi’an Jiaotong University, Xi’an 710049, China（西安交通大学信息系统与智能商业系）；Stern School of Business, New York University, New York, NY 10012, USA（纽约大学斯特恩商学院）；Naveen Jindal School of Management, University of Texas at Dallas, Richardson, TX 75080, USA（德克萨斯大学达拉斯分校奈维恩·金达管理学院）
本文研究使用批量成对比较预言机的连续臂bandit优化问题，通过离散化与局部多项式逼近结合锦标赛逐步淘汰和批量LinUCB算法，解决了有偏估计与停止时间决策的挑战，并证明了其近最优遗憾界及在运营管理中的应用优势。
2025-05-28 cs.LG stat.ML
Distributed Multi-Task Learning for Stochastic Bandits with Context Distribution and Stage-wise Constraints
Iowa State University（爱荷华州立大学）
针对未知上下文且需满足阶段性约束的分布式随机线性上下文赌博机问题，提出DiSC-UCB及其改进算法DiSC-UCB2，通过构建修剪动作集和中央服务器同步共享估计，实现了有界遗憾与通信开销，并在合成与真实数据上得到验证。
2025-04-28 cs.LG cs.MA
Improving offline evaluation of contextual bandit algorithms via bootstrapping techniques
University of Lille（里尔大学）；CNRS（法国国家科学研究中心）；INRIA Lille Nord Europe（法国国家信息与自动化研究所里尔北欧洲分部）
在诸如新闻推荐的许多推荐应用中，可以被推荐的项目以非常快的速度来和去。这是一个挑战，推荐系统（RS）面对这种情况。在线学习算法似乎是最直接的解决方案。上下文强盗框架就是为了这个目的而引入的。一般来说，对遥感的评价是一个关键问题。由于潜在的收入损失，现场评估被避免，因此需要离线评估方法。有两个选项可供选择。基于模型的方法本质上是有偏见的，因此单独使用时很难信任。因此，数据驱动的方法是我们在这里考虑的。用过去的数据评估在线学习算法并不简单，但文献中存在一些方法。然而，它们的准确性并不令人满意，这主要是由于它们的数据拒绝机制仅允许利用一小部分数据。我们正是在本文中解决这个问题。在强调了以前的方法的局限性，我们提出了一种新的方法，基于自举技术。这种新方法有两个重要的改进：它更准确，它提供了一个衡量其估计质量的标准。后者是一种非常可取的财产，以便最大限度地减少首次将遥感系统上网所带来的风险。我们提供了理论和实验证明其优越性相比，国家的最先进的方法，以及分析的收敛性的质量的措施。
2014-05-14 cs.LG stat.ML
Poisson-MNL Bandit: Nearly Optimal Dynamic Joint Assortment and Pricing with Decision-Dependent Customer Arrivals
University of Notre Dame（圣母大学）；Washington University in St. Louis（华盛顿大学圣路易斯分校）；Tsinghua University（清华大学）；University of Pennsylvania（宾夕法尼亚大学）
Poisson-MNL Bandit通过结合上下文MNL选择模型与泊松到达模型，实现近似最优的动态联合assortment与定价，考虑决策依赖的顾客到达对提升决策效果至关重要。
2026-02-18 cs.LG stat.ML
A Tractable Online Learning Algorithm for the Multinomial Logit Contextual Bandit
University Hall（大学礼堂）
针对上下文MNL-Bandit问题现有方法存在非凸优化难、遗憾界依赖指数级问题参数的不足，提出乐观算法及凸松弛优化步骤，将遗憾界改进至$O(\sqrt{dT}+\kappa)$，实现易处理决策且保留良好性能保证。
2024-04-14 cs.LG stat.ML
Optimizing Online Advertising with Multi-Armed Bandits: Mitigating the Cold Start Problem under Auction Dynamics
Avito；MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文针对在线广告冷启动问题，提出一种适用于按点击付费拍卖系统的类UCB多臂老虎机算法，在给出预算遗憾理论上界的同时，通过受控探索与利用兼顾平台长期盈利和短期利润。
2025-02-03 cs.LG
MNL-Bandit with Knapsacks: a near-optimal algorithm
Columbia University（哥伦比亚大学）
本文研究固定库存下面对未知MNL需求的动态品类选择问题，提出基于UCB的MNLwK-UCB算法，并证明在不同库存增长情形下均能达到近最优的遗憾界。
2024-01-24 cs.DS cs.LG
Beyond the Click-Through Rate: Web Link Selection with Multi-level Feedback
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）
网络链接选择问题是从一个大的网络链接池中选择一个小的网络链接子集，并将所选择的链接放置在只能容纳有限数量的链接的网页上，例如，广告、推荐或新闻馈送。尽管长期关注的点击率反映了链接本身的吸引力，但收入只能从点击后的用户行为中获得，例如，在通过推荐链接被引导到产品页面之后购买。因此，网络链接具有固有的\emph{multi-level feedback structure}。有了这个观察，我们考虑上下文无关的网络链接选择问题，其目标是最大化收入，同时确保吸引力不低于一个预设的阈值。该问题的关键挑战在于，每个环节的多级反馈是随机的，并且除非该环节被选择，否则是不可观察的。我们建模这个问题的约束随机多臂强盗制定，并设计了一个有效的链接选择算法，称为约束上界置信算法（\textbf{Con-UCB}），并证明$O(\sqrt{T\ln T})$界的遗憾和违反的吸引力约束。我们进行了广泛的实验在三个真实世界的数据集，并表明，\textbf{Con-UCB}优于国家的最先进的上下文无关的强盗算法的多级反馈结构。
2018-05-04 cs.AI cs.LG stat.ML
Dynamic Pricing with Limited Supply
Microsoft Research Silicon Valley（微软研究院硅谷）；University of Southern California（南加州大学）；Cornell University（康奈尔大学）
研究了有限供给下的动态定价问题。卖方有$k$相同的物品出售，并且面对顺序到达的$n$潜在买方（“代理”）。每个代理商都有兴趣购买一件商品。每个代理的项目值是来自某个固定分布的IID样本，支持$[0,1]$。卖方向每个到达的代理人提供一个要么接受要么放弃的价格（不同的代理人可能会有不同的价格），目的是最大化他的预期收入。我们专注于“优先级独立”的机制--不使用任何关于分布的信息。它们是可取的，因为在许多实际情况下，知道分布是不现实的。我们研究如何收入的这种机制相比，最佳的离线机制，知道的分布（“离线基准”）的收入。我们提出了一个优先独立的动态定价机制，其收入是最多$O((k \log n)^{2/3})$低于离线基准，为每一个分布是定期的。事实上，如果将基准放宽到固定价格机制，这种保证在没有任何假设的情况下都成立。此外，我们证明了一个匹配的下界。如果$k/n$足够小，则相同机制的性能保证可以改进为具有分布依赖常数的$O(\sqrt{k} \log n)$。我们表明，在最坏的情况下，在所有的需求分布，这基本上是最好的速度，可以得到一个分布特定的常数。在技术层面上，我们利用与多武装匪徒（MAB）的联系。虽然无限供应的动态定价可以很容易地被视为MAB问题，但当应用于有限供应的设置时，MAB方法背后的直觉就被打破了。我们的高层次概念贡献是，即使是有限的供应设置可以卓有成效地处理作为一个强盗问…
2013-11-26 cs.DS cs.GT cs.LG
MNL-Bandit: A Dynamic Learning Approach to Assortment Selection
Columbia University（哥伦比亚大学）；Columbia Business School（哥伦比亚商学院）
我们考虑一个动态的品种选择问题，在每一轮的零售商提供了一个子集（品种）的$N$替代产品的消费者，谁选择这些产品之一，根据多项logit（MNL）的选择模型。零售商观察这种选择，目标是动态地学习模型参数，同时优化长度为$T$的销售范围内的累积收入。我们把这个探索-开发公式称为MNL-Bandit问题。针对该问题的现有方法遵循“探索-然后-利用”的方法，该方法估计参数到期望的准确度，然后将这些估计视为正确的参数值，基于这些估计提供最佳分类。这些方法需要对“可分性”有一定的先验知识，由基本MNL模型的真实参数决定，而这反过来又是决定勘探期长短的关键。（可分性是指真正的最优分类与其他次优选择的可分性。在本文中，我们给出了一个有效的算法，同时探索和利用，实现性能独立的底层参数。该算法可以以完全在线的方式实现，而不需要知道时域长度$T$。此外，该算法是自适应的，在这个意义上，它的性能是接近最佳的“良好分离”的情况下，以及一般的参数设置，这种分离不需要举行。
2018-06-29 cs.LG
MNL-Bandits under Inventory and Limited Switches Constraints
City University of Hong Kong（香港城市大学）
优化向客户展示的产品种类是增加线下和在线零售商收入的关键。为了在探索顾客偏好和利用顾客从数据中学习到的选择之间取得平衡，本文采用多项标称Logit（MNL）选择模型来捕捉顾客对产品的选择，研究了零售商在计划期$T$内以利润最大化为目标的最优补偿问题。为了使问题设置更实际，我们考虑了库存约束和有限开关约束，其中零售商不能用完资源库存之前的时间$T$，并禁止切换的品种显示给客户太多次。这样的设置适合在线零售商想要动态地优化客户群体的分类选择的情况。我们开发了一个有效的UCB类算法，以优化调度，同时从数据中学习客户的选择。我们证明了我们的算法可以实现一个次线性遗憾界$\tilde{O}\left(T^{1-α/2}\right)$，如果$O(T^α)$开关是允许的。%，我们的遗憾界是最优的$T$。大量的数值实验表明，我们的算法优于基线和我们的算法的性能和理论上界之间的差距是小的。
2022-04-22 cs.LG
Near-optimality for infinite-horizon restless bandits with many arms
Cornell University（康奈尔大学）
不安分土匪是一类重要的问题，在推荐系统、主动学习、收益管理等领域有着广泛的应用。我们考虑无限地平线折扣不安分的土匪与许多武器，一个固定的比例的武器可能会在每个时期和武器共享一个有限的状态空间。虽然平均情况下的最优策略可以通过随机动态规划来计算，但所需的计算量随着臂数$N$呈指数增长。因此，重要的是找到可以针对大$N$有效地计算并且在该机制中接近最优的可扩展策略，在这个意义上，对于大$N$，每个臂的最优性差距（即，相对于最优策略的预期性能的损失）消失。然而，最流行的方法，Whittle索引，需要一个难以验证的可索引性条件被定义良好，另一个难以验证的条件，以保证$o(N)$的最优性差距。我们提出了一种解决这些困难的方法。通过替换一个全局拉格朗日乘子使用的惠特尔指数的拉格朗日乘子序列，每个时间段一个有限的截断点，我们得到一类的政策，称为流体平衡政策，有一个$O(\sqrt{N})$最优性差距。与惠特尔指数不同，流体平衡策略不需要定义良好的可索引性，并且它们的$O(\sqrt{N})$最优间隙界在没有充分条件的情况下普遍成立。我们还实证表明，流体平衡政策提供了国家的最先进的性能在特定的问题。
2022-03-29 cs.LG math.OC
Gambler's Ruin Bandit Problem
Bilkent University（比尔肯大学）
在本文中，我们提出了一个新的多臂强盗问题称为赌徒的破产强盗问题（GRBP）。在GRBP中，学习者在一系列轮次中进行，其中每一轮都是具有两个动作（手臂）的马尔可夫决策过程（MDP）：连续动作，其在当前状态周围的状态空间上随机移动学习者;以及终端动作，其将学习者直接移动到两个终端状态之一（目标和死胡同状态）。当前回合在达到终端状态时结束，并且学习者仅在达到目标状态时才获得正奖励。学习器的目标是最大化其长期回报（达到目标状态的预期次数），而无需任何关于状态转移概率的先验知识。我们首先证明了GRBP的最优策略的形式的结果。然后，我们定义了学习者的遗憾，相对于一个全能的神谕，这在每一轮中的最佳行为，并证明它增加了逐轮。我们还确定了一个条件下，学习者的遗憾是有界的。GRBP的一个潜在应用是最优医疗分配，其中继续动作对应于保守治疗，终端动作对应于风险治疗，如手术。
2016-09-29 cs.LG
Restless Bandits with Many Arms: Beating the Central Limit Theorem
Cornell University（康奈尔大学）
我们考虑了有限时域不安分的强盗，每个周期有多个拉，这在推荐系统，主动学习，收入管理和许多其他领域中发挥着重要作用。虽然原则上可以使用动态规划来计算最优策略，但是所需的计算在臂数$N$上呈指数级缩放。因此，理解索引策略和其他可以为大型$N$高效计算的策略的性能具有重要价值。我们研究了最优差距的增长，即，与最优策略相比，预期性能的损失，对于由Whittle提出的经典渐近制度中的此类策略，其中$N$增长，同时保持每个周期可以拉动的臂的比例恒定。从中心极限定理和之前最严格的理论界限得出的直觉表明，这个最优性差距应该像$O(\sqrt{N})$一样增长。令人惊讶的是，我们表明，它是可能超越这个界限。我们描述了一个非退化条件和广泛的一类新的实际可计算的政策，称为流体优先级的政策，其中的最优性差距是$O(1)$。其中包括最广泛使用的索引策略。当这种非退化条件不成立，我们表明，流体优先级的政策，但有一个最优的差距，即$O(\sqrt{N})$，显着推广的政策类的收敛速度是已知的。我们证明了流体优先的政策提供了最先进的性能上收集的不安分的强盗问题的数值实验。
2021-07-25 cs.LG math.OC math.PR
Safety by Design: Realized-Cost Constraints for Contextual Bandits with Continuous Actions
Boston University（波士顿大学）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学博德研究所）
针对带连续动作的上下文博弈机，提出高概率约束UCB算法，通过保守估计安全动作集保障实现代价安全，实验显示其能显著减少安全违规。
2026-08-28 cs.LG
Bandits for Efficient Experimentation: Adapting to Control Group, Preferences, and Context Drifts
Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189 – CRIStAL（里尔大学、法国国家科学研究中心、中央理工学院、UMR 9189 – CRIStAL）
针对用户偏好和上下文分布随时间漂移的线性上下文随机多臂赌博机问题，提出Dri-MED算法，通过异方差回归处理非平稳噪声，实现实例相关的遗憾界和约束违规界。
2026-06-08 cs.AI cs.LG stat.ML
Reoptimization Algorithms for Contextual Bandits with Knapsack Constraints
University of Liverpool（利物浦大学）；Management School, University of Liverpool（利物浦大学管理学院）
针对带背包约束的上下文老虎机问题，本文提出UCB算法族的扩展再优化算法，将平均遗憾界从相关动态定价问题的$O(\frac{1}{\text{sqrt}(T)})$降至$O(\frac{(\text{ln } T)^3}{T})$，提升了算法性能。
2026-08-13 cs.LG math.OC
Competing Bandits: The Perils of Exploration Under Competition
Northwestern University（西北大学）；Tel Aviv University（特拉维夫大学）；Google Tel Aviv（谷歌特拉维夫）；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
研究在线平台在竞争环境下平衡探索与用户竞争的问题，发现激烈竞争导致平台采用低福利的“贪婪”算法，而通过提供免费用户等削弱竞争的方式能激励更好的探索策略并提升用户福利。
2024-10-12 cs.GT cs.LG econ.TH
