Dynamic Learning with Frequent New Product Launches: A Sequential Multinomial Logit Bandit Problem
University of California, Berkeley（加州大学伯克利分校）；IBM Research（IBM研究院）
受企业推出新产品以跟上顾客快速变化的品味这一现象的启发，我们考虑了一种新颖的在线学习设置，其中利润最大化的卖家需要通过提供推荐来了解顾客的偏好，该推荐可能包含现有产品和在销售期间推出的新产品。我们提出了一个序列多项logit（SMNL）模型来描述客户的行为时，产品推荐是在层次。对于已知客户偏好的离线版本，我们提出了一个多项式时间算法，并描述了最优分层产品推荐的性质。对于在线问题，我们提出了一种学习算法，并量化了它的遗憾界。此外，我们扩展了设置，以纳入一个约束，以确保每个新产品都学习到给定的精度。我们的研究结果表明，层次结构可以用来减轻与学习新产品相关的风险。
2019-04-29 cs.LG stat.ML
Online Residential Demand Response via Contextual Multi-Armed Bandits
Harvard University（哈佛大学）；Zhejiang University（浙江大学）
住宅负荷具有很大的潜力，以提高电力系统的效率和可靠性，通过需求响应（DR）计划。住宅DR的一个主要挑战是处理未知和不确定的客户行为。以往的研究多采用学习技术来预测用户的DR行为，而忽略了时变环境因素的影响，这可能导致预测不准确和负荷调整效率低下。在本文中，我们考虑住宅DR问题的负载服务实体（LSE）的目的是选择一个最佳的客户子集，以最大限度地提高预期的负载减少与财政预算。为了学习环境影响下的不确定客户行为，将住宅DR问题转化为一个上下文多臂强盗（MAB）问题，提出了基于Thompson抽样的在线学习选择（OLS）算法，该算法考虑了上下文信息，适用于复杂的DR环境.数值仿真结果验证了该算法的学习有效性。
2020-05-17 cs.LG cs.SY eess.SY
Achieving Counterfactual Fairness for Causal Bandit
University of Arkansas（阿肯色大学）
在在线推荐中，客户从底层分布以顺序和随机的方式到达，并且在线决策模型基于某种策略为每个到达的个体推荐所选物品。我们研究如何在每一步推荐一个项目，以最大化预期回报，同时实现用户端公平的客户，即，共享相似简档的客户将接收相似的奖励，而不管他们的敏感属性和被推荐的项目。通过将因果推理纳入土匪和采用软干预来模拟手臂选择策略，我们首先提出了基于d-分离的UCB算法（D-UCB），以探索利用d-分离集来减少所需的探索量，以实现低累积遗憾。在此基础上，我们提出了公平因果强盗（F-UCB）实现反事实的个人公平。理论分析和实验验证了算法的有效性。
2021-09-21 cs.AI cs.CY cs.LG
Poisson-MNL Bandit: Nearly Optimal Dynamic Joint Assortment and Pricing with Decision-Dependent Customer Arrivals
University of Notre Dame（圣母大学）；Washington University in St. Louis（华盛顿大学圣路易斯分校）；Tsinghua University（清华大学）；University of Pennsylvania（宾夕法尼亚大学）
Poisson-MNL Bandit通过结合上下文MNL选择模型与泊松到达模型，实现近似最优的动态联合assortment与定价，考虑决策依赖的顾客到达对提升决策效果至关重要。
2026-02-18 cs.LG stat.ML
Reoptimization Algorithms for Contextual Bandits with Knapsack Constraints
University of Liverpool（利物浦大学）；Management School, University of Liverpool（利物浦大学管理学院）
针对带背包约束的上下文老虎机问题，本文提出UCB算法族的扩展再优化算法，将平均遗憾界从相关动态定价问题的$O(\frac{1}{\text{sqrt}(T)})$降至$O(\frac{(\text{ln } T)^3}{T})$，提升了算法性能。
2026-08-13 cs.LG math.OC
Contextual Multi-Armed Bandits for Causal Marketing
这项工作探讨了因果关系的多臂强盗方法自动化营销的想法，在那里我们估计和优化的因果（增量）影响。专注于因果效应导致更好的投资回报率（ROI），只针对那些不会采取有机行动的可说服客户。我们的方法借鉴了因果推理，隆起建模和多武装土匪的优势。它优化了因果治疗效果，而不是纯粹的结果，并在数据汇集中纳入了反事实生成。根据升级建模结果，我们对增量业务指标进行了优化。多臂强盗方法允许我们扩展到多个治疗，并对记录的数据执行非策略策略评估。特别是汤普森抽样策略，使类似的客户背景和反事实结果的具体化的治疗探索。初步的离线实验零售时尚营销数据集显示我们的建议的优点。
2018-10-02 cs.LG stat.ML
Dynamic Pricing under Finite Space Demand Uncertainty: A Multi-Armed Bandit with Dependent Arms
University of California, Davis（加州大学戴维斯分校）
研究了需求模型未知情况下的动态定价问题。在这个问题中，卖方向一群顾客提供价格，并观察每次销售尝试的成功或失败。潜在的需求模型是未知的卖方，可以采取N种可能的形式之一。在本文中，我们表明，这个问题可以制定为一个多臂土匪依赖武器。我们提出了一种基于似然比检验的动态定价策略。我们表明，所提出的政策实现了完全学习，即，它提供了一个有界的遗憾，其中遗憾被定义为相对于具有已知需求模型的情况的收入损失。这与具有独立武器的多臂强盗的对数增长的后悔形成鲜明对比。
2012-10-27 cs.LG
MNL-Bandit with Knapsacks: a near-optimal algorithm
Columbia University（哥伦比亚大学）
本文研究固定库存下面对未知MNL需求的动态品类选择问题，提出基于UCB的MNLwK-UCB算法，并证明在不同库存增长情形下均能达到近最优的遗憾界。
2024-01-24 cs.DS cs.LG
DISCO: An End-to-End Bandit Framework for Personalised Discount Allocation
Imperial College London（帝国理工学院）
本文提出端到端上下文老虎机框架 DISCO，通过径向基函数、神经上下文嵌入、Thompson Sampling 与整数规划实现受成本约束的个性化折扣分配，并在离线和在线 A/B 测试中验证其效果。
2024-06-12 cs.AI cs.LG
Regulating Greed Over Time in Multi-Armed Bandits
Massachusetts Institute of Technology（麻省理工学院）；Duke University（杜克大学）
在零售业中，顾客行为有可预测的但又具有显著的时间依赖性的模式，例如游客数量的周期性变化，或者在重大节日前顾客数量的增加。目前的多臂匪徒分析范式没有考虑到这些已知的模式。这意味着，对于零售业的应用，价格在一段时间内是固定的，目前的强盗算法将是不够的。这项工作提供了一个补救措施，考虑到时间依赖的模式，我们将展示如何实现这种补救措施的UCB，$\varepsilon$贪婪，和UCB-L算法，也通过一个新的政策，称为可变臂池算法。在修正后的方法中，剥削（贪婪）是随着时间的推移而调节的，因此更多的剥削发生在高回报时期，更多的探索发生在低回报时期。为了理解为什么后悔是减少与正确的方法，我们提出了一组界限，提供洞察为什么我们要利用在高回报期间，并讨论对后悔的影响。我们提出的方法在实验中表现良好，并受到启发的高分条目中的探索和开发3比赛使用的数据从雅虎$!$首页。该条目大量使用时间序列方法来调节贪婪，这比其他上下文强盗方法有效得多。
2021-02-13 cs.LG stat.ML
Convolutional Neural Bandit for Visual-aware Recommendation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在线推荐/广告在网络商业中无处不在。图像显示被认为是与客户交互的最常用的格式之一。上下文多臂强盗已经成功地应用广告来解决推荐过程中存在的探索-开发困境。受视觉感知推荐的启发，本文提出了一种上下文Bandit算法，其中卷积神经网络（CNN）用于学习奖励函数以及用于探索的置信上限（UCB）。我们还证明了一个接近最优的遗憾界$\tilde{\mathcal{O}}(\sqrt{T})$当网络是过参数化，并建立强连接卷积神经切线核（CNTK）。最后，我们评估了所提出的算法的经验性能，并表明它优于其他国家的最先进的基于UCB的强盗算法在现实世界的图像数据集。
2022-02-09 cs.CV cs.LG
Categorized Bandits
CMLA, ENS Paris-Saclay（巴黎萨克雷高等师范学院CMLA）；Cdiscount（Cdiscount公司）；Criteo AI Lab（Criteo人工智能实验室）
我们引入了一个新的随机多武装土匪设置武器内的“有序”类别分组。激励的例子来自电子商务，在那里，客户通常对一个明确但未知的特定类别的物品比其他任何物品都有更大的胃口。我们引入了三个类别之间的排序概念，灵感来自随机变量之间的随机优势，这是逐渐变弱，使越来越多的土匪的情况下，满足至少其中之一。我们首先证明了这些模型的累积遗憾的实例相关的下界，表明如何增加的强盗问题的复杂性与一般性的排序概念考虑。我们还提供了充分利用模型结构及其相关理论保证的算法。最后，我们对真实数据进行了分析，以强调这些有序类别在实践中确实存在。
2020-05-04 cs.LG stat.ML
Learning to Rank in the Position Based Model with Bandit Feedback
Amazon（亚马逊）
个性化是许多在线体验的关键方面。特别是，内容排名通常是提供复杂个性化结果的关键组件。通常，应用监督学习排名方法，其遭受在负责产生排名的生产系统的数据汇集期间引入的偏差。为了弥补这个问题，我们利用上下文多武装匪徒。我们提出了新的扩展两个著名的算法，即LinUCB和线性汤普森采样的排名用例。为了解释生产环境中的偏差，我们采用了基于位置的点击模型。最后，我们通过在合成数据集上进行广泛的离线实验以及面向客户的在线A/B实验来证明所提出的算法的有效性。
2020-04-27 cs.LG stat.ML
Online Resource Allocation with Non-Stationary Customers
Institute of Operations Research and Analytics, National University of Singapore（新加坡国立大学运营研究与分析学院）
提出一种在线资源分配算法，解决非平稳客户到达与未知点击率问题，结合随机上下文老虎机与在线匹配技术，实现次线性遗憾与最优竞争比，并在多种场景下获得接近最优收入。
2024-06-02 cs.LG math.OC
Uplifting Bandits
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Amazon（亚马逊）
我们引入了一个多臂强盗模型，其中奖励是多个随机变量的总和，每个动作只改变其中一些随机变量的分布。在每个动作之后，代理观察所有变量的实现。该模型的动机是营销活动和推荐系统，其中变量代表个人客户的结果，如点击。我们提出了UCB式的算法，估计的隆起的行动超过一个基线。我们研究了问题的多个变体，包括当基线和受影响的变量是未知的，并证明了所有这些次线性遗憾界。我们还提供了证明我们的建模假设的必要性的下限。在合成数据集和真实数据集上的实验表明，与不使用这种结构的政策相比，估计提升的方法具有优势。
2022-06-08 cs.LG stat.ML
Markov Decision Process modeled with Bandits for Sequential Decision Making in Linear-flow
对于营销，我们有时需要按顺序推荐多个页面的内容。与一般的顺序决策过程不同，用例具有更简单的流程，其中客户每次看到每个页面上的推荐内容时只能返回反馈，因为在过程中向前移动或从过程中删除，直到终止状态。我们把这种类型的问题称为线性流中的顺序决策。我们建议制定的问题作为一个MDP与土匪的土匪采用模型的转移概率矩阵。在推荐阶段，我们使用汤普森抽样（TS）对转移概率进行抽样，并通过精确动态规划分配具有解析解的最佳动作序列。我们制定的问题的方式，使我们能够利用TS的效率，在平衡勘探和开发和Bandit的方便建模行动的不兼容性。在仿真研究中，我们观察到所提出的MDP与Bandits算法优于Q学习与$ε$ -贪婪和减少$ε$，独立Bandits，和互动Bandits。我们还发现，该算法的性能是最强大的跨页相互依赖强度的变化。
2022-03-16 cs.LG stat.ML
A Hybrid Meta-Learning and Multi-Armed Bandit Approach for Context-Specific Multi-Objective Recommendation Optimization
Expedia Group（亿客行集团）
针对在线推荐系统多目标平衡难题，提出结合元学习与多臂老虎机的Juggler-MAB混合方法，通过两阶段权重调整适配动态变化，在Expedia数据集上多项指标优于原模型。
2024-09-13 cs.LG
Competing Bandits: Learning under Competition
Microsoft Research（微软研究院）；University of Pennsylvania（宾夕法尼亚大学）；Tel Aviv University（特拉维夫大学）
大多数现代系统努力从与用户的交互中学习，许多系统参与探索：为了获取新信息而做出潜在的次优选择。我们开始研究探索和竞争之间的相互作用-这样的系统如何平衡学习的探索和用户的竞争。在这里，用户扮演着三个不同的角色：他们是产生收入的客户，他们是学习数据的来源，他们是在竞争系统中进行选择的自利代理人。在我们的模型中，我们考虑两个多臂强盗算法面临相同的强盗实例之间的竞争。用户一个接一个地到达，并在两种算法中进行选择，因此当且仅当选择了每种算法时，每种算法才能取得进展。我们问竞争是否以及在多大程度上激励采用更好的强盗算法。我们调查这个问题的几个模型的用户响应，因为我们不同的程度的合理性和竞争力的模型。我们的研究结果与经济学中一个被广泛研究的主题“竞争与创新”的关系密切相关。
2017-11-20 cs.GT cs.LG
Revealing graph bandits for maximizing local influence
Universität Potsdam（波恩大学）；Inria Lille - Nord Europe（法国国家信息与自动化研究所）
本文研究一种图老虎机问题，旨在通过最小信息请求找到图中最具影响力的节点。提出BARE策略，证明其后悔界与可检测维度相关，该维度通常小于节点总数。
2026-10-06 cs.LG stat.ML
Dynamic Learning of Sequential Choice Bandit Problem under Marketing Fatigue
University of California, Berkeley（加利福尼亚大学伯克利分校）；IBM Research（IBM研究院）
出于对过度关注不必要的营销活动会导致客户不满的观察，我们考虑了一种设置，其中平台向其用户提供一系列消息，并且当用户由于营销疲劳而放弃平台时会受到惩罚。我们提出了一种新的顺序选择模型来捕获平台与用户之间发生的多种交互：在收到消息时，用户决定三个动作之一：接受消息，跳过并接收下一条消息，或者放弃平台。基于用户反馈，平台动态地学习用户的放弃分布和他们对消息的评价，以确定序列的长度和消息的顺序，同时最大化长度T的范围内的累积收益。我们把这个在线学习任务称为顺序选择强盗问题。对于离线组合优化问题，我们证明了一个有效的多项式时间算法存在。对于在线问题，我们提出了一个算法，平衡探索和开发，并描述其遗憾界。最后，我们演示了如何扩展模型与用户上下文，以纳入个性化。
2019-03-19 cs.LG stat.ML
An algorithm with nearly optimal pseudo-regret for both stochastic and adversarial bandits
Montanuniversitaet Leoben（莱奥本矿业大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了一个算法，实现几乎最佳的伪遗憾界对抗性和随机土匪。对抗性强盗的伪遗憾是$O(K\sqrt{n \log n})$，对抗随机强盗的伪遗憾是$O(\sum_i (\log n)/Δ_i)$。我们还表明，没有算法与$O(\log n)$伪遗憾对随机土匪可以实现$\tilde{O}(\sqrt{n})$预期的遗憾对自适应对抗土匪。这补充了Bubeck和Slivkins（2012）之前的结果，该结果显示$\tilde{O}(\sqrt{n})$预期对抗性遗憾与$O((\log n)^2)$随机伪遗憾。
2016-05-27 cs.LG
Adaptively Optimize Content Recommendation Using Multi Armed Bandit Algorithms in E-commerce
The Home Depot（家得宝）
电子商业网站努力为用户提供最及时的相关信息，以减少购物摩擦，提高客户满意度。多臂强盗模型（MAB）作为一种自适应优化算法提供了可能的途径。在本文中，我们分析了使用三个经典的MAB算法，ε-贪婪，汤普森采样（TS），和上置信界1（UCB 1）的动态内容推荐，走查内部开发这些算法的过程来解决一个真实的世界电子商业用例。首先，我们分析了三个MAB算法使用模拟购买数据集与非平稳的奖励分布，以模拟可能随时间变化的客户偏好，其中的流量分配动态和不同算法的累积奖励进行了研究。第二，我们使用实际的历史A/B测试数据集，比较了三种MAB算法的累积回报与超过1,000次试验。我们发现，竞争推荐的成功率之间的差异越大，MAB算法可以实现的累积奖励就越多。此外，我们还发现在不同的测试场景下，TS的平均累积奖励最高。第三，我们开发了一种批量更新的MAB算法，以克服电子商业中的延迟奖励问题，并在我们的应用程序主页上实现在线内容优化。为了进行最先进的比较，在我们的批量更新的MAB算法，第三方MAB解决方案和默认业务逻辑之间进行了真正的A/B测试。结果表明，我们的批量更新的MAB算法优于同行，并实现了6.13%的相对点击率（CTR）增加和16.1%的相对转换率（CVR）增加相比，默认的经验，和2.9%的相对CTR增加和1.4%的相对CVR增加相比，外部MAB服务。
2021-08-19 cs.AI cs.IR cs.LG
A Contextual Combinatorial Semi-Bandit Approach to Network Bottleneck Identification
Chalmers University of Technology（查尔姆斯理工大学）；Volvo Car Corporation（沃尔沃汽车公司）
瓶颈识别是网络分析中的一项具有挑战性的任务，特别是当网络没有完全指定时。为了解决这个问题，我们开发了一个统一的在线学习框架的基础上进行瓶颈识别并行学习的规范的底层网络的组合半土匪。在这个框架内，我们适应和研究各种组合半强盗方法，如ε贪婪，LinUCB，贝叶斯UCB，NeuralUCB和汤普森采样。此外，我们的框架是能够使用上下文信息的形式上下文强盗。最后，我们评估了我们的框架在道路网络的实际应用中，并证明了它在不同环境中的有效性。
2023-03-05 cs.LG
On reducing the order of arm-passes bandit streaming algorithms under memory bottleneck
IIT-Bombay（印度理工学院孟买分校）
在这项工作中，我们探讨了多臂强盗流模型，特别是在该模型面临资源瓶颈的情况下。我们建立在现有的算法条件有限的手臂内存在任何情况下的时间。具体来说，我们提高了流通过它所采取的强盗算法引起$O(\sqrt{T\log(T)})$遗憾的对数因子，并提供了一些初始条件，以引起类似的顺序遗憾的2-通过算法。
2021-11-30 cs.LG
Empirical Bayesian Multi-Bandit Learning
Fudan University（复旦大学）；Institute of Science and Technology for Brain-inspired Intelligence（脑启发式智能科学技术研究院）
本文提出经验贝叶斯分层框架，通过估计协方差矩阵实现多臂老虎机间的信息共享，并开发ebmTS和ebmUCB算法，给出遗憾上界，实验证明其累积遗憾更低。
2026-10-20 cs.LG
PageRank Bandits for Link Prediction
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta AI；University of Rochester（罗切斯特大学）
针对传统监督式链接预测难以适配动态兴趣、难平衡利用与探索的问题，提出融合上下文老虎机与PageRank的PRB算法，设计新奖励并提供理论保证，在线离线实验均验证了其有效性。
2024-11-03 cs.AI cs.LG cs.SI
Simulation-Based Benchmarking of Reinforcement Learning Agents for Personalized Retail Promotions
Bain & Company, Inc.（贝恩公司）；New York University（纽约大学）
本文构建零售客户购物行为仿真环境，用于优惠券定向投放强化学习智能体基准测试，通过离线批量数据缓解购买事件稀疏问题，实验验证低过拟合的上下文赌博机与深度RL方法优于静态策略，提供零售全旅程AI仿真框架。
2024-05-16 cs.AI cs.LG econ.EM
When and Whom to Collaborate with in a Changing Environment: A Collaborative Dynamic Bandit Solution
University of Virginia（弗吉尼亚大学）
合作式的强盗学习，即，利用协同过滤技术提高在线交互式推荐中样本效率的Bandit算法，因其两全其美而受到广泛关注。然而，所有现有的协作式强盗学习解决方案都强加了关于环境的静态假设，即，用户偏好和用户之间的依赖性都被假定为随时间是静态的。不幸的是，由于用户的兴趣和依赖关系不断变化，这一假设在实践中很难成立，这不可避免地使推荐系统在实践中的性能次优。在这项工作中，我们开发了一个协作的动态强盗解决方案，以处理不断变化的环境中的建议。我们明确地建模的用户偏好和他们的依赖关系作为一个随机过程的潜在变化。个体用户的偏好是由一个混合的全球共享的上下文强盗模型与狄利克雷过程先验。因此，用户之间的协作是通过全局强盗模型的贝叶斯推理来实现的。每个用户的模型选择和手臂选择通过汤普森采样来平衡开发和探索。我们的解决方案被证明是保持一个标准的$\tilde O(\sqrt{T})$次线性遗憾，即使在这样一个具有挑战性的环境。对合成和真实世界数据集的广泛实证评估进一步证实了对不断变化的环境建模的必要性以及我们的算法相对于几种最先进的在线学习解决方案的实用优势。
2021-04-14 cs.LG
Contextual Bandits with Knapsacks for a Conversion Model
BNP Paribas（法国巴黎银行）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；HEC Paris（巴黎高等商学院）
我们认为上下文土匪背包，与奖励产生和成本向量之间的潜在结构遭受。我们这样做的动机是以商业折扣销售。在每一轮，给定随机i.i.d.上下文$\mathbf{x}_t$，并且臂拾取$a_t$（对应于，例如，到折扣水平），可以获得客户转化，在这种情况下，获得了奖励$r(a,\mathbf{x}_t)$并且遭受了向量成本$c(a_t,\mathbf{x}_t)$（对应于，例如，收入的损失）。否则，在没有转换的情况下，奖励和成本为空。因此，通过二元变量测量转换或不存在转换，实现了奖励和成本的耦合。报酬和成本之间的这种潜在结构与Agrawal和Devanur [2016]考虑的线性结构不同（但我们表明本文介绍的技术也可以应用于这些线性结构的情况）。自适应策略在每一轮求解一个基于$a$和$\mathbf{x}$转换概率的上置信估计的线性规划。这种策略是最自然的，并且实现了典型顺序（OPT/ $B$）$\sqrt{T}$的遗憾界限，其中$B$是允许的总预算，OPT是静态策略可实现的最优期望奖励，并且$T$是轮数。
2022-09-30 cs.LG stat.ML
On Kernelized Multi-Armed Bandits with Constraints
Wayne State University（韦恩州立大学）；Virginia Tech（弗吉尼亚理工大学）
研究了报酬函数和约束函数均为未知的随机强盗问题。这两个函数都可以是非线性的（甚至是非凸的），并且假设它们位于具有有界范数的再生核希尔伯特空间（RKHS）中。这种核心化的盗贼设置严格地概括了标准的多臂盗贼和线性盗贼。与以往研究的安全型硬约束相比，我们考虑了软约束，只要累积违规很小，就可以在任何一轮中被违反，这是出于各种实际应用的动机。我们的最终目标是研究如何利用软约束的性质，以达到一个更好的复杂性，后悔约束的权衡在内核化的强盗设置。为此，利用原始-对偶优化，我们提出了一个通用的框架，算法设计和性能分析。该框架建立在一个新的充分条件，这不仅是满足一般的探索策略，包括\emph{upper confidence bound}（UCB），\emph{Thompson sampling}（TS），和新的基于\emph{random exploration}，但也使一个统一的分析，显示次线性遗憾和次线性甚至零约束违反。我们证明了我们提出的算法通过数值实验的基础上合成和真实世界的数据集的优越性能。在此过程中，我们还进行了第一次详细的比较两种流行的方法来分析约束土匪和马尔可夫决策过程（MDP），讨论的关键区别和一些微妙的分析，这可能是独立的利益的社区。
2022-03-29 cs.LG
Contextual Bandits and Optimistically Universal Learning
Massachusetts Institute of Technology（麻省理工学院）；Purdue University（普渡大学）
我们认为一般的行动和上下文空间，学习者的奖励取决于他们所选择的行动和可观察到的背景下的上下文强盗问题。这将标准的多臂强盗推广到边信息可用的情况，例如，患者的记录或客户的历史，这允许个性化治疗。我们专注于一致性-消失的遗憾相比，最佳的政策-并表明，对于大类的非i.i.d.在上下文中，可以实现一致性，而不管时间不变的奖励机制，一个被称为普遍一致性的属性。准确地说，我们首先给出了上下文生成过程中的普遍一致性是可能的充分必要条件。其次，我们表明，总是存在一种算法，保证普遍的一致性，只要这是可以实现的，称为乐观的普遍学习规则。有趣的是，对于有限的动作空间，通用学习的可学习过程与文献中先前研究的监督学习的全反馈设置完全相同。换句话说，学习可以用部分反馈来执行，而没有任何泛化成本。该算法平衡了泛化（类似于结构风险最小化）和个性化（根据特定上下文定制动作）之间的权衡。最后，我们考虑的情况下，增加连续性假设的奖励，并表明，这些导致普遍一致性显着较大类的数据生成过程。
2022-12-31 cs.LG math.ST stat.ML
Reducing Dueling Bandits to Cardinal Bandits
Technion（以色列理工学院）；Yahoo! Research（雅虎研究院）；Cornell（康奈尔大学）
我们提出的算法减少决斗强盗问题的常规（随机）多武装强盗问题。决斗强盗问题是一个在线学习模型，具有形式为“A比B更受欢迎”的顺序反馈（而不是像“A的值为2.5”这样的基数反馈），使其在从隐式用户反馈以及显示和陈述的偏好中学习时具有广泛的适用性。与现有的算法决斗强盗问题，我们的减少-命名为$\Doubler$，$\MultiSbm$和$\DoubleSbm$ -提供了一个通用的模式，用于翻译的广泛机构的已知结果，传统的多臂强盗算法决斗强盗设置。对于$\Doubler$和$\MultiSbm$，我们证明了遗憾的上界在有限和无限的设置，并推测性能的$\DoubleSbm$经验优于其他两个以及以前的算法在我们的实验。此外，我们提供了第一个几乎最优的遗憾界的二阶条款，如武器的价值之间的差异。
2014-05-14 cs.LG
Speed Up the Cold-Start Learning in Two-Sided Bandits with Many Arms
Stanford University（斯坦福大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Washington（华盛顿大学）
针对多臂老虎机冷启动预热成本高的问题，提出基于双边产品矩阵建模的两阶段算法，通过子采样和低秩估计缩小目标集再用UCB寻优，有效降低成本并加速实验。
2024-12-18 cs.LG stat.ML
Better Best of Both Worlds Bounds for Bandits with Switching Costs
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究了具有切换成本的强盗的两全其美算法，最近由Rouyer，Seldin和Cesa-Bianchi在2021年提出。我们引入了一个令人惊讶的简单和有效的算法，同时实现极小极大最佳遗憾界的$\mathcal{O}(T^{2/3})$在不经意的对抗设置和约束的随机约束制度，无论是（单位）切换成本，其中$Δ$是武器之间的差距$\mathcal{O}(\min\{\log (T)/Δ^2,T^{2/3}\})$的界限。在随机约束的情况下，由于Rouyer等人，从而实现了$\mathcal{O}(T^{1/3}/Δ)$的遗憾。我们伴随着我们的结果与下界表明，在一般情况下，$\tildeΩ(\min\{1/Δ^2,T^{2/3}\})$遗憾是不可避免的随机约束的情况下，算法与$\mathcal{O}(T^{2/3})$最坏情况下的遗憾。
2022-11-02 cs.LG
Adaptive Model Selection Framework: An Application to Airline Pricing
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Deepair Solutions；Imperial College London（帝国理工学院）
多个机器学习和预测模型通常用于相同的预测或推荐任务。在我们最近的工作中，我们在在线环境中开发和部署航空公司的辅助定价模型，我们发现，在开发的多个定价模型中，没有一个模型明显优于所有传入的客户请求的其他模型。因此，作为算法设计者，我们面临着探索-开发的困境。在这项工作中，我们引入了一个自适应的元决策框架，使用汤普森采样，一个流行的多臂强盗解决方案的方法，路由客户请求的各种定价模型的基础上，他们的在线性能。我们表明，这种自适应方法优于均匀随机选择政策，通过提高预期收入的43%，每个报价和58%的转换分数在离线模拟。
2019-05-21 cs.LG stat.ML
Competing Bandits: The Perils of Exploration Under Competition
Northwestern University（西北大学）；Tel Aviv University（特拉维夫大学）；Google Tel Aviv（谷歌特拉维夫）；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
研究在线平台在竞争环境下平衡探索与用户竞争的问题，发现激烈竞争导致平台采用低福利的“贪婪”算法，而通过提供免费用户等削弱竞争的方式能激励更好的探索策略并提升用户福利。
2024-10-12 cs.GT cs.LG econ.TH
Copeland Dueling Bandits
University of Amsterdam（阿姆斯特丹大学）；Yahoo! Labs（雅虎实验室）
一个版本的决斗强盗问题的解决，其中孔多塞赢家可能不存在。提出了两种算法，而不是寻求最大限度地减少遗憾的科普兰赢家，这与孔多塞赢家，是保证存在。第一个是Copeland Confidence Bound（CCB），它是为少量武器设计的，而第二个是Scalable Copeland Bandits（SCB），它更适合大规模问题。我们提供的理论结果绑定建行和SCB积累的遗憾，大大提高了现有的结果。这些现有的结果要么提供$O(K \log T)$形式的界限，但需要限制性的假设，或提供$O(K^2 \log T)$形式的界限，而不需要这样的假设。我们的结果提供了两全其美：没有限制性假设的$O(K \log T)$边界。
2015-06-01 cs.LG
Adaptive Best-of-Both-Worlds Algorithm for Heavy-Tailed Multi-Armed Bandits
Tsinghua University（清华大学）
在本文中，我们推广的概念，重尾多武装匪徒的对抗环境中，并开发了强大的两全其美的算法重尾多武装匪徒（MAB），其中损失的$α$ -th（$1<α\le 2$）时刻有界的$σ^α$，而方差可能不存在。具体地说，我们设计了一个算法\texttt{HTINF}，当重尾参数$α$和$σ$为智能体所知时，\texttt{HTINF}同时实现了随机环境和对抗环境下的最优后悔，而无需先验地知道实际的环境类型.当$α,σ$未知时，\texttt{HTINF}在随机情况下实现了$\log T$式的实例依赖后悔，在对抗情况下实现了$o(T)$无后悔保证.我们进一步开发了一个算法\texttt{AdaTINF}，实现$\mathcal O(σK^{1-\nicefrac 1α}T^{\nicefrac{1}α})$ minimax最优遗憾，即使在对抗设置，没有先验知识的$α$和$σ$。这一结果与已知的后悔下限相匹配（Bubeck等人，2013），其假设随机环境，并且$α$和$σ$都是已知的。据我们所知，所提出的\texttt{HTINF}算法是第一个享受两全其美的遗憾保证，和\texttt{AdaTINF}是第一个算法，可以适应$α$和$σ$，以实现最佳的间隙独立的遗憾界在经典的重尾随机MAB设置和我们的新的对抗配方。
2022-06-13 cs.LG
Batched Thompson Sampling for Multi-Armed Bandits
Indiana University Bloomington（印第安纳大学伯明顿分校）
我们研究汤普森抽样算法的随机多武装土匪在批量设置，在其中，我们希望尽量减少遗憾的一系列手臂拉使用少量的政策变化（或批次）。我们提出了两个算法，并通过实验证明了它们的有效性在合成和真实的数据集。我们还分析了所提出的算法从理论方面，并获得几乎紧的遗憾批次权衡双臂的情况下。
2021-08-15 cs.LG
Query-Reward Tradeoffs in Multi-Armed Bandits
Technion – Institute of Technology（以色列理工学院）；Meta；Nvidia Research（英伟达研究院）
我们考虑一个随机的多臂强盗设置奖励必须积极查询它被观察到。我们提供了严格的下限和上限的问题相关的保证遗憾和查询的数量。有趣的是，我们证明了一个独特的和多个最佳武器的问题之间有一个根本的区别，不像在标准的多臂强盗问题。我们还提出了一个新的，简单的，UCB风格的采样概念，并表明，它自然地适应最佳武器的数量，并实现严格的遗憾和查询范围。
2022-10-27 cs.LG
HR-Bandit: Human-AI Collaborated Linear Recourse Bandit
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Texas A&M University（德克萨斯农工大学）
受医疗场景启发，提出RLinUCB算法优化动作选择与特征修改，进一步扩展为融合人类 expertise 的HR-Bandit框架，具备三项性能保证，实证验证其效果优于现有基准。
2025-03-20 cs.LG
Oracle-Efficient Pessimism: Offline Policy Optimization in Contextual Bandits
Microsoft Research NYC（微软研究院纽约分院）；Netflix（奈飞公司）
本文提出首个通用的预言机高效悲观离线策略优化算法，通过归约为监督学习实现广泛适用性，并在离散和连续动作实验中优于未正则化方法。
2023-10-25 cs.LG
Jointly Efficient and Optimal Algorithms for Logistic Bandits
Criteo AI Lab（Criteo 人工智能实验室）；University of Arizona（亚利桑那大学）
最近，由于其理论和实践相结合的相关性，物流强盗受到了仔细的审查。这项研究工作提供了统计上有效的算法，改善了以前的策略的遗憾指数大的因素。然而，这样的算法是惊人的昂贵，因为它们需要在每一轮$Ω(t)$操作。另一方面，另一条研究路线专注于计算效率（每轮$\mathcal{O}(1)$成本），但代价是放弃了上述指数级的改进。不幸的是，获得两个世界的最佳结果并不是将两种方法结合起来的问题。相反，我们为物流强盗引入了一个新的学习过程。它产生的信心集，足够的统计数据可以很容易地保持在线，而不牺牲统计的紧密性。结合有效的规划机制，我们设计了快速算法，其遗憾性能仍然符合Abeille等人的问题相关下限。据我们所知，这些是第一个同时享有统计和计算效率的Logistic Bandit算法。
2022-01-19 cs.LG
Best-of-Both-Worlds Multi-Dueling Bandits: Unified Algorithms for Stochastic and Adversarial Preferences under Condorcet and Borda Objectives
本文提出了一种兼顾随机和对抗性环境的多对决老虎机统一算法，针对康多塞和波尔多目标，同时在无先验知识的情况下实现了最优性能。
2026-05-18 cs.LG
Lipschitz Bandits with Arbitrary Feedback Delays
Institute for Interdisciplinary Information Sciences Tsinghua University（清华大学交叉信息研究院）
针对任意反馈延迟下的Lipschitz多臂老虎机，分别为随机和对抗奖励设置提出消除算法与EXP3算法，所得后悔界与无延迟时匹配，刻画了反馈延迟的额外影响。
2026-08-18 cs.LG
Thompson Sampling for Bandits with Clustered Arms
Chalmers University（查尔姆斯理工大学）
我们提出了算法的基础上，多层次的汤普森抽样计划，随机多臂土匪及其上下文的变化与线性预期奖励，在设置武器被聚集。我们表明，无论是理论上和经验上，如何利用一个给定的集群结构可以显着提高遗憾和计算成本相比，使用标准的汤普森采样。在随机多臂土匪的情况下，我们给出了上界的预期累积后悔显示它如何依赖于聚类的质量。最后，我们进行了实证评估表明，我们的算法相比，以前提出的算法集群武器土匪。
2022-06-15 cs.LG
An Experimental Design for Anytime-Valid Causal Inference on Multi-Armed Bandits
Harvard University（哈佛大学）；Harvard Business School（哈佛商学院）
本文提出 Mixture Adaptive Design (MAD)，一种用于多臂老虎机算法的新实验设计，通过将任意老虎机算法与 Bernoulli 设计混合，实现对平均处理效应的随时有效推断，在确保推断有效性的同时允许提前停止实验并平衡遗憾与精度。
2024-10-15 cs.LG stat.ME
Uncertainty of Joint Neural Contextual Bandit
Meta AI
针对大规模推荐系统中联合神经上下文赌博机超参数调优复杂的问题，本文从理论和实验两方面分析了模型不确定性，发现其与隐藏层大小和训练数据量呈特定比例关系，从而有效指导模型调优。
2024-06-04 cs.LG
Diversify and Conquer: Bandits and Diversity for an Enhanced E-commerce Homepage Experience
Myntra Designs Pvt Ltd（Myntra设计私人有限公司）
本文针对移动电商首页异构 widget 的个性化垂直排序问题，提出结合上下文 bandits 与多样性层的两阶段框架，并在 Myntra 离线与在线 A/B 实验中验证其效果。
2023-09-25 cs.IR cs.LG
Towards Fundamental Limits of Multi-armed Bandits with Random Walk Feedback
在本文中，我们考虑了一个新的多臂强盗（MAB）问题，其中武器是一个未知的和可能变化的图中的节点，和代理（i）通过拉动武器在图上发起随机行走，（ii）观察随机行走轨迹，（iii）获得等于行走长度的奖励。我们提供了一个全面的了解这个问题，通过研究随机和对抗设置。我们表明，这个问题是不容易比一个标准的MAB在信息理论意义上，虽然额外的信息是通过随机游走轨迹。研究了该问题的强盗算法的行为。
2022-06-25 cs.LG
Multi-Agent Best Arm Identification in Stochastic Linear Bandits
Indiana University Bloomington（印第安纳大学伯明顿分校）
针对固定预算下随机线性老虎机，提出星型与任意网络的多智能体协作最优臂识别算法 MaLinBAI-Star 和 MaLinBAI-Gen，利用 G-最优设计与连续消除，实现错误概率指数衰减。
2025-05-24 cs.LG
Quantum Lipschitz Bandits
本文提出量子Lipschitz老虎机算法，利用量子计算优势改进了连续动作空间和非线性奖励函数的老虎机问题，提升了遗憾界性能。
2025-11-21 cs.LG
A One-Size-Fits-All Solution to Conservative Bandit Problems
Tsinghua University（清华大学）
在本文中，我们研究了一类具有样本路径报酬约束的保守强盗问题，即，学习者的奖励表现在任何时候都必须至少与给定的基线一样好。我们提出了一个一刀切的解决方案，CBPs和目前的应用程序，包括三个问题，即保守的多武装土匪（CMAB），保守的线性土匪（CLB）和保守的上下文组合土匪（CCCB）。不同于以往的作品，考虑高概率约束的预期回报，我们专注于一个样本路径约束的实际收到的奖励，并取得更好的理论保证（$T$独立的添加剂遗憾，而不是$T$依赖）和经验性能。此外，我们扩展的结果，并考虑一种新的保守的均值方差强盗问题（MV-CBP），它的学习性能与预期的回报和变化。对于这个扩展的问题，我们提供了一个新的算法与$O(1/T)$规范化的附加遗憾（$T$ -独立的累积形式），并验证了这一结果，通过实证评估。
2023-02-07 cs.LG
Dueling Bandits With Weak Regret
Cornell University（康奈尔大学）
我们考虑在线内容推荐与隐式反馈，通过成对比较，形式化为所谓的决斗强盗问题。我们研究决斗强盗问题的孔多塞赢家设置，并考虑两个概念的遗憾：更好地研究强遗憾，这是0只有当两个手臂拉是孔多塞赢家;和研究较少的弱遗憾，这是0，如果任何一个手臂拉是孔多塞赢家。我们提出了一个新的算法，赢家留（WS），每种遗憾的变化：WS弱遗憾（WS-W）预计累积弱遗憾是$O(N^2)$，$O(N\log(N))$，如果武器有一个总的顺序; WS强遗憾（WS-S）预计累积强遗憾$O(N^2 + N \log(T))$，和$O(N\log(N)+N\log(T))$，如果武器有一个总的顺序。WS-W是第一个具有弱遗憾的决斗强盗算法，该算法在时间上是恒定的。WS是简单的计算，即使是许多武器的问题，我们通过模拟和真实数据的数值实验表明，WS有显着较小的遗憾比现有的算法在弱和强遗憾设置。
2017-06-14 cs.LG
