Clustered Bandits
Tan Tao University（新陶大学）；Stanford University（斯坦福大学）；Technion（以色列理工学院）
我们考虑一个多臂强盗设置，其灵感来自电子商务中的真实应用。在我们的设置中，有几种类型的用户，每种用户对不同的手臂都有特定的反应。当用户进入系统时，决策者不知道他的类型。决策者可以单独对待每个用户，忽略先前观察到的用户，或者可以尝试利用只存在少数类型的优势，并根据用户对手臂的反应对用户进行聚类。我们设计的算法，结合通常的探索，开发权衡与聚类的用户和展示聚类的价值。在开发算法的集群设置的过程中，我们提出并分析了简单的算法的设置，决策者知道，用户属于少数类型之一，但不知道哪一个。
2012-06-19 cs.LG
Contextual User Browsing Bandits for Large-Scale Online Mobile Recommendation
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）
在线推荐服务向用户推荐多种商品。如今，相当比例的用户通过移动设备访问电子商务平台。由于移动设备的屏幕尺寸有限，商品的位置对点击有很大的影响：1）位置越高，一个商品的点击就越多。2)“伪曝光”问题：第一眼只显示了几个推荐项目，用户需要滑动屏幕才能浏览其他项目。因此，一些排名靠后的推荐项目不会被用户查看，将这类项目视为负样本是不恰当的。虽然许多工作模型的在线推荐作为上下文强盗问题，他们很少考虑到的影响的立场，因此，估计的奖励函数可能会有偏差。在本文中，我们旨在解决这两个问题，以提高性能的在线移动推荐。我们的贡献是四方面的。首先，由于我们关注的是一组推荐项目的奖励，我们将在线推荐建模为上下文组合强盗问题，并定义了推荐集的奖励。其次，我们提出了一种新的上下文组合强盗方法称为UBM-LinUCB解决两个问题，通过采用用户浏览模型（UBM），点击网络搜索模型的位置。第三，我们提供了一个正式的遗憾分析，并证明我们的算法实现次线性遗憾的项目数无关。最后，我们评估我们的算法在两个真实世界的数据集由一个新的无偏估计。淘宝网是世界上最受欢迎的电子商务平台之一。两个CTR指标上的实验结果表明，该算法优于其他上下文强盗算法。
2020-08-21 cs.IR cs.LG
Categorized Bandits
CMLA, ENS Paris-Saclay（巴黎萨克雷高等师范学院CMLA）；Cdiscount（Cdiscount公司）；Criteo AI Lab（Criteo人工智能实验室）
我们引入了一个新的随机多武装土匪设置武器内的“有序”类别分组。激励的例子来自电子商务，在那里，客户通常对一个明确但未知的特定类别的物品比其他任何物品都有更大的胃口。我们引入了三个类别之间的排序概念，灵感来自随机变量之间的随机优势，这是逐渐变弱，使越来越多的土匪的情况下，满足至少其中之一。我们首先证明了这些模型的累积遗憾的实例相关的下界，表明如何增加的强盗问题的复杂性与一般性的排序概念考虑。我们还提供了充分利用模型结构及其相关理论保证的算法。最后，我们对真实数据进行了分析，以强调这些有序类别在实践中确实存在。
2020-05-04 cs.LG stat.ML
Batched Online Contextual Sparse Bandits with Sequential Inclusion of Features
Metica
针对稀疏和批量数据下的线性奖励上下文老虎机问题，提出OBSI算法通过随置信度提升顺序纳入特征、排除无关特征来保障公平性，实验显示其在遗憾值、特征相关性和计算量上均优于其他算法。
2024-09-13 cs.LG stat.ML
The Impact of Batch Learning in Stochastic Bandits
Eindhoven University of Technology（埃因霍温理工大学）；Jheronimus Academy of Data Science（赫罗尼姆斯数据科学学院）；University in Jyväskylä（于韦斯屈莱大学）；Tilburg University（蒂尔堡大学）
我们考虑强盗问题的一个特殊情况，即成批强盗。出于推荐系统和电子商务平台的自然限制，我们假设一个学习代理在一定的时间内观察成批的响应。与以前的工作不同，我们考虑了一个更实际的批处理学习的批处理为中心的场景。我们提供了一个政策不可知的遗憾分析，并展示了上界和下界的候选政策的遗憾。我们的主要理论结果表明，批量学习的影响可以用在线行为来衡量。最后，我们通过实证实验证明了理论结果的一致性，并对最佳批量选择进行了反思。
2021-11-03 cs.LG stat.ML
Designing for the Next Click: Bandits for Real-Time Page Layout
Target Corporation（塔吉特公司）
该研究提出一种基于LinUCB的上下文多臂老虎机系统，可实时优化电商商品页面布局，在零售平台A/B测试中较启发式基线实现会话级性能正向提升，为Web学习型设计提供可扩展路径。
2026-09-01 cs.LG
Incentivising Exploration and Recommendations for Contextual Bandits with Payments
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
我们提出了一个基于上下文的强盗模型，以捕捉学习和社会福利目标的网络平台中存在的近视用户。通过使用支付来激励这些代理探索不同的项目/推荐，我们展示了平台如何学习项目的固有属性并实现次线性遗憾，同时最大化累积社会福利。我们还计算了激励平台的累积成本的理论界限。与该领域以前的作品不同，我们认为上下文是完全对抗的，对手的行为对平台是未知的。我们的方法可以提高用户在电子商务商店，推荐引擎和匹配平台上的各种参与度指标。
2020-01-22 cs.IR cs.LG stat.ML
Federated $\mathcal{X}$-armed Bandit with Flexible Personalisation
School of Mathematical Sciences（数学科学学院）；Lancaster University（兰卡斯特大学）
针对高度异构环境下联邦学习的局部与全局目标优化难题，提出一种结合客户端偏好与全局知识的代理目标函数及阶段式消除算法，实现次线性遗憾与对数级通信开销，在多领域有应用潜力。
2024-09-11 cs.LG stat.ML
Open Bandit Dataset and Pipeline: Towards Realistic and Reproducible Off-Policy Evaluation
Hanjuku-kaso Co Ltd（Hanjuku-kaso有限公司）；Cornell University（康奈尔大学）；ZOZO Research（ZOZO研究院）；Yale University（耶鲁大学）
政策外评估（OPE）的目的是使用不同政策产生的数据来估计假设政策的性能。由于其在实践中的巨大潜在影响，人们对这一领域的研究兴趣越来越大。然而，没有真实世界的公共数据集可以评估OPE，这使得其实验研究不现实且不可复制。为了实现现实和可重复的OPE研究，我们提出了开放的Bandit数据集，这是一个在大型时尚电子商务平台ZOZOTOWN上收集的公共记录的Bandit数据集。我们的数据集是独一无二的，因为它包含一组通过在同一平台上运行不同策略收集的多个记录的bandit数据集。这使得实验比较不同的OPE估计的第一次。我们还开发了名为Open Bandit Pipeline的Python软件，以简化和标准化批处理Bandit算法和OPE的实现。我们的开放数据和软件将有助于公平和透明的OPE研究，并帮助社区确定富有成效的研究方向。我们使用我们的数据集和软件提供了现有OPE估计器的广泛基准实验。这些结果为未来的OPE研究开辟了必要的挑战和新的途径。
2021-10-26 cs.LG stat.ML
Proportional Response: Contextual Bandits for Simple and Cumulative Regret Minimization
Stanford University（斯坦福大学）；Hong Kong University of Science and Technology（香港科技大学）
该研究针对随机上下文老虎机场景，提出基于共形臂集的比例响应算法族，可通过调参平衡简单遗憾与累积遗憾最小化的性能，同时证明无法同时实现实例依赖简单遗憾保证与极小极大最优累积遗憾保证。
2023-11-03 cs.LG stat.ML
Communication Efficient Distributed Learning for Kernelized Contextual Bandits
University of Virginia（弗吉尼亚大学）；Oregon State University（俄勒冈州立大学）；Princeton University（普林斯顿大学）
我们解决了在分布式环境中学习内核化上下文强盗的通信效率挑战。尽管最近在通信有效的分布式强盗学习方面取得了进展，但现有的解决方案仅限于简单的模型，如多臂强盗和线性强盗，这妨碍了它们的实际效用。在本文中，而不是假设存在一个线性奖励映射的功能，预期的回报，我们考虑非线性奖励映射，让代理合作搜索再生核希尔伯特空间（RKHS）。这在通信效率方面带来了重大挑战，因为分布式内核学习需要传输原始数据，导致通信成本相对于原始数据线性增长。时间范围$T$。我们通过装备所有代理通过一个共同的Nyström嵌入进行通信来解决这个问题，该嵌入随着收集更多的数据点而自适应地更新。我们严格证明了我们的算法可以达到次线性率的遗憾和通信成本。
2022-10-12 cs.LG
The Combinatorial Multi-Bandit Problem and its Application to Energy Management
NEC Laboratories Europe（NEC欧洲实验室）
我们研究了一个在能源系统管理中应用的组合多强盗问题。给定具有未知结果分布的多个概率多臂强盗，任务是优化将个体强盗结果的向量映射到单个标量奖励的组合目标函数的值。与具有多维动作空间的单强盗问题不同，在我们的设置中，单个强盗的结果是可观察的，并且目标函数是已知的。指导下的假设，个人的可观察性，使更好的权衡之间的探索和利用，我们概括了较低的遗憾界为单一的土匪，事实上，对于多个土匪，它承认并行化的探索。对于我们的能源管理应用程序，我们提出了一系列的算法，结合探索多臂土匪与数学规划的原则。在一项实验研究中，我们证明了我们的方法的有效性，学习行动分配150土匪，每个有24个行动，在365集的地平线。
2020-11-04 cs.LG
Post-Contextual-Bandit Inference
Netflix（网飞公司）；Université Paris Descartes（巴黎笛卡尔大学）；Cornell University（康奈尔大学）；University of California, Berkeley（加州大学伯克利分校）
上下文强盗算法正在越来越多地取代电子商务、医疗保健和政策制定中的非自适应A/B测试，因为它们既可以改善研究参与者的结果，也可以增加识别好的甚至是最好的政策的机会。尽管如此，为了支持研究结束时对新干预措施的可信推断，我们仍然希望构建平均处理效应、亚组效果或新政策价值的有效置信区间。然而，由上下文强盗算法收集的数据的自适应性质使得这变得困难：标准估计不再是渐近正态分布的，并且经典的置信区间无法提供正确的覆盖。虽然这已经解决了在非上下文环境中使用稳定的估计，上下文设置提出了独特的挑战，我们在本文中首次解决。我们提出了上下文自适应双重鲁棒（CADR）估计，第一个估计的政策价值是渐近正常的上下文自适应数据收集。构造CADR的主要技术挑战是设计自适应和一致的条件标准差估计器以实现稳定。使用57个OpenML数据集进行的大量数值实验表明，基于CADR的置信区间唯一地提供了正确的覆盖率。
2021-06-01 cs.LG math.ST stat.ML
Time-Constrained Recommendations: Reinforcement Learning Strategies for E-Commerce
Department of Computer Science（计算机科学系）；Northwestern University（西北大学）；Elmore Family School of Electrical and Computer Engineering（埃洛姆家族电气与计算机工程学院）；Purdue University（普渡大学）
本文研究时间约束下的推荐问题，提出基于马尔可夫决策过程的统一框架，通过强化学习提升推荐效果，实验证明在时间紧张下优于传统上下文老虎机方法。
2025-12-13 cs.AI cs.LG
Multi-Armed Bandits with Network Interference
UC Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）；Amazon（亚马逊公司）；Carnegie Mellon University（卡内基梅隆大学）
针对网络干扰下的多臂老虎机问题，提出基于离散傅里叶分析的稀疏线性表示和线性回归算法，在已知或未知干扰邻域下均可实现低遗憾。
2024-05-28 cs.LG stat.ME stat.ML
An Asymptotically Optimal Contextual Bandit Algorithm Using Hierarchical Structures
Bilkent University（比尔肯特大学）；Massachusetts Institute of Technology（麻省理工学院）；Sabancı University（萨班哲大学）
我们提出了在线算法顺序学习的上下文多臂强盗设置。我们的方法是划分上下文空间，然后以数据驱动的方式将所有可能的分区区域和强盗臂集之间的映射进行优化组合。我们表明，在我们的方法中，最好的映射是能够近似的最佳手臂选择政策，以任何所需的程度下温和的Lipschitz条件。因此，我们设计我们的算法的基础上的最佳自适应组合和渐近实现的最佳映射以及最佳的手臂选择政策的性能。即使在对抗性环境中，这种最优性也是可以保证的，因为我们不依赖于任何关于上下文或强盗武器损失的统计假设。此外，我们设计了有效的实现我们的算法在各种层次划分结构，如字典或任意位置分裂和二叉树（和其他几个分区的例子）。例如，在二叉树分区的情况下，计算复杂性仅与最精细分区中的区域数量成对数线性关系。总之，我们提供了显着的性能改进，通过引入上界（w.r.t.最佳臂选择策略），这些策略在数学上被证明在每轮平均损失意义上以比现有技术更快的速率消失。我们的实验工作广泛地覆盖了从强盗设置到真实和合成数据的多类分类的各种场景。在这些实验中，我们表明，我们的算法是非常优越的国家的最先进的技术，同时保持引入的数学保证和计算体面的可扩展性。
2017-12-07 cs.LG
Delayed Bandits: When Do Intermediate Observations Help?
Università degli Studi di Milano（米兰大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；University of Copenhagen（哥本哈根大学）；University of Amsterdam（阿姆斯特丹大学）；Politecnico di Milano（米兰理工大学）
本文研究带延迟反馈和中间观测的K臂老虎机，证明状态到损失映射的性质决定问题复杂度，并给出中间观测何时能降低遗憾率的条件。
2023-05-30 cs.LG
Bandit Modeling of Map Selection in Counter-Strike: Global Offensive
New York University（纽约大学）
许多电子竞技在比赛开始前使用选择和禁止过程来定义比赛的参数。在反恐精英：全球攻势（CSGO）比赛中，两支球队首先选择和禁止地图，或虚拟世界，发挥。团队通常会根据各种因素禁用和选择地图，例如禁用他们不练习的地图，或者根据团队最近的表现选择地图。我们引入了一个上下文强盗框架来解决CSGO中的地图选择问题，并研究了团队的选择和禁止决策。使用超过3，500个CSGO匹配和超过25，000个地图选择决策的数据集，我们考虑了问题的不同框架，不同的上下文和不同的奖励指标。我们发现，球队有次优的地图选择政策方面的采摘和禁止。我们还定义了一种奖励禁令的方法，这还没有被探索的土匪设置，并发现，将禁令奖励提高模型的性能。最后，我们确定使用我们的模型可以提高球队的预测地图获胜概率高达11%，并提高整体比赛获胜概率为19.8%，甚至匹配的球队。
2021-06-14 cs.AI cs.LG
Bandits with Knapsacks
Google Research（谷歌研究院）；Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
多臂强盗问题是学习中探索-利用权衡的主要理论模型，它们有无数的应用，从医学试验到通信网络，再到网络搜索和广告。在许多这些应用领域中，学习者可能受到一个或多个供应（或预算）限制的约束，除了对时间范围的习惯限制之外。文献缺乏一个涵盖这类问题的一般模型。我们引入这样一个模型，称为“土匪与背包”，结合随机整数规划方面的在线学习。与现有的遗憾最小化文献相比，我们的问题的一个显着特点是，对于一个给定的潜在分布的最优策略可能会显着优于发挥最佳固定arm. Consequently的政策，实现次线性遗憾的背包强盗问题是显着更具挑战性比传统的强盗问题。我们提出了两个算法，其奖励接近信息理论的最优：一个是基于一种新的“平衡探索”的范式，而另一个是原始-对偶算法，使用乘法更新。此外，我们证明了这两种算法实现的遗憾是最佳的多对数因子。我们说明了问题的一般性，提出了一些不同的领域，包括电子商务，路由和调度的应用程序。作为具体应用的一个例子，我们考虑了有限供应的动态定价问题，并得到了第一个算法，其遗憾，相对于最优动态策略，是次线性的供应。
2017-09-05 cs.DS cs.LG
Learning-Based User Association for MmWave Vehicular Networks With Kernelized Contextual Bandits
School of Electronics and Communication Engineering, Sun Yat-sen University（中山大学电子与通信工程学院）
针对毫米波车载网络中频繁估计快速衰落信道成本高的问题，提出DK-UCB算法，利用核化上下文老虎机和车辆历史上下文估计传输速率，提升用户关联效率。
2025-04-15 cs.LG
Mend The Learning Approach, Not the Data: Insights for Ranking E-Commerce Products
Technische Universität München（慕尼黑工业大学）；Mercateo；IBM
搜索质量的提高提高了用户的满意度，这直接影响了电子商业（E-Com）平台的销售增长。传统的学习排序（LTR）算法需要对产品进行相关性判断。在电子商务中，获得这样的判断是一个巨大的挑战。在文献中，它被建议采用用户反馈（如点击，添加到购物篮（AtB）点击和订单），以产生相关性判断。它分两步完成：首先，从日志中聚合查询-产品对数据，然后为日志中的每个对计算订单率等。在本文中，我们提倡反事实风险最小化（CRM）的方法，它绕过了相关性判断，数据聚合的需要，更适合于从记录的数据，即上下文强盗反馈学习。由于公共E-Com LTR数据集不可用，我们从我们的平台提供\textit{Mercateo dataset}。它包含超过1000万个AtB点击日志和100万个订单日志，这些日志来自与3060个查询相关的约350万个产品的目录。据我们所知，这是第一项研究CRM方法在从真实世界的记录数据中学习排名模型的有效性的工作。我们的实证评估表明，我们的CRM方法可以有效地从记录的数据中学习，并以巨大的优势击败了强大的基线排名器（$λ$ -MART）。我们的方法在各种深度神经网络模型上优于全信息损失（例如交叉熵）。研究结果显示，电子商务平台采用客户关系管理的方式，可以获得比全信息方式更好的产品搜寻品质。代码和数据集可以访问：https://github.com/ecom-research/CRM-LTR。
2020-07-09 cs.IR cs.LG
Thompson Sampling in Non-Episodic Restless Bandits
University of Michigan（密歇根大学）；Criteo AI Lab（科韬人工智能实验室）
不安分的强盗问题假设武器的时变奖励分布，这增加了模型的灵活性，但使分析更具挑战性。我们研究学习算法在未知的奖励分布，并证明了一个次线性，$O(\sqrt{T}\log T)$，后悔界的汤普森抽样的一个变种。我们的分析适用于无限时间范围设置，解决了Jung和Tewari（2019）提出的开放问题，其分析仅限于情节案例。我们采用他们的策略映射框架，这使得我们的算法是有效的，同时保持遗憾的意义。我们的算法采用了Ouyang et al.（2017）的TSDE算法，以一种非平凡的方式来解释不安分的土匪的特殊结构。我们测试我们的算法上模拟的动态信道接入问题与几个政策映射，和经验的遗憾同意与理论界的政策映射的选择无关。
2019-10-12 cs.LG stat.ML
BanditRank: Learning to Rank Using Contextual Bandits
Indian Institute of Technology (BHU) Varanasi（印度理工学院（巴纳拉斯印度教大学）瓦拉纳西分校）；Yahoo Japan Corporation（雅虎日本公司）
我们提出了一种可扩展的深度学习方法，该方法使用强化学习来训练神经网络，用于信息检索（IR）中的离线排名。我们称我们的方法为BanditRank，因为它将排名视为上下文强盗问题。在IR的学习排序领域，当前的深度学习模型是在与评估指标不同的目标函数上训练的。由于大多数评估指标是离散量，因此无法在没有近似的情况下直接使用梯度下降算法来利用它们。BanditRank通过使用梯度下降直接优化特定于任务的度量（例如平均精度（MAP））来弥补这一差距。具体地说，一个上下文的强盗的行动是排名输入文件的训练使用策略梯度算法直接最大化的奖励。奖励可以是单个度量，例如MAP，或几个度量的组合。排名的概念也是BanditRank中固有的，类似于当前的\textit{listwise}方法。为了评估BanditRank的有效性，我们对与三种不同任务相关的数据集进行了一系列实验，即，网络搜索、社区和事实问答。我们发现，当应用于问答数据集时，它比最先进的方法表现得更好。在网络搜索数据集上，我们发现BanditRank的表现优于四个强大的列表基线，包括LambdaMART，AdaRank，ListNet和Coordinate Ascent。
2019-10-23 cs.IR cs.LG
Seller-side Outcome Fairness in Online Marketplaces
University of Washington（华盛顿大学）；Walmart Global Tech（沃尔玛全球技术）
针对电商平台卖家曝光不均问题，本文定义卖方结果公平性，构建奖励与公平平衡优化模型，并提出基于对偶和 bandit 理论的梯度数据驱动算法，在真实数据上提升公平性且不损害 GMV 与购买量。
2023-12-06 cs.LG math.OC
Contextual Bandit Learning with Predictable Rewards
IBM（国际商业机器公司）
上下文强盗学习是一个强化学习问题，其中学习器重复接收一组特征（上下文），采取行动并基于行动和上下文获得奖励。我们在可实现性假设下考虑这个问题：在一个（已知）函数类中存在一个函数，在给定动作和上下文的情况下，它总是能够预测预期的奖励。在这个假设下，我们展示了三件事。我们提出了一个新的算法-回归消除-遗憾类似于不可知的设置（即在没有可实现性假设）。我们证明了一个新的下界，表明没有算法可以实现最坏的情况下，即使与可实现性假设的优越性能。然而，我们确实表明，对于任何一组策略（将上下文映射到动作），奖励（给定上下文）都有一个分布，因此我们的新算法与以前的方法不同，具有恒定的遗憾。
2012-03-02 cs.LG
Mixing Makes Markovian Contexts Cheap for Linear Bandits
University of California, Los Angeles（加州大学洛杉矶分校）；Meta, Superintelligence Lab（Meta超智能实验室）
针对马尔可夫上下文线性赌博机问题，提出一种基于均匀几何遍历性的约简方法，通过构建平稳替代动作集和延迟更新方案，实现了与标准线性赌博机相当的最坏情况遗憾界。
2026-09-09 cs.LG
Bellman-Centric Learning: Near-Optimal Regret for Linear Bandits with Memory
Department of Industrial Engineering and Operations Research, University of California, Berkeley（加州大学伯克利分校工业工程与运筹学系）
提出以贝尔曼为中心的RSM-LinUCB算法，用于带记忆的线性老虎机，通过新颖的遗憾分解将记忆误差与奖励估计误差分离，实现近最优遗憾界，并扩展到广义线性奖励，实验验证优于基线。
2026-10-06 cs.LG
Bandits via Additive Quantized Representations
Meta Platforms（Meta 平台）
本文提出残差量化（RQ）作为表示层，使上下文 Bandits 算法在严格有界内存下实现非线性表达，在 13 个数据集上多数优于非 RQ 方法，并以千倍内存缩减匹配强基线。
2026-10-05 cs.LG
Gated Decoupled Compositional Bandits: A Unified Theory of Contextual Bandits with Supervised-Calibrated Action Scaling and Pre-Execution Gating
该研究提出门控解耦组合多臂老虎机（GDCB），证明其可统一多个工业系统，核心定理可将非平稳问题转化为近似平稳问题，还推广了相关结果，配套论文已验证短期租赁动态定价实例。
2026-08-25 cs.LG
DISCO: An End-to-End Bandit Framework for Personalised Discount Allocation
Imperial College London（帝国理工学院）
本文提出端到端上下文老虎机框架 DISCO，通过径向基函数、神经上下文嵌入、Thompson Sampling 与整数规划实现受成本约束的个性化折扣分配，并在离线和在线 A/B 测试中验证其效果。
2024-06-12 cs.AI cs.LG
Sequential Batch Learning in Finite-Action Linear Contextual Bandits
Center for Data Science, New York University（纽约大学数据科学中心）；Susquehanna International Group（Susquehanna国际集团）；IEDA, HKUST（香港科技大学工业工程及决策分析学系）；Department of Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系）；Stern School of Business, New York University（纽约大学斯特恩商学院）
该研究针对有限动作线性上下文博弈的序贯批次学习问题，在两种设置下建立遗憾界并提出匹配算法，揭示批次数量对在线性能的影响，为带批次约束的序贯决策提供近乎完整的刻画。
2026-08-18 cs.IT cs.LG math.IT
EPM-RL: Reinforcement Learning for On-Premise Product Mapping in E-Commerce
AI Research, Enhans（AI研究，Enhans）
本文提出EPM-RL框架，通过强化学习提升电商产品映射的准确性和效率，解决传统方法依赖外部API和高成本的问题，实现私有部署和低成本运营。
2026-04-27 cs.AI cs.CL cs.DB
Learning Optimal Antenna Tilt Control Policies: A Contextual Linear Bandit Approach
KTH Royal Institute of Technology（瑞典皇家理工学院）；Ericsson Research（爱立信研究院）
控制蜂窝网络中的天线倾斜对于在网络覆盖和容量之间达到有效的折衷是必要的。在本文中，我们设计的算法学习最佳的倾斜控制策略，从现有的数据（在所谓的被动学习设置）或从数据主动生成的算法（主动学习设置）。我们将此类算法的设计形式化为上下文线性多臂强盗（CL-MAB）中的最佳策略识别（BPI）问题。手臂表示天线倾斜更新;上下文捕获当前网络条件;奖励对应于性能的改善，混合覆盖范围和容量;目标是以给定的置信水平识别近似最优策略（将上下文映射到具有最大奖励的手臂的函数）。对于CL-MAB在主动和被动的学习设置，我们推导出信息理论的下限所需的样本数量的任何算法返回一个近似最优的政策与给定的确定性水平，并设计算法实现这些基本限制。我们将我们的算法应用到蜂窝网络中的远程电跟踪（RET）优化问题，并表明它们可以产生最佳的倾斜更新策略，使用更少的数据样本比天真的或现有的基于规则的学习算法。
2022-01-06 cs.LG
An Optimization-based Algorithm for Non-stationary Kernel Bandits without Prior Knowledge
University of Michigan（密歇根大学）
我们提出了一种算法的非平稳内核土匪，不需要先验知识的非平稳程度。该算法遵循通过解决平衡探索和开发的优化问题获得的随机策略。它通过在检测到奖励函数的变化时重新启动来适应非平稳性。我们的算法享有更严格的动态遗憾界比以前的工作上的非平稳内核强盗设置。此外，当应用到非平稳线性强盗设置通过使用线性核，我们的算法是近minimax最优，解决了一个开放的问题，在非平稳线性强盗文献。我们扩展我们的算法，使用一个神经网络动态适应的特征映射到观察到的数据。我们证明了一个动态后悔界的扩展使用神经正切核理论。我们的经验表明，我们的算法和扩展可以适应不同程度的非平稳性。
2023-02-20 cs.LG stat.ML
Neural Contextual Bandits with UCB-based Exploration
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）
我们研究随机上下文强盗问题，其中奖励是从一个未知的函数与加性噪声。除了有界性之外，没有对奖励函数做任何假设。我们提出了一种新的算法NeuralUCB，它利用深度神经网络的表示能力，并使用基于神经网络的随机特征映射来构建有效探索的奖励的置信上限（UCB）。我们证明，在标准假设下，NeuralUCB实现$\tilde O(\sqrt{T})$遗憾，其中$T$是轮数。据我们所知，它是第一个基于神经网络的上下文强盗算法，具有接近最优的遗憾保证。我们还表明，该算法是经验上有竞争力的代表性的基线在一些基准。
2020-07-02 cs.LG stat.ML
Value-aware Recommendation based on Reinforced Profit Maximization in E-commerce Systems
Alibaba Group（阿里巴巴集团）；Carnegie Mellon University（卡内基梅隆大学）；Rutgers University（罗格斯大学）
现有的推荐算法大多集中在优化传统的推荐措施，如RMSE方面的评级预测的准确性或前$k$推荐列表的质量方面的精度，召回率，MAP等，然而，商业推荐系统的一个重要期望是提高系统的最终收入/利润。传统的推荐目标如评分预测和顶级$k$推荐与此目标没有直接关系。在这项工作中，我们将在线广告和微观经济学的基本概念融入个性化推荐中，以实现利润最大化。具体而言，我们提出了基于强化学习的价值感知推荐，直接优化候选项的经济价值来生成推荐列表。特别是，我们推广的基本概念的点击转化率（CVR）在计算广告到会话率的任意用户动作（XVR）在电子商业，其中的用户动作可以点击，添加到购物车，添加到愿望清单等，这样，每种类型的用户动作被映射到其货币化的经济价值。进一步综合不同用户行为的经济价值作为排行榜的奖励，并利用强化学习对推荐榜进行优化，使总价值最大。在离线基准测试和在线商业系统中的实验结果验证了我们的框架在传统的顶级$k$排名任务和系统的经济效益方面的性能改进。
2019-02-03 cs.IR cs.LG
HD-CB: The First Exploration of Hyperdimensional Computing for Contextual Bandits Problems
Sapienza University of Rome（罗马第一大学）
本工作提出HD-CB，首次利用超维计算建模上下文老虎机问题，通过高维向量运算替代传统岭回归，在保持竞争性能的同时显著提升了计算效率与可扩展性。
2025-01-28 cs.LG
Nonparametric Contextual Bandits in an Unknown Metric Space
National University of Singapore（新加坡国立大学）；Cornell University（康奈尔大学）
考虑非参数上下文多臂强盗问题，其中每个臂$a \in [K]$与从上下文映射到期望奖励的非参数奖励函数$f_a: [0,1] \to \mathbb{R}$相关联。假设有一个大的手臂集合，但在手臂奖励函数中有一个简单但未知的结构，例如有限类型或关于未知度量空间的光滑。我们提出了一种新的算法，学习数据驱动的相似性之间的武器，为了实现自适应分区的上下文臂空间更有效的学习。我们提供了遗憾的界限，以及模拟，突出算法的依赖于局部几何的奖励函数。
2019-08-03 cs.LG stat.ML
A Comparative Study of Bayesian Contextual Bandits for Real-Time Warehouse Sorter Optimization
针对仓库分拣系统静态权重无法适应动态环境的问题，比较线性回归、XGBoost和贝叶斯上下文赌博机三种方法，后者通过2.03%的奖励提升和更优的实时控制性能展现出潜力。
2026-06-24 cs.LG cs.SY eess.SY
Robust Linear Dueling Bandits with Post-serving Context under Unknown Delays and Adversarial Corruptions
KAIST（韩国科学技术院）
针对同时存在服务后上下文、延迟反馈和对抗性破坏的易变环境，提出RCDP-UCB算法，通过预测服务后上下文和自适应加权策略，实现了延迟无关的遗憾上界，并揭示了破坏与延迟之间的加性成本结构。
2026-05-30 cs.LG
Mean Field Equilibrium in Multi-Armed Bandit Game with Continuous Reward
The Chinese University of Hong Kong（香港中文大学）；Zhejiang Normal University（浙江师范大学）
平均场博弈有利于分析多臂强盗（MAB）的大量代理人通过近似他们的相互作用的平均效果。现有的多智能体MAB平均场模型大多假设一个二元奖励函数，这导致易于处理的分析，但通常不适用于实际场景。本文研究了具有连续报酬函数的平均场强盗对策。具体来说，我们专注于推导平均场平衡（MFE）的存在性和唯一性，从而保证多智能体系统的渐近稳定性。为了适应连续的奖励函数，我们将学习到的奖励编码到代理状态中，然后将其映射到其随机手臂游戏策略，并使用实现的观察进行更新。我们证明了系统的状态演化是上半连续的，在此基础上得到了MFE的存在性。由于马尔可夫分析主要针对离散状态的情况，我们将随机连续状态演化转化为确定性常微分方程。在此基础上，我们可以刻画一个压缩映射的常微分方程，以确保唯一的MFE的强盗游戏。广泛的评估验证了我们的MFE表征，并表现出严格的经验遗憾的MAB问题。
2021-05-08 cs.GT cs.LG cs.MA
Model Selection in Contextual Stochastic Bandit Problems
University of California Berkeley（加州大学伯克利分校）；University of Massachusetts（马萨诸塞大学）；DeepMind（深度思维）；Adobe（奥多比）；Google Research（谷歌研究院）；University of Alberta（阿尔伯塔大学）
研究随机环境中的强盗模型选择问题。我们的方法依赖于一个元算法，候选人之间的基础算法进行选择。我们开发了一个基于元算法的算法抽象，可以与一般类的基本算法和不同类型的对抗元算法。我们的方法依赖于一个新的和通用的平滑变换的强盗算法，使我们能够获得最佳的$O(\sqrt{T})$模型选择保证随机上下文的强盗问题，只要最佳的基础算法满足高概率的遗憾保证。我们通过一个下界表明，即使当一个基本算法有$O(\log T)$遗憾，在一般情况下，它是不可能得到更好的模型选择比$Ω(\sqrt{T})$遗憾，甚至渐近。使用我们的技术，我们解决模型选择在各种问题，如错误指定的线性上下文土匪，线性土匪与未知的维度和强化学习与未知的特征映射。我们的算法需要最佳基遗憾的知识来调整元算法的学习率。我们表明，没有这样的先验知识，任何元算法可以遭受的遗憾大于最佳的基础遗憾。
2022-12-04 cs.LG stat.ML
Corralling a Band of Bandit Algorithms
Microsoft Research（微软研究院）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
我们研究的问题相结合的多个强盗算法（即，在线学习算法与部分反馈）的目标是创建一个主算法，执行几乎以及最好的基础算法，如果它要运行自己。主要的挑战是，当与主算法一起运行时，基本算法必然会收到少得多的反馈，因此主算法不能饿死基本算法，因为基本算法最初可能表现不具竞争力，但如果得到足够的反馈，最终会胜过其他算法。我们通过设计一个带有特殊镜像映射的在线镜像下降版本以及一个复杂的学习率方案来解决这个困难。我们表明，这种方法管理，以实现更微妙的平衡，利用和探索基础算法比以前的作品产生优越的遗憾界限。我们的结果适用于许多设置，如多武装土匪，上下文土匪，凸土匪。作为例子，我们提出了两个主要的应用程序。第一个是创建一个算法，该算法在最坏情况下具有鲁棒性，同时在环境相对简单时表现得更好。第二种是创建一种算法，该算法可以在不同的环境假设下同时工作，例如不同的先验或不同的损失结构。
2017-06-06 cs.LG stat.ML
Causally Abstracted Multi-armed Bandits
University of Bergen（卑尔根大学）；University of Oxford（牛津大学）；University of Warwick（华威大学）
本文提出因果抽象多臂老虎机（CAMAB）框架，通过抽象映射关联不同变量和粒度的因果MAB，实现迁移学习，并给出学习算法及遗憾分析，在在线广告场景中验证了方法的优劣。
2024-07-17 cs.AI cs.LG
Online learning in MDPs with linear function approximation and bandit feedback
Universitat Pompeu Fabra（庞培法布拉大学）
我们考虑一个在线学习问题，其中学习者与马尔可夫决策过程在一系列事件中进行交互，其中允许奖励函数以对抗的方式在事件之间变化，并且学习者只能观察与其行为相关的奖励。我们允许的状态空间是任意大的，但我们假设所有的动作价值函数可以表示为线性函数的一个已知的低维特征映射，学习者可以访问的环境，允许从真正的MDP动态生成轨迹的模拟器。我们的主要贡献是开发一个计算效率高的算法，我们称之为MDP-LinExp 3，并证明其遗憾是有界的$\widetilde{\mathcal{O}}\big(H^2 T^{2/3} (dK)^{1/3}\big)$，其中$T$是情节的数量，$H$是在每个情节的步骤数，$K$是行动的数量，和$d$是特征图的维度。我们还表明，遗憾可以改善$\widetilde{\mathcal{O}}\big(H^2 \sqrt{TdK}\big)$下更强的假设MDP动态。据我们所知，MDP-LinExp 3是第一个可证明有效的算法，这个问题的设置。
2021-06-12 cs.LG stat.ML
Minimal Exploration in Structured Stochastic Bandits
Centrale-Supelec（中央理工-高等电力学院）；KTH（瑞典皇家理工学院）
本文介绍并解决了一类广泛的随机强盗问题的功能映射的手臂相应的奖励表现出一些已知的结构特性。大多数现有的结构（例如线性、Lipschitz、单峰、组合、决斗等）都在我们的框架内。我们推导出这些问题的渐近实例特定的遗憾下界，并开发OSSB，一个算法的遗憾匹配这个基本限制。OSSB不是基于“面对不确定性的乐观主义”或Thompson抽样的经典原则，而是旨在匹配次优武器的最小探索率，其特征在于在遗憾下限的推导中。我们说明了OSSB的效率使用数值实验的情况下，线性强盗问题，并表明OSSB优于现有的算法，包括汤普森采样。
2017-11-01 cs.AI cs.LG math.OC
Adaptive LLM Routing under Budget Constraints
Fujitsu Research（富士通研究所）；Microsoft Research（微软研究院）
针对LLM路由中缺乏完整配对和预算约束的问题，提出基于上下文老虎机的PILOT方法，利用共享嵌入空间和在线反馈实现自适应且资源高效的路由。
2025-09-09 cs.LG
Contextual Bandits for adapting to changing User preferences over time
Persistent Systems（持久系统公司）
上下文强盗提供了一种有效的方法来建模ML中的动态数据问题，通过利用在线（增量）学习来根据不断变化的环境不断调整预测。我们探讨上下文强盗的细节，传统的强化学习（RL）问题的扩展，并建立一个新的算法来解决这个问题，使用一系列基于动作的学习者。我们应用这种方法来建模的文章推荐系统，使用一个阵列的随机梯度下降（SGD）的学习者作出预测的基础上采取的行动奖励。然后，我们将该方法扩展到公开的MovieLens数据集并探索研究结果。首先，我们提供了一个简化的模拟数据集，显示随着时间的推移不同的用户偏好，以及如何使用静态和动态学习算法进行评估。作为本研究的一部分，该数据集有意模拟了有限数量的特征，可用于评估不同的解决问题策略。我们将使用静态数据集构建一个分类器，并在此数据集上评估其性能。我们展示了静态学习器由于在某个时间点固定的上下文以及改变上下文如何降低准确性而带来的局限性。接下来，我们开发了一种新的算法来解决上下文强盗问题。与线性强盗类似，该算法将奖励映射为上下文向量的函数，但使用一系列学习器来捕获动作/手臂之间的变化。我们开发了一个使用随机梯度下降（SGD）学习器阵列的强盗算法，每个手臂有单独的学习器。最后，我们将应用这个上下文强盗算法来预测电影评级随着时间的推移由不同的用户从标准的电影镜头数据集，并展示结果。
2020-09-23 cs.AI cs.LG cs.SI
Near Optimal Best Arm Identification for Clustered Bandits
IIT Bombay（印度理工学院孟买分校）
针对多智能体多臂老虎机中智能体—老虎机映射未知的问题，提出 Cl-BAI 与 BAI-Cl 两种算法，给出 $δ$-PC 保证、样本复杂度界及近极小极大最优性，并验证其样本与通信效率。
2025-05-15 cs.LG cs.MA
Blocking Bandits
UT Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊公司）
提出一种拉动臂后使其暂时不可用的新颖多臂老虎机设置，证明贪心算法渐近最优，并设计基于UCB的算法实现对数级累积遗憾。
2024-07-29 cs.LG stat.ML
Minimax Optimal Regret for Causal Logistic Bandits with Counterfactual Fairness
University of Cambridge（剑桥大学）；KAIST（韩国科学技术院）；Seoul National University（首尔大学）
针对带反事实公平约束的因果逻辑强盗，证明覆盖条件必要性，提出匹配上下界，算法达到极小极大最优遗憾。
2026-10-02 cs.LG
Semi-bandit Optimization in the Dispersed Setting
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
数据驱动的算法设计的目标是使用机器学习和数据为特定的应用领域获得高性能的算法。在人工智能、科学和工程的许多领域，从业者通常会修复一系列参数化算法，然后优化这些参数，以在应用程序领域的示例实例上获得良好的性能。在在线设置中，我们必须在每个实例到达时为它们选择算法参数，我们的目标是在事后与最好的固定算法竞争。在线数据驱动的算法设计存在两个主要挑战。首先，评估将算法参数映射到性能的损失函数在计算上是昂贵的，这通常需要学习者运行组合算法来测量其性能。第二，损失可能非常不稳定，并且具有明显的不连续性。然而，我们表明，在许多应用中，评估一个算法选择的损失函数有时可以揭示一系列类似算法的损失，基本上是免费的。我们开发的在线优化算法能够使用这种额外的信息，通过工作在半强盗反馈设置。我们的算法实现了遗憾的界限，基本上是一样好的全信息反馈下的算法，并显着更高的计算效率。我们应用我们的半强盗的结果，以获得第一个可证明的保证数据驱动的算法设计基于链接的聚类，我们提高了最佳遗憾界设计贪婪背包算法。
2020-12-21 cs.LG stat.ML
Online and Distribution-Free Robustness: Regression and Contextual Bandits with Huber Contamination
MIT（麻省理工学院）；UC Berkeley（加州大学伯克利分校）
在这项工作中，我们重新审视两个经典的高维在线学习问题，即线性回归和上下文强盗，从对抗鲁棒性的角度。算法鲁棒统计中的现有工作做出强分布假设，以确保输入数据均匀分布或来自良好的生成模型。即使完全没有分布假设，我们被要求解决的任务序列是自适应和逆向选择的，是否有可能实现强鲁棒性保证？我们对线性回归和上下文强盗都肯定地回答这个问题。事实上，我们的算法在传统方法失败的地方取得了成功。特别是，我们显示出强大的下界对Huber回归和更一般的任何凸M-估计。我们的方法是基于一种新的交替最小化方案，交织普通最小二乘法与一个简单的凸规划，找到最佳的重新加权的分布下的频谱约束。我们的研究结果获得基本上最佳的依赖污染水平$η$，达到最佳的击穿点，并自然地适用于无限维的设置，其中的特征向量通过内核映射表示隐式。
2021-06-10 cs.DS cs.LG stat.ML
A Predict-then-Correct Loop Based on Few-Shot Continuous Contextual Bandit for Demand Forecasting
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Massachusetts Institute of Technology（麻省理工学院）
研究针对零售需求预测难题，提出预测-校正框架，运用少样本连续上下文博弈校正策略等，经实验在多需求模式下显著降低误差、提高RMSE并降低库存成本，证明在线预测校正能连接离线需求学习与实时零售决策。
2026-07-21 cs.AI cs.LG
