An Opportunistic Bandit Approach for User Interface Experimentation
University of California, Davis（加州大学戴维斯分校）；Target Corporation（塔吉特公司）
面对来自网上竞争对手的日益激烈的竞争，零售业正越来越多地投资于其网上购物平台，以赢得客户忠诚度的高风险战斗。用户体验在这场竞争中发挥着至关重要的作用，零售商正在不断试验和优化其用户界面，以获得更好的用户体验。实验的成本主要由向客户提供次优服务的机会成本决定。通过本文，我们证明了机会主义强盗的有效性，使实验尽可能便宜，使用真实的在线零售数据。事实上，我们将用户界面实验建模为一个机会主义的强盗问题，其中探索的成本根据从客户特征中提取的因素而变化。我们通过减少昂贵的探索和提供额外的上下文信息来帮助指导测试过程，从而大大减少了遗憾。此外，我们分析了使用机会主义强盗在线零售实验的优势和挑战。
2020-06-21 cs.LG stat.ML
Position-Based Multiple-Play Bandits with Thompson Sampling
Louis Vuitton（路易威登）；Univ. Rennes（雷恩大学）；Ensai（雷恩高等统计与信息分析学院）；CNRS（法国国家科学研究中心）；CREST；Université de Rennes 1（雷恩第一大学）；IRISA；INRIA（法国国家信息与自动化研究所）；IUF（法国大学研究院）
多播放强盗的目的是在网页上的相关位置显示相关的项目。我们介绍了一种新的基于带宽的算法，PB-MHB，在线推荐系统，它使用汤普森采样框架。该算法处理由基于位置的模型支配的显示设置。我们的抽样方法不需要作为输入的概率，用户看在网页中的一个给定的位置，在实践中，很难获得。模拟和真实数据集上的实验表明，我们的方法，具有较少的先验信息，提供更好的建议比国家的最先进的算法。
2021-03-03 cs.IR cs.LG stat.ML
Uncertainty of Joint Neural Contextual Bandit
Meta AI
针对大规模推荐系统中联合神经上下文赌博机超参数调优复杂的问题，本文从理论和实验两方面分析了模型不确定性，发现其与隐藏层大小和训练数据量呈特定比例关系，从而有效指导模型调优。
2024-06-04 cs.LG
Nonparametric Stochastic Contextual Bandits
Stanford University（斯坦福大学）；Google（谷歌）
我们分析了$K$武装土匪的问题，每个手臂的奖励是一个嘈杂的实现根据温和的非参数假设下观察到的情况。我们得到严格的结果顶臂识别和次线性遗憾的$\widetilde{O}\Big(T^{\frac{1+D}{2+D}}\Big)$，其中$D$是上下文维度，为一个修改后的UCB算法，这是简单的实现（$k$ NN-UCB）。然后我们给出了全局内禀维数相关和环境维数无关的后悔界。我们还讨论了恢复拓扑结构的上下文空间的基础上预期的土匪的表现，并提供了一个扩展到无限武装上下文土匪。最后，我们的实验表明，我们的算法比现有的多臂强盗方法模拟任务和MNIST图像分类的改进。
2018-01-05 cs.LG stat.ML
Bandit Structured Prediction for Neural Sequence-to-Sequence Learning
Heidelberg University（海德堡大学）
Bandit结构化预测描述了一个随机最优化框架，其中从部分反馈执行学习。该反馈以对预测输出结构的任务损失评估的形式被接收，而无需访问黄金标准结构。我们通过使用基于注意力的递归神经网络将线性强盗学习提升到神经序列到序列学习问题来推进这个框架。此外，我们展示了如何将控制变量纳入我们的学习算法，以减少方差和提高泛化能力。我们提出了一个神经机器翻译任务的评估，显示了高达5.89 BLEU点的改进，从模拟的强盗反馈域适应。
2018-12-13 cs.CL cs.LG stat.ML
Balanced Linear Contextual Bandits
Stanford University（斯坦福大学）
上下文强盗算法对结果模型的估计方法以及所使用的探索方法敏感，特别是在存在丰富异质性或复杂结果模型的情况下，这可能导致沿着学习路径的困难估计问题。我们开发的算法与线性回报的背景土匪，整合平衡方法的因果推理文献中的估计，使其不太容易估计偏差的问题。我们提供了第一个遗憾的边界分析与平衡的线性上下文土匪，并表明我们的算法匹配的最先进的理论保证。我们展示了强大的实用优势，平衡的上下文强盗大量的监督学习数据集和合成的例子，模拟模型的错误指定和偏见的初始训练数据。
2018-12-15 cs.LG stat.ML
contextual: Evaluating Contextual Multi-Armed Bandit Problems in R
JADS；Tilburg University（蒂尔堡大学）
在过去的十年中，上下文强盗算法已经越来越受欢迎，因为它们在解决顺序决策问题的有效性和灵活性-从在线广告和金融到临床试验设计和个性化医疗。与此同时，到目前为止，令人惊讶的是，研究人员和从业者能够以标准化的方式模拟和比较新的和现有的强盗算法的财富的选择很少。为了帮助缩小分析研究和实证评估之间的差距，本文介绍了面向对象的R包“上下文”：一个用户友好的，并通过其面向对象的结构，易于扩展的框架，便于并行比较上下文和上下文无关的土匪政策，通过模拟和离线分析。
2020-01-01 cs.LG math.OC stat.ML
Contextual Bandits for adapting to changing User preferences over time
Persistent Systems（持久系统公司）
上下文强盗提供了一种有效的方法来建模ML中的动态数据问题，通过利用在线（增量）学习来根据不断变化的环境不断调整预测。我们探讨上下文强盗的细节，传统的强化学习（RL）问题的扩展，并建立一个新的算法来解决这个问题，使用一系列基于动作的学习者。我们应用这种方法来建模的文章推荐系统，使用一个阵列的随机梯度下降（SGD）的学习者作出预测的基础上采取的行动奖励。然后，我们将该方法扩展到公开的MovieLens数据集并探索研究结果。首先，我们提供了一个简化的模拟数据集，显示随着时间的推移不同的用户偏好，以及如何使用静态和动态学习算法进行评估。作为本研究的一部分，该数据集有意模拟了有限数量的特征，可用于评估不同的解决问题策略。我们将使用静态数据集构建一个分类器，并在此数据集上评估其性能。我们展示了静态学习器由于在某个时间点固定的上下文以及改变上下文如何降低准确性而带来的局限性。接下来，我们开发了一种新的算法来解决上下文强盗问题。与线性强盗类似，该算法将奖励映射为上下文向量的函数，但使用一系列学习器来捕获动作/手臂之间的变化。我们开发了一个使用随机梯度下降（SGD）学习器阵列的强盗算法，每个手臂有单独的学习器。最后，我们将应用这个上下文强盗算法来预测电影评级随着时间的推移由不同的用户从标准的电影镜头数据集，并展示结果。
2020-09-23 cs.AI cs.LG cs.SI
Meta-Learning for Contextual Bandit Exploration
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）
我们描述MELEE，一个元学习算法，学习一个良好的探索政策，在互动的上下文强盗设置。在这里，算法必须基于上下文采取行动，并且仅基于来自所采取的行动的奖励信号进行学习，从而生成探索/利用权衡。MELEE通过基于合成数据学习离线任务的良好探索策略来解决这种权衡，它可以模拟上下文强盗设置。基于这些模拟，MELEE使用模仿学习策略来学习一个好的探索策略，然后可以在测试时应用于真正的上下文强盗任务。我们比较MELEE七个强大的基线上下文的强盗算法在一组三百个真实世界的数据集，在大多数情况下，它优于替代品，特别是当奖励的差异很大。最后，我们展示了拥有丰富的特征表示对于学习如何探索的重要性。
2019-01-23 cs.LG stat.ML
Algorithms for slate bandits with non-separable reward functions
Eindhoven University of Technology（埃因霍温理工大学）
在本文中，我们研究了一个slate bandit问题，其中确定slate级别奖励的函数是不可分离的：函数的最优值不能通过学习每个插槽的最优动作来确定。我们主要关注的情况是，石板的数量相对于时间范围来说是很大的，因此在传统的多臂强盗中，尝试将每个石板作为一个单独的手臂是不可行的。我们的主要贡献是设计的算法，仍然有次线性遗憾的时间范围，尽管大量的石板。模拟数据和真实数据的实验结果表明，我们提出的方法优于流行的基准强盗算法。
2020-04-21 cs.AI cs.LG stat.ML
Sparse Stochastic Bandits
École polytechnique, Université Paris–Saclay（巴黎-萨克雷大学，巴黎综合理工学院）；École Normale Supérieure Paris–Saclay（巴黎-萨克雷高等师范学校）；Criteo Research（Criteo研究院）；Télécom ParisTech（巴黎电信学院）
在经典的多臂强盗问题中，决策者可以使用d个臂，依次拉动它们以最大化他的累积奖励。保证可以在一个称为后悔的相对量上获得，它与d（或与最小最大意义下的sqrt（d））成线性关系。在这里，我们考虑这个经典问题的稀疏情况下，只有少量的武器，即s < d，有一个积极的预期回报。我们能够利用这个额外的假设来提供一个算法，其遗憾与s而不是d成比例。此外，我们证明，该算法是最佳的，通过提供一个匹配的下限-至少对于一个广泛的和相关的范围内的参数，我们确定-并通过评估其性能的模拟数据。
2017-06-05 cs.LG
PG-TS: Improved Thompson Sampling for Logistic Contextual Bandits
Lewis-Sigler Institute（刘易斯-西格勒研究所）；Princeton University（普林斯顿大学）；Department of Computer Science（计算机科学系）；Center for Statistics and Machine Learning（统计与机器学习中心）
我们解决的问题，后悔最小化的逻辑上下文土匪，其中一个学习者决定在顺序的行动或武器鉴于其各自的背景下，以最大限度地提高二元奖励。使用Polya-Gamma分布增强变量的快速推理过程，我们提出了一个改进版本的汤普森采样，贝叶斯制定的上下文土匪接近最佳的性能。我们的方法，Polya-Gamma增强汤普森采样（PG-TS），实现了最先进的性能模拟和真实数据。PG-TS有效地探索了行动空间，并利用了高回报的武器，迅速收敛到低后悔的解决方案。它的上下文特征协方差的后验分布的显式估计导致大量的经验增益超过近似方法。PG-TS是第一种证明Polya-Gamma增强在土匪中的好处的方法，并提出了一种有效的Gibbs采样器来近似分析上不可解的物流背景土匪积分。
2018-05-18 cs.LG stat.ML
Online Matching: A Real-time Bandit System for Large-scale Recommendations
Google Deepmind（谷歌DeepMind）；Google Inc（谷歌公司）
本文提出Online Matching，一个可扩展的闭环Bandit系统，通过混合“离线+在线”方法和Diag-LinUCB算法实现实时分布式参数更新，在YouTube实验中有效提升了新内容发现与物品探索能力。
2023-07-29 cs.LG
Delayed Feedback in Generalised Linear Bandits Revisited
Imperial College London（帝国理工学院）
本文从理论上研究广义线性赌博机中的延迟奖励问题，证明乐观算法的自然适配可使延迟惩罚与时间范围无关，显著改进了已有遗憾界，并通过模拟实验验证了理论结果。
2023-04-11 cs.LG stat.ML
Hawkes Process Multi-armed Bandits for Disaster Search and Rescue
Indiana University - Purdue University Indianapolis（印第安纳大学-普渡大学印第安纳波利斯分校）
我们提出了一个新的框架整合霍克斯过程与多臂强盗算法来解决时空事件预测和检测问题时，数据可能是欠采样或空间偏差。特别是，我们引入了一个置信上限算法，利用贝叶斯空间霍克斯过程估计平衡利用地理区域的数据收集和探索地理区域的数据是未观察到之间的权衡。我们首先使用模拟数据验证我们的模型，然后使用2017年哈维飓风的服务数据调用将其应用于灾难搜索和救援问题。我们的模型在累积奖励和其他几个排名评估指标方面优于最先进的基线空间MAB算法。
2020-04-03 cs.LG stat.ML
Jump Starting Bandits with LLM-Generated Prior Knowledge
University of Toronto（多伦多大学）；Vector Institute（向量研究院）；Borealis AI（北极星人工智能公司）
该研究提出利用大语言模型生成的人类偏好预训练数据集初始化上下文多臂老虎机的方法，有效降低在线学习遗憾值与数据收集成本，并通过两组实验验证了有效性。
2024-10-29 cs.AI cs.CL cs.LG
Top-m identification for linear bandits
Université de Paris（巴黎大学）；Inserm（法国国家健康与医学研究院）；Université Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）；Université Sorbonne Paris Nord（巴黎第十三大学）；Assistance Publique des Hôpitaux de Paris（巴黎公共医疗援助医院）
出于药物再利用的应用程序，我们提出了第一个算法来解决识别的m $\ge$ 1武器最大的手段，在线性土匪模型，在固定的信心设置。这些算法属于一般家庭的间隙指数聚焦算法（GIFA），我们介绍了Top-m识别线性土匪。我们提出了一个统一的分析这些算法，这表明如何使用的功能可能会降低样本的复杂性。我们进一步验证这些算法的经验模拟数据和一个简单的药物再利用任务。
2021-03-18 cs.AI cs.LG math.ST
Dueling Bandits With Weak Regret
Cornell University（康奈尔大学）
我们考虑在线内容推荐与隐式反馈，通过成对比较，形式化为所谓的决斗强盗问题。我们研究决斗强盗问题的孔多塞赢家设置，并考虑两个概念的遗憾：更好地研究强遗憾，这是0只有当两个手臂拉是孔多塞赢家;和研究较少的弱遗憾，这是0，如果任何一个手臂拉是孔多塞赢家。我们提出了一个新的算法，赢家留（WS），每种遗憾的变化：WS弱遗憾（WS-W）预计累积弱遗憾是$O(N^2)$，$O(N\log(N))$，如果武器有一个总的顺序; WS强遗憾（WS-S）预计累积强遗憾$O(N^2 + N \log(T))$，和$O(N\log(N)+N\log(T))$，如果武器有一个总的顺序。WS-W是第一个具有弱遗憾的决斗强盗算法，该算法在时间上是恒定的。WS是简单的计算，即使是许多武器的问题，我们通过模拟和真实数据的数值实验表明，WS有显着较小的遗憾比现有的算法在弱和强遗憾设置。
2017-06-14 cs.LG
Hypothesis Transfer in Bandits by Weighted Models
Eberhard Karls University of Tübingen（埃伯哈德·卡尔斯·图宾根大学）
在假设迁移学习的背景下，我们考虑了上下文多武装匪徒的问题。也就是说，我们假设可以在一组未观察到的上下文上访问先前学习的模型，并利用它来加速对新的强盗问题的探索。我们的转移策略是基于一个重新加权计划，我们显示了减少的遗憾，在经典的线性UCB时，转移是必要的，而恢复经典的遗憾率时，两个任务是无关的。我们进一步扩展此方法到任意数量的源模型，其中该算法决定哪个模型是首选在每个时间步。此外，我们还讨论了一种方法，在经典的LinUCB算法中，源模型的动态凸组合是根据有偏正则化项给出的。我们提出的方法的算法和理论分析证实了模拟和真实世界的数据的经验评估。
2022-11-14 cs.LG
Multi-Objective Multi-Agent Bandits: From Learning Efficiency to Fairness Optimization
University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）
本文研究了在随机奖励下的多目标多智能体老虎机问题，提出基于Pareto regret的高效学习算法和基于社会福利的公平学习方法，证明了算法在效率和公平性上的性能。
2026-05-07 cs.LG
Modelling Cournot Games as Multi-agent Multi-armed Bandits
University of Kentucky（肯塔基大学）
我们研究了使用多代理多臂强盗（MA-MAB）设置建模重复古诺寡头博弈，其中作为代理商的公司从代表生产量（离散值）的一组武器中选择。代理与单独和独立的强盗问题交互。在这个公式中，每个代理在武器之间进行顺序选择，以最大化自己的奖励。智能体没有任何关于环境的信息;他们只能在采取行动后看到自己的奖励。然而，市场需求是工业总产量的平稳函数，不允许随机进入或退出市场。考虑到这些假设，我们发现，一个$ε$贪婪的方法提供了一个更可行的学习机制比其他传统的MAB方法，因为它不需要任何额外的知识系统操作。我们还提出了两个新的方法，利用有序的行动空间：$ε$ -贪婪+HL和$ε$ -贪婪+EL。这些新方法通过消除利润较低的选择，帮助企业专注于利润更高的活动，从而优化勘探。我们使用计算机模拟来研究结果中各种均衡的出现，并对联合累积后悔进行实证分析。
2022-01-01 cs.AI cs.GT cs.LG
Adaptively Optimize Content Recommendation Using Multi Armed Bandit Algorithms in E-commerce
The Home Depot（家得宝）
电子商业网站努力为用户提供最及时的相关信息，以减少购物摩擦，提高客户满意度。多臂强盗模型（MAB）作为一种自适应优化算法提供了可能的途径。在本文中，我们分析了使用三个经典的MAB算法，ε-贪婪，汤普森采样（TS），和上置信界1（UCB 1）的动态内容推荐，走查内部开发这些算法的过程来解决一个真实的世界电子商业用例。首先，我们分析了三个MAB算法使用模拟购买数据集与非平稳的奖励分布，以模拟可能随时间变化的客户偏好，其中的流量分配动态和不同算法的累积奖励进行了研究。第二，我们使用实际的历史A/B测试数据集，比较了三种MAB算法的累积回报与超过1,000次试验。我们发现，竞争推荐的成功率之间的差异越大，MAB算法可以实现的累积奖励就越多。此外，我们还发现在不同的测试场景下，TS的平均累积奖励最高。第三，我们开发了一种批量更新的MAB算法，以克服电子商业中的延迟奖励问题，并在我们的应用程序主页上实现在线内容优化。为了进行最先进的比较，在我们的批量更新的MAB算法，第三方MAB解决方案和默认业务逻辑之间进行了真正的A/B测试。结果表明，我们的批量更新的MAB算法优于同行，并实现了6.13%的相对点击率（CTR）增加和16.1%的相对转换率（CVR）增加相比，默认的经验，和2.9%的相对CTR增加和1.4%的相对CVR增加相比，外部MAB服务。
2021-08-19 cs.AI cs.IR cs.LG
Thompson Sampling in Non-Episodic Restless Bandits
University of Michigan（密歇根大学）；Criteo AI Lab（科韬人工智能实验室）
不安分的强盗问题假设武器的时变奖励分布，这增加了模型的灵活性，但使分析更具挑战性。我们研究学习算法在未知的奖励分布，并证明了一个次线性，$O(\sqrt{T}\log T)$，后悔界的汤普森抽样的一个变种。我们的分析适用于无限时间范围设置，解决了Jung和Tewari（2019）提出的开放问题，其分析仅限于情节案例。我们采用他们的策略映射框架，这使得我们的算法是有效的，同时保持遗憾的意义。我们的算法采用了Ouyang et al.（2017）的TSDE算法，以一种非平凡的方式来解释不安分的土匪的特殊结构。我们测试我们的算法上模拟的动态信道接入问题与几个政策映射，和经验的遗憾同意与理论界的政策映射的选择无关。
2019-10-12 cs.LG stat.ML
Carousel Personalization in Music Streaming Apps with Contextual Bandits
Deezer（迪泽音乐）
诸如音乐流媒体平台之类的媒体服务提供商经常利用可滑动的旋转木马来向其用户推荐个性化内容。然而，选择最相关的项目（专辑，艺术家，播放列表.）由于项目众多并且用户具有不同的偏好，因此在这些传送带中显示是一项具有挑战性的任务。在本文中，我们模型的旋转木马个性化作为一个上下文多臂强盗问题，多个播放，级联为基础的更新和延迟批量反馈。我们经验表明，我们的框架的有效性，在捕捉现实世界的旋转木马的特点，通过解决一个大规模的播放列表推荐任务的全球音乐流媒体移动app.Along本文，我们公开发布的工业数据，从我们的实验，以及一个开源环境，以模拟可比的旋转木马个性化学习问题。
2020-09-30 cs.LG stat.ML
Estimation Considerations in Contextual Bandits
Stanford University（斯坦福大学）
上下文强盗算法对结果模型的估计方法以及所使用的探索方法敏感，特别是在存在丰富异质性或复杂结果模型的情况下，这可能导致沿着学习路径的困难估计问题。我们研究了一个考虑因素的探索与开发框架，不会出现在多武装土匪，但在上下文土匪是至关重要的，在目前进行的探索和开发的方式影响的偏差和方差在随后的学习阶段的潜在结果模型估计。我们开发了参数和非参数的背景土匪，整合平衡方法从因果推断文献中的估计，使其不太容易估计偏差的问题。我们提供了第一个遗憾界分析上下文土匪与平衡的线性上下文土匪匹配的最先进的遗憾界的域。我们在大量的监督学习数据集和模拟初始训练数据中模型错误指定和偏见的合成示例上展示了平衡上下文强盗的强大实用优势。此外，我们开发的上下文强盗更简单的分配政策，利用稀疏模型估计方法从计量经济学文献和经验表明，在早期阶段，他们可以提高学习率和减少后悔。
2018-12-16 cs.LG econ.EM stat.ML
An Analysis of the Value of Information when Exploring Stochastic, Discrete Multi-Armed Bandits
University of Florida（佛罗里达大学）
在本文中，我们提出了一个信息理论的探索策略，随机，离散的多武装土匪，实现最佳的遗憾。我们的战略是基于信息价值标准。这个标准衡量政策信息和可获得的奖励之间的权衡。大量的政策信息与空间的探索主导搜索相关联，并产生高回报。少量的政策信息有利于利用现有的知识。在这一标准中，信息是由一个参数量化的，这个参数在搜索过程中可以变化。我们证明了这个参数的模拟退火更新，具有足够快的冷却时间表，导致一个最佳的遗憾，这是对数相对于情节的数量。
2018-03-03 cs.AI cs.LG stat.ML
Identifiable Latent Bandits: Leveraging observational data for personalized decision-making
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）；Sleep Cycle（睡眠周期）
本文提出一种可识别的潜在老虎机框架，通过学习历史决策和结果来实现更高效的探索和个性化决策，优于传统老虎机。
2026-05-11 cs.LG stat.ML
An Empirical Evaluation of Federated Contextual Bandit Algorithms
Google Research（谷歌研究院）
随着联邦学习在从用户设备本地的敏感数据学习中的采用增加，很自然地会问，学习是否可以使用用户与感兴趣的应用交互时生成的隐式信号来完成，而不是需要访问在许多任务中难以获得的显式标签。我们接近这样的问题与框架的联邦上下文强盗，并开发出变种突出的上下文强盗算法的集中设置为联邦设置。我们仔细评估这些算法在一系列的情况下使用公开的数据集模拟。我们的模拟模拟了现实世界中遇到的典型设置，例如由于数据的非平稳性和/或客户端之间的异质性而导致的初始预训练模型与后续用户交互之间的各种不一致。我们的实验揭示了令人惊讶的有效性的简单和常用的softmax启发式在平衡众所周知的探索开发权衡我们的设置的广度。
2023-03-17 cs.AI cs.LG
A Bandit Approach to Posterior Dialog Orchestration Under a Budget
IBM Research AI（IBM研究院人工智能部门）
构建多领域人工智能智能体是人工智能领域的一个具有挑战性的课题和开放性问题。在对话领域内，协调多个独立训练的对话代理或技能以创建统一系统的能力具有特别重要的意义。在这项工作中，我们研究的任务，在线后对话编排，我们定义后编排的任务，选择一个子集的技能，最适当地回答用户输入使用的功能，从用户输入和个人技能。为了解释与提取技能特征相关的各种成本，我们考虑在技能执行预算下的在线后编排。我们将此设置形式化为具有观察的上下文注意强盗（CABO），上下文注意强盗的变体，并在模拟的非会话和专有会话数据集上对其进行评估。
2019-06-22 cs.AI cs.CL cs.LG
Buzz, Choose, Forget: A Meta-Bandit Framework for Bee-Like Decision Making
University of Toulouse, IRIT（图卢兹大学，IRIT）；University of Toulouse, CBI（图卢兹大学，CBI）；Regalia Team, INRIA University of Toulouse, France（Regalia团队，法国国家信息与自动化研究所图卢兹大学）
提出基于多臂老虎机的序列模仿学习模型MAYA，通过时间窗口τ模拟蜜蜂有限记忆，在真实、模拟和补充数据集上优于基线模型，并具备可解释性和轨迹推断能力。
2026-06-02 cs.LG stat.ML
Diversity-Driven Selection of Exploration Strategies in Multi-Armed Bandits
Inria Bordeaux Sud-Ouest（波尔多西南法国国立信息学与自动化研究院）；ENSTA ParisTech（巴黎高等先进技术学院）；Bordeaux University（波尔多大学）
我们考虑的情况下，代理有多种可用的策略来探索一个未知的环境。对于与环境的每一次新的交互，智能体必须选择使用哪种探索策略。我们提供了一种新的策略不可知的方法，将这种情况视为多武装土匪问题，其中奖励信号是每个策略产生的效果的多样性。我们测试的方法经验上的模拟平面机械臂，并建立该方法是既能够区分不同质量的策略，即使当差异是微不足道的，并由此产生的性能是有竞争力的最佳固定的混合策略。
2018-08-23 cs.AI cs.LG stat.ML
Algorithms for multi-armed bandit problems
McGill University（麦吉尔大学）
虽然许多算法的多臂强盗问题是很好地理解理论，其有效性的经验确认是普遍缺乏。本文提出了一个彻底的实证研究最流行的多臂强盗算法。从我们的研究结果中可以得出三个重要的结论。首先，简单的算法，如ε-greedy和Boltzmann exploration，在大多数情况下都比理论上合理的算法好得多。其次，大多数算法的性能随强盗问题的参数变化而变化。我们的研究确定了每个算法的设置，它表现良好，和设置，它表现不佳。第三，算法的相对性能只受强盗武器的数量和奖励的方差的影响。这一发现可能会指导后续的经验评估的设计。在本文的第二部分中，我们将注意力转向了Bandit算法应用的一个重要领域：临床试验。虽然临床试验的设计一直是激励多臂土匪研究的主要实际问题之一，但土匪算法从未被评估为潜在的治疗分配策略。使用数据从一个真正的研究，我们模拟的结果，2001-2002年的临床试验会有，如果强盗算法已被用于分配患者的治疗。我们发现，适应性试验将成功治疗至少50%以上的患者，同时显着减少不良反应的数量和增加患者的保留。在试验结束时，仍然可以以高水平的统计置信度确定最佳治疗。我们的研究结果表明，强盗算法是有吸引力的替代目前的自适应治疗分配策略。
2014-02-25 cs.AI cs.LG
Fixed-Budget Change Point Identification in Piecewise Constant Bandits
Imperial College London（帝国理工学院）
针对分段常数老虎机中的变点定位问题，在固定预算下首次给出非渐近分析，建立大小预算机制的错误概率下界并设计近最优算法，提出同时适用于两种预算的自适应算法，实验验证了理论结果。
2025-01-22 cs.LG stat.ML
A Batched Multi-Armed Bandit Approach to News Headline Testing
Oath Inc（Oath公司）
优化新闻标题对于出版商和媒体网站来说非常重要。一个引人注目的标题将增加读者，用户参与和社会份额。在雅虎首页，标题测试是使用测试推出策略进行的：我们首先在定义的测试期内将相等比例的流量分配给每个标题变体，然后将所有未来流量转移到性能最好的变体。在本文中，我们介绍了一个多臂强盗（MAB）的方法与批量汤普森采样（bTS）动态测试新闻文章的标题。这种方法能够在测试时逐渐将流量分配给最佳标题。我们评估的BTS方法的基础上经验的印象/点击数据和模拟用户的反应。实验结果表明，bTS方法具有较好的鲁棒性，能够准确快速地收敛到最优标题，在点击率方面比测试展示策略高出3.69%。
2019-08-25 cs.LG stat.ML
Linear Bandits with Stochastic Delayed Feedback
DeepMind（深度思维）；Otto-Von-Guericke Universität（奥托·冯·格里克大学）；Amazon（亚马逊）
随机线性强盗是结构化探索/开发问题的自然和充分研究的模型，并广泛用于在线营销和推荐等应用。希望应用现有算法的从业者所面临的主要挑战之一是，通常反馈是随机延迟的，延迟只能部分观察到。例如，虽然购买通常在显示之后的一段时间可观察到，但不购买的决定从未明确地发送到系统。换句话说，学习者只观察到延迟的积极事件。我们正式这个问题作为一个新的随机延迟线性强盗，并提出了${\tt OTFLinUCB}$和${\tt OTFLinTS}$，两个计算效率高的算法，能够整合新的信息，因为它变得可用，并处理永久审查反馈。我们证明了最佳的$\tilde O(\smash{d\sqrt{T}})$界的遗憾的第一个算法，并研究了依赖于延迟相关的参数。我们的模型，假设和结果进行了验证模拟和真实数据的实验。
2020-03-02 cs.LG stat.ML
Linear and Neural Dueling Bandits with Delayed Feedback
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The Chinese University of Hong Kong（香港中文大学）
针对随机延迟反馈下的上下文对抗性赌博机问题，提出线性（LDB-DF）和神经（NDB-DF）两种算法，通过将逆概率加权（IPW）机制直接融入损失函数实现无偏校正，并给出线性设置下O(d*sqrt(T))的遗憾界和神经设置下的次线性保证。
2026-05-26 cs.AI cs.LG
Optimising Individual-Treatment-Effect Using Bandits
University of Brussels (VUB)（布鲁塞尔自由大学（VUB））
在经济学、医疗保健和市场营销等领域应用因果推理模型受到机器学习社区的极大兴趣。特别是，在精准医疗和定向广告等环境中估计个体治疗效果（ITE）的应用已经达到顶峰。在强兼容性假设下优化该ITE-意味着所有表达对治疗结果影响的混杂因素都记录在数据中-通常被称为提升建模（UM）。虽然这些技术已被证明在许多环境中很有用，但由于概念漂移，它们在动态环境中会受到生动的影响。例如，当竞争对手的产品发布时，对营销活动的负面影响。针对这一点，我们提出了提升上下文多臂土匪（U-CMAB），一种新的方法来优化ITE借鉴土匪文学。真实和模拟数据的实验表明，我们提出的方法相比，有利的国家的最先进的。我们所有的代码可以在网上找到https://github.com/vub-dl/u-cmab。
2019-10-16 cs.AI cs.LG stat.ML
Using causal abstractions to accelerate decision-making in complex bandit problems
University of Oxford（牛津大学）；University of Bergen（卑尔根大学）
针对多抽象层级因果多臂老虎机缺乏通用优化方法的问题，提出AT-UCB算法，结合因果抽象理论先在粗粒度实例探索再在目标实例的潜在最优动作上用UCB，从理论和实证上证明其能显著降低累积遗憾。
2025-09-04 cs.LG
Doubly High-Dimensional Contextual Bandits: An Interpretable Model for Joint Assortment-Pricing
University of Notre Dame（圣母大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）
本文提出一种基于上下文老虎机的联合选品-定价模型，利用近低秩表示矩阵应对双重高维问题，并证明其遗憾上界，仿真和真实案例均显示该方法在收入和利润上显著优于现有方法。
2023-09-14 cs.AI cs.LG stat.AP
Learning interactions to boost human creativity with bandits and GPT-4
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文利用多臂老虎机学习人机交互中的提示策略，在语义特征生成任务中提升人类与GPT-4的创造力，发现AI与人类偏好一致，且策略可迁移至模拟群体。
2023-11-16 cs.AI cs.HC cs.LG
BanditSpec: Adaptive Speculative Decoding via Bandit Algorithms
National University of Singapore（国立新加坡大学）；Sea AI Lab（Sea人工智能实验室）；Singapore Management University（新加坡管理学院）；Yale University（耶鲁大学）
BanditSpec通过多臂老虎机算法实现自适应推测解码，优化超参数选择以提升LLM推理效率。
2025-11-20 cs.AI cs.LG stat.ML
Tree Search-Based Evolutionary Bandits for Protein Sequence Optimization
Princeton University（普林斯顿大学）；University of California San Diego（加利福尼亚大学圣地亚哥分校）；MLAB Biosciences Inc（MLAB生物科学公司）；Oregon State University（俄勒冈州立大学）
本文提出一种基于树搜索的老虎机学习方法，通过将局部搜索与老虎机模型结合来高效探索蛋白质序列空间，理论分析和模拟筛选实验表明其能以较少突变和样本找到近最优蛋白质设计。
2024-01-08 cs.LG q-bio.BM
Multi-Armed Bandit Strategies for Non-Stationary Reward Distributions and Delayed Feedback Processes
Loblaw Digital（罗布劳数字公司）
进行调查的各种多臂强盗（MAB）的策略，以检查他们的表现，表现出非平稳的随机奖励函数的情况下，与延迟反馈。我们运行了几个MAB模拟来模拟杂货店提货的在线电子商务平台，优化产品可用性。在这项工作中，我们评估了几个流行的MAB策略，如$ε$ -贪婪，UCB 1，和汤普森采样。我们比较各自的表现，每一个MAB策略的背景下，后悔最小化。我们在奖励函数是非平稳的情况下进行分析。此外，该过程经历延迟反馈，其中奖励功能不会立即响应所玩的手臂。我们设计了一个新的自适应技术（AG 1）量身定制的非平稳的奖励函数在延迟反馈的情况下。仿真结果表明，与传统的MAB策略相比，该策略在遗憾最小化方面具有更好的性能。
2019-07-29 cs.LG stat.AP stat.ML
Thompson Sampling For Stochastic Bandits with Graph Feedback
Chalmers University of Technology（查尔姆斯理工大学）；University of Lille（里尔大学）；Harvard University（哈佛大学）
我们提出了一种新的扩展的汤普森采样随机序贯决策问题与图反馈，即使当图结构本身是未知的和/或变化。我们提供了理论上的保证贝叶斯后悔的算法，其性能的图形的基本属性。汤普森抽样的优点是适用于不同的问题，而不需要构造复杂的置信上限。我们说明了它的性能，通过广泛的实验结果，真实和模拟网络与图形反馈。更具体地说，我们测试了我们的算法的幂律，种植分区和Erdo的Renyi图，以及来自Facebook和Flixster数据的图形。这些都表明，我们的算法明显优于采用置信上限的相关方法，即使后者使用更多的图的信息。
2017-01-16 cs.AI cs.LG
Unbiased Offline Evaluation of Contextual-bandit-based News Article Recommendation Algorithms
Yahoo! Labs（雅虎研究院）
上下文强盗算法已经成为流行的在线推荐系统，如Digg，雅虎！Buzz和一般的新闻推荐。\emph{Offline}评估新算法在这些应用中的有效性对于保护在线用户体验至关重要，但由于其“部分标签”性质，非常具有挑战性。通常的做法是创建一个模拟器，它模拟当前问题的在线环境，然后在这个模拟器上运行一个算法。然而，创建模拟器本身往往是困难的，建模偏差通常是不可避免地引入。在本文中，我们介绍了一个\emph{replay}上下文强盗算法的评估方法。与基于模拟器的方法不同，我们的方法是完全数据驱动的，非常容易适应不同的应用。更重要的是，我们的方法可以提供可证明的无偏评估。我们的实证结果的大规模新闻文章推荐数据集收集从雅虎！前页符合我们的理论结果。此外，我们的离线重放和几个上下文强盗算法的在线桶评估之间的比较表明，我们的离线评估方法的准确性和有效性。
2012-03-01 cs.AI cs.LG cs.RO
Knowledge Infused Policy Gradients with Upper Confidence Bound for Relational Bandits
University of South Carolina（南卡罗来纳大学）
上下文Bandits在各种现实生活场景中发现了重要的用例，例如在线广告，推荐系统，医疗保健等。然而，大多数算法使用平面特征向量来表示上下文，而在现实世界中，有不同数量的对象和它们之间的关系在上下文中建模。例如，在音乐推荐系统中，用户上下文包含他们听的音乐，哪些艺术家创作了这种音乐，艺术家专辑等。添加更丰富的关系上下文表示也引入了更大的上下文空间，使探索-利用变得更加困难。为了提高探索-利用的效率，可以注入关于上下文的知识来指导探索-利用策略。关系上下文表示允许人类以自然的方式指定知识，由于其描述性的性质。我们提出了一个适应知识注入策略梯度上下文的强盗设置和一个新的知识注入策略梯度置信上限算法，并进行了实验分析的模拟音乐推荐数据集和各种现实生活中的数据集，专家知识可以大大减少总遗憾，它不能。
2021-06-25 cs.AI cs.LG
Diversifying Database Activity Monitoring with Bandits
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；IBM（国际商业机器公司）
数据库活动监控（DAM）系统通常被组织用来保护组织数据、知识和知识产权。为了保护组织数据库DAM系统有两个主要角色，监控（记录活动）和异常活动警报。由于高速流和运营成本，这种系统仅限于检查活动的样本。当前的解决方案使用由专家手动制定的策略来决定要监视和记录哪些事务。这就限制了所收集数据的多样性。Bandit算法使用奖励函数作为优化的基础，同时向推荐集添加多样性，在推荐系统中获得了越来越多的关注，以提高多样性。在这项工作中，我们重新定义的数据采样问题的多臂强盗（MAB）问题的一个特殊情况，并提出了一种新的算法，它结合了专家知识和随机探索。我们使用模拟数据集分析多样性对覆盖率和下游事件检测任务的影响。在这样做的过程中，我们发现，增加多样性的抽样使用基于土匪的方法很好地完成这项任务，并最大限度地提高人口覆盖率，而不会降低质量方面的事件发出警报。
2019-10-23 cs.AI cs.LG stat.ML
Inverse Contextual Bandits: Learning How Behavior Evolves over Time
University of Cambridge（剑桥大学）；University of California, Los Angeles（加州大学洛杉矶分校）
通过观察决策者的行为来了解他们的优先事项对于决策过程（例如医疗保健）的透明度和问责制至关重要。尽管传统的策略学习方法几乎总是假设行为是平稳的，但在实践中这几乎是不正确的：随着临床专业人员不断调整他们的知识，医疗实践也在不断发展。例如，随着医学界对器官移植的理解多年来的发展，一个相关的问题是：实际的器官分配政策是如何演变的？为了给出答案，我们希望一个策略学习方法，提供可解释的决策表示，特别是捕捉代理的非静态知识的世界，以及在离线的方式操作。首先，我们根据上下文强盗来建模决策者的演变行为，并形式化逆上下文强盗（ICB）问题。其次，我们提出了两个具体的算法作为解决方案，学习参数和非参数表示代理的行为。最后，使用真实和模拟数据的肝移植，我们说明了我们的方法的适用性和可解释性，以及基准测试和验证其准确性。
2022-06-08 cs.LG stat.ML
Epsilon non-Greedy: A Bandit Approach for Unbiased Recommendation via Uniform Data
Sharif University of Technology（谢里夫理工大学）
针对推荐系统持续训练引发的自反馈循环偏差问题，提出基于上下文多臂老虎机的Epsilon non-Greedy框架，用少量均匀数据学习无偏估计量并优化后续训练数据，结合新离线序列训练模式，实验证明其优于现有去偏方法。
2023-10-07 cs.LG
Unified Models of Human Behavioral Agents in Bandits, Contextual Bandits and RL
Center for Theoretical Neuroscience, Columbia University（哥伦比亚大学理论神经科学中心）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Mila - Quebec AI Institute, University of Montreal（蒙特利尔大学Mila魁北克人工智能研究所）
人工行为代理通常基于其一致的行为和性能进行评估，以在环境中采取顺序行动，以最大化累积奖励的概念。然而，人类在现实生活中的决策通常涉及不同的策略和行为轨迹，导致相同的经验结果。受到广泛的神经和精神疾病的临床文献的启发，我们在这里提出了一个更通用和灵活的参数框架，涉及两个流奖励处理机制的顺序决策。我们证明了这个框架是灵活和统一的，足以将一个家庭的问题，跨越多武装土匪（MAB），上下文土匪（CB）和强化学习（RL），分解的顺序决策过程中的不同层次。受许多精神障碍的已知奖励处理异常的启发，我们的临床启发代理在具有特定奖励分布的模拟任务上表现出有趣的行为轨迹和可比的性能，真实世界的数据集捕获赌博任务中的人类决策，以及终身学习环境中不同奖励平稳性的PacMan游戏。
2021-12-27 cs.AI cs.LG q-bio.NC
Enhancing Bandit Algorithms with LLMs for Time-varying User Preferences in Streaming Recommendations
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学耿丽学校）；School of Artificial Intelligence and Data Science, University of International Business and Economics（国际商务经济大学人工智能与数据科学学院）
HyperBandit+通过整合时间感知超网络和LLM预热机制，提升流媒体推荐中对随时间变化用户偏好的适应能力。
2026-02-08 cs.LG
Differentiable Linear Bandit Algorithm
University College London（伦敦大学学院）
置信上限（UCB）可以说是线性多臂强盗问题最常用的方法。虽然概念上和计算上简单，但该方法高度依赖于置信界限，如果这些界限没有正确设置，则无法达到最佳的勘探开发。在文献中，置信界限通常是基于对回报分布的假设从集中不等式导出的，例如，亚高斯然而，这些假设的有效性在实践中是未知的。在这项工作中，我们的目标是以数据驱动的方式学习置信区间，使其适应实际的问题结构。具体来说，注意到现有的UCB型算法是不可微的置信界，我们首先提出了一种新的可微线性强盗算法。然后，我们引入了一个梯度估计器，它允许通过梯度上升来学习置信区间。从理论上讲，我们证明了该算法实现了一个$\tilde{\mathcal{O}}(\hatβ\sqrt{dT})$上界的$T$轮遗憾，其中$d$是手臂特征的尺寸和$\hatβ$是学习的大小的信心界。实验结果表明，$\hatβ$是显着小于其理论上界，所提出的算法优于基线的模拟和真实世界的数据集。
2020-06-04 cs.AI cs.LG stat.ML
Quantum Speedups of Optimizing Approximately Convex Functions with Applications to Logarithmic Regret Stochastic Convex Bandits
Peking University（北京大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们开始研究优化近似凸函数的量子算法。给定一个凸集${\cal K}\subseteq\mathbb{R}^{n}$和一个函数$F\colon\mathbb{R}^{n}\to\mathbb{R}$使得存在一个凸函数$f\colon\mathcal{K}\to\mathbb{R}$满足$\sup_{x\in{\cal K}}|F(x)-f(x)|\leq ε/n$，我们的量子算法找到一个$x^{*}\in{\cal K}$使得$F(x^{*})-\min_{x\in{\cal K}} F(x)\leqε$使用$\tilde{O}(n^{3})$量子求值查询到$F$ .与最著名的经典算法相比，这实现了多项式量子加速。作为应用，我们给出了一个求解带$\tilde{O}(n^{5}\log^{2} T)$遗憾的零阶随机凸强盗问题的量子算法，与经典的$Ω(\sqrt{T})$下界相比，在$T$上有指数级的加速.在技术上，我们实现量子加速$n$利用量子模拟退火框架，并采用量子版本的打了就跑的步行。我们在$T$中对零阶随机凸强盗的加速是由于在平均估计的乘性误差中的二次量子加速。
2022-09-26 cs.LG math.OC quant-ph
Learning to Route LLMs from Bandit Feedback: One Policy, Many Trade-offs
Virginia Tech（弗吉尼亚理工大学）；University of Southern California（南加州大学）；Dolby Labs（杜比实验室）；Adobe Research（Adobe研究）
针对LLM路由中离线训练与在线部署反馈不一致的问题，提出BaRP方法，利用Bandit反馈在部分反馈下训练，支持测试时偏好调节，实验显示优于离线路由器和最大LLM，且泛化稳健。
2025-10-08 cs.LG
