Decentralized Competing Bandits in Non-Stationary Matching Markets
UC San Diego（加州大学圣地亚哥分校）；AWS AI（亚马逊云科技人工智能）；UC Berkeley（加州大学伯克利分校）
了解双边在线匹配市场的复杂动态，需求方代理商竞争与供应方（武器）匹配，最近收到了很大的兴趣。为此，在本文中，我们介绍了非平稳（动态）环境下的分散双边匹配市场的框架。我们坚持串行独裁设置，需求方代理商有未知的和不同的偏好，供应方（武器），但武器有固定的和已知的偏好。我们提出并分析了一个分散和异步的学习算法，即分散的非平稳竞争土匪（\texttt{DNCB}），其中代理人发挥（限制性）连续消除型学习算法，以了解他们的偏好的武器。理解这样一个系统的复杂性源于这样一个事实，即竞争的强盗以异步的方式选择他们的行动，并且较低排名的代理只能从一组手臂中学习，而不是由较高排名的代理学习PDMATHAMN，这导致\emph{forced exploration}。仔细定义的复杂性参数，我们描述了这个\emph{forced exploration}，并获得次线性（对数）遗憾的\texttt{DNCB}。此外，我们通过实验验证了我们的理论研究结果。
2022-05-31 cs.IT cs.LG math.IT
Competing for Shareable Arms in Multi-Player Multi-Armed Bandits
Tsinghua University（清华大学）
研究多玩家多臂老虎机中自私智能体竞争可共享资源的问题，提出基于纳什均衡的SMAA算法，理论证明其能保证个体遗憾界并防止恶意偏离，合成实验验证了有效性。
2023-08-04 cs.CY cs.GT cs.LG
Dominate or Delete: Decentralized Competing Bandits in Serial Dictatorship
AWS AI（亚马逊云科技人工智能部门）；UC Berkeley（加州大学伯克利分校）；Google（谷歌公司）；UT Austin（德克萨斯大学奥斯汀分校）；Facebook（脸书公司）
双边匹配市场中的在线学习，需求方代理不断竞争与供应方（手臂）匹配，在匹配平台（例如UpWork，TaskRabbit）上的部分信息下抽象复杂的交互。我们研究了分散的串行独裁设置，双边匹配市场的需求方代理商有未知的和异质的估值超过供应方（武器），而武器有已知的统一偏好的需求方（代理商）。我们设计了第一个分散的算法- UCB与分散的主导臂删除（UCB-D3），代理，不需要任何知识的奖励差距或时间范围。UCB-D3分阶段工作，在每个阶段中，代理删除\emph{dominated arms} -高级代理首选的武器，并根据UCB仅从非劣势武器进行游戏。在该阶段结束时，代理以分散的方式广播，通过{ \em纯开发}估计他们的首选武器。我们证明了这两个，一个新的遗憾下界的分散串行独裁模型，UCB-D3是顺序最优的。
2021-03-12 cs.DS cs.GT cs.LG
Competing Bandits in Time Varying Matching Markets
University of California, Irvine（加州大学欧文分校）；University of California, Berkeley（加州大学伯克利分校）
研究了双边非平稳匹配市场中的在线学习问题，目标是收敛到一个稳定的匹配。特别是，我们考虑的设置，其中一方的市场，武器，有固定的一套已知的偏好，在另一边，球员。虽然这个问题已经研究了当球员有固定的，但未知的偏好，在这项工作中，我们研究的问题是如何学习时，球员的偏好是随时间变化的和未知的。我们的贡献是一种方法，可以处理任何类型的偏好结构和变化的情况。我们表明，与所提出的算法，每个球员收到一个统一的子线性遗憾的{ $\widetilde{\mathcal{O}}(L^{1/2}_TT^{1/2})$ }的数量变化的代理，$L_T$的基本偏好。因此，我们表明，单智能体学习的最佳速率可以实现，尽管竞争的差异是一个恒定的因素。我们还讨论了该算法的扩展的情况下，变化的数量不需要已知的先验。
2023-01-12 cs.GT cs.LG cs.MA
Competing Bandits in Decentralized Contextual Matching Markets
Department of Electrical Engineering IIT Bombay（印度理工学院班加罗尔电气工程系）；Google New York（谷歌纽约分公司）；Department of Computer Science and Engineering IIT Bombay（印度理工学院班加罗尔计算机科学与工程系）；Amazon Web Services Santa Clara（亚马逊网络服务圣克拉拉）
本文研究去中心化双边匹配市场中的序贯学习，提出算法同时识别潜在环境并获得稳定匹配，实现独立于臂数量的实例相关对数遗憾。
2025-06-19 cs.LG stat.ML
Multiplayer Bandit Learning, from Competition to Cooperation
本文研究双人随机多臂赌博机中竞争与合作对探索-利用权衡的影响，证明竞争减少探索、合作增加探索，中性参与者通过相互学习获得更高总奖励，并分析了不同合作参数下纳什均衡的收敛行为。
2024-01-12 cs.GT cs.LG econ.TH
Exploiting Transitivity for Top-k Selection with Score-Based Dueling Bandits
University of Warwick（华威大学）
研究了具有分数信息的Dueling Bandit问题中的top-k子集选择问题。现实世界的成对排序问题往往表现出高度的传递性和先前的工作建议抽样方法，利用这种传递性，通过使用参数偏好模型，如布拉德利-特里-卢斯（BTL）和瑟斯顿模型。到目前为止，这项工作的重点是样本结果是赢/输二元反应的情况下。我们扩展到选择问题，抽样结果包含定量信息，提出了一个瑟斯顿风格的模型和适应成对最优计算预算分配子集选择（POCBAm）抽样方法，利用该模型进行有效的样本选择。我们对标准POCBAM和其他竞争算法的实证性能进行比较。
2020-12-31 cs.LG
Generalized Policy Elimination: an efficient algorithm for Nonparametric Contextual Bandits
我们提出了广义策略消除（GPE）算法，一个甲骨文高效的上下文强盗（CB）算法的启发\cite{dudik2011}的策略消除算法。我们证明了第一遗憾最优性保证定理的甲骨文有效CB算法竞争的非参数类具有无限VC-维。具体来说，我们表明，GPE是遗憾最优的（对数因子）的政策类与可积熵。对于具有较大熵的类，我们表明，用于分析GPE的核心技术可以用来设计一个$\varepsilon$ -贪心算法与遗憾界匹配的最佳算法。我们说明了我们的算法和定理的适用性与大型非参数政策类的例子，相关的优化预言可以有效地实现。
2020-03-05 cs.LG stat.ML
Multi-objective Bandits: Optimizing the Generalized Gini Index
Yahoo Research（雅虎研究院）；Technion Institute of Technology（以色列理工学院）
我们研究了多臂强盗（MAB）的问题，代理收到一个矢量反馈，编码许多可能的竞争目标进行优化。代理的目标是找到一个政策，可以优化这些目标同时在一个公平的方式。这个多目标在线优化问题的形式化使用广义基尼指数（GGI）聚合函数。我们提出了一个在线梯度下降算法，利用GGI聚集函数的凸性，并控制探索在一个谨慎的方式实现一个无分布的遗憾$\tilde{\bigO} (T^{-1/2} )$具有高概率。我们测试我们的算法上的合成数据，以及在电池控制问题，其目标是权衡使用不同的电池，以平衡各自的退化率。
2017-06-15 cs.LG
Corralling a Larger Band of Bandits: A Case Study on Switching Regret for Linear Bandits
University of Southern California（南加利福尼亚大学）；Nanjing University（南京大学）
我们考虑的问题相结合，学习了一组敌对的强盗算法的目标是自适应跟踪最好的一个在飞。Agarwal等人（2017）的CORRAL算法及其变体（Foster等人，2020 a）以$\widetilde{O}(\sqrt{MT})$阶的后悔开销实现该目标，其中$M$是基本算法的数量，而$T$是时间范围。然而，对$M$的多项式依赖性阻止人们将这些算法应用于$M$是聚$(T)$或甚至更大的许多应用。出于这个问题，我们提出了一个新的配方，以畜栏更大的带宽的强盗算法，其遗憾开销只有\emph{logarithmic}依赖于$M$，只要满足某些条件。作为主要的例子，我们将我们的配方的问题的对抗性线性土匪的$d$ -维$\ell_p$单位球$p \in (1,2]$。通过聚集大量的$T$基础算法，每个算法在不同的时间步开始，我们的最终算法在与具有$S$开关的一系列比较器竞争时实现了第一个最佳开关遗憾$\widetilde{O}(\sqrt{d S T})$（对于一些已知的$S$）。我们进一步将我们的结果推广到光滑和强凸域上的线性强盗以及无约束的线性强盗。
2022-02-12 cs.LG stat.ML
Thompson Sampling for Contextual Bandit Problems with Auxiliary Safety Constraints
Facebook（脸书）
上下文强盗优化和强化学习的最新进展已经引起了人们对将这些方法应用于现实世界顺序决策问题的兴趣。现实世界的应用程序通常具有与当前部署的策略相关的约束。许多现有的约束感知算法考虑的问题与一个单一的目标（奖励）和一个约束的奖励相对于基线政策。然而，许多重要的应用涉及多个竞争目标和辅助约束。本文提出了一种新的汤普森抽样算法，用于求解带辅助约束的多结果上下文强盗问题。我们凭经验评估我们的算法的合成问题。最后，我们将我们的方法应用于现实世界的视频转码问题，并提供了一个实用的方法，导航安全性和性能之间的权衡使用贝叶斯优化。
2019-11-02 cs.AI cs.LG stat.ML
Generalized Translation and Scale Invariant Online Algorithm for Adversarial Multi-Armed Bandits
我们研究了对抗性多臂强盗问题，并创建了一个完全在线的算法框架，该框架在任意平移和手臂损失的尺度下都是不变的。我们研究了我们的算法对一个通用的竞争类，这使得它适用于各种各样的问题场景的预期性能。我们的算法从一个普遍的预测的角度来看，所使用的性能指标是对任意臂选择序列的预期遗憾，这是我们的损失和竞争损失序列之间的差异。竞争类可以被设计为包括固定臂选择、切换强盗、上下文强盗或任何其他感兴趣的竞争。竞赛类中的顺序通常由手头的具体应用决定，并应相应地进行设计。我们的算法既不使用也不需要任何关于损失序列的初步信息，并且完全在线。它的性能界限是二阶界的平方损失的总和，其中任何仿射变换的损失没有影响的归一化遗憾。
2021-09-19 cs.LG stat.ML
Data Dependent Regret Guarantees Against General Comparators for Full or Bandit Feedback
我们研究了对抗性在线学习问题，并创建了一个完全在线的算法框架，在完全专家反馈和强盗反馈设置中具有数据依赖的后悔保证。我们研究了我们的算法对一般比较器的预期性能，这使得它适用于各种各样的问题场景。我们的算法从通用预测的角度工作，所使用的性能指标是对任意比较器序列的预期遗憾，这是我们的损失和竞争损失序列之间的差异。竞争类可以被设计为包括固定臂选择、切换强盗、上下文强盗、周期强盗或任何其他感兴趣的竞争。竞赛类中的顺序通常由手头的具体应用决定，并应相应地进行设计。我们的算法既不使用也不需要任何关于损失序列的初步信息，并且完全在线。它的性能界限是数据依赖的，其中任何仿射变换的损失没有影响的归一化后悔。
2023-03-12 cs.IT cs.LG eess.SP
Exploring Offline Policy Evaluation for the Continuous-Armed Bandit Problem
Tilburg University（蒂尔堡大学）；Aalto University（阿尔托大学）
（上下文）多臂强盗问题（MAB）提供了一个形式化的顺序决策，有许多应用。然而，有效地评估MAB政策是具有挑战性的，我们要么诉诸模拟，其中固有地包括有争议的假设，或者我们诉诸昂贵的现场试验。最近提出了一种离线评估方法，该方法基于经验数据，从而放松了假设，并可用于并行评估多个竞争政策。然而，这种方法并不直接适用于连续武装（CAB）问题;这是一种经常遇到的MAB问题，其中动作集是连续的而不是离散的。我们提出并评估现有方法的扩展，使其可用于评估CAB政策。我们的经验表明，我们的方法提供了一个相对一致的排名政策。此外，我们详细介绍了我们的方法可以用来选择政策在现实生活中的CAB问题。
2019-08-21 cs.LG stat.ML
To update or not to update? Delayed Nonparametric Bandits with Randomized Allocation
University of Minnesota（明尼苏达大学）
背景强盗中的延迟报酬问题在各种实际环境中都引起了人们的兴趣。我们研究了随机分配策略，并提供了一个了解如何探索剥削权衡的延迟观察奖励的影响。在随机策略中，探索-开发的程度由用户确定的探索概率序列控制。在存在延迟奖励的情况下，人们可以选择使用在每个时间点更新的原始探索序列，或者仅在观察到新奖励时更新序列，从而导致两种竞争策略。在这项工作中，我们表明，虽然这两种策略可能会导致很强的一致性分配，后者的财产持有更广泛的情况。然而，对于有限样本的性能，我们说明了这两种策略都有自己的优点和缺点，这取决于延迟的严重程度和潜在的奖励产生机制。
2020-05-26 cs.LG math.ST stat.ML
Two-Player Zero-Sum Games with Bandit Feedback
University of Neuchâtel（内阿捷尔大学）
本文提出三种算法用于双人零和博弈，通过实例依赖性分析实现了有效的 regret bounds，展示了 ETC 和动作对消除算法在零和博弈中的应用。
2026-02-19 cs.GT cs.LG
Efficient Contextual Bandits in Non-stationary Worlds
University of Southern California（南加州大学）；Microsoft Research, NYC（微软研究院（纽约））
大多数上下文强盗算法最大限度地减少对最佳固定策略的遗憾，这是应用程序中普遍存在的非平稳环境的一个有问题的基准。在这项工作中，我们开发了几个有效的上下文强盗算法的非平稳环境，通过装备现有的方法，独立同分布。复杂的统计测试的问题，以便动态地适应分布的变化。我们分析了各种标准的概念，适合于非平稳环境的遗憾，这些算法，包括间隔遗憾，切换遗憾，和动态遗憾。当每次与最佳策略竞争时，如果存在具有$S$平稳周期的$T$轮，或者更一般地$\mathcal{O}(Δ^{1/3}T^{2/3})$，其中$Δ$是一些非平稳性度量，则我们的算法之一实现遗憾$\mathcal{O}(\sqrt{ST})$。这些结果几乎匹配的最佳保证实现了一个低效的基线，这是一个经典的Exp4算法的变体。动态后悔的结果也是第一个有效的和完全对抗性的上下文强盗。此外，虽然上述结果需要调整参数的基础上的未知量$S$或$Δ$，我们还开发了一个参数的算法实现遗憾$\min\{S^{1/4}T^{3/4}, Δ^{1/5}T^{4/5}\}$。这改进并推广了Karnin和Anava（2016）的现有最佳结果$Δ^{0.18}T^{0.82}$，该结果仅适用于双臂强盗问题。
2019-04-03 cs.LG stat.ML
Learning from eXtreme Bandit Feedback
University of California, Berkeley（加州大学伯克利分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们研究了在极大的动作空间中从强盗反馈批量学习的问题。从极端强盗反馈中学习在推荐系统中无处不在，在推荐系统中，一天内要对由数百万个选择组成的集合做出数十亿个决定，产生大量的观测数据。在这些大规模的实际应用中，监督学习框架（如XMC）被广泛使用，尽管由于bandit反馈和监督标签之间的不匹配，它们会产生显著的偏差。这种偏差可以通过重要性抽样技术来减轻，但是当处理大量动作时，这些技术遭受不切实际的变化。在本文中，我们引入了一种选择性重要性抽样估计量（sIS），该估计量在明显更有利的偏差-方差制度下运行。sIS估计器通过对每个实例的一小部分动作的奖励的条件期望执行重要性抽样来获得（Rao-Blackwellization的一种形式）。我们采用这种估计在一个新的算法程序-命名为政策优化的极限模型（POXM）-学习从强盗反馈XMC任务。在POXM中，为sIS估计器选择的操作是日志策略的前p个操作，其中p是根据数据调整的，并且显著小于操作空间的大小。我们在三个XMC数据集上使用监督到bandit的转换来对我们的POXM方法进行基准测试，以对抗三种竞争方法：BanditNet，以前应用的部分匹配修剪策略和监督学习基线。虽然BanditNet有时会在日志记录策略上略有改进，但我们的实验表明，POXM在所有基线上都有系统和显着的改进。
2021-02-22 cs.LG stat.ML
Adaptive Contract Design for Crowdsourcing Markets: Bandit Algorithms for Repeated Principal-Agent Problems
UCLA（加州大学洛杉矶分校）；Microsoft Research（微软研究院）
众包市场已经成为一个流行的平台，可以将可用的工人与要完成的任务相匹配。对于特定任务的支付通常由任务的请求者设置，并且可以基于完成的工作的质量来调整，例如，通过使用“奖金”支付。在本文中，我们研究了请求者的问题，动态调整质量相依支付任务。我们考虑一个多轮版本的著名的委托代理模型，在每一轮的工人作出战略选择的努力水平，这是不直接观察到的请求。特别是，我们的制定显着推广的免费在线任务定价问题在以前的工作中研究。我们把这个问题作为一个多臂的强盗问题，每个“手臂”代表一个潜在的合同。为了处理大量的（实际上是无限的）手臂，我们提出了一种新的算法，不可知缩放，它将合同空间离散成有限数量的区域，有效地将每个区域视为一个单一的arm.This离散自适应细化，使合同空间的更有前途的区域最终被离散得更精细。我们分析了该算法，表明它实现了遗憾的时间范围内的次线性，并大大提高了非自适应离散化（这是文献中唯一的竞争方法）。我们的研究结果推进了几个不同主题的艺术状态：众包市场理论，委托代理问题，多武装土匪和动态定价。
2015-09-02 cs.DS cs.GT cs.LG
Low-Rank Single-Index Bandits with Unknown Links: From Matrices to Tensors
本研究提出T-ESTOR和T-BSTOR算法，解决低秩矩阵与张量老虎机中未知奖励链接的问题，分别实现最优遗憾界，并通过实验验证了结构化估计的优势。
2026-09-29 cs.LG stat.ML
A unified framework for bandit multiple testing
University of Waterloo（滑铁卢大学）；Carnegie Mellon University（卡内基梅隆大学）
在bandit多重假设检验中，每个分支对应于我们希望检验的不同的原假设，目标是设计自适应算法，正确识别大量感兴趣的分支（真发现），同时仅错误地识别少数不感兴趣的分支（假发现）。在非伪随机多重检验中的一个常见度量是错误发现率（FDR）。我们提出了一个统一的，模块化的框架，强盗FDR控制，强调解耦的探索和总结的证据。我们利用强大的鞅为基础的概念，“e-过程”，以确保FDR控制任意复合空值，勘探规则和停止时间在一般的问题设置。特别是，有效的FDR控制保持，即使臂的奖励分布可能是依赖的，多个臂可以同时查询，并且多个（合作或竞争）代理可以查询臂，也覆盖组合半强盗类型设置。先前的工作已经非常详细地考虑了每个手臂的奖励分布是独立的和亚高斯的设置，并且在每个步骤中查询单个手臂。我们的框架恢复匹配样本的复杂性保证在这种特殊情况下，并在实践中表现更好。对于其他设置，样本复杂性将取决于问题的更精细的细节（测试的复合空值，探索算法，数据依赖结构，停止规则），我们不探索这些;我们的贡献是表明FDR保证是干净的，完全不可知的这些细节。
2021-11-17 cs.LG stat.ME stat.ML
Bayesian Unification of Gradient and Bandit-based Learning for Accelerated Global Optimisation
University of Agder（阿格德大学）
基于Bandit的优化比基于梯度的方法具有显着的优势，因为它们具有全局视角，消除了陷入局部最优的危险。然而，对于连续优化问题或具有大量动作的问题，基于强盗的方法可能会受到缓慢学习的阻碍。另一方面，基于梯度的方法通过局部优化在高维连续空间中快速导航，遵循细粒度步骤中的梯度。然而，除了容易受到局部最优，这些计划是不太适合在线学习，由于其依赖于广泛的试错之前，可以确定的最佳。在本文中，我们提出了一个贝叶斯方法，统一上述两个范例在一个单一的框架，其目的是结合他们的优势。在我们的方法的核心，我们发现一个随机线性近似的函数进行优化，其中的梯度和函数的值都明确捕获。这使我们能够从噪声函数和梯度观测中学习，并在动作空间中预测这些属性以支持优化。我们进一步提出了一个伴随的强盗驱动的勘探计划，使用贝叶斯可信的界限，权衡勘探开发。我们的实证结果表明，通过统一的强盗和梯度为基础的学习，一个获得一致的改善性能在广泛的问题环境。此外，即使梯度反馈不可用，我们的模型的灵活性，包括梯度预测，仍然允许我们优于竞争方法，尽管幅度较小。由于普遍存在的强盗为基础的优化，我们的计划开辟了改善性能的元优化和梯度相关的信息是现成的应用程序。
2017-05-28 cs.AI cs.LG
A General Framework for Bandit Problems Beyond Cumulative Objectives
Tel Aviv University（特拉维夫大学）；Technion, Israel Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）；Columbia University（哥伦比亚大学）
随机多臂强盗（MAB）问题是序贯决策问题的一个常见模型。在标准的设置中，决策者必须在每一时刻在几个竞争的武器之间进行选择，每个武器都提供了一个标量随机变量，称为“奖励”。“几乎所有关于这个主题的研究都认为总的累积奖励是兴趣的标准。这项工作的重点是其他自然的目标，不能投作为一个总和的奖励，而是更多的参与功能的奖励流。与累积准则的情况不同，在我们这里研究的问题中，先验地知道问题参数并用于“集中”遗憾的预言策略并不是微不足道的。我们提供了一个系统的方法来解决这些问题，并推导出一般条件下，预言机的政策是足够听话，以方便设计的乐观主义为基础的（上置信度）的学习政策。这些条件阐明了一个有趣的手臂奖励分布和性能指标之间的相互作用。我们的主要研究结果说明了几个常用的目标，如条件的风险价值，均值方差权衡，夏普比，等等。
2021-10-26 cs.LG stat.ML
Provably Efficient Personalized Multi-Objective Bandits with Proactive Conversational Queries
The Ohio State University（俄亥俄州立大学）；University at Buffalo（布法罗大学）
提出MO-PQUCB算法，通过主动查询获取用户偏好信号，结合Plackett-Luce模型和正则化UCB，解决多目标老虎机中偏好与奖励的耦合问题，实现更优的遗憾界。
2026-08-18 cs.AI cs.LG
Risk-Aware Linear Bandits: Theory and Applications in Smart Order Routing
Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系）；SC Johnson College of Business, Cornell University（康奈尔大学SC约翰逊商学院）
本文提出风险感知线性老虎机算法，用于智能订单路由，通过线性结构假设和变差最小化设计，显著降低后悔值，实验证明其在复杂决策场景中优于现有方法。
2026-04-02 cs.LG
Bandit Algorithms for Deep Brain Stimulation
Department of Computer Science, UNC Chapel Hill（UNC夏洛茨维尔大学计算机科学系）；Hochschule München（慕尼黑应用科学大学）；Department of Neurosurgery, UNC Chapel Hill（UNC夏洛茨维尔大学神经外科系）；TU Munich Institute for Advanced Study（慕尼黑技术大学高级研究学院）
提出基于时间与阈值触发的剪枝多臂赌博机算法，无需离线训练，在抑制病理性β波段活动和降低刺激能耗方面优于深度强化学习方法，并验证了其在资源受限植入式系统上的可行性。
2026-05-27 cs.LG cs.SY eess.SY
Contextual Bandits in a Survey Experiment on Charitable Giving: Within-Experiment Outcomes versus Policy Learning
Stanford Graduate School of Business（斯坦福大学商学院）；Amazon（亚马逊）；Stanford Management Science and Engineering（斯坦福大学管理科学与工程系）；Coupang（库胖）；University of Toronto Computer Science（多伦多大学计算机科学系）
我们设计并实施了一个适应性实验（一个“上下文强盗”），以学习有针对性的治疗分配政策，其目标是使用参与者的调查响应来确定在募捐活动中让他们接触哪个慈善机构。该设计平衡了两个相互竞争的目标：优化实验中受试者的结果（"累积遗憾最小化“）和收集对政策学习最有用的数据，即学习一个分配规则，如果在实验后使用，将最大限度地提高福利（"简单遗憾最小化”）。我们通过收集试点数据，然后进行模拟研究，以评估替代实验设计。接下来，我们实现我们选择的算法。最后，我们进行了第二次模拟研究，锚定到收集的数据，评估我们选择的算法的好处。我们的第一个结果是，在这种设置中的学习策略的值是更高的数据收集通过统一的随机化，而不是收集自适应使用标准的累积遗憾最小化或政策学习算法。我们提出了一个简单的启发式的自适应实验，提高均匀随机化的政策学习的角度来看，增加累积遗憾相对于替代强盗算法的代价。启发式修改现有的上下文强盗算法（i）施加一个下界的分配概率衰减缓慢，使没有手臂被丢弃得太快，（ii）自适应收集数据后，限制策略学习选择从武器已经收集了足够的数据。
2022-11-22 cs.LG econ.EM stat.ML
Attack-Resistant Uniform Fairness for Linear and Smooth Contextual Bandits
National University of Singapore（新加坡国立大学）
本文提出了一种对抗鲁棒的均匀公平性算法，以在保证公平性的同时实现线性和平滑奖励函数的最小最大最优后悔。
2026-09-22 cs.LG stat.ME stat.ML
Bandits with many optimal arms
INRIA Lille（法国国家信息与自动化研究所里尔分部）；CWI Amsterdam（阿姆斯特丹数学与计算机科学中心）；Otto von Guericke University Magdeburg（奥托·冯·古里克马格德堡大学）；University of Potsdam（波茨坦大学）
本文考虑一个可能有无穷多个臂的随机强盗问题。我们写$p^*$为最佳武器的比例和$Δ$为最佳和次最佳武器之间的最小平均差距。我们的最佳学习率的特点都在累积遗憾设置，并在最佳臂识别设置的问题参数$T$（预算），$p^*$和$Δ$。为了最小化累积遗憾，我们给出了一个$Ω(\log(T)/(p^*Δ))$阶的下界和一个UCB式的算法，其匹配上界的因子为$\log(1/Δ)$ .我们的算法需要$p^*$来校准其参数，我们证明了这种知识是必要的，因为适应$p^*$在这种设置是不可能的。对于最佳臂识别，我们还提供了输出次优臂的概率上的阶数$Ω(\exp(-cTΔ^2 p^*))$的下限，其中$c>0$是绝对常数。我们还提供了一个消除算法的上限匹配的下限到一个因子的顺序$\log(T)$的指数，并不需要$p^*$或$Δ$作为参数。我们的研究结果直接适用于三个相关的问题，竞争对$j$ -th最好的手臂，确定一个$ε$好的手臂，并找到一个手臂的平均值大于一个已知的顺序的分位数。
2021-11-05 cs.LG stat.ML
Finite-Time Guarantees for Multi-Agent Combinatorial Bandits with Nonstationary Rewards
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；University of Ottawa（渥太华大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对干预效应随时间变化的多智能体序贯资源分配问题，提出含习惯化与恢复机制的非平稳组合多臂赌博机框架，并给出具有动态遗憾保证的算法，糖尿病干预案例显示注册提升最高达基线三倍。
2025-08-28 cs.LG cs.SY eess.SY
Chasing Ghosts: Competing with Stateful Policies
Weizmann Institute（魏茨曼研究所）；MSR（微软研究院）；Technion（以色列理工学院）
我们考虑顺序决策的设置中，遗憾的是衡量一组有状态的参考政策，并反馈仅限于观察奖励的行动（所谓的“土匪”设置）。如果参考策略是无状态的，而不是有状态的，或者反馈包括所有动作的奖励（所谓的“专家”设置），以前的工作表明，最佳遗憾的增长像$Θ(\sqrt{T})$的决策轮数$T$。我们设置的困难在于，决策者必然会失去对参考策略的内部状态的跟踪，因此无法可靠地将某轮中观察到的奖励归因于任何参考策略。事实上，在这种设置下，算法不可能估计哪个策略提供最高（甚至大约最高）的总奖励。然而，我们设计了一个算法，达到预期的遗憾，是次线性的$T$，形式$O( T/\log^{1/4}{T})$。我们的算法是基于一定的局部重复引理，可能是独立的利益。我们还表明，没有算法可以保证预期的遗憾比$O( T/\log^{3/2} T)$。
2014-07-29 cs.LG
Graph Dimensionality Reduction for Contextual Bandits: Structure-Specific Regret Bounds under Approximate Smoothness and Noisy Eigenspaces
Department of Computer and Information Sciences, University of Delaware, USA（德克萨斯大学达勒姆分校计算机与信息科学系）；Department of Computer Science, Iowa State University, USA（爱荷华州立大学计算机科学系）；Department of Civil, Construction & Environmental Engineering, Iowa State University, USA（爱荷华州立大学土木、建设与环境工程系）
提出GraphDR-LinUCB算法，将臂特征投影到图的低频谱子空间，实现从d到k的维度缩减，并证明首个~O(k√T)遗憾界，通过扰动分析扩展到噪声图，在六个真实数据集上减少15倍累积遗憾。
2026-06-29 cs.LG
Bandit Allocational Instability
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出分配波动性指标，揭示了老虎机算法中分配波动性与遗憾之间的根本权衡，并展示了UCB-f算法在实现帕累托前沿上的有效性。
2026-02-07 cs.LG math.OC math.PR
Cost-Aware Multi-Objective Bandits: Theory and Application to Budgeted LLM Configuration Evaluation
City University of Hong Kong（香港城市大学）；South China University of Technology（华南理工大学）；Zhejiang University（浙江大学）
本文将LLM配置评估建模为成本感知多目标老虎机问题，提出基于超体积的UCB算法与成本感知经验差距消除算法，在有限预算下实现高效在线决策和准确的帕累托识别。
2026-08-06 cs.LG
Distributed Learning in Multi-Armed Bandit with Multiple Players
University of California, Davis（加州大学戴维斯分校）
我们制定和研究一个分散的多臂强盗（MAB）问题。有M个分布式参与者竞争N个独立的武器。每一只手臂，在演奏时，都提供了身份证。根据具有未知参数的分布进行奖励。在每一次，每个玩家选择一只手臂玩，不与其他玩家交换观察或任何信息。选择相同手臂的玩家发生碰撞，根据碰撞模型，要么没有人获得奖励，要么碰撞的玩家以任意方式分享奖励。我们发现，分散的MAB的最小系统遗憾随着时间的增长，在相同的对数顺序在集中式的对手，球员集体作为一个单一的实体，通过交换意见和共同决策。一个分散的政策，以实现这一最优秩序，同时确保公平的参与者之间，而不假设任何预先协议或参与者之间的信息交换。基于M个最优武器的时分公平共享（TDFS），构造了该策略，并在一般报酬模型下证明了其序最优性。此外，TDFS策略的基本结构可以与任何订单最优的单人策略一起使用，以实现分散设置中的订单最优性。我们还建立了一个下界的系统遗憾的增长率的一般类的分散政策，建议的政策属于。该问题在认知无线电网络、多信道通信系统、多智能体系统、网络搜索和广告以及社交网络中有潜在的应用。
2010-06-07 cs.LG math.OC math.PR
Adaptively Optimize Content Recommendation Using Multi Armed Bandit Algorithms in E-commerce
The Home Depot（家得宝）
电子商业网站努力为用户提供最及时的相关信息，以减少购物摩擦，提高客户满意度。多臂强盗模型（MAB）作为一种自适应优化算法提供了可能的途径。在本文中，我们分析了使用三个经典的MAB算法，ε-贪婪，汤普森采样（TS），和上置信界1（UCB 1）的动态内容推荐，走查内部开发这些算法的过程来解决一个真实的世界电子商业用例。首先，我们分析了三个MAB算法使用模拟购买数据集与非平稳的奖励分布，以模拟可能随时间变化的客户偏好，其中的流量分配动态和不同算法的累积奖励进行了研究。第二，我们使用实际的历史A/B测试数据集，比较了三种MAB算法的累积回报与超过1,000次试验。我们发现，竞争推荐的成功率之间的差异越大，MAB算法可以实现的累积奖励就越多。此外，我们还发现在不同的测试场景下，TS的平均累积奖励最高。第三，我们开发了一种批量更新的MAB算法，以克服电子商业中的延迟奖励问题，并在我们的应用程序主页上实现在线内容优化。为了进行最先进的比较，在我们的批量更新的MAB算法，第三方MAB解决方案和默认业务逻辑之间进行了真正的A/B测试。结果表明，我们的批量更新的MAB算法优于同行，并实现了6.13%的相对点击率（CTR）增加和16.1%的相对转换率（CVR）增加相比，默认的经验，和2.9%的相对CTR增加和1.4%的相对CVR增加相比，外部MAB服务。
2021-08-19 cs.AI cs.IR cs.LG
Competing Against Equilibria in Zero-Sum Games with Evolving Payoffs
Georgia Institute of Technology（佐治亚理工学院）
我们研究的问题，重复玩的零和游戏中的支付矩阵可能会改变，在一个可能的对抗方式，在每一轮，我们称之为在线矩阵游戏。寻找两人零和博弈的纳什均衡（NE）是统计学、最优化和经济学中许多问题的核心，对于一个固定的博弈矩阵，这可以很容易地归结为求解一个线性规划。但是当收益矩阵随时间演变时，我们的目标是找到一个顺序算法，在某种意义上，它可以与长期平均收益矩阵的NE竞争。我们设计了一个小NE遗憾的算法-也就是说，我们确保双方的长期回报是接近最小最大事后诸葛亮。我们的算法实现了近最佳的依赖轮数和依赖poly-acromically上的可用的行动的球员的数量。此外，我们表明，天真的减少，每个球员只是尽量减少自己的遗憾，未能实现既定的目标，无论使用哪种算法。我们还考虑了所谓的强盗设置，其中的反馈是显着有限的，我们提供了一个算法，小NE后悔使用一点估计每个支付矩阵。
2019-07-17 cs.LG stat.ML
Two-sided Competing Matching Recommendation Markets With Quota and Complementary Preferences Constraints
Department of Statistics（统计系）；Department of Biostatistics（生物统计系）
针对具有配额和互补偏好约束的双边在线匹配市场问题，提出基于bandit框架的MMTS算法，结合Thompson Sampling与双重匹配技术实现稳定匹配，并证明了其贝叶斯遗憾界。
2024-05-29 cs.GT cs.LG cs.MA
Multi-Armed Bandits with Network Interference
UC Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）；Amazon（亚马逊公司）；Carnegie Mellon University（卡内基梅隆大学）
针对网络干扰下的多臂老虎机问题，提出基于离散傅里叶分析的稀疏线性表示和线性回归算法，在已知或未知干扰邻域下均可实现低遗憾。
2024-05-28 cs.LG stat.ME stat.ML
Contextual Scalarisation Thompson Sampling for multi-objective decisions in public media
Radio Télévision Suisse（瑞士广播电视台）；EPFL（苏黎世联邦理工学院）
提出上下文标量化汤普森采样（CSTS）方法，通过学习上下文相关的目标权重，在公共媒体推荐中平衡多个竞争目标，实验表明其优于固定权重和标准上下文赌博机方法。
2026-09-15 cs.IR cs.LG
Does 1/2-Tsallis-INF Also Work Well for Best-Arm Identification?
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Applied Statistics and School of Statistics, Renmin University of China（中国人民大学应用统计中心与统计学院）
该研究探讨 1/2-Tsallis-INF 能否用于最优臂识别，通过构造 Lyapunov 函数得出其失败概率的多项式上下界，证明指数 2 本质紧。
2026-08-18 cs.LG
No-Regret Learning Under Adversarial Resource Constraints: A Spending Plan Is All You Need!
Politecnico di Milano（米兰理工学院）；Columbia University（哥伦比亚大学）
本文针对对抗性资源约束下的在线决策问题，提出基于支出计划的原始-对偶方法，实现相对于遵循计划的基线的次线性遗憾，并处理不平衡计划的最坏情况。
2025-06-18 cs.AI cs.LG stat.ML
Offline Policy Evaluation as a decision support tool for designing Adaptive Experiments
本研究提出利用离线策略评估与暖启动模拟相结合的方法，基于历史A/B测试数据评估自适应策略的部署价值，并验证其在异质性存在时优于固定分配。研究通过合成实验和开放基准验证了方法的有效性，为自适应实验的决策提供了实用工具。
2026-09-28 cs.LG
Truthful Reverse Auctions for Adaptive Selection via Contextual Multi-Armed Bandits
Microsoft Research India（微软研究院印度分部）
本文提出基于上下文多臂老虎机的诚实反拍卖机制，用于自适应选择大型语言模型，实现高效、诚实且查询感知的模型选择。
2026-02-16 cs.GT
