MaxGap Bandit: Adaptive Algorithms for Approximate Ranking
University of Wisconsin（威斯康星大学）
本文研究了从K个分布（臂）中自适应采样以确定任意两个相邻均值之间的最大间隔的问题。我们称之为MaxGap-bandit问题。这个问题自然会出现在近似排名，噪声排序，离群点检测，并在土匪顶臂识别。MaxGap-bandit问题的关键新颖性在于，它的目的是自适应地确定将分布自然划分为具有较大均值的子集和具有较小均值的子集，其中分割由最大间隙而不是预先指定的秩或阈值确定。估计一个手臂的差距需要采样其相邻的武器，除了自己，这种依赖性的结果在一个新的硬度参数，表征样本的复杂性的问题。我们提出了消除和UCB风格的算法，并表明它们是最小最大的。我们的实验表明，UCB风格的算法需要比非自适应采样少6- 8倍的样本，以实现相同的错误。
2019-06-03 cs.LG stat.ML
Low-Rank Generalized Linear Bandit Problems
University of Michigan（密歇根大学）；Adobe Inc.（奥多比公司）
在一个低秩线性强盗问题中，一个动作的回报（由一个大小为$d_1 \times d_2$的矩阵表示）是这个动作和一个未知的低秩矩阵$Θ^*$之间的内积。我们提出了一种新的在线到置信集转换~ \citep{abbasi2012online}和指数加权平均预测器的低秩矩阵的覆盖构造的组合的基础上的算法。在$T$轮中，当$Θ^*$的秩为$r \ll \min\{d_1,d_2\}$时，我们的算法实现了$\widetilde{O}((d_1+d_2)^{3/2}\sqrt{rT})$后悔，改进了$\widetilde{O}(d_1d_2\sqrt{T})$的标准线性强盗后悔界.我们还将我们的算法方法推广到广义线性设置，得到一个算法，它享有类似的约束下的正则性条件的链接函数。为了克服覆盖算法计算量大的问题，本文对\citet{jun2019bilinear}的“Explore-Subspace-Then-Refine”算法进行了扩展，提出了一种有效的算法。我们的有效算法实现$\widetilde{O}((d_1+d_2)^{3/2}\sqrt{rT})$遗憾在一个温和的条件下的行动集$\mathcal{X}$和$Θ^*$的$r$ -th奇异值。我们的上界匹配的证明下限的\cite{jun2019bilinear}的一个子类的低秩线性强盗问题。此外，我们表明，现有的稀疏线性强盗问题的下界强烈表明…
2020-10-19 cs.LG stat.ML
Efficient Low-Rank Matrix Estimation, Experimental Design, and Arm-Set-Dependent Low-Rank Bandits
Dipartimento di Informatica, Università degli Studi di Milano（米兰大学信息科学系）；Department of Computer Science, University of Arizona（亚利桑那大学计算机科学系）
本文提出LowPopArt低秩矩阵估计方法及基于B(Q)的实验设计准则，并据此为一般臂集设计两种低秩线性赌博机算法，获得更优遗憾上界，突破了以往对臂集或探索分布的严格假设。
2024-06-08 cs.LG stat.ML
Low-Rank Single-Index Bandits with Unknown Links: From Matrices to Tensors
本研究提出T-ESTOR和T-BSTOR算法，解决低秩矩阵与张量老虎机中未知奖励链接的问题，分别实现最优遗憾界，并通过实验验证了结构化估计的优势。
2026-09-29 cs.LG stat.ML
Cascading Non-Stationary Bandits: Online Learning to Rank in the Non-Stationary Cascade Model
University of Amsterdam（阿姆斯特丹大学）
非平稳性出现在许多在线应用中，如网络搜索和广告。在本文中，我们研究了在线学习排名问题的非平稳环境中，用户的偏好突然改变，在一个未知的时刻。我们考虑的问题，确定K个最有吸引力的项目，并提出级联非平稳土匪，一个在线学习变种的级联模型，其中用户浏览排名列表从上到下，点击第一个有吸引力的项目。我们提出了两种算法来解决这个非平稳问题：CascadeDUCB和CascadeSWUCB。我们分析了它们的性能，并推导出这些算法的n步遗憾的间隙相关的上界。我们还建立了一个下界级联非平稳土匪的遗憾，并表明这两种算法匹配的下限的对数因子。最后，我们评估他们的表现在现实世界的网络搜索点击数据集。
2019-11-22 cs.LG stat.ML
Bilinear Bandits with Low-rank Structure
Boston University（波士顿大学）；University of Chicago（芝加哥大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们引入了具有低秩结构的双线性强盗问题，其中一个行动采取来自两个不同实体类型的一对手臂的形式，并且奖励是手臂的已知特征向量的双线性函数。问题中的未知数是定义奖励的$d_1$ × $d_2$矩阵$\mathbfΘ^*$，并且具有低秩$r \ll \min\{d_1,d_2\}$。确定具有这种低秩结构的$\mathbfΘ^*$在找到正确的探索-开发权衡方面提出了重大挑战。在这项工作中，我们提出了一个新的两阶段算法称为“探索子空间，然后细化”（ESTR）。第一阶段是显式子空间探索，而第二阶段是称为“几乎低维OFUL”（LowOFUL）的线性强盗算法，该算法通过正则化技术利用并进一步细化估计的子空间。我们证明了ESTR的后悔是$\widetilde{\mathcal{O}}((d_1+d_2)^{3/2} \sqrt{r T})$，其中$\widetilde{\mathcal{O}}$隐藏对数因子，$T$是时间范围，这改进了$\widetilde{\mathcal{O}}(d_1d_2\sqrt{T})$的后悔。我们推测ESTR的遗憾界是不可改进的多对数因子，我们的初步实验表明，ESTR优于一个天真的线性强盗减少。
2019-06-09 cs.LG stat.ML
A Unified Approach to Translate Classical Bandit Algorithms to the Structured Bandit Setting
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
考虑了有限臂结构化的强盗问题，其中不同臂的平均报酬是一个公共隐参数$θ^*$的已知函数。由于我们没有对这些函数进行任何限制，因此问题设置包含了先前研究的几个假设线性或可逆奖励函数的框架。我们提出了一种新的方法来逐步估计隐藏的$θ^*$，并使用估计与平均奖励函数，大大减少探索次优武器。这种方法使我们能够从根本上概括任何经典的强盗算法，包括UCB和汤普森采样的结构化强盗设置。我们证明，通过遗憾的分析，我们提出的UCB-C算法（结构化的强盗版本的UCB）拉只有一个子集的次优武器$O(\log T)$倍，而其他次优武器（称为非竞争性武器）拉$O(1)$倍。因此，在所有次优武器都是非竞争性的情况下，这可能发生在许多实际情况下，所提出的算法实现有限的遗憾。我们还进行了模拟Movielens建议数据集，以证明所提出的算法比现有的结构化强盗算法的改进。
2021-02-03 cs.LG stat.ML
Stochastic Low-rank Tensor Bandits for Multi-dimensional Online Decision Making
Amazon（亚马逊）；Deepmind（深度思维）；Miami Herbert Business School, University of Miami（迈阿密大学迈阿密赫伯特商学院）；Krannert School of Management, Purdue University（普渡大学克兰纳特管理学院）
本文提出了随机低秩张量老虎机，用于解决多维在线决策问题，通过张量消元、张量周期贪婪和张量集成采样算法，在理论和实验中均优于忽略低秩结构的现有方法。
2024-02-13 cs.LG stat.ML
Bernoulli Rank-$1$ Bandits for Click Feedback
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Adobe Research（Adobe研究院）；University of Alberta（阿尔伯塔大学）；Telecom ParisTech（巴黎高等电信学院）
用户点击搜索结果的概率取决于其相关性及其在结果页面上的位置。基于位置的模型通过将每个项目的吸引概率和每个位置的检查概率归因于每个项目来解释这种行为。要被点击，结果必须既有吸引力又经过检验。项目位置对被点击的概率因此形成秩- $1$矩阵的条目。我们提出了学习问题的伯努利秩- $1$土匪在每一步，学习代理选择一对行和列的武器，并收到产品的伯努利分布值作为奖励。这是随机秩- $1$强盗问题的一个特殊情况，在最近的工作中，提出了一种基于消除的算法Rank 1 Elim，并表明Rank 1 Elim的遗憾与“良性”实例的行数和列数呈线性关系。这些是平均行和列奖励$μ$的最小值远离零的情况。Rank 1 Elim的问题是，它无法与$μ\rightarrow 0$等直接的强盗策略竞争。在本文中，我们提出了Rank 1 ElimKL，简单地取代（粗）的置信区间的Rank 1 Elim的Kullback-Leibler（KL）分歧的基础上的置信区间，并与一个新的结果的帮助下，关于KL分歧的缩放，我们证明了这种变化，我们的算法将是有竞争力的，无论$μ$的值。使用合成数据的实验证实，在良性情况下，Rank 1 ElimKL的性能明显优于Rank 1 Elim，而使用来自真实数据的模型的实验证实，无论数据是否良性，这些改进都是显著的。
2017-03-19 cs.LG stat.ML
Efficient Generalized Low-Rank Tensor Contextual Bandits
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出广义低秩张量上下文赌博机模型及G-LowTESTR算法，通过探索低秩张量子空间将问题降维，并在理论和实验上证明其优于向量化与矩阵化方法。
2024-01-17 cs.LG stat.ML
Pure exploration in multi-armed bandits with low rank structure using oblivious sampler
Hokkaido University（北海道大学）；Kyushu University（九州大学）
本文研究纯探索问题中奖励序列的低秩结构，提出探索策略无法获取反馈的分离设置，通过引入奖励向量的核信息设计了高效算法，并给出了遗憾界与下界的理论证明。
2023-06-28 cs.LG stat.ML
Multi-Dueling Bandits and Their Application to Online Ranker Evaluation
University of Copenhagen（哥本哈根大学）；University College London（伦敦大学学院）
新的排名算法正在不断开发和完善，需要开发有效的方法来评估这些排名。在线排名评估的重点是有效地确定的挑战，从隐式用户反馈，排名的有限集合的排名是最好的。在线排名评估可以通过决斗禁令来建模，决斗禁令是一种用于在成对比较的有限反馈下的在线学习的数学模型。排名对的比较是通过交错结果集和检查用户点击的文档来执行的。决斗强盗模型解决了在每次迭代中比较哪对排名的关键问题，从而为探索-利用权衡提供了解决方案。最近，已经开发了用于同时比较两个以上的排序器的方法。然而，在每次迭代中比较哪些排名的问题是开放的。我们解决这个问题，提出了一个推广的决斗土匪模型，使用同时比较的一个不受限制的排名。我们评估我们的算法上的合成数据和几个标准的大规模在线排名评估数据集。我们的实验结果表明，该算法产生的数量级的改善性能相比，国家的最先进的决斗强盗算法。
2016-08-22 cs.IR cs.LG stat.ML
Stochastic Rank-1 Bandits
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Adobe Research（Adobe研究院）；University of Alberta（阿尔伯塔大学）；Telecom ParisTech（巴黎高等电信学院）
我们提出了随机秩- $1$强盗，一类在线学习问题，在每一步的学习代理选择一对行和列武器，并收到他们的价值作为奖励的产品。这个问题的主要挑战是行和列的各个值是不可观察的。我们假设这些值是随机的，并且是独立绘制的。我们提出了一个计算效率高的算法来解决我们的问题，我们称之为Rank 1 Elim。我们推导出一个$O((K + L) (1 / Δ) \log n)$上界的$n$ -步遗憾，其中$K$是行数，$L$是列数，和$Δ$是最小的行和列的差距，在假设的平均行和列奖励有界远离零。据我们所知，我们提出了第一个强盗算法，找到一个秩$1$矩阵的最大条目，其遗憾是线性的$K + L$，$1 / Δ$，和$\log n$。我们还得到了一个几乎匹配的下界。最后，我们评估Rank 1 Elim经验上的多个问题。我们观察到，它利用了我们问题的结构，即使我们的建模假设被轻微违反，它也可以学习接近最优的解决方案。
2017-03-08 cs.LG stat.ML
Cascading Bandits: Learning to Rank in the Cascade Model
Adobe Research（Adobe研究院）；University of Alberta（阿尔伯塔大学）；Yahoo Labs（雅虎实验室）；Technicolor Research（特艺集团研究院）
搜索引擎通常输出$K$网页的列表。用户检查这个列表，从第一个网页到最后一个，并选择第一个有吸引力的页面。这种用户行为模型被称为级联模型。在本文中，我们提出了级联土匪，级联模型的学习变体，其目标是确定$K$最有吸引力的项目。我们制定我们的问题作为一个随机组合部分监控问题。我们提出了两个算法来解决它，CascadeUCB 1和CascadeKL-UCB。我们还证明了这些算法的遗憾的间隙依赖的上界，并推导出一个下界的遗憾级联土匪。下限与CascadeKL-UCB的上限匹配，直到对数因子。我们在几个问题上用我们的算法进行实验。即使在我们的建模假设被违反的情况下，这些算法的表现也令人惊讶。
2015-05-18 cs.LG stat.ML
A Unified Regularization Approach to High-Dimensional Generalized Tensor Bandits
University at Buffalo（布法罗大学）
本文提出一种基于弱可分解正则化器的统一框架，用于高维广义张量赌博机，以处理高阶上下文信息，并实现更优的理论界与更广泛的适用性。
2025-01-23 cs.LG stat.ML
BanditRank: Learning to Rank Using Contextual Bandits
Indian Institute of Technology (BHU) Varanasi（印度理工学院（巴纳拉斯印度教大学）瓦拉纳西分校）；Yahoo Japan Corporation（雅虎日本公司）
我们提出了一种可扩展的深度学习方法，该方法使用强化学习来训练神经网络，用于信息检索（IR）中的离线排名。我们称我们的方法为BanditRank，因为它将排名视为上下文强盗问题。在IR的学习排序领域，当前的深度学习模型是在与评估指标不同的目标函数上训练的。由于大多数评估指标是离散量，因此无法在没有近似的情况下直接使用梯度下降算法来利用它们。BanditRank通过使用梯度下降直接优化特定于任务的度量（例如平均精度（MAP））来弥补这一差距。具体地说，一个上下文的强盗的行动是排名输入文件的训练使用策略梯度算法直接最大化的奖励。奖励可以是单个度量，例如MAP，或几个度量的组合。排名的概念也是BanditRank中固有的，类似于当前的\textit{listwise}方法。为了评估BanditRank的有效性，我们对与三种不同任务相关的数据集进行了一系列实验，即，网络搜索、社区和事实问答。我们发现，当应用于问答数据集时，它比最先进的方法表现得更好。在网络搜索数据集上，我们发现BanditRank的表现优于四个强大的列表基线，包括LambdaMART，AdaRank，ListNet和Coordinate Ascent。
2019-10-23 cs.IR cs.LG
A Reduction-Based Framework for Conservative Bandits and Reinforcement Learning
Peking University（北京大学）；University of California, Berkeley（加州大学伯克利分校）；Facebook AI Research（脸书人工智能研究院）；University of Washington（华盛顿大学）
在本文中，我们提出了一个基于减少的框架，保守土匪和RL，其中我们的核心技术是计算必要的和足够的预算，从运行基线政策。对于下界，我们改进了现有的保守多臂土匪的下界，并获得了新的下界保守线性土匪，列表RL和低秩MDP，通过黑箱约简，把一定的下界在非保守设置到一个新的下界在保守设置。对于上界，在多武装土匪，线性土匪和表格RL，我们的新的上界收紧或匹配现有的显着简单的分析。我们还得到了保守低秩MDP的一个新的上界。
2022-03-16 cs.LG stat.ML
Cascading Hybrid Bandits: Online Learning to Rank for Relevance and Diversity
University of Amsterdam（阿姆斯特丹大学）；Bloomberg（彭博）；Ahold Delhaize（阿霍德·德尔海兹）
相关性排序和结果多样化是现代推荐系统的两个核心领域。相关性排名旨在建立一个按项目相关性降序排序的排名列表，而结果多样化则侧重于生成一个涵盖广泛主题的项目排名列表。在本文中，我们研究了一个在线学习设置，旨在推荐一个排名列表，其中包含最大化排名效用的$K$项目，即，一个列表，其中的项目是相关的，其主题是多样化的。我们将其表述为级联混合土匪（CHB）问题。CHB假设级联用户行为，其中用户从上到下浏览显示的列表，单击第一个有吸引力的项目，并停止浏览其余的。我们提出了一个混合上下文强盗的方法，称为CascadeHybrid，解决这个问题。CascadeHybrid使用两个独立的函数对项目相关性和主题多样性进行建模，并同时从用户点击反馈中学习这些函数。我们在两个真实世界的推荐数据集上进行实验来评估CascadeHybrid：MovieLens和Yahoo音乐数据集。我们的实验结果表明，CascadeHybrid优于基线。此外，我们证明了理论上的保证$n$步骤的性能，证明了CascadeHybrid的健全。
2020-08-12 cs.IR cs.LG stat.ML
Stochastic Low-Rank Bandits
Adobe Research（Adobe 研究院）；University of Alberta（阿尔伯塔大学）；Rutgers University（罗格斯大学）
计算机视觉和推荐系统中的许多问题都涉及到低秩矩阵。在这项工作中，我们研究的问题，找到一个随机低秩矩阵的最大项目，从顺序观察。在每一步，学习代理选择成对的行和列臂，并接收其潜在值的噪声乘积作为奖励。主要的挑战是潜在价值未被观察到。我们确定了一类非负矩阵的最大条目可以找到统计有效，并提出了一种算法，找到他们，我们称之为LowRankElim。我们推导出了$\DeclareMathOperator{\poly}{poly} O((K + L) \poly(d) Δ^{-1} \log n)$的$n$ -步遗憾上界，其中$K$是行数，$L$是列数，$d$是矩阵的秩，$Δ$是最小间隙。该界限取决于其他特定问题的常数，而这些常数显然不依赖于$K L$。据我们所知，这是文献中的第一个这样的结果。
2017-12-13 cs.LG stat.ML
DCM Bandits: Learning to Rank with Multiple Clicks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Adobe Research（奥多比研究院）；University of Alberta（阿尔伯塔大学）
搜索引擎向用户推荐网页列表。用户检查这个列表，从第一页到最后一页，点击所有有吸引力的页面，直到用户满意为止。用户的这种行为可以通过依赖点击模型（DCM）来描述。我们提出了DCM土匪，一个在线学习的DCM变种，其目标是最大限度地提高推荐满意的项目，如网页的概率。我们学习问题的主要挑战是，我们没有观察到哪个有吸引力的项目是令人满意的。我们提出了一个计算效率高的学习算法解决我们的问题，dcmKL-UCB;在合理的假设下，得出其遗憾的差距相关的上界，并证明了一个匹配的下限对数因子。我们评估我们的算法在合成和现实世界的问题，并表明，它表现良好，即使当我们的模型是错误的。这项工作提出了第一个实用的和遗憾最佳的在线算法，学习排序与级联式点击模型中的多次点击。
2016-05-31 cs.LG stat.ML
Ranked bandits in metric spaces: learning optimally diverse rankings over large document collections
Microsoft Research Silicon Valley（微软研究院硅谷分院）；Microsoft Research Cambridge（微软研究院剑桥分院）
大多数学习排序研究都假设不同文档的效用是独立的，这导致学习的排序函数返回冗余的结果。少数几种避免这种情况的方法缺乏理论基础，或者无法扩展。我们提出了一个学习排名配方，优化满意的用户的分数，与几个可扩展的算法，明确考虑到文档的相似性和排名的上下文。我们的公式是来自文献的两个多臂强盗模型的非平凡的共同推广：“排名强盗”（Radlinski等人，ICML 2008）和“Lipschitz bandits”（Kleinberg等人，STOC 2008）。我们提出了这种方法的理论依据，以及一个接近最佳的算法。我们的评估增加了优化，提高了经验性能，并表明我们的算法比以前的方法更快地学习数量级。
2012-09-01 cs.DS cs.LG
Low-Rank Bandits via Tight Two-to-Infinity Singular Subspace Recovery
Laboratory for Information and Decision Systems, MIT（麻省理工学院信息与决策系统实验室）；Division of Decision and Control Systems, KTH（瑞典皇家理工学院决策与控制系统分部）
本文针对低秩上下文老虎机提出基于谱方法的两阶段算法，先紧致恢复奇异子空间，再转化为误设定线性老虎机，在策略评估、最优策略识别和遗憾最小化上均取得近极小极大最优保证。
2024-07-04 cs.LG stat.ML
Top $K$ Ranking for Multi-Armed Bandit with Noisy Evaluations
Meta AI；CREST, ENSAE（法国国立统计与经济管理学院经济与统计研究中心）；Core Data Science, Meta（Meta核心数据科学部）
我们考虑一个多臂的强盗设置，在每一轮开始时，学习者收到嘈杂的独立，并可能有偏见，\emph{evaluations}的真实奖励的每个手臂，它选择$K$武器的目标是积累尽可能多的奖励超过$T$轮。假设在每一轮，每个手臂的真正奖励是从一个固定的分布，我们得出不同的算法方法和理论保证，这取决于如何产生的评价。首先，我们显示了$\widetilde{O}(T^{2/3})$遗憾在一般情况下，当观察功能是一个genearized的线性函数的真实回报。另一方面，我们表明，一个改进的$\widetilde{O}(\sqrt{T})$遗憾时，观察功能是噪声的线性函数的真实回报。最后，我们报告了一个实证验证，证实了我们的理论研究结果，提供了一个彻底的比较替代方法，并进一步支持这种设置在实践中的利益。
2022-04-12 cs.LG stat.ML
OSOM: A simultaneously optimal algorithm for multi-armed and linear contextual bandits
University of California, Berkeley（加州大学伯克利分校）
我们考虑随机线性（多臂）上下文的强盗问题的可能性隐藏简单的多臂强盗结构的奖励是独立的上下文信息。已知仅针对其中一个机制设计的算法对于替代机制是次优的。我们设计了一个计算效率高的算法，同时获得问题相关的最优后悔率在简单的多臂土匪政权和最小最优后悔率在线性上下文土匪政权，而不知道先验的两个模型产生的奖励。在上下文信息多轮随机性的条件下证明了这些结果。我们的研究结果应被视为一个步骤，对有原则的数据依赖的政策类选择上下文土匪。
2020-10-06 cs.LG stat.ML
Combinatorial Causal Bandits
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Microsoft Research（微软研究院）
在组合因果强盗（CCB）中，学习代理在每一轮中最多选择$K$变量进行干预，从观察到的变量中收集反馈，目标是最小化对目标变量$Y$的预期后悔。我们研究的背景下，二进制广义线性模型（BGLM）的因果模型的简洁的参数表示。基于极大似然估计方法，提出了马尔可夫BGLM（即无隐变量）的BGLM-OFU算法，并证明了该算法能实现$O(\sqrt{T}\log T)$后悔，其中$T$是时域.对于隐变量线性模型的特殊情况，我们应用因果推理技术，如do-calculus转换为马尔可夫模型的原始模型，然后表明，我们的BGLM-OFU算法和另一种算法的基础上的线性回归都解决这种隐变量线性模型。我们的新颖性包括（a）考虑组合干预行动空间和一般因果模型，包括具有隐藏变量的模型，（b）整合和适应来自不同研究的技术，如广义线性强盗和在线影响力最大化，（c）避免不切实际的假设（例如知道所有干预下$Y$的父母的联合分布）和后悔因子在先前的研究中与因果图大小成指数关系。
2022-12-20 cs.LG cs.SI stat.ME
Combinatorial Bandits with Relative Feedback
Indian Institute of Science（印度科学研究所）
我们考虑组合在线学习与子集的选择时，只有相对反馈信息的子集是可用的，而不是强盗或半强盗反馈，这是绝对的。具体而言，我们研究了两个遗憾最小化问题的子集的有限基集$[n]$，与子集明智的相对偏好信息反馈根据多项logit选择模型。在第一设置中，学习者可以播放由最大大小限定的大小的子集，并且接收顶部$m$等级排序的反馈，而在第二设置中，学习者可以播放固定大小的子集$k$，其中观察到完整的子集等级作为反馈。对于这两种设置，我们设计的实例依赖和订单最优后悔算法与遗憾$O(\frac{n}{m} \ln T)$和$O(\frac{n}{k} \ln T)$，分别。我们得出的基本限制的遗憾性能的在线学习与子集明智的喜好，证明了我们的遗憾保证的紧密性。我们的研究结果还表明，引发更一般的顶部$m$排名排序反馈的价值超过单一赢家反馈（$m=1$）。我们的理论结果与实证评估相印证。
2020-02-26 cs.LG stat.ML
Active clustering with bandit feedback
INRAE（法国国家农业食品与环境研究院）；Institut Agro（法国国家农业、食品与环境学院）；Univ Montpellier（蒙彼利埃大学）；Université Paris-Saclay（巴黎萨克雷大学）；Institut für Mathematik, Universität Potsdam（波茨坦大学数学研究所）
针对带次高斯反馈的随机老虎机中的隐藏臂分区问题，本文给出非渐近预算下界，并提出计算高效且在多数情形下达到下界的 ACB 主动聚类算法。
2024-06-17 cs.LG stat.ML
Policy Regret for Embedding Model Routing: Contextual Bandits with Low-Rank Experts
Operations Research Center, MIT（麻省理工学院运筹学研究中心）；Sloan School of Management, MIT（麻省理工学院斯隆管理学院）；Department of EECS, MIT（麻省理工学院电气工程与计算机科学系）
针对推荐系统中嵌入模型路由问题，形式化为具有低秩专家的对抗性上下文线性赌博机，提出Hypentropy策略梯度算法，实现$\tilde{\mathcal O}(s\sqrt{M T})$线性化策略遗憾。
2026-09-28 cs.AI cs.LG stat.ML
Finding the bandit in a graph: Sequential search-and-stop
INRIA Lille（里尔法国国家信息与自动化研究所）；ENS Paris-Saclay（巴黎-萨克雷高等师范学院）；Criteo Research（Criteo研究院）
我们考虑的问题，代理人要找到一个隐藏的对象，是随机位于一些顶点的有向无环图（DAG）根据一个固定的，但可能是未知的分布。智能体只能检查已经检查过内邻居的顶点。在本文中，我们解决了一个学习设置，我们允许代理停止之前发现的对象，并重新开始搜索同一问题的一个新的独立的实例。我们的目标是在给定时间预算的情况下最大化找到的隐藏对象的总数。因此，智能体可以跳过一个实例后，意识到它会花太多的时间在它身上。我们的贡献是搜索理论和多武装土匪。如果分布是已知的，我们提供了一个准最优和有效的平稳策略。如果分布是未知的，我们还展示了如何顺序地近似它，并在同一时间，采取接近最佳的行动，以收集尽可能多的隐藏对象。
2019-04-22 cs.LG math.OC stat.ML
On Learning to Rank Long Sequences with Contextual Bandits
Google Research（谷歌研究院）；John Hopcroft Center（约翰·霍普克罗夫特中心）；Shanghai Jiao Tong University（上海交通大学）
出于学习排序长项目序列的问题，我们引入了一个变种的级联强盗模型，认为灵活的长度序列不同的奖励和损失。我们制定了两个生成模型，这个问题的广义线性设置，并设计和分析上置信度算法it.Our分析提供了严格的遗憾界，当专门香草级联土匪，结果在更清晰的保证比以前在文献中。我们评估我们的算法在一些现实世界的数据集，并显示显着改善的经验性能相比，已知的级联土匪基线。
2021-06-07 cs.AI cs.LG
Optimal Gradient-based Algorithms for Non-concave Bandit Optimization
University of Washington（华盛顿大学）；Tsinghua University（清华大学）；Peking University（北京大学）；Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
具有线性或凹报酬的强盗问题已经得到了广泛的研究，但相对较少的工作，研究非凹报酬的强盗。本文考虑一类报酬函数为非凹函数的bandit问题，包括低秩广义线性bandit问题和具有多项式激活的两层神经网络bandit问题.对于低秩广义线性强盗问题，我们给出了一个在维数上极小极大最优的算法，反驳了文献[LMT 21，JWWN 19]中的两个结论。我们的算法是基于一个统一的零阶优化范式，适用于在很大的普遍性，并在几个结构化的多项式设置（在维度）达到最佳速率。我们进一步证明了我们的算法在生成模型设置中的RL中的适用性，从而提高了先前方法的样本复杂性。最后，我们证明了标准的乐观算法（例如，UCB）因尺寸因素而次优。在神经网络设置（多项式激活函数）与无噪声奖励，我们提供了一个强盗算法的样本复杂度等于内在代数维数。再次，我们表明，乐观的方法有更差的样本复杂性，多项式的外维数（这可能是指数更差的多项式次数）。
2021-07-09 cs.LG stat.ML
Ranking In Generalized Linear Bandits
University of Oxford（牛津大学）
研究广义线性bandit中的排序问题，考虑位置和物品依赖性对奖励的影响，设计了UCB和Thompson Sampling算法，推广现有研究并连接图论。
2024-01-01 cs.IR cs.LG math.OC
Factored Bandits
University of Copenhagen（哥本哈根大学）
我们介绍的因素土匪模型，这是一个框架，学习有限（土匪）反馈，行动可以分解成一个笛卡尔积的原子行动。因子化的强盗把一级强盗作为特例，但大大放松了对奖励函数形式的假设。我们提供了一个随时算法的随机因子土匪和常数匹配的上下限遗憾的问题。此外，我们表明，该算法稍加修改，可以适用于公用事业为基础的决斗土匪。我们得到了改进的附加条款的遗憾界相比，最先进的算法（附加条款占主导地位的时间范围是指数的武器数量）。
2018-10-29 cs.LG stat.ML
Optimizing Ranking Systems Online as Bandits
University of Amsterdam（阿姆斯特丹大学）；Ahold Delhaize（皇家阿霍德德尔海兹集团）；Microsoft（微软）
排序系统是现代检索和推荐系统的核心部分，其目标是根据用户上下文对候选项进行排序。在线优化排名系统意味着部署的系统可以服务于用户请求，例如，查询，并通过从用户交互中学习来优化排名策略，例如，次点击Bandit是一个通用的在线学习框架，可以用于我们的优化任务。然而，由于排名的独特性，在设计用于排名系统优化的强盗算法方面存在一些挑战。在这篇论文中，我们研究并提出了四个挑战的解决方案，在优化排名系统在线：有效性，安全性，非平稳性和多样化。首先，有效性与算法从交互中学习的速度有关。本文研究了有效的在线排名评估任务，提出了一种有效的在线排名评估算法。其次，部署的算法应该是安全的，这意味着算法只显示用户请求的合理内容。为了解决安全的在线学习排名问题，我们提出了BubbleRank算法。第三，当用户不断改变他们的偏好时，算法应该处理非平稳性。我们制定这个非平稳在线学习排名问题级联非平稳土匪，并提出CascadeDUCB和CascadeSWUCB算法来解决这个问题。最后，排行榜的内容应该是多样的。我们认为结果多样化的任务，并提出了CascadeHybird算法，同时考虑项目的相关性和结果多样化时，从用户交互学习。
2021-10-12 cs.IR cs.LG
Sequential ranking under random semi-bandit feedback
在许多web应用中，推荐不是向用户建议的单个项目，而是在某些上下文中可以排名的可能感兴趣的内容的列表。组合强盗问题在过去的两年中得到了广泛的研究，并且有许多理论结果：后悔算法的下界或渐近最优算法。然而，由于可以考虑的各种情况，结果被设计为解决特定奖励结构（如级联模型）的问题。目前的工作重点是当用户被允许点击几个项目，同时从上到下扫描列表的排名项目的问题。
2016-05-26 cs.DS cs.LG
A Simple Unified Framework for High Dimensional Bandit Problems
Purdue University（普渡大学）
具有低维结构的随机高维强盗问题在不同的应用中是有用的，例如在线广告和药物发现。在这项工作中，我们提出了一个简单的统一算法，这样的问题，并提出了一个通用的分析框架，我们的算法的遗憾上限。我们表明，在一些温和的统一假设下，我们的算法可以适用于不同的高维强盗问题。我们的框架利用低维结构来指导问题中的参数估计，因此我们的算法在LASSO强盗中实现了可比较的遗憾界，以及在低秩矩阵强盗，组稀疏矩阵强盗和一个新的问题：多智能体LASSO强盗中实现了新的界。
2022-06-19 cs.LG stat.ML
Low-rank Matrix Bandits with Heavy-tailed Rewards
University of California, Davis（加利福尼亚大学戴维斯分校）；Google（谷歌）
针对具有重尾奖励的低秩矩阵老虎机问题，提出基于截断与动态探索的LOTUS算法，在未知T与秩的情况下达到近最优遗憾界并验证其优越性。
2024-04-26 cs.LG stat.ML
Neural Contextual Bandits with Deep Representation and Shallow Exploration
University of California, Los Angeles（加州大学洛杉矶分校）；DeepMind（深度思考（DeepMind））；Adobe Research（Adobe研究院）
我们研究了一般类的上下文强盗，其中每个上下文动作对与原始特征向量相关联，但奖励生成函数是未知的。我们提出了一种新的学习算法，该算法使用深度ReLU神经网络的最后一个隐藏层（深度表示学习）来转换原始特征向量，并使用上置信界（UCB）方法来探索最后一个线性层（浅层探索）。我们证明了在标准假设下，我们提出的算法实现了$\tilde{O}(\sqrt{T})$有限时间后悔，其中$T$是学习时间范围。与现有的神经上下文强盗算法相比，我们的方法是计算效率更高，因为它只需要探索在深层神经网络的最后一层。
2020-12-03 cs.LG stat.ML
Thresholding Bandit Problem with Both Duels and Pulls
Carnegie Mellon University（卡内基梅隆大学）；New York University（纽约大学）
持有武器的强盗问题（TBP）的目标是找到一组武器的平均回报大于给定的阈值。我们考虑一种新的TBP设置，其中除了拉臂之外，还可以\emph{duel}双臂，并获得具有更大均值的臂。在我们的众包激励应用程序中，双臂决斗比直接拉动更具成本效益和时间效率。我们把这个问题称为带有决斗选择的TBP（TBP-DC）。本文提出了一种基于排序和二分搜索交替进行的排序搜索（RS）算法。我们证明了RS的理论保证，也给出了下界，以显示它的最优性。实验表明，RS优于以前的基线算法，只使用拉或决斗。
2020-06-12 cs.LG stat.ML
Contextual bandits with concave rewards, and an application to fair ranking
PSL University（巴黎文理研究大学）；Meta AI
我们认为上下文的强盗与凹奖励（CBCR），一个多目标的强盗问题，其中所需的权衡之间的奖励是由一个已知的凹目标函数定义的，和奖励向量取决于观察到的随机上下文。我们提出了第一个算法，可证明消失的遗憾CBCR没有限制的政策空间，而以前的作品仅限于有限的政策空间或表格表示。我们的解决方案是基于几何解释的CBCR算法作为优化算法的期望回报跨越所有随机政策的凸集。基于约束凸优化中的Frank-Wolfe分析，我们得到了一个新的减少，从CBCR遗憾的标量奖励强盗问题的遗憾。我们说明了如何应用减少现成的线性和一般的奖励函数，在非组合行动的情况下，获得算法的CBCR。出于公平的建议，我们描述了一个特殊情况下的CBCR排名和公平意识的目标，导致第一个算法的遗憾保证上下文组合土匪公平曝光。
2023-02-28 cs.AI cs.CY cs.IR
Influence Diagram Bandits: Variational Thompson Sampling for Structured Bandit Problems
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；DeepMind；Duke University（杜克大学）；Norwegian University of Science and Technology（挪威科技大学）
我们提出了一个新的框架结构化土匪，我们称之为影响图土匪。我们的框架捕捉复杂的统计依赖关系之间的行动，潜变量和观察，从而统一和扩展了许多现有的模型，如组合半土匪，级联土匪，低秩土匪。我们开发了新的在线学习算法，学习在我们的模型中有效地行动。其关键思想是精确或近似地跟踪模型参数的结构化后验分布。为了采取行动，我们从模型参数的后验中采样，然后使用影响图的结构来找到采样参数下的最乐观行动。我们经验评估我们的算法在三个结构化的强盗问题，并表明，他们的表现以及或优于特定问题的最先进的基线。
2020-07-09 cs.LG stat.ML
Catching a Moving Subspace: Low-Rank Bandits Beyond Stationarity
H. Milton Stewart School of Industrial and Systems Engineering（H. Milton Stewart工业与系统工程学院）；Georgia Institute of Technology（佐治亚理工学院）
本文研究了在子空间漂移的情况下，低秩线性上下文老虎机的问题，提出了一种新的算法SPSC，在保持子空间变化的同时，实现了基于秩的动态遗憾率。
2026-05-18 cs.AI cs.LG stat.ML
Top-K Ranking Deep Contextual Bandits for Information Selection Systems
DEVCOM Army Research Laboratory（美国陆军研究实验室）；University of Maryland（马里兰大学）
在当今的技术环境中，信息是丰富的，动态的，和异构的性质。信息的自动过滤和优先级排序是基于信息是否为目标增加了实质性价值之间的区别。上下文多臂强盗已被广泛用于学习根据用户兴趣或相关性过滤内容和优先级。学习排名技术优化了项目的相关性排名，允许相应地选择内容。我们提出了一种新的方法，top-K排名的上下文多臂强盗框架下。我们用神经网络对随机奖励函数进行建模，以允许非线性近似来学习奖励和上下文之间的关系。我们展示了这种方法，并评估了在模拟场景中使用真实世界数据集从实验中学习的性能。实验结果表明，该方法在复杂的奖励结构和高维的上下文特征下表现良好。
2022-01-28 cs.IR cs.LG
Sparsity-Agnostic Lasso Bandit
Seoul National University（首尔大学）；Columbia University（哥伦比亚大学）
我们考虑一个随机上下文强盗问题的特征向量的维度$d$是潜在的大，但是，只有一个稀疏的子集的基数$s_0 \ll d$的功能影响的奖励函数。基本上，所有现有的稀疏强盗算法需要稀疏指数$s_0$的值的先验知识。这方面的知识几乎从来没有在实践中，这个参数的错误指定可能会导致现有方法的性能严重恶化。本文的主要贡献是提出了一种算法，不需要先验知识的稀疏性指标$s_0$，并建立严格的遗憾界，其性能在温和的条件下。我们还全面评估了我们提出的算法的数值，并表明它始终优于现有的方法，即使正确的稀疏性指数显示给他们，但保持隐藏从我们的算法。
2021-04-28 cs.LG stat.ML
Deep Neural Linear Bandits: Overcoming Catastrophic Forgetting through Likelihood Matching
Technion Israel Institute of Technology（以色列理工学院）
研究了求解高维边信息序贯决策问题的神经线性强盗模型。神经线性强盗利用深度神经网络的表示能力，并将其与为线性上下文强盗设计的高效探索机制相结合，在最后一个隐藏层之上。由于表示在学习期间被优化，因此关于使用“旧”特征的探索的信息丢失。在这里，我们提出了第一个有限的记忆神经线性强盗，是弹性的这种现象，我们的术语灾难性遗忘。我们评估我们的方法在各种现实世界的数据集，包括回归，分类和情感分析，并观察到我们的算法是弹性的灾难性遗忘，并取得优异的性能。
2019-08-11 cs.AI cs.LG stat.ML
On High-dimensional and Low-rank Tensor Bandits
University of Virginia（弗吉尼亚大学）
本文提出TOFU算法，利用张量回归和范数约束解决高维低秩张量老虎机问题，显著改进遗憾上界并建立性能下界。
2023-05-06 cs.IT cs.LG eess.SP
PAC Battling Bandits in the Plackett-Luce Model
Indian Institute of Science（印度科学学院）
我们引入了Plackett-Luce（PL）子集选择模型的可能近似正确（PAC）\emph{Battling-Bandit}问题-一个在线学习框架，在每次试验中，学习者从一组固定的$n$臂中选择一个$k$臂的子集，随后观察指示所选子集中项目偏好信息的随机反馈，例如，最喜欢的项目或排名前$m$最喜欢的项目等的目的是确定一个接近最好的项目在底层PL模型具有高的信心。这概括了$n$臂上的充分研究的PAC \emph{Dueling-Bandit}问题，其目的是从成对偏好信息中恢复\emph{best-arm}，并且已知需要$O(\frac{n}{ε^2} \ln \frac{1}δ)$样本复杂度\citep{Busa_pl,Busa_top}。我们在不同的反馈模型下研究了这个问题的样本复杂度：（1）子集的赢家（WI），和（2）$2\le m \le k$的顶级$m$项目的排名（TR）。令人惊讶的是，我们发现，与赢家信息（WI）反馈的大小$2 \leq k \leq n$的子集，最好的可实现的样本复杂度仍然是$O\left( \frac{n}{ε^2} \ln \frac{1}δ\right)$，独立于$k$，并在决斗强盗设置（$k=2$）相同。对于更一般的顶级$m$排名（TR）反馈模型，我们显示了一个显着较小的下限样本复杂性的$Ω\bigg( \frac{n}{mε^2} \ln \fr…
2019-03-01 cs.LG stat.ML
Adversarial Sleeping Bandit Problems with Multiple Plays: Algorithm and Ranking Application
Expedia Group（亿客行集团）
本文提出一种高效算法解决在线推荐系统中的多次选择睡眠老虎机问题，扩展了单臂选择算法，在对抗性损失和未知臂可用性下实现了$\bigO(kN^2\sqrt{T\log T})$的遗憾上界。
2023-07-27 cs.AI cs.LG
Regime Switching Bandits
The Chinese University of Hong Kong（香港中文大学）；University of Toronto（多伦多大学）
我们研究了一个多臂强盗问题的奖励表现出政权切换。具体而言，从所有武器产生的随机奖励的分布调制的一个共同的基本状态建模为有限状态马尔可夫链。代理不观察底层状态，必须学习转移矩阵和奖励分布。我们提出了一个学习算法这个问题，建立在隐马尔可夫模型的谱矩估计方法，部分可观察马尔可夫决策过程中的信念误差控制和在线学习的置信上限方法。我们还建立了一个上限$O(T^{2/3}\sqrt{\log T})$所提出的学习算法，其中$T$是学习视野。最后，我们进行概念验证实验来说明学习算法的性能。
2021-02-01 cs.LG stat.ML
Low-rank Bandits with Latent Mixtures
Indian Institute of Science（印度科学理工学院）；Inria Saclay – Île de France（法国国家信息与自动化研究所萨克雷-法兰西岛研究中心）
我们研究的任务，最大限度地提高回报，从推荐项目（行动），用户顺序交互的推荐系统。用户被建模为C许多代表性的用户类的潜在混合物，其中每个类指定跨动作的平均奖励配置文件。用户特征（类上的混合分布）和项目特征（每个类的平均奖励向量）都是先验未知的。用户身份是学习者在交互时唯一可用的上下文信息。这在来自向用户b推荐项目a的预期回报ra，b的矩阵上引起低秩结构。当用户或物品侧特征完全已知时，问题简化为众所周知的线性强盗。在设置中，每个用户，其随机采样的口味配置文件，交互只有少量的会话，我们开发了一个强盗算法的双边不确定性。它结合了Anandkumar等人（2014 b）的鲁棒张量幂方法和Abbasi-Yadkori等人（2011）的OFUL线性强盗算法。我们提供了这个组合的第一个严格的遗憾分析，表明它的遗憾后，T用户交互是$\tilde O(C\sqrt{BT})$，与B的用户数量。对这一结果的一个成分是一个新的鲁棒性的OFUL，独立的利益。
2016-09-06 cs.LG
A framework for optimizing COVID-19 testing policy using a Multi Armed Bandit approach
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
检测是应对COVID-19疫情的重要组成部分。由于资源有限，测试的可用性是一个瓶颈，需要对个人进行有效的优先级排序。在这里，我们讨论了不同的优先级政策对COVID-19患者发现的影响，以及政府和卫生组织使用结果进行有效决策的能力。我们提出了一个测试框架，平衡了最大限度地发现阳性个体与以人群为基础的监测的需要，旨在了解疾病的传播和特点。该框架借鉴了网络安全领域的类似优先排序方法，即使用风险评分对个人进行排名，然后保留一部分随机抽样的能力。这种方法是多武装土匪最大化勘探/开发底层分布的应用。我们发现，可以使用一些简单的特征对个体进行有效的测试，并且使用这样的模型对它们进行排名，我们可以捕获65%（CI：64.7%-68.3%）使用不到20%检测容量的阳性个体或92.1%（CI：91.1%-93.2%）的阳性个体，使用70%的容量，允许保留相当大一部分的测试用于群体研究。我们的方法使专家和决策者能够根据需要定制相应的政策，从而使排名政策具有透明度，并能够了解疾病在人群中的传播情况，并以知情的方式迅速作出反应。
2020-07-28 cs.LG stat.ML
Stochastic Bandits with Delay-Dependent Payoffs
Dipartimento di Informatica Università degli Studi di Milano（米兰大学信息系）
基于音乐流媒体平台中的推荐问题，我们提出了一个非平稳随机强盗模型，其中手臂的预期奖励取决于自手臂最后一次被拉动以来已经通过的回合数。在证明找到一个最优策略是NP-难的，即使所有的模型参数是已知的，我们引入了一类排名政策可证明近似，在一个常数因子，最优策略的预期回报。我们展示了一个算法，其遗憾的最佳排名政策是有界的$\widetilde{\mathcal{O}}\big(\!\sqrt{kT}\big)$，其中$k$是武器的数量和$T$是时间。我们的算法只使用$\mathcal{O}\big(k\ln\ln T\big)$开关，这有助于策略之间的切换是昂贵的。由于构建学习策略类需要根据期望对手臂进行排序，因此我们也限制了这样做所需的拉取次数。最后，我们运行实验，比较我们的算法对UCB在不同的问题实例。
2020-02-19 cs.LG stat.ML
Ranked Prioritization of Groups in Combinatorial Bandit Allocation
Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）
通过护林员巡逻防止偷猎，保护濒危野生动物，直接有助于实现联合国可持续发展目标15关于陆地生命的目标。组合强盗已经被用来分配有限的巡逻资源，但现有的方法忽略了这样一个事实，即每个位置都是不同比例的多个物种的家园，因此巡逻对每个物种都有不同程度的好处。当某些物种更脆弱时，我们应该为这些动物提供更多的保护;不幸的是，现有的组合强盗方法没有提供一种方法来优先考虑重要物种。为了弥合这一差距，（1）我们提出了一种新的组合强盗目标，在奖励最大化和物种优先级之间进行权衡，我们称之为排名优先级。我们证明了这个目标可以表示为Lipschitz连续奖励函数的加权线性和。(2)我们提供了RankedCUCB，一个算法来选择组合动作，优化我们的优先级为基础的目标，并证明它实现了渐近无遗憾。(3)我们的经验表明，RankedCUCB导致高达38%的改善濒危物种的结果使用现实世界的野生动物保护数据。除了适应其他挑战，如防止非法采伐和过度捕捞，我们的无悔算法解决了一般的组合土匪问题与加权线性目标。
2022-05-11 cs.AI cs.CY cs.LG
Efficient Frameworks for Generalized Low-Rank Matrix Bandit Problems
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）
本文针对广义低秩矩阵老虎机问题提出 G-ESTT 和 G-ESTS 两种高效算法框架，通过 Stein 方法和排除思想改进子空间估计与利用，在温和假设下获得更优遗憾界，并通过实验验证其计算可行性和优于现有方法的性能。
2024-01-14 cs.LG stat.ML
