Optimal Exploitation of Clustering and History Information in Multi-Armed Bandit
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们考虑随机多臂强盗问题和上下文强盗问题与历史观测和预聚类武器。历史观测可以包含每个手臂的任何数量的实例，并且预聚类信息是作为输入的一部分提供的手臂的固定聚类。我们开发了各种算法，有效地将这种离线信息在在线探索阶段，并获得他们的遗憾界限。特别是，我们开发的Meta算法，有效地对冲其他两种算法：一个使用历史观测和聚类，另一个只使用历史观测。当聚类质量好时，前者优于后者，反之亦然。对Warafin药物剂量和Web服务器选择延迟最小化的合成和真实世界数据集进行了广泛的实验，验证了我们的理论见解，并证明Meta是一种强大的策略，可以最佳地利用预聚类信息。
2019-05-31 cs.LG stat.ML
Finding Optimal Arms in Non-stochastic Combinatorial Bandits with Semi-bandit Feedback and Finite Budget
Paderborn University（帕德博恩大学）；University of Munich (LMU)（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
我们考虑了有限采样预算约束下的半强盗反馈组合强盗问题，其中学习者只能在有限的总预算指定的次数内执行其动作。动作是选择一组手臂，于是接收所选组中的每个手臂的反馈。与现有的作品不同，我们研究这个问题在一个非随机设置与子集相关的反馈，即，所接收的半强盗反馈可以由不经意的对手产生，并且还可以取决于所选择的武器集合。此外，我们认为一个一般的反馈方案，包括数字为基础的，以及基于偏好的情况下，并介绍了一个健全的理论框架，保证合理的概念，最佳武器，学习者试图找到这种设置。我们提出了一个通用的算法，适用于涵盖从积极到保守的所有可能的手臂消除策略。理论上的问题，足够的和必要的预算的算法，以找到最好的手臂得到回答和补充，推导出下限的任何学习算法，这个问题的情况。
2022-10-14 cs.LG stat.ML
Graph Clustering Bandits for Recommendation
University of Insubria（因苏布里亚大学）；Telefonica Research（西班牙电信研究院）
我们研究了一种有效的上下文相关的聚类技术的推荐系统的基础上探索开发策略，通过多武装土匪在多个用户。我们的算法动态组用户的基础上观察到的行为相似性在一系列记录的活动。在这样做时，该算法通过在他/她周围塑造集群来对当前服务的用户做出反应，但同时，它探索了当前未参与的用户的集群的生成。我们激励这种聚类策略的有效性，并提供了一个广泛的实证分析，对现实世界的数据集，显示可扩展性和改进的预测性能超过国家的最先进的方法，顺序聚类的用户在多臂土匪的情况下。
2016-05-02 cs.AI cs.IR cs.LG
Online Multiclass Boosting with Bandit Feedback
University of Michigan（密歇根大学）；Department of Computer Science（计算机科学系）；Department of Statistics（统计系）
我们提出了在线提升算法的多类分类与强盗反馈，学习者只收到反馈的正确性，其预测。我们提出了一个无偏估计的损失使用随机预测，允许模型更新其弱学习有限的信息。使用无偏估计，我们扩展了两个全信息提升算法（Jung等人，2017年，《土匪》上映。我们证明了强盗算法的渐近误差界完全匹配他们的全信息同行。限制反馈的成本反映在更大的样本复杂性中。实验结果也支持我们的理论研究结果，所提出的模型的性能与现有的强盗助推算法，这是有限的使用二进制弱学习器。
2019-02-25 cs.LG stat.ML
Linear Bandits with Feature Feedback
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Amazon（亚马逊）
本文探讨了一种新形式的线性强盗问题，其中算法接收通常的随机奖励以及随机反馈的功能是相关的奖励，后者的反馈是新的方面。本文的重点是发展新的理论和算法的线性强盗与特征反馈。我们发现，线性土匪与功能反馈可以实现遗憾的时间范围$T$，规模像$k\sqrt{T}$，没有先验知识的功能是相关的，也没有相关功能的数量$k$。相比之下，传统线性强盗的遗憾是$d\sqrt{T}$，其中$d$是（相关和不相关）特征的总数，因此如果使用$k\ll d$，改进可能是巨大的。新算法的计算复杂性与$k$而不是与$d$成正比，与传统的线性Bandits算法相比更适合于实际应用。我们证明了新算法的性能与合成和真正的人类标记的数据。
2019-03-12 cs.LG stat.ML
Online Boosting with Bandit Feedback
Google AI Princeton（谷歌人工智能普林斯顿）；Department of Computer Science, Princeton University（普林斯顿大学计算机科学系）
我们考虑了回归任务的在线提升问题，当学习者只有有限的信息可用时。我们给出了一个有效的遗憾最小化方法，有两个影响：一个在线助推算法与嘈杂的多点强盗反馈，和一个新的无投影在线凸优化算法与随机梯度，提高了国家的最先进的保证方面的效率。
2020-07-23 cs.LG stat.ML
Data Dependent Regret Guarantees Against General Comparators for Full or Bandit Feedback
我们研究了对抗性在线学习问题，并创建了一个完全在线的算法框架，在完全专家反馈和强盗反馈设置中具有数据依赖的后悔保证。我们研究了我们的算法对一般比较器的预期性能，这使得它适用于各种各样的问题场景。我们的算法从通用预测的角度工作，所使用的性能指标是对任意比较器序列的预期遗憾，这是我们的损失和竞争损失序列之间的差异。竞争类可以被设计为包括固定臂选择、切换强盗、上下文强盗、周期强盗或任何其他感兴趣的竞争。竞赛类中的顺序通常由手头的具体应用决定，并应相应地进行设计。我们的算法既不使用也不需要任何关于损失序列的初步信息，并且完全在线。它的性能界限是数据依赖的，其中任何仿射变换的损失没有影响的归一化后悔。
2023-03-12 cs.IT cs.LG eess.SP
Warm-starting Contextual Bandits: Robustly Combining Supervised and Bandit Feedback
Microsoft Research（微软研究院）；University of Maryland（马里兰大学）；Yale University（耶鲁大学）
我们研究了从完全标记的监督数据和上下文强盗数据的混合中学习的可行性。我们特别考虑了这两个数据源之间的基础学习信号可能不同的设置。从理论上讲，我们的状态和证明无遗憾算法的学习，是强大的两个源之间的错位成本分布。从经验上讲，我们在大量的数据集上评估了其中的一些算法，表明我们的方法在实践中是可行的和有帮助的。
2019-06-21 cs.LG stat.ML
Partial Bandit and Semi-Bandit: Making the Most Out of Scarce Users' Feedback
Kara Technology - Dpt R&D（Kara Technology - 研发部）；Groupe ESEO - ERIS（ESEO集团 - ERIS）
最近的多臂强盗（MAB）和组合多臂强盗（COM-MAB）的工作显示出良好的结果的全球准确性度量。在推荐系统的情况下，这可以通过个性化来实现。然而，对于组合在线学习方法，个性化意味着大量的用户反馈。当用户需要直接和频繁地征求时，这种反馈可能很难获得。对于正在进行业务数字化的许多活动领域来说，在线学习是不可避免的。因此，已经实现了允许隐式用户反馈检索的许多方法。然而，这种隐含的反馈可能会误导或低效的代理的学习。在这里，我们提出了一种新的方法，减少了显式反馈所需的组合多臂强盗（COM-MAB）算法的数量，同时提供了类似的水平的全局精度和学习效率的经典竞争方法。在本文中，我们提出了一种新的方法来考虑用户的反馈，并使用三种不同的策略进行评估。尽管有限数量的反馈返回的用户（低至20%的总数），我们的方法获得了类似的结果，那些国家的最先进的方法。
2020-09-16 cs.AI cs.LG stat.ML
Online Semi-Supervised Learning with Bandit Feedback
IBM Research（IBM研究院）
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题，其动机是一些应用，包括临床试验和广告推荐。我们演示了如何图卷积网络（GCN），一个半监督学习的方法，可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后，我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
Conversational Dueling Bandits in Generalized Linear Models
University of Science and Technology of China（中国科学技术大学）；Princeton University（普林斯顿大学）；ByteDance（字节跳动）；Oregon State University（俄勒冈州立大学）
针对现有对话式推荐系统仅支持二元反馈且依赖线性奖励假设的局限，本文提出基于广义线性模型和相对反馈的对话式决斗老虎机算法 ConDuel，并验证了其有效性与扩展性。
2024-07-26 cs.IT cs.LG math.IT
Dueling Bandits with Qualitative Feedback
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们提出并研究了一个新的多臂强盗问题，称为定性决斗强盗（QDB）问题，其中一个代理观察到的不是数字，而是定性反馈，通过拉每个arm. We采用相同的遗憾决斗强盗（DB）问题，决斗是通过比较定性反馈。虽然我们可以天真地使用经典的DB算法来解决QDB问题，但这种减少显着降低了性能-实际上，在QDB问题中，一个手臂赢得另一个手臂的决斗的概率可以直接估计，而无需进行实际的决斗。在本文中，我们提出了这样的QDB问题的直接算法。我们的理论分析表明，所提出的算法显着优于DB算法，通过将定性反馈，实验结果也表明了巨大的改善现有的DB算法。
2018-09-18 cs.LG stat.ML
Multi-Agent Combinatorial-Multi-Armed-Bandit framework for the Submodular Welfare Problem under Bandit Feedback
Indian Institute of Technology Ropar, Rupnagar, India（印度理工学院罗帕尔分校）；Purdue University, West Lafayette, USA（普渡大学）
本文提出多代理组合老虎机框架，用于在带反馈下解决亚模性福利问题，通过探索后承诺策略实现O(T^{2/3})的遗憾界。
2026-02-18 cs.GT cs.LG stat.ML
Local Clustering in Contextual Multi-Armed Bandits
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们研究识别用户集群的上下文多武装匪徒（MAB）。上下文MAB是内容推荐、在线广告等实际应用的有效工具。在实践中，用户依赖性在用户的行为中起着至关重要的作用，因此奖励。聚类相似用户可以提高奖励估计的质量，这反过来又会导致更有效的内容推荐和有针对性的广告。不同于传统的聚类设置，我们聚类用户的基础上未知的强盗参数，这将是增量估计。特别是，我们定义了上下文MAB中的聚类检测问题，并提出了一个强盗算法，LOCB，嵌入本地聚类过程。并从聚类的正确性、有效性和遗憾界等方面对LOCB进行了理论分析。最后，我们从各个方面评估了所提出的算法，它优于最先进的基线。
2023-03-24 cs.LG
Learning Multiclass Classifier Under Noisy Bandit Feedback
IIIT Hyderabad（海得拉巴国际信息技术学院）
本文讨论了多类分类问题与损坏或嘈杂的强盗反馈。在这种情况下，学习者可能不会收到真正的反馈。相反，它接收到的反馈已经以某种非零概率翻转。我们提出了一种新的方法来处理基于无偏估计技术的噪声强盗反馈。我们还提供了一种方法，可以有效地估计噪声率，从而提供了一个端到端的框架。所提出的算法在高噪声情况下具有$O(\sqrt{T})$阶的错误界，在最坏情况下具有$O(T^{\nicefrac{2}{3}})$阶的错误界。我们展示了我们的方法的有效性，使用广泛的实验在几个基准数据集。
2021-03-03 cs.LG stat.ML
Multiclass Online Learnability under Bandit Feedback
University of Michigan（密歇根大学）；Technion（以色列理工学院）
本文研究bandit反馈下的在线多类分类，证明无界标签空间中Bandit Littlestone维数有限是可学习性的充要条件，并指出序列一致收敛必要但不充分。
2024-01-20 cs.LG stat.ML
Online Continuous Submodular Maximization: From Full-Information to Bandit Feedback
Yale University（耶鲁大学）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们提出了三个在线算法子模最大化。第一个是Mono-Frank-Wolfe，它将$T^{1/2}$ [Chen 2018 Online]和$T^{3/2}$ [chen 2018 projection]中每个函数的梯度评估数量减少到1，并实现了$O(T^{4/5})$的$(1-1/e)$ -遗憾界。第二个是Bandit-Frank-Wolfe算法，它是第一个求解连续DR-子模极大化的Bandit算法，其$(1-1/e)$ -遗憾界为$O(T^{8/9})$ .最后，我们扩展Bandit-Frank-Wolfe的离散次模最大化，响应弗兰克-Wolfe，它达到了一个$(1-1/e)$ -遗憾界的$O(T^{8/9})$在响应强盗设置的强盗算法。
2019-10-28 cs.LG stat.ML
Optimal Stochastic Nonconvex Optimization with Bandit Feedback
University of California, Davis（加州大学戴维斯分校）
本文在一定的光滑性和子水平集假设下，研究了非凸代价函数的连续武装强盗问题。我们首先推导出一个简单的箱分裂方法的预期累积遗憾的上限。然后，我们提出了一个自适应的bin分裂方法，它可以显着提高性能。此外，一个极小极大下界的推导，这表明我们的新的自适应方法实现局部极小极大最优的期望累积后悔。
2021-03-30 cs.LG stat.ML
m-Set Adversarial Bandits with Winner Feedback
Università degli Studi di Milano（米兰大学）；Politecnico di Milano（米兰理工大学）
本研究针对m-集合对抗性赌博机，在不同效用和反馈模型下推导出遗憾的上下界，揭示了设置变化对学习速率的影响，并通过实验验证了理论分析。
2026-10-08 cs.LG stat.ML
Practical Contextual Bandits with Feedback Graphs
University of Southern California（南加州大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）
本文研究具有反馈图的上下文赌博机问题，提出基于回归归约的实用算法，在计算上可行并达到极小极大速率，从而降低实际应用中的统计复杂度。
2023-10-27 cs.LG
Optimistic Policy Optimization with Bandit Feedback
Technion - Israel Institute of Technology（以色列理工学院）；Tel Aviv University（特拉维夫大学）
策略优化方法是强化学习（RL）算法中应用最广泛的一类。然而，到目前为止，这些方法主要是从优化的角度进行分析，没有解决探索的问题，或者通过对与环境的相互作用进行强有力的假设。在本文中，我们考虑基于模型的RL在表格有限地平线MDP设置未知的过渡和强盗反馈。对于这种设置，我们提出了一个乐观的信任域策略优化（TRPO）算法，我们建立$\tilde O(\sqrt{S^2 A H^4 K})$后悔随机奖励。此外，我们证明了$\tilde O( \sqrt{ S^2 A H^4 } K^{2/3} ) $后悔对抗性奖励。有趣的是，这一结果匹配以前的边界得出的强盗反馈的情况下，但与已知的过渡。据我们所知，这两个结果是第一次获得的次线性遗憾界的策略优化算法与未知的过渡和强盗反馈。
2020-06-18 cs.LG stat.ML
Unifying Clustered and Non-stationary Bandits
University of Virginia（弗吉尼亚大学）
非平稳的土匪和土匪的在线聚类解除了上下文土匪的限制性假设，并为许多重要的现实世界的场景提供了解决方案。虽然解决这两个问题的实质有相当大的重叠，但它们被独立地研究。在本文中，我们连接这两股的土匪研究的概念下的测试的同质性，无缝地解决变化检测的非平稳土匪和集群识别的在线集群的土匪在一个统一的解决方案框架。严格的遗憾分析和广泛的实证评估表明，我们提出的解决方案的价值，特别是它的灵活性，在处理各种环境假设。
2020-09-05 cs.LG stat.ML
A Unified Analysis of Nonstochastic Delayed Feedback for Combinatorial Semi-Bandits, Linear Bandits, and MDPs
University of Amsterdam（阿姆斯特丹大学）；Tel Aviv University（特拉维夫大学）；Amazon Science（亚马逊科学部门）；Politecnico di Milano（米兰理工大学）
本文提出一种新的FTRL分析方法，分离延迟与赌博机反馈成本，为组合半赌博机、对抗性MDP和线性赌博机分别导出最优或近最优遗憾界，并证明FTRL在温和条件下跨轮稳定。
2023-05-15 cs.LG
Distributed Clustering of Linear Bandits in Peer to Peer Networks
University of Oxford（牛津大学）；Technion（以色列理工学院）；MTA-SZTE Research Group on Artificial Intelligence（匈牙利科学院-塞格德大学人工智能研究组）；University of Insubria（因苏布里亚大学）
我们提供了两个分布式置信球算法，用于解决有限通信能力的对等网络中的线性强盗问题。首先，我们假设所有的同行都在解决相同的线性强盗问题，并证明我们的算法实现了最佳的渐近后悔率的任何集中式算法，可以立即通信的同行之间的信息。对于第二个，我们假设有集群的同行解决相同的强盗问题，在每个集群，我们证明了我们的算法发现这些集群，同时实现最佳的渐近后悔率在每个。通过在几个真实数据集上的实验，我们证明了所提出的算法的性能相比，国家的最先进的。
2016-06-07 cs.AI cs.LG stat.ML
KLUCB Approach to Copeland Bandits
多臂强盗（MAB）问题是一个强化学习框架，在该框架中，智能体通过对每个动作的绝对反馈来选择适当的动作，以最大化其收益。决斗强盗问题是MAB问题的一种变体，其中智能体选择一对动作并接收所选动作对的相对反馈。决斗土匪问题是非常适合建模的设置中，它是不可能提供定量反馈的每个动作，但定性反馈的每个动作是首选的情况下，人类的反馈。决斗强盗已成功应用于在线排名启发、信息检索、搜索引擎改进和临床在线推荐等应用中。本文提出了一种新的求解K臂决斗强盗问题的方法Sup-KLUCB，该方法将K臂决斗强盗问题转化为一个标准的MAB问题求解。而不是单独使用MAB算法的每一个动作在一对在陪练和自陪练算法，我们结合一对动作，并使用它作为一个动作。以前的UCB算法，如相对置信上限（RUCB）只能应用于孔多塞决斗土匪的情况下，而该算法适用于一般的Copeland决斗土匪，包括孔多塞决斗土匪作为一个特殊情况。我们的实证结果优于最先进的双汤普森采样（DSPs）的情况下，科普兰决斗土匪。
2019-02-07 cs.LG stat.ML
Delayed Feedback in Generalised Linear Bandits Revisited
Imperial College London（帝国理工学院）
本文从理论上研究广义线性赌博机中的延迟奖励问题，证明乐观算法的自然适配可使延迟惩罚与时间范围无关，显著改进了已有遗憾界，并通过模拟实验验证了理论结果。
2023-04-11 cs.LG stat.ML
Multiclass Classification using dilute bandit feedback
Machine Learning Lab IIIT Hyderabad（印度理工学院海得拉巴分校（IIIT Hyderabad）机器学习实验室II（Machine Learning Lab II））
本文介绍了一种新的多类分类在线学习框架--稀释式反馈学习。在每个时间步，该算法预测候选标签集，而不是观察到的示例的单个标签。然后，它从环境接收反馈，实际标签是否位于该候选标签集中。这种反馈被称为“稀释的强盗反馈”。在这种情况下的学习甚至比强盗反馈设置更具挑战性，因为监督中存在更多的不确定性。提出了一种基于稀释强盗反馈的多类分类算法（MC-DBF），该算法采用探索-利用策略来预测候选集。我们表明，该算法达到O（T^{1- \frac{1}{m+2} }）错误界候选标签集大小（在每一步）是m。我们证明了所提出的方法与广泛的模拟的有效性。
2021-05-17 cs.LG
Combinatorial Bandits with Relative Feedback
Indian Institute of Science（印度科学研究所）
我们考虑组合在线学习与子集的选择时，只有相对反馈信息的子集是可用的，而不是强盗或半强盗反馈，这是绝对的。具体而言，我们研究了两个遗憾最小化问题的子集的有限基集$[n]$，与子集明智的相对偏好信息反馈根据多项logit选择模型。在第一设置中，学习者可以播放由最大大小限定的大小的子集，并且接收顶部$m$等级排序的反馈，而在第二设置中，学习者可以播放固定大小的子集$k$，其中观察到完整的子集等级作为反馈。对于这两种设置，我们设计的实例依赖和订单最优后悔算法与遗憾$O(\frac{n}{m} \ln T)$和$O(\frac{n}{k} \ln T)$，分别。我们得出的基本限制的遗憾性能的在线学习与子集明智的喜好，证明了我们的遗憾保证的紧密性。我们的研究结果还表明，引发更一般的顶部$m$排名排序反馈的价值超过单一赢家反馈（$m=1$）。我们的理论结果与实证评估相印证。
2020-02-26 cs.LG stat.ML
Nonparametric Kernel Clustering with Bandit Feedback
Technical University of Munich, Munich, Germany（慕尼黑技术大学）
本文提出基于老虎机反馈的非参数聚类框架，利用核方法在再生核希尔伯特空间中进行聚类，提供理论保证并分析采样预算，适应未知信号噪声比。
2026-10-14 cs.LG stat.ML
Bandits with Feedback Graphs and Switching Costs
Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）；Courant Institute of Math. Sciences（库朗数学科学研究所）
我们研究的对抗性多臂强盗问题的部分观测是可用的，其中，除了每个动作所产生的损失，一个\emph{switching cost}引起转移到一个新的行动。所有先前已知的结果产生一个因子成比例的反馈图的独立数。给出了一个新的算法，其后悔保证仅依赖于图的控制数。我们进一步补充了一个下界的结果。最后，在部分反事实反馈存在的情况下，我们给出了一个改进的策略后悔界的新算法。
2020-03-22 cs.LG stat.ML
Stochastic Bandits with Delayed Composite Anonymous Feedback
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们探索了一个新的设置的多臂强盗（MAB）问题的灵感来自现实世界的应用程序，我们称之为“随机延迟复合匿名反馈（SDCAF）”的强盗。在SDCAF中，拉臂的奖励是随时间随机的，但在拉臂后的未来分散在固定数量的时间步长上，这个问题的复杂性源于对玩家的匿名反馈和奖励的随机生成。由于奖励的聚合性质，玩家无法将奖励与过去的特定时间步长相关联。我们提出了两种算法，这种更复杂的设置SDCAF使用基于相位的扩展UCB算法。我们进行遗憾分析，以显示次线性理论保证这两个算法。
2019-10-11 cs.LG stat.ML
Learning from eXtreme Bandit Feedback
University of California, Berkeley（加州大学伯克利分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们研究了在极大的动作空间中从强盗反馈批量学习的问题。从极端强盗反馈中学习在推荐系统中无处不在，在推荐系统中，一天内要对由数百万个选择组成的集合做出数十亿个决定，产生大量的观测数据。在这些大规模的实际应用中，监督学习框架（如XMC）被广泛使用，尽管由于bandit反馈和监督标签之间的不匹配，它们会产生显著的偏差。这种偏差可以通过重要性抽样技术来减轻，但是当处理大量动作时，这些技术遭受不切实际的变化。在本文中，我们引入了一种选择性重要性抽样估计量（sIS），该估计量在明显更有利的偏差-方差制度下运行。sIS估计器通过对每个实例的一小部分动作的奖励的条件期望执行重要性抽样来获得（Rao-Blackwellization的一种形式）。我们采用这种估计在一个新的算法程序-命名为政策优化的极限模型（POXM）-学习从强盗反馈XMC任务。在POXM中，为sIS估计器选择的操作是日志策略的前p个操作，其中p是根据数据调整的，并且显著小于操作空间的大小。我们在三个XMC数据集上使用监督到bandit的转换来对我们的POXM方法进行基准测试，以对抗三种竞争方法：BanditNet，以前应用的部分匹配修剪策略和监督学习基线。虽然BanditNet有时会在日志记录策略上略有改进，但我们的实验表明，POXM在所有基线上都有系统和显着的改进。
2021-02-22 cs.LG stat.ML
Stochastic $k$-Submodular Bandits with Full Bandit Feedback
Iowa State University（爱荷华州立大学）；Purdue University（普渡大学）
本文针对全赌博机反馈下的在线 $k$-子模优化，提出首个次线性 $\alpha$-遗憾界，覆盖多种约束场景，通过离线到在线框架转化算法，并分析离线算法的鲁棒性。
2024-12-14 cs.DS cs.LG stat.ML
Non-Stochastic Control with Bandit Feedback
Princeton University（普林斯顿大学）；Google AI Princeton（谷歌人工智能普林斯顿）
研究了具有对抗扰动的线性动力系统的控制问题，其中控制器的唯一反馈是标量损失，而损失函数本身是未知的。对于这个问题，无论系统是已知的还是未知的，我们都给出了一个有效的次线性后悔算法。算法的主要困难在于损失对过去控制的依赖性。为了克服这个问题，我们提出了一个有效的算法的一般设置的强盗凸优化的损失函数的记忆，这可能是独立的利益。
2020-08-12 cs.LG math.OC stat.ML
Federated Online Clustering of Bandits
The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）；Adobe Research（奥多比研究院）
上下文多臂强盗（MAB）是推荐系统中一个重要的序贯决策问题。一系列的作品，被称为土匪集群（CLUB），利用用户之间的协作效应，并显着提高推荐质量。由于应用规模的不断扩大和公众对隐私的担忧，越来越多的人要求保持用户数据分散，并将强盗学习推到本地服务器端。然而，现有的CLUB算法是在集中式设置下设计的，其中数据在中央服务器处可用。我们专注于研究联邦在线集群的强盗（FCUB）问题，其目的是最大限度地减少总遗憾，同时满足隐私和通信的考虑。针对这个问题，我们设计了一种新的基于相位的簇检测方案和一种新的异步通信协议。为了保护用户的隐私，以前的差分隐私（DP）的定义是不是很合适，我们提出了一个新的DP的概念，作用于用户集群级别。我们提供了严格的证据表明，我们的算法同时实现（聚类）DP，次线性通信复杂性和次线性遗憾。最后，实验评估表明，我们优越的性能与基准算法相比。
2022-08-31 cs.LG
Exploiting Correlated Auxiliary Feedback in Parameterized Bandits
National University of Singapore（新加坡国立大学）
针对可观测相关辅助反馈的参数化多臂老虎机新问题，提出利用辅助反馈构建紧置信界奖励估计器的方法，可依据相关系数刻画遗憾降幅，实验验证了性能提升效果。
2023-11-05 cs.LG stat.ML
Demystifying Online Clustering of Bandits: Enhanced Exploration Under Stochastic and Smoothed Adversarial Contexts
The Chinese University of Hong Kong（香港中文大学）
本文针对老虎机在线聚类中识别用户簇所需的强假设问题，提出UniCLUB和PhaseUniCLUB两种增强探索算法，并引入平滑对抗情境设置以消除i.i.d.要求，在更弱假设下取得与先前工作相当的遗憾界并提升实际性能。
2025-01-01 cs.AI cs.LG stat.ML
Stochastic Structured Prediction under Bandit Feedback
Heidelberg University（海德堡大学）；Tufts University（塔夫茨大学）；Amazon Development Center（亚马逊开发中心）
在强盗反馈下的随机结构化预测遵循学习协议，其中在迭代序列中的每一个上，学习器接收输入，预测输出结构，并且接收预测结构的任务损失评估形式的部分反馈。我们目前的应用程序，这种学习的情况下，凸和非凸目标的结构化预测和分析它们作为随机一阶方法。我们提出了一个实验评估问题的自然语言处理指数输出空间，并比较收敛速度在不同的目标下的实际标准的最佳任务性能的开发数据和最优化理论标准的最小平方梯度范数。在这两个标准下的最佳结果获得了一个非凸目标的两两偏好学习下的强盗反馈。
2016-11-02 cs.CL cs.LG stat.ML
Efficient Counterfactual Learning from Bandit Feedback
Yale University（耶鲁大学）；CyberAgent Inc.（CyberAgent公司）
使用来自bandit反馈的批量数据进行非策略评估和优化的最有效的统计方法是什么？对于由上下文强盗算法生成的日志数据，我们考虑从反事实策略中获得预期奖励的离线估计。我们的估计量具有最低的方差在广泛的一类估计量，实现相对于标准估计量的方差减少。然后，我们应用我们的估计，以改善广告设计的一个主要的广告公司。与理论结果相一致，我们的估计使我们能够改进现有的强盗算法，与最先进的基准相比，具有更高的统计置信度。
2018-12-05 cs.AI cs.IR cs.LG
Improving a Neural Semantic Parser by Counterfactual Learning from Human Bandit Feedback
Heidelberg University（海德堡大学）
来自人类强盗反馈的反事实学习描述了一种场景，其中记录用户对历史系统输出质量的反馈并用于改进目标系统。我们展示了如何将这种学习框架应用于神经语义解析。从机器学习的角度来看，关键的挑战在于对估计器进行适当的重新加权，以避免反事实学习中的已知退化，同时仍然适用于随机梯度优化。为了与人类用户进行实验，我们设计了一个易于使用的界面来收集人类对语义解析的反馈。我们的工作是第一个表明，语义解析器可以显着提高从记录的人类反馈数据的反事实学习。
2018-11-30 cs.CL cs.LG stat.ML
Online Clustering of Contextual Cascading Bandits
The Chinese University of Hong Kong（香港中文大学）
我们认为一个新的设置的上下文级联土匪，在线学习问题，其中底层的集群结构的用户是未知的，需要从一个随机的前缀反馈学习的在线聚类。更确切地说，学习代理向用户推荐有序的项目列表，用户检查列表并在第一个满意的项目处停止（如果有的话）。我们提出了一个俱乐部级联算法，并证明了一个$T$ -步遗憾界的顺序$\tilde{O}(\sqrt{T})$。以前的工作对应于退化的情况下，只有一个集群，我们的一般遗憾界在这种特殊情况下也显着提高他们。我们在人工数据和真实数据上进行了实验，并证明了我们的算法的有效性和结合在线聚类方法的优势。
2019-02-01 cs.LG
Online Markov Decision Processes with Aggregate Bandit Feedback
Google Research（谷歌研究院）；Tel-Aviv University（特拉维夫大学）
我们研究了一种新的在线有限时域马尔可夫决策过程的变种，具有逆向变化的损失函数和初始未知的动态。在每一集中，学习者遭受沿着为该集选择的策略所实现的轨迹累积的损失，并观察总的强盗反馈：轨迹与所遭受的累积损失一起被揭示，而不是沿着轨迹遇到的个体损失。我们的主要结果是一个计算效率高的算法与$O(\sqrt{K})$遗憾的这种设置，其中$K$是情节的数量。我们通过一个有效的减少到一个新的强盗学习设置，我们称之为扭曲的线性强盗（DLB），这是一个变种的强盗线性优化，其中学习者选择的行动是不利的扭曲之前，他们被提交。然后，我们开发了一个计算效率高的在线算法DLB，我们证明了$O(\sqrt{T})$的遗憾界，其中$T$是时间步长的数量。我们的算法是基于在线镜像下降与自和谐的障碍正则化，采用了一种新的增加学习率调度。
2021-01-31 cs.LG stat.ML
Stochastic Submodular Bandits with Delayed Composite Anonymous Bandit Feedback
McGill University（麦吉尔大学）；Mila - Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；Purdue University（普渡大学）
本文研究具有随机子模奖励和延迟复合匿名反馈的组合多臂赌博机问题，提出三种延迟模型下的遗憾界，并证明算法优于其他全臂方法。
2025-01-22 cs.AI cs.DS cs.LG
Clustering Items through Bandit Feedback: Finding the Right Feature out of Many
针对基于老虎机反馈的二分组聚类问题，提出利用Sequential Halving寻找相关特征的自适应算法，给出高概率恢复的预算上界及在部分情形下紧致的实例相关下界。
2025-03-18 cs.LG stat.ML
Counterfactual Risk Minimization: Learning from Logged Bandit Feedback
Cornell University（康奈尔大学）
我们开发了一个学习原理和一个有效的算法，批量学习从记录的强盗反馈。这种学习设置在在线系统中无处不在（例如，广告投放、网络搜索、推荐），其中算法进行预测（例如，广告排名）对于给定输入（例如，查询）并观察Bandit反馈（例如，用户点击呈现的广告）。我们首先通过倾向评分来解决学习问题的反事实性质。接下来，我们证明了泛化误差的范围，占的倾向加权经验风险估计的方差。这些建设性的界限产生了反事实风险最小化（CRM）原则。我们展示了如何CRM可以用来获得一个新的学习方法-称为政策优化指数模型（POEM）-学习随机线性规则的结构化输出预测。我们提出了一个分解的POEM目标，使有效的随机梯度优化。POEM的几个多标签分类问题进行了评估，表现出显着改善的鲁棒性和泛化性能相比，国家的最先进的。
2015-05-20 cs.LG stat.ML
Merit-based Fair Combinatorial Semi-Bandit with Unrestricted Feedback Delays
Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）
本文研究了在无限制反馈延迟和基于功绩公平性约束下的随机组合半老虎机问题，提出了能实现次线性奖励遗憾与公平性遗憾的新算法，并通过实验验证了其有效性。
2024-07-29 cs.LG stat.ML
Biased Dueling Bandits with Stochastic Delayed Feedback
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of California, Davis（加州大学戴维斯分校）
本文研究了具有随机延迟反馈的偏置对决老虎机问题，提出了两种分别适用于已知延迟分布和仅知延迟期望的算法，并给出了全面的遗憾界分析与实证评估。
2025-04-06 cs.LG stat.ML
Matrix games with bandit feedback
DeepMind（深度思维）
我们研究了一个具有未知支付矩阵和强盗反馈的经典零和矩阵博弈，其中参与者只观察彼此的行为和噪声支付。这推广了通常的矩阵游戏，其中玩家知道支付矩阵。尽管有许多应用，这个问题得到了相对较少的关注。虽然对抗强盗算法实现了低遗憾，他们没有利用矩阵结构，并执行相对于新的算法。主要贡献是对UCB和K学习的变体的遗憾分析，这些变体适用于任何对手，例如，即使对手对抗性地对学习者的混合策略做出最佳反应。一路上，我们表明，汤普森失败灾难性的，在这种情况下，并提供经验比较现有的算法。
2021-06-12 cs.LG stat.CO stat.ML
Lipschitz Bandits with Stochastic Delayed Feedback
本文提出了解决具有随机延迟反馈的Lipschitz Bandit问题的新算法，通过延迟感知放大算法和分阶段学习策略，实现了次线性后悔保证，并在不同延迟场景下验证了算法效率。
2026-02-11 cs.LG stat.ML
Bandits with Delayed, Aggregated Anonymous Feedback
Lancaster University（兰卡斯特大学）；Columbia University（哥伦比亚大学）；DeepMind；University of Alberta（阿尔伯塔大学）
我们研究的随机$K$武装土匪问题的一个变种，我们称之为“土匪延迟，聚合匿名反馈”。在这个问题中，当玩家拉动手臂时，就会产生奖励，但不会立即观察到。相反，在每一轮结束时，玩家只观察到在给定回合中碰巧到达的先前生成的奖励的数量的总和。奖励是随机延迟的，由于观察的综合性质，导致特定奖励的手臂的信息丢失。问题是，由于这种延迟的、聚合的匿名反馈，信息丢失的成本是多少？以前的作品研究了土匪随机，非匿名的延迟，并发现，遗憾的增加，只有一个附加因素有关的预期延迟。在本文中，我们表明，这种添加剂的遗憾增加可以保持在较硬的延迟，聚合匿名反馈设置时，预期的延迟（或它的约束）是已知的。我们提供了一个算法，匹配的最坏情况下的遗憾的非匿名问题时，延迟是有界的，和对数因子或一个附加的方差项无界延迟。
2018-06-13 cs.LG stat.ML
On Adaptivity in Non-stationary Stochastic Optimization With Bandit Feedback
Naveen Jindal School of Management, University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）
本文研究了带反馈和动态后悔测度的非平稳随机最优化问题。Besbes et al.（2015）的开创性工作表明，当聚合函数变化先验已知时，一个简单的重新启动算法可以获得最佳动态遗憾。在这项工作中，我们设计了一个固定步长的随机最优化算法，该算法结合Wei和Luo（2021）的多尺度采样框架，在不需要函数变化预算的先验知识的情况下实现了非平稳随机最优化中的最优动态遗憾，从而关闭了一段时间以来一直悬而未决的问题。我们还建立了一个额外的结果表明，任何算法实现良好的遗憾对固定基准具有高概率可以自动转换为算法，实现良好的遗憾对动态基准，这是适用于广泛的一类强盗凸优化算法。
2022-10-11 cs.LG stat.ML
Counterfactual Learning from Bandit Feedback under Deterministic Logging: A Case Study in Statistical Machine Translation
Heidelberg University（海德堡大学）；Amazon Development Center（亚马逊开发中心）
统计机器翻译（SMT）的反事实学习的目标是从记录的数据中优化目标SMT系统，这些数据包括用户反馈到另一个历史SMT系统预测的翻译。风险规避的商业SMT系统确定性地记录最可能的翻译这一事实带来了挑战。缺乏对SMT输出空间的充分探索似乎与反事实学习的理论要求相矛盾。我们表明，从确定性的强盗日志反事实学习是可能的，但通过平滑确定性的组件在学习。这可以通过避免经验风险最小化中的退化行为的加性和乘性控制变量来实现。我们的模拟实验表明，从确定性的强盗反馈的反事实学习的改善高达2 BLEU点。
2017-12-14 cs.CL cs.LG stat.ML
Efficient Pure Exploration for Combinatorial Bandits with Semi-Bandit Feedback
ETH Zürich（苏黎世联邦理工学院）
具有半强盗反馈的组合强盗推广了多臂强盗，其中代理选择武器集并观察所选集合中包含的每个武器的噪声奖励。动作集满足给定的结构，例如形成拟阵的基或图中的路。我们专注于纯粹的探索问题，确定最好的手臂与固定的信心，以及更一般的设置，其中的答案集的结构不同于一个动作集。使用最近流行的游戏框架，我们解释这个问题作为一个顺序的零和游戏，并开发一个CombGame元算法，其实例是渐近最优算法，有限时间的保证。除了比较两个家庭的学习者实例化我们的元算法，我们的工作的主要贡献是一个特定的Oracle有效的实例，最好的手臂识别与组合行动。基于凸多面体的投影自由在线学习算法，它是第一个计算效率高的算法，是渐近最优的，并具有竞争力的经验性能。
2021-01-21 cs.LG stat.ML
Linear Bandits with Stochastic Delayed Feedback
DeepMind（深度思维）；Otto-Von-Guericke Universität（奥托·冯·格里克大学）；Amazon（亚马逊）
随机线性强盗是结构化探索/开发问题的自然和充分研究的模型，并广泛用于在线营销和推荐等应用。希望应用现有算法的从业者所面临的主要挑战之一是，通常反馈是随机延迟的，延迟只能部分观察到。例如，虽然购买通常在显示之后的一段时间可观察到，但不购买的决定从未明确地发送到系统。换句话说，学习者只观察到延迟的积极事件。我们正式这个问题作为一个新的随机延迟线性强盗，并提出了${\tt OTFLinUCB}$和${\tt OTFLinTS}$，两个计算效率高的算法，能够整合新的信息，因为它变得可用，并处理永久审查反馈。我们证明了最佳的$\tilde O(\smash{d\sqrt{T}})$界的遗憾的第一个算法，并研究了依赖于延迟相关的参数。我们的模型，假设和结果进行了验证模拟和真实数据的实验。
2020-03-02 cs.LG stat.ML
