Adversarial Combinatorial Bandits with General Non-linear Reward Functions
New York University（纽约大学）；Stanford University（斯坦福大学）；University of Florida（佛罗里达大学）
在本文中，我们研究了一个已知的非线性回报函数的对抗性组合强盗，扩展了现有的工作对抗性线性组合强盗。{The具有一般非线性报酬的对抗性组合强盗是强盗文献中的一个重要的公开问题，并且仍然不清楚与线性报酬、随机强盗或半强盗反馈的情况是否存在显著的差距。我们发现，与$N$武器和$K$武器的子集被选择在每个$T$时间段，极小极大最优遗憾是$\widetildeΘ_{d}(\sqrt{N^d T})$，如果奖励函数是一个$d$ -度多项式与$d< K$，和$Θ_K(\sqrt{N^K T})$，如果奖励函数不是一个低次多项式。{Both的界限与线性情况下的界限$O(\sqrt{\mathrm{poly}(N,K)T})$显著不同，这表明在线性和非线性奖励结构之间存在根本差距。}我们的研究结果也发现应用于在线推荐中的对抗性分类优化问题。我们表明，在最坏的情况下，对抗性的分类问题，最优算法必须对待每个人的$\binom{N}{K}$分类独立。
2021-01-05 cs.LG stat.ML
Statistical Efficiency of Thompson Sampling for Combinatorial Semi-Bandits
Inria Lille（里尔法国国家信息与自动化研究所）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；ENSAE（法国国家统计与经济管理学院）；Criteo AI Lab（Criteo人工智能实验室）；DeepMind Paris（巴黎DeepMind）
本文研究了带半反馈的随机组合多臂强盗系统。在CMAB中，存在一个有效的政策与最佳渐近遗憾的问题（一个因素多对数的行动规模）仍然是开放的许多家庭的分布，包括相互独立的结果，更一般的多变量亚高斯家庭。我们建议通过分析组合汤普森抽样策略（CTS）的变体来回答这两个家庭的上述问题。对于$[0,1]$中相互独立的结果，我们提出了一个严密的分析CTS使用Beta先验。然后，我们看看更一般的设置多变量亚高斯的结果，并提出了一个严格的分析CTS使用高斯先验。这最后一个结果给了我们一个替代的有效抽样组合强盗政策（ESCB），虽然最佳的，是不是计算效率。
2021-01-03 cs.LG stat.ML
Tight Lower Bounds for Combinatorial Multi-Armed Bandits
Technion, Israel Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）
组合多臂强盗问题（Combinatorial Multi-Armed Bandit problem）是一个顺序决策问题，其中智能体在每一轮中选择一组武器，观察这些武器中每一个的反馈，并旨在最大化其选择的武器的已知奖励函数。虽然以前的工作证明了遗憾的上限，在这种设置一般的奖励功能，只有少数作品提供匹配的下限，所有特定的奖励功能。在这项工作中，我们证明了遗憾的下限组合土匪举行温和的假设下，所有顺利的奖励功能。我们推导出问题相关和问题无关的边界，并表明最近提出的Gini加权平滑参数（Merlis和Mannor，2019）也确定了单调奖励函数的下界。值得注意的是，这意味着我们的下界紧到对数因子。
2020-07-16 cs.LG stat.ML
Finding Optimal Arms in Non-stochastic Combinatorial Bandits with Semi-bandit Feedback and Finite Budget
Paderborn University（帕德博恩大学）；University of Munich (LMU)（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
我们考虑了有限采样预算约束下的半强盗反馈组合强盗问题，其中学习者只能在有限的总预算指定的次数内执行其动作。动作是选择一组手臂，于是接收所选组中的每个手臂的反馈。与现有的作品不同，我们研究这个问题在一个非随机设置与子集相关的反馈，即，所接收的半强盗反馈可以由不经意的对手产生，并且还可以取决于所选择的武器集合。此外，我们认为一个一般的反馈方案，包括数字为基础的，以及基于偏好的情况下，并介绍了一个健全的理论框架，保证合理的概念，最佳武器，学习者试图找到这种设置。我们提出了一个通用的算法，适用于涵盖从积极到保守的所有可能的手臂消除策略。理论上的问题，足够的和必要的预算的算法，以找到最好的手臂得到回答和补充，推导出下限的任何学习算法，这个问题的情况。
2022-10-14 cs.LG stat.ML
Contextual Combinatorial Conservative Bandits
The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）
多武装土匪问题要求在开采和勘探之间进行权衡的同时做出顺序决策，并已成功应用于广泛的实际场景。已经设计了各种算法来实现长期的高回报。然而，其短期性能可能相当低，这在风险敏感的应用中是有害的。在前人研究的基础上，我们提出了一个上下文组合保守强盗的框架。提出了一种算法，并证明了$\tilde O(d^2+d\sqrt{T})$的后悔界，其中$d$是特征向量的维数，$T$是总的时间步数.我们进一步提供了一个算法以及遗憾分析的情况下，保守的回报是未知的。实验结果验证了算法的有效性。
2022-02-23 cs.LG stat.ML
Efficient Pure Exploration for Combinatorial Bandits with Semi-Bandit Feedback
ETH Zürich（苏黎世联邦理工学院）
具有半强盗反馈的组合强盗推广了多臂强盗，其中代理选择武器集并观察所选集合中包含的每个武器的噪声奖励。动作集满足给定的结构，例如形成拟阵的基或图中的路。我们专注于纯粹的探索问题，确定最好的手臂与固定的信心，以及更一般的设置，其中的答案集的结构不同于一个动作集。使用最近流行的游戏框架，我们解释这个问题作为一个顺序的零和游戏，并开发一个CombGame元算法，其实例是渐近最优算法，有限时间的保证。除了比较两个家庭的学习者实例化我们的元算法，我们的工作的主要贡献是一个特定的Oracle有效的实例，最好的手臂识别与组合行动。基于凸多面体的投影自由在线学习算法，它是第一个计算效率高的算法，是渐近最优的，并具有竞争力的经验性能。
2021-01-21 cs.LG stat.ML
Thompson Sampling For Combinatorial Bandits: Polynomial Regret and Mismatched Sampling Paradox
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）
该研究针对线性组合半老虎机问题，提出首个有限时间后悔不随维度指数增长的汤普森采样方法，并发现失配采样悖论，即正确后验采样表现可能远差于合适的高斯后验采样。
2024-10-07 cs.LG stat.ML
Efficient Swap Regret Minimization in Combinatorial Bandits
National Technical University of Athens（雅典国立技术大学）；National and Kapodistrian University of Athens（雅典国立卡波季斯特里安大学）；Archimedes, Athena Research Center（雅典娜研究中心阿基米德部）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；University of California, Irvine（加州大学尔湾分校）
本文提出一种在组合老虎机中具有多项对数依赖于N的高效无交换后悔算法，解决了该领域长期存在的挑战。
2026-02-02 cs.LG stat.ML
A Combinatorial Semi-Bandit Approach to Charging Station Selection for Electric Vehicles
Volvo Car Corporation（沃尔沃汽车公司）；Chalmers University of Technology（查尔姆斯理工大学）
在这项工作中，我们解决了电池电动汽车（BEV）的长距离导航问题，其中需要一个或多个充电会话才能到达预定目的地。我们认为充电站的可用性和性能是未知的和随机的，并开发了一个组合的半土匪探索道路网络学习的排队时间和充电功率分布的参数框架。在这个框架内，我们首先概述了道路网络图的预处理，以有效的方式处理约束组合优化问题。然后，对于预处理的图，我们使用贝叶斯方法来建模的随机边权重，利用共轭先验的单参数指数和两个参数的伽玛分布，后者是新的多臂土匪文学。最后，我们应用组合版本的汤普森采样，贝叶斯UCB和Epsilon贪婪的问题。我们展示了我们的框架在国家规模的道路网络中的长距离导航问题实例的性能，在挪威，瑞典和芬兰的模拟实验。
2023-01-17 cs.LG stat.ML
Combinatorial Semi-Bandits with Knapsacks
University of Maryland, College Park（马里兰大学帕克分校）；Microsoft Research NYC（微软研究院纽约市）
我们统一了两个突出的多武装土匪工作线：背包土匪（BwK）和组合半土匪。前者涉及算法消耗的有限“资源”，例如，动态定价中的有限供给。后者允许大量的行动，但假设组合结构和额外的反馈，使问题易于处理。我们定义了一个通用的推广，用几个有启发性的例子来支持它，并设计了一个算法。我们的遗憾界与BwK和组合半强盗的遗憾界相当。
2018-02-20 cs.LG
Online Multiclass Boosting with Bandit Feedback
University of Michigan（密歇根大学）；Department of Computer Science（计算机科学系）；Department of Statistics（统计系）
我们提出了在线提升算法的多类分类与强盗反馈，学习者只收到反馈的正确性，其预测。我们提出了一个无偏估计的损失使用随机预测，允许模型更新其弱学习有限的信息。使用无偏估计，我们扩展了两个全信息提升算法（Jung等人，2017年，《土匪》上映。我们证明了强盗算法的渐近误差界完全匹配他们的全信息同行。限制反馈的成本反映在更大的样本复杂性中。实验结果也支持我们的理论研究结果，所提出的模型的性能与现有的强盗助推算法，这是有限的使用二进制弱学习器。
2019-02-25 cs.LG stat.ML
Combinatorial Rising Bandits
POSTECH（浦项科技大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出组合上升老虎机框架和CRUCB算法，解决组合老虎机中因基础臂增强传播导致的依赖问题，通过理论分析和实验验证其高效性和有效性。
2026-03-03 cs.LG stat.ML
Linear Bandits with Feature Feedback
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Amazon（亚马逊）
本文探讨了一种新形式的线性强盗问题，其中算法接收通常的随机奖励以及随机反馈的功能是相关的奖励，后者的反馈是新的方面。本文的重点是发展新的理论和算法的线性强盗与特征反馈。我们发现，线性土匪与功能反馈可以实现遗憾的时间范围$T$，规模像$k\sqrt{T}$，没有先验知识的功能是相关的，也没有相关功能的数量$k$。相比之下，传统线性强盗的遗憾是$d\sqrt{T}$，其中$d$是（相关和不相关）特征的总数，因此如果使用$k\ll d$，改进可能是巨大的。新算法的计算复杂性与$k$而不是与$d$成正比，与传统的线性Bandits算法相比更适合于实际应用。我们证明了新算法的性能与合成和真正的人类标记的数据。
2019-03-12 cs.LG stat.ML
Combinatorial Multi-armed Bandits for Resource Allocation
Carnegie Mellon University（卡内基梅隆大学）
我们研究的顺序资源分配问题，决策者反复分配资源之间的预算。激励性示例包括将有限的计算时间或无线频谱带分配给多个用户（即，资源）。在每一个时间步，决策者应该在不同的资源之间分配其可用的预算，以最大限度地提高预期回报，或等价地减少累积的遗憾。在这样做时，决策者应该从每个用户收到的奖励的反馈中了解为每个用户分配的资源的价值。例如，用户可以通过无线频谱带发送不同紧急程度的消息;通过向用户分配频谱而生成的奖励则取决于消息的紧急程度。我们假设每个用户的奖励遵循一个最初未知的随机过程。我们设计了组合多臂强盗算法来解决这个问题，离散或连续的预算。我们证明了所提出的算法实现对数遗憾下半强盗反馈。
2021-05-10 cs.LG stat.ML
Online Boosting with Bandit Feedback
Google AI Princeton（谷歌人工智能普林斯顿）；Department of Computer Science, Princeton University（普林斯顿大学计算机科学系）
我们考虑了回归任务的在线提升问题，当学习者只有有限的信息可用时。我们给出了一个有效的遗憾最小化方法，有两个影响：一个在线助推算法与嘈杂的多点强盗反馈，和一个新的无投影在线凸优化算法与随机梯度，提高了国家的最先进的保证方面的效率。
2020-07-23 cs.LG stat.ML
Warm-starting Contextual Bandits: Robustly Combining Supervised and Bandit Feedback
Microsoft Research（微软研究院）；University of Maryland（马里兰大学）；Yale University（耶鲁大学）
我们研究了从完全标记的监督数据和上下文强盗数据的混合中学习的可行性。我们特别考虑了这两个数据源之间的基础学习信号可能不同的设置。从理论上讲，我们的状态和证明无遗憾算法的学习，是强大的两个源之间的错位成本分布。从经验上讲，我们在大量的数据集上评估了其中的一些算法，表明我们的方法在实践中是可行的和有帮助的。
2019-06-21 cs.LG stat.ML
Online Semi-Supervised Learning with Bandit Feedback
IBM Research（IBM研究院）
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题，其动机是一些应用，包括临床试验和广告推荐。我们演示了如何图卷积网络（GCN），一个半监督学习的方法，可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后，我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
Note on Follow-the-Perturbed-Leader in Combinatorial Semi-Bandit Problems
Kyoto University（京都大学）；RIKEN AIP（理化学研究所（Advanced Institute for Scientific Technology））
本文研究规模不变组合半老虎机问题中FTPL策略的最优性与复杂度，证明其在Fréchet和Pareto分布下的遗憾界，并提出条件几何重采样以降低计算复杂度。
2025-07-22 cs.LG stat.ML
Oracle-Efficient Combinatorial Semi-Bandits
CREST, ENSAE, IP Paris（CREST、ENSAE、IP巴黎）；FairPlay joint team（FairPlay联合团队）；London School of Economics（伦敦经济学院）；Seoul National University（首尔国立大学）
研究组合半带式赌博机问题，提出神谕高效框架，减少神谕调用次数，在最坏情况线性奖励设置下，算法用较少神谕查询达低遗憾值，还有协方差自适应算法及扩展到非线性奖励，降低神谕使用时间并获理论保证。
2026-07-14 cs.LG stat.ML
Dueling Bandits with Qualitative Feedback
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们提出并研究了一个新的多臂强盗问题，称为定性决斗强盗（QDB）问题，其中一个代理观察到的不是数字，而是定性反馈，通过拉每个arm. We采用相同的遗憾决斗强盗（DB）问题，决斗是通过比较定性反馈。虽然我们可以天真地使用经典的DB算法来解决QDB问题，但这种减少显着降低了性能-实际上，在QDB问题中，一个手臂赢得另一个手臂的决斗的概率可以直接估计，而无需进行实际的决斗。在本文中，我们提出了这样的QDB问题的直接算法。我们的理论分析表明，所提出的算法显着优于DB算法，通过将定性反馈，实验结果也表明了巨大的改善现有的DB算法。
2018-09-18 cs.LG stat.ML
Combinatorial Bandits Revisited
Centrale-Supelec（中央理工-高等电力学院）；KTH（瑞典皇家理工学院）；INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）
研究了随机对抗组合多臂强盗问题。在半强盗反馈下的随机环境中，我们得到了一个特定问题的后悔下界，并讨论了它与决策空间维数的关系。我们提出了ESCB，一种算法，有效地利用了问题的结构，并提供了一个有限的时间分析其遗憾。ESCB具有比现有算法更好的性能保证，并且在实践中显著优于这些算法。在强盗反馈下的对抗环境中，我们提出了\textsc{CombEXP}，一种具有与现有算法相同的遗憾缩放的算法，但对于某些组合问题具有较低的计算复杂性。
2015-11-06 cs.LG math.OC stat.ML
Learning Multiclass Classifier Under Noisy Bandit Feedback
IIIT Hyderabad（海得拉巴国际信息技术学院）
本文讨论了多类分类问题与损坏或嘈杂的强盗反馈。在这种情况下，学习者可能不会收到真正的反馈。相反，它接收到的反馈已经以某种非零概率翻转。我们提出了一种新的方法来处理基于无偏估计技术的噪声强盗反馈。我们还提供了一种方法，可以有效地估计噪声率，从而提供了一个端到端的框架。所提出的算法在高噪声情况下具有$O(\sqrt{T})$阶的错误界，在最坏情况下具有$O(T^{\nicefrac{2}{3}})$阶的错误界。我们展示了我们的方法的有效性，使用广泛的实验在几个基准数据集。
2021-03-03 cs.LG stat.ML
Multiclass Online Learnability under Bandit Feedback
University of Michigan（密歇根大学）；Technion（以色列理工学院）
本文研究bandit反馈下的在线多类分类，证明无界标签空间中Bandit Littlestone维数有限是可学习性的充要条件，并指出序列一致收敛必要但不充分。
2024-01-20 cs.LG stat.ML
Combinatorial Neural Bandits
Seoul National University（首尔国立大学）
本文研究上下文组合老虎机，提出基于深度神经网络的 CN-UCB 与 CN-TS，并给出最坏情况遗憾保证，实验显示其性能优越。
2023-05-31 cs.LG stat.ML
Thompson Sampling for Combinatorial Semi-bandits with Sleeping Arms and Long-Term Fairness Constraints
University of Victoria（维多利亚大学）；Southeast University（东南大学）；Harbin Institute of Technology（哈尔滨工业大学）
研究了具有长期公平性约束的组合睡眠多臂半强盗问题~（CSMAB-F）。针对该问题，采用Thompson Sampling~（TS）方法最大化总报酬，采用虚拟队列技术处理公平性约束，并设计了一种算法\emph{TS with beta priors and Bernoulli likelihoods for CSMAB-F~(TSCSF-B)}。进一步，我们证明了TSCSF-B能满足公平性约束，并且时间平均后悔的上界为$\frac{N}{2η} + O\left(\frac{\sqrt{mNT\ln T}}{T}\right)$，其中$N$是总的手臂数，$m$是每轮中能同时拉动的最大手臂数~（基数约束），$η$是公平性与奖励的权衡参数.通过放松公平性约束（即，令$η\rightarrow \infty$），该界归结为组合睡眠多臂半强盗问题TS算法的第一个与问题无关的界。最后，我们进行了数值实验，并使用一个高收视率的电影推荐应用程序，以显示所提出的算法的有效性和效率。
2020-05-14 cs.LG stat.ML
Combinatorial Cascading Bandits
Adobe Research（奥多比研究院）；Yahoo Labs（雅虎实验室）；Technicolor Research（特艺集团研究院）；University of Alberta（阿尔伯塔大学）
我们提出了组合级联土匪，一类部分监控问题，在每一步的学习代理选择一个元组的地面项目受到约束，并收到奖励，当且仅当所有选择的项目的权重是一个。项目的权重是二进制的、随机的，并且彼此独立地绘制。智能体观察权重为零的第一个选择项的索引。这种观察模型出现在网络路由，例如，在学习代理可能只观察到的第一个链接的路由路径，这是下来，并阻止path. We提出了一个UCB类算法来解决我们的问题，梳级联，并证明其$n$ -步遗憾的间隙依赖和无间隙的上界。我们的证明建立在随机组合半土匪最近的工作，但也解决了两个新的挑战，我们的设置，非线性奖励函数和部分可观测性。我们评估CombCascade在两个现实世界的问题，并表明，它表现良好，即使我们的建模假设被违反。我们还表明，我们的设置需要一个新的学习算法。
2015-11-17 cs.LG stat.ML
Online Continuous Submodular Maximization: From Full-Information to Bandit Feedback
Yale University（耶鲁大学）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们提出了三个在线算法子模最大化。第一个是Mono-Frank-Wolfe，它将$T^{1/2}$ [Chen 2018 Online]和$T^{3/2}$ [chen 2018 projection]中每个函数的梯度评估数量减少到1，并实现了$O(T^{4/5})$的$(1-1/e)$ -遗憾界。第二个是Bandit-Frank-Wolfe算法，它是第一个求解连续DR-子模极大化的Bandit算法，其$(1-1/e)$ -遗憾界为$O(T^{8/9})$ .最后，我们扩展Bandit-Frank-Wolfe的离散次模最大化，响应弗兰克-Wolfe，它达到了一个$(1-1/e)$ -遗憾界的$O(T^{8/9})$在响应强盗设置的强盗算法。
2019-10-28 cs.LG stat.ML
Optimal Stochastic Nonconvex Optimization with Bandit Feedback
University of California, Davis（加州大学戴维斯分校）
本文在一定的光滑性和子水平集假设下，研究了非凸代价函数的连续武装强盗问题。我们首先推导出一个简单的箱分裂方法的预期累积遗憾的上限。然后，我们提出了一个自适应的bin分裂方法，它可以显着提高性能。此外，一个极小极大下界的推导，这表明我们的新的自适应方法实现局部极小极大最优的期望累积后悔。
2021-03-30 cs.LG stat.ML
Multi-Agent Combinatorial-Multi-Armed-Bandit framework for the Submodular Welfare Problem under Bandit Feedback
Indian Institute of Technology Ropar, Rupnagar, India（印度理工学院罗帕尔分校）；Purdue University, West Lafayette, USA（普渡大学）
本文提出多代理组合老虎机框架，用于在带反馈下解决亚模性福利问题，通过探索后承诺策略实现O(T^{2/3})的遗憾界。
2026-02-18 cs.GT cs.LG stat.ML
The Combinatorial Multi-Bandit Problem and its Application to Energy Management
NEC Laboratories Europe（NEC欧洲实验室）
我们研究了一个在能源系统管理中应用的组合多强盗问题。给定具有未知结果分布的多个概率多臂强盗，任务是优化将个体强盗结果的向量映射到单个标量奖励的组合目标函数的值。与具有多维动作空间的单强盗问题不同，在我们的设置中，单个强盗的结果是可观察的，并且目标函数是已知的。指导下的假设，个人的可观察性，使更好的权衡之间的探索和利用，我们概括了较低的遗憾界为单一的土匪，事实上，对于多个土匪，它承认并行化的探索。对于我们的能源管理应用程序，我们提出了一系列的算法，结合探索多臂土匪与数学规划的原则。在一项实验研究中，我们证明了我们的方法的有效性，学习行动分配150土匪，每个有24个行动，在365集的地平线。
2020-11-04 cs.LG
Importance weighting without importance weights: An efficient algorithm for combinatorial semi-bandits
Universitat Pompeu Fabra（庞培法布拉大学）；Google Zürich（谷歌苏黎世）
我们提出了一个样本有效的替代重要性加权的情况下，只有一个样本访问的概率分布，产生的意见。我们的新方法，称为几何Rescue（GR），描述和分析的上下文中在线组合优化下半强盗反馈，学习者顺序选择其行动从组合决策集，以尽量减少其累积损失。特别是，我们证明了著名的跟随扰动领导者（FPL）的预测方法加上几何恢复产生的第一个计算效率降低从离线到在线优化在这种设置。我们提供了一个彻底的理论分析所产生的算法，表明其性能与以前的，效率低下的解决方案。我们的主要贡献是表明，尽管相对较大的方差引起的GR过程中，我们的性能保证举行的概率很高，而不仅仅是在预期中。作为一个侧面的结果，我们还提高了最有名的遗憾界FPL在线组合优化与充分的反馈，关闭FPL和指数权重之间的感知性能差距，在这种设置。
2016-08-31 cs.LG stat.ML
m-Set Adversarial Bandits with Winner Feedback
Università degli Studi di Milano（米兰大学）；Politecnico di Milano（米兰理工大学）
本研究针对m-集合对抗性赌博机，在不同效用和反馈模型下推导出遗憾的上下界，揭示了设置变化对学习速率的影响，并通过实验验证了理论分析。
2026-10-08 cs.LG stat.ML
Efficient Learning in Large-Scale Combinatorial Semi-Bandits
Yahoo Labs（雅虎实验室）；Adobe Research（Adobe研究院）；Technicolor Labs（Technicolor实验室）
随机组合半强盗是一个在线学习问题，其中在每一步中，学习代理选择一个受组合约束的基本项的子集，然后观察这些项的随机权重并接收它们的和作为回报。在本文中，我们考虑有效的学习在大规模组合半土匪与线性推广，并作为一个解决方案，提出了两个学习算法称为组合线性汤普森采样（CombLinTS）和组合线性UCB（CombLinUCB）。这两种算法都是计算效率高，只要离线版本的组合问题可以有效地解决。我们建立，CombLinTS和CombLinUCB也证明是合理的假设下，统计有效的，通过开发的遗憾界是独立的问题规模（项目数）和次线性的时间。我们还评估了CombLinTS在各种问题上的数千个项目。我们的实验结果表明，CombLinTS是可扩展的，鲁棒的算法参数的选择，并显着优于我们的基线最好的。
2017-01-31 cs.AI cs.LG stat.ML
An Arm-Wise Randomization Approach to Combinatorial Linear Semi-Bandits
NEC Corporation（日本电气股份有限公司）；The University of Tokyo（东京大学）
组合线性半强盗（CLS）是一种广泛适用的顺序决策框架，其中学习者从与特征向量相关联的给定臂集合中选择臂子集。现有的算法工作不佳的聚类的情况下，其中的特征向量形成几个大的集群。这个缺点在实践中是至关重要的，因为它可以在许多应用程序中找到，包括推荐系统。本文分析了这一缺陷产生的原因，并引入了一种关键的臂式随机化技术来克服这一缺陷，提出了两种基于该技术的算法：扰动C ${}^2$ UCB（PC ${}^2$ UCB）和Thompson采样（TS）。我们的实证评估与人工和真实世界的数据集表明，所提出的算法与手臂明智的随机化技术优于现有的算法，没有这种技术，特别是对于集群的情况下。我们的贡献还包括理论分析，为我们的算法提供高概率渐近遗憾界。
2019-09-10 cs.LG stat.ML
Optimistic Policy Optimization with Bandit Feedback
Technion - Israel Institute of Technology（以色列理工学院）；Tel Aviv University（特拉维夫大学）
策略优化方法是强化学习（RL）算法中应用最广泛的一类。然而，到目前为止，这些方法主要是从优化的角度进行分析，没有解决探索的问题，或者通过对与环境的相互作用进行强有力的假设。在本文中，我们考虑基于模型的RL在表格有限地平线MDP设置未知的过渡和强盗反馈。对于这种设置，我们提出了一个乐观的信任域策略优化（TRPO）算法，我们建立$\tilde O(\sqrt{S^2 A H^4 K})$后悔随机奖励。此外，我们证明了$\tilde O( \sqrt{ S^2 A H^4 } K^{2/3} ) $后悔对抗性奖励。有趣的是，这一结果匹配以前的边界得出的强盗反馈的情况下，但与已知的过渡。据我们所知，这两个结果是第一次获得的次线性遗憾界的策略优化算法与未知的过渡和强盗反馈。
2020-06-18 cs.LG stat.ML
Adversarial Combinatorial Bandits with Switching Costs
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
本文研究带切换代价的对抗性组合赌博机问题，在赌博机和半赌博机两种反馈下推导极小极大遗憾下界，并提出分批运行的 Batched-Exp2 和 Batched-BROAD 算法逼近下界。
2024-04-02 cs.LG stat.ML
KLUCB Approach to Copeland Bandits
多臂强盗（MAB）问题是一个强化学习框架，在该框架中，智能体通过对每个动作的绝对反馈来选择适当的动作，以最大化其收益。决斗强盗问题是MAB问题的一种变体，其中智能体选择一对动作并接收所选动作对的相对反馈。决斗土匪问题是非常适合建模的设置中，它是不可能提供定量反馈的每个动作，但定性反馈的每个动作是首选的情况下，人类的反馈。决斗强盗已成功应用于在线排名启发、信息检索、搜索引擎改进和临床在线推荐等应用中。本文提出了一种新的求解K臂决斗强盗问题的方法Sup-KLUCB，该方法将K臂决斗强盗问题转化为一个标准的MAB问题求解。而不是单独使用MAB算法的每一个动作在一对在陪练和自陪练算法，我们结合一对动作，并使用它作为一个动作。以前的UCB算法，如相对置信上限（RUCB）只能应用于孔多塞决斗土匪的情况下，而该算法适用于一般的Copeland决斗土匪，包括孔多塞决斗土匪作为一个特殊情况。我们的实证结果优于最先进的双汤普森采样（DSPs）的情况下，科普兰决斗土匪。
2019-02-07 cs.LG stat.ML
A Contextual Combinatorial Semi-Bandit Approach to Network Bottleneck Identification
Chalmers University of Technology（查尔姆斯理工大学）；Volvo Car Corporation（沃尔沃汽车公司）
瓶颈识别是网络分析中的一项具有挑战性的任务，特别是当网络没有完全指定时。为了解决这个问题，我们开发了一个统一的在线学习框架的基础上进行瓶颈识别并行学习的规范的底层网络的组合半土匪。在这个框架内，我们适应和研究各种组合半强盗方法，如ε贪婪，LinUCB，贝叶斯UCB，NeuralUCB和汤普森采样。此外，我们的框架是能够使用上下文信息的形式上下文强盗。最后，我们评估了我们的框架在道路网络的实际应用中，并证明了它在不同环境中的有效性。
2023-03-05 cs.LG
Delayed Feedback in Generalised Linear Bandits Revisited
Imperial College London（帝国理工学院）
本文从理论上研究广义线性赌博机中的延迟奖励问题，证明乐观算法的自然适配可使延迟惩罚与时间范围无关，显著改进了已有遗憾界，并通过模拟实验验证了理论结果。
2023-04-11 cs.LG stat.ML
An Empirical Process Approach to the Union Bound: Practical Algorithms for Combinatorial and Linear Bandits
Allen School of Computer Science & Engineering（艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）；Foster School of Business（福斯特商学院）；Amazon Web Services（亚马逊云科技）
在固定置信度和固定预算条件下，提出了纯探索线性强盗问题的近似最优算法。利用经验过程的上确界理论的思想，我们提供了一个算法，其样本复杂度与实例的几何形状成比例，并避免了明确的工会数量的限制。与以前的方法，样本的基础上最小化的最坏情况下的方差（例如G-最优设计），我们定义了一个实验设计目标的基础上的高斯宽度的手臂集。我们提供了一个新的下界在这个目标，突出了其在样本复杂性的基本作用。我们的固定置信度算法的样本复杂度与此下限相匹配，此外，对于组合类，例如最短路径，匹配和拟阵，其中臂集在维度上可以是指数级大的，计算效率很高。最后，我们提出了第一个算法的线性土匪在固定的预算设置。它的保证使我们的下限与对数因子相匹配。
2020-06-21 cs.LG stat.ML
Combinatorial Multi-armed Bandit with Probabilistically Triggered Arms: A Case with Bounded Regret
Bilkent University（比尔肯特大学）
本文研究了具有概率触发臂的组合多臂强盗问题。在假设所有手臂的触发概率（ATPs）都为正的条件下，证明了一类具有探索率$κ$的组合置信上界（CUCB- $κ$）策略和通过Thompson采样估计手臂期望状态的组合Thompson采样（CTS）策略能够实现有界后悔.此外，我们还证明了$0$和CTS会导致$O(\sqrt{T})$间隔独立的后悔。这些结果改进了以前的工作，分别显示$O(\log T)$缺口依赖和$O(\sqrt{T\log T})$缺口独立的遗憾，没有假设的ATP的结果。然后，我们数值评估CUCB- $κ$和CTS在现实世界的电影推荐问题中的性能，其中的动作对应于推荐一组电影，手臂对应于电影和用户之间的边缘，目标是最大化被至少一部电影吸引的用户总数。我们的数值结果补充了我们的理论研究结果有限的遗憾。除了这个问题，我们的研究结果也直接适用于在线影响力最大化（OIM）的问题，在许多以前的作品研究。
2017-07-24 cs.LG stat.ML
Bandits with Feedback Graphs and Switching Costs
Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）；Courant Institute of Math. Sciences（库朗数学科学研究所）
我们研究的对抗性多臂强盗问题的部分观测是可用的，其中，除了每个动作所产生的损失，一个\emph{switching cost}引起转移到一个新的行动。所有先前已知的结果产生一个因子成比例的反馈图的独立数。给出了一个新的算法，其后悔保证仅依赖于图的控制数。我们进一步补充了一个下界的结果。最后，在部分反事实反馈存在的情况下，我们给出了一个改进的策略后悔界的新算法。
2020-03-22 cs.LG stat.ML
Stochastic Bandits with Delayed Composite Anonymous Feedback
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们探索了一个新的设置的多臂强盗（MAB）问题的灵感来自现实世界的应用程序，我们称之为“随机延迟复合匿名反馈（SDCAF）”的强盗。在SDCAF中，拉臂的奖励是随时间随机的，但在拉臂后的未来分散在固定数量的时间步长上，这个问题的复杂性源于对玩家的匿名反馈和奖励的随机生成。由于奖励的聚合性质，玩家无法将奖励与过去的特定时间步长相关联。我们提出了两种算法，这种更复杂的设置SDCAF使用基于相位的扩展UCB算法。我们进行遗憾分析，以显示次线性理论保证这两个算法。
2019-10-11 cs.LG stat.ML
Learning from eXtreme Bandit Feedback
University of California, Berkeley（加州大学伯克利分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们研究了在极大的动作空间中从强盗反馈批量学习的问题。从极端强盗反馈中学习在推荐系统中无处不在，在推荐系统中，一天内要对由数百万个选择组成的集合做出数十亿个决定，产生大量的观测数据。在这些大规模的实际应用中，监督学习框架（如XMC）被广泛使用，尽管由于bandit反馈和监督标签之间的不匹配，它们会产生显著的偏差。这种偏差可以通过重要性抽样技术来减轻，但是当处理大量动作时，这些技术遭受不切实际的变化。在本文中，我们引入了一种选择性重要性抽样估计量（sIS），该估计量在明显更有利的偏差-方差制度下运行。sIS估计器通过对每个实例的一小部分动作的奖励的条件期望执行重要性抽样来获得（Rao-Blackwellization的一种形式）。我们采用这种估计在一个新的算法程序-命名为政策优化的极限模型（POXM）-学习从强盗反馈XMC任务。在POXM中，为sIS估计器选择的操作是日志策略的前p个操作，其中p是根据数据调整的，并且显著小于操作空间的大小。我们在三个XMC数据集上使用监督到bandit的转换来对我们的POXM方法进行基准测试，以对抗三种竞争方法：BanditNet，以前应用的部分匹配修剪策略和监督学习基线。虽然BanditNet有时会在日志记录策略上略有改进，但我们的实验表明，POXM在所有基线上都有系统和显着的改进。
2021-02-22 cs.LG stat.ML
Combinatorial Pure Exploration with Full-Bandit or Partial Linear Feedback
Tsinghua University（清华大学）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）；Microsoft Research（微软研究院）
在本文中，我们首先研究了组合纯探索与全强盗反馈（CPE-BL）的问题，其中学习者被赋予一个组合动作空间$\mathcal{X} \subseteq \{0,1\}^d$，并在每一轮的学习者拉动作$x \in \mathcal{X}$和接收随机奖励与期望$x^{\top} θ$，与$θ\in \mathbb{R}^d$潜在的和未知的环境向量。目标是使用尽可能少的样本来确定具有最高预期回报的最佳行动。对于CPE-BL，我们设计了第一个{ \em多项式时间自适应}算法，其样本复杂度与一系列实例的下限（对数因子内）相匹配，并且具有对$Δ_{\min}$（最佳动作和次优动作之间的最小间隙）的轻度依赖。此外，我们提出了一种新的广义CPE-BL灵活的反馈结构，称为组合纯探索与部分线性反馈（CPE-PL），其中包括几个家庭的子问题，包括全强盗反馈，半强盗反馈，部分反馈和非线性奖励函数。在CPE-PL中，每个动作拉动$x$报告具有$M_{x} θ$期望的随机反馈向量，其中$M_x \in \mathbb{R}^{m_x \times d}$是$x$的变换矩阵，并且获得与$x$相关的随机（可能非线性）奖励。对于CPE-PL，我们开发了第一个{ \em多项式时间}算法，它同时解决了有限反馈，一般奖励函数和组合动作空间，并提供了其样本复杂度分析。我们的实证评估表明，我们的算法运行的数量级比现有的，我们的C…
2020-12-15 cs.LG stat.ML
Exploiting Correlated Auxiliary Feedback in Parameterized Bandits
National University of Singapore（新加坡国立大学）
针对可观测相关辅助反馈的参数化多臂老虎机新问题，提出利用辅助反馈构建紧置信界奖励估计器的方法，可依据相关系数刻画遗憾降幅，实验验证了性能提升效果。
2023-11-05 cs.LG stat.ML
A Unified Analysis of Nonstochastic Delayed Feedback for Combinatorial Semi-Bandits, Linear Bandits, and MDPs
University of Amsterdam（阿姆斯特丹大学）；Tel Aviv University（特拉维夫大学）；Amazon Science（亚马逊科学部门）；Politecnico di Milano（米兰理工大学）
本文提出一种新的FTRL分析方法，分离延迟与赌博机反馈成本，为组合半赌博机、对抗性MDP和线性赌博机分别导出最优或近最优遗憾界，并证明FTRL在温和条件下跨轮稳定。
2023-05-15 cs.LG
Partial Bandit and Semi-Bandit: Making the Most Out of Scarce Users' Feedback
Kara Technology - Dpt R&D（Kara Technology - 研发部）；Groupe ESEO - ERIS（ESEO集团 - ERIS）
最近的多臂强盗（MAB）和组合多臂强盗（COM-MAB）的工作显示出良好的结果的全球准确性度量。在推荐系统的情况下，这可以通过个性化来实现。然而，对于组合在线学习方法，个性化意味着大量的用户反馈。当用户需要直接和频繁地征求时，这种反馈可能很难获得。对于正在进行业务数字化的许多活动领域来说，在线学习是不可避免的。因此，已经实现了允许隐式用户反馈检索的许多方法。然而，这种隐含的反馈可能会误导或低效的代理的学习。在这里，我们提出了一种新的方法，减少了显式反馈所需的组合多臂强盗（COM-MAB）算法的数量，同时提供了类似的水平的全局精度和学习效率的经典竞争方法。在本文中，我们提出了一种新的方法来考虑用户的反馈，并使用三种不同的策略进行评估。尽管有限数量的反馈返回的用户（低至20%的总数），我们的方法获得了类似的结果，那些国家的最先进的方法。
2020-09-16 cs.AI cs.LG stat.ML
Sleeping Combinatorial Bandits
IIIT Hyderabad（海得拉巴国际信息技术学院）；Technion（以色列理工学院）
在本文中，我们研究了一个有趣的组合睡眠和组合随机土匪。在这里研究的混合模型中，在每个离散时刻，从一组固定的\emph{base}臂生成任意的\emph{availability set}。算法可以从\emph{availability set}（睡眠强盗）中选择一个分支子集，并接收相应的奖励以及半强盗反馈（组合强盗）。我们适应著名的CUCB算法在睡眠组合强盗设置，并将其称为\CSUCB。我们证明-在温和的光滑条件下-\CSUCB \算法实现了$O(\log (T))$实例相关的遗憾保证。我们进一步证明了：（i）当奖励范围有界时，\CSUCB \算法的后悔保证是$O(\sqrt{T \log (T)})$;（ii）在一般情况下，与实例无关的后悔保证是$O(\sqrt[3]{T^2 \log(T)})$.我们的结果是相当普遍的，并在一般的环境下，如非添加剂的奖励功能，不稳定的手臂的可用性，一个可变数量的基臂被拉-在实际应用中出现。我们通过实验验证了已证明的理论保证。
2021-06-03 cs.LG
Online Markov Decision Processes with Aggregate Bandit Feedback
Google Research（谷歌研究院）；Tel-Aviv University（特拉维夫大学）
我们研究了一种新的在线有限时域马尔可夫决策过程的变种，具有逆向变化的损失函数和初始未知的动态。在每一集中，学习者遭受沿着为该集选择的策略所实现的轨迹累积的损失，并观察总的强盗反馈：轨迹与所遭受的累积损失一起被揭示，而不是沿着轨迹遇到的个体损失。我们的主要结果是一个计算效率高的算法与$O(\sqrt{K})$遗憾的这种设置，其中$K$是情节的数量。我们通过一个有效的减少到一个新的强盗学习设置，我们称之为扭曲的线性强盗（DLB），这是一个变种的强盗线性优化，其中学习者选择的行动是不利的扭曲之前，他们被提交。然后，我们开发了一个计算效率高的在线算法DLB，我们证明了$O(\sqrt{T})$的遗憾界，其中$T$是时间步长的数量。我们的算法是基于在线镜像下降与自和谐的障碍正则化，采用了一种新的增加学习率调度。
2021-01-31 cs.LG stat.ML
Combinatorial Multi-Armed Bandits with Filtered Feedback
Lancaster University（兰卡斯特大学）；Naval Postgraduate School（海军研究生院）
在搜索和检测问题的动机，我们提出了一个解决方案的组合多臂强盗（CMAB）问题的重尾奖励分布和一类新的反馈，过滤semibandit反馈。在CMAB问题中，智能体在每一轮中从集合$\{1,...,k\}$中抽取一组手臂，从与这些手臂相关联的概率分布中生成随机结果，并获得总体奖励。在半强盗反馈下，假设生成的随机结果都被观察到。滤波半强盗反馈允许从以初始随机结果为条件的第二分布中采样观察到的结果。这种反馈机制是有价值的，因为它允许CMAB方法应用于顺序搜索和检测问题，其中进行组合动作，但没有观察到真正的奖励（在回合中出现的感兴趣的对象的数量），而是过滤的奖励（搜索器成功找到的对象的数量，根据定义必须小于出现的数量）。我们提出了一个上置信界类型的算法，Robust-F-CUCB，和相关的遗憾界的顺序$\mathcal{O}(\ln(n))$，以平衡勘探和开发，面对过滤的奖励和重尾奖励分布。
2017-05-26 cs.LG stat.ML
Optimal Arm Elimination Algorithms for Combinatorial Bandits
Courant Institute of Mathematical Sciences, New York University（Courant数学科学研究所，纽约大学）；Center for Data Science, New York University（数据科学中心，纽约大学）；Stern School of Business, New York University（商学院，纽约大学）；Arena Technologies（Arena技术公司）
针对组合老虎机中臂消除方法适配难的问题，提出将臂分为三类并结合显式探索的新型消除方案，在两种组合老虎机场景下实现近最优遗憾值，还给出匹配下界。
2025-10-28 cs.IT cs.LG math.IT
Counterfactual Risk Minimization: Learning from Logged Bandit Feedback
Cornell University（康奈尔大学）
我们开发了一个学习原理和一个有效的算法，批量学习从记录的强盗反馈。这种学习设置在在线系统中无处不在（例如，广告投放、网络搜索、推荐），其中算法进行预测（例如，广告排名）对于给定输入（例如，查询）并观察Bandit反馈（例如，用户点击呈现的广告）。我们首先通过倾向评分来解决学习问题的反事实性质。接下来，我们证明了泛化误差的范围，占的倾向加权经验风险估计的方差。这些建设性的界限产生了反事实风险最小化（CRM）原则。我们展示了如何CRM可以用来获得一个新的学习方法-称为政策优化指数模型（POEM）-学习随机线性规则的结构化输出预测。我们提出了一个分解的POEM目标，使有效的随机梯度优化。POEM的几个多标签分类问题进行了评估，表现出显着改善的鲁棒性和泛化性能相比，国家的最先进的。
2015-05-20 cs.LG stat.ML
Merit-based Fair Combinatorial Semi-Bandit with Unrestricted Feedback Delays
Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）
本文研究了在无限制反馈延迟和基于功绩公平性约束下的随机组合半老虎机问题，提出了能实现次线性奖励遗憾与公平性遗憾的新算法，并通过实验验证了其有效性。
2024-07-29 cs.LG stat.ML
