Online Semi-Supervised Learning with Bandit Feedback
IBM Research（IBM研究院）
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题，其动机是一些应用，包括临床试验和广告推荐。我们演示了如何图卷积网络（GCN），一个半监督学习的方法，可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后，我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
Dueling Bandits with Qualitative Feedback
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们提出并研究了一个新的多臂强盗问题，称为定性决斗强盗（QDB）问题，其中一个代理观察到的不是数字，而是定性反馈，通过拉每个arm. We采用相同的遗憾决斗强盗（DB）问题，决斗是通过比较定性反馈。虽然我们可以天真地使用经典的DB算法来解决QDB问题，但这种减少显着降低了性能-实际上，在QDB问题中，一个手臂赢得另一个手臂的决斗的概率可以直接估计，而无需进行实际的决斗。在本文中，我们提出了这样的QDB问题的直接算法。我们的理论分析表明，所提出的算法显着优于DB算法，通过将定性反馈，实验结果也表明了巨大的改善现有的DB算法。
2018-09-18 cs.LG stat.ML
Learning Multiclass Classifier Under Noisy Bandit Feedback
IIIT Hyderabad（海得拉巴国际信息技术学院）
本文讨论了多类分类问题与损坏或嘈杂的强盗反馈。在这种情况下，学习者可能不会收到真正的反馈。相反，它接收到的反馈已经以某种非零概率翻转。我们提出了一种新的方法来处理基于无偏估计技术的噪声强盗反馈。我们还提供了一种方法，可以有效地估计噪声率，从而提供了一个端到端的框架。所提出的算法在高噪声情况下具有$O(\sqrt{T})$阶的错误界，在最坏情况下具有$O(T^{\nicefrac{2}{3}})$阶的错误界。我们展示了我们的方法的有效性，使用广泛的实验在几个基准数据集。
2021-03-03 cs.LG stat.ML
Multiclass Online Learnability under Bandit Feedback
University of Michigan（密歇根大学）；Technion（以色列理工学院）
本文研究bandit反馈下的在线多类分类，证明无界标签空间中Bandit Littlestone维数有限是可学习性的充要条件，并指出序列一致收敛必要但不充分。
2024-01-20 cs.LG stat.ML
Online Continuous Submodular Maximization: From Full-Information to Bandit Feedback
Yale University（耶鲁大学）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们提出了三个在线算法子模最大化。第一个是Mono-Frank-Wolfe，它将$T^{1/2}$ [Chen 2018 Online]和$T^{3/2}$ [chen 2018 projection]中每个函数的梯度评估数量减少到1，并实现了$O(T^{4/5})$的$(1-1/e)$ -遗憾界。第二个是Bandit-Frank-Wolfe算法，它是第一个求解连续DR-子模极大化的Bandit算法，其$(1-1/e)$ -遗憾界为$O(T^{8/9})$ .最后，我们扩展Bandit-Frank-Wolfe的离散次模最大化，响应弗兰克-Wolfe，它达到了一个$(1-1/e)$ -遗憾界的$O(T^{8/9})$在响应强盗设置的强盗算法。
2019-10-28 cs.LG stat.ML
Optimal Stochastic Nonconvex Optimization with Bandit Feedback
University of California, Davis（加州大学戴维斯分校）
本文在一定的光滑性和子水平集假设下，研究了非凸代价函数的连续武装强盗问题。我们首先推导出一个简单的箱分裂方法的预期累积遗憾的上限。然后，我们提出了一个自适应的bin分裂方法，它可以显着提高性能。此外，一个极小极大下界的推导，这表明我们的新的自适应方法实现局部极小极大最优的期望累积后悔。
2021-03-30 cs.LG stat.ML
m-Set Adversarial Bandits with Winner Feedback
Università degli Studi di Milano（米兰大学）；Politecnico di Milano（米兰理工大学）
本研究针对m-集合对抗性赌博机，在不同效用和反馈模型下推导出遗憾的上下界，揭示了设置变化对学习速率的影响，并通过实验验证了理论分析。
2026-10-08 cs.LG stat.ML
Optimistic Policy Optimization with Bandit Feedback
Technion - Israel Institute of Technology（以色列理工学院）；Tel Aviv University（特拉维夫大学）
策略优化方法是强化学习（RL）算法中应用最广泛的一类。然而，到目前为止，这些方法主要是从优化的角度进行分析，没有解决探索的问题，或者通过对与环境的相互作用进行强有力的假设。在本文中，我们考虑基于模型的RL在表格有限地平线MDP设置未知的过渡和强盗反馈。对于这种设置，我们提出了一个乐观的信任域策略优化（TRPO）算法，我们建立$\tilde O(\sqrt{S^2 A H^4 K})$后悔随机奖励。此外，我们证明了$\tilde O( \sqrt{ S^2 A H^4 } K^{2/3} ) $后悔对抗性奖励。有趣的是，这一结果匹配以前的边界得出的强盗反馈的情况下，但与已知的过渡。据我们所知，这两个结果是第一次获得的次线性遗憾界的策略优化算法与未知的过渡和强盗反馈。
2020-06-18 cs.LG stat.ML
KLUCB Approach to Copeland Bandits
多臂强盗（MAB）问题是一个强化学习框架，在该框架中，智能体通过对每个动作的绝对反馈来选择适当的动作，以最大化其收益。决斗强盗问题是MAB问题的一种变体，其中智能体选择一对动作并接收所选动作对的相对反馈。决斗土匪问题是非常适合建模的设置中，它是不可能提供定量反馈的每个动作，但定性反馈的每个动作是首选的情况下，人类的反馈。决斗强盗已成功应用于在线排名启发、信息检索、搜索引擎改进和临床在线推荐等应用中。本文提出了一种新的求解K臂决斗强盗问题的方法Sup-KLUCB，该方法将K臂决斗强盗问题转化为一个标准的MAB问题求解。而不是单独使用MAB算法的每一个动作在一对在陪练和自陪练算法，我们结合一对动作，并使用它作为一个动作。以前的UCB算法，如相对置信上限（RUCB）只能应用于孔多塞决斗土匪的情况下，而该算法适用于一般的Copeland决斗土匪，包括孔多塞决斗土匪作为一个特殊情况。我们的实证结果优于最先进的双汤普森采样（DSPs）的情况下，科普兰决斗土匪。
2019-02-07 cs.LG stat.ML
Delayed Feedback in Generalised Linear Bandits Revisited
Imperial College London（帝国理工学院）
本文从理论上研究广义线性赌博机中的延迟奖励问题，证明乐观算法的自然适配可使延迟惩罚与时间范围无关，显著改进了已有遗憾界，并通过模拟实验验证了理论结果。
2023-04-11 cs.LG stat.ML
Combinatorial Bandits with Relative Feedback
Indian Institute of Science（印度科学研究所）
我们考虑组合在线学习与子集的选择时，只有相对反馈信息的子集是可用的，而不是强盗或半强盗反馈，这是绝对的。具体而言，我们研究了两个遗憾最小化问题的子集的有限基集$[n]$，与子集明智的相对偏好信息反馈根据多项logit选择模型。在第一设置中，学习者可以播放由最大大小限定的大小的子集，并且接收顶部$m$等级排序的反馈，而在第二设置中，学习者可以播放固定大小的子集$k$，其中观察到完整的子集等级作为反馈。对于这两种设置，我们设计的实例依赖和订单最优后悔算法与遗憾$O(\frac{n}{m} \ln T)$和$O(\frac{n}{k} \ln T)$，分别。我们得出的基本限制的遗憾性能的在线学习与子集明智的喜好，证明了我们的遗憾保证的紧密性。我们的研究结果还表明，引发更一般的顶部$m$排名排序反馈的价值超过单一赢家反馈（$m=1$）。我们的理论结果与实证评估相印证。
2020-02-26 cs.LG stat.ML
Bandits with Feedback Graphs and Switching Costs
Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）；Courant Institute of Math. Sciences（库朗数学科学研究所）
我们研究的对抗性多臂强盗问题的部分观测是可用的，其中，除了每个动作所产生的损失，一个\emph{switching cost}引起转移到一个新的行动。所有先前已知的结果产生一个因子成比例的反馈图的独立数。给出了一个新的算法，其后悔保证仅依赖于图的控制数。我们进一步补充了一个下界的结果。最后，在部分反事实反馈存在的情况下，我们给出了一个改进的策略后悔界的新算法。
2020-03-22 cs.LG stat.ML
Stochastic Bandits with Delayed Composite Anonymous Feedback
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们探索了一个新的设置的多臂强盗（MAB）问题的灵感来自现实世界的应用程序，我们称之为“随机延迟复合匿名反馈（SDCAF）”的强盗。在SDCAF中，拉臂的奖励是随时间随机的，但在拉臂后的未来分散在固定数量的时间步长上，这个问题的复杂性源于对玩家的匿名反馈和奖励的随机生成。由于奖励的聚合性质，玩家无法将奖励与过去的特定时间步长相关联。我们提出了两种算法，这种更复杂的设置SDCAF使用基于相位的扩展UCB算法。我们进行遗憾分析，以显示次线性理论保证这两个算法。
2019-10-11 cs.LG stat.ML
Learning from eXtreme Bandit Feedback
University of California, Berkeley（加州大学伯克利分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们研究了在极大的动作空间中从强盗反馈批量学习的问题。从极端强盗反馈中学习在推荐系统中无处不在，在推荐系统中，一天内要对由数百万个选择组成的集合做出数十亿个决定，产生大量的观测数据。在这些大规模的实际应用中，监督学习框架（如XMC）被广泛使用，尽管由于bandit反馈和监督标签之间的不匹配，它们会产生显著的偏差。这种偏差可以通过重要性抽样技术来减轻，但是当处理大量动作时，这些技术遭受不切实际的变化。在本文中，我们引入了一种选择性重要性抽样估计量（sIS），该估计量在明显更有利的偏差-方差制度下运行。sIS估计器通过对每个实例的一小部分动作的奖励的条件期望执行重要性抽样来获得（Rao-Blackwellization的一种形式）。我们采用这种估计在一个新的算法程序-命名为政策优化的极限模型（POXM）-学习从强盗反馈XMC任务。在POXM中，为sIS估计器选择的操作是日志策略的前p个操作，其中p是根据数据调整的，并且显著小于操作空间的大小。我们在三个XMC数据集上使用监督到bandit的转换来对我们的POXM方法进行基准测试，以对抗三种竞争方法：BanditNet，以前应用的部分匹配修剪策略和监督学习基线。虽然BanditNet有时会在日志记录策略上略有改进，但我们的实验表明，POXM在所有基线上都有系统和显着的改进。
2021-02-22 cs.LG stat.ML
Partial Bandit and Semi-Bandit: Making the Most Out of Scarce Users' Feedback
Kara Technology - Dpt R&D（Kara Technology - 研发部）；Groupe ESEO - ERIS（ESEO集团 - ERIS）
最近的多臂强盗（MAB）和组合多臂强盗（COM-MAB）的工作显示出良好的结果的全球准确性度量。在推荐系统的情况下，这可以通过个性化来实现。然而，对于组合在线学习方法，个性化意味着大量的用户反馈。当用户需要直接和频繁地征求时，这种反馈可能很难获得。对于正在进行业务数字化的许多活动领域来说，在线学习是不可避免的。因此，已经实现了允许隐式用户反馈检索的许多方法。然而，这种隐含的反馈可能会误导或低效的代理的学习。在这里，我们提出了一种新的方法，减少了显式反馈所需的组合多臂强盗（COM-MAB）算法的数量，同时提供了类似的水平的全局精度和学习效率的经典竞争方法。在本文中，我们提出了一种新的方法来考虑用户的反馈，并使用三种不同的策略进行评估。尽管有限数量的反馈返回的用户（低至20%的总数），我们的方法获得了类似的结果，那些国家的最先进的方法。
2020-09-16 cs.AI cs.LG stat.ML
Exploiting Correlated Auxiliary Feedback in Parameterized Bandits
National University of Singapore（新加坡国立大学）
针对可观测相关辅助反馈的参数化多臂老虎机新问题，提出利用辅助反馈构建紧置信界奖励估计器的方法，可依据相关系数刻画遗憾降幅，实验验证了性能提升效果。
2023-11-05 cs.LG stat.ML
Solving Bernoulli Rank-One Bandits with Unimodal Thompson Sampling
ENS Paris-Saclay（巴黎萨克雷高等师范学院）；CNRS（法国国家科学研究中心）；Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；DeepMind（深度思维）；CentraleSupélec（中央理工-高等电力学院）
随机秩一Bandits（Katarya et al，（2017 a，b））是一个简单的框架，用于在秩一矩阵上的后悔最小化问题。最初提出的算法被证明有对数遗憾，但不符合现有的下限为这个问题。我们首先证明了一级强盗是单峰强盗的一个特殊例子，然后提供了一个新的单峰汤普森采样（UTS）分析，最初由Paladino等人（2017）提出。我们证明了一个渐近最优的遗憾界上的频率后悔的UTS和我们支持我们的主张与模拟显示我们的方法相比，国家的最先进的显着改善。
2019-12-06 cs.LG stat.ML
Multi-Agent Combinatorial-Multi-Armed-Bandit framework for the Submodular Welfare Problem under Bandit Feedback
Indian Institute of Technology Ropar, Rupnagar, India（印度理工学院罗帕尔分校）；Purdue University, West Lafayette, USA（普渡大学）
本文提出多代理组合老虎机框架，用于在带反馈下解决亚模性福利问题，通过探索后承诺策略实现O(T^{2/3})的遗憾界。
2026-02-18 cs.GT cs.LG stat.ML
Online Markov Decision Processes with Aggregate Bandit Feedback
Google Research（谷歌研究院）；Tel-Aviv University（特拉维夫大学）
我们研究了一种新的在线有限时域马尔可夫决策过程的变种，具有逆向变化的损失函数和初始未知的动态。在每一集中，学习者遭受沿着为该集选择的策略所实现的轨迹累积的损失，并观察总的强盗反馈：轨迹与所遭受的累积损失一起被揭示，而不是沿着轨迹遇到的个体损失。我们的主要结果是一个计算效率高的算法与$O(\sqrt{K})$遗憾的这种设置，其中$K$是情节的数量。我们通过一个有效的减少到一个新的强盗学习设置，我们称之为扭曲的线性强盗（DLB），这是一个变种的强盗线性优化，其中学习者选择的行动是不利的扭曲之前，他们被提交。然后，我们开发了一个计算效率高的在线算法DLB，我们证明了$O(\sqrt{T})$的遗憾界，其中$T$是时间步长的数量。我们的算法是基于在线镜像下降与自和谐的障碍正则化，采用了一种新的增加学习率调度。
2021-01-31 cs.LG stat.ML
Counterfactual Risk Minimization: Learning from Logged Bandit Feedback
Cornell University（康奈尔大学）
我们开发了一个学习原理和一个有效的算法，批量学习从记录的强盗反馈。这种学习设置在在线系统中无处不在（例如，广告投放、网络搜索、推荐），其中算法进行预测（例如，广告排名）对于给定输入（例如，查询）并观察Bandit反馈（例如，用户点击呈现的广告）。我们首先通过倾向评分来解决学习问题的反事实性质。接下来，我们证明了泛化误差的范围，占的倾向加权经验风险估计的方差。这些建设性的界限产生了反事实风险最小化（CRM）原则。我们展示了如何CRM可以用来获得一个新的学习方法-称为政策优化指数模型（POEM）-学习随机线性规则的结构化输出预测。我们提出了一个分解的POEM目标，使有效的随机梯度优化。POEM的几个多标签分类问题进行了评估，表现出显着改善的鲁棒性和泛化性能相比，国家的最先进的。
2015-05-20 cs.LG stat.ML
Merit-based Fair Combinatorial Semi-Bandit with Unrestricted Feedback Delays
Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）
本文研究了在无限制反馈延迟和基于功绩公平性约束下的随机组合半老虎机问题，提出了能实现次线性奖励遗憾与公平性遗憾的新算法，并通过实验验证了其有效性。
2024-07-29 cs.LG stat.ML
Biased Dueling Bandits with Stochastic Delayed Feedback
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of California, Davis（加州大学戴维斯分校）
本文研究了具有随机延迟反馈的偏置对决老虎机问题，提出了两种分别适用于已知延迟分布和仅知延迟期望的算法，并给出了全面的遗憾界分析与实证评估。
2025-04-06 cs.LG stat.ML
Lipschitz Bandits with Stochastic Delayed Feedback
本文提出了解决具有随机延迟反馈的Lipschitz Bandit问题的新算法，通过延迟感知放大算法和分阶段学习策略，实现了次线性后悔保证，并在不同延迟场景下验证了算法效率。
2026-02-11 cs.LG stat.ML
Bandits with Delayed, Aggregated Anonymous Feedback
Lancaster University（兰卡斯特大学）；Columbia University（哥伦比亚大学）；DeepMind；University of Alberta（阿尔伯塔大学）
我们研究的随机$K$武装土匪问题的一个变种，我们称之为“土匪延迟，聚合匿名反馈”。在这个问题中，当玩家拉动手臂时，就会产生奖励，但不会立即观察到。相反，在每一轮结束时，玩家只观察到在给定回合中碰巧到达的先前生成的奖励的数量的总和。奖励是随机延迟的，由于观察的综合性质，导致特定奖励的手臂的信息丢失。问题是，由于这种延迟的、聚合的匿名反馈，信息丢失的成本是多少？以前的作品研究了土匪随机，非匿名的延迟，并发现，遗憾的增加，只有一个附加因素有关的预期延迟。在本文中，我们表明，这种添加剂的遗憾增加可以保持在较硬的延迟，聚合匿名反馈设置时，预期的延迟（或它的约束）是已知的。我们提供了一个算法，匹配的最坏情况下的遗憾的非匿名问题时，延迟是有界的，和对数因子或一个附加的方差项无界延迟。
2018-06-13 cs.LG stat.ML
On Adaptivity in Non-stationary Stochastic Optimization With Bandit Feedback
Naveen Jindal School of Management, University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）
本文研究了带反馈和动态后悔测度的非平稳随机最优化问题。Besbes et al.（2015）的开创性工作表明，当聚合函数变化先验已知时，一个简单的重新启动算法可以获得最佳动态遗憾。在这项工作中，我们设计了一个固定步长的随机最优化算法，该算法结合Wei和Luo（2021）的多尺度采样框架，在不需要函数变化预算的先验知识的情况下实现了非平稳随机最优化中的最优动态遗憾，从而关闭了一段时间以来一直悬而未决的问题。我们还建立了一个额外的结果表明，任何算法实现良好的遗憾对固定基准具有高概率可以自动转换为算法，实现良好的遗憾对动态基准，这是适用于广泛的一类强盗凸优化算法。
2022-10-11 cs.LG stat.ML
Efficient Pure Exploration for Combinatorial Bandits with Semi-Bandit Feedback
ETH Zürich（苏黎世联邦理工学院）
具有半强盗反馈的组合强盗推广了多臂强盗，其中代理选择武器集并观察所选集合中包含的每个武器的噪声奖励。动作集满足给定的结构，例如形成拟阵的基或图中的路。我们专注于纯粹的探索问题，确定最好的手臂与固定的信心，以及更一般的设置，其中的答案集的结构不同于一个动作集。使用最近流行的游戏框架，我们解释这个问题作为一个顺序的零和游戏，并开发一个CombGame元算法，其实例是渐近最优算法，有限时间的保证。除了比较两个家庭的学习者实例化我们的元算法，我们的工作的主要贡献是一个特定的Oracle有效的实例，最好的手臂识别与组合行动。基于凸多面体的投影自由在线学习算法，它是第一个计算效率高的算法，是渐近最优的，并具有竞争力的经验性能。
2021-01-21 cs.LG stat.ML
Linear Bandits with Stochastic Delayed Feedback
DeepMind（深度思维）；Otto-Von-Guericke Universität（奥托·冯·格里克大学）；Amazon（亚马逊）
随机线性强盗是结构化探索/开发问题的自然和充分研究的模型，并广泛用于在线营销和推荐等应用。希望应用现有算法的从业者所面临的主要挑战之一是，通常反馈是随机延迟的，延迟只能部分观察到。例如，虽然购买通常在显示之后的一段时间可观察到，但不购买的决定从未明确地发送到系统。换句话说，学习者只观察到延迟的积极事件。我们正式这个问题作为一个新的随机延迟线性强盗，并提出了${\tt OTFLinUCB}$和${\tt OTFLinTS}$，两个计算效率高的算法，能够整合新的信息，因为它变得可用，并处理永久审查反馈。我们证明了最佳的$\tilde O(\smash{d\sqrt{T}})$界的遗憾的第一个算法，并研究了依赖于延迟相关的参数。我们的模型，假设和结果进行了验证模拟和真实数据的实验。
2020-03-02 cs.LG stat.ML
Bandit and Delayed Feedback in Online Structured Prediction
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；CyberAgent
本文提出带宽和延迟反馈算法，解决了在线结构预测中反馈信息有限的问题，通过改进的估计方法实现更优的遗憾界限。
2026-01-04 cs.LG stat.ML
Learning Adversarial MDPs with Bandit Feedback and Unknown Transition
Princeton University（普林斯顿大学）；University of Southern California（南加利福尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑的学习问题，情节有限时域马尔可夫决策过程的未知的过渡函数，强盗反馈，和对抗性损失。我们提出了一个有效的算法，实现$\mathcal{\tilde{O}}(L|X|\sqrt{|A|T})$遗憾的概率高，其中$L$是地平线，$|X|$是状态的数量，$|A|$是行动的数量，和$T$是情节的数量。据我们所知，我们的算法是第一个确保$\mathcal{\tilde{O}}(\sqrt{T})$在这种具有挑战性的设置中后悔的算法;事实上，它实现了与考虑更容易设置的完整信息反馈相同的后悔界限（Rosenberg & Mansour，2019 a）。我们的关键技术贡献是双重的：一个更严格的信心集的过渡功能，和乐观的损失估计，是由$\textit{upper occupancy bound}$逆加权。
2020-11-02 cs.LG stat.ML
Practical Contextual Bandits with Feedback Graphs
University of Southern California（南加州大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）
本文研究具有反馈图的上下文赌博机问题，提出基于回归归约的实用算法，在计算上可行并达到极小极大速率，从而降低实际应用中的统计复杂度。
2023-10-27 cs.LG
A Unified Analysis of Nonstochastic Delayed Feedback for Combinatorial Semi-Bandits, Linear Bandits, and MDPs
University of Amsterdam（阿姆斯特丹大学）；Tel Aviv University（特拉维夫大学）；Amazon Science（亚马逊科学部门）；Politecnico di Milano（米兰理工大学）
本文提出一种新的FTRL分析方法，分离延迟与赌博机反馈成本，为组合半赌博机、对抗性MDP和线性赌博机分别导出最优或近最优遗憾界，并证明FTRL在温和条件下跨轮稳定。
2023-05-15 cs.LG
Combinatorial Pure Exploration with Full-Bandit or Partial Linear Feedback
Tsinghua University（清华大学）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）；Microsoft Research（微软研究院）
在本文中，我们首先研究了组合纯探索与全强盗反馈（CPE-BL）的问题，其中学习者被赋予一个组合动作空间$\mathcal{X} \subseteq \{0,1\}^d$，并在每一轮的学习者拉动作$x \in \mathcal{X}$和接收随机奖励与期望$x^{\top} θ$，与$θ\in \mathbb{R}^d$潜在的和未知的环境向量。目标是使用尽可能少的样本来确定具有最高预期回报的最佳行动。对于CPE-BL，我们设计了第一个{ \em多项式时间自适应}算法，其样本复杂度与一系列实例的下限（对数因子内）相匹配，并且具有对$Δ_{\min}$（最佳动作和次优动作之间的最小间隙）的轻度依赖。此外，我们提出了一种新的广义CPE-BL灵活的反馈结构，称为组合纯探索与部分线性反馈（CPE-PL），其中包括几个家庭的子问题，包括全强盗反馈，半强盗反馈，部分反馈和非线性奖励函数。在CPE-PL中，每个动作拉动$x$报告具有$M_{x} θ$期望的随机反馈向量，其中$M_x \in \mathbb{R}^{m_x \times d}$是$x$的变换矩阵，并且获得与$x$相关的随机（可能非线性）奖励。对于CPE-PL，我们开发了第一个{ \em多项式时间}算法，它同时解决了有限反馈，一般奖励函数和组合动作空间，并提供了其样本复杂度分析。我们的实证评估表明，我们的算法运行的数量级比现有的，我们的C…
2020-12-15 cs.LG stat.ML
Low-Rank Bandit Methods for High-Dimensional Dynamic Pricing
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Microsoft Research（微软研究院）；Chicago Booth（芝加哥大学布斯商学院）
我们考虑动态定价与许多产品下不断发展，但低维的需求模型。假设跨弹性的时间变化表现出低秩结构的固定（潜在）功能的产品的基础上，我们表明，收入最大化问题减少到一个在线的强盗凸优化边信息所观察到的需求。我们设计的动态定价算法，其收入的最佳固定价格向量的方法在事后，在一个速度，只取决于内在的需求模型的排名，而不是产品的数量。我们的方法在潜在产品特征所跨越的投影低维空间中应用了一种强盗凸优化算法，同时通过对包含观察到的需求的精心制作的矩阵进行在线奇异值分解来学习这个跨度。
2019-09-11 cs.LG stat.ML
MaxGap Bandit: Adaptive Algorithms for Approximate Ranking
University of Wisconsin（威斯康星大学）
本文研究了从K个分布（臂）中自适应采样以确定任意两个相邻均值之间的最大间隔的问题。我们称之为MaxGap-bandit问题。这个问题自然会出现在近似排名，噪声排序，离群点检测，并在土匪顶臂识别。MaxGap-bandit问题的关键新颖性在于，它的目的是自适应地确定将分布自然划分为具有较大均值的子集和具有较小均值的子集，其中分割由最大间隙而不是预先指定的秩或阈值确定。估计一个手臂的差距需要采样其相邻的武器，除了自己，这种依赖性的结果在一个新的硬度参数，表征样本的复杂性的问题。我们提出了消除和UCB风格的算法，并表明它们是最小最大的。我们的实验表明，UCB风格的算法需要比非自适应采样少6- 8倍的样本，以实现相同的错误。
2019-06-03 cs.LG stat.ML
Low-Rank Generalized Linear Bandit Problems
University of Michigan（密歇根大学）；Adobe Inc.（奥多比公司）
在一个低秩线性强盗问题中，一个动作的回报（由一个大小为$d_1 \times d_2$的矩阵表示）是这个动作和一个未知的低秩矩阵$Θ^*$之间的内积。我们提出了一种新的在线到置信集转换~ \citep{abbasi2012online}和指数加权平均预测器的低秩矩阵的覆盖构造的组合的基础上的算法。在$T$轮中，当$Θ^*$的秩为$r \ll \min\{d_1,d_2\}$时，我们的算法实现了$\widetilde{O}((d_1+d_2)^{3/2}\sqrt{rT})$后悔，改进了$\widetilde{O}(d_1d_2\sqrt{T})$的标准线性强盗后悔界.我们还将我们的算法方法推广到广义线性设置，得到一个算法，它享有类似的约束下的正则性条件的链接函数。为了克服覆盖算法计算量大的问题，本文对\citet{jun2019bilinear}的“Explore-Subspace-Then-Refine”算法进行了扩展，提出了一种有效的算法。我们的有效算法实现$\widetilde{O}((d_1+d_2)^{3/2}\sqrt{rT})$遗憾在一个温和的条件下的行动集$\mathcal{X}$和$Θ^*$的$r$ -th奇异值。我们的上界匹配的证明下限的\cite{jun2019bilinear}的一个子类的低秩线性强盗问题。此外，我们表明，现有的稀疏线性强盗问题的下界强烈表明…
2020-10-19 cs.LG stat.ML
Multiclass Classification using dilute bandit feedback
Machine Learning Lab IIIT Hyderabad（印度理工学院海得拉巴分校（IIIT Hyderabad）机器学习实验室II（Machine Learning Lab II））
本文介绍了一种新的多类分类在线学习框架--稀释式反馈学习。在每个时间步，该算法预测候选标签集，而不是观察到的示例的单个标签。然后，它从环境接收反馈，实际标签是否位于该候选标签集中。这种反馈被称为“稀释的强盗反馈”。在这种情况下的学习甚至比强盗反馈设置更具挑战性，因为监督中存在更多的不确定性。提出了一种基于稀释强盗反馈的多类分类算法（MC-DBF），该算法采用探索-利用策略来预测候选集。我们表明，该算法达到O（T^{1- \frac{1}{m+2} }）错误界候选标签集大小（在每一步）是m。我们证明了所提出的方法与广泛的模拟的有效性。
2021-05-17 cs.LG
Combinatorial Multi-Armed Bandits with Filtered Feedback
Lancaster University（兰卡斯特大学）；Naval Postgraduate School（海军研究生院）
在搜索和检测问题的动机，我们提出了一个解决方案的组合多臂强盗（CMAB）问题的重尾奖励分布和一类新的反馈，过滤semibandit反馈。在CMAB问题中，智能体在每一轮中从集合$\{1,...,k\}$中抽取一组手臂，从与这些手臂相关联的概率分布中生成随机结果，并获得总体奖励。在半强盗反馈下，假设生成的随机结果都被观察到。滤波半强盗反馈允许从以初始随机结果为条件的第二分布中采样观察到的结果。这种反馈机制是有价值的，因为它允许CMAB方法应用于顺序搜索和检测问题，其中进行组合动作，但没有观察到真正的奖励（在回合中出现的感兴趣的对象的数量），而是过滤的奖励（搜索器成功找到的对象的数量，根据定义必须小于出现的数量）。我们提出了一个上置信界类型的算法，Robust-F-CUCB，和相关的遗憾界的顺序$\mathcal{O}(\ln(n))$，以平衡勘探和开发，面对过滤的奖励和重尾奖励分布。
2017-05-26 cs.LG stat.ML
Stochastic $k$-Submodular Bandits with Full Bandit Feedback
Iowa State University（爱荷华州立大学）；Purdue University（普渡大学）
本文针对全赌博机反馈下的在线 $k$-子模优化，提出首个次线性 $\alpha$-遗憾界，覆盖多种约束场景，通过离线到在线框架转化算法，并分析离线算法的鲁棒性。
2024-12-14 cs.DS cs.LG stat.ML
Non-Stochastic Control with Bandit Feedback
Princeton University（普林斯顿大学）；Google AI Princeton（谷歌人工智能普林斯顿）
研究了具有对抗扰动的线性动力系统的控制问题，其中控制器的唯一反馈是标量损失，而损失函数本身是未知的。对于这个问题，无论系统是已知的还是未知的，我们都给出了一个有效的次线性后悔算法。算法的主要困难在于损失对过去控制的依赖性。为了克服这个问题，我们提出了一个有效的算法的一般设置的强盗凸优化的损失函数的记忆，这可能是独立的利益。
2020-08-12 cs.LG math.OC stat.ML
Adaptive Algorithms for Multi-armed Bandit with Composite and Anonymous Feedback
Tsinghua University（清华大学）；Georgia Institute of Technology（佐治亚理工学院）
研究了具有复合匿名反馈的多臂强盗问题。在这个模型中，拉一只手臂的奖励会在一段时间内传播（我们称这段时间为奖励间隔），玩家会收到这个动作的部分奖励，与拉其他手臂的奖励相交织。该模型的现有结果需要关于奖励区间大小的先验知识作为其算法的输入。在本文中，我们提出了自适应算法的随机和对抗的情况下，不需要任何先验信息的奖励区间。对于随机的情况下，我们证明了我们的算法保证了一个遗憾，符合下界（顺序）。对于对抗的情况下，我们提出了第一个算法，以联合处理非遗忘的对手和未知的奖励区间大小。我们还根据真实世界的数据集进行模拟。结果表明，我们的算法优于现有的基准。
2020-12-15 cs.LG stat.ML
Adapting to Stochastic and Adversarial Losses in Episodic MDPs with Aggregate Bandit Feedback
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；University of Washington（华盛顿大学）；University of Southern California（南加州大学）
针对聚合赌博机反馈的片段式MDP，提出首个两全其美算法，在随机和对抗环境下分别达到对数与平方根遗憾，并证明最优性。
2025-10-27 cs.LG stat.ML
Efficient Low-Rank Matrix Estimation, Experimental Design, and Arm-Set-Dependent Low-Rank Bandits
Dipartimento di Informatica, Università degli Studi di Milano（米兰大学信息科学系）；Department of Computer Science, University of Arizona（亚利桑那大学计算机科学系）
本文提出LowPopArt低秩矩阵估计方法及基于B(Q)的实验设计准则，并据此为一般臂集设计两种低秩线性赌博机算法，获得更优遗憾上界，突破了以往对臂集或探索分布的严格假设。
2024-06-08 cs.LG stat.ML
Stochastic Structured Prediction under Bandit Feedback
Heidelberg University（海德堡大学）；Tufts University（塔夫茨大学）；Amazon Development Center（亚马逊开发中心）
在强盗反馈下的随机结构化预测遵循学习协议，其中在迭代序列中的每一个上，学习器接收输入，预测输出结构，并且接收预测结构的任务损失评估形式的部分反馈。我们目前的应用程序，这种学习的情况下，凸和非凸目标的结构化预测和分析它们作为随机一阶方法。我们提出了一个实验评估问题的自然语言处理指数输出空间，并比较收敛速度在不同的目标下的实际标准的最佳任务性能的开发数据和最优化理论标准的最小平方梯度范数。在这两个标准下的最佳结果获得了一个非凸目标的两两偏好学习下的强盗反馈。
2016-11-02 cs.CL cs.LG stat.ML
Improving a Neural Semantic Parser by Counterfactual Learning from Human Bandit Feedback
Heidelberg University（海德堡大学）
来自人类强盗反馈的反事实学习描述了一种场景，其中记录用户对历史系统输出质量的反馈并用于改进目标系统。我们展示了如何将这种学习框架应用于神经语义解析。从机器学习的角度来看，关键的挑战在于对估计器进行适当的重新加权，以避免反事实学习中的已知退化，同时仍然适用于随机梯度优化。为了与人类用户进行实验，我们设计了一个易于使用的界面来收集人类对语义解析的反馈。我们的工作是第一个表明，语义解析器可以显着提高从记录的人类反馈数据的反事实学习。
2018-11-30 cs.CL cs.LG stat.ML
Causal Bandits: Learning Good Interventions via Causal Inference
Australian National University（澳大利亚国立大学）；Data61/NICTA（Data61/国家信息与通信技术研究院）；University of Alberta（阿尔伯塔大学）
我们研究了使用因果模型来提高在随机环境中可以在线学习良好干预措施的速度的问题。我们的形式主义相结合的多臂土匪和因果推断模型的一种新型的土匪反馈，不利用现有的方法。我们提出了一个新的算法，利用因果反馈，并证明其简单的遗憾，严格优于（在所有数量）比不使用额外的因果信息的算法的约束。
2016-06-10 cs.LG stat.ML
Low-Rank Single-Index Bandits with Unknown Links: From Matrices to Tensors
本研究提出T-ESTOR和T-BSTOR算法，解决低秩矩阵与张量老虎机中未知奖励链接的问题，分别实现最优遗憾界，并通过实验验证了结构化估计的优势。
2026-09-29 cs.LG stat.ML
Cascading Non-Stationary Bandits: Online Learning to Rank in the Non-Stationary Cascade Model
University of Amsterdam（阿姆斯特丹大学）
非平稳性出现在许多在线应用中，如网络搜索和广告。在本文中，我们研究了在线学习排名问题的非平稳环境中，用户的偏好突然改变，在一个未知的时刻。我们考虑的问题，确定K个最有吸引力的项目，并提出级联非平稳土匪，一个在线学习变种的级联模型，其中用户浏览排名列表从上到下，点击第一个有吸引力的项目。我们提出了两种算法来解决这个非平稳问题：CascadeDUCB和CascadeSWUCB。我们分析了它们的性能，并推导出这些算法的n步遗憾的间隙相关的上界。我们还建立了一个下界级联非平稳土匪的遗憾，并表明这两种算法匹配的下限的对数因子。最后，我们评估他们的表现在现实世界的网络搜索点击数据集。
2019-11-22 cs.LG stat.ML
Fixed-Confidence Multiple Change Point Identification under Bandit Feedback
Department of Mathematics, Imperial College London, London, England（伦敦帝国学院数学系）
研究固定置信度分段常数bandit问题中的多变点识别，基于实例依赖下界设计渐近最优的Track-and-Stop变体，通过集中采样变点附近实现高效识别。
2025-07-11 cs.LG stat.ML
A Hierarchical Nearest Neighbour Approach to Contextual Bandits
The Alan Turing Institute（艾伦·图灵研究所）
针对度量空间中对抗式上下文老虎机的现有最近邻方法在决策边界附近上下文多的场景下遗憾值高的问题，提出分层最近邻算法，可在计算遗憾项时保留任意上下文集，且兼具高计算效率。
2023-12-14 cs.LG stat.ML
Improved High-Probability Regret for Adversarial Bandits with Time-Varying Feedback Graphs
University of Southern California（南加州大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们研究了在$T$回合上具有时变反馈图的对抗性$K$武装匪徒的高概率后悔界。对于一般的强可观测图，我们提出了一个算法，该算法以高概率获得最优遗憾$\widetilde{\mathcal{O}}((\sum_{t=1}^Tα_t)^{1/2}+\max_{t\in[T]}α_t)$，其中$α_t$是反馈图在循环$t$的独立数.与现有的最佳结果[Neu，2015]相比，它只考虑所有节点都具有自循环的图，我们的结果不仅更普遍，而且重要的是还消除了任何$\text{poly}(K)$依赖性，这些依赖性对于上下文强盗等应用程序来说可能非常大。此外，我们还开发了第一个算法，该算法实现了弱可观测图的最佳高概率遗憾界，甚至改进了[Alon et al.，2015]通过使用精细分析删除$\mathcal{O}(\sqrt{KT})$项。我们的算法是基于在线镜像下降框架，但重要的是与几种技术的创新组合。值得注意的是，虽然早期的作品使用乐观偏置损失估计实现高概率界，我们发现重要的是使用一个悲观的节点没有自我循环在一个强可观察的图。
2023-01-29 cs.LG stat.ML
Nonstochastic Multi-Armed Bandits with Graph-Structured Feedback
Tel Aviv University（特拉维夫大学）；Institute for Advanced Study（高等研究院）；Microsoft Research（微软研究院）；Università degli Studi di Milano（米兰大学）；University of Insubria（因苏布里亚大学）；Technion（以色列理工学院）；Weizmann Institute of Science（魏茨曼科学研究所）
我们提出并研究了部分信息模型的在线学习，决策者反复选择从一个有限的行动，并观察一些子集的相关损失。这很自然地模拟了几种情况，其中不同动作的丢失是相关的，并且知道一个动作的丢失提供了关于其他动作的丢失的信息。此外，它在充分研究的全信息设置（所有损失都被揭示）和强盗设置（只有玩家选择的行为的损失被揭示）之间进行了推广和插值。我们提供了几种算法，解决我们的设置不同的变体，并提供严格的遗憾界取决于信息反馈结构的组合特性。
2014-09-30 cs.LG stat.ML
Bilinear Bandits with Low-rank Structure
Boston University（波士顿大学）；University of Chicago（芝加哥大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们引入了具有低秩结构的双线性强盗问题，其中一个行动采取来自两个不同实体类型的一对手臂的形式，并且奖励是手臂的已知特征向量的双线性函数。问题中的未知数是定义奖励的$d_1$ × $d_2$矩阵$\mathbfΘ^*$，并且具有低秩$r \ll \min\{d_1,d_2\}$。确定具有这种低秩结构的$\mathbfΘ^*$在找到正确的探索-开发权衡方面提出了重大挑战。在这项工作中，我们提出了一个新的两阶段算法称为“探索子空间，然后细化”（ESTR）。第一阶段是显式子空间探索，而第二阶段是称为“几乎低维OFUL”（LowOFUL）的线性强盗算法，该算法通过正则化技术利用并进一步细化估计的子空间。我们证明了ESTR的后悔是$\widetilde{\mathcal{O}}((d_1+d_2)^{3/2} \sqrt{r T})$，其中$\widetilde{\mathcal{O}}$隐藏对数因子，$T$是时间范围，这改进了$\widetilde{\mathcal{O}}(d_1d_2\sqrt{T})$的后悔。我们推测ESTR的遗憾界是不可改进的多对数因子，我们的初步实验表明，ESTR优于一个天真的线性强盗减少。
2019-06-09 cs.LG stat.ML
Matrix games with bandit feedback
DeepMind（深度思维）
我们研究了一个具有未知支付矩阵和强盗反馈的经典零和矩阵博弈，其中参与者只观察彼此的行为和噪声支付。这推广了通常的矩阵游戏，其中玩家知道支付矩阵。尽管有许多应用，这个问题得到了相对较少的关注。虽然对抗强盗算法实现了低遗憾，他们没有利用矩阵结构，并执行相对于新的算法。主要贡献是对UCB和K学习的变体的遗憾分析，这些变体适用于任何对手，例如，即使对手对抗性地对学习者的混合策略做出最佳反应。一路上，我们表明，汤普森失败灾难性的，在这种情况下，并提供经验比较现有的算法。
2021-06-12 cs.LG stat.CO stat.ML
Adversarial Combinatorial Bandits with Switching Costs
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
本文研究带切换代价的对抗性组合赌博机问题，在赌博机和半赌博机两种反馈下推导极小极大遗憾下界，并提出分批运行的 Batched-Exp2 和 Batched-BROAD 算法逼近下界。
2024-04-02 cs.LG stat.ML
