Online Boosting with Bandit Feedback
Google AI Princeton（谷歌人工智能普林斯顿）；Department of Computer Science, Princeton University（普林斯顿大学计算机科学系）
我们考虑了回归任务的在线提升问题，当学习者只有有限的信息可用时。我们给出了一个有效的遗憾最小化方法，有两个影响：一个在线助推算法与嘈杂的多点强盗反馈，和一个新的无投影在线凸优化算法与随机梯度，提高了国家的最先进的保证方面的效率。
2020-07-23 cs.LG stat.ML
Neural Dueling Bandits: Preference-Based Optimization with Human Feedback
Singapore-MIT Alliance for Research and Technology（新加坡-麻省理工学院研究与技术联盟）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）；Massachusetts Institute of Technology（麻省理工学院）
针对现有情境对决老虎机算法假设奖励函数线性的局限，提出基于神经网络估计非线性奖励函数的上置信界和汤普森采样算法，实现次线性遗憾并扩展到二元反馈情境，实验验证有效性。
2025-04-16 cs.AI cs.LG stat.ML
Warm-starting Contextual Bandits: Robustly Combining Supervised and Bandit Feedback
Microsoft Research（微软研究院）；University of Maryland（马里兰大学）；Yale University（耶鲁大学）
我们研究了从完全标记的监督数据和上下文强盗数据的混合中学习的可行性。我们特别考虑了这两个数据源之间的基础学习信号可能不同的设置。从理论上讲，我们的状态和证明无遗憾算法的学习，是强大的两个源之间的错位成本分布。从经验上讲，我们在大量的数据集上评估了其中的一些算法，表明我们的方法在实践中是可行的和有帮助的。
2019-06-21 cs.LG stat.ML
Online Semi-Supervised Learning with Bandit Feedback
IBM Research（IBM研究院）
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题，其动机是一些应用，包括临床试验和广告推荐。我们演示了如何图卷积网络（GCN），一个半监督学习的方法，可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后，我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
Provably Efficient Reinforcement Learning for Adversarial Restless Multi-Armed Bandits with Unknown Transitions and Bandit Feedback
Stony Brook University（石溪大学）
本文针对未知转移和老虎机反馈下的对抗性不安多臂老虎机问题，提出一种结合有偏对抗奖励估计器和低复杂度索引策略的强化学习算法，首次实现 $\tilde{\mathcal{O}}(H\sqrt{T})$ 遗憾界。
2024-05-02 cs.AI cs.LG stat.ML
Learning Fair Division from Bandit Feedback
University of Electro-Communications（电气通信大学）；New York University（纽约大学）；CyberAgent, Inc.（CyberAgent 株式会社）
针对在线公平分配中价值不确定性问题，提出基于对偶平均的包装算法，通过bandit反馈学习物品分布与智能体价值，在线性Fisher市场渐近达到最优Nash社会福利，并验证其优越性。
2023-11-15 cs.AI cs.LG stat.ML
Dueling Bandits with Qualitative Feedback
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们提出并研究了一个新的多臂强盗问题，称为定性决斗强盗（QDB）问题，其中一个代理观察到的不是数字，而是定性反馈，通过拉每个arm. We采用相同的遗憾决斗强盗（DB）问题，决斗是通过比较定性反馈。虽然我们可以天真地使用经典的DB算法来解决QDB问题，但这种减少显着降低了性能-实际上，在QDB问题中，一个手臂赢得另一个手臂的决斗的概率可以直接估计，而无需进行实际的决斗。在本文中，我们提出了这样的QDB问题的直接算法。我们的理论分析表明，所提出的算法显着优于DB算法，通过将定性反馈，实验结果也表明了巨大的改善现有的DB算法。
2018-09-18 cs.LG stat.ML
Information Directed Sampling for Stochastic Bandits with Graph Feedback
The Ohio State University（俄亥俄州立大学）；AT&T Labs Research（AT&T实验室研究中心）
考虑带图反馈的随机多臂强盗问题，允许决策者观察所选行动的相邻行动。我们允许图的结构随时间而变化，并考虑确定性和Erdens-Rényi随机图模型。对于这样的图反馈模型，我们首先提出了一种新的分析汤普森采样，导致更严格的性能约束比现有的工作。接下来，我们提出了新的基于信息定向采样的策略，这些策略在决策中是图形感知的。在确定性图的情况下，我们建立了一个贝叶斯后悔界的建议的政策，规模与团覆盖数的图，而不是行动的数量。在随机图的情况下，我们提供了一个贝叶斯遗憾界的建议的政策，规模与行动的数量的比率超过预期的观察每次迭代。据我们所知，这是第一个分析结果的随机土匪与随机图反馈。最后，使用数值评估，我们证明了我们提出的IDS策略优于现有的方法，包括适应的置信上限，$ε$贪婪和Exp 3算法。
2017-11-08 cs.AI cs.LG stat.ML
Learning Multiclass Classifier Under Noisy Bandit Feedback
IIIT Hyderabad（海得拉巴国际信息技术学院）
本文讨论了多类分类问题与损坏或嘈杂的强盗反馈。在这种情况下，学习者可能不会收到真正的反馈。相反，它接收到的反馈已经以某种非零概率翻转。我们提出了一种新的方法来处理基于无偏估计技术的噪声强盗反馈。我们还提供了一种方法，可以有效地估计噪声率，从而提供了一个端到端的框架。所提出的算法在高噪声情况下具有$O(\sqrt{T})$阶的错误界，在最坏情况下具有$O(T^{\nicefrac{2}{3}})$阶的错误界。我们展示了我们的方法的有效性，使用广泛的实验在几个基准数据集。
2021-03-03 cs.LG stat.ML
Multiclass Online Learnability under Bandit Feedback
University of Michigan（密歇根大学）；Technion（以色列理工学院）
本文研究bandit反馈下的在线多类分类，证明无界标签空间中Bandit Littlestone维数有限是可学习性的充要条件，并指出序列一致收敛必要但不充分。
2024-01-20 cs.LG stat.ML
Follow-the-Perturbed-Leader for Adversarial Markov Decision Processes with Bandit Feedback
Tsinghua University（清华大学）；University of Southern California（南加利福尼亚大学）
我们考虑对抗马尔可夫决策过程（AMDPs）的后悔最小化，其中损失函数随时间变化并且对抗性地选择，并且学习者仅观察访问状态-动作对的损失（即，Bandit反馈）。虽然已经有一个激增的研究这个问题使用在线镜像下降（OMD）的方法，很少有人知道的跟随扰动领导（FTPL）的方法，这通常是计算效率更高，也更容易实现，因为它只需要解决一个离线规划问题。受此启发，我们从标准的情节有限时域设置开始，仔细研究FTPL学习AMDPs。我们在分析中发现了一些独特而有趣的困难，并提出了一个解决方案，最终表明FTPL在这种情况下也能够实现接近最优的遗憾界限。更重要的是，我们发现了两个重要的应用：首先，FTPL的分析结果很容易推广到具有顺序最优遗憾的延迟强盗反馈，而OMD方法表现出额外的困难（Jin等人，2022年）。其次，使用FTPL，我们还开发了第一个无遗憾算法学习通信AMDPs在无限时域设置与强盗反馈和随机过渡。我们的算法是有效的，假设访问离线规划预言，而即使是更容易的全信息设置，唯一现有的算法（Eurasekaran和Tewari，2021）是计算效率低下。
2022-09-18 cs.AI cs.LG stat.ML
Online Continuous Submodular Maximization: From Full-Information to Bandit Feedback
Yale University（耶鲁大学）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们提出了三个在线算法子模最大化。第一个是Mono-Frank-Wolfe，它将$T^{1/2}$ [Chen 2018 Online]和$T^{3/2}$ [chen 2018 projection]中每个函数的梯度评估数量减少到1，并实现了$O(T^{4/5})$的$(1-1/e)$ -遗憾界。第二个是Bandit-Frank-Wolfe算法，它是第一个求解连续DR-子模极大化的Bandit算法，其$(1-1/e)$ -遗憾界为$O(T^{8/9})$ .最后，我们扩展Bandit-Frank-Wolfe的离散次模最大化，响应弗兰克-Wolfe，它达到了一个$(1-1/e)$ -遗憾界的$O(T^{8/9})$在响应强盗设置的强盗算法。
2019-10-28 cs.LG stat.ML
Efficient Counterfactual Learning from Bandit Feedback
Yale University（耶鲁大学）；CyberAgent Inc.（CyberAgent公司）
使用来自bandit反馈的批量数据进行非策略评估和优化的最有效的统计方法是什么？对于由上下文强盗算法生成的日志数据，我们考虑从反事实策略中获得预期奖励的离线估计。我们的估计量具有最低的方差在广泛的一类估计量，实现相对于标准估计量的方差减少。然后，我们应用我们的估计，以改善广告设计的一个主要的广告公司。与理论结果相一致，我们的估计使我们能够改进现有的强盗算法，与最先进的基准相比，具有更高的统计置信度。
2018-12-05 cs.AI cs.IR cs.LG
Optimal Stochastic Nonconvex Optimization with Bandit Feedback
University of California, Davis（加州大学戴维斯分校）
本文在一定的光滑性和子水平集假设下，研究了非凸代价函数的连续武装强盗问题。我们首先推导出一个简单的箱分裂方法的预期累积遗憾的上限。然后，我们提出了一个自适应的bin分裂方法，它可以显着提高性能。此外，一个极小极大下界的推导，这表明我们的新的自适应方法实现局部极小极大最优的期望累积后悔。
2021-03-30 cs.LG stat.ML
Multi-Agent Combinatorial-Multi-Armed-Bandit framework for the Submodular Welfare Problem under Bandit Feedback
Indian Institute of Technology Ropar, Rupnagar, India（印度理工学院罗帕尔分校）；Purdue University, West Lafayette, USA（普渡大学）
本文提出多代理组合老虎机框架，用于在带反馈下解决亚模性福利问题，通过探索后承诺策略实现O(T^{2/3})的遗憾界。
2026-02-18 cs.GT cs.LG stat.ML
Delayed Feedback in Kernel Bandits
MediaTek Research（联发科技研究院）；Imperial College London（帝国理工学院）
在机器学习、学术研究和工业生产中，从昂贵和嘈杂的评估中对未知函数进行黑盒优化是一个普遍存在的问题。问题的抽象可以被公式化为基于内核的强盗问题（也称为贝叶斯优化），其中学习器旨在通过连续的噪声观测来优化内核化函数。现有的工作主要假设反馈是立即可用的;在许多现实世界的情况下，包括推荐系统，临床试验和超参数调整的假设失败。考虑随机延迟反馈下的核强盗问题，提出了一种带$\tilde{\mathcal{O}}(\sqrt{Γ_k(T)T}+\mathbb{E}[τ])$遗憾的算法，其中$T$是时间步数，$Γ_k(T)$是具有$T$观测值的核的最大信息增益，$τ$是延迟随机变量.这代表了Verma等人（2022）报告的$\tilde{\mathcal{O}}(Γ_k(T)\sqrt{T}+\mathbb{E}[τ]Γ_k(T))$最新技术水平遗憾界限的显著改善。特别是，对于非常不光滑的内核，信息增益几乎线性增长的时间，平凡化现有的结果。我们还验证了我们的理论结果与模拟。
2023-02-01 cs.AI cs.LG stat.ML
Stochastic Submodular Bandits with Delayed Composite Anonymous Bandit Feedback
McGill University（麦吉尔大学）；Mila - Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；Purdue University（普渡大学）
本文研究具有随机子模奖励和延迟复合匿名反馈的组合多臂赌博机问题，提出三种延迟模型下的遗憾界，并证明算法优于其他全臂方法。
2025-01-22 cs.AI cs.DS cs.LG
m-Set Adversarial Bandits with Winner Feedback
Università degli Studi di Milano（米兰大学）；Politecnico di Milano（米兰理工大学）
本研究针对m-集合对抗性赌博机，在不同效用和反馈模型下推导出遗憾的上下界，揭示了设置变化对学习速率的影响，并通过实验验证了理论分析。
2026-10-08 cs.LG stat.ML
Optimistic Policy Optimization with Bandit Feedback
Technion - Israel Institute of Technology（以色列理工学院）；Tel Aviv University（特拉维夫大学）
策略优化方法是强化学习（RL）算法中应用最广泛的一类。然而，到目前为止，这些方法主要是从优化的角度进行分析，没有解决探索的问题，或者通过对与环境的相互作用进行强有力的假设。在本文中，我们考虑基于模型的RL在表格有限地平线MDP设置未知的过渡和强盗反馈。对于这种设置，我们提出了一个乐观的信任域策略优化（TRPO）算法，我们建立$\tilde O(\sqrt{S^2 A H^4 K})$后悔随机奖励。此外，我们证明了$\tilde O( \sqrt{ S^2 A H^4 } K^{2/3} ) $后悔对抗性奖励。有趣的是，这一结果匹配以前的边界得出的强盗反馈的情况下，但与已知的过渡。据我们所知，这两个结果是第一次获得的次线性遗憾界的策略优化算法与未知的过渡和强盗反馈。
2020-06-18 cs.LG stat.ML
KLUCB Approach to Copeland Bandits
多臂强盗（MAB）问题是一个强化学习框架，在该框架中，智能体通过对每个动作的绝对反馈来选择适当的动作，以最大化其收益。决斗强盗问题是MAB问题的一种变体，其中智能体选择一对动作并接收所选动作对的相对反馈。决斗土匪问题是非常适合建模的设置中，它是不可能提供定量反馈的每个动作，但定性反馈的每个动作是首选的情况下，人类的反馈。决斗强盗已成功应用于在线排名启发、信息检索、搜索引擎改进和临床在线推荐等应用中。本文提出了一种新的求解K臂决斗强盗问题的方法Sup-KLUCB，该方法将K臂决斗强盗问题转化为一个标准的MAB问题求解。而不是单独使用MAB算法的每一个动作在一对在陪练和自陪练算法，我们结合一对动作，并使用它作为一个动作。以前的UCB算法，如相对置信上限（RUCB）只能应用于孔多塞决斗土匪的情况下，而该算法适用于一般的Copeland决斗土匪，包括孔多塞决斗土匪作为一个特殊情况。我们的实证结果优于最先进的双汤普森采样（DSPs）的情况下，科普兰决斗土匪。
2019-02-07 cs.LG stat.ML
Stochastic Top-$K$ Subset Bandits with Linear Space and Non-Linear Feedback
Purdue University（普渡大学）；Iowa State University（爱荷华州立大学）
许多现实世界的问题，如社会影响力最大化，面临着在给定时刻从$N$选项中选择最佳$K$的困境。该设置可以被建模为组合的强盗，其每次从$N$臂中选择$K$，目的是实现探测和利用之间的有效权衡。这是第一个工作的组合土匪收到的反馈可以是一个非线性函数的选择$K$武器。直接使用多臂Bandit需要在$N$ -choose- $K$选项中进行选择，使得状态空间变大。在本文中，我们提出了一种新的算法，这是计算效率和存储是线性的$N$。该算法是一种基于分治的策略，我们称之为CMAB-SM。此外，所提出的算法对于时间范围$T$实现了$\tilde O(K^{\frac{1}{2}}N^{\frac{1}{3}}T^{\frac{2}{3}})$的\textit{regret bound}，其在所有参数$T$、$N$和$K$中是\textit{sub-linear}。当应用于社会影响力最大化问题时，该算法的性能优于UCB算法和一些更复杂的特定领域的方法。
2021-10-11 cs.AI cs.LG stat.ML
Delayed Feedback in Generalised Linear Bandits Revisited
Imperial College London（帝国理工学院）
本文从理论上研究广义线性赌博机中的延迟奖励问题，证明乐观算法的自然适配可使延迟惩罚与时间范围无关，显著改进了已有遗憾界，并通过模拟实验验证了理论结果。
2023-04-11 cs.LG stat.ML
Combinatorial Bandits with Relative Feedback
Indian Institute of Science（印度科学研究所）
我们考虑组合在线学习与子集的选择时，只有相对反馈信息的子集是可用的，而不是强盗或半强盗反馈，这是绝对的。具体而言，我们研究了两个遗憾最小化问题的子集的有限基集$[n]$，与子集明智的相对偏好信息反馈根据多项logit选择模型。在第一设置中，学习者可以播放由最大大小限定的大小的子集，并且接收顶部$m$等级排序的反馈，而在第二设置中，学习者可以播放固定大小的子集$k$，其中观察到完整的子集等级作为反馈。对于这两种设置，我们设计的实例依赖和订单最优后悔算法与遗憾$O(\frac{n}{m} \ln T)$和$O(\frac{n}{k} \ln T)$，分别。我们得出的基本限制的遗憾性能的在线学习与子集明智的喜好，证明了我们的遗憾保证的紧密性。我们的研究结果还表明，引发更一般的顶部$m$排名排序反馈的价值超过单一赢家反馈（$m=1$）。我们的理论结果与实证评估相印证。
2020-02-26 cs.LG stat.ML
Linear and Neural Dueling Bandits with Delayed Feedback
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The Chinese University of Hong Kong（香港中文大学）
针对随机延迟反馈下的上下文对抗性赌博机问题，提出线性（LDB-DF）和神经（NDB-DF）两种算法，通过将逆概率加权（IPW）机制直接融入损失函数实现无偏校正，并给出线性设置下O(d*sqrt(T))的遗憾界和神经设置下的次线性保证。
2026-05-26 cs.AI cs.LG
Bandits with Feedback Graphs and Switching Costs
Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）；Courant Institute of Math. Sciences（库朗数学科学研究所）
我们研究的对抗性多臂强盗问题的部分观测是可用的，其中，除了每个动作所产生的损失，一个\emph{switching cost}引起转移到一个新的行动。所有先前已知的结果产生一个因子成比例的反馈图的独立数。给出了一个新的算法，其后悔保证仅依赖于图的控制数。我们进一步补充了一个下界的结果。最后，在部分反事实反馈存在的情况下，我们给出了一个改进的策略后悔界的新算法。
2020-03-22 cs.LG stat.ML
Practical Contextual Bandits with Feedback Graphs
University of Southern California（南加州大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）
本文研究具有反馈图的上下文赌博机问题，提出基于回归归约的实用算法，在计算上可行并达到极小极大速率，从而降低实际应用中的统计复杂度。
2023-10-27 cs.LG
Kernelized Offline Contextual Dueling Bandits
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
针对人类反馈获取成本高的问题，提出离线上下文对决式老虎机设定，设计上置信界风格算法并证明遗憾界，实验显示其效果优于均匀采样上下文的策略。
2023-07-21 cs.AI cs.LG stat.ML
Stochastic Bandits with Delayed Composite Anonymous Feedback
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们探索了一个新的设置的多臂强盗（MAB）问题的灵感来自现实世界的应用程序，我们称之为“随机延迟复合匿名反馈（SDCAF）”的强盗。在SDCAF中，拉臂的奖励是随时间随机的，但在拉臂后的未来分散在固定数量的时间步长上，这个问题的复杂性源于对玩家的匿名反馈和奖励的随机生成。由于奖励的聚合性质，玩家无法将奖励与过去的特定时间步长相关联。我们提出了两种算法，这种更复杂的设置SDCAF使用基于相位的扩展UCB算法。我们进行遗憾分析，以显示次线性理论保证这两个算法。
2019-10-11 cs.LG stat.ML
Learning from eXtreme Bandit Feedback
University of California, Berkeley（加州大学伯克利分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们研究了在极大的动作空间中从强盗反馈批量学习的问题。从极端强盗反馈中学习在推荐系统中无处不在，在推荐系统中，一天内要对由数百万个选择组成的集合做出数十亿个决定，产生大量的观测数据。在这些大规模的实际应用中，监督学习框架（如XMC）被广泛使用，尽管由于bandit反馈和监督标签之间的不匹配，它们会产生显著的偏差。这种偏差可以通过重要性抽样技术来减轻，但是当处理大量动作时，这些技术遭受不切实际的变化。在本文中，我们引入了一种选择性重要性抽样估计量（sIS），该估计量在明显更有利的偏差-方差制度下运行。sIS估计器通过对每个实例的一小部分动作的奖励的条件期望执行重要性抽样来获得（Rao-Blackwellization的一种形式）。我们采用这种估计在一个新的算法程序-命名为政策优化的极限模型（POXM）-学习从强盗反馈XMC任务。在POXM中，为sIS估计器选择的操作是日志策略的前p个操作，其中p是根据数据调整的，并且显著小于操作空间的大小。我们在三个XMC数据集上使用监督到bandit的转换来对我们的POXM方法进行基准测试，以对抗三种竞争方法：BanditNet，以前应用的部分匹配修剪策略和监督学习基线。虽然BanditNet有时会在日志记录策略上略有改进，但我们的实验表明，POXM在所有基线上都有系统和显着的改进。
2021-02-22 cs.LG stat.ML
A Unified Analysis of Nonstochastic Delayed Feedback for Combinatorial Semi-Bandits, Linear Bandits, and MDPs
University of Amsterdam（阿姆斯特丹大学）；Tel Aviv University（特拉维夫大学）；Amazon Science（亚马逊科学部门）；Politecnico di Milano（米兰理工大学）
本文提出一种新的FTRL分析方法，分离延迟与赌博机反馈成本，为组合半赌博机、对抗性MDP和线性赌博机分别导出最优或近最优遗憾界，并证明FTRL在温和条件下跨轮稳定。
2023-05-15 cs.LG
Exploiting Correlated Auxiliary Feedback in Parameterized Bandits
National University of Singapore（新加坡国立大学）
针对可观测相关辅助反馈的参数化多臂老虎机新问题，提出利用辅助反馈构建紧置信界奖励估计器的方法，可依据相关系数刻画遗憾降幅，实验验证了性能提升效果。
2023-11-05 cs.LG stat.ML
Incentivized Exploration of Non-Stationary Stochastic Bandits
University of Colorado Boulder（科罗拉多大学博尔德分校）
本研究针对非平稳多臂老虎机问题，提出两种激励探索算法，在突变和连续变化环境中实现次线性遗憾与补偿，有效激励探索。
2024-03-16 cs.AI cs.LG stat.ML
Multiclass Classification using dilute bandit feedback
Machine Learning Lab IIIT Hyderabad（印度理工学院海得拉巴分校（IIIT Hyderabad）机器学习实验室II（Machine Learning Lab II））
本文介绍了一种新的多类分类在线学习框架--稀释式反馈学习。在每个时间步，该算法预测候选标签集，而不是观察到的示例的单个标签。然后，它从环境接收反馈，实际标签是否位于该候选标签集中。这种反馈被称为“稀释的强盗反馈”。在这种情况下的学习甚至比强盗反馈设置更具挑战性，因为监督中存在更多的不确定性。提出了一种基于稀释强盗反馈的多类分类算法（MC-DBF），该算法采用探索-利用策略来预测候选集。我们表明，该算法达到O（T^{1- \frac{1}{m+2} }）错误界候选标签集大小（在每一步）是m。我们证明了所提出的方法与广泛的模拟的有效性。
2021-05-17 cs.LG
Delaytron: Efficient Learning of Multiclass Classifiers with Delayed Bandit Feedbacks
IIIT Hyderabad（海得拉巴国际信息技术研究所）
在本文中，我们提出了在线算法称为{ \it Delaytron}学习多类分类器使用延迟强盗反馈。反馈延迟$\{d_t\}_{t=1}^T$的序列对于算法是未知的。在第$t$轮，该算法观察示例$\mathbf{x}_t$并预测标签$\tilde{y}_t$，并且仅在$d_t$轮之后接收强盗反馈$\mathbb{I}[\tilde{y}_t=y_t]$。当$t+d_t>T$时，我们认为第$t$轮的反馈缺失。我们表明，该算法实现了遗憾的$\mathcal{O}\left(\sqrt{\frac{2 K}γ\left[\frac{T}{2}+\left(2+\frac{L^2}{R^2\Vert \W\Vert_F^2}\right)\sum_{t=1}^Td_t\right]}\right)$时，每个丢失的样本的损失是上界$L$。在缺失样本的损失没有上界的情况下，Delaytron实现的遗憾是$\mathcal{O}\left(\sqrt{\frac{2 K}γ\left[\frac{T}{2}+2\sum_{t=1}^Td_t+\vert \mathcal{M}\vert T\right]}\right)$，其中$\mathcal{M}$是$T$轮中缺失样本的集合。这些界限是用恒定的步长实现的，这需要$T$和$\sum_{t=1}^Td_t$的知识。对于$T$和$\sum_{t=1}^…
2022-05-17 cs.AI cs.LG stat.ML
Online Markov Decision Processes with Aggregate Bandit Feedback
Google Research（谷歌研究院）；Tel-Aviv University（特拉维夫大学）
我们研究了一种新的在线有限时域马尔可夫决策过程的变种，具有逆向变化的损失函数和初始未知的动态。在每一集中，学习者遭受沿着为该集选择的策略所实现的轨迹累积的损失，并观察总的强盗反馈：轨迹与所遭受的累积损失一起被揭示，而不是沿着轨迹遇到的个体损失。我们的主要结果是一个计算效率高的算法与$O(\sqrt{K})$遗憾的这种设置，其中$K$是情节的数量。我们通过一个有效的减少到一个新的强盗学习设置，我们称之为扭曲的线性强盗（DLB），这是一个变种的强盗线性优化，其中学习者选择的行动是不利的扭曲之前，他们被提交。然后，我们开发了一个计算效率高的在线算法DLB，我们证明了$O(\sqrt{T})$的遗憾界，其中$T$是时间步长的数量。我们的算法是基于在线镜像下降与自和谐的障碍正则化，采用了一种新的增加学习率调度。
2021-01-31 cs.LG stat.ML
Learning from Local Walks on Dynamic Graphs with Bandit Feedback
Department of Computer Science, University of Colorado, Boulder（科罗拉多大学博尔德分校计算机科学系）；INRIA, Paris（法国国家信息与自动化研究所巴黎分部）
研究动态图上随机多臂强盗问题，基于滑动窗口混合识别结构条件，分析局部探索然后提交算法，建立次线性期望遗憾，还包括奖励感知策略及相关定理。
2026-07-29 cs.AI cs.LG stat.ML
Stochastic $k$-Submodular Bandits with Full Bandit Feedback
Iowa State University（爱荷华州立大学）；Purdue University（普渡大学）
本文针对全赌博机反馈下的在线 $k$-子模优化，提出首个次线性 $\alpha$-遗憾界，覆盖多种约束场景，通过离线到在线框架转化算法，并分析离线算法的鲁棒性。
2024-12-14 cs.DS cs.LG stat.ML
Non-Stochastic Control with Bandit Feedback
Princeton University（普林斯顿大学）；Google AI Princeton（谷歌人工智能普林斯顿）
研究了具有对抗扰动的线性动力系统的控制问题，其中控制器的唯一反馈是标量损失，而损失函数本身是未知的。对于这个问题，无论系统是已知的还是未知的，我们都给出了一个有效的次线性后悔算法。算法的主要困难在于损失对过去控制的依赖性。为了克服这个问题，我们提出了一个有效的算法的一般设置的强盗凸优化的损失函数的记忆，这可能是独立的利益。
2020-08-12 cs.LG math.OC stat.ML
Counterfactual Risk Minimization: Learning from Logged Bandit Feedback
Cornell University（康奈尔大学）
我们开发了一个学习原理和一个有效的算法，批量学习从记录的强盗反馈。这种学习设置在在线系统中无处不在（例如，广告投放、网络搜索、推荐），其中算法进行预测（例如，广告排名）对于给定输入（例如，查询）并观察Bandit反馈（例如，用户点击呈现的广告）。我们首先通过倾向评分来解决学习问题的反事实性质。接下来，我们证明了泛化误差的范围，占的倾向加权经验风险估计的方差。这些建设性的界限产生了反事实风险最小化（CRM）原则。我们展示了如何CRM可以用来获得一个新的学习方法-称为政策优化指数模型（POEM）-学习随机线性规则的结构化输出预测。我们提出了一个分解的POEM目标，使有效的随机梯度优化。POEM的几个多标签分类问题进行了评估，表现出显着改善的鲁棒性和泛化性能相比，国家的最先进的。
2015-05-20 cs.LG stat.ML
Merit-based Fair Combinatorial Semi-Bandit with Unrestricted Feedback Delays
Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）
本文研究了在无限制反馈延迟和基于功绩公平性约束下的随机组合半老虎机问题，提出了能实现次线性奖励遗憾与公平性遗憾的新算法，并通过实验验证了其有效性。
2024-07-29 cs.LG stat.ML
Randomized Greedy Learning for Non-monotone Stochastic Submodular Maximization Under Full-bandit Feedback
KAUST（阿卜杜拉国王科技大学）；Purdue University（普渡大学）；Iowa State University（爱荷华州立大学）
研究了具有完全反馈和随机报酬的无约束组合多臂次模最大化问题。以前的作品调查同样的问题，假设一个子模块和单调的奖励函数。在这项工作中，我们研究了一个更普遍的问题，即，当报酬函数不一定是单调的，并且子模块性仅在期望中被假设时。提出了随机贪婪学习算法（RGL），并从理论上证明了该算法对于水平$T$和臂数$n$都达到了$\frac{1}{2}$ -遗憾上界$\tilde{\mathcal{O}}(n T^{\frac{2}{3}})$.我们还表明，在实验中，RGL经验优于其他充分的强盗变种submodular和nonsubmodular设置。
2023-02-02 cs.AI cs.LG math.OC
Biased Dueling Bandits with Stochastic Delayed Feedback
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of California, Davis（加州大学戴维斯分校）
本文研究了具有随机延迟反馈的偏置对决老虎机问题，提出了两种分别适用于已知延迟分布和仅知延迟期望的算法，并给出了全面的遗憾界分析与实证评估。
2025-04-06 cs.LG stat.ML
Multi-Armed Bandit Problem with Temporally-Partitioned Rewards: When Partial Feedback Counts
Politecnico di Milano（米兰理工大学）
人们对数据按顺序可用的工业在线应用越来越感兴趣。受启发的播放列表的用户，他们的喜好可以收集在整个播放列表的收听过程中的建议，我们研究了一种新的土匪设置，即多武装土匪与时间分区奖励（TP-MAB），其中随机奖励与拉的手臂被划分在有限数量的连续轮后拉。据我们所知，这一设置迄今尚未被探索，它是延迟反馈强盗的自然延伸，在这种情况下，奖励可能会在拉动后的有限时间内扩大，而不是在一个可能延迟的单一回合中完全披露。我们提供了两种算法来解决TP-MAB问题，即TP-UCB-FR和TP-UCB-EW，它们利用了随着时间的推移收集的奖励所披露的部分信息。我们表明，我们的算法提供了更好的渐近后悔上界比延迟反馈强盗算法时，一个属性表征了广泛的奖励结构的实际利益，即阿尔法平滑，持有。我们还根据经验评估了他们在各种环境中的表现，包括综合生成的和现实世界的媒体推荐问题。
2022-06-01 cs.AI cs.LG
Lipschitz Bandits with Stochastic Delayed Feedback
本文提出了解决具有随机延迟反馈的Lipschitz Bandit问题的新算法，通过延迟感知放大算法和分阶段学习策略，实现了次线性后悔保证，并在不同延迟场景下验证了算法效率。
2026-02-11 cs.LG stat.ML
Finite-Horizon Single-Pull Restless Bandits: An Efficient Index Policy For Scarce Resource Allocation
Harvard University（哈佛大学）；Hasso Plattner Institute（哈索·普拉特纳研究所）
针对资源高度稀缺且每个对象至多获得一次资源的分配问题，提出有限时域单拉动RMAB及虚拟状态扩展的轻量级索引策略，并证明其亚线性衰减的平均最优性差距。
2025-01-10 cs.LG cs.MA
Bandits with Delayed, Aggregated Anonymous Feedback
Lancaster University（兰卡斯特大学）；Columbia University（哥伦比亚大学）；DeepMind；University of Alberta（阿尔伯塔大学）
我们研究的随机$K$武装土匪问题的一个变种，我们称之为“土匪延迟，聚合匿名反馈”。在这个问题中，当玩家拉动手臂时，就会产生奖励，但不会立即观察到。相反，在每一轮结束时，玩家只观察到在给定回合中碰巧到达的先前生成的奖励的数量的总和。奖励是随机延迟的，由于观察的综合性质，导致特定奖励的手臂的信息丢失。问题是，由于这种延迟的、聚合的匿名反馈，信息丢失的成本是多少？以前的作品研究了土匪随机，非匿名的延迟，并发现，遗憾的增加，只有一个附加因素有关的预期延迟。在本文中，我们表明，这种添加剂的遗憾增加可以保持在较硬的延迟，聚合匿名反馈设置时，预期的延迟（或它的约束）是已知的。我们提供了一个算法，匹配的最坏情况下的遗憾的非匿名问题时，延迟是有界的，和对数因子或一个附加的方差项无界延迟。
2018-06-13 cs.LG stat.ML
On Adaptivity in Non-stationary Stochastic Optimization With Bandit Feedback
Naveen Jindal School of Management, University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）
本文研究了带反馈和动态后悔测度的非平稳随机最优化问题。Besbes et al.（2015）的开创性工作表明，当聚合函数变化先验已知时，一个简单的重新启动算法可以获得最佳动态遗憾。在这项工作中，我们设计了一个固定步长的随机最优化算法，该算法结合Wei和Luo（2021）的多尺度采样框架，在不需要函数变化预算的先验知识的情况下实现了非平稳随机最优化中的最优动态遗憾，从而关闭了一段时间以来一直悬而未决的问题。我们还建立了一个额外的结果表明，任何算法实现良好的遗憾对固定基准具有高概率可以自动转换为算法，实现良好的遗憾对动态基准，这是适用于广泛的一类强盗凸优化算法。
2022-10-11 cs.LG stat.ML
Stochastic Structured Prediction under Bandit Feedback
Heidelberg University（海德堡大学）；Tufts University（塔夫茨大学）；Amazon Development Center（亚马逊开发中心）
在强盗反馈下的随机结构化预测遵循学习协议，其中在迭代序列中的每一个上，学习器接收输入，预测输出结构，并且接收预测结构的任务损失评估形式的部分反馈。我们目前的应用程序，这种学习的情况下，凸和非凸目标的结构化预测和分析它们作为随机一阶方法。我们提出了一个实验评估问题的自然语言处理指数输出空间，并比较收敛速度在不同的目标下的实际标准的最佳任务性能的开发数据和最优化理论标准的最小平方梯度范数。在这两个标准下的最佳结果获得了一个非凸目标的两两偏好学习下的强盗反馈。
2016-11-02 cs.CL cs.LG stat.ML
Improving a Neural Semantic Parser by Counterfactual Learning from Human Bandit Feedback
Heidelberg University（海德堡大学）
来自人类强盗反馈的反事实学习描述了一种场景，其中记录用户对历史系统输出质量的反馈并用于改进目标系统。我们展示了如何将这种学习框架应用于神经语义解析。从机器学习的角度来看，关键的挑战在于对估计器进行适当的重新加权，以避免反事实学习中的已知退化，同时仍然适用于随机梯度优化。为了与人类用户进行实验，我们设计了一个易于使用的界面来收集人类对语义解析的反馈。我们的工作是第一个表明，语义解析器可以显着提高从记录的人类反馈数据的反事实学习。
2018-11-30 cs.CL cs.LG stat.ML
Efficient Pure Exploration for Combinatorial Bandits with Semi-Bandit Feedback
ETH Zürich（苏黎世联邦理工学院）
具有半强盗反馈的组合强盗推广了多臂强盗，其中代理选择武器集并观察所选集合中包含的每个武器的噪声奖励。动作集满足给定的结构，例如形成拟阵的基或图中的路。我们专注于纯粹的探索问题，确定最好的手臂与固定的信心，以及更一般的设置，其中的答案集的结构不同于一个动作集。使用最近流行的游戏框架，我们解释这个问题作为一个顺序的零和游戏，并开发一个CombGame元算法，其实例是渐近最优算法，有限时间的保证。除了比较两个家庭的学习者实例化我们的元算法，我们的工作的主要贡献是一个特定的Oracle有效的实例，最好的手臂识别与组合行动。基于凸多面体的投影自由在线学习算法，它是第一个计算效率高的算法，是渐近最优的，并具有竞争力的经验性能。
2021-01-21 cs.LG stat.ML
Linear Bandits with Stochastic Delayed Feedback
DeepMind（深度思维）；Otto-Von-Guericke Universität（奥托·冯·格里克大学）；Amazon（亚马逊）
随机线性强盗是结构化探索/开发问题的自然和充分研究的模型，并广泛用于在线营销和推荐等应用。希望应用现有算法的从业者所面临的主要挑战之一是，通常反馈是随机延迟的，延迟只能部分观察到。例如，虽然购买通常在显示之后的一段时间可观察到，但不购买的决定从未明确地发送到系统。换句话说，学习者只观察到延迟的积极事件。我们正式这个问题作为一个新的随机延迟线性强盗，并提出了${\tt OTFLinUCB}$和${\tt OTFLinTS}$，两个计算效率高的算法，能够整合新的信息，因为它变得可用，并处理永久审查反馈。我们证明了最佳的$\tilde O(\smash{d\sqrt{T}})$界的遗憾的第一个算法，并研究了依赖于延迟相关的参数。我们的模型，假设和结果进行了验证模拟和真实数据的实验。
2020-03-02 cs.LG stat.ML
Matrix games with bandit feedback
DeepMind（深度思维）
我们研究了一个具有未知支付矩阵和强盗反馈的经典零和矩阵博弈，其中参与者只观察彼此的行为和噪声支付。这推广了通常的矩阵游戏，其中玩家知道支付矩阵。尽管有许多应用，这个问题得到了相对较少的关注。虽然对抗强盗算法实现了低遗憾，他们没有利用矩阵结构，并执行相对于新的算法。主要贡献是对UCB和K学习的变体的遗憾分析，这些变体适用于任何对手，例如，即使对手对抗性地对学习者的混合策略做出最佳反应。一路上，我们表明，汤普森失败灾难性的，在这种情况下，并提供经验比较现有的算法。
2021-06-12 cs.LG stat.CO stat.ML
Bandit and Delayed Feedback in Online Structured Prediction
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；CyberAgent
本文提出带宽和延迟反馈算法，解决了在线结构预测中反馈信息有限的问题，通过改进的估计方法实现更优的遗憾界限。
2026-01-04 cs.LG stat.ML
Learning Adversarial MDPs with Bandit Feedback and Unknown Transition
Princeton University（普林斯顿大学）；University of Southern California（南加利福尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑的学习问题，情节有限时域马尔可夫决策过程的未知的过渡函数，强盗反馈，和对抗性损失。我们提出了一个有效的算法，实现$\mathcal{\tilde{O}}(L|X|\sqrt{|A|T})$遗憾的概率高，其中$L$是地平线，$|X|$是状态的数量，$|A|$是行动的数量，和$T$是情节的数量。据我们所知，我们的算法是第一个确保$\mathcal{\tilde{O}}(\sqrt{T})$在这种具有挑战性的设置中后悔的算法;事实上，它实现了与考虑更容易设置的完整信息反馈相同的后悔界限（Rosenberg & Mansour，2019 a）。我们的关键技术贡献是双重的：一个更严格的信心集的过渡功能，和乐观的损失估计，是由$\textit{upper occupancy bound}$逆加权。
2020-11-02 cs.LG stat.ML
