Online Multiclass Boosting with Bandit Feedback
University of Michigan(密歇根大学);Department of Computer Science(计算机科学系);Department of Statistics(统计系)
我们提出了在线提升算法的多类分类与强盗反馈,学习者只收到反馈的正确性,其预测。我们提出了一个无偏估计的损失使用随机预测,允许模型更新其弱学习有限的信息。使用无偏估计,我们扩展了两个全信息提升算法(Jung等人,2017年,《土匪》上映。我们证明了强盗算法的渐近误差界完全匹配他们的全信息同行。限制反馈的成本反映在更大的样本复杂性中。实验结果也支持我们的理论研究结果,所提出的模型的性能与现有的强盗助推算法,这是有限的使用二进制弱学习器。
2019-02-25 cs.LG stat.ML
Partial Bandit and Semi-Bandit: Making the Most Out of Scarce Users' Feedback
Kara Technology - Dpt R&D(Kara Technology - 研发部);Groupe ESEO - ERIS(ESEO集团 - ERIS)
最近的多臂强盗(MAB)和组合多臂强盗(COM-MAB)的工作显示出良好的结果的全球准确性度量。在推荐系统的情况下,这可以通过个性化来实现。然而,对于组合在线学习方法,个性化意味着大量的用户反馈。当用户需要直接和频繁地征求时,这种反馈可能很难获得。对于正在进行业务数字化的许多活动领域来说,在线学习是不可避免的。因此,已经实现了允许隐式用户反馈检索的许多方法。然而,这种隐含的反馈可能会误导或低效的代理的学习。在这里,我们提出了一种新的方法,减少了显式反馈所需的组合多臂强盗(COM-MAB)算法的数量,同时提供了类似的水平的全局精度和学习效率的经典竞争方法。在本文中,我们提出了一种新的方法来考虑用户的反馈,并使用三种不同的策略进行评估。尽管有限数量的反馈返回的用户(低至20%的总数),我们的方法获得了类似的结果,那些国家的最先进的方法。
2020-09-16 cs.AI cs.LG stat.ML
Linear Bandits with Feature Feedback
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Amazon(亚马逊)
本文探讨了一种新形式的线性强盗问题,其中算法接收通常的随机奖励以及随机反馈的功能是相关的奖励,后者的反馈是新的方面。本文的重点是发展新的理论和算法的线性强盗与特征反馈。我们发现,线性土匪与功能反馈可以实现遗憾的时间范围$T$,规模像$k\sqrt{T}$,没有先验知识的功能是相关的,也没有相关功能的数量$k$。相比之下,传统线性强盗的遗憾是$d\sqrt{T}$,其中$d$是(相关和不相关)特征的总数,因此如果使用$k\ll d$,改进可能是巨大的。新算法的计算复杂性与$k$而不是与$d$成正比,与传统的线性Bandits算法相比更适合于实际应用。我们证明了新算法的性能与合成和真正的人类标记的数据。
2019-03-12 cs.LG stat.ML
Online Boosting with Bandit Feedback
Google AI Princeton(谷歌人工智能普林斯顿);Department of Computer Science, Princeton University(普林斯顿大学计算机科学系)
我们考虑了回归任务的在线提升问题,当学习者只有有限的信息可用时。我们给出了一个有效的遗憾最小化方法,有两个影响:一个在线助推算法与嘈杂的多点强盗反馈,和一个新的无投影在线凸优化算法与随机梯度,提高了国家的最先进的保证方面的效率。
2020-07-23 cs.LG stat.ML
Warm-starting Contextual Bandits: Robustly Combining Supervised and Bandit Feedback
Microsoft Research(微软研究院);University of Maryland(马里兰大学);Yale University(耶鲁大学)
我们研究了从完全标记的监督数据和上下文强盗数据的混合中学习的可行性。我们特别考虑了这两个数据源之间的基础学习信号可能不同的设置。从理论上讲,我们的状态和证明无遗憾算法的学习,是强大的两个源之间的错位成本分布。从经验上讲,我们在大量的数据集上评估了其中的一些算法,表明我们的方法在实践中是可行的和有帮助的。
2019-06-21 cs.LG stat.ML
Online Semi-Supervised Learning with Bandit Feedback
IBM Research(IBM研究院)
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题,其动机是一些应用,包括临床试验和广告推荐。我们演示了如何图卷积网络(GCN),一个半监督学习的方法,可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后,我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
Multi-Agent Combinatorial-Multi-Armed-Bandit framework for the Submodular Welfare Problem under Bandit Feedback
Indian Institute of Technology Ropar, Rupnagar, India(印度理工学院罗帕尔分校);Purdue University, West Lafayette, USA(普渡大学)
本文提出多代理组合老虎机框架,用于在带反馈下解决亚模性福利问题,通过探索后承诺策略实现O(T^{2/3})的遗憾界。
2026-02-18 cs.GT cs.LG stat.ML
Stochastic Submodular Bandits with Delayed Composite Anonymous Bandit Feedback
McGill University(麦吉尔大学);Mila - Quebec Artificial Intelligence Institute(米拉-魁北克人工智能研究所);Purdue University(普渡大学)
本文研究具有随机子模奖励和延迟复合匿名反馈的组合多臂赌博机问题,提出三种延迟模型下的遗憾界,并证明算法优于其他全臂方法。
2025-01-22 cs.AI cs.DS cs.LG
Master-slave Deep Architecture for Top-K Multi-armed Bandits with Non-linear Bandit Feedback and Diversity Constraints
Nanyang Technological University(南洋理工大学);JD Explore Academy(京东探索研究院);Tencent(腾讯)
针对带非线性反馈与多样性约束的Top-K组合多臂老虎机问题,提出含6个从模型、协同训练及神经上下文UCB主模型的主从深度架构,在推荐数据集上性能超越现有最优算法。
2023-08-24 cs.DC cs.LG math.OC
Dueling Bandits with Qualitative Feedback
The University of Tokyo(东京大学);RIKEN(理化学研究所)
我们提出并研究了一个新的多臂强盗问题,称为定性决斗强盗(QDB)问题,其中一个代理观察到的不是数字,而是定性反馈,通过拉每个arm. We采用相同的遗憾决斗强盗(DB)问题,决斗是通过比较定性反馈。虽然我们可以天真地使用经典的DB算法来解决QDB问题,但这种减少显着降低了性能-实际上,在QDB问题中,一个手臂赢得另一个手臂的决斗的概率可以直接估计,而无需进行实际的决斗。在本文中,我们提出了这样的QDB问题的直接算法。我们的理论分析表明,所提出的算法显着优于DB算法,通过将定性反馈,实验结果也表明了巨大的改善现有的DB算法。
2018-09-18 cs.LG stat.ML
Towards Fundamental Limits of Multi-armed Bandits with Random Walk Feedback
在本文中,我们考虑了一个新的多臂强盗(MAB)问题,其中武器是一个未知的和可能变化的图中的节点,和代理(i)通过拉动武器在图上发起随机行走,(ii)观察随机行走轨迹,(iii)获得等于行走长度的奖励。我们提供了一个全面的了解这个问题,通过研究随机和对抗设置。我们表明,这个问题是不容易比一个标准的MAB在信息理论意义上,虽然额外的信息是通过随机游走轨迹。研究了该问题的强盗算法的行为。
2022-06-25 cs.LG
Learning Multiclass Classifier Under Noisy Bandit Feedback
IIIT Hyderabad(海得拉巴国际信息技术学院)
本文讨论了多类分类问题与损坏或嘈杂的强盗反馈。在这种情况下,学习者可能不会收到真正的反馈。相反,它接收到的反馈已经以某种非零概率翻转。我们提出了一种新的方法来处理基于无偏估计技术的噪声强盗反馈。我们还提供了一种方法,可以有效地估计噪声率,从而提供了一个端到端的框架。所提出的算法在高噪声情况下具有$O(\sqrt{T})$阶的错误界,在最坏情况下具有$O(T^{\nicefrac{2}{3}})$阶的错误界。我们展示了我们的方法的有效性,使用广泛的实验在几个基准数据集。
2021-03-03 cs.LG stat.ML
Near-Optimal Regret for Adversarial MDP with Delayed Bandit Feedback
University of Southern California(南加州大学);Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院);Amazon(亚马逊)
强化学习(RL)的标准假设是智能体立即观察其行为的反馈。然而,在实践中,反馈往往是延迟观察。研究了具有未知转移、逆向变化代价和无限制延迟反馈的偶发马尔可夫决策过程(MDP)的在线学习。更确切地说,针对情节$k$中的代理的反馈仅在情节$k + d^k$结束时被揭示,其中延迟$d^k$可以随情节而改变并且由不经意的对手选择。我们提出了第一个算法,实现接近最佳的$\sqrt{K + D}$遗憾,其中$K$是情节的数量和$D = \sum_{k=1}^K d^k$是总延迟,显着改善后,最有名的遗憾界的$(K + D)^{2/3}$。
2023-01-21 cs.LG
Bandit Structured Prediction for Learning from Partial Feedback in Statistical Machine Translation
Heidelberg University(海德堡大学);Orange Labs(Orange实验室)
我们提出了一种方法,结构化预测的强盗反馈,称为强盗结构化预测,其中只有一个任务的值损失函数在一个单一的预测点,而不是一个正确的结构,在学习中观察。我们提出了一个应用程序的统计机器翻译(SMT)的判别重排序的学习算法只能访问1-BLEU损失评估的预测翻译,而不是获得一个黄金标准的参考翻译。在我们的实验中,强盗反馈是通过评估BLEU的参考翻译,而不透露他们的算法。这可以被认为是交互式机器翻译的模拟,其中SMT系统由向预测的翻译提供单点反馈的用户个性化。我们的实验表明,我们的方法提高了翻译质量,并与在学习中采用更多信息反馈的方法相媲美。
2016-01-18 cs.CL cs.LG
Multiclass Online Learnability under Bandit Feedback
University of Michigan(密歇根大学);Technion(以色列理工学院)
本文研究bandit反馈下的在线多类分类,证明无界标签空间中Bandit Littlestone维数有限是可学习性的充要条件,并指出序列一致收敛必要但不充分。
2024-01-20 cs.LG stat.ML
Lipschitz Bandits with Arbitrary Feedback Delays
Institute for Interdisciplinary Information Sciences Tsinghua University(清华大学交叉信息研究院)
针对任意反馈延迟下的Lipschitz多臂老虎机,分别为随机和对抗奖励设置提出消除算法与EXP3算法,所得后悔界与无延迟时匹配,刻画了反馈延迟的额外影响。
2026-08-18 cs.LG
Reducing Dueling Bandits to Cardinal Bandits
Technion(以色列理工学院);Yahoo! Research(雅虎研究院);Cornell(康奈尔大学)
我们提出的算法减少决斗强盗问题的常规(随机)多武装强盗问题。决斗强盗问题是一个在线学习模型,具有形式为“A比B更受欢迎”的顺序反馈(而不是像“A的值为2.5”这样的基数反馈),使其在从隐式用户反馈以及显示和陈述的偏好中学习时具有广泛的适用性。与现有的算法决斗强盗问题,我们的减少-命名为$\Doubler$,$\MultiSbm$和$\DoubleSbm$ -提供了一个通用的模式,用于翻译的广泛机构的已知结果,传统的多臂强盗算法决斗强盗设置。对于$\Doubler$和$\MultiSbm$,我们证明了遗憾的上界在有限和无限的设置,并推测性能的$\DoubleSbm$经验优于其他两个以及以前的算法在我们的实验。此外,我们提供了第一个几乎最优的遗憾界的二阶条款,如武器的价值之间的差异。
2014-05-14 cs.LG
Online Continuous Submodular Maximization: From Full-Information to Bandit Feedback
Yale University(耶鲁大学);University of Pennsylvania(宾夕法尼亚大学)
在本文中,我们提出了三个在线算法子模最大化。第一个是Mono-Frank-Wolfe,它将$T^{1/2}$ [Chen 2018 Online]和$T^{3/2}$ [chen 2018 projection]中每个函数的梯度评估数量减少到1,并实现了$O(T^{4/5})$的$(1-1/e)$ -遗憾界。第二个是Bandit-Frank-Wolfe算法,它是第一个求解连续DR-子模极大化的Bandit算法,其$(1-1/e)$ -遗憾界为$O(T^{8/9})$ .最后,我们扩展Bandit-Frank-Wolfe的离散次模最大化,响应弗兰克-Wolfe,它达到了一个$(1-1/e)$ -遗憾界的$O(T^{8/9})$在响应强盗设置的强盗算法。
2019-10-28 cs.LG stat.ML
Optimal Stochastic Nonconvex Optimization with Bandit Feedback
University of California, Davis(加州大学戴维斯分校)
本文在一定的光滑性和子水平集假设下,研究了非凸代价函数的连续武装强盗问题。我们首先推导出一个简单的箱分裂方法的预期累积遗憾的上限。然后,我们提出了一个自适应的bin分裂方法,它可以显着提高性能。此外,一个极小极大下界的推导,这表明我们的新的自适应方法实现局部极小极大最优的期望累积后悔。
2021-03-30 cs.LG stat.ML
m-Set Adversarial Bandits with Winner Feedback
Università degli Studi di Milano(米兰大学);Politecnico di Milano(米兰理工大学)
本研究针对m-集合对抗性赌博机,在不同效用和反馈模型下推导出遗憾的上下界,揭示了设置变化对学习速率的影响,并通过实验验证了理论分析。
2026-10-08 cs.LG stat.ML
Learning to Route and Schedule LLMs from User Retrials via Contextual Queueing Bandits
本文提出基于隐式反馈的联合路由与调度算法,利用用户重试行为进行学习,通过上下文队列老虎机框架实现高效学习和队列稳定。
2026-06-27 cs.LG
Optimistic Policy Optimization with Bandit Feedback
Technion - Israel Institute of Technology(以色列理工学院);Tel Aviv University(特拉维夫大学)
策略优化方法是强化学习(RL)算法中应用最广泛的一类。然而,到目前为止,这些方法主要是从优化的角度进行分析,没有解决探索的问题,或者通过对与环境的相互作用进行强有力的假设。在本文中,我们考虑基于模型的RL在表格有限地平线MDP设置未知的过渡和强盗反馈。对于这种设置,我们提出了一个乐观的信任域策略优化(TRPO)算法,我们建立$\tilde O(\sqrt{S^2 A H^4 K})$后悔随机奖励。此外,我们证明了$\tilde O( \sqrt{ S^2 A H^4 } K^{2/3} ) $后悔对抗性奖励。有趣的是,这一结果匹配以前的边界得出的强盗反馈的情况下,但与已知的过渡。据我们所知,这两个结果是第一次获得的次线性遗憾界的策略优化算法与未知的过渡和强盗反馈。
2020-06-18 cs.LG stat.ML
KLUCB Approach to Copeland Bandits
多臂强盗(MAB)问题是一个强化学习框架,在该框架中,智能体通过对每个动作的绝对反馈来选择适当的动作,以最大化其收益。决斗强盗问题是MAB问题的一种变体,其中智能体选择一对动作并接收所选动作对的相对反馈。决斗土匪问题是非常适合建模的设置中,它是不可能提供定量反馈的每个动作,但定性反馈的每个动作是首选的情况下,人类的反馈。决斗强盗已成功应用于在线排名启发、信息检索、搜索引擎改进和临床在线推荐等应用中。本文提出了一种新的求解K臂决斗强盗问题的方法Sup-KLUCB,该方法将K臂决斗强盗问题转化为一个标准的MAB问题求解。而不是单独使用MAB算法的每一个动作在一对在陪练和自陪练算法,我们结合一对动作,并使用它作为一个动作。以前的UCB算法,如相对置信上限(RUCB)只能应用于孔多塞决斗土匪的情况下,而该算法适用于一般的Copeland决斗土匪,包括孔多塞决斗土匪作为一个特殊情况。我们的实证结果优于最先进的双汤普森采样(DSPs)的情况下,科普兰决斗土匪。
2019-02-07 cs.LG stat.ML
Nearest Neighbour with Bandit Feedback
The Alan Turing Institute(阿兰·图灵研究所)
本研究将最近邻规则适配到上下文老虎机问题,提出的算法可处理完全对抗性设置,结合快速近邻搜索数据结构后具备高效的运行时间与空间复杂度,给出通用遗憾界并分析了随机场景下的表现,还可应用于在线分类问题。
2024-03-07 cs.LG
Delayed Feedback in Generalised Linear Bandits Revisited
Imperial College London(帝国理工学院)
本文从理论上研究广义线性赌博机中的延迟奖励问题,证明乐观算法的自然适配可使延迟惩罚与时间范围无关,显著改进了已有遗憾界,并通过模拟实验验证了理论结果。
2023-04-11 cs.LG stat.ML
Constrained Feedback Learning for Non-Stationary Multi-Armed Bandits
Stony Brook University(石溪大学)
本文针对反馈受限的非平稳多臂老虎机问题,提出首个无需先验知识的算法,并证明其达到近最优动态遗憾。
2025-09-18 cs.LG
Combinatorial Bandits with Relative Feedback
Indian Institute of Science(印度科学研究所)
我们考虑组合在线学习与子集的选择时,只有相对反馈信息的子集是可用的,而不是强盗或半强盗反馈,这是绝对的。具体而言,我们研究了两个遗憾最小化问题的子集的有限基集$[n]$,与子集明智的相对偏好信息反馈根据多项logit选择模型。在第一设置中,学习者可以播放由最大大小限定的大小的子集,并且接收顶部$m$等级排序的反馈,而在第二设置中,学习者可以播放固定大小的子集$k$,其中观察到完整的子集等级作为反馈。对于这两种设置,我们设计的实例依赖和订单最优后悔算法与遗憾$O(\frac{n}{m} \ln T)$和$O(\frac{n}{k} \ln T)$,分别。我们得出的基本限制的遗憾性能的在线学习与子集明智的喜好,证明了我们的遗憾保证的紧密性。我们的研究结果还表明,引发更一般的顶部$m$排名排序反馈的价值超过单一赢家反馈($m=1$)。我们的理论结果与实证评估相印证。
2020-02-26 cs.LG stat.ML
Efficient Contextual Bandits with Uninformed Feedback Graphs
University of Southern California(南加州大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院)
针对无信息反馈图场景,本文提出首个基于在线回归归约的高效上下文老虎机算法,并证明使用对数损失学习图对获得良好遗憾保证至关重要,在合成与真实竞价数据上验证了其有效性。
2024-02-12 cs.LG
Linear and Neural Dueling Bandits with Delayed Feedback
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));The Chinese University of Hong Kong(香港中文大学)
针对随机延迟反馈下的上下文对抗性赌博机问题,提出线性(LDB-DF)和神经(NDB-DF)两种算法,通过将逆概率加权(IPW)机制直接融入损失函数实现无偏校正,并给出线性设置下O(d*sqrt(T))的遗憾界和神经设置下的次线性保证。
2026-05-26 cs.AI cs.LG
Efficient Counterfactual Learning from Bandit Feedback
Yale University(耶鲁大学);CyberAgent Inc.(CyberAgent公司)
使用来自bandit反馈的批量数据进行非策略评估和优化的最有效的统计方法是什么?对于由上下文强盗算法生成的日志数据,我们考虑从反事实策略中获得预期奖励的离线估计。我们的估计量具有最低的方差在广泛的一类估计量,实现相对于标准估计量的方差减少。然后,我们应用我们的估计,以改善广告设计的一个主要的广告公司。与理论结果相一致,我们的估计使我们能够改进现有的强盗算法,与最先进的基准相比,具有更高的统计置信度。
2018-12-05 cs.AI cs.IR cs.LG
Bandits with Feedback Graphs and Switching Costs
Johns Hopkins University(约翰斯·霍普金斯大学);Google Research(谷歌研究院);Courant Institute of Math. Sciences(库朗数学科学研究所)
我们研究的对抗性多臂强盗问题的部分观测是可用的,其中,除了每个动作所产生的损失,一个\emph{switching cost}引起转移到一个新的行动。所有先前已知的结果产生一个因子成比例的反馈图的独立数。给出了一个新的算法,其后悔保证仅依赖于图的控制数。我们进一步补充了一个下界的结果。最后,在部分反事实反馈存在的情况下,我们给出了一个改进的策略后悔界的新算法。
2020-03-22 cs.LG stat.ML
Stochastic $k$-Submodular Bandits with Full Bandit Feedback
Iowa State University(爱荷华州立大学);Purdue University(普渡大学)
本文针对全赌博机反馈下的在线 $k$-子模优化,提出首个次线性 $\alpha$-遗憾界,覆盖多种约束场景,通过离线到在线框架转化算法,并分析离线算法的鲁棒性。
2024-12-14 cs.DS cs.LG stat.ML
Non-Stochastic Control with Bandit Feedback
Princeton University(普林斯顿大学);Google AI Princeton(谷歌人工智能普林斯顿)
研究了具有对抗扰动的线性动力系统的控制问题,其中控制器的唯一反馈是标量损失,而损失函数本身是未知的。对于这个问题,无论系统是已知的还是未知的,我们都给出了一个有效的次线性后悔算法。算法的主要困难在于损失对过去控制的依赖性。为了克服这个问题,我们提出了一个有效的算法的一般设置的强盗凸优化的损失函数的记忆,这可能是独立的利益。
2020-08-12 cs.LG math.OC stat.ML
Stochastic Bandits with Delayed Composite Anonymous Feedback
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们探索了一个新的设置的多臂强盗(MAB)问题的灵感来自现实世界的应用程序,我们称之为“随机延迟复合匿名反馈(SDCAF)”的强盗。在SDCAF中,拉臂的奖励是随时间随机的,但在拉臂后的未来分散在固定数量的时间步长上,这个问题的复杂性源于对玩家的匿名反馈和奖励的随机生成。由于奖励的聚合性质,玩家无法将奖励与过去的特定时间步长相关联。我们提出了两种算法,这种更复杂的设置SDCAF使用基于相位的扩展UCB算法。我们进行遗憾分析,以显示次线性理论保证这两个算法。
2019-10-11 cs.LG stat.ML
Randomized Greedy Learning for Non-monotone Stochastic Submodular Maximization Under Full-bandit Feedback
KAUST(阿卜杜拉国王科技大学);Purdue University(普渡大学);Iowa State University(爱荷华州立大学)
研究了具有完全反馈和随机报酬的无约束组合多臂次模最大化问题。以前的作品调查同样的问题,假设一个子模块和单调的奖励函数。在这项工作中,我们研究了一个更普遍的问题,即,当报酬函数不一定是单调的,并且子模块性仅在期望中被假设时。提出了随机贪婪学习算法(RGL),并从理论上证明了该算法对于水平$T$和臂数$n$都达到了$\frac{1}{2}$ -遗憾上界$\tilde{\mathcal{O}}(n T^{\frac{2}{3}})$.我们还表明,在实验中,RGL经验优于其他充分的强盗变种submodular和nonsubmodular设置。
2023-02-02 cs.AI cs.LG math.OC
Preference is More Than Comparisons: Rethinking Dueling Bandits with Augmented Human Feedback
针对决斗式多臂老虎机在人类反馈稀疏时效率低、现有依赖参数化奖励模型易错误设定的问题,提出基于反馈增强的无模型改进框架,引入增强置信界整合反馈并分析权衡,原型算法在多IPE基准上表现优异。
2025-11-12 cs.LG
Combinatorial Bandits for Maximum Value Reward Function under Max Value-Index Feedback
London School of Economics(伦敦政治经济学院);Microsoft Research Asia(微软亚洲研究院)
本文研究最大价值-索引反馈下的组合多臂赌博机问题,提出一种新算法,并证明其遗憾界与信息更丰富的半赌博机反馈下的已知界相当,实验验证了其有效性。
2023-05-25 cs.LG math.ST stat.TH
Learning from eXtreme Bandit Feedback
University of California, Berkeley(加州大学伯克利分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们研究了在极大的动作空间中从强盗反馈批量学习的问题。从极端强盗反馈中学习在推荐系统中无处不在,在推荐系统中,一天内要对由数百万个选择组成的集合做出数十亿个决定,产生大量的观测数据。在这些大规模的实际应用中,监督学习框架(如XMC)被广泛使用,尽管由于bandit反馈和监督标签之间的不匹配,它们会产生显著的偏差。这种偏差可以通过重要性抽样技术来减轻,但是当处理大量动作时,这些技术遭受不切实际的变化。在本文中,我们引入了一种选择性重要性抽样估计量(sIS),该估计量在明显更有利的偏差-方差制度下运行。sIS估计器通过对每个实例的一小部分动作的奖励的条件期望执行重要性抽样来获得(Rao-Blackwellization的一种形式)。我们采用这种估计在一个新的算法程序-命名为政策优化的极限模型(POXM)-学习从强盗反馈XMC任务。在POXM中,为sIS估计器选择的操作是日志策略的前p个操作,其中p是根据数据调整的,并且显著小于操作空间的大小。我们在三个XMC数据集上使用监督到bandit的转换来对我们的POXM方法进行基准测试,以对抗三种竞争方法:BanditNet,以前应用的部分匹配修剪策略和监督学习基线。虽然BanditNet有时会在日志记录策略上略有改进,但我们的实验表明,POXM在所有基线上都有系统和显着的改进。
2021-02-22 cs.LG stat.ML
Stochastic Structured Prediction under Bandit Feedback
Heidelberg University(海德堡大学);Tufts University(塔夫茨大学);Amazon Development Center(亚马逊开发中心)
在强盗反馈下的随机结构化预测遵循学习协议,其中在迭代序列中的每一个上,学习器接收输入,预测输出结构,并且接收预测结构的任务损失评估形式的部分反馈。我们目前的应用程序,这种学习的情况下,凸和非凸目标的结构化预测和分析它们作为随机一阶方法。我们提出了一个实验评估问题的自然语言处理指数输出空间,并比较收敛速度在不同的目标下的实际标准的最佳任务性能的开发数据和最优化理论标准的最小平方梯度范数。在这两个标准下的最佳结果获得了一个非凸目标的两两偏好学习下的强盗反馈。
2016-11-02 cs.CL cs.LG stat.ML
Improving a Neural Semantic Parser by Counterfactual Learning from Human Bandit Feedback
Heidelberg University(海德堡大学)
来自人类强盗反馈的反事实学习描述了一种场景,其中记录用户对历史系统输出质量的反馈并用于改进目标系统。我们展示了如何将这种学习框架应用于神经语义解析。从机器学习的角度来看,关键的挑战在于对估计器进行适当的重新加权,以避免反事实学习中的已知退化,同时仍然适用于随机梯度优化。为了与人类用户进行实验,我们设计了一个易于使用的界面来收集人类对语义解析的反馈。我们的工作是第一个表明,语义解析器可以显着提高从记录的人类反馈数据的反事实学习。
2018-11-30 cs.CL cs.LG stat.ML
Exploiting Correlated Auxiliary Feedback in Parameterized Bandits
National University of Singapore(新加坡国立大学)
针对可观测相关辅助反馈的参数化多臂老虎机新问题,提出利用辅助反馈构建紧置信界奖励估计器的方法,可依据相关系数刻画遗憾降幅,实验验证了性能提升效果。
2023-11-05 cs.LG stat.ML
Near-optimal Regret Using Policy Optimization in Online MDPs with Aggregate Bandit Feedback
Blavatnik School of Computer Science, Tel Aviv University(特拉维夫大学布拉瓦尼克计算机科学学院);Google Research(谷歌研究院)
本文针对具有聚合bandit反馈的在线有限时域MDP,提出首个策略优化算法,在已知动态下取得最优遗憾界,在未知动态下显著改进现有结果。
2025-02-06 cs.LG
Delay-Adapted Policy Optimization and Improved Regret for Adversarial MDP with Delayed Bandit Feedback
Tel Aviv University(特拉维夫大学);Amazon Science(亚马逊科学)
本文提出延迟自适应策略优化(DAPO)算法,在对抗性MDP中处理延迟强盗反馈,首次实现表格MDP的近乎最优遗憾界,并扩展到线性函数逼近和深度强化学习场景。
2023-05-13 cs.LG
Online Markov Decision Processes with Aggregate Bandit Feedback
Google Research(谷歌研究院);Tel-Aviv University(特拉维夫大学)
我们研究了一种新的在线有限时域马尔可夫决策过程的变种,具有逆向变化的损失函数和初始未知的动态。在每一集中,学习者遭受沿着为该集选择的策略所实现的轨迹累积的损失,并观察总的强盗反馈:轨迹与所遭受的累积损失一起被揭示,而不是沿着轨迹遇到的个体损失。我们的主要结果是一个计算效率高的算法与$O(\sqrt{K})$遗憾的这种设置,其中$K$是情节的数量。我们通过一个有效的减少到一个新的强盗学习设置,我们称之为扭曲的线性强盗(DLB),这是一个变种的强盗线性优化,其中学习者选择的行动是不利的扭曲之前,他们被提交。然后,我们开发了一个计算效率高的在线算法DLB,我们证明了$O(\sqrt{T})$的遗憾界,其中$T$是时间步长的数量。我们的算法是基于在线镜像下降与自和谐的障碍正则化,采用了一种新的增加学习率调度。
2021-01-31 cs.LG stat.ML
A Framework for Adapting Offline Algorithms to Solve Combinatorial Multi-Armed Bandit Problems with Bandit Feedback
提出通用框架,将离线近似算法适配为组合多臂老虎机问题的次线性α-遗憾方法,仅需老虎机反馈,并应用于子模最大化,实验优于对抗性全老虎机方法。
2023-10-11 cs.AI cs.DS cs.LG
Matrix games with bandit feedback
DeepMind(深度思维)
我们研究了一个具有未知支付矩阵和强盗反馈的经典零和矩阵博弈,其中参与者只观察彼此的行为和噪声支付。这推广了通常的矩阵游戏,其中玩家知道支付矩阵。尽管有许多应用,这个问题得到了相对较少的关注。虽然对抗强盗算法实现了低遗憾,他们没有利用矩阵结构,并执行相对于新的算法。主要贡献是对UCB和K学习的变体的遗憾分析,这些变体适用于任何对手,例如,即使对手对抗性地对学习者的混合策略做出最佳反应。一路上,我们表明,汤普森失败灾难性的,在这种情况下,并提供经验比较现有的算法。
2021-06-12 cs.LG stat.CO stat.ML
Polylogarithmic Nash Regret in Matrix Games with Bandit Feedback
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究提出乐观支付平衡算法,在有限矩阵博弈中实现对数多项式的纳什遗憾,解决了非唯一均衡下的开放问题,证明观察对手动作足以达到该保证。
2026-09-29 cs.GT cs.LG
Deterministic MDPs with Adversarial Rewards and Bandit Feedback
TTIC(丰田技术研究所);Microsoft Research(微软研究院);University of Michigan(密歇根大学)
我们考虑一个马尔可夫决策过程与确定性的状态转移动态,adversarially产生的奖励,任意改变从一轮到另一轮,和一个强盗反馈模型,决策者只观察它收到的奖励。在这种情况下,我们提出了一种新的和有效的在线决策算法名为马可波罗。在过渡动力学结构的温和假设下,我们证明了马可波罗事后对最佳确定性策略的后悔度为O(T^(3/4)sqrt(log(T)。具体来说,我们的分析不依赖于严格的单链假设,这主导了以前关于这个主题的大部分工作。
2012-10-16 cs.GT cs.LG
Leveraging Similarities in Multi-Armed Bandits
Inria(法国国家信息与自动化技术研究所);Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔研究所);LJK(格勒诺布尔联合实验室);Criteo AI Lab(Criteo人工智能实验室);IMAG(格勒诺布尔信息与自动化技术研究所)
针对动作具有相似性的在线学习问题,提出利用树结构编码相似性,在多种反馈模型下实现遗憾界中动作数K被相似感知有效动作数替换的算法。
2026-06-23 cs.LG
Counterfactual Risk Minimization: Learning from Logged Bandit Feedback
Cornell University(康奈尔大学)
我们开发了一个学习原理和一个有效的算法,批量学习从记录的强盗反馈。这种学习设置在在线系统中无处不在(例如,广告投放、网络搜索、推荐),其中算法进行预测(例如,广告排名)对于给定输入(例如,查询)并观察Bandit反馈(例如,用户点击呈现的广告)。我们首先通过倾向评分来解决学习问题的反事实性质。接下来,我们证明了泛化误差的范围,占的倾向加权经验风险估计的方差。这些建设性的界限产生了反事实风险最小化(CRM)原则。我们展示了如何CRM可以用来获得一个新的学习方法-称为政策优化指数模型(POEM)-学习随机线性规则的结构化输出预测。我们提出了一个分解的POEM目标,使有效的随机梯度优化。POEM的几个多标签分类问题进行了评估,表现出显着改善的鲁棒性和泛化性能相比,国家的最先进的。
2015-05-20 cs.LG stat.ML
Merit-based Fair Combinatorial Semi-Bandit with Unrestricted Feedback Delays
Sun Yat-sen University(中山大学);The Chinese University of Hong Kong(香港中文大学)
本文研究了在无限制反馈延迟和基于功绩公平性约束下的随机组合半老虎机问题,提出了能实现次线性奖励遗憾与公平性遗憾的新算法,并通过实验验证了其有效性。
2024-07-29 cs.LG stat.ML
Multiarmed Bandit Problems with Delayed Feedback
University of Pennsylvania(宾夕法尼亚大学);Duke University(杜克大学);Google(谷歌)
在本文中,我们开始研究优化的强盗型问题的情况下,发挥的反馈是不是立即知道。这自然会出现在分配问题,已被广泛研究的文献中,虽然在没有延迟的反馈。我们在贝叶斯环境中研究这个问题。在存在延迟的情况下,已知不存在具有次指数运行时间的可证明保证的解。我们发现,在分配设置中出现的延迟反馈的强盗问题,可以被迫有显着的结构,在最优性略有损失。这种结构使我们能够推理单臂策略与纠缠最优策略之间的关系,并最终导致对一类非常一般的先验的O(1)近似。我们开发的结构性见解是关键的兴趣,并延续到设置中,在那里可以即时获得行动的反馈,我们也改进了在此设置中的所有以前的结果。
2013-06-18 cs.DS cs.LG
Biased Dueling Bandits with Stochastic Delayed Feedback
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of California, Davis(加州大学戴维斯分校)
本文研究了具有随机延迟反馈的偏置对决老虎机问题,提出了两种分别适用于已知延迟分布和仅知延迟期望的算法,并给出了全面的遗憾界分析与实证评估。
2025-04-06 cs.LG stat.ML
Counterfactual Learning from Bandit Feedback under Deterministic Logging: A Case Study in Statistical Machine Translation
Heidelberg University(海德堡大学);Amazon Development Center(亚马逊开发中心)
统计机器翻译(SMT)的反事实学习的目标是从记录的数据中优化目标SMT系统,这些数据包括用户反馈到另一个历史SMT系统预测的翻译。风险规避的商业SMT系统确定性地记录最可能的翻译这一事实带来了挑战。缺乏对SMT输出空间的充分探索似乎与反事实学习的理论要求相矛盾。我们表明,从确定性的强盗日志反事实学习是可能的,但通过平滑确定性的组件在学习。这可以通过避免经验风险最小化中的退化行为的加性和乘性控制变量来实现。我们的模拟实验表明,从确定性的强盗反馈的反事实学习的改善高达2 BLEU点。
2017-12-14 cs.CL cs.LG stat.ML