Efficient Action Poisoning Attacks on Linear Contextual Bandits
University of California, Davis(加州大学戴维斯分校)
上下文强盗算法在各种场景中有许多应用。为了开发可信的上下文强盗系统,了解各种对抗攻击对上下文强盗算法的影响是必不可少的。在本文中,我们提出了一类新的攻击:行动中毒攻击,对手可以改变代理选择的行动信号。我们设计了行动中毒攻击方案,对线性上下文强盗算法在白盒和黑盒设置。我们进一步分析了一个非常流行和广泛使用的强盗算法:LinUCB的建议的攻击策略的成本。我们表明,在白盒和黑盒设置,所提出的攻击方案可以迫使LinUCB代理拉目标手臂非常频繁,只花费对数成本。
2021-12-10 cs.CR cs.LG math.OC
Weighted Linear Bandits for Non-Stationary Environments
CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);ENS(巴黎高等师范学院);Université PSL(巴黎文理研究大学);Deepmind(深度思维)
我们考虑一个随机线性强盗模型,其中可用的行动对应于任意的上下文向量,其相关的奖励遵循非平稳线性回归模型。在此设置中,允许未知回归参数随时间变化。为了解决这个问题,我们提出了D-LinUCB,这是一种基于折扣线性回归的新型乐观算法,其中使用指数权重来平滑地忘记过去。这涉及研究一般假设下的序贯加权最小二乘估计的偏差。作为一个副产品,我们获得了新的偏差结果,可以使用超越非平稳环境。我们提供的D-LinUCB在缓慢变化和快速变化的环境中的行为的理论保证。我们得到了动态后悔的一个上界,它的阶为d^{2/3} B\_T^{1/3}T^{2/3},其中B\_T是非平稳性的度量(d和T分别是维数和视界)。这个速率已知是最佳的。我们还说明了D-LinUCB的经验性能,并将其与最近提出的替代品在模拟环境中进行比较。
2020-03-20 cs.LG stat.ML
Tractable Instances of Bilinear Maximization: Implementing LinUCB on Ellipsoids
Laboratoire des signaux et systèmes, Université Paris-Saclay, CNRS, CentraleSupélec(巴黎-萨克雷大学信号与系统实验室、法国国家科学研究中心、中央理工-高等电力学院)
针对线性老虎机中需在每个时间步求解的双线性最大化问题,证明部分凸集无高效算法的NP难性,提出两种在中心椭球凸集下的高效算法,首次实现高维线性老虎机乐观算法。
2025-11-10 cs.LG stat.ML
Estimation of Warfarin Dosage with Reinforcement Learning
Department of Computer Science, Boston University(波士顿大学计算机科学系);Boston University(波士顿大学)
在本文中,它试图使用强化学习来模拟患者的Warcantine的适当剂量。本文首先检查了两个基线:35 mg/周剂量的固定模型和依赖于患者数据的线性模型。我们实现了一个LinUCB bandit,它提高了基于后悔和错误百分比的性能。在LinUCB bandit之上,我们尝试了在线监督学习和奖励重塑来提高性能。我们的研究结果明显超过了基线,并显示出使用多臂强盗和人工智能来帮助医生决定适当剂量的希望。
2021-09-15 cs.AI cs.LG
Multiplayer Information Asymmetric Contextual Bandits
Princeton University(普林斯顿大学)
本文提出多人信息不对称上下文赌博机框架,通过改进LinUCB和设计基于探索后承诺的ETC算法,在仅一种或两种不对称情况下均实现O(√T)最优遗憾。
2025-03-11 cs.LG
Randomized Exploration for Non-Stationary Stochastic Linear Bandits
University of Michigan(密歇根大学)
我们研究了两种扰动方法,以克服保守性,乐观的算法长期遭受在实践中。第一种方法在使用置信集时用简单的随机化代替乐观。第二种方法在最大化预期回报之前,将随机扰动添加到其当前估计值中。对于非平稳线性强盗,其中每个动作与$d$维特征相关联,并且未知参数随总变差$B_T$而时变,我们通过两种扰动方法提出了两种随机化算法,贴现随机化LinUCB(D-RandLinUCB)和贴现线性Thompson采样(D-LinTS)。我们强调的统计最优性与计算效率之间的权衡,前者渐近实现最佳动态遗憾$\tilde{O}(d^{7/8} B_T^{1/4}T^{3/4})$,但后者是甲骨文效率与额外的对数因子相比,最小最优动态遗憾的武器数量。在仿真研究中,这两种算法在解决贴现LinUCB所面临的保守性问题上表现出了出色的性能。
2021-10-11 cs.LG stat.ML
Graph Dimensionality Reduction for Contextual Bandits: Structure-Specific Regret Bounds under Approximate Smoothness and Noisy Eigenspaces
Department of Computer and Information Sciences, University of Delaware, USA(德克萨斯大学达勒姆分校计算机与信息科学系);Department of Computer Science, Iowa State University, USA(爱荷华州立大学计算机科学系);Department of Civil, Construction & Environmental Engineering, Iowa State University, USA(爱荷华州立大学土木、建设与环境工程系)
提出GraphDR-LinUCB算法,将臂特征投影到图的低频谱子空间,实现从d到k的维度缩减,并证明首个~O(k√T)遗憾界,通过扰动分析扩展到噪声图,在六个真实数据集上减少15倍累积遗憾。
2026-06-29 cs.LG
Learning to Rank in the Position Based Model with Bandit Feedback
Amazon(亚马逊)
个性化是许多在线体验的关键方面。特别是,内容排名通常是提供复杂个性化结果的关键组件。通常,应用监督学习排名方法,其遭受在负责产生排名的生产系统的数据汇集期间引入的偏差。为了弥补这个问题,我们利用上下文多武装匪徒。我们提出了新的扩展两个著名的算法,即LinUCB和线性汤普森采样的排名用例。为了解释生产环境中的偏差,我们采用了基于位置的点击模型。最后,我们通过在合成数据集上进行广泛的离线实验以及面向客户的在线A/B实验来证明所提出的算法的有效性。
2020-04-27 cs.LG stat.ML
A Contextual Combinatorial Semi-Bandit Approach to Network Bottleneck Identification
Chalmers University of Technology(查尔姆斯理工大学);Volvo Car Corporation(沃尔沃汽车公司)
瓶颈识别是网络分析中的一项具有挑战性的任务,特别是当网络没有完全指定时。为了解决这个问题,我们开发了一个统一的在线学习框架的基础上进行瓶颈识别并行学习的规范的底层网络的组合半土匪。在这个框架内,我们适应和研究各种组合半强盗方法,如ε贪婪,LinUCB,贝叶斯UCB,NeuralUCB和汤普森采样。此外,我们的框架是能够使用上下文信息的形式上下文强盗。最后,我们评估了我们的框架在道路网络的实际应用中,并证明了它在不同环境中的有效性。
2023-03-05 cs.LG
Practical Contextual Bandits with Regression Oracles
Cornell University(康奈尔大学);Microsoft Research(微软研究院);University of Southern California(南加州大学)
上下文强盗的一个主要挑战是设计通用的算法,既实用又有理论依据。我们提出了一种新的技术,具有经验和计算优势的可实现性为基础的方法结合了不可知方法的灵活性。我们的算法利用回归预言的价值函数类,一个更现实和合理的预言比分类预言通常假设的不可知方法的政策的可用性。我们的方法将UCB和LinUCB推广到更有表现力的可能模型类,并在某些分布假设下实现了低遗憾。在一个广泛的实证评估,基于可实现性和不可知的基线相比,我们发现,我们的方法通常给出可比或优越的结果。
2018-03-03 cs.LG stat.ML
Calibration-Gated LLM Pseudo-Observations for Online Contextual Bandits
本文提出在Disjoint LinUCB中引入LLM伪观测,通过校准门控衰减计划控制LLM预测准确性,减少冷启动阶段的累积遗憾。实验表明,特定任务提示可使MIND环境的遗憾减少19%。
2026-04-16 cs.AI cs.LG
Vertical Federated Linear Contextual Bandits
Tencent AI Lab(腾讯人工智能实验室);HKUST(香港科技大学);Tencent(腾讯)
在本文中,我们研究了一个新的问题,建立上下文土匪在垂直联邦设置,即,上下文信息垂直分布在不同的部门。这个问题在研究界还没有得到很大程度的探讨。为此,我们精心设计了一个定制的加密方案命名为基于正交矩阵的掩码机制(O3M)加密本地上下文信息,同时避免昂贵的传统密码技术。我们进一步将该机制应用于两个常用的强盗算法,LinUCB和LinTS,并实例化两个实际的协议,在线推荐下的垂直联邦设置。本文从理论上证明和分析了所提出的协议能够在获得满意的运行效率的同时,很好地恢复集中式Bandit算法的服务质量。通过在合成数据集和真实数据集上进行广泛的实验,我们证明了所提出的方法在隐私保护和推荐性能方面的优越性。
2022-10-20 cs.LG stat.ML
Linear Contextual Bandits with Hybrid Payoff: Revisited
Microsoft Research(微软研究院)
本文重新研究混合收益线性上下文赌博机,提出利用混合奖励结构与多样性条件改进LinUCB和DisLinUCB的遗憾分析,并设计新算法HyLinUCB,在多数场景下实现显著更低的遗憾且可扩展至大规模动作空间。
2024-09-03 cs.AI cs.LG
AdaLinUCB: Opportunistic Learning for Contextual Bandits
University of California, Davis(加州大学戴维斯分校)
在本文中,我们提出并研究机会主义的背景土匪-一个特殊的情况下,背景土匪的勘探成本在不同的环境条件下,如网络负载或回报变化的建议。当探索成本低时,拉次优手臂的实际遗憾也低(例如,尝试次优推荐)。因此,直观地说,勘探成本相对较低时,我们可以多勘探,勘探成本相对较高时,我们可以多开采。受这种直觉的启发,对于具有线性收益的机会主义上下文强盗,我们提出了一种自适应置信上限算法(AdaLinUCB)来自适应地平衡机会主义学习的探索-利用权衡。我们证明了AdaLinUCB算法的问题相关后悔上界为O((log T)^2),并且比传统的LinUCB算法具有更小的系数.此外,基于合成和真实世界的数据集,我们表明,AdaLinUCB显着优于其他上下文的强盗算法,在大的勘探成本波动。
2019-05-28 cs.AI cs.LG stat.ML
Online Matching: A Real-time Bandit System for Large-scale Recommendations
Google Deepmind(谷歌DeepMind);Google Inc(谷歌公司)
本文提出Online Matching,一个可扩展的闭环Bandit系统,通过混合“离线+在线”方法和Diag-LinUCB算法实现实时分布式参数更新,在YouTube实验中有效提升了新内容发现与物品探索能力。
2023-07-29 cs.LG
Improved Algorithms for Conservative Exploration in Bandits
Facebook AI Research(Facebook人工智能研究(Facebook AI Research))
在数字营销、医疗保健、金融和机器人等许多领域,通常在生产中运行经过良好测试且可靠的基线策略(例如,推荐系统)。然而,基线政策往往不是最佳的。在这种情况下,期望部署在线学习算法(例如,多臂Bandit算法),其与系统交互以在学习过程期间性能几乎永远不会比基线本身的性能差的约束下学习更好/最优策略。本文研究了上下文线性bandit环境下的保守学习问题,并提出了一种新的算法--保守约束LinUCB(CLUCB 2)。我们得出遗憾的界限CLUCB 2匹配现有的结果和经验表明,它优于国家的最先进的保守的强盗算法在一些合成和现实世界的问题。最后,我们考虑了一个更现实的约束,性能验证只在预定义的检查点(而不是在每一步),并显示这种放松的约束有利地影响遗憾和经验表现的CLUCB 2。
2020-02-08 cs.LG stat.ML
Target Tracking for Contextual Bandits: Application to Demand Side Management
EDF R&D(法国电力集团研发中心);INRIA(法国国家信息与自动化研究所);PSL Research University(巴黎文理研究大学);Université Paris-Sud(巴黎第十一大学);CNRS(法国国家科学研究中心);Université Paris-Saclay(巴黎-萨克雷大学)
我们提出了一个上下文强盗的方法,通过提供价格激励的需求侧管理。更准确地说,在每一轮设定一个目标平均消费量,平均消费量被建模为发送价格分布和一些上下文变量(如温度,天气等)的复函数,我们的策略的性能通过后悔标准以二次损失来衡量。我们提供了这个遗憾的$T^{2/3}$上界(最多为多对数项)- 2010年)。英国电力网络,其中提供的价格激励措施收集的真实数据集上的模拟表明,我们的策略是有效的,确实可以通过适当地选择价格水平来管理需求响应。
2019-05-13 cs.LG stat.ML
Syndicated Bandits: A Framework for Auto Tuning Hyper-parameters in Contextual Bandit Algorithms
University of California, Davis(加州大学戴维斯分校);University of California, Los Angeles(加州大学洛杉矶分校)
随机上下文强盗问题,它模拟探索和开发之间的权衡,有许多实际的应用,包括推荐系统,在线广告和临床试验。与许多其他机器学习算法一样,上下文强盗算法通常具有一个或多个超参数。作为一个例子,在大多数最优随机上下文强盗算法中,存在控制探索和利用之间的权衡的未知探索参数。一个适当的超参数的选择是必不可少的上下文强盗算法,以执行良好。然而,在上下文Bandit环境中使用离线调整方法来选择超参数是不可行的,因为没有预先收集的数据集并且必须实时做出决策。为了解决这个问题,我们首先提出了一个两层的强盗结构,用于自动调整探索参数,并进一步将其推广到辛迪加强盗框架,该框架可以在上下文强盗环境中动态学习多个超参数。我们推导出我们提出的辛迪加土匪框架的遗憾界,并表明它可以避免其遗憾指数依赖于要调整的超参数的数量。此外,它在某些情况下达到了最优的后悔界限。辛迪加强盗框架是通用的,足以处理许多流行的上下文强盗算法,如LinUCB,LinTS,UCB-GLM等的调整任务。在合成和真实数据集上的实验验证了我们提出的框架的有效性。
2022-06-11 cs.LG stat.ML
Multi-Agent Low-Dimensional Linear Bandits
University of Texas at Austin(德克萨斯大学奥斯汀分校);UC Berkeley(加州大学伯克利分校)
我们研究了一个多智能体随机线性土匪的边信息,参数化的未知向量$θ^* \in \mathbb{R}^d$。边信息由低维子空间的有限集合组成,其中一个包含$θ^*$。在我们的设置中,代理可以通过在连接它们的通信图中发送建议来合作以减少遗憾。我们提出了一种新的分散式算法,其中代理相互通信子空间索引,每个代理在相应的(低维)子空间上扮演LinUCB的投影变体。通过分配搜索的最佳子空间的用户和学习的未知向量的每个代理在相应的低维子空间,我们表明,每代理有限时间遗憾的情况下,代理不进行通信时要小得多。最后,我们通过模拟来补充这些结果。
2022-05-25 cs.DC cs.LG cs.SI
Contextual Bandits for Advertising Campaigns: A Diffusion-Model Independent Approach (Extended Version)
LISN, CNRS, University Paris-Saclay(巴黎-萨克雷大学,法国国家科学研究中心,计算机科学及其交互实验室)
受社会媒体中信息扩散和广告的场景的启发,我们研究了一个影响力最大化问题,其中假设对传播网络或决定信息如何传播的模型知之甚少。在这样一个高度不确定的环境中,人们可以专注于多轮扩散活动,目标是从已知的几个有影响力的节点开始,最大限度地增加受影响或激活的不同用户的数量。在活动期间,在连续的轮中顺序地选择传播种子,并且在每轮中以激活的节点的形式收集反馈。然后,一轮的影响(奖励)被量化为新激活的节点的数量。总的来说,一个人必须最大限度地提高运动的总传播,作为回合奖励的总和。在这种情况下,可以使用探索-利用方法来学习关键的潜在扩散参数,同时运行活动。我们描述和比较了两种方法的上下文多武装土匪,上的置信上限的影响者的剩余潜力,一个使用广义线性模型和良好的图灵估计剩余潜力(GLM-GT-UCB),和另一个直接适应的LinUCB算法,我们的设置(LogNorm-LinUCB)。我们表明,它们在合成和真实世界数据上使用最先进的想法优于基线方法,同时表现出不同和互补的行为,这取决于它们部署的场景。
2022-01-13 cs.LG cs.SI
When Are Linear Stochastic Bandits Attackable?
Princeton University(普林斯顿大学);University of Virginia(弗吉尼亚大学)
我们研究了线性随机土匪的对抗攻击:通过操纵奖励,对手的目的是控制土匪算法的行为。也许令人惊讶的是,我们首先表明,一些攻击目标永远无法实现。这与上下文无关的随机强盗形成鲜明对比,本质上是由于线性随机强盗中武器之间的相关性。基于这一发现,本文研究了一个$k$武装的线性土匪环境的可攻击性。我们首先提供了一个完整的必要性和充分性的基础上的武器的上下文向量的几何特征的可攻击性。然后,我们提出了一个两阶段的攻击方法对LinUCB和鲁棒相位消除。该方法首先断言给定的环境是否可攻击;如果是,它会破坏奖励,迫使算法仅使用次线性成本线性拉动目标手臂。数值实验进一步验证了该攻击方法的有效性和成本效率。
2022-07-03 cs.CR cs.LG
Adaptive LLM Routing under Budget Constraints
Fujitsu Research(富士通研究所);Microsoft Research(微软研究院)
针对LLM路由中缺乏完整配对和预算约束的问题,提出基于上下文老虎机的PILOT方法,利用共享嵌入空间和在线反馈实现自适应且资源高效的路由。
2025-09-09 cs.LG
Conversational Contextual Bandit: Algorithm and Application
The Chinese University of Hong Kong(香港中文大学);Chongqing University(重庆大学);Bytedance AI Lab(字节跳动人工智能实验室)
上下文强盗算法提供了原则性的在线学习解决方案,以平衡各种应用(如推荐系统)中的开发-探索权衡。然而,传统的上下文强盗算法的学习速度往往是缓慢的,由于需要广泛的探索。这在像推荐系统这样的应用程序中提出了一个关键问题,因为用户可能需要对许多不感兴趣的项目提供反馈。为了加快学习速度,我们将语境强盗推广到会话语境强盗。对话式上下文强盗不仅利用关于手臂的行为反馈(例如,新闻推荐中的文章),而且还有来自用户的关于关键术语的偶尔的会话反馈。这里,关键词可以涉及分支的子集,例如,新闻推荐中的文章类别。然后,我们设计了会话UCB算法(ConUCB),以解决会话上下文强盗中的两个挑战:(1)选择哪些关键词进行会话,(2)如何利用会话反馈来加快强盗学习的速度。我们从理论上证明了ConUCB比传统的上下文强盗算法LinUCB可以获得更小的遗憾上界,这意味着更快的学习速度。在合成数据以及来自Yelp和今日头条的真实数据集上的实验证明了ConUCB算法的有效性。
2020-01-26 cs.IR cs.LG stat.ML
Online Semi-Supervised Learning in Contextual Bandits with Episodic Reward
Columbia University(哥伦比亚大学)
我们考虑了一个新的实际问题的在线学习与episodically透露奖励,激励的几个现实世界的应用程序,在不同的情节和奖励反馈的情况下是非平稳的决策代理。对于这种在线半监督学习设置,我们引入了背景情节奖励LinUCB(BerlinUCB),这是一种很容易将聚类作为自我监督模块的解决方案,可以在没有观察到奖励时提供有用的辅助信息。我们在六种不同场景的静态和非静态环境中对各种数据集进行的实验表明,所提出的方法比标准的上下文强盗具有明显的优势。最后,我们介绍了一个相关的现实生活中的例子,这个问题的设置是特别有用的。
2020-10-25 cs.AI cs.LG stat.ML
Combining Offline Causal Inference and Online Bandit Learning for Data Driven Decision
The Chinese University of Hong Kong(香港中文大学);Tencent(腾讯);Chongqing University(重庆大学)
对于拥有大量记录数据的公司来说,一个基本问题是:如何将这些记录数据与传入的流数据一起使用,以做出正确的决策?许多公司目前通过在线A/B测试做出决策,但在测试过程中的错误决策会伤害用户体验并造成不可逆转的损害。一个典型的替代方案是离线因果推理,它只分析记录的数据来做出决策。然而,这些决策并不适应新的传入数据,因此错误的决策将不断损害用户的体验。为了克服上述限制,我们提出了一个框架来统一离线因果推理算法(例如,加权,匹配)和在线学习算法(例如,UCB、LinUCB)。我们提出了新的算法,并通过“遗憾”的概念,得出的决策精度的界限。我们推导出基于森林的在线强盗算法的第一个后悔上界。两个真实数据集上的实验表明,我们的算法优于其他算法,只使用日志数据或在线反馈,或算法不正确使用的数据。
2020-11-07 cs.LG stat.ML
Linear Bandit algorithms using the Bootstrap
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校)
提出了求解线性随机强盗问题的两个新算法。所提出的方法使用一种称为自举的非参数统计方法来创建置信区间。这是在不对底层系统中的噪声分布做任何假设的情况下实现的。我们提出了X-随机和X-固定的引导强盗,对应于两个著名的方法进行引导模型,在文献中。所提出的方法相比,其他流行的解决方案,线性随机强盗问题,即OFUL,LinUCB和汤普森采样。比较进行了一个层次的概率元模型,从公布的实验数据,这是运行在真实的系统上建立的模拟研究。表示响应面的模型被概念化为贝叶斯网络,该贝叶斯网络具有不同程度的模拟噪声。提出的方法之一,X-随机自举,在不同程度的噪声和不同次数的试验中,在累积后悔方面比基线表现得更好。在某些情况下,这种方法的累积遗憾小于最佳基线的一半。X-Fixed bootstrap在大多数情况下都能执行重复测试,尤其是在试验次数较少时。研究的结论是,这些算法可能是一个首选的替代解决线性强盗问题,特别是当系统中的噪声分布是未知的。
2016-05-04 cs.LG stat.ML
Bad Values but Good Behavior: Learning Highly Misspecified Bandits and MDPs
Indian Institute of Science(印度科学学院)
本文研究奖励模型高度错误设定下的老虎机和MDP决策问题,识别出使ε-greedy、LinUCB和拟合Q学习等基础算法仍能学习最优策略的结构条件,证明存在大量对错误设定鲁棒的实例。
2024-02-22 cs.AI cs.LG
BALLAST: Bandit-Assisted Learning for Latency-Aware Stable Timeouts in Raft
PingCAP, Data & AI-Innovation Lab(PingCAP数据与人工智能创新实验室)
BALLAST通过上下文老虎机替代静态超时启发式方法,有效减少Raft中长尾延迟和分区恢复导致的不可用时间。
2025-12-24 cs.AI cs.LG
Laplacian-regularized graph bandits: Algorithms and theoretical analysis
University College London(伦敦大学学院);University of Oxford(牛津大学)
我们考虑一个随机线性多用户的强盗问题,用户之间的关系被捕获的底层图和用户的喜好表示为平滑的信号上的图。我们引入了一种新的强盗算法,通过随机游走图拉普拉斯算子,这导致了单用户累积遗憾缩放为$\tilde{\mathcal{O}}(Ψd \sqrt{T})$与时间范围$T$,特征维度$d$,和标量参数$Ψ\in (0,1)$,取决于图的连通性。这是对\algo{LinUCB} ~ \Ccite{li2010contextual}中的$\tilde{\mathcal{O}}(d \sqrt{T})$的改进,其中不考虑用户关系。在网络遗憾($n$用户的累积遗憾之和)方面,所提出的算法导致缩放为$\tilde{\mathcal{O}}(Ψd\sqrt{nT})$,这是对最先进的算法\algo{Gob.Lin} \Ccite{cesa2013gang}中的$\tilde{\mathcal{O}}(nd\sqrt{T})$的显著改进。为了提高可扩展性,我们进一步提出了一个简化的算法,具有线性的计算复杂度相对于用户的数量,同时保持相同的遗憾。最后,我们提出了一个有限的时间分析所提出的算法,并证明其优势与国家的最先进的基于图的强盗算法的合成和真实世界的数据。
2020-02-10 cs.LG stat.ML
Regret Bound Balancing and Elimination for Model Selection in Bandits and RL
University of California, Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
我们提出了一个简单的模型选择方法的算法在随机强盗和强化学习问题。相对于先前的工作,(隐式)假设知识的最佳遗憾,我们只需要每个基础算法来与候选人遗憾界,可能会或可能不会举行在所有回合。在每一轮中,我们的方法都使用一个基本算法来保持所有剩余基本算法的候选遗憾界限的平衡,并消除违反其候选界限的算法。我们证明了这种方法的总遗憾是有界的最佳有效的候选人遗憾界乘以乘法因子。该因子在几个应用中相当小,包括具有嵌套函数类的线性Bandits和MDP、具有未知错误指定的线性Bandits以及应用于具有不同置信度参数的线性Bandits的LinUCB。我们进一步表明,在适当的间隙假设下,当轮数足够大时,该因子仅与基本算法的数量成比例,而不是其复杂度。最后,与最近在线性随机强盗模型选择方面的努力不同,我们的方法具有足够的通用性,可以覆盖由对抗环境而不是随机环境生成上下文信息的情况。
2020-12-24 cs.AI cs.LG stat.ML
Rarely-switching linear bandits: optimization of causal effects for the real world
University of Pennsylvania(宾夕法尼亚大学);University of Pittsburgh(匹兹堡大学)
在许多现实世界中,过度改变策略是困难的、不道德的或昂贵的。毕竟,医生指南、税法和价目表只能经常重印。因此,我们可能只想在改变政策可能是有益的时候才改变政策。在政策是背景变量的阈值的情况下,我们可以估计处于阈值的人群的处理效应。这允许增量策略更新的时间表,使我们能够优化策略,同时进行很少的有害更改。使用这个想法,和线性上下文强盗的理论,我们提出了一个保守的政策更新过程,只有当合理的更新确定性的政策。我们扩展的线性土匪理论,这种罕见的切换情况下,证明这样的程序共享相同的遗憾,不断缩放,作为共同的LinUCB算法。然而,该算法对其策略的更改要少得多,并且在这些更改中,更少的是有害的。我们提供了模拟和婴儿健康福祉的因果推断数据集的分析,表明该算法有效地学习一个很好的政策,很少的变化。我们的方法可以有效地解决需要避免变化的问题,在医学,经济学等领域具有潜在的应用。
2019-10-15 cs.LG stat.ML
Hypothesis Transfer in Bandits by Weighted Models
Eberhard Karls University of Tübingen(埃伯哈德·卡尔斯·图宾根大学)
在假设迁移学习的背景下,我们考虑了上下文多武装匪徒的问题。也就是说,我们假设可以在一组未观察到的上下文上访问先前学习的模型,并利用它来加速对新的强盗问题的探索。我们的转移策略是基于一个重新加权计划,我们显示了减少的遗憾,在经典的线性UCB时,转移是必要的,而恢复经典的遗憾率时,两个任务是无关的。我们进一步扩展此方法到任意数量的源模型,其中该算法决定哪个模型是首选在每个时间步。此外,我们还讨论了一种方法,在经典的LinUCB算法中,源模型的动态凸组合是根据有偏正则化项给出的。我们提出的方法的算法和理论分析证实了模拟和真实世界的数据的经验评估。
2022-11-14 cs.LG
Distributed Contextual Linear Bandits with Minimax Optimal Communication Cost
University of California, Los Angeles(加州大学洛杉矶分校);Google(谷歌);DeepMind(深度思维)
我们研究了分布式上下文线性土匪随机上下文,其中$N$代理合作解决线性土匪优化问题与$d$维功能的过程中的$T$轮。对于这个问题,我们推导出有史以来第一个信息理论的下限$Ω(dN)$的通信成本的任何算法,最佳执行的遗憾最小化设置。然后,我们提出了一个分布式批量消除版本的LinUCB算法,DisBE-LUCB,其中代理之间通过一个中央服务器共享信息。我们证明了通信成本的DisBE-LUCB匹配我们的下限对数因子。特别地,对于具有已知上下文分布的场景,DisBE-LUCB的通信成本仅为$\tilde{\mathcal{O}}(dN)$,并且其遗憾为${\tilde{\mathcal{O}}}(\sqrt{dNT})$,这与用于$NT$轮的最优单代理算法所引起的数量级相同。我们还提供了类似的界限,实际设置的上下文分布只能估计。因此,我们所提出的算法是几乎极小极大最优的\emph{both regret and communication cost}。最后,我们提出了DecBE-LUCB,一个完全分散的版本的DisBE-LUCB,它的运作没有一个中央服务器,在那里代理共享信息与他们的\emph{immediate neighbors}通过一个精心设计的共识程序。
2022-12-08 cs.LG stat.ML
Leveraging Good Representations in Linear Contextual Bandits
Politecnico di Milano(米兰理工大学);Facebook AI Research(Facebook AI研究院)
线性上下文Bandit文献主要集中在针对给定表示的高效学习算法的设计上。然而,上下文强盗问题可能允许多个线性表示,每个线性表示具有直接影响学习算法的遗憾的不同特征。特别是,最近的工作表明,存在“好”的表示,不断的问题依赖的遗憾可以实现。在本文中,我们首先提供了一个系统的分析,在文献中提出的不同定义的“好”表示。然后,我们提出了一种新的选择算法,能够适应最好的表示在一组$M$候选人。我们表明,遗憾确实是从来没有比最好的表示(高达$\ln M$因素)运行LinUCB获得的遗憾。其结果是,我们的算法实现了不断的遗憾,每当一个“好”的表示是在集合中。此外,我们表明,该算法仍然可以通过隐式地构建一个“好”的表示,即使没有一个初始表示是“好”的实现不断的遗憾。最后,我们实证验证我们的理论研究结果在一些标准的上下文强盗问题。
2021-04-08 cs.LG
Adaptive Exploration for Latent-State Bandits
The Institute for Computational and Mathematical Engineering(计算与数学工程研究所);Stanford University(斯坦福大学);Meta Platforms, Inc.(Meta平台公司);Ads Online Experimentation(广告在线实验部);Central Applied Science(应用科学中央研究所)
针对奖励依赖于未观测马尔可夫状态的赌博机问题,提出基于LinUCB的自适应算法,通过滞后动作-奖励对和探针指纹两种摘要来区分状态,并采用残差、边际和过时测试动态更新指纹,在合成压力测试中相比标准、对抗和非平稳基线降低了动态遗憾。
2026-05-31 cs.LG
Indexed Minimum Empirical Divergence-Based Algorithms for Linear Bandits
National University of Singapore(新加坡国立大学)
本文提出线性赌博机问题的LinIMED算法族,证明其具有$\widetilde{O}(d\sqrt{T})$遗憾界,并在实证中优于LinUCB和线性汤普森采样。
2024-05-24 cs.IT cs.LG math.IT
Offline-to-online hyperparameter transfer for stochastic bandits
Google LLC(谷歌公司);TTIC(芝加哥丰田技术研究所)
本文研究随机老虎机超参数调优难题,提出利用多任务离线数据为未知分布中的新在线任务迁移超参数,并给出任务间与任务内样本复杂度界。
2025-01-06 cs.LG
An Efficient Pessimistic-Optimistic Algorithm for Stochastic Linear Bandits with General Constraints
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Pennsylvania State University(宾夕法尼亚州立大学);Purdue University(普渡大学)
本文考虑了一般非线性约束下的随机线性土匪问题。我们的目标是最大限度地提高预期的累积回报超过地平线$T$受到一组约束,在每一轮$τ\leq T$。我们提出了一个悲观-乐观算法,这是有效的,在两个方面。首先,该算法在循环$τ\leq T,$中产生$\tilde{\cal O}\left(\left(\frac{K^{0.75}}δ+d\right)\sqrtτ\right)$(伪)遗憾,其中$K$是约束的数量,$d$是奖励特征空间的维度,并且$δ$是斯莱特常数;并且在任何循环$τ>τ',$中产生零约束违反,其中$τ'$独立于水平$T.$。我们的算法是基于优化的原始-对偶方法,包括两个组成部分。原始分量类似于无约束随机线性强盗(我们的算法使用线性置信上限算法(LinUCB))。对偶分量的计算复杂度取决于约束的数量,但与上下文空间、动作空间和特征空间的大小无关。因此,我们的算法的整体计算复杂度是类似的线性UCB无约束随机线性土匪。
2021-11-10 cs.LG
Weighted Sequential Bayesian Inference for Non-Stationary Linear Contextual Bandits
Department of Mathematics and Computer Science(数学与计算机科学系);University of Southern Denmark(丹麦南方大学)
本文针对非平稳线性上下文多臂老虎机问题,提出加权序贯贝叶斯(WSB)推理框架,开发三种对应算法,其遗憾保证与WRLS基线相当,实证性能更优,还提供了向量值鞅的简化证明。
2026-08-12 cs.LG stat.ML
Mixing Makes Markovian Contexts Cheap for Linear Bandits
University of California, Los Angeles(加州大学洛杉矶分校);Meta, Superintelligence Lab(Meta超智能实验室)
针对马尔可夫上下文线性赌博机问题,提出一种基于均匀几何遍历性的约简方法,通过构建平稳替代动作集和延迟更新方案,实现了与标准线性赌博机相当的最坏情况遗憾界。
2026-09-09 cs.LG
Statistical Inference for Misspecified Contextual Bandits
Department of Statistics, University of Wisconsin–Madison(威斯康星大学麦迪逊分校统计系);School of Data Science and Society, University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校数据科学与社会学院)
针对情境赌博机数据,在结果模型误指定下,提出逆概率加权Z估计框架,通过缩放逆倾向收敛条件实现一致估计和有效推断。
2026-06-23 cs.LG stat.ML
Designing for the Next Click: Bandits for Real-Time Page Layout
Target Corporation(塔吉特公司)
该研究提出一种基于LinUCB的上下文多臂老虎机系统,可实时优化电商商品页面布局,在零售平台A/B测试中较启发式基线实现会话级性能正向提升,为Web学习型设计提供可扩展路径。
2026-09-01 cs.LG
Non-Stationary Latent Auto-Regressive Bandits
针对无预算的非平稳多臂赌博机问题,提出LARL算法,通过隐式预测潜在自回归状态形成奖励预测,近似稳态卡尔曼滤波,实现次线性遗憾并优于基线。
2025-02-28 cs.AI cs.LG
No-Regret Linear Bandits beyond Realizability
University of California Santa Barbara(加州大学圣巴巴拉分校)
针对线性老虎机的奖励函数误设问题,提出与次优性差距挂钩的自然误设模型,证明经典LinUCB算法对该类误设天然鲁棒,可取得接近最优的√T阶遗憾,突破了此前近乎线性的遗憾下界。
2023-07-19 cs.LG
A UCB Bandit Algorithm for General ML-Based Estimators
School of Mathematics, University of Minnesota—Twin Cities(明尼苏达大学 Twin Cities 分校数学系);Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系)
本文提出ML-UCB算法,通过建模学习曲线行为解决复杂机器学习模型在老虎机中的探索问题,实验显示其在推荐系统中优于LinUCB。
2026-01-06 cs.AI cs.LG math.PR
Continuum-armed Bandit Optimization with Batch Pairwise Comparison Oracles
Department of Information Systems and Intelligence Business, Xi’an Jiaotong University, Xi’an 710049, China(西安交通大学信息系统与智能商业系);Stern School of Business, New York University, New York, NY 10012, USA(纽约大学斯特恩商学院);Naveen Jindal School of Management, University of Texas at Dallas, Richardson, TX 75080, USA(德克萨斯大学达拉斯分校奈维恩·金达管理学院)
本文研究使用批量成对比较预言机的连续臂bandit优化问题,通过离散化与局部多项式逼近结合锦标赛逐步淘汰和批量LinUCB算法,解决了有偏估计与停止时间决策的挑战,并证明了其近最优遗憾界及在运营管理中的应用优势。
2025-05-28 cs.LG stat.ML
Gated Decoupled Compositional Bandits: A Unified Theory of Contextual Bandits with Supervised-Calibrated Action Scaling and Pre-Execution Gating
该研究提出门控解耦组合多臂老虎机(GDCB),证明其可统一多个工业系统,核心定理可将非平稳问题转化为近似平稳问题,还推广了相关结果,配套论文已验证短期租赁动态定价实例。
2026-08-25 cs.LG
Online Multi-LLM Selection via Contextual Bandits under Unstructured Context Evolution
City University of Hong Kong(香港城市大学);The Chinese University of Hong Kong(香港中文大学);Carnegie Mellon University(卡内基梅隆大学);Southern University of Science and Technology(南方科技大学)
针对非结构化上下文演化下在线多LLM选择问题,提出首个上下文老虎机框架及LinUCB算法,实现次线性遗憾,无需离线数据,实验验证其在准确性和成本效率上优于现有路由策略。
2025-06-21 cs.LG
Hierarchical Conversational Preference Elicitation with Bandit Feedback
Carnegie Mellon University(卡内基梅隆大学);Shanghai Jiao Tong University(上海交通大学);Adobe Research(奥多比研究院)
会话式推荐的最新进展提供了一种有前途的方式,有效地通过会话式交互来获取用户的偏好。为了实现这一点,推荐系统与用户进行对话,询问他们对不同项目或项目类别的偏好。现有的会话式推荐系统大多采用多臂的Bandit框架,以在线的方式学习用户的偏好。然而,它们依赖于预定义的对话频率来询问项目类别而不是单个项目,这可能导致损害用户体验的过度对话交互。为了使更灵活的提问关键词,我们制定了一个新的会话强盗问题,允许推荐系统选择一个关键词或一个项目,建议在每一轮和明确的模型奖励这些行动。这促使我们处理关键词询问和项目推荐之间的新的探索-利用(EE)权衡,这要求我们准确地建模关键词和项目奖励之间的关系。我们进行了一项调查,并分析了现实世界的数据集发现,与以往的工作中所作的假设,关键词奖励主要是由代表性项目的奖励影响。我们提出了两个强盗算法,Hier-UCB和Hier-LinUCB,利用这种观察到的关系和关键词和项目之间的层次结构,有效地学习哪些项目推荐。我们从理论上证明,我们的算法可以减少遗憾界的依赖项目的总数从以前的工作。我们验证了我们提出的算法和遗憾的合成和真实世界的数据。
2022-09-06 cs.IR cs.LG
Bellman-Centric Learning: Near-Optimal Regret for Linear Bandits with Memory
Department of Industrial Engineering and Operations Research, University of California, Berkeley(加州大学伯克利分校工业工程与运筹学系)
提出以贝尔曼为中心的RSM-LinUCB算法,用于带记忆的线性老虎机,通过新颖的遗憾分解将记忆误差与奖励估计误差分离,实现近最优遗憾界,并扩展到广义线性奖励,实验验证优于基线。
2026-10-06 cs.LG
Concave Statistical Utility Maximization Bandits via Influence-Function Gradients
ORT Uruguay(ORT乌拉圭大学)
研究了基于长期奖励分布统计功能而非期望奖励的随机多臂老虎机问题,提出基于影响函数计算的熵镜升算法,通过乘法权重更新和影响函数估计实现凹分布效用优化,建立分离优化误差与影响函数估计偏差的后悔界。
2026-04-29 cs.LG math.ST stat.AP
Contextual User Browsing Bandits for Large-Scale Online Mobile Recommendation
Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团)
在线推荐服务向用户推荐多种商品。如今,相当比例的用户通过移动设备访问电子商务平台。由于移动设备的屏幕尺寸有限,商品的位置对点击有很大的影响:1)位置越高,一个商品的点击就越多。2)“伪曝光”问题:第一眼只显示了几个推荐项目,用户需要滑动屏幕才能浏览其他项目。因此,一些排名靠后的推荐项目不会被用户查看,将这类项目视为负样本是不恰当的。虽然许多工作模型的在线推荐作为上下文强盗问题,他们很少考虑到的影响的立场,因此,估计的奖励函数可能会有偏差。在本文中,我们旨在解决这两个问题,以提高性能的在线移动推荐。我们的贡献是四方面的。首先,由于我们关注的是一组推荐项目的奖励,我们将在线推荐建模为上下文组合强盗问题,并定义了推荐集的奖励。其次,我们提出了一种新的上下文组合强盗方法称为UBM-LinUCB解决两个问题,通过采用用户浏览模型(UBM),点击网络搜索模型的位置。第三,我们提供了一个正式的遗憾分析,并证明我们的算法实现次线性遗憾的项目数无关。最后,我们评估我们的算法在两个真实世界的数据集由一个新的无偏估计。淘宝网是世界上最受欢迎的电子商务平台之一。两个CTR指标上的实验结果表明,该算法优于其他上下文强盗算法。
2020-08-21 cs.IR cs.LG
Bandits with heavy tail
Princeton University(普林斯顿大学);Università degli Studi di Milano(米兰大学);ICREA(加泰罗尼亚研究与高级研究院);Universitat Pompeu Fabra(庞培法布拉大学)
当报酬分布为亚高斯分布时,随机多臂强盗问题得到了很好的理解。本文在较弱的假设下,对某些$ε\in (0,1]$,研究了分布具有1+ε阶矩的Bandit问题.令人惊讶的是,2阶矩(即,有限方差)足以获得与次高斯奖励分布下相同阶的遗憾界。为了实现这样的遗憾,我们定义抽样策略的基础上,如截断的经验平均值,Catoni的M-估计,平均值估计的中位数。我们还推导出匹配下界,这也表明,当ε<1时,最佳可实现的遗憾会恶化。
2012-09-08 cs.LG stat.ML
Statistical Inference for Misspecified Contextual Bandits
Department of Statistics, University of Wisconsin–Madison(威斯康星大学麦迪逊分校统计学系);School of Data Science and Society, University of North Carolina at Chapel Hill(北卡罗来纳大学夏洛特分校数据科学与社会学院)
本文针对模型误设下情境老虎机算法(如 LinUCB)可能不收敛并阻碍统计推断的问题,提出一类保证收敛的算法,并基于 IPW-Z 估计量建立渐近正态推断框架,从而获得稳健且数据高效的置信区间。
2025-09-20 cs.AI math.ST stat.TH