Multiclass Online Learnability under Bandit Feedback
University of Michigan(密歇根大学);Technion(以色列理工学院)
本文研究bandit反馈下的在线多类分类,证明无界标签空间中Bandit Littlestone维数有限是可学习性的充要条件,并指出序列一致收敛必要但不充分。
2024-01-20 cs.LG stat.ML
A Unified Regularization Approach to High-Dimensional Generalized Tensor Bandits
University at Buffalo(布法罗大学)
本文提出一种基于弱可分解正则化器的统一框架,用于高维广义张量赌博机,以处理高阶上下文信息,并实现更优的理论界与更广泛的适用性。
2025-01-23 cs.LG stat.ML
Fast and Sample Efficient Multi-Task Representation Learning in Stochastic Contextual Bandits
Iowa State University(爱荷华州立大学)
针对共享低维线性表示的多个随机上下文线性赌博机任务,提出基于交替投影梯度下降与最小化估计量的多任务表示学习算法,并证明遗憾界及其实验优势。
2025-01-06 cs.LG stat.ML
An Optimal Algorithm for Linear Bandits
我们提供了第一个算法的在线强盗线性优化,T轮后的遗憾是为了sqrt{Td ln N}的任何有限类X的N个行动在d维,和顺序d*sqrt{T}(直到日志因子)时,X是无限的。这些界限一般是不可改进的。其基本思想是利用凸几何的工具来构造基本上是最优的勘探基础。我们还根据专家建议提出了线性强盗模型的应用。有趣的是,这些结果表明,在d维中,专家建议的强盗线性优化并不比专家建议的在线d臂强盗问题(其中EXP 4是最优的)更困难(就可实现的遗憾而言)。
2012-02-14 cs.LG stat.ML
Pure Exploration in Kernel and Neural Bandits
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, Los Angeles(加州大学洛杉矶分校);University of Chicago(芝加哥大学)
我们研究纯粹的探索土匪,其中的特征表示的维度可以远远大于武器的数量。为了克服维数灾难,我们建议自适应地将每个手臂的特征表示嵌入到低维空间中,并仔细处理诱导的模型误指定。我们的方法在概念上是非常不同的,从现有的作品,只能处理低维线性土匪或被动处理模型的误指定。我们展示了我们的方法在两个以前研究不足的纯探索设置中的应用:(1)奖励函数属于可能无限维的再生核希尔伯特空间,(2)奖励函数是非线性的,可以用神经网络近似。我们的主要结果提供了样本的复杂性保证,只依赖于内核或神经表示的特征空间的有效尺寸。在合成数据集和真实数据集上进行的大量实验证明了我们方法的有效性。
2022-03-17 cs.LG stat.ML
Stochastic Low-rank Tensor Bandits for Multi-dimensional Online Decision Making
Amazon(亚马逊);Deepmind(深度思维);Miami Herbert Business School, University of Miami(迈阿密大学迈阿密赫伯特商学院);Krannert School of Management, Purdue University(普渡大学克兰纳特管理学院)
本文提出了随机低秩张量老虎机,用于解决多维在线决策问题,通过张量消元、张量周期贪婪和张量集成采样算法,在理论和实验中均优于忽略低秩结构的现有方法。
2024-02-13 cs.LG stat.ML
On Thompson Sampling for Smoother-than-Lipschitz Bandits
STOR-i Centre for Doctoral Training, Lancaster University(兰卡斯特大学STOR-i博士训练中心);Department of Mathematics and Statistics, Lancaster University(兰卡斯特大学数学与统计系)
汤普森采样是一种解决强盗和强化学习问题的成熟方法。然而,它的使用连续武装土匪问题得到了相对较少的关注。在弱条件下,给出了连续统武装匪徒在含有真函数和次指数观测噪声的函数类上的Thompson抽样后悔的第一界。我们的界限是通过分析的逃避维度,最近提出的措施的复杂性的函数类,这已被证明是有用的边界的贝叶斯后悔汤普森采样下的子高斯观测噪声的简单的强盗问题。我们推导出一个新的界限上的逃避维度的函数类Lipschitz衍生物,并概括了以前的分析在多个方面。
2020-02-26 cs.LG stat.ML
Linear Bandits in High Dimension and Recommendation Systems
Stanford University(斯坦福大学)
大量的在线服务提供自动化推荐,以帮助用户在大量的项目集合中导航。新的项目(产品,视频,歌曲,广告)是根据用户的过去历史和-如果可用-她的人口统计资料。推荐必须满足帮助用户探索可用项目空间的双重目标,同时允许系统探测用户的偏好。我们使用线性参数化的多武装匪徒模型的这种权衡,提出了一个政策,并证明了上限和下限的累积“奖励”,符合常数的数据穷人(高维)政权。之前关于线性强盗的工作主要集中在数据丰富(低维)的机制上,并使用累积“风险”作为品质因数。对于这个数据丰富的制度,我们提供了一个简单的修改,我们的政策,实现接近最佳的风险表现下,更严格的假设的几何形状的问题。我们测试了用于在Netflix和MovieLens数据集上建立可验证性的方案(的变体),并与我们开发的理论的定性预测取得了良好的一致性。
2013-01-08 cs.LG stat.ML
A Dimension-free Algorithm for Contextual Continuum-armed Bandits
City University of Hong Kong(香港城市大学);University of Toronto(多伦多大学);Fudan University(复旦大学)
在上下文连续体-武装匪徒中,上下文$x$和武器$y$都是连续的,并且从高维空间中提取。学习$f(x,y)$的收益函数没有特定的参数形式。文献表明,对于Lipschitz连续函数,最优后悔是$\tilde{O}(T^{\frac{d_x+d_y+1}{d_x+d_y+2}})$,其中$d_x$和$d_y$是上下文和臂的维度,因此遭受维度灾难。我们开发了一个算法,实现遗憾$\tilde{O}(T^{\frac{d_x+1}{d_x+2}})$时,$f$是全球凹的$y$。在许多应用中,全局最小化是一个常见的假设。该算法是基于随机逼近和在线估计的梯度信息。我们的研究结果产生了一个有价值的见解,灾难的维度的武器可以克服一些温和的结构的支付函数。
2022-10-03 cs.LG stat.ML
High dimensional stochastic linear contextual bandit with missing covariates
University of Michigan(密歇根大学);Wisconsin Institute for Discovery(威斯康星发现研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
最近的作品在强盗问题采用套索收敛理论的顺序决策设置。即使在完全观测的背景下,也存在阻碍现有套索收敛理论应用的技术挑战:1)在条件次高斯噪声下证明限制特征值条件,以及2)解释背景变量与所选动作之间的依赖性。研究了随机线性bandit算法中协变量缺失对后悔的影响。我们的工作提供了一个高概率上限的遗憾所提出的算法在协变量采样概率方面,显示遗憾退化,由于错过了最多$ζ_{min}^2$,其中$ζ_{min}$是观察协变量的上下文向量的最小概率。我们说明了我们的算法的实际应用的试验设计收集基因表达数据的顺序选择类区分DNA探针。
2022-07-22 cs.LG stat.ML
Stochastic Linear Bandits with Hidden Low Rank Structure
California Institute of Technology(加州理工学院);University of California, Irvine(加州大学欧文分校)
高维表示通常具有较低维的底层结构。在许多决策制定过程中尤其如此。例如,当从深度神经网络生成动作的表示时,期望低秩结构是合理的,而像稀疏性这样的传统结构不再有效。子空间恢复方法,如主成分分析(PCA),可以发现潜在的低秩结构的特征空间,降低学习任务的复杂性。在这项工作中,我们提出了投影随机线性强盗(PSLB),高维随机线性强盗(SLB)的行动时,表示有一个底层的低维子空间结构的算法。PSLB部署基于PCA的投影迭代地找到SLB中的低秩结构。我们表明,部署投影方法,确保降维和结果在一个更严格的遗憾的上界,是在子空间的维数和它的属性,而不是周围空间的维数。我们将图像分类任务修改为SLB设置,并根据经验表明,当预先训练的DNN提供高维特征表示时,与最先进的算法相比,部署PSLB会显著减少遗憾并更快地收敛到准确的模型。
2019-01-28 cs.LG stat.ML
Nearly Minimax Algorithms for Linear Bandits with Shared Representation
University of California, Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学);University of Washington(华盛顿大学)
我们给出了新的算法,多任务和终身线性土匪共享表示。具体来说,我们考虑使用维度为$d$的$M$线性强盗任务的设置,每个任务用于$T$回合,并且这些$M$强盗任务共享公共的$k(\ll d)$维度线性表示。对于我们同时玩任务的多任务设置和我们顺序玩任务的终身设置,我们提出了实现$\widetilde{O}\left(d\sqrt{kMT} + kM\sqrt{T}\right)$遗憾界限的新算法,其与已知的极大极小遗憾下限匹配对数因子并缩小了现有结果中的差距[Yang et al.,2021年]。我们的主要技术包括一个更有效的估计低秩线性特征提取器和伴随的新的分析,这个估计。
2022-03-29 cs.LG stat.ML
Online Learning and Decision-Making under Generalized Linear Model with High-Dimensional Data
Penn State University(宾夕法尼亚州立大学);University at Buffalo(布法罗大学)
针对在线学习和决策过程中决策者面对高维数据的问题,提出了一种广义线性模型下的极小极大凹惩罚多臂Bandit算法(G-MCP-Bandit).我们证明了G-MCP-Bandit算法在样本大小维度T,O(log T)上渐近地达到最优累积后悔,并进一步在协变量维度d,O(log d)上达到一个紧界.此外,我们还提出了一种线性逼近方法,即两步加权Lasso方法,来确定非iid样本下G-MCP-Bandit算法的MCP估计量。在此过程中,MCP估计以高概率匹配Oracle估计,并以最佳收敛速度收敛到真参数。最后,通过基于合成数据和两个真实数据集(华法林用药数据集和腾讯搜索广告数据集)的实验,证明了G-MCP-Bandit算法优于其他基准算法,尤其是在数据稀疏度较高或决策集较大的情况下。
2018-12-07 cs.LG stat.ML
On the Hardness of Bandit Learning
Institute for Advanced Study(高级研究院);Boston University(波士顿大学);Broad Institute of MIT and Harvard(MIT和哈佛大学广谱研究所);Microsoft Research(微软研究院)
该研究针对赌博机学习任务构建通用可学习性理论,证明无法用组合维度刻画其可学习性,且存在固有计算难度的奖励函数类,同时探讨了噪声学习、查询复杂度与遗憾最小化的关系。
2025-06-17 cs.LG stat.ML
Chained Information-Theoretic bounds and Tight Regret Rate for Linear Bandit Problems
KTH Royal Institute of Technology(皇家理工学院)
该研究针对线性老虎机问题,依托已有信息论框架与率失真分析,通过链式论证为带度量动作空间的汤普森采样变体建立依赖动作空间度量熵的新界,得到d维场景下$O(d\sqrt{T})$的紧遗憾率。
2024-03-05 cs.LG stat.ML
When and why randomised exploration works (in linear bandits)
Criteo AI Lab(Criteo AI实验室);University of Oxford(牛津大学);Imperial College London(伦敦帝国学院)
本文提出一种不依赖强制乐观或后验膨胀的分析方法,证明在动作空间光滑且强凸的d维线性赌博机中,随机探索算法(如汤普森采样)可实现O(d√n log(n))的n步遗憾界,首次表明在非平凡线性赌博机设置中汤普森采样能达到最优维度依赖。
2026-06-03 cs.LG stat.ML
Doubly-Robust Lasso Bandit
Seoul National University(首尔大学)
上下文多臂强盗算法广泛应用于顺序决策任务,如新闻文章推荐系统,网页广告投放算法和移动健康。现有的大多数算法都具有与上下文维数的多项式函数$d$成比例的遗憾。然而,在许多应用中,通常情况下,上下文是高维的,只有大小为$s_0 (\ll d)$的稀疏子集与奖励相关。我们考虑随机线性上下文强盗问题,并提出了一种新的算法,即双鲁棒Lasso强盗算法,它利用稀疏结构的回归参数在Lasso,同时混合双鲁棒技术中使用的缺失数据文献。所提出的算法产生的遗憾的高概率上界不依赖于臂数和尺度与$\mathrm{log}(d)$,而不是一个多项式函数的$d$。该算法表现出良好的性能时,不同的手臂上下文相关,需要更少的调整参数比现有的方法。
2020-02-13 cs.LG stat.ML
Hierarchical Exploration for Accelerating Contextual Bandits
Carnegie Mellon University(卡内基梅隆大学);H. John Heinz III College, Carnegie Mellon University(卡内基梅隆大学H.约翰·海因茨三世学院);School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院)
上下文强盗学习是一种越来越流行的通过用户反馈优化推荐系统的方法,但由于需要探索大的特征空间,在实践中收敛速度很慢。在本文中,我们提出了一个粗到细的分层方法编码先验知识,大大减少了所需的探索量。直观地,用户偏好可以合理地嵌入到可以有效探索的粗略低维特征空间中,仅在必要时才需要在高维空间中进行探索。我们引入了一个强盗算法,探讨在这个粗到细的频谱,并证明性能保证,这取决于如何以及粗糙的空间捕捉用户的喜好。我们证明了传统的强盗算法,通过广泛的模拟,以及在个性化的新闻推荐设置的现场用户研究的实质性改善。
2012-06-27 cs.LG stat.ML
Symmetric Linear Bandits with Hidden Symmetry
University of Warwick(华威大学)
本文研究了具有隐藏对称性的高维线性老虎机问题,通过模型选择方法在低维子空间集合中学习对称性,实现了改进的 regret 绑定。
2025-12-31 cs.LG stat.ML
Optimal Regret for Single Index Bandits
Department of Computer Science and Engineering, Indian Institute of Technology Bombay(印度理工学院孟买分校计算机科学与工程系)
本文研究单索引老虎机问题,提出ZoomSIB-UCB算法,通过估计投影方向和离散化实现一维老虎机,达到O(T^{2/3})的最优后悔,同时证明下界验证了该结果的最优性。
2026-08-04 cs.LG stat.ML
The K-Nearest Neighbour UCB algorithm for multi-armed bandits with covariates
在本文中,我们提出并探讨了k-最近邻UCB算法的协变量的多臂土匪。我们专注于一个设置中的协变量支持度量空间的低内在维度,如嵌入在一个高维的环境特征空间的流形。该算法在概念上是简单和直接实现。K-Nearest Neighbor UCB算法不需要先验知识的边缘分布或时间范围的内在维度。我们证明了一个遗憾界的k-Nearest Neighbor UCB算法,这是极大极小最优的对数因子。特别是,该算法自动利用低内在维度的边缘分布的协变量和低噪声的数据,表示为一个边缘条件。此外,针对报酬有界的情形,给出了k-最近邻KL-UCB算法的后悔界,该算法是KL-UCB算法的一个类似物,适用于具有协变量的多臂强盗的情形.最后,我们提出了实证结果,证明了k-最近邻UCB和k-最近邻KL-UCB的能力,以利用的情况下,数据是支持一个未知的子流形的高维特征空间。
2018-03-01 cs.LG stat.ML
Online Learning with Improving Agents: Multiclass, Budgeted Agents and Bandit Learners
University of Waterloo(滑铁卢大学)
本文提出了一种在线学习模型,允许代理通过改进特征值来获得更优标签,并探讨了多类分类、老虎机反馈及成本建模等关键问题。
2026-02-19 cs.LG stat.ML
Contextual bandits with surrogate losses: Margin bounds and efficient algorithms
Cornell University(康奈尔大学);Microsoft Research(微软研究院)
我们使用代理损失,以获得几个新的遗憾界和新的上下文强盗学习算法。使用斜坡损失,我们得到新的利润率为基础的遗憾界的标准序列复杂性措施的基准类的实值回归函数。使用铰链损失,我们得到了一个有效的算法与$\sqrt{dT}$型错误绑定对基准政策引起的$d$维回归。在可实现性假设下,我们的结果也产生了经典的遗憾界限。
2018-11-04 cs.LG stat.ML
High Dimensional Bayesian Optimisation and Bandits via Additive Models
Carnegie Mellon University(卡内基梅隆大学)
贝叶斯优化(BO)是一种用于优化$D$维函数的技术,该函数的评估通常是昂贵的。虽然BO在低维中取得了许多成功,但将其扩展到高维却非常困难。关于这一主题的现有文献都是在非常严格的背景下编写的。在本文中,我们确定了这一努力中的两个关键挑战。我们通过假设函数的加法结构来解决这些挑战。这个设置比以前的工作更有表现力,包含更丰富的函数类。我们证明了,添加剂功能的遗憾只有线性依赖于$D$,即使该功能依赖于所有$D$尺寸。我们还展示了其他几个统计和计算的好处,在我们的框架。通过合成的例子,一个科学的模拟和人脸检测问题,我们证明了我们的方法优于天真BO的加法函数和几个例子中的功能是不加。
2016-05-13 cs.LG stat.ML
On the Performance of Thompson Sampling on Logistic Bandits
Stanford University(斯坦福大学)
我们研究的逻辑强盗,其中奖励是二元的成功概率$\exp(βa^\top θ) / (1 + \exp(βa^\top θ))$和行动$a$和系数$θ$内的$d$维单位球。虽然先前的遗憾边界的算法,解决逻辑强盗表现出指数依赖于斜率参数$β$,我们建立了一个遗憾边界的汤普森采样是独立的$β$。具体来说,我们建立,当一组可行的行动是相同的可能的系数向量的集合,汤普森采样的贝叶斯后悔是$\tilde{O}(d\sqrt{T})$。我们还建立了一个适用范围更广的$\tilde{O}(\sqrt{dηT}/λ)$界限,其中$λ$是最坏情况下的最优对数几率,$η$是“脆弱性维度”,我们定义了一个新的统计量来捕获一个模型的最优行为无法满足其他模型的程度。我们表明,脆弱性尺寸起着至关重要的作用,显示,对于任何$ε> 0$,没有算法可以实现$\mathrm{poly}(d, 1/λ)\cdot T^{1-ε}$遗憾。
2019-05-12 cs.LG stat.ML
Thompson Sampling for 1-Dimensional Exponential Family Bandits
汤普森采样已经在许多复杂的强盗模型中得到了证明,但是对于参数多臂强盗模型的理论保证仍然限于伯努利情况。在这里,我们扩展他们证明渐近最优性的算法使用Jeffreys前1维指数家族土匪。我们的证明建立在以前的工作,但也使广泛使用的封闭形式的库尔贝克-莱布勒散度和费舍尔信息(因此Jeffreys先验)在指数家庭。这使我们能够给出一个有限时间指数集中不等式的后验分布指数家庭,可能是感兴趣的权利。此外,我们的分析涵盖了一些分布,还没有提出乐观的算法,包括重尾指数家庭。
2013-07-12 stat.ML
Squeeze All: Novel Estimator and Self-Normalized Bound for Linear Contextual Bandits
Columbia University(哥伦比亚大学);Seoul National University(首尔国立大学);Shepherd23 Inc.(Shepherd23公司)
本文提出了一个具有$O(\sqrt{dT\log T})$遗憾界的线性上下文强盗算法,其中$d$是上下文维数,$T$是时间范围.我们提出的算法配备了一个新的估计器,其中的探索是通过显式随机化嵌入。根据随机化,我们提出的估计量从所有手臂的上下文或从选定的上下文中做出贡献。我们建立了一个自我规范化的界限,我们的估计,这使得一个新的分解的累积遗憾到\textit{additive}维依赖的条款,而不是乘法条款。我们还证明了一个新的下界下,我们的问题设置的$Ω(\sqrt{dT})$。因此,遗憾的是,我们提出的算法匹配的下限对数因子。数值实验支持理论保证,并表明我们提出的方法优于现有的线性强盗算法。
2023-03-28 cs.LG stat.ML
Efficient Multivariate Bandit Algorithm with Path Planning
eBay Inc.(易趣公司)
本文解决了多臂强盗(Multivariate-MAB)问题中考虑臂维数层次时的臂指数爆炸问题。本文提出了一种路径规划框架(TS-PP),该框架利用决策图/树模型描述了具有m维交互的手臂奖励成功率,并采用汤普森抽样(TS)进行手臂选择的启发式搜索。自然,使用一系列过程来对抗维度灾难是非常简单的,这些过程通过关注每个过程的一个维度来顺序操作。为了我们最好的承认,我们是第一个解决多变量MAB问题,使用图路径规划策略和部署类似的蒙特卡罗树搜索的想法。我们提出的方法利用树模型相比,传统的模型,如一般的线性回归的优势。仿真结果验证了我们的要求,实现更快的收敛速度,更有效的最优手臂分配和更低的累积遗憾。
2020-09-15 cs.LG stat.ML
Analysis of Thompson Sampling for Partially Observable Contextual Multi-Armed Bandits
情境多臂强盗是强化学习中与个体信息相关联的序列决策的经典模型。一个广泛使用的强盗策略是汤普森采样,其中来自数据驱动的关于未知参数的概率信念的样本用于选择控制动作。对于这种计算速度快的算法,性能分析可在全上下文观测下使用。然而,很少有人知道的问题,上下文不完全观察。我们提出了一个汤普森采样算法的部分可观察的上下文多武装土匪,并建立理论性能保证。从技术上讲,我们表明,所提出的政策尺度的遗憾与时间和武器的数量,线性的维度。此外,我们建立学习未知参数的速率,并提供说明性的数值分析。
2021-11-29 cs.LG stat.ML
High-dimensional Contextual Bandit Problem without Sparsity
New York University(纽约大学);The University of Tokyo(东京大学);RIKEN Center for AIP(理化学研究所AIP中心)
针对无稀疏性假设的高维线性上下文赌博机问题,利用过参数化模型理论提出EtC与AEtC算法,通过平衡探索与利用实现了最优速率。
2025-06-25 cs.LG stat.ML
Online Bandit Linear Optimization: A Study
本文介绍了在线Bandit线性优化的概念,并探讨了一种由Abernethy等人创建的名为SCRiBLe(Bandit Learning中的自一致正则化)的高效设置。\cite{abernethy} . SCRiBLe设置和算法在输入空间的维度上产生$O(\sqrt{T})$遗憾界限和多项式运行时间复杂度界限。在本文中,我们建立到强盗线性优化的情况下,研究SCRiBLe。
2018-05-11 cs.AI cs.LG stat.ML
High-dimensional Nonparametric Contextual Bandit Problem
MI-6 Ltd.(MI-6公司);New York University(纽约大学);The University of Tokyo(东京大学);RIKEN AIP(理化学研究所AIP)
针对大特征空间下核化上下文老虎机现有方法在高斯核上高维时遗憾界平凡的问题,引入上下文分布随机假设,证明维度达样本量级仍可无遗憾学习,并推导了宽松遗憾的速率。
2025-05-20 cs.LG stat.ME stat.ML
Low-Rank Single-Index Bandits with Unknown Links: From Matrices to Tensors
本研究提出T-ESTOR和T-BSTOR算法,解决低秩矩阵与张量老虎机中未知奖励链接的问题,分别实现最优遗憾界,并通过实验验证了结构化估计的优势。
2026-09-29 cs.LG stat.ML
Reinforcement Learning in Feature Space: Matrix Bandit, Kernels, and Regret Bound
Princeton University(普林斯顿大学)
当状态-动作空间较大时,强化学习(RL)中的探索会受到维数灾难的影响。一种常见的做法是使用给定的特性来参数化高维值和策略函数。然而,现有的方法要么没有理论保证,要么在规划范围$H$中遭受指数级的遗憾。在本文中,我们提出了一种在线RL算法,即MatrixRL,它利用线性强盗的思想来学习概率转移模型的低维表示,同时仔细平衡开发-探索权衡。我们证明了MatrixRL实现了遗憾界${O}\big(H^2d\log T\sqrt{T}\big)$,其中$d$是特征的数量。MatrixRL有一个等价的核化版本,它能够在不使用显式特征的情况下处理任意核希尔伯特空间。在这种情况下,内核化的MatrixRL满足遗憾界限${O}\big(H^2\widetilde{d}\log T\sqrt{T}\big)$,其中$\widetilde{d}$是内核空间的有效维度。据我们所知,对于使用特征或内核的RL,我们的结果是在时间$T$和维度$d$(或$\widetilde{d}$)以及规划范围$H$中的多项式上接近最优的第一遗憾界限。
2019-06-13 cs.LG stat.ML
Generalized Kernelized Bandits: A Novel Self-Normalized Bernstein-Like Dimension-Free Inequality and Regret Bounds
Politecnico di Milano(米兰理工大学)
本文提出了一种新的自归一化伯恩斯坦型不等式,用于广义核化老虎机问题,推导出更紧致的后悔界,并提出可处理的算法版本。
2025-12-11 cs.LG stat.ML
Corralling a Larger Band of Bandits: A Case Study on Switching Regret for Linear Bandits
University of Southern California(南加利福尼亚大学);Nanjing University(南京大学)
我们考虑的问题相结合,学习了一组敌对的强盗算法的目标是自适应跟踪最好的一个在飞。Agarwal等人(2017)的CORRAL算法及其变体(Foster等人,2020 a)以$\widetilde{O}(\sqrt{MT})$阶的后悔开销实现该目标,其中$M$是基本算法的数量,而$T$是时间范围。然而,对$M$的多项式依赖性阻止人们将这些算法应用于$M$是聚$(T)$或甚至更大的许多应用。出于这个问题,我们提出了一个新的配方,以畜栏更大的带宽的强盗算法,其遗憾开销只有\emph{logarithmic}依赖于$M$,只要满足某些条件。作为主要的例子,我们将我们的配方的问题的对抗性线性土匪的$d$ -维$\ell_p$单位球$p \in (1,2]$。通过聚集大量的$T$基础算法,每个算法在不同的时间步开始,我们的最终算法在与具有$S$开关的一系列比较器竞争时实现了第一个最佳开关遗憾$\widetilde{O}(\sqrt{d S T})$(对于一些已知的$S$)。我们进一步将我们的结果推广到光滑和强凸域上的线性强盗以及无约束的线性强盗。
2022-02-12 cs.LG stat.ML
Efficient Algorithms for Learning to Control Bandits with Unobserved Contexts
上下文强盗被广泛用于研究有限动作空间的基于学习的控制策略。虽然这个问题是很好的研究强盗与完美的观察上下文向量,很少有人知道的情况下,不完美的观察上下文。在这种情况下,现有的办法不适用,需要新的概念和技术框架。我们提出了一个可实现的后验抽样算法的土匪与不完美的背景下的意见,并研究其性能的学习最优决策。所提供的数值结果与算法的性能有关的不同数量的利益,包括武器的数量,尺寸,观察矩阵,后重新缩放因子,和信噪比。在一般情况下,所提出的算法暴露效率从噪声不完美的观察和采取相应的行动。启发性的理解,分析提供以及有趣的未来方向,它指向,以及进行了讨论。
2022-02-02 cs.LG stat.ML
Thompson Sampling for High-Dimensional Sparse Linear Contextual Bandits
University of Michigan(密歇根大学)
本文研究了具有高维特征的随机线性上下文强盗问题。我们使用特殊类别的稀疏诱导先验(例如,尖峰和平板),以模拟未知参数,并提供一个接近最佳的上限预期的累积遗憾。据我们所知,这是第一个工作,提供了理论保证的汤普森采样在高维和稀疏的上下文土匪。为了提高计算速度,我们使用变分推断代替马尔可夫链蒙特卡罗(MCMC)来近似后验分布。大量的模拟表明,我们提出的算法比现有的性能有所改善。
2023-01-28 cs.LG math.ST stat.ME
Distributed Bandit Learning: Near-Optimal Regret with Efficient Communication
Tsinghua University(清华大学);Peking University(北京大学)
研究了分布式强盗学习中的后悔最小化问题,其中$M$代理在中央服务器的协调下协同工作以最小化总后悔.我们的目标是设计具有接近最优遗憾和很少通信成本的通信协议,这是通过传输数据的总量来衡量的。对于分布式多臂强盗,我们提出了一个具有接近最优遗憾且只有$O(M\log(MK))$通信代价的协议,其中$K$是武器的数目.通信成本是独立的时间范围$T$,只有对数依赖于臂的数量,并匹配的下限,除了一个对数因子。对于分布式$d$维线性强盗,我们提出了一个协议,实现了接近最优的遗憾,并有$\tilde{O}(Md)$阶的通信成本,这只有对数依赖于$T$。
2019-05-29 cs.LG stat.ML
High-Dimensional Sparse Linear Bandits
Deepmind;Princeton University(普林斯顿大学)
具有高维稀疏特征的随机线性强盗模型是包括个性化医疗和在线广告在内的各种领域的实用模型。我们推导出一个新的$Ω(n^{2/3})$无量纲极大极小遗憾下界稀疏线性土匪在数据贫乏的制度,地平线小于周围的尺寸和特征向量承认一个良好的条件下的勘探分布。这是由一个几乎匹配的上限的探索,然后提交算法表明,$Θ(n^{2/3})$是最佳的数据贫乏的制度。这些结果补充了数据丰富制度的现有界限,并提供了另一个例子,其中仔细平衡信息和遗憾之间的权衡是必要的。最后,我们证明了一个无量纲的$O(\sqrt{n})$遗憾的上限下的一个额外的假设信号的大小相关功能。
2021-09-04 cs.LG math.ST stat.ML
Dynamic Batch Learning in High-Dimensional Sparse Linear Contextual Bandits
University of Chicago(芝加哥大学);New York University(纽约大学)
我们研究了高维稀疏线性上下文强盗中的动态批量学习问题,其中决策者在给定的最大批量约束下,只能在每批结束时观察奖励,可以动态地决定下一批(在当前批次结束时)中包含多少个人,以及在每批中采用什么个性化的动作选择方案。这种批量约束在各种实际环境中普遍存在,包括营销中的个性化产品供应和临床试验中的药物治疗选择。我们通过一个遗憾的下限,并提供了一个匹配的上限(对数因子),从而规定了这个问题的最佳方案的基本学习限制。据我们所知,我们的工作提供了第一个理论上的理解动态批量学习高维稀疏线性上下文土匪。值得注意的是,即使是一个特殊的情况下,我们的结果-当没有批量约束-收益率,简单的探索免费算法使用LASSO估计已经达到了最小最大最佳遗憾界的标准在线学习在高维线性上下文土匪(对于无利润率的情况下),一个结果,似乎未知的新兴文献中的高维上下文土匪。
2022-07-16 cs.IT cs.LG math.IT
A Second-Order Method for Stochastic Bandit Convex Optimisation
DeepMind(深度思维)
本文提出了一种求解无约束零阶随机凸强盗问题的简单有效的算法,并证明了它的遗憾最多为$(1 + r/d)[d^{1.5} \sqrt{n} + d^3] polylog(n, d, r)$,其中$n$是视界,$d$是维数,$r$是包含损失最小的已知球的半径.
2023-02-10 cs.LG math.OC stat.ML
Nearly Dimension-Independent Sparse Linear Bandit over Small Action Spaces via Best Subset Selection
University of Florida(佛罗里达大学);Northwestern University(西北大学);Pennsylvania State University(宾夕法尼亚州立大学)
研究了高维线性模型下的随机上下文强盗问题。我们专注于动作空间是有限的和随机的情况下,与每个动作与一个随机生成的上下文协变量。这种设置找到了必要的应用,如个性化推荐,在线广告和个性化医疗。然而,这是非常具有挑战性的,因为我们需要平衡探索和开发。我们提出了双增长时期和估计参数的最佳子集选择方法,这是很容易实现的实际。这种方法实现了$ \tilde{\mathcal{O}}(s\sqrt{T})$遗憾的概率很高,这是几乎独立的“环境”回归模型维度$d$。进一步利用\textsc{SupLinUCB}框架得到了更尖锐的$\tilde{\mathcal{O}}(\sqrt{sT})$后悔,并匹配了低维线性随机强盗问题的极大极小下界.最后,我们进行了大量的数值实验,以证明我们的算法的适用性和鲁棒性经验。
2020-09-04 cs.LG math.ST stat.ML
Deep Neural Linear Bandits: Overcoming Catastrophic Forgetting through Likelihood Matching
Technion Israel Institute of Technology(以色列理工学院)
研究了求解高维边信息序贯决策问题的神经线性强盗模型。神经线性强盗利用深度神经网络的表示能力,并将其与为线性上下文强盗设计的高效探索机制相结合,在最后一个隐藏层之上。由于表示在学习期间被优化,因此关于使用“旧”特征的探索的信息丢失。在这里,我们提出了第一个有限的记忆神经线性强盗,是弹性的这种现象,我们的术语灾难性遗忘。我们评估我们的方法在各种现实世界的数据集,包括回归,分类和情感分析,并观察到我们的算法是弹性的灾难性遗忘,并取得优异的性能。
2019-08-11 cs.AI cs.LG stat.ML
Multi-Agent Low-Dimensional Linear Bandits
University of Texas at Austin(德克萨斯大学奥斯汀分校);UC Berkeley(加州大学伯克利分校)
我们研究了一个多智能体随机线性土匪的边信息,参数化的未知向量$θ^* \in \mathbb{R}^d$。边信息由低维子空间的有限集合组成,其中一个包含$θ^*$。在我们的设置中,代理可以通过在连接它们的通信图中发送建议来合作以减少遗憾。我们提出了一种新的分散式算法,其中代理相互通信子空间索引,每个代理在相应的(低维)子空间上扮演LinUCB的投影变体。通过分配搜索的最佳子空间的用户和学习的未知向量的每个代理在相应的低维子空间,我们表明,每代理有限时间遗憾的情况下,代理不进行通信时要小得多。最后,我们通过模拟来补充这些结果。
2022-05-25 cs.DC cs.LG cs.SI
On High-dimensional and Low-rank Tensor Bandits
University of Virginia(弗吉尼亚大学)
本文提出TOFU算法,利用张量回归和范数约束解决高维低秩张量老虎机问题,显著改进遗憾上界并建立性能下界。
2023-05-06 cs.IT cs.LG eess.SP
High-Dimensional Experimental Design and Kernel Bandits
University of Washington(华盛顿大学);University of Wisconsin(威斯康星大学)
近年来,从最佳线性实验设计的方法已被利用,以获得最先进的线性土匪的结果。从诸如$G$ -最优设计之类的目标返回的设计实际上是潜在测量向量池上的概率分布。因此,该方法的一个麻烦是将该连续概率分布转换成$N$测量的离散分配的任务。虽然已经提出了复杂的舍入技术,但是在$d$维度中,基于解的次优性,它们要求$N$至少为$d$、$d \log(\log(d))$或$d^2$。在本文中,我们感兴趣的设置$N$可能远小于$d$,如在实验设计中的RKHS,其中$d$可能是有效的无限。在这项工作中,我们提出了一个舍入程序,释放$N$的任何依赖的尺寸$d$,同时实现几乎相同的性能保证现有的舍入程序。我们评估的程序对基线,项目的问题,以一个较低的维度空间,并进行舍入,这需要$N$只是至少是一个概念的有效尺寸。我们还利用我们的新方法在一个新的算法内核化土匪获得最先进的结果,遗憾最小化和纯粹的探索。与现有的类似UCB的方法相比,我们的方法的一个优势是我们的内核强盗算法对于模型错误指定也具有鲁棒性。
2021-05-12 cs.LG
Improved Regret for Zeroth-Order Adversarial Bandit Convex Optimisation
DeepMind(深度思维)
我们证明了零阶对抗强盗凸优化的极大极小遗憾的信息论上界至多为$O(d^{2.5} \sqrt{n} \log(n))$,其中$d$是维数,$n$是交互数.这改进了Bubeck等人(2017)的$O(d^{9.5} \sqrt{n} \log(n)^{7.5}$。证明是基于识别一个改进的探索性分布的凸函数。
2020-09-25 cs.LG math.OC stat.ML
Combinatorial Bandits Revisited
Centrale-Supelec(中央理工-高等电力学院);KTH(瑞典皇家理工学院);INRIA(法国国家信息与自动化研究所);ENS(巴黎高等师范学院)
研究了随机对抗组合多臂强盗问题。在半强盗反馈下的随机环境中,我们得到了一个特定问题的后悔下界,并讨论了它与决策空间维数的关系。我们提出了ESCB,一种算法,有效地利用了问题的结构,并提供了一个有限的时间分析其遗憾。ESCB具有比现有算法更好的性能保证,并且在实践中显著优于这些算法。在强盗反馈下的对抗环境中,我们提出了\textsc{CombEXP},一种具有与现有算法相同的遗憾缩放的算法,但对于某些组合问题具有较低的计算复杂性。
2015-11-06 cs.LG math.OC stat.ML
Bandits with Partially Observable Confounded Data
Technion, Israel Institute of Technology(以色列理工学院);Nvidia Research(英伟达研究院)
我们研究线性上下文强盗访问一个大的,混淆的,离线的数据集,从一些固定的政策采样。我们发现,这个问题是密切相关的一个变种的强盗问题的边信息。我们构造了一个线性强盗算法,利用投影信息,并证明了遗憾界。我们的研究结果表明,利用混淆的离线数据的能力。特别是,我们证明了遗憾的界限,提高当前的界限相关的数据中的上下文的可见维度的一个因素。我们的研究结果表明,混淆离线数据可以显着提高在线学习算法。最后,我们通过合成模拟展示了我们的方法的各种特性。
2021-08-10 cs.AI cs.LG stat.ML
When Greedy Sampling Explores: KL-Regularized Contextual Bandits without Eluder-Dimension Dependence
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Oregon State University(俄勒冈州立大学)
本文研究 KL 正则化上下文赌博机,证明贪心采样在奖励与偏好反馈下均可实现无 eluder 维度依赖的对数遗憾,并揭示其与上置信界探索间的权衡。
2026-09-22 cs.LG
The Combinatorial Multi-Bandit Problem and its Application to Energy Management
NEC Laboratories Europe(NEC欧洲实验室)
我们研究了一个在能源系统管理中应用的组合多强盗问题。给定具有未知结果分布的多个概率多臂强盗,任务是优化将个体强盗结果的向量映射到单个标量奖励的组合目标函数的值。与具有多维动作空间的单强盗问题不同,在我们的设置中,单个强盗的结果是可观察的,并且目标函数是已知的。指导下的假设,个人的可观察性,使更好的权衡之间的探索和利用,我们概括了较低的遗憾界为单一的土匪,事实上,对于多个土匪,它承认并行化的探索。对于我们的能源管理应用程序,我们提出了一系列的算法,结合探索多臂土匪与数学规划的原则。在一项实验研究中,我们证明了我们的方法的有效性,学习行动分配150土匪,每个有24个行动,在365集的地平线。
2020-11-04 cs.LG
Cooperative and Stochastic Multi-Player Multi-Armed Bandit: Optimal Regret With Neither Communication Nor Collisions
Microsoft Research(微软研究院);UBC(不列颠哥伦比亚大学);Stanford University(斯坦福大学)
我们考虑合作的多人版本的随机多臂强盗问题。我们研究的制度,球员不能沟通,但有机会分享随机性。在前两位作者之前的工作中,为两个参与者和三个手臂构建了一个策略,遗憾的是$\tilde{O}(\sqrt{T})$,并且参与者之间没有任何冲突(概率非常高)。在本文中,我们表明,这些属性(接近最佳的遗憾,没有碰撞)是可以实现的任何数量的球员和武器。在高层次上,以前的策略严重依赖于$2$维几何直觉,难以在更高的维度上推广,而在这里,我们采取更组合的路线来构建新的策略。
2020-11-08 cs.LG cs.MA stat.ML
High-dimensional Linear Bandits with Knapsacks
Department of Statistics and Data Science, University of Pennsylvania(统计与数据科学系,宾夕法尼亚大学);Department of Mathematics, The Hong Kong University of Science and Technology(数学系,香港科学与技术大学);Department of Industrial Engineering & Decision Analytics, The Hong Kong University of Science and Technology(工业工程与决策分析系,香港科学与技术大学)
针对高维线性背包赌博机问题,提出结合在线硬阈值稀疏估计与原始-对偶更新的算法,实现随特征维度对数增长的次线性遗憾,并在特定条件下达到最优遗憾界。
2026-09-09 cs.DS cs.LG stat.ML