We study an original problem of pure exploration in a strategic bandit model motivated by Monte Carlo Tree Search. It consists in identifying the best action in a game, when the player may sample random outcomes of sequentially chosen pairs of actions. We propose two strategies for the fixed-confidence setting: Maximin-LUCB, based on lower-and upper-confidence bounds; and Maximin-Racing, which operates by successively eliminating the sub-optimal actions. We discuss the sample complexity of both methods and compare their performance empirically. We sketch a lower bound analysis, and possible connections to an optimal algorithm.
Université de Paris(巴黎大学);Inserm(法国国家健康与医学研究院);Université Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院);Université Sorbonne Paris Nord(巴黎第十三大学);Assistance Publique des Hôpitaux de Paris(巴黎公共医疗援助医院)
Optimal Best Arm Identification in Two-Armed Bandits with a Fixed Budget under a Small Gap
CyberAgent, Inc.(CyberAgent公司);The University of Tokyo(东京大学);Columbia University(哥伦比亚大学)
我们考虑固定预算的最佳臂识别双臂高斯强盗问题。一个长期悬而未决的问题是存在一个最佳策略,在该策略下,错误识别的概率符合一个下限。我们证明了当期望回报之间的差距很小时,遵循Neyman分配规则(Neyman,1934)的策略是渐近最优的。首先,我们回顾了Kaufmann et al.(2016)得出的下限。然后,我们提出了“奈曼分配(NA)-增强逆概率加权(AIPW)”的策略,它包括使用奈曼分配估计标准差的抽样规则和使用AIPW估计的推荐规则。我们提出的策略是最优的,因为当预算趋于无穷大且差距趋于零时,上限与下限相匹配。
Department of Industrial Engineering and Decision Analytics, The Hong Kong University of Science and Technology(香港科技大学工业工程与决策分析系);Stanford Graduate School of Business, Stanford University(斯坦福大学商学院)
Optimal Best Arm Identification with Fixed Confidence
Institut de Mathématiques de Toulouse(图卢兹数学研究所);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);UPS IMT(图卢兹第三大学国立图卢兹应用科学学院);Univ. Lille(里尔大学);CRIStAL - Centre de Recherche en Informatique Signal et Automatique de Lille(里尔计算机、信号与自动化研究中心);Inria(法国国家信息与自动化研究所)