In online exploration systems where users with fixed preferences repeatedly arrive, it has recently been shown that O(1), i.e., bounded regret, can be achieved when the system is modeled as a linear contextual bandit. This result may be of interest for recommender systems, where the popularity of their items is often short-lived, as the exploration itself may be completed quickly before potential long-run non-stationarities come into play. However, in practice, exact knowledge of the linear model is difficult to justify. Furthermore, potential existence of unobservable covariates, uneven user arrival rates, interpretation of the necessary rank condition, and users opting out of private data tracking all need to be addressed for practical recommender system applications. In this work, we conduct a theoretical study to address all these issues while still achieving bounded regret. Aside from proof techniques, the key differentiating assumption we make here is the presence of effective Synthetic Control Methods (SCM), which are shown to be a practical relaxation of the exact linear model knowledge assumption. We verify our theoretical bounded regret result using a minimal simulation experiment.
我们研究遗憾最小化在非情节因子马尔可夫决策过程(FMDPs),其中所有现有的算法作出强烈的假设,因子结构的FMDPs是已知的学习者提前。在本文中,我们提供了第一个学习FMDP的结构,同时最大限度地减少遗憾的算法。我们的算法是基于乐观面对不确定性的原则,结合一个简单的统计方法的结构学习,并可以有效地实现了一个FMDP规划器的Oracle访问。此外,我们给我们的算法的一个变体,仍然是有效的,即使当预言是有限的非因子的行动,这是几乎所有现有的近似规划的情况。最后,我们利用我们的技术来证明已知结构情况下的一个新下界,缩小了与Chen et al. [2021]的遗憾界的差距。
When Combinatorial Thompson Sampling meets Approximation Regret
Idemia(亿达美)
研究了近似后悔条件下组合多臂强盗问题的组合Thompson抽样策略。虽然CTS吸引了很多人的兴趣,但它有一个缺点,这是其他常见的CMAB策略在考虑非精确预言时所没有的:对于某些预言,CTS具有较差的近似遗憾(与时间范围$T$线性缩放)[Wang和Chen,2018]。然后,有必要进行研究,以区分CTS可以学习的神谕。该研究由Kong et al. [2021]开始:他们给出了贪婪预言机CTS的一次近似后悔分析,获得了$\mathcal{O}(\log(T)/Δ^2)$阶的上界,其中$Δ$是某个最小奖励差距。在本文中,我们的目标是推动这项研究进一步比简单的情况下,贪婪的甲骨文。我们提供了第一个$\mathcal{O}(\log(T)/Δ)$近似遗憾的上限CTS,在一个特定的条件下获得的近似甲骨文,允许减少到确切的甲骨文分析。因此,我们把这个条件称为REDUCE2EXACT,并观察到它在许多具体的例子中得到满足。此外,它可以扩展到概率触发的武器设置,从而捕获更多的问题,如在线影响最大化。
Quantum Multi-Armed Bandits and Stochastic Linear Bandits Enjoy Logarithmic Regrets
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学)
Regret Bounds for Adversarial Contextual Bandits with General Function Approximation and Delayed Feedback
Blavatnik School of Computer Science Tel Aviv University(塔尔医学院计算机科学学院);School of Electrical Engineering Tel Aviv University(塔尔医学院电气工程学院);Google Research(谷歌研究院)
Bridging Adversarial and Nonstationary Multi-armed Bandit
Rotman School of Management, University of Toronto(多伦多大学罗特曼管理学院);The Hong Kong University of Science and Technology(香港科技大学);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院)
Satisficing Regret Minimization in Bandits: Constant Rate and Light-Tailed Distribution
School of Operations Research and Information Engineering, Cornell University(运营研究与信息工程学院,康奈尔大学);SC Johnson College of Business, Cornell University(SC约翰逊商学院,康奈尔大学)
High-Probability Nash Regret for Decentralized Learning in Markov $α$-Potential Games: Episodic and Fully Online Asynchronous Algorithms with Applications to Markov Congestion Games
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
在本文中,我们研究的应用汤普森采样(TS)方法的随机组合多臂强盗(CMAB)框架。我们首先分析了一般CMAB模型的标准TS算法,当所有基臂的结果分布独立时,得到了分布依赖的后悔界$O(m\log K_{\max}\log T / Δ_{\min})$,其中$m$是基臂的数目,$K_{\max}$是最大超级臂的大小,$T$是时间范围,而$Δ_{\min}$是最优解和任何非最优解的预期回报之间的最小差距。这个后悔上界比以前的工作中的$O(m(\log K_{\max})^2\log T / Δ_{\min})$界更好。此外,我们的新分析技术可以帮助收紧其他现有的基于UCB的政策(例如,ESCB),因为我们改进了计算累积后悔的方法。然后,我们考虑拟阵强盗设置(一类特殊的CMAB模型),在那里我们可以删除跨臂的独立性假设,并实现一个遗憾的上限,匹配的下限。除了遗憾的上限,我们还指出,不能直接取代精确的离线预言(它采取离线问题实例的参数作为输入,并输出在此实例下的确切的最佳行动)与TS算法的近似预言,即使是经典的MAB问题。最后通过实验对TS算法与现有算法的遗憾度进行了比较,实验结果表明TS算法的遗憾度优于现有算法。
Online Markov Decision Processes with Non-oblivious Strategic Adversary
University of Southampton(南安普顿大学);Huawei R&D UK(华为英国研发中心);University of Warwick(华威大学);University College London(伦敦大学学院)
我们研究了在线马尔可夫决策过程(OMDPs)中的一个新的设置,其中的损失函数是由一个非遗忘的战略对手谁遵循无外部遗憾算法选择。在这种情况下,我们首先证明了MDP-Expert,一个现有的算法,可以很好地与不经意的对手仍然可以应用和实现的政策遗憾界的$\mathcal{O}(\sqrt{T \log(L)}+τ^2\sqrt{ T \log(|A|)})$其中$L$是对手的纯策略集的大小和$|A|$表示代理的动作空间的大小。考虑到现实世界的游戏中,一个NE的支持大小是小的,我们进一步提出了一个新的算法:MDP-OOE在线Oracle专家(MDP-OOE),实现了$\mathcal{O}(\sqrt{T\log(L)}+τ^2\sqrt{ T k \log(k)})$的政策遗憾界,其中$k$只依赖于支持大小的NE。MDP-OOE在博弈论中利用了双预言的关键优势,因此可以解决具有过大动作空间的游戏。最后,为了更好地理解无遗憾方法的学习动态,在OMDPs中的无外部遗憾对手的相同设置下,我们引入了一种算法,该算法实现了NE的最后一轮收敛结果。据我们所知,这是第一个工作,导致OMDPs的最后一次迭代结果。
我们考虑在线内容推荐与隐式反馈,通过成对比较,形式化为所谓的决斗强盗问题。我们研究决斗强盗问题的孔多塞赢家设置,并考虑两个概念的遗憾:更好地研究强遗憾,这是0只有当两个手臂拉是孔多塞赢家;和研究较少的弱遗憾,这是0,如果任何一个手臂拉是孔多塞赢家。我们提出了一个新的算法,赢家留(WS),每种遗憾的变化:WS弱遗憾(WS-W)预计累积弱遗憾是$O(N^2)$,$O(N\log(N))$,如果武器有一个总的顺序; WS强遗憾(WS-S)预计累积强遗憾$O(N^2 + N \log(T))$,和$O(N\log(N)+N\log(T))$,如果武器有一个总的顺序。WS-W是第一个具有弱遗憾的决斗强盗算法,该算法在时间上是恒定的。WS是简单的计算,即使是许多武器的问题,我们通过模拟和真实数据的数值实验表明,WS有显着较小的遗憾比现有的算法在弱和强遗憾设置。
Recycling History: Efficient Recommendations from Contextual Dueling Bandits
School of Communication and Computer Science(通信与计算机科学学院);EPFL(瑞士联邦理工学院);Department of Computer Science(计算机科学系);TU Munich(慕尼黑工业大学);Department of Mathematics(数学系)
Lipschitz Bandit Optimization with Improved Efficiency
我们认为Lipschitz强盗优化问题的实际效率的重点。虽然有丰富的文献对这类问题的遗憾分析,例如,[Kleinberg et al. 2008,Bubeck et al. 2011,Slivkins 2014],他们提出的算法存在严重的实际问题,包括极端的时间复杂度和对oracle实现的依赖。有了这个动机,我们提出了一种新的算法与上置信界(UCB)的探索,即树UCB-Hoeffding,使用自适应分区。我们的分区方案很容易实现,不需要任何Oracle设置。使用基于树的搜索策略,对于第一次$T$迭代,总计算成本可以改进为$\mathcal{O}(T\log T)$。此外,我们的算法实现的遗憾下界的对数因子。
Vanilla Policy Optimization Is Both Optimal and Differentially Private for Stochastic Contextual Bandits
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Tel Aviv University(特拉维夫大学);University of Toronto(多伦多大学);Vector Institute(向量研究所);Google Research(谷歌研究院)