We consider a sequential decision-making problem where an agent can take one action at a time and each action has a stochastic temporal extent, i.e., a new action cannot be taken until the previous one is finished. Upon completion, the chosen action yields a stochastic reward. The agent seeks to maximize its cumulative reward over a finite time budget, with the option of "giving up" on a current action -- hence forfeiting any reward -- in order to choose another action. We cast this problem as a variant of the stochastic multi-armed bandits problem with stochastic consumption of resource. For this problem, we first establish that the optimal arm is the one that maximizes the ratio of the expected reward of the arm to the expected waiting time before the agent sees the reward due to pulling that arm. Using a novel upper confidence bound on this ratio, we then introduce an upper confidence based-algorithm, WAIT-UCB, for which we establish logarithmic, problem-dependent regret bound which has an improved dependence on problem parameters compared to previous works. Simulations on various problem configurations comparing WAIT-UCB against the state-of-the-art algorithms are also presented.
Contextual Combinatorial Bandits with Probabilistically Triggered Arms
The Chinese University of Hong Kong（香港中文大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；California Institute of Technology（加州理工学院）；Microsoft Research（微软研究院）
Combinatorial Bandits under Strategic Manipulations
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shanghai Jiao Tong University（上海交通大学）
针对顺序学习方法的策略行为，例如在实际推荐系统中的“点击框架”，已经被广泛观察到。这种行为的动机，我们研究的组合多武装土匪（CMAB）的策略操纵下的奖励，其中每个手臂可以修改自己的利益发出的奖励信号的问题。对抗行为的这种特征是对先前研究得很好的设置（例如对抗攻击和对抗腐败）的放松。本文提出了一种组合UCB算法的策略变体，在策略操作下，该算法的遗憾最多为$O(m\log T + m B_{max})$，其中$T$为时间范围，$m$为臂数，$B_{max}$为臂的最大预算，并给出了该算法产生一定遗憾的臂预算下限.大量的实验在线工人选择众包系统，在线影响力最大化和在线建议与合成和真实的数据集证实了我们的理论研究结果的鲁棒性和遗憾的界限，在各种制度的操纵预算。
When Combinatorial Thompson Sampling meets Approximation Regret
Idemia（亿达美）
研究了近似后悔条件下组合多臂强盗问题的组合Thompson抽样策略。虽然CTS吸引了很多人的兴趣，但它有一个缺点，这是其他常见的CMAB策略在考虑非精确预言时所没有的：对于某些预言，CTS具有较差的近似遗憾（与时间范围$T$线性缩放）[Wang和Chen，2018]。然后，有必要进行研究，以区分CTS可以学习的神谕。该研究由Kong et al. [2021]开始：他们给出了贪婪预言机CTS的一次近似后悔分析，获得了$\mathcal{O}(\log(T)/Δ^2)$阶的上界，其中$Δ$是某个最小奖励差距。在本文中，我们的目标是推动这项研究进一步比简单的情况下，贪婪的甲骨文。我们提供了第一个$\mathcal{O}(\log(T)/Δ)$近似遗憾的上限CTS，在一个特定的条件下获得的近似甲骨文，允许减少到确切的甲骨文分析。因此，我们把这个条件称为REDUCE2EXACT，并观察到它在许多具体的例子中得到满足。此外，它可以扩展到概率触发的武器设置，从而捕获更多的问题，如在线影响最大化。
