New ranking algorithms are continually being developed and refined, necessitating the development of efficient methods for evaluating these rankers. Online ranker evaluation focuses on the challenge of efficiently determining, from implicit user feedback, which ranker out of a finite set of rankers is the best. Online ranker evaluation can be modeled by dueling ban- dits, a mathematical model for online learning under limited feedback from pairwise comparisons. Comparisons of pairs of rankers is performed by interleaving their result sets and examining which documents users click on. The dueling bandits model addresses the key issue of which pair of rankers to compare at each iteration, thereby providing a solution to the exploration-exploitation trade-off. Recently, methods for simultaneously comparing more than two rankers have been developed. However, the question of which rankers to compare at each iteration was left open. We address this question by proposing a generalization of the dueling bandits model that uses simultaneous comparisons of an unrestricted number of rankers. We evaluate our algorithm on synthetic data and several standard large-scale online ranker evaluation datasets. Our experimental results show that the algorithm yields orders of magnitude improvement in performance compared to stateof- the-art dueling bandit algorithms.
Versatile Dueling Bandits: Best-of-both-World Analyses for Online Learning from Preferences
Microsoft Research, NYC(微软研究院,纽约市);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔综合理工学院)
我们研究的问题$K$武装决斗土匪随机和对抗环境中,学习者的目标是通过相对偏好的决策点查询在网上顺序的方式来聚合信息。我们首先提出了一个新的减少从任何(一般)决斗土匪多武装土匪,尽管简单,它使我们能够改善许多现有的结果决斗土匪。特别是,\emph{we give the first best-of-both world result for the dueling bandits regret minimization problem} --一个统一的框架,保证同时对随机和对抗性偏好进行最佳执行。此外,我们的算法也是第一个实现最佳的$O(\sum_{i = 1}^K \frac{\log T}{Δ_i})$遗憾约束对康多塞冠军的基准,最佳规模的手臂大小$K$和实例特定的次优差距$\{Δ_i\}_{i = 1}^K$。这解决了长期存在的问题,设计一个实例间隙相关的顺序最优后悔算法决斗土匪(匹配下限小常数因子)。我们进一步证明了我们提出的算法的鲁棒性,通过证明其最佳后悔率下adversarially损坏的偏好-这优于现有的最先进的损坏决斗结果的大幅度。总之,我们相信我们的减少想法将在解决不同类别的决斗土匪设置中找到更广泛的范围,否则将与通常更复杂的解决方案和更差的保证的多武装土匪分开研究。我们提出的算法的有效性是经验证实对现有的决斗土匪的方法。
Regret Lower Bound and Optimal Algorithm in Dueling Bandit Problem
The University of Tokyo(东京大学);Kyoto University(京都大学)
我们研究了$K$ -武装决斗土匪问题,标准的随机土匪问题的反馈是有限的一对武器的相对比较的变化。我们引入了一个紧的渐近遗憾下界,是基于信息的分歧。受确定性最小经验发散算法(Honda and Takemura,2010)的启发,提出了一种新的算法,并分析了其遗憾性。该算法被发现是第一个遗憾的上限,下限相匹配。实验结果表明,该算法的性能明显优于现有的决斗强盗算法。
An Asymptotically Optimal Batched Algorithm for the Dueling Bandit Problem
我们研究了$K$ -武装决斗土匪问题,传统的多臂土匪问题,其中反馈的形式成对比较的变化。以前的学习算法集中在$\textit{fully adaptive}$设置上,其中算法可以在每次比较后进行更新。“批量”决斗强盗问题的动机是大规模的应用程序,如网络搜索排名和推荐系统,其中执行顺序更新可能是不可行的。在这项工作中,我们要求:$\textit{is there a solution using only a few adaptive rounds that matches the asymptotic regret bounds of the best sequential algorithms for $ K $-armed dueling bandits?}$我们的回答是肯定的$\textit{under the Condorcet condition}$,这是$K$ -武装决斗强盗问题的标准设置。我们得到了$O(K^2\log^2(K)) + O(K\log(T))$在$O(\log(T))$轮中的渐近后悔,其中$T$是时间范围.我们的遗憾边界几乎匹配最好的遗憾边界已知的完全连续设置下孔多塞条件。最后,在各种现实世界的数据集的计算实验中,我们观察到,我们的算法使用$O(\log(T))$轮实现了几乎相同的性能完全顺序算法(使用$T$轮)。
Tel Aviv University(特拉维夫大学);Technische Universität Berlin(柏林工业大学);Google Research(谷歌研究院)
我们介绍了决斗队的问题,一个新的在线学习设置中,学习者观察嘈杂的比较不相交对$k$大小的团队从宇宙的$n$球员。学习者的目标是最小化确定孔多塞获胜球队所需的决斗次数,即,战胜任何其他不相交的队伍(概率至少为$1/2$)的队伍。嘈杂的比较与球队的总顺序有关。我们通过建立决斗强盗设置(Yue et al.2012)来形式化我们的模型,并提供了几种算法,用于随机和确定性设置。对于随机设置,我们提供了一个减少到经典的决斗土匪设置,产生一个算法,确定一个孔多塞获胜的球队在$\mathcal{O}((n + k \log (k)) \frac{\max(\log\log n, \log k)}{Δ^2})$决斗,其中$Δ$是一个差距参数。对于确定性的反馈,我们还提出了一个间隙独立的算法,确定一个孔多塞获胜的球队在$\mathcal{O}(nk\log(k)+k^5)$决斗。
我们考虑在线内容推荐与隐式反馈,通过成对比较,形式化为所谓的决斗强盗问题。我们研究决斗强盗问题的孔多塞赢家设置,并考虑两个概念的遗憾:更好地研究强遗憾,这是0只有当两个手臂拉是孔多塞赢家;和研究较少的弱遗憾,这是0,如果任何一个手臂拉是孔多塞赢家。我们提出了一个新的算法,赢家留(WS),每种遗憾的变化:WS弱遗憾(WS-W)预计累积弱遗憾是$O(N^2)$,$O(N\log(N))$,如果武器有一个总的顺序; WS强遗憾(WS-S)预计累积强遗憾$O(N^2 + N \log(T))$,和$O(N\log(N)+N\log(T))$,如果武器有一个总的顺序。WS-W是第一个具有弱遗憾的决斗强盗算法,该算法在时间上是恒定的。WS是简单的计算,即使是许多武器的问题,我们通过模拟和真实数据的数值实验表明,WS有显着较小的遗憾比现有的算法在弱和强遗憾设置。
Neural Dueling Bandits: Preference-Based Optimization with Human Feedback
Singapore-MIT Alliance for Research and Technology(新加坡-麻省理工学院研究与技术联盟);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));National University of Singapore(新加坡国立大学);Massachusetts Institute of Technology(麻省理工学院)
Fusing Reward and Dueling Feedback in Stochastic Bandits
University of Massachusetts(马萨诸塞大学);City University of Hong Kong(香港城市大学);Carnegie Mellon University(卡内基梅隆大学);The Chinese University of Hong Kong(香港中文大学);California Institute of Technology(加州理工学院)
The Chinese University of Hong Kong(香港中文大学);Tongji University(同济大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Hong Kong University of Science and Technology(香港科技大学);Tianjin University(天津大学)
Active Human Feedback Collection via Neural Contextual Dueling Bandits
Singapore-MIT Alliance for Research and Technology(新加坡-麻省理工联合研究技术联盟);Department of Computer Science, National University of Singapore(国立新加坡大学计算机科学系);The Chinese University of Hong Kong, Shenzhen, China(香港中文大学(深圳));CSAIL, MIT, USA(MIT计算机科学与人工智能实验室)