上下文博弈中用于离策略评估的核加权重要性采样
Kernel weighted importance sampling for off-policy evaluation in contextual bandits
浏览论文内容
中文总结 AI 辅助
研究上下文博弈离策略评估，提出核加权重要性采样估计器Kernel-WIS，它结合普通加权重要性采样有界性与普通重要性采样线性，渐近一致且优于基线方法，尤其在行为策略错误指定等复杂情况。
中文摘要 AI 辅助
本文提出了一种仅使用离线数据进行上下文博弈离策略评估的新型估计器。所提出的核加权重要性采样估计器（Kernel-WIS）被证明是渐近一致的，并且在经验上优于强大的基线方法（包括普通加权重要性采样），特别是在行为策略错误指定等复杂条件下。Kernel-WIS的优势源于结合了普通加权重要性采样的有界性和普通重要性采样的线性。
英文摘要
This article presents a novel estimator for performing off-policy evaluation using only offline data for contextual bandits. The proposed estimator, Kernel-WIS is demonstrated to be asymptotically consistent and to empirically outperform strong baselines (including weighted importance sampling), particularly under behaviour policy miss-specification. The benefit of Kernel-WIS is derived from combining the bounded property of weighted importance sampling with the linearity of vanilla importance sampling.
发表机构
- Institute of Child Health, University College London（伦敦大学学院儿童健康研究所）
- Strive Health Ltd.（奋进健康有限公司）
- National Institute for Health Research（国家卫生研究院）
- University College London, Biomedical Research Council（伦敦大学学院生物医学研究委员会）
- Great Ormond Street Hospital（大奥蒙德街医院）
- McGill University（麦吉尔大学）
机构由 AI 辅助整理，请以论文原文为准。
