Online recommendation and advertising are two major income channels for online recommendation platforms (e.g. e-commerce and news feed site). However, most platforms optimize recommending and advertising strategies by different teams separately via different techniques, which may lead to suboptimal overall performances. To this end, in this paper, we propose a novel two-level reinforcement learning framework to jointly optimize the recommending and advertising strategies, where the first level generates a list of recommendations to optimize user experience in the long run; then the second level inserts ads into the recommendation list that can balance the immediate advertising revenue from advertisers and the negative influence of ads on long-term user experience. To be specific, the first level tackles high combinatorial action space problem that selects a subset items from the large item space; while the second level determines three internally related tasks, i.e., (i) whether to insert an ad, and if yes, (ii) the optimal ad and (iii) the optimal location to insert. The experimental results based on real-world data demonstrate the effectiveness of the proposed framework. We have released the implementation code to ease reproductivity.
Learning to Expand Audience via Meta Hybrid Experts and Critics for Recommendation and Advertising
在推荐系统和广告平台中，营销人员总是希望通过诸如显示、视频或社交等媒体渠道向潜在受众提供产品、内容或广告。给定一组受众或客户（种子用户），受众扩展技术（外观相似建模）是一种很有前途的解决方案，可以识别更多的潜在受众，这些受众与种子用户相似，并且可能完成目标活动的业务目标。然而，外观相似建模面临两个挑战：（1）在实践中，公司每天可能会运行数百个营销活动来推广完全不同类别的各种内容，例如，体育，政治，社会因此，很难利用一种共同的方法来扩大所有宣传活动的受众。(2)一个活动的种子集只能覆盖有限的用户。因此，基于这种种子集的定制方法可能是过拟合的。针对这些问题，本文提出了一种新的两阶段框架--Meta Hybrid Experts and Critics（MetaHeac），并将其应用于微信相似度系统。在离线阶段，一个通用的模型，可以捕捉各种任务之间的关系，从元学习的角度对所有现有的活动任务进行训练。在在线阶段，对于一个新的活动，一个定制的模型是学习与给定的种子集的基础上的一般模型。根据离线和在线实验，建议MetaHeac显示出卓越的效果，无论是在推荐系统的内容营销活动和广告平台的广告活动。此外，MetaHeac已成功部署在微信中，用于内容和广告的推广，大大提高了营销质量。代码已在\url{https://github.com/easezyc/MetaHeac}上提供。
Jointly Learning Explainable Rules for Recommendation with Knowledge Graph
Tsinghua University（清华大学）；University of Southern California（南加利福尼亚大学）
可解释性和有效性是构建推荐系统的两个关键方面。以前的努力主要集中在合并边信息，以实现更好的推荐性能。然而，这些方法具有一些弱点：（1）基于神经网络的嵌入方法的预测难以解释和调试;（2）基于符号、图形的方法（例如，基于Meta路径的模型）需要人工努力和领域知识来定义模式和规则，并且忽略项目关联类型（例如，可替换的和互补的）。在本文中，我们提出了一种新的联合学习框架集成\textit{induction of explainable rules from knowledge graph}与\textit{construction of a rule-guided neural recommendation model}。该框架鼓励两个模块相互补充，以产生有效的和可解释的推荐：1）归纳规则，从以项目为中心的知识图谱中挖掘，总结常见的多跳关系模式，用于推断不同的项目关联，并为模型预测提供人类可读的解释; 2）推荐模块可以通过归纳规则进行扩充，从而在处理冷启动问题时具有更好的泛化能力。大量的实验\footnote{Code and data can be found at: \url{https://github.com/THUIR/RuleRec}}表明，我们提出的方法已经取得了显着的改善，在现实世界的数据集上的基线项目推荐。我们的模型在通过将项目名称链接到相关实体而生成的“嘈杂”项目知识…
