Feature Generation by Convolutional Neural Network for Click-Through Rate Prediction
Noah’s Ark Lab, Huawei(华为诺亚方舟实验室);Jinan University(暨南大学)
点击率预测是推荐系统中的一项重要任务,其目的是估计用户点击给定项目的概率。最近,已经提出了许多深度模型来从原始特征学习低阶和高阶特征交互。然而,由于有用的交互总是稀疏的,DNN很难在大量参数下有效地学习它们。在真实场景中,人工特征能够提高深度模型的性能(如Wide &深度学习),但特征工程成本高昂,需要领域知识,在不同场景下不切实际。因此,有必要对特征空间进行自动扩充。在本文中,我们提出了一种新的特征生成的卷积神经网络(FGCNN)模型的两个组成部分:特征生成和深度分类器。特征生成利用CNN的优势来生成局部模式,并将它们重组以生成新特征。深度分类器采用IPNN的结构,从增强的特征空间中学习交互。在三个大规模数据集上的实验结果表明,FGCNN的性能明显优于九种最先进的模型。此外,当应用一些最先进的模型作为深度分类器时,总是能获得更好的性能,这表明我们的FGCNN模型具有很好的兼容性。这项工作为CTR预测探索了一个新的方向:通过自动识别重要特征来降低DNN的学习难度是非常有用的。
2019-04-09 cs.IR cs.LG
An Analysis Of Entire Space Multi-Task Models For Post-Click Conversion Prediction
Twitter(推特)
工业推荐系统的任务经常是为多个通常密切相关的用户动作近似概率。例如,预测用户是否会点击广告以及他们是否会购买广告产品。这些任务之间的概念相似性促进了多任务学习的使用:这是一类旨在从相关任务中带来积极归纳转移的算法。在这里,我们经验评估多任务学习方法与神经网络的在线广告任务。具体而言,我们考虑使用相关点击事件(CTR)作为辅助任务,近似计算大规模广告平台上移动应用广告的点击后转化事件(安装)(CVR)的概率。我们使用消融的方法来系统地研究最近的方法,结合多任务学习和“整个空间建模”,训练CVR的所有记录的例子,而不是学习的条件可能性转换点击。基于这些结果,我们表明,几种不同的方法导致类似的水平的正向转移从数据丰富的CTR任务的CVR任务,并提供一些见解如何多任务的设计选择解决影响CVR任务的两个主要问题:数据稀疏性和数据偏差。我们的研究结果增加了越来越多的证据表明,标准的多任务学习是一种明智的方法来模拟现实世界中的大规模应用程序中的相关事件,并建议特定的多任务方法可以通过在现有系统中的易用性来指导。
2021-08-18 cs.IR cs.LG
Dual Attentive Sequential Learning for Cross-Domain Click-Through Rate Prediction
New York University(纽约大学);Alibaba Youku Cognitive and Intelligent Lab(阿里巴巴优酷认知与智能实验室)
跨领域推荐系统是解决冷启动和稀疏性问题的一种有效方法,它可以在多个类别域之间聚合和传递用户偏好。因此,它有很大的潜力,以提高点击率预测性能的在线商务平台,具有许多领域的产品。虽然已经提出了几种跨域顺序推荐模型来利用来自源域的信息来改善目标域中的CTR预测,但是它们没有考虑跨源-目标域对的用户偏好的双向潜在关系。因此,它们不能同时为两个域提供增强的跨域CTR预测。在本文中,我们提出了一种新的方法,跨域顺序推荐的基础上的双重学习机制,同时在两个相关的域之间的信息,以迭代的方式,直到学习过程稳定。特别是,提出的双注意顺序学习(DASL)模型由两个新的组件双嵌入和双注意,共同建立两个阶段的学习过程:我们首先构建双潜在嵌入,同时提取用户在两个领域的偏好,随后通过双注意学习机制,通过匹配提取的潜在嵌入与候选项提供跨域的建议。我们在三个真实世界的数据集上进行了广泛的离线实验,以证明我们提出的模型的优越性,该模型在所有实验设置中显著且一致地优于几个最先进的基线。我们还在一个主要的视频流媒体平台阿里巴巴-优酷进行了在线A/B测试,我们提出的模型在公司最新的生产系统上显着提高了业务性能。
2021-06-05 cs.IR cs.LG
InterFormer: Effective Heterogeneous Interaction Learning for Click-Through Rate Prediction
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Meta AI;University of Illinois Chicago(伊利诺伊大学芝加哥分校)
针对CTR预测中异构信息交互不足与信息聚合损失问题,提出InterFormer模块,采用交错式双向交互与独立桥接架构,在公开及工业数据集上取得最优性能。
2025-09-11 cs.AI cs.IR cs.LG
GACE: Learning Graph-Based Cross-Page Ads Embedding For Click-Through Rate Prediction
AntGroup(蚂蚁集团)
本文提出GACE方法,通过构建融合语义和页面属性的图模型并结合变分自编码预训练,为跨页面广告生成嵌入表示,有效解决多页面数据联合使用和新广告冷启动问题,在公开及真实数据集上显著提升CTR。
2024-01-15 cs.AI cs.IR cs.LG
Representation Learning-Assisted Click-Through Rate Prediction
Alibaba Group(阿里巴巴集团)
点击率(CTR)预测是在线广告系统中的一项关键任务。大多数现有的方法主要建模的特征CTR关系,并遭受数据稀疏性问题。在本文中,我们提出了DeepMCP,它对其他类型的关系进行建模,以学习更多信息和统计可靠的特征表示,从而提高CTR预测的性能。具体来说,DeepMCP包含三个部分:匹配子网、关联子网和预测子网。这些模型分别对用户-广告、广告-广告和功能-CTR关系进行建模。当这些特征在目标标签的监督下联合优化时,学习的特征表示具有良好的预测能力和良好的表示能力。在两个大规模数据集上的实验表明,DeepMCP在CTR预测方面优于几种最先进的模型。
2019-07-19 cs.IR cs.LG stat.ML
Regularized Adversarial Sampling and Deep Time-aware Attention for Click-Through Rate Prediction
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);The Hong Kong Polytechnic University(香港理工大学)
提高点击率(CTR)预测的性能仍然是在线广告系统的核心任务之一。随着深度学习的兴起,具有深度网络的CTR预测模型显著增强了模型的能力。在深度CTR模型中,利用用户的历史数据对于学习用户的行为和兴趣至关重要。针对现有CTR预测方法在嵌入用户历史点击记录时忽略了时间信号的重要性,提出了一种时间感知的注意力模型,该模型明确地使用绝对时间信号来表示用户的周期性行为,使用相对时间信号来表示项目之间的时间关系。此外,我们提出了一种正则化的对抗抽样策略的负采样,缓解了CTR数据的分类不平衡,并可以利用观察到的负CTR样本提供的强指导。对抗性采样策略显著提高了训练效率,并且可以与时间感知注意力模型无缝协同训练。实验进行了真实世界的CTR数据集,从站内和站外的广告场所。
2019-11-03 cs.IR cs.LG stat.ML
Sequential Click Prediction for Sponsored Search with Recurrent Neural Networks
Fudan University(复旦大学);Nankai University(南开大学);Tsinghua University(清华大学);Microsoft Research(微软研究院)
点击预测是赞助搜索的基本问题之一。大多数现有的研究利用机器学习方法来独立地预测广告观看的每个事件的广告点击。然而,在现实世界的赞助搜索系统中观察到,用户的行为对广告产生很高的依赖性,用户的行为如何随着过去的时间,特别是在什么查询,她提交了,什么广告,她点击或忽略,以及她花了多长时间点击广告的着陆页,等等。受这些观察的启发,我们引入了一个新的框架,基于循环神经网络(RNN)。与传统的方法相比,该框架通过RNN的递归结构,直接将用户顺序行为的依赖性建模到点击预测过程中。商业搜索引擎的点击日志的大规模评估表明,我们的方法可以显着提高点击预测精度相比,序列无关的方法。
2014-07-28 cs.IR cs.LG cs.NE
Deep Spatio-Temporal Neural Networks for Click-Through Rate Prediction
Alibaba Group(阿里巴巴集团)
点击率(CTR)预测是在线广告系统中的一项关键任务。大量的研究都是单独考虑每一个广告,但忽略了它与其他可能影响点击率的广告的关系。在本文中,我们研究了各种类型的辅助广告,以提高目标广告的点击率预测。特别是,我们从两个角度探索辅助广告:一个是从空间域,我们认为在同一页面上的目标广告上方显示的上下文广告;另一个是从时间域,我们认为历史上点击和未点击的广告的用户。直觉是,一起显示的广告可能会相互影响,点击的广告反映了用户的偏好,而未点击的广告可能会在一定程度上表明用户不喜欢什么。为了有效地利用这些辅助数据,我们提出了深度时空神经网络(DSTNs)的CTR预测。我们的模型能够学习每种类型的辅助数据和目标广告之间的相互作用,强调更重要的隐藏信息,并在一个统一的框架中融合异构数据。在一个公共数据集和两个工业数据集上的离线实验表明,DSTNs优于几种最先进的CTR预测方法。我们已在中国第二大搜索引擎神马搜索中部署了性能最好的搜索引擎。A/B测试结果表明,在线CTR也显着提高相比,我们的最后一个服务模型。
2019-07-19 cs.IR cs.LG stat.ML
Decision-Making Context Interaction Network for Click-Through Rate Prediction
Meituan(美团)
点击率(CTR)预测在推荐和在线广告系统中至关重要。现有的方法通常对用户行为进行建模,而忽略了影响用户做出点击决策的信息上下文,例如,点击页面和预先排名的候选人,告知有关用户兴趣的推断,导致次优性能。在本文中,我们提出了一个决策上下文交互网络(DCIN),它部署了一个精心设计的上下文交互单元(CIU)来学习决策上下文,从而有利于CTR预测。此外,不同的决策上下文源之间的关系进行了探索,提出了自适应兴趣聚合单元(AIAU),以进一步提高CTR预测。在公共数据集和工业数据集上的实验中,DCIN显著优于最先进的方法。值得注意的是,该模型在线A/B测试获得了CTR+2. 9%/CPM+2. 1%/GMV+1. 5%的提升,并服务于美团外卖广告系统的主要流量。
2023-01-29 cs.IR cs.LG
Boosting the Rating Prediction with Click Data and Textual Contents
SOKENDAI (The Graduate University for Advanced Studies)(综合研究大学院大学(SOKENDAI));National Institute of Informatics(日本国立信息学研究所)
矩阵分解(MF)是最有效的收视率预测方法之一。MF通过分解用户-项目评级矩阵来学习用户和项目表示。此外,文本内容集成到传统的MF,以解决冷启动问题。然而,文本内容并没有反映项目的所有方面。在本文中,我们提出了一个模型,利用隐藏在项目共同点击中的信息(即,经常被用户一起点击的项目)转换为学习项目表示。我们开发了TCMF(Textual Co Matrix Factorization),它从用户-项目矩阵、文本内容和从点击数据构建的项目共同点击矩阵中共同学习用户和项目表示。项目共同点击信息捕获未通过文本内容捕获的项目之间的关系。在两个真实数据集MovieTweetings和Bookcrossing上的实验表明,我们的方法在评级预测方面优于竞争方法。此外,我们表明,该模型可以学习有效的项目表示,通过比较与国家的最先进的方法在分类任务,使用项目表示作为输入向量。
2021-05-12 cs.IR cs.LG
Deep Character-Level Click-Through Rate Prediction for Sponsored Search
Pompeu Fabra University(庞培法布拉大学);Eurecat;Criteo Labs(Criteo实验室);Yahoo Labs(雅虎实验室)
预测广告的点击率是在线广告平台的关键组成部分。在赞助搜索中,点击率估计用户在向搜索引擎提交查询后点击所显示广告的概率。商业搜索引擎通常依赖于用大量特征训练的机器学习模型来进行这样的预测。这不可避免地需要大量的工程工作来定义、计算和选择适当的特征。在本文中,我们提出了两种新的方法(一种工作在字符级别,另一种工作在单词级别),使用深度卷积神经网络来预测查询广告对的点击率。特别地,所提出的架构仅考虑出现在查询广告对中的文本内容作为输入,并产生作为输出的点击率预测。通过比较字符级模型和单词级模型,我们表明,当在足够的数据上训练时,语言表示可以在字符级从头开始学习。通过广泛的实验,使用数十亿的查询广告对一个流行的商业搜索引擎,我们证明了这两种方法显着优于一个基线模型建立在精心挑选的文本功能和一个国家的最先进的word2vec为基础的方法。最后,通过将本研究中引入的深度模型的预测与同一商业搜索引擎的生产中的模型的预测相结合,我们显著提高了生产系统的点击率预测的准确性和校准。
2017-07-07 cs.LG stat.ML
Deep Interest Evolution Network for Click-Through Rate Prediction
Alibaba Inc(阿里巴巴集团)
点击率预测是广告系统的核心任务之一,其目标是估计用户点击的概率。对于点击率预测模型,需要捕捉用户行为数据背后潜在的用户兴趣。此外,考虑到外部环境和内部认知的变化,用户兴趣随时间动态演化。兴趣建模的点击率预测方法有多种,但大多数都是直接将行为的表现形式看作兴趣,缺乏对具体行为背后潜在兴趣的专门建模。此外,很少有研究考虑到利益的变化趋势。在本文中,我们提出了一种新的模型,命名为深度兴趣进化网络~(DIEN),点击率预测。具体来说,我们设计了兴趣提取器层,从历史行为序列中捕获时间兴趣。在这一层,我们引入了一个辅助损失来监督每一步的利息提取。由于用户兴趣的多样性,特别是在电子商务系统中,我们提出的兴趣进化层捕捉的兴趣演变过程,是相对于目标项目。在利益演化层,注意机制被新颖地嵌入到序列结构中,在利益演化过程中强化了相对利益的作用。在公共和工业数据集上的实验中,DIEN的性能明显优于最先进的解决方案。值得注意的是,DIEN已经部署在淘宝的展示广告系统中,并获得了20.7%的CTR提升。
2018-11-16 cs.IR cs.LG stat.ML
CLAX: Fast and Flexible Neural Click Models in JAX
University of Amsterdam(阿姆斯特丹大学)
CLAX是一个基于JAX的库,用数值稳定的梯度优化替代EM方法实现经典点击模型,支持模块化端到端优化,在单个GPU上约2小时处理超十亿会话的Baidu-ULTR数据集,兼顾可解释性与效率。
2025-11-05 cs.IR cs.LG cs.SE
Deep Multi-Representation Model for Click-Through Rate Prediction
Information Systems and Machine Learning Lab(信息系统与机器学习实验室)
点击率预测(CTR)是推荐系统中的一项重要任务,近年来受到了广泛的关注。最近研究的主要目的强调通过使用各种组件(如深度神经网络(DNN),CrossNets或Transformer块)挖掘低和高特征交互来获得有意义和强大的表示。在这项工作中,我们提出了深度多表示模型(DeepMR),该模型联合训练两个强大的特征表示学习组件的混合,即DNN和多头自关注。此外,DeepMR将新的零初始化残差(ReZero)连接集成到DNN和多头自注意组件,以学习更好的输入表示。在三个真实数据集上的实验表明,该模型在预测点击率方面明显优于所有最先进的模型。
2022-10-25 cs.AI cs.IR cs.LG
Dropout Prediction over Weeks in MOOCs by Learning Representations of Clicks and Videos
Carnegie Mellon University(卡内基梅隆大学)
本文解决了MOOC辍学预测中的一个关键挑战,即从点击流数据中构建有意义的表示。虽然各种各样的特征提取技术已经被广泛地探索用于这样的目的,据我们所知,没有先前的作品已经探索了建模的教育内容(例如,视频)和它们的相关性与学习者的行为(例如,点击流)在这种情况下。我们通过设计一种方法来学习视频的表示以及视频和点击之间的相关性来弥合这一差距。结果表明,建模视频及其与点击的相关性在预测辍学方面带来了统计学上的显着改善。
2020-02-05 cs.CY cs.LG
Online Interaction Detection for Click-Through Rate Prediction
Zhejiang University(浙江大学)
点击率预测旨在预测特定链接的点击与印象的比率。这是一项具有挑战性的任务,因为(1)通常存在分类特征,并且如果应用独热编码,则输入将是极高维的,(2)不仅原始特征而且它们的相互作用也很重要,(3)有效的预测可能依赖于不同时间段的不同特征和相互作用。为了克服这些困难,我们提出了一种新的交互检测方法,命名为在线随机相交链。该方法基于频繁项集挖掘的思想,通过观察随机选择的样本的交集来检测信息交互。所发现的交互具有高度的可解释性,因为它们可以被理解为逻辑表达式。ORIC可以在每次收集新数据时更新,而无需根据历史数据进行重新训练。更重要的是,历史和最新数据的重要性可以通过调优参数来控制。设计了一个框架来处理流媒体交互,因此几乎所有现有的CTR预测模型都可以在交互检测之后应用。在三个基准数据集上的实验结果证明了ORIC的有效性。
2021-06-27 cs.LG stat.ML
Towards Automated Neural Interaction Discovery for Click-Through Rate Prediction
Texas A&M University(德州农工大学);Facebook Inc.(Facebook公司)
点击率(CTR)预测是推荐系统中最重要的机器学习任务之一,为数十亿消费者提供个性化体验。神经网络结构搜索(NAS)作为一个新兴的领域,在发现功能强大的神经网络结构方面表现出了强大的能力,这促使我们探索其在CTR预测方面的潜力。由于1)多样的非结构化特征交互,2)异构的特征空间,以及3)高数据量和固有的数据随机性,有效地构造、搜索和比较推荐模型的不同架构是具有挑战性的。为了解决这些挑战,我们提出了一个自动交互架构发现框架的CTR预测命名AutoCTR。通过将简单但有代表性的交互模块化为虚拟构建块并将其连接到直接非循环图空间中,AutoCTR在架构级别进行进化架构探索,并使用低保真度模型实现加速。实证分析证明了AutoCTR在不同数据集上的有效性,与人工构建的架构相比。所发现的体系结构也享有不同的数据集之间的通用性和可移植性。
2020-06-29 cs.IR cs.LG
AdaSparse: Learning Adaptively Sparse Structures for Multi-Domain Click-Through Rate Prediction
Alibaba Group(阿里巴巴集团)
点击率(CTR)预测是推荐和广告系统中的一项基本技术。最近的研究已经证明,学习一个统一的模型来服务于多个领域是有效的,以提高整体性能。然而,在有限的训练数据下提高跨领域的泛化能力仍然具有挑战性,并且由于其计算复杂性,难以部署现有的解决方案。在本文中,我们提出了一个简单而有效的框架AdaSparse多域CTR预测,自适应学习每个域的稀疏结构,实现更好的泛化跨域的计算成本较低。在AdaSparse中,我们引入了领域感知的神经元级加权因子来衡量神经元的重要性,对于每个领域,我们的模型可以修剪冗余神经元以提高泛化能力。我们进一步添加灵活的稀疏正则化来控制学习结构的稀疏率。离线和在线实验表明,AdaSparse显著优于以前的多域CTR模型。
2022-07-01 cs.IR cs.LG
Prediction is very hard, especially about conversion. Predicting user purchases from clickstream data in fashion e-commerce
Tooso Labs(Tooso实验室);University of Antwerp(安特卫普大学);Queen Mary University(伦敦玛丽女王大学)
仅仅根据点击流数据了解用户是买家还是橱窗购物者,对于寻求实施实时准确的NBA(下一个最佳行动)策略的电子商务平台至关重要。然而,由于转换事件的低频率和浏览数据的噪声,分类用户会话是非常具有挑战性的。在本文中,我们解决了时尚行业的点击流分类问题,并为时尚人工智能的新兴领域做出了三大贡献:首先,我们从欧洲一家主要的电子商业时尚网站收集、规范化并准备了一个新的实时购物会话数据集;其次,我们使用该数据集在受控环境中测试了文献中的强基线和SOTA模型;最后,我们提出了一个新的判别神经模型,它的性能优于乐天实验室最近提出的神经结构。
2019-06-30 cs.IR cs.LG
Entire-Space Variational Information Exploitation for Post-Click Conversion Rate Prediction
University of Electronic Science and Technology of China(电子科技大学)
针对点击后转化率预估中的样本选择偏差与数据稀疏问题,提出全空间变分信息利用框架EVI,通过无偏伪标签生成与变分信息蒸馏迁移未点击样本信息,在6个大规模数据集上平均优于SOTA基线2.25%。
2024-12-17 cs.IR cs.LG
Click-Through Rate Prediction with the User Memory Network
Alibaba Group(阿里巴巴集团)
点击率(CTR)预测是在线广告系统中的一项关键任务。像深度神经网络(DNN)这样的模型很简单,但没有状态。他们独立地考虑每个目标广告,无法直接提取用户历史广告印象和点击中包含的有用信息。相比之下,像递归神经网络(RNN)这样的模型是有状态的,但很复杂。它们对用户顺序行为之间的时间依赖性进行建模,可以实现比DNN更好的预测性能。然而,RNN的离线训练和在线预测过程都更加复杂和耗时。在本文中,我们提出了内存增强DNN(MA-DNN)的实际CTR预测服务。特别是,我们为每个用户创建两个外部记忆向量,记住用户可能喜欢和不喜欢的高级抽象。所提出的MA-DNN实现了DNN和RNN之间的良好折衷。它与DNN一样简单,但与RNN一样具有一定的挖掘用户历史行为中包含的有用信息的能力。离线和在线实验都证明了MA-DNN在实际CTR预测服务中的有效性。实际上,内存组件也可以扩展到其他模型(例如,Wide&Deep模式)。
2019-07-20 cs.IR cs.LG
Improving conversion rate prediction via self-supervised pre-training in online advertising
Yahoo Research(雅虎研究院)
针对在线广告点击归因转化数据稀疏且不能用非点击归因数据训练以保障模型校准的问题,提出用在全量转化数据上预训练的自编码器做特征提取增强FM模型,在离线和在线A/B测试中均有提升,已部署于Yahoo原生广告系统。
2024-01-25 cs.IR cs.LG stat.ML
MIRA: Leveraging Multi-Intention Co-click Information in Web-scale Document Retrieval using Deep Neural Networks
Microsoft(微软)
研究了工业Web搜索中的深度查全率模型问题,即给定用户查询,从数十亿个候选文档中检索出数百个最相关的文档。通用的框架是训练两个基于神经嵌入的编码模型,分别学习查询和文档的分布式表示,并在潜在语义空间中进行匹配。然而,所有现有的编码模型都只利用文档本身的信息,这往往是不够的,在实践中与查询词匹配时,特别是对于硬尾查询。在这项工作中,我们的目标是利用额外的信息,每个文件从其共同点击邻居,以帮助文档检索。挑战包括如何在深度模型中涉及共点击信息时有效地提取信息并消除噪声,同时满足实时的在线推理对十亿级数据大小的需求。为了处理协同点击关系中的噪声,本文首先提出了一种Web规模的多意图协同点击文档图(MICG),该图在点击意图层面而非文档层面构建文档之间的协同点击连接。然后,我们提出了一个编码框架MIRA的基础上BERT和图的注意力网络,利用两个因素的注意力机制聚合邻居。为了满足在线延迟的要求,我们只在文档端涉及邻居信息,这样可以节省实时的服务中耗时的查询邻居搜索。我们进行了广泛的离线实验上的公共数据集和私人网络规模的数据集,从两个主要的商业搜索引擎证明所提出的方法的有效性和可扩展性相比,几个基线。进一步的案例分析表明,共点击关系主要从关键概念增强和查询词互补两个方面提高了网络搜索质量。
2020-07-03 cs.CL cs.IR cs.LG
Fishing for Clickbaits in Social Images and Texts with Linguistically-Infused Neural Network Models
University of Notre Dame(圣母大学);Western Washington University(西华盛顿大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文介绍了我们参与2017年关于社交媒体中自动点击诱饵检测的Clickbait挑战赛的结果和结论。我们首先描述语言注入神经网络模型和识别信息表示来预测Twitter帖子中存在的点击诱饵的水平。我们的模型不仅可以回答帖子是否是点击诱饵的问题,还可以回答在多大程度上是点击诱饵的问题,例如,使用0到1的分数,完全没有、轻微、相当大或严重的点击率。我们评估了在从推文中提取的各种文本和图像表示上训练的模型的预测能力。我们的最佳性能模型依赖于从推文和相应页面中提取的推文文本和偏见语言的语言标记,在保留的测试数据上产生的均方误差(MSE)为0.04,平均绝对误差(MAE)为0.16,R2为0.43。对于二进制分类设置(点击诱饵与非点击诱饵),我们的模型获得了0.69的F1分数。我们还没有发现图像表示与文本相结合会产生显着的性能改善。尽管如此,这项工作是第一次对使用Google Tensorflow目标检测API从点击诱饵与非点击诱饵Twitter帖子中的图像中提取的对象进行初步分析。最后,我们概述了几个步骤,以提高模型的性能,作为未来工作的一部分。
2017-10-17 cs.CL cs.LG cs.SI
FE-TCM: Filter-Enhanced Transformer Click Model for Web Search
North Minzu University(北方民族大学);Chinese Academy of Agricultural Sciences(中国农业科学院)
构建点击模型,从用户与搜索引擎的交互中提取隐含的相关反馈信息,对提高搜索结果的排名具有重要意义。利用神经网络对用户的点击行为进行建模已经成为构建点击模型的有效方法之一。本文以Transformer作为特征提取的骨干网络,创新性地增加了过滤层,提出了一种新的过滤增强的Transformer点击模型(FE-TCM)。首先,为了减少噪声对用户行为数据的影响,我们使用可学习滤波器来过滤日志噪声。其次,根据检验假设,分别对吸引力估计器和检验预测器进行建模,输出吸引力分数和检验概率。一种新的Transformer模型被用来学习不同特征之间的更深层次的表示。最后,我们应用组合函数将吸引力分数和检查概率整合到点击预测中。从我们的实验上两个真实世界的会话数据集,它被证明FE-TCM优于现有的点击模型的点击预测。
2023-01-31 cs.IR cs.LG
Adversarial Multimodal Representation Learning for Click-Through Rate Prediction
Alibaba Group(阿里巴巴集团)
为了更好地提高用户体验和企业效益,点击率预测一直是电子商务中最重要的任务之一。虽然已经提出了广泛的CTR预测模型,学习良好的表示项目的多模态功能仍然很少研究,考虑到一个项目在电子商务中通常包含多个异构模态。以往的研究要么是将多个模态特征串联起来,相当于给每个模态赋予一个固定的重要性权重;要么是通过注意力机制等技术学习不同模态对不同项目的动态权重。然而,问题是,通常存在跨多个模态的公共冗余信息。通过使用冗余信息计算的不同模态的动态权重可能不能正确地反映每个模态的不同重要性。为了解决这个问题,我们探讨的互补性和冗余的模态考虑模态特定的和模态不变的功能不同。我们提出了一种新的多模态对抗表示网络(MARN)的CTR预测任务。多模态注意力网络首先根据每个项目的模态特定特征计算多个模态的权重。然后,多模态对抗网络学习模态不变表示,其中引入了双鉴别器策略。最后,我们实现了多模态项表示结合模态特定和模态不变的表示。我们在公共数据集和工业数据集上进行了广泛的实验,所提出的方法始终实现了对最先进方法的显着改进。此外,该方法已部署在一个业务的电子商务系统和在线A/B测试进一步证明了有效性。
2020-03-07 cs.IR cs.LG stat.ML
Continual Learning for CTR Prediction: A Hybrid Approach
Meituan(美团)
点击率(CTR)预测是每次点击成本(CPC)广告系统中的核心任务,并且已经被机器学习从业者广泛研究。虽然许多现有的方法已经成功地部署在实践中,他们中的大多数是建立在i.i.d.。(独立且同分布)假设,忽略了用于训练和推断的点击数据是通过时间收集的并且本质上是非平稳和漂移的。这种不匹配将不可避免地导致次优性能。为了解决这个问题,我们制定CTR预测作为一个持续学习的任务,并提出COLF,混合持续学习框架CTR预测,它有一个基于内存的模块化架构,旨在适应,学习和预测时,不断面对非平稳漂移点击数据流。结合明确控制记忆和目标数据之间差异的记忆人口方法,COLF能够从其历史经验中获得积极的知识,并改进CTR预测。通过对中国某大型购物应用的点击日志数据进行实证分析,证明了该方法的优越性。此外,我们已经在线部署了我们的方法,并观察到显著的CTR和收入改善,这进一步证明了我们方法的有效性。
2022-01-18 cs.IR cs.LG
Field-weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising
Yahoo Research(雅虎研究院);TouchPal Inc.(触宝公司);UC Berkeley(加州大学伯克利分校);LinkedIn Corporation(领英公司);Ablibaba Group(阿里巴巴集团)
点击率(CTR)预测是在线展示广告中的一项关键任务。CTR预测中涉及的数据通常是多字段分类数据,即,每个特征都是分类的,并且属于一个且仅属于一个字段。这种数据的一个有趣的特征是,来自一个领域的特征通常与来自不同其他领域的特征以不同的方式相互作用。最近,场感知因子分解机(FFM)已经通过显式地建模这种差异而成为CTR预测的最佳模型之一。然而,FFM中的参数数量是特征数量乘以字段数量的顺序,这在现实世界的生产系统中是不可接受的。在本文中,我们提出了字段加权因子分解机(FwFM),以一种更有效的方式来模拟不同字段之间的不同特征交互。我们的实验评估表明,FwFM可以实现有竞争力的预测性能,只有4%的FFM参数。当使用相同数量的参数时,在两个真实CTR预测数据集上,FwFM可以使FFM的AUC提升0.92%和0.47%。
2020-03-08 cs.LG stat.ML
Click-Based Student Performance Prediction: A Clustering Guided Meta-Learning Approach
Purdue University(普渡大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
研究了从点击流行为预测学生在网络课程中知识获取的问题。由于电子学习讲座的普及,我们特别关注学生在讲座视频中的视频活动,其中包括内容和视频测验。我们预测视频测验表现的方法基于我们开发的三个关键思想。首先,我们通过对原始事件数据进行操作的时间序列学习架构来对学生的点击行为进行建模,而不是像现有方法那样定义手工制作的功能,这些功能可能会丢失嵌入在点击序列中的重要信息。其次,我们开发了一个自我监督的点击流预训练,以学习点击流事件的信息表示,从而可以有效地初始化预测模型。第三,我们提出了一个聚类引导的元学习为基础的训练,优化预测模型,利用集群的频繁模式在学生点击流序列。通过对三个真实世界数据集的实验,我们证明了我们的方法在预测学生的视频测验表现方面比两个基线模型有了实质性的改进。此外,我们通过消融研究验证了我们框架的预训练和元学习组件的重要性。最后,我们展示了我们的方法如何揭示与知识获取相关的视频观看行为的见解,以进行有用的学习分析。
2021-11-16 cs.LG
MiNet: Mixed Interest Network for Cross-Domain Click-Through Rate Prediction
Alibaba Group(阿里巴巴集团)
点击率(CTR)预测是在线广告系统中的一项关键任务。现有的工作主要解决单域CTR预测问题和模型方面,如功能交互,用户行为历史和上下文信息。然而,广告通常与自然内容一起显示,这为跨域CTR预测提供了机会。在本文中,我们解决这个问题,并利用辅助数据从源域,以提高CTR预测性能的目标域。我们的研究基于UC今日头条(与UC浏览器App集成的新闻推送服务,每日服务数亿用户),其中源域是新闻,目标域是广告。为了有效地利用新闻数据来预测广告的点击率,我们提出了混合兴趣网络(MiNet),它联合建模三种类型的用户兴趣:1)跨域的长期兴趣,2)源域的短期兴趣和3)目标域的短期兴趣。MiNet包含两个层次的注意力,其中项目级注意力可以自适应地从点击的新闻/广告中提取有用信息,兴趣级注意力可以自适应地融合不同的兴趣表示。离线实验表明,MiNet优于几种最先进的CTR预测方法。我们已经在UC头条部署了MiNet,A/B测试结果显示在线CTR也有了大幅提升。MiNet现在是UC头条的主要广告流量。
2020-08-07 cs.IR cs.LG
Click-through Rate Prediction with Auto-Quantized Contrastive Learning
Shanghai Jiao Tong University(上海交通大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Hong Kong Baptist University(香港浸会大学)
点击率(CTR)预测成为无处不在的Web推荐应用中不可或缺的。然而,当前的方法在用户交互极其稀疏的冷启动场景下挣扎。我们认为这个问题是一个自动识别的用户行为是否足够丰富,以捕捉预测的兴趣,并提出了一个自动量化的对比学习(AQCL)损失正则化模型。与以往的方法不同,AQCL同时利用实例-实例和实例-聚类的相似性来增强潜在表示的鲁棒性,并自动减少由于量化而导致的主动用户的信息损失。所提出的框架对不同的模型架构是不可知的,并且可以以端到端的方式进行训练。广泛的结果表明,它一贯改善目前的国家的最先进的CTR模型。
2021-09-27 cs.AI cs.IR cs.LG
Structured Semantic Model supported Deep Neural Network for Click-Through Rate Prediction
Weibo(微博);Alibaba Group(阿里巴巴集团)
随着网络广告和推荐系统的快速发展,点击率预测将发挥越来越重要的作用,近年来,基于DNN的嵌入式和MLP模型被提出,并在图像/语音和自然语言处理领域取得了良好的效果。在这些方法中,Google提出的Wide&Deep模型起着关键的作用,大多数模型首先将大规模稀疏输入特征映射成低维向量,然后将低维向量转换成定长向量,然后连接在一起,最后输入多层感知器(MLP)学习输入特征之间的非线性关系。可训练变量的数量通常会随着特征字段的数量和嵌入维数的增加而急剧增长。深度神经网络的训练和嵌入在一起是一个很大的挑战,很容易陷入局部最优或过拟合。本文在分析了现有文献的基础上,我们提出了一个结构化语义模型(Structured Semantic Model,SSM)来解决这个问题,它设计了一个正交基卷积和池化模型,自适应地学习由点击标签监督的特征之间的多尺度基本语义表示。SSM的输出然后被用于Wide&深度CTR预测。在两个公共数据集以及超过10亿样本的真实微博生产数据集上的实验表明,我们提出的方法具有优越的性能相比,国家的最先进的方法的有效性。
2019-04-30 cs.LG stat.ML
Using Neural Networks for Click Prediction of Sponsored Search
School of Computer and Communications Sciences(计算机与通信科学学院);Yandex
赞助搜索是一个价值数十亿美元的产业,是搜索引擎(SE)的主要收入来源。点击率(click-through-rate,CTR)估计对于广告选择起着至关重要的作用,并且极大地影响SE收入、广告商流量和用户体验。我们提出了一种新的架构解决CTR预测问题相结合的人工神经网络(ANN)与决策树。首先,我们比较人工神经网络与其他流行的机器学习模型用于这项任务。然后,我们继续将ANN与MatrixNet(提升树的专有实现)相结合,并评估整个系统的性能。结果表明,我们的方法提供了显着的改进,现有的模型。
2015-09-19 cs.LG cs.NE
Feature embedding in click-through rate prediction
Zemanta, an Outbrain company(Zemanta(Outbrain旗下公司));Faculty of Computer and Information Science, University of Ljubljana(卢布尔雅那大学计算机与信息科学学院)
我们解决了特征嵌入的挑战,以提高点击率预测过程的目的。我们选择三种型号:逻辑回归,因子分解机器和深度因子分解机器作为我们的基线,并提出了五种不同的特征嵌入模块:嵌入缩放,FM嵌入,嵌入编码,NN嵌入和嵌入重新加权模块。嵌入模块作为改进基线模型特征嵌入的一种方式,并以端到端的方式与其余模型参数一起进行训练。每个模块被单独添加到基线模型以获得新的增强模型。我们在一个可公开访问的数据集上测试了我们的增强模型的预测性能,该数据集用于对点击率预测模型进行基准测试。我们的研究结果表明,几个建议的嵌入模块提供了一个重要的提高预测性能,而不会大幅增加训练时间。
2022-09-20 cs.LG
Learning Piece-wise Linear Models from Large Scale Data for Ad Click Prediction
Alibaba Inc.(阿里巴巴公司);Beijing Particle Inc.(北京粒子公司);University of Cambridge(剑桥大学)
现实商业中的点击率预测是一个具有大规模非线性稀疏数据的机器学习难题。本文介绍了一种工业强度的解决方案与模型命名为大规模逐段线性模型(LS-PLM)。我们制定的学习问题与$L_1$和$L_{2,1}$正则化,导致一个非凸和非光滑的优化问题。然后,我们提出了一种新的算法来解决它的有效性,基于方向导数和拟牛顿法。此外,我们设计了一个分布式系统,可以运行在数百台机器上并行,并提供了我们的工业可扩展性。LS-PLM模型可以从海量稀疏数据中捕获非线性模式,节省了大量的特征工程工作。自2012年以来,LS-PLM已成为阿里巴巴在线展示广告系统中的主要CTR预测模型,每天服务数亿用户。
2017-04-18 cs.LG stat.ML
Click Through Rate Prediction for Contextual Advertisment Using Linear Regression
N.E.D University of Engineering & Technology(N.E.D 工程技术大学)
这项研究提出了一种创新的和独特的方式来解决广告预测问题,这是被认为是一个学习问题,在过去的几年里。在线广告是一个价值数十亿美元的行业,每年都在快速增长。本研究的目的是利用线性回归来提高上下文广告的点击率。为了解决这个问题,本文提出了一种新的技术来预测CTR,这将增加系统的整体收入,通过提供更适合于观众的广告与特征提取的帮助下,并显示基于上下文的广告发布商。其主要步骤包括数据汇集、特征提取、点击率预测和广告投放。从动态使用的技术获得的统计结果表明,通过使用优化的特征选择拟合LR技术的接近完美的数据的有效结果。
2017-01-30 cs.AI cs.IR cs.LG
Efficient Click-Through Rate Prediction for Developing Countries via Tabular Learning
Hyperconnect
尽管在线广告在发展中国家快速增长,但由于计算资源有限,现有的高度过度参数化的点击率(CTR)预测模型难以部署。本文通过桥接CTR预测任务和表格学习之间的关系,提出了表格学习模型在CTR预测中比过参数化CTR预测模型更高效和有效。在8个公共CTR预测数据集上的大量实验表明,表格学习模型的性能优于12个最先进的CTR预测模型。此外,与过度参数化的CTR预测模型相比,表格学习模型可以快速训练,而无需昂贵的计算资源,包括高性能GPU。最后,通过对实际在线应用程序的A/B测试,我们表明,表格学习模型不仅提高了离线性能,而且提高了真实用户的CTR。
2021-04-15 cs.HC cs.LG
Predicting clicks in online display advertising with latent features and side-information
Adform Aps(Adform公司)
我们回顾了一种基于Menon等人的工作的点击率预测方法。[11],该方法将协同过滤和矩阵分解与边信息模型相结合,并将输出融合到[0,1]中的适当概率。此外,我们还提供了其他地方没有的建模和实验部分的细节。我们在点击率预测设置中连续几天的几个测试数据集上严格测试性能,以反映真实世界管道的方式。我们的研究结果证实,性能可以提高使用潜在的功能,虽然在措施的差异很小,但显着。
2014-11-28 cs.LG stat.AP stat.ML
Deep & Cross Network for Ad Click Predictions
Stanford University(斯坦福大学);Google Inc.(谷歌公司)
特征工程已经成为许多预测模型成功的关键。然而,该过程是不平凡的,并且通常需要手动特征工程或穷举搜索。DNN能够自动学习特征交互;然而,它们隐式地生成所有交互,并且在学习所有类型的交叉特征时不一定有效。在本文中,我们提出了深度和交叉网络(DCN),它保留了DNN模型的优点,除此之外,它还引入了一种新的交叉网络,在学习某些有界度特征交互方面更有效。特别是,DCN在每一层都显式地应用特征交叉,不需要手动特征工程,并且为DNN模型增加了可以忽略不计的额外复杂性。我们的实验结果已经证明了它的优越性,在CTR预测数据集和密集分类数据集上的最先进的算法,在模型精度和内存使用方面。
2017-08-17 cs.LG stat.ML
Correct Normalization Matters: Understanding the Effect of Normalization On Deep Neural Network Models For Click-Through Rate Prediction
Sina Weibo Corp(新浪微博公司)
归一化已经成为许多用于机器学习任务的深度神经网络中最基本的组件之一,而深度神经网络也已广泛用于CTR估计领域。在大多数提出的深度神经网络模型中,很少有模型利用归一化方法。虽然一些工作,如深度和交叉网络(DCN)和神经因子分解机(NFM)在结构的MLP部分使用批量归一化,但还没有深入研究归一化对DNN排名系统的影响。在本文中,我们进行了广泛使用的规范化模式的效果进行了系统的研究,通过应用各种规范化方法的DNN模型的特征嵌入和MLP部分。在三个真实数据集上进行了大量的实验,实验结果表明,正确的归一化显著提高了模型的性能。本文还提出了一种新的有效的基于LayerNorm的归一化方法--仅方差LayerNorm(VO-LN)。基于上述观察,还提出了一种归一化增强的DNN模型NormDNN。对于DNN模型的归一化在CTR估计中起作用的原因,我们发现归一化的方差起主要作用,并给出了解释。
2020-07-07 cs.LG stat.ML
TWICE: Two-Clock, Two-Window Learning for Long-Horizon Conversion Prediction in Online Advertising
Kuaishou Technology(快手科技)
研究在线广告中延迟反馈下的长期转化预测问题,提出TWICE框架,将长期点击后转化率分解,利用双时钟提供互补监督训练模型,实验证明该方法有效,提升了快手广告系统的相关指标。
2026-07-29 cs.IR cs.LG
FAN: Fatigue-Aware Network for Click-Through Rate Prediction in E-commerce Recommendation
Alibaba Group(阿里巴巴集团)
本文提出 FAN 模型,通过 Fourier Transformation 处理未点击时间序列获取疲劳频谱,并结合类别调制、gating network 和辅助任务学习疲劳表示,显著提升了电商推荐中的 CTR 预测效果。
2023-04-10 cs.HC cs.IR cs.LG
GIFT: Graph-guIded Feature Transfer for Cold-Start Video Click-Through Rate Prediction
Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学)
短视频在过去几年中在淘宝等电子商务平台上快速增长。为了保证内容的新鲜度,平台每天都需要发布大量的新视频,这使得传统的点击率(CTR)预测方法受到项目冷启动问题的困扰。在本文中,我们提出了GIFT,一个有效的图形引导的特征转移系统,充分利用丰富的信息预热视频,以补偿冷启动的。具体来说,我们建立了一个异构的图形,包含物理和语义的联系,以指导功能转移过程中,从热身视频冷启动视频。物理链接表示明确的关系,而语义链接测量两个视频的多模态表示的接近度。我们精心设计了特征传递函数,以了解不同类型的传递特征(例如,ID表示和历史统计)。我们在一个大的真实数据集上进行了大量的实验,结果表明,我们的GIFT系统显著优于SOTA方法,并在淘宝App的主页上带来了6.82%的点击率提升。
2022-09-13 cs.IR cs.LG
Time Matters: A Novel Real-Time Long- and Short-term User Interest Model for Click-Through Rate Prediction
National Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);Nanjing University(南京大学)
本文针对CTR预测中用户兴趣随时间变化的问题,提出基于周期性模式和时间点模式的时间感知长短期兴趣建模方法,并在公开及工业数据集上验证其优于现有方法。
2025-11-09 cs.IR cs.LG
Mutual Learning for Finetuning Click-Through Rate Prediction Models
AI Enablement(AI赋能团队);Huawei Türkiye R&D Center(华为土耳其研发中心)
针对CTR预测模型架构与性能差异小、知识蒸馏收益低的问题,提出对等模型互学习的微调方法,在Criteo、Avazu数据集上实现最高0.66%的相对性能提升。
2024-06-17 cs.IR cs.LG
Dimensionality reduction for click-through rate prediction: Dense versus sparse representation
Adform ApS(Adform公司);Technical University of Denmark(丹麦技术大学)
在在线广告中,展示广告越来越多地基于实时拍卖来投放,其中获胜的广告客户可以投放广告。这就是所谓的实时竞价(RTB)。在RTB中,拍卖有非常严格的时间限制,大约为100 ms。因此,用于智能出价的机制(诸如点击率预测)需要足够快。在这项工作中,我们建议使用降维的用户-网站交互图,以产生简化的功能,用户和网站,可用作预测的点击率。我们证明了无限关系模型(Infinite Relational Model,缩写为RRM)作为降维方法,提供了与传统降维方案相当的预测性能,同时实现了最经济的功能使用和运行时最快的计算。对于实时竞价等应用,快速的数据库I/O和少量的计算是成功的关键,因此我们建议使用基于特征的预测器来利用二分图的推荐效果。
2014-05-13 cs.LG stat.AP stat.ME
Adaptive Low-Precision Training for Embeddings in Click-Through Rate Prediction
Huazhong University of Science and Technology(华中科技大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对 CTR 模型嵌入表庞大的问题,提出 LPT 与自适应 ALPT 量化训练方法,通过梯度学习量化步长,在极低比特下保持精度并首次实现无损 8-bit 嵌入训练。
2022-12-12 cs.IR cs.LG
Deep Time-Stream Framework for Click-Through Rate Prediction by Tracking Interest Evolution
Nanjing University(南京大学);Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学)
点击率(CTR)预测是视频推荐等工业应用中的一项重要任务。最近,已经提出了深度学习模型来学习用户的整体兴趣的表示,而忽略了兴趣可能随时间动态变化的事实。我们认为,有必要考虑CTR模型中的连续时间信息,以跟踪用户的兴趣趋势,从丰富的历史行为。在本文中,我们提出了一种新的深度时间流框架(Deep Time-Stream framework,缩写为ESTF),它通过一个常微分方程(odd differential equations,缩写为ODE)来引入时间信息。该方法使用神经网络连续地对兴趣的演变进行建模,从而能够解决基于用户的历史行为动态地表示用户兴趣的挑战。此外,我们的框架可以通过利用额外的时间流模块无缝地应用于任何现有的深度CTR模型,而不对原始CTR模型进行任何更改。在公共数据集和真实工业数据集上的实验结果表明了所提方法的有效性,与现有方法相比,具有更好的性能。
2020-01-08 cs.LG stat.ML
Click-Conversion Multi-Task Model with Position Bias Mitigation for Sponsored Search in eCommerce
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Walmart eCommerce(沃尔玛电商);Indeed
针对电子商务赞助搜索中位置偏差导致CTR和CVR预测不公平的问题,提出了基于概率分解的PACC模型和基于位置嵌入的PACC-PE模型,有效缓解了位置偏差并提升了排序效果。
2023-07-29 cs.IR cs.LG
A Unified Batch Online Learning Framework for Click Prediction
Microsoft(微软)
我们提出了一个统一的框架,批量在线学习(OL)的点击预测搜索广告。机器学习模型一旦部署,由于模型陈旧,随着时间的推移会显示出非平凡的准确性和校准降级。因此,有必要定期更新模型,并自动更新。本文提出了两种范例的批量在线学习,增量更新模型参数通过提前停止机制,另一个这样做,通过近端正则化。我们讨论了这两种方案如何自然地权衡新旧数据。然后,我们从理论和经验表明,这两个看似不同的计划是密切相关的。通过大量的实验,我们展示了我们的OL框架的效用;两个OL方案如何相互关联,以及它们如何在新数据和历史数据之间进行权衡。然后,我们将批量OL与完整模型再训练进行了比较,并展示了在线学习如何对数据问题更加鲁棒。我们还展示了在线学习的长期影响,OL中初始模型的作用,更新延迟的影响,最后总结了一些实现细节和在生产中部署真实世界的在线学习系统的挑战。虽然本文主要集中在搜索广告的点击预测的应用,我们希望这里学到的教训可以结转到其他问题领域。
2018-09-12 cs.AI cs.LG stat.ML
Click-Through Rate Prediction in Online Advertising: A Literature Review
Huazhong University of Science and Technology(华中科技大学)
预测用户点击特定广告的概率一直是在线广告中的一个普遍问题,在过去的几十年里吸引了许多研究关注。近年来,随着行业需求的不断增长,越来越多的新的学习模型被用于广告点击率预测。虽然现有的研究提供了必要的细节算法设计,以解决各种具体问题,在广告点击率预测,方法的演变和建模框架之间的连接被排除在外。然而,据我们所知,很少有关于这一主题的全面调查。我们对最新的CTR预测研究进行了系统的文献综述,特别关注建模框架。具体而言,我们给出了一个分类的国家的最先进的CTR预测模型在现存的文献中,基本建模框架及其扩展,优点和缺点,并进行CTR预测的性能评估。此外,我们总结了CTR预测模型的复杂性和特征交互的顺序,以及在各种数据集上的性能比较。此外,我们确定了当前的研究趋势,主要挑战和潜在的未来方向值得进一步探索。这篇综述有望为希望从事这一领域的IS和营销学者提供基础知识和有效的切入点。
2022-02-22 cs.AI cs.IR cs.LG
Learning Graph Meta Embeddings for Cold-Start Ads in Click-Through Rate Prediction
Alibaba Group(阿里巴巴集团)
点击率(CTR)预测是在线广告系统中最核心的任务之一。最近基于深度学习的模型利用了特征嵌入和高阶数据非线性,在CTR预测方面取得了巨大的成功。然而,这些模型在具有新ID的冷启动广告上效果不佳,其嵌入尚未很好地学习。在本文中,我们提出了图Meta Embedding(GME)模型,可以快速学习如何生成所需的初始嵌入新的广告ID的基础上图神经网络和元学习。以前的作品解决这个问题,从新的广告本身,但忽略了可能有用的信息包含在现有的旧广告。相反,GME同时考虑两个信息源:新广告和现有的旧广告。对于新广告,GME利用其相关属性。对于现有的旧广告,GME首先构建一个图,将它们与新广告联系起来,然后自适应地提取有用的信息。我们从不同的角度提出了三个具体的GME,以探讨使用什么样的信息和如何提取信息。具体地,GME-P使用预训练的邻居ID嵌入,GME-G使用生成的邻居ID嵌入,并且GME-A使用邻居属性。在三个真实世界数据集上的实验结果表明,GME可以显着提高冷启动(即,没有训练数据可用)和预热(即,收集少量的训练样本)场景超过五个主要的基于深度学习的CTR预测模型。GME也可以应用于转化率(CVR)预测。
2021-05-19 cs.IR cs.LG
Click-Through Rate Prediction Using Graph Neural Networks and Online Learning
Stanford University(斯坦福大学);Google LLC(谷歌有限责任公司)
推荐系统在过去已经被许多文献广泛研究,并且在在线广告、购物行业/电子商务、搜索引擎中的查询建议以及社交网络中的朋友推荐中无处不在。此外,餐厅/音乐/产品/电影/新闻/应用程序推荐只是推荐系统的几个应用程序。CTR预测准确性的一个小百分比的改进已经被提到为广告行业增加数百万美元的收入。点击率预测是推荐系统的一个特殊版本,其目标是预测用户是否会点击推荐项目。基于内容的推荐方法考虑用户行为的过去历史,即推荐的产品和用户对它们的反应。因此,在正确的时间将正确的项目推荐给正确的用户的个性化模型是构建这样一个模型的关键。另一方面,所谓的协同过滤方法结合了与特定用户非常相似的用户的点击历史,从而通过利用在连接的用户网络中分享他们的品味的用户的更广泛的知识来帮助推荐器为该特定用户提出更自信的预测。在这个项目中,我们有兴趣建立一个CTR预测器使用图神经网络补充的在线学习算法,模拟这种动态的相互作用。通过将问题框定为二进制分类任务,我们使用由10,000个数据点组成的Criteo公共数据集的子采样版本,在测试AUC为0.7417的离线模型(GNN,深度因子分解机)和测试AUC为0.7585的在线学习模型上评估了该系统。
2021-05-09 cs.AI cs.IR cs.LG