Learning Theory and Algorithms for Revenue Management in Sponsored Search
Alibaba Group（阿里巴巴集团）
网络广告是互联网业务的主要收入来源。广告商通常根据考虑其出价和潜在点击率（eCTR）的分数进行排名。通常，用户点击广告的可能性通常通过优化点进率而不是其中将使用点进率的拍卖的性能来建模。本文试图通过提出基于最终拍卖性能的点击损失函数来消除这种脱节，在本文中，我们提出了两个可行的度量（AUC^R和SAUC）来直接评估在线RPM（每千人收入）而不是CTR。然后，我们设计了一个显式的排序函数，结合校准因子和价格压扁因子，以最大化收益。考虑到深度网络的强大功能，我们还探索了一个具有深度模型的隐式最优排名函数。最后，给出了使用两个真实世界数据集进行的各种实验。特别是，我们提出的方法在平台的收入方面比最先进的方法表现得更好。
2018-07-05 cs.LG stat.ML
GateNet: Gating-Enhanced Deep Network for Click-Through Rate Prediction
广告和提要排名对Facebook等许多互联网公司至关重要。在许多现实世界的广告和提要排名系统中，点击率（CTR）预测起着核心作用。近年来，许多基于神经网络的CTR模型已经被提出并取得了成功，例如因子分解机器支持的神经网络、DeepFM和xDeepFM。其中许多包含两个常用的组件：嵌入层和MLP隐藏层。另一方面，门控机制在计算机视觉、自然语言处理等领域也有着广泛的应用。一些研究已经证明，门控机制提高了非凸深度神经网络的可训练性。受这些观察结果的启发，我们提出了一种名为GateNet的新模型，该模型分别将特征嵌入门或隐藏门引入DNN CTR模型的嵌入层或隐藏层。特征嵌入门提供了一个可学习的特征门控模块，用于从特征级别中选择显著的潜在信息。隐藏门有助于模型更有效地隐式捕获高阶交互。在三个真实世界数据集上进行的广泛实验表明，它可以有效地提高各种最先进的模型（如FM，DeepFM和xDeepFM）在所有数据集上的性能。
2020-07-06 cs.LG
MIRA: Leveraging Multi-Intention Co-click Information in Web-scale Document Retrieval using Deep Neural Networks
Microsoft（微软）
研究了工业Web搜索中的深度查全率模型问题，即给定用户查询，从数十亿个候选文档中检索出数百个最相关的文档。通用的框架是训练两个基于神经嵌入的编码模型，分别学习查询和文档的分布式表示，并在潜在语义空间中进行匹配。然而，所有现有的编码模型都只利用文档本身的信息，这往往是不够的，在实践中与查询词匹配时，特别是对于硬尾查询。在这项工作中，我们的目标是利用额外的信息，每个文件从其共同点击邻居，以帮助文档检索。挑战包括如何在深度模型中涉及共点击信息时有效地提取信息并消除噪声，同时满足实时的在线推理对十亿级数据大小的需求。为了处理协同点击关系中的噪声，本文首先提出了一种Web规模的多意图协同点击文档图（MICG），该图在点击意图层面而非文档层面构建文档之间的协同点击连接。然后，我们提出了一个编码框架MIRA的基础上BERT和图的注意力网络，利用两个因素的注意力机制聚合邻居。为了满足在线延迟的要求，我们只在文档端涉及邻居信息，这样可以节省实时的服务中耗时的查询邻居搜索。我们进行了广泛的离线实验上的公共数据集和私人网络规模的数据集，从两个主要的商业搜索引擎证明所提出的方法的有效性和可扩展性相比，几个基线。进一步的案例分析表明，共点击关系主要从关键概念增强和查询词互补两个方面提高了网络搜索质量。
2020-07-03 cs.CL cs.IR cs.LG
Hierarchically Fusing Long and Short-Term User Interests for Click-Through Rate Prediction in Product Search
Alibaba Group（阿里巴巴集团）；The University of Sydney（悉尼大学）
本文提出分层兴趣融合网络（HIFN），通过短期兴趣提取器、长期兴趣提取器、自适应融合模块和自监督解耦模块，有效解决商品搜索点击率预测中用户长短期兴趣的提取、融合与解耦问题，在离线与在线实验中均优于现有方法。
2023-04-04 cs.IR cs.LG
Deep Interest with Hierarchical Attention Network for Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
深度兴趣网络（DIN）是一种使用注意力机制从历史行为中捕获用户兴趣的最新模型。用户兴趣直观地遵循分层模式，使得用户通常从较高级别然后到较低级别抽象示出兴趣。在注意力网络中对这种兴趣层次进行建模可以从根本上提高用户行为的表示。因此，我们提出了一种改进的DIN模型任意的兴趣层次：层次注意力网络（DHAN）的深度兴趣。在该模型中，第一个关注层上引入多维层次结构，关注单个项目，同一维度下的后续关注层关注在较低层之上的更高层次。为了支持多维层次结构的建模，引入了一种扩展机制来捕获一个到多个层次结构。为了验证该模型的有效性，将简化的DHAN应用于点击率（CTR）预测，并在三个公共数据集上进行了实验，实验结果表明，DHAN模型能够有效地捕捉用户在不同维度（如类别、价格或品牌）上的兴趣。与DIN相比，DHAN的AUC从12%显著提高到21%，显示出其优越性。DHAN还与另一种最先进的模型深度兴趣进化网络（DIEN）进行了比较，该模型对时间兴趣进行了建模。简化的DHAN的AUC也比DIEN略有提高，从1.0%提高到1.7%。一个潜在的未来的工作可以结合DHAN和DIEN模型的时间和层次的利益。
2020-05-22 cs.AI cs.IR cs.LG
FINN.no Slates Dataset: A new Sequential Dataset Logging Interactions, allViewed Items and Click Responses/No-Click for Recommender Systems Research
University of Oslo（奥斯陆大学）；University of Lancaster（兰卡斯特大学）；Schibsted ASA
我们提出了一种新的推荐系统数据集，记录用户和在线市场之间的顺序交互。用户被顺序地呈现以来自市场的被称为石板的项目的排名列表的形式的推荐和搜索结果两者。该数据集包括在每一轮呈现的石板，用户是否点击了这些项目中的任何一个，以及用户点击了哪个项目。虽然在推荐系统中曝光数据的使用正在增长，据我们所知，没有开放的大规模推荐系统数据集，包括在每次交互时呈现给用户的项目的石板。因此，大多数关于推荐系统的文章都没有利用这种曝光信息。相反，所提出的模型只依赖于用户的点击响应，并假设用户在每一步都接触到项目宇宙中的所有项目，通常称为均匀候选抽样。这是一个不完整的假设，因为它考虑了用户可能没有接触到的项目。这样，项目可能会被错误地视为用户不感兴趣。考虑到实际显示的石板允许模型使用更自然的可能性，基于给定项目暴露集的点击概率，如在强盗和强化学习文献中流行的那样。\cite{Eide2021DynamicSampling}表明，基于均匀候选抽样（以及类似假设）的似然性隐含地假设平台仅向用户显示最相关的项目。这使得推荐系统隐含地加强反馈循环，并偏向于先前向用户展示的项目。
2021-11-05 cs.IR cs.LG stat.ML
Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate
Alibaba Inc.（阿里巴巴公司）
准确估计点击后转化率（CVR）对于推荐和广告等行业应用中的排名系统至关重要。传统的CVR建模应用流行的深度学习方法并实现最先进的性能。然而，它在实践中遇到了一些特定于任务的问题，使得CVR建模具有挑战性。例如，传统的CVR模型使用点击印象的样本进行训练，同时用于使用所有印象的样本对整个空间进行推断。这就造成了样本选择偏差的问题。此外，存在一个极端的数据稀疏性问题，使模型拟合相当困难。本文从一个全新的角度对CVR进行建模，充分利用了用户行为的序列模式，印象->点击->转化。所提出的全空间多任务模型（ESMM）可以通过i）直接在整个空间上对CVR建模，ii）采用特征表示迁移学习策略来同时消除这两个问题。在淘宝网推荐系统的数据集上的实验表明，ESMM的性能明显优于竞争对手的方法。我们还发布了该数据集的采样版本，以支持未来的研究。据我们所知，这是第一个包含CVR建模中点击和转换标签顺序依赖样本的公共数据集。
2018-04-24 cs.IR cs.LG stat.ML
Entire Space Multi-Task Modeling via Post-Click Behavior Decomposition for Conversion Rate Prediction
Alibaba Group（阿里巴巴集团）；The University of Sydney（悉尼大学）
推荐系统作为现代电子商务的重要组成部分，由点击率（CTR）和转化率（CVR）预测两个基本模块组成。虽然CVR对购买量有直接影响，但由于样本选择偏差（SSB）和数据稀疏性（DS）问题，其预测是众所周知的挑战。虽然现有的方法，通常建立在用户顺序行为路径"印象$\to$点击$\to$购买“，是有效的处理SSB问题，他们仍然难以解决DS问题，由于罕见的购买训练样本。观察到用户总是采取几个购买相关的行动后，点击，我们提出了一个新的想法后点击行为分解。具体地，在点击和购买之间并行地插入不相交的购买相关确定性动作（DAction）和其他动作（OAction），形成新颖的用户顺序行为图"印象$\to$点击$\to$ D（O）动作$\to$购买“。在此图上定义模型能够利用整个空间上的所有印象样本和来自D（O）Action的额外丰富的监督信号，这将有效地解决SSB和DS问题。为此，我们设计了一个新的深度推荐模型命名为精心设计的整个空间监督多任务模型（$ESM^{2}$）。根据图上定义的条件概率规则，采用多任务学习并行预测分解的子目标，并将其依次组合，形成最终的CVR。在离线和在线环境下进行的大量实验表明，$ESM^{2}$优于最先进的模型。将发布源代码和数据集。
2020-06-10 cs.IR cs.LG stat.ML
One-Click Annotation with Guided Hierarchical Object Detection
Intel（英特尔）
数据汇集的增加使得数据注释成为当代世界中一项有趣且有价值的任务。本文提出了一种新的方法，用于快速注释数据，使用点击监督和分层目标检测。所提出的工作是半自动的性质，其中的任务的注释是人类和神经网络之间的分裂。我们表明，我们的改进方法的注释减少了时间，成本和精神压力的人类注释。该研究还强调了我们的方法在不同情况下的表现如何优于当前方法，例如对象数量，对象大小和不同数据集的变化。我们的方法还提出了一种使用对象检测器的新方法，使其适合于数据注释任务。在PASCAL VOC数据集上进行的实验表明，从我们的方法创建的注释实现了0.995的mAP和0.903的召回率。在KITTI和CITYSCAPES数据集上，我们的方法在平均准确率和召回率上分别提高了8.5%和18.6%，分别提高了69.6%和36%。与标准注释方法相比，所提出的框架快3-4倍。
2018-10-01 cs.CV cs.HC cs.LG
Dynamic Sequential Graph Learning for Click-Through Rate Prediction
Damo Academy, Alibaba Group（阿里巴巴集团达摩院）
点击率预测在推荐系统等领域有着重要的应用。现有的方法主要从用户的历史行为中提取用户兴趣。然而，行为序列只包含用户直接交互的项目，这是有限的系统的曝光，因此，他们往往不够丰富，以反映所有的潜在利益。在本文中，我们提出了一种新的方法，命名为动态顺序图学习（DSGL），以提高用户或项目的表示，利用协同信息从本地子图与用户或项目。具体来说，我们设计了动态顺序图（DSG），即，一个轻量级的自我子图，具有从历史交互中导出的时间戳。在每个评分时刻，我们分别为目标用户和候选项构建DSG。基于DSG，我们以自底向上的方式迭代地执行图卷积操作，以获得目标用户和候选项的最终表示。至于图卷积，我们设计了一个时间感知的顺序编码层，利用交互时间信息以及时间依赖性来学习进化的用户和项目动态。此外，我们提出了一个目标偏好双注意层，由一个偏好感知的注意模块和一个目标感知的注意模块，自动搜索部分的行为是相关的目标，并减轻噪音不可靠的邻居。真实世界CTR预测基准测试的结果证明了DSGL带来的改进。
2021-09-26 cs.IR cs.LG
An accuracy improving method for advertising click through rate prediction based on enhanced xDeepFM model
School of Dig Data（数字数据学院）；Zhuhai College of Science and Technology（珠海科技学院）；School of Computer Science（计算机科学学院）
针对广告点击率预测面临的数据稀疏、类别不平衡及现有模型未充分挖掘多视角特征关联的问题，本文提出基于xDeepFM的改进模型，集成多头注意力机制并以FM替代线性模型，在Criteo数据集上提升了AUC和Logloss指标，提高预测精度。
2024-11-21 cs.LG
Modeling Long-Term and Short-Term Interests with Parallel Attentions for Session-based Recommendation
Shanghai Jiao Tong University（上海交通大学）
基于会话的推荐的目的是预测用户的下一个点击项目，这是一个具有挑战性的任务，由于用户行为的固有的不确定性和匿名的隐式反馈信息。强大的基于会话的推荐器通常可以探索用户不断变化的兴趣（即，他/她的长期和短期利益的结合）。注意力机制的最新进展已经导致了用于解决该任务的最先进的方法。然而，存在两个主要缺点。首先，大多数基于注意力的方法只是简单地利用最后一次点击的项目来表示用户的短期兴趣，忽略了时间信息和行为上下文，这可能无法全面地捕获用户的近期偏好。其次，目前的研究通常认为长期和短期利益同样重要，但它们的重要性应该是用户特定的。因此，我们提出了一种新的并行注意力网络模型（PAN）的基于会话的推荐。具体而言，我们提出了一种新的时间感知的注意力机制，学习用户的短期兴趣，同时考虑到上下文信息和时间信号。此外，我们引入了一个门控融合方法，自适应地整合用户的长期和短期的喜好，以产生混合兴趣表示。在三个真实数据集上的实验表明，PAN方法比现有方法有明显的改进。
2020-07-24 cs.IR cs.LG
Deep Character-Level Click-Through Rate Prediction for Sponsored Search
Pompeu Fabra University（庞培法布拉大学）；Eurecat；Criteo Labs（Criteo实验室）；Yahoo Labs（雅虎实验室）
预测广告的点击率是在线广告平台的关键组成部分。在赞助搜索中，点击率估计用户在向搜索引擎提交查询后点击所显示广告的概率。商业搜索引擎通常依赖于用大量特征训练的机器学习模型来进行这样的预测。这不可避免地需要大量的工程工作来定义、计算和选择适当的特征。在本文中，我们提出了两种新的方法（一种工作在字符级别，另一种工作在单词级别），使用深度卷积神经网络来预测查询广告对的点击率。特别地，所提出的架构仅考虑出现在查询广告对中的文本内容作为输入，并产生作为输出的点击率预测。通过比较字符级模型和单词级模型，我们表明，当在足够的数据上训练时，语言表示可以在字符级从头开始学习。通过广泛的实验，使用数十亿的查询广告对一个流行的商业搜索引擎，我们证明了这两种方法显着优于一个基线模型建立在精心挑选的文本功能和一个国家的最先进的word2vec为基础的方法。最后，通过将本研究中引入的深度模型的预测与同一商业搜索引擎的生产中的模型的预测相结合，我们显著提高了生产系统的点击率预测的准确性和校准。
2017-07-07 cs.LG stat.ML
Field-aware Neural Factorization Machine for Click-Through Rate Prediction
Zhejiang University（浙江大学）
推荐系统和计算广告已经逐渐从商业应用领域进入学术研究领域。点击率预测是核心研究问题之一，因为预测的准确性影响着用户体验以及商家和平台的收益。特征工程对于提高点击率预测是非常重要的。传统的特征工程严重依赖于人的经验，很难构造出能够描述数据中隐含的复杂模式的特征组合。本文将传统的特征组合方法与深度神经网络相结合，实现特征组合的自动化，以提高点击率预测的准确性。我们提出了一个机制命名为“场感知神经因子分解机”（FNFM）。该模型可以像Field-aware Factorization Machine一样具有较强的二阶特征交互学习能力，在此基础上，使用深度神经网络进行高阶特征组合学习。实验表明，该模型比现有的深度学习特征组合模型DeepFM、DCN和NFM具有更强的表达能力。
2019-02-25 cs.LG stat.ML
Deep & Cross Network for Ad Click Predictions
Stanford University（斯坦福大学）；Google Inc.（谷歌公司）
特征工程已经成为许多预测模型成功的关键。然而，该过程是不平凡的，并且通常需要手动特征工程或穷举搜索。DNN能够自动学习特征交互;然而，它们隐式地生成所有交互，并且在学习所有类型的交叉特征时不一定有效。在本文中，我们提出了深度和交叉网络（DCN），它保留了DNN模型的优点，除此之外，它还引入了一种新的交叉网络，在学习某些有界度特征交互方面更有效。特别是，DCN在每一层都显式地应用特征交叉，不需要手动特征工程，并且为DNN模型增加了可以忽略不计的额外复杂性。我们的实验结果已经证明了它的优越性，在CTR预测数据集和密集分类数据集上的最先进的算法，在模型精度和内存使用方面。
2017-08-17 cs.LG stat.ML
Regularized Adversarial Sampling and Deep Time-aware Attention for Click-Through Rate Prediction
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；The Hong Kong Polytechnic University（香港理工大学）
提高点击率（CTR）预测的性能仍然是在线广告系统的核心任务之一。随着深度学习的兴起，具有深度网络的CTR预测模型显著增强了模型的能力。在深度CTR模型中，利用用户的历史数据对于学习用户的行为和兴趣至关重要。针对现有CTR预测方法在嵌入用户历史点击记录时忽略了时间信号的重要性，提出了一种时间感知的注意力模型，该模型明确地使用绝对时间信号来表示用户的周期性行为，使用相对时间信号来表示项目之间的时间关系。此外，我们提出了一种正则化的对抗抽样策略的负采样，缓解了CTR数据的分类不平衡，并可以利用观察到的负CTR样本提供的强指导。对抗性采样策略显著提高了训练效率，并且可以与时间感知注意力模型无缝协同训练。实验进行了真实世界的CTR数据集，从站内和站外的广告场所。
2019-11-03 cs.IR cs.LG stat.ML
Field-Embedded Factorization Machines for Click-through rate prediction
Adobe（奥多比）
点击率（CTR）预测模型在许多在线应用中是常见的，例如数字广告和推荐系统。场感知因子分解机（FFM）和场加权因子分解机（FwFM）是CTR预测的浅层模型中最先进的。最近，也提出了许多基于深度学习的模型。在更深层次的模型中，DeepFM，xDeepFM，AutoInt+和FiBiNet是最先进的模型。更深层次的模型将学习显式特征交互的核心架构组件与深度神经网络（DNN）组件相结合。我们提出了一种新的浅场嵌入式分解机（FEFM）和它的深场嵌入式分解机（DeepFEFM）。FEFM学习每个字段对的对称矩阵嵌入以及每个特征的通常的单向量嵌入。FEFM的模型复杂度明显低于FFM，与FwFM的复杂度大致相同。FEFM还具有关于重要场和场相互作用的深刻的数学性质。DeepFEFM将FEFM组件学习的FEFM交互向量与DNN相结合，从而能够学习更高阶的交互。我们在两个大型公开的真实世界数据集上对各种超参数进行了全面的实验。当比较测试AUC和log loss时，结果表明FEFM和DeepFEFM在CTR预测任务中优于现有的最先进的浅层和深层模型。我们已经在DeepCTR库（https：//github.com/shenweichen/DeepCTR）中提供了FEFM和DeepFEFM的代码。
2021-06-14 cs.IR cs.LG stat.ML
Representation Learning-Assisted Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
点击率（CTR）预测是在线广告系统中的一项关键任务。大多数现有的方法主要建模的特征CTR关系，并遭受数据稀疏性问题。在本文中，我们提出了DeepMCP，它对其他类型的关系进行建模，以学习更多信息和统计可靠的特征表示，从而提高CTR预测的性能。具体来说，DeepMCP包含三个部分：匹配子网、关联子网和预测子网。这些模型分别对用户-广告、广告-广告和功能-CTR关系进行建模。当这些特征在目标标签的监督下联合优化时，学习的特征表示具有良好的预测能力和良好的表示能力。在两个大规模数据集上的实验表明，DeepMCP在CTR预测方面优于几种最先进的模型。
2019-07-19 cs.IR cs.LG stat.ML
Deep Spatio-Temporal Neural Networks for Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
点击率（CTR）预测是在线广告系统中的一项关键任务。大量的研究都是单独考虑每一个广告，但忽略了它与其他可能影响点击率的广告的关系。在本文中，我们研究了各种类型的辅助广告，以提高目标广告的点击率预测。特别是，我们从两个角度探索辅助广告：一个是从空间域，我们认为在同一页面上的目标广告上方显示的上下文广告;另一个是从时间域，我们认为历史上点击和未点击的广告的用户。直觉是，一起显示的广告可能会相互影响，点击的广告反映了用户的偏好，而未点击的广告可能会在一定程度上表明用户不喜欢什么。为了有效地利用这些辅助数据，我们提出了深度时空神经网络（DSTNs）的CTR预测。我们的模型能够学习每种类型的辅助数据和目标广告之间的相互作用，强调更重要的隐藏信息，并在一个统一的框架中融合异构数据。在一个公共数据集和两个工业数据集上的离线实验表明，DSTNs优于几种最先进的CTR预测方法。我们已在中国第二大搜索引擎神马搜索中部署了性能最好的搜索引擎。A/B测试结果表明，在线CTR也显着提高相比，我们的最后一个服务模型。
2019-07-19 cs.IR cs.LG stat.ML
Iterative Boosting Deep Neural Networks for Predicting Click-Through Rate
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
点击率（CTR）反映了特定项目的点击量与其总浏览量的比率。它对网站的广告收入有重大影响。学习复杂的模型来理解和预测用户行为对于最大化推荐系统中的CTR至关重要。最近的工作提出了新的方法，用各种能够从原始数据中捕获复杂模式的深度学习（DL）分类器取代昂贵且耗时的特征工程过程;这些方法在CTR预测任务上显示出显着的改进。虽然DL技术可以学习复杂的用户行为模式，但它依赖于大量的数据，并且在数据量有限时表现不佳。我们提出了XDBoost，一种新的DL方法，用于捕获复杂的模式，只需要有限的原始数据。XDBoost是一个迭代的三阶段神经网络模型，受到传统机器学习提升机制的影响。XDBoost的组件按顺序运行，类似于boosting;但是，与传统的boosting不同，XDBoost不会将其组件生成的预测相加。相反，它利用这些预测作为新的人工特征，并通过使用这些特征重新训练模型来增强CTR预测。为了说明XDBoost在两个数据集上的有效性而进行的综合实验证明了其在CTR预测方面优于现有最先进（SOTA）模型的能力。
2020-07-26 cs.IR cs.LG stat.ML
FiBiNET: Combining Feature Importance and Bilinear feature Interaction for Click-Through Rate Prediction
Sina Weibo Inc.（新浪微博公司）
广告和提要排名对Facebook和新浪微博等许多互联网公司至关重要。在许多现实世界的广告和提要排名系统中，点击率（CTR）预测起着核心作用。在该领域中有许多提出的模型，例如逻辑回归、基于树的模型、基于因子分解机的模型和基于深度学习的CTR模型。然而，目前的许多工作都是以简单的方式计算特征的相互作用，如Hadamard积和内积，他们很少关心特征的重要性。提出了一种新的特征重要性和双线性特征交互网络（FeatureImportance and BilinearfeatureInteractionNETwork，简称FiBiNET）模型，用于动态学习特征重要性和细粒度特征交互。一方面，FiBiNET可以通过挤压激励网络（SENET）机制动态学习特征的重要性;另一方面，它能够通过双线性函数有效地学习特征的相互作用。我们在两个真实世界的数据集上进行了广泛的实验，并表明我们的浅层模型优于其他浅层模型，如因子分解机（FM）和场感知因子分解机（FFM）。为了进一步提高性能，我们将经典的深度神经网络（DNN）组件与浅层模型相结合，成为深度模型。深度FiBiNET始终优于其他最先进的深度模型，如DeepFM和极端深度因子分解机（XdeepFM）。
2019-05-23 cs.AI cs.LG stat.ML
Feature Interaction based Neural Network for Click-Through Rate Prediction
点击率预测是广告计算和推荐系统中最重要和最具挑战性的问题之一。为了使用这些数据构建机器学习系统，正确地对特征之间的交互进行建模是很重要的。然而，目前的许多工作中，计算功能的相互作用，在一个简单的方式，如内积和元素的产品。本文旨在充分利用特征之间的信息，提高深度神经网络在CTR预测任务中的性能。本文提出了一种基于特征交互的神经网络（FINN），它能够通过三维关系张量来建模特征交互。FINN提供了底层特征交互的表示和神经网络在建模高阶特征交互时的非线性。与经典基线相比，我们评估了我们的模型在CTR预测任务上的表现，并表明我们的深度FINN模型优于其他最先进的深度模型，如PNN和DeepFM。评估结果表明，特征交互包含更好的CTR预测的重要信息。这也表明我们的模型可以有效地学习特征交互，并在现实世界的数据集上取得更好的性能。
2020-06-07 cs.IR cs.LG stat.ML
Multi-Epoch learning with Data Augmentation for Deep Click-Through Rate Prediction
Kuaishou Technology（快手科技）；Beijing Institute of Technology（北京理工大学）
针对深度CTR模型第二轮训练开始时的嵌入层过拟合问题，提出MEDA框架，通过多嵌入空间训练MLP实现数据增强，并在公开、商业数据集及在线广告系统中验证其优于单轮训练。
2024-06-27 cs.IR cs.LG stat.ML
NuClick: From Clicks in the Nuclei to Nuclear Boundaries
University of Warwick（华威大学）；NRP Co.（NRP公司）；Alan Turing Institute（阿兰·图灵研究所）
性能最好的核分割方法是基于深度学习算法，需要大量的注释数据。然而，收集用于核分割的注释是一项非常劳动密集且耗时的任务。因此，提供一种可以促进和加速该过程的工具是非常苛刻的。在这里，我们提出了一个简单而有效的框架，基于卷积神经网络，命名为NuClick，它可以通过接受每个细胞核内的单个点位置（或点击）来精确分割细胞核边界。基于点击的位置，生成包括以这些位置为中心的2D高斯分布的包含图和排除图。这些映射作为网络的引导信号，因为它们被连接到输入图像。包含图聚焦于所需的核，而排除图指示相邻的核，并改善核杂波场景中的分割结果。NuClick不仅有助于从看不见的数据中收集更多的注释，而且还为深度模型提供了出色的分割输出。值得一提的是，在NuClick生成的标签上训练的实例分割模型能够在LYON 19挑战中排名第一。
2019-09-07 cs.LG eess.IV q-bio.QM
Field-weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising
Yahoo Research（雅虎研究院）；TouchPal Inc.（触宝公司）；UC Berkeley（加州大学伯克利分校）；LinkedIn Corporation（领英公司）；Ablibaba Group（阿里巴巴集团）
点击率（CTR）预测是在线展示广告中的一项关键任务。CTR预测中涉及的数据通常是多字段分类数据，即，每个特征都是分类的，并且属于一个且仅属于一个字段。这种数据的一个有趣的特征是，来自一个领域的特征通常与来自不同其他领域的特征以不同的方式相互作用。最近，场感知因子分解机（FFM）已经通过显式地建模这种差异而成为CTR预测的最佳模型之一。然而，FFM中的参数数量是特征数量乘以字段数量的顺序，这在现实世界的生产系统中是不可接受的。在本文中，我们提出了字段加权因子分解机（FwFM），以一种更有效的方式来模拟不同字段之间的不同特征交互。我们的实验评估表明，FwFM可以实现有竞争力的预测性能，只有4%的FFM参数。当使用相同数量的参数时，在两个真实CTR预测数据集上，FwFM可以使FFM的AUC提升0.92%和0.47%。
2020-03-08 cs.LG stat.ML
Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction
丰富的用户行为数据已被证明对点击率预测任务具有重要价值，特别是在推荐系统和在线广告等工业应用中。业界和学术界都对这一问题给予了很大的关注，并提出了不同的方法来对长序列用户行为数据进行建模。其中，阿里巴巴提出的基于记忆网络的MIMN模型，通过学习算法和服务系统的协同设计，实现了SOTA。MIMN是第一个可以对长度扩展到1000的连续用户行为数据进行建模的工业解决方案。然而，MIMN无法准确地捕捉用户的兴趣给定一个特定的候选项目时，用户行为序列的长度进一步增加，说，由10倍或更多。这一挑战在以前提出的方法中广泛存在。在本文中，我们解决这个问题，设计了一个新的建模范式，我们命名为基于搜索的兴趣模型（SIM）。SIM通过两个级联的搜索单元提取用户兴趣：（i）通用搜索单元从原始的任意长序列行为数据中进行通用搜索，并从候选项中获取查询信息，得到与候选项相关的子用户行为序列;（ii）精确搜索单元对候选项与SBS之间的精确关系进行建模。这种级联搜索范式使SIM能够在可扩展性和准确性方面更好地建模终身顺序行为数据。除了学习算法，我们还介绍了我们的实践经验，如何实现SIM在大型工业系统。自2019年以来，SIM已部署在阿里巴巴的展示广告系统中，带来了7. 1\%的CTR和4. 4\%的RPM提升，这对业务具有重要意义。SIM现在服务于我们真实系统中的主要流量，SIM模型用户行为数据的最大长度达到540…
2020-06-29 cs.IR stat.ML
AutoFIS: Automatic Feature Interaction Selection in Factorization Models for Click-Through Rate Prediction
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Shanghai Jiao Tong University（上海交通大学）
在推荐系统中，特征交互的学习对于点击率（CTR）预测至关重要。在大多数现有的深度学习模型中，特征交互要么是手动设计的，要么是简单枚举的。然而，枚举所有的特征交互会带来大量的内存和计算成本。更糟糕的是，无用的交互可能会引入噪音并使训练过程复杂化。在这项工作中，我们提出了一个两阶段的算法，称为自动功能交互选择（AutoFIS）。AutoFIS可以自动识别因子分解模型的重要特征交互作用，计算成本相当于训练目标模型收敛。在\emph{search stage}中，而不是在一个离散的候选特征交互集搜索，我们放松的选择是连续的，通过引入架构参数。通过在架构参数上实现正则化优化器，模型可以在模型的训练过程中自动识别和删除冗余特征交互。在\emph{re-train stage}中，我们保持架构参数作为一个注意单元，以进一步提高性能。在三个大规模数据集（两个公共基准，一个私人）上的离线实验表明，AutoFIS可以显着改善各种基于FM的模型。AutoFIS已部署到华为应用商店推荐服务的训练平台上，经过10天的在线A/B测试，AutoFIS在CTR和CVR方面分别提高了DeepFM模型20.3%和20.1%。
2020-07-03 cs.IR cs.LG stat.ML
