TopRank: A practical algorithm for online stochastic ranking
DeepMind（深度思维）；Google（谷歌）；The Chinese University of Hong Kong（香港中文大学）；University of Alberta（阿尔伯塔大学）
在线学习排名是一个顺序决策问题，在每一轮中，学习代理选择一个项目列表，并从用户那里收到点击形式的反馈。许多样本效率的算法已经提出了这个问题，假设一个特定的点击模型连接排名和用户行为。我们提出了一个广义的点击模型，包括许多现有的模型，包括基于位置和级联模型。我们的推广激发了一种新的在线学习算法的基础上拓扑排序，我们称之为TopRank。TopRank（a）比现有算法更自然，（b）比具有可比一般性的现有算法具有更强的后悔保证，（c）具有更有见地的证明，为许多概括敞开了大门，（d）在经验上优于现有算法。
2019-03-19 cs.LG stat.ML
Predicting Online Video Engagement Using Clickstreams
University of Notre Dame（圣母大学）
在电子内容交付的初期，拥有卓越的产品足以让公司在竞争中占据优势。在当今竞争激烈的市场中，一个人需要领先多步，特别是在了解消费者方面。专注于一个大型的门户网站拥有和管理的私人通信公司，我们提出的方法，这些网站的点击流数据可以用来提供一个深入了解他们的访问者，以及他们的兴趣和喜好。我们进一步扩展了这些数据的使用，以表明它可以有效地用于预测用户对视频流的参与。
2014-05-20 cs.IR cs.LG
Online Diverse Learning to Rank from Partial-Click Feedback
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；New York University（纽约大学）；Google Research（谷歌研究院）；Adobe Research（奥多比研究院）
学习排序是机器学习和推荐系统中的一个重要问题。在推荐系统中，通常向用户推荐项目列表。由于用户不太可能检查整个推荐列表，因此部分反馈自然会出现。同时，多样化的推荐很重要，因为在实践中对用户的所有口味进行建模是具有挑战性的。在本文中，我们提出了第一个算法在线学习排序不同的项目从部分点击反馈。我们假设用户检查推荐项目列表，直到用户被一个项目吸引，点击它，并且不检查其余的项目。这种用户行为模型被称为级联模型。我们提出了一个在线学习算法，juelsb，解决我们的问题。该算法主动探索用户的口味，学习的目标是推荐最佳的多样性列表。我们分析了该算法，并证明了一个无间隙的上界的n步遗憾。我们在合成和真实世界的数据集上评估了Cumelsb，将其与各种基线进行了比较，并表明即使我们的建模假设不完全成立，它也能学习。
2018-11-21 cs.IR cs.LG stat.ML
Click-Through Rate Prediction Using Graph Neural Networks and Online Learning
Stanford University（斯坦福大学）；Google LLC（谷歌有限责任公司）
推荐系统在过去已经被许多文献广泛研究，并且在在线广告、购物行业/电子商务、搜索引擎中的查询建议以及社交网络中的朋友推荐中无处不在。此外，餐厅/音乐/产品/电影/新闻/应用程序推荐只是推荐系统的几个应用程序。CTR预测准确性的一个小百分比的改进已经被提到为广告行业增加数百万美元的收入。点击率预测是推荐系统的一个特殊版本，其目标是预测用户是否会点击推荐项目。基于内容的推荐方法考虑用户行为的过去历史，即推荐的产品和用户对它们的反应。因此，在正确的时间将正确的项目推荐给正确的用户的个性化模型是构建这样一个模型的关键。另一方面，所谓的协同过滤方法结合了与特定用户非常相似的用户的点击历史，从而通过利用在连接的用户网络中分享他们的品味的用户的更广泛的知识来帮助推荐器为该特定用户提出更自信的预测。在这个项目中，我们有兴趣建立一个CTR预测器使用图神经网络补充的在线学习算法，模拟这种动态的相互作用。通过将问题框定为二进制分类任务，我们使用由10，000个数据点组成的Criteo公共数据集的子采样版本，在测试AUC为0.7417的离线模型（GNN，深度因子分解机）和测试AUC为0.7585的在线学习模型上评估了该系统。
2021-05-09 cs.AI cs.IR cs.LG
EGEAN: An Exposure-Guided Embedding Alignment Network for Post-Click Conversion Estimation
Meituan（美团）
针对CVR估计中的协变量偏移问题，提出EGEAN嵌入对齐网络及带稳态控制的参数可变双重稳健估计器，并在美团广告系统的在线A/B测试中显著提升CVR与GMV。
2024-12-08 cs.AI cs.LG
Bandits Meet Mechanism Design to Combat Clickbait in Online Recommendation
University of Oslo（奥斯陆大学）；Apple ML Research（苹果机器学习研究院）；TTIC（丰田理工学院芝加哥分校）；University of Neuchatel（纳沙泰尔大学）；University of Chicago（芝加哥大学）
研究策略性点击老虎机问题，提出激励感知学习算法UCB-S，在不确定性下激励理想臂行为并最小化遗憾，证明其达到 $\tilde{\mathcal{O}}(\sqrt{KT})$ 遗憾上界，且激励无感知算法无法实现低遗憾。
2023-11-27 cs.GT cs.LG
Online Meta-Learning for Model Update Aggregation in Federated Learning for Click-Through Rate Prediction
Huawei London Research Centre（华为伦敦研究中心）；Huawei Ireland Research Centre（华为爱尔兰研究中心）
在点击率（CTR）预测的联邦学习（FL）中，出于隐私保护的考虑，不共享用户的数据。学习是通过在客户端设备上进行本地训练并仅将模型更改传达给服务器来执行的。有两个主要挑战：（i）客户端的异质性，使得使用加权平均来聚合来自客户端的模型更新的FL算法具有缓慢的进展和不令人满意的学习结果;以及（ii）由于每个实验所需的大量计算时间和资源，难以用试错法来调整服务器学习率。为了解决这些挑战，我们提出了一个简单的在线元学习方法来学习聚合模型更新的策略，该策略根据客户端的属性自适应地权衡客户端的重要性，并调整更新的步长。我们对公共数据集进行了广泛的评估。我们的方法在收敛速度和最终学习结果的质量方面都显着优于最先进的方法。
2022-08-30 cs.AI cs.CR cs.IR
Exponential Lower Bounds for Batch Reinforcement Learning: Batch RL can be Exponentially Harder than Online RL
Stanford University（斯坦福大学）；Institute for Computational and Mathematical Engineering（计算与数学工程研究所）
强化学习的几个实际应用涉及代理从过去的数据中学习，而不可能进一步探索。通常这些应用程序需要我们1）确定一个接近最优的策略或2）估计目标策略的值。对于这两个任务，我们推导出\emph{exponential}信息理论下界折扣无限地平线MDPs与线性函数表示的行动价值函数，即使1）\emph{realizability}持有，2）批处理算法观察到确切的奖励和过渡\emph{functions}，和3）批处理算法是给定的\emph{best}先验数据分布的问题类。我们的工作引入了一个新的“Oracle +批处理算法”框架来证明每个分布的下限。这项工作显示了批量和在线强化学习之间的指数分离。
2021-06-19 cs.AI cs.LG
Isolation Mondrian Forest for Batch and Online Anomaly Detection
University of Waterloo（滑铁卢大学）；SoundHound；Facebook
我们提出了一种新的方法，命名为隔离蒙德里安森林（iMondrian森林），批量和在线异常检测。所提出的方法是一种新的混合隔离森林和蒙德里安森林，这是现有的方法，批量异常检测和在线随机森林，分别。iMondrian森林采用了隔离的思想，使用树中节点的深度，并在Mondrian森林结构中实现它。结果是一种新的数据结构，其可以在线方式接受流数据，同时用于异常检测。我们的实验表明，iMondrian森林在批处理设置中的性能大多优于隔离森林，并且与其他批处理和在线异常检测方法相比具有更好或相当的性能。
2020-08-27 cs.LG stat.ML
Counterfactual Estimation and Optimization of Click Metrics for Search Engines
Microsoft Inc.（微软公司）；Facebook Inc.（脸书公司）
针对预定义的在线度量来优化交互式系统是特别具有挑战性的，当度量是根据用户反馈（例如点击和支付）来计算时。关键的挑战是反事实的性质：在网络搜索的情况下，对搜索引擎的组件的任何更改都可能导致同一查询的不同搜索结果页面，但我们通常无法从搜索日志中可靠地推断用户对新结果页面的反应。因此，似乎不可能准确地估计依赖于用户反馈的在线指标，除非运行新引擎来为用户服务，并与A/B测试中的基线进行比较。这种方法虽然有效和成功，但不幸的是昂贵和耗时。在本文中，我们建议使用因果推理技术来解决这个问题，在上下文的强盗框架。这种方法有效地允许人们从搜索日志中离线运行（可能无限）许多A/B测试，从而可以快速且廉价地估计和优化在线指标。专注于商业搜索引擎中的一个重要组成部分，我们展示了如何这些想法可以被实例化和应用，并获得非常有前途的结果，建议这些技术的广泛适用性。
2014-03-12 cs.AI cs.LG stat.AP
Online and Batch Learning Algorithms for Data with Missing Features
UC Berkeley（加州大学伯克利分校）；QUT（昆士兰科技大学）
我们引入了新的在线和批处理算法，这些算法对具有缺失特征的数据具有鲁棒性，这种情况在许多实际应用中都会出现。在在线设置中，我们允许比较假设作为在任何给定回合上观察到的特征子集的函数而变化，扩展了比较假设始终固定的标准设置。在批量设置中，我们提出了一个非凸问题的凸关系，以联合估计一个插补函数，用于填充缺失特征的值，以及分类假设。我们证明了遗憾的界限，在网上设置和Rademacher复杂性界限的批次i.i.d.设置.该算法在几个UCI数据集上进行了测试，显示出优于基线的性能。
2011-06-16 cs.LG stat.ML
Improving conversion rate prediction via self-supervised pre-training in online advertising
Yahoo Research（雅虎研究院）
针对在线广告点击归因转化数据稀疏且不能用非点击归因数据训练以保障模型校准的问题，提出用在全量转化数据上预训练的自编码器做特征提取增强FM模型，在离线和在线A/B测试中均有提升，已部署于Yahoo原生广告系统。
2024-01-25 cs.IR cs.LG stat.ML
Online Learning in Contextual Second-Price Pay-Per-Click Auctions
University of Southern California（南加州大学）
该研究针对上下文第二价格按点击付费拍卖的在线学习问题，证明了√T遗憾的可达性与下界，提出两种高效上下文拍卖算法，并通过合成实验验证了其有效性与性能优势。
2023-10-08 cs.LG
Dynamic Hierarchical Empirical Bayes: A Predictive Model Applied to Online Advertising
Adobe（奥多比公司）
预测关键词性能，如印象数、点击率（CTR）、转化率（CVR）、每次点击收入（RPC）和每次点击成本（CPC），对于在线广告行业的赞助搜索至关重要。一个有趣的现象是，尽管总体数据很大，但在单个单元级别上数据非常稀疏。为了克服稀疏性并利用数据结构中的分层信息，我们提出了一种动态分层经验贝叶斯（DHEB）模型，该模型通过数据驱动的过程动态确定层次结构，并提供基于收缩的估计。我们的方法还配备了一个有效的经验方法，通过层次结构推导出的推论。我们在模拟和真实世界的数据集，并比较几个竞争模型所提出的方法。结果表明，在所有的比较中，无论是准确性和效率的建议方法。最后，我们设计了一个两阶段的系统，以服务于实时预测。
2018-09-06 cs.LG stat.ML
Click-Through Rate Prediction in Online Advertising: A Literature Review
Huazhong University of Science and Technology（华中科技大学）
预测用户点击特定广告的概率一直是在线广告中的一个普遍问题，在过去的几十年里吸引了许多研究关注。近年来，随着行业需求的不断增长，越来越多的新的学习模型被用于广告点击率预测。虽然现有的研究提供了必要的细节算法设计，以解决各种具体问题，在广告点击率预测，方法的演变和建模框架之间的连接被排除在外。然而，据我们所知，很少有关于这一主题的全面调查。我们对最新的CTR预测研究进行了系统的文献综述，特别关注建模框架。具体而言，我们给出了一个分类的国家的最先进的CTR预测模型在现存的文献中，基本建模框架及其扩展，优点和缺点，并进行CTR预测的性能评估。此外，我们总结了CTR预测模型的复杂性和特征交互的顺序，以及在各种数据集上的性能比较。此外，我们确定了当前的研究趋势，主要挑战和潜在的未来方向值得进一步探索。这篇综述有望为希望从事这一领域的IS和营销学者提供基础知识和有效的切入点。
2022-02-22 cs.AI cs.IR cs.LG
Follow the TRACE: Exploiting Post-Click Trajectories for Online Delayed Conversion Rate Prediction
State Key Lab of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（人工智能安全国家重点实验室，计算技术研究所，中国科学院）
本文提出TRACE方法，通过建模点击后行为轨迹来提升在线延迟转化率预测的准确性，采用动态后验更新和可靠性门控回顾补全模块，有效解决标签准确性和数据新鲜度的平衡问题。
2026-04-25 cs.LG
Batched Online Contextual Sparse Bandits with Sequential Inclusion of Features
Metica
针对稀疏和批量数据下的线性奖励上下文老虎机问题，提出OBSI算法通过随置信度提升顺序纳入特征、排除无关特征来保障公平性，实验显示其在遗憾值、特征相关性和计算量上均优于其他算法。
2024-09-13 cs.LG stat.ML
Batch-Constrained Distributional Reinforcement Learning for Session-based Recommendation
TCS Research（塔塔咨询服务研究院）
大多数现有的深度强化学习（RL）方法都依赖于与真实用户的昂贵在线交互，或者依赖于潜在的基于规则或数据驱动的用户行为模型进行学习。在这项工作中，我们专注于学习纯批量或离线设置中的推荐策略，即仅从离线历史交互日志或从未知和次优行为策略生成的批量数据中学习策略，而无需进一步访问来自真实世界或用户行为模型的数据。我们提出了BCD4Rec：基于会话推荐的批量约束分布式强化学习。BCD4Rec建立在批处理（离线）RL和分布式RL的最新进展基础上，从离线日志中学习，同时处理由于不同的潜在兴趣偏好（环境）而导致的用户奖励的内在随机性。我们证明，BCD4Rec显着提高了行为策略，以及强大的RL和非RL基线在批量设置方面的标准性能指标，如点击率或购买率。BCD4Rec的其他有用性质包括：推荐来自正确潜在类别的项目，所述正确潜在类别指示更好的价值估计，尽管有大的动作空间（项目数量级），以及ii.克服离线日志中通常存在的点击或购买物品的受欢迎程度偏见。
2020-12-16 cs.IR cs.LG
Online Joint Bid/Daily Budget Optimization of Internet Advertising Campaigns
Politecnico di Milano（米兰理工大学）
按点击付费广告包括各种形式（\emph{e.g.}、搜索、上下文、社交），全球每年的总投资超过2000亿美元。广告主每天都有预算分配几个，甚至数千个活动，主要是区分广告，目标或渠道。此外，发布商选择要显示的广告以及如何使用拍卖机制来分配它们，在拍卖机制中，广告商每天为每个活动设置与他们愿意支付的每次点击的最大金额和每日预算的一部分相对应的出价。在本文中，我们研究的问题，自动化的在线联合投标/每日预算优化付费点击广告活动在多个渠道。我们制定我们的问题作为一个组合半强盗问题，这需要解决一个特殊的情况下，多选择背包问题的每一天。此外，对于每个广告系列，我们通过高斯过程捕获点击次数对出价和每日预算的依赖性，因此需要对这些函数的规律性进行温和的假设。我们设计了四个算法，并表明他们遭受的遗憾，这是一个上限的高概率为O（sqrt{T}），其中T是学习过程的时间范围。我们实验评估我们的算法与合成设置从雅虎的真实数据生成，我们提出了在现实世界的应用程序中采用我们的算法的结果，每天平均花费1,000欧元超过一年。
2020-03-03 cs.LG stat.ML
Online Normalization for Training Neural Networks
Cerebras Systems（赛博拉思系统公司）
在线规范化是一种新的规范化神经网络的隐藏激活的技术。与“批量归一化”类似，它对样本维度进行归一化。虽然联机规格化不使用批次，但它与批量归一化一样精确。我们解决了批量归一化的理论局限性，通过引入一个无偏的技术来计算归一化激活的梯度。在线标准化通过添加统计标准化作为原语与自动微分一起工作。这种技术可以用在一些其他规范化器没有涵盖的情况下，如递归网络，全连接网络，以及具有激活记忆要求的网络。我们展示了它在图像分类、图像分割和语言建模中的应用。我们在ImageNet、CIFAR和PTB数据集上给出了正式的证明和实验结果。
2019-12-03 cs.LG stat.ML
TWICE: Two-Clock, Two-Window Learning for Long-Horizon Conversion Prediction in Online Advertising
Kuaishou Technology（快手科技）
研究在线广告中延迟反馈下的长期转化预测问题，提出TWICE框架，将长期点击后转化率分解，利用双时钟提供互补监督训练模型，实验证明该方法有效，提升了快手广告系统的相关指标。
2026-07-29 cs.IR cs.LG
Online Heterogeneous Mixture Learning for Big Data
Kanazawa University（金泽大学）
提出了一种基于在线机器学习的异构大数据分析方法。我们进行了一个实验，比较批处理和在线之间的每次迭代的准确性。它可以快速收敛，并具有与批处理相同的精度。
2019-06-15 cs.LG stat.ML
Adversarial Attacks on Online Learning to Rank with Click Feedback
California Institute of Technology（加州理工学院）；Southeast University（东南大学）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文研究在线学习排序的对抗性攻击，提出针对 UCB 算法及通用点击模型下任意算法的攻击策略，使智能体以 $T-o(T)$ 次选择目标项目且累积代价为 $o(T)$，并通过实验验证其有效性。
2023-05-26 cs.CR cs.IR cs.LG
A Batch-to-Online Transformation under Random-Order Model
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National Institute of Informatics（国立情报学研究所）
本文提出一个批量到在线转换框架，通过低平均敏感度归约和核心集构造，将离线近似算法转换为随机顺序模型中具有多对数级ε近似遗憾和低不一致性的在线算法，并成功应用于在线聚类、矩阵近似和回归问题。
2023-10-25 cs.LG stat.ML
Online Batch Decision-Making with High-Dimensional Covariates
Purdue University（普渡大学）
我们提出并研究了一类新的顺序决策算法，互动与\textit{a batch of users}同时，而不是\textit{a user}在每个决策时期。这种类型的批量模型的动机是互动营销和临床试验，其中一组人同时接受治疗，并在下一阶段的决策之前收集整个组的结果。在这种情况下，我们的目标是根据观察到的高维用户协变量分配一批治疗，以最大限度地提高治疗效果。我们提供了一个解决方案，名为\textit{Teamwork LASSO Bandit algorithm}，解决了一个批处理版本的探索-开拓困境，通过在整个决策过程中的团队合作阶段和自私的阶段之间的切换。这是可能的基础上的统计特性LASSO估计的治疗效果，适应一系列的批次观察。在一般情况下，最优分配条件的速率，提出描绘的勘探和开发权衡的数据收集方案，这是足够的LASSO，以确定观察到的用户协变量的最佳处理。给出了该算法的期望累积遗憾的上界。
2020-02-27 cs.LG stat.ML
Decision-Making Context Interaction Network for Click-Through Rate Prediction
Meituan（美团）
点击率（CTR）预测在推荐和在线广告系统中至关重要。现有的方法通常对用户行为进行建模，而忽略了影响用户做出点击决策的信息上下文，例如，点击页面和预先排名的候选人，告知有关用户兴趣的推断，导致次优性能。在本文中，我们提出了一个决策上下文交互网络（DCIN），它部署了一个精心设计的上下文交互单元（CIU）来学习决策上下文，从而有利于CTR预测。此外，不同的决策上下文源之间的关系进行了探索，提出了自适应兴趣聚合单元（AIAU），以进一步提高CTR预测。在公共数据集和工业数据集上的实验中，DCIN显著优于最先进的方法。值得注意的是，该模型在线A/B测试获得了CTR+2. 9%/CPM+2. 1%/GMV+1. 5%的提升，并服务于美团外卖广告系统的主要流量。
2023-01-29 cs.IR cs.LG
Clickbait vs. Quality: How Engagement-Based Optimization Shapes the Content Landscape in Online Platforms
Microsoft Research（微软研究院）；University of California, Berkeley（加州大学伯克利分校）
本文通过博弈模型与Twitter数据实证，研究基于参与度的推荐优化如何影响内容创作者的质量投入与投机行为，揭示其可能导致平均质量下降、用户效用受损及实际参与度次优，强调平台选择优化指标须考虑创作者激励。
2024-01-18 cs.CY cs.GT cs.LG
Smoothed Online Classification can be Harder than Batch Classification
University of Michigan（密歇根大学）
本文证明在标签空间无界时，平滑在线分类可能比iid批量分类更难，构造了在PAC批量可学习但平滑在线不可学习的假设类，并给出PAC可学习性足以保证平滑在线可学习的条件。
2024-05-24 cs.LG
Differentially Private Online-to-Batch for Smooth Losses
Boston University（波士顿大学）
我们开发了一个新的减少，将任何在线凸优化算法遭受$O(\sqrt{T})$遗憾到$ε$ -差分私有随机凸优化算法的最佳收敛速度$\tilde O(1/\sqrt{T} + \sqrt{d}/εT)$在线性时间内的平滑损失，形成一个直接的类比经典的非私有的“在线到批量”的转换。通过将我们的技术应用于更先进的自适应在线算法，我们产生自适应差分私人同行的收敛速度依赖于先验未知方差或参数范数。
2022-10-12 cs.CR cs.LG
Fragment and Integrate Network (FIN): A Novel Spatial-Temporal Modeling Based on Long Sequential Behavior for Online Food Ordering Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
针对现有方法缺乏丰富时空表示和只能处理有限长度行为的问题，提出片段与整合网络（FIN），通过片段网络提取多个子序列并建模，整合网络利用时空交互构建整合序列，在饿了么部署后CTR提升5.7%，RPM提升7.3%。
2023-08-30 cs.IR cs.LG
Online Evolutionary Batch Size Orchestration for Scheduling Deep Learning Workloads in GPU Clusters
National University of Singapore（新加坡国立大学）；ByteDance（字节跳动）
高效的GPU资源调度对于最大限度地提高资源利用率和节省训练成本至关重要，因为共享GPU集群中的深度学习工作负载量不断增加。现有的GPU处理器在很大程度上依赖于静态策略来利用深度学习作业的性能特征。然而，由于缺乏弹性，它们很难达到最佳效率。为了解决这个问题，我们提出了ONES，一个在线进化的弹性批量编排。ONES根据训练批量大小自动管理每个作业的弹性，从而最大化GPU利用率，提高调度效率。它通过在线进化搜索确定每个作业的批量大小，可以不断优化调度决策。我们评估的有效性与64 GPU的TACC的长角超级计算机上的ONES。结果表明，ONES可以以显著更短的平均作业完成时间胜过之前的深度学习算法。
2021-08-08 cs.AI cs.DC cs.LG
Maximizing Cumulative User Engagement in Sequential Recommendation: An Online Optimization Perspective
Alibaba Group（阿里巴巴集团）；Microsoft（微软）
为了最大化顺序推荐中的累积用户参与度（例如累积点击），通常需要权衡两个潜在冲突的目标，即，追求更高的即时用户参与度（例如，点击率）和鼓励用户浏览（即，更多项目已确认）。现有的工作往往研究这两个任务分开，从而往往导致次优的结果。在本文中，我们从在线优化的角度研究这个问题，并提出了一个灵活实用的框架，明确权衡较长的用户浏览长度和高即时用户参与。具体来说，通过考虑项目的行动，用户的请求作为状态和用户离开作为吸收状态，我们制定每个用户的行为作为一个个性化的马尔可夫决策过程（MDP），和最大化的累积用户参与的问题减少到一个随机最短路径（SSP）的问题。同时，通过即时用户参与和退出概率估计，证明了SSP问题可以通过动态规划有效地解决。在真实数据集上的实验证明了该方法的有效性。该方法在某大型电子商务平台上进行了部署，取得了超过7%的累计点击量提升。
2020-06-02 cs.AI cs.IR cs.LG
MOEF: Modeling Occasion Evolution in Frequency Domain for Promotion-Aware Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）；The University of Sydney（悉尼大学）
促销活动在电子商务中变得越来越重要和普遍，以吸引客户并促进销售，导致场合频繁变化，这促使用户采取不同的行为。在这种情况下，大多数现有的点击率（CTR）模型不能很好地推广到在线服务，由于即将到来的场合分布的不确定性。在本文中，我们提出了一种新的CTR模型命名为MOEF频繁变化的情况下的建议。首先，我们设计了一个时间序列，由在线业务场景产生的场合信号。由于场合信号在频域中更具鉴别力，我们将傅立叶变换应用于时间序列上的滑动时间窗口，获得频谱序列，然后通过场合演化层（OEL）进行处理。通过这种方式，可以学习高阶场合表示来处理在线分布不确定性。此外，我们采用多个专家学习的特征表示，从多个方面，这是通过注意力机制的场合表示的指导。因此，对于不同的场合自适应地获得特征表示的混合以预测最终CTR。在真实数据集上的实验结果验证了MOEF的优越性，在线A/B测试也表明MOEF明显优于典型的CTR模型。
2023-03-30 cs.IR cs.LG
Efficient Click-Through Rate Prediction for Developing Countries via Tabular Learning
Hyperconnect
尽管在线广告在发展中国家快速增长，但由于计算资源有限，现有的高度过度参数化的点击率（CTR）预测模型难以部署。本文通过桥接CTR预测任务和表格学习之间的关系，提出了表格学习模型在CTR预测中比过参数化CTR预测模型更高效和有效。在8个公共CTR预测数据集上的大量实验表明，表格学习模型的性能优于12个最先进的CTR预测模型。此外，与过度参数化的CTR预测模型相比，表格学习模型可以快速训练，而无需昂贵的计算资源，包括高性能GPU。最后，通过对实际在线应用程序的A/B测试，我们表明，表格学习模型不仅提高了离线性能，而且提高了真实用户的CTR。
2021-04-15 cs.HC cs.LG
AdSEE: Investigating the Impact of Image Style Editing on Advertisement Attractiveness
University of Alberta（阿尔伯塔大学）；Tencent（腾讯）
本文提出AdSEE框架，通过引入StyleGAN语义编辑和遗传广告编辑器优化广告封面图像风格，并利用QQ-AD数据集训练点击率预测器，验证了图像风格编辑能显著提升在线广告的点击率。
2023-09-15 cs.CV cs.IR cs.LG
Mondrian Forests: Efficient Online Random Forests
University College London（伦敦大学学院）；University of Cambridge（剑桥大学）；University of Oxford（牛津大学）
随机决策树的集合，通常被称为随机森林，广泛用于机器学习和统计学中的分类和回归任务。随机森林实现了有竞争力的预测性能，并且在训练和测试方面具有计算效率，使其成为现实世界预测任务的优秀候选者。最流行的随机森林变体（如Breiman的随机森林和极端随机树）对批量训练数据进行操作。在线方法现在有更大的需求。然而，现有的在线随机森林需要比其批处理对应物更多的训练数据才能实现可比的预测性能。在这项工作中，我们使用蒙德里安过程（Roy和Teh，2009）来构建随机决策树的集合，我们称之为蒙德里安森林。蒙德里安森林可以以增量/在线方式生长，并且值得注意的是，在线蒙德里安森林的分布与批量蒙德里安森林的分布相同。蒙德里安森林实现了与现有在线随机森林和定期重新训练的批量随机森林相当的有竞争力的预测性能，同时速度快了一个数量级以上，因此代表了更好的计算与准确性权衡。
2015-02-16 cs.LG stat.ML
Click-Through Rate Prediction with the User Memory Network
Alibaba Group（阿里巴巴集团）
点击率（CTR）预测是在线广告系统中的一项关键任务。像深度神经网络（DNN）这样的模型很简单，但没有状态。他们独立地考虑每个目标广告，无法直接提取用户历史广告印象和点击中包含的有用信息。相比之下，像递归神经网络（RNN）这样的模型是有状态的，但很复杂。它们对用户顺序行为之间的时间依赖性进行建模，可以实现比DNN更好的预测性能。然而，RNN的离线训练和在线预测过程都更加复杂和耗时。在本文中，我们提出了内存增强DNN（MA-DNN）的实际CTR预测服务。特别是，我们为每个用户创建两个外部记忆向量，记住用户可能喜欢和不喜欢的高级抽象。所提出的MA-DNN实现了DNN和RNN之间的良好折衷。它与DNN一样简单，但与RNN一样具有一定的挖掘用户历史行为中包含的有用信息的能力。离线和在线实验都证明了MA-DNN在实际CTR预测服务中的有效性。实际上，内存组件也可以扩展到其他模型（例如，Wide&Deep模式）。
2019-07-20 cs.IR cs.LG
Deterministic Online Classification: Non-iteratively Reweighted Recursive Least-Squares for Binary Class Rebalancing
Gordon Center for Medical Imaging（戈登医学影像中心）；Center for Advanced Medical Computing and Analysis（高级医学计算与分析中心）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
确定性解决方案对于可解释性变得越来越重要。加权最小二乘（WLS）已被广泛用作具有特定权重设计的确定性批处理解决方案。在WLS的在线设置中，精确的重加权是必要的，以收敛到其批量设置。为了符合其必要性，迭代重加权最小二乘算法主要是利用线性增长的时间复杂度，这是没有吸引力的在线学习。由于高和不断增长的计算成本，一个有效的在线配方的重新加权最小二乘是理想的。我们提出了一种新的确定性在线分类算法的WLS具有恒定的时间复杂度的二进制类重新平衡。我们证明，我们提出的在线配方完全收敛到其批处理配方，并优于现有的最先进的随机在线二进制分类算法在现实世界的数据集经验。
2023-01-22 cs.LG stat.ML
Deep Spatio-Temporal Neural Networks for Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
点击率（CTR）预测是在线广告系统中的一项关键任务。大量的研究都是单独考虑每一个广告，但忽略了它与其他可能影响点击率的广告的关系。在本文中，我们研究了各种类型的辅助广告，以提高目标广告的点击率预测。特别是，我们从两个角度探索辅助广告：一个是从空间域，我们认为在同一页面上的目标广告上方显示的上下文广告;另一个是从时间域，我们认为历史上点击和未点击的广告的用户。直觉是，一起显示的广告可能会相互影响，点击的广告反映了用户的偏好，而未点击的广告可能会在一定程度上表明用户不喜欢什么。为了有效地利用这些辅助数据，我们提出了深度时空神经网络（DSTNs）的CTR预测。我们的模型能够学习每种类型的辅助数据和目标广告之间的相互作用，强调更重要的隐藏信息，并在一个统一的框架中融合异构数据。在一个公共数据集和两个工业数据集上的离线实验表明，DSTNs优于几种最先进的CTR预测方法。我们已在中国第二大搜索引擎神马搜索中部署了性能最好的搜索引擎。A/B测试结果表明，在线CTR也显着提高相比，我们的最后一个服务模型。
2019-07-19 cs.IR cs.LG stat.ML
Anytime Online-to-Batch Conversions, Optimism, and Acceleration
Google（谷歌（公司））
在随机凸优化中获得收敛保证的一个标准方法是运行一个在线学习算法，然后输出其迭代的平均值：在线学习算法的实际迭代没有单独的保证。我们通过引入黑盒修改任何在线学习算法，其迭代收敛到随机场景中的最优值来缩小这一差距。然后，我们考虑光滑损失的情况下，并表明，我们的方法与乐观的在线学习算法相结合，立即产生一个快速的收敛速度$O(L/T^{3/2}+σ/\sqrt{T})$ $L$ -光滑的问题，$σ^2$方差的梯度。最后，我们提供了一个减少，将任何自适应在线算法转换成一个获得最佳加速率的$\tilde O(L/T^2 + σ/\sqrt{T})$，同时仍然保持$\tilde O(1/\sqrt{T})$收敛在非光滑设置。重要的是，我们的算法自动适应$L$和$σ$：它们不需要知道也可以获得这些速率。
2019-03-03 cs.LG math.OC stat.ML
Parallelizing Thompson Sampling
Yale University（耶鲁大学）；Google Research（谷歌研究院）
我们如何利用在线决策问题的信息并行性，同时有效地平衡探索-开发权衡？本文介绍了一个批量Thompson抽样框架，用于两个典型的在线决策问题，即随机多臂强盗和线性上下文多臂强盗。在一个时间范围$T$，我们的\textit{batch}汤普森采样政策实现了相同的（渐近）遗憾界的一个完全连续的，而只进行$O(\log T)$批处理查询。为了实现这种指数下降，即，为了减少从$T$到$O(\log T)$的交互数量，我们的批处理策略动态地确定每个批处理的持续时间，以便平衡探索-利用权衡。我们还证明了实验，动态批分配显着优于自然基线，如静态批分配。
2021-06-02 cs.AI cs.LG math.OC
Deep Learning for Click-Through Rate Estimation
Shanghai Jiao Tong University（上海交通大学）
点击率（CTR）估计是各种个性化在线服务的核心功能模块，包括在线广告，推荐系统和网络搜索等。从2015年开始，深度学习的成功开始有利于CTR估计性能，现在深度CTR模型已经广泛应用于许多行业平台。在本调查中，我们全面回顾了用于CTR估计任务的深度学习模型。首先，我们回顾了从浅层到深层CTR模型的转移，并解释了为什么深入是一个必要的发展趋势。其次，我们专注于深度CTR模型的显式特征交互学习模块。然后，作为具有丰富用户历史的大型平台的重要视角，讨论了深度行为模型。此外，最近出现的自动化方法的深度CTR架构设计。最后，对本研究进行了总结，并对该领域的发展前景进行了展望.
2021-04-21 cs.IR cs.LG
Optimistic Online-to-Batch Conversions for Accelerated Convergence and Universality
National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家实验室，南京大学，中国）；School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国）
本文提出新颖的乐观在线到批量转换方法，将乐观性纳入理论分析，在简化在线算法设计的同时，实现光滑与强凸目标的最优加速收敛，并具备对光滑性的普适性且每次迭代仅需一次梯度查询。
2025-11-10 cs.LG math.OC
Delayed Feedback Modeling for Post-Click Gross Merchandise Volume Prediction: Benchmark, Insights and Approaches
School of Informatics, Xiamen University Xiamen China；Taobao \& Tmall Group of Alibaba Beijing China；School of Informatics, Xiamen University；Taobao \& Tmall Group of Alibaba
本文提出READER模型，通过在线流式训练和动态校准回归目标，提升GMV预测性能，揭示复购样本与单次购买样本标签分布差异，推动延迟反馈建模研究。
2026-01-28 cs.LG
High-dimensional online learning via asynchronous decomposition: Non-divergent results, dynamic regularization, and beyond
School of Statistics, Renmin University of China（中国人民大学统计学院）；School of Statistics and Mathematics, Zhongnan University of Economics and Law（中南财经政法大学统计学与数学学院）；Institute of Statistics and Big Data, Renmin University of China（中国人民大学统计与大数据研究院）；Center for Applied Statistics, Renmin University of China（中国人民大学应用统计中心）
本文提出异步分解框架，通过动态正则化迭代硬阈值算法解决高维在线学习中误差界发散问题，实现非发散误差界和稀疏性，且随批次累积获得 oracle 准确度。
2026-03-21 cs.LG stat.ML
Online Batch Selection for Faster Training of Neural Networks
Univesity of Freiburg（弗莱堡大学）
深度神经网络通常使用随机非凸优化过程进行训练，该过程由在数据集的分数（批次）上估计的梯度信息驱动。虽然人们普遍认为批量大小是离线调优的一个重要参数，但对在线选择批量的好处仍然知之甚少。我们调查在线批量选择策略的两个国家的最先进的方法的随机梯度为基础的优化，AdaDelta和亚当。由于整个数据集要最小化的损失函数是各个数据点的损失函数的聚合，直观地说，应该更频繁地考虑（批量选择）具有最大损失的数据点。然而，这种直觉的局限性和随着时间的推移对选择压力的适当控制是一个悬而未决的问题。我们提出了一个简单的策略，所有的数据点排名w.r.t.它们的最新已知损失值和被选择的概率作为等级的函数呈指数衰减。我们在MNIST数据集上的实验结果表明，选择批次可以将AdaDelta和Adam的速度提高约5倍。
2016-04-25 cs.LG cs.NE math.OC
Neighbour Interaction based Click-Through Rate Prediction via Graph-masked Transformer
The University of Manchester（曼彻斯特大学）；National Centre for Text Mining（国家文本挖掘中心）；Tencent AI Lab（腾讯人工智能实验室）；Tencent（腾讯）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
点击率（CTR）预测，其目的是估计用户将点击一个项目的概率，是在线广告的一个重要组成部分。现有的方法主要试图从用户的历史行为中挖掘用户兴趣，其中包含用户直接交互的项目。虽然这些方法已经取得了很大的进步，但它们往往受到推荐系统的直接暴露和不活跃的交互的限制，从而无法挖掘所有潜在的用户兴趣。为了解决这些问题，我们提出了基于邻居交互的CTR预测（NI-CTR），它认为这是一个异构信息网络（HIN）设置下的任务。简而言之，基于邻居交互的CTR预测涉及HIN中目标用户-项目对的局部邻居以预测它们的链接。为了指导局部邻域的表示学习，我们进一步从显式和隐式两个角度考虑了局部邻域节点之间的不同类型的交互，并提出了一种新的图掩码Transformer（GMT）算法，有效地结合了这些类型的交互，为目标用户-项目对生成具有高度代表性的嵌入.此外，为了提高模型对邻居采样的鲁棒性，我们在邻域嵌入上实施了一致性正则化损失。我们在两个真实世界的数据集上进行了大量的实验，实验结果表明，我们提出的方法明显优于最先进的CTR模型。同时，全面的消融研究验证了我们的模型的每个组成部分的有效性。此外，我们已经在拥有数十亿用户的微信公众号平台上部署了这个框架。在线A/B测试表明，与所有在线基线相比，平均CTR提高了21.9。
2022-07-22 cs.AI cs.IR cs.LG
Continual Normalization: Rethinking Batch Normalization for Online Continual Learning
Singapore Management University（新加坡管理大学）；Salesforce Research Asia（Salesforce亚洲研究院）
现有的持续学习方法使用批量归一化（BN）来促进训练并改进跨任务的泛化。然而，持续学习数据的非i.i. d和非平稳性质，特别是在在线设置中，放大了BN中训练和测试之间的差异，并阻碍了旧任务的执行。在这项工作中，我们研究了BN在在线持续学习中的跨任务归一化效应，其中BN使用偏向当前任务的时刻对测试数据进行归一化，从而导致更高的灾难性遗忘。这种限制促使我们提出一种简单而有效的方法，我们称之为连续归一化（CN），以促进类似于BN的训练，同时减轻其负面影响。在不同的持续学习算法和在线场景上的大量实验表明，CN是BN的直接替代品，可以提供实质性的性能改进。我们的实现可在\url{https://github.com/phquang/Continual-Normalization}上获得。
2022-03-30 cs.LG
Generalization Bounds for Dependent Data using Online-to-Batch Conversion
Indraprastha Institute of Information Technology, Delhi (IIIT-Delhi)（德里英迪拉普拉斯塔信息技术学院（IIIT-Delhi））
本文借助 OTB 转换框架，将稳定性负担转移给人工构造的在线学习器，在无需批处理学习器稳定性假设的情况下，为混合随机过程依赖数据上的任意批处理算法给出期望与高概率泛化界，并以 EWA 实例化。
2025-02-19 cs.LG
CowClip: Reducing CTR Prediction Model Training Time from 12 hours to 10 minutes on 1 GPU
Bytedance（字节跳动）
点击率（CTR）预测任务是预测用户是否会点击推荐项目。由于每天在线生成的数据量令人难以置信，因此加速CTR预测模型训练对于确保模型最新并降低训练成本至关重要。提高训练速度的一种方法是应用大批量训练。然而，如计算机视觉和自然语言处理任务所示，大批量训练很容易损失准确性。我们的实验表明，以前的缩放规则在CTR预测神经网络的训练失败。为了解决这个问题，我们首先从理论上证明了不同频率的id使得在缩放批量大小时缩放超参数具有挑战性。为了在大批量设置中稳定训练过程，我们开发了自适应列式裁剪（CowClip）。它为嵌入提供了一个简单有效的缩放规则，该规则保持学习率不变并缩放L2损失。我们在两个真实世界的数据集上使用四个CTR预测网络进行了广泛的实验，并成功地将原始批量规模扩展了128倍，而没有准确性损失。特别是，对于Criteo数据集上的CTR预测模型DeepFM训练，我们的优化框架将批量大小从1K扩大到128K，AUC提高超过0.1%，并将单个V100 GPU上的训练时间从12小时减少到10分钟。我们的代码位于https://github.com/bytedance/LargeBatchCTR。
2022-11-30 cs.IR cs.LG
Quantum Learning Theory Beyond Batch Binary Classification
Department of Mathematics, University of Michigan（数学系，密歇根大学）；Department of Statistics, University of Michigan（统计学系，密歇根大学）；Department of Electrical Engineering and Computer Science, University of Michigan（电气工程与计算机科学系，密歇根大学）
该研究将量子批量布尔学习样本复杂度与经典样本复杂度同阶的结论，拓展至批量多分类、在线布尔及在线多分类学习场景，并首次提出带量子样本的在线学习模型。
2025-07-21 cs.CC cs.LG quant-ph
Optimizing Online Advertising with Multi-Armed Bandits: Mitigating the Cold Start Problem under Auction Dynamics
Avito；MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文针对在线广告冷启动问题，提出一种适用于按点击付费拍卖系统的类UCB多臂老虎机算法，在给出预算遗憾理论上界的同时，通过受控探索与利用兼顾平台长期盈利和短期利润。
2025-02-03 cs.LG
Utility-Diversity Aware Online Batch Selection for LLM Supervised Fine-tuning
University of Science and Technology of China（中国科学技术大学）
提出UDS框架，利用logits矩阵核范数和轻量记忆缓冲实现高效在线批次选择，兼顾数据效用与多样性，无需外部资源，在多个基准上优于现有方法并降低训练时间。
2026-06-16 cs.AI cs.CL cs.LG
Representation Learning-Assisted Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
点击率（CTR）预测是在线广告系统中的一项关键任务。大多数现有的方法主要建模的特征CTR关系，并遭受数据稀疏性问题。在本文中，我们提出了DeepMCP，它对其他类型的关系进行建模，以学习更多信息和统计可靠的特征表示，从而提高CTR预测的性能。具体来说，DeepMCP包含三个部分：匹配子网、关联子网和预测子网。这些模型分别对用户-广告、广告-广告和功能-CTR关系进行建模。当这些特征在目标标签的监督下联合优化时，学习的特征表示具有良好的预测能力和良好的表示能力。在两个大规模数据集上的实验表明，DeepMCP在CTR预测方面优于几种最先进的模型。
2019-07-19 cs.IR cs.LG stat.ML
