Contrastive Learning of User Behavior Sequence for Context-Aware Document Ranking
事实证明,搜索会话中的上下文信息对于捕获用户搜索意图非常有用。现有的研究探讨了用户行为序列在会话中以不同的方式,以提高查询建议或文档排序。然而,用户行为序列通常被视为反映用户行为的明确且准确的信号。实际上,它是高度可变的:用户对同一意图的查询可能会有所不同,并且可以单击不同的文档。为了学习一个更强大的表示用户的行为序列,我们提出了一种基于对比学习的方法,它考虑到用户的行为序列的可能变化。具体来说,我们提出了三个数据增强策略,以产生类似的用户行为序列的变体,并将它们与其他序列进行对比。在这样做时,模型被迫在可能的变化方面更加稳健。将优化后的序列表示方法引入到文档排序中。在两个真实查询日志数据集上的实验表明,该模型的性能明显优于现有的方法,证明了该方法在上下文感知文档排序中的有效性.
2021-08-24 cs.IR
Are Big Recommendation Models Fair to Cold Users?
在线推荐系统广泛使用大模型来提高推荐性能。它们通常是在历史用户行为数据上学习的,以推断用户兴趣并预测未来的用户行为(例如,点击)。事实上,在兴趣建模和未来行为预测方面,具有更多历史行为的重度用户的行为通常可以提供比冷用户更丰富的线索。大模型可能会从重度用户的行为模式中学习更多,从而有利于重度用户,并给冷用户带来不公平。在本文中,我们研究大推荐模型是否是公平的冷用户。我们的经验表明,优化大的推荐模型的整体性能可能会导致不公平的冷用户的性能下降。针对这一问题,提出了一种基于自升华的BigFair方法,该方法以模型对原始用户数据的预测为教师,对随机丢弃的用户行为进行正则化,从而使模型能够公平地捕获重用户和冷用户的兴趣分布.在两个数据集上的实验表明,BigFair能够有效地提高大推荐模型在冷用户上的性能公平性,而不会损害在重用户上的性能.
2022-02-28 cs.IR
User Invariant Preference Learning for Multi-Behavior Recommendation
本文提出 UIPL 方法,利用不变风险最小化和变分自编码器从多行为交互中提取用户不变偏好,以抑制辅助行为噪声,从而提升目标行为推荐性能。
2025-07-20 cs.IR
On the User Behavior Leakage from Recommender System Exposure
现代推荐系统被训练成从用户的历史行为数据预测用户潜在的未来交互。在交互过程中,尽管数据来自用户侧推荐系统也产生曝光数据,为用户提供个性化的推荐板。与稀疏的用户行为数据相比,系统暴露数据的体积要大得多,因为只有非常少的暴露项目会被用户点击。此外,用户的历史行为数据是隐私敏感的,通常通过仔细的访问授权来保护。然而,大量的推荐曝光数据通常受到较少的关注,并且可以在相对较大的范围内访问各种信息搜索者。在本文中,我们研究了推荐系统中的用户行为泄漏问题。我们表明,隐私敏感的用户过去的行为数据可以推断,通过系统暴露的建模。此外,可以仅从对该用户的当前系统暴露的观察来推断用户已经点击了哪些项目。鉴于系统曝光数据可以从相对较大的范围广泛访问的事实,我们认为,用户过去的行为隐私在推荐系统中具有很高的泄漏风险。更准确地说,我们进行一个攻击模型,其输入是当前推荐的物品名单(即,系统暴露),而输出是用户的历史行为。在两个真实数据集上的实验结果表明,用户行为泄漏的危险性很大。为了解决这一风险,我们提出了一个两阶段的隐私保护机制,首先选择一个子集的项目从曝光石板,然后替换所选择的项目与统一的或基于流行度的曝光。实验结果表明,推荐准确率和隐私泄露风险之间的权衡效果。
2022-10-24 cs.IR
Boundary-Aware Multi-Behavior Dynamic Graph Transformer for Sequential Recommendation
School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院)
本文提出一种边界感知的多行为动态图变压器模型,通过动态优化图结构和用户行为序列,提升序列推荐的性能。
2026-02-11 cs.IR
UniSAR: Modeling User Transition Behaviors between Search and Recommendation
针对现有方法未充分建模用户搜索与推荐间行为转换的问题,提出UniSAR框架,经提取、对齐、融合三步建模细粒度转换并联合学习,可同时提升搜索与推荐效果。
2024-04-15 cs.IR
User Behavior Retrieval for Click-Through Rate Prediction
点击率(CTR)预测在现代在线个性化服务中起着关键作用。在实际应用中,有必要通过对用户的连续行为建模来捕捉用户的兴趣漂移,从而建立准确的点击率预测模型。然而,随着用户在平台上积累越来越多的行为数据,序列模型利用每个用户的整个行为历史变得不平凡。首先,直接输入长的行为序列将使在线推理时间和系统负载变得不可行。第二,在如此长的历史中有很多噪声使顺序模型学习失败。当前的工业解决方案主要截断序列,并且仅将最近的行为馈送到预测模型,这导致诸如周期性或长期依赖性的序列模式没有嵌入最近的几个行为中,而是嵌入很久以前的历史中的问题。为了解决这些问题,在本文中,我们认为它从数据的角度,而不仅仅是设计更复杂的模型,并提出了用户行为检索CTR预测(UBR4CTR)框架。在UBR4CTR中,最相关和最合适的用户行为将首先使用可学习的搜索方法从整个用户历史序列中检索。然后,这些检索到的行为被输入到一个深度模型中,以进行最终预测,而不是简单地使用最近的行为。将UBR4CTR应用于工业模型管道具有很高的可行性和较低的成本。三个真实世界的大规模数据集上的实验证明了我们提出的框架和模型的优越性和有效性。
2020-05-28 cs.IR
ID-Agnostic User Behavior Pre-training for Sequential Recommendation
近年来,顺序推荐成为一个被广泛研究的课题。现有的研究主要是设计有效的神经网络结构来基于项目ID对用户行为序列进行建模。然而,这种方法高度依赖于用户-项目交互数据,而忽略了用户偏好的相似项目之间的属性或特征级相关性。鉴于这些问题,我们提出IDA-SR,这代表身份不可知的顺序推荐用户行为预训练方法。IDA-SR不是显式地学习项ID的表示,而是直接从富文本信息中学习项表示。为了弥补文本语义和序列用户行为之间的差距,我们使用预训练的语言模型作为文本编码器,并对序列用户行为进行预训练架构。通过这种方式,项目文本可以直接用于顺序推荐,而不依赖于项目ID。大量的实验表明,所提出的方法可以实现可比的结果时,只使用ID不可知的项目表示,并表现得比基线时,与ID信息进行微调时,有很大的利润。
2022-06-06 cs.IR
User behavior understanding in real world settings
如何从用户的历史行为中提取有意义的信息对推荐起着至关重要的作用。用户行为序列通常包含多个概念上不同的项目,这些项目属于不同的项目组,并且项目组的数量随时间而变化。需要根据用户历史行为中的项目组来学习一组动态的表示。然而,目前的作品只学习一个预定义的和固定数量的表示,其中包括单表示方法和多表示方法,从用户上下文,可能会导致次优的推荐质量。在本文中,我们提出了一个模型,可以自动和自适应地生成一个动态的一组表示,从用户的行为。具体来说,AutoRep由信息表示构造(IRC)模块和动态表示构造(DRC)模块组成。IRC模块通过双向架构Transformer学习用户行为的整体顺序特征。DRC模块动态地将用户行为中的项目分配到不同的项目组中,并以可区分的方法形成一个动态的表示组。这种设计提高了模型推荐性能。我们在五个基准数据集上评估了所提出的模型。结果表明,AutoRep优于代表性基线。为了加深我们对AutoRep的理解,已经进行了进一步的消融研究,包括提出的IRC和DRC模块。
2022-01-13 cs.IR
Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction
点击率(CTR)预测对于推荐系统和在线广告等工业应用至关重要。在实际应用中,通过从丰富的历史行为数据中挖掘用户兴趣,CTR建模在这些应用中起着重要的作用。在深度学习发展的推动下,针对用户兴趣建模的深度CTR模型被提出,其体系结构设计巧妙,模型性能较离线指标有了显著提升,但面对海量流量需求,如何将这些复杂模型部署到在线服务系统中进行实时推理,还需要付出很大努力。当涉及到长序列用户行为数据时,事情变得更加困难,因为系统延迟和存储成本随着用户行为序列的长度近似线性地增加。本文直面长序列用户行为建模的挑战,介绍了我们的实践,并结合机器学习算法和在线服务系统的协同设计,实现了点击率预测任务。从理论上讲,UIC和MIMN的协同设计方案使我们能够处理无限长度的序列行为数据的用户兴趣建模。模型性能和系统效率的比较证明了所提出的解决方案的有效性。据我们所知,这是第一个能够处理长度扩展到数千的长序列用户行为数据的工业解决方案之一。目前已经部署在阿里巴巴的展示广告系统中。
2019-05-24 cs.IR
Family Shopping Recommendation System Using User Profile and Behavior Data
随着大数据时代的到来,推荐系统已经成为企业精简销售的热门技术。在过去的十年中,针对个人用户的推荐算法得到了广泛的研究。大多数现有的推荐系统还关注于个人用户推荐,然而在许多日常活动中,项目被推荐给组而不是一个人。作为解决群体推荐问题的有效手段,本文将单用户推荐扩展到群体推荐。具体而言,我们提出了一种新的方法,基于家庭的购物推荐系统。我们使用的数据集从真实的购物中心组成的购物记录表,客户档案表和家庭关系表。该算法综合了用户行为相似度和用户简档相似度,建立了基于用户的协同过滤模型。我们评估我们的方法在现实世界的购物中心数据集。
2017-08-24 cs.IR
Improving Implicit Feedback-Based Recommendation through Multi-Behavior Alignment
提出多行为对齐框架,通过最大化多行为数据似然并最小化KL散度来推断通用用户偏好,实现去噪和知识迁移,在三个数据集上验证了提升目标行为预测的有效性。
2023-05-09 cs.IR
Generative Chain of Behavior for User Trajectory Prediction
University of New South Wales(新南威尔士大学);Macquarie University(麦考瑞大学);CSIRO’s Data61(联邦科学与工业研究组织数据61)
GCB通过生成行为链模型,提升用户多步轨迹预测的准确性和一致性,提供统一的生成框架捕捉用户偏好演变。
2026-01-26 cs.IR
Improving Sequential Recommender Systems with Online and In-store User Behavior
本文面向线上与到店混合行为场景,设计全渠道数据流水线并提出模型无关编码器,以增强序列推荐系统对到店交易的理解和未来线上交互预测能力。
2024-12-03 cs.IR
How search engine marketing influences user knowledge gain: Development and empirical testing of an information search behavior model
人们使用搜索引擎来寻找与他们的健康、财务或其他社会相关问题的答案。然而,大多数用户不知道搜索结果是相当大的影响,搜索引擎营销(SEM)。SEM措施由商业、政治或其他动机驱动。由于这些动机,出现了两个问题:什么样的信息质量是通过SEM介导?收集不同质量的文档是如何影响用户知识获取的?这两个问题都没有被现有的信息行为模型所考虑。因此,在本文中描述的博士研究项目的目的是开发和实证测试的SEM对用户知识获取的影响的信息搜索行为模型,从而有助于搜索作为学习主体的研究。
2023-01-24 cs.IR
Disentangled Cascaded Graph Convolution Networks for Multi-Behavior Recommendation
针对多行为推荐中偏好捕捉不准、因素纠缠及缺乏个性化的问题,提出Disen-CGCN模型,通过解耦表示、多行为元网络和注意力机制优化推荐,在基准数据集上较SOTA平均提升7.07%与9.00%。
2024-04-17 cs.IR
Exploiting Group-level Behavior Pattern forSession-based Recommendation
基于会话的推荐(SBR)是一个具有挑战性的任务,其目的是根据匿名行为序列预测用户的未来兴趣。现有方法利用强大的表示学习方法将会话编码到低维空间中。然而,尽管取得了这些成就,所有现有的研究都集中在实例级会话学习,而忽略了组级用户的偏好,这是重要的用户行为建模。为此,我们提出了一种新的重复感知神经机制,基于会话的推荐(RNMSR)。在RNMSR中,我们提出分别从实例级和组级学习用户偏好:(i)实例级,在基于相似性的项目成对会话图上使用GNN来捕获实例级的用户偏好。(ii)组级,将会话转换为组级行为模式,以模拟组级用户的偏好。在RNMSR中,我们结合实例级用户偏好和组级用户偏好来建模用户的重复消费,\ie用户是否进行重复消费以及用户偏好哪些项目。在三个真实世界的数据集上进行了大量的实验,\ie Diginetica,Yoochoose和Nowplaying,表明所提出的方法在所有测试中始终达到最先进的性能。
2021-06-01 cs.IR
Modeling User Behavior with Graph Convolution for Personalized Product Search
用户偏好建模是个性化产品搜索中一个重要而又具有挑战性的问题。近年来,基于潜在空间的方法通过联合学习产品、用户和文本标记的语义表示,已经实现了最先进的性能。然而,现有的方法是有限的,在他们的能力来模拟用户的喜好。他们通常代表用户的产品,他们在很短的时间内访问使用专注的模型,缺乏利用关系信息,如用户-产品交互或项目共现关系的能力。在这项工作中,我们提出了解决现有技术的局限性,探索本地和全球用户的行为模式上的用户连续的行为图,这是通过利用所有用户的短期行动。为了捕捉隐含的用户偏好信号和协作模式,我们使用一个高效的跳跃图卷积来探索高阶关系,以丰富用户偏好建模的产品表示。我们的方法可以无缝集成与现有的潜在空间为基础的方法,并有可能应用于任何产品检索方法,使用购买历史模型用户的喜好。在八个Amazon基准上的大量实验证明了我们方法的有效性和潜力。源代码可从\url{https://github.com/floatSDSDS/SBG}获得。
2022-02-12 cs.IR
AskMe: Joint Individual-level and Community-level Behavior Interaction for Question Recommendation
社区问答(CQA)网站中的问题主要是根据用户回答或询问的问题中提取的用户兴趣推荐给用户的。但普遍存在的现象是,用户回答问题较少,而更注重关注问题和投票答案。这可能会影响在向用户推荐问题(以获得他们的答案)时,通过使用他们在现有研究中的历史回答行为的性能。为了解决数据稀疏性问题,我们提出了AskMe,旨在利用CQA中丰富的混合行为交互来提高问题推荐性能。一方面,我们对用户不同行为之间的丰富相关性进行建模(例如,回答、跟随、投票)以获得个人级别的行为交互。另一方面,我们对相似用户之间复杂的行为关联进行建模,以获得社区级的行为交互。最后,我们提出了元素级融合的方式来混合这两种相互作用在一起预测排名得分。通过在知乎上收集的数据集(1126个用户,219434个问题)对该模型的性能进行了测试,实验结果表明,与基线方法相比,该模型具有最好的性能,尤其是在历史回答行为数据较少的情况下。
2021-10-11 cs.IR
Learning from History and Present: Next-item Recommendation via Discriminatively Exploiting User Behaviors
在现代电子商务中,顾客的行为包含着丰富的信息,消费习惯,偏好的动态。最近,基于会话的推荐越来越流行,以探索客户的交互行为的时间特性。然而,现有的研究主要是利用短期行为,没有充分考虑客户的长期稳定的偏好和演变。在本文中,我们提出了一种新的行为密集型神经网络(BINN)的下一个项目推荐结合用户的历史稳定的偏好和目前的消费动机。具体来说,BINN包含两个主要组件,即,神经项目嵌入和区分行为学习。首先,提出了一种基于用户交互的项目嵌入方法,以获得每个项目的统一表示。然后,通过嵌入的项目和项目序列上的交互行为,BINN有区别地学习目标用户的历史偏好和当前动机。因此,BINN可以更好地为目标用户推荐下一个项目。最后,为了评估BINN的性能,我们在两个真实世界的数据集上进行了广泛的实验,即,天池和JD.实验结果清楚地证明了BINN的有效性与几个国家的最先进的方法相比。
2018-08-03 cs.IR
PRISM: Refracting the Entangled User Behavior Space for E-Commerce Search
School of Cyber Science and Engineering, Sichuan University(四川大学网络空间安全学院);Lee Kong Chian School of Medicine, Nanyang Technological University(南洋理工大学李光前医学院)
PRISM通过建模用户偏好与物品相关性交互,解决电商搜索中行为信号交织导致的鲁棒性问题,提升搜索行为建模的语义一致性。
2026-05-08 cs.IR
Modeling Orders of User Behaviors via Differentiable Sorting: A Multi-task Framework to Predicting User Post-click Conversion
针对点击后转化预测中的选择偏差与数据稀疏问题,提出利用可微排序建模点击和点击后标签顺序的多任务框架,并在公开及工业数据集上验证其优于强基线。
2023-07-18 cs.IR
Learning to Recommend with Multiple Cascading Behaviors
大多数现有的推荐系统只利用一种类型的用户行为数据,例如电子商务中的购买行为,这与转换率的业务KPI(关键性能指标)直接相关。除了关键的行为数据,我们认为其他形式的用户行为也提供了有价值的信号,如视图,点击,添加产品到购物车等,他们应该适当考虑,为用户提供优质的推荐。在这项工作中,我们提出了一个新的解决方案NMTR(神经多任务推荐的缩写),用于从用户多行为数据中学习推荐系统。我们开发了一个神经网络模型来捕捉用户和项目之间复杂的和多类型的交互。特别是,我们的模型考虑了不同类型的行为之间的级联关系(例如,用户必须在购买产品之前点击它)。为了充分利用多种类型行为数据中的信号,我们基于多任务学习框架进行联合优化,其中对行为的优化被视为任务。在两个真实数据集上的大量实验表明,NMTR显著优于设计用于从单行为数据和多行为数据中学习的最先进的推荐系统。进一步的分析表明,对多个行为进行建模对于为交互很少的稀疏用户提供推荐特别有用。
2020-02-08 cs.IR
Multi-Behavior Graph Neural Networks for Recommender System
推荐系统已经被证明对于满足用户对许多在线服务的个性化兴趣是有效的(例如,电子商务和在线广告平台)。近年来,许多基于深度学习的推荐模型在利用各种神经网络架构(例如多层感知器和自动编码器)增强协同过滤架构方面取得了成功。然而,他们大多数模型的用户与项目的关系与单一类型的交互,而忽略了用户与项目的交互行为的多样性,这可以是点击,添加到购物车,标签作为收藏夹和购买。这样的各种类型的交互行为在提供用于理解用户偏好的丰富信息方面具有巨大的潜力。在本文中,我们特别关注用户与项目的关系,探索多类型的用户行为。从技术上讲,我们贡献了一个新的多行为图神经网络(MBRec),它专门考虑了不同的交互模式以及底层的跨类型行为相互依赖性。在MBRec框架中,我们开发了一个图结构的学习框架来执行行为感知的用户-项目交互图中高阶连接的表达建模。在此基础上,提出了一个相互关系编码器,以自适应地揭示复杂的关系结构,并在特定于层的行为表示进行聚合。通过对真实数据集的综合评价,在不同的实验设置下,我们的MBRec方法的优势得到了验证。进一步的分析验证了将多行为上下文纳入推荐范式的积极影响。此外,所进行的案例研究提供了深入了解用户多行为表示的可解释性。
2023-02-17 cs.IR
PUNR: Pre-training with User Behavior Modeling for News Recommendation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Du Xiaoman Finance(度小满金融)
本文提出PUNR无监督预训练范式,通过用户行为掩码与生成两个任务优化用户表示建模,在新闻推荐基准上显著优于现有方法。
2023-10-30 cs.CL cs.IR
Identifying User Behavior in domain-specific Repositories
本文提出了一个分析的用户行为的两个不同的特定领域的知识库。网络分析工具etracker被用来获得对这些存储库的用户行为的第一次全面洞察。此外,我们扩展了我们的工作,描述了一个apache的web日志分析方法,其重点是识别用户的行为。因此,我们的系统中的用户流量使用弦图可视化。我们可以发现,推荐被频繁使用,用户很少将搜索与分面或过滤结合起来。
2014-03-31 cs.DL cs.IR
Entire Chain Uplift Modeling with Context-Enhanced Learning for Intelligent Marketing
本文提出ECUP方法,通过上下文增强学习解决链偏和治疗不适应问题,提升营销策略效果评估的准确性。
2026-01-23 cs.AI cs.IR cs.LG
Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation
Tencent(腾讯);University of Science and Technology of China(中国科学技术大学);Google(谷歌);Telefonica Research(西班牙电信研究院)
归纳迁移学习对计算机视觉和NLP领域产生了很大的影响,但尚未用于推荐系统领域。尽管已经有大量的研究生成建议的基础上建模用户-项目交互序列,他们中的一些人试图表示和转移这些模型为下游任务,只有有限的数据存在。在本文中,我们深入研究的任务,有效地学习一个单一的用户表示,可以应用到各种各样的任务,从跨域的建议,用户简档预测。微调大型预训练网络并使其适应下游任务是解决此类任务的有效方法。然而,考虑到整个模型需要为每个新任务重新训练,微调参数效率低下。为了克服这个问题,我们开发了一个参数有效的迁移学习架构,称为PeterRec,它可以被配置在飞行中的各种下游任务。具体来说,PeterRec通过注入一系列重新学习的神经网络,允许预先训练的参数在微调过程中保持不变,这些网络很小,但与学习整个网络一样具有表达力。我们进行了广泛的实验消融,以显示在五个下游任务的学习用户表示的有效性。此外,我们还证明了PeterRec在多个领域中进行了有效的迁移学习,在这些领域中,相对于微调整个模型参数,它实现了相当或有时更好的性能。代码和数据集可在https://github.com/fajieyuan/sigir2020_peterrec上获得。
2020-06-09 cs.IR cs.LG
How does the User's Knowledge of the Recommender Influence their Behavior?
推荐系统已经成为现代Web应用程序中无处不在的一部分。他们帮助用户发现新的和相关的项目。今天的用户,通过多年的互动与这些系统已经开发了一个内在的理解如何推荐系统的功能,他们的目标是什么,以及用户可能会如何操纵它们。我们把这种理解称为推荐者理论。在本研究中,我们对40位推荐系统使用者进行了半结构式访谈,以实证的方式探讨影响使用者行为的相关因素。我们的研究结果,基于对收集到的数据进行严格的主题分析,表明用户对推荐系统的行为有一个直观和复杂的理解。我们还发现,用户,根据他们的理解,态度和意图改变他们的互动,唤起所需的推荐行为。最后,我们讨论了这种用户行为对推荐性能的潜在影响。
2021-09-02 cs.HC cs.IR
ATRank: An Attention-Based User Behavior Modeling Framework for Recommendation
Alibaba Group(阿里巴巴集团);Key Laboratory of High Confidence Software Technologies, EECS, Peking University(北京大学信息科学技术学院高可信软件技术重点实验室)
用户可以被表示为他/她沿着历史所做的事情。处理用户建模问题的一种常用方法是手动提取异构行为上的各种聚合特征,由于人类本能的局限性,这种方法可能无法完全表示数据本身。最近的工作通常使用基于RNN的方法来给出行为序列的整体嵌入,然后可以由下游应用程序利用。然而,这只能保存非常有限的信息,或者一个人的聚合记忆。当下游应用程序需要促进建模的用户特征时,它可能会失去用户的特定高度相关行为的完整性,并引入来自不相关行为的噪声。本文提出了一个基于注意力的用户行为建模框架ATRank,我们主要用于推荐任务。该模型考虑了用户行为的异质性,将用户行为映射到多个潜在语义空间中,并通过自注意在行为之间产生影响。然后,下游应用程序可以通过vanilla attention使用用户行为向量。实验表明,ATRank能够获得更好的性能和更快的训练过程。我们进一步探索ATRank使用一个统一的模型来预测不同类型的用户行为在同一时间,表现出相当的性能与高度优化的个人模型。
2017-11-27 cs.AI cs.IR
Recommender Transformers with Behavior Pathways
Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团)
序贯推荐要求推荐器从用户行为数据中捕捉用户行为的演化特征,以实现准确的推荐。然而,用户行为序列被视为一个脚本,其中有多个正在进行的线程交织在一起。我们发现,只有一小部分关键的行为可以演变成用户的未来行动。因此,用户的未来行为很难预测。我们将每个用户的连续行为的这种特征总结为行为路径。不同的用户有其独特的行为路径。在现有的序列模型中,Transformers显示出很大的能力,在捕捉全球依赖的特征。然而,这些模型主要使用自我注意力机制在所有先前行为上提供密集分布,使得最终预测被不针对每个用户调整的琐碎行为淹没。在本文中,我们建立了一个新的路径注意力机制的推荐Transformer(RETR)。RETR可以动态地规划为每个用户指定的行为路径,并通过该行为路径谨慎地激活网络,以有效地捕获对推荐有用的演变模式。关键的设计是一个学习的二元路线,以防止行为路径被琐碎的行为所淹没。我们在七个真实世界的数据集上实证验证了RETR的有效性,RETR产生了最先进的性能。
2022-06-13 cs.IR cs.LG
BehaveGPT: A Foundation Model for Large-scale User Behavior Modeling
Department of Electronic Engineering, BNRist, Tsinghua University(电子工程系,BNRist,清华大学);Honor Device Co., Ltd(荣耀设备有限公司)
BehaveGPT是一个基于Transformer和DRO预训练范式的大规模用户行为预测基础模型,在真实数据集上宏平均和加权召回率提升超10%,并首次在荣耀数据集上揭示行为建模的缩放定律。
2025-05-23 cs.AI cs.IR
Characterizing User Behavior: The Interplay Between Mobility Patterns and Mobile Traffic
该研究针对以往移动流量与移动性分析多聚焦聚合层面、缺乏个体洞察的问题,提出整合两类行为的用户建模框架及马尔可夫推断模型,基于智利大规模XDR数据验证了其在用户行为推断等方面的有效性。
2025-03-24 cs.IR cs.NI
The Users Aren't Alright: Dangerous Mental Illness Behaviors and Recommendations
在本文中,我们认为推荐系统在向精神疾病患者传播危险和残忍行为方面处于独特的地位。
2022-09-08 cs.HC cs.IR
Sampling Is All You Need on Modeling Long-Term User Behaviors for CTR Prediction
Meituan Inc.(美团公司)
丰富的用户行为数据已被证明对点击率(CTR)预测应用程序具有重要价值,特别是在工业推荐,搜索或广告系统中。然而,由于在线服务时间的严格要求,现实世界的系统要充分利用长期的用户行为是不平凡的。以往的研究大多采用基于检索的策略,即先检索少量的用户行为,以供后续的注意。然而,基于检索的方法是次优的,会造成或多或少的信息损失,并且难以平衡检索算法的有效性和效率。在本文中,我们提出了SDIM(基于采样的深度兴趣建模),这是一种简单而有效的基于采样的端到端方法,用于对长期用户行为进行建模。从多个散列函数中采样,生成候选项和用户行为序列中每个项的散列签名,通过直接收集与具有相同散列签名的候选项相关联的行为项来获取用户兴趣。我们从理论上和实验上表明,该方法在建模长期用户行为时与标准的基于注意力的模型表现相当,同时速度要快很多倍。并介绍了SDIM在本系统中的部署。具体来说,我们通过设计一个名为BSE(行为序列编码)的单独模块,将最耗时的行为序列哈希从CTR模型中解耦出来。BSE对于CTR服务器是无延迟的,使我们能够对极长的用户行为进行建模。离线和在线实验都证明了SDIM的有效性。SDIM现已在美团APP搜索系统上线部署。
2022-08-08 cs.AI cs.IR
Incorporating Group Prior into Variational Inference for Tail-User Behavior Modeling in CTR Prediction
Kuaishou Technology(快手科技)
针对CTR预测中尾部用户行为稀疏导致兴趣建模困难的问题,提出GPSVI方法,通过引入群体偏好作为变分推断先验并结合保体积流,在保持头部用户效果的同时持续提升尾部用户表现。
2024-10-19 cs.AI cs.IR
End-to-End User Behavior Retrieval in Click-Through RatePrediction Model
Alibaba Group(阿里巴巴集团)
点击率预测是推荐系统的核心任务之一。它预测每个用户-项目对的个性化点击概率。近年来,研究人员发现,考虑用户行为序列,特别是长期用户行为序列,可以大大提高CTR模型的性能。某电子商务网站的报告显示,23%的用户在过去5个月内的点击量超过1000次。虽然有大量的工作集中在建模连续的用户行为,很少有工作可以处理长期的用户行为序列,由于严格的推理时间限制,在现实世界的系统。提出了两阶段方法来推动极限以获得更好的性能。在第一阶段,设计了一个辅助任务,用于从长期用户行为序列中检索前$k$相似项。在第二阶段,经典注意力机制在候选项目和第一阶段中选择的$k$项目之间进行。然而,在检索阶段和主要的CTR任务之间存在信息差。这种目标偏离会大大降低长期用户序列的性能增益。本文受Reformer的启发,提出了一种局部敏感哈希(LSH)方法ETA(End-to-end Target Attention),该方法可以大大降低训练和推理的代价,使长时间用户行为序列的端到端训练成为可能。离线和在线实验都证实了我们模型的有效性。我们将ETA部署到一个大规模的真实世界的电子商务系统中,并实现了额外的3.1%的GMV(总销售价值)相比,两个阶段的长用户序列CTR模型。
2021-08-10 cs.AI cs.IR
Hierarchical Tree Search-based User Lifelong Behavior Modeling on Large Language Model
University of Chinese Academy of Sciences(中国科学院大学);Kuaishou Technology(快手科技);Unaffiliated(无隶属)
提出HiT-LBM框架,结合分块提取与层次树搜索,解决大语言模型在推荐系统中处理用户终身行为与兴趣演化的难题,提升推荐性能。
2025-05-26 cs.AI cs.IR
Deep Group Interest Modeling of Full Lifelong User Behaviors for CTR Prediction
University of Science and Technology of China(中国科学技术大学);Meituan(美团);University of Electronic Science and Technology of China(电子科技大学)
针对点击率预测中两阶段行为兴趣建模存在信息损失、仅用点击行为不全面的问题,提出DGIN网络,通过分组全量行为、引入双属性结合Transformer建模全生命周期兴趣,兼顾效率与预测精度。
2024-10-29 cs.AI cs.IR
Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction
丰富的用户行为数据已被证明对点击率预测任务具有重要价值,特别是在推荐系统和在线广告等工业应用中。业界和学术界都对这一问题给予了很大的关注,并提出了不同的方法来对长序列用户行为数据进行建模。其中,阿里巴巴提出的基于记忆网络的MIMN模型,通过学习算法和服务系统的协同设计,实现了SOTA。MIMN是第一个可以对长度扩展到1000的连续用户行为数据进行建模的工业解决方案。然而,MIMN无法准确地捕捉用户的兴趣给定一个特定的候选项目时,用户行为序列的长度进一步增加,说,由10倍或更多。这一挑战在以前提出的方法中广泛存在。在本文中,我们解决这个问题,设计了一个新的建模范式,我们命名为基于搜索的兴趣模型(SIM)。SIM通过两个级联的搜索单元提取用户兴趣:(i)通用搜索单元从原始的任意长序列行为数据中进行通用搜索,并从候选项中获取查询信息,得到与候选项相关的子用户行为序列;(ii)精确搜索单元对候选项与SBS之间的精确关系进行建模。这种级联搜索范式使SIM能够在可扩展性和准确性方面更好地建模终身顺序行为数据。除了学习算法,我们还介绍了我们的实践经验,如何实现SIM在大型工业系统。自2019年以来,SIM已部署在阿里巴巴的展示广告系统中,带来了7. 1\%的CTR和4. 4\%的RPM提升,这对业务具有重要意义。SIM现在服务于我们真实系统中的主要流量,SIM模型用户行为数据的最大长度达到540…
2020-06-29 cs.IR stat.ML
User Behavior Simulation with Large Language Model based Agents
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Beijing Key Laboratory of Big Data Management and Analysis Methods(北京市大数据管理与分析方法重点实验室)
本文提出一种基于LLM的智能体框架与沙盒环境来模拟真实用户行为,实验证明其模拟行为接近真实人类,并成功应用于信息茧房与用户从众行为的研究,为以人为本的应用提供了新范式。
2024-02-15 cs.AI cs.IR
Entire Space Multi-Task Modeling via Post-Click Behavior Decomposition for Conversion Rate Prediction
Alibaba Group(阿里巴巴集团);The University of Sydney(悉尼大学)
推荐系统作为现代电子商务的重要组成部分,由点击率(CTR)和转化率(CVR)预测两个基本模块组成。虽然CVR对购买量有直接影响,但由于样本选择偏差(SSB)和数据稀疏性(DS)问题,其预测是众所周知的挑战。虽然现有的方法,通常建立在用户顺序行为路径"印象$\to$点击$\to$购买“,是有效的处理SSB问题,他们仍然难以解决DS问题,由于罕见的购买训练样本。观察到用户总是采取几个购买相关的行动后,点击,我们提出了一个新的想法后点击行为分解。具体地,在点击和购买之间并行地插入不相交的购买相关确定性动作(DAction)和其他动作(OAction),形成新颖的用户顺序行为图"印象$\to$点击$\to$ D(O)动作$\to$购买“。在此图上定义模型能够利用整个空间上的所有印象样本和来自D(O)Action的额外丰富的监督信号,这将有效地解决SSB和DS问题。为此,我们设计了一个新的深度推荐模型命名为精心设计的整个空间监督多任务模型($ESM^{2}$)。根据图上定义的条件概率规则,采用多任务学习并行预测分解的子目标,并将其依次组合,形成最终的CVR。在离线和在线环境下进行的大量实验表明,$ESM^{2}$优于最先进的模型。将发布源代码和数据集。
2020-06-10 cs.IR cs.LG stat.ML
Breaking the Length Barrier: LLM-Enhanced CTR Prediction in Long Textual User Behaviors
Ant Group(蚂蚁集团);Westlake University(西湖大学)
针对 LLM 处理长用户行为序列效率低的问题,本文提出 BAHE 分层编码架构,将行为编码与交互解耦并离线缓存原子行为嵌入,在保持 CTR 预测性能的同时将训练时间和内存降低五倍,并已在工业系统中实现千万级数据日更。
2024-03-28 cs.AI cs.IR
Scenario-Adaptive Fine-Grained Personalization Network: Tailoring User Behavior Representation to the Scenario Context
Lazada Group(lazada集团);Unaffiliated(无所属机构)
本文提出场景自适应细粒度个性化网络SFPNet,通过场景定制块和残差连接对每个历史行为进行场景级细粒度定制,以提升多场景推荐中的用户兴趣建模能力。
2024-04-30 cs.IR cs.LG
PersonaX: A Recommendation Agent Oriented User Modeling Framework for Long Behavior Sequence
University of Technology Sydney(悉尼技术大学);Rutgers University(罗格斯大学)
针对推荐智能体中长行为序列建模的挑战,提出与智能体无关的LLM-UM框架PersonaX,通过聚类分段、多样化子序列选择、离线多画像生成及推理解耦,仅用30-50%数据提升AgentCF和Agent4Rec性能3-50%。
2025-05-24 cs.AI cs.IR
Generative Long-term User Interest Modeling for Click-Through Rate Prediction
MeiTuan Beijing China(美团北京中国)
本文提出GenLI模型,通过生成兴趣模块、行为检索模块和兴趣融合模块,提升CTR预测的准确性和效率,解决传统方法中长期兴趣建模不完整和效率低的问题。
2026-05-15 cs.AI cs.IR
Tricolore: Multi-Behavior User Profiling for Enhanced Candidate Generation in Recommender Systems
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院);WeChat Business Group, Tencent Inc.(腾讯公司)
Tricolore提出多向量多行为学习框架,通过行为关联建模、多视图融合和流行度均衡策略增强候选生成,并在多场景及冷启动用户上验证有效性。
2025-05-04 cs.AI cs.IR
Context-aware Heterogeneous Graph Attention Network for User Behavior Prediction in Local Consumer Service Platform
Alibaba Group(阿里巴巴集团)
本地消费服务平台作为近年来发展起来的一种新型电子商务平台,为用户提供到附近商店或到家的软件消费服务,如Groupon、口碑等。与其他常见的电子商务平台不同,用户在本地消费服务平台上的行为与其实时的本地上下文信息密切相关。因此,在本地消费者服务平台中,建立一个上下文感知的用户行为预测系统能够为商家和用户提供更好的服务。然而,以往的研究大多只是将上下文信息作为一个普通的特征加入到预测模型中,以获得特定上下文下的预测列表,忽略了用户在不同上下文下的兴趣往往存在显著差异的事实。因此,在本文中,我们提出了一个上下文感知的异构图注意力网络(CHGAT),动态生成的表示用户和估计的概率为未来的行为。具体而言,我们首先构建基于元路径的异构图与历史行为从多个来源和理解异构顶点的图与一种新的统一的知识表示方法。其次,针对图顶点的上下文感知聚合,提出了一种多级注意力机制,包括顶点级注意力网络和路径级注意力网络。这两种方法都是为了捕捉图中包含的信息与搜索系统中外部实时上下文信息之间的语义相关性。然后将特定图与其对应的上下文特征进行聚合,得到特定上下文下用户兴趣的表示,并将其输入预测网络,最终得到用户行为的预测概率。
2021-06-29 cs.AI cs.IR
TEA: A Sequential Recommendation Framework via Temporally Evolving Aggregations
Guangdong University of Technology(广东工业大学);Tencent Technology (SZ) Co., Ltd.(腾讯科技(深圳)有限公司);Cornell University(康奈尔大学)
顺序推荐的目的是在给定用户历史行为的特定时间点为用户选择最合适的项目。现有的方法通常基于马尔可夫链等基于转变的方法对用户行为序列进行建模。然而,这些方法也隐含地假设用户是彼此独立的,而没有考虑用户之间的影响。事实上,这种影响在序列推荐中起着重要的作用,因为用户的行为很容易受到其他人的影响。因此,希望聚合用户行为和用户之间的影响,这是在时间上演变的,并涉及到用户和项目的异构图。在本文中,我们将动态用户项异构图,提出了一种新的顺序推荐框架。结果,可以考虑历史行为以及用户之间的影响。为了实现这一点,我们首先形式化的顺序推荐作为一个问题,以估计条件概率给定的时间动态异构图和用户行为序列。之后,我们利用条件随机场聚合的异构图和用户行为的概率估计,并采用伪似然方法来推导出一个易于处理的目标函数。最后,我们提供了所提出的框架的可扩展和灵活的实现。在三个真实数据集上的实验结果不仅证明了该方法的有效性,而且为序列推荐提供了一些有意义的发现。
2022-07-08 cs.IR cs.LG
TWICE: Modeling the Temporal Evolution of Personalized User Behavior via Event-Driven Agents
SJTU Paris Elite Institute of Technology (SPEIT), Shanghai Jiao Tong University(上海交通大学巴黎卓越工程师学院);X-LANCE Lab, School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机学院;人工智能研究院(教育部人工智能重点实验室));MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University
提出TWICE框架,结合结构化用户画像、事件驱动记忆模块和两阶段工作流,利用LLM模拟用户行为的时间演化,在Twitter数据集上优于基线。
2026-06-18 cs.IR cs.MA
USE: Dynamic User Modeling with Stateful Sequence Models
Northwestern University(西北大学);Utrecht University(乌得勒支大学);Snap Inc(Snap公司)
针对动态用户建模中无状态模型重处理数据计算开销大的问题,提出有状态序列模型USE,通过存储模型状态和新型训练目标高效整合历史与近期行为,在8个下游任务上超越基线。
2024-03-20 cs.AI cs.CL cs.HC
Towards Understanding User Preferences from User Tagging Behavior for Personalization
个性化图像标签是一个相对较新且不断发展的研究领域,为了推进这一研究领域,我们必须审查和挑战定义标签重要性的事实标准。我们相信,要取得更大的进展,我们必须超越仅仅描述图像中视觉表示的对象的标签,走向更以用户为中心和主观的概念,如情感,情绪和偏好。我们专注于用户偏好的概念,并表明用户在图像上列出标签的顺序与他们为图像提供的标签的偏好顺序相关。虽然这一观察结果并不完全令人惊讶,但据我们所知,我们是第一个系统地探索用户标记行为的这一方面,并报告实证结果来支持这一观察结果。我们认为,这一观察可以用来帮助推进图像标记(和相关)社区。我们的贡献包括:1.)进行用户研究以证明该观察结果,2.)收集具有明确收集的用户标签偏好的数据集。
2015-11-20 cs.HC cs.IR cs.MM
Large language model as user daily behavior data generator: balancing population diversity and individual personality
Department of Electronic Engineering, Tsinghua University(电子工程系,清华大学)
针对日常行为预测中的数据隐私与可用性问题,提出BehaviorGen框架,利用大型语言模型生成合成行为数据,兼顾群体多样性与个体个性,在移动性和手机使用预测中最高提升18.9%。
2025-05-23 cs.CL cs.IR cs.LG
Delivery Optimized Discovery in Behavioral User Segmentation under Budget Constraint
Adobe Research(奥多比研究院)
针对预算约束下行为用户细分中交付失败问题,提出基于随机优化的交付优化发现算法,联合优化交付与发现,实验证明提升交付指标、降低预算并保持强预测性能。
2024-03-15 cs.AI cs.IR cs.LG