Vela: User Behavior as Supervision Sparks LLM Intelligence
本研究提出以用户行为为监督信号的思路,引入Vela框架将真实用户行为转化为可训练任务,微调Qwen3.6-35B-A3B后在用户相关任务等性能上获显著提升,证明真实用户行为是大语言模型的可扩展监督源。
2026-10-14 cs.AI cs.CL
Behavior2Trip: Towards Personalized Travel Planning via User Behavior Trajectory
Meituan Inc.(美团公司);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);Beijing Institute of Technology(北京理工大学);University of Edinburgh(爱丁堡大学)
该研究提出行为感知旅行规划新任务,构建Behavior2Trip基准,提出B2T-Agent智能体,实验显示其在旅行规划任务上表现优于基线,凸显任务挑战性与模型泛化性。
2026-08-28 cs.AI cs.CL
Personas within Parameters: Fine-Tuning Small Language Models with Low-Rank Adapters to Mimic User Behaviors
JPMorgan Chase & Co(摩根大通公司)
本文提出使用冻结LLM提取用户表示,并通过微调小语言模型结合低秩适配器构建用户角色智能体,在可扩展性与性能间取得平衡,有效模拟用户行为以弥合推荐系统离线与真实性能差距。
2025-08-18 cs.AI cs.CL cs.IR
Amnesia: Adversarial Semantic Layer Specific Activation Steering in Large Language Models
Honda Research Institute Europe(本田欧洲研究院)
本文提出Amnesia攻击,通过操纵transformer内部状态绕过开放式大语言模型的安全机制,展示其能生成有害内容而无需微调。研究强调了对开放式大语言模型安全性的迫切需求。
2026-03-17 cs.AI cs.CR cs.LG
Measuring and Mitigating the Distributional Gap Between Real and Simulated User Behaviors
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院);University of California, Berkeley(加州大学伯克利分校)
本文提出了一种方法,系统评估24个基于LLM的用户模拟器在编程和写作任务中的表现,揭示了真实用户行为与模拟行为之间的显著分布差异,并通过组合互补的模拟器来缩小这一差距。
2026-11-09 cs.CL
Unsupervised Anomaly Detection of Information Operations Users via Behavioral and Language Patterns
RMIT University(皇家墨尔本理工大学);Macquarie University(麦考瑞大学)
研究针对社交媒体网络信息操作检测难题,提出无监督方法TENSOR,利用多模态数据,通过训练时间点过程捕捉异常行为模式,并引入新证据函数调整输出,在五个真实数据集上表现优于基线。
2026-07-08 cs.AI cs.LG
Hierarchical Tree Search-based User Lifelong Behavior Modeling on Large Language Model
University of Chinese Academy of Sciences(中国科学院大学);Kuaishou Technology(快手科技);Unaffiliated(无隶属)
提出HiT-LBM框架,结合分块提取与层次树搜索,解决大语言模型在推荐系统中处理用户终身行为与兴趣演化的难题,提升推荐性能。
2025-05-26 cs.AI cs.IR
Large language model as user daily behavior data generator: balancing population diversity and individual personality
Department of Electronic Engineering, Tsinghua University(电子工程系,清华大学)
针对日常行为预测中的数据隐私与可用性问题,提出BehaviorGen框架,利用大型语言模型生成合成行为数据,兼顾群体多样性与个体个性,在移动性和手机使用预测中最高提升18.9%。
2025-05-23 cs.CL cs.IR cs.LG
User Behavior Simulation with Large Language Model based Agents
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Beijing Key Laboratory of Big Data Management and Analysis Methods(北京市大数据管理与分析方法重点实验室)
本文提出一种基于LLM的智能体框架与沙盒环境来模拟真实用户行为,实验证明其模拟行为接近真实人类,并成功应用于信息茧房与用户从众行为的研究,为以人为本的应用提供了新范式。
2024-02-15 cs.AI cs.IR
To See or To Read: User Behavior Reasoning in Multimodal LLMs
Personalization Team, Walmart Global Tech(Walmart全球科技个性化团队)
本文提出 BehaviorLens 基准框架,系统比较文本、散点图和流程图三种模态表示对多模态大语言模型用户行为推理的影响,发现图像表示可使下次购买预测准确率提升 87.5% 且不增加计算成本。
2025-11-05 cs.AI cs.LG
DISHONEST: Dissecting misInformation Spread using Homogeneous sOcial NEtworks and Semantic Topic classification
Pacific Northwest National Laboratory(西北太平洋国家实验室);University of California San Diego(加利福尼亚大学圣迭戈分校)
本研究针对COVID-19期间虚假信息传播的回声室效应问题,结合转发网络与主题建模关联社交互动与内容维度,提出新的用户社交移动速度指标,验证了二者的相关性在虚假信息泛滥子社区中依然成立。
2024-12-12 cs.AI cs.CL cs.SI
Designing for Difference: How Human Characteristics Shape Perceptions of Collaborative Robots
本文通过在线实验和认知-情感映射方法,研究人类特征与交互范式如何影响人们对协作机器人的评价,发现反社会行为评分最低、高龄协作评价更敏感、物体交接场景更受认可,强调亲社会设计和反思方法对包容性机器人开发的重要性。
2025-07-22 cs.AI cs.CV cs.ET
LiveSim: Simulating Environment-Shaped Users in Multi-Agent Live-Stream Ecosystems
University of Chinese Academy of Sciences(中国科学院大学);ByteDance China(字节跳动中国)
该研究提出基于LLM的LiveSim框架,通过环境塑造的动态用户行为模拟,在真实直播风控数据实验中验证其可提升用户级行为保真度并支持生态系统级分析。
2026-09-01 cs.AI cs.CY cs.MA
Large-Scale User Behavior Analysis in Multimodal AI-Assisted Manual Task Execution
NOVA University of Lisbon(新里斯本大学);NOVA LINCS(新里斯本大学计算机与系统工程研究所)
本研究基于数千名野外用户的大规模数据分析,揭示对话式任务助手在现实使用中的交互流程、用户意图、对话特征及满意度相关行为因素,并提出设计指南。
2026-09-09 cs.AI cs.CL cs.HC
USE: Dynamic User Modeling with Stateful Sequence Models
Northwestern University(西北大学);Utrecht University(乌得勒支大学);Snap Inc(Snap公司)
针对动态用户建模中无状态模型重处理数据计算开销大的问题,提出有状态序列模型USE,通过存储模型状态和新型训练目标高效整合历史与近期行为,在8个下游任务上超越基线。
2024-03-20 cs.AI cs.CL cs.HC
ATRank: An Attention-Based User Behavior Modeling Framework for Recommendation
Alibaba Group(阿里巴巴集团);Key Laboratory of High Confidence Software Technologies, EECS, Peking University(北京大学信息科学技术学院高可信软件技术重点实验室)
用户可以被表示为他/她沿着历史所做的事情。处理用户建模问题的一种常用方法是手动提取异构行为上的各种聚合特征,由于人类本能的局限性,这种方法可能无法完全表示数据本身。最近的工作通常使用基于RNN的方法来给出行为序列的整体嵌入,然后可以由下游应用程序利用。然而,这只能保存非常有限的信息,或者一个人的聚合记忆。当下游应用程序需要促进建模的用户特征时,它可能会失去用户的特定高度相关行为的完整性,并引入来自不相关行为的噪声。本文提出了一个基于注意力的用户行为建模框架ATRank,我们主要用于推荐任务。该模型考虑了用户行为的异质性,将用户行为映射到多个潜在语义空间中,并通过自注意在行为之间产生影响。然后,下游应用程序可以通过vanilla attention使用用户行为向量。实验表明,ATRank能够获得更好的性能和更快的训练过程。我们进一步探索ATRank使用一个统一的模型来预测不同类型的用户行为在同一时间,表现出相当的性能与高度优化的个人模型。
2017-11-27 cs.AI cs.IR
BehaveGPT: A Foundation Model for Large-scale User Behavior Modeling
Department of Electronic Engineering, BNRist, Tsinghua University(电子工程系,BNRist,清华大学);Honor Device Co., Ltd(荣耀设备有限公司)
BehaveGPT是一个基于Transformer和DRO预训练范式的大规模用户行为预测基础模型,在真实数据集上宏平均和加权召回率提升超10%,并首次在荣耀数据集上揭示行为建模的缩放定律。
2025-05-23 cs.AI cs.IR
Sampling Is All You Need on Modeling Long-Term User Behaviors for CTR Prediction
Meituan Inc.(美团公司)
丰富的用户行为数据已被证明对点击率(CTR)预测应用程序具有重要价值,特别是在工业推荐,搜索或广告系统中。然而,由于在线服务时间的严格要求,现实世界的系统要充分利用长期的用户行为是不平凡的。以往的研究大多采用基于检索的策略,即先检索少量的用户行为,以供后续的注意。然而,基于检索的方法是次优的,会造成或多或少的信息损失,并且难以平衡检索算法的有效性和效率。在本文中,我们提出了SDIM(基于采样的深度兴趣建模),这是一种简单而有效的基于采样的端到端方法,用于对长期用户行为进行建模。从多个散列函数中采样,生成候选项和用户行为序列中每个项的散列签名,通过直接收集与具有相同散列签名的候选项相关联的行为项来获取用户兴趣。我们从理论上和实验上表明,该方法在建模长期用户行为时与标准的基于注意力的模型表现相当,同时速度要快很多倍。并介绍了SDIM在本系统中的部署。具体来说,我们通过设计一个名为BSE(行为序列编码)的单独模块,将最耗时的行为序列哈希从CTR模型中解耦出来。BSE对于CTR服务器是无延迟的,使我们能够对极长的用户行为进行建模。离线和在线实验都证明了SDIM的有效性。SDIM现已在美团APP搜索系统上线部署。
2022-08-08 cs.AI cs.IR
Fraudulent User Detection Via Behavior Information Aggregation Network (BIAN) On Large-Scale Financial Social Network
Zhejiang Lab(之江实验室)
金融欺诈每年造成数十亿美元的损失,但缺乏有效的方法来检测欺诈同时考虑用户简档和他们的行为在社会网络。社交网络形成图结构,而图神经网络(GNN)是深度学习中一个很有前途的研究领域,可以无缝地处理非欧几里德图数据。在金融欺诈检测中,通过分析用户简档及其交易、借贷等行为和社会关系,可以识别犯罪分子的作案手法。目前,大多数GNN不能选择重要的邻居,因为邻居的边缘属性(即,行为)被忽略。本文提出了一种新型的行为信息聚合网络(BIAN),将用户行为与其他用户特征结合起来。与其“近亲”如图注意力网络(GAT)和图Transformer网络(GTN)不同,它基于相邻边属性分布聚合邻居,即金融社交网络中的用户行为。在真实世界的大规模金融社交网络数据集DGraph上的实验结果表明,BIAN在AUROC上获得了10.2%的增益。
2023-03-26 cs.AI cs.SI
Incorporating Group Prior into Variational Inference for Tail-User Behavior Modeling in CTR Prediction
Kuaishou Technology(快手科技)
针对CTR预测中尾部用户行为稀疏导致兴趣建模困难的问题,提出GPSVI方法,通过引入群体偏好作为变分推断先验并结合保体积流,在保持头部用户效果的同时持续提升尾部用户表现。
2024-10-19 cs.AI cs.IR
Hybrid CNN Based Attention with Category Prior for User Image Behavior Modeling
Meituan(美团)
在网络广告系统中,用户历史行为被证明是预测点击率(CTR)的有效方法。在中国最大的电子商务平台之一美团中,商品通常与其图像一起显示,用户是否点击商品通常会受到其图像的影响,这意味着用户的图像行为有助于了解用户的视觉偏好并提高CTR预测的准确性。现有的用户图像行为模型通常使用两阶段架构,其在第一阶段中通过现成的卷积神经网络(CNN)提取图像的视觉嵌入,然后用这些视觉嵌入和非视觉特征联合训练CTR模型。我们发现,两个阶段的架构是次优的CTR预测。同时,在线广告系统中精确标注的类别包含丰富的视觉先验信息,可以增强用户图像行为的建模。然而,没有类别先验的现成CNN可能会提取与类别无关的特征,从而限制了CNN的表达能力。为了解决这两个问题,我们提出了一种基于混合CNN的注意力模块,统一了用户的图像行为和类别先验,用于CTR预测。我们的方法在十亿规模的真实服务数据集上的在线和离线实验中都取得了显着的改进。
2022-05-05 cs.AI cs.CV
End-to-End User Behavior Retrieval in Click-Through RatePrediction Model
Alibaba Group(阿里巴巴集团)
点击率预测是推荐系统的核心任务之一。它预测每个用户-项目对的个性化点击概率。近年来,研究人员发现,考虑用户行为序列,特别是长期用户行为序列,可以大大提高CTR模型的性能。某电子商务网站的报告显示,23%的用户在过去5个月内的点击量超过1000次。虽然有大量的工作集中在建模连续的用户行为,很少有工作可以处理长期的用户行为序列,由于严格的推理时间限制,在现实世界的系统。提出了两阶段方法来推动极限以获得更好的性能。在第一阶段,设计了一个辅助任务,用于从长期用户行为序列中检索前$k$相似项。在第二阶段,经典注意力机制在候选项目和第一阶段中选择的$k$项目之间进行。然而,在检索阶段和主要的CTR任务之间存在信息差。这种目标偏离会大大降低长期用户序列的性能增益。本文受Reformer的启发,提出了一种局部敏感哈希(LSH)方法ETA(End-to-end Target Attention),该方法可以大大降低训练和推理的代价,使长时间用户行为序列的端到端训练成为可能。离线和在线实验都证实了我们模型的有效性。我们将ETA部署到一个大规模的真实世界的电子商务系统中,并实现了额外的3.1%的GMV(总销售价值)相比,两个阶段的长用户序列CTR模型。
2021-08-10 cs.AI cs.IR
A Deep Behavior Path Matching Network for Click-Through Rate Prediction
Meituan(美团);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
用户在电子商务应用程序上的行为不仅包含对商品的各种反馈,有时还隐含着用户决策的认知线索。为了理解用户决策背后的心理过程,本文提出了行为路径的概念,并提出将用户当前行为路径与历史行为路径进行匹配来预测用户在应用程序上的行为,设计了一个用于行为路径匹配的深度神经网络,解决了行为路径建模的三个难点:稀疏性、噪声干扰和行为路径的精确匹配。特别是,我们利用对比学习,以增加用户的行为路径,提供行为路径的自激活,以减轻噪音的影响,并采用两级匹配机制,以确定最合适的候选人。我们的模型在两个真实世界的数据集上表现出出色的性能,优于最先进的CTR模型。此外,我们的模式已部署在美团外卖平台上,并已累计提升点击率1. 6%及广告收入1. 8%。
2023-02-01 cs.AI
Deep Group Interest Modeling of Full Lifelong User Behaviors for CTR Prediction
University of Science and Technology of China(中国科学技术大学);Meituan(美团);University of Electronic Science and Technology of China(电子科技大学)
针对点击率预测中两阶段行为兴趣建模存在信息损失、仅用点击行为不全面的问题,提出DGIN网络,通过分组全量行为、引入双属性结合Transformer建模全生命周期兴趣,兼顾效率与预测精度。
2024-10-29 cs.AI cs.IR
Online Behavior Modification for Expressive User Control of RL-Trained Robots
Tufts University(塔夫茨大学)
本文提出在线行为修正范式及ACORD算法,使用户能实时控制RL训练机器人的行为风格,在用户研究中实现了与共享自主相当的用户表达控制,同时保留RL的自主性与鲁棒性。
2024-08-15 cs.AI cs.RO
UserBERT: Modeling Long- and Short-Term User Preferences via Self-Supervision
Rakuten Institute of Technology, Rakuten Group, Inc.(乐天集团株式会社乐天技术研究所)
电子商务平台每天从数百万独立用户那里生成大量的客户行为数据,例如点击和购买。然而,有效地将这些数据用于行为理解任务是具有挑战性的,因为通常没有足够的标签以监督的方式从所有用户那里学习。本文将BERT模型扩展到电子商务用户数据,以自监督的方式进行预训练表示。通过将序列中的用户操作视为类似于句子中的单词,我们将现有的BERT模型扩展到用户行为数据。此外,我们的模型采用统一的结构,同时从长期和短期用户行为以及用户属性中学习。我们提出了不同类型的用户行为序列的标记化方法,输入表示向量的生成,以及一种新的借口任务,使预训练模型能够从自己的输入中学习,从而消除了对标记训练数据的需要。大量的实验表明,学习的表示在转移到三个不同的现实世界的任务,特别是与特定于任务的建模和多任务表示学习的显着改善
2022-02-14 cs.AI cs.LG
Improving Latent User Models in Online Social Media
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
现代社交平台的特征在于存在与文本内容的发布、共享和消费相关联的丰富的用户行为数据。用户在复杂而动态的社交环境中与内容交互,并相互交互,同时随着时间的推移而发展。为了有效地描述用户并预测他们在这种环境中的未来行为,有必要克服几个挑战。行为数据的内容异构性和时间不一致性导致了用户级的严重稀疏性。在本文中,我们提出了一种新的相互增强的框架,同时分区和学习用户的潜在活动配置文件。我们提出了一种灵活的用户划分方法,以有效地发现罕见的行为和解决用户级稀疏。我们广泛评估了来自现实世界平台的海量数据集的拟议框架,包括问答网络和互动在线课程(MOOC)。我们的研究结果表明,在不同的任务范围内,我们的收益显着超过最先进的行为模型(平均15%),并且对于交互数据有限的用户,我们的收益进一步放大。所提出的算法适合并行化,线性扩展数据集的大小,并提供灵活性,以模拟用户行为的不同方面。
2019-02-07 cs.AI cs.LG cs.SI
Delivery Optimized Discovery in Behavioral User Segmentation under Budget Constraint
Adobe Research(奥多比研究院)
针对预算约束下行为用户细分中交付失败问题,提出基于随机优化的交付优化发现算法,联合优化交付与发现,实验证明提升交付指标、降低预算并保持强预测性能。
2024-03-15 cs.AI cs.IR cs.LG
Learning Transferrable Parameters for Long-tailed Sequential User Behavior Modeling
Zhejiang University(浙江大学);Singapore Management University(新加坡管理大学);Monash University(蒙纳士大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Salesforce Research Asia(Salesforce亚洲研究院)
顺序用户行为建模在面向用户的在线服务中起着至关重要的作用,例如产品购买,新闻订阅消费和在线广告。顺序建模的性能很大程度上取决于历史行为的规模和质量。然而,用户行为的数量本质上遵循长尾分布,这很少被探索。在这项工作中,我们认为,专注于尾部用户可以带来更多的好处,并通过从优化和功能的角度学习可转移的参数来解决长尾问题。具体来说,我们提出了一个梯度对齐优化器,并采用了一个对抗性的训练方案,以促进知识从头部转移到尾部。这样的方法也可以处理新用户的冷启动问题。此外,它可以直接适应各种成熟的序列模型。在四个真实世界数据集上的广泛实验验证了我们的框架与最先进的基线相比的优越性。
2020-11-01 cs.AI cs.IR cs.LG