Embedding Symbolic Temporal Knowledge into Deep Sequential Models
National University of Singapore(新加坡国立大学)
序列和时间序列经常出现在机器人任务中,例如,活动识别和模仿学习。近年来,深度神经网络(DNN)已经成为一种有效的数据驱动方法,用于在给定足够的训练数据和计算资源的情况下处理序列。然而,当数据有限时,更简单的模型(如基于逻辑/规则的方法)工作得非常好,特别是当相关的先验知识应用于其构建时。然而,与DNN不同的是,这些“结构化”模型可能难以扩展,并且不能很好地处理原始的非结构化数据。在这项工作中,我们试图学习灵活的DNN,但在可用时利用先验时间知识。我们的方法是嵌入表示为线性时序逻辑(LTL)的符号知识,并使用这些嵌入来指导深度模型的训练。具体来说,我们通过图神经网络构造基于语义的LTL公式自动机的嵌入。实验表明,这些学习嵌入可以导致下游机器人任务,如顺序动作识别和模仿学习的改进。
2021-01-28 cs.AI cs.LG cs.RO
Feasible and Novel Synthetic Population Generation with Tabular and Sequential Travel Attributes
Concordia University(康考迪亚大学);Toronto Metropolitan University(多伦多都会大学)
该研究针对合成人群生成的抽样零值与不可行结构零值问题,提出带IGP、LDR、CLAP正则化项的两阶段生成框架,提升了表格与序列出行属性合成的可行性、多样性与新颖性。
2026-08-18 cs.AI cs.LG
Personalized Top-N Sequential Recommendation via Convolutional Sequence Embedding
Simon Fraser University(西蒙弗雷泽大学)
前- $N$顺序推荐将每个用户建模为过去交互的项目序列,旨在预测用户可能在“不久的将来”交互的前- $N$排名项目。交互的顺序意味着序列模式在序列中最近的项目对下一个项目有更大的影响时起着重要的作用。在本文中,我们提出了一个卷积序列嵌入推荐模型(\emph{Caser})作为解决方案,以满足这一要求。其思想是将最近项目的序列嵌入到时间和潜在空间中的“图像”中,并使用卷积滤波器将序列模式作为图像的局部特征进行学习。这种方法提供了一个统一和灵活的网络结构,用于捕获一般偏好和顺序模式。在公共数据集上的实验表明,Caser在各种常见的评估指标上始终优于最先进的顺序推荐方法。
2018-09-19 cs.IR cs.LG
MEANTIME: Mixture of Attention Mechanisms with Multi-temporal Embeddings for Sequential Recommendation
Seoul National University(首尔大学);POSTECH(浦项工科大学);Neural Processing Research Center(神经处理研究中心)
近年来,基于自我注意的推荐模型在顺序推荐任务中取得了很好的效果。遵循语言处理的习惯,这些模型中的大多数依赖于简单的位置嵌入来利用用户历史的顺序性质。然而,目前的方法有一些局限性。首先,顺序推荐与语言处理的不同之处在于时间戳信息是可用的。以前的模型没有很好地利用它来提取额外的上下文信息。其次,使用简单的嵌入方案可能导致信息瓶颈,因为相同的嵌入必须代表所有可能的上下文偏见。第三,由于以前的模型在每个注意力头部中使用相同的位置嵌入,它们可以浪费地学习重叠模式。为了解决这些限制,我们提出了MEANTIME(AtteNTION机制与多时间嵌入的混合),它采用多种类型的时间嵌入,旨在从用户的行为序列中捕获各种模式,以及充分利用这种多样性的注意力结构。对真实数据的实验表明,我们提出的方法优于当前最先进的顺序推荐方法,我们提供了一个广泛的消融研究,分析模型如何从不同的位置信息中获益。
2020-08-21 cs.IR cs.LG stat.ML
Sequential Embedding Induced Text Clustering, a Non-parametric Bayesian Approach
State University of New York at Buffalo(纽约州立大学布法罗分校);University of California, Irvine(加州大学欧文分校)
当前最先进的非参数贝叶斯文本聚类方法通过词袋上的多项分布对文档进行建模。虽然这些方法可以有效地利用文档的单词突发性表示,并取得不错的性能,但它们没有探索文本的顺序信息和同义词之间的关系。本文将文档建模为词袋、序列特征和词嵌入的结合点。我们提出了顺序嵌入诱导狄利克雷过程混合模型(SiDPMM),有效地利用这种联合文档表示文本聚类。序列特征由编码器-解码器组件提取。通过连续词袋模型(CBOW)产生的词嵌入来处理同义词。实验结果表明,我们的模型在两个主要方面的好处:1)提高了性能在多个不同的文本数据集的归一化互信息(NMI); 2)更准确的推理地面真理的聚类数与正则化效果的微小离群聚类。
2018-11-29 cs.IR cs.LG stat.ML
DenseRec: Revisiting Dense Content Embeddings for Sequential Transformer-based Recommendation
Albatross AI
针对基于Transformer的序列推荐模型的物品冷启动问题,提出DenseRec双路径嵌入方法,通过训练时学习密集嵌入到ID嵌入的线性投影,无缝泛化到未见过物品,在三个数据集上持续优于仅用ID的基线,为冷启动序列推荐提供实用方案。
2025-08-25 cs.IR cs.LG
Lightweight Self-Attentive Sequential Recommendation
The University of Queensland(昆士兰大学)
现代深度神经网络(DNN)通过在各种顺序推荐任务上实现最先进的推荐性能,极大地促进了顺序推荐系统的开发。给定交互项的序列,现有的基于DNN的顺序排序器通常将每个项嵌入到唯一向量中以支持用户兴趣的后续计算。然而,由于潜在的大量项目,顺序推荐器的过参数化项目嵌入矩阵已经成为资源受限环境中有效部署的存储器瓶颈,例如,智能手机和其他边缘设备。此外,我们观察到,广泛使用的多头自我注意,虽然是有效的建模项目之间的顺序依赖关系,在很大程度上依赖于冗余的注意力单元,以充分捕捉全球和本地项目的项目转移模式的序列。本文介绍了一种用于顺序推荐的新型轻量级自关注网络(LSAN)。为了积极地压缩原始嵌入矩阵,LSAN利用了组合嵌入的概念,其中每个项嵌入都是通过合并从小得多的嵌入矩阵中导出的一组选定的基本嵌入向量来组成的。同时,考虑到每个项目的内在动态,我们进一步提出了一个时间上下文感知的嵌入组合方案。此外,我们开发了一种创新的双注意力网络,它在保留捕获长期和短期(即,全局和局部)项依赖性。综合实验表明,LSAN显着提高了现有的顺序排序器的准确性和内存效率。
2021-08-25 cs.IR cs.LG
An FPGA-Based Accelerator for Graph Embedding using Sequential Training Algorithm
Keio University(庆应义塾大学)
针对IoT环境中图结构动态变化导致原始node2vec批处理训练不适用的难题,提出结合在线顺序训练算法的node2vec模型,并在FPGA上实现,实现高达205.25倍加速且在动态图中保持更高准确率。
2024-04-29 cs.LG
Let It Go? Not Quite: Addressing Item Cold Start in Sequential Recommendations with Content-Based Initialization
Sber AI Lab, Lomonosov Moscow State University (MSU)(斯伯人工智能实验室,莫斯科国立大学);Sber AI Lab, HSE University(斯伯人工智能实验室,俄罗斯高等经济大学);Sber AI Lab(斯伯人工智能实验室)
针对序列推荐中物品冷启动时内容嵌入冻结欠适配、微调又易语义漂移的问题,本文提出在冻结内容嵌入上加入小型可训练 delta,在多数据集和多模态上实现稳定提升。
2025-07-25 cs.AI cs.IR cs.LG
Position-Aware Sequential Attention for Accurate Next Item Recommendations
Skolkovo Institute of Science and Technology(斯克尔科夫科学与技术研究所);AIRI
本文提出位置核化的自注意力机制,用于提升序列推荐的准确性。
2026-02-24 cs.AI cs.IR cs.LG
Structural Drift: The Population Dynamics of Sequential Learning
Complexity Sciences Center(复杂性科学中心);University of California Davis(加州大学戴维斯分校);Santa Fe Institute(圣塔菲研究所);Columbia University(哥伦比亚大学)
我们介绍了一个理论的顺序因果推理,在链中的学习者估计一个结构模型,从他们的上游教师,然后通过样本从模型到他们的下游学生。它扩展了遗传漂变的种群动力学,重铸木村的选择性中性学说〈动〉<动>作为一个特殊的情况下,广义漂移过程中使用结构化的人口与记忆。我们研究了几个漂移过程的扩散和固定特性,并提出了学习,推理和进化的应用。我们还展示了漂移过程空间的组织如何控制保真度,促进创新,并导致信息丢失的顺序学习和无记忆。
2012-02-27 cs.LG q-bio.PE
SequentialBreak: Large Language Models Can be Fooled by Embedding Jailbreak Prompts into Sequential Prompt Chains
Bangladesh University of Engineering and Technology(孟加拉工程科技大学);Pennsylvania State University(宾夕法尼亚州立大学)
本文提出了一种名为SequentialBreak的新型越狱攻击方法,通过将恶意提示嵌入题库、对话补全等场景的顺序提示链中,利用上下文操纵欺骗LLMs生成有害响应,仅需单次查询即在开源和闭源模型上显著提升了攻击成功率。
2025-05-28 cs.AI cs.CL cs.CR
Composite Travel Generative Adversarial Networks for Tabular and Sequential Population Synthesis
Concordia University(康考迪亚大学);Ryerson University(瑞尔森大学)
基于代理人的交通建模已成为标准,以模拟旅行行为,流动性选择和活动偏好,使用整个人口的分类旅行需求数据,这些数据通常不易获得。为此目的提出了各种方法来综合人口数据。我们提出了一种复合旅行生成对抗网络(CTGAN),这是一种新型的深度生成模型,用于估计人口的潜在联合分布,能够重建具有表格(例如年龄和性别)以及连续移动数据(例如行程轨迹和序列)的复合合成代理。CTGAN模型与其他最近提出的方法,如变分自编码器(VAE)的方法,这表明在高维表格人口合成的成功。我们根据分布相似性、多变量相关性和时空度量来评估合成输出的性能。结果表明,一致和准确的生成合成人口和他们的表格和空间顺序的属性,在不同的空间尺度和尺寸。
2020-04-15 cs.LG cs.MA stat.ML
FairSR: Fairness-aware Sequential Recommendation through Multi-Task Learning with Preference Graph Embeddings
National Cheng Kung University(国立成功大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
顺序推荐(SR)从用户-项目交互的时间动态中学习,以预测下一个。公平性感知推荐减轻了用户偏好学习中的各种算法偏差。本文旨在将SR和算法公平性结合起来。我们提出了一种新的公平性感知的顺序推荐任务,在其中定义了一个新的度量,交互公平性,以估计如何推荐项目公平地与不同的保护属性组的用户进行交互。我们提出了一个基于多任务学习的深度端到端模型FairSR,它由两部分组成。一种是从给定的用户及其项目序列中学习和提取个性化的序列特征,用于SR。另一种是公平感知偏好图嵌入(FPGE)。FPGE的目标是双重的:将用户和项目的属性及其相关性的知识纳入实体表示,并减轻用户属性在项目上的不公平分布。在三个数据集上进行的大量实验表明,FairSR在推荐性能上优于最先进的SR模型。此外,FairSR推荐的项目也表现出良好的交互公平性。
2022-04-30 cs.IR cs.LG cs.SI
Sequential Decision Making on Unmatched Data using Bayesian Kernel Embeddings
University of Oxford(牛津大学);Carnegie Mellon University(卡内基梅隆大学)
顺序最大化函数期望的问题寻求最大化感兴趣的函数的期望值,而无需直接控制其特征。相反,这些特征的分布取决于给定的上下文和代理所采取的动作。与贝叶斯优化相反,函数的参数不受代理的控制,而是由代理基于给定上下文的动作间接确定。如果要将特征的信息包括在最大化问题中,则需要考虑这些特征的完整条件分布,而不仅仅是其期望。此外,该函数本身是未知的,仅对此类函数的噪声观测进行计数,并且可能需要使用不匹配的数据集。我们提出了一种新的算法,考虑到来自两个条件分布的特征和未知函数的估计的不确定性,通过建模前者作为贝叶斯条件均值嵌入和后者作为一个高斯过程。我们的算法在经验上优于目前最先进的算法在实验中进行。
2022-10-25 cs.LG stat.ML
Deterministic Fokker-Planck Transport -- With Applications to Sampling, Variational Inference, Kernel Mean Embeddings & Sequential Monte Carlo
FUB(柏林自由大学)
本文针对概率流 ODE 需评估不可处理当前密度的问题,分析核密度估计近似的缺陷,并提出将其转化为采样、变分推断、核均值嵌入和序贯 Monte Carlo 中优势的确定性 Fokker–Planck 输运方法。
2024-10-11 cs.LG cs.NA math.NA
Understanding ID-Text Complementarity in Sequential Recommendation
Snap Inc.(Snap公司)
本文提出了一种通过简单集成策略保留ID-文本互补性的序列推荐方法,证明ID和文本特征对提升推荐性能至关重要,而复杂融合架构并非必需。
2026-11-03 cs.LG
Sequential Embedding-based Attentive (SEA) classifier for malware classification
National University of Computer and Emerging Sciences(国立计算机与新兴科学大学);NED University of Engineering and Technology(NED工程技术大学)
智能设备的巨大增长带来了一些安全威胁。最突出的威胁之一是恶意软件,也称为恶意软件。恶意软件有能力破坏设备并破坏整个网络。因此,及早发现和减轻其影响对于避免灾难性影响极为重要。在这项工作中,我们提出了一个使用最先进的自然语言处理(NLP)技术进行恶意软件检测的解决方案。我们的主要重点是提供一个轻量级的,但有效的恶意软件检测分类器,可用于异构设备,无论是资源约束设备或资源丰富的机器。我们提出的模型进行了测试的基准数据集的准确性和日志损失得分分别为99.13%和0.04。
2023-02-11 cs.CR cs.LG
Sparse-Interest Network for Sequential Recommendation
Texas A&M University(德克萨斯农工大学);Alibaba Group(阿里巴巴集团)
最近的方法在顺序推荐集中学习的整体嵌入向量从用户的行为序列的下一个项目的推荐。然而,从实证分析中,我们发现,用户的行为序列往往包含多个概念上不同的项目,而一个统一的嵌入向量主要是由一个人的最近频繁的动作。因此,如果概念上相似的项目在最近的交互中不占主导地位,则可能无法推断下一个优选项目。为此,替代解决方案是用编码用户意图的不同方面的多个嵌入向量来表示每个用户。然而,最近的多兴趣嵌入工作通常考虑通过聚类发现的少量概念,这可能无法与真实系统中的大量项目类别相比较。有效地对大量不同的概念原型进行建模是一项重要的任务,因为项目通常没有在概念上很好地聚集在细粒度上。此外,一个人通常只与一组稀疏的概念进行交互。鉴于此,我们提出了一种新的\textbf{S}解析\textbf{I}兴趣\textbf{NE}网络(SINE)的顺序推荐。我们的稀疏兴趣模块可以自适应地从大型概念池中为每个用户推断一组稀疏的概念,并相应地输出多个嵌入。给定多个兴趣嵌入,我们开发了一个兴趣聚合模块来主动预测用户的当前意图,然后使用它来显式地为下一个项目预测建模多个兴趣。在几个公共基准数据集和一个大规模工业数据集上的实证结果表明,SINE可以实现比最先进的方法有实质性的改进。
2021-02-18 cs.IR cs.LG
Sequential learning on a Tensor Network Born machine with Trainable Token Embedding
Department of Physics, University of California, San Diego, CA 92093, USA(加州大学圣地亚哥分校物理系);School of Physics, Zhejiang University, Hangzhou 310027, China(浙江大学物理学院);Department of Physics, Georgia Institute of Technology, Atlanta, GA 30332, USA(佐治亚理工学院物理系)
本文提出基于可训练POVM嵌入的Born机器,通过改进张量网络结构,提升量子启发序列建模中复杂数据相关性的建模能力。
2025-12-28 cs.LG quant-ph
T-RoPE: Time-Aware Rotary Position Embedding for Sequential Recommendation
Shopify;Massachusetts Institute of Technology(麻省理工学院);Liquid AI
提出T-RoPE,用时间戳角度、多尺度频率等替代索引旋转,打破时间平移不变性,在多个基准和工业数据上显著提升序列推荐性能。
2026-09-28 cs.AI cs.IR cs.LG
Feature Selection as Deep Sequential Generative Learning
Arizona State University(亚利桑那州立大学);University of Kansas(堪萨斯大学);NEC Laboratories America Inc(美国NEC实验室)
本研究将特征选择重构为深度序列生成学习任务,通过深度变分Transformer模型提炼特征知识、学习嵌入空间,结合效用评估器梯度指导与自回归解码生成最优特征子集,兼具有效性与通用性。
2024-03-06 cs.LG
Defending Substitution-Based Profile Pollution Attacks on Sequential Recommenders
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
虽然顺序推荐系统在捕获用户动态方面取得了显着的改进,但我们认为顺序推荐系统容易受到基于替换的配置文件污染攻击。为了证明我们的假设,我们提出了一个基于替换的对抗攻击算法,该算法通过选择某些易受攻击的元素并将其替换为对抗项来修改输入序列。在无目标和有针对性的攻击情况下,我们观察到显着的性能恶化,使用建议的配置文件污染算法。受这些观察的启发,我们设计了一种有效的对抗性防御方法,称为Dirichlet邻域采样。具体来说,我们从多跳邻居构造的凸包中抽取项目嵌入,以替换输入序列中的原始项目。在采样过程中,使用狄利克雷分布来近似邻域中的概率分布,使得推荐器学习对抗局部扰动。此外,我们还设计了一种针对顺序推荐系统的对抗性训练方法。特别是,我们用独热编码表示选定的项,并对编码执行梯度上升,以搜索训练中项嵌入的最坏情况线性组合。因此,嵌入函数学习鲁棒的项目表示,并且训练的推荐器能够抵抗测试时的对抗性示例。大量的实验表明了我们的攻击和防御方法的有效性,这些方法在模型架构和数据集上的表现始终优于基线。
2022-07-19 cs.AI cs.CR cs.IR
To Copy, or not to Copy; That is a Critical Issue of the Output Softmax Layer in Neural Sequential Recommenders
University of Massachusetts(马萨诸塞大学)
本研究发现神经序列推荐器输出 softmax 层的单一隐藏状态与静态嵌入是处理重复项困难的根源,通过引入 softmax-CPR 替代架构使模型学会何时复制或排除输入项,在 12 个数据集上以同等模型规模显著提升了推荐性能。
2023-10-21 cs.AI cs.IR cs.LG
Kernel embedding of maps for sequential Bayesian inference: The variational mapping particle filter
University of Reading(雷丁大学);Universidad Nacional del Nordeste(东北国立大学);CONICET(阿根廷国家科学技术研究委员会);National Centre for Earth Observation(国家地球观测中心)
在这项工作中,一种新的序贯蒙特卡罗滤波器的目的是在高维状态空间的有效采样有限数量的粒子。粒子从前向后密度推进,使用一系列映射,使后密度和中间密度序列之间的库尔贝克-莱布勒散度最小化。映射序列表示梯度流。映射的一个关键成分是,它们被嵌入在一个再生核希尔伯特空间,这使得一个实用和有效的算法。嵌入提供了一种直接的手段来计算库尔贝克-莱布勒散度的梯度,从而使用公知的基于梯度的随机最优化算法来快速收敛。在混沌Lorenz-63系统,Lorenz-96系统,这是一个粗糙的原型大气动力学,和一个流行病模型,描述霍乱动力学的方法进行评估。映射粒子滤波器即使对长递归序列也不需要递归。在所有实验中,有效颗粒的数量保持接近于颗粒的总数。
2018-05-29 cs.LG math.OC physics.ao-ph
Table2Vec: Neural Word and Entity Embeddings for Table Population and Retrieval
University of Stavanger(斯塔万格大学)
表格以结构化的形式包含有价值的知识。我们采用神经语言建模方法将表格数据嵌入向量空间。具体来说,我们考虑不同的表元素,如标题、列标题和单元格,用于训练单词和实体嵌入。这些嵌入,然后利用在三个特定的表相关的任务,行人口,列人口和表检索,通过将它们纳入现有的检索模型作为额外的语义相似性信号。评估结果表明,表嵌入可以显着提高最先进的基线的性能。
2019-05-31 cs.CL cs.IR cs.LG
SeqPE: Transformer with Sequential Position Encoding
Nara Institute of Science and Technology(奈良科学技术研究所);Kuaishou Technology(快手科技);Tencent(腾讯)
针对传统位置编码外推能力弱、跨模态适配成本高的问题,提出全可学习的SeqPE框架,通过序列编码位置索引并结合对比与蒸馏目标正则化,在多任务上超越基线且支持多维输入无缝泛化。
2025-06-17 cs.AI cs.CL cs.CV
Sequential Kernel Embedding for Mediated and Time-Varying Dose Response Curves
Harvard University(哈佛大学);University College London(伦敦大学学院)
本文提出序贯核嵌入技术,结合核岭回归构建可处理连续变量与非线性反馈的中介及时变剂量反应曲线非参数估计量,并通过模拟与 Job Corps 数据验证其性能和理论性质。
2025-03-16 cs.LG econ.EM stat.ME
Revisiting Paraphrase Question Generator using Pairwise Discriminator
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
在本文中,我们提出了一种方法来获得双级嵌入。虽然保护词级嵌入的问题已经得到了很好的研究,但我们提出了一种获取句子级嵌入的新方法。这是通过解决释义生成任务的上下文中的简单方法获得的。如果我们使用顺序编码器-解码器模型来生成释义,我们希望生成的释义在语义上接近原始句子。确保这一点的一种方法是通过添加约束,使真正的释义嵌入接近,而不相关的释义候选句子嵌入远离。这是通过使用顺序的成对递归来确保的,该递归与用合适的损失函数训练的编码器共享权重。我们的损失函数惩罚释义句子嵌入距离过大。这种损失与顺序编码器-解码器网络结合使用。我们还通过评估情感分析任务的嵌入来验证我们的方法。所提出的方法在语义嵌入的结果,并优于国家的最先进的释义生成和情感分析任务的标准数据集。这些结果也显示出统计学显著性。
2020-01-04 cs.CL cs.LG
Heterogeneous Sequel-Aware Graph Neural Networks for Sequential Learning
The State University of New York at Buffalo(纽约州立大学布法罗分校)
本文提出异构续作感知图神经网络 HSAL-GNN,联合建模时间性物品序列与高阶用户嵌入,并在合成及真实数据集上验证其优于或可比于现有序列学习方法。
2025-06-05 cs.IR cs.LG
Break the ID-Language Barrier: An Adaption Framework for LLM-based Sequential Recommendation
Huawei, Beijing, China(华为,北京,中国);Institute of Finance Technology, UCL, United Kingdom(金融技术研究所,UCL,英国);Civil, Environmental and Geomatic Engineering, UCL, United Kingdom(土木、环境与地理工程,UCL,英国)
针对大语言模型领域知识不足制约序列推荐效果的问题,提出IDLE-Adapter适配框架,通过多步对齐与细化将预训练ID嵌入集成至LLM,在多数据集上实现推荐指标显著提升。
2025-10-02 cs.IR cs.LG
Population-Scale Network Embeddings Expose Educational Divides in Network Structure Related to Right-Wing Populist Voting
Netherlands eScience Center(荷兰电子科学中心);Department of Psychology, University of Amsterdam(阿姆斯特丹大学心理学系);ODISSEI Social Data Science Team, Department of Methodology and Statistics, Utrecht University(乌得勒支大学方法论与统计系ODISSEI社会数据科学团队);Centre for Complex System Studies, Utrecht University(乌得勒支大学复杂系统研究中心);Department of Software Technology, Delft University of Technology(代尔夫特理工大学软件技术系);Erasmus School of Behavioral and Social Sciences, Erasmus University Rotterdam(鹿特丹伊拉斯姆斯大学行为与社会科学学院);Department of Intelligent Systems, Delft University of Technology(代尔夫特理工大学智能系统系)
研究通过大规模网络嵌入分析教育网络结构与右翼民粹主义投票的关系,发现教育联系和成就的差异与投票相关。
2026-04-01 cs.LG cs.SI stat.AP
GOD: Enhancing Generalization via Deep Grafting for Sequential Recommendation
Pohang University of Science and Technology(浦项科技大学)
本文提出组件级蒸馏框架GOD,通过嫁接教师与学生模型组件提供组件级反馈,仅用学生模型推理,在三个真实数据集上较最优基线最高提升13.92%,解决序列推荐泛化能力弱的问题。
2026-08-26 cs.IR cs.LG
Unlocking the Power of Diffusion Models in Sequential Recommendation: A Simple and Effective Approach
MIC Lab, College of Computer Science and Technology, Jilin University(微创新实验室,计算机科学与技术学院,吉林大学)
针对扩散序列推荐中的嵌入坍缩问题,提出ADRec框架,通过token级扩散与自回归结合及三阶段训练,在六个数据集上提升准确性与效率。
2025-05-26 cs.IR cs.LG
Embedding and learning with signatures
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
时序数据出现在许多研究领域,如定量金融、医学或计算机视觉。一种新的顺序学习方法,称为签名方法和植根于粗糙路径理论,被认为是。它的基本原理是用多维路径的迭代积分的分级特征集(称为签名)来表示多维路径。这种方法严重依赖于嵌入原理,其包括将离散采样数据表示为路径,即,从$[0,1]$到$\mathbb{R}^d$的功能。在对用于签名的机器学习方法进行调查之后,通过对三个最近的具有挑战性的数据集进行深入研究,研究了嵌入对预测准确性的影响。它表明,一个特定的嵌入,称为领先滞后,是系统的最强的表演者在所有的数据集和算法考虑。此外,一项实证研究表明,在整个路径域上计算签名不会导致局部信息的丢失。它的结论是,一个良好的嵌入,结合签名与其他简单的算法实现的结果具有竞争力的国家的最先进的,特定领域的方法。
2020-12-09 cs.LG stat.ML
Integrating Bidirectional Long Short-Term Memory with Subword Embedding for Authorship Attribution
University of Pretoria(比勒陀利亚大学);University of the Witwatersrand(金山大学);Durban University of Technology(德班理工大学)
提出基于BLSTM与二维CNN的方法,利用子词信息捕捉序列写作风格,解决作者归属中未登录词问题,在CCAT50和Twitter上准确率分别提升1.07%和0.96%。
2023-06-26 cs.AI cs.CL cs.LG
Geospatial foundation-model embeddings improve population estimation unevenly across space and scale
WorldPop, School of Geography and Environmental Sciences, University of Southampton, United Kingdom(世界人口研究机构,地理与环境科学学院,南安普顿大学,英国);Geographic Data Science Lab, Department of Geography and Planning, School of Environmental Sciences, University of Liverpool, United Kingdom(地理数据科学实验室,地理与规划系,环境科学学院,利物浦大学,英国)
本文评估了地理基础模型嵌入物在巴西、尼日利亚和美国的子国家人口估计中的表现,发现其在数据贫乏区域提升预测效果,但空间尺度不匹配时性能下降,揭示了当前地理AI的局限性。
2026-05-03 cs.LG
SMEC: Rethinking Matryoshka Representation Learning for Retrieval Embedding Compression
Taobao & Tmall Group of Alibaba(淘宝与天猫集团)
针对高维嵌入带来的计算与存储问题,提出SMEC框架,通过顺序套娃表示学习、自适应维度选择和跨批次记忆模块,在显著压缩维度的同时保持甚至提升检索性能。
2025-10-14 cs.CL cs.LG
Analyzing Populations of Neural Networks via Dynamical Model Embedding
Harvard University(哈佛大学);Stanford University(斯坦福大学)
解释深度神经网络的一个核心挑战是识别为同一任务训练的不同网络所实现的底层算法之间的共性。出于这个问题的动机,我们引入了一种算法,它构造低维流形,其中每个点对应于一个神经网络模型,如果相应的神经网络执行类似的高级计算过程,则两个点是附近的。CNOO将预先训练的神经网络的集合作为输入,并输出一个元模型,该元模型模拟隐藏状态的动态以及集合中任何模型的输出。要仿真的特定模型由元模型作为输入的模型嵌入向量确定;这些模型嵌入向量构成对应于给定模型群体的流形。我们将CNOO应用于RNN和CNN,并发现由此产生的模型嵌入空间能够实现新的应用:以对重新参数化不太敏感的方式基于其高级计算过程对神经网络进行聚类;对在相同任务上训练的几个神经网络进行模型平均,以获得具有相似任务性能的新的可操作神经网络;以及通过优化模型嵌入空间的半监督学习。使用对RNN种群训练的元模型的定点分析,我们获得了RNN动态拓扑的相似性如何对应于其高级计算过程的相似性的新见解。
2023-02-27 cs.LG math.DS
AeroMELD: A Linear Embedding of Aerosol Populations for Diagnostics and Latent Dynamics
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊);Sandia National Laboratories(桑迪亚国家实验室)
研究旨在准确表示大气气溶胶群体,提出AeroMELD框架构建低维潜在变量以保留其数学结构,通过尺度-形状分解等实现,能准确重建多种分布及行为,为在潜在空间学习气溶胶过程演化奠定基础。
2026-07-14 cs.LG physics.ao-ph
Attributed Sequence Embedding
Worcester Polytechnic Institute(伍斯特理工学院);Amadeus IT Group(艾玛迪斯信息技术集团)
在连续数据(如点击流和基因序列)上的挖掘任务需要精心设计可用于学习算法的嵌入。最近的特征学习研究已经扩展到序列数据,其中每个实例由具有可变长度的异构项序列组成。然而,许多现实世界的应用程序通常涉及属性序列,其中每个实例都由一系列分类项和一组属性组成。在本文中,我们研究这个新的问题的属性序列嵌入,其目标是学习的表示属性序列在一个无监督的方式。这个问题是从用户行为分析到基因序列聚类等许多重要数据采掘任务的核心。这个问题是具有挑战性的,由于序列之间的依赖关系和它们的相关属性。我们提出了一个深度多模态学习框架,称为NAS,以生成属性序列的嵌入。嵌入是独立于任务的,可以用于各种挖掘任务的属性序列。我们在现实世界数据集的各种无监督学习任务中证明了属性序列嵌入的有效性。
2019-11-03 cs.CL cs.DB cs.LG
ROBAD: Robust Adversary-aware Local-Global Attended Bad Actor Detection Sequential Model
Georgia Institute of Technology(佐治亚理工学院)
ROBAD模型利用Transformer编码器-解码器结构捕获帖子级局部信息和序列级全局信息,并结合对比学习增强的模拟对抗训练,在Yelp和Wikipedia数据集上实现了对最先进对抗攻击的鲁棒不良行为者检测。
2025-07-20 cs.LG cs.SI
Sequential Community Mode Estimation
IIT Bombay(孟买印度理工学院)
我们考虑一个人口,划分成一组社区,并研究通过连续的,随机抽样的个人确定人口中最大的社区的问题。存在多个采样域,称为\emph{boxes},其也划分总体。每个盒子可以由不同社区的个人组成,每个社区又可以分布在多个盒子上。学习代理可以在任何时候从任何选择的盒子中随机抽样(替换)一个个体;当这一过程完成时,代理学习抽样个体所属的社区,以及这个个体是否以前被抽样过。代理的目标是通过优化抽样策略和决策规则,最大限度地减少在\emph{fixed budget}设置中错误识别最大社区的概率。我们提出并分析了新的算法,这个问题,并建立信息理论下的任何算法的错误概率的下限。在几种情况下的兴趣,指数衰减率的错误概率下,我们的算法被证明是最佳的常数因子。所提出的算法通过在真实世界数据集上的仿真进一步验证。
2021-11-16 cs.LG stat.ML
Integrating Reward Maximization and Population Estimation: Sequential Decision-Making for Internal Revenue Service Audit Selection
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学);Internal Revenue Service(美国国税局);University of Chicago(芝加哥大学)
我们引入了一个新的设置,优化和估计结构化土匪。在这里,一个策略必须选择一批武器,每一个武器都有自己的背景,这将使它既能最大化奖励,又能保持对奖励的准确(理想情况下是无偏的)人口估计。这种设置是许多公共和私营部门应用程序所固有的,通常需要处理延迟反馈、小数据和分布偏移。我们证明了它的重要性,从美国国税局(IRS)的真实数据。国税局每年对税基进行审计。其两个最重要的目标是查明可疑的误报和估计“税收差距”-支付数额与真实欠款数额之间的全球差额。基于与IRS的独特合作,我们将这两个过程作为一个统一的优化和估计结构化强盗。我们分析了IRS问题的优化和估计方法,并提出了一种新的无偏人口估计机制,实现了与基线方法相当的回报。这种方法有可能提高审计效率,同时保持对税收差距的政策相关估计。鉴于目前的税收缺口估计接近5000亿美元,这具有重要的社会后果。我们认为,这个问题的设置是肥沃的土壤,为进一步的研究,我们强调其有趣的挑战。这项研究和相关研究的结果目前正在被纳入国税局审计选择方法的不断改进之中。
2023-01-24 cs.CY cs.LG
AdaptiveRec: Adaptively Construct Pairs for Contrastive Learning in Sequential Recommendation
Seoul National University(首尔国立大学)
本文提出AdaptiveRec方法,通过自适应构建对比学习样本对,缓解序列推荐中的假阴性问题,提升物品嵌入质量与推荐性能。
2023-07-07 cs.IR cs.LG
Context-Aware Systems for Sequential Item Recommendation
Quizlet, Inc.(Quizlet公司)
Quizlet是美国最受欢迎的在线学习工具,超过2/3的高中生和1/2的大学生使用。超过95%的Quizlet用户报告成绩有所提高,该平台已成为数百万教室使用的事实上的工具。在本文中,我们探讨的任务,推荐合适的内容,为学生学习,考虑到他们的兴趣,以及他们的同龄人正在学习。我们提出了一种新的方法,即神经教育推荐引擎(NERE),推荐教育内容,利用学生的行为,而不是评级。我们发现,这种方法更好地捕捉了与学习更一致的社会因素。NERE基于一个循环神经网络,包括协作和基于内容的推荐方法,并考虑到任何特定学生的速度,掌握和经验,以推荐适当的任务。我们通过联合学习用户嵌入和内容嵌入来训练NERE,并尝试预测最终时间戳的内容嵌入。我们还为我们的神经网络开发了一个置信度估计器,这是生产化这个模型的关键要求。我们将NERE应用于Quizlet的专有数据集,并给出了我们的结果。我们在内容嵌入空间中的R^2得分为0.81,在100个最近邻上的召回率为54%。这大大超过了标准矩阵分解方法提供的12%的recall@100分数。最后,我们将讨论如何部署NERE,并将我们的工作定位为K-12空间的第一个教育推荐系统之一。
2019-04-04 cs.IR cs.LG stat.ML
Adaptive Policies for Sequential Sampling under Incomplete Information and a Cost Constraint
University of Athens(雅典大学)
我们考虑的问题,序贯抽样从一个有限数量的独立的统计总体,以最大限度地提高期望的无限地平线平均结果每一个时期,在约束下,期望的平均抽样成本不超过一个上限。结果分布未知。我们构造了一类相容的自适应策略,在此策略下,对于所有具有有限均值的分布,在完全信息下,平均结果以概率1收敛到真值。我们还比较了收敛速度的各种政策在这一类使用模拟。
2012-01-19 cs.LG math.OC stat.ML