Looking around you: external information enhances representations for event sequences
LARSS Laboratory, AI Center, Skoltech(LARSS实验室、人工智能中心、Skoltech)
针对事件序列表示学习中忽略同时发生序列上下文的问题,提出通过聚合多个用户表示来增强特定用户表示的方法,其中可学习注意力机制在多个数据集上显著提升指标。
2026-05-28 cs.LG
Interacting Diffusion Processes for Event Sequence Forecasting
McGill University(麦吉尔大学);Mila Québec AI Institute(魁北克人工智能研究所(Mila))
针对神经时间点过程长期预测性能受限的问题,提出一种由两个交互扩散过程组成的生成模型,直接学习事件类型与到达间隔的联合分布,在长期预测任务上超越现有基线。
2024-07-20 cs.LG
THP: Topological Hawkes Processes for Learning Causal Structure on Event Sequences
Guangdong University of Technology(广东工业大学);Peng Cheng Laboratory(鹏城实验室);Shantou University(汕头大学);Huawei(华为);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
在多类型事件序列上学习事件类型之间的因果结构是一个重要而又具有挑战性的任务。现有的方法,如多变量Hawkes过程,大多假设每个序列是独立同分布的。然而,在许多现实世界的应用程序中,它是常见的遇到一个拓扑网络背后的事件序列,使一个事件被激发或抑制不仅由它的历史,而且由它的拓扑邻居。因此,在描述的事件序列之间的拓扑依赖性的失败导致的因果结构的错误检测。从时间卷积的角度考虑Hawkes过程,提出了一种拓扑Hawkes过程(THP),将拓扑域中的图卷积与时域中的时间卷积联系起来。我们进一步提出了一个因果结构学习方法THP的似然框架。该方法具有THP的基于图卷积的似然函数和似然函数期望最大化的稀疏优化方案。理论分析和仿真数据及实际数据的实验结果表明了该方法的有效性
2022-05-15 cs.LG
Uniting contrastive and generative learning for event sequences models
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
本研究整合实例级对比学习与潜在空间掩蔽事件恢复的生成方法,构建平衡局部与全局特征的事件序列表示,在序列分类和下一事件预测任务中表现优于单一方法并展现协同效应。
2024-12-23 cs.LG
Realism VS Accuracy: Event Sequence Forecasting from a Generative Modeling Perspective
ITMO University(ITMO大学);Vega Institute Foundation(维加研究所基金会);SB AI Lab(SB人工智能实验室);Applied AI Institute(应用人工智能学院);AXXX
本研究将事件序列多 horizon 预测视为条件生成建模问题,构建含双维度指标等的基准,发现准确性与现实性存在根本权衡,提出 Wasserstein BaryBooster 算法实现现实性向准确性的转化。
2026-10-12 cs.LG
Continuous-time convolutions model of event sequences
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);Sber AI Lab(Sber AI实验室);Choco Communication(Choco通信公司);Center for Digital Technology and Management(数字技术与管理中心)
本文提出COTIC,一种基于连续卷积层的高效事件序列建模方法,以低计算开销捕获复杂时序依赖,并在下一事件时间与类型预测上显著优于现有模型。
2024-09-03 cs.LG
HyperHawkes: Hypernetwork based Neural Temporal Point Process
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
时间点过程是连续时间空间中时间-事件数据建模的重要工具。尽管有来自社交媒体、医疗保健等各个领域的大量事件序列数据,时间点过程的实际应用面临两个主要挑战:1)在动态环境中从看不见的序列预测事件是不可推广的; 2)它们不能在保持先前学习的知识的同时在具有最小监督的持续发展的环境中茁壮成长。为了解决这些问题,我们提出了\textit{HyperHawkes},一个基于超网络的时间点过程框架,它能够建模时间的事件发生的看不见的序列。从而,我们解决了时间到事件建模的零样本学习问题。我们还开发了一个基于超网络的不断学习的时间点过程的时间到事件序列的连续建模与最小的遗忘。通过这种方式,\textit{HyperHawkes}通过zero-shot建模和持续学习能力增强了时间点过程。我们通过在两个真实数据集上的实验来演示所提出的框架的应用。我们的研究结果表明,所提出的方法在预测未来事件的zero-shot制度下看不见的事件序列的有效性。我们还表明,该模型能够预测序列,同时保留以前的事件序列的信息,从而减轻灾难性遗忘的时间到事件的数据。
2022-10-01 cs.LG
HGCN(O): A Self-Tuning GCN HyperModel Toolkit for Outcome Prediction in Event-Sequence Data
College of Computing and Mathematical Sciences, Khalifa University(哈立发大学计算与数学科学学院);Department of Computer Science, University of Milan(米兰大学计算机科学系)
提出HGCN(O)工具包,集成四种GCN架构和多种图表示,通过自调优优化预测准确性和稳定性,在平衡和不平衡数据集上表现优异,优于传统方法。
2026-11-03 cs.LG
Learning transition times in event sequences: the Event-Based Hidden Markov Model of disease progression
University College London(伦敦大学学院)
进行性疾病随着时间的推移而恶化,其特征在于跟踪疾病进展的特征的单调变化。在这里,我们将两种以前独立的方法-基于事件和隐马尔可夫模型-的想法联系起来,以获得一种新的疾病进展生成模型。我们的模型可以从有限的数据集中唯一地推断出最有可能的组级序列和事件(自然历史)的时间。此外,即使数据缺失,它也可以推断和预测个人水平的轨迹(预后),这使其具有很高的临床实用性。在这里,我们推导出的模型,并提供了一个推理方案的基础上的期望最大化算法。我们使用阿尔茨海默病神经影像学倡议的临床,成像和生物流体数据来证明我们模型的有效性和实用性。首先,我们训练我们的模型,以揭示阿尔茨海默病在${\sim}17.3$年期间的特征变化的新的组级序列。接下来,我们证明了我们的模型提供了改进的效用超过连续时间隐马尔可夫模型的接收器操作者特征曲线下的区域${\sim}0.23$。最后,我们证明了我们的模型保持预测精度高达$50\%$缺失数据。这些结果支持了我们的模型的临床有效性及其在资源有限的医疗应用中的更广泛的实用性。
2021-06-04 cs.LG
FINESSE: An Agent-Based Simulator and Benchmark Dataset for Multimodal Financial Event Sequences
Capital One(第一资本)
针对金融服务领域开源数据稀缺问题,提出基于智能体的模拟框架FINESSE,生成多模态事件流数据集,并配套基准FINESSE-Bench,支持四项预测任务,加速结构化事件序列建模研究。
2026-09-14 cs.LG
Event Stream GPT: A Data Pre-processing and Modeling Library for Generative, Pre-trained Transformers over Continuous-time Sequences of Complex Events
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出ESGPT开源库,简化连续时间复杂事件序列上生成式预训练Transformer的构建与评估,支持灵活数据配置、因果建模及少样本/零样本性能评估。
2023-06-21 cs.LG
Auto-ML Graph Neural Network Hypermodels for Outcome Prediction in Event-Sequence Data
Khalifa University(卡利法大学);University of Milan(米兰大学)
本文提出HGNN(O)框架,通过自调机制实现高效适应,用于事件序列数据结果预测,取得高准确率和F1分数。
2025-11-24 cs.LG
Detecting Anomalous Event Sequences with Temporal Point Processes
Technical University of Munich(慕尼黑工业大学);Amazon Research(亚马逊研究院)
自动检测事件数据中的异常可以在诸如医疗保健、DevOps和信息安全等领域提供实质性价值。在本文中,我们框架的时间点过程(TPPs)的分布外(OoD)检测问题的检测异常连续时间事件序列。首先,我们展示了如何使用拟合优度(GoF)测试来解决这个问题。然后,我们展示了流行的GoF统计TPP的局限性,并提出了一个新的测试,解决这些缺点。所提出的方法可以与各种TPP模型,如神经TPP相结合,并且易于实现。在我们的实验中,我们表明,所提出的统计量优于传统的GoF测试,以及在模拟和真实世界的数据中检测异常。
2021-12-17 cs.LG
Recomposition vs. Prediction: A Novel Anomaly Detection for Discrete Events Based On Autoencoder
Penn State University(宾夕法尼亚州立大学)
离散事件日志的异常检测是入侵检测领域最具挑战性的问题之一。虽然大多数早期的工作集中在工程特征上应用无监督学习,但最近的工作已经开始通过应用深度学习方法来抽象离散事件条目来解决这一挑战。受自然语言处理的启发,提出了基于LSTM的异常检测模型。它们试图预测即将发生的事件,并在预测不符合特定标准时发出异常警报。然而,这样的预测下一个事件的方法有一个基本的限制:事件预测可能无法充分利用序列的独特特征。这种限制导致高假阳性(FP)和高假阴性(FN)。同样重要的是要检查序列的结构和单个事件之间的双向因果关系。为此,我们提出了一种新的方法:重组事件序列作为异常检测。我们提出了DabLog,一种基于深度自动编码器的离散事件异常检测方法。根本区别在于,我们的方法不是预测即将发生的事件,而是通过分析(编码)和重建(解码)给定序列来确定序列是正常还是异常。我们的评估结果表明,我们的新方法可以显着减少FP和FN的数量,从而实现更高的$F_1$分数。
2020-12-27 cs.LG
Data-Driven Stochastic Modeling Using Autoregressive Sequence Models: Translating Event Tables to Queueing Dynamics
Columbia University, Graduate School of Business(哥伦比亚大学商学院)
本文提出基于自回归序列模型的数据驱动框架,从事件流学习条件分布,自动构建排队网络仿真器,实现高保真仿真、不确定性量化与反事实评估。
2025-09-06 cs.LG
Joint Modeling of Event Sequence and Time Series with Attentional Twin Recurrent Neural Networks
Shanghai Jiao Tong University(上海交通大学);IBM Research - China(IBM中国研究院);Georgia Institute of Technology(佐治亚理工学院)
各种真实世界的过程(通过网络)产生的数据序列,其复杂的时间动态需要研究。更特别地,事件时间戳可以携带关于底层网络动态的重要信息,否则这些信息不能从从连续信号均匀采样的时间序列中获得。此外,在大多数复杂的过程中,事件序列和均匀采样的时间序列数据可以相互作用,这使得这两个数据源的联合建模是必要的。针对上述问题,本文利用时间点过程的丰富框架对事件数据进行建模,并通过协同孪生循环神经网络(RNNs)及时更新其强度函数。在所提出的架构中,强度函数由一个以异步事件为输入的RNN和另一个以时间序列为输入的RNN协同调制。此外,为增强模型的可解释性,引入了神经元点过程的注意力机制。具有事件类型和时间戳预测输出层的整个模型可以进行端到端的训练,并允许对强度进行黑盒处理。我们证实了我们的模型在合成数据和三个真实世界的基准数据集的优越性。
2017-03-24 cs.LG
seq2cause: One Autoregressive Backbone, Four Causal Discovery Tasks in Event Sequences
针对事件序列中四种因果发现任务,提出统一框架Seq2Cause,利用预训练自回归模型作为条件独立性检验引擎,通过预测-因果二元性,以单一冻结主干在规模上解决所有机制。
2026-09-29 cs.LG
Resilient Concurrent Causal Discovery for Topological Event Sequences
School of Software Technology, Dalian University of Technology(大连理工大学软件学院);School of Computer and Information Engineering, Jiangxi Normal University(江西师范大学计算机与信息工程学院);School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院);School of Computer Science and Artificial Intelligence, Liaoning Normal University(辽宁师范大学计算机科学与人工智能学院);University of Natural Resources and Life Sciences (BOKU)(自然资源与生命科学大学(BOKU));Hangzhou Institute of Technology, Xidian University(西安电子科技大学杭州研究院);College of Computing & Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
针对拓扑事件序列因果发现中并发事件因果关系难捕捉、对不完整序列鲁棒性差的问题,提出RCCD方法,经实验验证其在电信网络数据集上优于现有SOTA方法。
2026-08-25 cs.LG
Phased LSTM: Accelerating Recurrent Network Training for Long or Event-based Sequences
Institute of Neuroinformatics(神经信息学研究所);University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
递归神经网络(RNN)已经成为从时间序列中提取模式的最先进的选择。然而,当前的RNN模型不适合处理由传感器或其他神经元在连续时间内生成的事件触发的不规则采样数据。例如,当输入来自生成稀疏、异步事件流的新型事件驱动人工传感器或来自具有不同更新间隔的多个传统传感器时,可能会出现这种数据。在这项工作中,我们引入了Phased LSTM模型,它通过添加新的时间门来扩展LSTM单元。该门由具有一定频率范围的参数化振荡控制,该频率范围仅在周期的一小部分期间产生存储单元的更新。即使在振荡施加的稀疏更新下,相位LSTM网络在需要学习长序列的任务上也比常规LSTM实现了更快的收敛。该模型自然地集成了来自任意采样率的传感器的输入,从而为处理携带定时信息的异步感觉事件开辟了新的研究领域。它还极大地提高了标准RNN应用程序中LSTM的性能,并且在运行时的计算数量级更少。
2016-10-29 cs.LG
Multi-Scale One-Class Recurrent Neural Networks for Discrete Event Sequence Anomaly Detection
Michigan State University(密歇根州立大学)
离散事件序列是普遍存在的,例如在信息和通信技术系统中的过程交互的有序事件序列。近年来,人们越来越多地致力于用离散事件序列检测异常。然而,它仍然是一个非常困难的任务,由于一些固有的挑战,包括数据不平衡问题,事件的离散性,以及数据的连续性。为了解决这些挑战,在本文中,我们提出了OC4Seq,这是一种用于检测离散事件序列中异常的多尺度单类递归神经网络。具体来说,OC4Seq将异常检测目标与循环神经网络(RNN)集成,将离散事件序列嵌入到潜在空间中,在潜在空间中可以轻松检测异常。此外,考虑到异常序列可能是由单个事件、事件的连续性或整个序列引起的,我们设计了一个多尺度RNN框架来同时捕获不同级别的序列模式。在三个基准数据集上的实验结果表明,OC4Seq的性能始终大大优于各种代表性基线。此外,通过定量和定性分析,捕获多尺度序列模式的事件异常检测的重要性进行了验证。
2020-08-31 cs.LG stat.ML
Pretext Training Algorithms for Event Sequence Data
Borealis AI(博雷亚利斯人工智能公司)
本文提出一种针对事件序列数据的自监督pretext训练框架,通过结合掩码重建与对比学习引入新颖的对齐验证任务,学习可泛化至多种下游任务的基础表示,并在公开基准上验证了其有效性。
2024-02-16 cs.AI cs.LG
A Deep Adversarial Model for Suffix and Remaining Time Prediction of Event Sequences
The University of Melbourne(墨尔本大学)
事件后缀和剩余时间预测是顺序到顺序的学习任务。它们在经济、数字健康、业务流程管理和IT基础设施监控等不同领域有着广泛的应用。带时间戳的事件序列包含至少带有两个属性的有序事件:事件的标签和时间戳。后缀和剩余时间预测分别是关于获得事件标签的最有可能的延续和序列完成之前的剩余时间。最近用于这种预测的基于深度学习的工作由于闭环训练(即,下一事件以先前事件的基本事实为条件)和开环推理(即,下一事件以先前预测的事件为条件)。在这项工作中,我们提出了一个编码器-解码器架构,用于开环训练,以提高事件序列的后缀和剩余时间预测。为了捕捉事件的联合时间动态,我们利用对抗学习技术的力量来提高预测性能。我们在实验中考虑了四个现实生活中的数据集和三个基线。结果表明,与最先进的后缀和事件序列的剩余时间预测相比,改进了四倍,特别是在业务流程执行领域。我们还表明,在相同的实验设置下,对抗训练所获得的改进优于标准训练。
2021-02-15 cs.AI cs.LG
Impact of Event Encoding and Dissimilarity Measures on Traffic Crash Characterization Based on Sequence of Events
University of Connecticut(康涅狄格大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
先前的研究表明,碰撞序列分析有助于描述碰撞特征和确定安全对策。序列分析是高度领域特异性的,但其各种技术尚未被评估以适应崩溃序列。本文评估的影响,编码和相异措施的崩溃序列分析和聚类。研究了2016-2018年美国州际公路单车碰撞的序列数据。通过评价序列聚类结果,比较了两种编码方案和五种基于最优匹配的相异性度量。根据相异度矩阵之间的相关性,将五种相异度度量分为两组。基于与基准碰撞分类的协议,确定了最佳相异性度量和编码方案。基于转换率的局部最优匹配相异度和统一编码方案与基准测试的一致性最高。评价结果表明,不同度量和编码方案的选择决定了序列聚类和碰撞特征的结果。考虑事件和域上下文之间的关系的相异性度量往往在崩溃序列聚类中表现良好。合并类似事件的编码方案自然会考虑域上下文。
2023-02-22 cs.LG stat.AP
PELP: Pioneer Event Log Prediction Using Sequence-to-Sequence Neural Networks
The University of Melbourne(墨尔本大学)
针对流程挖掘领域的事件日志预测问题,提出基于序列到序列深度学习的PELP方法,经合成与真实日志验证效果良好,并给出实用建议。
2023-12-15 cs.LG cs.SE
CAUSE: Learning Granger Causality from Event Sequences using Attribution Methods
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Aalborg University(奥尔堡大学);XaiPient(赛派恩特);Duke University(杜克大学)
研究了从异步、相互依赖、多类型事件序列中学习事件类型间Granger因果关系的问题。现有的工作遭受有限的模型灵活性或模型的可解释性差,从而无法发现格兰杰因果关系在各种各样的事件序列与不同的事件相互依赖。为了解决这些弱点,我们提出了原因(因果关系从事件序列的属性),一个新的框架研究的任务。CAUSE的核心思想是首先通过拟合神经点过程来隐式地捕获潜在的事件相互依赖性,然后使用公理化归因方法从过程中提取Granger因果关系统计量。在充满不同事件相互依赖性的多个数据集上,我们证明了CAUSE在一系列最先进的方法中正确推断类型间Granger因果关系方面具有优异的性能。
2020-02-18 cs.LG stat.ML
Neural Clinical Event Sequence Prediction through Personalized Online Adaptive Learning
University of Pittsburgh(匹兹堡大学)
临床事件序列由数千个临床事件组成,这些临床事件代表了患者护理的时间记录。为这样的序列开发准确的预测模型对于定义患者状态的表示和改善患者护理是非常重要的。学习临床序列的良好预测模型的一个重要挑战是患者特异性变异性。基于潜在的临床并发症,每个患者的序列可以由不同的临床事件集合组成。然而,从这样的序列学习的基于群体的模型可能不能准确地预测事件序列的患者特异性动态。为了解决这个问题,我们开发了一个新的自适应事件序列预测框架,该框架通过在线模型更新来学习调整其对个体患者的预测。
2021-04-06 cs.AI cs.CY cs.LG
Learning Latent Process from High-Dimensional Event Sequences via Efficient Sampling
Shanghai Jiao Tong University(上海交通大学);Nanjing University(南京大学)
我们的目标是在没有任何关于标记关系的先验知识的情况下对高维标记事件序列中的潜在动态进行建模。这类问题在以往的研究中很少涉及,它们将面临以下挑战:(1)高维标记及其之间的未知关系网络对潜在动态过程的建模构成了难以克服的障碍:(2)一个观察到的事件序列可能同时包含多个不同的相互依赖的事件链; 3)高维事件序列之间的距离难以很好地确定。为此,本文提出了一个面向高维事件序列生成的对抗性模仿学习框架,该框架可以分解为:1)一个潜在结构强度模型,该模型在没有显式网络的情况下估计相邻节点,并学习捕获观察序列上标记的潜在空间中的时间动态; 2)基于随机游走的高效生成模型,从自底向上的角度模拟高维事件序列的生成过程; 3)一个被指定为seq 2seq网络的优化奖励的事件发生器,以帮助生成器尽可能真实地输出事件序列。在人工数据集和真实数据集上的实验结果表明,该方法可以有效地检测标记之间的隐藏网络,并对未来的标记事件做出良好的预测,即使标记数量达到百万级。
2019-10-28 cs.LG stat.ML
Towards Practical Multi-label Causal Discovery in High-Dimensional Event Sequences via One-Shot Graph Aggregation
BMW Group(宝马集团);Chair for Machine Learning and Computer Vision, Augsburg University(机器学习与计算机视觉主任,艾尔堡大学)
CARGO通过一次图聚合方法,在高维事件序列中实现高效的多标签因果发现,适用于医疗和车辆诊断等复杂场景。
2025-12-12 cs.AI cs.LG
Learning Temporal Point Processes for Efficient Retrieval of Continuous Time Event Sequences
IIT Delhi(印度理工学院德里分校);IIT Bombay(印度理工学院孟买分校)
最近的发展,在预测建模使用标记时间点过程(MTPP),使几个真实世界的应用,涉及连续时间事件序列(CTES)的准确表征。然而,这些序列的检索问题在文献中仍然很大程度上没有得到解决。为了解决这个问题,我们提出了NEUROSEQRET,它学习检索和排名一组相关的连续时间事件序列为一个给定的查询序列,从一个大型语料库的序列。更具体地说,NEUROSEQRET首先在查询序列上应用可训练的解扭曲函数,这使得它与语料库序列相当,特别是当相关的查询-语料库对具有单独不同的属性时。然后,它将未变形的查询序列和语料库序列馈送到MTPP引导的神经相关性模型中。我们开发了两种变体的相关性模型,提供了准确性和效率之间的权衡。我们还提出了一个优化框架来学习二进制序列嵌入的相关性分数,适合本地敏感的哈希导致显着的加速返回给定的查询序列的前K个结果。我们对几个数据集的实验表明,NEUROSEQRET的准确性显著提高,超过了几个基线,以及我们的哈希机制的有效性。
2022-02-17 cs.IR cs.LG
Learning Hawkes Processes from Short Doubly-Censored Event Sequences
Georgia Institute of Technology(佐治亚理工学院);University of Toronto(多伦多大学)
许多实际应用需要鲁棒的算法来学习基于一类不完全数据的点过程--所谓的短双删失(SDC)事件序列。本文在Hawkes过程的框架下,利用数据综合的思想,研究了定量异步事件序列分析的关键问题。鉴于SDC事件序列在不同的时间间隔观察,我们提出了一种采样拼接数据合成方法-采样的前导和后继的每个SDC事件序列从潜在的候选人和拼接在一起,合成长的训练序列。从基于似然的论证角度讨论了该方法的合理性和可行性。实验结果表明,该方法不仅提高了时不变Hawkes过程的学习效果,而且提高了时变Hawkes过程的学习效果。
2017-06-07 cs.LG math.PR stat.ML
SOHET: Sequence Of Heterogeneous Events Transformer with Self-Supervised Pre-Training
Booking.com, Amsterdam, The Netherlands(Booking.com,阿姆斯特丹,荷兰)
提出SOHET模型,通过层次化架构结合事件类型特定表格编码器与时间/类型嵌入,并引入三种自监督预训练目标,在欺诈检测和EBES基准上取得最优性能。
2026-06-23 cs.AI cs.LG
Hospitalization Length of Stay Prediction using Patient Event Sequences
Aalborg University(奥尔堡大学);North Denmark Region(北丹麦大区);TU Wien(维也纳工业大学)
预测患者住院时间对于改善医疗机构的资源分配和支持决策至关重要。本文提出了一种新的方法,预测LOS通过建模的事件序列的患者信息。具体来说,我们提出了一个基于变换的模型,称为Medic-BERT(M-BERT),用于LOS预测使用描述患者医疗事件序列的独特功能。我们进行了实证实验的队列超过45000急救病人从一家大型丹麦医院。实验结果表明,M-BERT可以实现各种LOS问题的高精度和优于传统的非基于序列的机器学习方法。
2023-03-20 cs.AI cs.LG
A Graph Regularized Point Process Model For Event Propagation Sequence
Ant Group(蚂蚁集团)
点过程是建模以不规则间隔发生的事件序列的主要范式。在本文中,我们的目标是在图中建模事件传播的潜在动力学,其中事件序列在有向加权图中传播,其节点表示事件标记(例如,事件类型)。现有的大多数工作只考虑将序列事件历史编码到事件表示中,而忽略了潜在图结构中的信息。此外,它们还具有较差的模型可解释性,即,未能发现各种节点之间的因果影响。为了解决这些问题,我们提出了一个图正则化点过程(GRPP),它可以分解为:1)一个图传播模型,它表征了节点与邻居之间的事件交互,并归纳学习节点表示; 2)一个时间注意强度模型,其过去事件对当前事件的激发和时间衰减因子通过节点嵌入的上下文化来构建。此外,通过应用图正则化方法,GRPP通过揭示节点之间的影响强度来提供模型的可解释性。在不同数据集上的数值实验表明,GRPP在传播时间和节点预测方面都明显优于现有模型。
2022-11-21 cs.AI cs.LG
Probabilistic Querying of Continuous-Time Event Sequences
University of California, Irvine(加州大学欧文分校)
连续时间事件序列,即,由连续时间戳和相关事件类型(“标记”)组成的序列是具有许多应用的重要类型的顺序数据,例如,临床医学或用户行为建模。由于这些数据通常是自回归建模的(例如,使用神经Hawkes过程或它们的经典对应物),很自然地询问关于未来场景的问题,例如“接下来将发生什么类型的事件”或“$A$类型的事件将在$B$类型的事件之前发生吗“。不幸的是,这些查询中的一些非常难以解决,因为当前的方法仅限于简单的模拟,这可能是非常低效的。本文介绍了一种新的类型学的查询类型和解决他们使用重要性抽样的框架。示例查询包括预测序列中的$n^\text{th}$事件类型以及一个或多个事件类型的命中时间分布。我们还利用这些发现进一步适用于估计一般的“$A$之前$B$“类型的查询。我们从理论上证明了我们的估计方法总是有效地优于天真的模拟,并根据三个真实世界的数据集进行了经验证明,它的效率平均比现有方法高出1,000倍。
2022-11-15 cs.LG stat.ML
One-Shot Multi-Label Causal Discovery in High-Dimensional Event Sequences
BMW Group(宝马集团);Chair for Machine Learning and Computer Vision, Augsburg University(机器学习与计算机视觉主任,埃施魏尔大学)
针对高维事件序列因果发现现有方法无法扩展的问题,提出单样本因果自回归方法OSCAR,利用预训练Transformer推断马尔可夫边界,在真实汽车数据集上快速恢复可解释因果结构,支持生产规模诊断。
2025-11-13 cs.AI cs.LG
Time-Discounting Convolution for Event Sequences with Ambiguous Timestamps
IBM Research - Tokyo(IBM研究院-东京);Fujita Health University(藤田医科大学)
提出了一种时间戳模糊的事件序列建模方法--时间折扣卷积。与普通的时间序列不同,时间间隔不是恒定的,小的时移没有显著的影响,并且将时间戳或持续时间输入模型是无效的。我们要求建模的标准是提供对时移或时间戳不确定性的鲁棒性,以及保持时间序列模型的基本功能,即,忘记无意义的过去信息和处理无限序列。所提出的方法处理它们与卷积机制跨时间与特定的参数化,有效地表示在时移不变的方式,同时折扣过去的事件的影响,和一个动态池化机制,它提供了对时间戳的不确定性的鲁棒性,并通过动态改变池化窗口的大小,提高了时间折扣的能力。在我们的学习算法中,衰减和动态池机制在处理无穷长和变长序列中起着关键作用。对具有模糊时间戳的真实事件序列和普通时间序列的数值实验表明了该方法的优越性。
2018-12-06 cs.LG stat.ML
Learning audio sequence representations for acoustic event classification
Imperial College London(帝国理工学院);Technische Universität München(慕尼黑工业大学);University of Augsburg(奥格斯堡大学);The University of Tokyo(东京大学)
声事件分类(AEC)已经成为机器感知周围听觉场景的一项重要任务。然而,提取有效的表示,捕获的声学事件的基本特征仍然是具有挑战性的。以前的方法主要集中在以“手工制作”的方式设计音频特征。有趣的是,最近有报道称,数据学习的功能表现出更好的性能。到目前为止,这些仅在帧级别上考虑。在这篇文章中,我们提出了一个无监督学习框架来学习一个矢量表示的音频序列的AEC。该框架由一个递归神经网络(RNN)编码器和一个RNN解码器组成,分别将可变长度的音频序列转换为一个固定长度的向量,并在生成的向量上重建输入序列。在训练编码器-解码器之后,我们将音频序列馈送到编码器,然后将学习的向量作为音频序列表示。与以往的方法相比,该方法不仅可以处理任意长度的音频流,而且还可以学习音频序列的显著性信息。在一个大型的声学事件数据库上进行了广泛的评估,实验结果表明,与其他最先进的手工制作的AEC序列特征相比,学习的音频序列表示产生了显着的性能改善。
2021-06-19 cs.LG cs.SD
User-Dependent Neural Sequence Models for Continuous-Time Event Data
University of California, Irvine(加州大学欧文分校)
连续时间事件数据在个人行为数据、金融交易和医疗健康记录等应用中很常见。对这些数据进行建模可能非常具有挑战性,特别是对于具有许多不同类型事件的应用程序,因为它需要一个模型来预测事件类型以及发生时间。参数化时变强度函数的递归神经网络是当前使用此类数据进行预测建模的最新技术。这些模型通常假设所有事件序列都来自相同的数据分布。然而,在许多应用中,事件序列是由不同的源或用户生成的,并且它们的特征可能非常不同。在本文中,我们扩展了广泛的类神经标记点过程模型的混合物的潜在嵌入,其中每个混合物组件模型的特征特性的一个给定的用户。我们的方法依赖于增强这些模型与一个潜在的变量,编码用户的特征,表示通过摊销变分推断训练的用户行为的混合模型。我们在四个大型真实世界数据集上评估了我们的方法,并展示了我们的方法在各种预测指标(如对数似然,下一个事件排名和序列源识别)的现有工作中的系统改进。
2020-11-06 cs.LG stat.ML
Linking Sequences of Events with Sparse or No Common Occurrence across Data Sets
Columbia University(哥伦比亚大学)
具有实际意义的数据(如个人记录、事务日志和病史)是与特定源实体相关的事件的顺序集合。最近的研究试图将代表跨数据集的共同实体的序列联系起来,以进行更全面的统计分析并识别潜在的隐私故障。然而,目前的方法仍然适合于其特定的应用领域,当不同数据集中的共指序列包含稀疏或没有共同事件时,它们会失败,这在许多情况下经常发生。为了解决这个问题,我们正式的一般问题的“序列链接”,并描述“LDA链接”,一个通用的解决方案,即使是适用于共同引用的事件序列包含没有共同的项目在所有。LDA-Link是建立在“分裂文档”模型,一个新的混合成员概率模型的事件序列集合的生成。它检测序列的潜在相似性,从而实现鲁棒性,特别是当共指序列共享稀疏或没有事件重叠时。我们将LDA-Link应用于社交媒体配置文件和解的背景下,其中用户在不同平台上没有共同的帖子,与最先进的序列连接通用解决方案相比。
2017-11-12 cs.IR cs.LG cs.SI
Event Outlier Detection in Continuous Time
University of Pittsburgh(匹兹堡大学);Borealis AI
连续时间事件序列表示在连续时间内发生的离散事件。这样的序列在现实生活中经常出现。通常我们期望序列随着时间的推移遵循某种规律。然而,有时这些模式可能会被意外的缺失或事件的发生所打断。识别这些意外情况可能非常重要,因为它们可能指向需要人类注意的异常情况。在这项工作中,我们研究和开发的方法检测连续时间事件序列中的离群值,包括意外的缺席和意外发生的事件。由于事件序列倾向于遵循的模式可能会在不同的上下文中发生变化,我们开发了基于点过程的离群值检测方法,可以考虑上下文信息。我们的方法是基于贝叶斯决策理论和假设检验的理论保证。为了测试方法的性能,我们对合成数据和真实世界的临床数据进行了实验,并显示了所提出的方法的有效性。
2021-06-12 cs.LG stat.ML
Detecting the Future: All-at-Once Event Sequence Forecasting with Horizon Matching
DEF提出了一种基于时间horizon匹配的事件序列预测方法,实现了高精度和多样性的长周期事件预测,并在多个领域取得显著提升。
2025-12-05 cs.AI cs.LG
Graph Grounded Cross Attention Transformer Neural Network for Structurally Constrained Full Event Sequence Generation in Predictive Process Monitoring
Department of Computer Science, University of Milan(米兰大学计算机科学系)
提出图锚定交叉注意力Transformer(GGATN),通过全局过程图作为结构化记忆、Transformer自注意力编码序列位置、图锚定交叉注意力注入过程拓扑,结合维特比式图约束解码,一次性生成完整事件序列,在六个基准日志上优于LLM基线。
2026-06-18 cs.AI cs.LG
Scalable Marked Point Processes for Exchangeable and Non-Exchangeable Event Sequences
University of Cambridge(剑桥大学);University of Warwick(华威大学);The Alan Turing Institute(艾伦·图灵研究所);University College London(伦敦大学学院);Athens University of Economics and Business(雅典经济与商业大学)
我们采用的可解释性提供了一个参数,霍克斯过程启发的条件概率质量函数的标记和应用变分推断技术,以获得一个通用的和可扩展的推理框架标记点过程。该框架可以处理可交换和不可交换的事件序列,具有最小的调整,没有任何预训练。这与许多参数和非参数最先进的方法形成对比,这些方法通常需要预训练和/或仔细调整,并且只能处理可交换的事件序列。该框架的竞争力的计算和预测性能对其他国家的最先进的方法说明通过真实的数据实验。它的吸引力,大规模的应用程序是通过一个案例研究,涉及所有事件发生在英超联赛赛季。
2023-02-19 cs.LG stat.ML
Exploiting Attention-based Sequence-to-Sequence Architectures for Sound Event Localization
Ruhr University Bochum(波鸿鲁尔大学);NTT Corporation(日本电报电话公司)
与经典参数方法相比,基于深度神经网络的声音事件定位框架已经显示出关于混响和噪声的增加的鲁棒性。特别是,经常性的架构,将时间背景的估计过程似乎是非常适合这项任务。本文提出了一种新的方法,利用注意力为基础的序列到序列模型的声音事件定位。这些类型的模型已成功地应用于自然语言处理和自动语音识别中的问题。在这项工作中,多声道音频信号被编码到一个潜在的表示,这是随后解码到一个序列的估计方向的到来。这里,注意力允许通过聚焦于与估计当前时间步处的声音事件的活动和到达方向相关的特定帧来捕获音频信号中的时间依赖性。该框架进行评估的声音事件本地化的三个公开可用的数据集。它产生优越的定位性能相比,国家的最先进的方法在消声和混响条件。
2021-02-28 cs.LG cs.SD eess.AS
Event2Vec: A Geometric Approach to Learning Composable Representations of Event Sequences
Lawrence Berkeley National Laboratory(伯克利劳伦斯国家实验室)
Event2Vec通过几何方法学习事件序列的可组合表示,利用加性递归结构和双曲空间变体,有效捕捉结构依赖性。
2025-11-30 cs.CL cs.LG
Imputing Missing Events in Continuous-Time Event Streams
Johns Hopkins University(约翰斯·霍普金斯大学);Peking University(北京大学)
世界上的事件可能是由其他未观察到的事件引起的。我们考虑连续时间中的事件序列。给出了一个完整序列的概率模型,我们提出了粒子平滑-一种序列重要性采样-来估算不完整序列中的缺失事件。我们基于一种双向连续时间LSTM开发了一个可训练的建议分布族:双向性让建议以未来的观察为条件,而不仅仅是像粒子滤波那样以过去为条件。我们的方法可以对可能的完整序列(粒子)的集合进行采样,从中我们形成一个单一的共识预测,该预测在我们选择的损失度量下具有低贝叶斯风险。我们在多个合成和真实域中进行实验,使用不同的缺失机制,并使用神经Hawkes过程对每个域中的完整序列进行建模(Mei & Reynner 2017)。在不完整的序列上,我们的方法可以有效地推断出未观察到的地面实况事件,粒子平滑不断提高粒子滤波。
2019-05-14 cs.AI cs.LG stat.ML
Streaming Algorithms for Pattern Discovery over Dynamically Changing Event Sequences
Virginia Tech(弗吉尼亚理工大学);Microsoft Research(微软研究院)
发现事件序列上的频繁发作是一项重要的数据采掘任务。在许多应用中,构成数据序列的事件作为流以极快的速率到达,并且由于底层事件生成过程的动态性质,最近的趋势(或频繁的情节)可能改变和漂移。在许多应用场景中,检测和跟踪频繁发作的这种变化集合的能力可能是有价值的。当前用于频繁情节发现的方法通常是多遍算法,这使得它们不适合流媒体上下文中。在本文中,我们提出了一个新的流算法发现频繁的情节在一个窗口中的流中最近的事件。我们的算法在事件到达时处理它们,一次一批,同时在由几个批次组成的窗口中发现最频繁的事件。我们推导出近似保证我们的算法的条件下,频繁的情节近似以及分离的不频繁的窗口的每一批。我们提出了广泛的实验评估我们的算法在真实和合成数据。我们还提出了比较基线和适应流算法的项集挖掘文献。
2012-05-21 cs.DB cs.LG
Long-range Modeling and Processing of Multimodal Event Sequences
本文提出了一种基于LLM的多模态时间点过程框架,通过自适应序列压缩解决长上下文问题,提升多模态事件序列的建模与生成能力。
2026-02-01 cs.CL cs.LG
Temporal Tokenization Strategies for Event Sequence Modeling with Large Language Models
Capital One;Georgia Institute of Technology(佐治亚理工学院)
本文研究了大语言模型中时间序列事件建模的时间标记策略,通过对比不同编码方法发现,标记器需与数据统计特性匹配才能提升预测性能。
2026-05-11 cs.CL cs.LG
Connections between Relational Event Model and Inverse Reinforcement Learning for Characterizing Group Interaction Sequences
University of Texas at Austin(得克萨斯大学奥斯汀分校)
在本文中,我们探讨了以前未识别的连接关系事件模型(REM)从网络科学领域和反向强化学习(IRL)从机器学习领域的能力,以表征序列的有向社会互动事件组设置。REM是一种传统的方法来解决这样的问题,而IRL的应用是一个很大程度上unbeaten path.We开始检查REM和IRL的数学组件,并找到两种方法之间的直接类比,以及IRL方法的独特之处。我们展示了特殊的实用程序IRL在表征群体的社会互动与实证实验,在其中,我们使用IRL推断个人的行为偏好的基础上,从一组虚拟现实游戏玩家互动和合作,以实现一个共同的目标的定向通信事件的序列。我们的比较和实验为社会行为分析引入了新的视角,并有助于激发社会网络分析和机器学习之间联系的新研究机会。
2020-10-19 cs.LG cs.SI
Bridging the Gap: Gaze Events as Interpretable Concepts to Explain Deep Neural Sequence Models
University of Potsdam(波茨坦大学);Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);University of Zurich(苏黎世大学)
本文针对眼动生物识别深度序列模型,利用注视与眼跳事件作为可解释概念,定量揭示眼跳、尤其峰值速度附近样本对模型预测的关键影响。
2023-04-12 cs.HC cs.LG
SeDyT: A General Framework for Multi-Step Event Forecasting via Sequence Modeling on Dynamic Entity Embeddings
University of Southern California(南加州大学);US Army Research Lab(美国陆军研究实验室)
时态知识图谱以主题、关系、对象和时间戳的形式存储事件,这些事件通常由动态异构图表示。事件预测是时态知识图谱推理中的一个关键而具有挑战性的任务,它预测未来事件的主体或客体。为了在未来获得多步的时间嵌入,现有的方法学习生成模型,捕获所观察到的事件的联合分布。为了降低高计算成本,这些方法依赖于不切实际的假设的独立性和近似的训练和推理。在这项工作中,我们提出了SeDyT,这是一个判别框架,它对动态实体嵌入进行序列建模,以解决多步事件预测问题。SeDyT由两个组件组成:一个时间图神经网络,它生成过去的动态实体嵌入,一个序列模型,它预测未来的实体嵌入。与生成模型相比,SeDyT不依赖于任何基于启发式的概率模型,并且在训练和推理方面都具有较低的计算复杂度。SeDyT与大多数时间图神经网络和序列模型兼容。我们还设计了一种有效的训练方法,在一个梯度下降传播中训练两个组件。我们在五个流行的数据集上评估了SeDyT的性能。通过结合时间图神经网络模型和序列模型,当不使用验证集时,SeDyT实现了平均2.4%的MRR改善,当使用验证集时,MRR改善超过10%。
2021-09-09 cs.CL cs.LG
MLEM: Generative and Contrastive Learning as Distinct Modalities for Event Sequences
Skolkovo Institute of Science and Technology(斯科科沃科学技术学院);HSE University(高等经济大学);Sberbank(俄罗斯联邦储蓄银行);AIRI(人工智能研究所)
针对事件序列自监督学习中对比式与生成式方法各有优势但单一方法受限的问题,本文提出MLEM模型,将两种学习范式作为互补模态并对齐嵌入,在多个指标上取得更优性能。
2024-07-03 cs.AI cs.LG
ESQA: Event Sequences Question Answering
AIRI;Sber AI;Skoltech(斯科尔泰克理工学院);Sber AI Lab(Sber AI实验室);MIPT(莫斯科物理技术学院)
本文提出ESQA方法,利用大型语言模型解决事件序列问答中的长序列与时间数值特征处理难题,无需或少量微调即可完成多任务,实验达到领域最先进水平。
2024-07-19 cs.CL cs.LG