Transformers in Action Recognition: A Review on Temporal Modeling
Graduate University of Advanced Technology(高等技术研究生院);Shahid Bahonar University of Kerman(克尔曼沙希德·巴霍纳尔大学);University of Isfahan(伊斯法罕大学)
在基于视觉的动作识别中,来自不同模态的时空特征被用于识别活动。时间建模是动作识别的一个长期挑战。然而,在基于深度的方法中,存在诸如预先计算的运动特征、三维(3D)滤波器和递归神经网络(RNN)之类的有限方法来对运动信息进行建模。最近,Transformers在自然语言处理(NLP)任务中成功地建模了长距离依赖关系,这引起了其他领域的极大关注;包括语音,图像和视频,完全依赖于自我注意力,而不使用序列对齐的RNN或卷积。虽然Transformers的应用动作识别是相对较新的,在过去几年中提出的关于这个主题的研究量是惊人的。本文特别回顾了用于建模时间变化的深度学习方法的最新进展。它侧重于动作识别方法,使用Transformers的时间建模,讨论其主要特点,使用的方式,并确定未来的研究机会和挑战。
2022-12-29 cs.AI cs.CV cs.LG
Spatio-temporal Diffusion Point Processes
Tsinghua University(清华大学)
提出基于扩散模型的STPP参数化框架,通过高斯分布逐步分解联合分布并结合时空共注意力模块自适应捕捉时空依赖,首次打破条件独立假设限制,在多领域实验中平均提升超50%。
2023-06-24 cs.LG
Preliminary Systematic Literature Review of Machine Learning System Development Process
Waseda University(早稻田大学);Osaka Institute of Technology(大阪工业大学);National Institute of Informatics(国立信息学研究所)
以前的机器学习(ML)系统开发研究表明,新兴的软件质量属性是一个问题,由于ML系统的概率行为。假设详细的开发过程取决于各个开发人员,并且没有详细讨论。为了帮助开发人员标准化他们的ML系统开发过程,我们对ML系统开发过程进行了初步的系统性文献综述。对2358篇论文的检索查询识别出7篇论文以及在特别综述中确定的另外2篇论文。我们的发现包括ML系统开发中的重点阶段,经常描述的实践和定制的传统软件开发实践。
2019-10-12 cs.LG
Beyond Code Contributions: How Network Position, Temporal Bursts, and Code Review Activities Shape Contributor Influence in Large-Scale Open Source Ecosystems
Dept. of Electrical & Computer Engineering University of Missouri(电气与计算机工程系 密苏里大学);Dept. of Computer Science University of Missouri(计算机科学系 密苏里大学)
本研究通过分析开源生态系统中的贡献者网络,揭示了网络位置、时间爆发和代码审查活动如何影响贡献者影响力,识别出五种不同角色并提供社区健康指标的实证证据。
2026-02-06 cs.LG
Beyond Just Vision: A Review on Self-Supervised Representation Learning on Multimodal and Temporal Data
RMIT University(皇家墨尔本理工大学);University of New South Wales(新南威尔士大学);Philips Research(飞利浦研究院);Data61, CSIRO(联邦科学与工业研究组织数据61所)
最近,自监督表示学习(SSRL)在计算机视觉,语音,自然语言处理(NLP)领域引起了广泛的关注,最近,与其他类型的模态,包括来自传感器的时间序列。自监督学习的流行是由于传统模型通常需要大量注释良好的数据进行训练。获取带注释的数据可能是一个困难且昂贵的过程。已经引入了自监督方法,以通过使用从原始数据自由获得的监督信号对模型进行有区别的预训练来提高训练数据的效率。与SSRL的现有综述主要集中在CV或NLP领域的单一模式的方法不同,我们的目标是提供第一个全面的回顾多模态自监督学习方法的时间数据。为此,我们1)提供了一个全面的分类现有的SSRL方法,2)通过定义一个SSRL框架的关键组件,3)比较现有的模型在其目标函数,网络架构和潜在的应用,和4)审查现有的多模态技术在每个类别和各种形式。最后,我们提出了现有的弱点和未来的机会。我们相信,我们的工作发展的角度来看,在利用多模态和/或时态数据的领域的SSRL的要求
2022-06-08 cs.CV cs.LG
A Systematic Literature Review of Spatio-Temporal Graph Neural Network Models for Time Series Forecasting and Classification
School of Science and Technology, University of Camerino(科学与技术学院,坎皮诺大学);DIISM, University of Siena(DIISM,锡耶纳大学);Syeew s.r.l.(Syeew公司)
本文系统综述了时空图神经网络在时间序列预测与分类中的应用,全面分析了不同模型的性能对比及现存挑战。
2025-11-03 cs.AI cs.LG physics.data-an
Learning Temporally Causal Latent Processes from General Temporal Data
Carnegie Mellon University(卡内基梅隆大学);Southeast University(东南大学);Rice University(莱斯大学)
我们的目标是恢复时间延迟的潜在因果变量,并确定它们之间的关系,从测量的时间数据。估计因果关系相关的潜在变量从观察是特别具有挑战性的,因为潜在变量是不是唯一的恢复在最一般的情况下。在这项工作中,我们考虑了一个非参数,非平稳设置和参数设置的潜在过程,并提出了两个可证明的条件下,时间因果的潜在过程可以从他们的非线性混合物。我们提出了LEAP,这是一个理论上有基础的框架,它通过在因果过程之前的适当约束来执行我们的条件,从而扩展了变分自动编码器(VAE)。在不同数据集上的实验结果表明,在不同的依赖结构下,从观察到的变量中可靠地识别出时间因果潜在过程,并且我们的方法大大优于没有正确利用历史或非平稳信息的基线。这表明,即使没有稀疏性或最小性假设,使用时间信息以无监督的方式从其可逆非线性混合物中学习潜在过程,我们相信我们的工作是第一个,似乎很有希望。
2022-02-08 cs.AI cs.LG stat.ML
Spatio-Temporal Graph Representation Learning for Fraudster Group Detection
University of Western Australia(西澳大学)
出于潜在的经济利益,公司可能会雇佣欺诈团体撰写虚假评论,以降级竞争对手或促进自己的业务。这些团体在误导顾客方面更成功,因为人们更容易受到大团体意见的影响。为了检测这样的群体,常见的模型是表示欺诈者群体的静态网络,因此忽略了评审者的纵向行为,从而忽略了群体中评审者之间的共同评审关系的动态。因此,这些方法无法排除离群审查人,即欺诈者故意将自己隐藏在一个群体中,而真正的审查人碰巧在欺诈者群体中共同审查。为了解决这个问题,在这项工作中,我们建议首先利用HIN-RNN在两个审阅者的表示学习中的有效性,同时捕获审阅者之间的协作,我们首先利用HIN-RNN在28天的固定时间窗口内对一个组中的审阅者的共同审阅关系进行建模。我们称之为空间关系学习表示,以表示这项工作的推广到其他网络场景。然后,我们使用一个RNN的空间关系预测的时空关系的评论家在组中。在第三步中,图卷积网络(GCN)使用这些预测的关系来细化审阅者的向量表示。然后使用这些细化的表示来移除离群值审阅者。然后,将其余审查者的表示的平均值馈送到简单的全连接层,以预测该组是否是欺诈者组。该方法的详尽实验表明,在Yelp(Amazon)数据集上,该方法的精度,召回率和F1值分别比最近的三种方法提高了5%(4%),12%(5%),12%(5%)。
2022-01-07 cs.AI cs.LG cs.SI
Unraveling Spatio-Temporal Foundation Models via the Pipeline Lens: A Comprehensive Review
University of Electronic Science and Technology of China(电子科技大学);Aalborg University(奥尔堡大学);Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
本文从流水线视角系统综述时空基础模型,提出数据属性分类法以指导模型设计与选择,并梳理预训练、适配及多目标训练等关键环节。
2025-06-02 cs.AI cs.LG
Affective Processes: stochastic modelling of temporal context for emotion and facial expression recognition
Samsung AI Center Cambridge(三星剑桥人工智能中心);University of Nottingham(诺丁汉大学)
时间语境是情感表达识别的关键。现有的方法依赖于循环或自我注意模型来强制时间一致性,在特征级别工作,忽略了特定于任务的时间依赖性,并且无法对上下文不确定性进行建模。为了缓解这些问题,我们建立在神经过程的框架上,提出了一种具有三个关键新组件的明显情感识别方法:(a)具有全局潜变量模型的概率上下文表示;(b)除了特征之外,还使用特定于任务的预测进行时间上下文建模;以及(c)智能时间上下文选择。我们验证我们的方法在四个数据库,两个效价和唤醒估计(SEWA和AffWild 2),和两个动作单元强度估计(DISFA和BP 4D)。结果表明,在一系列强基线以及国家的最先进的方法一致的改善。
2021-03-24 cs.CV cs.LG
Tensor Kernel Recovery for Spatio-Temporal Hawkes Processes
Yale University(耶鲁大学);Princeton University(普林斯顿大学);Georgia Institute of Technology(佐治亚理工学院)
我们估计时空霍克斯过程的一般影响函数,使用张量恢复方法,制定的位置相关的影响函数,捕捉历史事件的影响作为张量核。我们假设张量核的低秩结构,并使用傅立叶变换核范数(TNN)将估计问题转换为凸优化问题。我们提供了理论上的性能保证,我们的方法,并提出了一个算法来解决优化问题。此外,我们证明了我们的估计与数值模拟的效率。
2022-11-29 cs.LG stat.ML
TH-GNN: Heterogeneous Temporal Graph Neural Networks for LLM-Agent Shilling Attack Detection
JAIN (Deemed to be University)(JAIN(被认定大学));Zayed University(扎耶德大学)
本文提出TH-GNN,一种异质性时序图神经网络,联合建模时序、结构与语义信号,在5类攻击族和4个基准数据集上检测LLM智能体刷单攻击,总体平均F1值达0.870,性能优于纯文本基线模型。
2026-08-24 cs.CL cs.LG
Sequential Neural Processes
Rutgers University(罗格斯大学);SAP(思爱普);ETRI(韩国电子通信研究院)
神经过程结合了神经网络和高斯过程的优势,实现了随机过程的灵活学习和快速预测。然而,一大类问题包括神经过程(NP)没有明确考虑的随机过程序列中的潜在时间依赖结构。在本文中,我们提出了顺序神经过程(SNP),其中包括一个时间的随机过程的状态转换模型,从而扩展其建模能力的动态随机过程。在将SNP应用于动态三维场景建模中,我们引入了时态生成查询网络。据我们所知,这是第一个可以处理3D场景的时间动态的4D模型。在实验中,我们评估所提出的方法在动态(非平稳)回归和4D场景推理和渲染。
2019-10-27 cs.LG stat.ML
Recurrent Point Processes for Dynamic Review Models
Competence Center Machine Learning Rhine-Ruhr(莱茵-鲁尔机器学习能力中心);Fraunhofer Center for Machine Learning(弗劳恩霍夫机器学习中心);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);University of Bonn(波恩大学);Berlin Center for Machine Learning(柏林机器学习中心);TU Berlin(柏林工业大学)
推荐系统研究的最新进展表明,包括时间表示,以提高可解释性和性能的重要性。在这里,我们将时间表示在连续时间通过经常性点过程的动态模型的评论。我们的目标是描述感知,用户兴趣和季节效应的变化如何影响评论文本。
2020-01-15 cs.LG stat.ML
ForeSeer: Product Aspect Forecasting Using Temporal Graph Embedding
University of Washington(华盛顿大学);Amazon(亚马逊)
针对缺少评论的新产品未来方面预测问题,提出在时间产品图上渐进训练的 ForeSeer,融合评论文本、产品网络与时间信息,显著提升方面及链接预测性能。
2023-10-07 cs.AI cs.CL cs.IR
A Bayesian Mixture Model of Temporal Point Processes with Determinantal Point Process Prior
Renmin University of China(中国人民大学)
针对事件序列聚类中混合模型过拟合和簇多样性不足的问题,提出带行列式点过程先验的贝叶斯混合模型TP$^2$DP$^2$,结合条件吉布斯采样推断,自动确定簇数并提升聚类质量。
2024-11-07 cs.AI cs.LG
Modeling Events and Interactions through Temporal Processes -- A Survey
University of Calabria(卡拉布里亚大学);University G. d’Annunzio of Chieti-Pescara(基耶蒂-佩斯卡拉加布里埃尔·邓南遮大学);University of Pisa(比萨大学);Faculty of Economics - University of Porto(波尔图大学经济学院);Scuola Normale Superiore of Pisa(比萨高等师范学校)
该综述聚焦连续时间事件序列建模,梳理时间过程相关概率模型,定义分类本体并系统回顾三类点过程的深度学习方法,分析其在预测与建模场景的应用。
2023-07-21 cs.LG stat.ML
Temporal Graph Kernels for Classifying Dissemination Processes
University of Bonn(波恩大学);TU Dortmund University(多特蒙德工业大学)
许多真实世界的图或网络是时间性的,例如,在社交网络中,人们仅在特定的时间点进行交互。这些信息指导网络上的传播过程,例如谣言,假新闻或疾病的传播。然而,目前最先进的监督图分类方法主要是针对静态图设计的,可能无法捕获时间信息。因此,它们不足以区分不同传播过程的图形。为了解决这个问题,我们引入了一个框架,以提升标准的图形内核的时域。具体来说,我们探索三种不同的方法,并调查时间信息和效率之间的权衡损失。此外,为了处理大规模的图形,我们提出了我们的内核的随机变量与可证明的近似保证。我们在广泛的现实世界社交网络上评估我们的方法。我们的方法在准确性方面大大优于静态内核,同时仍然可以扩展到大型图形和数据集。因此,我们确认,考虑到时间信息是至关重要的传播过程的成功分类。
2021-08-20 cs.LG cs.SI stat.ML
Modeling of Spatio-Temporal Hawkes Processes with Randomized Kernels
Bilkent University(比尔肯特大学);DataBoss A. S.(DataBoss股份公司)
我们研究时空事件分析使用点过程。时空推断事件序列的动态具有许多实际应用,包括犯罪预测、社交媒体分析和交通预测。特别是,我们专注于时空霍克斯过程中,通常使用的,因为它们的能力,以捕捉事件发生之间的激发。我们引入了一个新的推理框架的基础上随机变换和梯度下降学习的过程。我们用基于随机傅立叶特征的变换代替空间核计算。通过这种表示引入的随机化提供了灵活性,同时对事件之间的空间激励进行建模。此外,由该过程描述的系统在可缩放矩阵运算方面在封闭形式内表示。在优化过程中,我们使用最大似然估计方法和梯度下降,同时适当处理的积极性和正交约束。实验结果表明,相对于时空Hawkes过程文献中的传统推理方法,该方法在人工和真实数据集上的拟合能力有所提高.我们还分析了事件类型之间的触发相互作用,以及它们的动态如何通过对学习参数的解释在空间和时间上发生变化。
2021-02-15 cs.LG stat.ML
EventFlow: Forecasting Temporal Point Processes with Flow Matching
University of Oxford(牛津大学);University of California, Berkeley(加州大学伯克利分校);University of California, Irvine(加州大学尔湾分校)
EventFlow提出了一种非自回归生成模型,用于时间点过程的预测,通过流匹配框架直接学习事件时间的联合分布,降低预测误差,优于基线模型。
2026-04-06 cs.LG stat.ML
Beyond Hawkes: Neural Multi-event Forecasting on Spatio-temporal Point Processes
Rice University(莱斯大学)
预测时间和空间上的离散事件有许多科学应用,例如预测危险的地震和传染病的爆发。历史相关的时空霍克斯过程经常被用来对这些点事件进行数学建模。然而,以前的方法面临着许多挑战,特别是在试图预测一个或多个未来事件时。在这项工作中,我们提出了一个新的神经架构,同时多事件预测的时空点过程,利用Transformers,增强与规范化流程和概率层。我们的网络对未来离散事件的复杂历史相关时空分布进行批量预测,在各种基准数据集上实现了最先进的性能,包括南加州地震,Citibike,Covid-19和Hawkes合成风车数据集。更一般地说,我们说明了我们的网络如何应用于具有相关标记的离散事件的任何数据集,即使在不知道底层物理的情况下。
2023-01-28 cs.AI cs.LG eess.SP
Integration-free Training for Spatio-temporal Multimodal Covariate Deep Kernel Point Processes
Hangzhou Dianzi University(杭州电子科技大学);Alibaba Group(阿里巴巴集团);Renmin University of China(中国人民大学)
本研究提出融合多模态协变量的深度核混合点过程模型DKMPP,采用基于得分匹配的无积分方法解决训练难题,实验证明其性能优于基线模型。
2023-10-09 cs.LG stat.ML
Intensity-Free Learning of Temporal Point Processes
Technical University of Munich(慕尼黑工业大学)
时间点过程是建模以不规则间隔发生的事件序列的主要范式。在这种模型中学习的标准方法是通过估计条件强度函数。然而,将强度函数参数化通常会引起几个权衡。我们展示了如何克服基于强度的方法的局限性,直接建模的事件间时间的条件分布。我们利用规范化流程的文献来设计灵活高效的模型。我们还提出了一个简单的混合模型,它与基于流的模型的灵活性相匹配,但也允许以封闭形式进行采样和计算。所提出的模型在标准预测任务中实现了最先进的性能,并且适用于新的应用,例如学习序列嵌入和输入缺失数据。
2020-01-23 cs.LG stat.ML
Counterfactual Temporal Point Processes
Sharif University of Technology(谢里夫理工大学);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
基于时间点过程的机器学习模型在涉及连续时间中的离散事件的各种应用中是最先进的。然而,这些模型缺乏回答反事实问题的能力,这些问题越来越相关,因为这些模型正在被用来为有针对性的干预措施提供信息。在这项工作中,我们的目标是填补这一空白。为此,我们首先开发了一个因果模型的时间点过程的Gumbel-Max结构因果模型的基础上变薄。该模型满足一个理想的反事实单调性条件,这是足够的,以确定在细化过程中的反事实动态。然后,给定一个观察到的实现一个时间点过程与给定的强度函数,我们开发了一个采样算法,使用上述因果模型的细化和叠加定理来模拟反事实实现的时间点过程下一个给定的替代强度函数。使用合成和真实流行病学数据的模拟实验表明,我们的算法提供的反事实实现可能会提供有价值的见解,以加强有针对性的干预措施。
2022-05-20 cs.AI cs.LG stat.ML
Spatio-Temporal Variational Gaussian Processes
The Alan Turing Institute(艾伦·图灵研究所);Aalto University(阿尔托大学);NVIDIA(英伟达);University of Warwick(华威大学)
我们介绍了一种可扩展的方法,高斯过程推理,结合时空滤波与自然梯度变分推理,从而在非共轭GP方法的多变量数据,相对于时间线性缩放。我们的自然梯度方法使应用程序的并行滤波和平滑,进一步降低时间跨度的复杂性是对数的时间步长。我们推导出一个稀疏的近似,构建一个状态空间模型在一个减少的空间诱导点集,并表明,可分离马尔可夫内核的完整和稀疏的情况下,完全恢复标准的变分GP,同时表现出良好的计算性能。为了进一步提高空间缩放,我们提出了一个平均场假设的空间位置之间的独立性,再加上稀疏性和并行化,导致一个高效和准确的方法为大型时空问题。
2021-11-02 cs.LG stat.ML
Spatial-Temporal-Textual Point Processes for Crime Linkage Detection
Georgia Institute of Technology(佐治亚理工学院)
犯罪产生于人类行为和情况的复杂相互作用。犯罪事件之间的联系非常复杂。在一系列事件中检测犯罪联系是一项极具挑战性的任务,因为我们只有有限的信息,包括文本描述,事件时间和地点。实际上,标签很少。我们提出了一个新的{ \it时空文本}数据的统计建模框架,并展示了其在犯罪关联检测中的用途。我们通过多变量标记时空Hawkes过程来捕捉犯罪事件的联系,并将自由文本的嵌入向量作为事件的{ \it标记},灵感来自{ \it作案手法}(M.O.)犯罪分析。使用真实数据的数值结果表明,我们的方法的良好性能,以及揭示有趣的模式,在犯罪数据:空间,时间和文本信息的联合建模,提高犯罪联动检测相比,国家的最先进的,和学习的空间依赖数据可以是有用的警察行动。
2021-08-24 cs.LG stat.ML
State Space Expectation Propagation: Efficient Inference Schemes for Temporal Gaussian Processes
Aalto University(阿尔托大学);Technical University of Denmark(丹麦技术大学)
我们制定近似贝叶斯推断在非共轭的时间和时空高斯过程模型作为一个简单的参数更新规则应用在卡尔曼平滑。这个观点涵盖了大多数推理方案,包括期望传播(EP),经典(扩展,无迹等)。Kalman平滑器和变分推断。我们提供了一个统一的角度来看,这些算法,显示如何取代电力EP矩匹配步骤与线性化恢复经典平滑。EP通过引入所谓的腔分布提供了一些优于传统方法的优点,我们将这些优点与线性化的计算效率相结合,提供了广泛的实证分析,证明了在此统一框架下各种算法的有效性。我们提供了JAX中所有方法的快速实现。
2020-07-12 cs.LG stat.ML
Semi-supervised Learning for Marked Temporal Point Processes
Mastercard(万事达卡)
时间点过程(TPPs)通常用于表示按发生时间排序的事件序列。由于其灵活性,TPP已被用于模拟不同的情景,并在各种实际应用中显示出适用性。TPP侧重于对事件发生进行建模,而标记时间点过程(MTPP)也侧重于对事件的类别/类(称为标记)进行建模。在过去的几年里,MTPP的研究引起了人们的极大关注,其中广泛关注的是监督算法。尽管研究的重点,有限的注意力已经给予了具有挑战性的问题,开发解决方案在半监督设置,算法可以访问标记和未标记的数据的混合。本研究提出一种新的算法半监督学习的标记时间点过程(SSL-MTPP)适用于这种情况下。所提出的SSL-MTPP算法利用标记和未标记数据的组合来学习鲁棒的标记预测模型。该算法利用基于RNN的编码器-解码器模块来学习时间序列的有效表示。通过Retweet数据集上的多个协议证明了所提出的算法的有效性,其中所提出的SSL-MTPP与传统的监督学习方法相比表现出更好的性能。
2021-07-16 cs.AI cs.LG
Fast and Flexible Temporal Point Processes with Triangular Maps
Technical University of Munich(慕尼黑工业大学)
时间点过程(TPP)模型与递归神经网络相结合,为连续时间事件数据建模提供了一个强大的框架。虽然这些模型是灵活的,但它们本质上是顺序的,因此不能从现代硬件的并行性中受益。通过利用归一化流领域的最新发展,我们设计了TriTPP -一类新的非递归TPP模型,其中采样和似然计算可以并行进行。TriTPP匹配基于RNN的方法的灵活性,但允许数量级更快的采样。这使我们能够使用新的模型在连续时间离散状态系统的变分推理。我们证明了所提出的框架在合成和真实世界数据集上的优势。
2020-11-10 cs.LG stat.ML
Multivariate Spatio-Temporal Neural Hawkes Processes
本文提出了一种多变量时空神经Hawkes过程,用于建模具有时空动态的复杂事件数据,通过整合空间信息和学习衰减动态,提升了对激发和抑制机制的建模能力,并在恐怖主义数据中验证了其有效性。
2026-03-02 cs.LG math.ST stat.AP
TPP-LLM: Modeling Temporal Point Processes by Efficiently Fine-Tuning Large Language Models
Georgia Institute of Technology(佐治亚理工学院)
本文提出 TPP-LLM 框架,利用事件文本描述、时间嵌入和 PEFT 微调,将 LLM 与时间点过程结合,提升事件序列建模与预测性能。
2025-06-10 cs.CL cs.LG
Spatio-temporal Sequence Prediction with Point Processes and Self-organizing Decision Trees
Bilkent University(毕尔肯大学);DataBoss A.S.(DataBoss公司)
研究了时空预测问题,提出了一种基于点过程的预测算法。时空预测在机器学习文献中得到了广泛的研究,因为它在犯罪、地震和社会事件预测等方面具有重要的现实应用。尽管有这些深入的研究,应用领域固有的具体问题尚未得到充分探讨。在这里,我们解决了密集和稀疏分布序列的非平稳时空预测问题。我们引入了一种概率方法,将空间域划分为子区域,并在每个区域中使用交互点过程对事件到达进行建模。我们的算法可以通过基于梯度的优化过程来共同学习空间分区和这些区域之间的相互作用。最后,我们证明了我们的算法在模拟数据和两个现实生活中的数据集上的性能。我们将我们的方法与基线和最先进的基于深度学习的方法进行了比较,在这些方法中,我们实现了显着的性能改进。此外,我们还通过实证结果显示了使用不同参数对整体性能的影响,并解释了选择参数的过程。
2021-03-15 cs.LG stat.ML
Temporal Topic Analysis with Endogenous and Exogenous Processes
Northwestern University(西北大学)
我们考虑的问题,考虑到内生和外生过程的时间文本数据建模。这种文本文档出现在现实世界的应用中,包括招聘广告和经济新闻文章,它们受到整体经济波动的影响。我们提出了一个分层贝叶斯主题模型,它施加了一个“组相关”的层次结构的主题随着时间的推移,将这两个过程的演变,并表明,这个模型可以估计马尔可夫链蒙特卡罗抽样方法。我们进一步证明,该模型捕捉的主题分布和时间依赖因素之间的内在关系,并比较其性能与潜在的狄利克雷分配(LDA)和其他两个相关的模型。该模型被应用到两个集合的文件,以说明其实证性能:在线招聘广告从DirectEmployers协会和记者的BusinessInsider.com上的帖子。
2016-07-04 cs.CL cs.IR cs.LG
A Temporal Graphlet Kernel for Classifying Dissemination in Evolving Networks
University of Bonn(波恩大学);University of Vienna(维也纳大学)
我们介绍了\emph{temporal graphlet kernel}分类的时间图中的传播过程。这种传播过程可以是在动态网络中传播(假)新闻、传染病或计算机病毒。网络被建模为标记的时间图,其中边存在于特定的时间点,节点标签随时间变化。分类问题要求区分不同起源或参数的传播过程,例如,不同传染概率的传染病我们的新内核在时间小图的特征空间中表示标记的时间图,即,小的子图,通过它们的结构、时间相关的节点标签和边的时间顺序来区分。我们引入我们的内核的基础上类的graphlet是有效可数的变种。对于时间楔的情况下,我们提出了一个高效的近似内核与预期的低误差。我们表明,我们的内核比最先进的方法计算速度更快,精度更高。
2022-09-12 cs.LG cs.SI
A Variational Autoencoder for Neural Temporal Point Processes with Dynamic Latent Graphs
Great Bay University(大湾区大学);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人学会);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对事件动力学的时变混合特征,提出一种带动态潜图的神经时间点过程变分自编码器,通过分子区间学习维度依赖图剔除无关影响,提升了事件间隔与类型的预测精度。
2024-03-08 cs.LG stat.ML
Interpretable Hybrid-Rule Temporal Point Processes
Tongji University(同济大学)
针对可解释时间点过程缺乏数值特征的问题,提出混合规则时间点过程框架,融合时间逻辑规则与数值特征,提升预测精度与临床可解释性。
2025-10-17 cs.AI cs.LG stat.ML
Imitation Learning of Neural Spatio-Temporal Point Processes
Georgia Institute of Technology(佐治亚理工学院)
提出了一种新的时空离散事件数据的神经嵌入时空(NEST)点过程模型,并提出了一种有效的基于模仿学习(一种强化学习)的模型拟合方法.尽管离散事件数据的一维时间点过程发展迅速,但对此类数据的时空方面的研究相对较少。我们的模型捕捉离散事件之间复杂的时空依赖性,通过精心设计的混合异构高斯扩散内核,其参数由神经网络参数化。这个新的内核是我们的模型可以捕获复杂的空间依赖模式的关键,但仍然导致可解释的结果,因为我们检查高斯扩散内核参数的地图。用模仿学习模型拟合的NEST比用极大似然估计法拟合的NEST更稳健。它直接测量训练数据和模型生成的数据之间的经验分布之间的偏差。此外,我们的模仿学习为基础的方法享有计算效率,由于显式表征的奖励函数相关的似然函数;此外,在我们的模型下的似然函数享有易于处理的表达式,由于高斯核参数化。基于实际数据的实验表明,该方法相对于现有方法具有较好的性能,并且对NEST的结果具有较好的可解释性。
2021-01-22 cs.LG stat.AP stat.ML
Spatio-Temporal Point Processes with Attention for Traffic Congestion Event Modeling
我们提出了一个新的框架,道路网络上的交通拥堵事件建模。通过将交通传感器的计数数据与报告交通事件的警察报告相结合,使用多模态数据,我们的目标是捕获两种类型的拥堵事件的触发效应。一个地点当前的交通拥堵可能会导致道路网络未来的拥堵,而交通事故可能会导致交通拥堵的蔓延。为了模拟事件对过去的非均匀时间依赖性,我们使用了一种基于神经网络嵌入点过程的新的基于注意力的机制。为了将道路网络引起的方向性空间依赖性,我们将空间统计背景下的“尾部”模型应用于交通网络设置。我们证明了我们的方法的优越性能相比,国家的最先进的方法合成和真实的数据。
2021-05-31 cs.LG stat.AP stat.ML
Decoupled Learning for Factorial Marked Temporal Point Processes
Shanghai Jiao Tong University(上海交通大学);Georgia Institute of Technology(佐治亚理工学院);East China Normal University(华东师范大学)
本文介绍了阶乘标记时间点过程模型,并给出了有效的学习方法。在传统的(多维)标记时间点过程模型中,事件通常由单个离散变量(即标记)编码。在本文中,我们描述了阶乘标记点过程,其中的时间戳事件分解成多个标记。因此,对成对标志物之间的效应进行建模的感染性矩阵的大小为幂次w.r.t.离散标记空间的数量。我们提出了一个解耦的学习方法,有两个学习过程:i)直接求解模型的基础上的两种技术:交替方向法的乘法器和快速迭代收缩保持算法; ii)涉及到一个重新制定,将原来的问题转化为一个逻辑回归模型,以更有效的学习。此外,稀疏群正则化器被添加到识别的关键轮廓特征和事件标签。在真实数据集上的实验结果证明了我们的解耦和重构方法的有效性。源代码可在线获得。
2018-01-21 cs.AI cs.LG stat.ML