Structure-Aware Temporal Modeling for Chronic Disease Progression Prediction
Tulane University(杜兰大学);Texas Tech University(德克萨斯理工大学);University of Massachusetts Boston(马萨诸塞大学波士顿分校);Northeastern University(东北大学);Trine University(特里恩大学)
本文提出一种融合图神经网络结构感知与Transformer时序建模的统一框架,通过结构感知门控机制动态融合多模态症状信息,在帕金森病进展预测中取得优于现有方法的性能。
2025-08-20 cs.LG
Automated Dilated Spatio-Temporal Synchronous Graph Modeling for Traffic Prediction
Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学);National University of Defense Technology(国防科技大学);Beijing Jiaotong University(北京交通大学)
由于交通网络的复杂时空相关性,准确的交通预测是智能交通系统中一项具有挑战性的任务。许多现有的作品利用复杂的时间建模方法,结合图卷积网络(GCN)捕捉短期和长期的时空依赖性。然而,这些设计复杂的分离模块限制了时空表示学习的有效性和效率。此外,大多数以前的工作采用固定的图构造方法来表征全局时空关系,这限制了模型对不同时间段甚至不同数据场景的学习能力。为了克服这些限制,我们提出了一个自动扩张的时空同步图网络,名为Auto-DSTSGN的流量预测。具体来说,我们设计了一个自动膨胀时空同步图(Auto-DSTSG)模块,通过以递增的顺序堆叠具有膨胀因子的更深层来捕获短期和长期的时空相关性。此外,我们提出了一个图结构搜索方法,自动构建时空同步图,可以适应不同的数据场景。在四个真实数据集上的大量实验表明,与现有方法相比,我们的模型可以实现约10%的改进。源代码可在https://github.com/jinguangyin/Auto-DSTSGN上获得。
2022-07-22 cs.LG
A Data-driven Dynamic Temporal Correlation Modeling Framework for Renewable Energy Scenario Generation
针对可再生能源出力的非线性和时变特征,提出动态时序相关性建模框架,通过解耦映射路径和动态协方差矩阵建模相关性,结合隐式分位数网络实现场景生成,实验验证其优于现有方法。
2025-01-24 cs.LG
A Neural PDE Solver with Temporal Stencil Modeling
Carnegie Mellon University(卡内基梅隆大学);Brookhaven National Laboratory(布鲁克海文国家实验室)
非线性偏微分方程的数值模拟在天气、气候和空气动力学等物理科学和工程现象的建模中起着至关重要的作用。最近的机器学习(ML)模型在低分辨率时空信号上训练,在捕获高分辨率信号中的重要动态方面显示了新的希望,条件是模型可以有效地恢复丢失的细节。然而,这项研究表明,重要的信息往往是在低分辨率下采样的功能丢失。为了解决这些问题,我们提出了一种新的方法,即时间模板建模(TSM),它结合了先进的时间序列序列建模(具有HiPPO功能)和最先进的神经PDE求解器(具有可学习的模板建模)的优势。TSM的目的是恢复从PDE轨迹丢失的信息,可以被视为经典的有限体积方法,如WENO的时间推广。我们的实验结果表明,TSM实现了新的国家的最先进的模拟精度为2-D不可压缩的Navier-Stokes湍流:它显着优于先前报道的最佳结果的19.9%,在高度相关的持续时间,并减少推理延迟到80%。我们还显示了很强的泛化能力,所提出的方法,各种分布的湍流设置。我们的代码可以在“https://github.com/Edward-Sun/TSM-PDE“上找到。
2023-02-16 cs.LG
Meta Dynamic Graph for Traffic Flow Prediction
本文提出元动态图框架,通过动态图结构建模交通流的时空动态,解决传统方法在动态建模和异质性捕捉上的局限性。
2026-01-15 cs.LG
A Comprehensive Study on Temporal Modeling for Online Action Detection
University of Electronic Science and Technology of China(电子科技大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院)
在线动作检测是一个实用而又具有挑战性的课题,近年来受到越来越多的关注。典型的OAD系统主要由三个模块组成:帧级特征提取器,其通常基于预训练的深度卷积神经网络(CNN)、时间建模模块和动作分类器。其中,时序建模模块是关键,它从历史和当前特征中聚合有区别的信息。虽然人们已经为OAD等课题开发了多种时态建模方法,但对它们在OAD中的应用效果还缺乏足够的研究。本文的目的是提供一个全面的研究OAD的时间建模,包括四个Meta类型的时间建模方法,\ie时间池,时间卷积,递归神经网络和时间注意力,并揭示一些良好的做法,产生一个国家的最先进的OAD系统。其中许多是首次在OAD中探索的,并使用各种超参数进行了广泛的评估。此外,基于我们的全面研究,我们提出了几种混合时间建模方法,这些方法在THUMOS-14和TVSeries上的表现优于最近的最先进的方法,具有相当大的利润率。
2020-01-21 cs.HC cs.LG
Hierarchical Representations for Spatio-Temporal Visual Attention Modeling and Understanding
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
该博士论文围绕视频中的时空视觉注意力建模,提出层次化表示方法,包括一个上下文感知的生成式概率模型和一个先估计自顶向下时空注意力再用于时间域建模的深度网络架构。
2023-08-09 cs.AI cs.CV cs.LG
Significant Ties Graph Neural Networks for Continuous-Time Temporal Networks Modeling
College of Computer;Information Science Southwest University Chongqing, China;Information Science Southwest University Chongqing, China , corresponding author
时态网络适合于对复杂演化系统进行建模。它具有广泛的应用,例如社会网络分析、推荐系统和流行病学。近年来,对这类动态系统的建模研究引起了许多领域的关注.然而,大多数现有的方法采取离散的时间网络的快照和建模具有同等重要性的所有事件。本文提出了重要关系图神经网络(STGNN),一个新的框架,捕捉和描述重要的关系。为了更好地模拟交互的多样性,STGNN引入了一种新的聚合机制来组织最重要的历史邻居的信息,并自适应地获得节点对的重要性。在四个真实网络上的实验结果证明了该框架的有效性。
2022-11-12 cs.LG cs.SI
Game-Theoretic Interpretability for Temporal Modeling
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
可解释性已经成为机器学习模型的关键需求。到目前为止,方法主要关注的是强调特征相关性或选择的固定维度输入。相比之下,我们专注于时间建模和剪裁的预测,功能上,对一个可解释的家庭的问题。为此,我们提出了一个合作的预测和解释者之间的游戏,没有任何先验限制的功能类的预测。解释器的目标是突出显示,局部,以及预测符合所选择的可解释的时间模型的家庭。我们的合作博弈是建立在信息集的效率原因不对称。我们开发和说明的时间序列模型的背景下,与例子的框架。
2018-06-30 cs.LG stat.ML
Transformers in Action Recognition: A Review on Temporal Modeling
Graduate University of Advanced Technology(高等技术研究生院);Shahid Bahonar University of Kerman(克尔曼沙希德·巴霍纳尔大学);University of Isfahan(伊斯法罕大学)
在基于视觉的动作识别中,来自不同模态的时空特征被用于识别活动。时间建模是动作识别的一个长期挑战。然而,在基于深度的方法中,存在诸如预先计算的运动特征、三维(3D)滤波器和递归神经网络(RNN)之类的有限方法来对运动信息进行建模。最近,Transformers在自然语言处理(NLP)任务中成功地建模了长距离依赖关系,这引起了其他领域的极大关注;包括语音,图像和视频,完全依赖于自我注意力,而不使用序列对齐的RNN或卷积。虽然Transformers的应用动作识别是相对较新的,在过去几年中提出的关于这个主题的研究量是惊人的。本文特别回顾了用于建模时间变化的深度学习方法的最新进展。它侧重于动作识别方法,使用Transformers的时间建模,讨论其主要特点,使用的方式,并确定未来的研究机会和挑战。
2022-12-29 cs.AI cs.CV cs.LG
HierCVAE: Hierarchical Attention-Driven Conditional Variational Autoencoders for Multi-Scale Temporal Modeling
HierCVAE通过层级注意力与条件变分自编码器结合,实现多尺度时间建模,在能源数据集上预测精度提升15-40%,并改善不确定性校准。
2025-08-26 cs.AI cs.LG
Modeling Events and Interactions through Temporal Processes -- A Survey
University of Calabria(卡拉布里亚大学);University G. d’Annunzio of Chieti-Pescara(基耶蒂-佩斯卡拉加布里埃尔·邓南遮大学);University of Pisa(比萨大学);Faculty of Economics - University of Porto(波尔图大学经济学院);Scuola Normale Superiore of Pisa(比萨高等师范学校)
该综述聚焦连续时间事件序列建模,梳理时间过程相关概率模型,定义分类本体并系统回顾三类点过程的深度学习方法,分析其在预测与建模场景的应用。
2023-07-21 cs.LG stat.ML
A General Spatio-Temporal Clustering-Based Non-local Formulation for Multiscale Modeling of Compartmentalized Reservoirs
Stanford University(斯坦福大学);Quantum Reservoir Impact LLC(Quantum Reservoir Impact有限责任公司)
将储层表示为具有相邻和非相邻连接的离散隔间的网络是用于分析油气储层的快速而准确的方法。自动和快速检测具有不同静态和动态特性的粗尺度隔室是这种高级储层分析的一个组成部分。在这项工作中,我们提出了一个混合框架,具体到油藏分析的自动检测集群在空间中使用空间和时间的字段数据,再加上基于物理的多尺度建模方法。在这项工作中,我们提出了一种新的混合方法,在这种方法中,我们耦合基于物理的非本地建模框架与数据驱动的聚类技术,以提供一个快速,准确的多尺度建模的分隔油藏。这项研究还增加了文献,提出了一个全面的工作,空间-时间聚类油藏研究的应用程序,充分考虑聚类的复杂性,固有的稀疏性和噪声的数据,以及结果的可解释性。关键词:人工智能;机器学习;时空聚类;基于物理的数据驱动公式化;多尺度建模
2019-04-28 cs.LG stat.ME
Temporal Tokenization Strategies for Event Sequence Modeling with Large Language Models
Capital One;Georgia Institute of Technology(佐治亚理工学院)
本文研究了大语言模型中时间序列事件建模的时间标记策略,通过对比不同编码方法发现,标记器需与数据统计特性匹配才能提升预测性能。
2026-05-11 cs.CL cs.LG
Modeling Event Propagation via Graph Biased Temporal Point Process
Shanghai Jiao Tong University(上海交通大学);China Telecom BestPay Co., Ltd.(中国电信天翼电子商务有限公司)
时态点过程是序列数据建模的常用方法。本文重点研究了图中事件传播的建模问题,如社交网络用户的转发、网站间的新闻传播等。给定一组事件传播序列,传统的点过程模型只考虑事件历史,即将事件历史嵌入到一个向量中,而不考虑潜在图结构。提出了一种基于图表示学习的结构化时间点过程(GBTPP),分别对节点间的直接影响和事件历史的间接影响进行建模。此外,学习的节点嵌入向量也被集成到嵌入的事件历史作为边信息。在一个合成数据集和两个真实数据集上的实验表明,与传统方法和最先进的方法相比,我们的模型是有效的。
2020-05-05 cs.LG cs.SI
Learning Pretopological Spaces to Model Complex Propagation Phenomena: A Multiple Instance Learning Approach Based on a Logical Modeling
INSA Centre Val de Loire(中央卢瓦尔河谷高等工业学院);LIFO EA 4022(LIFO(信息处理与优化实验室))
本文讨论了预拓扑理论形式主义中“传播”概念的学习问题。我们的建议是首先将伪闭包算子(模拟传播概念)定义为邻域的逻辑组合。我们表明,学习这样的操作失误到多实例(MI)的框架,其中的学习过程是在袋的实例,而不是个别的实例。虽然这个框架非常适合这项任务,但它用于学习预拓扑空间会导致一组大小呈指数级的袋子。为了克服这个问题,我们因此提出了一种学习方法的基础上,低估计的袋所涵盖的概念正在建设中。作为一个实验,渗流过程(森林火灾通常)进行了模拟和相应的传播模型学习的基础上的一个子集的观察。它表明,所提出的MI方法是更有效的传播模型识别的任务比现有的方法。
2018-05-03 cs.LG stat.ML
CausalPOI: Spatio-Temporal Graph-Based Causal Modeling for Cold-Start POI Check-in Forecasting
Nanyang Technological University(南洋理工大学);China Agricultural University(中国农业大学);Meituan(美团)
提出CausalPOI框架,利用时空功能交互图建模POI间语义和空间关系,通过结构对齐的处理和对照图模拟事实与反事实场景,解决冷启动POI签到预测问题,在真实数据集上显著优于基线。
2026-06-03 cs.AI cs.LG
ST-UNet: A Spatio-Temporal U-Network for Graph-structured Time Series Modeling
Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院)
时空图学习正成为图研究的一个重要对象。许多应用领域涉及高度动态的图,其中时间信息是至关重要的,例如交通网络和金融交易图。尽管结构化数据的学习不断取得进展,但仍然缺乏有效的手段来提取时空结构中的动态复杂特征。特别是,传统的模型,如卷积网络或递归神经网络是无法揭示的时间模式,在短期或长期和探索的空间属性在局部或全球范围内的时空图同时。为了解决这个问题,我们设计了一种新的多尺度架构,时空U网(ST-UNet),用于图结构的时间序列建模。在该U型网络中,提出了一种时空域的成对采样操作:池化(ST-Pool)在空间上粗化输入图的确定性划分,同时通过扩张的循环跳跃连接提取多分辨率时间依赖;基于下采样中的先前设置,解池(ST-Unpool)恢复时空图的原始结构并恢复图序列内的规则间隔。时空预测任务的实验表明,我们的模型有效地捕捉多个尺度的综合特征,并在几个真实世界的数据集上实现了对主流方法的实质性改进。
2021-06-15 cs.LG stat.ML
Only Time Can Tell: Discovering Temporal Data for Temporal Modeling
University of Edinburgh(爱丁堡大学);Facebook AI(脸书人工智能研究院)
理解时间信息以及视觉世界如何随时间变化是智能系统的基本能力。在视频理解中,时间信息是当前许多挑战的核心,包括压缩、高效推理、运动估计或摘要。然而,在当前的视频数据集中,已经观察到动作类通常可以在没有来自单个视频帧的任何时间信息的情况下被识别。因此,这些数据集中的基准测试和训练可能会给具有强大图像理解能力的模型带来无意的优势,而不是那些具有强大时间理解能力的模型。在本文中,我们解决这个问题的头上确定的动作类的时间信息实际上是必要的,以识别它们,并呼吁这些“时间类”。使用计算方法选择时态类会使过程产生偏差。相反,我们提出了一种基于简单有效的人类注释实验的方法。我们通过在时间上重排帧来去除时间信息,并测量动作是否仍然可以被识别。当帧不按顺序排列时无法识别的类包含在时态数据集中。我们观察到,这个集合在统计上与其他静态类不同,并且它的性能与网络捕获时间信息的能力相关。因此,我们将其作为当前流行网络的基准,这揭示了一系列有趣的事实。我们还探索了训练对时态数据集的影响,并观察到这导致了在看不见的类中更好的泛化,这表明需要更多的时态数据。我们希望所提出的时间类别的数据集将有助于指导未来的时间建模更好的视频理解的研究。
2019-10-29 cs.CV cs.LG
Cross-Node Federated Graph Neural Network for Spatio-Temporal Data Modeling
University of Southern California(南加州大学)
从传感器、可穿戴设备和物联网(IoT)设备网络生成的大量数据强调了对先进建模技术的需求,这些技术可以利用分散数据的时空结构,因为需要边缘计算和许可(数据访问)问题。虽然联邦学习(FL)已经成为一个模型训练框架,而不需要直接的数据共享和交换,有效地建模复杂的时空依赖关系,以提高预测能力仍然是一个悬而未决的问题。另一方面,最先进的时空预测模型假定可以不受限制地访问数据,忽略了对数据共享的限制。为了弥合这一差距,我们提出了一个联邦时空模型-跨节点联邦图神经网络(CNFGNN)-它使用基于图神经网络(GNN)的架构在跨节点联邦学习的约束下显式编码底层图结构,这要求节点网络中的数据在每个节点上本地生成,并保持分散。CNFGNN通过将设备上的时间动态模型和服务器上的空间动态模型分开来运行,利用交替优化来降低通信成本,促进边缘设备上的计算。在流量预测任务上的实验表明,CNFGNN在直推和归纳学习设置中都实现了最佳的预测性能,在边缘设备上没有额外的计算成本,同时产生适度的通信成本。
2021-06-09 cs.AI cs.LG
Graph WaveNet for Deep Spatial-Temporal Graph Modeling
University of Technology Sydney(悉尼科技大学);Monash University(莫纳什大学)
时空图建模是分析系统中组件的空间关系和时间趋势的重要任务。现有的方法大多捕捉空间依赖于一个固定的图形结构,假设实体之间的潜在关系是预先确定的。然而,显式图结构(关系)不一定反映真实的依赖关系,并且由于数据中的不完整连接,可能会丢失真正的关系。此外,现有的方法对于捕获时间趋势是无效的,因为在这些方法中采用的RNN或CNN不能捕获长范围的时间序列。为了克服这些局限性,我们在本文中提出了一种新的图神经网络架构,图形WaveNet,时空图建模。通过开发一种新的自适应依赖矩阵,并通过节点嵌入来学习它,我们的模型可以精确地捕获数据中隐藏的空间依赖性。通过堆叠的膨胀1D卷积组件,其感受野随着层数的增加而呈指数增长,Graph WaveNet能够处理非常长的序列。这两个组件无缝集成在一个统一的框架中,整个框架以端到端的方式学习。在两个公共交通网络数据集METR-LA和PEMS-BAY上的实验结果表明了该算法的优越性能。
2019-05-31 cs.LG stat.ML
Modeling Temporal Dependencies in High-Dimensional Sequences: Application to Polyphonic Music Generation and Transcription
我们调查的问题,在一个完全通用的钢琴辊表示的复调音乐的符号序列建模。我们介绍了一个概率模型的基础上分布估计的条件下,能够发现高维序列的时间依赖性的递归神经网络。我们的方法在各种现实数据集上的表现优于许多传统的复调音乐模型。我们展示了如何我们的音乐语言模型可以作为一个象征性的之前,以提高复调转录的准确性。
2012-06-27 cs.LG cs.SD stat.ML
Joint Geographical and Temporal Modeling based on Matrix Factorization for Point-of-Interest Recommendation
Università della Svizzera Italiana(意大利瑞士大学);Leiden University(莱顿大学)
随着基于位置的社交网络的普及,兴趣点推荐已成为一项重要任务,它学习用户的偏好和移动模式来推荐兴趣点。以往的研究表明,将上下文信息,如地理和时间的影响,是必要的,以改善POI推荐解决数据稀疏问题。然而,现有的方法模型的地理影响的基础上的物理距离POI和用户,而忽略了这种地理影响的时间特性。在本文中,我们进行了一项研究的用户移动模式,我们发现,用户的签到发生在几个中心,这取决于他们当前的时间状态。接下来,我们提出了一个时空活动中心算法来更准确地建模用户的行为。最后,我们证明了我们提出的上下文模型的有效性,将其纳入两个不同的设置下的矩阵分解模型:i)静态和ii)时间。为了证明我们所提出的方法的有效性,我们将其称为STACP,我们对从Gowalla和Foursquare LBSN获得的两个着名的真实世界数据集进行了实验。实验结果表明,STACP模型实现了统计上显着的性能改善,相比国家的最先进的技术。此外,我们证明了捕捉地理和时间信息建模用户的活动中心和建模的重要性,他们联合的有效性。
2020-01-24 cs.IR cs.LG
FlowNet: Modeling Dynamic Spatio-Temporal Systems via Flow Propagation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));National University of Singapore(新加坡国立大学)
本文提出受物理学启发的时空流范式及FlowNet架构,通过流令牌和守恒定律显式建模动态节点耦合,在三个真实系统上以七项指标超越现有最先进方法。
2025-11-05 cs.AI cs.LG
A memory enhanced LSTM for modeling complex temporal dependencies
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
在本文中,我们提出了Gamma-LSTM,一种增强的长短期记忆(LSTM)单元,通过多个阶段的时间抽象来学习分层表示。Gamma内存是一种分层内存单元,它形成了Gamma-LSTM的中央内存,并带有门来调节信息流到各个层次结构中,从而为单元提供了一个控制,以选择适当的层次结构级别来处理给定时刻的输入。我们在两种设置(逐像素MNIST数字分类和自然语言推理)中展示了Gamma-LSTM模型常规和堆叠LSTM的更好性能,重点是在长序列上泛化的能力。
2019-10-25 cs.LG stat.ML
Temporal Convolutional Attention-based Network For Sequence Modeling
Nanjing University(南京大学);Ant Group(蚂蚁集团)
提出结合时间卷积与注意力的TCAN网络,通过时间注意力和增强残差模块,在多个语言建模基准上刷新最优结果。
2023-10-14 cs.CL cs.LG
Spatio-Temporal Modeling for Flash Memory Channels Using Conditional Generative Nets
University of California, San Diego(加州大学圣地亚哥分校)
我们提出了一种数据驱动的方法来建模的时空特性的NAND闪存读取电压使用条件生成网络。所学习的模型基于单元及其周围单元的编程电平以及指定的编程/擦除(P/E)循环时间戳来重构来自单个存储器单元的读取电压。我们使用单元读取电压分布,单元级错误率和最容易受到单元间干扰(ICI)影响的模式的相对错误频率在一系列时间戳上评估模型。我们的结论是,该模型准确地捕捉闪存通道的空间和时间特征。
2022-05-23 cs.LG cs.SY eess.SY
Persistent Monitoring of Stochastic Spatio-temporal Phenomena with a Small Team of Robots
University of Southern California(南加州大学)
本文提出了一种解决方案,持续监测现实世界的随机现象,其中的基础协方差结构随时间急剧变化,使用少量的移动机器人传感器。我们提出了一个自适应的解决方案,随机现实世界的动态建模为高斯过程(GP)的问题。对基础协方差结构的信念是从最近观察到的动态中学习的,作为GP的低维超参数空间中的高斯混合(GM),并使用顺序蒙特卡罗方法在时间上进行调整。每个机器人从GM中采样一个置信点,并通过子模块熵函数的贪婪最大化来局部优化一组信息区域。本文的主要贡献有三个方面:采用马尔可夫链蒙特卡罗(MCMC)采样的协方差的信念,使粒子生存,即使在急剧的协方差变化随时间的推移;利用信念转换到一个分散的熵最大化的问题;和开发一个近似算法,以最大限度地提高连续空间中的一组信息区域的熵。我们通过使用人工数据集和来自固定传感器部署的多个真实数据集的广泛模拟来说明所提出的解决方案的应用,并将其与三种竞争最先进的方法进行比较。
2018-04-27 cs.AI cs.LG cs.RO
Monotonic Gaussian Process for Spatio-Temporal Disease Progression Modeling in Brain Imaging Data
Université Côte d’Azur(蔚蓝海岸大学);Inria Sophia Antipolis(法国国家信息与自动化研究所索菲亚·安提波利斯分部);CoBTeK lab(CoBTeK实验室)
我们引入了一个概率生成模型,用于从一系列高维脑图像中解开时空疾病轨迹。该模型是基于时空矩阵分解,其中对源的推断受到解剖学上合理的统计先验的约束。为了模拟真实的轨迹,时间源被定义为单调和时间重新参数化的高斯过程。为了解释大脑图像的非平稳性,我们将空间源建模为在多个尺度上卷积的稀疏代码。与标准盲源分离方法相比,该方法在合成数据上进行了测试。在来自临床研究的大规模成像数据上的应用允许解开映射神经退行性变的关键脑区域的差异时间进展模式,同时揭示与临床诊断相关的疾病特异性时间尺度。
2019-10-10 cs.LG q-bio.NC stat.ML
EvoKG: Jointly Modeling Event Time and Network Structure for Reasoning over Temporal Knowledge Graphs
Carnegie Mellon University(卡内基梅隆大学);Microsoft(微软)
如何在时态知识图谱上进行知识推理?TKG表示关于实体及其关系的事实,其中每个事实与时间戳相关联。关于TKG的推理,即,从随时间变化的KG中推断新的事实,对于许多应用程序提供智能服务至关重要。然而,尽管可以表示为TKG的真实世界数据的流行,但大多数方法都集中在静态知识图谱上的推理,或者不能预测未来事件。在本文中,我们提出了一个问题的制定,统一的两个主要问题,需要解决一个有效的推理TKG,即建模的事件时间和不断发展的网络结构。我们提出的方法EvoKG联合建模两个任务在一个有效的框架,它捕捉不断变化的结构和时间动态TKG通过经常性事件建模,并建模实体之间的交互的时间邻域聚合框架的基础上。此外,EvoKG使用基于神经密度估计的灵活有效的机制实现了事件时间的精确建模。实验表明,EvoKG优于现有的方法在有效性(高达77%和116%更准确的时间和链接预测)和效率。
2022-02-16 cs.AI cs.LG cs.SI
Adaptivity for clustering-based reduced-order modeling of localized history-dependent phenomena
University of Porto(波尔图大学);Delft University of Technology(代尔夫特理工大学)
本文提出了一种新的基于自适应聚类的降阶建模(ACROM)框架,以显着改善和扩展最近的家庭基于聚类的降阶模型(CROMs)。这种自适应框架使得基于聚类的区域分解能够在整个问题解决方案中动态地演变,从而确保在相关字段呈现较陡梯度的区域中的最佳细化。它提供了一个新的途径,快速和准确的材料建模的历史依赖的非线性问题,涉及高度局部化的塑性和损伤现象。整个方法由三个主要模块组成:目标聚类选择标准、自适应聚类分析和聚类交互张量的计算。此外,一个自适应的聚类解决方案倒带过程和动态自适应分裂因子的战略建议,以进一步加强自适应过程。所创造的自适应自一致聚类分析(ASCA)的表现优于其静态对应时,捕捉多尺度弹塑性行为的颗粒基体复合材料和预测相关的断裂和韧性。鉴于本文所示的令人鼓舞的结果,ACROM框架设置的阶段,并开辟了新的途径,探索自适应的背景下,CROMs。
2022-12-19 cond-mat.mtrl-sci cs.LG cs.NA
Generative Temporal Link Prediction via Self-tokenized Sequence Modeling
Central University of Finance and Economics(中央财经大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);iFLYTEK(科大讯飞)
我们形式化的网络与不断发展的结构作为时态网络,并提出了一个生成的链接预测模型,生成链接序列建模(GLSM),预测未来的链接时态网络。GLSM捕获的时间链接形成模式,从观察到的链接与序列建模框架,并有能力产生新的链接,从潜在的未来链接的概率分布推断。为了避免将每个链路视为唯一令牌而导致的过拟合,我们提出了一种自令牌化机制,将网络中的每个原始链路自动转换为抽象聚合令牌。自标记化无缝集成到序列建模框架中,这使得所提出的GLSM模型具有发现原始链接序列之外的链接形成模式的泛化能力。我们比较GLSM与现有的最先进的方法在五个真实世界的数据集。实验结果表明,GLSM获得未来的积极联系,有效地在一个生成的方式,同时实现最好的性能(2- 10%的改善AUC)在其他替代品。
2020-04-27 cs.IR cs.LG cs.SI
Efficient Temporal Modeling for Mobile Sleep Staging via Lightweight Random Attention
University of Science and Technology of China(中国科学技术大学)
提出轻量随机注意力模块RA,通过固定随机投影实现相似性聚合,替代可学习序列建模,在移动睡眠分期中实现高效时序平滑,理论解释为随机注意力先验核,实验显示在准确率和F1上提升1-3%,性能媲美LSTM/GRU/Transformer。
2026-06-15 cs.AI cs.LG eess.SP
Software Engineering Event Modeling using Relative Time in Temporal Knowledge Graphs
McGill University(麦吉尔大学);Google Research(谷歌研究院)
我们提出了一个多关系的时间知识图谱的基础上,在GitHub,最大的社会编码平台之一的工件之间的日常互动。这种表示使得能够提出许多用户活动和项目管理问题,作为知识图谱上的链接预测和时间查询。特别是,我们引入了两个新的数据集i)内插的时间条件链接预测和ii)外推的时间条件链接/时间预测查询,每一个都具有独特的属性。我们对这些数据集的实验强调了调整知识图谱来回答广泛的软件工程问题的潜力。同时,它也揭示了现有的时态模型的外推查询和时间预测查询的一般性能不令人满意。为了克服这些缺点,我们引入了一个扩展到当前的时间模型,使用相对的时间信息与过去的事件。
2020-07-13 cs.LG cs.SE stat.ML
Enhancing Temporal Modeling of Video LLMs via Time Gating
The Chinese University of Hong Kong(香港中文大学)
针对现有视频大语言模型忽略时序信息、时序理解能力不足的问题,提出带时间门控模块的TG-Vid模型,通过门控空间/时序注意力及门控MLP增强时序建模,在多个时序敏感基准上性能显著优于现有模型。
2024-10-08 cs.AI cs.CL cs.CV