A Temporal Difference Method for Stochastic Continuous Dynamics
University of Tokyo(东京大学)
针对基于HJB方程的强化学习需已知动力学的问题,提出免模型时间差分方法,实现指数收敛,桥接随机控制与免模型RL。
2025-10-26 cs.LG
Sequence Diffusion Model for Temporal Link Prediction in Continuous-Time Dynamic Graph
VNU University of Engineering and Technology(越南工程大学)
本文提出SDG模型,通过序列级扩散框架统一动态图学习与生成去噪,以提升时间链接预测的准确性与不确定性捕捉能力。
2026-01-30 cs.LG
Continuously Evolving Graph Neural Controlled Differential Equations for Traffic Forecasting
针对交通预测中现有方法忽略连续时间依赖与动态空间依赖的问题,提出持续演化图神经受控微分方程CEGNCDE,通过持续演化图生成器与GNCDE框架同时捕捉两类依赖,在多项指标上优于当前最优方法。
2024-01-26 cs.LG
Temporal-Differential Learning in Continuous Environments
Bank of America(美国银行);New York University(纽约大学)
本文介绍了一种新的强化学习(RL)方法--时间微分法。与传统的时间差学习方法相比,它在开发用于连续环境的新RL技术中起着至关重要的作用。特别是,连续时间最小二乘策略评估(CT-LSPE)和连续时间时间微分(CT-TD)学习方法的开发。理论和实验证据证明了所提出的时间差分学习方法的有效性。
2020-06-01 cs.AI cs.LG math.OC
Neural Spatio-Temporal Point Processes
University of Toronto(多伦多大学);Vector Institute(矢量研究所);Facebook AI Research(脸书人工智能研究室)
我们提出了一类新的时空点过程的参数化,它利用神经常微分方程作为计算方法,并使灵活,高保真模型的离散事件,本地化在连续的时间和空间。我们的方法的核心是连续时间神经网络与两种新型神经架构的组合,即,跳跃和连续时间的注意正规化流。这种方法使我们能够学习空间和时间域的复杂分布,并对观察到的事件历史进行非平凡的条件。我们验证了我们的模型的数据集,从各种各样的背景下,如地震学,流行病学,城市流动性和神经科学。
2021-03-18 cs.LG
STONet: A Neural-Operator-Driven Spatio-temporal Network
Center for Artificial Intelligence Research and Innovation(人工智能研究与创新中心)
由于图神经网络具有良好的表达能力,基于图的时空神经网络可以有效地对非结构化网格中不规则采样的离散点之间的空间依赖关系进行建模。然而,这些模型通常是空间传导的-仅拟合模型中馈入的离散空间节点的信号,但不能推广到具有zero-shot的“看不见的”空间点。相比之下,对于连续空间上的预测任务,例如地球表面的温度预测,\textit{spatially-inductive}属性允许模型推广到空间域中的任何点,展示了模型学习系统的基本机制或物理定律的能力,而不是简单地拟合信号。此外,在时间域中,\textit{irregularly-sampled}时间序列,例如具有缺失值的数据,要求模型是时间连续的。出于这两个问题,我们提出了一个时空框架的基础上神经运营商的偏微分方程,学习的基础机制,管理动态的空间连续的物理量。实验表明,我们的模型在预测空间连续的数据量方面的性能有所提高,并且它对看不见的空间点的泛化能力和处理时间不规则数据的能力都很好。
2022-04-21 cs.LG
MASA-TCN: Multi-anchor Space-aware Temporal Convolutional Neural Networks for Continuous and Discrete EEG Emotion Recognition
School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);School of Biological Science and Medical Engineering, Southeast University(东南大学生物科学与医学工程学院)
针对EEG情绪识别中TCN空间建模不足的问题,提出统一模型MASA-TCN,通过空间感知时间层和注意力融合多锚点模块同时提升连续回归与离散分类性能。
2024-03-13 cs.LG
STC-ViT: Spatio Temporal Continuous Vision Transformer for Medium-range Global Weather Forecasting
University of New South Wales(新南威尔士大学)
STC-ViT通过结合傅里叶神经算子和神经ODE,提出了一种用于中程全球天气预报的时空连续视觉变换器,实现了高效且准确的预报性能。
2025-11-28 cs.LG
Deep Representation Learning for Prediction of Temporal Event Sets in the Continuous Time Domain
Indian Institute of Science (IISc)(印度科学学院)
针对连续时间内同时发生事件集合的预测难题,提出融合事件嵌入、时间信息与领域特征的可扩展TPP模型,在预测性能和计算效率上均优于现有方法。
2023-09-29 cs.LG
Continuous Temporal Domain Generalization
The University of Tokyo(东京大学);Southern University of Science and Technology(南方科技大学);Emory University(埃默里大学);Jilin University(吉林大学)
针对传统时间域泛化难以处理连续演化、不规则观测时间域的局限,该研究提出连续时间域泛化概念及Koopman算子驱动的Koodos框架,通过连续动力系统建模与Koopman理论学习动态规律,结合先验知识优化泛化,实验验证了其有效性与高效性。
2024-10-29 cs.AI cs.LG
Community-Aware Temporal Walks: Parameter-Free Representation Learning on Continuous-Time Dynamic Graphs
School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院);Guangzhou Institute of Technology, Xidian University(西安电子科技大学广州研究院)
提出社区感知时间游走(CTWalks)框架,通过社区标签匿名化与ODE连续时间建模,在时间链接预测中超越现有方法并保持鲁棒性。
2025-01-21 cs.AI cs.LG
Modeling Temporal Data as Continuous Functions with Stochastic Process Diffusion
Technical University of Munich(慕尼黑工业大学);Morgan Stanley(摩根士丹利)
本文提出在函数空间中定义去噪扩散模型来建模时间数据背后的随机过程,通过引入新噪声源及去噪与分数匹配模型,实现了多变量概率预测与插补,并能自然处理不规则采样。
2023-05-19 cs.LG
Sparse-Dyn: Sparse Dynamic Graph Multi-representation Learning via Event-based Sparse Temporal Attention Network
University of Colorado Denver(科罗拉多大学丹佛分校)
动态图神经网络已广泛应用于图结构数据的建模和表示学习。当前的动态表示学习主要集中在导致时间信息丢失的离散学习和涉及大量计算的连续学习。在这项工作中,我们提出了一种新的动态图神经网络,稀疏Dyn。它自适应地将时间信息编码成具有等量时间拓扑结构的补丁序列。因此,在避免使用导致信息丢失的快照的同时,它还实现了更精细的时间粒度,这接近于连续网络所能提供的。此外,我们还设计了一个轻量级的模块,稀疏时间Transformer,通过结构邻域和时间动态计算节点表示。由于全连接注意连词被简化,计算成本远低于当前的最先进的。链接预测实验进行了连续和离散图数据集。通过与几种最先进的图嵌入基线进行比较,实验结果表明,Sparse-Dyn具有更快的推理速度,同时具有竞争力的性能。
2022-02-10 cs.LG
Continuous-Time User Preference Modelling for Temporal Sets Prediction
Beihang University(北京航空航天大学);the University of Tennessee(田纳西大学)
针对时序集合预测中用户偏好演化捕捉不足的问题,提出带记忆库的连续时间用户偏好建模框架,结合个性化行为学习与集合批处理算法,在多数据集上实现性能与效率提升。
2023-08-28 cs.LG
Temporal-Difference Networks for Dynamical Systems with Continuous Observations and Actions
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
时间差分(TD)网络是一类预测状态表示,它使用成熟的TD方法来学习部分可观测动态系统的模型。以前的研究与TD网络只处理与有限集的观察和行动的动力系统。我们提出了一个学习TD网络表示的动态系统的连续观测和行动的算法。我们的研究结果表明,该算法是能够学习的几个噪声连续动态系统的准确和鲁棒的模型。这里提出的算法是学习连续动态系统的预测表示的第一个完全增量的方法。
2012-05-09 cs.LG stat.ML
TG-GAN: Continuous-time Temporal Graph Generation with Deep Generative Models
George Mason University(乔治梅森大学);Beijing University of Posts and Telecommunications(北京邮电大学)
最近正在积极开发的静态图的深度生成模型在分子设计等领域取得了重大成功。然而,许多现实世界的问题涉及时序图,其拓扑结构和属性值随时间动态演变,包括重要的应用,如蛋白质折叠,人类移动网络和社交网络增长。到目前为止,用于时间图的深度生成模型尚未得到很好的理解,并且用于静态图的现有技术不足以用于时间图,因为它们不能1)按时间顺序编码和解码连续变化的图拓扑,2)通过时间约束强制有效性,或者3)确保信息无损时间分辨率的效率。为了解决这些挑战,我们提出了一个新的模型,称为“时间图生成对抗网络"(TG-GAN)的连续时间时间图生成,通过建模截断时间随机游走及其组成的深层生成过程。具体来说,我们首先提出了一种新的时间图生成器,联合模型截断边序列,时间预算,和节点属性,与新的激活函数,执行时间有效性约束下经常性架构。此外,提出了一种新的时间图编码,它结合了时间和节点编码操作的递归架构,以区分所产生的序列从一个新开发的截断时间随机游走采样器采样的真实的。在合成数据集和真实数据集上的大量实验表明,TG-GAN在效率和有效性方面明显优于比较方法。
2020-06-09 cs.LG stat.ML
Neural Dynamical Operator: Continuous Spatial-Temporal Model with Gradient-Based and Derivative-Free Optimization Methods
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
提出神经动力学算子框架,实现时空连续且对离散分辨率不变,并结合基于梯度与无导数的混合优化方法,有效利用短期轨迹与长期统计数据提升复杂动力学系统的长期预测性能。
2024-09-26 cs.LG
Temporal Lifting as Latent-Space Regularization for Continuous-Time Flow Models in AI Systems
Red Dawn Academic Press(红日学术出版社)
本文提出了一种时间提升方法,用于连续时间流模型中的潜在空间正则化,以稳定物理信息神经网络等人工智能系统架构。
2026-01-27 cs.AI cs.LG
Discovering Communities in Continuous-Time Temporal Networks by Optimizing L-Modularity
UCBL, CNRS, INSA Lyon, LIRIS, UMR5205, F-69622 Villeurbanne, France;UCBL \& IUF, CNRS, LIRIS UMR5205, F-69622 Villeurbanne, France
针对连续时间时序网络的社区检测需求,该研究提出通过贪心优化纵向模块度的LAGO方法,可精准捕捉节点社区进出时刻,在合成与真实数据集上验证了其高效挖掘时序拓扑一致社区的能力。
2025-10-01 cs.LG cs.SI
Temporal Abstractions-Augmented Temporally Contrastive Learning: An Alternative to the Laplacian in RL
Mila(米拉人工智能研究院);Université de Montréal(蒙特利尔大学);Amii(阿尔伯塔机器智能研究所);University of Alberta(阿尔伯塔大学);McGill University(麦吉尔大学);Meta AI
在强化学习中,图拉普拉斯算子已被证明是任务不可知环境中的一个有价值的工具,其应用范围从技能发现到奖励塑造。最近,学习拉普拉斯表示已被框定为时间对比目标的优化,以克服其在大(或连续)状态空间中的计算限制。然而,这种方法需要统一访问状态空间中的所有状态,忽略了在表示学习过程中出现的探索问题。在这项工作中,我们提出了一种替代方法,能够恢复,在一个非均匀的先验设置,表现力和所需的性质的拉普拉斯表示。我们通过将表示学习与基于技能的覆盖策略相结合来实现这一点,该策略提供了更好的训练分布来扩展和细化表示。我们还表明,一个简单的增强表示目标与学习的时间抽象提高动态意识,并有助于探索。我们发现,我们的方法成功地作为一种替代拉普拉斯在非均匀设置和规模具有挑战性的连续控制环境。最后,即使我们的方法没有针对技能发现进行优化,学习到的技能也可以成功地解决具有稀疏奖励的困难的连续导航任务,而标准的技能发现方法并不那么有效。
2022-03-21 cs.LG
Nonlocal Bayesian Modeling of Continuous Spatio-Temporal Dynamics
Department of Industrial and Systems Engineering, Korea Advanced Institute of Science and Technology (KAIST)(工业与系统工程系,韩国科学技术院)
提出NLBST模型,通过坐标基展开和连续时间ODE结合非局部积分微分方程,实现不规则观测下的连续时空预测与不确定性量化。
2026-06-15 cs.LG stat.ML
ConTIG: Continuous Representation Learning on Temporal Interaction Graphs
Xiamen University(厦门大学);University of Technology Sydney(悉尼科技大学);Monash University(莫纳什大学)
时间交互图(TIG)上的表示学习是对复杂网络进行建模,其中交互的动态演化出现在广泛的问题中。现有的TIG动态嵌入方法仅在交互发生时离散地更新节点嵌入。它们未能捕捉到节点嵌入轨迹的连续动态演化。在本文中,我们提出了一个两模块的框架命名为ConTIG,连续表示方法,捕捉节点嵌入轨迹的连续动态演变。我们的模型有两个基本模块,利用动态网络中的三重因素,包括最新的交互,邻居特征和固有特征。在第一个更新模块中,我们采用连续推理块来学习节点的状态轨迹,通过使用常微分方程从节点对之间的时间相邻的交互模式中学习。在第二个转换模块中,我们引入了一个自我注意力机制,通过聚集历史时间交互信息来预测未来的节点嵌入。实验结果表明,ConTIG算法在时间链接预测、时间节点推荐和动态节点分类等任务上优于一系列现有的算法,特别是在长时间间隔交互预测方面。
2021-09-27 cs.AI cs.LG cs.SI
Learning Long Range Spatio-Temporal Representations over Continuous Time Dynamic Graphs with State Space Models
University of Texas at Austin(德克萨斯大学奥斯汀分校);Indian Institute of Science(印度科学研究院)
提出一种基于状态空间模型的连续时间动态图框架(CTDG-SSM),通过拓扑感知的高阶多项式投影算子(CTT-HiPPO)实现长程时空信息传播,在动态链接预测、节点分类和序列分类任务上取得最优性能。
2026-06-04 cs.AI cs.LG
CT-OT Flow: Estimating Continuous-Time Dynamics from Discrete Temporal Snapshots
Toyota Central R&D Labs., Inc.(丰田中央研发实验室)
提出CT-OT Flow框架,通过部分最优对齐和核平滑从离散快照重建连续时间动态,在合成和真实数据上降低分布与轨迹误差。
2026-05-22 cs.LG stat.ML
Time-Continuous Modeling for Temporal Affective Pattern Recognition in LLMs
School of Computer Science Bina Nusantara University East Jakarta, Indonesia(计算机科学学院 印尼国立宾努斯大学 東雅加達)
本文提出利用物理信息神经网络,通过时间连续建模实现大语言模型中情感模式识别,为可解释对话建模提供新方法。
2026-01-18 cs.AI cs.ET cs.HC
Temporal Knowledge Graph Forecasting with Neural ODE
Institute of Informatics, LMU Munich(慕尼黑大学信息学研究所);Corporate Technology, Siemens AG(西门子股份公司企业技术部);Technical University of Munich(慕尼黑工业大学)
在时间知识图谱(KG)上推断未来链接的兴趣越来越大。虽然时间KG上的链接随时间连续变化,但现有方法在离散状态空间中对时间KG进行建模。为此,我们通过将神经常微分方程(ODE)的思想扩展到多关系图卷积网络,提出了一种新型的连续统模型。该模型保持了动态多关系图数据的连续性,并将时间和结构信息编码为连续时间动态嵌入。此外,应用新颖的图过渡层来捕获动态图上的过渡,即,边缘形成和溶解。我们在五个基准数据集上进行了大量的时间KG推理实验,显示了我们的模型在未来链路预测任务上的优越性能。
2022-06-02 cs.AI cs.LG
A Unified Replay-based Continuous Learning Framework for Spatio-Temporal Prediction on Streaming Data
Aalborg University(奥尔堡大学);East China Normal University(华东师范大学);University of Electronic Science and Technology of China(电子科技大学);Huawei Cloud Database Innovation Lab(华为云数据库创新实验室)
针对流数据时空预测中的灾难性遗忘问题,提出基于重放的统一持续学习框架,通过时空混合机制融合历史样本,并结合时空自编码器与STSimSiam网络及数据增强方法,有效保留历史知识并确保预测准确性。
2024-04-23 cs.DB cs.LG
Bridging Discrete Marks and Continuous Dynamics: Dual-Path Cross-Interaction for Marked Temporal Point Processes
NEXTPP通过双路径交叉交互融合离散和连续表示,提升标记时间点过程的预测性能。
2026-03-12 cs.AI cs.LG
STX-Search: Explanation Search for Continuous Dynamic Spatio-Temporal Models
University of Warwick(华威大学)
提出STX-Search方法,通过新的搜索策略和目标函数为连续时间动态图模型生成高保真且可解释的实例级解释。
2025-03-06 cs.AI cs.LG
FreKoo++: Learning Continuous Spectral Dynamics for Temporal Domain Generalization
Australian Artificial Intelligence Institute (AAII)(澳大利亚人工智能研究所(AAII));Faculty of Engineering and Information Technology(工程与信息技术学院);University of Technology Sydney (UTS)(悉尼科技大学(UTS))
针对时间域泛化中复杂流场景的局限,提出FreKoo++框架,统一连续Koopman模态动力学与自适应谱解耦,在TDG基准上实现最先进性能。
2026-08-25 cs.AI cs.LG
ProGen: Revisiting Probabilistic Spatial-Temporal Time Series Forecasting from a Continuous Generative Perspective Using Stochastic Differential Equations
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
ProGen提出利用随机微分方程和扩散生成模型进行概率时空预测,通过整合去噪分数模型与图神经网络,在四个交通数据集上超越现有确定性与概率模型。
2024-11-02 cs.LG stat.ML
Continuous-Time Sequential Recommendation with Temporal Graph Collaborative Transformer
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of California, Davis(加利福尼亚大学戴维斯分校);Fudan University(复旦大学);Pinterest Inc.(Pinterest公司)
为了模拟用户偏好的演化,我们应该学习基于时间排序的物品购买序列的用户/物品嵌入,这被定义为顺序推荐(SR)问题。现有的方法利用顺序模式来建模项转换。然而,他们中的大多数人忽略了关键的时间协作信号,这是潜在的不断发展的用户-项目交互和共存的顺序模式。因此,我们提出统一的序列模式和时间协同信号,以提高推荐的质量,这是相当具有挑战性的。首先,难以同时编码序列模式和协作信号。其次,它是不平凡的,以表达协同信号的时间效应。因此,我们设计了一个新的框架时间图顺序推荐(TGSRec)在我们定义的连续时间二分图。在TGSRec中提出了一种新的时间协作转换器(TCT)层,该层通过采用一种新的协作注意机制,改进了自注意力机制。TCT层可以同时捕获来自用户和项目的协作信号,并考虑序列模式中的时间动态。我们传播的信息从TCT层的时间图统一的序列模式和时间的合作信号。在5个数据集上的实证结果表明,TGSRec显著优于其他基线,在Recall@10和MRR上平均分别提高了22.5%和22.1%。
2021-08-22 cs.AI cs.IR cs.LG
Learning Temporal Point Processes for Efficient Retrieval of Continuous Time Event Sequences
IIT Delhi(印度理工学院德里分校);IIT Bombay(印度理工学院孟买分校)
最近的发展,在预测建模使用标记时间点过程(MTPP),使几个真实世界的应用,涉及连续时间事件序列(CTES)的准确表征。然而,这些序列的检索问题在文献中仍然很大程度上没有得到解决。为了解决这个问题,我们提出了NEUROSEQRET,它学习检索和排名一组相关的连续时间事件序列为一个给定的查询序列,从一个大型语料库的序列。更具体地说,NEUROSEQRET首先在查询序列上应用可训练的解扭曲函数,这使得它与语料库序列相当,特别是当相关的查询-语料库对具有单独不同的属性时。然后,它将未变形的查询序列和语料库序列馈送到MTPP引导的神经相关性模型中。我们开发了两种变体的相关性模型,提供了准确性和效率之间的权衡。我们还提出了一个优化框架来学习二进制序列嵌入的相关性分数,适合本地敏感的哈希导致显着的加速返回给定的查询序列的前K个结果。我们对几个数据集的实验表明,NEUROSEQRET的准确性显著提高,超过了几个基线,以及我们的哈希机制的有效性。
2022-02-17 cs.IR cs.LG
Overcoming Exploration: Deep Reinforcement Learning for Continuous Control in Cluttered Environments from Temporal Logic Specifications
Lehigh University(利哈伊大学);Boston University(波士顿大学)
使用深度强化学习(DRL)的机器人导航任务的无模型连续控制依赖于用于探索的噪声策略对奖励的密度敏感。在实践中,机器人通常部署在杂乱的环境中,包含许多障碍物和狭窄的通道。设计密集有效的奖励是具有挑战性的,导致训练过程中的探索问题。这样的问题变得更加严重时,任务描述使用时序逻辑规范。这项工作提出了一个深策略梯度算法,用于控制机器人在混乱的环境中运行时,任务被指定为线性时序逻辑(LTL)公式的未知动态。为了克服训练过程中探索的环境挑战,我们提出了一种新的路径规划引导的奖励计划,通过整合基于采样的方法来有效地完成目标达成任务。为了促进LTL的满意度,我们的方法分解成子目标,达到任务,以分布式的方式解决的LTL任务。我们的框架被证明可以显着提高性能(有效性,效率)和探索的机器人在大规模混乱的环境中执行复杂的任务。视频演示可以在YouTube频道上找到:https://youtu.be/yMh_NUNWxho。
2023-02-23 cs.LG cs.RO
DyGMamba: Efficiently Modeling Long-Term Temporal Dependency on Continuous-Time Dynamic Graphs with State Space Models
University of Cambridge(剑桥大学);Technical University of Munich(慕尼黑技术大学);University of Oxford(牛津大学);University of Stuttgart(斯图加特大学);LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出DyGMamba模型,通过节点级和时间级状态空间模型编码连续时间动态图中的长期交互历史并动态选择关键时间信息,在动态链接预测任务上达到最先进水平且计算高效。
2025-06-06 cs.AI cs.LG
DYNA : Dynamic Episodic Memory Networks for Augmenting Large Language Models with Temporal Knowledge Graphs in Continuous Learning
Department of Computer Engineering and Information Technology, University of Qom(卡姆大学计算机工程与信息科技系)
提出DYNA框架,通过时间知识图谱作为外部可更新记忆,增强冻结的大语言模型,在三个时间召回任务上减少约7%的灾难性遗忘并提升约5%的时间排序能力。
2026-06-16 cs.AI cs.CL cs.LG
Persistent learning signals and working memory without continuous attractors
Champalimaud Centre for the Unknown(尚帕利莫未知中心);Stony Brook University(石溪大学)
本研究发现周期和准周期吸引子可支持长时程关系学习,基于此提出的人工RNN初始化方案在时间动态学习任务中表现更优,还提出了无需环形吸引子的头部方向维持机制。
2023-08-24 cs.LG cs.NE nlin.AO
Non-Autoregressive Diffusion-based Temporal Point Processes for Continuous-Time Long-Term Event Prediction
针对自回归事件预测的误差累积问题,提出基于扩散的非自回归时间点过程,通过双向映射和新型去噪网络整体预测未来事件序列,并在实验中优于现有方法。
2023-11-02 cs.AI cs.LG cs.SI
CTRL: Continuous-Time Representation Learning on Temporal Heterogeneous Information Network
University of Alberta(阿尔伯塔大学);Tencent(腾讯);Sun Yat-Sen University(中山大学)
针对现有时序异构图表示学习方法归纳能力不足、忽略高阶拓扑演化的问题,提出整合异质注意力、边基霍克斯过程和动态中心性的CTRL模型,通过未来子图预测训练,在三个基准数据集上性能优于现有最优方法。
2024-05-11 cs.AI cs.LG cs.SI
Policy Evaluation and Temporal-Difference Learning in Continuous Time and Space: A Martingale Approach
Columbia University(哥伦比亚大学);Data Science Institute, Columbia University(哥伦比亚大学数据科学研究所)
我们提出了一个统一的框架来研究政策评估(PE)和相关的时间差异(TD)方法的强化学习在连续的时间和空间。我们证明了PE等价于保持过程的鞅条件。从这个角度来看,我们发现,均方TD误差近似的二次变化的鞅,因此是不是一个合适的目标PE。我们提出了两种方法来使用鞅特征设计PE算法。第一种方法最小化一个“鞅损失函数“,其解被证明是真价值函数在均方意义下的最佳逼近。该方法解释了经典的梯度Monte-Carlo算法。第二种方法是基于一个系统的方程称为“鞅正交条件”的测试功能。以不同的方式求解这些方程可以恢复各种经典的TD算法,例如TD($λ$)、LSTD和GTD。测试函数的不同选择决定了结果解在何种意义上接近真价值函数。此外,我们证明了任何收敛的时间离散算法收敛到其连续时间对应的网格尺寸为零,我们提供的收敛速度。我们通过数值实验和应用证明了理论结果和相应的算法。
2022-02-01 cs.LG q-fin.MF
Continuity Laws for Sequential Models
Center for Applied Mathematics, Cornell University(康奈尔大学应用数学中心);University of California, Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(伯克利国家实验室);International Computer Science Institute(国际计算机科学研究所)
本文研究序列模型中未被探索的连续性诱导偏差,通过时间连续性分析S4和S6模型的连续行为,发现连续性与任务连续性及性能相关,提出时间连续性度量方法提升效率和性能。
2026-05-08 cs.AI cs.LG
Continuous Temporal Learning of Probability Distributions via Neural ODEs with Applications in Continuous Glucose Monitoring Data
Universidad Autónoma de Madrid(马德里自动大学);Harvard University(哈佛大学)
本文提出一种结合MMD非参数估计与Neural ODE的高斯混合概率模型,用于捕捉连续时间随机过程的演化,在26周临床试验中有效分析CGM数据分布变化并实现严格的纵向比较。
2025-09-17 cs.LG math.DS stat.AP
Managing Temporal Resolution in Continuous Value Estimation: A Fundamental Trade-off
University of Alberta(阿尔伯塔大学)
本文通过分析LQR系统的蒙特卡洛策略评估,揭示了时间离散化引起的近似误差与统计误差之间的基本权衡,并证明在有限数据下存在最优时间分辨率,可提升策略评估效率。
2024-01-16 cs.LG cs.SY eess.SY
Temporal-Spatial Entropy Balancing for Causal Continuous Treatment-Effect Estimation
Huolala.cn, Inc(货拉拉公司)
针对城域货运中传统因果效应估计方法时空维度精度不足的问题,提出基于灵活时空网格划分的TS-EBCT连续熵平衡方法,经多数据集验证有效提升了因果效应预测精度,可优化补贴定价策略。
2023-12-19 cs.AI cs.LG stat.ME
Temporal Difference Learning with Continuous Time and State in the Stochastic Setting
Inria(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);Institut Louis Bachelier(路易·巴舍利耶研究所);PSL Research University(巴黎文理研究大学)
针对连续时间策略评估,提出无模型与基于模型的 TD(0) 变体,证明收敛速率并经仿真验证,还可用于求解线性 PDE 或 BSDE。
2023-06-07 cs.AI cs.LG math.AP
Frequent Pattern Mining in Continuous-time Temporal Networks
College of Computing and Informatics, Drexel University(德雷塞尔大学计算与信息学院)
网络在不同的学科中被用作高度表达的工具。近年来,时态网络的分析和挖掘引起了广泛的关注。频繁模式挖掘被认为是网络科学文献中的一项重要任务。除了大量的应用外,网络中频繁模式挖掘的研究直接影响到其他分析方法,如聚类,准团和团挖掘,以及链接预测。在几乎所有的时态网络频繁模式挖掘算法中,时态网络都被表示为静态网络序列。然后,挖掘网络间或网络内模式。这种类型的表示对挖掘问题施加了计算-表达性权衡。在本文中,我们提出了一种新的表示,可以保留网络损失的时间方面。然后,我们引入了约束区间图的概念。接下来,我们开发了一系列的算法,用于挖掘时态网络数据集中的频繁时态模式的完整集合。我们还考虑了四种不同的同构定义,以允许在时间数据汇集的噪声容忍度。三个真实世界的数据集实现算法证明了所提出的算法的实用性和它的能力,发现未知的模式在各种设置。
2021-05-12 cs.CV cs.DB cs.DS
Continuous Motion Planning with Temporal Logic Specifications using Deep Neural Networks
University of Waterloo(滑铁卢大学)
针对具有连续状态和动作的运动规划问题,提出了一种无模型强化学习方法来综合控制策略。机器人被建模为一个标记的离散时间马尔可夫决策过程(MDP)与连续的状态和动作空间。线性时序逻辑(LTL)用于指定高级任务。然后,我们训练深度神经网络,以使用行动者-批评者强化学习方法来近似价值函数和策略。LTL规范被转换为带注释的有限确定性Büchi自动机(LDBA),用于连续地塑造奖励,以便在训练期间提供密集的奖励。使用强化学习解决具有LTL规范的运动规划问题的一种简单方法是对轨迹进行采样,然后如果轨迹满足整个LTL公式,则为训练分配高奖励。然而,当我们有一个复杂的连续状态和动作空间的LTL公式时,找到这样的轨迹所需的采样复杂度太高了。因此,如果所有样本轨迹都从自动机的初始状态开始,我们就不太可能获得足够的训练奖励。在本文中,我们提出了一种方法,不仅从状态空间中的初始状态采样,而且在每个训练集开始时自动机中的任意状态。我们测试我们的算法在模拟使用汽车般的机器人,并发现我们的方法可以学习不同的工作配置和LTL规范的政策成功。
2020-09-29 cs.AI cs.LG cs.LO
Modular Deep Reinforcement Learning for Continuous Motion Planning with Temporal Logic
The University of Iowa(爱荷华大学);University of Oxford(牛津大学);University of Science and Technology of China(中国科学技术大学)
研究了在连续状态空间和动作空间上转移概率未知的马尔可夫决策过程(MDP)模型下自治动力系统的运动规划问题。线性时序逻辑(LTL)用于描述无限时域上的高级任务,它可以转换为具有多个接受集的极限确定性广义Büchi自动机(LDGBA)。新颖之处是设计一个嵌入式产品MDP(EP-MDP)之间的LDGBA和MDP通过纳入一个同步跟踪前沿功能,记录未访问的接受集的自动机,并促进接受条件的满足。提出的基于LDGBA的无模型强化学习(RL)奖励塑造和折扣方案仅依赖于EP-MDP状态,可以克服奖励稀疏的问题。严格的分析表明,任何优化预期贴现收益的RL方法都能保证找到一个最优策略,其轨迹使满意概率最大化。一个模块化的深度确定性策略梯度(DDPG),然后开发,以产生这样的政策在连续的状态和动作空间。我们的框架的性能通过一系列OpenAI健身房环境进行评估。
2022-01-23 cs.AI cs.FL cs.LG
CARRNN: A Continuous Autoregressive Recurrent Neural Network for Deep Representation Learning from Sporadic Temporal Data
University College London(伦敦大学学院);Biomediq A/S(Biomediq公司);University of Copenhagen(哥本哈根大学);Cerebriu A/S(Cerebriu公司)
从多变量纵向数据中学习时间模式是具有挑战性的,特别是在数据是零星的情况下,如经常在例如,在医疗保健应用中,数据可能遭受不规则性和重复性,因为连续数据点之间的时间可能在特征和样本之间变化,从而阻碍了针对具有固定序列长度的完整、均匀间隔的数据构建的现有深度学习模型的应用。在本文中,开发了一种新的基于深度学习的模型,用于使用基于循环神经网络(RNN)单元和连续时间自回归(CAR)模型的集成深度学习架构对零星数据中的多个时间特征进行建模。所提出的模型称为CARRNN,使用广义离散时间自回归模型,该模型可使用受时间滞后调制的神经网络进行端到端训练,以描述由不规则性和异步性引起的变化。它被应用于多变量时间序列回归任务,使用为阿尔茨海默病进展建模和重症监护病房(ICU)死亡率预测提供的数据,其中基于门控复发单元(GRU)的模型在所提出的基于RNN的模型和在其架构中使用GRU和长短期记忆(LSTM)网络的最新方法中实现了最低的预测误差。
2021-04-08 cs.AI cs.CV cs.LG
Multi-perspective Feedback-attention Coupling Model for Continuous-time Dynamic Graphs
College of Electronic and Information Engineering, Tongji University(同济大学电子与信息工程学院);School of Physics and Electronic-Electrical Engineering, Ningxia University(宁夏大学物理与电子电气工程学院);Faculty of Anesthesiology, Naval Medical University(海军军医大学麻醉学院)
针对连续时间动态图表示学习中的单一视角和大量时序邻居依赖问题,提出多视角反馈-注意力耦合(MPFA)模型,融合演化与原始视角高效学习交错动态,实验验证了其有效性与竞争力。
2024-04-24 cs.AI cs.LG cs.SI
Estimating Mutual Information between Time Series and Temporal Event Sequences Across Diverse Analysis Tasks
University of Minnesota - Twin Cities(明尼苏达大学-双城分校);University of Pittsburgh(匹兹堡大学);Inha University(Inha大学)
提出一种非参数互信息估计器,直接度量连续时间序列与离散事件序列之间的依赖关系,无需数据转换或离散化,通过处理量化伪影和事件冗余实现鲁棒统一框架。
2026-06-23 cs.AI cs.IT cs.LG
Time Makes Space: Emergence of Place Fields in Networks Encoding Temporally Continuous Sensory Experiences
Rudolf Peierls Centre for Theoretical Physics, University of Oxford(理论物理中心,牛津大学);Santa Fe Institute(圣菲研究所)
本研究通过循环自编码器模拟海马CA3区,发现训练其记忆时间连续的感觉经验可自发涌现位置细胞,重现重映射、正交表征等关键现象,并提出了可验证的预测。
2025-07-09 cs.AI cs.LG cs.NE
Modular Deep Reinforcement Learning with Temporal Logic Specifications
University of Oxford(牛津大学)
我们提出了一个演员批评,无模型,和在线强化学习(RL)框架的连续状态连续动作马尔可夫决策过程(MDP)时,奖励是高度稀疏的,但包括一个高层次的时间结构。我们表示这个时间结构的有限状态机和构建一个在飞行中的同步产品与MDP和有限机。时间结构作为产品内的RL代理的指南,其中提出了模块化深度确定性策略梯度(DDPG)架构来生成低级控制策略。我们评估我们的框架在火星探测器实验中,我们提出的合成政策的成功率。
2019-11-22 cs.AI cs.LG cs.LO