Kalman Temporal Differences
由于强化学习缺乏可扩展性,在线值(和Q-)函数近似在过去十年中受到越来越多的关注。本文介绍了一种新的近似方案,即卡尔曼时间差(KTD)框架,具有以下特点:样本效率,非线性近似,非平稳处理和不确定性管理。第一KTD为基础的算法提供了确定性马尔可夫决策过程(MDP),产生有偏估计的情况下,随机转换。然后描述了求解随机MDP的扩展KTD框架(XKTD)。收敛分析的特殊情况下,确定性和随机过渡。相关算法在经典基准上进行了实验。它们在展示所宣布的功能的同时,与最先进的技术相比毫不逊色。
2014-01-16 cs.LG
On Convergence of Emphatic Temporal-Difference Learning
University of Alberta(阿尔伯塔大学)
我们考虑有限空间折扣马尔可夫决策过程中的策略评估的时间差分学习算法。这种算法最近由Sutton,Mahmood和White(2015)提出,作为线性函数近似的离线时间差学习发散问题的改进解决方案。本文给出了ETD($λ$)和ELSTD($λ$)两个并行算法的第一个收敛性证明.我们证明了,在一般的关闭政策条件下,在$L^1$的ELSTD($λ$)迭代的收敛性,和几乎必然收敛的近似价值函数计算的两个算法使用一个无限长的轨迹。我们的分析涉及新的技术与应用程序超出了算法的引导,例如,第一个证明标准TD($λ$)也收敛下的政策培训$λ$足够大。
2017-12-28 cs.LG
Spatially Encoding Temporal Correlations to Classify Temporal Data Using Convolutional Neural Networks
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
我们提出了一个离线的方法来明确编码的时间模式空间作为不同类型的图像,即,Gramian角场和马尔可夫转移场。这使得能够使用来自计算机视觉的技术进行特征学习和分类。我们使用平铺卷积神经网络从12个基准时间序列数据集和两个真实时空轨迹数据集上的单个GAF、MTF和GAF-MTF图像中学习高级特征。我们的方法的分类结果是有竞争力的国家的最先进的方法对这两种类型的数据。对CNN学习的特征和权重的分析解释了这种方法的原理。
2015-09-24 cs.LG
Neural Spatio-Temporal Point Processes
University of Toronto(多伦多大学);Vector Institute(矢量研究所);Facebook AI Research(脸书人工智能研究室)
我们提出了一类新的时空点过程的参数化,它利用神经常微分方程作为计算方法,并使灵活,高保真模型的离散事件,本地化在连续的时间和空间。我们的方法的核心是连续时间神经网络与两种新型神经架构的组合,即,跳跃和连续时间的注意正规化流。这种方法使我们能够学习空间和时间域的复杂分布,并对观察到的事件历史进行非平凡的条件。我们验证了我们的模型的数据集,从各种各样的背景下,如地震学,流行病学,城市流动性和神经科学。
2021-03-18 cs.LG
New Versions of Gradient Temporal Difference Learning
KAIST(韩国科学技术院);Shinhan Bank(新韩银行)
本文基于凸-凹鞍点解释提出多种 GTD 新变体,将其统一到原始-对偶框架中并给出稳定性分析,同时通过数值实验比较各方法。
2024-01-22 cs.LG
Supplementary material for Uncorrected least-squares temporal difference with lambda-return
IBM Research(IBM研究院)
在这里,我们为Osogami孝之提供了一个补充材料,“未校正的最小二乘时间差与非线性回归”,出现在{ \it Proceedings of the 34 th AAAI Conference on人工智能}(AAAI-20)中。
2019-11-14 cs.LG stat.ML
On The Temporal Domain of Differential Equation Inspired Graph Neural Networks
University of Cambridge(剑桥大学);University of British Columbia(不列颠哥伦比亚大学);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
针对现有 DE-GNNs 仅依赖一阶或二阶时间依赖的限制,本文提出 TDE-GNN,通过神经扩展学习更广泛的时间动态,并在多个图基准上验证其优于预定义动态模型。
2024-01-20 cs.LG
Temporal Neural Operator for Modeling Time-Dependent Physical Phenomena
Khalifa University(卡利法大学);Delft University of Technology(代尔夫特理工大学)
本文提出时序神经算子(TNO),通过在DeepONet中引入时间分支并结合马尔可夫假设、教师强制等训练策略,解决了时间相关偏微分方程的时间动态映射问题,实现了长时间外推、误差鲁棒性和分辨率不变性。
2025-04-28 cs.LG
Temporal Convolutional Neural Networks for Diagnosis from Lab Tests
New York University(纽约大学)
可治疗疾病的早期诊断对于改善医疗保健至关重要,许多疾病的发作可以从年度实验室测试及其时间趋势中预测。我们介绍了一种多分辨率卷积神经网络,用于从不规则测量的稀疏实验室值中早期检测多种疾病。我们的新架构需要输入的数据和二进制观测矩阵的估算版本。针对时间稀疏观测值的输入问题,提出了一种灵活、快速的可微多元核回归训练方法。我们对8年来298,000人,18种常见实验室测量和171种疾病的数据进行的实验表明,通过卷积学习的时间特征比通常用于早期疾病诊断的基线具有更高的预测性。
2016-03-11 cs.LG
Who Should I Engage with At What Time? A Missing Event Aware Temporal Graph Neural Network
Harbin Institute of Technology(哈尔滨工业大学)
时态图神经网络由于其广泛的应用场景,如生物信息学、知识图谱、社交网络等,近年来受到了广泛的关注。有一些时间图神经网络取得了显着的效果。然而,这些工作侧重于未来事件的预测,并假设所有历史事件都是可观察的。在实际应用中,事件并不总是可观察的,估计事件时间与预测未来事件一样重要。本文提出了一种缺失事件感知的时间图神经网络MTGN,它统一地对图结构和事件时序的演化进行建模,以支持预测未来会发生什么以及何时会发生.MTGN将观测事件和缺失事件的动态过程建模为两个耦合的时间点过程,从而将缺失事件的影响纳入网络.在几个真实时间图上的实验结果表明,MTGN的时间和链接预测的准确度分别提高了89%和112%,明显优于现有方法。代码可以在https://github.com/HIT-ICES/TNNLS-MTGN上找到。
2023-01-20 cs.LG
Transformers Can Learn Temporal Difference Methods for In-Context Reinforcement Learning
University of Virginia(弗吉尼亚大学);MIT(麻省理工学院);Boston University(波士顿大学)
本文通过实证和理论证明,Transformer在策略评估任务训练中,其前向传播能够发现并实现时序差分学习算法,从而支持上下文强化学习(ICRL)中预训练网络前向传播实现RL算法的假设。
2025-02-24 cs.LG
Risk-Averse Learning by Temporal Difference Methods
Rutgers University(罗格斯大学)
我们考虑强化学习,其性能由动态风险度量评估。构造了一个投影风险厌恶动态规划方程,并研究了其性质。然后,我们提出了风险厌恶的时间差异的方法,我们证明了他们的收敛概率为1。我们还进行了一个复杂的运输问题的实证研究。
2020-03-02 cs.LG math.OC
An Explainer for Temporal Graph Neural Networks
University of Florida(佛罗里达大学)
时态图神经网络(TGNNs)由于能够同时捕捉图的拓扑依赖性和非线性时态动态特性,已被广泛用于建模时变图相关任务。TGNN的解释对于透明和可信的模型至关重要。然而,复杂的拓扑结构和时间依赖性使得解释TGNN模型非常具有挑战性。在本文中,我们提出了一个新的解释框架TGNN模型。给定要解释的图上的时间序列,该框架可以以概率图模型的形式在一个时间段内识别主导解释。交通领域的案例研究表明,所提出的方法可以发现动态依赖结构的道路网络的一段时间。
2022-09-02 cs.LG
STONet: A Neural-Operator-Driven Spatio-temporal Network
Center for Artificial Intelligence Research and Innovation(人工智能研究与创新中心)
由于图神经网络具有良好的表达能力,基于图的时空神经网络可以有效地对非结构化网格中不规则采样的离散点之间的空间依赖关系进行建模。然而,这些模型通常是空间传导的-仅拟合模型中馈入的离散空间节点的信号,但不能推广到具有zero-shot的“看不见的”空间点。相比之下,对于连续空间上的预测任务,例如地球表面的温度预测,\textit{spatially-inductive}属性允许模型推广到空间域中的任何点,展示了模型学习系统的基本机制或物理定律的能力,而不是简单地拟合信号。此外,在时间域中,\textit{irregularly-sampled}时间序列,例如具有缺失值的数据,要求模型是时间连续的。出于这两个问题,我们提出了一个时空框架的基础上神经运营商的偏微分方程,学习的基础机制,管理动态的空间连续的物理量。实验表明,我们的模型在预测空间连续的数据量方面的性能有所提高,并且它对看不见的空间点的泛化能力和处理时间不规则数据的能力都很好。
2022-04-21 cs.LG
Neural Temporal Point Processes: A Review
Technical University of Munich(慕尼黑工业大学);Amazon Research(亚马逊研究院)
时间点过程(TPP)是连续时间事件序列的概率生成模型。神经TPP将点过程文献的基本思想与深度学习方法相结合,从而能够构建灵活高效的模型。近年来,神经TPP的主题引起了人们的极大关注,导致了这类模型的许多新架构和应用的发展。在这篇综述论文中,我们的目标是巩固现有的知识体系的神经TPP。具体来说,我们专注于重要的设计选择和定义神经TPP模型的一般原则。接下来,我们提供了文献中通常考虑的应用领域的概述。最后,我们总结了神经TPPs领域未来工作面临的挑战和重要方向。
2021-08-25 cs.LG
Truncated Emphatic Temporal Difference Methods for Prediction and Control
University of Oxford(牛津大学)
强调时间差分(TD)方法是一类涉及使用后续跟踪的非策略强化学习(RL)方法。尽管理论上的成功,在解决臭名昭著的致命的三位一体的off-policy强化学习的方法,仍然有两个开放的问题。首先,followon跟踪通常具有较大的方差,这使得它们难以在实践中使用。其次,尽管Yu(2015)证实了一些预测问题的渐近TD方法的渐近收敛性,但仍然没有任何预测问题的渐近TD方法的有限样本分析,更不用说控制了。在本文中,我们解决这两个开放的问题,同时通过使用截断后续跟踪的椭圆形TD方法。与原始的followon跟踪,这取决于所有以前的历史,截断followon跟踪只依赖于有限的历史,减少方差,使有限样本分析,我们提出的预测和控制的连续TD方法。
2022-05-10 cs.LG
Temporal Domain Generalization with Drift-Aware Dynamic Neural Networks
Emory University(埃默里大学)
时间领域泛化是一个有前途但极具挑战性的领域,其目标是在时间变化的数据分布下学习模型,并根据变化的趋势泛化到不可见的数据分布。该领域的进展面临以下挑战:1)表征数据分布漂移及其对模型的影响,2)跟踪模型动态的表达能力,以及3)性能的理论保证。为了解决这些问题,我们提出了一个时间领域泛化与漂移感知动态神经网络(DRAIN)框架。具体来说,我们制定的问题到贝叶斯框架,共同模型之间的关系数据和模型动态。然后,我们建立了一个循环图生成场景来描述在不同时间点学习的动态图结构神经网络。它捕获模型参数和数据分布的时间漂移,并可以在不存在未来数据的情况下预测未来的模型。此外,我们探讨了具有挑战性的时间DG设置下的模型性能的理论保证,并提供理论分析,包括不确定性和泛化误差。最后,在几个具有时间漂移的真实基准测试上的实验证明了该方法的有效性和效率。
2023-02-09 cs.LG
On the Variance of Temporal Difference Learning and its Reduction Using Control Variates
本文分析表格表示下相位设置中时序差分学习的方差,证明其方差降低机制是通过有效聚合更多独立轨迹,并比较了TD、MC和DAE的方差界限。
2026-06-19 cs.LG
Spatio-Temporal Graph Neural Networks: A Survey
Queen Mary University of London(伦敦玛丽女王大学);American University of Beirut(贝鲁特美国大学)
图神经网络在过去的几年里获得了巨大的兴趣。这些强大的算法将深度学习模型扩展到非欧几里德空间,并能够在包括推荐系统和社交网络在内的各种应用中实现最先进的性能。然而,这种性能是基于静态图结构的假设,当数据随时间变化时,这限制了图神经网络的性能。时空图神经网络是考虑时间因素的图神经网络的扩展。最近,提出了各种时空图神经网络算法,并在几个时间依赖的应用中实现了优于其他深度学习算法的性能。本调查讨论了与时空图神经网络相关的有趣主题,包括算法,应用和开放挑战。
2023-02-11 cs.LG
Gradient Temporal Difference with Momentum: Stability and Convergence
Indian Institute of Science(印度科学理工学院)
梯度时间差分(Gradient Temporal Difference,TD)算法是一类在强化学习中用于策略评估的随机逼近(Stochastic Approximation,SA)算法。在这里,我们考虑梯度TD算法与一个额外的重球动量项,并提供选择的步长和动量参数,以确保这些算法几乎肯定渐近收敛。在这样做时,我们将重球梯度TD迭代分解为具有不同步长的三个单独的迭代。我们首先分析这些迭代下一个时标SA设置使用当前文献的结果。然而,一个时间尺度的情况是限制性的,可以通过查看迭代的三个时间尺度分解来提供更一般的分析。在这个过程中,我们提供了一般的三时标SA的稳定性和收敛性的第一个条件。然后,我们证明了重球梯度TD算法是收敛的,使用我们的三时标SA分析。最后,我们评估这些算法的标准强化学习问题和报告的性能改善香草算法。
2021-11-22 cs.LG
A Temporal Difference Method for Stochastic Continuous Dynamics
University of Tokyo(东京大学)
针对基于HJB方程的强化学习需已知动力学的问题,提出免模型时间差分方法,实现指数收敛,桥接随机控制与免模型RL。
2025-10-26 cs.LG
Temporal Difference Learning as Gradient Splitting
Boston University(波士顿大学)
线性函数逼近的时间差分学习是一种常用的方法,用于在马尔可夫决策过程中获得策略的价值函数的低维逼近。我们给出了一个新的解释,这种方法在分裂的梯度适当选择的功能。作为这种解释的结果,梯度下降的收敛性证明几乎可以逐字地应用于时间差学习。除了给出一个新的,更全面的解释,为什么时间差异的工作,我们的解释也产生了改进的收敛时间。我们考虑具有$1/\sqrt{T}$步长的设置,其中先前用于时间差分学习的可比较的有限时间收敛时间界限在界限之前具有乘法因子$1/(1-γ)$,其中$γ$是折扣因子。我们表明,TD学习的一个微小的变化,估计价值函数的平均值分别有一个收敛时间,其中$1/(1-γ)$只乘以一个渐近可忽略的条款。
2020-10-27 cs.LG stat.ML
TemporalGraphLLM: Temporal Graph Neural Networks with Large Language Models for Dynamic Text-Attributed Graphs
提出TemporalGraphLLM框架,集成时间图神经网络与大语言模型,通过图时间感知指令微调和图嵌入注入,在动态文本属性图的边分类、链接预测和文本生成任务上达到最先进性能。
2026-09-29 cs.LG
The Statistical Benefits of Quantile Temporal-Difference Learning for Value Estimation
Google DeepMind(谷歌DeepMind)
本文研究强化学习策略评估,证明分位数时序差分学习(QTD)即使仅关注均值回报,也能在表格型设定下优于经典TD学习,揭示了学习完整回报分布的统计优势。
2023-05-28 cs.LG stat.ML
Preconditioned Temporal Difference Learning
这篇论文已被作者撤回。这份草稿因英文质量不佳而被撤回,不幸的是,这份草稿是作者刚开始他的科学路线时制作的。请查看ICML版本:http://icml2008.cs.helsinki.fi/papers/111.pdf
2012-06-08 cs.AI cs.LG
Temporal Difference Updating without a Learning Rate
IDSIA(达勒·莫尔人工智能研究所)
我们从统计原理推导出一个时间差异学习的方程。具体来说,我们从变分原理开始,然后引导产生一个更新规则的折扣状态值估计。所得到的方程类似于用于具有资格迹线的时间差异学习的标准方程,所谓的TD(lambda),然而它缺少指定学习率的参数alpha。在这个自由参数的地方,现在有一个特定于每个状态转换的学习率的方程。我们通过实验测试了这个新的学习规则对TD(lambda),并发现它提供了优越的性能在各种设置。最后,我们对如何将新的时间差分算法扩展到强化学习进行了初步的研究。为此,我们将更新方程与Watkins的Q(lambda)和Sarsa(lambda)结合起来,发现它在没有学习率参数的情况下再次提供了优异的性能。
2008-10-31 cs.AI cs.LG
Temporal Difference Variational Auto-Encoder
DeepMind(深度思维)
为了在复杂的环境中行动和计划,我们认为智能体应该有一个具有三个特征的世界的心理模拟器:(a)它应该建立一个代表世界状况的抽象状态;(b)它应该形成一个代表世界不确定性的信念;(c)它应该超越简单的逐步模拟,并表现出时间抽象。由于缺乏满足所有这些要求的模型,我们提出了TD-VAE,这是一种生成序列模型,它学习包含关于未来几步状态的明确信念的表示,并且可以直接推出而无需单步转换。TD-VAE在时间上分离的时间点对上训练,使用强化学习中使用的时间差学习的模拟。
2019-01-02 cs.LG stat.ML
Should All Temporal Difference Learning Use Emphasis?
Shanghai Jiao Tong University(上海交通大学);University of Alberta(阿尔伯塔大学)
强调时间差(ETD)学习最近被提出作为一种收敛的离策略学习方法。ETD的提出主要是为了解决传统的时间差(TD)学习的离线训练下的收敛问题,但它是不同于传统的TD学习,即使在对政策的培训。2017年提供的一个简单的反例指出了一类潜在的问题,其中ETD收敛,但TD发散。在本文中,我们实证表明,ETD收敛于其他一些著名的政策实验,而TD要么发散或表现不佳。我们还表明,ETD优于TD的山地车预测问题。我们的研究结果,以及在以前的作品中观察到的类似模式下的政策培训,表明ETD可能是一个很好的替代传统的TD。
2019-03-01 cs.AI cs.LG
A Finite Time Analysis of Temporal Difference Learning With Linear Function Approximation
Columbia University(哥伦比亚大学)
时间差分学习(TD)是一种简单的迭代算法,用于估计马尔可夫决策过程中与给定策略相对应的价值函数。虽然TD是强化学习中最广泛使用的算法之一,但其理论分析已被证明具有挑战性,并且很少有统计效率的保证。在这项工作中,我们提供了一个简单而明确的时间差分学习与线性函数逼近的有限时间分析。除了一些关键的见解,我们的分析反映了分析随机梯度下降算法的标准技术,因此继承了该文献的简单和优雅。本文的最后部分展示了我们所有的主要结果如何扩展到TD学习与资格迹的研究,称为TD($λ$),以及Q学习应用于高维最优停止问题。
2018-11-06 cs.LG stat.ML
Parameter-free Gradient Temporal Difference Learning
University of Alberta(阿尔伯塔大学);Mila(米拉研究所)
强化学习处于几个挑战的交叉点。许多感兴趣的应用涉及非常大的状态空间,需要函数近似,使易于处理的计算。此外,学习者只有一个单一的经验流,可以用来评估大量可能的行动方案,这就需要能够学习偏离策略的算法。然而,离策略学习与函数逼近的结合导致了时域差分方法的发散。最近对基于梯度的时间差分方法的研究已经承诺了一条稳定的道路,但代价是昂贵的超参数调整。与此同时,在线学习的进展提供了无参数的方法,实现极大极小最优保证对数项,但它们在强化学习中的应用还有待探索。在这项工作中,我们结合这两条线的攻击,推导出无参数,基于梯度的时间差算法。我们的算法在线性时间内运行,并实现高概率收敛保证匹配的GTD 2高达$\log$因素。我们的实验表明,我们的方法相对于完全调整的基线保持了较高的预测性能,没有任何调整。
2021-05-10 cs.AI cs.LG
Initialization Strategies of Spatio-Temporal Convolutional Neural Networks
University of Toronto(多伦多大学)
我们提出了一种新的方法,将视频中的时间信息合并到在图像上训练的空间卷积神经网络(ConvNets)中,避免从头开始训练时空ConvNets。我们使用从ImageNet学习的2D卷积权重描述了时空ConvNet的3D卷积层中的几个权重初始化。我们表明,为了学习视频的时间表示,明智地初始化3D卷积权重是很重要的。我们在UCF-101数据集上评估了我们的方法,并证明了对Spatial ConvNets的改进。
2015-03-25 cs.CV cs.LG
Emphatic Temporal-Difference Learning
University of Alberta(阿尔伯塔大学)
强调算法是时间差学习算法,其通过选择性地强调和不强调其在不同时间步长上的更新来改变其有效状态分布。Sutton,Mahmood and White(2015)和Yu(2015)最近的研究表明,通过以特定的方式改变重点,这些算法在使用线性函数近似的非策略训练下变得稳定和收敛。本文作为一个统一的总结,从两个工程的可用结果。此外,我们证明了经验的好处,从灵活性的算法,包括状态相关的折扣,状态相关的自举,和用户指定的函数近似资源的分配。
2015-07-06 cs.AI cs.LG
Multi-branch Spatio-Temporal Graph Neural Network For Efficient Ice Layer Thickness Prediction
Lehigh University(里海大学)
提出多分支时空图神经网络,结合GraphSAGE和时间卷积,从顶层冰层厚度预测深层厚度,在准确性和效率上优于现有融合模型。
2024-11-06 cs.CV cs.LG
Temporal-Difference Networks for Dynamical Systems with Continuous Observations and Actions
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
时间差分(TD)网络是一类预测状态表示,它使用成熟的TD方法来学习部分可观测动态系统的模型。以前的研究与TD网络只处理与有限集的观察和行动的动力系统。我们提出了一个学习TD网络表示的动态系统的连续观测和行动的算法。我们的研究结果表明,该算法是能够学习的几个噪声连续动态系统的准确和鲁棒的模型。这里提出的算法是学习连续动态系统的预测表示的第一个完全增量的方法。
2012-05-09 cs.LG stat.ML
Properties of the Least Squares Temporal Difference learning algorithm
本文提出了四种不同的方式来看待著名的最小二乘时间差(LSTD)算法计算的价值函数的马尔可夫奖励过程,他们中的每一个导致不同的见解:通过Galerkin方法的算子理论方法,统计方法通过工具变量,线性动力系统的观点,以及TD迭代的限制。我们还给出了一个几何视图的算法作为一个斜投影。此外,有一个广泛的比较LSTD解决的优化问题相比,贝尔曼残差最小化(BRM)。然后,我们审查几个计划的正则化的LSTD解决方案。然后,我们着手处理的情况下,情节马尔可夫奖励过程的LSTD的修改。
2015-04-03 cs.LG stat.ML
A First Empirical Study of Emphatic Temporal Difference Learning
University of Alberta(阿尔伯塔大学)
在本文中,我们提出了第一个实证研究的时间差分学习算法(ETD),比较它与传统的时间差分学习,特别是,与线性TD(0),对政策和政策外的变化的山地车问题。开发ETD的最初动机是它在非策略训练下具有良好的收敛特性(Sutton,Mahmood和White 2016),但它也是一种适用于策略情况的新算法。在我们的on-policy和off-policy实验中,我们发现每种方法都收敛到一个特征渐近误差水平,ETD优于TD(0)。TD(0)在回落到其较高的渐近线之前暂时达到了更低的误差水平,而ETD从未显示出这种“反弹”。在非策略情况下(TD(0)不保证收敛),ETD明显较慢。
2017-05-12 cs.AI cs.LG
STFL: A Temporal-Spatial Federated Learning Framework for Graph Neural Networks
Macquarie University(麦考瑞大学);Ant Group(蚂蚁集团)
本文提出了一个时空联合的图神经网络学习框架STFL。该框架探索输入时空数据的潜在相关性,并将其转换为节点特征和邻接矩阵。框架中的联邦学习设置确保了数据隐私,同时实现了良好的模型泛化。在睡眠阶段数据集ISRUC_S3上的实验结果说明了STFL在图预测任务上的有效性。
2022-01-11 cs.AI cs.LG
Learning to simulate partially known spatio-temporal dynamics with trainable difference operators
University of Science and Technology of China(中国科学技术大学);Huawei Technologies Co. Ltd(华为技术有限公司);Peking University(北京大学);Beijing International Center for Mathematical Research, Peking University(北京大学北京国际数学研究中心);Center for Machine Learning Research, Peking University(北京大学机器学习研究中心)
针对黑盒模型模拟时空动力学精度和可解释性受限的问题,提出嵌入PDE部分先验知识的混合架构PDE-Net++,通过引入TFDL和TDDL可训练差分算子,显著提升了预测精度与外推性能。
2023-07-26 cs.AI cs.LG
Correcting Momentum in Temporal Difference Learning
Mila(米拉人工智能研究所);McGill University(麦吉尔大学)
深度强化学习中常用的优化工具是动量,它包括累积和贴现过去的梯度,在每次迭代时重新应用它们。我们认为,与监督学习不同,时间差(TD)学习中的动量累积梯度变得双重陈旧:不仅损失的梯度会因参数更新而变化,损失本身也会因自举而变化。我们首先证明了这种现象的存在,然后提出了一个一阶动量修正项。我们发现,这个修正项通过修正目标值漂移提高了政策评估中的样本效率。这项工作的一个重要见解是,深度RL方法并不总是通过直接从监督设置中导入技术来提供最佳服务。
2021-06-07 cs.LG stat.ML
Predictor-Corrector(PC) Temporal Difference(TD) Learning (PCTD)
University of Florida(佛罗里达大学)
从数值逼近的常微分方程和TD学习通过Galerkin松弛的问题制定和解决方法的见解,我提出了一类新的TD学习算法。在应用改进的数值方法之后,被近似的参数在用于构造线性参数化的价值函数的参数$θ(t)$的ODE的解的泰勒级数误差中具有保证的数量级减小。预测-校正时间差(PCTD)是我使用随机近似(SA)理论从连续时间ODE转换而来的离散时间强化学习(RL)算法。因果和非因果的算法的实现,并列出了模拟结果的无限地平线的任务,以比较原始TD(0)算法对两个版本的PCTD(0)。
2021-04-15 cs.AI cs.LG
Stability and Sensitivity Analysis of Relative Temporal-Difference Learning: Extended Version
University of Florida(佛罗里达大学)
本文研究了相对时差学习在函数逼近中的稳定性,证明了基线分布的选择对算法稳定性至关重要,并分析了参数估计的灵敏度。
2026-04-07 cs.LG math.OC
Optimistic Risk Perception in the Temporal Difference error Explains the Relation between Risk-taking, Gambling, Sensation-seeking and Low Fear
Delft University of Technology(代尔夫特理工大学)
了解冒险所涉及的情感、认知和行为过程对于治疗和设定环境条件以限制损害至关重要。利用时间差强化学习(TDRL),我们通过计算研究了乐观在各种目标导向任务中对风险感知的影响。通过改变时间差误差的计算来研究风险感知中的乐观,即,德尔塔,在三个方面:现实(stochemical正确),乐观(假设行动控制)和过于乐观(假设结果控制)。我们发现,对于赌博任务的个人与“健康”的控制知觉,即,行动乐观,不发展赌博行为,而具有“不健康”控制感的人,即,结果乐观,做。我们发现,高强度的感觉和低水平的恐惧共同发生,由于乐观的风险感知。我们发现,过度乐观的风险感知(结果乐观)导致冒险和持续的赌博行为,除了高强度的感觉。我们讨论了我们的研究结果如何复制冒险相关的现象。
2015-02-03 cs.LG q-bio.NC
On the Statistical Benefits of Temporal Difference Learning
Columbia University(哥伦比亚大学)
针对有限状态 Markov 链,本文证明时序差分学习通过最小化时序不一致性拟合价值函数,利用逆轨迹汇聚系数和轨迹交叉时间显著降低了价值估计的均方误差。
2024-02-14 cs.LG stat.ML
A Distributed Neural Network Architecture for Robust Non-Linear Spatio-Temporal Prediction
University of Tübingen(图宾根大学);University of Hohenheim(霍恩海姆大学)
介绍了一种分布式时空人工神经网络体系结构(DISTANA)。它使用递归神经预测内核(PK)编码网格节点,而神经过渡内核(TK)在相邻PK之间传输信息,共同建模和预测时空时间序列动态。因此,DISTANA假设普遍适用的原因,这可能是局部修改,产生观察到的数据。DISTANA以并行、空间分布的方式学习,可扩展到大型问题空间,能够近似复杂的动态,与其他竞争性ANN模型相比,对过拟合特别鲁棒。此外,它还适用于结构不均匀的网格。
2019-12-23 cs.LG cs.NE
Generalized Emphatic Temporal Difference Learning: Bias-Variance Analysis
本文研究了具有函数逼近的马尔可夫决策过程中的离政策评价问题。我们提出了一个泛化最近推出的\emph{emphatic temporal differences}(ETD)算法\citep{SuttonMW15},其中包括原来的ETD($λ$),以及其他几个特殊情况下的政策评估算法。我们将此框架称为\ETD,其中我们引入的参数$β$控制重要性采样项的衰减速率。我们研究的条件下,投影不动点方程的基础\ETD \涉及到一个收缩算子,使我们能够提出的第一个渐近误差界(偏差)\ETD。我们的结果表明,原来的ETD算法总是涉及到一个压缩算子,其偏见是有界的。此外,通过控制$β$,我们提出的推广允许权衡偏差方差减少,从而实现较低的总误差。
2015-11-27 cs.LG stat.ML
Deep Reinforcement Learning and The Tale of Two Temporal Difference Errors
University of Toronto(多伦多大学)
本文探讨了时差误差的两种解释在深度强化学习中的差异,指出非线性架构可能导致两者数值不同,影响算法性能。
2026-03-23 cs.AI cs.LG
Generalized Kalman filter based temporal difference reinforcement learning
University of Twente(特温特大学);University of Vienna(维也纳大学)
研究基于条件期望理论的广义TD强化学习框架,将价值和Q值函数视为不确定量,用随机推理估计,能递归估计价值函数条件期望及二阶概率矩,通过离散化随机问题验证,可扩展经典卡尔曼时间差分学习到更广泛随机系统。
2026-07-24 cs.CE cs.LG
Investigating practical linear temporal difference learning
Indiana University(印第安纳大学)
非策略强化学习有许多应用,包括:从演示中学习示教学习,并行学习多目标搜索策略,以及表示预测知识。最近出现了大量新的策略评估算法,填补了强化学习中长期存在的算法空白:将鲁棒性与非策略采样、函数逼近、线性复杂度和时间差(TD)更新相结合。本文包含两个主要贡献。首先,我们推导出两个新的混合TD政策评估算法,填补了这一系列算法的空白。其次,我们进行了实证比较,得出这些新的线性TD方法应首选在不同的情况下,并提出具体的建议,实际使用。
2016-03-31 cs.AI cs.LG stat.ML
Generative Temporal Difference Learning for Infinite-Horizon Prediction
UC Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑)
我们介绍了$γ$ -模型,一个预测模型的环境动态与无限的概率地平线。用$γ$模型代替标准的单步模型,导致对基于模型的控制的核心过程的一般化,包括模型展开和基于模型的值估计。的$γ$模型,训练与时间差异学习的生成重新解释,是一个自然的连续模拟的继任者表示和无模型和基于模型的机制之间的混合。就像一个价值函数,它包含了关于长期未来的信息;就像一个标准的预测模型,它独立于任务奖励。我们将$γ$模型实例化为生成对抗网络和规范化流,讨论其训练如何反映训练时间和测试时间复合误差之间不可避免的权衡,并实证研究其预测和控制效用。
2021-11-29 cs.AI cs.LG
Online Inference for Quantile Distributional Reinforcement Learning
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Yau Mathematical Sciences Center, Tsinghua University(清华大学丘成桐数学科学中心)
本文针对分布强化学习的分位数时间差分学习,建立同步与异步QTD的函数中心极限定理,提出无需存储完整轨迹的在线推断方法,实现高效统计推断。
2026-10-19 cs.LG stat.ML
$\ell_1$ Regularized Gradient Temporal-Difference Learning
Technische Universität München(慕尼黑工业大学)
本文研究了线性价值函数逼近的时间差分学习问题。众所周知,大多数TD学习算法在线性函数逼近和离策略学习方面是不稳定的。最近发展的梯度TD(GTD)算法成功地解决了这个问题。然而,GTD算法的成功需要一组精心选择的功能,这并不总是可用的。当特征数量很大时,GTD算法可能会面临过拟合和计算量大的问题。为了解决这个困难,正则化技术,特别是$\ell_1$正则化,在开发TD学习算法中引起了极大的关注。目前的工作结合了GTD算法与$\ell_1$正则化。我们提出了一个家庭的$\ell_1$正则化的GTD算法,采用著名的软阈值算子。我们研究了所提出的算法的收敛性,并描述了它们的性能与几个数值实验。
2016-10-05 cs.AI cs.LG
A Deep Spatio-Temporal Fuzzy Neural Network for Passenger Demand Prediction
New Jersey Institute of Technology(新泽西理工学院);NEC Laboratories America, Inc.(美国NEC实验室公司);Texas Southern University(德克萨斯南方大学);University of Houston(休斯顿大学)
尽管其重要性,乘客需求预测是一个极具挑战性的问题,因为需求同时受到许多空间和时间因素以及其他外部因素(如天气)之间的复杂相互作用的影响。为了解决这个问题,我们提出了一个时空模糊神经网络(STEF-Net),以准确地预测乘客的需求,将所有已知的重要因素的复杂的相互作用。我们设计了一个端到端的学习框架,不同的神经网络建模不同的因素。具体而言,我们建议通过卷积长短期记忆网络捕获时空特征交互,并通过模糊神经网络建模外部因素,该模糊神经网络处理数据的不确定性明显优于确定性方法。为了在融合两个网络时保持时间关系并强调区分性的时空特征交互,我们采用了一种新的具有卷积运算和注意力层的特征融合方法。据我们所知,我们的工作是第一个融合深度递归神经网络和模糊神经网络来建模复杂的时空特征交互与额外的不确定输入特征进行预测学习。在大规模真实数据集上的实验表明,我们的模型比最先进的方法提高了10%以上。
2019-05-13 cs.LG cs.NE
Spatial-Temporal Fusion Graph Neural Networks for Traffic Flow Forecasting
Peking University(北京大学)
交通流的时空数据预测是一个具有挑战性的任务,因为不同道路之间的复杂的空间依赖性和动态的时间模式的趋势。现有的框架通常利用给定的空间邻接图和复杂的机制来建模空间和时间的相关性。然而,有限的表示给定的空间图结构与不完整的相邻连接可能会限制有效的时空依赖学习这些模型。为了克服这些局限性,本文提出了时空融合图神经网络(STFGNN)的交通流预测。SFTGNN可以有效地学习隐藏的时空依赖性,通过一种新的融合操作的各种空间和时间的图形,这是由数据驱动的方法产生的。同时,通过将该融合图模块和一种新的门控卷积模块集成到一个统一的层中,SFTGNN可以处理长序列。在几个公共交通数据集上的实验结果表明,我们的方法比其他基线一致地实现了最先进的性能。
2021-03-06 cs.AI cs.LG
Temporal Knowledge Graph Forecasting with Neural ODE
Institute of Informatics, LMU Munich(慕尼黑大学信息学研究所);Corporate Technology, Siemens AG(西门子股份公司企业技术部);Technical University of Munich(慕尼黑工业大学)
在时间知识图谱(KG)上推断未来链接的兴趣越来越大。虽然时间KG上的链接随时间连续变化,但现有方法在离散状态空间中对时间KG进行建模。为此,我们通过将神经常微分方程(ODE)的思想扩展到多关系图卷积网络,提出了一种新型的连续统模型。该模型保持了动态多关系图数据的连续性,并将时间和结构信息编码为连续时间动态嵌入。此外,应用新颖的图过渡层来捕获动态图上的过渡,即,边缘形成和溶解。我们在五个基准数据集上进行了大量的时间KG推理实验,显示了我们的模型在未来链路预测任务上的优越性能。
2022-06-02 cs.AI cs.LG