Preventing Conflicting Gradients in Neural Marked Temporal Point Processes
University of Mons（蒙斯大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本研究针对神经标记时间点过程双任务联合训练中的梯度冲突问题，提出新型参数化方案实现任务独立建模训练，在多个真实事件序列数据集上验证了性能提升效果。
2024-12-11 cs.LG
On the Implicit Bias of Gradient Descent for Temporal Extrapolation
Blavatnik School of Computer Science（布拉瓦特尼克计算机科学学院）；Tel Aviv University（特拉维夫大学）
当使用递归神经网络（RNN）时，通常的做法是将训练模型应用于比训练中看到的更长的序列。这种“外推”用法偏离了传统的统计学习设置，在传统的统计学习设置中，在假设训练和测试分布相同的情况下提供保证。在这里，我们开始了解RNN何时可以外推，重点关注一个简单的情况，即数据生成分布是无记忆的。我们首先证明，即使有无限的训练数据，也存在完美插值的RNN模型（即，它们适合训练数据），但对于较长的序列外推很差。然后，我们表明，如果梯度下降用于训练，学习将收敛到完美的外推在某些假设的初始化。我们的研究结果补充了最近关于梯度下降的隐式偏差的研究，表明它在学习时间预测模型时在外推中起着关键作用。
2022-03-24 cs.LG
Towards Spatio-Temporal Aware Traffic Time Series Forecasting--Full Version
Aalborg University（奥尔堡大学）；Monash University（莫纳什大学）
交通时间序列预测是具有挑战性的，因为来自不同位置的复杂时空动态时间序列通常具有不同的模式;并且对于相同的时间序列，模式可能随时间而变化，例如，在一天中存在显示出更强的时间相关性的某些时段。尽管最近的预测模型，特别是基于深度学习的模型，显示出有希望的结果，但它们受到时空不可知论的影响。这样的时空不可知模型采用共享参数空间，而不管时间序列位置和时间段，并且它们假设时间模式在位置之间是相似的，并且不会在时间上演变，这可能并不总是成立，从而导致次优结果。在这项工作中，我们提出了一个框架，旨在把时空不可知模型时空感知模型。为此，我们将来自不同位置的时间序列编码为随机变量，从中生成特定于位置和随时间变化的模型参数，以更好地捕捉时空动态。我们展示了如何整合的框架与规范的注意，使时空意识的注意。其次，为了补偿时空感知模型参数生成过程中引入的额外开销，提出了一种新的窗口注意机制，将复杂度从二次降低到线性，使得时空感知注意也具有竞争效率.我们在四个交通时间序列数据集上展示了强有力的经验证据，其中所提出的时空感知注意力在准确性和效率方面优于最先进的方法。这是“Towards Spatio-Temporal Aware Traffic Time Series Forecasting”的扩展版本，将出现在ICDE 2022 [1]中，包括其他实验结果。
2022-04-05 cs.LG
Temporal Difference Learning as Gradient Splitting
Boston University（波士顿大学）
线性函数逼近的时间差分学习是一种常用的方法，用于在马尔可夫决策过程中获得策略的价值函数的低维逼近。我们给出了一个新的解释，这种方法在分裂的梯度适当选择的功能。作为这种解释的结果，梯度下降的收敛性证明几乎可以逐字地应用于时间差学习。除了给出一个新的，更全面的解释，为什么时间差异的工作，我们的解释也产生了改进的收敛时间。我们考虑具有$1/\sqrt{T}$步长的设置，其中先前用于时间差分学习的可比较的有限时间收敛时间界限在界限之前具有乘法因子$1/(1-γ)$，其中$γ$是折扣因子。我们表明，TD学习的一个微小的变化，估计价值函数的平均值分别有一个收敛时间，其中$1/(1-γ)$只乘以一个渐近可忽略的条款。
2020-10-27 cs.LG stat.ML
Future Gradient Descent for Adapting the Temporal Shifting Data Distribution in Online Recommendation Systems
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta
在线推荐模型学习的关键挑战之一是时域迁移，这会导致训练数据和测试数据分布之间的不匹配，从而导致领域泛化错误。为了克服这个问题，我们建议学习一个Meta future gradient generator，它预测未来数据分布的梯度信息以进行训练，这样推荐模型就可以像我们能够展望其部署的未来一样进行训练。与批量更新算法相比，该算法具有更小的时域领域泛化误差，该误差由局部遗憾中的梯度变化项来度量.我们通过与各种代表性基线的比较，证明了经验优势。
2022-09-02 cs.AI cs.LG
The Benefits of Temporal Correlations: SGD Learns k-Juntas from Random Walks Efficiently
Bocconi University（博科尼大学）；University of Washington（华盛顿大学）；Massachusetts Institute of Technology（麻省理工学院）
研究时序相关性如何使稀疏学习问题更高效地被梯度方法解决，展示在超立方体上懒惰随机游走生成样本时，两层ReLU网络能高效学习k-联合。
2026-05-11 cs.LG
A Temporal-Difference Approach to Policy Gradient Estimation
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
策略梯度定理（Sutton等人，2000）规定了在目标策略下使用累积贴现状态分布来近似梯度。基于该定理的大多数算法在实践中打破了这一假设，引入了可能导致收敛到差解的分布偏移。在本文中，我们提出了一种新的方法，重建的策略梯度从开始状态，而不需要一个特定的采样策略。这种形式的策略梯度计算可以根据梯度临界点来简化，由于新的梯度Bellman方程，可以递归地估计梯度临界点。通过使用时间差更新的梯度评论家从一个关闭的政策数据流，我们开发的第一个估计，回避了分布偏移的问题，在一个无模型的方式。我们证明，在一定的可实现性条件下，我们的估计是无偏的，无论抽样策略。我们的经验表明，我们的技术实现了优越的偏差方差权衡和性能的存在下，关闭政策的样本。
2022-07-07 cs.AI cs.LG
Neural Dynamical Operator: Continuous Spatial-Temporal Model with Gradient-Based and Derivative-Free Optimization Methods
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
提出神经动力学算子框架，实现时空连续且对离散分辨率不变，并结合基于梯度与无导数的混合优化方法，有效利用短期轨迹与长期统计数据提升复杂动力学系统的长期预测性能。
2024-09-26 cs.LG
Gradient Iterated Temporal-Difference Learning
本文提出梯度迭代时间差学习方法，通过计算移动目标的梯度提升学习速度，对比半梯度方法在Atari游戏等基准测试中表现优异。
2026-05-14 cs.AI cs.LG
Predicting Customer Churn: Extreme Gradient Boosting with Temporal Data
Seycor Consulting（Seycor咨询公司）
利用大规模时间序列数据准确预测客户流失是许多商业领域面临的共同问题。由于时间序列数据常见的时间问题，跨各种时间窗口创建用于训练和测试的模型特征可能特别具有挑战性。在本文中，我们将探索极端梯度提升（XGBoost）在具有各种时间特征的客户数据集上的应用，以创建高度准确的客户流失模型。特别是，我们描述了一种有效的方法来处理时间敏感的特征工程。该模型在WSDM Cup 2018 Churn Challenge中提交，并在575支球队中获得第一名。
2018-02-09 cs.AI cs.LG stat.ML
Proximal Gradient Temporal Difference Learning: Stable Reinforcement Learning with Polynomial Sample Complexity
Auburn University（奥本大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）；Facebook AI Research（脸书人工智能研究院）；University of Rochester（罗切斯特大学）；University of New Hampshire（新罕布什尔大学）
在本文中，我们介绍了邻近梯度时间差学习，它提供了一个原则性的方法来设计和分析真正的随机梯度时间差学习算法。我们展示了梯度TD（GTD）强化学习方法是如何正式推导出来的，不是像以前尝试的那样从它们的原始目标函数开始，而是从原始-对偶鞍点目标函数开始。我们还进行了鞍点误差分析，以获得其性能的有限样本界。这类算法以前的分析使用随机逼近技术来证明渐近收敛，并没有提供任何有限样本分析。我们还提出了一个加速算法，称为GTD 2-MP，使用近端的“镜像映射”，以产生一个改进的收敛速度。我们的理论分析的结果意味着，GTD家族的算法是可比的，并可能确实是优于现有的最小二乘TD方法的离策略学习，由于其线性复杂性。我们提供的实验结果表明，我们的加速梯度TD方法的性能提高。
2020-06-06 cs.LG stat.ML
Temporal Gradient Inversion Attacks with Robust Optimization
Shanghai Jiao Tong University（上海交通大学）；WeBank（微众银行）
针对联邦学习中单次迭代梯度反转攻击因梯度维度不足等无法重建私有数据的问题，提出无需先验知识、利用多时序梯度结合鲁棒统计的TGIAs-RO攻击方法，经理论与多数据集实验验证性能更优，为隐私保护研究提供启发。
2023-06-13 cs.CR cs.LG
SpikingGamma: Surrogate-Gradient Free and Temporally Precise Online Training of Spiking Neural Networks with Smoothed Delays
CWI（荷兰国家数学与计算机科学研究中心）；University of Lübeck（吕贝克大学）
SpikingGamma通过内部递归记忆结构和sigma-delta spike编码，实现无替代梯度的在线训练，支持细时间模式学习和高效硬件映射。
2026-02-02 cs.LG cs.NE
Parameter-free Gradient Temporal Difference Learning
University of Alberta（阿尔伯塔大学）；Mila（米拉研究所）
强化学习处于几个挑战的交叉点。许多感兴趣的应用涉及非常大的状态空间，需要函数近似，使易于处理的计算。此外，学习者只有一个单一的经验流，可以用来评估大量可能的行动方案，这就需要能够学习偏离策略的算法。然而，离策略学习与函数逼近的结合导致了时域差分方法的发散。最近对基于梯度的时间差分方法的研究已经承诺了一条稳定的道路，但代价是昂贵的超参数调整。与此同时，在线学习的进展提供了无参数的方法，实现极大极小最优保证对数项，但它们在强化学习中的应用还有待探索。在这项工作中，我们结合这两条线的攻击，推导出无参数，基于梯度的时间差算法。我们的算法在线性时间内运行，并实现高概率收敛保证匹配的GTD 2高达$\log$因素。我们的实验表明，我们的方法相对于完全调整的基线保持了较高的预测性能，没有任何调整。
2021-05-10 cs.AI cs.LG
Parameter-free version of Adaptive Gradient Methods for Strongly-Convex Functions
Georgia Institute of Technology（佐治亚理工学院）
本文针对λ-强凸函数上自适应梯度方法依赖λ与η的问题，借鉴Metagrad并行运行多专家并聚合预测，提出无参数主算法，获得O(d log T)遗憾界。
2023-07-15 cs.LG math.OC
A stochastic version of Stein Variational Gradient Descent for efficient sampling
Shanghai Jiao Tong University（上海交通大学）；Duke University（杜克大学）
在这项工作中，我们提出RBM-SVGD，斯坦变分梯度下降（SVGD）方法的随机版本有效地从一个给定的概率测度采样，从而有用的贝叶斯推断。该方法是将Jin等人提出的相互作用粒子系统的随机批处理方法（RBM）应用于SVGD中的相互作用粒子系统。在保持SVGD行为的同时，减少了计算量，特别是当相互作用的核具有长范围时。数值算例验证了该方法的有效性。
2019-04-11 cs.LG math.PR stat.ML
An Experimental Comparison Between Temporal Difference and Residual Gradient with Neural Network Approximation
Shanghai Jiao Tong University（上海交通大学）；CMA-Shanghai（上海国家应用数学中心）
梯度下降或其变体在训练神经网络中很受欢迎。然而，在具有神经网络近似的深度Q学习中，一种类型的强化学习，梯度下降（也称为残差梯度（RG））几乎没有用于解决贝尔曼残差最小化问题。相反，时间差分（TD），不完全梯度下降方法占主导地位。在这项工作中，我们进行了大量的实验，以表明TD优于RG，即当训练导致一个小的贝尔曼残差时，TD找到的解决方案具有更好的政策，对神经网络参数的扰动更具鲁棒性。通过实验进一步揭示了强化学习和监督学习的一个关键区别，即在强化学习中，小的Bellman残差对应于一个坏的策略，而在监督学习中，测试损失函数是一个衡量性能的标准指标。我们还实证研究，TD中的缺失项是RG表现不佳的一个关键原因。我们的工作表明，深度Q学习解决方案的性能与训练动态密切相关，不完全梯度下降方法如何找到一个好的策略是未来研究的重点。
2022-11-14 cs.AI cs.LG
Revisiting a Design Choice in Gradient Temporal Difference Learning
University of Oxford（牛津大学）；University of Virginia（弗吉尼亚大学）
本文重新审视梯度时序差分学习中的中间算法$A^\ op$TD，证明其变体$A_t^\ op$TD能有效解决致命三要素，且只需一组参数和一个学习率，收敛速度与同策略TD学习相当。
2025-02-28 cs.LG
Can Local Representation Alignment RNNs Solve Temporal Tasks?
Department of Informatics（信息学系）
针对RNN训练中BPTT的梯度问题与生物学不可解释性，提出基于局部表示对齐的目标传播方法，引入梯度正则化解决梯度消失，在三个标志性时序任务上正则化模型性能显著优于未正则化版本。
2025-07-07 cs.LG
$\ell_1$ Regularized Gradient Temporal-Difference Learning
Technische Universität München（慕尼黑工业大学）
本文研究了线性价值函数逼近的时间差分学习问题。众所周知，大多数TD学习算法在线性函数逼近和离策略学习方面是不稳定的。最近发展的梯度TD（GTD）算法成功地解决了这个问题。然而，GTD算法的成功需要一组精心选择的功能，这并不总是可用的。当特征数量很大时，GTD算法可能会面临过拟合和计算量大的问题。为了解决这个困难，正则化技术，特别是$\ell_1$正则化，在开发TD学习算法中引起了极大的关注。目前的工作结合了GTD算法与$\ell_1$正则化。我们提出了一个家庭的$\ell_1$正则化的GTD算法，采用著名的软阈值算子。我们研究了所提出的算法的收敛性，并描述了它们的性能与几个数值实验。
2016-10-05 cs.AI cs.LG
TeZO: Empowering the Low-Rankness on the Temporal Dimension in the Zeroth-Order Optimization for Fine-tuning LLMs
Faculty of Engineering, The University of Sydney（悉尼大学工程学院）；School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区网络与空间安全学院）
提出TeZO，一种捕获跨模型和时间维度低秩性的零阶优化估计器，通过3D张量CPD分解降低训练成本，在LLM微调中以更低内存开销实现SOTA相当性能。
2025-01-31 cs.LG
A Systematic Benchmark of Explainable Methods for Temporal Attribution in Sequential Recommendation Systems
Capital One（第一资本）
针对顺序推荐系统缺乏可解释性基准的问题，提出双模型掩码度量，系统评估十种XAI方法，发现梯度类方法最忠实，注意力权重需梯度加权才可靠。
2026-09-24 cs.LG
AdaGrad-Diff: a Corrected Version of the Adaptive Gradient Algorithm for Composite Optimization
本文提出 AdaGrad-Diff，通过累积梯度差的平方范数来驱动自适应调整，提升算法在梯度波动时的鲁棒性。
2026-10-30 cs.LG math.OC stat.ML
Multi-version Tensor Completion for Time-delayed Spatio-temporal Data
IQVIA（艾昆纬）；University of Minnesota Twin Cities（明尼苏达大学双城分校）；University of Virginia（弗吉尼亚大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
现实世界的时空数据往往是不完整或不准确的，由于各种数据加载延迟。例如，病例计数的位置-疾病-时间张量可以具有针对某些位置或疾病的最近时间切片的多个延迟更新。恢复输入张量的这种丢失或有噪声（未报告）的元素可以被视为广义张量完成问题。现有的张量补全方法通常假设i）缺失元素是随机分布的，以及ii）每个张量元素的噪声是i.i.d.。零均值对于时空张量数据，这两个假设都可能被违反。我们经常观察到输入张量的多个版本具有不同的漏报噪声水平。噪声的量可以是时间或位置相关的，因为更多的更新被逐渐引入到张量中。我们将这种动态数据建模为多版本张量，并使用额外的张量模式捕获数据更新。我们提出了一个低秩张量模型来预测随时间的更新。我们证明，我们的方法可以准确地预测许多现实世界的张量的地面实况值。与最佳基线方法相比，我们获得了高达27.2%的均方根误差。最后，我们扩展了我们的方法来跟踪张量数据随着时间的推移，导致显着的计算节省。
2021-05-11 cs.IR cs.LG
Gradient Forward-Propagation for Large-Scale Temporal Video Modelling
DeepMind（深度思维）
如何在大量时态数据上有效地训练神经网络？为了计算更新参数所需的梯度，反向传播会阻止计算，直到前向和后向传递完成。对于时间信号，这引入了高延迟并阻碍了实时学习。它还在连续层之间创建耦合，这限制了模型并行并增加了内存消耗。在本文中，我们建立在侧，避免阻塞传播近似梯度向前的时间，我们提出了基于不同的变量跳过连接的信息的时间整合机制。我们还展示了如何解耦计算并将各个神经模块委托给不同的设备，从而允许分布式和并行训练。提出的Skip-Sideways实现了低延迟训练，模型并行，并且重要的是，能够提取时间特征，从而在真实世界的动作识别视频数据集（如HMDB 51，UCF 101和大规模Kinetics-600）上实现更稳定的训练和更高的性能。最后，我们还表明，使用Skip-Sideways训练的模型比Sideways模型生成更好的未来帧，因此它们可以更好地利用运动提示。
2021-07-12 cs.CV cs.DC cs.LG
Improving Generalization in Heterogeneous Federated Continual Learning via Spatio-Temporal Gradient Matching with Prototypical Coreset
Trinity College Dublin（都柏林信任学院）
针对异构联邦持续学习中生成重放易遗忘、客户端任务差异导致过拟合的问题，提出STAMP方法，通过模型无关原型筛选、时空梯度匹配及原型近似梯度提升性能，优于现有基线。
2025-05-22 cs.AI cs.LG
Beyond Scaffold: A Unified Spatio-Temporal Gradient Tracking Method
Division of Decision and Control Systems, School of EECS, KTH Royal Institute of Technology（决策与控制系统系，皇家理工学院）；College of Control Science and Engineering, Zhejiang University（控制科学与工程学院，浙江大学）
ST-GT通过统一时空梯度跟踪方法，有效缓解数据异质性和局部梯度噪声，实现强凸问题的线性收敛和非凸问题的次线性收敛，提升通信效率。
2025-12-01 cs.LG math.OC
R-GTD: A Geometric Analysis of Gradient Temporal-Difference Learning in Singular Regimes
School of Electrical Engineering, KAIST（韩国科学技术院电子工程学院）
本文提出R-GTD算法，通过重新表述均方投影Bellman误差最小化问题，解决FIM奇异导致的稳定性问题，提供理论保证和实验证明。
2026-05-08 cs.AI cs.LG
Temporal Predictive Coding for Gradient Compression in Distributed Learning
Université Paris-Saclay, CentraleSupelec, CNRS（巴黎-萨克雷大学、中央高等电力学院、法国国家科学研究中心）；Linköping University（林雪平大学）；KTH, Stockholm（斯德哥尔摩皇家理工学院）
本文提出一种基于时间预测编码的梯度压缩方法，通过最小二乘优化的线性预测器和事件触发残差传输机制，在分布式学习中显著降低通信成本并保持收敛性能。
2024-10-03 cs.DC cs.IT cs.LG
Gradient-Informed Temporal Sampling Improves Rollout Accuracy in PDE Surrogate Training
School of Future Technology, South China University of Technology, China（未来技术学院，华南理工大学，中国）；State Key Laboratory of Ocean Sensing & Ocean College, Zhejiang University, China（海洋感知国家重点实验室及海洋学院，浙江大学，中国）；Kavli Institute for Astrophysics and Space Research, Massachusetts Institute of Technology, USA（天体物理与空间研究所，麻省理工学院，美国）
本文提出梯度引导的时间采样方法，通过平衡模型特异性和动态信息，提升PDE代理训练中的回放精度，实验显示其在多个PDE系统和模型中表现更优。
2026-03-18 cs.AI cs.LG
Stability and Sensitivity Analysis of Relative Temporal-Difference Learning: Extended Version
University of Florida（佛罗里达大学）
本文研究了相对时差学习在函数逼近中的稳定性，证明了基线分布的选择对算法稳定性至关重要，并分析了参数估计的灵敏度。
2026-04-07 cs.LG math.OC
Correcting Momentum in Temporal Difference Learning
Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）
深度强化学习中常用的优化工具是动量，它包括累积和贴现过去的梯度，在每次迭代时重新应用它们。我们认为，与监督学习不同，时间差（TD）学习中的动量累积梯度变得双重陈旧：不仅损失的梯度会因参数更新而变化，损失本身也会因自举而变化。我们首先证明了这种现象的存在，然后提出了一个一阶动量修正项。我们发现，这个修正项通过修正目标值漂移提高了政策评估中的样本效率。这项工作的一个重要见解是，深度RL方法并不总是通过直接从监督设置中导入技术来提供最佳服务。
2021-06-07 cs.LG stat.ML
Nonlinear Distributional Gradient Temporal-Difference Learning
Faculty of Electrical Engineering, Technion（以色列理工学院电气工程学院）；H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院H. Milton Stewart工业与系统工程学院）
我们设计了梯度时间差（TD）学习的分布变体。在最近的研究\citep{bellemare2017distributional}中，分布式强化学习已经被证明优于常规学习。在策略评估方面，我们利用Bellman误差目标函数的分布形式，利用Cram{é}r距离设计了两种新的算法：分布GTD 2和分布TDC，该算法继承了非线性梯度TD算法和分布RL方法的优点。在控制设置，我们提出了分布式Greedy-GQ使用类似的推导。我们证明了分布GTD 2和TDC的渐近几乎必然收敛到一般光滑函数逼近器的局部最优解，其中包括神经网络，已被广泛应用于最近的研究，以解决现实生活中的RL问题。在每一步中，上述三种算法的计算复杂性均与时间成线性关系。因此，对于神经网络，可以有效地实现函数逼近器的参数数目。
2019-04-03 cs.AI cs.LG stat.ML
Temporal-Structure-Assisted Gradient Aggregation for Over-the-Air Federated Edge Learning
the University of Electronic Science and Technology of China（电子科技大学）；The Chinese University of Hong Kong（香港中文大学）
在本文中，我们研究了联邦边缘学习（FEEL）系统中的空中模型聚合。我们引入马尔可夫概率模型来描述模型聚集序列的内在时间结构。有了这个时间概率模型，我们制定的模型聚合问题，推断所需的聚合更新给定的所有过去的观察从贝叶斯的角度来看。我们开发了一种基于消息传递的算法，称为时间结构辅助梯度聚合（TSA-GA），以实现这一估计任务，具有低复杂度和接近最佳的性能。我们进一步建立了状态演化（SE）分析，以表征所提出的TSA-GA算法的行为，并推导出明确的界限的预期损失减少的FEEL系统在一定的标准规则性条件下。此外，我们开发了一个期望最大化（EM）策略来学习马尔可夫模型中的未知参数。我们表明，所提出的TSAGA算法显着优于国家的最先进的，并能够实现可比的学习性能的无误差基准的收敛速度和最终的测试精度。
2021-03-03 cs.IT cs.LG math.IT
Accelerated Gradient Temporal Difference Learning
Indiana University at Bloomington（印第安纳大学伯明顿分校）
时间差分（TD）方法家族涵盖了从计算简单的线性方法（如TD（λ））到数据有效的最小二乘法的范围。最小二乘法最大限度地利用了直接计算TD解的可用数据，因此不需要调整通常高度敏感的学习率参数，但需要二次计算和存储。最近的算法发展已经产生了几个次二次方法，使用近似的最小二乘TD解决方案，但招致偏见。在本文中，我们提出了一个新的家庭加速梯度TD（ATD）方法，（1）提供类似的数据效率的好处，最小二乘法，在一小部分的计算和存储（2）显着降低参数灵敏度相比，线性TD方法，（3）是渐近无偏的。我们说明了这些主张的收敛性证明的期望和实验上的几个基准域和一个大规模的工业能源分配域。
2017-03-09 cs.AI cs.LG stat.ML
Efficient Sampling Algorithms for Approximate Temporal Motif Counting (Extended Version)
Hunan University（湖南大学）；National University of Singapore（新加坡国立大学）；Singapore Management University（新加坡管理大学）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
从通信网络中的用户交互到金融市场中的交易，各种各样的复杂系统都可以建模为时态图，它由一组顶点和一系列带时间戳的有向边组成。时态图中的时态基序是从静态图中的子图模式中推广而来的，它除了考虑结构外，还考虑了边的排序和持续时间。时间模体出现次数的计算是时间网络分析的一个基本问题。然而，现有的方法要么不能支持时间图案或遭受性能问题。在本文中，我们专注于通过随机抽样近似时间模体计数。首先，我们提出了一个通用的边缘采样（ES）算法估计的任何时间主题的实例数。此外，我们设计了一个改进的EWS算法，边缘采样与楔形采样的混合计数的时间图案与3顶点和3边缘。我们提供了全面的分析，我们提出的算法的理论界限和复杂性。最后，我们进行了广泛的实验在几个真实世界的数据集上，结果表明，我们的ES和EWS算法具有更高的效率，更好的准确性，和更大的可扩展性比国家的最先进的采样方法的时间模体计数。
2020-07-28 cs.DS cs.LG cs.SI
Fractional Policy Gradients: Reinforcement Learning with Long-Term Memory
Department of Computer Engineering, Zeal College of Engineering and Research（计算机工程系，Zeal工程与研究学院）
本文提出分数阶策略梯度（FPG）框架，利用Caputo分数阶导数建模状态转移间的幂律长程相关性，通过高效递归计算实现恒定时间与内存开销，在保持收敛的同时显著降低方差并提升样本效率。
2025-06-29 cs.LG stat.ML
Weakly-supervised Temporal Path Representation Learning with Contrastive Curriculum Learning -- Extended Version
Aalborg University（奥尔堡大学）；Mila-Quebec AI Institute（米拉-魁北克人工智能研究所）；HEC Montreal（蒙特利尔高等商学院）
随着交通的数字化，我们正在见证越来越多的基于路径的智慧城市应用，例如，行程时间估计和行程路径排序。时间路径（TP）包括时间信息，例如，离开时间，进入路径是基本的，使这样的应用程序。在这种情况下，必须学习通用时间路径表示（TPR），这些TPR同时考虑空间和时间相关性，并且可以用于不同的应用，即，下游任务。现有的方法无法实现这一目标，因为（i）监督方法在训练时需要大量特定于任务的标签，因此无法将获得的TPR推广到其他任务;（ii）通过无监督方法可以学习通用表示，它们忽略了时间方面，导致次优结果。为了克服现有解决方案的局限性，我们提出了一个弱监督对比（WSC）学习模型。首先，我们提出了一个时间路径编码器，编码的时间路径的空间和时间信息到TPR。为了训练编码器，我们引入容易且廉价获得并且与不同任务相关的弱标记，例如，时间标签指示从出发时间开始的高峰时段和非高峰时段。基于弱标签，我们通过考虑空间和时间信息来构造有意义的正和负时间路径样本，这便于使用对比学习来训练编码器，通过拉近正样本的表示而推开负样本的表示。为了更好地指导对比学习，我们提出了一种基于课程学习的学习策略，使学习从容易的训练实例到困难的训练实例。实验研究验证了该方法的有效性。
2022-04-15 cs.AI cs.LG
Unsupervised Word Segmentation Using Temporal Gradient Pseudo-Labels
Bar-Ilan University（巴伊兰大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
提出基于时间梯度幅度伪标签的无监督词分割方法，利用深度自监督特征训练线性分类器，在两个数据集上显著超越现有方法且运行速度快。
2023-03-30 cs.CL cs.LG cs.SD
Gradient Temporal-Difference Learning with Regularized Corrections
University of Alberta（阿尔伯塔大学）；DeepMind
使用Q学习和时间差（TD）学习仍然很常见-即使它们存在分歧问题并且存在合理的梯度TD替代方案-因为分歧似乎很少，并且它们通常表现良好。然而，最近对大型神经网络学习系统的研究表明，不稳定性比以前认为的更常见。从业者面临着一个困难的困境：选择一个易于使用和高性能的TD方法，或更复杂的算法，更健全，但更难调整，但所有的非线性函数逼近或控制，但未探索。在本文中，我们介绍了一种新的方法，称为TD与正则化校正（TDRC），试图平衡易用性，可靠性和性能。当TD表现良好时，它的表现与TD一样好，但在TD发散的情况下是合理的。我们在一系列问题上对TDRC进行了实证研究，包括预测和控制，以及线性和非线性函数逼近，并可能首次表明梯度TD方法可能是TD和Q学习的更好替代方案。
2020-09-17 cs.AI cs.LG stat.ML
Leaping Through Time with Gradient-based Adaptation for Recommendation
Tokyo Tech（东京工业大学）；RWBC-OIL, AIST（产业技术综合研究所 RWBC-OIL）；AIRC, AIST（产业技术综合研究所 AIRC）；DigiARC, AIST（产业技术综合研究所 DigiARC）
现代推荐系统需要适应用户偏好和项目流行度的变化。这样的问题被称为时间动态问题，它是推荐系统建模的主要挑战之一。与流行的循环建模方法不同，我们通过使用基于轨迹的元学习来建模时间依赖性，提出了一种新的解决方案LeapRec来解决时间动态问题。LeapRec通过两个互补分量来表征时间动态，称为全局时间跳跃（GTL）和有序时间跳跃（OTL）。通过设计，GTL通过在无序的时态数据中找到最短的学习路径来学习长期模式。合作，OTL学习短期模式，考虑时序数据的连续性。我们的实验结果表明，LeapRec在几个数据集和推荐指标上始终优于最先进的方法。此外，我们提供了GTL和OTL之间的相互作用的实证研究，显示长期和短期建模的影响。
2021-12-28 cs.IR cs.LG
Approximate Temporal Difference Learning is a Gradient Descent for Reversible Policies
在强化学习中，时间差分（TD）是学习策略值函数的最直接算法。对于大的或无限大的状态空间，值函数的精确表示通常是不可用的，它必须近似于某个参数族中的函数。然而，使用\emph{nonlinear}参数近似（例如神经网络），TD不能保证收敛到族内真值函数的良好近似，并且已知即使在相对简单的情况下也会发散。TD缺乏作为真值函数和近似值函数之间的误差的随机梯度下降的解释，这将提供这样的保证。我们证明了近似TD是一个梯度下降，目前的政策是\emph{reversible}。这甚至适用于非线性近似。一个状态间转移概率为$P(s,s')$的策略是可逆的，如果存在一个关于状态的函数$μ$，使得$\frac{P(s,s')}{P(s',s)}=\frac{μ(s')}{μ(s)}$。特别是，每一步都有可能被撤销。这个条件是限制性的;例如，对于任何无向图中的导航问题，它都是满足的。在这种情况下，近似TD恰好是\emph{Dirichlet norm}的梯度下降，即真值函数和近似值函数之间的\emph{gradients}差的范数。Dirichlet范数也控制近似政策梯度的偏差。这些结果甚至在没有衰减因子（$γ=1$）的情况下也成立，并且不依赖于Bellman算子的收缩性，从而证明了TD的稳定性，即使对于可逆策略有$γ=1$。
2018-05-02 cs.LG math.OC stat.ML
On Convergence of some Gradient-based Temporal-Differences Algorithms for Off-Policy Learning
University of Alberta（阿尔伯塔大学）
我们认为关闭政策的时间差（TD）学习方法的政策评估有限空间和折扣奖励标准的马尔可夫决策过程中，我们提出了一系列的收敛结果的几个基于梯度的TD算法与线性函数逼近。我们分析的算法包括：（i）两种基本形式的双时间尺度的基于梯度的TD算法，我们称之为GTD和最小化均方投影贝尔曼误差使用随机梯度下降;（ii）他们的“鲁棒”有偏的变种;（iii）他们的镜像下降版本结合镜像下降的想法与TD学习;和（iv）一个单一的时间尺度版本的GTD解决极大极小问题制定近似的政策评估。我们得出收敛结果的三种类型的步长：恒定的步长，缓慢减少步长，以及标准类型的平方可和的条件下减少步长。对于前两种类型的步长，我们应用随机逼近理论的弱收敛方法来描述算法的渐近行为，对于标准类型的步长，我们分析了算法的行为相对于一个更强的模式的收敛，几乎必然收敛。我们的收敛结果是上述TD算法与三个一般的方式设置其$λ$参数：（i）状态依赖的$λ$，（ii）最近提出的计划，使用历史依赖的$λ$，以保持有界的资格迹的算法，同时允许相对较大的值的$λ$ ;以及（iii）设置$λ$参数的复合方案，其结合了前述两种方案，并允许更广泛的广义Bellman算子类用于TD方法的近似策略评估。
2018-03-28 cs.LG math.OC
Generalization vs. Memorization in Autoregressive Deep Learning: Or, Examining Temporal Decay of Gradient Coherence
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；The University of Arizona（亚利桑那大学）
本文研究自回归深度学习中泛化与记忆的区别，通过影响函数形式主义分析PDE代理的信息吸收与传播，揭示模型限制并提供改进设计的见解。
2026-01-18 cs.LG physics.comp-ph
STDPG: A Spatio-Temporal Deterministic Policy Gradient Agent for Dynamic Routing in SDN
School of Information Science and Technology, Southwest Jiaotong University（西南交通大学信息科学与技术学院）；Chengdu University of Information Technology（成都信息工程大学）
软件定义网络（SDN）中的动态路由可以被视为集中式决策问题。大多数现有的深度强化学习（DRL）代理都可以解决这个问题，这要归功于深度神经网络（DNN）的引入。然而，通常采用全连接前馈神经网络（FFNN），其中忽略了交通流的空间相关性和时间变化。由于大量的训练参数，该缺点通常导致显著高的计算复杂性。为了克服这个问题，我们提出了一种新的无模型的框架，在SDN中的动态路由，这是被称为时空确定性策略梯度（STDPG）代理。演员和评论家网络都基于相同的DNN结构，其中设计了卷积神经网络（CNN）和具有时间注意力机制的长短期记忆网络（LSTM）的组合，CNN-LSTM-TAM。通过有效地利用空间和时间特征，CNNLSTM-TAM帮助STDPG代理更好地从经验转换中学习。此外，我们采用优先经验重放（PER）方法来加速模型训练的收敛。实验结果表明，STDPG能自动适应当前网络环境，实现鲁棒收敛。与现有的一些DRL代理相比，STDPG在平均端到端延迟方面实现了更好的路由解决方案。
2020-04-21 cs.LG cs.NI cs.SY
Proximal Policy Optimization and its Dynamic Version for Sequence Generation
National Taiwan University（台湾大学）；HuaZhong University of science and technology（华中科技大学）
在序列生成任务中，许多工作使用策略梯度进行模型优化，以解决在对抗学习中最大化不可微评价指标或欺骗学习者时难以解决的反向传播问题。在本文中，我们用近端策略优化（PPO）代替策略梯度，这是一种被证明更有效的强化学习算法，并提出了一种用于PPO的动态方法（PPO-dynamic）。我们证明了PPO和PPO-dynamic对条件序列生成任务的有效性，包括合成实验和聊天机器人。结果表明，PPO和PPO-dynamic在稳定性和性能上都能战胜策略梯度。
2018-08-24 cs.CL cs.LG stat.ML
Compressing gradients by exploiting temporal correlation in momentum-SGD
University of Toronto（多伦多大学）
分散优化中越来越多的瓶颈是通信。更大的模型和不断增长的数据集意味着计算的分散化非常重要，并且交换的信息量正在快速增长。虽然已经引入压缩技术来处理后者，但没有人考虑利用连续矢量更新中存在的时间相关性。一个重要的例子是分布式动量-SGD，其中时间相关性通过施加动量的低通滤波效应而增强。在本文中，我们设计和分析的压缩方法，利用时间相关性的系统，有和没有错误反馈。使用ImageNet数据集的实验表明，我们提出的方法在计算复杂度增加可忽略不计的情况下显著降低了通信速率。我们进一步分析了SGD的收敛性时，应用压缩与错误反馈。在文献中，收敛保证仅针对提供逐点误差界限的压缩器开发，即，对于压缩机的每个输入。相比之下，许多重要的代码（例如率失真代码）只提供预期的误差范围，从而提供更一般的保证。本文通过建立最小梯度范数的界，证明了SGD在期望误差假设下的收敛性。
2021-08-17 cs.AI cs.DC cs.LG
GradXKG: A Universal Explain-per-use Temporal Knowledge Graph Explainer
The University of Manchester（曼彻斯特大学）；Virginia Tech（弗吉尼亚理工大学）
针对现有基于RGCN的时序知识图谱推理模型可解释性不足的问题，提出两阶段梯度驱动的通用解释器GradXKG，可高效生成符合模型逻辑的解释，适配多种相关模型架构。
2023-10-07 cs.CL cs.LG
Multi-Timescale Conductance Spiking Networks: A Sparse, Gradient-Trainable Framework with Rich Firing Dynamics for Enhanced Temporal Processing
Department of Neurobiology, University of California Los Angeles (UCLA)（加州大学洛杉矶分校神经生物学系）；Instituto de Física Corpuscular (IFIC, CSIC–UV)（Corpuscular物理研究所（IFIC，CSIC–UV））
本文提出多时间尺度传导突触网络，通过调节快、慢和超慢电导来控制神经动力学，实现高效训练和稀疏活动，提升时间处理能力。
2026-05-12 cs.AI cs.LG cs.NE
Spatio-Temporal Variational Gaussian Processes
The Alan Turing Institute（艾伦·图灵研究所）；Aalto University（阿尔托大学）；NVIDIA（英伟达）；University of Warwick（华威大学）
我们介绍了一种可扩展的方法，高斯过程推理，结合时空滤波与自然梯度变分推理，从而在非共轭GP方法的多变量数据，相对于时间线性缩放。我们的自然梯度方法使应用程序的并行滤波和平滑，进一步降低时间跨度的复杂性是对数的时间步长。我们推导出一个稀疏的近似，构建一个状态空间模型在一个减少的空间诱导点集，并表明，可分离马尔可夫内核的完整和稀疏的情况下，完全恢复标准的变分GP，同时表现出良好的计算性能。为了进一步提高空间缩放，我们提出了一个平均场假设的空间位置之间的独立性，再加上稀疏性和并行化，导致一个高效和准确的方法为大型时空问题。
2021-11-02 cs.LG stat.ML
A Call to Lagrangian Action: Learning Population Mechanics from Temporal Snapshots
University of British Columbia（不列颠哥伦比亚大学）；Broad Institute of MIT（MIT-哈佛Broad研究所）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；Mila - Quebec AI Institute（魁北克AI研究所）
本文提出通过时间快照学习群体动力学的新方法，基于拉格朗日作用和韦瑟斯特拉格梯度流，提出WLM算法能预测和插值未见边际，并在多种动态中表现优异。
2026-05-16 cs.LG stat.ML
Adaptive Proximal Gradient Method for Convex Optimization
Faculty of Mathematics, University of Vienna（维也纳大学数学学院）；Samsung AI Center（三星人工智能中心）
本文通过利用局部曲率信息提出了无额外计算成本的自适应GD和ProxGD算法，并在仅假设梯度局部Lipschitz连续的条件下证明了其收敛性，且允许比[MM20]更大的步长。
2024-02-12 cs.LG cs.NA math.NA
Fast Fourier Transform-Based Spectral and Temporal Gradient Filtering for Differential Privacy
Electronics and Telecommunications Research Institute (ETRI)（电子电信研究所）；University of Southern California（南加州大学）；KAIST（韩国科学技术院）；Hanwha Life Insurance（翰威特生命保险）；OpenNN Lab, MODULABS（OpenNN实验室，MODULABS）
针对差分隐私DP-SGD噪声导致精度下降的问题，提出FFT增强卡尔曼滤波（FFTKF），通过频域滤波分离噪声并利用卡尔曼滤波优化梯度，在保持隐私保证的同时显著提升了模型精度与隐私-效用权衡。
2025-09-13 cs.AI cs.IT cs.LG
Learning optimal integration of spatial and temporal information in noisy chemotaxis
Niels Bohr Institute, University of Copenhagen（哥本哈根大学尼尔斯·玻尔研究所）；Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）
该研究用深度强化学习和循环神经网络探索噪声趋化中时空信息的无约束整合，证明策略随细胞尺寸在纯时间与纯空间趋化间连续过渡，并揭示动态归因比例。
2024-02-10 cs.LG cs.NE physics.bio-ph
