Probabilistic Planning with Preferences over Temporal Goals
Worcester Polytechnic Institute（伍斯特理工学院）
我们提出了一个形式语言指定定性偏好的时间目标和随机系统中基于偏好的规划方法。使用自动机理论建模，所提出的规范允许我们表达偏好不同的结果集，其中每个结果描述了一组时间序列的子目标。我们定义了一个随机过程中可能的结果的偏好满意度的值，并开发了一个算法的时间约束的概率规划标记马尔可夫决策过程中，代理的目标是最大限度地满足其偏好公式在一个预定义的有限的持续时间。我们目前的实验结果使用随机网格世界的例子，并讨论可能的扩展建议的偏好模型。
2021-03-26 cs.AI cs.FL cs.SY
STCN: Stochastic Temporal Convolutional Networks
ETH Zurich（苏黎世联邦理工学院）
卷积架构最近已被证明在许多序列建模任务上具有竞争力，与递归神经网络（RNN）的事实标准相比，同时由于固有的并行性而提供计算和建模优势。然而，目前仍然存在更有表现力的随机RNN变体的性能差距，特别是那些具有多层依赖随机变量的变体。在这项工作中，我们提出了随机时间卷积网络（STCN），这是一种新的架构，将时间卷积网络（TCN）的计算优势与随机潜在空间的代表性和鲁棒性相结合。特别是，我们提出了一个层次结构的随机潜变量，捕捉在不同的时间尺度的时间依赖性。该架构是模块化和灵活的，由于确定性和随机层的解耦。我们表明，所提出的架构在几个任务中实现了最先进的对数似然度。最后，该模型能够预测高质量的合成样本在一个长范围的时间范围内的手写文本建模。
2019-02-18 cs.LG stat.ML
A General Continuous-Time Formulation of Stochastic ADMM and Its Variants
University of California, Berkeley（加州大学伯克利分校）
本文提出了广义随机ADMM统一算法框架并研究其连续时间分析，证明在适当缩放下其轨迹弱收敛于小噪声随机微分方程的解，并解释了松弛参数应在0到2之间的原因。
2024-04-22 cs.LG math.OC
Continuous Temporal Domain Generalization
The University of Tokyo（东京大学）；Southern University of Science and Technology（南方科技大学）；Emory University（埃默里大学）；Jilin University（吉林大学）
针对传统时间域泛化难以处理连续演化、不规则观测时间域的局限，该研究提出连续时间域泛化概念及Koopman算子驱动的Koodos框架，通过连续动力系统建模与Koopman理论学习动态规律，结合先验知识优化泛化，实验验证了其有效性与高效性。
2024-10-29 cs.AI cs.LG
Community-Aware Temporal Walks: Parameter-Free Representation Learning on Continuous-Time Dynamic Graphs
School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）；Guangzhou Institute of Technology, Xidian University（西安电子科技大学广州研究院）
提出社区感知时间游走（CTWalks）框架，通过社区标签匿名化与ODE连续时间建模，在时间链接预测中超越现有方法并保持鲁棒性。
2025-01-21 cs.AI cs.LG
Stochastic Parroting in Temporal Attention -- Regulating the Diagonal Sink
University of Münster - Faculty of Mathematics and Computer Science（穆斯特大学数学与计算机科学学院）
本文研究了时间注意力机制中因序列长度导致的对角注意力陷问题，提出正则化方法以缓解信息退化并验证其有效性。
2026-03-06 cs.LG
Continuous-time Models for Stochastic Optimization Algorithms
ETH Zurich（苏黎世联邦理工学院）
我们提出了新的连续时间配方的一阶随机最优化算法，如小批量梯度下降和方差减少的方法。我们利用这些连续时间模型，连同简单的李雅普诺夫分析，以及从随机分析的工具，以获得各种类型的非凸函数的收敛范围。在这样的分析指导下，我们表明，相同的李雅普诺夫参数在离散时间，导致匹配率。此外，我们使用这些模型和伊藤演算来推断关于SGD动态的新见解，证明学习率的降低可以作为时间扭曲，或者等价地，作为景观拉伸。
2020-03-10 cs.LG math.OC
Stochastic Modified Equations for Continuous Limit of Stochastic ADMM
School of Data Science and Department of Mathematics, City University of Hong Kong（香港城市大学数据科学学院及数学系）；Peking University（北京大学）；Department of EECS, UC Berkeley（加州大学伯克利分校电气工程与计算机科学系）；Department of Mathematics Stanford University（斯坦福大学数学系）；City University of Hong Kong（香港城市大学）；UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
随机交替方向法及其变体（线性化ADMM、基于梯度的ADMM）在现代大规模机器学习问题中起着关键作用。一个例子是正则化经验风险最小化问题。在这项工作中，我们把不同的变种随机ADMM到一个统一的形式，其中包括标准的，线性化的和基于梯度的ADMM与松弛，并通过连续时间模型的方法研究他们的动态。我们采用随机修正方程（SME）的数学框架，证明了随机ADMM的动力学在弱逼近意义下可由一类带小噪声参数的随机微分方程逼近.连续时间分析将揭示对离散时间算法的行为的重要分析见解，这是不平凡的，否则获得。例如，我们可以精确地描述解路径的波动性，并确定最佳的停时，以最小化解路径的方差。
2020-03-07 cs.LG math.OC stat.ML
Stochastic gradient descent with noise of machine learning type. Part II: Continuous time analysis
Texas A&M University（德克萨斯A&M大学）
人工神经网络的函数表示依赖于大量的非线性参数。通过最小化“损失函数”，通常通过随机梯度下降（SGD）或基于SGD的高级算法，找到这些的合适参数。在一个连续时间模型的SGD噪声，遵循“机器学习缩放”，我们表明，在一定的噪声制度，优化算法更喜欢“平坦”的最小值的目标函数在某种意义上是不同的平坦的最小值选择连续时间SGD均匀的噪声。
2021-09-15 cs.LG math.AP stat.ML
Stochastic Event Prediction via Temporal Motif Transitions
University at Buffalo（布法罗大学）
STEP通过时间模式转换和泊松过程建模，实现连续时间序列预测，提升事件预测精度和效率。
2026-03-06 cs.LG cs.SI
Convergence of continuous-time stochastic gradient descent with applications to deep neural networks
Universitat Pompeu Fabra and Barcelona School of Economics Department of Economics and Business（巴塞罗那经济学院和巴塞罗那大学）
本文研究了学习问题中最小化总体期望损失的连续时间随机梯度下降近似，确立了收敛的一般充分条件，扩展了Chatterjee（2022）的非随机结果，并应用于过参数化神经网络训练。
2025-10-31 cs.LG math.OC stat.ML
Continuous Temporal Graph Networks for Event-Based Graph Data
Xi’an Jiaotong University（西安交通大学）；LMU Munich（慕尼黑大学）；Siemens AG（西门子股份公司）；CRRC Zhuzhou Institute Co., Ltd.（中车株洲所有限公司）
时态图数据的连续时间动态建模越来越受到人们的关注。以前的方法通过指定神经网络的离散层将时间演化的关系信息编码为低维表示，而真实世界的动态图通常随时间连续变化。因此，我们提出了连续时态图网络（CTGN）来捕获时态图数据的连续动态。我们使用的链接开始时间戳和链接持续时间作为不断变化的信息来模拟节点的连续动态。其核心思想是使用神经常微分方程（ODE）来描述动态图上节点表示的连续动态性。利用一种新的图神经网络对常微分方程进行参数化。现有的动态图网络可以看作是CTGN的一种特殊离散化。在转换和归纳任务上的实验结果证明了我们所提出的方法在竞争基线上的有效性。
2022-05-31 cs.LG
Affective Processes: stochastic modelling of temporal context for emotion and facial expression recognition
Samsung AI Center Cambridge（三星剑桥人工智能中心）；University of Nottingham（诺丁汉大学）
时间语境是情感表达识别的关键。现有的方法依赖于循环或自我注意模型来强制时间一致性，在特征级别工作，忽略了特定于任务的时间依赖性，并且无法对上下文不确定性进行建模。为了缓解这些问题，我们建立在神经过程的框架上，提出了一种具有三个关键新组件的明显情感识别方法：（a）具有全局潜变量模型的概率上下文表示;（b）除了特征之外，还使用特定于任务的预测进行时间上下文建模;以及（c）智能时间上下文选择。我们验证我们的方法在四个数据库，两个效价和唤醒估计（SEWA和AffWild 2），和两个动作单元强度估计（DISFA和BP 4D）。结果表明，在一系列强基线以及国家的最先进的方法一致的改善。
2021-03-24 cs.CV cs.LG
Continuous-time Particle Filtering for Latent Stochastic Differential Equations
Borealis AI；Simon Fraser University（西蒙弗雷泽大学）
粒子滤波是一种标准的蒙特卡罗方法，适用于各种顺序推理任务。粒子滤波器的关键组成部分是一组具有重要性权重的粒子，这些重要性权重充当某些随机过程的真实后验分布的代理。在这项工作中，我们提出了连续的潜在粒子滤波器，一种方法，扩展粒子滤波到连续时间域。我们演示了如何连续的潜在粒子过滤器可以被用来作为一个通用的插件替代推理技术依赖于一个学习的变分后验。我们的实验与不同的模型家族的基础上潜在的神经随机微分方程表现出优越的性能连续时间粒子滤波的推理任务，如似然估计和顺序预测的各种随机过程。
2022-09-01 cs.LG
Learning Continuous-Time Dynamics by Stochastic Differential Networks
连续时间随机动力学的学习是偶发时间序列建模中的一个基本问题，其观测值在时间和维度上都是不规则的和稀疏的。对于一个给定的系统，其潜在状态和观测数据是高维的，它通常是不可能得到一个精确的连续时间随机过程来描述系统的行为。为了解决上述问题，我们采用变分贝叶斯方法，并提出了一个灵活的连续时间随机递归神经网络称为变分随机微分网络（VSDN），它嵌入了零星时间序列的复杂动力学神经随机微分方程（ESDN）。VSDNs通过深度神经网络捕获潜在状态和观测之间的随机依赖性。我们还将两个差异证据下限有效地训练模型。通过全面的实验，我们证明了VSDN优于最先进的连续时间深度学习模型，并在零星时间序列的预测和插值任务上取得了显着的性能。
2021-04-29 cs.LG stat.ML
Deep Learning for Continuous-Time Stochastic Control with Jumps
ETH Zurich（苏黎世联邦理工学院）；LIDAM-ISBA UCLouvain（列日大学LIDAM-ISBA）
本文提出了一种基于深度学习的连续时间随机控制方法，通过训练两个神经网络来解决具有跳跃的随机控制问题，并展示了其在复杂高维任务中的有效性。
2026-01-15 cs.LG cs.SY eess.SY
A Temporal Kernel Approach for Deep Learning with Continuous-time Information
Walmart Labs（沃尔玛实验室）；Instacart
顺序深度学习模型，如RNN、因果CNN和注意力机制，不容易消耗连续时间信息。如我们所示，离散化时态数据会导致不一致，即使是简单的连续时间过程。当前的方法通常以启发式方式处理时间，以与现有的深度学习架构和实现一致。在本文中，我们提供了一种使用深度学习工具来表征连续时间系统的原则性方法。值得注意的是，所提出的方法适用于所有主要的深度学习架构，并且只需要对实现进行很少的修改。关键的见解是通过将神经网络与时间内核组合来表示连续时间系统，其中我们从最近对高斯过程和神经切线核的深度学习的理解中获得了直觉。为了表示时间核，我们引入了随机特征方法，并将核学习问题转换为重新参数化下的谱密度估计。我们进一步证明了收敛性和一致性的结果，即使时间内核是非平稳的，和谱密度是错误的。模拟和真实数据实验表明，我们的时间内核方法在广泛的设置经验的有效性。
2021-03-28 cs.LG
Time-Continuous Modeling for Temporal Affective Pattern Recognition in LLMs
School of Computer Science Bina Nusantara University East Jakarta, Indonesia（计算机科学学院 印尼国立宾努斯大学 東雅加達）
本文提出利用物理信息神经网络，通过时间连续建模实现大语言模型中情感模式识别，为可解释对话建模提供新方法。
2026-01-18 cs.AI cs.ET cs.HC
Determinism in the Undetermined: Deterministic Output in Charge-Conserving Continuous-Time Neuromorphic Systems with Temporal Stochasticity
School of Mathematical Sciences, Institute of Natural Sciences（数学科学学院，自然科学院）；MOE-LSC, Shanghai Jiao Tong University, Shanghai, China（教育部-上海交通大学联合实验室，上海交通大学，上海，中国）；School of Electronic Information（电子信息学院）；Electrical Engineering, Shanghai Jiao Tong University, Shanghai, China（电气工程，上海交通大学，上海，中国）；Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室，上海，中国）
本文提出了一种连续时间框架，通过结合电荷守恒定律与最小神经元约束，实现异步神经形态系统中确定性输出，解决了时间随机性带来的挑战，并建立了电荷守恒SNN与量化人工神经网络的精确对应关系。
2026-03-16 cs.LG
Modeling Temporal Data as Continuous Functions with Stochastic Process Diffusion
Technical University of Munich（慕尼黑工业大学）；Morgan Stanley（摩根士丹利）
本文提出在函数空间中定义去噪扩散模型来建模时间数据背后的随机过程，通过引入新噪声源及去噪与分数匹配模型，实现了多变量概率预测与插补，并能自然处理不规则采样。
2023-05-19 cs.LG
Temporal-Difference Networks for Dynamical Systems with Continuous Observations and Actions
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
时间差分（TD）网络是一类预测状态表示，它使用成熟的TD方法来学习部分可观测动态系统的模型。以前的研究与TD网络只处理与有限集的观察和行动的动力系统。我们提出了一个学习TD网络表示的动态系统的连续观测和行动的算法。我们的研究结果表明，该算法是能够学习的几个噪声连续动态系统的准确和鲁棒的模型。这里提出的算法是学习连续动态系统的预测表示的第一个完全增量的方法。
2012-05-09 cs.LG stat.ML
ProGen: Revisiting Probabilistic Spatial-Temporal Time Series Forecasting from a Continuous Generative Perspective Using Stochastic Differential Equations
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
ProGen提出利用随机微分方程和扩散生成模型进行概率时空预测，通过整合去噪分数模型与图神经网络，在四个交通数据集上超越现有确定性与概率模型。
2024-11-02 cs.LG stat.ML
A Temporal Stochastic Bias Correction using a Machine Learning Attention model
University of Cambridge（剑桥大学）；Institut Pierre-Simon Laplace（皮埃尔·西蒙·拉普拉斯研究所）
本文将偏差校正重构为带随机输出的时间索引回归任务，并利用机器学习注意力模型学习时间异步等偏差，在阿布贾和东京的热浪案例中取得更准确校正结果。
2024-06-25 cs.LG physics.ao-ph
A Continuous-time Stochastic Gradient Descent Method for Continuous Data
Princeton University（普林斯顿大学）；Heriot-Watt University（赫瑞-瓦特大学）；Technische Universiteit Delft（代尔夫特理工大学）；University of Cambridge（剑桥大学）
本文提出一种连续时间随机梯度下降方法，通过将梯度流与连续时间索引过程耦合来处理连续数据优化问题，分析了其逼近性质、长期行为和遍历性，并在多项式回归和物理信息神经网络中验证了适用性。
2021-12-07 cs.LG math.PR math.ST
TG-GAN: Continuous-time Temporal Graph Generation with Deep Generative Models
George Mason University（乔治梅森大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
最近正在积极开发的静态图的深度生成模型在分子设计等领域取得了重大成功。然而，许多现实世界的问题涉及时序图，其拓扑结构和属性值随时间动态演变，包括重要的应用，如蛋白质折叠，人类移动网络和社交网络增长。到目前为止，用于时间图的深度生成模型尚未得到很好的理解，并且用于静态图的现有技术不足以用于时间图，因为它们不能1）按时间顺序编码和解码连续变化的图拓扑，2）通过时间约束强制有效性，或者3）确保信息无损时间分辨率的效率。为了解决这些挑战，我们提出了一个新的模型，称为“时间图生成对抗网络"（TG-GAN）的连续时间时间图生成，通过建模截断时间随机游走及其组成的深层生成过程。具体来说，我们首先提出了一种新的时间图生成器，联合模型截断边序列，时间预算，和节点属性，与新的激活函数，执行时间有效性约束下经常性架构。此外，提出了一种新的时间图编码，它结合了时间和节点编码操作的递归架构，以区分所产生的序列从一个新开发的截断时间随机游走采样器采样的真实的。在合成数据集和真实数据集上的大量实验表明，TG-GAN在效率和有效性方面明显优于比较方法。
2020-06-09 cs.LG stat.ML
Stochastic Deep Learning: A Probabilistic Framework for Modeling Uncertainty in Structured Temporal Data
University of Essex（埃塞克斯大学）
本文提出随机潜在微分推断框架，通过整合随机微分方程与深度生成模型，提升结构时间数据中不确定性建模的精度与稳定性。
2026-01-08 cs.LG econ.EM math.ST
Community recovery in non-binary and temporal stochastic block models
Inria（法国国家信息与自动化研究所）；Aalto University（阿尔托大学）
本文研究了$N$节点网络中的成对交互对潜在社区成员的估计，其中观察到的交互可以是任意类型的，包括二进制，分类和向量值，并且不排除更一般的对象，如时间序列或空间点模式。作为一个生成模型，这样的数据，我们引入了一个随机块模型与一般的可测量的相互作用空间$\mathcal S$，我们推导出的最小可实现的差错率的信息理论界。这些界限产生尖锐的标准存在一致的和强一致的估计数据稀疏性，块内和块间的相互作用分布之间的统计相似性，以及相互作用空间的形状和大小。一般的框架，使人们有可能研究时间和多路复用网络与$\mathcal S = \{0,1\}^T$，在设置中，$N \to \infty$和$T \to \infty$，和时间的相互作用模式随着时间的推移相关。对于时间马尔可夫相互作用，我们得到尖锐的一致性阈值。我们还提出了快速在线估计算法，充分利用了非二进制性质的观测数据。对合成数据和真实数据的数值实验表明，即使对于非常稀疏的数据阵列，这些算法也能快速产生准确的估计。
2022-08-30 cs.LG math.PR math.ST
