Short-term time series prediction using Hilbert space embeddings of autoregressive processes
线性自回归模型是离散时间随机过程的基本表示。已经进行了不同的尝试来提供基本自回归过程的非线性版本,包括基于核方法的不同版本。受Hilbert空间分布嵌入的强大框架的启发,本文将这种方法应用于$p$阶自回归过程的核嵌入。通过这样做,我们提供了一个非线性版本的自回归过程,表现出在高度复杂的时间序列的线性模型的性能提高。我们使用所提出的方法对不同的时间序列进行一步预测,并将其性能与其他非线性方法进行比较。
2016-03-16 stat.ML
HyFAD: Hybrid Time-Frequency Diffusion with Frequency-Aware Embedding for Time Series Imputation
School of Data Science and Engineering(数据科学与工程学院);East China Normal University(华东师范大学)
提出HyFAD模型,通过耦合时频扩散框架和频率感知步嵌入,实现从时域到频域的渐进式去噪,有效解决频率敏感去噪和高频重建问题,在多个基准数据集上达到最先进性能。
2026-06-03 cs.LG stat.ML
LaT-PFN: A Joint Embedding Predictive Architecture for In-context Time-series Forecasting
WAIR, Amsterdam(阿姆斯特丹WAIR公司)
LaT-PFN 结合 PFN 与 JEPA 框架,在潜在空间进行上下文学习,利用相关序列和归一化时间轴实现零样本时间序列预测,优于基线并产生信息丰富的嵌入。
2024-05-22 cs.AI cs.LG stat.ML
Non-Stationarity in the Embedding Space of Time Series Foundation Models
Auton Lab(自动化实验室);Robotics Institute(机器人研究所);Carnegie Mellon University(卡内基梅隆大学)
研究时间序列基础模型嵌入空间中非平稳性的检测方法,分析不同分布非平稳性和时间非平稳性对模型检测能力的影响。
2026-04-06 cs.AI cs.LG stat.ML
Does Joint-Embedding Predictive Architecture Pretraining Help Time Series Forecasting?
本研究大规模评估JEPA预训练在九种骨干网络和十一个基准上的效果,发现其收益因架构而异,既有增益也有退化,表明该变异性是普遍属性,选择骨干网络时需考虑。
2026-09-29 cs.AI cs.LG stat.ML
Nonlinear time-series embedding by monotone variational inequality
Georgia Institute of Technology(佐治亚理工学院)
本文提出一种基于单调变分不等式和低秩约束的无监督非线性时间序列嵌入方法,可学习整个域几何及个体序列动力学表示,并在文本建模和RNA聚类中验证了有效性。
2024-06-11 cs.LG stat.ML
Out-of-Sample Extension for Dimensionality Reduction of Noisy Time Series
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
本文提出了一种全局流形学习算法(Isomap)的样本外扩展框架,该算法使用样本点外的时间信息,以使嵌入对噪声和伪影更具鲁棒性。给定一组无噪声训练数据及其嵌入,所提出的框架扩展了有噪声时间序列的嵌入。这是通过向嵌入的优化目标添加时空紧凑性项来实现的。据我们所知,这是第一种利用扩展集可用的时序信息对流形嵌入进行样本外扩展的方法。实验结果表明,我们的样本外扩展算法呈现出更强大的和准确的嵌入顺序排序的图像数据在存在各种噪声和文物相比,其他时间感知嵌入。此外,我们表明,基于所提出的算法的样本外扩展框架优于现有技术的眼睛注视估计。
2017-07-29 cs.CG cs.CV cs.LG
Detecting causality in multivariate time series via non-uniform embedding
基于非一致嵌入方案的因果分析是发现动态系统间潜在相互作用的重要方法。然而,传统的非均匀嵌入方案在估计高维条件互信息和形成最优混合嵌入向量方面仍存在一些障碍。在这项研究中,我们提出了一个新的非均匀嵌入方法的信息论框架来检测因果关系的多变量时间序列,命名为LM-PMIME,它集成了低维近似的条件互信息和混合搜索策略的混合嵌入向量的建设。我们将该方法应用于线性随机,非线性随机和混沌系统的模拟,证明其优越性部分条件互信息从混合嵌入(PMIME)方法。此外,所提出的方法适用于多变量时间序列与弱耦合强度,特别是混沌系统。在实际应用中,我们展示了它对癫痫多通道皮层电图记录的适用性。
2019-12-14 stat.ME
Terminal Dimension Reduction for Time Series with Applications
TU Dortmund(图宾根大学);EPFL(苏黎世联邦理工学院);CNRS & Université Paris Cité, IRIF(国家科学研究中心及巴黎cité大学,IRIF);Aarhus University(奥胡斯大学)
研究针对时间序列聚类等复杂结构降维问题,将终端嵌入推广到仿射线段,利用保线终端嵌入结合约翰逊 - 林登施特劳斯嵌入获得无维核心集,实验表明其在时间序列降维上表现良好且有独特优势。
2026-07-13 cs.CG cs.DS cs.LG
From Static to Dynamic Node Embeddings
University of Michigan(密歇根大学);Adobe Research(Adobe研究(Adobe Research))
我们介绍了一个通用的框架,利用图形流数据的时间预测为基础的应用程序。我们提出的框架包括新的方法来学习一个适当的图形时间序列表示,建模和加权的时间依赖关系,并推广现有的嵌入方法,这样的数据。虽然先前关于动态建模和嵌入的工作集中于使用基于特定时间尺度的图形的时间序列来表示带时间戳的边缘流(例如,1个月),我们提出了一个$ε$图的时间序列,每个图使用一个固定数量的边缘的概念,并显示其优越性,在以前的工作中使用的时间尺度表示。此外,我们提出了一些新的时间模型的概念的基础上的时间可达图和加权时间摘要图。这些时间模型,然后使用现有的基础(静态)嵌入方法,使他们能够纳入和适当的模型在数据中的时间依赖性。从调查的6个时间网络模型(对于7个基本嵌入方法中的每一个),我们发现前3个时间模型总是那些利用新的$ε$图时间序列表示。此外,该框架的动态嵌入方法几乎总是比专门为这种时间预测任务开发的现有最先进的动态节点嵌入方法实现更好的预测性能。最后,本文的研究结果对于设计更好的动态嵌入方法具有一定的参考价值。
2020-09-21 cs.AI cs.LG cs.SI
Some recent trends in embeddings of time series and dynamic networks
本文综述了时间序列嵌入和动态网络嵌入的最新进展。我们从传统的主成分开始,然后看看时间序列的动态因子模型的扩展。与时间序列的主成分不同,关于时变非线性嵌入的文献相当稀少。文献中最有前途的方法是基于神经网络的,并且最近在预测比赛中表现良好。我们还触及拓扑数据分析中不同形式的动力学。本文的最后一部分涉及动态网络的嵌入,我们认为现有理论与大多数现实世界网络的行为之间存在差距。我们用两个模拟的例子来说明我们的评论。在整个审查中,我们强调静态和动态的情况下,并指出几个开放的问题,在动态的情况下之间的差异。
2022-12-16 stat.ME
LETS-C: Leveraging Text Embedding for Time Series Classification
J.P. Morgan AI Research(摩根大通人工智能研究)
本文提出LETS-C方法,利用文本嵌入模型编码时间序列数据,并结合CNN和MLP组成的简单分类头进行分类,在准确率超越SOTA的同时大幅减少模型参数。
2025-05-31 cs.AI cs.CE cs.CL
Structured Temporal Causality for Interpretable Multivariate Time Series Anomaly Detection
Industrial AI Lab, SimPlatform Co. Ltd.(SimPlatform公司工业AI实验室);Affiliate Research Institute(附属研究机构)
针对无标签多变量时间序列异常检测中复杂模型不可解释且性能虚高的问题,提出无监督 OracleAD,利用时间因果嵌入、自注意力与 SLS 双重评分实现检测及根因定位。
2026-10-22 cs.AI cs.LG stat.ML
Deep Generative Markov State Models
Freie Universität Berlin(柏林自由大学);Tongji University(同济大学)
我们提出了一个深度生成马尔可夫状态模型(DeepGenMSM)学习框架,用于亚稳态动力系统的推理和轨迹预测。在对时间序列数据进行无监督训练之后,该模型包含(i)概率编码器,其从高维配置空间映射到指示亚稳态成员的小尺寸向量(ii)控制亚稳态之间的转换并便于分析长时间动态的马尔可夫链,以及(iii)生成部,其对下一时间步长中的配置的条件分布进行采样。该模型可以以递归的方式操作,以生成轨迹,从而从定义的起始状态预测系统的演变,并提出新的配置。DeepGenMSM被证明可以提供长期动力学的准确估计,并为分子动力学(MD)基准系统生成有效的分布。值得注意的是,我们证明了DeepGenMSM能够在分子构型空间中进行长时间步长,并在训练数据中看不到的区域中生成物理上真实的结构。
2019-01-11 cs.LG math.DS math.PR
LETS-GZSL: A Latent Embedding Model for Time Series Generalized Zero Shot Learning
BITS Pilani Hyderabad Campus(博拉理工学院海得拉巴校区);CVR College of Engineering(CVR工程学院)
深度学习的最新发展之一是广义零样本学习(GSTOL),其目的是在只提供来自可见类的标记示例时,从可见类和不可见类中识别对象。在过去的几年里,GREML已经获得了牵引力,并提出了几种模型来解决这个问题。尽管在计算机视觉和自然语言处理等领域已经对GML进行了大量的研究,但还没有进行这样的研究来处理时间序列数据。GEOML用于从ECG和EEG数据中检测异常以及从传感器、光谱仪和其他设备的数据中识别看不见的类别等应用。在这方面,我们提出了一个潜在的嵌入时间序列-GSTML(LETS-GSTML)模型,可以解决GSTML的时间序列分类(TSC)的问题。我们利用基于嵌入的方法,并将其与属性向量相结合,以预测最终的类标签。我们报告我们的结果广泛流行的UCR档案数据集。我们的框架能够在大多数数据集上实现至少55%的调和平均值,除非看不见的类的数量大于3或数据量非常低(少于100个训练样本)。
2022-07-25 cs.AI stat.ML
Multiple Network Embedding for Anomaly Detection in Time Series of Graphs
针对图时间序列的两类异常检测任务,本文适配多重邻接谱嵌入(MASE)方法开展研究,提供了理论依据,在多类数据集上验证了方法的有效性与适用性,可识别非仅度变化的异常顶点。
2024-07-16 stat.ME
Resampling-free Inference for Time Series via RKHS Embedding
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Washington University in St Louis(华盛顿大学圣路易斯分校)
本文提出了一种基于RKHS嵌入的无重采样检验方法,用于多元或函数时间序列的非参数推断问题,具有更高的计算效率和准确性。
2026-01-21 math.ST stat.ME stat.TH
Direct coupling information measure from non-uniform embedding
提出了一种估计多变量时间序列中直接耦合和方向耦合的方法。该措施是一个扩展的最近发表的措施的条件互信息从混合嵌入(MIME)的二元时间序列。在部分MIME(PMIME)的建议措施,嵌入是对所有观察到的变量,它是在解释响应变量优化。结果表明,PMIME检测正确的直接耦合,并优于(线性)条件格兰杰因果关系和部分转移熵。我们证明了PMIME不依赖于显著性检验和嵌入参数,观察变量的数量对它的统计精度没有影响,它可能只会降低计算速度。这些点的重要性显示在模拟和癫痫多通道头皮脑电图的应用。
2013-05-27 cs.IT math.IT nlin.CD
Inter- and Intra-Series Embeddings Fusion Network for Epidemiological Forecasting
National University of Defense Technology(国防科技大学)
传染病疫情的准确预报是有效控制一个地区疫情的关键。大多数现有的方法忽略了潜在的动态区域之间的依赖关系或时间依赖关系的重要性和预测区域之间的相互依赖性。在本文中,我们提出了一个系列间和系列内嵌入融合网络(SEFNet),以提高流行病预测性能。SEFNet由两个并行模块组成,分别命名为系列间嵌入模块和系列内嵌入模块。在序列间嵌入模块中,提出了一种多尺度统一卷积组件,称为区域感知卷积,它与自注意力合作,捕获从多个区域获得的时间序列之间的动态依赖关系。序列内嵌入模块使用长短期记忆来捕获每个时间序列内的时间关系。随后,我们学习两个嵌入的影响程度,并融合它们的参数矩阵融合方法。为了进一步提高鲁棒性,SEFNet还将传统的自回归组件与非线性神经网络并行集成。在四个真实世界中与地震相关的数据集上的实验表明,SEFNet是有效的,并且优于最先进的基线。
2022-08-23 cs.AI cs.LG q-bio.QM
Time Series Embedding Methods for Classification Tasks: A Review
Department of Computer Science(计算机科学系);Texas State University(德克萨斯州立大学);San Marcos, TX 78666
本综述系统分类并定量评估了时间序列嵌入方法,发现其性能因数据集和分类算法而异,并提供开源代码库以指导实际应用。
2025-05-25 cs.LG
Geodesic Properties of a Generalized Wasserstein Embedding for Time Series Analysis
基于传输的度量和相关的嵌入(变换)最近已被用来模拟信号类,其中存在非线性结构或变化。本文研究了具有广义Wasserstein度量的时间序列数据的测地线性质及其符号累积分布变换在嵌入空间中的几何关系。此外,我们展示了如何理解这样的几何特征可以提供额外的解释某些时间序列分类器,并为更强大的分类器的灵感。
2022-06-12 cs.LG eess.SP math.GT
Are Data Embeddings effective in time series forecasting?
Kansas State University(堪萨斯州立大学)
本研究通过消融实验发现,移除数据嵌入层不会损害时间序列预测性能,反而常提升准确性和效率,质疑了数据嵌入的必要性。
2025-05-27 cs.LG
Continuous-Time Linear Positional Embedding for Irregular Time Series Forecasting
School of Computing, KAIST(韩国科学技术院计算机学院)
本文提出CTLPE方法,通过连续时间线性位置嵌入解决不规则时间序列预测中观测模式不一致和时间间隔不规则的问题,并在多个数据集上验证其优于现有技术。
2024-09-30 cs.AI cs.LG
Crime incidents embedding using restricted Boltzmann machines
Georgia Tech Institute of People and Technology(佐治亚理工学院人与技术研究所)
我们提出了一种新的方法来检测相关的犯罪系列,通过高斯-伯努利限制玻尔兹曼机(RBM)的犯罪记录的叙述通过无监督学习的潜在特征嵌入。这是一种与以前的犯罪分析工作截然不同的方法,以前的犯罪分析工作通常只考虑时间和地点,最多考虑类别信息。在嵌入之后,相关案例在欧几里得特征空间中彼此更接近,而不相关案例彼此远离,这是一个很好的性质,可以使相关案例的检测和聚类等后续分析成为可能。亚特兰大警察局手工标记的几个系列的相关犯罪事件的实验揭示了我们的嵌入方法的承诺。
2018-02-14 cs.LG stat.ML
Detecting Metastable Basins in High Dimensions via Marginal Trajectory Distribution Discrimination
提出一种基于边际轨迹分布比较的判别方法,通过神经网络近似贝叶斯分类器来识别高维马尔可夫过程中的亚稳态盆地,克服了传统谱方法在高维和非线性几何下的局限性。
2026-05-22 cs.LG stat.CO stat.ML
Toward Physics-guided Time Series Embedding
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Squirrel Ai Learning(松鼠AI学习)
该研究提出嵌入对偶理论,依托物理先验跳过参数化嵌入层,直接用物理重构技术获取时间序列嵌入,实现参数量大减、速度提升及多任务性能显著提升,并封装为即插即用模块。
2024-10-09 cs.AI cs.LG
Machine Learning of Time Series Using Time-delay Embedding and Precision Annealing
University of California, San Diego(加州大学圣地亚哥分校);Universität Potsdam(波茨坦大学);Scripps Institution of Oceanography(斯克里普斯海洋学研究所)
指派机器学习来预测时间序列的片段需要估计具有来自时间序列的输入/输出对的ML模型的参数。利用统计数据同化和监督机器学习之间的等价性,我们重新审视了这一任务。机器的训练方法利用精确退火方法来识别动作的全局最小值(-log[P])。通过这种方式,我们能够确定为时间序列产生良好的泛化(预测)所需的训练对的数量。我们从一个标量时间序列$s(t_n); t_n = t_0 + n Δt$,并使用非线性时间序列分析的方法,展示了如何产生一个$D_E > 1$维时间延迟嵌入空间中的时间序列没有假邻居观察到的$s(t_n)$时间序列。在该$D_E$维空间中,我们探索使用前馈多层感知器作为在$D_E$维输入上操作并产生$D_E$维输出的网络模型。
2019-06-14 cs.LG
$k$-Graph: A Graph Embedding for Interpretable Time Series Clustering
本文提出无监督图嵌入方法 $k$-Graph,通过多长度子序列图表示支持变长时间序列聚类,在准确率上超过现有先进算法并增强结果可解释性。
2025-02-18 cs.LG
Derivative Delay Embedding: Online Modeling of Streaming Time Series
University of Tenneessee(田纳西大学)
来自现实世界的惊人数量的流时间序列需要更高效和有效的在线建模解决方案。对于时间序列建模,大多数现有的工作做了一些不切实际的假设,如输入数据是固定的长度或对齐,这需要额外的努力分割或规范化的原始流数据。虽然一些文献声称他们的方法是不变的数据长度和错位,他们太耗时的流时间序列建模在线的方式。我们提出了一种新的和更实用的在线建模和分类方案,DDE-MGM,它不对时间序列做任何假设,同时保持高效率和最先进的性能。微分延迟嵌入(DDE)的发展,以增量方式将时间序列的嵌入空间,其中的数据的固有特性被保存为递归模式,而不管流的长度和错位。然后,提出了一种非参数马尔可夫地理模型(MGM)的模型和分类的模式在网上的方式。实验结果表明,所提出的DDE-MGM的有效性和优越的分类精度在在线设置相比,国家的最先进的。
2016-09-24 cs.LG
Predicting Remaining Useful Life using Time Series Embeddings based on Recurrent Neural Networks
TCS Research(塔塔咨询服务研究部)
我们考虑的问题,估计剩余使用寿命(RUL)的系统或机器的传感器数据。许多基于传感器数据的RUL估计方法都假设机器如何降级。此外,来自机器的传感器数据是嘈杂的,并且在许多实际设置中经常遭受缺失值。我们建议Embed-RUL:一种用于从传感器数据估计RUL的新方法,其不依赖于任何退化趋势假设,对噪声是鲁棒的,并且处理缺失值。Embed-RUL利用基于循环神经网络(RNN)的序列到序列模型来生成多变量时间序列序列的嵌入。嵌入正常和退化的机器往往是不同的,因此被发现是有用的RUL估计。我们表明,嵌入捕获的时间序列中的整体模式,同时过滤掉噪声,使嵌入的两台机器具有相似的操作行为是彼此接近,即使他们的传感器读数有显着和不同程度的噪声内容。我们在公开的涡扇发动机数据集和专有的真实世界数据集上进行实验,并证明Embed-RUL在几个指标上优于先前报道的最先进的技术。
2017-10-06 cs.LG
Giving Sensors a Voice: Multimodal JEPA for Semantic Time-Series Embeddings
C3 AI
提出CHARM模型,通过通道级文本描述与Transformer编码器结合,利用联合嵌入预测架构(JEPA)学习语义时间序列嵌入,在异常检测、分类和预测任务中仅用线性探针即取得强性能。
2026-05-29 cs.LG
TempoGPT: Enhancing Time Series Reasoning via Quantizing Embedding
Central South University(中南大学)
TempoGPT通过白盒系统分析构建复杂时间序列推理数据,并利用码本量化时间嵌入实现时序与文本表示一致,从而提升多模态时间序列语言模型的推理性能。
2025-03-07 cs.AI cs.LG
SigDiffusions: Score-Based Diffusion Models for Time Series via Log-Signature Embeddings
Imperial College London(帝国理工学院)
本文提出SigDiffusion,一种基于对数签名嵌入的得分扩散模型,用于生成长多元时间序列,并通过闭式反演公式恢复信号,在合成和真实数据上达到最先进性能。
2025-02-26 cs.LG
QuITE: Query-Based Irregular Time Series Embedding
SK Shieldus
提出一种即插即用的嵌入模块QuITE,通过可学习查询令牌聚合不规则观测值,无需插值或修改架构,显著提升多变量时间序列模型的预测和分类性能。
2026-06-02 cs.AI cs.LG
LightSAE: Parameter-Efficient and Heterogeneity-Aware Embedding for IoT Multivariate Time Series Forecasting
Department of Electrical Engineering, Tsinghua University(清华大学电子工程系)
针对IoT多元时间序列预测中共享嵌入掩盖通道特定信息的问题,提出LightSAE模块,通过低秩分解与共享门控组件池实现参数高效的异构感知嵌入,在多数据集和架构上以极低参数开销显著提升预测精度。
2025-10-12 cs.AI cs.LG
Are Time-Series Foundation Models Ready for E-Nose Data? An Empirical Assessment of Their Embeddings
Department of Information Technology(信息科技系);Department of Agricultural and Biological Engineering(农业与生物工程系);Kennesaw State University(凯斯沃州立大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文系统评估了Chronos-2和MOMENT等时间序列基础模型在电子鼻数据上的嵌入表示,发现微调是必要步骤,且融合专用模型表示可提升气体识别和浓度预测性能。
2026-06-29 cs.LG
On the Importance of Step-wise Embeddings for Heterogeneous Clinical Time-Series
ETH Zürich(苏黎世联邦理工学院);ETH AI Center(ETH人工智能中心);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Zürich University Hospital(苏黎世大学医院);Swiss Institute of Bioinformatics(瑞士生物信息学研究所);Department of Biology, ETH Zürich(苏黎世联邦理工学院生物学系)
本研究针对ICU临床时间序列,利用表格数据深度学习的最新进展,强调逐步嵌入的重要性,并在MIMIC-III和HiRID数据集上验证了特征分组能显著提升性能。
2023-11-15 cs.LG
VE: Modeling Multivariate Time Series Correlation with Variate Embedding
Swinburne University of Technology(斯威本科技大学);Zhejiang University(浙江大学)
针对现有通道独立类模型难以捕捉多变量时间序列相关性的问题,提出变量嵌入(VE)流程,结合MoE与LoRA技术,可集成到带CI最终投影层的模型中,在四个常用数据集上验证了预测性能提升效果。
2024-10-31 cs.LG
Frequency-Masked Embedding Inference: A Non-Contrastive Approach for Time Series Representation Learning
School of Intelligence Science and Technology, University of Science and Technology Beijing(北京科技大学智能科学与技术学院);Institute of Artificial Intelligence, University of Science and Technology Beijing(北京科技大学人工智能研究院)
针对对比学习依赖正负样本且难以建模时间序列连续语义的问题,本文提出非对比方法 FEI,通过双向频率掩码提示与嵌入推理学习表示,并在8个数据集上验证其泛化优势。
2025-01-06 cs.AI cs.LG
QKCV Attention: Enhancing Time Series Forecasting with Static Categorical Embeddings for Both Lightweight and Pre-trained Foundation Models
Independent Researcher(独立研究者);Key Laboratory of Brain-Machine Intelligence for Information Behavior (Ministry of Education and Shanghai)(信息行为脑机智能关键实验室);School of Business and Management(商学院)
本文提出QKCV注意力机制,通过引入静态类别嵌入C扩展QKV框架,作为即插即用模块提升多种注意力模型的预测精度,并能在微调基础模型时仅更新嵌入以降低计算成本。
2025-10-21 cs.AI cs.LG
On the Regularization of Learnable Embeddings for Time Series Forecasting
Università della Svizzera Italiana(瑞士意大利语区大学);IDSIA(IDSIA研究院);University of Liverpool(利物浦大学);Politecnico di Milano(米兰理工大学)
针对多时间序列预测中局部可学习嵌入易成序列标识符、限制模型迁移性的问题,本文首次广泛实证研究正则化方法,发现嵌入扰动类方法可提升架构性能,为理解局部与全局参数相互作用、开发时间序列基础模型提供关键贡献。
2025-02-13 cs.AI cs.LG
Time Series Forecasting Using a Hybrid Deep Learning Method: A Bi-LSTM Embedding Denoising Auto Encoder Transformer
本文提出Bi-LSTM嵌入去噪自编码器模型BDM用于短期电动汽车充电负荷预测,在五个时间步中的四个上优于Transformer、CNN、RNN、LSTM和GRU等基准模型,提升了时间序列预测与决策能力。
2025-09-21 cs.AI cs.LG
Generative Pretrained Embedding and Hierarchical Irregular Time Series Representation for Daily Living Activity Recognition
IP Paris(巴黎理工学院);ENSTA(法国国立高等先进技术学院);Inria(法国国家信息与自动化研究所);IMT Atlantique(大西洋电信学院);Lab-STICC(信息、信号与智能系统研究实验室)
本文提出一种受GPT启发的分层架构,结合Transformer Decoder预训练嵌入与小时级时间嵌入,用于智能家居日常生活活动识别,在分类精度上超越SOTA ELMo基准。
2024-12-27 cs.LG
EMAformer: Enhancing Transformer through Embedding Armor for Time Series Forecasting
针对iTransformer在多变量时间序列预测中落后于MLP模型的问题,提出EMAformer通过嵌入装甲引入三个归纳偏置增强Transformer,在12个基准上实现SOTA,平均降低2.73% MSE和5.15% MAE,提升Transformer方法实用性。
2025-11-11 cs.LG
Meta-Posterior Consistency for the Bayesian Inference of Metastable System
Freie Universität Berlin, Department of Mathematics and Computer Science and Center for Scalable Data Analytics and Artificial Intelligence, Universität Liepzig(柏林自由大学数学与计算机科学系及可扩展数据与人工智能研究中心,莱比锡大学);Center for Scalable Data Analytics and Artificial Intelligence and Department of Computer Science, Universität Liepzig and Max Planck Institute for Mathematics in the Natural Sciences and Duke University, Departments of Statistical Science, Mathematics, Computer Science, and Biostatistics & Bioinformatics(可扩展数据与人工智能研究中心及计算机科学系,莱比锡大学;数学自然科学研究院和杜克大学统计科学、数学、计算机科学及生物统计与生物信息学系)
本文在贝叶斯框架下引入并量化了亚稳态系统的元一致性,探讨如何利用该性质高效推断大系统的局部子系统模型,并分析了其与一致遍历及非遍历扩散模型谱性质的关系。
2025-07-01 cs.LG math.PR math.ST
TimeKit: A Time-series Forecasting-based Upgrade Kit for Collaborative Filtering
Yonsei University(延世大学);Kakao Corporation(Kakao公司)
推荐系统是数据采掘和机器学习领域的一个长期研究课题。当新的用户-项交互日志到达时,它们本质上是增量的。在实际应用中,我们需要定期训练协同过滤算法来提取用户/项目嵌入向量,因此,可以自然地定义嵌入向量的时间序列。我们提出了一个基于时间序列预测的升级工具包(TimeKit),它的工作方式如下:i)首先确定一个基本的协同过滤算法,ii)使用基本算法从用户-项目交互日志中增量地提取用户/项目嵌入向量,例如,每个月,iii)用提取的嵌入向量的时间序列训练我们的时间序列预测模型,然后iv)预测未来的嵌入向量并由于最近在处理复杂的时间序列数据方面的突破而用它们的点积分数进行推荐,即,神经控制微分方程(NCDE)我们的实验与四个真实世界的基准数据集表明,所提出的时间序列预测为基础的升级工具包可以显着提高现有流行的协同过滤算法。
2022-11-08 cs.AI cs.IR cs.LG
Higher-order Cross-structural Embedding Model for Time Series Analysis
School of Mathematics and Statistics, Beijing Jiaotong University(北京交通大学数学与统计学院);School of Physical and Mathematical Sciences, Nanyang Technological University(南洋理工大学物理与数学科学学院);Department of Mathematics, National University of Singapore(新加坡国立大学数学系)
针对现有时间序列分析方法难建模高阶交互、时空依赖分离学习的问题,提出结合多尺度Transformer与拓扑深度学习、用对比学习融合的High-TS模型,在多任务上性能超越现有最优方法。
2024-10-30 cs.AI cs.LG
High-dimensional Multivariate Time Series Forecasting in IoT Applications using Embedding Non-stationary Fuzzy Time Series
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学)
在物联网(IoT)中,数据从不同的数据源连续记录,设备可能会在其嵌入式电子设备中出现故障,从而导致高维数据集和概念漂移事件。因此,能够处理高维非平稳时间序列的方法在物联网应用中具有重要价值。模糊时间序列(FTS)模型作为数据驱动的非参数模型,具有易于实现和高精度的特点。不幸的是,FTS遇到困难时,处理数据集的许多变量和场景的概念漂移。提出了一种新的处理高维非平稳时间序列的方法,将高维数据投影到低维嵌入空间,并利用FTS方法。将这些技术结合起来,可以更好地表示非平稳多变量时间序列的复杂内容和准确的预测。我们的模型能够解释98%的方差,达到11.52%的RMSE,2.68%的MAE和2.91%的MAPE。
2021-07-20 cs.AI cs.LG cs.SY
Clustering Time Series Data with Gaussian Mixture Embeddings in a Graph Autoencoder Framework
针对传统时间序列聚类难以捕捉复杂时间依赖的问题,提出变分混合图自编码器(VMGAE),利用图结构优势捕捉数据关系并生成高斯混合嵌入,实验表明其显著优于现有技术,在金融数据上的应用可为市场分析提供深度见解。
2024-11-25 cs.AI cs.LG eess.SP
Combining Embeddings and Fuzzy Time Series for High-Dimensional Time Series Forecasting in Internet of Energy Applications
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学);Federal University of Minas Gerais(米纳斯吉拉斯联邦大学);Federal Institute of Education Science and Technology of Northern Minas Gerais(北米纳斯吉拉斯联邦教育科学技术学院)
住宅用电量的预测对于帮助智能电网管理和保存能源以确保有效使用至关重要。在客户层面进行准确的能源预测将直接反映在整个电网系统的效率提高中,然而,由于气象和占用模式等许多影响因素,预测建筑物能源使用是一项复杂的任务。此外,由于多传感器环境的出现以及能源消费者和智能电网之间的双向通信,高维时间序列越来越多地出现在能源互联网(IoE)中。因此,能够计算高维时间序列的方法在智能建筑和万物互联应用中具有重要价值。模糊时间序列(FTS)模型作为数据驱动的非参数模型,具有易于实现和高精度的特点。不幸的是,现有的FTS模型可能是不可行的,如果所有的功能都用于训练模型。我们提出了一种新的方法来处理高维时间序列,通过将原始高维数据投影到一个低维嵌入空间,并在这个低维表示中使用多变量FTS方法。将这些技术结合起来,可以更好地表示多变量时间序列的复杂内容,并进行更准确的预测。
2021-12-03 cs.AI cs.LG
Cross-device Zero-shot Label Transfer via Alignment of Time Series Foundation Model Embeddings
Independent Researcher(独立研究者)
本文提出一种利用时间序列基础模型嵌入的对抗性对齐框架,实现从临床活动记录仪到消费级可穿戴设备的零样本标签迁移,无需配对数据。
2025-08-22 cs.AI cs.LG eess.SP
One-Embedding-Fits-All: Efficient Zero-Shot Time Series Forecasting by a Model Zoo
School of Artificial Intelligence(人工智能学院);National Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);Nanjing University(南京大学)
针对单一时间序列基础模型无法普遍最优的问题,提出ZooCast框架,通过“一嵌入通吃”范式构建统一表示空间,将多个TSFM组装成模型动物园,动态选择最优模型,在GIFT-Eval基准上实现高效零样本预测并保持单模型效率。
2025-09-25 cs.LG
Temporal Dynamic Embedding for Irregularly Sampled Time Series
Anonymous Institution(匿名机构)
本文提出时间动态嵌入(TDE),将不规则采样时间序列变量建模为随时间演化的嵌入向量,通过选择性聚合观测子集表示患者状态,在三个临床数据集上以更短训练时间取得竞争性或更优性能。
2025-04-08 cs.AI cs.LG
TOTEM: TOkenized Time Series EMbeddings for General Time Series Analysis
California Institute of Technology(加州理工学院)
本文提出TOTEM,通过自监督离散令牌化时间序列数据,构建跨多领域、多任务的通才时间序列模型,并在插补、异常检测和预测任务上以极少微调达到或超越现有最先进模型。
2025-01-01 cs.LG